JPWO2006093074A1 - 電子表示媒体および電子表示媒体に用いられる画面表示制御方法 - Google Patents

電子表示媒体および電子表示媒体に用いられる画面表示制御方法 Download PDF

Info

Publication number
JPWO2006093074A1
JPWO2006093074A1 JP2007505911A JP2007505911A JPWO2006093074A1 JP WO2006093074 A1 JPWO2006093074 A1 JP WO2006093074A1 JP 2007505911 A JP2007505911 A JP 2007505911A JP 2007505911 A JP2007505911 A JP 2007505911A JP WO2006093074 A1 JPWO2006093074 A1 JP WO2006093074A1
Authority
JP
Japan
Prior art keywords
unit
screen
physiological state
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007505911A
Other languages
English (en)
Other versions
JP4896002B2 (ja
Inventor
阪本　清美
清美 阪本
政治 松岡
政治 松岡
貴展 森川
貴展 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007505911A priority Critical patent/JP4896002B2/ja
Publication of JPWO2006093074A1 publication Critical patent/JPWO2006093074A1/ja
Application granted granted Critical
Publication of JP4896002B2 publication Critical patent/JP4896002B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

電子ブック１が起動すると、映像取得部２は、利用者の顔の撮像を開始する。次に、解析部４は、映像取得部２が撮像した利用者の顔画像を解析することで利用者の生理状態を推定する。そして、表示制御部５は、当該生理状態に応じて所定時間単位で画面６の輝度・コントラスト等の表示状態を調整する。

Description

本発明は、電子表示媒体に関する発明であって、より特定的には、電子表示媒体の画面表示制御に関する発明である。
近年、電子表示媒体の解像度やコントラストなどハード面の性能の向上と価格の低下、及び紙を使わないというエコロジーの観点から、単行本などを携帯用の表示装置に表示して読むための電子表示装置、いわゆる電子ブックが市販されている（例えば、特許文献１）。
特開２００３−１９６０１２号公報
しかしながら、上述したような上記特許文献１に開示された電子ブックにおいては、画面のコントラストや輝度の調整を利用者が自分で行う必要がある。そのため、輝度等の調整操作を行わないまま長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、例えば輝度が変化していないにも関わらず画面が暗く感じ、文字が読みにくくなってくる、あるいは疲労の蓄積による眠気を感じて集中して読むことができない、等の状態になる。更に、電子ブックに限らず、テレビの視聴やパソコン、携帯電話の画面など、電子表示媒体をずっと見続けているとき（視覚情報処理課題に従事しているとき）も、視覚情報（コンテンツ等、画面に表示される内容）の損失を防ぐため、瞬目（瞬き）活動は一般に抑制される。そのため、長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、画面に表示されている画像や文字が見えにくくなってくる、あるいは疲労の蓄積による眠気を感じてくる、等の状態となる。
それ故に、本発明の目的は、利用者の生理状態を推定し、生理状態に応じてコントラストや輝度等の表示制御を行う電子表示媒体を提供することである。
上記目的を達成するために、本発明は以下のような構成を採用した。
本発明の第１の局面は、コンテンツを表示する画面と、利用者の顔画像を撮像する映像取得部と、映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、コンテンツを表示している画面の表示状態を解析部が推定した生理状態に応じて制御する表示制御部とを備える電子表示媒体である。なお、ここでいう電子表示媒体とは、電子ブック、テレビ、パソコン、カーナビゲーション装置や携帯電話等が相当する。また、画面の表示状態の制御とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の制御には含まれない。
本発明の第２の局面は、第１の局面において、周囲光の明るさを検出する周囲光検出部を更に備え、表示制御部は、解析部が推定した生理状態と周囲光の明るさとに基づいて画面の表示状態の制御を行う。
本発明の第３の局面は、第１の局面において、前記解析部が推定した生理状態に応じて省電力モードに移行または前記電子表示媒体の電源を落とす手段を更に備える。
本発明の第４の局面は、第１の局面において、解析部は、顔画像から眼の付近の領域の画像を切り出す画像切り出し部と、画像切り出し部が切り出した画像から眼球および眼球の周辺器官の運動あるいは変化に関する眼情報を計測する眼情報計測部と、眼情報計測部が計測した眼情報を解析して人間の生理状態を推定する生理状態推定部とを含む。
本発明の第５の局面は、第４の局面において、眼情報計測部は、瞬目に関する情報である瞬目情報を眼情報として計測する。
本発明の第６の局面は、第５の局面において、瞬目情報は、少なくとも瞬目回数あるいは眼が閉じるまでの時間および開くまでの時間を含む
本発明の第７の局面は、第４の局面において、眼情報計測部は、瞳孔に関する情報である瞳孔情報を眼情報として計測する。
本発明の第８の局面は、第７の局面において、瞳孔情報は、少なくとも瞳孔径あるいは瞳孔径の変化率を含む。
本発明の第９の局面は、第１の局面において、表示制御部は、画面の表示状態を変化させない第１の出力モードと、画面のコントラスト、輝度、色調、および表示する画像の大きさのうち少なくともいずれか１つを変更する第２の出力モードと、画面に所定のメッセージを表示する第３の出力モードとの間で出力モードを前記解析部が推定した生理状態に応じて切り替える。
本発明の第１０の局面は、解析部は、所定のタイミングで生理情報を取得し、解析して利用者の生理状態を推定する。
本発明の第１１の局面は、所定のタイミングとは、視覚情報処理課題の終了時である。ここで、視覚情報処理課題とは、テレビ視聴、電子ブック閲覧、運転、連続監視作業等の、視覚情報処理の対象となる課題をいう。また、その終了時とは、テレビ番組がＣＭに入ったときや、電子ブックのページめくり操作を行ったとき、運転中に信号で停止したとき等の、一連の視覚情報処理が途切れるタイミングをいう。
本発明の第１２の局面は、利用者の顔画像を撮像する映像取得ステップと、映像取得ステップで撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、コンテンツを表示している画面の表示状態を解析ステップで推定した生理状態に応じて制御する表示制御ステップとを有する、電子表示媒体に用いられる画面表示制御方法である。
上記第１の局面によれば、利用者の顔画像から利用者の生理状態を推定し、推定した生理状態に応じて画面の表示制御を行う。そのため、利用者の生理状態に応じて電子表示媒体の可読性、視認性を向上させることができる。
上記第２の局面によれば、電子表示媒体の周囲光の変化を加味して画面表示を制御することができる。この結果、より適切な画面表示制御を行うことができる。
上記第３の局面によれば、利用者の生理状態に応じて、電子表示媒体の省電力化を図ることができる。
上記第４乃至８の局面によれば、眼球および眼球の周辺器官の運動あるいは変化に関する情報情報を解析して生理状態を推定するため、利用者の関心度合いや疲労状態や眠気について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
上記第９の局面によれば、第１の局面と同様の効果が得られる。
上記第１０の局面によれば、解析処理を行うタイミングを限定することで、電子表示媒体にかかる処理負荷を軽減することができる。
上記第１１の局面によれば、視覚情報処理課題の終了時に解析処理を行うことができ、処理負荷を軽減しつつ、より効果的に生理状態の解析を行うことが可能となる。
また、本発明の電子表示媒体に用いられる画面表示制御方法によれば、上記第１の局面と同様の効果を得ることができる。
図１は、本発明の第１の実施形態に係る電子ブック１の外観図である。 図２は、本発明の第１の実施形態に係る電子ブック１を示す機能ブロック図である。 図３は、図１の解析部４の機能構成を示すブロック図である。 図４は、本発明の第１の実施形態に係る解析処理を示すフローチャートである。 図５は、瞬目波形の一例を示す図である。 図６は、本発明の第１の実施形態に係る表示制御処理を示すフローチャートである。 図７は、本発明の第２の実施形態に係る電子ブック１を示す機能ブロック図である。 図８は、図６の解析部４０の機能構成を示すブロック図である。 図９は、本発明の第２の実施形態に係る解析処理を示すフローチャートである。 図１０は、図８のステップＳ３３で示した生理状態推定処理の詳細を示したフローチャートである。 図１１は、本発明の第２の実施形態に係る表示制御処理を示すフローチャートである。 図１２は、本発明の実施形態に係るテレビの外観図である。 図１３は、本発明の実施形態に係るカーナビゲーション装置の外観図である。 図１４は、本発明の実施形態に係るパソコンの外観図である。 図１５は、本発明の実施形態に係る携帯電話の外観図である。
符号の説明
１ 電子ブック
２ 映像取得部
３ コンテンツ取得部
４ 解析部
５ 表示制御部
６ 画面
７ 明るさ検出部
１０ 電子ブック
４０ 解析部
４１ 画像切り出し部
４２ 瞬目計測部
４３ 生理状態推定部
４５ 瞳孔計測部
１００ テレビ
１０１ カーナビゲーション装置
１０２ パソコン
１０３ 携帯電話
以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子表示媒体の一例である電子ブックの概観図である。また、図２は、本発明の第１の実施形態に係る電子ブックの機能構成を示すブロック図である。図２において、電子ブック１は、映像取得部２、コンテンツ取得部３、解析部４、表示制御部５、画面６とを備えている。
映像取得部２は、電子ブック１の利用者の顔を撮像し、映像データとして解析部４へ出力するものであって、典型的にはカメラである。好ましい例として、映像取得部２は、例えば低照度時に対応すべく、利用者の顔を照明する発光部を備えていても良い。また、当該発光部の光源としては、利用者にまぶしさを与えないようにするため、近赤外光を用いることが考えられる。
コンテンツ取得部３は、例えばＣＤ−ＲＯＭやメモリーカード等の可搬性記憶媒体からコンテンツを読み出し、表示制御部５に出力する。また、外部との通信が可能な通信部（図示せず）を設け、アンテナなどを介して、外部からコンテンツを入手してもよい。
解析部４は、映像取得部２が撮像した利用者の画像を解析し、生理状態を推定する。また、解析部４は、推定した生理状態を解析結果として表示制御部５へ出力する。
表示制御部５は、上記取得したコンテンツを画面６に表示する。また、図示しない操作部を通じて入力されるユーザからの指示を受け、コンテンツのページめくり動作等を行う。また、上記解析部４による解析結果に基づいて画面６の輝度・コントラストの調整等の画面表示制御を行う。
画面６は、反射型液晶ディスプレイ等が該当する。ここでは、電子表示媒体の一例として電子ブックをあげているが、電子表示媒体がテレビやパソコンであれば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等も該当する。
図３は、解析部４の機能構成を示すブロック図である。解析部４は、画像切り出し部４１、瞬目計測部４２、および生理状態推定部４３を備えている。画像切り出し部４１は、映像取得部２から出力される映像データから、目付近の小領域の画像データを抽出する。瞬目計測部４２は、画像切り出し部４１が切り出した眼の付近の画像データから、眼の開き度合いを表す上下まぶたの間隔（以下、眼の開度と称す）を計測する。また、瞬目計測部４２は、１フレームごとの眼の開度を計測し、目の開度の時間変化を示す波形（以下、瞬目波形と称す；図５参照）を作成する。生理状態推定部４３は、上記瞬目波形に基づいて利用者の生理状態を推定し、解析結果として表示制御部５へ出力する。
本実施形態では、電子ブック１が起動すると共に、カメラ（映像取得部２）が利用者の顔の撮像を開始する。電子ブック１動作中は、１分毎に、その直前１分間の利用者の映像を解析し、瞬目情報を用いて生理状態を推測する。そして、当該生理状態に応じて、画面の表示状態を変化させる。すなわち、電子ブック１は、１分毎に利用者の生理状態に応じて画面の表示状態を変えていく。なお、ここでいう画面の表示状態の変化（画面表示制御）とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の変化には含まれない。
ここで、生理状態の推定に瞬目情報を用いる理由を説明する。例えば、テレビ観視時には、瞬目回数は顕著に低下する。しかも、テレビ番組が面白い、すなわち興味・関心の度合いが高いときほど瞬目が少なくなる。つまり、関心度の高いものを見ているときは、瞬目回数は少なくなる。また、緊張や作業が長時間続くと、瞼が重い、あるいは眼を開けているのがつらく感じられるようになる。このような場合、すなわち、疲労している状態のときは、瞼が閉じるまでの時間、あるいは瞼が開くまでの時間が有意に長くなる。また、眠くなってきたときは、１〜２秒間の間に数回の瞬目が連続的に発生（これは、瞬目群発と呼ばれる）するようになる。以上のような瞬目の特性を計測すれば、利用者がコンテンツに集中しているか、読み疲れてきているか、あるいは眠い状態なのか等を推定することができる。
以下、図４〜図６を用いて、電子ブックが行う表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１が起動する。電子ブック１の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入するのを受け、コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。ここで、例えば上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に虹彩、白目、まぶたなどの皮膚、の順に明るくなる。そのため、この明るさの差を利用して瞳孔やまぶた等を識別することが可能となる。
映像取得部２が撮像を開始してから１分後、解析部４は以下に述べる解析処理を始める。図４は、解析部４が行う解析処理の詳細を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間分の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で眼の付近の領域の画像（以下、眼領域画像）を切り出す（ステップＳ１１）。
次に、瞬目計測部４２は、上述したような明るさの差を利用して、眼領域画像から眼の開度（眼の開き度合いを表す上下まぶたの間隔）を計測し、上述した瞬目波形を作成する。図５は、瞬目波形の一例である。利用者がまばたきを行うと、目の開度は一瞬小さくなる。そのため、図５において、まばたきした区間は、下向きのパルス状の部分として検出することができる。そして、瞬目計測部４２は、瞬目波形から、瞬目回数、瞬目間隔、瞬目の動特性（１回のまばたきにおいて、まぶたが閉じ始めてから完全に閉じるまでの時間や、閉じたまぶたが開き始めてから開き終わるまでの時間）等の瞬目情報を計測する（ステップＳ１２）。次に、生理状態推定部４３は、当該瞬目情報に基づき、利用者の生理状態を推定する（ステップＳ１３）。ステップＳ１３における生理状態の推定例として、以下のようなものがあげられる。
例えば、瞬目回数の通常の平均値を毎分２０回とすると、
（１）計測された瞬目回数＜＝２０
→コンテンツに熱中している状態：生理状態を「集中状態」とする。
（２）（瞬目回数＞２０）＆（１〜２秒の間に数回の瞬目群発がある）
→覚醒水準（覚醒の程度）が低下している状態：生理状態を「居眠り状態」とする。
（３）瞬目の動特性（例えば、閉じたまぶたが開き始めてから開き終わるまでの時間）が所定値より長い
→疲労している状態：生理状態を「疲労状態」とする。
というように推定することができる。そして、生理状態推定部４３は、上述のように推定した生理状態を表示制御部５に出力する（ステップＳ１４）。
次に、表示制御部５は、出力された生理状態に応じて、画面の表示制御を行う。図６は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図６において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ２１）。当該判定の結果、集中状態であれば（ステップＳ２１でＹＥＳ）、表示制御部５は画面６の表示状態は変更せずに（ステップＳ２２）、表示制御処理を終了する。
一方、ステップＳ２１の判定の結果、集中状態でないときは（ステップＳ２１でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ２３）。当該判定の結果、疲労状態のときは（ステップＳ２３でＹＥＳ）、利用者の覚醒水準を高めるように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する。更に、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「疲労状態です」「輝度７０％→８５％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２４）。一方、疲労状態でないときは（ステップＳ２３でＮＯ）、利用者は居眠り状態であると推定されるため、表示制御部５は、画面６の輝度・コントラストを下げる。併せて、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「輝度７０％→５０％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２５）。これにより、利用者が居眠りをしていて画面をあまり注視していない状態のときは、画面の省電力化を図ることができる。また、画面の表示状態を変更した旨を利用者に伝えることもできる。
電子ブック１は、上述したような解析処理および表示制御処理を、１分毎に行う。すなわち、電子ブック１は、その動作中は１分毎に利用者の生理状態を推定し、その結果に応じて画面６の表示制御を行っていくことになる。以上で、第１の実施形態に係る表示制御処理は終了する。
このように、第１の実施形態では、利用者の生理状態を推定することにより、生理状態に応じて画面の表示制御を行うことができる。その結果、利用者が疲れているときは、画面の輝度を上げて見易くする等の制御を行うことができる。また、瞬目情報を用いているため、利用者の関心度合いや疲労状態や眠気等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
なお、表示制御の手法としては、上述の輝度・コントラスト調整の他に、画面の色調を変更しても良い。更に、画面に表示するコンテンツを拡大して表示してもよい。
また、表示制御に関して、画面の表示状態を現状のまま何も変化させない第１の表示モードと、画面のコントラスト、輝度、色調、および表示する画像の大きさのうち少なくともいずれか１つを変更する第２の表示モードと、上述したような利用者が疲労している旨のメッセージを表示する第３の表示モードとを電子ブック１に持たせておいてもよい。そして、表示制御部５は、上述した生理状態に応じて、上記３つの表示モードの切替えを行うようにしてもよい。
（第２の実施形態）
次に、図７から図１１を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、瞬目情報を用いて生理状態を推定している。これに対して、第２の実施形態では、瞬目情報の代りに瞳孔情報を用いて生理状態を推定する。
ここで、瞳孔と生理状態との関係について説明する。まず、瞳孔の大きさ（瞳孔径）に関して説明する。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。そして、瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは応答速度特性が異なり、高齢者のほうが反応が遅い。次に、瞳孔径の変化に関して説明する。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは眠くなってくると瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度や疲労状態等を推定することができる。
図７は、本発明の第２の実施形態に係る電子ブック１０の機能構成を示すブロック図である。本実施形態に係る電子ブック１０は、上述した第１の実施形態で図２を用いて説明した電子ブック１に明るさ検出部７を加えたものである。また、解析部が第１の実施形態と異なるため、解析部４０として区別する。第２の実施形態における他の構成部は、第１の実施形態と同様であるため、同一部位に同一の参照符号を付して詳細な説明を省略する。図７において、明るさ検出部７は、光センサー等で実現され、電子ブック１０の周囲の明るさを検出する。また、周囲の明るさの変化等に関する情報（以下、周囲光情報と称す）を解析部４０に出力する。
図８は、本発明の第２の実施形態に係る解析部４０の構成を示したブロック図である。図８において、解析部４０は、第１の実施形態で図３を用いて説明した解析部４の機能構成の瞬目計測部４２を瞳孔計測部４５に置き換えたものに相当し、他の構成部は、解析部４と同様である。従って、解析部４と同様の解析部４０の構成部については、同一の参照符号を付して詳細な説明を省略する。図８において、瞳孔計測部４５は、画像切り出し部４１が切り出した眼の付近の画像データから、瞳孔径等を計測し、瞳孔情報として生理状態推定部４３に出力する。
以下、本発明の第２の実施形態にかかる表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１０が起動する。電子ブック１０の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入する。コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容（例えば表紙）を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。
映像取得部２が撮像を開始してから１分後、解析部４０は以下に述べる解析処理を始める。図９は、解析部４０で行われる解析処理を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で上記眼領域画像を切り出す。併せて、明るさ検出部７は、過去１分間の周囲光情報を瞳孔計測部４５に出力する（ステップＳ３１）。
次に、瞳孔計測部４５は、瞳孔径や瞳孔の応答速度特性等の瞳孔情報を計測する（ステップＳ３２）。瞳孔径の計測方法としては、例えば、上記眼領域画像のコントラストを上げて黒い部分（黒目）と白い部分（白目）の面積等を計測する等の手法が考えられる。また、応答速度特性は、例えば電車に乗っていてトンネルの中から外に出たとき等の、明るさ検出部７が周囲の光量の変化を検出したときにおける瞳孔径の変化率を計測することが考えられる。そして、瞳孔計測部４５は、計測した瞳孔情報を生理状態推定部４３へ出力する。
次に、生理状態推定部４３は、瞳孔情報を基に利用者の生理状態を推定する（ステップＳ３３）。図１０は、上記ステップＳ３３で示した生理状態推定処理の詳細を示すフローチャートである。図１０において、まず、生理状態推定部４３は、電子ブックが起動してから本処理までの間に瞳孔径が６ｍｍを越えたことが一度でもあるか否かを判定する（ステップＳ４１）。一度でも６ｍｍを越えたことがあれば（ステップＳ４１でＹＥＳ）、高齢者ではないと考えられるため、利用者が高齢者か否かを示すフラグである老人瞳孔フラグをＯＦＦにする（ステップＳ４２）。一方、６ｍｍを一度も越えたことがなければ（ステップＳ４１でＮＯ）、老人瞳孔フラグをＯＮにする（ステップＳ４３）。
次に、生理状態推定部４３は、ステップＳ４１で切り出した眼領域画像のうち最新の画像における瞳孔径が３ｍｍ以下か否かを判定する（ステップＳ４４）。３ｍｍ以上のときは（ステップＳ４４でＹＥＳ）、生理状態推定部４３は、処理を次のステップＳ４５に進める。ステップＳ４５においては、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｆｆか否かを判定する（ステップＳ４５）。その結果、本条件を満たしていれば（ステップＳ４５でＹＥＳ）、生理状態推定部４３は、利用者の生理状態を疲労状態とする（ステップＳ４６）。一方、本条件を満たしていないとき（ステップＳ４５でＮＯ）は、生理状態推定部４３は、利用者の生理状態を居眠り状態とする（ステップＳ４７）。
一方、ステップＳ４４の判定の結果、瞳孔径が３ｍｍを越えているときは（ステップＳ４４でＮＯ）、生理状態推定部４３は、上記最新の画像における瞳孔径が５ｍｍより大きいか否かを判定する（ステップＳ４８）。当該判定の結果、５ｍｍより大きいときは（ステップＳ４８でＹＥＳ）、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｎか否かを判定する（ステップＳ４９）。当該条件を満たしているときは（ＹＥＳ）、生理状態推定部４３は、生理状態を老人覚醒状態とする（ステップＳ５０）。一方、本条件を満たしていないとき（ＮＯ）は、生理状態推定部４３は、生理状態を集中状態とする（ステップＳ５１）。ステップＳ４８の判定の結果、瞳孔径が５ｍｍ以下であれば（ステップＳ４８でＮＯ）、生理状態推定部４３は、生理状態を通常覚醒状態とする（ステップＳ５２）。以上で生理状態推定処理は終了する。
図９に戻り、生理状態推定部４３は、ステップＳ４２で推定した生理状態を表示制御部５に出力する（ステップＳ３４）。以上で、解析部４０における解析処理が終了する。
次に、表示制御部５は、出力された生理状態に応じて、画面６の表示制御処理を行う。図１１は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図１１において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ６１）。当該判定の結果、集中状態であれば（ステップＳ６１でＹＥＳ）、表示制御部５は画面６の表示状態は現状のままにして（ステップＳ６２）、表示制御処理を終了する。
一方、ステップＳ６１の判定の結果、集中状態でないときは（ステップＳ６１でＮＯ）、次に、表示制御部５は、生理状態が通常覚醒状態か否かを判定する（ステップＳ６３）。当該判定の結果、通常覚醒状態のときは（ステップＳ６３でＹＥＳ）、予め定められている若年者向けの輝度・コントラストでの画面表示の設定を行う（ステップＳ６４）。
一方、ステップＳ６３の判定の結果、通常覚醒状態でないときは（ステップＳ６３でＮＯ）、次に、表示制御部５は、生理状態が老人状態か否かを判定する（ステップＳ６５）。当該判定の結果、老人覚醒状態のときは（ステップＳ６５でＹＥＳ）、予め定められている高齢者向けの輝度・コントラスト設定を行う（ステップＳ６４）。ここで、高齢者は若年者よりも感度が落ちてくる（例えば、色覚機能の加齢効果により青系統の色に対する感度が低下する）ことに鑑みて、当該高齢者向けの設定内容には、若年者向けの設定に比べ相対的に高い値が用いられる。
一方、ステップＳ６５の判定の結果、老人覚醒状態でないときは（ステップＳ６５でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ６７）。当該判定の結果、疲労状態のときは（ステップＳ６７でＹＥＳ）、利用者が覚醒するように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する（ステップＳ６８）。一方、疲労状態でないときは（ステップＳ６７でＮＯ）、居眠り状態であるとして、表示制御部５は、画面６の省電力化を図るために輝度・コントラストを下げる（ステップＳ６９）。また、このとき、上述した第１の実施形態におけるステップＳ２４やＳ２５と同様に、輝度やコントラストを変更した旨のメッセージを画面６上に表示する。以上で、表示制御部５における表示制御処理が終了する。
このように、第２の実施形態では、瞳孔情報を用いて利用者の生理状態を推定することにより、利用者の生理状態に応じた表示制御ができる。また、瞳孔情報を用いているため、利用者の関心度合い、眼の疲労状態、眠気、利用者の年齢層等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
なお、上述した応答速度特性に基づいて高齢者か若年者かを判定するほか、事前に利用者の年齢を入力させて、老人瞳孔フラグのＯＮ／ＯＦＦを決定してもよい。
また、上記ステップＳ２５およびＳ６９における省電力化について、上述したように輝度やコントラストを下げる他、電子ブック１における電力供給の制御を行うようにしてもよい。例えば、電子ブック１の電力供給制御を管理する電力制御部を更に電子ブック１に設けておく。そして、上述のステップＳ２５およびＳ６９において、表示制御部５は、その時点で表示しているコンテンツのページ番号等の表示コンテンツ内容に関する情報を、図示しない揮発性メモリあるいはハードディスク等の記憶媒体に保持する。次に、電力制御部が画面６への電力供給を停止することで、省電力モードに移行するようにすればよい。その後、利用者が所定の操作を行うことにより、電力制御部は、画面６の電力供給を再開する（省電力モードの解除）。併せて、表示制御部５は、上記表示コンテンツ内容に関する情報に基づいて、省電力モード移行直前のコンテンツ内容を画面６に表示する。このような制御を行うことにより、利用者が居眠りをしていてコンテンツを読んでいないときには、画面６への電源供給を停止して、電子ブックの省電力化を図ることができる。また、省電力モード移行直前のコンテンツ内容に関する情報を保持しておくことで、再開動作の迅速化を図ることもできる。
更に、上記ステップＳ２５およびＳ６９における省電力化について、上記電力制御部は、電子ブック１自体の電源を落とす制御を行っても良い。上述した画面６への電力供給停止の場合は、上記揮発性メモリ等には電力が供給されつづけている。これに比べ、電子ブック１自体の電源を落とすことによって、より一層、電子ブック１の省電力化を図ることができる。なお、この場合は、電子ブック１の再起動が必要となるため、上述のような省電力モード直前のコンテンツの内容に関する情報に基づいた表示はできない。
また、上述した瞬目情報と瞳孔情報とを併用して利用者の生理情報を推定してもよい。これにより、より正確に利用者の生理状態を推定することができる。
また、上述したような電子ブック１に限らず、テレビやパソコンのモニタ、カーナビのモニタや携帯電話について、上記映像取得部２、解析部４、および表示制御部５を設けて、上述した解析処理や表示制御処理を行っても良い。この際、上記映像取得部２は、画面６近傍に搭載するようにすることが望ましい。一般に、コンテンツ等を視聴する際、利用者は画面６を見るため、画面６近傍にカメラを取り付けるようにすることで顔画像を撮像しやすくなるからである。図１２は、上述したようなカメラを搭載したテレビ１００の外観図である。図１２においては、画面６の上部に映像取得部２（カメラ）が搭載されている。なお、映像取得部２の搭載位置は、これに限らず、画面６の下部や、左側あるいは右側であっても良い。更には、複数のカメラを搭載して用いても良い。このようなテレビ１００においては、映像取得部２で利用者の顔を撮像し、上述したような生理状態の解析を行い、解析結果に応じて、上述したような表示制御処理を行うことで、画面６の輝度やコントラストを調整する。
図１３は、上記映像取得部２を搭載したカーナビゲーション装置１０１（以下、カーナビ）の外観図である。また、図１４は、上記映像取得部２を搭載したパソコン１０２の外観図である。また、図１５は、上記映像取得部２を搭載した携帯電話１０３の外観図である。いずれの場合も、上記テレビ１００と同様に映像取得部２で顔画像を撮像し、生理状態を解析して、解析結果に応じて、上述のように各画面６の表示制御処理を行う。なお、図１４における映像取得部２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを介して着脱可能である。
また、上記実施形態では、解析処理を一分毎に行っていたが、これに限らず、所定のタイミングで解析処理を行うようにしてもよい。例えば、上記電子ブック１の場合、顔画像の撮像は常時行うが、解析処理については、電子ブック１のページめくりボタンが押されたときやコンテンツ切替操作が行われたときに開始するようにしてもよい。また、解析の対象となるデータも、例えば、ページめくりボタンが押されてから３〜５分間で得られた映像データだけを解析するようにしてもよい。これは、以下のような理由による。視覚情報処理課題（テレビ視聴、電子ブック閲覧、運転、連続監視作業等）に従事してるときは、視覚情報の損失を防ぐために瞬目活動は一般に抑制される。しかし、この反動で、課題終了後の瞬目率は上昇すると共に、瞬目群発の個数も増加する。そこで、コンテンツを連続してみているときのデータは解析せずに、操作ボタンの入力等が起こった際の、視覚情報処理課題が終了したタイミングからのデータを取得して、上記解析処理を行うものである。これによって、より一層効率的な処理を行うことができる。上記テレビ１００の場合であれば、例えば、音声信号のステレオ／モノラルの切り替わりを検出することで番組からＣＭに入ったことを検出するようなＣＭ検出手段を設けておく。そして、ＣＭが検出されたときから１分〜３分間の映像データについて上記解析処理を行い、その結果に応じて上記表示制御処理を行うようにすればよい。これは、メインのコンテンツ（番組など）からＣＭに切り替わったときが、視覚情報処理課題が終了したタイミングと考えられるからである。
また、上記カーナビ１０１の場合は、例えば、速度センサを用いて車の速度を検出する速度検出手段を設ける。そして、速度が０のとき、すなわち車が停止したタイミングで、上記解析処理を行うようにすればよい。これは、運転中は、一般に進行方向を見ており、カーナビを見るのは、信号待ち等の車が停止しているときであると考えられるからである。すなわち、車が停止したタイミングが、視覚情報処理課題が終了したタイミングであると考えられるため、このタイミングで上記解析処理を行うものである。また、例えば、渋滞のときのように、速度が所定値以下になった状態が一定時間継続しているときに行うようにしても良い。渋滞中は、視覚情報処理課題に従事していなくとも、疲れが溜まりやすいからである。
また、例えば、パソコン１０２でＣＡＤソフトを使用している場合は、利用者が作業対象である図面（のデータ）を別の図面に切り替えたタイミングで上記解析処理を行うようにすればよい。当該タイミングが視覚情報処理課題が終了したタイミングであると考えられるためである。
また、映像取得部２による顔画像の撮像も、常時行わずに、上記解析処理を行うタイミングに併せるようにしてもよい。これにより、処理負荷の軽減や消費電力の抑制を図ることができる。
本発明にかかるおよび電子表示媒体は、人間の生理状態に応じた表示制御ができ、特に高齢者に適した電子表示媒体として有用である。
本発明は、電子表示媒体に関する発明であって、より特定的には、電子表示媒体の画面表示制御に関する発明である。
近年、電子表示媒体の解像度やコントラストなどハード面の性能の向上と価格の低下、及び紙を使わないというエコロジーの観点から、単行本などを携帯用の表示装置に表示して読むための電子表示装置、いわゆる電子ブックが市販されている（例えば、特許文献１）。
特開２００３−１９６０１２号公報
しかしながら、上述したような上記特許文献１に開示された電子ブックにおいては、画面のコントラストや輝度の調整を利用者が自分で行う必要がある。そのため、輝度等の調整操作を行わないまま長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、例えば輝度が変化していないにも関わらず画面が暗く感じ、文字が読みにくくなってくる、あるいは疲労の蓄積による眠気を感じて集中して読むことができない、等の状態になる。更に、電子ブックに限らず、テレビの視聴やパソコン、携帯電話の画面など、電子表示媒体をずっと見続けているとき（視覚情報処理課題に従事しているとき）も、視覚情報（コンテンツ等、画面に表示される内容）の損失を防ぐため、瞬目（瞬き）活動は一般に抑制される。そのため、長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、画面に表示されている画像や文字が見えにくくなってくる、あるいは疲労の蓄積による眠気を感じてくる、等の状態となる。
それ故に、本発明の目的は、利用者の生理状態を推定し、生理状態に応じてコントラストや輝度等の表示制御を行う電子表示媒体を提供することである。
上記目的を達成するために、本発明は以下のような構成を採用した。
本発明の第１の発明は、コンテンツを表示する画面と、利用者の顔画像を撮像する映像取得部と、映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、コンテンツを表示している画面の表示状態を解析部が推定した生理状態に応じて制御する表示制御部とを備え、解析部は、視覚情報処理課題を終了したときに生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体である。なお、ここでいう電子表示媒体とは、電子ブック、テレビ、パソコン、カーナビゲーション装置や携帯電話等が相当する。また、画面の表示状態の制御とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の制御には含まれない。また、視覚情報処理課題とは、テレビ視聴、電子ブック閲覧、運転、連続監視作業等の、視覚情報処理の対象となる課題をいう。また、その終了時とは、テレビ番組がＣＭに入ったときや、電子ブックのページめくり操作を行ったとき、運転中に信号で停止したとき等の、一連の視覚情報処理が途切れるタイミングをいう。
本発明の第２の発明は、第１の発明において、電子表示媒体は、さらにコンテンツを切り替える操作ボタンを備え、解析部は、操作ボタンからの入力があったときを視覚情報処理課題が終了したときとして生理情報の取得を開始する。
本発明の第３の発明は、第１の発明において、画面は、コンテンツとして、番組とＣＭとを選択的に表示し、電子表示媒体は、さらに番組からＣＭへとコンテンツが切り替わったことを検出するＣＭ検出手段を備え、解析部は、番組からＣＭへとコンテンツが切り替わったときを視覚情報処理課題が終了したときとして生理情報の取得を開始する。
本発明の第４の発明は、利用者の顔画像を撮像する映像取得ステップと、映像取得ステップが撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、コンテンツを表示している画面の表示状態を解析ステップが推定した生理状態に応じて制御する表示制御ステップとを備え、解析ステップは、視覚情報処理課題を終了したときに生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体に用いられる画面表示制御方法である。
上記第１の発明によれば、利用者の顔画像から利用者の生理状態を推定し、推定した生理状態に応じて画面の表示制御を行う。そのため、利用者の生理状態に応じて電子表示媒体の可読性、視認性を向上させることができる。
また、視覚情報処理課題の終了時に解析処理を行うことができ、処理負荷を軽減しつつ、より効果的に生理状態の解析を行うことが可能となる。
上記第２乃至第３の発明によれば、第１の発明と同様の効果が得られる。
また、本発明の電子表示媒体に用いられる画面表示制御方法によれば、上記第１の発明と同様の効果を得ることができる。
以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子表示媒体の一例である電子ブックの概観図である。また、図２は、本発明の第１の実施形態に係る電子ブックの機能構成を示すブロック図である。図２において、電子ブック１は、映像取得部２、コンテンツ取得部３、解析部４、表示制御部５、画面６とを備えている。
映像取得部２は、電子ブック１の利用者の顔を撮像し、映像データとして解析部４へ出力するものであって、典型的にはカメラである。好ましい例として、映像取得部２は、例えば低照度時に対応すべく、利用者の顔を照明する発光部を備えていても良い。また、当該発光部の光源としては、利用者にまぶしさを与えないようにするため、近赤外光を用いることが考えられる。
コンテンツ取得部３は、例えばＣＤ−ＲＯＭやメモリーカード等の可搬性記憶媒体からコンテンツを読み出し、表示制御部５に出力する。また、外部との通信が可能な通信部（図示せず）を設け、アンテナなどを介して、外部からコンテンツを入手してもよい。
解析部４は、映像取得部２が撮像した利用者の画像を解析し、生理状態を推定する。また、解析部４は、推定した生理状態を解析結果として表示制御部５へ出力する。
表示制御部５は、上記取得したコンテンツを画面６に表示する。また、図示しない操作部を通じて入力されるユーザからの指示を受け、コンテンツのページめくり動作等を行う。また、上記解析部４による解析結果に基づいて画面６の輝度・コントラストの調整等の画面表示制御を行う。
画面６は、反射型液晶ディスプレイ等が該当する。ここでは、電子表示媒体の一例として電子ブックをあげているが、電子表示媒体がテレビやパソコンであれば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等も該当する。
図３は、解析部４の機能構成を示すブロック図である。解析部４は、画像切り出し部４１、瞬目計測部４２、および生理状態推定部４３を備えている。画像切り出し部４１は、映像取得部２から出力される映像データから、目付近の小領域の画像データを抽出する。瞬目計測部４２は、画像切り出し部４１が切り出した眼の付近の画像データから、眼の開き度合いを表す上下まぶたの間隔（以下、眼の開度と称す）を計測する。また、瞬目計測部４２は、１フレームごとの眼の開度を計測し、目の開度の時間変化を示す波形（以下、瞬目波形と称す；図５参照）を作成する。生理状態推定部４３は、上記瞬目波形に基づいて利用者の生理状態を推定し、解析結果として表示制御部５へ出力する。
本実施形態では、電子ブック１が起動すると共に、カメラ（映像取得部２）が利用者の顔の撮像を開始する。電子ブック１動作中は、１分毎に、その直前１分間の利用者の映像を解析し、瞬目情報を用いて生理状態を推測する。そして、当該生理状態に応じて、画面の表示状態を変化させる。すなわち、電子ブック１は、１分毎に利用者の生理状態に応じて画面の表示状態を変えていく。なお、ここでいう画面の表示状態の変化（画面表示制御）とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の変化には含まれない。
ここで、生理状態の推定に瞬目情報を用いる理由を説明する。例えば、テレビ観視時には、瞬目回数は顕著に低下する。しかも、テレビ番組が面白い、すなわち興味・関心の度合いが高いときほど瞬目が少なくなる。つまり、関心度の高いものを見ているときは、瞬目回数は少なくなる。また、緊張や作業が長時間続くと、瞼が重い、あるいは眼を開けているのがつらく感じられるようになる。このような場合、すなわち、疲労している状態のときは、瞼が閉じるまでの時間、あるいは瞼が開くまでの時間が有意に長くなる。また、眠くなってきたときは、１〜２秒間の間に数回の瞬目が連続的に発生（これは、瞬目群発と呼ばれる）するようになる。以上のような瞬目の特性を計測すれば、利用者がコンテンツに集中しているか、読み疲れてきているか、あるいは眠い状態なのか等を推定することができる。
以下、図４〜図６を用いて、電子ブックが行う表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１が起動する。電子ブック１の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入するのを受け、コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。ここで、例えば上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に虹彩、白目、まぶたなどの皮膚、の順に明るくなる。そのため、この明るさの差を利用して瞳孔やまぶた等を識別することが可能となる。
映像取得部２が撮像を開始してから１分後、解析部４は以下に述べる解析処理を始める。図４は、解析部４が行う解析処理の詳細を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間分の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で眼の付近の領域の画像（以下、眼領域画像）を切り出す（ステップＳ１１）。
次に、瞬目計測部４２は、上述したような明るさの差を利用して、眼領域画像から眼の開度（眼の開き度合いを表す上下まぶたの間隔）を計測し、上述した瞬目波形を作成する。図５は、瞬目波形の一例である。利用者がまばたきを行うと、目の開度は一瞬小さくなる。そのため、図５において、まばたきした区間は、下向きのパルス状の部分として検出することができる。そして、瞬目計測部４２は、瞬目波形から、瞬目回数、瞬目間隔、瞬目の動特性（１回のまばたきにおいて、まぶたが閉じ始めてから完全に閉じるまでの時間や、閉じたまぶたが開き始めてから開き終わるまでの時間）等の瞬目情報を計測する（ステップＳ１２）。次に、生理状態推定部４３は、当該瞬目情報に基づき、利用者の生理状態を推定する（ステップＳ１３）。ステップＳ１３における生理状態の推定例として、以下のようなものがあげられる。
例えば、瞬目回数の通常の平均値を毎分２０回とすると、
（１）計測された瞬目回数＜＝２０
→コンテンツに熱中している状態：生理状態を「集中状態」とする。
（２）（瞬目回数＞２０）＆（１〜２秒の間に数回の瞬目群発がある）
→覚醒水準（覚醒の程度）が低下している状態：生理状態を「居眠り状態」とする。
（３）瞬目の動特性（例えば、閉じたまぶたが開き始めてから開き終わるまでの時間）が所定値より長い
→疲労している状態：生理状態を「疲労状態」とする。
というように推定することができる。そして、生理状態推定部４３は、上述のように推定した生理状態を表示制御部５に出力する（ステップＳ１４）。
次に、表示制御部５は、出力された生理状態に応じて、画面の表示制御を行う。図６は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図６において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ２１）。当該判定の結果、集中状態であれば（ステップＳ２１でＹＥＳ）、表示制御部５は画面６の表示状態は変更せずに（ステップＳ２２）、表示制御処理を終了する。
一方、ステップＳ２１の判定の結果、集中状態でないときは（ステップＳ２１でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ２３）。当該判定の結果、疲労状態のときは（ステップＳ２３でＹＥＳ）、利用者の覚醒水準を高めるように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する。更に、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「疲労状態です」「輝度７０％→８５％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２４）。一方、疲労状態でないときは（ステップＳ２３でＮＯ）、利用者は居眠り状態であると推定されるため、表示制御部５は、画面６の輝度・コントラストを下げる。併せて、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「輝度７０％→５０％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２５）。これにより、利用者が居眠りをしていて画面をあまり注視していない状態のときは、画面の省電力化を図ることができる。また、画面の表示状態を変更した旨を利用者に伝えることもできる。
電子ブック１は、上述したような解析処理および表示制御処理を、１分毎に行う。すなわち、電子ブック１は、その動作中は１分毎に利用者の生理状態を推定し、その結果に応じて画面６の表示制御を行っていくことになる。以上で、第１の実施形態に係る表示制御処理は終了する。
このように、第１の実施形態では、利用者の生理状態を推定することにより、生理状態に応じて画面の表示制御を行うことができる。その結果、利用者が疲れているときは、画面の輝度を上げて見易くする等の制御を行うことができる。また、瞬目情報を用いているため、利用者の関心度合いや疲労状態や眠気等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
なお、表示制御の手法としては、上述の輝度・コントラスト調整の他に、画面の色調を変更しても良い。更に、画面に表示するコンテンツを拡大して表示してもよい。
また、表示制御に関して、画面の表示状態を現状のまま何も変化させない第１の表示モードと、画面のコントラスト、輝度、色調、および表示する画像の大きさのうち少なくともいずれか１つを変更する第２の表示モードと、上述したような利用者が疲労している旨のメッセージを表示する第３の表示モードとを電子ブック１に持たせておいてもよい。そして、表示制御部５は、上述した生理状態に応じて、上記３つの表示モードの切替えを行うようにしてもよい。
（第２の実施形態）
次に、図７から図１１を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、瞬目情報を用いて生理状態を推定している。これに対して、第２の実施形態では、瞬目情報の代りに瞳孔情報を用いて生理状態を推定する。
ここで、瞳孔と生理状態との関係について説明する。まず、瞳孔の大きさ（瞳孔径）に関して説明する。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。そして、瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは応答速度特性が異なり、高齢者のほうが反応が遅い。次に、瞳孔径の変化に関して説明する。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは眠くなってくると瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度や疲労状態等を推定することができる。
図７は、本発明の第２の実施形態に係る電子ブック１０の機能構成を示すブロック図である。本実施形態に係る電子ブック１０は、上述した第１の実施形態で図２を用いて説明した電子ブック１に明るさ検出部７を加えたものである。また、解析部が第１の実施形態と異なるため、解析部４０として区別する。第２の実施形態における他の構成部は、第１の実施形態と同様であるため、同一部位に同一の参照符号を付して詳細な説明を省略する。図７において、明るさ検出部７は、光センサー等で実現され、電子ブック１０の周囲の明るさを検出する。また、周囲の明るさの変化等に関する情報（以下、周囲光情報と称す）を解析部４０に出力する。
図８は、本発明の第２の実施形態に係る解析部４０の構成を示したブロック図である。図８において、解析部４０は、第１の実施形態で図３を用いて説明した解析部４の機能構成の瞬目計測部４２を瞳孔計測部４５に置き換えたものに相当し、他の構成部は、解析部４と同様である。従って、解析部４と同様の解析部４０の構成部については、同一の参照符号を付して詳細な説明を省略する。図８において、瞳孔計測部４５は、画像切り出し部４１が切り出した眼の付近の画像データから、瞳孔径等を計測し、瞳孔情報として生理状態推定部４３に出力する。
以下、本発明の第２の実施形態にかかる表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１０が起動する。電子ブック１０の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入する。コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容（例えば表紙）を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。
映像取得部２が撮像を開始してから１分後、解析部４０は以下に述べる解析処理を始める。図９は、解析部４０で行われる解析処理を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で上記眼領域画像を切り出す。併せて、明るさ検出部７は、過去１分間の周囲光情報を瞳孔計測部４５に出力する（ステップＳ３１）。
次に、瞳孔計測部４５は、瞳孔径や瞳孔の応答速度特性等の瞳孔情報を計測する（ステップＳ３２）。瞳孔径の計測方法としては、例えば、上記眼領域画像のコントラストを上げて黒い部分（黒目）と白い部分（白目）の面積等を計測する等の手法が考えられる。また、応答速度特性は、例えば電車に乗っていてトンネルの中から外に出たとき等の、明るさ検出部７が周囲の光量の変化を検出したときにおける瞳孔径の変化率を計測することが考えられる。そして、瞳孔計測部４５は、計測した瞳孔情報を生理状態推定部４３へ出力する。
次に、生理状態推定部４３は、瞳孔情報を基に利用者の生理状態を推定する（ステップＳ３３）。図１０は、上記ステップＳ３３で示した生理状態推定処理の詳細を示すフローチャートである。図１０において、まず、生理状態推定部４３は、電子ブックが起動してから本処理までの間に瞳孔径が６ｍｍを越えたことが一度でもあるか否かを判定する（ステップＳ４１）。一度でも６ｍｍを越えたことがあれば（ステップＳ４１でＹＥＳ）、高齢者ではないと考えられるため、利用者が高齢者か否かを示すフラグである老人瞳孔フラグをＯＦＦにする（ステップＳ４２）。一方、６ｍｍを一度も越えたことがなければ（ステップＳ４１でＮＯ）、老人瞳孔フラグをＯＮにする（ステップＳ４３）。
次に、生理状態推定部４３は、ステップＳ４１で切り出した眼領域画像のうち最新の画像における瞳孔径が３ｍｍ以下か否かを判定する（ステップＳ４４）。３ｍｍ以上のときは（ステップＳ４４でＹＥＳ）、生理状態推定部４３は、処理を次のステップＳ４５に進める。ステップＳ４５においては、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｆｆか否かを判定する（ステップＳ４５）。その結果、本条件を満たしていれば（ステップＳ４５でＹＥＳ）、生理状態推定部４３は、利用者の生理状態を疲労状態とする（ステップＳ４６）。一方、本条件を満たしていないとき（ステップＳ４５でＮＯ）は、生理状態推定部４３は、利用者の生理状態を居眠り状態とする（ステップＳ４７）。
一方、ステップＳ４４の判定の結果、瞳孔径が３ｍｍを越えているときは（ステップＳ４４でＮＯ）、生理状態推定部４３は、上記最新の画像における瞳孔径が５ｍｍより大きいか否かを判定する（ステップＳ４８）。当該判定の結果、５ｍｍより大きいときは（ステップＳ４８でＹＥＳ）、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｎか否かを判定する（ステップＳ４９）。当該条件を満たしているときは（ＹＥＳ）、生理状態推定部４３は、生理状態を老人覚醒状態とする（ステップＳ５０）。一方、本条件を満たしていないとき（ＮＯ）は、生理状態推定部４３は、生理状態を集中状態とする（ステップＳ５１）。ステップＳ４８の判定の結果、瞳孔径が５ｍｍ以下であれば（ステップＳ４８でＮＯ）、生理状態推定部４３は、生理状態を通常覚醒状態とする（ステップＳ５２）。以上で生理状態推定処理は終了する。
図９に戻り、生理状態推定部４３は、ステップＳ４２で推定した生理状態を表示制御部５に出力する（ステップＳ３４）。以上で、解析部４０における解析処理が終了する。
次に、表示制御部５は、出力された生理状態に応じて、画面６の表示制御処理を行う。図１１は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図１１において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ６１）。当該判定の結果、集中状態であれば（ステップＳ６１でＹＥＳ）、表示制御部５は画面６の表示状態は現状のままにして（ステップＳ６２）、表示制御処理を終了する。
一方、ステップＳ６１の判定の結果、集中状態でないときは（ステップＳ６１でＮＯ）、次に、表示制御部５は、生理状態が通常覚醒状態か否かを判定する（ステップＳ６３）。当該判定の結果、通常覚醒状態のときは（ステップＳ６３でＹＥＳ）、予め定められている若年者向けの輝度・コントラストでの画面表示の設定を行う（ステップＳ６４）。
一方、ステップＳ６３の判定の結果、通常覚醒状態でないときは（ステップＳ６３でＮＯ）、次に、表示制御部５は、生理状態が老人状態か否かを判定する（ステップＳ６５）。当該判定の結果、老人覚醒状態のときは（ステップＳ６５でＹＥＳ）、予め定められている高齢者向けの輝度・コントラスト設定を行う（ステップＳ６４）。ここで、高齢者は若年者よりも感度が落ちてくる（例えば、色覚機能の加齢効果により青系統の色に対する感度が低下する）ことに鑑みて、当該高齢者向けの設定内容には、若年者向けの設定に比べ相対的に高い値が用いられる。
一方、ステップＳ６５の判定の結果、老人覚醒状態でないときは（ステップＳ６５でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ６７）。当該判定の結果、疲労状態のときは（ステップＳ６７でＹＥＳ）、利用者が覚醒するように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する（ステップＳ６８）。一方、疲労状態でないときは（ステップＳ６７でＮＯ）、居眠り状態であるとして、表示制御部５は、画面６の省電力化を図るために輝度・コントラストを下げる（ステップＳ６９）。また、このとき、上述した第１の実施形態におけるステップＳ２４やＳ２５と同様に、輝度やコントラストを変更した旨のメッセージを画面６上に表示する。以上で、表示制御部５における表示制御処理が終了する。
このように、第２の実施形態では、瞳孔情報を用いて利用者の生理状態を推定することにより、利用者の生理状態に応じた表示制御ができる。また、瞳孔情報を用いているため、利用者の関心度合い、眼の疲労状態、眠気、利用者の年齢層等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
なお、上述した応答速度特性に基づいて高齢者か若年者かを判定するほか、事前に利用者の年齢を入力させて、老人瞳孔フラグのＯＮ／ＯＦＦを決定してもよい。
また、上記ステップＳ２５およびＳ６９における省電力化について、上述したように輝度やコントラストを下げる他、電子ブック１における電力供給の制御を行うようにしてもよい。例えば、電子ブック１の電力供給制御を管理する電力制御部を更に電子ブック１に設けておく。そして、上述のステップＳ２５およびＳ６９において、表示制御部５は、その時点で表示しているコンテンツのページ番号等の表示コンテンツ内容に関する情報を、図示しない揮発性メモリあるいはハードディスク等の記憶媒体に保持する。次に、電力制御部が画面６への電力供給を停止することで、省電力モードに移行するようにすればよい。その後、利用者が所定の操作を行うことにより、電力制御部は、画面６の電力供給を再開する（省電力モードの解除）。併せて、表示制御部５は、上記表示コンテンツ内容に関する情報に基づいて、省電力モード移行直前のコンテンツ内容を画面６に表示する。このような制御を行うことにより、利用者が居眠りをしていてコンテンツを読んでいないときには、画面６への電源供給を停止して、電子ブックの省電力化を図ることができる。また、省電力モード移行直前のコンテンツ内容に関する情報を保持しておくことで、再開動作の迅速化を図ることもできる。
更に、上記ステップＳ２５およびＳ６９における省電力化について、上記電力制御部は、電子ブック１自体の電源を落とす制御を行っても良い。上述した画面６への電力供給停止の場合は、上記揮発性メモリ等には電力が供給されつづけている。これに比べ、電子ブック１自体の電源を落とすことによって、より一層、電子ブック１の省電力化を図ることができる。なお、この場合は、電子ブック１の再起動が必要となるため、上述のような省電力モード直前のコンテンツの内容に関する情報に基づいた表示はできない。
また、上述した瞬目情報と瞳孔情報とを併用して利用者の生理情報を推定してもよい。これにより、より正確に利用者の生理状態を推定することができる。
また、上述したような電子ブック１に限らず、テレビやパソコンのモニタ、カーナビのモニタや携帯電話について、上記映像取得部２、解析部４、および表示制御部５を設けて、上述した解析処理や表示制御処理を行っても良い。この際、上記映像取得部２は、画面６近傍に搭載するようにすることが望ましい。一般に、コンテンツ等を視聴する際、利用者は画面６を見るため、画面６近傍にカメラを取り付けるようにすることで顔画像を撮像しやすくなるからである。図１２は、上述したようなカメラを搭載したテレビ１００の外観図である。図１２においては、画面６の上部に映像取得部２（カメラ）が搭載されている。なお、映像取得部２の搭載位置は、これに限らず、画面６の下部や、左側あるいは右側であっても良い。更には、複数のカメラを搭載して用いても良い。このようなテレビ１００においては、映像取得部２で利用者の顔を撮像し、上述したような生理状態の解析を行い、解析結果に応じて、上述したような表示制御処理を行うことで、画面６の輝度やコントラストを調整する。
図１３は、上記映像取得部２を搭載したカーナビゲーション装置１０１（以下、カーナビ）の外観図である。また、図１４は、上記映像取得部２を搭載したパソコン１０２の外観図である。また、図１５は、上記映像取得部２を搭載した携帯電話１０３の外観図である。いずれの場合も、上記テレビ１００と同様に映像取得部２で顔画像を撮像し、生理状態を解析して、解析結果に応じて、上述のように各画面６の表示制御処理を行う。なお、図１４における映像取得部２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを介して着脱可能である。
また、上記実施形態では、解析処理を一分毎に行っていたが、これに限らず、所定のタイミングで解析処理を行うようにしてもよい。例えば、上記電子ブック１の場合、顔画像の撮像は常時行うが、解析処理については、電子ブック１のページめくりボタンが押されたときやコンテンツ切替操作が行われたときに開始するようにしてもよい。また、解析の対象となるデータも、例えば、ページめくりボタンが押されてから３〜５分間で得られた映像データだけを解析するようにしてもよい。これは、以下のような理由による。視覚情報処理課題（テレビ視聴、電子ブック閲覧、運転、連続監視作業等）に従事してるときは、視覚情報の損失を防ぐために瞬目活動は一般に抑制される。しかし、この反動で、課題終了後の瞬目率は上昇すると共に、瞬目群発の個数も増加する。そこで、コンテンツを連続してみているときのデータは解析せずに、操作ボタンの入力等が起こった際の、視覚情報処理課題が終了したタイミングからのデータを取得して、上記解析処理を行うものである。これによって、より一層効率的な処理を行うことができる。上記テレビ１００の場合であれば、例えば、音声信号のステレオ／モノラルの切り替わりを検出することで番組からＣＭに入ったことを検出するようなＣＭ検出手段を設けておく。そして、ＣＭが検出されたときから１分〜３分間の映像データについて上記解析処理を行い、その結果に応じて上記表示制御処理を行うようにすればよい。これは、メインのコンテンツ（番組など）からＣＭに切り替わったときが、視覚情報処理課題が終了したタイミングと考えられるからである。
また、上記カーナビ１０１の場合は、例えば、速度センサを用いて車の速度を検出する速度検出手段を設ける。そして、速度が０のとき、すなわち車が停止したタイミングで、上記解析処理を行うようにすればよい。これは、運転中は、一般に進行方向を見ており、カーナビを見るのは、信号待ち等の車が停止しているときであると考えられるからである。すなわち、車が停止したタイミングが、視覚情報処理課題が終了したタイミングであると考えられるため、このタイミングで上記解析処理を行うものである。また、例えば、渋滞のときのように、速度が所定値以下になった状態が一定時間継続しているときに行うようにしても良い。渋滞中は、視覚情報処理課題に従事していなくとも、疲れが溜まりやすいからである。
また、例えば、パソコン１０２でＣＡＤソフトを使用している場合は、利用者が作業対象である図面（のデータ）を別の図面に切り替えたタイミングで上記解析処理を行うようにすればよい。当該タイミングが視覚情報処理課題が終了したタイミングであると考えられるためである。
また、映像取得部２による顔画像の撮像も、常時行わずに、上記解析処理を行うタイミングに併せるようにしてもよい。これにより、処理負荷の軽減や消費電力の抑制を図ることができる。
本発明にかかるおよび電子表示媒体は、人間の生理状態に応じた表示制御ができ、特に高齢者に適した電子表示媒体として有用である。
本発明の第１の実施形態に係る電子ブック１の外観図 本発明の第１の実施形態に係る電子ブック１を示す機能ブロック図 図１の解析部４の機能構成を示すブロック図 本発明の第１の実施形態に係る解析処理を示すフローチャート 瞬目波形の一例を示す図 本発明の第１の実施形態に係る表示制御処理を示すフローチャート 本発明の第２の実施形態に係る電子ブック１を示す機能ブロック図 図６の解析部４０の機能構成を示すブロック図 本発明の第２の実施形態に係る解析処理を示すフローチャート 図８のステップＳ３３で示した生理状態推定処理の詳細を示したフローチャート 本発明の第２の実施形態に係る表示制御処理を示すフローチャート 本発明の実施形態に係るテレビの外観図 本発明の実施形態に係るカーナビゲーション装置の外観図 本発明の実施形態に係るパソコンの外観図 本発明の実施形態に係る携帯電話の外観図
符号の説明
１ 電子ブック
２ 映像取得部
３ コンテンツ取得部
４ 解析部
５ 表示制御部
６ 画面
７ 明るさ検出部
１０ 電子ブック
４０ 解析部
４１ 画像切り出し部
４２ 瞬目計測部
４３ 生理状態推定部
４５ 瞳孔計測部
１００ テレビ
１０１ カーナビゲーション装置
１０２ パソコン
１０３ 携帯電話

Claims (12)

  1. コンテンツを表示する画面と、
    利用者の顔画像を撮像する映像取得部と、
    前記映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、
    コンテンツを表示している前記画面の表示状態を前記解析部が推定した生理状態に応じて制御する表示制御部とを備える電子表示媒体。
  2. 周囲光の明るさを検出する周囲光検出部を更に備え、
    前記表示制御部は、前記解析部が推定した生理状態と周囲光の明るさとに基づいて前記画面の表示状態の制御を行うことを特徴とする、請求項１記載の電子表示媒体。
  3. 前記解析部が推定した生理状態に応じて省電力モードに移行または前記電子表示媒体の電源を落とす手段を更に備えることを特徴とする、請求項１記載の電子表示媒体。
  4. 前記解析部は、
    前記顔画像から眼の付近の領域の画像を切り出す画像切り出し部と、
    前記画像切り出し部が切り出した画像から眼球および眼球の周辺器官の運動あるいは変化に関する眼情報を計測する眼情報計測部と、
    前記眼情報計測部が計測した前記眼情報を解析して人間の生理状態を推定する生理状態推定部とを含むことを特徴とする、請求項１記載の電子表示媒体。
  5. 前記眼情報計測部は、瞬目に関する情報である瞬目情報を眼情報として計測することを特徴とする、請求項４記載の電子表示媒体。
  6. 前記瞬目情報は、少なくとも瞬目回数あるいは眼が閉じるまでの時間および開くまでの時間を含むことを特徴とする請求項５記載の電子表示媒体。
  7. 前記眼情報計測部は、瞳孔に関する情報である瞳孔情報を眼情報として計測することを特徴とする、請求項４記載の電子表示媒体。
  8. 前記瞳孔情報は、少なくとも瞳孔径あるいは瞳孔径の変化率を含むことを特徴とする、請求項７記載の電子表示媒体。
  9. 前記表示制御部は、前記画面の表示状態を変化させない第１の出力モードと、前記画面のコントラスト、輝度、色調、表示する画像および文字の大きさのうち少なくともいずれか１つを変更する第２の出力モードと、前記画面に所定のメッセージを表示する第３の出力モードとの間で出力モードを前記解析部が推定した生理状態に応じて切り替えることを特徴とする、請求項１記載の電子表示媒体。
  10. 前記解析部は、所定のタイミングで前記生理情報を取得し、解析して前記利用者の生理状態を推定する、請求項１に記載の電子表示媒体。
  11. 前記所定のタイミングは、視覚情報処理課題の終了時である、請求項１１に記載の電子表示媒体。
  12. 利用者の顔画像を撮像する映像取得ステップと、
    前記映像取得ステップで撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、
    電子書籍コンテンツを表示している画面の表示状態を前記解析ステップで推定した生理状態に応じて制御する表示制御ステップとを有する、電子表示媒体に用いられる画面表示制御方法。
JP2007505911A 2005-03-01 2006-02-27 電子表示媒体および電子表示媒体に用いられる画面表示制御方法 Expired - Fee Related JP4896002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007505911A JP4896002B2 (ja) 2005-03-01 2006-02-27 電子表示媒体および電子表示媒体に用いられる画面表示制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005056008 2005-03-01
JP2005056008 2005-03-01
JP2007505911A JP4896002B2 (ja) 2005-03-01 2006-02-27 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
PCT/JP2006/303558 WO2006093074A1 (ja) 2005-03-01 2006-02-27 電子表示媒体および電子表示媒体に用いられる画面表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2006093074A1 true JPWO2006093074A1 (ja) 2008-08-07
JP4896002B2 JP4896002B2 (ja) 2012-03-14

Family

ID=36941103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007505911A Expired - Fee Related JP4896002B2 (ja) 2005-03-01 2006-02-27 電子表示媒体および電子表示媒体に用いられる画面表示制御方法

Country Status (4)

Country Link
US (1) US8184132B2 (ja)
JP (1) JP4896002B2 (ja)
CN (1) CN101133438B (ja)
WO (1) WO2006093074A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843091B1 (ko) 2006-11-08 2008-07-02 삼성전자주식회사 문자 처리 장치 및 방법
TW200931297A (en) * 2008-01-04 2009-07-16 Compal Communications Inc Control apparatus and method
US8797441B2 (en) 2009-01-30 2014-08-05 Apple Inc. Continuous illumination of backlit display and of subject for image capture
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
JP5263092B2 (ja) * 2009-09-07 2013-08-14 ソニー株式会社 表示装置および制御方法
NO20092975A1 (no) * 2009-09-09 2011-01-10 Nimrod As Sammenfoldbart elektronisk lesebrett
BR112012010381A2 (pt) * 2009-11-04 2019-09-24 Koninl Philips Electronics Nv método de provisão de uma combinação entre dados de vídeo e metadados, sistema para a de provisão de uma combinação entre dados de vídeo e metadados, sinal, método de processamento de um sinal, sistema para o processamento de um sinal, e, programa de computador
US20110115766A1 (en) * 2009-11-16 2011-05-19 Sharp Laboratories Of America,Inc. Energy efficient display system
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
TWI497247B (zh) * 2010-01-28 2015-08-21 Chi Mei Comm Systems Inc 實現亮度調節的資料處理設備及方法
JP4783470B1 (ja) 2010-05-21 2011-09-28 株式会社東芝 電子機器
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
US8963987B2 (en) 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
CN102270427B (zh) * 2010-06-04 2014-10-29 英华达(上海)电子有限公司 增强电子书阅读效果的方法和装置、电子终端
JP2012022150A (ja) * 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
JP4843741B2 (ja) * 2011-05-25 2011-12-21 株式会社東芝 電子機器
JP5915000B2 (ja) * 2011-06-13 2016-05-11 ソニー株式会社 情報処理装置及びプログラム
CN103974656B (zh) * 2011-09-05 2016-10-12 富山县 瞌睡检测方法和设备
CN102314848A (zh) * 2011-09-09 2012-01-11 深圳Tcl新技术有限公司 液晶显示装置背光控制方法和系统
US20130195204A1 (en) 2012-01-19 2013-08-01 Vid Scale Inc. Methods and Systems for Video Delivery Supporting Adaptation to Viewing Conditions
US8937591B2 (en) * 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
KR101526351B1 (ko) * 2012-07-20 2015-06-05 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
CN102819403A (zh) * 2012-08-28 2012-12-12 广东欧珀移动通信有限公司 一种终端设备的人机交互方法及其终端设备
DE102013001380B4 (de) 2013-01-26 2018-04-26 Audi Ag Verfahren zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens und System mit wenigstens einer Anzeigeeinrichtung sowie Kraftwagen
CN104035544B (zh) * 2013-03-04 2017-09-29 联想(北京)有限公司 一种控制电子设备的方法及电子设备
KR102139530B1 (ko) * 2013-04-18 2020-07-30 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN103247282B (zh) * 2013-04-24 2015-03-25 天津三星电子有限公司 一种显示终端屏幕亮度的控制方法及其显示终端
CN103327172A (zh) * 2013-04-28 2013-09-25 华为终端有限公司 一种调节终端屏幕亮度的方法和终端
TWI601031B (zh) * 2013-05-13 2017-10-01 國立成功大學 適用於電子裝置之提醒閱讀疲勞方法及其系統
JP5811228B2 (ja) * 2013-06-24 2015-11-11 大日本印刷株式会社 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム
US10803236B2 (en) * 2013-07-31 2020-10-13 Sony Corporation Information processing to generate screen based on acquired editing information
CN104345876B (zh) * 2013-08-07 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN103793052B (zh) * 2013-11-21 2017-01-11 广州视源电子科技股份有限公司 一种移动终端的视力保护控制方法
CN103677215A (zh) * 2014-01-02 2014-03-26 重庆市科学技术研究院 一种智能设备屏幕省电控制方法
KR20160017854A (ko) * 2014-08-06 2016-02-17 삼성디스플레이 주식회사 표시 장치의 블링크 장치 및 블링크 유도 방법
CN104284254B (zh) * 2014-10-22 2018-03-30 天津三星电子有限公司 调整视频播放参数的显示设备及其方法
KR20160055555A (ko) * 2014-11-10 2016-05-18 삼성디스플레이 주식회사 표시 장치 및 이의 표시 제어 방법 및 장치
EP3035656B1 (en) * 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
CN104869242B (zh) * 2015-05-05 2018-10-26 惠州Tcl移动通信有限公司 调整屏幕亮度的方法及系统
CN104966481B (zh) * 2015-07-22 2018-01-09 京东方科技集团股份有限公司 一种显示装置及其驱动方法
WO2016180048A1 (zh) 2015-05-13 2016-11-17 京东方科技集团股份有限公司 一种显示装置及其驱动方法
JP6495149B2 (ja) * 2015-09-28 2019-04-03 京セラ株式会社 電子機器、制御方法及び制御プログラム
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
CN106562793B (zh) * 2015-10-08 2021-12-21 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN105244008B (zh) * 2015-11-09 2017-12-15 深圳市华星光电技术有限公司 一种显示设备及其亮度调节方法
EP3205259A1 (en) * 2016-02-15 2017-08-16 Universidad Complutense De Madrid Detector and method for detecting the level of aversion of the ocular system to light source
CN105786430B (zh) * 2016-02-25 2020-08-25 联想(北京)有限公司 信息处理方法及电子设备
US10514756B2 (en) * 2016-05-06 2019-12-24 Visteon Global Technologies, Inc. Adjusting an electronic display based on gaze tracking
CN107424584A (zh) * 2016-05-24 2017-12-01 富泰华工业（深圳）有限公司 护眼系统及方法
CN106297733B (zh) * 2016-10-01 2019-12-17 奇酷互联网络科技（深圳）有限公司 屏幕亮度自动调节方法及装置
CN106648066A (zh) * 2016-11-09 2017-05-10 北京小米移动软件有限公司 背光调节方法和装置及智能眼镜
CN108154866B (zh) * 2017-08-16 2023-06-30 昆山人因健康工程研发中心有限公司 一种亮度实时调整显示屏系统及其亮度实时调节方法
JP6973490B2 (ja) * 2017-08-31 2021-12-01 富士通株式会社 検知プログラム、検知方法、および検知システム
CN109189222B (zh) * 2018-08-28 2022-01-11 广东工业大学 一种基于检测瞳孔直径变化的人机交互方法及装置
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质
CN109995942B (zh) * 2019-03-28 2021-03-30 中国医学科学院生物医学工程研究所 一种智能终端的护眼方法及系统
CN110222597B (zh) * 2019-05-21 2023-09-22 平安科技（深圳）有限公司 基于微表情调节屏幕显示的方法及装置
CN111699698A (zh) * 2019-10-12 2020-09-22 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
CN111443886B (zh) * 2019-10-25 2021-01-26 温峻峰 基于图像大数据处理的智能化现场模式切换系统及方法
CN111221411A (zh) * 2019-11-18 2020-06-02 京东方科技集团股份有限公司 画屏

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118008B2 (ja) 1989-08-18 1995-12-18 松下電器産業株式会社 画像変形方法と画像変形装置
JPH0742605Y2 (ja) * 1989-11-28 1995-10-04 宏治 須田 ブラスト用ノズル
JPH06348241A (ja) * 1993-06-11 1994-12-22 Ricoh Co Ltd 情報処理装置
JPH08289327A (ja) 1995-04-17 1996-11-01 Sanyo Electric Co Ltd 映像表示装置
JP3075971B2 (ja) 1995-12-28 2000-08-14 三洋電機株式会社 ラジオ受信機
US5933130A (en) * 1996-07-26 1999-08-03 Wagner; Roger Anti-eye strain apparatus and method
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
TW455769B (en) * 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
US7181693B1 (en) * 2000-03-17 2007-02-20 Gateway Inc. Affective control of information systems
JP2003076353A (ja) * 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
US20030066071A1 (en) * 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Program recommendation method and system utilizing a viewing history of commercials
JP2003196012A (ja) 2001-12-28 2003-07-11 Matsushita Electric Ind Co Ltd 電子表示装置
JP2003280622A (ja) 2002-03-25 2003-10-02 Matsushita Electric Ind Co Ltd 電子表示装置とその表示方法
CN1190722C (zh) * 2002-05-29 2005-02-23 大同股份有限公司 附于电脑周边具侦测生理讯号与感测亮度的电路装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP4022173B2 (ja) * 2003-06-02 2007-12-12 株式会社ソフィア 遊技機
JP4316960B2 (ja) 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置

Also Published As

Publication number Publication date
JP4896002B2 (ja) 2012-03-14
US8184132B2 (en) 2012-05-22
WO2006093074A1 (ja) 2006-09-08
US20080117323A1 (en) 2008-05-22
CN101133438B (zh) 2010-05-19
CN101133438A (zh) 2008-02-27

Similar Documents

Publication Publication Date Title
JP4896002B2 (ja) 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
US11863859B2 (en) Electronic system with eye protection in response to user distance
TWI378262B (ja)
JP4367663B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5309448B2 (ja) 表示装置、表示方法
JP4961914B2 (ja) 撮像表示装置、撮像表示方法
CN101141568A (zh) 图像拾取设备和图像拾取方法
EP1593964A1 (en) Biological sensor device and content playback method and apparatus
JP2009049951A (ja) 撮像装置、撮像方法
TW201306573A (zh) 具有影像擷取及分析模組之顯示裝置
JP2008003816A (ja) 操作誘導装置及び操作誘導方法
JP2008099834A (ja) 表示装置、表示方法
TW201437682A (zh) 適應性調整頭戴式顯示器的方法與頭戴式顯示器
CN108711407B (zh) 显示效果调节方法、调节装置、显示设备及存储介质
EP3795424A1 (en) Video output device, video output method, and computer program
JPH07156682A (ja) 覚醒状態検出装置
JP2009020180A (ja) 映像表示装置
KR101349702B1 (ko) 사용자의 위치와 상태에 따른 자동 제어 스마트 ｔｖ
KR100274033B1 (ko) 머리 장착형 디스플레이 장치 및 화면표시 방법
CN107209391A (zh) 一种头戴式显示设备及其显示方法
WO2022202445A1 (ja) 覚醒装置
CN116880702B (zh) 一种感应式车载媒体的控制方法、系统和存储介质
JP2507039B2 (ja) 生体フィ―ドバック装置
KR20230064644A (ko) 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치
CN113936323A (zh) 检测方法及装置、终端和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110825

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R150 Certificate of patent or registration of utility model

Ref document number: 4896002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees