JP5915000B2 - 情報処理装置及びプログラム - Google Patents

Description

本技術は、撮像部及び表示部を備える情報処理装置及びそのプログラムに関する。
に関する。

ＰＣ（Personal compute）等の情報処理装置において、ユーザはキーボードやマウスといった入力装置を手や指で操作することによって入力操作を実行する。また、普及が進んでいるタブレット型ＰＣや携帯型情報端末等では、画面を指あるいは操作子で操作するタッチパネルによる入力も一般的となっている。

また、近年、ユーザが情報処理装置に接触することなく入力操作をすることが可能な情報処理装置が開発されている。例えば特許文献１には、測距センサーを備え、ユーザの手によるジェスチャーによって入力操作が可能な情報処理装置が開示されている。

特開２０１０−７９６６２号公報（段落[００１７]、図１）

しかしながら、手や指を用いて入力操作を実施する場合には、同時に実行できる操作に限りがあり、例えば文章を入力しながら画面をスクロールさせたい場合には、文書入力を少なくとも短時間は中断する必要がある。特に、タブレット型ＰＣや携帯型情報端末等のハンドヘルド型情報処理装置では、ユーザは片方の手によって情報処理装置を把持していることが多く、手や指を利用しない入力手段があれば利便性が高い。

以上のような事情に鑑み、本技術の目的は、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像部と、表示部と、検出部と、制御部とを具備する。
上記撮像部は、画像を撮像して撮像画像を取得する。
上記表示部は、表示面が上記撮像部の撮像方向と同一方向に面する。
上記検出部は、上記撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記記検出部の検出結果に基づいて上記表示部の表示を制御する。

この構成によれば、ユーザが表示部を見ようとすると、表示面が面する方向を撮像方向とする撮像部によってユーザの顔が撮像される。検出部が撮像画像に含まれるユーザの目の開き具合を検出し、制御部が検出部により検出された目の開き具合に基づいて表示部の表示を制御することにより、ユーザの目の開き具合が情報処理装置の制御に反映される。即ちユーザは、目の開き具合によって情報処理装置を操作することが可能となる。

上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行してもよい。

この構成によれば、検出部は目探索領域に画像処理を施してユーザの目を検出することが可能であり、目の開き具合の検出を高速かつ高精度に実行することが可能となる。なお、検出部は、ヒトの顔を検出するアルゴリズムにより顔領域を検出することが可能であり、当該顔領域における位置関係から目が存在すると予測される目探索領域を設定することが可能である。

上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御してもよい。

この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。

上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御してもよい。

この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。

上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御してもよい。

この構成によれば、ユーザが目の開き具合を経時的に変化させることにより表示部を制御することが可能である。

上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御してもよい。

この構成によれば、ユーザが左右両目の開き具合によって表示部を制御することが可能である。

上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させてもよい。

この構成によれば、ユーザが目の開き具合を経時的に変化させることによって表示対象画像の表示倍率を変更させることが可能となる。

上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定してもよい。

この構成によれば、ユーザが表示対象画像の表示倍率を変更させているときに任意の表示倍率で固定させることが可能となる。

上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させてもよい。

この構成によれば、ユーザが複数のレイアウト領域（画像や文章を含むレイアウトの単位領域）有する表示対象画像において、目の開き具合によって表対象画像全体を表示部に表示させるか、特定のレイアウト領域のみを表示部に表示させるかを切り替えることが可能となる。

上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させてもよい。

この構成によれば、ユーザが目の開き具合を変化させることによって表示部の中心に位置するレイアウト領域のみを表示部に表示させることが可能となる。

上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更してもよい。

この構成によれば、ユーザが左右の目の開き具合によって、表示画像を生成するアプリケーション、例えばマルチタスクで動作中のアプリケーションの中から表示画像を生成するアプリケーションを切り替えることが可能となる。

上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定してもよい。

この構成によれば、ユーザがその時点で表示画像を生成しているアプリケーションを操作することによって、それ以降は目の開き具合の変化によって意図せずにアプリケーションが切り替わることを防止することが可能となる。

上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する

この構成によれば、ユーザが目の開き具合が有効であることを確認した上で目の開き具合による情報処理装置の操作を実施することが可能となる。

上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する

この構成によれば、制御部が、ある時点での目の開き具合がそのユーザの通常時の目の開き具合に比してどの程度であるかを判断することが可能となる。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、制御部とを具備する。
上記検出部は、撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する。
上記制御部は、上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する。

以上のように本技術によれば、ユーザが手を使わずに入力操作をすることが可能な情報処理装置及びプログラムを提供することが可能である。

本技術の実施形態に係る情報処理装置の機能的構成を示すブロック図である。 同情報処理装置のハードウェア構成を示すブロック図である。 同情報処理装置の外観を示す斜視図である。 同情報処理装置の動作を示すフローチャートである。 同情報処理装置の動作を示す模式図である。 同情報処理装置の動作を示す模式図である。 同情報処理装置の動作を示す模式図である。 同情報処理装置の制御例に係る動作を示す模式図である。 同情報処理装置の制御例に係る動作を示す模式図である。 同情報処理装置の制御例に係る動作を示す模式図である。 同情報処理装置の目の開き具合の検出に利用する輝度分布を示すグラフである。

本技術の実施形態に係る情報処理装置について説明する。

＜情報処理装置の構成＞
図１は情報処理装置１の機能的構成を示すブロック図であり、図２は情報処理装置１の
ハードウェア構成を示すブロック図である。図３は情報処理装置１の外観を示す斜視図である。以下、情報処理装置１の具体例としてタブレット型ＰＣを例にとって説明するが、情報処理装置１はこれに限られず、例えば携帯型情報端末や据え置き型ＰＣであるものとすることも可能である。

図１に示すように、情報処理装置１は、カメラ１１、検出部１２、制御部１３及びディスプレイ１４有し、これらは相互に接続されている。

カメラ１１は、デジタル画像を撮像することが可能なカメラである。カメラ１１は、静止画の連続として動画を撮像することが可能なカメラとすることができ、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いたものとすることができる。以下、カメラ１１によって撮像された画像を「撮像画像」する。

検出部１２は、上記撮像画像に画像処理を施し、撮像画像におけるユーザの「目の開き具合」を検出する。検出部１２の具体的な検出動作については後述する。検出部１２は、検出した目の開き具合を制御部１３に出力する。

制御部１３は、検出部１２において検出された目の開き具合に基づいて、ディスプレイ１４の表示を制御する。具体的には制御部１３は、ディスプレイ１４に表示される表示画像を生成するソフトウェアを制御するものとすることができる。なお、ソフトウェアには、ＯＳ（Operating System）等のシステムソフトウェアや、システムソフトウェア上で動作するアプリケーションソフトウェアが含まれる。制御部１３によるディスプレイ１４の表表示の具体的な制御については後述する。

ディスプレイ１４は、画像を表示することが可能なデバイスである。ディスプレイ１４は、液晶ディスプレイやＥＬ（Electroluminescence）ディスプレイ等の直視型ディスプレイであってもよく、プロジェクタ等の投影型ディスプレイであってもよい。

ディスプレイ１４は、表示面（ディスプレイ画面、プロジェクタ投影面等）が上記カメラ１１の撮像方向と同一方向に面するものである（図３参照）。即ち、ディスプレイ１４はカメラ１１に対して、ユーザが表示面に対向した場合にユーザの顔がカメラ１１の撮像範囲に入る位置関係となる。

以上のような情報処理装置１の機能的構成は、図２に示すハードウェア構成によって実現される。図２に示すように情報処理装置１は、上記カメラ１１及び上記ディスプレイ１４に加え、ストレージ１５、メモリ１６、ＣＰＵ（Central Processing Unit)１７及び入力ＩＦ（interface）１８を有するものとすることができる。各構成は、バス１９によって相互に接続されている。なお、ここに示す情報処理装置１のハードウェア構成は一例であり、上記情報処理装置１の機能的構成を実現することが可能な各種構成を採用することが可能である。

ストレージ１５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置であり、ＣＰＵ１７によって演算処理されるプログラム、後述する「表示画像」となるデータ等が記憶されている。

メモリ１６は、ＤＲＡＭ（Dynamic Random Access Memory）等の主記憶装置であり、ストレージ１５からＣＰＵ１７によって読み出されたプログラムや演算処理結果等を記憶する。

ＣＰＵ１７は、メモリ１６からプログラムを読み出し、演算処理を実行する。即ち、情報処理装置１はＣＰＵ１７が動作主体となって機能する。

入力ＩＦ１８は、情報処理装置１の入力インターフェイスであり、タッチパネル、キーボードやマウス等の入力装置とすることができる。特に、ディスプレイ１４が直視型ディスプレイの場合にはタッチパネルとすることができる。

図３に示す情報処理装置１は、筐体２０にディスプレイ１４とカメラ１１が設けられている。入力ＩＦ１８はディスプレイ１４に一体的に設けられ、ストレージ１５、メモリ１６、ＣＰＵ１７、入力ＩＦ１８及びバス１９は筐体２０に収容されている。

＜情報処理装置の動作＞
情報処理装置１の動作について説明する。
図４は、情報処理装置１の動作を示すフローチャートである。図５及び図６は情報処理装置１の動作を説明する図である。以下、図４に示すフローチャートの各ステップ（Ｓｔ）毎に情報処理装置の動作を説明する。

まず、カメラ１１がその撮像方向を撮像し、撮像画像を取得する（Ｓｔ１）。カメラ１１による撮像は、連続的（動画として撮像）であってもよく、断続的（例えば、毎秒数枚程度）でもよい。ここで、図５（ａ）に示す撮像画像Ｓがカメラ１１によって撮像されたものとする。なお、撮像画像Ｓは、情報処理装置１において内部的に処理される画像であり、ディスプレイ１４に表示される画像ではない。カメラ１１は、撮像画像Ｓを検出部１２に出力する。

ここで、上記のように情報処理装置１のディスプレイ１４とカメラ１１は、カメラ１１の撮像方向とディスプレイ１４の表示面が同一方向となる位置関係を有する。したがって、ユーザが表示面を過度に斜めの角度から見ているような場合を除いて、ユーザがディスプレイ１４を見ている場合にはカメラ１１の撮像範囲にユーザの顔が含まれ、即ち撮像画像Ｓにユーザの顔が含まれることとなる。

検出部１２は、撮像画像Ｓにおいてユーザ目の検出処理を実行する（Ｓｔ２）。具体的には、検出部１２はまず、撮像画像Ｓにおいて「顔領域」を検出する。顔領域とは、撮像画像Ｓにおいてユーザの顔として検出された領域である。図５（ｂ）に、図５（ａ）に例示する撮像画像Ｓに対して検出部１２が設定する顔領域Ｒ１を模式的に示す。検出部１２は、ヒトの顔の特徴的パターン（テンプレート）を用いたテンプレートマッチングにより顔領域Ｒ１を検出するものとすることができる。また、検出部１２はこれ以外のアルゴリズムにより顔領域Ｒ１を検出することも可能である。

次に検出部１２は、顔領域Ｒ１において「目探索領域」を設定する。図５（ｂ）に目探索領域Ｒ２を示す。目探索領域は、検出部１２が顔領域Ｒ１において目が存在すると予測する領域である。検出部１２は、顔領域Ｒ１の大きさや向き、縦横比等に基づいて目探索領域を設定することができる。ヒトの顔に対する目の配置は、個人差が存在するとはいえ、概ね一定範囲となるからである。

続いて検出部１２は、目探索領域Ｒ２に含まれる画像領域に対して「特徴点」の検出処理を行う。図５（ｃ）は、特徴点Ｐの検出結果を示す模式図である。特徴点Ｐは、当該画像領域において画素の輝度についての特徴的な点である。検出部１２は、例えばエッジ検出により検出された２本のエッジの交点を特徴点Ｐとすることができる。また、検出部１２は、この他の各種アルゴリズムにより特徴点Ｐを検出するものとすることができる。

検出部１２は、上記目探索領域に含まれる画像領域のみに対して特徴点の検出処理を実行すればよいので、画像全体に対して同処理を実行する場合に比べて、高精度かつ高速に特徴点Ｐを検出することが可能である。

検出部１２はこのようにして検出された特徴点Ｐによって囲まれる領域をユーザの目の領域（以下、「目領域」とする）と判断することができる。図６（ａ）は、撮像画像Ｓにおいて検出部１２によって検出された目領域Ｒ３を示す模式図である。図６（ｂ）は、撮像画像Ｓと異なる撮像画像（ユーザが片目を閉じている撮像画像）において検出部１２によって検出された目領域Ｒ３を示す模式図である。

検出部１２は目領域Ｒ３から「目の開き具合」を抽出する。目の開き具合は、目領域Ｒ３の面積、目領域Ｒ３の縦幅又はこれらの組み合わせによって規定することができる。図６（ａ）及び図６（ｂ）に、目領域Ｒ３の縦幅（右目領域の縦幅ｈ_Ｒ及び左目領域の縦幅ｈ_Ｌ）を示す。検出部１２は、目領域Ｒ３の目の開き具合を制御部１３に出力する。

制御部１３は、上記目の開き具合に基づいてディスプレイ１４の表示を制御する（Ｓｔ３）。制御部１３は、ユーザの目の開き具合、具体的には目の開き具合の経時変化やユーザの左右両目の目の開き具合の差異に基づいて、ディスプレイ１４の表示を制御するものとすることができる。目の開き具合の経時変化は、目領域Ｒ３の面積変化量や縦幅変化量とすることができる。また、ユーザの左右両目の目の開き具合の差異は、左右の目領域Ｒ３の面積比又は縦幅比とすることができる。ユーザの目の開き具合の応じた制御部１３の具体的な制御例については後述する。この後、再び撮像画像の取得（Ｓｔ１）からプロセスが繰り返される。

情報処理装置１は以上のようにして動作する。なお、制御部１３は、上述したプロセスにおいて次のような動作を追加的に実施することも可能である。

[瞬きの除去]
上述のように制御部１３は、ある瞬間に撮像された撮像画像において検出されたユーザの目の開き具合に基づいてディスプレイ１４の表示を制御する。しかし、ユーザが情報処理装置１の操作を意図せずに瞬きをしてしまう場合があり、その瞬間に撮像された撮像画像における目の開き具合に基づいてディスプレイ１４の表示の制御が実行されれば不都合である。

そこで、情報処理装置１は、このようなユーザの瞬きによる影響を除去するものとすることができる。具体的には、制御部１３は、検出部１２から出力されたユーザの両目の開き具合が、一定時間以内に開−閉−開と遷移した場合には、「閉」の状態を無視することによりユーザの瞬きをディスプレイ１４の表示の制御に反映しないものとすることができる。

[目の大きさのキャリブレーション]
情報処理装置１では、ユーザの目の開き具合に応じてディスプレイ１４の表示の制御が実行されるとしたが、目の大きさはユーザ個人によって異なる。即ち、ある撮像画像において検出された目の開き具合が、そのユーザの通常の目の開き具合であるか、目を細めている状態の目の開き具合であるかは、当該ユーザの通常時の目の大きさを基準とする必要がある。

そこで、情報処理装置１は、ユーザの通常の目の大きさによるキャリブレーションを実施するものとすることができる。具体的には、制御部１３は、所定時間にわたるユーザの目の大きさの値を保持しておき、その最大値をユーザの通常の目の大きさとすることが可能である。また、当該情報処理装置１を複数のユーザで使用する場合には、制御部１３は、任意の顔識別アルゴリズムにより撮像画像に含まれたユーザ個人を識別し、ユーザ個人と目の大きさの最大値を関連付けて利用してもよい。

[目の開き具合のナビゲーション]
上述の目の大きさのキャリブレーションにおいて、情報処理装置１はユーザに対して目の開き具合のナビゲーションを実施してもよい。具体的には、情報処理装置１はディスプレイ１４に、「目を最大に開いてください。」「目を細めてください。」等といったメッセージを表示し、その際に得られた目の大きさを上記キャリブレーションに利用することも可能である。

[目による操作が有効である旨の表示]
制御部１３は、検出部１２から目の開き具合が出力されている場合、即ちカメラ１１の撮像範囲にユーザの顔が含まれている場合には、目による操作が可能であることを示す表示をディスプレイ１４に表示するものとすることができる。

図７は当該表示の具体例を示す。図７（ａ）が検出部１２によってユーザの目が検出されていないときにディスプレイ１４に表示される表示画像の例であり、図７（ｂ）が検出部１２によってユーザの目が検出されているときにディスプレイ１４に表示される表示画像の例である。図７（ｂ）に示すように制御部１３は、ステータスバー等に目が検出されていることを示すアイコンＣをディスプレイ１４に表示させることが可能である。

この表示によりユーザは、目の開き具合によって情報処理装置１を操作することが可能であるかをディスプレイ１４を一見して把握することが可能となる。

＜制御部による制御例＞
制御部１３による、ユーザの目の開き具合に応じたディスプレイ１４の表示の制御例について説明する。

[制御例１：表示させるアプリケーションの切替]
図８は、制御例１に係る情報処理装置１の動作を示す模式図である。ユーザがディスプレイ１４を見ており、カメラ１１によって撮像画像Ｓ１（図８（ａ））が撮像されているとする。上述のように検出部１２は目の開き具合を制御部１３に出力している。制御部１３は、実行中の第１のアプリケーション（例えば音声ファイル再生アプリケーション）の画像を表示画像Ｇ１（図８（ｂ））としてディスプレイ１４に表示させている。

次に、ユーザが片目を閉じ、カメラ１１によって撮像画像Ｓ２（図８（ｃ））が撮像されているとする。制御部１３は、目の開き具合からユーザが片目を閉じていると判定し、マルチタスクで実行中の第２のアプリケーション（例えばチャットアプリケーション）の画像を表示画像Ｇ２（図８（ｄ））としてディスプレイ１４に表示させる。制御部１３は、例えば左右の目領域Ｒ３の面積比又は縦幅比が所定値以上の場合には、表示画像を生成するアプリケーションを第１のアプリケーションから第２のアプリケーションに切り替えるものとすることができる。

即ちユーザは、第１のアプリケーションをディスプレイ１４に表示させている状態で片目を閉じることにより、情報処理装置１を手や指で操作することなく第２のアプリケーションをディスプレイ１４に表示させることが可能となる。ユーザは、例えばチャットにおいて新たなメッセージの有無を確認することができる。

再びユーザが両目を開けると、検出部１２から出力される目の開き具合から、制御部１３はユーザの両目が開いていると判定し、表示画像Ｇ１をディスプレイ１４に表示させる。

なお、ユーザが片目を閉じ、即ち表示画像Ｇ２が表示されている状態でタッチパネル等を操作した場合（ユーザが第２のアプリケーションを操作しようとしている場合）、制御部１３はそれ以降、目の開き具合に係わらず表示画像Ｇ２を生成している第２のアプリケーションを固定するものとすることも可能である。

この制御例では、制御部１３はユーザが片目を閉じることによって第１のアプリケーションと第２のアプリケーションの表示を切り替えるものとしたが、例えばユーザが両目を閉じることによって両アプリケーションの表示を切り替えるものとすることもできる。また、ユーザが閉じた目が右目と左目のいずれであるかによって表示させるアプリケーションを切り替えてもよい。

またこの制御例では、制御部１３が目の開き具合によって２つのアプリケーションの表示を切り替えるものとしたが、これに限られない。制御部１３は目の開き具合によって同一のアプリケーションにおけるメインコンテンツとサブコンテンツ、例えば文書とそのブックマーク、動画とその操作インターフェイス等を切り替えるものすることも可能である。さらに、制御部１３は、目の開き具合によってアプリケーションの起動や終了を制御するものとしてもよい。

[制御例２：表示倍率の拡大縮小]
図９は、制御例２に係る情報処理装置１の動作を示す模式図である。ユーザがディスプレイ１４を見ており、カメラ１１によって撮像画像Ｓ３（図９（ａ））が撮像されているとする。上述のように検出部１２は、撮像画像Ｓ１における目の開き具合を制御部１３に出力している。制御部１３は特定の画像（表示対象画像）を所定の表示倍率で表示画像Ｇ３（図９（ｂ））としてディスプレイ１４に表示させている。

次に、ユーザが目を細め、カメラ１１によって撮像画像Ｓ４（図９（ｃ））が撮像されているとする。制御部１３は、目の開き具合に応じて表示対象画像の表示倍率を拡大した画像を表示画像Ｇ４（図９（ｃ））としてディスプレイ１４に表示させる。制御部１３は表示対象画像の倍率を、目の開き具合に応じて段階的に変更してもよくシームレスに変更してもよい。制御部１３は、例えば左右の目領域Ｒ３の面積変化量又は縦幅変化量に応じて表示倍率を変更するものとすることができる。

即ちユーザは、任意の画像をディスプレイ１４に表示させている状態で目を細めることにより、情報処理装置１を手や指で操作することなく当該表示画像を拡大させることが可能となる。

再びユーザが目を大きく開けると、制御部１３は検出部１２から出力された目の開き具合に応じて表示対象画像の表示倍率を元の倍率に戻し、表示画像Ｇ３をディスプレイ１４に表示させる。

なお、表示画像が所定の表示倍率であるときにユーザがタッチパネル等を操作した場合、制御部１３は表示倍率をその倍率で固定し、それ以降、目の開き具合に係わらずその表示倍率の表示画像を表示させるものとすることも可能である。

この制御例では制御部１３は、ユーザが目を細めたときに表示倍率を拡大するものとしたが、その逆、即ちユーザが目を細めたとき表示倍率を縮小するものとすることも可能である。

[制御例３：レイアウト領域の拡大]
図１０は、制御例３に係る情報処理装置１の動作を示す模式図である。ユーザがディスプレイ１４を見ており、カメラ１１によって撮像画像Ｓ５（図１０（ａ））が撮像されているとする。上述のように検出部１２は、撮像画像Ｓ１における目の開き具合を制御部１３に出力している。

制御部１３は「複数のレイアウト領域を有する画像」（表示対象画像）を表示画像Ｇ５（図１０（ｂ））としてディスプレイ１４に表示させる。レイアウト領域は画像や文章を含むレイアウトの単位領域を意味し、複数のレイアウト領域を有する画像は例えばウェブサイトの画像である。典型的には、ニュースサイトの画像が複数のレイアウト領域を有する画像であり、ニュースサイトのひとつの記事がレイアウト領域である。図１０（ｃ）に示す表示画像Ｇ５では、ひとつのレイアウト領域Ａを破線で示した。

次に、ユーザが目を細め、カメラ１１によって撮像画像Ｓ６（図１０（ｃ））が撮像されているとする。制御部１３は、撮像画像Ｓ５と撮像画像Ｓ６の間における目の開き具合によって、表示対象画像の特定のレイアウト領域のみを表示画像Ｇ６（図１０（ｃ））としてディスプレイ１４に表示させる。表示画像Ｇ６とするレイアウト領域は、例えば表示画像Ｇ５において画像の中心に最も近く、画像占有率が最も大きいレイアウト領域とすることができる。制御部１３は、例えば左右の目領域Ｒ３の面積変化量又は縦幅変化量が所定値以上の場合には、上記特定のレイアウト領域をディスプレイ１４に表示させるものとすることが

即ちユーザは、ウェブサイト等の複数のレイアウト領域を有する画像を閲覧している状態で目を細めることにより、情報処理装置１を手や指で操作することなく所定のレイアウト領域のみを表示させることが可能となる。

再びユーザが目を大きく開けると、制御部１３は複数のレイアウト領域を有する表示対象画像を表示画像Ｇ５としてディスプレイ１４に表示させる。

以上の各制御例で説明したように、制御部１３は、検出部１２によって出力される目の開き具合に基づいて、ディスプレイ１４の表示を制御することが可能である。

＜変形例１＞
上述の説明において、検出部２は特徴点を設定して目の開き具合を検出するものとしたが、検出部２は「輝度分布」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部２は次のように動作する。

まず、検出部２は上述のようにテンプレートマッチング等により顔領域Ｒ１を検出し、顔領域Ｒ１大きさや向き、縦横比等に基づいて目探索領域Ｒ２を設定する（図５（ｂ）参照）。

次に、検出部２は目探索領域Ｒ２に含まれる画素の輝度分布を取得する。図１１は、目探索領域Ｒ２に含まれる画素の輝度分布を示す概念図である。同図に示すように、ユーザが目を開いているときは、白目と黒目の存在により輝度分布は「明」と「暗」にそれぞれピークを有する。一方、ユーザの目が閉じられている場合には白目と黒目が存在しないため、輝度分布には「明」と「暗」の中間にピークを有する。また、目が細められている場合には２つのプロットの中間的なプロットとなる。即ち、検出部２は、ピークの位置により目の開き具合を判定することができる。

したがって検出部１２は、この輝度分布により撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部１３がこの目の開き具合に基づいてディスプレイ１４の表示を制御することが可能となる。

＜変形例２＞
上述の説明において、検出部１２は特徴点を設定して目の開き具合を検出するものとしたが、検出部２は「テンプレートマッチング」を用いて目の開き具合を検出するものとすることも可能である。具体的には、検出部２は次のように動作する。

まず、検出部２は上述のようにテンプレートマッチング等により顔領域Ｒ１を検出し、顔領域Ｒ１大きさや向き、縦横比等に基づいて目探索領域Ｒ２を設定する（図５（ｂ）参照）。なお、本変形例においては目探索領域Ｒ２の設定は必須ではないが、設定したほうがテンプレートマッチングに要する時間を短縮させることが可能である。

次に、検出部２は目探索領域Ｒ２、又は撮像画像全体に対して目のテンプレートを用いたテンプレートマッチングを実行する。例えば、検出部２は、目の開き具合が異なる複数のテンプレートを用いることにより、目の開き具合を判定することが可能である。

したがって検出部２は、テンプレートマッチングにより撮像画像に含まれるユーザの目の開き具合を検出することが可能であり、制御部１３がこの目の開き具合に基づいてディスプレイ１４の表示を制御することが可能となる。

本技術は上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

なお、本技術は以下のような構成も採ることができる。

（１）
画像を撮像して撮像画像を取得する撮像部と、
表示面が上記撮像部の撮像方向と同一方向に面する表示部と、
上記撮像画像に画像処理を施して前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、上記表示部の表示を制御する制御部と、

（２）
上記（１）に記載の情報処理装置であって、
上記検出部は、上記撮像画像におけるユーザの顔の領域である顔領域を検出し、上記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、上記目探索領域について上記画像処理を実行する
情報処理装置。

（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記制御部は、上記目の開き具合の経時変化に基づいて上記表示部の表示を制御する
情報処理装置。

（４）
上記（１）から（３）のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザの左右両目の上記目の開き具合の差異に基づいて上記表示部の表示を制御する
情報処理装置。

（５）
上記（１）から（４）のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、上記目領域の面積変化量又は縦幅変化量に応じて上記表示部の表示を制御する
情報処理装置。

（６）
上記（１）から（５）のいずれかに記載の情報処理装置であって、
上記検出部は、ユーザの目の領域である目領域の面積を上記目の開き具合として検出し、
上記制御部は、ユーザの左右両目の上記目領域の面積比又は縦幅比に応じて上記表示部の表示を制御する
情報処理装置。

（７）
上記（１）から（６）のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量に応じて、表示対象画像の表示倍率を変更して上記表示部に表示させる
情報処理装置。

（８）
上記（１）から（７）のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、上記表示倍率を固定する
情報処理装置。

（９）
上記（１）から（８）のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積変化量又は上記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を上記表示部に表示させる
情報処理装置。

（１０）
上記（１）から（９）のいずれかに記載の情報処理装置であって、
上記制御部は、上記表示対象画像において表示部の中心に位置するレイアウト領域を上記特定のレイアウト領域として上記表示部に表示させる
情報処理装置。

（１１）
上記（１）から（１０）のいずれかに記載の情報処理装置であって、
上記制御部は、上記面積比又は上記縦幅比が所定値以上の場合には、上記表示部に表示される表示画像を生成するアプリケーションを変更する
情報処理装置。

（１２）
上記（１）から（１１）のいずれかに記載の情報処理装置であって、
上記制御部は、ユーザによる操作入力がされた場合には、以後の上記面積比又は上記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
情報処理装置。

（１３）
上記（１）から（１２）のいずれかに記載の情報処理装置であって、
上記制御部は、上記検出部によって上記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
情報処理装置。

（１４）
上記（１）から（１３）のいずれかに記載の情報処理装置であって、
上記制御部は、所定時間の間の上記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
情報処理装置。

（１５）
撮像部によって取得された撮像画像に画像処理を施して上記撮像画像におけるユーザの目の開き具合を検出する検出部と、
上記検出部の検出結果に基づいて、表示面が上記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部と
としてコンピュータを機能させるプログラム。

１…情報処理装置
１１…カメラ
１２…検出部
１３…制御部
１４…ディスプレイ

Claims (13)

1. 画像を撮像して撮像画像を取得する撮像部と、
   表示面が前記撮像部の撮像方向と同一方向に面する表示部と、
   前記撮像画像におけるユーザの顔の領域である顔領域を検出し、前記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、前記目探索領域に含まれる画素の輝度分布を取得し、前記輝度分布に基づいて前記撮像画像におけるユーザの目の開き具合を検出する検出部と、
   前記検出部によって検出された目の開き具合の経時変化に基づいて前記表示部の表示を制御する制御部であって、ユーザの左右両目の開き具合に基づいてユーザの瞬きを検出し、瞬きに該当する目の開き具合の経時変化を前記表示部の制御に反映しない制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、ユーザの左右両目の前記目の開き具合の差異に基づいて前記表示部の表示を制御する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
   前記制御部は、前記目領域の面積変化量又は縦幅変化量に応じて前記表示部の表示を制御する
   情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記検出部は、ユーザの目の領域である目領域の面積を前記目の開き具合として検出し、
   前記制御部は、ユーザの左右両目の前記目領域の面積比又は縦幅比に応じて前記表示部の表示を制御する
   情報処理装置。
5. 請求項３に記載の情報処理装置であって、
   前記制御部は、前記面積変化量又は前記縦幅変化量に応じて、表示対象画像の表示倍率を変更して前記表示部に表示させる
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記制御部は、ユーザによる操作入力がされた場合には、前記表示倍率を固定する
   情報処理装置。
7. 請求項３に記載の情報処理装置であって、
   前記制御部は、前記面積変化量又は前記縦幅変化量が所定値以上の場合には、表示対象画像の特定のレイアウト領域を前記表示部に表示させる
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記制御部は、前記表示対象画像において表示部の中心に位置するレイアウト領域を前記特定のレイアウト領域として前記表示部に表示させる
   情報処理装置。
9. 請求項４に記載の情報処理装置であって、
   前記制御部は、前記面積比又は前記縦幅比が所定値以上の場合には、前記表示部に表示される表示画像を生成するアプリケーションを変更する
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記制御部は、ユーザによる操作入力がされた場合には、以後の前記面積比又は前記縦幅比に係わらず表示画像を生成するアプリケーションを固定する
    情報処理装置。
11. 請求項１から１０のうちいずれか一つに記載の情報処理装置であって
    前記制御部は、前記検出部によって前記目の開き具合が検出されている場合には、目の開き具合が検出されていることを示す表示を表示部に表示する
    情報処理装置。
12. 請求項１から１１のうちいずれか一つに記載の情報処理装置であって、
    前記制御部は、所定時間の間の前記目の開き具合の最大値からユーザの目の大きさのキャリブレーションを実行する
    情報処理装置。
13. 撮像部によって取得された撮像画像におけるユーザの顔の領域である顔領域を検出し、前記顔領域においてユーザの目が存在すると予測される目探索領域を設定し、前記目探索領域に含まれる画素の輝度分布を取得し、前記輝度分布に基づいて前記撮像画像おけるユーザの目の開き具合を検出する検出部と、
    前記検出部によって検出された目の開き具合の経時変化に基づいて、表示面が前記撮像部の撮像方向と同一方向に面する表示部の表示を制御する制御部であって、ユーザの左右両目の開き具合に基づいてユーザの瞬きを検出し、瞬きに該当する目の開き具合の経時変化を前記表示部の制御に反映しない制御部と
    としてコンピュータを機能させるプログラム。