JP6031258B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関し、さらに詳しくは、利用者を撮像装置で撮影し、その撮像画像に含まれる利用者の顔領域に基づき表示を行う表示装置に関する。

従来、表示装置近傍のカメラで利用者の像を撮影し、当該像を表示装置に表示することにより鏡として使用することができる装置がある（ビデオミラーと呼ばれる）。また、表示装置の前面にハーフミラーが取り付けられ、当該ハーフミラーに映る利用者の像と、表示装置に表示される画像とが合成されて表示される情報提示装置がある。

特開２００６−２３６０１３号公報には、このようなビデオミラーまたはハーフミラーとして使用することができ、かつ表示される利用者の像のうちに特に顔の領域に対応する像と重ならないように各種情報を表示することができる情報提示装置の構成が開示されている。この構成により、鏡としての機能を阻害することなく、利用者に見やすい情報提示を行うことができる。

特開２００６−２３６０１３号公報

しかし、このような情報提示装置または表示装置は、基本的に利用者が一人であることを前提にしており、典型的には表示画面内には１つの顔領域のみが存在することが前提とされている。したがって、複数の利用者が鏡として利用する場合には、顔領域が複数となるため、正常には動作しない。仮に動作するとしても、各利用者が欲する情報を適宜に提示することは不可能である。また、鏡として利用する利用者が１人である場合にも、当該利用者が欲する情報を適宜選択して表示することは、上記構成では不可能である。

そこで、本発明では、鏡としての機能を阻害することなく、かつそれぞれの利用者が欲する情報を適宜に提示することができる表示装置を提供することを目的とする。

第１の発明は、利用者の像の少なくとも一部と合わせて提示されるように、当該利用者に関連する情報を表示する表示装置であって、
前記利用者の像を含む撮影画像を取得する撮像部と、
前記情報を表示画面に表示する表示部と、
前記撮影画像に含まれる前記利用者の顔部分の像である顔領域を検出する顔領域検出部と、
前記顔領域検出部により検出された顔領域に基づき、当該顔領域に対応する顔を有する利用者個人を複数の候補から特定する顔特定部と、
前記顔領域検出部により検出された顔領域を含む利用者の像の範囲に対応する、前記表示画面上の利用者の範囲を決定する利用者範囲決定部と、
前記顔特定部により特定された利用者個人に関連する情報として予め定められた種類または項目の情報を、前記利用者範囲決定部により決定された前記利用者の範囲のうち少なくとも前記顔領域に対応する範囲に重ならない前記表示画面上の位置に表示させる表示情報制御部と
を備え、
前記表示情報制御部は、
前記表示画面上に、複数の利用者のうちの一人の利用者の範囲を含む情報表示領域を前記利用者毎に設定し、前記利用者個人に関連する情報を、対応する利用者に設定された情報表示領域の少なくとも一部が含まれる範囲に表示させ、
前記利用者のうちの二人以上の利用者の範囲の一部をともに含む共通領域を設定し、前記複数の利用者に共通して関連する情報として予め定められた種類または項目の情報を、前記共通領域の少なくとも一部が含まれる範囲に表示させることを特徴とする。

第２の発明は、第１の発明において、
前記表示画面に対して略平行に設けられ、前記表示画面側からの光を少なくとも一部透過し、前記表示画面と反対側からの光を少なくとも一部反射する鏡をさらに備え、
前記鏡は、前記利用者の像を当該利用者に提示することを特徴とする。

第３の発明は、第１の発明において、
前記表示情報制御部は、前記利用者の範囲の少なくとも一部が含まれる範囲であって、前記顔領域に対応する範囲に重ならない前記表示画面上の位置に、前記利用者個人に関連する情報としての画像を表示させることを特徴とする。

上記第１の発明によれば、検出された顔領域に基づき、特定された利用者個人に関連する情報として予め定められた種類または項目の情報を、決定された利用者の範囲のうち少なくとも顔領域に対応する範囲に重ならない表示画面上の位置に表示させるので、利用者の欲する情報が適宜に提示され、かつ当該情報の提示により利用者の（特に顔の）像と重なって表示されることにより、鏡としての機能が阻害されることを防止することができる。
また上記第１の発明によれば、表示画面上に、複数の利用者のうちの一人の利用者の範囲を含む情報表示領域を利用者毎に設定し、利用者個人に関連する情報を、対応する利用者に設定された情報表示領域の少なくとも一部が含まれる範囲に表示させるので、各利用者が欲する情報が適宜に提示され、かつ当該情報の提示により各利用者の（特に顔の）像と重なって表示されることにより、鏡としての機能が阻害されることを防止することができる。
さらに上記第１の発明によれば、利用者のうちの二人以上の利用者の範囲の一部をともに含む共通領域に複数の利用者に共通して関連する情報を表示させるので、比較的表示される情報量が多くなる場合であっても、各利用者にとって見やすく表示させることができる。

上記第２の発明によれば、表示画面側からの光を少なくとも一部透過する鏡で利用者の像を当該利用者に提示するので、イメージセンサおよび表示装置の解像度によらず、鮮明な利用者の像を提示することができる。

上記第３の発明によれば、顔領域に対応する範囲に重ならない表示画面上の位置に、利用者個人に関連する情報としての画像を表示させるので、例えば服装など利用者の像に重なるように表示することで、仮想的な着せ替えを行うことができ、鏡としてもより使いやすくすることができる。

本発明の第１の実施形態に係る情報表示装置の概括的な構成を示す図である。 上記実施形態における情報表示装置を機能面から見た構成を示すブロック図である。 上記実施形態における表示画面に対応する顔範囲と、イメージセンサとの位置関係を示す図である。 上記実施形態において、表示画面上における顔領域の範囲と、顔の下に存在する体領域の範囲とを示す図である。 上記実施形態における液晶表示装置の表示画面の構成例を示す図である。 本発明の第２の実施形態における情報表示装置の構成要素における処理理手順を示すフローチャートである。 上記実施形態において、表示画面上における２人の顔領域の範囲と、顔の下に存在する体領域の範囲と情報表示領域とを示す図である。 上記実施形態における液晶表示装置の表示画面の構成例を示す図である。 上記実施形態において、図７の場合とは異なる位置に配置される共通情報領域を、表示画面上における２人の顔領域の範囲と、顔の下に存在する体領域の範囲とともに示す図である。 本発明の第３の実施形態における液晶表示装置の表示画面の構成例を示す図である。

以下、添付図面を参照しつつ本発明の各実施形態について説明する。

＜１． 第１の実施形態＞
＜１．１ 全体構成＞
図１は、本発明の第１の実施形態に係る情報表示装置の全体的な構成を示すブロック図である。この第１の実施形態における情報表示装置１００は、画像処理装置２と、撮像装置であるイメージセンサ３と、液晶表示装置４と、ハーフミラー５とを備える。

イメージセンサ３は、典型的には、ＣＣＤ（電荷結合素子）を利用してリアルタイムでデジタル画像信号を生成する。すなわち、利用者をリアルタイムで撮影し、その撮影画像を表す画像信号をリアルタイムで出力する。なお、ここでのリアルタイムとは典型的には１フレーム期間（例えば１／６０秒）毎に画像を出力するが、鏡のように使用できるのであれば、数秒に１回程度でもあってもよい。

液晶表示装置４は、後述するように利用者に関連する情報を表示する。なお液晶以外の表示素子を利用した表示装置が用いられてもよい。ハーフミラー５は、液晶表示装置４における表示面に平行に接するようにまたは近接するように設けられ、利用者に対する面を前面とするとき、後面から液晶表示装置４の表示面によって与えられる画像を前面へ半透過することにより表示するとともに、前面に立つ利用者の像を反射することにより像として映す。すなわち、ハーフミラー５は鏡としての機能に加えて後面の像を半透過することにより、この半透過された像と、反射された像とを合成表示することができる。したがって、このような機能を有するものであればハーフミラーに代えて使用可能であり、例えば特定波長の光を反射しそれ以外の光を透過する機能を有するダイクロイックミラーや、鏡面を形成することができる 明るさ増大フィルム（Dual Brightness Enhancement Film）などを使用する構成であってもよい。

画像処理装置２は、ＣＰＵ、メモリ、フレームバッファ、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、後述するように利用者に適した情報を液晶表示装置４に表示させる。このとき、イメージセンサ３により撮像された利用者の像に基づき、ハーフミラー５に反射像として映る利用者の像に重ならない位置に、上記情報を表示する。この手法については後述する。

＜１．２ 機能的構成＞
図２は、本実施形態に係る情報表示装置を機能面から見た構成を示すブロック図である。この図２に示す情報表示装置は、機能的には、主として利用者の像を取得するための撮像部３０と、利用者に適した上記情報を表示するための表示部４０と、当該情報をネットワーク６を介して外部から適宜に取得するための通信部６０と、これらを制御するとともに、ハーフミラー５に反射像として映る利用者の像の位置を検出し、利用者の顔を認識することにより特定するための制御部２０とを備える。

通信部６０は、典型的にはネットワークアダプタであって、ＬＡＮ（Local Area Network）であるネットワーク６を介して図示されないデータサーバや、さらにはインターネットを介して接続されるサーバなどから、上記情報を取得する。

撮像部３０は、ＣＣＤ等の撮像素子を用いて構成されるイメージセンサ３に相当し、リアルタイムに画像を取り込んで当該画像（撮影画像）を表す画像信号を出力する。この画像信号は制御部２０に入力されて、その内部のメモリに撮影画像データとして一時的に（典型的には数フレーム分が）記憶される。

制御部２０は、図１に示すように、ＣＰＵ、メモリ、フレームバッファ、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、以下の機能を実現する。

すなわち制御部２０は、イメージセンサ３により取得された撮像画像に含まれる利用者の顔の像に対応する領域を検出する顔領域検出部２１と、検出された顔領域に含まれる利用者の顔を予め登録された利用者と照合し特定する顔特定部２２と、検出された顔領域に基づき利用者の像が占めると予測される利用者範囲を決定する利用者範囲決定部２３と、認識され特定された利用者に適した情報を決定された利用者範囲に重ならないように表示部４０に表示するよう制御する表示情報制御部２５とを備え、これらの各機能を実現する。これらの機能についてさらに詳しく説明する。なお、これらの構成要素は、イメージセンサ３において利用者の像の可能性がある動体が検出される時に起動してもよいし、常時起動していてもよい。

まず顔領域検出部２１は、撮影画像を所定の大きさで順番に切り出し、当該領域が顔であるか否かを判定するといった周知の顔検出が行われる。例えば、積分画像を使用することにより画像解像度に関わらず高速演算が可能なＨａｒｒ−ｌｉｋｅ特徴量を用いてパターンマッチングを行い、かつ周知の学習アルゴリズムであるＡｄａＢｏｏｓｔアルゴリズムを用いて高精度に判別器を選定することにより、正確で高速な顔検出を行う。もちろんこのように顔を特定する構成は一例であって、公知の様々な顔認識手法を採用することができる。なお、ここでは説明の便宜のため、検出された顔領域は矩形であるものとする。

次に、顔特定部２２は、顔領域検出部２１により検出された顔領域の情報を、予め登録しておいた利用者（以下この利用者を「登録利用者」という）の顔情報と照合することにより、当該顔領域に写る顔がどの利用者の顔であるかを特定する。例えば、顔特定部２２は、本実施形態における情報表示装置に適した態様で固有顔と呼ばれる標準化された顔の要素を表す数値群を複数記憶しており、かつ全登録利用者がどの固有顔の組み合わせからなるか（具体的には類似する固有顔に対する各類似割合を示す数値群）を記憶している。なお、これらの記憶内容は、不揮発性の半導体メモリやハードディスク装置などの補助記憶装置において保持されており、顔特定部２２により適宜に読み出される。

そして、顔特定部２２は、顔領域検出部２１により検出された顔領域に写る顔がどの固有顔の組み合わせからなるかを算出し、記憶している利用者の中から該当する組み合わせを有する利用者を特定する。このような顔の特定（顔認証とも呼ばれる）手法によれば、画像を記憶する必要がないため必要な記憶容量を削減でき、かつ高速な特定が可能となる。もちろんこのように顔を特定する構成は一例であって、公知の様々な顔認識手法を採用することができる。

また利用者範囲決定部２３は、顔領域検出部２１により検出された顔領域の範囲を示す情報から、ハーフミラー５に映っている（はずである）利用者の顔の範囲に対応する液晶表示装置４の表示画面上の範囲（座標）を算出する。すなわち、イメージセンサ３により撮影される範囲に立つ利用者は、ハーフミラー５にも当該利用者の姿（ここでは顔）が映っており、イメージセンサ３の取り付け位置や画角と、ハーフミラー５との位置関係から、周知の座標変換を行うことにより、上記表示画面上の対応する座標を算出することができる。

もっとも、イメージセンサ３は、３次元空間内の対象を２次元の画像として撮像するため、上記座標はイメージセンサ３の画像から直ちに（一義的に）求められるわけではない。この算出方法をＹ軸方向（Ｙ座標）に着目し図３を参照して説明する。

図３は、表示画面に対応する顔範囲と、イメージセンサとの位置関係を示す図である。この図３に示されるように、イメージセンサ３は、液晶表示装置４の表示画面中心から垂直方向に距離Ｄだけ離れた点をその撮像画像の中心位置として撮像するように、すなわちイメージセンサ３の光軸が上記点を通るように設置されている。この点を以下では単に交点と呼ぶ。なお、上記距離Ｄは、表示画面のＹ軸方向の長さをＨとするとき、Ｈの３倍になることが多い。鏡として使用し、かつ表示画面の情報を読み取るのに当該距離が適しているためである。

この交点からイメージセンサ３までの距離をＥａとし、利用者の顔の位置からイメージセンサ３までの距離をＥｂとし、Ｙ座標において交点からイメージセンサまでの線分と、交点から表示画面中心までの線分とのなす角をθとする。また、イメージセンサ３により撮像される画像において、利用者の顔の最上部の位置（Ｙ座標）は、イメージセンサ３の光軸に対応する撮像画像の中心から距離ｙａ（ここでは画素数ｙａ）にあるものとする。

ここで、例えば当該位置において既知の長さのもの（例えば１メートルの基準棒）を置くとすると、当該長さ１メートルが撮像画像における何画素分（当該画素数をｐｓとする）に相当するかが分かる。したがって、上記距離ｙａに対して１／ｐｓを乗算するスケーリングを行えば、実際の利用者の顔の最上部までの距離を（メートル単位で）計算することができる。

また、このとき、上記距離Ｅｂは、一般的な顔の大きさから上記と同様のスケーリングを行うことにより算出可能であるが、イメージセンサ３に備えられる光学装置であるオートフォーカス装置から出力されるピント位置情報に基づき、距離Ｅｂの正確な測定値を受け取ることもできる。

以上のような値に基づき、図３に示す位置関係から表示画面の中心位置から利用者の顔領域の最上部までの画面上の距離ｙは、次式（１）のように表すことができる。
ｙ＝ｙａ×ｃｏｓθ−（Ｅｂ−Ｅａ）×ｓｉｎθ …（１）

なお、上記の算出方法は一例であって、例えばイメージセンサを２つ設ける方式や、距離センサなどにより上記利用者の顔までの距離を求めてもよいし、異なる公知の算出手法が用いられてもよい。また、ここではＹ軸方向に着目して説明したが、Ｘ軸方向においても全く同様に説明することができるので、ここでの説明は省略する。

利用者範囲決定部２３は、以上のように利用者の顔領域の範囲を算出するとともに、利用者の顔以外の部分（以下「体」という）の占める領域の範囲も算出する。この算出手法について図４を参照して説明する。

図４は、表示画面上における顔領域の範囲と、顔の下に存在する体領域の範囲とを示す図である。この図４に示されるように、液晶表示装置の表示画面４１０において、利用者の顔領域Ｕｆの範囲の（向かって）左上の座標（Ｘ，Ｙ）から右方向に長さＷ、下方向に長さｈの範囲を簡易に顔領域Ｕｆとして決定する。なお、上記Ｘ座標およびＹ座標は、上式（１）に基づき、イメージセンサ３により取得される撮像画像から、利用者範囲決定部２３により算出されることは前述した。

このとき、体領域Ｕｂの範囲は、当然顔領域Ｕｆの範囲の下に所定の大きさで存在することになるため、ここでも簡易に体のＸ方向の長さを（Ｗ×Ａ）とする。なおＡは所定の係数であり、比較的太った人でも当該範囲に含まれるように適宜に定められる。また、体のＹ方向の長さは、典型的には上記位置関係から上半身のみが撮像されていることが多く、少なくとも足先まで撮像されていないと考えられることから表示画面４１０の下端（下辺）まで体領域Ｕｂが続いているものとして体領域Ｕｂの範囲を決定する。すなわち、表示画面４１０のＹ軸方向の長さをＤｈとするとき、体領域ＵｂのＹ方向の長さは、（Ｄｈ−Ｘ+ｈ）となる。したがって、体領域Ｕｂの左上の座標は（Ｘ+Ｗ／２−（Ｗ×Ａ／２），Ｙ＋ｈ）となる。

利用者範囲決定部２３は、以上のように利用者の体領域Ｕｂの範囲を算出するが、このような算出方法は簡略な方法の一例であって、その他の公知の算出手法が用いられてもよい。例えば、利用者が写っていない時の撮像画像と、写っている時の撮像画像とを比較することにより、上記体領域Ｕｂの範囲を決定してもよいし、２つのイメージセンサにより距離マップを作成し、利用者の体領域Ｕｂの範囲を３次元データとして正確に算出してもよい。

顔特定部２２は、上記のように特定された利用者を示すＩＤ番号などの識別データを表示情報制御部２５に与え、利用者範囲決定部２３は、上記顔領域Ｕｆの範囲と、上記体領域Ｕｂの範囲とを示す位置データを表示情報制御部２５に与える。

表示情報制御部２５は、これらの情報に基づき、特定された利用者に適した情報を通信部６０によって取得された情報から適宜に選択するとともに、選択された情報を上記利用者の顔領域Ｕｆおよび体領域Ｕｂに重ならない位置に表示する。

なお、制御部２０に含まれる、顔領域検出部２１、顔特定部２２、利用者範囲決定部２３、および表示情報制御部２５の各機能を実現するための上記プログラムは、例えば、そのプログラムを記録した記録媒体であるＤＶＤ−ＲＯＭによって提供される。すなわち、上記所定プログラムの記録媒体としてのＤＶＤ−ＲＯＭが補助記憶装置として制御装置内に内蔵されたＤＶＤ−ＲＯＭ駆動装置に装着され、そのＤＶＤ−ＲＯＭから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、ＤＶＤ−ＲＯＭ以外の記録媒体（ＣＤ−ＲＯＭ等）や通信回線を介して提供されてもよい。そして、本情報表示装置１００の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のＣＰＵによって実行される。これにより、制御装置による上記各部の処理が実現される。

＜１．３ 表示画面例＞
続いて、上記表示情報制御部２５による表示制御動作につき、図５を参照して詳しく説明する。図５は、液晶表示装置の表示画面の構成例を示す図である。この図５に示される液晶表示装置の表示画面４１０には、特定された利用者に適した情報である５つの情報、すなわち、近隣の天気や降水確率、気温などを示す天候情報４１１、未読のメール件数等を示すメール情報４１２、当該利用者が予め作成した行動予定を示す予定情報４１３と、平均株価や値上がり率などを示す株価情報４１４と、現在時刻を示す時刻情報４１５とが表示されている。

このような情報は、顔特定部２２により（具体的には補助記憶装置などにおいて）記憶されている利用者である登録利用者毎に、１つ以上が予め定められている。例えば、装置の最初の起動時に各利用者が登録利用者となるためその顔を登録する（図示されない）初期設定の受け付けが行われ、その際に併せて自らに適した情報の種類や項目等を登録する。

例えば、登録利用者が３人いる場合、第１の登録利用者は、予定情報および株価情報を登録し、第２の利用者は、芸能ニュースおよび特売情報を登録し、第３の登録利用者は星座占いおよび芸能ニュースを登録しているものとする。ここで、顔特定部２２により特定された利用者が第１の登録利用者である場合、図５に示されるように、表示画面４１０には予定情報４１３および株価情報４１４が表示される。なお、これらの情報は、前述したように、通信部６０によって、典型的にはインターネットを介して接続される各種情報サーバやメールサーバ、時刻サーバなどから、上記情報を所定の時間間隔を空けて自動的に取得する。このような情報を取得しまたは更新するための構成は周知であるので、詳しい説明は省略する。

また、当該特定された利用者を含む全ての利用者に適した情報として、予めまたは利用者の初期設定によって、さらに複数の情報、ここでは天候情報、メール情報、および時刻情報が登録されているものとする。したがって、図５に示されるように、表示画面４１０には天候情報４１１、メール情報４１２、および時刻情報４１５が表示される。

なおこのように利用者に適した情報の選択手法は一例であって、公知のどのような選択手法が採用されてもよい。例えば、初期設定などにおいて、各利用者の属性情報（性別や年齢など）が登録されると、登録された属性情報に従って、一般的に当該属性を有する利用者に適すると考えられる情報が予め定められており、当該情報が自動的に登録される構成であってもよい。具体的には、１０代の男性はスポーツニュース情報、１０代の女性は占い情報、３０代の男性は株価情報、３０代の女性は芸能ニュース情報などの情報が予め定められており、例えば第１の利用者が３０代の男性であると登録すると、図５に示されるように、表示画面４１０には株価情報４１４が自動的に選択され表示される。このように性別と各年齢帯とにおいて一意に決定される１つ以上の情報を上記のように予め定めておけば、登録利用者の属性情報に応じて当該登録利用者に適した情報が表示される。また、全ての利用者に適した情報が登録されていてもよいことは同様である。なお、上記の各情報は一例であって、どのような種類または項目の情報であってもよい。

表示情報制御部２５は、以上のように特定された利用者に適した情報を表示し、さらに前述したように選択された情報を上記利用者の顔領域Ｕｆおよび体領域Ｕｂに重ならない位置に表示する。すなわち、利用者範囲決定部２３は、前述したように利用者の顔領域Ｕｆおよび体領域Ｕｂの範囲を算出するので、この範囲に重ならないように、表示情報制御部２５は、表示すべき上記情報の表示範囲を適宜に変形し、情報量を適宜に増減する。このように、或る領域に重ならないように所定の情報を自動的に表示する手法（例えば表示ウィンドウの配置手法など）は公知であるので、詳しい説明は省略する。

なお、ここでは利用者が半身を映す鏡のように本情報表示装置１００を利用する例で説明したが、利用者の体が（上記情報の表示によって）少し隠されても問題はなく、さらには利用者の顔が見えていれば、体領域が隠されても問題ないとも言える。このように体領域と表示情報により隠される範囲については、予め適宜の許容量が定められる構成であってもよいし、初期設定時に利用者が自由に設定する構成であってもよい。

＜１．４ 効果＞
以上のように、本実施形態では、利用者の像の少なくとも一部と合わせて提示されるように、当該利用者に関連する適宜の情報を表示するため、顔領域検出部により検出された顔領域に基づき、当該顔領域に対応する顔を有する利用者を複数の候補から顔特定部で特定し、利用者範囲決定部により決定された利用者の範囲のうち少なくとも顔領域（典型的には体領域）に対応する範囲に重ならない表示画面上の位置に表示させる。したがって、利用者が表示すべき情報の選択を逐一行うことなく、利用者が欲する情報を適宜に提示し、かつ当該情報の提示により利用者の（特に顔の）像と重なって表示されることにより、鏡としての機能が阻害されることを防止することができる。

＜２． 第２の実施形態＞
＜２．１ 全体構成および動作＞
本発明の第２の実施形態に係る情報表示装置は、図１に示される全体構成および図２に示される機能構成と同様であるが、第１の実施形態では利用者が１人である場合を例に説明したのに対して、ここでは利用者が２人である場合の動作を説明する。なお、利用者が３人以上であっても同様に考えることができるので、その場合の説明は省略する。以下では、図６を参照して、本実施形態における情報表示装置の各動作、すなわち各構成要素の処理の流れについて説明する。

＜２．２ 情報表示装置の処理の流れ＞
図６は、本実施形態における情報表示装置の構成要素における処理理手順を示すフローチャートである。

本情報表示装置１００が起動されると、顔領域検出部２１は、イメージセンサ３により取得される撮影画像に含まれる顔領域を全て検出する（ステップＳ１１０）。この顔領域検出部２１の詳しい動作は前述したとおりであり、複数の顔領域は通常重なっていないため、複数の領域であっても検出は可能である。

ステップＳ１２０において、顔特定部２２は、複数の顔領域のうち、未だ特定されていない顔を含む顔領域を順次１つずつ選択し、選択された顔領域の顔を有する利用者を特定する。次にステップＳ１３０において、利用者範囲決定部２３は、特定された利用者の顔領域に対応する体領域を決定する。これらの動作は、第１の実施形態の場合とほぼ同様であるので、説明は省略する。

続いてステップＳ１４０において、顔特定部２２は、未だ特定されていない顔が存在しないか、すなわち全ての顔領域の特定を完了したか否かを判定し、完了していない場合には（ステップＳ１４０においてＮｏの場合）にはステップＳ１２０に戻り、全ての顔領域の特定が完了するまで処理が繰り返され（Ｓ１４０→Ｓ１２０→Ｓ１３０→Ｓ１４０）、全て特定が完了した場合（ステップＳ１４０においてＹｅｓの場合）には、処理はステップＳ１５０に進む。

次にステップＳ１５０において、表示情報制御部２５は、各利用者に適した情報を取得するため特定された利用者に適した情報を通信部６０によって取得された情報から適宜に選択する。なおこのように、利用者が複数存在する場合であっても、基本的には第１の実施形態の場合と同様に情報を適宜に選択することができる。

続いてステップＳ１６０において、表示情報制御部２５は、選択された情報を各利用者の少なくとも顔領域に重ならない位置に（典型的には体領域にも重ならない位置に）表示できるよう、その表示範囲を決定する。さらにステップＳ１７０において、表示情報制御部２５は、液晶表示装置の表示画面上の上記決定された表示範囲に、上記選択された情報を表示する。その後、一連の処理は終了し、利用者の位置が変化するかまたは所定の時間経過後に上記一連の処理が繰り返される。

＜２．３ 表示画面例＞
続いて、本実施形態における表示情報制御部２５による表示制御動作につき、図７および図８を参照して詳しく説明する。

図７は、表示画面上における２人の顔領域の範囲と、顔の下に存在する体領域の範囲と情報表示領域とを示す図である。この図７に示されるように、液晶表示装置の表示画面４２０において、図中の男性の利用者（以下「第１の利用者」という）の顔領域Ｕｆ１の範囲の（向かって）左上の座標（Ｘ１，Ｙ１）から第１の実施形態と同様の矩形の範囲を簡易に顔領域Ｕｆ１として決定する。なお、上記Ｘ１座標およびＹ１座標は、上式（１）に基づき、イメージセンサ３により取得される撮像画像から、利用者範囲決定部２３により算出されることは前述した。また、第１の実施形態の場合と同様に、当該第１の利用者の体領域Ｕｂ１を決定する。

さらに、図中の女性の利用者（以下「第２の利用者」という）の顔領域Ｕｆ２の範囲の（向かって）左上の座標（Ｘ２，Ｙ２１から第１の実施形態と同様の矩形の範囲を簡易に顔領域Ｕｆ２として決定し、同様にして当該第２の利用者の体領域Ｕｂ２を決定する。

また、ここでは第１の実施形態の場合とは異なり、表示画面４２０の左から幅ＤＡ１の矩形領域を第１の情報表示領域とし、右から幅ＤＡ２の矩形領域を第２の情報表示領域とし、中央の幅ＤＡ３の矩形領域を共通情報表示領域とする。この図７を参照すればわかるように、第１の情報表示領域は、第１の利用者の顔領域Ｕｆ１および体領域Ｕｂ１の一部を含み、第２の情報表示領域は、第２の利用者の顔領域Ｕｆ２および体領域Ｕｂ２の一部を含み、共通情報表示領域は、第１および第２の利用者の顔領域Ｕｆ１，Ｕｆ２および体領域Ｕｂ１，Ｕｂ２の一部をともに含んでいる。

そして、第１の情報表示領域には、第１の利用者に関連する適した情報を表示し、第２の情報表示領域には、第２の利用者に関連する適した情報を表示し、共通情報表示領域には第１および第２の利用者に共通に適した情報を表示する。そうすれば、比較的表示される情報量が多くなる場合であっても、各利用者にとって見やすくすることができる。以下、図８を参照して説明する。

図８は、本実施形態における液晶表示装置の表示画面の構成例を示す図である。この図８に示される液晶表示装置の表示画面４２０には、第１および第２の利用者にそれぞれ適した情報である５つの情報、すなわち、近隣の天気や降水確率、気温などを示す天候情報４２１、星座占いの結果を示す占い情報４２２、第１の利用者が予め作成した行動予定を示す予定情報４２３と、平均株価や値上がり率などを示す株価情報４２４と、現在時刻を示す時刻情報４２５とが表示されている。

これらの情報については、占い情報４２２を除き、第１の実施形態の場合と同様であるが、第２の利用者に適した情報である占い情報４２２は、第１の利用者には適しておらず（当該利用者にとって不要な情報であり）、第１の利用者に適した情報である予定情報４２３および株価情報４２４は、第２の利用者には適していないことがある（当該利用者にとって不要な情報であることがある）。

したがって、各利用者はそれぞれ自分の像を見ることから、各利用者に適した情報を当該利用者の近傍に配置すれば各利用者にとって見やすくなる。そこで、第１の情報表示領域に予定情報４２３および株価情報４２４を表示し、第２の情報表示領域に占い情報４２２を表示することにより、第１および第２の利用者にとって見やすく配置することができる。また、第１の実施形態の場合と同様に、第１および第２の利用者にともに適した共通情報である天候情報４２１および時刻情報４２５を共通情報領域に配置すれば、各利用者がそれぞれ自分の像を見るときにも見やすい位置に表示することができる。

もっとも、共通情報領域は、第１および第２の利用者の顔領域Ｕｆ１，Ｕｆ２および体領域Ｕｂ１，Ｕｂ２の一部をともに含んでいる必要は必ずしもなく、その一部をともに含んでいない領域であってもよい。

図９は、図７の場合とは異なる位置に配置される共通情報領域を、表示画面上における２人の顔領域の範囲と、顔の下に存在する体領域の範囲とともに示す図である。この図９に示されるように、液晶表示装置の表示画面４２０における上側に存在する第１および第２の利用者の顔領域Ｕｆ１，Ｕｆ２および体領域Ｕｂ１，Ｕｂ２の一部をともに含んでいない領域は、各利用者にとって見やすい位置とも言える。共通情報領域Ａａ３は、このような位置に設けられてもよいし、第１および第２の利用者のうちの一方の上方の空白位置（すなわち第１および第２の情報表示領域Ａａ１，Ａａ２のうちのいずれかの上方）などに配置されてもよい。また、これらの情報を移動させつつ表示させてもよい。このような情報の表示方法には周知の様々な手法を用いることができる。

なお表示情報制御部２５は、前述したように少なくとも第１および第２の利用者の顔領域Ｕｆ１，Ｕｆ２のいずれにも重ならない位置に各種情報を表示する場合には、必ずしも鏡としての機能を損なうとは言えず、特に体領域Ｕｂ１，Ｕｂ２にわずかに重なっている場合には、鏡としての機能はもちろん、表示される情報の見やすさも失われない。そこで、図８に示される株価情報４２４は、体領域Ｕｂ１と少し重なって表示されている。このように体領域と表示情報により隠される範囲については、予め適宜の許容量が定められる構成であってもよいし、初期設定時に利用者が自由に設定する構成であってもよいことは前述したとおりである。

＜２．４ 効果＞
以上のように、本実施形態では、複数の利用者のうちの一人の利用者の範囲を含む情報表示領域を利用者毎に設定し、利用者に関連する情報を、対応する利用者に設定された情報表示領域の少なくとも一部が含まれる範囲に表示させるので、各利用者が情報の選択を行うことなく、各利用者が欲する情報を適宜に提示し、かつ当該情報の提示により各利用者の（特に顔の）像と重なって表示されることにより、鏡としての機能が阻害されることを防止することができる。

＜３ 第３の実施形態＞
＜３．１ 全体構成および動作＞
本発明の第３の実施形態に係る情報表示装置は、図１に示される全体構成および図２に示される機能構成と同様であるが、本実施形態では、第１の実施形態とは逆に、典型的には利用者の体領域Ｕｂに重なるように表示する場合について説明する。なお、利用者が２人以上であっても同様に考えることができるので、その場合の説明は省略し、ここでは利用者が一人の例で説明する。

＜３．２表示画面例＞
続いて、本実施形態における表示情報制御部２５による表示制御動作につき、図１０を参照して詳しく説明する。図１０は、本実施形態における液晶表示装置の表示画面の構成例を示す図である。この図１０に示される表示画面４３０には、利用者の体領域Ｕｂに重なるように表示される服装の種類を示す種類選択情報４３１と、当該種類選択情報４３１に基づき選択された服装の種類（ここではネクタイ）の画像候補を示す画像選択情報４３２とが表示されている。

このような情報は、典型的には補助記憶装置などにおいて予め記憶されており、図示されないリモートコントローラや、音声認識に基づく選択操作、またはタッチパネル付きの液晶表示装置などの周知の構成により、利用者の選択操作が受け付けられるが、一定の時間間隔で順番に（自動で）選択される構成であってもよい。また、選択に応じた画像は、利用者の体型に合わせて（具体的には体領域Ｕｂから算出される利用者の体型に適合するよう拡大、縮小、または変形されて）体領域Ｕｂと重なる位置に表示される。例えばネクタイであれば、顔領域の下側に接する位置であって、体領域Ｕｂの中心線に沿った位置に配置される。

＜３．３ 効果＞
以上のように、本実施形態では、利用者の範囲の少なくとも一部が含まれる範囲であって、顔領域に対応する範囲に重ならない表示画面上の位置に、利用者に関連する情報としての画像を表示させるので、例えば服装など利用者の像に重なるように表示することで、仮想的な着せ替えを行うことができ、鏡としてもより使いやすくすることができる。

＜４．変形例＞
本実施形態では、ハーフミラーが使用され、利用者の像はこのハーフミラーに映る構成であるが、ハーフミラーおよび同様の構成要素を使用せず、表示画面に利用者の像を映す、いわゆるビデオミラーの構成であってもよい。この場合には、利用者の範囲を決定することが簡単である利点は反面、利用者の像はイメージセンサおよび液晶表示装置の解像度によっては必ずしも美しく表示されないことがある。また実際の鏡のように正面から映る（かのような）利用者の像を表示画面に表示するためには、イメージセンサから得られる撮像画像を変形する必要があり、鏡と完全に同一のように表示することは困難である。しかし、簡易な構成で、鏡として使用することができる点で好適である。

２…画像処理装置（制御装置）
３…イメージセンサ
４…液晶表示装置
５…ハーフミラー
２０…制御部
２１…顔領域検出部
２２…顔特定部
２３…利用者範囲決定部
２５…表示情報制御部
３０…撮像部（イメージセンサ）
４０…表示部（液晶表示装置）
６０…通信部（ネットワークアダプタ）
４１０，４２０，４３０…表示画面
Ｕｆ，Ｕｆ１，Ｕｆ２…顔領域
Ｕｂ，Ｕｂ１，Ｕｂ２…体領域

Claims (3)

1. 利用者の像の少なくとも一部と合わせて提示されるように、当該利用者に関連する情報を表示する表示装置であって、
   前記利用者の像を含む撮影画像を取得する撮像部と、
   前記情報を表示画面に表示する表示部と、
   前記撮影画像に含まれる前記利用者の顔部分の像である顔領域を検出する顔領域検出部と、
   前記顔領域検出部により検出された顔領域に基づき、当該顔領域に対応する顔を有する利用者個人を複数の候補から特定する顔特定部と、
   前記顔領域検出部により検出された顔領域を含む利用者の像の範囲に対応する、前記表示画面上の利用者の範囲を決定する利用者範囲決定部と、
   前記顔特定部により特定された利用者個人に関連する情報として予め定められた種類または項目の情報を、前記利用者範囲決定部により決定された前記利用者の範囲のうち少なくとも前記顔領域に対応する範囲に重ならない前記表示画面上の位置に表示させる表示情報制御部と
   を備え、
   前記表示情報制御部は、
   前記表示画面上に、複数の利用者のうちの一人の利用者の範囲を含む情報表示領域を前記利用者毎に設定し、前記利用者個人に関連する情報を、対応する利用者に設定された情報表示領域の少なくとも一部が含まれる範囲に表示させ、
   前記利用者のうちの二人以上の利用者の範囲の一部をともに含む共通領域を設定し、前記複数の利用者に共通して関連する情報として予め定められた種類または項目の情報を、前記共通領域の少なくとも一部が含まれる範囲に表示させることを特徴とする、表示装置。
2. 前記表示画面に対して略平行に設けられ、前記表示画面側からの光を少なくとも一部透過し、前記表示画面と反対側からの光を少なくとも一部反射する鏡をさらに備え、
   前記鏡は、前記利用者の像を当該利用者に提示することを特徴とする、請求項１に記載の表示装置。
3. 前記表示情報制御部は、前記利用者の範囲の少なくとも一部が含まれる範囲であって、前記顔領域に対応する範囲に重ならない前記表示画面上の位置に、前記利用者個人に関連する情報としての画像を表示させることを特徴とする、請求項１に記載の表示装置。

Images