JP6316648B2 - 表示装置 - Google Patents

Description

本発明は、表示装置に関し、特に、表示面において、光の一部を透過し、一部を反射する光透過反射機能を有する表示装置に関する。

表示面において、光の一部を透過し、一部を反射する光透過反射機能を有する表示装置、所謂ミラー機能付き表示装置として、例えば特許文献１には、表示面にハーフミラーを備えたバックライト式画像表示装置が開示されている。

特開平１１−０１５３９２号公報（１９９９年１月２２日公開）

ところで、従来のミラー機能付き表示装置では、ディスプレイの上に、鏡像と合成表示される画像を、鏡に映る使用者の像を邪魔しないようにシステムによって位置や大きさや形状が予め固定されている。

そのため、使用者が合成表示された画像に対し、鏡像と重ねて表示させたいという要望に動的に応えられないという問題が生じる。

そこで、ディスプレイ上に表示される画像の表示位置やサイズを使用者が操作する手段として、リモコンやタッチパネルを用いることが考えられるが、以下のような問題が生じる。

タッチパネルを用いる場合、タッチパネルに手が届かない場所への設置ができないという制約が発生し、逆に、手が届くところに設置すると、画面に指紋がついて鏡としての機能が損なわれる虞がある。

また、リモコンを用いる場合は、使用者が操作をしたいと考えるたびにリモコンを操作することになり、その煩わしさが鏡としての機能を阻害する虞がある。

本発明は、上記の各問題点に鑑みなされたものであって、その目的は、表示面上の画像を、鏡像に重ねて表示したときに、煩わしい操作を行うことなく、当該鏡像に重ねる画像を変更できるミラー機能付きの表示装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る表示装置は、光の一部が透過し、一部が反射する光透過反射部材を、表示面上に重ねて配置した表示装置において、上記光透過反射部材の光反射面側に存在する人物の像が上記光反射面側に映る人物領域を検出する領域検出手段と、上記光透過反射部材の光反射面側に存在する人物を撮影して得られた人物映像を、上記領域検出手段が検出した人物領域に上記光透過反射部材を透過するように表示させる表示制御手段と、上記人物映像から検出された人体の各部位のうち、一つの部位を操作部位とし、当該操作部位の表示領域と少なくとも一部重なる領域を含んだ部位を選択部位として特定する特定手段と、を備え、上記表示制御手段は、上記人物領域のうち、上記選択部位に対応する特定領域に、上記操作部位の動きのみに応じて取得した更新用の画像を表示させることを特徴としている。

本発明の一態様によれば、人物映像を、鏡像に重ねて表示したときに、操作部位の動きのみによって、更新用の画像を表示させることができるので、煩わしい操作を行うことなく、当該鏡像に重ねる画像を変更できるという効果を奏する。

本発明の実施形態１に係る表示装置の概略構成ブロック図である。 図１に示す表示装置の概略構成図である。 図１に示す表示装置における画像表示処理の流れを示すフローチャートである。 図３に示す画像表示処理における画像更新処理の流れを示すフローチャートである。 図１に示す表示装置における画像更新処理の流れを説明する図である。 （ａ）（ｂ）は、画像更新時の画像サイズおよび表示位置の調整方法を説明するための図である。 本実施形態１の変形例を示す表示装置の概略構成ブロック図である。 本発明の実施形態２に係る表示装置の概略構成ブロック図である。 （ａ）（ｂ）は、図８に示す表示装置における拡大処理を説明するための図である。 （ａ）（ｂ）は、図８に示す表示装置における縮小処理を説明するための図である。 本発明の実施形態３に係る表示装置の概略構成図である。 （ａ）〜（ｃ）は、本発明の実施形態４に係る表示装置における鏡像と画像との入替え表示を説明するための図である。

〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。本実施形態では、ミラー（鏡）として機能する光透過反射部材として、ハーフミラーを例に説明する。

（表示装置の概要）
図１は、本実施形態に係るミラー機能付き表示装置（以下、表示装置と称する）１０１の概要を説明するための図である。

表示装置１０１は、図２に示すように、表示部（表示手段）１１と、表示部１１の表示面１１ａ上に重ねて配置されたハーフミラー（光透過反射部材）１２と、表示部１１の周囲に設けられた、カメラ１３と、マイク１４、スピーカ１５とを備えている。

表示部１１は、映像を表示する表示手段であり、液晶表示パネルからなり、液晶表示パネル以外の、ＥＬ(有機、無機)、ＰＤＰ（Plasma Display Panel）、ＳＥＤ（Surface−conduction Electron−emitter Display）等のＦＰＤ（Flat Panel Display）であってもよい。

ハーフミラー１２は、光の入射率と反射率とが同じになるように、板ガラス、あるいはアクリルなどの有機ガラスに、反射膜をごく薄く形成し、半透明にして形成された光透過反射部材である。ハーフミラー１２としては、市販されているものを使用することができる。

ハーフミラー１２は、上述のように、表示部１１の表示面１１ａ上に重ねて配置されているので、当該表示面１１ａに表示される映像を透過して映し出し、外部から表示面１１ａに向かって入射される光の一部を反射して鏡像が生成される。

カメラ１３は、表示面１１ａ側から、表示装置１０１の前に居る人物を撮影するための撮影手段であって、表示部１１の表示に寄与しない周縁部の左右に２箇所設けられている。カメラ１３を２箇所設けるのは、表示装置１０１の前に居る人物と表示部１１の表示面１１ａとの間の距離を測定するためである。

また、カメラ１３は、撮像素子として、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた一般的な小型のデジタルカメラであり、表示装置１０１の前に居る人物を撮影できるものであれば、何でもよい。

さらに、本発明では、表示装置１０１の前に居る人物の操作部位（本実施形態では、手先）を検出する手段（操作部位検出手段）が必須である。従って、本実施形態では、カメラ１３によって、表示装置１０１の前に居る人物を撮影して、その撮影映像から人体の各部位（頭、首、腕、手先、脚、足先、胴体、腰部等）を検出し、検出した各部位から指先１６ａを操作部位として検出する。

マイク１４は、表示装置１０１の前に居る人物が発する音声を取り込むための手段であり、スマートフォンや携帯電話等に用いられる一般的なマイクで構成されている。また、マイク１４によって取り込まれた音声から個人を特定するようにしてもよい。

スピーカ１５は、表示装置１０１の前に居る人物に対して音声を発する手段であり、スマートフォンや携帯電話等に用いられる一般的なスピーカで構成されている。また、スピーカ１５は、表示装置１０１の前に居る人物に対して必要とされる情報を音声で報知するための手段としても用いられる。例えば、スピーカ１５は、表示部１１の表示面１１ａに表示された画像１７ａ〜１７ｄに対応する情報を音声で発して、表示装置１０１の前に居る人物に報知する。

なお、上記カメラ１３は、ハーフミラー１２の前に居る人物の動きを検出するために用いてもよい。この動き検出の結果は、制御装置２０に入力され、動きに応じたコマンドを実行（ジャスチャ入力処理）するようになっている。例えば、人物の指先を検出し、その動きを検出し、指先が指した位置に表示されているカスタマイズ情報を選択するようにしてもよい。

（表示装置の詳細）
ここで、表示装置１０１の詳細について図２を参照しながら以下に説明する。

表示装置１０１は、図２に示すように、通信ネットワーク（図示せず）を介して管理サーバ２に接続されており、表示部１１、カメラ１３、マイク１４、スピーカ１５、これらを制御する制御装置２０を備えている。

制御装置２０は、情報取得部（画像取得手段）２１、人体部位検出部２２、操作部位検出部２３、人物領域検出部（領域検出手段）２４、表示制御部（表示制御手段）２５、選択部位特定部（特定手段）２６を含んでいる。

人体部位検出部２２は、カメラ１３によって撮影された人物の撮影映像から、人体の予め設定した各部位を検出する。具体的には、人物の撮影映像から、既存の画像認識処理を用いて、上述したように、人体の各部位（頭、首、腕、手先、脚、足先、胴体、腰部等）を検出する。

操作部位検出部２３は、人体部位検出部２２によって検出された人体の各部位のうち、操作指示に用いる操作部位を検出する。具体的には、人体の各部位のうち、人体の手先に該当する部位を操作部位として検出する。図２の符号１６ａが手先に該当する部位を示す。

情報取得部２１は、インターネット等の通信ネットワークを介して接続された管理サーバ２から必要な情報を取得する。ここで、必要な情報とは、後述する変更対象となる画像（上着、ズボン、靴、帽子、スカートなどの画像）であり、他の変更すべき情報であってもよい。

また、情報取得部２１は、操作部位検出部２３によって検出される操作部位の指示内容に応じて、表示制御部２５からの指示に基づいて管理サーバ２から情報を取得している。例えば、操作部位の指示内容が、ユーザの頭を指すことを示す内容であれば、帽子の画像を管理サーバ２から取得する。

情報取得部２１は、取得した情報を表示制御部２５に送る。

人物領域検出部２４は、図２に示すように、ハーフミラー１２を透過した人物の像が上記表示面１１ａに表示される領域（人物領域１１ｂ）を検出する。ここでは、例えば２つのカメラ１３により撮影された表示装置１０１の前に居る人物の撮影映像から、表示装置１０１と人物との間の距離を求め、この距離からハーフミラー１２に映し出された鏡像１６の大きさおよび表示位置を求めて、当該表示装置１０１の表示部１１の表示面１１ａに投影される鏡像１６の表示位置を人物領域１１ｂとして検出する。

人物領域検出部２４は、検出した人物領域１１ｂを表示制御部２５に送る。

選択部位特定部２６は、上記人物領域１１ｂにおける、上記操作部位検出部２３によって検出された操作部位の表示領域に少なくとも一部重なる表示領域である特定領域に表示された部位を選択部位として特定する。つまり、特定された選択部位は、操作対象となる部位となる。ここでは、例えば、操作部位を人物の指先１６ａとして、この指先１６ａの表示面１１ａにおける人物領域１１ｂの表示領域と、人体の各部位の表示面１１ａにおける表示領域との重なり度合いを検出し、重なり度合いが一番大きい表示領域を特定領域とし、この特定領域に表示された部位を選択部位であると特定する。

選択部位特定部２６は、特定した選択部位を表示制御部２５に送る。

表示制御部２５は、表示部１１の表示面１１ａに表示すべき映像の表示位置を制御する。具体的には、表示制御部２５は、人物領域検出部２４からの人物領域１１ｂの表示位置を特定し、この人物領域１１ｂに、カメラ１３によって撮影された人物の撮影映像（人物映像）を表示させる。これにより、ハーフミラー１２に映し出される人物の鏡像と、当該人物の撮影映像とが、表示面１１ａ上の人物領域１１ｂにおいて重ねて表示される。

また、表示制御部２５は、カメラ１３からの撮影映像を所望のサイズに変換して、人物の撮影映像として表示部１１の表示面１１ａの所望する位置に表示させることもできる。

さらに、表示制御部２５は、選択部位特定部２６によって特定された選択部位の表示面１１ａにおける表示座標に相当する領域（特定領域）を、人物領域検出部２４によって検出された人物領域１１ｂから抽出し、当該抽出領域をハイライト表示し、カメラ１３からの人物の撮影映像に合成して表示データとして表示部１１に出力する。これにより、表示装置１０１の前に居る人物は、自分で指示（選択）した自分の体の部位がハイライト表示されていることを確認できる。ここでは、選択部位にハイライト画像を重ねることでハイライト表示を実現している。

また、表示制御部２５は、ハイライト表示した状態で、操作部位検出部２３によって検出された操作部位による操作指示を受け付けて、受け付けた操作指示に応じた情報を情報取得部２１から取得し、取得した情報（更新用の画像）をハイライト表示された領域（特定領域）に表示させる。つまり、表示制御部２５は、上記特定領域に、上記操作部位の動きに応じて取得した更新用の画像を表示させる。

ここで、例えば、操作部位が手先であれば、手先を回転させること（操作部位の動き）で、更新用の画像を取得するための操作指示とすることができる。この操作指示は、カメラ１３による人物の撮影映像を解析することにより表示制御部２５に伝わる。これは、操作指示と、対応するコマンド（情報を取得すること）を対応付けておくことで実現できる。なお、操作指示は、手先の回転だけでなく、手先を横に振る動作であってもよく、特に限定されるものではない。

（画像更新処理）
以下に、ユーザによる人体の部位を特定してハイライト表示させ、ハイライト表示させた特定領域に更新用の画像を表示させる処理の流れについて、図３および４に示すフローチャート、図５に示す表示例を参照しながら説明する。

まず、鏡像の表示位置の検出を行う（ステップＳ１１）。具体的には、人物領域検出部２４によって、ハーフミラー１２を透過した人物の像が上記表示面１１ａに表示される領域（人物領域１１ｂ）を検出する。

次に、人体部位の検出を行う（ステップＳ１２）。具体的には、人体部位検出部２２によって人物の撮影映像から画像認識処技術を用いて、人体の各部位を検出する。

続いて、操作部位の検出を行う（ステップＳ１３）。具体的には、操作部位検出部２３によって、検出された各部位から、予め設定した部位を操作部位として検出する。本実施形態では、人物の指先１６ａを操作部位として説明する。

ここまでの処理により、ユーザは、図３の（ａ）に示すように、鏡像１６を映し出した状態で、指先１６ａで体の部位を指示する。

続いて、選択部位の特定を行う（ステップＳ１４）。具体的には、選択部位特定部２６によって、人体部位検出部２２によって検出された各部位のうち、操作部位検出部２３によって検出された操作部位に指示された部位を選択部位として特定する。

そして、特定された部位のハイライト表示を行う（ステップＳ１５）。例えば、図５の（ｂ）に示すように、指先１６ａが指している選択部位１６ｂに対応する領域がハイライト表示される。ここで、ハイライト表示された部位が所望する部位である場合、すなわち正しい場合は、ユーザは指先１６ａを使ってＯＫマークを形作る。これにより、ハイライト表示される領域が決定される。この場合、指先１６ａを使って形成したＯＫマークは、カメラ１３により撮影され、撮影映像を解析することで、認識される。なお、指先１６ａでＯＫマークを指示するだけでなく、「ＯＫ」と音声を発してもよい。この場合、既存の音声認識処理を行い、「ＯＫ」を認識して、ハイライト表示される領域が決定される。

なお、指先１６ａが指示した部位が所望の部位でない場合には、再度、指先１６ａを使って体の部位を指示する。

続いて、画像更新処理が実行される。ここで、画像更新処理とは、ハイライト表示された選択部位１６ｂに対応する領域に、既に表示されている画像を、ユーザの指示により別の画像に交換することをいう。

すなわち、図４に示すステップＳ２１において、操作部位による画像取得操作を検出すれば、画像取得を行う（ステップＳ２２）。操作部位による画像取得操作とは、指先１６ａを回転する等のジェスチャーを行うことを示す。ここでは、指先１６ａの回転を画像取得操作として対応付けることで、ユーザは、指先１６ａを回転させることで、更新用の画像取得を行うことができる。

続いて、取得した画像をハイライト表示された選択部位に対応する領域に表示する（ステップＳ２３）。ここでは、図５の（ｃ）に示すように、ハイライト表示された選択部位１６ｂに対応する領域に表示させる画像１７（帽子）を、当該部位１６ｂを挟んで水平方向に並んで表示される。ユーザは、指先１６ａを回転させることで、表示されている画像１７をスクロールさせながら、ハイライト表示された選択部位１６ｂに対応する領域に順次表示させる。

従って、上記構成の表示装置１０１を自宅の鏡として用いることで、商品を実際に身に付けなくてもユーザが商品を身に付けた状態を当該表示装置１０１に映しだし、衣服のコーディネートや商品購入を検討できる。

つまり、上記構成の表示装置１０１を自宅の鏡として用いれば、ユーザは、当該鏡に映った像を見ながら、衣服を表示する位置を指定し、例えば鏡像を見ながら衣服を変えたい部位に手を重ねるか、あるいは自分自身の体の一部を指差すことで、ユーザの姿を取得するカメラにてユーザが鏡像のどの部位を見ながら指定しているかが検出される。そして、選択された部位（ユーザ指定の部位）に応じた衣服を鏡像の大きさにサイズと形状を変更し、選択された部位に対応する領域に重ね合わせて表示する。

（重ね合わせる画像のサイズ調整）
次に、選択部位に重ね合わせる画像のサイズ調整および表示位置の調整について、図６の（ａ）（ｂ）を参照しながら以下に説明する。以下、説明の便宜上、「選択された部位」を「選択部位」、「選択部位を表示する表示領域に更新用の画像を表示する」を、「選択部位に画像を重ねる」と称して説明する。

まず、図６の（ａ）に示すように、ハーフミラー側に立つユーザから見た表示装置の画面上の選択部位の高さ（縦方向の長さ）Ａを求める。

Ａは、以下の式で求めることができる。

Ａ＝｛Ｅ−（Ｈ＋Ｖ）｝/２＋（Ｈ＋Ｖ）−（Ｅ＋Ｈ）/２＝Ｖ／２
ここで、Ｅは、ユーザの眼の高さを示し、Ｖは鏡像の選択部位の高さ、Ｈは鏡像の方から地面までの距離から選択部位の高さＶを引いた高さを示す。

次に、ハーフミラー側に立つユーザから見た表示装置の画面上の選択部位の位置（地面からの高さ）Ｂを求める。

Ｂは、以下の式で求めることができる。

Ｂ＝Ｈ＋（Ｅ−２Ｈ）/２＝（Ｅ＋Ｈ）/２
続いて、図６の（ｂ）に示すように、ハーフミラー側に立つユーザから見た表示装置の画面上の選択部位の幅（横方向の長さ）Ｃを求める。

Ｃは、以下の式で求めることができる。

Ｃ＝Ｗ/２
ここで、Ｗは、ユーザの鏡像の選択部位における幅を示す。

以上のようにして求めた選択部位の高さＡ，幅Ｃとなるように、表示装置に表示すべき画像サイズを調整し、選択部位の位置Ｂに表示させ、さらに、画像形状を選択部位の形状に合わせることで、ユーザは自分の鏡像に重ね合わせた画像を違和感なく見ることができる。

また、鏡像における選択部位にハイライト画像を重ねてハイライト表示を実現する点について説明したが、ハイライト画像を重ねるのではなく、選択部位を点滅させるようにしてハイライト表示を実現してもよい。

選択部位に画像を重ねた状態で、鏡像が動いた場合、鏡像の動きに追従して重ねた画像を表示し続けるようにしてもよい。この場合、鏡像が動いて、選択部位が隠れる状態、すなわち、選択部位がハーフミラーに映し出されない状態になると、選択部位に重ねて表示している画像も隠れるようにする。

また、ユーザが、選択部位に重ねて表示された画像を触るようなジェスチャーを行うことで、当該画像を移動させるようにしてもよい。例えば、画像が衣服の場合、ユーザは、鏡像を見ながら、衣服を触るようなジェスチャーで衣服の画像を移動させる。

なお、選択部位に重ねる画像は、上述したように、通信ネットワークを介して管理サーバ２から取得している。これにより、取得する画像を衣服とした場合、ユーザは、未だ購入していない衣服などの商品の画像を取得し、コーディネートを仮想的に行うことができる。

また、選択部位に重ねる画像を、管理サーバ２からではなく、自分が所有している衣服などを撮影した画像とすることもできる。この場合には、情報取得部２１が取得する画像は、管理サーバ２ではなく、装置内に、ユーザが撮影した画像を格納して、必要に応じて画像を読み出すようにすればよい。

これにより、自分が持っている衣服のコーディネートを仮想的に行うことができるので、実際に衣服を着用する手間を省くことができる。

また、ユーザが自身で所有している衣服を着用した状態で、表示装置１０１のカメラ１３にて撮影して、撮影映像からユーザ自身で選択部位を特定して、特定した選択部位に対応する衣服の映像を抜き出して、コーディネート用の画像として保存するようにしてもよい。この場合には、自分が持っている衣服を着用することなく、コーディネートすることが可能である。

（変形例）
（表示装置の詳細）
図７は、選択部位をジェスチャーで特定するのではなく、音声で特定するための構成を備えた表示装置１０２の概略を示すブロック図である。

表示装置１０２は、基本的に、図１に示す表示装置１０１と同じ構成であるが、音声で特定するための構成として、操作部位検出部２３の代わりに、音声認識処理部２７、音声認識データベース２８を備えている。

音声認識処理部２７は、マイク１４から入力される音声データを認識し、認識した音声データに対応するコマンドを選択部位特定部２６に出力する。コマンドは、音声認識データベース２８において、音声データに対応付けられて格納されている。ここで、コマンドは選択部位を特定するためのコマンドである。つまり、マイク１４から入力された音声データを認識し、認識した音声データに対応するコマンドを音声認識データベース２８から読み出して、選択部位特定部２６に送ることで、当該選択部位特定部２６は、送られたコマンドに対応する部位を選択部位として特定する。

このように、音声により選択部位の特定を行うこと以外の処理は、前記の表示装置１０１と同じ処理である。

以上の説明では、コーディネートすべき帽子を、ユーザが最初被っていないことを想定していたが、ユーザが予め帽子を被っている場合には、予め被っている帽子がコーディネートする帽子の画像の表示を邪魔する虞がある。

また、ユーザが予め着用している上着が長袖であり、コーディネートすべき上着が半袖の場合にも、元の長袖の上着が、コーディネートする上着の画像の表示を邪魔する虞がある。

このように、ユーザが最初に着用している衣服や帽子については、選択部位として特定された段階で、ハイライト表示用の画像によって隠すように画像処理を行うようにすればよい。これにより、コーディネートする衣服や帽子などの画像は、元の衣服や帽子に邪魔されることなく、表示させることができる。
〔実施形態２〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（表示装置の詳細）
図８は、本実施形態に係る表示装置１０３の概略を示すブロック図である。

表示装置１０３は、前記実施形態１の図１に示す表示装置１０１とほぼ同じであり、表示部１１として液晶表示パネルを用いて、さらに、当該液晶表示パネルを背面から光を照射するバックライト装置（光量調整手段）３０を備えている点で異なる。

本実施形態では、表示装置１０３の前に立つ人物（ユーザ）を撮影した撮影映像を拡大または縮小表示する例について説明する。通常、表示装置１０３では、鏡像と撮影映像との大きさは同じで重なっている。しかしながら、ユーザを撮影したユーザの撮影映像を拡大または縮小した場合、ユーザの鏡像と、ユーザの撮影映像との大きさが異なるため、ユーザの撮影映像を適切にみるためには、ユーザの鏡像を映し出さないように工夫する必要がある。

ここで、表示部１１に液晶表示パネルを用い、当該液晶表示パネルの背面をバックライト装置３０により光照射することで、表示部１１の前面に配されたハーフミラー１２におけるミラーとしての機能を調整してもよい。この場合には、バックライト装置３０による光照射の強度を上げて、表示部１１から照射される光を強くすることで、ハーフミラー１２におけるミラーとしての機能を低下させ、当該表示部１１に表示された映像を鏡像に邪魔されることなく、当該表示装置１０３の前に立つ人物に見せることができる。また、特に光を強くしたい箇所では液晶表示パネルの表示を白色に近づけるとミラーとしての機能を低下させるのに効果的である。逆に、バックライト装置３０による光照射の強度を下げて、表示部１１から照射される光を弱くすることで、ハーフミラー１２におけるミラーとしての機能を向上させ、当該表示部１１に表示された映像に鏡像を重ねた状態で、当該表示装置１０３の前に立つ人物に見せることができる。光を強くするのと同様に、特に光を弱くしたい箇所では液晶表示パネルの表示を黒色に近づけるのもミラーとしての機能向上に効果的である。

表示装置１０３の表示面の大きさや人物の立つ位置によって、表示面に打ち出される鏡像は、人物の上半身であったり、全身であったりする。例えば、鏡像が全身、あるいは上半身の場合、選択部位に表示させる画像が衣服の場合には、ユーザが所望する選択部位の特定は容易であるが、眼鏡や時計などの小物の場合には、ユーザが所望する選択部位を適切に選択することができない虞がある。

（選択部位の拡大処理）
そこで、ユーザが選択部位を特定する際に、表示装置１０３に表示されているユーザの撮影映像を拡大表示することが考えられる。

図９の（ａ）は、ユーザの鏡像１６とユーザの撮影映像１６’とが重なっている状態を示す図であり、図９の（ｂ）は、ユーザの鏡像１６を映し出さずに、拡大したユーザの撮影映像１６’のみを表示した状態を示す図である。

つまり、ユーザが眼鏡を選択部位として特定しようとする場合、図９の（ａ）に示すように、表示装置１０３の表示面１１ａに表示されたユーザの撮影映像１６’を拡大して、且つ、バックライト装置３０の照射光の光量をアップさせて、鏡像を映さないようにして、図９の（ｂ）に示すような状態とし、眼鏡に対応する選択部位１６ｂを特定する。もちろん、特定した選択部位１６ｂは、ハイライト表示する。

このように、撮影映像１６’を拡大すれば、選択部位が小さいものであても、容易に特定することができる。

眼鏡に対応する選択部位１６ｂ’を特定した後は、再度、図９の（ａ）に示す状態に戻して、選択部位１６ｂ’に表示されている眼鏡に対応する画像を取得して、画像を順次変更して、眼鏡のコーディネートを確認する。

なお、選択部位１６ｂ’を特定した後、眼鏡のコーディネートの確認を、図９の（ａ）に示す状態に戻さず、図９の（ｂ）に示す状態で行ってもよい。

一方、図９の（ａ）に示すように、ユーザの鏡像１６の下半身が写し出されていない状態で、靴をコーディネートしたい場合、上記の処理とは逆の処理、すなわち、撮影映像１６’の縮小処理を行う。

（選択部位の縮小処理）
そこで、ユーザが選択部位を特定する際に、表示装置１０３に表示されているユーザの撮影映像を縮小して全身を表示することが考えられる。

図１０の（ａ）は、ユーザの鏡像１６とユーザの撮影映像１６’とが重なっている状態を示す図であり、図１０の（ｂ）は、ユーザの鏡像１６を映し出さずに、縮小したユーザの撮影映像１６’のみを表示した状態を示す図である。

つまり、ユーザが、今履いている靴を選択部位として特定しようとする場合、図１０の（ａ）に示すように、表示装置１０３の表示面１１ａに表示されたユーザの撮影映像１６’を縮小して、且つ、バックライト装置３０の照射光の光量をアップさせて、鏡像１６を映さないようにして、図１０の（ｂ）に示すような状態とし、操作部位１６ａ’によって靴に対応する選択部位１６ｃ’を特定する。もちろん、特定した選択部位１６ｃ’は、ハイライト表示される。

このように、撮影映像１６’を縮小すれば、表示面１１ａに映し出されていない、人物の下半身まで表示することが可能となる。これにより、表示面１１ａに映し出されていない人物の領域における選択部位を特定することが可能となる。

靴を特定した後は、図１０の（ｂ）に示す状態で、靴に対応する画像を取得して、画像を順次変更して、靴のコーディネートを確認する。

以上のように、上記実施形態１，２の表示装置１０１〜１０３によれば、ユーザは、コーディネートの対象となる帽子、服、靴などを自分の鏡像が表示された状態で選択できる。このため、ユーザは、コーディネートの対象物を直感的に選択できるという効果を奏する。

以下の実施形態３では、表示装置１０１の前に居る人物の鏡像が映し出されている領域（人物領域）以外の領域に白色画像を表示することで、補助光とする例について説明する。

〔実施形態３〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、本実施形態に係る表示装置として、前記実施形態１の表示装置１０１（１０２）、実施形態２の表示装置１０３の何れも用いることができるため、表示装置１０１を例に説明する。

図１１は、表示装置１０１における、人物の鏡像１６の表示領域である人物領域１１ｂ以外の領域１１ｃに白色画像を表示させて補助光とした表示面の一例を示している。

上記表示装置１０１を鏡台の鏡として使用した場合、鏡台の鏡でユーザが映っていない一部の領域１１ｃを白色画像にし、補助光として利用する。補助光として利用する領域１１ｃは、予め固定した領域に設定してもよいし、任意に設定するようにしてもよい。例えば表示面１１ａ上の領域を指定するように、ユーザが手を動かすことで、補助光として利用する領域１１ｃを指定することが考えられる。

このように、補助光として利用する領域１１ｃを指定することで、ユーザは、自分の鏡像１６においてどのように光が照射されているかを確認することができる。

また、補助光として利用する領域１１ｃに表示する画像を、白色画像ではなく、電球色等の色味の異なる色の画像とすることで、補助光の色を変えることができる。これにより、例えば、鏡台で化粧をしているユーザは、異なる色味の補助光を用いることで、化粧の見え具合を色味毎に確認することができる。

以下の実施形態４では、表示装置１０１の前に居る人物の鏡像が映し出されている領域（人物領域）以外の領域に、生活情報（交通情報、ニュースなど）を表示する例について説明する。

〔実施形態４〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、本実施形態に係る表示装置として、前記実施形態１の表示装置１０１（１０２）、実施形態２の表示装置１０３の何れも用いることができるため、表示装置１０１を例に説明する。

本実施形態では、表示装置において、鏡像の表領域以外の領域に表示されている、生活情報（交通情報、ニュース記事）などを表示している画像をユーザが選択し、ユーザが見やすい位置に移動させたり、大きさを変えたりする点について説明する。

例えば、表示装置１０１（鏡）に映った自分の鏡像１６を見ながら、生活情報を表示している画像を選択する。例えば、ユーザは、鏡を見ながら所望する生活情報を表示している画像に手を重ねる。一定時間重ねると手の動きに追従して画像が移動し、例えば自分の正面（鏡像１６が映し出されている領域）にニュース記事を表示した画像が移動できる。このようにユーザの手の動きに追従する画像は、歯を磨くときはあごの下に置き、ネクタイを締めるときは顔の上に置き、特にニュースに用がないときは鏡の隅に小さくして追いやることができる。

図１２の（ａ）〜（ｃ）は、人物領域以外の領域に生活情報が表示されている画像の処理の流れを示す図である。

例えば図１２の（ａ）は、生活情報が表示されている画像１７ａ〜１７ｄのうち、交通情報が表示されている画像１７ｄがユーザの手の動きによって指定された状態を示している。

この状態で、ユーザが手を動かして画像１７ｄを、自分の正面の位置（鏡像１６が映し出される領域（人物領域１１ｂ））まで移動させ、図１２の（ｂ）に示すように、生活情報の詳細が表示されてように拡大した画像１７ｄ’を、人物領域１１ｂに表示する。このとき、鏡像１６の代わりに、表示装置１０１の前に居る人物をカメラ１３で撮影した撮影映像１６’を元の画像１７ｄが表示された位置に表示する。

そして、生活情報を確認し終わり、再び正面に鏡像１６を映し出すため、ユーザの手を撮影映像１６’に重ねると、図１２の（ｃ）に示すように、撮影映像１６’が選択されたことを示すリング１８が表示され、この状態で所定時間経過すると、再び、図１２の（ａ）に示すように、鏡像１６が表示される。

上記の処理を繰り返すことで、表示装置１０１の前に居る人物は、自分の姿を確認しながら、必要な情報を見やすい位置で確認することができる。

以上の各実施形態において、表示装置１０１〜１０５では、ミラー機能を実現するための手段としてハーフミラー１２を用いているが、ミラー機能を実現するための手段としてはハーフミラー１２に限定されるものではない。ハーフミラー１２は、光の透過率と光の反射率とが等しいが、光の透過率と光の反射率とが異なる光透過反射部材であってもよい。

例えば、表示装置１０１〜１０５は、映り込む鏡像を利用していることから、ハーフミラー１２におけるミラーの材料や厚みを調整することにより、可視波長域全域に亘る反射率が少なくとも３０％以上あることが望ましく、更には５０％以上あることが望ましい。

〔ソフトウェアによる実現例〕
表示装置１０１〜１０３の制御ブロック（制御装置２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る表示装置は、光の一部が透過し、一部が反射する光透過反射部材（ハーフミラー１２）を、表示面１１a上に重ねて配置した表示装置において、上記光透過反射部材の光反射面側に存在する人物の像が上記光反射面側に映る人物領域を検出する領域検出手段（人物領域検出部２４）と、上記光透過反射部材（ハーフミラー１２）の光反射面側に存在する人物を撮影して得られた人物映像を、上記領域検出手段が検出した人物領域１１ｂに上記光透過反射部材（ハーフミラー１２）を透過するように表示させる表示制御手段（表示制御部２５）と、上記人物映像から検出された人体の各部位のうち、一つの部位を操作部位とし、上記人物領域１１ｂにおける、当該操作部位の表示領域に少なくとも一部重なる表示領域である特定領域に表示された部位を選択部位として特定する特定手段（選択部位特定部２６）と、を備え、上記表示制御手段（表示制御部２５）は、上記特定領域に、上記操作部位の動きのみに応じて取得した更新用の画像を表示させることを特徴としている。

上記構成によれば、表示制御手段が、人物の像が光透過反射部材を透過するように表示面に表示した人物領域のうち、人体の一つの部位である操作部位により特定された人体の部位に対応する領域に、当該操作部位の動作に応じて取得した画像を表示させていることで、ユーザは自分の体の一部である操作部位（手）を動作させるだけで、所望する部位に所望する画像を表示させることができる。

これにより、人物映像を、鏡像に重ねて表示したときに、操作部位の動きのみにより更新用の画像を表示することができるので、リモコン操作や、タッチパネル操作のような煩わしい操作を行うことなく、当該鏡像に重ねる画像を変更できる。

従って、鏡としての機能を阻害することなく、鏡像に重ねる画像を任意に変更することができるという効果を奏する。

本発明の態様２に係る表示装置は、上記態様１において、上記表示制御手段（表示制御部２５）は、上記特定領域に、上記操作部位の動きに応じて取得した画像を表示させる前に、ハイライト表示用の画像を表示させてもよい。

上記構成によれば、ユーザは、ハイライト表示されている部位を見るだけで、自分が選択した部位であるか否かを容易に判断することができる。

本発明の態様３に係る表示装置は、上記態様２において、上記表示制御手段（表示制御部２５）は、上記特定領域がハイライト表示されている間に、当該特定領域への画像表示の指示を受け付けると、当該特定領域に、上記更新用の画像を表示させてもよい。

上記構成によれば、ユーザの意図するタイミングで、特定領域に更新用の画像を表示させることが可能となる。

本発明の態様４に係る表示装置は、上記態様１〜３の何れか１態様において、上記表示制御手段（表示制御部２５）は、上記特定領域のサイズに合わせて上記更新用の画像のサイズを調整してもよい。

上記構成によれば、特定領域のサイズに合わせて更新用の画像サイズを調整することで、更新用の画像を鏡像と重ね合わせた場合の違和感を少なくできる。

本発明の態様５に係る表示装置は、上記態様１〜４の何れか１態様において、上記表示制御手段（表示制御部２５）は、上記人物映像の表示サイズを変更もよい。

上記の構成によれば、人物映像の表示サイズを変更して表示させることで、表示面のサイズに応じたサイズの人物映像を表示させることができる。例えば、表示面に人物の上半身のみが表示され、下半身を確認したいときには、全身が映るように表示サイズを縮小して人物映像を表示させ、表示面に人物の全身が表示され、ある部位を確認したいときには、ある部位が拡大するように表示サイズを拡大した人物映像を表示させることができる。

これにより、ユーザは、所望する画像を表示させるための領域を容易に特定することが可能となる。

本発明の態様６に係る表示装置は、上記態様５において、上記表示面１１ａから上記光透過反射部材に向かって照射する光量を調整する光量調整手段（バックライト装置３０）をさらに備え、上記光量調整手段（バックライト装置３０）は、上記表示制御手段（表示制御部２５）によって、人物映像の表示サイズを変更するとき、上記光透過反射部材に向かって照射する光量を上げることが好ましい。

上記の構成によれば、表示制御手段によって、人物映像の表示サイズを変更するとき、光透過反射部材に向かって照射する光量を上げることで、当該光透過反射部材に映し出された鏡像を確認し難くなる。これにより、人物映像のみを表示面に表示させることができるので、人物映像を拡大しても、縮小してもユーザは当該人物映像を確認することができる。

本発明の態様７に係る表示装置は、上記態様１〜６の何れか１態様において、上記特定領域に表示させる画像を取得する画像取得手段（情報取得部２１）をさらに備え、上記画像取得手段（情報取得部２１）は、通信ネットワークを介して、画像を管理する管理サーバ２から画像を取得してもよい。

上記の構成によれば、表示装置をどこに持っていても、同じ画像を取得することが可能となるため、どこでも、衣服などのコーディネートを行うことが可能となる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、ミラー機能付きの表示装置に利用でき、特に、鏡像と撮影映像に加えて、ユーザが指定する領域に画像を重ねて表示する表示装置に利用することができる。

２ 管理サーバ
１１ 表示部
１１ａ 表示面
１１ｂ 人物領域
１１ｃ 領域
１２ ハーフミラー（光透過反射部材）
１３ カメラ
１４ マイク
１５ スピーカ
１６ 鏡像
１６’ 撮影映像
１６ａ 指先
１６ａ’ 操作部位
１６ｂ 選択部位
１６ｂ’ 選択部位
１６ｃ’ 選択部位
１７ａ〜１７ｄ 画像
１８ リング
２０ 制御装置
２１ 情報取得部（画像取得手段）
２２ 人体部位検出部
２３ 操作部位検出部
２４ 人物領域検出部（領域検出手段）
２５ 表示制御部（表示制御手段）
２６ 選択部位特定部（特定手段）
２７ 音声認識処理部
２８ 音声認識データベース
３０ バックライト装置（光量調整手段）
１０１ 表示装置
１０２ 表示装置
１０３ 表示装置

Claims (5)

1. 光の一部が透過し、一部が反射する光透過反射部材を、表示面上に重ねて配置した表示装置において、
   上記光透過反射部材の光反射面側に存在する人物の像が上記光反射面側に映る人物領域を検出する領域検出手段と、
   上記光透過反射部材の光反射面側に存在する人物を撮影して得られた人物映像を、上記領域検出手段が検出した人物領域に上記光透過反射部材を透過するように表示させる表示制御手段と、
   上記人物映像から検出された人体の各部位のうち、一つの部位を操作部位とし、上記人物領域における、当該操作部位の表示領域に少なくとも一部重なる表示領域である特定領域に表示された部位を選択部位として特定する特定手段と、
   を備え、
   上記表示制御手段は、
   上記特定領域に、上記操作部位の動きのみに応じて取得した更新用の画像を表示させることを特徴とする表示装置。
2. 上記表示制御手段は、
   上記特定領域に、上記更新用の画像を表示させる前に、ハイライト表示用の画像を表示させることを特徴とする請求項１に記載の表示装置。
3. 上記表示制御手段は、
   上記特定領域がハイライト表示用の画像が表示されている間に、当該特定領域への画像表示の指示を受け付けると、当該特定領域に、上記更新用の画像を表示させることを特徴とする請求項２に記載の表示装置。
4. 上記表示制御手段は、
   上記特定領域のサイズに合わせて上記更新用の画像のサイズを調整することを特徴とする請求項１〜３の何れか１項に記載の表示装置。
5. 上記表示制御手段は、
   上記人物映像の表示サイズを変更することを特徴とする請求項１〜４の何れか１項に記載の表示装置。

Images