JPWO2014156146A1 - 電子ミラー装置 - Google Patents

Abstract

本開示の一態様に係る電子ミラー装置１００は、使用者の顔の鏡像を表示する電子ミラー装置であり、使用者の顔の向きや視線に合わせて、顔画像の表示位置を見やすい位置に移動させることができる。本開示の一態様に係る電子ミラー装置１００は、使用者の顔を撮像する撮像部１０２と、撮像した使用者の顔の画像データに基づいて、使用者の顔の鏡像の画像データを出力する画像データ生成部１２０と、使用者の顔の鏡像の画像データを表示する表示部１０３と、表示部上の鏡像の表示位置を移動させる表示位置移動部１３０とを備える。

Description

本開示は、電子ミラー装置に関する。

カメラで撮像した画像をディスプレイに表示して鏡として使用する、いわゆる電子ミラーが提案されており、携帯端末のアプリケーションとして使用することが提案されている（例えば、特許文献１）。また、特許文献２が開示するように、カメラの位置が可変であれば使用者の背面を見ることもでき、光を反射する普通の鏡とは異なる機能を果たすことができる。

一方、普通の鏡とは使用感が異なること、具体的にはカメラと目の高さが一致しないため視線が合わないことなどが、電子ミラーの課題として挙げられる。このような課題を鑑みて、特許文献３は複数のカメラで撮影した画像を合成する方法を、特許文献４は撮像部を表示部の真後ろに配置して表示と撮像のＯＮ／ＯＦＦの切り替えを同期して行う方法を、特許文献５はカメラの位置を移動させる機構をそれぞれ提案している。また、電子ミラー分野とは異なるが、視線と画像の位置を合わせる技術として、特許文献６は車の運転者の視線を検出して、画像表示位置を変更する技術を提案している。

実用新案登録第３１５４５２９号公報 特開２０００−１３８９２６号公報 特開２００２−２９０９６４号公報 特開２００４−２９７７３３号公報 特開２０１２−６０５４７号公報 特開２０１１−２４０８１３号公報

本開示は、普通の鏡とは使用感が異なることを積極的に利用して画像データの視認性を向上させる電子ミラー装置を提供する。

本開示の一態様に係る電子ミラー装置は、使用者の顔の鏡像を表示する電子ミラー装置であって、使用者の顔を撮像する撮像部と、撮像した使用者の顔の画像データに基づいて、使用者の顔の鏡像の画像データを出力する画像データ生成部と、使用者の顔の鏡像の画像データを表示する表示部と、表示部上の鏡像の表示位置を移動させる表示位置移動部とを備える。

本開示の一態様に係る電子ミラー装置によれば、使用者が視認しやすい位置に画像の表示位置が移動することによって、普通の鏡では見えにくい顔の部分（例えば、横顔や顎の下）を容易に見ることができる。

実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置の動作を示すフローチャートである。 実施形態に係る電子ミラー装置の動作を示すフローチャートである。 実施形態に係る電子ミラー装置の動作を示すフローチャートである。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）から（ｃ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の動作を示す図である。

本開示の一態様の概要は以下のとおりである。

本開示の一態様に係る電子ミラー装置は、使用者の顔の鏡像を表示する電子ミラー装置であって、使用者の顔を撮像する撮像部と、撮像した使用者の顔の画像データに基づいて、使用者の顔の鏡像の画像データを出力する画像データ生成部と、使用者の顔の鏡像の画像データを表示する表示部と、表示部上の鏡像の表示位置を移動させる表示位置移動部とを備える。

電子ミラー装置は、例えば、使用者からの鏡像の表示位置の移動の命令を受け付けるユーザインターフェイスをさらに備え、表示位置移動部は、ユーザからの命令に基づいて、鏡像の表示位置を移動させてもよい。

電子ミラー装置は、例えば、使用者の顔の向きを推定する向き推定部をさらに備え、表示位置移動部は、推定された顔の向きに基づいて、鏡像の表示位置を移動させてもよい。

電子ミラー装置は、例えば、使用者の顔の画像データにおける、顔の所定の部分の位置および分布を検出する顔特徴検出部をさらに備え、向き推定部は、検出した顔の所定の部分の位置および分布に基づいて使用者の顔の向きを推定してもよい。

電子ミラー装置は、例えば、表示部と使用者の顔との間の距離を推定する距離推定部をさらに備え、表示位置移動部は、推定された顔の向きおよび距離に基づいて、鏡像の表示位置を移動させてもよい。

電子ミラー装置は、例えば、使用者の視線の方向を検出する視線検出部をさらに備え、表示位置移動部は、使用者の視線の先に対応した位置に、鏡像の表示位置を移動させてもよい。

例えば、撮像部と表示部とは一体に構成されていてもよい。

例えば、表示位置移動部が鏡像の表示位置を移動させる前の状態では、画像データは、表示部の中央部よりも撮像部に近い側に表示されていてもよい。

電子ミラー装置は、例えば、表示部を複数個備え、表示位置移動部は、鏡像の表示位置を複数の表示部の間で移動させてもよい。

本開示の一態様に係るコンピュータプログラムは、使用者の顔の鏡像を表示する動作を電子機器に実行させるコンピュータプログラムであって、コンピュータプログラムは、使用者の顔を撮像するステップと、撮像した使用者の顔の画像データに基づいて、使用者の顔の鏡像の画像データを出力するステップと、使用者の顔の鏡像の画像データを表示するステップと、鏡像の表示位置を移動させるステップと、を電子機器のコンピュータに実行させる。

以下、実施形態に係る電子ミラー装置を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１に係る電子ミラー装置１００を示す図である。電子ミラー装置１００は、使用者の顔の鏡像を表示する。電子ミラー装置１００は、筐体１０１と、撮像部１０２と、撮像部１０２で取得した画像を表示する表示部１０３と、ユーザのタッチ操作を受け付けるタッチパネル１０４とを備える。タッチパネル１０４は、使用者からの画像の表示位置の移動の命令等の各種命令を受け付けるユーザインターフェイスの一例である。この例では、撮像部１０２、表示部１０３、タッチパネル１０４は同じ筐体１０１に搭載され、一体に構成されている。

図２、図３を参照して、電子ミラー装置１００の動作を説明する。図２（ａ）、図３（ａ）は電子ミラー装置１００と使用者２００を上から見た位置関係を示し、図２（ｂ）、図３（ｂ）はその位置関係のときに電子ミラー装置１００に表示される顔画像２１０を示す。図２（ａ）のように使用者２００が電子ミラー装置１００に向かって正面を向いている場合、図２（ｂ）のように左右反転された鏡像の顔画像２１０は、使用者２００の正面に表示される。図２（ａ）では、使用者２００が表示部１０３の中央部前方に位置するため、顔画像２１０は表示部１０３中央部に表示されている。また、図３（ａ）のように使用者２００が左側を向いた場合も、図３（ｂ）のように顔画像２１０は使用者２００の顔の正面方向に表示される。図３（ａ）では、使用者２００が表示部１０３の中央部前方に位置しており、かつ使用者２００が左側を向いているため、顔画像２１０は表示部１０３の左側に表示される。このように、使用者２００の顔の向きの方向に顔画像２１０が表示されると、使用者２００は眼球の動きを少なく抑えることができ、普通の鏡と比べて横顔が見やすくなる。このため、電子ミラー装置１００は、顔画像２１０の表示位置を移動させる表示位置移動部を有することにより、使用者２００の顔の位置や向きが変化しても顔画像２１０を見やすくすることができる。

顔画像２１０の表示位置の移動方法としては、例えば、使用者２００がタッチパネル１０４を操作して、自分の見やすい位置に顔画像２１０をスライドさせてもよい。また、電子ミラー装置１００に顔認識機能を付加して、自動で顔画像２１０の表示位置を変更するようにしてもよい。

図４は、電子ミラー装置１００の構成要素を示すブロック図である。電子ミラー装置１００は、撮像部１０２と、表示部１０３と、ユーザインターフェイス１０４と、角度検出部１０５と、マイクロコンピュータ１１０と、画像データ生成部１２０と、表示位置移動部１３０と、向き推定部１４０と、顔特徴検出部１５０と、距離推定部１６０と、画像加工部１７０と、視線検出部１８０とを備える。

撮像部１０２は、例えばＣＣＤイメージセンサであり、被写体像を撮像して画像データを生成する。この例では、使用者２００の顔を撮像して、使用者の顔の画像データを生成する。

画像データ生成部１２０は、撮像した使用者２００の顔の画像データに基づいて、使用者２００の顔の鏡像の画像データを生成して出力する。表示部１０３は、使用者２００の顔の鏡像の画像データ２１０を表示する。表示部１０３が表示する画像は動画であるが、静止画であってもよい。画像加工部１７０は、顔の画像データを加工する。角度検出部１０５は電子ミラー装置１００の角度（傾き具合）を検出する。

ユーザインターフェイス１０４は、使用者２００からの鏡像の表示位置の移動の命令を受け付ける。ユーザインターフェイス１０４は、例えばタッチパネルである。

顔特徴検出部１５０は、使用者２００の顔の画像データにおける、顔の目、鼻、口等の所定の部分の位置および分布を検出する。向き推定部１４０は、検出した顔の所定の部分の位置および分布に基づいて使用者２００の顔の向きを推定する。距離推定部１６０は、表示部１０３と使用者２００の顔との間の距離を推定する。視線検出部１８０は、使用者２００の視線の方向を検出する。

表示位置移動部１３０は、ユーザインターフェイス１０４を介した使用者２００からの命令に基づいて、表示部１０３上の鏡像の表示位置を移動させる。また、表示位置移動部１３０は、推定された顔の向きに基づいて、鏡像の表示位置を移動させてもよい。また、表示位置移動部１３０は、推定された顔の向きおよび距離に基づいて、鏡像の表示位置を移動させてもよい。また、表示位置移動部１３０は、使用者２００の視線の先に対応した位置に、鏡像の表示位置を移動させてもよい。

マイクロコンピュータ１１０は、上記のような電子ミラー装置１００の構成要素全体の動作を制御する制御部である。

なお、図４に示す各構成要素は一例であり、電子ミラー装置１００は全ての構成要素を有している必要は無く、電子ミラー装置１００の形態に応じて備える構成要素は変化する。例えば、電子ミラー装置１００は、使用者２００からの移動命令を受け付けるユーザインターフェイス１０４、向き推定部１４０、及び視線検出部１８０のうちの、少なくとも一つを有していればよい。また、顔特徴検出部１５０および距離推定部１６０は、向き推定部１４０に付随する構成要素であるため、向き推定部１４０を有さない実施形態においては必須ではない。

また、角度検出部１０５は、例えば、後述するスマートフォンやタブレット端末のように、電子ミラー装置１００が回転して使用される場合に備えられていればよく、同じ角度で固定して使用される実施形態においては必須ではない。

次に、顔の鏡像の画像データ表示位置を変更する処理の例を説明する。図５Ａ〜図５Ｃは電子ミラー装置１００の処理を示すフローチャートである。

図５Ａは、使用者２００からの移動命令を受け付けるユーザインターフェイス１０４を備える実施形態における処理フローを示す。電子ミラー装置１００が動作を開始すると、撮像部１０２は使用者２００の顔を撮像し（Ｓ１１）、画像データ生成部１２０は、顔の鏡像の画像データを生成する（Ｓ１２）。表示部１０３において、生成された鏡像の画像データが表示される（Ｓ１３）。表示された画像データを使用者２００が確認し、表示位置を移動する必要があると判断した場合、ユーザインターフェイス１０４を介して電子ミラー装置１００に表示位置の移動を命令する（Ｓ１４）。使用者２００の命令を受けて表示位置移動部１３０は画像データの表示位置を移動する（Ｓ１５）。そして、使用者が電子ミラーの使用を終了するまで、表示を継続する（Ｓ１６、Ｓ１７）。

図５Ｂは、向き推定部１４０、顔特徴検出部１５０及び距離推定部１６０を備える実施形態における処理フローを示す。図６は向き推定部１４０、顔特徴検出部１５０における顔の向きの推定処理を説明する図である。図７は、推定した顔の向きと距離に基づいて表示位置の移動量を決定する処理を説明する図である。図８は顔の表示位置を移動させた状態を説明する図である。

鏡像の画像データが表示されるまでの処理（Ｓ２１〜Ｓ２３）は図５Ａの処理（Ｓ１１〜Ｓ１３）と同じである。向き推定部１４０は、使用者２００の顔の向きθを推定する（Ｓ２４）。図６を参照して、顔の向きθを推定する方法を説明する。顔特徴検出部１５０は、撮像部１０２で取得された画像３００から、顔領域と非顔領域とを検出し、向き推定部１４０は、顔の向きを推定して決定する。例えば、図６（ａ）のように、二値化した画像からパターンマッチングによって顔領域２２０と非顔領域３１０を判定し、肌色領域の明部２２１と特徴点を含む暗部（目、鼻、口等）２２２を検出すれば、明部２２１と暗部２２２の分布から顔の向きθを推定することができる。単純なモデルで説明すると、図６（ｂ）のように、頭部が半径ｒの略球形、目は幅６ｒ／５で顔の中心に配置されているとすれば、三角関数の計算により、顔領域内の暗部の幅から顔の向きθが算出できる。

次に、図７、図８を参照しながら、顔画像の表示位置を決定する方法を説明する。距離推定部１６０は、使用者２００と表示部１０３の間の距離ｄを推定して決定する（Ｓ２５）。距離の推定方法としては、視差を利用した方法でもよいし、撮像部１０２の画角と取得画像内の頭幅および平均的な頭幅の値から推定する方法でもよい。

より正確に距離を推定したい場合は、視差から距離ｄを決定し、撮像部１０２の画角と取得画像内の頭幅から実際の使用者２００の頭部の半径ｒを算出する。視差から表示部１０３と使用者２００と間の距離ｄを測定するためには、複数のカメラを使用するか、瞳分割方式を用いる方法が考えられる。ここまでで、使用者２００と表示部１０３の距離ｄ、使用者２００の頭部の半径ｒ、顔の向きθの値が得られる。図７は、電子ミラー装置１００と使用者２００を上から見た位置関係を示しており、顔の向きがθだけ左に傾いている場合、使用者２００が真っ直ぐに見た目線の先は、表示部１０３上において、左側に（ｒ＋ｄ）・ｔａｎθだけ変位することがわかる。すなわち、図８（ａ）に示すように、画像加工部１７０で顔画像が含まれる領域２２０を残してトリミングし、図８（ｂ）に示すように、顔画像が含まれる領域２２０を左側に（ｒ＋ｄ）・ｔａｎθ移動すると、使用者２００が真っ直ぐに見た目線の先に使用者２００の顔画像が表示され、眼球運動を抑えた状態で楽に自分の右顔を観察することができる。

表示位置移動部１３０は、推定された顔の向きおよび距離に基づいて、顔画像の表示位置を移動させると判断した場合は、顔画像の表示位置を移動させる（Ｓ２６、Ｓ２７）。顔の向きが正面を向いている等、顔画像の移動が不要と判断した場合は、顔画像の表示位置を変更せずに、顔の向きおよび距離を推定する処理を継続する（Ｓ２６、Ｓ２８）。そして、使用者が電子ミラーの使用を終了するまで、顔の向きおよび距離を推定する処理、または表示位置を移動する処理を継続する（Ｓ２８、Ｓ２９）。

なお、簡単のために、頭部の半径をｒとして計算する例を説明したが、写真画像から読み取りやすい瞳孔間隔や外眼角幅から表示位置の移動量を決定してもよい。また、顔の左右方向だけでなく、上下や斜め方向の向きについても、同様の方法で検出して、画像表示位置を調整してもよい。また、距離推定部１６０は必ずしも必要ではなく、顔の向きと表示位置との関係を予め内蔵メモリーに記憶させ、推定された使用者２００の顔の向きに応じて表示位置を決定してもよい。

図５Ｃは、視線検出部１８０を有する実施形態における処理フローを示す。鏡像の画像データが表示されるまでの処理（Ｓ３１〜Ｓ３３）は図５Ａの処理（Ｓ１１〜Ｓ１３）と同じである。

視線検出部１８０は、使用者２００の視線を検出する（Ｓ３４）。視線の検出の方法は、特に限定しないが、角膜（黒目）と強膜（白目）の輝度差を利用する方法などを用いることが出来る。例えば、使用者２００が右または左を向いていると判断された場合には、表示位置をそれぞれ右または左に移動させる。また、例えば、使用者２００が正面を向いていると判断された場合は、表示位置を移動させない（Ｓ３５、Ｓ３６、Ｓ３７）。使用者が電子ミラーの使用を終了するまで、視線検出処理、または表示位置を移動する処理を継続する（Ｓ３７、Ｓ３８）。

なお、図５Ｂ及び図５Ｃの実施形態においては、顔の向き又は視線を検出する前に鏡像の画像データを表示する処理（Ｓ２３、Ｓ３３）は省略されてもよく、顔の向き又は視線を検出した後に画像データを表示してもよい。すなわち、電子ミラー装置１００は、顔向き又は視線の検出結果に基づいた表示位置に鏡像の画像データを表示させることができればよい。また、上記のように自動で顔画像の表示位置を移動させた後に、タッチパネル１０４で顔画像をスライドさせ、使用者２００が自分で見やすい位置に微調整できるようにしてもよい。また、マイクロコンピュータ１１０が、使用者２００の顔の向き又は視線と、使用しやすい好みの位置との関係を覚えて内蔵メモリーに記憶しておくような学習機能を有していてもよい。また、電子ミラー装置１００の寸法に対して変位量が大きい場合、表示部１０３の範囲内に顔の画像が収まって表示されるように動作を設定してもよい。

電子ミラー装置１００では、使用する使用者２００の顔画像を、使用者２００にとって見やすい位置に表示させることができるため、普通のミラーよりも少ない眼球運動で楽に顔画像を観察することが可能となる。

（実施の形態２）
図９は、実施の形態２に係る電子ミラー装置１００を示す図である。本実施の形態２に係る電子ミラー装置１００は、小型で持ち運び可能なサイズである。電子ミラー装置１００は、電子ミラーとして動作させるためのアプリケーションをインストールしたスマートフォンやタブレット端末であってもよい。本実施の形態２に係る電子ミラー装置１００では、電子ミラー装置１００が使用者２００にどのような状態で保持されているのかを角度検出部１０５が検出する。

図９を参照して、電子ミラー装置１００の動作を説明する。図９（ａ）のように、電子ミラー装置１００の長手方向が水平方向に対して垂直であり、撮像部１０２が上方に配置されている状態を基本状態とした場合、撮像部１０２と使用者２００の目の高さが近いほど画像が見やすくなるため、顔画像２１０は表示部１０３の上方に表示される。すなわち、表示位置移動部１３０が顔画像２１０の表示位置を移動させる前の初期状態では、顔画像２１０は、表示部１０３の中央部よりも撮像部１０２に近い位置に表示される。

次に、図９（ｂ）のように電子ミラー装置１００を右に９０度回転させた場合、角度検出部１０５は右に９０度回転したことを感知して、顔画像２１０は左に９０度回転し、撮像部１０２に近い位置に表示される。同様に、図９（ｃ）のように電子ミラー装置１００を左にθ度回転した場合、角度検出部１０５は左にθ度回転したことを感知して、顔画像２１０は右にθ度回転し、撮像部１０２に近い位置に表示される。

実施の形態２の電子ミラー装置１００は、実施の形態１の電子ミラー装置１００と同様に、顔画像２１０の表示位置を移動させることができる。さらに実施の形態２の電子ミラー装置１００は、小型で可搬型であるため、使用者２００と撮像部１０２および表示部１０３との位置関係の変更が容易である。

図１０、図１１を参照して、実施の形態２の電子ミラー装置１００の動作をさらに説明する。図１０（ａ）、図１１（ａ）は、電子ミラー装置１００と使用者２００の上から見たときの位置関係を示しており、図１０（ｂ）、図１１（ｂ）は、そのときの電子ミラー装置１００の表示画像を示している。図１０（ａ）のように使用者２００が電子ミラー装置１００に向かって正面を向いている場合、使用者２００が表示部１０３を正面から見たとしても、撮像部１０２が使用者１００の右側にあるため、取得される顔画像２１０はやや右側からみた画像になる。このような視線のずれは、電子ミラーの課題と捉えられているが、本実施形態のように、積極的に顔の右側の情報を取得したい場合においては有効に利用できる。すなわち、図１１（ａ）のように、顔の右側をよく観察したい場合、撮像部１０２を表示部１０３の右側になるようにして、撮像部１０２を観察したい顔領域近くに持っていけば、顔の向きとしては左側を向いたように検出される。このため、図１１（ｂ）のように顔画像２１０は表示部１０３の左側に移動し、使用者２００にとって見やすい位置に顔画像２１０が移動する。顔の左右方向だけでなく、上下や斜め方向の向きについても同様であり、顔の左側の情報を取得したい場合は、撮像部１０２を左に配置して顔画像２１０の表示位置を右側に移動させれば、使用者２００にとって見やすい位置に顔画像２１０が表示される。

なお、顔領域のすべてが表示部１０３に表示される必要はなく、観察したい顔の特定部分のみを拡大して表示してもよい。また、顔画像２１０の表示位置の変更方法としては、実施の形態１と同様、手動で調整してもよいし、自動の顔検出機能を用いてもよい。また、自動で顔画像２１０の表示位置を移動させた後に、タッチパネル１０４で顔画像２１０をスライドさせ、使用者２００が自分で見やすい位置に微調整してもよい。ただし、小型で可搬型の実施の形態２の電子ミラー装置１００は、画像位置の変位量が表示部１０３の大きさによって制限される。例えば、表示部１０３の長手方向の長さが１００ｍｍのスマートフォンの場合、表示部１０３が小さいので使用者２００は見やすさのために電子ミラー装置１００との距離２００ｍｍくらいで使用することが予想される。成人男女の頭幅は、平均して１５０ｍｍ程度であるから、画像の変位量が表示部の１００ｍｍよりも小さくなる顔の向きは、１００＜ｔａｎθ・（７５＋２００）を満たす２０度以下となる。例えば、耳の周辺や顎の下など、２０度以上顔の向きを変えて観察したい場合、電子ミラー装置１００の寸法に対して変位量が大きく、所望の領域の画像がはみ出してしまう場合があるため、表示部１０３の範囲内に顔領域の画像が表示されるように動作を設定してもよい。

実施の形態２によれば、小型の可搬型の電子ミラー装置１００を使用する使用者２００が、観察したい顔の部分の近くに撮像部１０２を配置したときに顔の向きが検出され、取得された顔画像が撮像部１０２から離れた位置に移動して表示されることで、使用者２００にとって見やすい位置に顔画像を表示させることができ、普通のミラーよりも少ない眼球運動で楽に顔画像を観察することが可能となる。

（実施の形態３）
図１２から図１５を参照して、実施の形態３に係る電子ミラー装置１００を説明する。

図１２（ａ）は、実施の形態３に係る電子ミラー装置１００の上面図であり、図１２（ｂ）は、実施の形態３に係る電子ミラー装置１００を表示部１０３の正面側から見た平面図である。本実施の形態３に係る電子ミラー装置１００では、表示部１０３は複数の平面を有する。例えば、電子ミラー装置１００は、複数の表示部１０３Ｌ、１０３Ｃ、１０３Ｒを備える。撮像部１０２はそれら複数の表示部のうちの１つ（例えば表示部１０３Ｃ）と一体に構成されている。また、視線検出部１８０は、使用者１００の視線の方向を検出する。視線の検出の方法は、特に限定しないが、角膜（黒目）と強膜（白目）の輝度差を利用する方法などを用いることが出来る。

図１２（ａ）および（ｂ）は、三面鏡のように、３つの平坦な表示面を有する構成を示している。説明を簡単にするために、向かって左側から、表示部１０３Ｌ、表示部１０３Ｃ、表示部１０３Ｒと呼ぶ。撮像部１０２で取得された画像は、表示部１０３Ｌ、１０３Ｃ、１０３Ｒのいずれかに表示される。表示位置移動部１３０は、使用者２００の顔の向きに応じて、顔画像２１０の表示位置を表示部１０３Ｌ、１０３Ｃ、１０３Ｒの間で移動させる。

図１３から図１５は、実施の形態３に係る電子ミラー装置１００の動作を示す図である。図１３（ａ）、図１４（ａ）、図１５（ａ）は電子ミラー装置１００と使用者２００の上から見た位置関係を示し、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）はそのときに電子ミラー装置１００に表示される顔画像２１０を示している。

図１３（ａ）のように、使用者２００が正面を向いて、視線が表示部１０３Ｃに向いているとき、撮像部１０２で取得される使用者２００の画像は、図１３（ｂ）のように左右反転された鏡像の顔画像２１０として表示部１０３Ｃに表示される。また、図１４（ａ）のように使用者２００の顔が左側に向きを変えて、視線が表示部１０３Ｌに向いているとき、撮像部１０２で取得される使用者２００の画像は、図１４（ｂ）のように表示部１０３Ｌに移動して表示される。同様に、使用者２００の顔が右側に向きを変えて、視線が表示部１０３Ｒに向いているときは、撮像部１０２で取得される使用者２００の画像は、表示部１０３Ｒに移動して表示される。また、図１５（ａ）のように使用者２００の顔が左側を向いている状態において、視線が表示部１０３Ｃの方向に変化したときは、撮像部１０２で取得される使用者２００の画像は、図１５（ｂ）のように表示部１０３Ｃに移動して表示される。

表示位置を決定するためには、表示部１０３Ｌと表示部１０３Ｃ、表示部１０３Ｃと表示部１０３Ｒの成す角を知っておく必要があるため、角度を多段階で調節できる場合には、電子ミラー装置１００は、表示部の成す角度を検知するセンサーを有していてもよい。また、電子ミラー装置１００は、使用者２００が顔画像を好みの位置に調節できるユーザインターフェイスを有していてもよい。

また、本実施の形態３では、３つの平坦な表示面を備える例を説明したが、表示部１０３は平坦である必要はなく、湾曲したフレキシブルディスプレイを使用することもできる。湾曲したディスプレイを採用する場合、画像が自然に見えるように、表示面の曲率に合わせて画像を加工して表示する。

実施の形態３によれば、使用者２００の目線の先に、使用者２００の顔画像が表示されることによって、普通の鏡では見えないようなアングルからの顔画像を少ない眼球運動で楽に観察することが可能となる。

なお、上述の実施の形態１から３の説明では、ユーザインターフェイス１０４の一例として、使用者２００のタッチ操作を検出するタッチパネルを例示したが、実施の形態はそれに限定されず、ユーザインターフェイス１０４は、使用者２００の身振り、手振りを検出してユーザからの命令を受け取るユーザインターフェイスであってもよい。また、ユーザインターフェイス１０４は、使用者２００の音声を検出し、音声による命令を受け付けるユーザインターフェイスであってもよい。また、ユーザインターフェイス１０４は、カーソルキーのようなボタンであってもよい。

また、上述した電子ミラー装置１００の各構成要素の処理の少なくとも一部は、マイクロコンピュータ１１０が実行してもよい。例えば、画像データ生成部１２０、表示位置移動部１３０、向き推定部１４０、顔特徴検出部１５０、距離推定部１６０、画像加工部１７０、視線検出部１８０の機能をマイクロコンピュータ１１０が有し、マイクロコンピュータ１１０がそれらの動作を実行してもよい。

また、上述した電子ミラー装置１００の動作は、ハードウエアによって実現されてもよいしソフトウエアによって実現されてもよい。そのような動作を実行させるコンピュータプログラムは、例えばマイクロコンピュータ１１０の内蔵メモリーに記憶される。また、そのようなコンピュータプログラムは、それが記録された記録媒体（光ディスク、半導体メモリー等）から電子ミラー装置１００へインストールしてもよいし、インターネット等の電気通信回線を介してダウンロードしてもよい。また、そのようなコンピュータプログラムをスマートフォンやタブレット端末等の電子機器にインストールして、上述した電子ミラーの動作を実行させてもよい。

本開示の技術は、電子ミラー分野において特に有用である。

１００ 電子ミラー装置
１０１ 筐体
１０２ 撮像部
１０３、１０３Ｌ、１０３Ｃ、１０３Ｒ 表示部
１０４ ユーザインターフェイス
１０５ 角度検出部
１１０ マイクロコンピュータ
１２０ 画像データ生成部
１３０ 表示位置移動部
１４０ 向き推定部
１５０ 顔特徴検出部
１６０ 距離推定部
１７０ 画像加工部
１８０ 視線検出部
２００ 使用者
２１０ 顔画像

Claims (10)

1. 使用者の顔の鏡像を表示する電子ミラー装置であって、
   使用者の顔を撮像する撮像部と、
   前記撮像した使用者の顔の画像データに基づいて、前記使用者の顔の鏡像の画像データを出力する画像データ生成部と、
   前記使用者の顔の鏡像の画像データを表示する表示部と、
   前記表示部上の前記鏡像の表示位置を移動させる表示位置移動部と
   を備えた、電子ミラー装置。
2. 前記使用者からの前記鏡像の表示位置の移動の命令を受け付けるユーザインターフェイスをさらに備え、
   前記表示位置移動部は、前記ユーザからの命令に基づいて、前記鏡像の表示位置を移動させる、請求項１に記載の電子ミラー装置。
3. 前記使用者の顔の向きを推定する向き推定部をさらに備え、
   前記表示位置移動部は、前記推定された顔の向きに基づいて、前記鏡像の表示位置を移動させる、請求項１または２に記載の電子ミラー装置。
4. 前記使用者の顔の画像データにおける、顔の所定の部分の位置および分布を検出する顔特徴検出部をさらに備え、
   前記向き推定部は、前記検出した顔の所定の部分の位置および分布に基づいて前記使用者の顔の向きを推定する、請求項３に記載の電子ミラー装置。
5. 前記表示部と前記使用者の顔との間の距離を推定する距離推定部をさらに備え、
   前記表示位置移動部は、前記推定された顔の向きおよび距離に基づいて、前記鏡像の表示位置を移動させる、請求項３または４に記載の電子ミラー装置。
6. 前記使用者の視線の方向を検出する視線検出部をさらに備え、
   前記表示位置移動部は、前記使用者の視線の先に対応した位置に、前記鏡像の表示位置を移動させる、請求項１から５のいずれかに記載の電子ミラー装置。
7. 前記撮像部と前記表示部とは一体に構成されている、請求項１から６のいずれかに記載の電子ミラー装置。
8. 前記表示位置移動部が前記鏡像の表示位置を移動させる前の状態では、前記画像データは、前記表示部の中央部よりも前記撮像部に近い側に表示される、請求項１から７のいずれかに記載の電子ミラー装置。
9. 前記表示部を複数個備え、
   前記表示位置移動部は、前記鏡像の表示位置を前記複数の表示部の間で移動させる、請求項１から７のいずれかに記載の電子ミラー装置。
10. 使用者の顔の鏡像を表示する動作を電子機器に実行させるコンピュータプログラムであって、
    前記コンピュータプログラムは、
    使用者の顔を撮像するステップと、
    前記撮像した使用者の顔の画像データに基づいて、前記使用者の顔の鏡像の画像データを出力するステップと、
    前記使用者の顔の鏡像の画像データを表示するステップと、
    前記鏡像の表示位置を移動させるステップと、
    を前記電子機器のコンピュータに実行させるコンピュータプログラム。

Images