JP5430565B2 - 電子ミラー装置 - Google Patents

Description

本発明は、ユーザの形状の外観を示す３次元モデルデータを用いてユーザの画像を表示する電子ミラー装置に関するものである。

従来の電子ミラー装置は、視覚センサを用いて得られたユーザの画像に基づいて左右反転した画像を表示するものがあった（例えば、特許文献１参照）。図１４は、特許文献１に記載された従来の電子ミラー装置の処理手順を示すものである。図１５は、特許文献１に記載された従来の電子ミラー装置の表示結果を示す図である。図１４に示すように、従来の電子ミラー装置は、まず、視覚センサからユーザ近辺の画像を取得する（ステップＳ９０１）。続いて、電子ミラー装置は、取得した画像から３次元モデルを作成する（ステップＳ９０２）。そして、電子ミラー装置は、設定された視点に基づく左右反転した画像データを３次元モデルから生成する（ステップＳ９０３）。最後に、電子ミラー装置は、生成した画像データ（正面姿のユーザ像１００２及び後ろ姿のユーザ像１００３）をディスプレイ１００１に表示する（ステップＳ９０４）。

特許第３５０５５７５号公報

しかしながら、上記従来の構成では、ステップＳ９０３において３次元モデルの背面より後ろ側に視点を置いて３次元モデルの背面方向を視線とした画像データは、図１５に示される通り、後ろ姿のユーザ像１００３のように左右反転表示される。そのため、ユーザ１００４自身の動きと電子ミラーに表示される後ろ姿のユーザ像１００３との動きが左右方向に入れ替わる。その結果、電子ミラー装置が表示する画像を見ながら作業をするユーザは、左右方向に違和感が生じるため作業がしにくい場合がある。また、上記従来の構成ではユーザが作業しにくいと感じた場合は、左右反転しない画像を表示するように明示的に指示しなければならない。

本発明は、前記従来の課題を解決するものであって、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させるとともにユーザの負担を軽減させることができる電子ミラー装置を提供することを目的とする。

上記目的を達成するために、本発明の電子ミラー装置の一態様は、ユーザの画像を表示する電子ミラー装置であって、表示される画像が前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定部と、前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示される画像を生成する画像生成部と、前記画像生成部によって生成された画像を表示する表示部とを備え、前記画像生成部は、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像にならないことを示す場合、左右反転したユーザ像を含む画像を前記表示される画像として生成し、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像になることを示す場合、左右反転しないユーザ像を含む画像を前記表示される画像として生成する。

これにより、表示される画像がユーザの背面の画像になるか否かに応じて、左右反転したユーザ像を含む画像及び左右反転しないユーザ像を含む画像のいずれかを自動的に生成することができる。したがって、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させるとともにユーザの負担を軽減させることが可能となる。また、表示される画像がユーザの背面の画像になる場合に、左右反転しないユーザ像を含む画像を自動的に生成することができる。したがって、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させるとともにユーザの負担を軽減させることが可能となる。

また、さらに、前記ユーザの３次元モデルデータを保存しているモデルデータ保存部を備え、前記画像生成部は、前記モデルデータ保存部に保存された３次元モデルデータをレンダリング処理することが好ましい。

これにより、保存されたユーザの３次元モデルデータから生成された画像を表示することができるので、ユーザが望む現在又は過去の３次元モデルデータに基づいてユーザ像を表示することが可能となる。

また、前記姿勢特定部は、前記３次元モデルデータをレンダリング処理するときの視点が、前記３次元モデルデータの背面側に位置する場合に、表示される画像が前記ユーザの背面の画像になると判定することが好ましい。

これにより、３次元モデルデータをレンダリング処理する際の視点の位置を用いて、表示される画像がユーザの背面の画像になるか否かを判定することができる。したがって、異なる視点の位置から複数の画像が生成される場合であっても、適切に左右反転の有無を決定することができるので、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させることが可能となる。

また、前記姿勢特定部は、床と略垂直な軸周りの角度によって前記３次元モデルデータの背面側を特定し、特定した前記３次元モデルデータの背面側に前記視点が位置する場合に、表示される画像が前記ユーザの背面の画像になると判定することが好ましい。

これにより、表示される画像がユーザの背面の画像になるか否かの判定の精度を高めることができるので、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感をさらに低減させることが可能となる。

また、さらに、前記ユーザを複数の方向から撮像するカメラと、前記カメラによって撮像された画像から前記ユーザの３次元モデルデータを生成するモデルデータ生成部とを備え、前記画像生成部は、前記モデルデータ生成部によって生成された３次元モデルデータをレンダリング処理することが好ましい。

これにより、通常のミラーでは表示することができない、複数の視点から見た場合の現在のユーザ像を表示することが可能となる。

また、前記姿勢特定部は、姿勢センサによって生成されたユーザの姿勢を示すセンサ情報を取得し、取得したセンサ情報を用いて前記表示部が有する表示面に対するユーザの位置及び向きを特定し、特定したユーザの位置及び向きに基づいて、表示される画像が前記ユーザの背面の画像になるか否かを判定することが好ましい。

これにより、現在のユーザの姿勢に応じて、表示される画像がユーザの背面の画像になるか否かを判定することができる。したがって、現在のユーザの姿勢に応じて、表示されるユーザ像の向きが変わった場合であっても、適切に左右反転の有無を切り替えることができるので、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させることが可能となる。

また、前記姿勢特定部は、前記カメラによって撮像された画像に基づいて、表示される画像が前記ユーザの背面の画像になるか否かを判定することが好ましい。

これにより、３次元モデルデータを生成するための画像に基づいて、姿勢情報を生成することができるので、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を、比較的簡易な構成によって低減させることが可能となる。

また、前記姿勢特定部は、前記カメラによって撮像された画像から顔画像を抽出できない場合、表示される画像が前記ユーザの背面の画像になると判定することが好ましい。

これにより、顔画像が抽出できるか否かに応じて姿勢情報を生成することができるので、表示される画像がユーザの背面の画像になるか否かの判定の精度を高めることできる。

また、本発明の集積回路の一態様は、表示部に表示される画像であってユーザの画像を生成する集積回路であって、前記表示部に表示される画像が、前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定部と、前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示部に表示される画像を生成する画像生成部とを備え、前記画像生成部は、前記姿勢特定部によって生成された姿勢情報に応じて、左右反転したユーザ像を含む画像及び左右反転しないユーザ像を含む画像のいずれかを前記表示部に表示される画像として生成する。

また、本発明の画像表示方法の一態様は、表示部に表示される画像であってユーザの画像を生成する集積回路であって、前記表示部に表示される画像が、前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定部と、前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示部に表示される画像を生成する画像生成部とを備え、前記画像生成部は、前記姿勢特定部によって生成された姿勢情報に応じて、左右反転したユーザ像を含む画像及び左右反転しないユーザ像を含む画像のいずれかを前記表示部に表示される画像として生成する。

なお、本発明は、このような画像表示方法として実現するだけでなく、このような画像表示方法に含まれるステップをコンピュータに実行させるプログラムとして実現しても良い。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信しても良い。

本発明の電子ミラー装置の一態様によれば、表示される画像がユーザの背面の画像になるか否かに応じて左右反転したユーザ像を含む画像又は左右反転しないユーザ像を含む画像を表示することができる。したがって、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感を低減させるとともにユーザの負担を軽減させることができる。

図１は、本発明の実施の形態１における電子ミラー装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１におけるモデルデータの座標軸の説明図である。 図３は、本発明の実施の形態１における電子ミラー装置の使用態様を示した図である。 図４は、本発明の実施の形態１における電子ミラー装置による処理の流れを示すフローチャートである。 図５は、本発明の実施の形態１の変形例における電子ミラー装置の使用態様を示した図である。 図６は、本発明の実施の形態２における電子ミラー装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態２における電子ミラー装置の使用態様を示した図である。 図８は、本発明の実施の形態２における電子ミラー装置による処理の流れを示すフローチャートである。 図９は、本発明の実施の形態３における電子ミラー装置の機能構成を示すブロック図である。 図１０は、本発明の実施の形態３における電子ミラー装置の使用態様を示した図である。 図１１は、本発明の実施の形態３における電子ミラー装置による処理の流れを示すフローチャートである。 図１２は、本発明の実施の形態４における電子ミラー装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態４における電子ミラー装置による処理の流れを示すフローチャートである。 図１４は、従来の電子ミラー装置の処理手順を示したフローチャートである。 図１５は、従来の電子ミラー装置の表示結果を示した図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における電子ミラー装置の機能構成を示すブロック図である。図２は、本発明の実施の形態１におけるモデルデータの座標軸の説明図である。図１に示すように、電子ミラー装置１００は、モデルデータ保存部１０１と、姿勢特定部１０２と、画像生成部１０３と、表示部１０４とを備える。

モデルデータ保存部１０１は、例えば不揮発性メモリ又は揮発性メモリなどの記憶媒体からなり、ユーザの３次元モデルデータを保存している。具体的には、モデルデータ保存部１０１は、ユーザの体を計測して得られた３次元モデルデータの座標、テクスチャデータ、光源データ、該当フレームにおける視点、視線、及び座標変換マトリックスを人体モデルデータとして保存しておく。３次元の人体モデルデータおよび視点は、図２に示すとおり、床面に対して垂直なＹ軸２０３が人体モデルの中心を通り、ＸＺ平面は床面と平行な座標系で定義されている。

図２に示すように、３次元モデルデータ２０１の座標系は、体の中心を原点２０５とし、床から頭方向に床と垂直な軸をＹ軸２０３、並びに床と水平な軸をそれぞれＸ軸２０２、及びＺ軸２０４と定義されている。

姿勢特定部１０２は、表示部１０４に表示される画像がユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する。具体的には、３次元モデルデータ２０１がレンダリングされる際の視点２０６が、３次元モデルデータ２０１の背面側に位置する場合に、姿勢特定部１０２は、表示される画像がユーザの背面の画像になると判定する。なお、以降において、表示部１０４に表示される画像がユーザの背面の画像になることを、姿勢が「背面」であるともいう。また、表示部１０４に表示される画像がユーザの背面の画像にならないことを、姿勢が「非背面」であるともいう。

さらに具体的には、姿勢特定部１０２は、モデルデータ保存部１０１から視点２０６の座標を読み込む。そして、姿勢特定部１０２は、Ｙ軸の正の方向から見た場合のＹ軸時計周りの回転角度２０７から回転角度２０８までの範囲内に視点２０６が存在する場合は、姿勢を「背面」と決定し、それ以外の場合は、姿勢を「非背面」と決定する。

なお、図２に示すように、Ｙ軸の正の方向から見た場合のＹ軸時計周りの回転角度２０７から回転角度２０８までの範囲は、１８０度より小さいことが好ましい。つまり、「背面」を示す角度の範囲は、「非背面」を示す角度の範囲より小さいことが好ましい。これにより、電子ミラー装置１００は、表示される画像がユーザの側面の画像の場合に、左右反転したユーザ像を含む画像を生成することができるので、表示された画像を見ながら作業をするユーザに生じる左右方向の違和感をさらに低減させることが可能となる。

画像生成部１０３は、モデルデータ保存部１０１に保存された３次元モデルデータ２０１をレンダリング処理することにより、表示部１０４に表示される画像を生成する。なお、画像生成部１０３は、姿勢特定部１０２によって生成された姿勢情報に応じて、左右反転したユーザ像を含む画像及び左右反転しないユーザ像を含む画像のいずれかを表示部１０４に表示される画像として生成する。具体的には、姿勢特定部１０２によって生成された姿勢情報が「背面」を示す場合、画像生成部１０３は、左右反転しないユーザ像を含む画像を表示部１０４に表示される画像として生成する。一方、姿勢特定部１０２によって生成された姿勢情報が「非背面」を示す場合、画像生成部１０３は、左右反転したユーザ像を含む画像を表示部１０４に表示される画像として生成する。

さらに具体的には、画像生成部１０３は、モデルデータ保存部１０１から読み込んだ人体モデルデータを用いて、モデリング変換、光源計算、射影変換、ビューポート変換、テクスチャマッピング等の一連のレンダリング処理を行う。ここで、姿勢特定部１０２から得た姿勢情報が「背面」を示す場合には、画像生成部１０３は、Ｘの符号を反転しないビューポート変換（式１）を行う。一方、姿勢特定部１０２から得た姿勢情報が「非背面」を示す場合は、画像生成部１０３は、Ｘの符号を反転した左右反転のビューポート変換（式２）を行う。このようなレンダリング処理によって、画像生成部１０３は、表示部１０４に表示される２次元画像（左右反転したユーザ像を含む画像又は左右反転しないユーザ像を含む画像）を３次元モデルデータ２０１から生成する。

（式１）及び（式２）において、（ｘｗ、ｙｗ）は表示座標、（ｘｄ、ｙｄ）は正規化デバイス座標、（ｘ、ｙ）はビューポートのオフセット座標、Ｗは横方向画素サイズ、Ｈは縦方向画素サイズである。

なお、画像生成部１０３は、レンダリング処理において用いるパラメータを変更することにより、モデルの位置、角度及び大きさ、並びに視点の位置などが異なる複数の画像を、１つの３次元モデルから生成することができる。たとえば、画像生成部１０３は、３次元モデルの横幅（例えば、Ｘ軸方向）を狭めた画像（痩せたユーザ像）と広げた画像（太ったユーザ像）とを、１つの３次元モデルから生成することができる。また、例えば、画像生成部１０３は、３次元モデルの前方、後方、側方、上方及び下方などの任意の位置から３次元モデルを見た場合の画像を、１つの３次元モデルから生成することができる。さらに、例えば、画像生成部１０３は、３次元モデルをＹ軸方向に時系列に回転させることにより、元モデルを一周回転させるアニメーション画像を、１つの３次元モデルから生成することができる。

表示部１０４は、画像生成部１０３によって生成された画像をディスプレイ等に出力する。

図３は、本発明の実施の形態１における電子ミラー装置の使用態様を示した図である。表示部１０４は、ディスプレイ３０１に対応している。そして、画像生成部１０３が生成した、理想のゴルフスウィングフォームを再現する人体モデルの正面姿のユーザ像３０２と、後ろ姿のユーザ像３０３とがディスプレイ３０１上に同時に表示されている。

次に、以上のように構成された電子ミラー装置１００における各種動作について説明する。

図４は、本発明の実施の形態１における電子ミラー装置による処理の流れを示すフローチャートである。

まず、姿勢特定部１０２は、モデルデータ保存部１０１から視点２０６の位置を示す座標を読み込む（ステップＳ１０１）。続いて、姿勢特定部１０２は、視点２０６の位置を示す座標がＹ軸の正の方向から見た場合のＹ軸時計周りの回転角度２０７から回転角度２０８までの範囲内に存在するか否かを判定することにより、「背面」又は「非背面」を決定する（ステップＳ１０２）。具体的には、視点２０６の位置を示す座標がＹ軸の正の方向から見た場合のＹ軸時計周りの回転角度２０７から回転角度２０８までの範囲内に存在する場合に、姿勢特定部１０２は「背面」と決定する。一方、視点２０６の位置を示す座標がＹ軸の正の方向から見た場合のＹ軸時計周りの回転角度２０７から回転角度２０８までの範囲内に存在しない場合に、姿勢特定部１０２は「非背面」と決定する。

ここで、「背面」と決定された場合（ステップＳ１０２のＹｅｓ）、画像生成部１０３は、レンダリング処理において（式１）を用いてビューポート変換を実行することにより、左右反転しないユーザ像を含む画像を３次元モデルデータから生成する（ステップＳ１０３）。一方、「非背面」と決定された場合（ステップＳ１０２のＮｏ）、画像生成部１０３は、レンダリング処理において（式２）を用いてビューポート変換を実行することにより、左右反転したユーザ像を含む画像を３次元モデルデータから生成する（ステップＳ１０４）。

最後に、表示部１０４は、ステップＳ１０３又はステップＳ１０４において生成された画像を表示する（ステップＳ１０５）。

以上のように、電子ミラー装置１００は、３次元モデルデータの姿勢に応じて、左右反転したユーザ像を含む画像と左右反転しないユーザ像を含む画像とをユーザ自身が操作することなくダイナミックに切り替えることができる。これにより、表示部１０４に表示される画像に含まれるユーザ像がいかなる方向を向いていても、ユーザは自分の動きと対比させながら違和感なく作業をすることができる。また、電子ミラー装置１００は、ユーザ像を左右反転させる又は左右反転させないの切り替えをユーザが指示する必要がないので、ユーザの負担を軽減させることができる。

なお、本実施の形態において姿勢特定部は姿勢の特定にＹ軸周りの回転角度を用いたが、Ｘ軸又はＺ軸周りの回転角度を用いても良い。

また、本実施の形態における電子ミラー装置は、さらに表示部１０４が有する表示面と略平行に配置されたミラーを備えても良い。具体的には、電子ミラー装置は、例えば、表示部１０４が有する表示面の前方にハーフミラーを備えても良い。この場合、表示部１０４によって表示された画像はハーフミラーを透過するので、ユーザは、表示部１０４によって表示された画像とハーフミラーに映った鏡像とを視認することができる。

図５は、本発明の実施の形態１の変形例における電子ミラー装置の使用態様を示した図である。図５に示すように、ディスプレイ３０１に表示された、３次元モデルデータの正面姿のユーザ像３０２と後ろ姿のユーザ像３０３とに加えて、ユーザが鏡に映った像である鏡像３０６もハーフミラー３０５に表示される。これにより、ユーザ３０４が表示部１０４によって表示されたユーザ像とハーフミラーに映った自分の鏡像３０６との違いを容易に確認することができる。つまり、電子ミラー装置は、ユーザの利便性を向上させることができる。

なお、電子ミラー装置は、表示部１０４が有する表示面の前方にハーフミラーを備えるのではなく、輝度が０になると完全透明になる表示デバイスの後方に通常のミラーを備えても良い。これにより、電子ミラー装置は、表示面の前方にハーフミラーを備える場合と同様の効果を奏する。

また、本実施の形態において３次元モデルデータは理想のフォームのデータを用いたが、ユーザの過去のフォーム等を３次元モデルデータとして用いても良い。

（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて説明する。

図６は、本発明の実施の形態２における電子ミラー装置の機能構成を示すブロック図である。図６に示すように、本実施の形態における電子ミラー装置４００は、実施の形態１における電子ミラー装置１００が備えるモデルデータ保存部１０１を備えていない。また、本実施の形態における電子ミラー装置４００は、カメラ４０１とモデルデータ生成部４０２とを備える。また、本実施の形態における姿勢特定部４０３及び画像生成部４０４と実施の形態１における姿勢特定部１０２及び画像生成部１０３とは、処理の一部が異なる。なお、図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

カメラ４０１は、ユーザを複数の方向からほぼ同時に撮像する。モデルデータ生成部４０２は、撮像された複数の画像から、位相限定相関法を用いて３次元の人体モデルデータ（３次元モデルデータ）及びテクスチャデータを生成する。

姿勢センサ４５０は、ユーザの姿勢を示すセンサ情報を生成する。具体的には、姿勢センサ４５０は、例えば、ユーザに装着されたジャイロあるいはトラッカーなどの位置センサ及び角度センサであり、ユーザの位置及び角度を示すデータをセンサ情報として生成する。

姿勢特定部４０３は、姿勢センサ４５０からユーザの姿勢を示すセンサ情報を取得し、表示部１０４の表示面に対するユーザの立ち位置及び角度を算出する。そして、姿勢特定部４０３は、算出した位置及び角度から、ユーザの現在の姿勢を「背面」又は「非背面」のいずれかに決定する。

画像生成部４０４は、モデルデータ生成部４０２によって生成された３次元モデルデータをレンダリング処理する。なお、本実施の形態における画像生成部４０４と実施の形態１における画像生成部１０３とは、レンダリング処理の対象となる３次元モデルデータが異なるが、他の処理内容は同一である。

図７は、本発明の実施の形態２における電子ミラー装置の使用態様を示した図である。図７に示すように、複数のカメラ５０１が、ユーザ５０５を複数の方向から撮像する。ユーザ５０５（例えば、頭部）に装着された姿勢センサ５０２は、ユーザの姿勢をセンシングする。また、ユーザに対して互いに異なる角度で設置された複数のディスプレイ５０３には、各ディスプレイ面に対する現在のユーザの姿勢に応じたユーザ像５０４が表示される。なお、図７においてカメラ５０１は２台しか図示されていないが、電子ミラー装置４００は、さらに多くのカメラを備えても良い。

次に、以上のように構成された電子ミラー装置４００における各種動作について説明する。

図８は、本発明の実施の形態２における電子ミラー装置による処理の流れを示すフローチャートである。なお、図８において、図４と同一の処理については同一の符号を付し、説明を省略する。

まず、カメラ４０１は、ユーザを複数の方向から同時に撮像する（ステップＳ２０１）。続いて、モデルデータ生成部４０２は、撮像された複数の画像から、位相限定相関法を用いて３次元モデルデータ及び３次元テクスチャデータを生成する（ステップＳ２０２）。そして、姿勢特定部４０３は、姿勢センサ４５０からユーザの位置及び角度を示すセンサ情報を取得する（ステップＳ２０３）。

次に、姿勢特定部４０３は、表示部１０４の表示面に対するユーザの位置及び角度を算出する。そして、姿勢特定部４０３は、算出した位置及び角度から、ユーザの現在の姿勢を「背面」又は「非背面」のいずれかに決定する（ステップＳ２０４）。

その後、電子ミラー装置４００は、図４において説明した処理と同様の処理（ステップＳ１０３又はステップＳ１０４、及びステップＳ１０５）を実行する。

以上のように、電子ミラー装置４００は、表示面に対する現在のユーザの姿勢に応じて、左右反転したユーザ像を含む画像又は左右反転しないユーザ像を含む画像を、ユーザ自身が操作することなくダイナミックに切り替えることができる。これにより、ユーザの姿勢が変更されることにより表示面に表示されるユーザ像が変更された場合であっても、ユーザは、表示されたユーザ像と自分の動きとを対比させながら違和感なく作業をすることができる。

なお、本実施の形態において、姿勢センサ４５０は、ユーザに装着された位置センサ及び角度センサであったが、モーションキャプチャシステム等であっても良い。

また、姿勢センサ４５０は、表示面の前方の床面に設置されたシートセンサであっても良い。この場合、姿勢センサ４５０は、ユーザが当該センサに接触している位置及び圧力を示すセンサ情報を生成する。そして、姿勢特定部４０３は、ユーザが当該センサに接触している位置及び圧力を示すセンサ情報から、例えば、重心の位置を特定することにより、表示面に対するユーザの位置及び角度を算出する。

また、姿勢センサ４５０は、表示部１０４又はユーザと所定の位置関係となる位置に設置されたサーモグラフィであっても良い。この場合、姿勢センサ４５０は、ユーザの温度分布を示す画像をセンサ情報として生成する。そして、姿勢特定部４０３は、ユーザの温度分布から表示面に対するユーザの位置及び角度を算出する。なお、所定の位置関係となる位置とは、表示部１０４が有する表示面又はユーザと、所定の方向に所定の距離だけ離れた位置であることをいう。すなわち、姿勢特定部４０３が、姿勢センサ４５０と表示部１０４が有する表示面又はユーザとの方向及び距離が取得できれば良い。

また、姿勢センサ４５０は、表示部１０４又はユーザの周辺に設置された赤外線センサであっても良い。この場合、姿勢センサ４５０は、当該姿勢センサ４５０とユーザとの距離を測定することにより、ユーザの奥行きの分布を示す画像をセンサ情報として生成する。そして、姿勢特定部４０３は、例えば、表示面に対するユーザの位置及び角度に応じてあらかじめ保存された画像の中から、姿勢センサ４５０から取得したユーザの奥行きの分布を示す画像と類似する画像を検索することにより、表示面に対するユーザの位置及び角度を算出する。

また、本実施の形態におけるモデルデータ生成部４０２は、位相限定相関法を用いて３次元モデルデータを生成したが、ステレオ相関法等その他のステレオカメラを用いた３次元計測方法を用いて３次元モデルデータを生成しても良い。

また、電子ミラー装置４００は、姿勢センサ４５０を備えても良い。

（実施の形態３）
次に、本発明の実施の形態３について、図面を用いて説明する。

図９は、本発明の実施の形態３における電子ミラー装置の機能構成を示すブロック図である。図９に示すように、本実施の形態における電子ミラー装置６００は、実施の形態２における電子ミラー装置４００が備える構成要素に加えて、さらにメモリ６０１を備える。また、本実施の形態における姿勢特定部６０２と実施の形態２における姿勢特定部４０３とは、処理の一部が異なる。なお、図９において、図１又は図６と同じ構成要素については同じ符号を用い、説明を省略する。

姿勢特定部６０２は、あらかじめメモリ６０１に登録された人体モデルの基本データを参照し、モデルデータ生成部４０２によって生成されたユーザの３次元モデルデータとマッチングを行うことにより、３次元モデルデータの座標軸と視点を決定する。さらに、姿勢特定部６０２は、実施の形態１における処理と同様に、Ｙ軸周りの回転角度の定められた範囲内に視点が存在する場合は、ユーザの姿勢を「背面」と決定し、それ以外の場合は、ユーザの姿勢を「非背面」と決定する。

なお、カメラ４０１、モデルデータ生成部４０２、画像生成部４０４及び表示部１０４は、実施の形態２と同じ処理を行う。

図１０は、本発明の実施の形態３における電子ミラー装置の使用態様を示した図である。図１０に示すように、複数のカメラ７０１は、ユーザ７０６を複数の方向から撮像する。ユーザ７０６の現在の姿勢に対応した３次元モデルデータに基づいて複数の視点から生成されたユーザ像７０３、７０４、７０５が同時にディスプレイ７０２に表示される。

次に、以上のように構成された電子ミラー装置６００における各種動作について説明する。

図１１は、本発明の実施の形態３における電子ミラー装置による処理の流れを示すフローチャートである。なお、図１１において、図４又は図８と同一の処理については同一の符号を付し、説明を省略する。

まず、図８と同様に、電子ミラー装置６００は、ステップＳ２０１及びステップＳ２０２の処理を実行する。

続いて、姿勢特定部６０２は、あらかじめメモリ６０１に登録された人体モデルの基本データを読み出す。そして、姿勢特定部６０２は、読み出した基本データと、ステップＳ２０２において生成された３次元モデルデータとマッチングを行うことにより、３次元モデルデータの座標軸及び視点を決定する（ステップＳ３０１）。

その後、電子ミラー装置６００は、図４において説明した処理と同様の処理（ステップＳ１０２、ステップＳ１０３又はステップＳ１０４、及びステップＳ１０５）を実行する。

以上のように、電子ミラー装置６００は、一般的な鏡では見ることができない複数の視点からの現在のユーザ像を表示することができる。そして、現在のユーザ像を表示する際に、電子ミラー装置６００は、現在のユーザの姿勢に応じて、左右反転したユーザ像又は左右反転しないユーザ像をユーザ自身が操作することなくダイナミックに切り替えることができる。これにより、表示部１０４に表示されたどのユーザ像に対しても、ユーザは自分の動きと対比させながら違和感なく作業をすることができる。

なお、本実施の形態において、姿勢特定部６０２は、あらかじめメモリに保持された人体モデルの基本データを用いて座標軸を決定したが、モデルデータ生成部４０２が生成した人体モデルデータのバウンダリボックス等を用いて座標軸を決定しても良い。

また、メモリは、人体モデルの基本データ以外にさらに姿勢データをあらかじめ保存してもよい。この場合、姿勢特定部は、座標軸を使わずにマッチングを行うだけで「背面」又は「非背面」を判定しても良い。

また、画像生成部は、ユーザの動作に応じて、左右反転像と非反転像とが切り替わる際に、突然切り替わらずに、アニメーション効果を用いて自然に切り替わるように画像を生成しても良い。

（実施の形態４）
次に、本発明の実施の形態４について、図面を用いて説明する。

図１２は、本発明の実施の形態４における電子ミラー装置の機能構成を示すブロック図である。本実施の形態における電子ミラー装置８００が備える姿勢特定部８０１は、カメラ４０１によって撮像された画像に基づいて「背面」又は「非背面」を判定する点が、実施の形態２における姿勢特定部４０３と異なる。なお、図１２において、図１、図６、又は図９と同じ構成要素については同じ符号を用い、説明を省略する。

姿勢特定部８０１は、カメラ４０１が撮像したユーザの画像から、目、鼻、口、まゆげ等の顔の特徴を用いて顔画像を抽出する。ここで、顔画像が抽出できた場合は、姿勢特定部８０１は、ユーザの姿勢を「非背面」と決定する。一方、顔画像の抽出に失敗した場合は、姿勢特定部８０１は、ユーザの姿勢を「背面」と決定する。

なお、モデルデータ生成部４０２、画像生成部１０３及び表示部１０４は、実施の形態２と同じ処理を行う。

次に、以上のように構成された電子ミラー装置８００における各種動作について説明する。

図１３は、本発明の実施の形態４における電子ミラー装置による処理の流れを示すフローチャートである。なお、図１３において、図４、図８又は図１１と同一の処理については同一の符号を付し、説明を省略する。

まず、図８と同様に、電子ミラー装置８００は、ステップＳ２０１及びステップＳ２０２の処理を実行する。

続いて、姿勢特定部８０１は、カメラ４０１が撮像したユーザの画像から、目、鼻、口、まゆげ等の顔の特徴的な部分の画像を用いて顔画像を抽出する（ステップＳ４０１）。

次に、姿勢特定部８０１は、顔画像を抽出できたか否かに応じて、「背面」又は「非背面」を判定する（ステップＳ４０２）。具体的には、顔画像が抽出できなかった場合、姿勢特定部８０１は「背面」と判定する。一方、顔画像が抽出できた場合、姿勢特定部８０１は「非背面」と判定する。

その後、電子ミラー装置８００は、図４において説明した処理と同様の処理（ステップＳ１０３又はステップＳ１０４、及びステップＳ１０５）を実行する。

以上のように、電子ミラー装置８００は、一般的な鏡では見ることができない複数の視点からの現在のユーザ像を、ユーザの姿勢に応じて、左右反転したユーザ像を含む画像又は左右反転しないユーザ像を含む画像をユーザ自身が操作することなくダイナミックに切り替えることができる。これにより、表示部１０４に表示されたどのユーザ像に対しても、ユーザは自分の動きと対比させながら違和感なく作業をすることができる。

以上、本発明における電子ミラー装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

なお、実施の形態１〜４において、モデルデータ生成部、姿勢特定部、画像生成部の機能ブロックは、典型的にはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。つまり、図１、図６、図９又は図１２に示すように、電子ミラー装置は、典型的には、ＬＳＩ１１０、４１０、６１０又は８１０から構成される。なお、これらの機能ブロックは個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩと呼称されることもある。さらに、集積回路化の手法はＬＳＩに限定されず、専用回路又は汎用プロセッサで実現されても良い。また、ＬＳＩ製造後にプログラムすることが可能な、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルプロセッサ、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

また、電子ミラー装置本体の例で説明したが、本発明は、電子ミラー機能を含むシミュレーションシステム、ゲームシステム、ＴＶ会議システム等にも当然適用できる。

また、本発明は、電子ミラー装置が備える特徴的な構成要素の動作をステップとする画像表示方法として実現してもよい。また、そのような画像表示方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信してもよい。

本発明の電子ミラー装置は、一般的な鏡では不可能な任意角度からの表示技術と高い視認性及び操作性とを有し、家庭用又は業務用電子ミラーとして有用である。また、人体の運動シミュレーションシステム、リハビリ用医療システム、ゲームシステム、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システム、ＴＶ会議システム等、ユーザが自分の姿をディスプレイに映しながら作業を行うシステムの用途にも応用できる。

１００、４００、６００、８００ 電子ミラー装置
１０１ モデルデータ保存部
１０２、４０３、６０２、８０１ 姿勢特定部
１０３、４０４ 画像生成部
１０４ 表示部
１１０、４１０、６１０、８１０ ＬＳＩ
２０１ ３次元モデルデータ
２０２ Ｘ軸
２０３ Ｙ軸
２０４ Ｚ軸
２０５ 原点
２０６ 視点
２０７、２０８ 回転角度
３０１、５０３、７０２、１００１ ディスプレイ
３０２、１００２ 正面姿のユーザ像
３０３、１００３ 後ろ姿のユーザ像
３０４、５０５、７０６、１００４ ユーザ
３０５ ハーフミラー
３０６ 鏡像
４０１、５０１、７０１ カメラ
４０２ モデルデータ生成部
４５０、５０２ 姿勢センサ
５０４、７０３、７０４、７０５ ユーザ像
６０１ メモリ

Claims (11)

1. ユーザの画像を表示する電子ミラー装置であって、
   表示される画像が前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定部と、
   前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示される画像を生成する画像生成部と、
   前記画像生成部によって生成された画像を表示する表示部とを備え、
   前記画像生成部は、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像にならないことを示す場合、左右反転したユーザ像を含む画像を前記表示される画像として生成し、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像になることを示す場合、左右反転しないユーザ像を含む画像を前記表示される画像として生成する
   電子ミラー装置。
2. さらに、
   前記ユーザの３次元モデルデータを保存しているモデルデータ保存部を備え、
   前記画像生成部は、前記モデルデータ保存部に保存された３次元モデルデータをレンダリング処理する
   請求項１に記載の電子ミラー装置。
3. 前記姿勢特定部は、前記３次元モデルデータをレンダリング処理するときの視点が、前記３次元モデルデータの背面側に位置する場合に、表示される画像が前記ユーザの背面の画像になると判定する
   請求項１に記載の電子ミラー装置。
4. 前記姿勢特定部は、床と略垂直な軸周りの角度によって前記３次元モデルデータの背面側を特定し、特定した前記３次元モデルデータの背面側に前記視点が位置する場合に、表示される画像が前記ユーザの背面の画像になると判定する
   請求項３に記載の電子ミラー装置。
5. さらに、
   前記ユーザを複数の方向から撮像するカメラと、
   前記カメラによって撮像された画像から前記ユーザの３次元モデルデータを生成するモデルデータ生成部とを備え、
   前記画像生成部は、前記モデルデータ生成部によって生成された３次元モデルデータをレンダリング処理する
   請求項１に記載の電子ミラー装置。
6. 前記姿勢特定部は、姿勢センサによって生成されたユーザの姿勢を示すセンサ情報を取得し、取得したセンサ情報を用いて前記表示部が有する表示面に対するユーザの位置及び向きを特定し、特定したユーザの位置及び向きに基づいて、表示される画像が前記ユーザの背面の画像になるか否かを判定する
   請求項５に記載の電子ミラー装置。
7. 前記姿勢特定部は、前記カメラによって撮像された画像に基づいて、表示される画像が前記ユーザの背面の画像になるか否かを判定する
   請求項５に記載の電子ミラー装置。
8. 前記姿勢特定部は、前記カメラによって撮像された画像から顔画像を抽出できない場合、表示される画像が前記ユーザの背面の画像になると判定する
   請求項７に記載の電子ミラー装置。
9. ユーザの画像を表示する画像表示方法であって、
   表示される画像が前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定ステップと、
   前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示される画像を生成する画像生成ステップと、
   前記画像生成ステップにおいて生成された画像を表示する表示ステップとを含み、
   前記画像生成ステップでは、前記姿勢特定ステップにおいて生成された姿勢情報が前記ユーザの背面の画像にならないことを示す場合、左右反転したユーザ像を含む画像を前記表示される画像として生成し、前記姿勢特定ステップにおいて生成された姿勢情報が前記ユーザの背面の画像になることを示す場合、左右反転しないユーザ像を含む画像を前記表示される画像として生成する
   画像表示方法。
10. 表示部に表示される画像であってユーザの画像を生成する集積回路であって、
    前記表示部に表示される画像が、前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定部と、
    前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示部に表示される画像を生成する画像生成部とを備え、
    前記画像生成部は、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像にならないことを示す場合、左右反転したユーザ像を含む画像を前記表示される画像として生成し、前記姿勢特定部によって生成された姿勢情報が前記ユーザの背面の画像になることを示す場合、左右反転しないユーザ像を含む画像を前記表示部に表示される画像として生成する
    集積回路。
11. ユーザの画像を表示するためのプログラムであって、
    表示される画像が前記ユーザの背面の画像になるか否かを判定し、判定結果を示す姿勢情報を生成する姿勢特定ステップと、
    前記ユーザの３次元モデルデータをレンダリング処理することにより、前記表示される画像を生成する画像生成ステップと、
    前記画像生成ステップにおいて生成された画像を表示する表示ステップとをコンピュータに実行させ、
    前記画像生成ステップでは、前記姿勢特定ステップにおいて生成された姿勢情報が前記ユーザの背面の画像にならないことを示す場合、左右反転したユーザ像を含む画像を前記表示される画像として生成し、前記姿勢特定ステップにおいて生成された姿勢情報が前記ユーザの背面の画像になることを示す場合、左右反転しないユーザ像を含む画像を前記表示される画像として生成する
    プログラム。

Images