JP7135466B2 - Display device, display method and display program - Google Patents
Display device, display method and display program Download PDFInfo
- Publication number
- JP7135466B2 JP7135466B2 JP2018110612A JP2018110612A JP7135466B2 JP 7135466 B2 JP7135466 B2 JP 7135466B2 JP 2018110612 A JP2018110612 A JP 2018110612A JP 2018110612 A JP2018110612 A JP 2018110612A JP 7135466 B2 JP7135466 B2 JP 7135466B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- subject
- processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、表示装置、表示方法及び表示プログラムに関する。 The present invention relates to a display device, a display method, and a display program.
近年、透過性のあるハーフミラーにより構成された鏡部の反射面の背面側に、液晶ディスプレイ等により構成された表示部を配置した表示装置が知られている。このような表示装置によれば、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示することができる（例えば、特許文献１参照）。
このような情報処理装置によれば、ユーザは鏡像とガイド画像の双方をユーザに同時に視認させることができる。
2. Description of the Related Art In recent years, there has been known a display device in which a display section configured by a liquid crystal display or the like is arranged on the back side of a reflecting surface of a mirror section configured by a transmissive half mirror. According to such a display device, it is possible to superimpose predetermined information displayed on the display section and transmitted through the mirror section on the mirror image reflected by the mirror section (see, for example, Patent Document 1).
According to such an information processing apparatus, the user can visually recognize both the mirror image and the guide image at the same time.
上述したような表示装置では、鏡像を表示する鏡部の反射面と、ガイド画像等の所定の情報を表示する表示部の表示面の２つの面が重なる構造となっており、これら２つの面は、ユーザからの距離が異なる。よって、ユーザが表示を視認すると、鏡像と、ガイド画像等の所定の情報との間に視差が生じてしまう。
そのため、ユーザにとってみれば、鏡像とガイド画像等の所定の情報とが重畳された表示は、視認上のギャップがあり、ユーザにとって視認性が低くなってしまう場合があった。
In such a display device as described above, the reflecting surface of the mirror portion that displays a mirror image and the display surface of the display portion that displays predetermined information such as a guide image overlap each other. are at different distances from the user. Therefore, when the user views the display, parallax occurs between the mirror image and predetermined information such as the guide image.
Therefore, from the user's point of view, the display in which the mirror image and the predetermined information such as the guide image are superimposed has a visual gap, and the user's visibility may be low.
本発明は、このような状況に鑑みてなされたものであり、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示する場合における視認性の低減を抑制することを目的とする。 The present invention has been made in view of such circumstances. The purpose is to suppress
上記目的を達成するため、本発明の一態様の表示装置は、
被写体の像を反射面で反射させる反射手段と、
前記反射面に重なるように配置された表示手段と、
前記被写体の肌の色に関する肌色情報を前記被写体の部位に含まれる複数の領域の各々ごとに取得する取得手段と、
前記取得手段により取得された前記肌色情報に基づいて、所定の情報の輪郭に対応する輪郭領域を前記領域ごとに加工する加工手段と、
前記所定の情報又は前記加工手段により加工された加工済み情報を、前記反射手段により反射された被写体の前記部位の像と重ねて前記表示手段に表示する表示制御手段と、
を備えることを特徴とする。
In order to achieve the above object, a display device of one embodiment of the present invention includes:
Reflecting means for reflecting an image of a subject on a reflecting surface;
a display means arranged so as to overlap the reflecting surface;
acquisition means for acquiring skin color information about the skin color of the subject for each of a plurality of areas included in the part of the subject ;
a processing means for processing a contour region corresponding to a contour of predetermined information for each region based on the skin color information acquired by the acquisition means;
display control means for displaying the predetermined information or the processed information processed by the processing means on the display means so as to be superimposed on the image of the part of the subject reflected by the reflection means;
characterized by comprising
本発明によれば、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示する場合における視認性の低減を抑制することができる。 According to the present invention, it is possible to suppress reduction in visibility when predetermined information displayed on the display section and transmitted through the mirror section is superimposed on the mirror image reflected by the mirror section.
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示装置１は、鏡を視認するユーザに対して、鏡部に反射する鏡像と、表示部に表示したガイド画像等の所定の情報とを重畳することにより、ユーザに対するガイダンスを行う。
この場合に、表示装置１は、ユーザを被写体として撮像し、撮像したユーザに対してフェイストラッキングを行うことにより、ユーザの顔の各部の座標と、各部に対応するユーザの顔の色とを検出する。また、表示装置１は、検出したユーザの顔の色に応じて、ガイド画像に対するグラデーション加工を行う。更に、表示装置１は、検出した顔の各部の座標に基づいて、グラデーション加工後のガイド画像を表示する。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Outline of embodiment]
A
In this case, the
このような表示装置１によれば、鏡部に反射する鏡像と、表示部に表示したガイド画像とを重畳する場合に、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすので、視認上のギャップを低減して表示することができる。
つまり、表示装置１によれば、重畳表示における違和感を抑制することができる。
According to the
That is, according to the
［システム構成］
図１は、本実施形態に係る表示装置１が含まれる表示システムＳの全体構成を示す構成図である。図１に示すように、表示システムＳは、複数の表示装置１、ネットワーク２及びサーバ群３を含む。
表示装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示装置１が表示システム１に含まれていてよい。なお、以下の説明において、ｎ台の表示装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示装置１」と称する。
[System configuration]
FIG. 1 is a configuration diagram showing the overall configuration of a display system S including a
The number of
表示装置１は、上述したとおり、違和感を抑制した重畳表示を行うことにより、ガイダンスを行う装置である。表示装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
As described above, the
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
The
サーバ群３には、表示装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
The
However, this is only an example, and servers having other functions may be included in the
［外観構成］
図２は、本発明の一実施形態に係る表示装置１の前面の外観構成を示す構成図である。また、図３は、表示装置１の側面の外観構成を示す構成図である。表示装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
[External configuration]
FIG. 2 is a configuration diagram showing the external configuration of the front surface of the
図２及び図３に示すように、表示装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、鏡部１８や表示部１９、及びその他のハードウェアを含む本体部分である。また、脚部３１とヒンジ部３２は、表示装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示装置１を自立させることができる。なお、表示装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
As shown in FIGS. 2 and 3, the
As shown in FIG. 3A, when the user carries the
本体部３０は、上述したように鏡部１８と表示部１９とを含む。
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、図示するように本体部３０の前面に配置される。
表示部１９は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１９は、例えば、マッサージ等のガイダンスを行うためのガイド画像や、文字等のメッセージや、ユーザの生体情報等を表示する。
The body portion 30 includes the
The
The
表示装置１では、鏡部１８の反射面と、表示部１９の表示面とが、鏡部１８に正対するユーザから同時に視認可能に、ユーザの視認方向に重畳して配置される。例えば、液晶ディスプレイにより構成された表示部１９が、ハーフミラーにより構成された鏡部１８の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは、例えば、鏡部１８により反射された自身の顔（図中の鏡像４１に相当）と、表示部１９に表示されると共に鏡部１８を透過した各種の情報（図中のガイド画像４２に相当）とを同時に視認することができる。
In the
With such an arrangement, the user can see, for example, his or her own face reflected by the mirror section 18 (corresponding to the mirror image 41 in the figure) and various information displayed on the
図２に示すように、表示装置１は、外観構成として、更に、撮像部１６及び入力部１７を備えている。
As shown in FIG. 2, the
撮像部１６は、表示装置１の利用時に、鏡部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、鏡部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、鏡部１８の上部に配置される。
The
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
The
以上、表示装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示装置１の外観構造は、この例に限定されない。
The external structure of the
例えば、表示装置１は、鏡部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、鏡部１８の上部や下部に配置されてもよく、鏡部１８の周辺全体に配置されてもよい。
For example, the
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１９の一部がタッチパネルとして構成され、入力部１７と表示部１９とが一体に構成されてもよい。
Also, for example, the number and arrangement of the
更に、例えば、上述したようにハーフミラーにより鏡部１８を構成し、一般的な液晶ディスプレイにより表示部１９を構成するのではなく、一般的な鏡により鏡部１８を構成し、透過型の液晶ディスプレイにより表示部１９を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部１８が、透過型の液晶ディスプレイにより構成された表示部１９の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
Furthermore, for example, instead of configuring the
［ハードウェア構成］
図４は、表示装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、鏡部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、リムーバブルメディア１００と、を備えている。
[Hardware configuration]
FIG. 4 is a block diagram showing the hardware configuration of the
As shown in FIG. 4, the
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２とが接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The
The optical lens section is composed of a lens for condensing light, such as a focus lens and a zoom lens, in order to photograph an object.
A focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. A zoom lens is a lens that can freely change the focal length within a certain range.
The
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
The image sensor is composed of a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens section. Therefore, the photoelectric conversion element photoelectrically converts (pictures) a subject image, accumulates an image signal for a certain period of time, and sequentially supplies the accumulated image signal to the AFE as an analog signal.
The AFE executes various signal processing such as A/D (Analog/Digital) conversion processing on this analog image signal. A digital signal is generated by various signal processing and output as an output signal of the
Such an output signal of the
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
The
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、表示部１９による表示がなされている領域において、表示部１９による表示を透過する。一方で、鏡部１８は、表示部１９による表示がなされていない領域において、表示装置１に生体するユーザ等の像を、鏡像として反射する。
The
表示部１９は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。これら表示部１９と、鏡部１８の配置については、図２を参照して上述した通りである。
The
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
The
通信部２１は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
The
ドライブ２２は、リムーバブルメディア１００が装着可能なインターフェースにより構成される。ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の加工表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２２によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部２０にインストールされる。
The
なお、表示装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
Note that the
［機能的構成］
図５は、表示装置１の機能的構成のうち、加工表示処理を実行するための機能的構成を示す機能ブロック図である。
加工表示処理とは、表示装置１が、ユーザの顔の色に合わせて、ガイド画像のエッジ部分をグラデーション等の画像処理により加工し、加工後のガイド画像を表示する一連の処理である。
[Functional configuration]
FIG. 5 is a functional block diagram showing a functional configuration for executing processing display processing among the functional configurations of the
The processed display process is a series of processes in which the
加工表示処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、被写体情報取得部１１２と、加工部１１３と、表示制御部１１４とが機能する。
また、記憶部２０の一領域には、ガイダンス情報記憶部２０１と、被写体情報記憶部２０２とが設定される。
When the processed display processing is executed, as shown in FIG. 5, in the
A guidance
ガイダンス情報記憶部２０１には、加工表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部２０１には、加工表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。また、ガイダンス情報記憶部２０１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部２０１には、加工表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）等であってもよい。
The guidance
被写体情報記憶部２０２には、被写体情報取得部１１２が取得した、被写体であるユーザに関する情報が格納される。被写体情報記憶部２０２に格納されるユーザに関する情報の詳細については、被写体情報取得部１１２の説明として後述する。
The subject
なお、上述したようなガイダンス情報記憶部２０１や被写体情報記憶部２０２に格納される各情報は、記憶部２０にのみ格納されていてもよいが、ドライブ２２によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部２０１や被写体情報記憶部２０２に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
The information stored in the guidance
また、以下に説明する各機能ブロックでは、加工表示処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、鏡部１８の反射面についての座標系である鏡部座標系、及び表示部１９の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより加工表示処理を行うことができる。これら各座標系の対応関係は、例えば、表示装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。
In each functional block described below, coordinate information is set as a prerequisite for processing and displaying processing. The coordinate information includes, for example, an imaging coordinate system that is a coordinate system for an image captured by the
設定処理部１１１は、加工表示処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、加工表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、加工表示処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、加工表示処理におけるユーザのプロファイル情報を更新する。
The setting
また、設定処理部１１１は、加工表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、加工表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
Further, the setting
被写体情報取得部１１２は、加工表示処理において、撮像部１６による撮像の被写体となったユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。
The subject
被写体情報の取得のために、被写体情報取得部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、被写体情報取得部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、被写体情報取得部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）といった状態を検出する。
In order to acquire subject information, the subject
For example, the subject
更に、被写体情報取得部１１２は、検出された、各部位領域と、対応する肌の色とを紐付けたデータ（以下、「対応肌色データ」と称する。）を生成する。対応肌色データは、例えば、テーブル形式のデータとして生成される。
Furthermore, the subject
対応肌色データについて、図６を参照して説明をする。
図６（Ａ）に、ユーザの顔と、被写体情報取得部１１２により検出される各部位領域とを模式的に示す。上述したように、被写体情報取得部１１２は、フェイストラッキングに関する処理を行うことで、額、頬、顎、及び首等の所定の部位領域の検出を行う。また、被写体情報取得部１１２は、これら各部位領域を識別するために、識別情報を付与する。図６（Ａ）では、説明の為の一例として、識別情報として「（１）」等の括弧付き数字を用いる。
The corresponding skin color data will be described with reference to FIG.
FIG. 6A schematically shows a user's face and each part area detected by the subject
また、上述したように、被写体情報取得部１１２は、この検出した部位領域それぞれの、ユーザの肌の色を検出する。検出した色は、例えば、ＲＧＢカラーモデルにおける、Ｒ（赤）、Ｇ（緑）、及びＢ（青）のそれぞれの値として数値化される。
次に、被写体情報取得部１１２は、各部位領域と、対応する肌の色とを紐付けることにより、テーブル形式の対応肌色データを生成する。生成された対応肌色テーブルの一例を図６（Ｂ）に示す。図６（Ｂ）に示す例では、各部位領域の識別情報と、対応する肌の色のＲＢＧ値とが紐付けられる。このように生成された対応肌色データは、後述の加工部１１３が、ガイド画像をグラデーション加工する場合に、加工に用いる肌色を決定するための加工基準の情報として利用することができる。
Further, as described above, the subject
Next, the subject
また、被写体情報取得部１１２は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行うようにしてもよい。この場合、上記の検出された検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に相当する。
そして、被写体情報取得部１１２は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。被写体情報取得部１１２が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。
In addition, the subject
Then, the subject
また、被写体情報取得部１１２は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。この場合、被写体情報取得部１１２は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、被写体情報取得部１１２は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
In addition, the subject
Further, the subject
なお、被写体情報取得部１１２による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
It should be noted that the measurement of biological information by the subject
<References>
Advanced Information Technology Research Department, Cyber Science Center, Tohoku University, Institute for Innovative Innovation, Tohoku University, “Successful development of blood circulation status monitoring device “Magic Mirror””, [online], September 27, 2016, [29 Searched December 15, 2015], Internet <URL: http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
被写体情報取得部１１２は、このようにして取得した、対応肌色データや生体情報といった被写体情報を、被写体情報記憶部２０２に格納する。
The subject
加工部１１３は、ガイダンス情報記憶部２０１に格納されているガイダンス情報と、被写体情報記憶部２０２に格納されている被写体情報とに基づいて、ガイド画像に対するグラデーション加工を行う部分である。加工部１１３は、ガイダンス情報記憶部２０１からガイダンスにおいて表示すべきガイド画像を取得する。また、加工部１１３は、被写体情報記憶部２０２から対応肌色データを取得する。
そして、加工部１１３は、取得したガイド画像に対して、対応肌色データに基づいたグラデーション加工を行う。
The
Then, the
このグラデーション加工の具体例を、図７に示す。
図７（Ａ）の＜加工前画像＞に、ガイド画像５１として示すように、ガイド画像が矢印の形状であるとする。この場合、矢印の輪郭及び輪郭の内部領域は所定の色となっている。例えば、ユーザの鏡像における肌の色と対比しやすい青色等の色となっている。加工部１１３は、このガイド画像５１に対してグラデーション加工を行う。
A specific example of this gradation processing is shown in FIG.
Assume that the guide image is in the shape of an arrow, as shown as a guide image 51 in <image before processing> in FIG. 7A. In this case, the outline of the arrow and the area inside the outline have a predetermined color. For example, it is a color such as blue that is easy to contrast with the color of the skin in the mirror image of the user. The
具体的には、図７（Ａ）の＜加工後ガイド画像＞に、グラデーション画像５２として示すように、ガイド画像５１の輪郭周辺の所定領域に対して、グラデーション画像５２を追加することにより、ガイド画像５１を加工する。グラデーション画像５２の色は、肌色とする。 Specifically, as shown as a gradation image 52 in <guide image after processing> in FIG. The image 51 is processed. The color of the gradation image 52 is skin color.
同様に、図７（Ｂ）の＜加工前画像＞に、ガイド画像５３として示すように、ガイド画像が螺旋状の矢印の形状であるとする。この場合も、矢印の輪郭及び輪郭の内部領域は所定の色となっている。例えば、ユーザの鏡像における肌の色と対比しやすい青色等の色となっている。加工部１１３は、このガイド画像５３に対してグラデーション加工を行う。
Similarly, as shown as a guide image 53 in <image before processing> in FIG. 7B, the guide image is assumed to have a spiral arrow shape. Also in this case, the outline of the arrow and the area inside the outline are of a predetermined color. For example, it is a color such as blue that is easy to contrast with the color of the skin in the mirror image of the user. The
具体的には、図７（Ｂ）の＜加工後ガイド画像＞に、グラデーション画像５４として示すように、ガイド画像５３の輪郭周辺の所定領域に対して、グラデーション画像５４を追加することにより、ガイド画像５３を加工する。グラデーション画像５４の色は、肌色とする。
このように、本実施形態では、グラデーション加工の対象とするガイド画像毎に、グラデーション加工を行う領域や色を定めておくことにより、様々なガイド画像を対象としてグラデーション加工を行うことができる。
Specifically, as shown as a gradation image 54 in <guide image after processing> in FIG. The image 53 is processed. The color of the gradation image 54 is skin color.
As described above, in the present embodiment, by determining the area and color to be subjected to gradation processing for each guide image to be subjected to gradation processing, gradation processing can be performed on various guide images.
このようにして、グラデーション画像が付加されたガイド画像を表示部１９に表示した場合、鏡部１８に反射するユーザの顔等に、グラデーション画像が付加されたガイド画像を重畳される。このグラデーション画像により、鏡部１８に反射するユーザの顔等と、ガイド画像との境界をぼかすことができる。これにより、鏡部１８と表示部１９との構造上、鏡像と、ガイド画像とのそれぞれに対しての視差が生じてしまったとしても、視認上のギャップを低減して表示することができる。
When the guide image to which the gradation image is added is displayed on the
なお、仮にこのようなグラデーション加工を行わない場合には、ガイド画像の色（例えば、青色）と、鏡部１８に反射するユーザの顔等の肌色とが隣接することになり、ガイド画像の輪郭が余計強調されて、視認上のギャップが生じてしまう。
しかしながら、本実施形態では、上述したように、視認上のギャップを低減して表示することができる。つまり、本実施形態では、このようにグラデーション加工を行うことにより、重畳表示における違和感を抑制することができる。
It should be noted that if such gradation processing is not performed, the color of the guide image (for example, blue) and the skin color of the user's face reflected on the
However, in this embodiment, as described above, it is possible to reduce the visual gap and display. In other words, in the present embodiment, by performing gradation processing in this way, it is possible to suppress discomfort in superimposed display.
また、グラデーション画像における肌色は、予め設定されている肌色であってもよいが、ガイド画像を表示する場所等に応じて、適切な肌色を選択するようにしてもよい。例えば、ユーザ毎に肌の色は異なり、同じユーザであっても顔等の部位によっても肌の色は異なる。そこで、加工部１１３は、グラデーション画像における肌色を、被写体情報取得部１１２が生成した対応肌色データに基づいて決定する。すなわち、加工部１１３は、ガイド画像を表示する部位領域に対応する肌色のＲＧＢ値を対応肌色データから取得する。そして、加工部１１３は、取得したＲＧＢ値に基づいた肌色を、グラデーション画像における肌色とする。これにより、グラデーション画像の肌色を、ユーザ毎、且つ、部位毎に応じた適切な肌色とすることができる。これにより、上述した視認上のギャップを、より低減して表示することができる。
Also, the skin color in the gradation image may be a preset skin color, or an appropriate skin color may be selected according to the place where the guide image is displayed. For example, the skin color differs for each user, and even for the same user, the skin color differs depending on the part such as the face. Therefore, the
更に、グラデーション画像の色は、全体が単一の肌色であってもよいが、複数の肌色を含んでいてもよい。この場合、グラデーション画像に対応する領域を区分し、区分した領域毎に異なる度合いで、段階的に色が変化するようにしてもよい。例えば、加工部１１３は、ガイド画像に近い領域は肌色が濃く、ガイド画像から遠い領域ほど肌色が薄くなるようにグラデーション加工を行うようにしてもよい。また、中間の領域の肌色については線形補間等により求めるようにしてもよい。
Furthermore, the color of the gradation image may be a single skin color as a whole, or may include a plurality of skin colors. In this case, the area corresponding to the gradation image may be divided, and the color may change step by step with a different degree for each divided area. For example, the
また他にも、例えば、グラデーション画像を所定の画素数単位で格子状に区分し、格子毎にグラデーション画像を表示させたり、表示させなかったりすることにより、グラデーション加工を行うようにしてもよい。例えば、ガイド画像に近い領域には肌色を表示する格子の密度を高くし、ガイド画像から遠い領域ほど肌色を表示する格子の密度を低くなるようにグラデーション加工を行うようにしてもよい。これにより、ガイド画像に近い領域には表示部１９に表示される肌色の割合が多くなり、ガイド画像から遠い領域ほど鏡部１８に反射する鏡像の割合が多くなる、というグラデーションとすることができる。このように区分した領域毎のグラデーションの度合いを異ならせることにより、上述した視認上のギャップを、より低減して表示することができる。
Alternatively, for example, the gradation image may be divided into grids in units of a predetermined number of pixels, and gradation processing may be performed by displaying or not displaying the gradation image for each grid. For example, gradation processing may be performed so that the density of grids displaying skin colors is increased in areas closer to the guide image, and the density of grids displaying skin colors is decreased in areas farther from the guide image. As a result, a gradation can be achieved in which the ratio of the skin color displayed on the
加工部１１３は、このように生成したグラデーション加工後の、グラデーション画像が付加されたガイド画像（以下、「加工後ガイド画像」と称する。）を、表示制御部１１４に対して出力する。
The
表示制御部１１４は、ガイダンス情報を表示する部分である。表示制御部１１４は、加工後ガイド画像や、その他のガイダンス情報を切り替えて表示部１９に表示をさせることによって、一連のガイダンスを実現する。
そのために、表示制御部１１４は、加工部１１３から、加工後ガイド画像の入力を受け付ける。また、表示制御部１１４は、ガイダンス情報記憶部２０１からガイダンス情報を読み込む。
そして、表示制御部１１４は、読み込んだガイダンス情報に定められたタイミングで、読み込んだガイダンス情報に定められた位置に、加工後ガイド画像や、その他のガイド画像情報を表示する。
The
Therefore, the
Then, the
具体的に、表示制御部１１４は、例えば、鏡部１８によりユーザの顔等の所定の部位領域の鏡像が反射している位置に重畳するように、加工後ガイド画像を表示する。例えば、マッサージについてのガイダンスを行うタイミングで、マッサージの際の手の動きを示す矢印の加工後ガイド画像を、ユーザの顔のマッサージを行う部位領域の鏡像が反射している位置に重畳するように表示する。ユーザは、この重畳された表示を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、自身の鏡像と重畳して、分かりやすく視認することができる。この場合、上述したように、加工後ガイド画像であることから、視認上のギャップを、より低減して表示することができる。
Specifically, for example, the
なお、このような重畳表示を行う場合、例えば、被写体情報取得部１１２は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１４は、表示部１９の被写体情報取得部１１２が取得した表示部座標系の座標に、前記加工後ガイド画像を表示することにより、重畳表示を行うことができる。
Note that when such superimposed display is performed, for example, the subject
また、表示制御部１１４は、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１４は、例えば、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
In addition, the
また、表示制御部１１４は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１４は、マッサージの際の手の動きを示す矢印はユーザの顔等の鏡像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の鏡像と重複しない領域に表示するようにしてもよい。
Also, the
表示制御部１１４が、このような情報をリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
By displaying such information in real time by the
なお、表示制御部１１４は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１４は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１４は、発光部による発光状態を変化させるようにしてもよい。
Note that the
［加工表示処理］
図８は、図５の機能的構成を有する図１の表示装置１が実行する加工表示処理の流れを説明するフローチャートである。
加工表示処理は、例えば、表示装置１の電源投入と共に開始される。
[Processing display processing]
FIG. 8 is a flow chart for explaining the flow of processing display processing executed by the
The processing display processing is started, for example, when the power of the
図８に示すように、ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、加工表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
As shown in FIG. 8, in step S11, the setting
ステップＳ１２において、設定処理部１１１は、ユーザを識別するための個人認証を試み、個人認証に成功したか否かを判定する。個人認証に成功した場合は、ステップＳ１２においてＹｅｓと判定され、処理はステップＳ１３に進む。一方で、個人認証に失敗した場合は、ステップＳ１２においてＮｏと判定され、ステップＳ１２を繰り返す。なお、個人認証は、例えば、撮像部１６が撮像したユーザの顔画像を用いた顔認識や、入力部１７に含まれるマイクにて集音したユーザの音声を用いた声紋認識等により行うことができる。また、それ以外にも、所定の生体情報を利用した生体認証や、ユーザから入力されたパスワードを利用した認証等の他の認証方法により個人認証を行うようにしてもよい。
In step S12, the setting
ステップＳ１３において、設定処理部１１１は、個人認証により特定したユーザについてのプロファイル情報を、サーバ群３に含まれる認証サーバに対して問い合わせる。認証サーバは、問い合わせを受けたユーザについてのプロファイル情報の有無を確認する。そして、認証サーバは、プロファイル情報が存在する場合には、サーバ群３に含まれる測定データ格納サーバから、対応するプロファイル情報を取得する。そして、認証サーバは、取得したプロファイル情報を、問い合わせに対する応答として、設定処理部１１１に対して送信する。一方で、認証サーバは、プロファイル情報が存在する場合には、その旨を、問い合わせに対する応答として、設定処理部１１１に対して送信する。
In step S13, the setting
ここで、プロファイル情報には、ユーザに関する設定情報やユーザによる表示装置１の利用履歴等が含まれる。ここで、ユーザの関連情報とは、例えば、ユーザを識別するための識別情報や、ユーザの名前や年齢、身長体重等の情報や、認証を行うための認証元画像である。また、ユーザによる表示装置１の利用履歴とは、例えば、過去にどのようなガイダンス情報に基づいた処理を行ったかという情報や、その際に取得されたユーザの生体情報等の情報である。また、利用履歴には、例えば、そのユーザについて過去に生成された対応肌色データ等が含まれていてもよい。
Here, the profile information includes setting information about the user, usage history of the
ステップＳ１４において、設定処理部１１１は、認証サーバからの応答の内容を確認する。認証サーバからの応答の内容が、プロファイル情報である場合には、ステップＳ１４においてＹｅｓと判定され、処理はステップＳ１５に進む。一方で、認証サーバからの応答の内容が、プロファイル情報が存在しない旨である場合には、ステップＳ１４においてＮｏと判定され、処理はステップＳ１６に進む。
In step S14, the setting
ステップＳ１５において、設定処理部１１１は、認証サーバからの応答として受信したプロファイル情報を読み込む。
In step S15, the setting
ステップＳ１６において、設定処理部１１１は、今回処理の対象としているユーザについてのプロファイル情報を生成し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。
In step S16, the setting
ステップＳ１７において、被写体情報取得部１１２は、上述したようにして、対応肌色データを生成する。なお、対応肌色データの生成は、ステップＳ１７のタイミングで行われてもよいが、他のタイミングで行うようにしてもよい。例えば、後述の各ステップと並行して、周期的に、対応肌色データの生成を行うようにしてもよい。このように、対応肌色データを周期的に生成することにより、最新のユーザの顔の向きや撮像環境の外光等の状況に応じた、適切な対応肌色データをリアルタイムに生成することができる。
In step S17, the subject
ステップＳ１８において、表示制御部１１４は、ガイド画像を表示するか否か判定する。例えば、表示制御部１１４は、ユーザが小顔エステを行うことを選択した場合に、この小顔エステにおけるガイダンスにて、ガイド画像を表示するタイミングであるか否かを判定する。ガイド画像を表示する場合は、ステップＳ１７においてＹｅｓと判定され、処理はステップＳ１９に進む。一方で、ガイド画像を表示しない場合は、ステップＳ１７においてＮｏと判定され、処理はステップＳ１８の判定を繰り返す。
In step S18, the
ステップＳ１９において、加工部１１３は、表示するガイド画像に対して、グラデーション加工を実行することにより、加工後ガイド画像を生成する。このグラデーション加工は、上述したステップＳ１７において生成された対応肌色データ（又は、他のタイミングで周期的に生成された対応肌色データ）に基づいて、行われる。
In step S19, the
ステップＳ２０において、表示制御部１１４は、ステップＳ１３において生成された加工後ガイド画像を、表示部１９の適切な位置に表示させることにより、ガイダンスを行う。
In step S<b>20 , the
ステップＳ２１において、表示制御部１１４は、他のガイド画像を表示するか否か判定する。例えば、表示制御部１１４は、ユーザが小顔エステを行うことを選択した場合に、この小顔エステにおけるガイダンスにて、現在表示しているガイド画像以外の、他のガイド画像を新たに表示するタイミングであるか否かを判定する。他のガイド画像を表示する場合は、ステップＳ２１においてＹｅｓと判定され、処理はステップＳ１９に戻る。そして、この他のガイド画像を対象として、再度ステップＳ１９及びステップＳ２０が行われる。一方で、他のガイド画像を表示しない場合は、ステップＳ２１においてＮｏと判定され、処理はステップＳ２１の判定を繰り返す。
In step S21, the
ステップＳ２２において、表示制御部１１４は、ガイダンスを終了するか否かを判定する。例えば、ガイダンスにおける最後のガイド画像を表示して所定時間が経過した場合に、ガイダンスは終了する。ガイダンスを終了する場合は、ステップＳ２２においてＹｅｓと判定され、処理はステップＳ２３に進む。一方で、ガイダンスを終了しない場合は、ステップＳ２２においてＮｏと判定され、処理は再度ステップＳ２１から繰り返される。
In step S22, the
ステップＳ２３において、表示制御部１１４は、ガイダンス情報に表示を終了させることにより、ガイダンスを終了する。
In step S23, the
ステップＳ２４において、設定処理部１１１は、今回のガイダンスにおいて生成した対応肌色データや、今回測定した生体情報等に基づいて、記憶部２０のガイダンス情報記憶部２０１や、サーバ群３に含まれる測定データ格納サーバ等に保存されているプロファイル情報を更新する。これにより、加工表示処理は、終了する。
In step S24, the setting
なお、同じユーザを対象として次回以降に行われる加工表示処理では、ステップＳ１４においてＹｅｓと判定されることになり、ステップＳ１６の処理を省略することができる。また、次回以降に行われる加工表示処理では、ステップＳ１１におけるアプリケーションの取得等の処理も省略してよい。 It should be noted that, in the processing display processing to be performed for the same user after the next time, it is determined as Yes in step S14, and the processing of step S16 can be omitted. Further, in the processing display processing to be performed after the next time, the processing such as acquisition of the application in step S11 may be omitted.
以上説明した加工表示処理によれば、鏡部１８に反射する鏡像と、表示部１９に表示したガイド画像とを重畳する場合に、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすので、視認上のギャップを低減して表示することができる。つまり、加工表示処理によれば、重畳表示における違和感を抑制することができる。
また、ユーザは、ガイド画像が、ユーザの鏡像と共に表示されるので、ユーザはその内容を直感的且つ適切に理解することができる。
According to the processing and display processing described above, when the mirror image reflected on the
Also, since the guide image is displayed together with the user's mirror image, the user can intuitively and appropriately understand the content of the guide image.
更に、加工表示処理では、表示するガイド画像を加工すればよく、ユーザに対して、例えば、視差を低減するための特殊な３Ｄメガネ等の別途の装置の装着を要求することはない。従って、コストの増大を抑えることができる。また、顔に３Ｄメガネを装着したことにより、マッサージが可能な箇所が限定されてしまうようなことも防止できる。 Furthermore, the modified display process only needs to modify the displayed guide image, and does not require the user to wear a separate device such as special 3D glasses for reducing parallax. Therefore, an increase in cost can be suppressed. In addition, it is possible to prevent the limitation of areas that can be massaged by wearing 3D glasses on the face.
以上のように構成される表示装置１は、鏡部１８と、表示部１９と、被写体情報取得部１１２と、加工部１１３と、表示制御部１１４と、を備える。
鏡部１８は、被写体の像を反射する。
表示部１９は、鏡部１８の反射面に重なるように配置され、所定の情報を表示する。被写体情報取得部１１２は、被写体に関する情報を取得する。
加工部１１３は、被写体情報取得部１１２により取得された前記被写体に関する情報に基づいて、所定の情報を加工する。
表示制御部１１４は、加工部１１３により加工された所定の情報を、表示部１９に表示させる制御を行う。
鏡部１８により反射された被写体の像と表示部１９に表示された所定の情報とが重なる。
これにより、鏡部１８に反射する鏡像と、表示部１９に表示したガイド画像とが重なる場合に、被写体に関する情報に基づいて、所定の情報を加工することができる。例えば、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすことができる。従って、視認上のギャップを低減して表示することができる。
つまり、表示装置１によれば、重畳表示における違和感を抑制することができる。
The
The
The
The
The
The image of the subject reflected by the
Accordingly, when the mirror image reflected on the
That is, according to the
表示制御部１１４は、被写体情報取得部１１２により取得された被写体となった人物に関する情報に基づいて、表示部１９に表示させる制御を行う。
これにより、表示部１９に表示させる制御を、被写体となった人物に関する情報に基づいて実現することができる。
The
This makes it possible to control the display on the
被写体となった人物に関する情報とは、被写体となった人物の肌の色に関する情報である。
これにより、表示部１９に表示させる制御を、被写体となった人物の肌の色に関する情報に基づいて実現することができる。
The information about the person who is the subject is information about the skin color of the person who is the subject.
This makes it possible to control the display on the
加工部１１３は、被写体の像を表示部１９の表示面の全面に表示する場合に、被写体情報取得部１１２が取得した肌の色に関する情報に基づいて所定の情報を加工する。
これにより、被写体となった人物の肌の色に関する情報に基づいて所定の情報を加工して、表示することができる。
The
Accordingly, it is possible to process and display the predetermined information based on the information about the skin color of the person who is the subject.
加工部１１３は、鏡部１８により反射された被写体の像と表示部１９に表示された所定の情報とが重なる場合に、所定の情報を加工する。
これにより、被写体の像と所定の情報とが重なる場合に、加工をした所定の情報を用いた表示を行うことができる。
The
As a result, when the image of the subject overlaps the predetermined information, display using the processed predetermined information can be performed.
被写体情報取得部１１２は、被写体に関する情報として、鏡部１８での被写体の像の反射位置に対応する、表示部１９の表示面の座標を取得する。
表示制御部１１４は、加工部１１３が加工した所定の情報を、被写体情報取得部１１２が取得した表示部１９の表示面の座標に表示させる制御を行う。
これにより、鏡部１８で反射する被写体の像と、所定の情報とを重畳することができる。
The subject
The
As a result, the image of the subject reflected by the
被写体情報取得部１１２は、被写体に関する情報として、被写体の各位置の座標毎、もしくは被写体の各部位に対応する位置の座標毎に、それぞれ対応する加工基準情報を取得する。
加工部１１３は、被写体情報取得部１１２により取得された加工基準情報に基づいて、所定の情報を加工する。
これにより、被写体の各位置それぞれ、もしくは被写体の各部位それぞれに対応して、所定の情報を加工することができる。
The subject
The
Thereby, predetermined information can be processed corresponding to each position of the subject or each part of the subject.
加工部１１３は、所定の情報を表示部１９の一部に表示する場合に、被写体情報取得部１１２により取得された加工基準情報に基づいて、所定の情報を加工する。
これにより、被写体の各部それぞれに対応して、表示部１９の一部に表示する所定の情報を加工することができる。
When displaying predetermined information on a part of the
Thereby, the predetermined information to be displayed on a part of the
加工部１１３は、所定の情報が示す画像の形状の輪郭に対応する領域に対して加工を行う。
これにより、所定の情報が示す画像の輪郭をぼかすような加工をすることができる。
The
As a result, processing can be performed to blur the contour of the image indicated by the predetermined information.
加工部１１３は、所定の情報が示す画像の形状の輪郭に対応する領域を区分し、区分した領域毎に異なる度合いで、段階的に加工を行う。
これにより、段階的なグラデーションのような加工をすることができる。
The
As a result, it is possible to process like a gradual gradation.
加工部１１３は、所定の情報が示す画像の少なくとも一部を、被写体に関する情報に基づいた色とする加工を行う。
これにより、被写体に対応した色に加工した画像を、表示することができる。
The
This makes it possible to display an image that has been processed in colors corresponding to the subject.
加工部１１３は、所定の情報が示す画像を複数の格子状に区分し、区分した格子毎に表示制御部１１４による表示の対象とする画像の密度を異ならせる加工を行う
これにより、加工した画像の割合を段階的に異ならせて、表示をすることができる。
The
鏡部１８は、反射面の正面側に対して被写体の像を反射すると共に、反射面の正面側に対して表示部１９が表示する所定の情報を透過することにより、被写体の像と所定の情報とを重畳する。
これにより、鏡部１８の正面側に対して、被写体の像と所定の情報とを重畳して出力することができる。
The
As a result, the image of the subject and the predetermined information can be superimposed and output to the front side of the
表示装置１は、被写体を撮像する撮像部１６を更に備える。
被写体情報取得部１１２は、撮像部１６により撮像された被写体の撮像画像から、被写体に関する情報を取得する。
これにより、撮像部１６が撮像した画像から取得した被写体に関する情報に基づいて、加工を行うことができる。
The
The subject
Thereby, processing can be performed based on the information about the subject acquired from the image captured by the
撮像部１６は、反射手段での被写体の像の反射位置と、表示手段の表示面の座標との対応関係を補正する。
これにより、例えば、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等により、対応関係の補正を行うことができる。
The
As a result, for example, it is possible to correct the correspondence by adjusting the direction of the imaging lens in the
鏡部１８は、ハーフミラーであり、
表示部１９は、鏡部１８の反射面の背面に配置され、所定の情報を表示する。
これにより、ハーフミラーの反射特性と、透過特性とにより、鏡像と所定の情報とを重畳することができる。
The
The
Thereby, the mirror image and the predetermined information can be superimposed by the reflection characteristic and the transmission characteristic of the half mirror.
表示部１９は、透過型の表示手段であり、
鏡部１８は、表示手段の背面に配置される、
これにより、透過型の表示手段の反射特性と、透過特性とにより、鏡像と所定の情報とを重畳することができる。
The
The
Thereby, the mirror image and the predetermined information can be superimposed by the reflection characteristics and the transmission characteristics of the transmissive display means.
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
[Modification]
The present invention is not limited to the above-described embodiments, but includes modifications, improvements, etc. within the scope of achieving the object of the present invention. For example, the above-described embodiment may be modified as in the following modifications.
＜第１変形例＞
上述した実施形態では、加工表示処理の対象となる被写体がユーザの顔等であることを想定していた。そして、このユーザの顔等の肌の色に基づいてグラデーション加工を行い、加工後ガイド画像を、このユーザの顔等に重畳して表示していた。
これに限らず、ユーザの顔等以外を、加工表示処理の対象の被写体とするようにしてもよい。例えば、ユーザの顔以外の、腕や足や全身を加工表示処理の対象の被写体とするようにしてもよい。また他にも、例えば、ユーザ以外の動物を加工表示処理の対象の被写体とするようにしてもよい。更に他にも、例えば、建築物の壁等や、棚等の家具等のものを加工表示処理の対象の被写体とするようにしてもよい。そして、これらの被写体の色に基づいてグラデーション加工を行い、加工後ガイド画像を、これらの被写体に重畳して表示するようにしてもよい。
また、このように、被写体に重畳して表示する場合に、更に、例えば、被写体の周辺の背景の色に基づいてグラデーション加工を行い、加工後ガイド画像を、この被写体の周辺の背景に重畳して表示してもよい。
<First modification>
In the above-described embodiment, it is assumed that the subject to be processed and displayed is the user's face or the like. Then, gradation processing is performed based on the skin color of the user's face or the like, and the guide image after processing is superimposed and displayed on the user's face or the like.
Without being limited to this, a subject other than the user's face or the like may be set as a subject to be processed and displayed. For example, an arm, a leg, or the whole body other than the user's face may be set as a subject to be processed and displayed. In addition, for example, an animal other than the user may be set as a subject for processing and display processing. In addition, for example, walls of buildings, furniture such as shelves, and the like may be used as objects to be processed and displayed. Then, gradation processing may be performed based on the colors of these subjects, and the post-processing guide image may be displayed superimposed on these subjects.
Further, in the case of superimposing and displaying the subject in this way, for example, gradation processing is further performed based on the color of the background around the subject, and the guide image after processing is superimposed on the background around the subject. may be displayed.
＜第２変形例＞
上述した実施形態では、加工後ガイド画像を、表示部１９の表示面の一部（例えば、所定の部位領域に対応する一部の領域）に表示する場合に、加工部１１３が、対応肌色データを用いたグラデーション加工を行っていた。これに限らず、加工部１１３が、他の方法でグラデーション加工を行うようにしてもよい。
例えば、加工後ガイド画像を、表示部１９の表示面の全面の複数の位置（例えば、異なる位置にある複数の部位領域に対応する複数の領域）に表示する場合に、加工部１１３が、対応肌色データを用いたグラデーション加工は行わないようにしてもよい。
この場合、例えば、加工部１１３が、対応肌色データを用いることなく、予め用意した一般的な肌色を用いてグラデーション加工を行うようにしてもよい。また、例えば、被写体が上述した建築物の壁等の全面が同じ一様な色の場合にも、対応肌色データを用いることなく、予め用意した所定の色を用いてグラデーション加工を行うようにしてもよい。
<Second modification>
In the above-described embodiment, when the post-processing guide image is displayed on a part of the display surface of the display unit 19 (for example, a part of area corresponding to a predetermined part area), the
For example, when displaying the post-processing guide image at a plurality of positions (for example, a plurality of regions corresponding to a plurality of site regions at different positions) on the entire display surface of the
In this case, for example, the
＜他の変形例＞
例えば、上述の実施形態において、表示装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示装置１に追加して、表示装置１のみで全ての処理を行うようにしてもよい。
<Other Modifications>
For example, in the above-described embodiment, it was assumed that the
また、上述の実施形態では、本発明が適用される表示装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
Further, in the above-described embodiments, the
For example, the present invention can be applied to an electronic device incorporated in a large mirror such as a full-length mirror, an electronic device incorporated in a stationary bathroom vanity, or a mirror-shaped electronic device installed in a bathroom.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が表示装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
The series of processes described above can be executed by hardware or by software.
In other words, the functional configuration of FIG. 5 is merely an example and is not particularly limited. That is, it is sufficient that the
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
Also, one functional block may be composed of hardware alone, software alone, or a combination thereof.
The functional configuration in this embodiment is realized by a processor that executes arithmetic processing, and processors that can be used in this embodiment are composed of various single processing units such as single processors, multiprocessors, and multicore processors. In addition, it includes a combination of these various processing devices and a processing circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processes is to be executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware. The computer may also be a computer capable of executing various functions by installing various programs, such as a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部２０に含まれるハードディスク等で構成される。
A recording medium containing such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In this specification, the steps of writing a program recorded on a recording medium are not necessarily processed chronologically according to the order, but may be executed in parallel or individually. It also includes the processing to be performed.
Further, in this specification, the term "system" means an overall device composed of a plurality of devices, a plurality of means, or the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and various modifications such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and their modifications are included in the scope and gist of the invention described in this specification and the like, and are included in the scope of the invention described in the claims and equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
前記被写体に関する情報を取得する取得手段と、
前記取得手段により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工手段と、
前記加工手段により加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御手段と、
を備え、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示装置。
［付記２］
前記表示制御手段は、
前記取得手段により取得された前記被写体となった人物に関する情報に基づいて、前記表示手段に表示させる制御を行う、
ことを特徴とする付記１に記載の表示装置。
［付記３］
前記被写体となった人物に関する情報とは、前記被写体となった人物の肌の色に関する情報である、
ことを特徴とする付記２に記載の表示装置。
［付記４］
前記加工手段は、前記被写体の像を前記表示手段の表示面の全面に表示する場合に、前記取得手段が取得した肌の色に関する情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記３に記載の表示装置。
［付記５］
前記加工手段は、前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なる場合に、前記所定の情報を加工する、
ことを特徴とする付記１乃至４の何れか１に記載の表示装置。
［付記６］
前記取得手段は、前記被写体に関する情報として、前記反射手段での前記被写体の像の反射位置に対応する前記表示手段の表示面の座標を取得し、
前記表示制御手段は、前記加工手段が加工した前記所定の情報を、前記取得手段が取得した前記表示手段の表示面の座標に表示させる制御を行う、
ことを特徴とする付記１乃至５の何れか１に記載の表示装置。
［付記７］
前記取得手段は、前記被写体に関する情報として、前記被写体の各位置の座標毎、もしくは前記被写体の各部位に対応する位置の座標毎に、それぞれ対応する加工基準情報を取得し、
前記加工手段は、前記取得手段により取得された加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記１乃至６の何れか１に記載の表示装置。
［付記８］
前記加工手段は、前記所定の情報を前記表示手段の一部に表示する場合に、前記取得手段により取得された加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記７に記載の表示装置。
［付記９］
前記加工手段は、前記所定の情報が示す画像の形状の輪郭に対応する領域に対して加工を行う付記１乃至８の何れか１に記載の表示装置。
［付記１０］
前記加工手段は、前記所定の情報が示す画像を複数の領域に区分し、区分した領域毎に異なる度合いで、段階的に加工を行う付記１乃至９の何れか１に記載の表示装置。
［付記１１］
前記加工手段は、前記所定の情報が示す画像の少なくとも一部を、前記被写体に関する情報に基づいた色とする加工を行う付記１乃至１０の何れか１に記載の表示装置。
［付記１２］
前記加工手段は、前記所定の情報が示す画像を複数の格子状に区分し、区分した格子毎に前記表示制御手段による表示の対象とする画像の密度を異ならせる加工を行う付記１乃至１１の何れか１に記載の表示装置。
［付記１３］
前記反射手段は、前記反射面の正面側に対して前記被写体の像を反射すると共に、前記反射面の正面側に対して前記表示手段が表示する前記所定の情報を透過することにより、前記被写体の像と前記所定の情報とを重畳する、
ことを特徴とする付記１乃至１２の何れか１に記載の表示装置。
［付記１４］
前記被写体を撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された被写体の撮像画像から、前記被写体に関する情報を取得する、
ことを特徴とする付記１乃至１３の何れか１に記載の表示装置。
［付記１５］
前記撮像手段は、前記反射手段での前記被写体の像の反射位置と、前記表示手段の表示面の座標との対応関係を補正する、
ことを特徴とする付記１４に記載の表示装置。
［付記１６］
前記反射手段はハーフミラーであり、
前記表示手段は、前記反射手段の反射面の背面に配置され、所定の情報を表示する、
ことを特徴とする付記１乃至１５の何れか１に記載の表示装置。
［付記１７］
前記表示手段は透過型の表示手段であり、
前記反射手段は、前記表示手段の背面に配置される、
ことを特徴とする付記１乃至１５の何れか１に記載の表示装置。
［付記１８］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータが行う表示方法であって、
前記被写体に関する情報を取得する取得ステップと、
前記取得ステップにて取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工ステップと、
前記加工ステップにて加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御ステップと、
を有し、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示方法。
［付記１９］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータに、
前記被写体に関する情報を取得する取得機能と、
前記取得機能により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工機能と、
前記加工機能により取得された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御機能と、
を実現させ、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示プログラム。
The invention described in the scope of claims at the time of filing of the present application will be additionally described below.
[Appendix 1]
Reflecting means for reflecting an image of a subject;
display means arranged so as to overlap the reflection surface of the reflection means and displaying predetermined information;
acquisition means for acquiring information about the subject;
processing means for processing the predetermined information based on the information about the subject acquired by the acquisition means;
display control means for controlling display of the predetermined information processed by the processing means on the display means;
with
A display device, wherein an image of a subject reflected by said reflecting means overlaps with predetermined information displayed on said display means.
[Appendix 2]
The display control means is
Based on the information about the person who is the subject acquired by the acquisition means, control is performed to display on the display means;
The display device according to
[Appendix 3]
The information about the person who is the subject is information about the skin color of the person who is the subject,
The display device according to
[Appendix 4]
The processing means processes the predetermined information based on the information regarding the skin color acquired by the acquisition means when the image of the subject is displayed on the entire display surface of the display means.
The display device according to
[Appendix 5]
The processing means processes the predetermined information when the image of the subject reflected by the reflecting means overlaps the predetermined information displayed on the display means.
5. The display device according to any one of
[Appendix 6]
The acquisition means acquires, as information about the subject, the coordinates of the display surface of the display means corresponding to the reflection position of the image of the subject on the reflection means,
The display control means controls to display the predetermined information processed by the processing means at the coordinates of the display surface of the display means acquired by the acquisition means.
The display device according to any one of
[Appendix 7]
The acquiring means acquires processing reference information corresponding to each coordinate of each position of the subject or each coordinate of a position corresponding to each part of the subject as information about the subject,
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means.
7. The display device according to any one of
[Appendix 8]
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means when displaying the predetermined information on a part of the display means.
The display device according to
[Appendix 9]
9. The display device according to any one of
[Appendix 10]
10. The display device according to any one of
[Appendix 11]
11. The display device according to any one of
[Appendix 12]
The processing means divides the image indicated by the predetermined information into a plurality of grids, and performs processing such that the density of the image to be displayed by the display control means is different for each of the divided grids. 2. The display device according to any one of the above.
[Appendix 13]
The reflecting means reflects the image of the subject to the front side of the reflecting surface, and transmits the predetermined information displayed by the display means to the front side of the reflecting surface, thereby superimposing the image of and the predetermined information,
13. The display device according to any one of
[Appendix 14]
Further comprising imaging means for imaging the subject,
The acquisition means acquires information about the subject from the captured image of the subject captured by the imaging means.
14. The display device according to any one of
[Appendix 15]
The imaging means corrects a correspondence relationship between the reflection position of the image of the subject on the reflection means and the coordinates of the display surface of the display means.
15. The display device according to
[Appendix 16]
the reflecting means is a half mirror;
The display means is arranged behind the reflecting surface of the reflecting means and displays predetermined information.
16. The display device according to any one of
[Appendix 17]
The display means is transmissive display means,
The reflecting means is arranged behind the display means,
16. The display device according to any one of
[Appendix 18]
Reflecting means for reflecting an image of a subject;
display means arranged so as to overlap the reflection surface of the reflection means and displaying predetermined information;
A display method performed by a computer comprising
an obtaining step of obtaining information about the subject;
a processing step of processing the predetermined information based on the information about the subject acquired in the acquiring step;
a display control step for controlling the display means to display the predetermined information processed in the processing step;
has
A display method, wherein an image of a subject reflected by said reflecting means and predetermined information displayed on said display means are superimposed.
[Appendix 19]
Reflecting means for reflecting an image of a subject;
display means arranged so as to overlap the reflection surface of the reflection means and displaying predetermined information;
on a computer equipped with
an acquisition function for acquiring information about the subject;
a processing function for processing the predetermined information based on the information about the subject acquired by the acquisition function;
a display control function for controlling the display means to display the predetermined information acquired by the processing function;
to realize
A display program, wherein an image of a subject reflected by said reflection means and predetermined information displayed on said display means overlap each other.
１・・・表示装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・鏡部，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・被写体情報取得部，１１３・・・加工部，１１４・・・表示制御部，２０１・・・ガイダンス情報記憶部，２０２・・・被写体情報記憶部，Ｓ・・・表示システム
1
Claims (20)
前記反射面に重なるように配置された表示手段と、
前記被写体の肌の色に関する肌色情報を前記被写体の部位に含まれる複数の領域の各々ごとに取得する取得手段と、
前記取得手段により取得された前記肌色情報に基づいて、所定の情報の輪郭に対応する輪郭領域を前記領域ごとに加工する加工手段と、
前記所定の情報又は前記加工手段により加工された加工済み情報を、前記反射手段により反射された被写体の前記部位の像と重ねて前記表示手段に表示する表示制御手段と、
を備えることを特徴とする表示装置。 Reflecting means for reflecting an image of a subject on a reflecting surface;
a display means arranged so as to overlap the reflecting surface;
acquisition means for acquiring skin color information about the skin color of the subject for each of a plurality of areas included in the part of the subject ;
a processing means for processing a contour region corresponding to a contour of predetermined information for each region based on the skin color information acquired by the acquisition means;
display control means for displaying the predetermined information or the processed information processed by the processing means on the display means so as to be superimposed on the image of the part of the subject reflected by the reflection means;
A display device comprising:
ことを特徴とする請求項１に記載の表示装置。2. The display device according to claim 1, wherein:
ことを特徴とする請求項１または２に記載の表示装置。3. The display device according to claim 1, wherein:
ことを特徴とする請求項１乃至３の何れか１項に記載の表示装置。4. The display device according to any one of claims 1 to 3, characterized in that:
ことを特徴とする請求項１乃至４の何れか１項に記載の表示装置。 The processing means processes the predetermined information based on the skin color information acquired by the acquisition means when the image of the subject is displayed on the entire display surface of the display means.
5. The display device according to any one of claims 1 to 4 , characterized in that:
ことを特徴とする請求項１乃至５の何れか１項に記載の表示装置。 The processing means processes the predetermined information when the image of the subject reflected by the reflecting means overlaps the predetermined information displayed on the display means.
6. The display device according to any one of claims 1 to 5 , characterized in that:
前記表示制御手段は、前記加工手段が加工した前記加工済み情報を、前記取得手段が取得した前記表示手段の表示面の座標に表示させる制御を行う、
ことを特徴とする請求項１乃至６の何れか１項に記載の表示装置。 The acquisition means acquires, as information about the subject, the coordinates of the display surface of the display means corresponding to the reflection position of the image of the subject on the reflection means,
The display control means controls to display the processed information processed by the processing means at the coordinates of the display surface of the display means acquired by the acquisition means,
7. The display device according to any one of claims 1 to 6 , characterized in that:
前記加工手段は、前記取得手段により取得された前記加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする請求項１乃至７の何れか１項に記載の表示装置。 The acquisition means acquires corresponding processing reference information for each coordinate of each position of the subject or each coordinate of a position corresponding to each part of the subject,
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means.
8. The display device according to any one of claims 1 to 7 , characterized in that:
ことを特徴とする請求項８に記載の表示装置。 The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means when displaying the predetermined information on a part of the display means.
9. The display device according to claim 8 , characterized by:
前記被写体の像と前記所定の情報とを重畳する、
ことを特徴とする請求項１乃至１２の何れか１項に記載の表示装置。 The reflection means reflects the image of the subject to the front side of the reflection surface and transmits the predetermined information displayed by the display means to the front side of the reflection surface,
superimposing the image of the subject and the predetermined information;
The display device according to any one of claims 1 to 12, characterized in that:
前記取得手段は、前記撮像手段により撮像された前記被写体の撮像画像から、前記被写体に関する情報を取得する、
ことを特徴とする請求項１乃至１３の何れか１項に記載の表示装置。 Further comprising imaging means for imaging the subject,
The acquisition means acquires information about the subject from the captured image of the subject captured by the imaging means.
14. The display device according to any one of claims 1 to 13, characterized in that:
ことを特徴とする請求項１４に記載の表示装置。 The imaging means corrects a correspondence relationship between the reflection position of the image of the subject on the reflection means and the coordinates of the display surface of the display means.
15. The display device according to claim 14 , characterized by:
前記表示手段は、前記反射手段の反射面の背面に配置され、前記所定の情報を表示する、
ことを特徴とする請求項１乃至１５の何れか１項に記載の表示装置。 the reflecting means is a half mirror,
The display means is arranged behind the reflecting surface of the reflecting means and displays the predetermined information.
16. The display device according to any one of claims 1 to 15 , characterized in that:
前記反射手段は、前記表示手段の背面に配置される、
ことを特徴とする請求項１乃至１６の何れか１項に記載の表示装置。 The display means is transmissive display means,
The reflecting means is arranged behind the display means,
17. The display device according to any one of claims 1 to 16 , characterized in that:
前記反射面に重なるように配置された表示手段と、
前記被写体に関する情報を取得する取得手段と、
前記取得手段により取得された前記被写体に関する情報が所定の条件を満たしている場合に第１の情報を前記表示手段に表示させる一方で、前記被写体に関する情報が所定の条件を満たしていない場合には第２の情報を前記表示手段に表示させる表示制御手段と、
を備え、
前記第２の情報は、前記第１の情報が前記被写体の肌の色に関する情報に基づいて輪郭に対応する領域が加工された情報である、
ことを特徴とする表示装置。 Reflecting means for reflecting an image of a subject on a reflecting surface;
a display means arranged so as to overlap the reflecting surface;
acquisition means for acquiring information about the subject;
displaying the first information on the display means when the information about the subject obtained by the obtaining means satisfies a predetermined condition, and displaying the first information on the display means when the information about the subject does not satisfy the predetermined condition; display control means for displaying the second information on the display means;
with
The second information is information obtained by processing the area corresponding to the contour of the first information based on the information on the skin color of the subject.
A display device characterized by:
前記反射面に重なるように配置された表示手段と、
を備えたコンピュータが行う表示方法であって、
前記被写体の肌の色に関する肌色情報を前記被写体の部位に含まれる複数の領域の各々ごとに取得する取得ステップと、
前記取得ステップにて取得された前記肌色情報に基づいて、所定の情報の輪郭に対応する輪郭領域を前記領域ごとに加工する加工ステップと、
前記所定の情報又は前記加工ステップにて加工された加工済み情報を、前記反射手段により反射された被写体の前記部位の像と重ねて前記表示手段に表示する制御を行う表示制御ステップと、
を備えることを特徴とすることを特徴とする表示方法。 Reflecting means for reflecting an image of a subject on a reflecting surface;
a display means arranged so as to overlap the reflecting surface;
A display method performed by a computer comprising
an acquiring step of acquiring skin color information about the skin color of the subject for each of a plurality of areas included in the part of the subject ;
a processing step of processing a contour region corresponding to a contour of predetermined information for each region based on the skin color information obtained in the obtaining step;
a display control step of performing control to display the predetermined information or the processed information processed in the processing step, superimposed on the image of the part of the subject reflected by the reflecting means, on the display means;
A display method characterized by comprising:
前記反射面に重なるように配置された表示手段と、
を備えるコンピュータを、
前記被写体の肌の色に関する肌色情報を前記被写体の部位に含まれる複数の領域の各々ごとに取得する取得機能と、
前記取得機能により取得された前記肌色情報に基づいて、所定の情報の輪郭に対応する領域を前記領域ごとに加工する加工手段、
前記所定の情報又は前記加工手段により取得された加工済み情報を、前記反射手段により反射された被写体の前記部位の像と重ねて前記表示手段に表示する制御を行う表示制御手段、
として機能させることを特徴とする表示プログラム。 Reflecting means for reflecting an image of a subject on a reflecting surface;
a display means arranged so as to overlap the reflecting surface;
a computer comprising
an acquisition function for acquiring skin color information about the skin color of the subject for each of a plurality of areas included in the part of the subject ;
processing means for processing an area corresponding to a contour of predetermined information for each area based on the skin color information acquired by the acquisition function;
display control means for performing control to display the predetermined information or the processed information acquired by the processing means on the display means, superimposed on the image of the part of the subject reflected by the reflection means;
A display program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110612A JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110612A JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019209065A JP2019209065A (en) | 2019-12-12 |
| JP2019209065A5 JP2019209065A5 (en) | 2021-07-26 |
| JP7135466B2 true JP7135466B2 (en) | 2022-09-13 |
Family
ID=68846083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018110612A Active JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7135466B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7318795B2 (en) * | 2020-02-26 | 2023-08-01 | 日本電信電話株式会社 | Display device, display method and display program for superimposing and displaying information on a mirror image |
| JP2021132869A (en) * | 2020-02-27 | 2021-09-13 | カシオ計算機株式会社 | Electronic device, control method of electronic device, and control program of electronic device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064423A (en) | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2013182062A (en) | 2012-02-29 | 2013-09-12 | Nikon Corp | Display device and projection device |
| JP2013246184A (en) | 2012-05-23 | 2013-12-09 | Sharp Corp | Display device |
| JP2014023127A (en) | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2014052512A (en) | 2012-09-07 | 2014-03-20 | Panasonic Corp | Mirror display device |
-
2018
- 2018-06-08 JP JP2018110612A patent/JP7135466B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064423A (en) | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2013182062A (en) | 2012-02-29 | 2013-09-12 | Nikon Corp | Display device and projection device |
| JP2013246184A (en) | 2012-05-23 | 2013-12-09 | Sharp Corp | Display device |
| JP2014023127A (en) | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2014052512A (en) | 2012-09-07 | 2014-03-20 | Panasonic Corp | Mirror display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019209065A (en) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7135472B2 (en) | Display control device, display control method and display control program | |
| JP7115458B2 (en) | ELECTRONIC DEVICE, METHOD OF OPERATING ELECTRONIC DEVICE, AND CONTROL PROGRAM FOR ELECTRONIC DEVICE | |
| JPWO2016076140A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2021132869A (en) | Electronic device, control method of electronic device, and control program of electronic device | |
| JP7135466B2 (en) | Display device, display method and display program | |
| US10242253B2 (en) | Detection apparatus, detection method, and computer program product | |
| US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
| JP2014064248A (en) | Image projection device and image projection method | |
| JP7230409B2 (en) | Determination device, determination method and determination program | |
| JP7139638B2 (en) | Notification device, notification method and notification program | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| KR20200107520A (en) | Smart mirror system and method for controlling smart mirror | |
| JP7415318B2 (en) | Image processing device, image processing method and program | |
| JP7225749B2 (en) | Notification device, notification method and program | |
| JP7238835B2 (en) | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD AND ELECTRONIC DEVICE CONTROL PROGRAM | |
| JP2020057153A (en) | Display control device, display control method and display control program | |
| JP7419720B2 (en) | Image processing device, image processing method, and image processing program | |
| US20240005612A1 (en) | Content transformations based on reflective object recognition | |
| JP2023057107A (en) | Notification device, notification method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7135466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |