JP5898702B2 - Mirror device, mirror device control method and control program - Google Patents

Mirror device, mirror device control method and control program Download PDF

Info

Publication number
JP5898702B2
JP5898702B2 JP2013554114A JP2013554114A JP5898702B2 JP 5898702 B2 JP5898702 B2 JP 5898702B2 JP 2013554114 A JP2013554114 A JP 2013554114A JP 2013554114 A JP2013554114 A JP 2013554114A JP 5898702 B2 JP5898702 B2 JP 5898702B2
Authority
JP
Japan
Prior art keywords
mirror
user
sensor
half mirror
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013554114A
Other languages
Japanese (ja)
Other versions
JPWO2013108363A1 (en
Inventor
寿之 猪子
寿之 猪子
康毅 斎藤
康毅 斎藤
加藤 哲朗
哲朗 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEAM LAB Inc
Original Assignee
TEAM LAB Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEAM LAB Inc filed Critical TEAM LAB Inc
Publication of JPWO2013108363A1 publication Critical patent/JPWO2013108363A1/en
Application granted granted Critical
Publication of JP5898702B2 publication Critical patent/JP5898702B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02Mirrors used as equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/16Advertising or display means not otherwise provided for using special optical effects involving the use of mirrors

Description

本発明は、ミラー装置、ミラー装置の制御方法及び制御プログラムに関し、特に、ユーザの動作に応じた映像効果の表示制御に関する。  The present invention relates to a mirror device, a mirror device control method, and a control program, and more particularly to display control of a video effect according to a user's operation.

人は化粧をする際、鏡に自身の顔を写した上で化粧道具を用いて化粧を行う。このように化粧に用いられる鏡に面白さを付加するための技術として、鏡としてハーフミラーを用い、背面側に表示させたい画像のフィルム及びフィルムを背面から照らす光源を配置することにより、背面に配置されたフィルムの画像が光源によって照らされてハーフミラーに映り込み、ハーフミラーの表面によって反射される自身の画像に合成されているように表示させる技術が提案されている(例えば、特許文献1参照)。  When applying makeup, people use their makeup tools to make up their faces in the mirror. In this way, as a technique for adding fun to the mirror used in makeup, a half mirror is used as the mirror, and the film of the image to be displayed on the back side and the light source that illuminates the film from the back side are arranged on the back A technique has been proposed in which an image of a placed film is illuminated by a light source, reflected on a half mirror, and displayed so as to be synthesized with its own image reflected by the surface of the half mirror (for example, Patent Document 1). reference).

鏡は光を反射するものであり、対向する方向に存在する物体の鏡像が表示されるのみであるため、鏡面に表示される画像はユーザの予想の範囲を出るものではない。これに対して、ユーザの動作に応じた映像効果が表示されれば、ユーザの予想に反して面白さを提供することができる。  Since the mirror reflects light and only displays a mirror image of an object existing in the opposite direction, the image displayed on the mirror surface does not leave the range expected by the user. On the other hand, if a video effect corresponding to the user's operation is displayed, it is possible to provide fun against the user's expectation.

尚、特許文献1に開示された技術は、予めセットされたフィルムを表示させるものであり、ユーザの動作に応じた映像効果を表示させるという本件発明とはその趣旨が異なる。即ち、変化のある映像効果を表示させることが可能な装置が望まれる。  The technique disclosed in Patent Document 1 displays a preset film, and is different from the present invention in which a video effect corresponding to a user's operation is displayed. That is, an apparatus capable of displaying a video effect with changes is desired.

本発明は、このような課題を解決するためになされたものであり、ユーザの動作に応じた映像効果を表示するミラー装置を提供することにある。  The present invention has been made to solve such problems, and it is an object of the present invention to provide a mirror device that displays a video effect according to a user's operation.

上記課題を解決するために、本発明の一態様は、入射する光の一部を反射すると共に一部を透過させるハーフミラーと、表示面が前記ハーフミラーの面に対向するように配置された表示装置と、前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサと、前記検知信号に応じて前記表示装置の表示を制御するコントローラとを含むミラー装置であって、前記コントローラは、前記センサの出力信号に基づいて前記ユーザが行動した位置に対応する前記表示装置の表示面上の位置を算出し、前記センサの出力信号に基づいて前記ユーザの行動を検知し、前記ユーザの行動を検知した場合に、算出した前記表示面上の位置に所定の映像パターンを表示させるように前記表示装置を制御することを特徴とする。  In order to solve the above problems, one embodiment of the present invention is arranged such that a half mirror that reflects part of incident light and transmits part of the incident light and a display surface face the surface of the half mirror. A mirror device, comprising: a display device; a sensor that outputs a detection signal according to a user's action facing the half mirror; and a controller that controls display of the display device according to the detection signal. Calculates the position on the display surface of the display device corresponding to the position where the user has acted based on the output signal of the sensor, detects the user's action based on the output signal of the sensor, and When the action is detected, the display device is controlled to display a predetermined video pattern at the calculated position on the display surface.

また、本発明の他の態様は、入射する光の一部を反射すると共に一部を透過させるハーフミラーと、表示面が前記ハーフミラーの面に対向するように配置された表示装置と、前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサとを含むミラー装置の制御方法であって、前記センサの出力信号に基づいて前記ユーザが行動した位置に対応する前記表示装置の表示面上の位置を算出し、前記センサの出力信号に基づいて前記ユーザの行動を検知し、前記ユーザの行動を検知した場合に、算出した前記表示面上の位置に所定の映像パターンを表示させるように前記表示装置を制御することを特徴とする。  According to another aspect of the present invention, there is provided a half mirror that reflects a part of incident light and transmits a part thereof, a display device that is arranged so that a display surface faces the surface of the half mirror, And a sensor that outputs a detection signal corresponding to the action of the user facing the half mirror, wherein the display device corresponds to a position where the user acts based on the output signal of the sensor. A position on the display surface is calculated, the user's action is detected based on the output signal of the sensor, and a predetermined video pattern is displayed at the calculated position on the display surface when the user's action is detected The display device is controlled so as to make it happen.

また、本発明の更に他の態様は、入射する光の一部を反射すると共に一部を透過させるハーフミラーと、表示面が前記ハーフミラーの面に対向するように配置された表示装置と、前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサとを含むミラー装置の制御プログラムであって、前記センサの出力信号に基づいて前記ユーザが行動した位置に対応する前記表示装置の表示面上の位置を算出するステップと、前記センサの出力信号に基づいて前記ユーザの行動を検知する捨てプと、前記ユーザの行動を検知した場合に、算出した前記表示面上の位置に所定の映像パターンを表示させるように前記表示装置を制御するステップとを情報処理装置に実行させることを特徴とする。  Still another aspect of the present invention provides a half mirror that reflects part of incident light and transmits part of the incident light, a display device that is arranged so that a display surface faces the surface of the half mirror, The display device corresponding to the position where the user acted based on the output signal of the sensor, the control program of the mirror device comprising a sensor that outputs a detection signal according to the behavior of the user facing the half mirror Calculating a position on the display surface, a discarding step for detecting the user's action based on an output signal of the sensor, and a position on the display surface when the user's action is detected. And causing the information processing apparatus to execute a step of controlling the display device so as to display a predetermined video pattern.

本発明によれば、ユーザの動作に応じた映像効果を表示するミラー装置を提供することができる。  ADVANTAGE OF THE INVENTION According to this invention, the mirror apparatus which displays the video effect according to a user's operation | movement can be provided.

本発明の実施形態に係るミラー装置システムの外観を示す図である。It is a figure which shows the external appearance of the mirror apparatus system which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の内部を模式的に示す図である。It is a figure which shows typically the inside of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の光学的な原理を示す図である。It is a figure which shows the optical principle of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の表示例を示す図である。It is a figure which shows the example of a display of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の機能構成を示す図である。It is a figure which shows the function structure of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の情報処理機能に係るハードウェア構成を示す図である。It is a figure which shows the hardware constitutions which concern on the information processing function of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るミラー装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the mirror apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るセンサの設置例を示す図である。It is a figure which shows the example of installation of the sensor which concerns on embodiment of this invention. 本発明の実施形態に係る位置計算方法を示す図である。It is a figure which shows the position calculation method which concerns on embodiment of this invention. 本発明の実施形態に係るセンサの設置例を示す図である。It is a figure which shows the example of installation of the sensor which concerns on embodiment of this invention. 本発明の他の実施形態に係る発信器の態様を示す図である。It is a figure which shows the aspect of the transmitter which concerns on other embodiment of this invention. 本発明の他の実施形態に係る発信器の態様を示す図である。It is a figure which shows the aspect of the transmitter which concerns on other embodiment of this invention. 本発明の他の実施形態に係るコントローラが記憶している情報を示す図である。It is a figure which shows the information which the controller concerning other embodiment of this invention has memorize | stored.

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、映像効果を表示可能なミラー装置と、ミラー装置に映像効果を表示させるための専用の化粧道具である発信器付きブラシとを含むエフェクトミラーシステムを例として説明する。  Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, an effect mirror system including a mirror device that can display a video effect and a brush with a transmitter that is a dedicated makeup tool for displaying the video effect on the mirror device will be described as an example.

図1は、本実施形態に係るシステムの全体を示す図である。図1に示すように、本実施形態に係るエフェクトミラーシステム1は、ミラー装置10及び発信器付きブラシ20を含む。ミラー装置10は図1に示すように箱型の筐体の前面にハーフミラー11が配置されて構成されている。発信器付きブラシ20は、本実施形態に係るミラー装置において映像効果を表示させるための専用の化粧道具であり、ミラー装置10は、発信器付きブラシ20の位置を検知することにより、検知した位置に応じてエフェクトを表示させる。  FIG. 1 is a diagram illustrating the entire system according to the present embodiment. As shown in FIG. 1, the effect mirror system 1 according to the present embodiment includes a mirror device 10 and a brush 20 with a transmitter. As shown in FIG. 1, the mirror device 10 is configured by arranging a half mirror 11 on the front surface of a box-shaped housing. The brush 20 with a transmitter is a dedicated makeup tool for displaying a video effect in the mirror device according to the present embodiment, and the mirror device 10 detects the position of the brush 20 with a transmitter by detecting the position. Display the effect according to.

ハーフミラー11は、半透過型の光学部品であり、入射する光の一部を反射すると共に一部を透過させる。このため、ハーフミラー11は、視認する面の背面側が暗ければミラーとして、背面側が明るければ透明の基板として機能する。図2は、ミラー装置10の内部を示す図である。図2に示すようにハーフミラー11が設けられた面の背面側は空洞になっており、内部には照明は設けられていない。そのため、ハーフミラー11は、ミラー装置10の外部から見ると普通の鏡として機能する。これにより、ユーザは、ハーフミラー11を鏡として用いて、発信器付きブラシ20により化粧をすることができる。  The half mirror 11 is a transflective optical component that reflects part of incident light and transmits part of it. For this reason, the half mirror 11 functions as a mirror if the back side of the surface to be viewed is dark, and functions as a transparent substrate if the back side is bright. FIG. 2 is a diagram showing the inside of the mirror device 10. As shown in FIG. 2, the back side of the surface on which the half mirror 11 is provided is hollow, and no illumination is provided inside. Therefore, the half mirror 11 functions as a normal mirror when viewed from the outside of the mirror device 10. Thereby, the user can make up with the brush 20 with a transmitter, using the half mirror 11 as a mirror.

そして、図2に示すように、ハーフミラー11の背面側には、LCD(Luiquid
Crystal Display)12が設けられている。LCD12は、その表示面がハーフミラー11の背面に対向するように配置されている表示装置である。このLCD12が、映像効果を表示する表示装置である。
As shown in FIG. 2, on the back side of the half mirror 11, there is an LCD (Luiquid).
(Crystal Display) 12 is provided. The LCD 12 is a display device arranged such that its display surface faces the back surface of the half mirror 11. The LCD 12 is a display device that displays video effects.

尚、ハーフミラー11を可能な限り通常の鏡と同様に機能させるため、LCD12以外のミラー装置10の筐体内部は、黒色のような明度の低い色とすることが好ましい。また、LCD12は、映像効果を表示する表示部分以外は黒色のような明度の低い色を表示していることが好ましい。また、本実施形態においては表示装置としてLCDを用いるが、有機EL(ElectroLuminescence)ディスプレイ等の他の表示装置でも良い。  In order to make the half mirror 11 function as much as a normal mirror as much as possible, it is preferable that the inside of the casing of the mirror device 10 other than the LCD 12 be a light color such as black. Further, it is preferable that the LCD 12 displays a low-lightness color such as black except for the display portion that displays the video effect. In this embodiment, an LCD is used as the display device, but other display devices such as an organic EL (Electro Luminescence) display may be used.

ここで、図3を参照して、本実施形態に係るミラー装置10の光学的な原理について説明する。図3は、ミラー装置10を側面から見た状態におけるハーフミラー11とLCD12との配置関係を示すと共に、光の一経路を破線で示す図である。図に示すように、ミラー装置10の外側からハーフミラー11に対向するユーザの顔で反射されてハーフミラー11に到達する光の一部はハーフミラー11によって反射され、ハーフミラー11にユーザの顔の鏡像が映る。 Here, with reference to FIG. 3, the optical principle of the mirror device 10 according to the present embodiment will be described. FIG. 3 is a diagram showing a positional relationship between the half mirror 11 and the LCD 12 in a state where the mirror device 10 is viewed from the side, and a path of light with a broken line. As shown in FIG. 3 , a part of the light that is reflected by the face of the user facing the half mirror 11 from the outside of the mirror device 10 and reaches the half mirror 11 is reflected by the half mirror 11. A mirror image of the face appears.

ミラー装置10の筐体内部は照明の無い暗い状態であるため、ハーフミラー11を外側から見た場合、ユーザが視認できるのはハーフミラー11の表面によって反射された光のみであり、結果的に、ハーフミラー11は普通の鏡として機能する。  Since the inside of the housing of the mirror device 10 is in a dark state without illumination, when the half mirror 11 is viewed from the outside, the user can only see the light reflected by the surface of the half mirror 11, and as a result The half mirror 11 functions as an ordinary mirror.

他方、LCD12に画像が表示された場合、その画像の光はハーフミラー11に裏側から到達する。この場合、LCD12に表示された画像の光の一部はハーフミラー11を透過し、ミラー装置10を外から視認しているユーザの目に到達する。これにより、ミラー装置10を外から視認しているユーザには、ハーフミラー11に映る自身の鏡像と、LCD12によって表示された画像とが合成されて視認される。  On the other hand, when an image is displayed on the LCD 12, the light of the image reaches the half mirror 11 from the back side. In this case, part of the light of the image displayed on the LCD 12 is transmitted through the half mirror 11 and reaches the eyes of the user viewing the mirror device 10 from the outside. As a result, the user who is viewing the mirror device 10 from the outside can visually recognize the mirror image of the mirror device 10 reflected on the half mirror 11 and the image displayed on the LCD 12.

本実施形態に係るミラー装置は、図3に示すような光学原理を利用し、ユーザが化粧をする際の発信器付きブラシ20の動きに応じた映像効果を表示させることにより、化粧をするユーザに面白さを提供することを可能とするものである。  The mirror device according to the present embodiment uses the optical principle as shown in FIG. 3, and displays a video effect according to the movement of the brush 20 with a transmitter when the user puts on makeup, thereby making the makeup user It is possible to provide fun to the user.

次に、図4(a)〜(c)を参照して、本実施形態に係る映像効果について説明する。図4(a)は、ハーフミラー11に映るユーザの鏡像のみを示す図である。図4(a)に示すように、ユーザが発信器付きブラシ20によって化粧をすると、ハーフミラー11には、発信器付きブラシ20によって化粧するユーザの鏡像が映る。 Next, the video effect according to the present embodiment will be described with reference to FIGS. FIG. 4A is a diagram showing only a mirror image of the user reflected on the half mirror 11. As shown in FIG. 4 (a), when the user of the cosmetic by transmitter brushed 20, the half mirror 11, a mirror image of the user that makeup the transmitter brushed 20 reflected.

これに対して、ミラー装置20は、発信器付きブラシ20の位置及び発信器付きブラシ20の動きを検知する機能を有し、動きを検知した場合、発信器付きブラシ20の位置に応じてLCD12に図4(b)に示すような映像効果を表示させる。図4(b)においては、発信器付きブラシ20の動きに合わせて星が流れるような映像パターンがエフェクトとして表示される例を示している。  On the other hand, the mirror device 20 has a function of detecting the position of the brush 20 with the transmitter and the movement of the brush 20 with the transmitter. When the movement is detected, the LCD 12 corresponds to the position of the brush 20 with the transmitter. The video effect as shown in FIG. 4B is displayed. FIG. 4B shows an example in which a video pattern in which a star flows in accordance with the movement of the brush 20 with a transmitter is displayed as an effect.

このような場合、図3において説明した光学原理により、ハーフミラー11を介してユーザに視認されるのは、図4(c)に示すような映像である。即ち、ハーフミラー11によって反射される自信の鏡像に、LCD12によって表示されたエフェクトが映りこみ、あたかも発信器付きブラシ20の動きに合わせて星が流れているような映像として視認される。このような映像効果を可能とすることが、本実施形態に係る要旨である。  In such a case, an image as shown in FIG. 4C is visually recognized by the user through the half mirror 11 according to the optical principle described in FIG. That is, the effect displayed by the LCD 12 is reflected in the mirror image of the confidence reflected by the half mirror 11, and it is visually recognized as if a star is flowing according to the movement of the brush 20 with the transmitter. The gist of the present embodiment is to enable such a video effect.

図4(c)に示すような映像の重ね合わせを容易に実現するため、ハーフミラー11の半透過部分の範囲と、LCD12の表示面の範囲とは、略同一の形状で構成されていると共に、夫々の面に垂直な方向においてぴったり重なるように配置されていることが好ましい。これにより、LCD12の表示面に表示された映像パターンは、そのままハーフミラー11の半透過面に移りこむため、複雑な位置合わせのための画像処理を行う必要が無くなる。  In order to easily realize the superposition of images as shown in FIG. 4C, the range of the semi-transmissive portion of the half mirror 11 and the range of the display surface of the LCD 12 are configured with substantially the same shape. It is preferable that they are arranged so as to overlap each other in a direction perpendicular to the respective surfaces. As a result, the video pattern displayed on the display surface of the LCD 12 is transferred to the semi-transmissive surface of the half mirror 11 as it is, so that it is not necessary to perform image processing for complicated alignment.

例えば、ユーザの顔をカメラで撮影した画像にエフェクトを合成し、表示装置に表示させることによっても、画面上の縦横の位置において、ユーザの顔の辺りにエフェクトを表示させることは可能である。しかしながら、この場合、表示されるエフェクトは画面の表面に表示されているようにしか視認されず、リアリティが無いものとなってしまう。  For example, the effect can be displayed around the user's face in the vertical and horizontal positions on the screen by combining the effect with an image obtained by photographing the user's face with the camera and displaying the effect on the display device. However, in this case, the displayed effect is visible only as it is displayed on the surface of the screen, and there is no reality.

これに対して、図3に示すように、ハーフミラー11とLCD12とは、所定の間隔分離れて配置されている。そのため、図4(c)に示すような合成された映像がユーザによって視認される際、映像効果はハーフミラー11の表面ではなく、その奥にあるように視認される。そのため、ハーフミラー11の縦横の位置だけではなく、奥行においても、鏡像として映る自身の顔の辺りにエフェクトが発生しているようにユーザに視認させることが可能となり、よりリアリティのあるエフェクトとしてユーザに視認させることが可能となる。  On the other hand, as shown in FIG. 3, the half mirror 11 and the LCD 12 are arranged with a predetermined separation. Therefore, when the synthesized image as shown in FIG. 4C is visually recognized by the user, the image effect is visually recognized not in the surface of the half mirror 11 but in the back thereof. Therefore, not only the vertical and horizontal positions of the half mirror 11 but also the depth, it is possible for the user to visually recognize that the effect is generated around his / her face reflected as a mirror image, and the user has a more realistic effect. Can be visually recognized.

従って、ハーフミラー11の背面に間隔を空けずにLCD12を配置することによっても、図4(c)に示すようなエフェクトが合成された表示は可能であるが、上述したようなリアリティのある映像効果を実現するため、ハーフミラー11とLCD12とは離間させて配置することが好ましい。  Therefore, even if the LCD 12 is arranged on the back surface of the half mirror 11 without a space, a display in which the effect as shown in FIG. 4C is synthesized is possible, but the above-described reality video is provided. In order to realize the effect, it is preferable that the half mirror 11 and the LCD 12 are arranged apart from each other.

次に、本実施形態に係るミラー装置10の機能構成について説明する。図5は、本実施形態に係るミラー装置10の機能構成を示すブロック図である。図5に示すように、図5に示すように、本実施形態に係るミラー装置10は、上述したハーフミラー11及びLCD12に加えて、発信器付きブラシ20の発信を検知して検知信号を出力するセンサ13と、センサ13による検知結果に応じてLCD12に表示させる映像効果を制御するコントローラ100を含む。  Next, a functional configuration of the mirror device 10 according to the present embodiment will be described. FIG. 5 is a block diagram showing a functional configuration of the mirror device 10 according to the present embodiment. As shown in FIG. 5, as shown in FIG. 5, the mirror device 10 according to this embodiment detects the transmission of the brush 20 with a transmitter in addition to the above-described half mirror 11 and LCD 12 and outputs a detection signal. And a controller 100 that controls the video effect displayed on the LCD 12 in accordance with the detection result of the sensor 13.

コントローラ100は、ソフトウェアとハードウェアとの組み合わせによって構成され、ミラー装置10を制御する。図5に示すようにコントローラ100は、センサ制御部101、位置計算部102、動き検知部103、表示制御部104及びLCD駆動部105を含む。  The controller 100 is configured by a combination of software and hardware, and controls the mirror device 10. As shown in FIG. 5, the controller 100 includes a sensor control unit 101, a position calculation unit 102, a motion detection unit 103, a display control unit 104, and an LCD drive unit 105.

センサ制御部101は、センサ13の検知信号を取得し、デジタル情報として位置計算部102に入力する。センサ13及びセンサ制御部101の具体例については後に詳述する。位置計算部102は、センサ制御部101から入力された情報(以降、「センサ情報」とする)に基づき、発信器付きブラシ20の位置を計算する。ここで計算する発信器付きブラシ20の位置とは、ハーフミラー11の面上における位置であり、LCD12の表示面における座標である。  The sensor control unit 101 acquires the detection signal of the sensor 13 and inputs it to the position calculation unit 102 as digital information. Specific examples of the sensor 13 and the sensor control unit 101 will be described in detail later. The position calculation unit 102 calculates the position of the brush 20 with a transmitter based on information input from the sensor control unit 101 (hereinafter referred to as “sensor information”). The position of the brush 20 with a transmitter calculated here is a position on the surface of the half mirror 11 and is a coordinate on the display surface of the LCD 12.

センサ制御部101は、所定間隔毎にセンサ13の検知信号を取得して位置計算部102にセンサ情報を入力する。そして、位置計算部102は、センサ情報が入力される度に発信器付きブラシ20の位置を計算し、計算結果をその都度動き検知部103に入力する。動き検知部103は、位置計算部102から所定間隔毎に入力される計算結果に基づき、発信器ブラシ20の動きを検知する。  The sensor control unit 101 acquires a detection signal of the sensor 13 at predetermined intervals and inputs sensor information to the position calculation unit 102. And the position calculation part 102 calculates the position of the brush 20 with a transmitter, whenever sensor information is input, and inputs a calculation result into the motion detection part 103 each time. The motion detection unit 103 detects the movement of the transmitter brush 20 based on the calculation result input at predetermined intervals from the position calculation unit 102.

図4(a)〜(c)において説明したような化粧の動作に応じたエフェクトの表示を可能とするためには、発信器付きブラシ20の位置を検知するのみでは足りず、化粧をすることにより発信器付きブラシ20が動いていることを検知する必要がある。動き検知部102は、連続して入力される計算結果、即ち発信器付きブラシ20の位置を比較し、位置の差異が所定の閾値を越えている場合に、発信器付きブラシ20の動きを検知する。  In order to display the effect according to the makeup operation as described in FIGS. 4A to 4C, it is not sufficient to detect the position of the brush 20 with the transmitter, and makeup is performed. Therefore, it is necessary to detect that the brush 20 with a transmitter is moving. The motion detection unit 102 compares the calculation results that are continuously input, that is, the position of the brush 20 with the transmitter, and detects the movement of the brush 20 with the transmitter when the position difference exceeds a predetermined threshold. To do.

動き検知部103は、発信器付きブラシ20の動きを検知すると、動きを検知したことを示す情報(以降、「動き検知情報」とする)及び発信器付きブラシ20の位置(以降、「検知位置情報」とする)を表示制御部104に入力する。表示制御部104は、動き検知部103から動き検知情報及び検知位置情報が入力されると、検知位置情報によって示される位置、即ちLCD12の表示面上の座標に、図4(b)に示すような映像パターンのエフェクトを表示させるための表示情報を生成し、その情報をLCD12に表示させるようにLCD駆動部105を制御する。  When the motion detection unit 103 detects the movement of the brush 20 with a transmitter, the motion detection unit 103 detects information about the motion (hereinafter referred to as “motion detection information”) and the position of the brush 20 with a transmitter (hereinafter “detection position”). Information ”) is input to the display control unit 104. When the motion detection information and the detection position information are input from the motion detection unit 103, the display control unit 104 displays the position indicated by the detection position information, that is, the coordinates on the display surface of the LCD 12, as shown in FIG. Display information for displaying a video pattern effect is generated, and the LCD drive unit 105 is controlled to display the information on the LCD 12.

尚、表示制御部104は、上述したようにハーフミラー11を通常の鏡と同様に機能させるため、平時は黒色のような明度の低い色をLCD12に表示させるようにLCD駆動部105を制御すると共に、エフェクトを表示させる際にも、その表示部分以外の部分は黒色のような明度の低い色を表示させるようにLCD駆動部105を駆動する。  Note that the display control unit 104 controls the LCD driving unit 105 so that the LCD 12 displays a low-brightness color such as black during normal times so that the half mirror 11 functions in the same manner as a normal mirror as described above. At the same time, when the effect is displayed, the LCD drive unit 105 is driven so that a portion other than the display portion displays a low-lightness color such as black.

LCD駆動部105は、LCD12を駆動するドライバであり、表示制御部104の制御に従ってLCD12に図4(b)に示すようなエフェクトを表示させる。このような制御により、図4(b)に示すようなエフェクトがLCD12に表示され、図4(c)に示すようなハーフミラー11の表示を得ることができる。  The LCD drive unit 105 is a driver that drives the LCD 12 and displays an effect as shown in FIG. 4B on the LCD 12 according to the control of the display control unit 104. By such control, the effect as shown in FIG. 4B is displayed on the LCD 12, and the display of the half mirror 11 as shown in FIG. 4C can be obtained.

図5に示すコントローラ100の機能は、上述したようにソフトウェアとハードウェアとの組み合わせによって実現される。図6を参照して、コントローラ100を構成するハードウェアの構成について説明する。  The functions of the controller 100 shown in FIG. 5 are realized by a combination of software and hardware as described above. With reference to FIG. 6, the hardware configuration of the controller 100 will be described.

図6に示すように、本実施形態に係るミラー装置10のコントローラ100は、一般的なサーバやPC(Personal Computer)等と同様の構成を含む。即ち、本実施形態に係るコントローラ100は、CPU(Central Processing Unit)110、RAM(Random Access Memory)120、ROM(Read Only Memory)130、HDD(Hard Disk Drive)140及びI/F150がバス160を介して接続されている。  As shown in FIG. 6, the controller 100 of the mirror device 10 according to the present embodiment includes the same configuration as a general server, a PC (Personal Computer), or the like. That is, in the controller 100 according to the present embodiment, a CPU (Central Processing Unit) 110, a RAM (Random Access Memory) 120, a ROM (Read Only Memory) 130, an HDD (Hard Disk Drive) 140, and an I / F 150 are connected to the bus 160. Connected through.

CPU110は演算手段であり、コントローラ100全体の動作を制御する。RAM120は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、CPU110が情報を処理する際の作業領域として用いられる。ROM130は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。  The CPU 110 is a calculation unit and controls the operation of the entire controller 100. The RAM 120 is a volatile storage medium capable of reading and writing information at high speed, and is used as a work area when the CPU 110 processes information. The ROM 130 is a read-only nonvolatile storage medium, and stores programs such as firmware.

HDD140は、情報の読み書きが可能な不揮発性の記憶媒体であり、OS(Operating System)や各種の制御プログラム、アプリケーション・プログラム等が格納される。I/F150は、バス160と各種のハードウェアやネットワーク等を接続し制御する。ミラー装置10においては、LCD12及びセンサ13が、I/F150を介して接続されている。  The HDD 140 is a non-volatile storage medium that can read and write information, and stores an OS (Operating System), various control programs, application programs, and the like. The I / F 150 connects and controls the bus 160 and various hardware and networks. In the mirror device 10, the LCD 12 and the sensor 13 are connected via an I / F 150.

このようなハードウェア構成において、ROM130やHDD140若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがRAM120に読み出され、CPU110がそれらのプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るコントローラ100の機能を実現する機能ブロックが構成される。  In such a hardware configuration, a program stored in a storage medium such as the ROM 130, the HDD 140, or an optical disk (not shown) is read into the RAM 120, and the CPU 110 performs calculations according to those programs, thereby configuring the software control unit. The A functional block that realizes the function of the controller 100 according to the present embodiment is configured by a combination of the software control unit configured as described above and hardware.

次に、本実施形態に係るコントローラ100の動作について、図7を参照して説明する。図7に示すように、コントローラ100が動作を開始すると、センサ制御部101がセンサ13の出力の取得を開始する(S701)。センサ制御部101を介してセンサ情報を取得した位置計算部102は、センサ情報に基づいて発信器付きブラシ20の位置を計算し(S702)、計算結果を動き検知部103に入力する。  Next, the operation of the controller 100 according to the present embodiment will be described with reference to FIG. As shown in FIG. 7, when the controller 100 starts operation, the sensor control unit 101 starts acquiring the output of the sensor 13 (S701). The position calculation unit 102 that has acquired the sensor information via the sensor control unit 101 calculates the position of the brush 20 with a transmitter based on the sensor information (S702), and inputs the calculation result to the motion detection unit 103.

動き検知部103は、連続して入力される計算結果を比較し、発信器付きブラシ20の位置の差異と所定の閾値との比較を行うことにより、発信器付きブラシ20の動きを検知する(S703)。発信器付きブラシの20の動きが検知されなければ(S703/NO)、コントローラ100は、S701からS703の処理を繰り返す。S703の処理は、換言すれば、ハーフミラー11に対向するユーザの行動を検知する処理である。  The motion detection unit 103 detects the motion of the brush 20 with the transmitter by comparing the calculation results that are continuously input and comparing the difference in position of the brush 20 with the transmitter with a predetermined threshold value ( S703). If the movement of the brush with the transmitter 20 is not detected (S703 / NO), the controller 100 repeats the processing from S701 to S703. In other words, the process of S703 is a process of detecting the action of the user facing the half mirror 11.

発信器付きブラシ20の動きが検知された場合(S703/YES)、動き検知部103は、動き検知情報及び検知位置情報を表示制御部104に入力する。これにより、表示制御部104は、図4(b)に示すようなエフェクトを、検知位置情報によって示されるLCD12の画面上の座標に表示させるための表示情報を生成し(S704)、LCD駆動部105を制御してLCD12の表示を制御する(S705)。  When the movement of the brush 20 with the transmitter is detected (S703 / YES), the motion detection unit 103 inputs the motion detection information and the detection position information to the display control unit 104. Thereby, the display control unit 104 generates display information for displaying the effect as shown in FIG. 4B on the coordinates on the screen of the LCD 12 indicated by the detected position information (S704), and the LCD driving unit 105 is controlled to control the display on the LCD 12 (S705).

コントローラ100は、図7に示すような動作を繰り返すことにより、ユーザが化粧をしている間、化粧の動きに応じた発信器付きブラシ20の動きに応じて、図4(c)に示すようなエフェクトを発生させ、化粧をするユーザに面白さを提供することを可能とする。  As shown in FIG. 4C, the controller 100 repeats the operation as shown in FIG. 7 so that the brush 20 with the transmitter 20 moves according to the movement of the makeup while the user is doing makeup. It is possible to generate interesting effects and provide fun to users who make up.

次に、センサ13とセンサ制御部101の具体例について説明する。図8は、三点測位を用いる場合の例を示す図である。図8の例の場合、発信器付きブラシ20には発信器21が埋め込まれている。そして、ハーフミラー11の4点の角のうち少なくとも3点に、発信器21が発する電波を検知するセンサ13a〜13が設けられている。 Next, specific examples of the sensor 13 and the sensor control unit 101 will be described. FIG. 8 is a diagram illustrating an example in the case of using three-point positioning. In the case of the example in FIG. 8, a transmitter 21 is embedded in the brush 20 with a transmitter. Sensors 13 a to 13 c that detect radio waves emitted from the transmitter 21 are provided at at least three of the four corners of the half mirror 11.

このように配置されたセンサ13a〜13cによって発信器21が発信する電波を検知すると、センサ13a〜13cは、発信器21との距離に応じた強度の信号を出力する。そして、センサ制御部101が、センサ13a〜13cから夫々出力された強度の異なる信号を取得し、位置計算部102が、三点測位の原理により発信器21の位置を計算することによって、図9に示すように、発信機付きブラシ20の空間上の位置をハーフミラー11の面に垂直な方向に射影した位置を算出することができる。  When the radio waves transmitted from the transmitter 21 are detected by the sensors 13 a to 13 c arranged in this way, the sensors 13 a to 13 c output signals having an intensity corresponding to the distance from the transmitter 21. Then, the sensor control unit 101 acquires signals with different intensities output from the sensors 13a to 13c, respectively, and the position calculation unit 102 calculates the position of the transmitter 21 based on the principle of three-point positioning. As shown in FIG. 4, the position obtained by projecting the position in the space of the brush 20 with the transmitter in the direction perpendicular to the surface of the half mirror 11 can be calculated.

発信器21及びセンサ13a〜13cとしては、電磁波の発信及び検知機構であれば様々な形式のものを用いることが可能であり、例えば、RFID(Radio Frequency IDentification)等を用いることができる。尚、本実施形態においては、ブラシを化粧道具の例とし、発信機付きブラシ20の位置を検知する場合について説明しているが、ブラシに限らず、口紅、筆、ビューラー等、発信器21が埋め込まれた化粧道具であれば同様に実現可能である。  As the transmitter 21 and the sensors 13a to 13c, various types of electromagnetic wave transmission and detection mechanisms can be used, and for example, RFID (Radio Frequency IDentification) or the like can be used. In the present embodiment, a brush is used as an example of a makeup tool, and the case where the position of the brush 20 with a transmitter is detected has been described. However, the transmitter 21 is not limited to a brush, such as a lipstick, a brush, or a buller. An embedded makeup tool can be realized as well.

また、電磁波に限らず、超音波の発信及び検知機構を用いることも可能である。この場合、センサ制御部101は、センサ13a〜13c夫々が超音波を検知したタイミングを示す情報をセンサ情報として位置計算部102に入力する。そして、位置計算部102は、上記と同様に三点測位の原理により、センサ13a〜13c夫々における超音波の検知タイミングの違いに応じて発信器付きブラシ20の位置を計算する。  Further, not only electromagnetic waves but also ultrasonic transmission and detection mechanisms can be used. In this case, the sensor control unit 101 inputs information indicating the timing at which each of the sensors 13a to 13c detects the ultrasonic wave to the position calculation unit 102 as sensor information. And the position calculation part 102 calculates the position of the brush 20 with a transmitter according to the difference in the detection timing of the ultrasonic wave in each sensor 13a-13c by the principle of three-point positioning similarly to the above.

図10は、センサ13による発信器付きブラシ20の検知機構として、画像処理を用いる場合の例を示す図である。図10の例の場合、発信器付きブラシ20を用いる必要はなく、普通の化粧ブラシ等の化粧道具を用いることができる。但し、ミラー装置10において用いる化粧道具の画像は位置情報計算部102に予め記憶させておく必要がある。  FIG. 10 is a diagram illustrating an example in which image processing is used as a detection mechanism of the brush 20 with a transmitter by the sensor 13. In the case of the example in FIG. 10, it is not necessary to use the brush 20 with a transmitter, and a makeup tool such as an ordinary makeup brush can be used. However, the image of the makeup tool used in the mirror device 10 needs to be stored in the position information calculation unit 102 in advance.

図10の例に係るミラー装置10においては、ハーフミラー11とLCD12との間の空間に、カメラ13が設置されている。カメラ13は、ハーフミラー11前方の画像(以降、「前方画像」とする)を撮像して所定のフレームレートで出力する撮像装置である。これにより、センサ制御部101は、所定のフレームレートでハーフミラー11前方の画像を取得し、位置計算部102に入力する。  In the mirror device 10 according to the example of FIG. 10, a camera 13 is installed in a space between the half mirror 11 and the LCD 12. The camera 13 is an imaging device that captures an image in front of the half mirror 11 (hereinafter referred to as “front image”) and outputs the image at a predetermined frame rate. Thereby, the sensor control unit 101 acquires an image in front of the half mirror 11 at a predetermined frame rate and inputs the acquired image to the position calculation unit 102.

尚、カメラ13によって撮像される範囲は、ハーフミラー11の半透過面の範囲と位置合わせされていることが好ましい。これにより、カメラ13によって撮像された画像に基づいて検知された位置は、ハーフミラー11の半透過面上における位置に対応したものとなる。そして、上述したように、ハーフミラー11の半透過面の範囲とLCD12の表示面の範囲とは位置合わせされているため、カメラ13によって撮像された画像に基づいて検知された位置に従ってLCD12の表示面上に映像パターンを表示させることにより、ハーフミラー11の半透過面上における好適な位置に映像パターンを表示させることが可能となる。  The range imaged by the camera 13 is preferably aligned with the range of the semi-transmissive surface of the half mirror 11. Thereby, the position detected based on the image picked up by the camera 13 corresponds to the position on the semi-transmissive surface of the half mirror 11. As described above, since the range of the semi-transmissive surface of the half mirror 11 and the range of the display surface of the LCD 12 are aligned, the display on the LCD 12 is performed according to the position detected based on the image captured by the camera 13. By displaying the video pattern on the surface, the video pattern can be displayed at a suitable position on the semi-transmissive surface of the half mirror 11.

位置計算部102は、センサ制御部101から前方画像を取得すると、上述したように予め記憶している化粧道具の画像に基づいて前方画像内の画像検索を行い、予め画像が登録された化粧道具が前方画像内に含まれるか否か判断する。この画像検索処理においては、既存の画像検索技術を用いることができる。  When the position calculation unit 102 obtains the front image from the sensor control unit 101, the position calculation unit 102 searches for the image in the front image based on the image of the makeup tool stored in advance as described above, and the makeup tool in which the image is registered in advance. Is included in the front image. In this image search process, an existing image search technique can be used.

位置計算部102は、所定のフレームレートで入力される前方画像毎に上述した画像検索を行い、予め登録された化粧道具が前方画像から抽出された場合、その化粧道具が抽出された前方画像上の位置、即ち座標を動き検知部103に入力する。これにより、上記と同様に位置検知及び動き検知が可能となる。  The position calculation unit 102 performs the above-described image search for each front image input at a predetermined frame rate. When a pre-registered makeup tool is extracted from the front image, the position calculation unit 102 extracts the makeup tool on the extracted front image. Is input to the motion detection unit 103. Thereby, position detection and motion detection can be performed in the same manner as described above.

以上説明したように、本実施形態に係るミラー装置10によれば、ユーザがミラー装置10を鏡として利用して化粧をする際に、化粧の動きに応じた映像効果を鏡像に重ねてユーザに視認させることが可能となり、ユーザの動作に応じた映像効果を表示するミラー装置を提供することができる。  As described above, according to the mirror device 10 according to the present embodiment, when the user performs makeup using the mirror device 10 as a mirror, the video effect corresponding to the movement of the makeup is superimposed on the mirror image to the user. It is possible to provide a mirror device that can be visually recognized and displays a video effect according to the user's operation.

尚、上記実施形態においては、発信器付きブラシ20を用いる際に、図8に示すように発信器21が埋め込まれたブラシを用いる場合を例として説明した。この場合、ユーザが日頃から利用している化粧道具を利用することができない。このような課題は、図11に示すように、発信器21が埋め込まれたカバー22を、通常の化粧ブラシに被せることにより解決することが可能である。  In addition, in the said embodiment, when using the brush 20 with a transmitter, the case where the brush with which the transmitter 21 was embedded as shown in FIG. 8 was used was demonstrated as an example. In this case, the user cannot use the makeup tool that the user uses regularly. As shown in FIG. 11, such a problem can be solved by covering a cover 22 in which the transmitter 21 is embedded with a normal makeup brush.

また、上記実施形態においては、動き検知部103が、化粧道具の動きを検知することにより、映像効果の表示タイミングを判断することを例として説明した。この他、映像効果の表示タイミングとして、様々な要因を用いることができる。例えば、ブラシを用いて化粧をする際、ユーザは一定のパターンに従ってブラシを動かすことが考えられる。従って、ブラシ側にモーションセンサや、加速度センサを搭載し、このパターンを検知した場合に検知信号を出力することにより、コントローラ100において映像効果の表示タイミングを判断することが可能となる。位置の検知においては上記実施形態と同様である。  Moreover, in the said embodiment, it demonstrated as an example that the motion detection part 103 judges the display timing of a video effect by detecting the motion of a makeup | decoration tool. In addition, various factors can be used as the display timing of the video effect. For example, when applying makeup using a brush, the user may move the brush according to a certain pattern. Therefore, it is possible to determine the display timing of the video effect in the controller 100 by mounting a motion sensor or acceleration sensor on the brush side and outputting a detection signal when this pattern is detected. The position detection is the same as in the above embodiment.

また、ブラシを用いて化粧をする際、ブラシが顔に接触することによってブラシの毛の部分とブラシの柄の部分との間には圧力がかかることが考えられる。従って、図12に示すように、ブラシの毛の部分と柄の部分との間の圧力を検知する圧力センサ23をブラシ側に持たせ、圧力が検知された場合に検知信号を出力することにより、コントローラ100において映像効果の表示タイミングを判断することが可能となる。位置の検知においては上記実施形態と同様である。  In addition, when applying makeup using a brush, it is conceivable that pressure is applied between the hair portion of the brush and the handle portion of the brush when the brush contacts the face. Therefore, as shown in FIG. 12, the pressure sensor 23 for detecting the pressure between the bristle portion and the handle portion of the brush is provided on the brush side, and a detection signal is output when the pressure is detected. The controller 100 can determine the display timing of the video effect. The position detection is the same as in the above embodiment.

また、上述したように、化粧道具としては、ブラシに限らず様々なものを用いることが可能である。従って、化粧道具の種類に応じて映像効果の内容を変えることにより、よりユーザにとって楽しみのある映像効果を提供することが可能となる。このような態様は、例えば発信器21が発信する電磁波の周波数を化粧道具の種類毎に異なるものとし、コントローラ100において、電磁波の周波数に応じて映像効果の内容を変えることにより実現可能である。  As described above, various makeup tools can be used as well as the brush. Therefore, by changing the content of the video effect according to the type of makeup tool, it is possible to provide a video effect that is more enjoyable for the user. Such an aspect can be realized, for example, by changing the frequency of the electromagnetic wave transmitted from the transmitter 21 for each type of makeup tool and changing the content of the video effect in the controller 100 according to the frequency of the electromagnetic wave.

また、発信器21及びセンサ13の機構としてとしてRFIDを用いる場合には、発信器21となるIC(Integrated Circuit)タグ内に格納されるID情報を化粧道具の種類毎に変えることにより、コントローラ100においては、ID情報に基づいて映像効果の内容を判断することが可能となる。  When RFID is used as the mechanism of the transmitter 21 and the sensor 13, the controller 100 changes the ID information stored in an IC (Integrated Circuit) tag serving as the transmitter 21 for each type of makeup tool. In, it is possible to determine the content of the video effect based on the ID information.

また、図10において説明したように画像検索を用いる場合には、位置検知部102は夫々の化粧道具毎に画像を記憶しているため、コントローラ100においては、画像検索により抽出された画像に応じて、映像効果の内容を判断することが可能である。  Further, when image search is used as described in FIG. 10, the position detection unit 102 stores an image for each makeup tool, and therefore the controller 100 responds to the image extracted by the image search. Thus, it is possible to determine the content of the video effect.

また、上記実施形態においては、ミラー装置10を用いて化粧をするユーザに対して映像効果を視認させる場合を例として説明したが、これは一例であり、ミラー装置10を鏡として用いるユーザに対して映像効果を表示させる場合であれば同様に用いることが可能である。即ち、本実施形態に係る要旨は、センサ13の検知信号に基づいてユーザの行動を検知し、ユーザの行動が検知された位置に対応するLCD12の画面上の位置に映像効果を表示させることにより、ハーフミラーによって反射されるユーザの鏡像とLCD12によって表示される映像効果とを重ねてユーザに視認させることにある。  Moreover, in the said embodiment, although the case where the image effect was visually recognized with respect to the user who makes up using the mirror apparatus 10 was demonstrated as an example, this is an example and it is with respect to the user who uses the mirror apparatus 10 as a mirror. In the case where the video effect is displayed, it can be used similarly. That is, the gist of the present embodiment is that the user's action is detected based on the detection signal of the sensor 13 and the video effect is displayed at a position on the screen of the LCD 12 corresponding to the position where the user's action is detected. In other words, the mirror image of the user reflected by the half mirror and the video effect displayed by the LCD 12 are overlapped to make the user visually recognize.

例えば、図10において説明したカメラを用いる態様により、ハーフミラー11に対向するユーザの顔認識を行い、更に認識された顔の画像の目の部分を所定のフレームレートで比較することにより、コントローラ100は、ユーザが目をつぶったことを検知することができる。そして、コントローラ100は、ユーザが目をつぶった後、短期間で再び目を開けたことを検知した場合、ユーザがウィンクをしたと判断して、ユーザの目の位置に映像効果を表示させることにより、ユーザを楽しませるような映像の表示を行うことができる。  For example, by using the camera described with reference to FIG. 10, the face of the user facing the half mirror 11 is recognized, and the eyes of the recognized face images are compared at a predetermined frame rate. Can detect that the user has closed his eyes. When the controller 100 detects that the user has opened his eyes again in a short period of time after closing his eyes, the controller 100 determines that the user has winked and displays the video effect at the position of the user's eyes. Thus, it is possible to display an image that will entertain the user.

また、センサ13、センサ制御部101、位置計算部102及び動き検知部103によって構成される検知機能として、ハーフミラー11に対向するユーザの動きを検知するモーションセンサ機能を持たせることにより、例えばユーザが所定の振り付けを行った場合に、所定の映像効果が表示されるようにLCD12の表示を制御することが可能となる。  In addition, as a detection function configured by the sensor 13, the sensor control unit 101, the position calculation unit 102, and the motion detection unit 103, by providing a motion sensor function for detecting the movement of the user facing the half mirror 11, for example, a user When a predetermined choreography is performed, the display on the LCD 12 can be controlled so that a predetermined video effect is displayed.

このような態様は、例えば、動き検知部103が、図13に示すように、モーションセンサ機能によって検知される振付を識別するモーションIDと、LCD12に表示させるべき映像効果を識別するエフェクトIDとを関連付けて記憶しており、上述したモーションセンサ機能によって検知された振付に関連付けられた映像効果のエフェクトID及びユーザが検知された位置の情報を表示制御部104に通知することによって可能となる。  In such an aspect, for example, as shown in FIG. 13, the motion detection unit 103 includes a motion ID for identifying choreography detected by the motion sensor function and an effect ID for identifying a video effect to be displayed on the LCD 12. It is made possible by notifying the display control unit 104 of the effect ID of the video effect associated with the choreography detected by the motion sensor function and the information on the position where the user is detected.

上述したモーションセンサの機能は、ハーフミラー11の前方の範囲を検知可能な赤外線センサをセンサ13として用いると共に、赤外線センサ13によって取得された情報を時系列に解析する機能を位置計算部102及び動き検知部103に搭載することによって可能である。また、ハーフミラー11に対向するユーザの体の各部に発信器を装着し、夫々の発信器の発信する信号に基づいて、図8、9と同様の態様により夫々の発信器の位置を時系列に計算することによっても可能である。  The function of the motion sensor described above uses an infrared sensor that can detect the range in front of the half mirror 11 as the sensor 13, and functions to analyze the information acquired by the infrared sensor 13 in time series with the position calculator 102 and the motion This is possible by mounting on the detection unit 103. Further, a transmitter is attached to each part of the user's body facing the half mirror 11, and the position of each transmitter is time-sequentially in the same manner as in FIGS. 8 and 9 based on the signal transmitted by each transmitter. It is also possible to calculate by

このような場合、センサ13は、ハーフミラー11に対向するユーザの行動に応じた検知信号を出力するセンサとなる。尚、発信器付きブラシ20を検知する場合であっても、ユーザの行動に応じた検知信号を出力することに変わりはない。  In such a case, the sensor 13 is a sensor that outputs a detection signal corresponding to the action of the user facing the half mirror 11. In addition, even if it is a case where the brush 20 with a transmitter is detected, it does not change in outputting the detection signal according to a user's action.

1 エフェクトミラーシステム
10 ミラー装置
11 ハーフミラー
12 LCD
13、13a、13b、13c センサ
20 発信器付きブラシ
21 発信器
22 カバー
23 圧力センサ
110 CPU
120 RAM
130 ROM
140 HDD
150 I/F
160 バス
100 コントローラ
101 センサ制御部
102 位置計算部
103 動き検知部
104 表示制御部
105 LCD駆動部
1 effect mirror system 10 mirror device 11 half mirror 12 LCD
13, 13a, 13b, 13c Sensor 20 Brush with transmitter 21 Transmitter 22 Cover 23 Pressure sensor 110 CPU
120 RAM
130 ROM
140 HDD
150 I / F
160 Bus 100 Controller 101 Sensor Control Unit 102 Position Calculation Unit 103 Motion Detection Unit 104 Display Control Unit 105 LCD Drive Unit

特開2011−83570号公報JP 2011-83570 A

Claims (10)

入射する光の一部を反射すると共に一部を透過させるハーフミラーと、
表示面が前記ハーフミラーの面に対向するように配置された表示装置と、
前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサと、
前記検知信号に応じて前記表示装置の表示を制御するコントローラとを含み、
前記コントローラは、
前記センサの出力信号に基づいて前記ユーザが手にしている器具の位置に対応する前記表示装置の表示面上の位置を算出し、
前記センサの出力信号の経時的な変化に基づいて前記ユーザが手にしている器具の動きを検知し、
前記ユーザが手にしている器具の動きを検知した場合に、算出した前記表示面上の位置に前記ユーザが手にしている器具の動きに応じた所定の映像パターンを表示させるように前記表示装置を制御することを特徴とするミラー装置。
A half mirror that reflects part of the incident light and transmits part of it;
A display device disposed such that a display surface faces the surface of the half mirror;
A sensor that outputs a detection signal according to the action of the user facing the half mirror;
A controller for controlling display of the display device in response to the detection signal,
The controller is
Calculate the position on the display surface of the display device corresponding to the position of the instrument that the user is holding based on the output signal of the sensor,
Detecting the movement of the instrument held by the user based on the change in the output signal of the sensor over time;
The display device displays a predetermined video pattern corresponding to the movement of the appliance held by the user at the calculated position on the display surface when the movement of the appliance held by the user is detected. A mirror device characterized by controlling the mirror.
前記ハーフミラーと前記表示装置とが離間して配置されていることを特徴とする請求項1に記載のミラー装置。   The mirror device according to claim 1, wherein the half mirror and the display device are spaced apart from each other. 前記ハーフミラーと前記表示装置の間の空間における前記ミラー装置の筐体の内壁は、黒色及びそれに準ずる明度の色であることを特徴とする請求項2に記載のミラー装置。   3. The mirror device according to claim 2, wherein an inner wall of a housing of the mirror device in a space between the half mirror and the display device is black and has a lightness color equivalent thereto. 前記コントローラは、前記所定の映像パターンを表示させる前記表示装置の表示面の範囲以外の範囲に黒色及びそれに準ずる明度の色を表示させるように前記表示装置を制御することを特徴とする請求項1乃至3いずれか1項に記載のミラー装置。   2. The controller according to claim 1, wherein the controller controls the display device to display black and a color having a lightness equivalent thereto in a range other than a range of a display surface of the display device that displays the predetermined video pattern. 4. The mirror device according to any one of items 3 to 3. 前記コントローラは、前記ユーザが手にしている器具の種類に応じて、前記所定の映像パターンの内容を変えて表示させることを特徴とする請求項1乃至4いずれか1項に記載のミラー装置。 5. The mirror device according to claim 1, wherein the controller changes and displays the content of the predetermined video pattern in accordance with the type of instrument that the user is holding. 6. 前記センサは、前記器具に搭載された発信器の発信を検知することにより前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力し、
前記コントローラは、前記センサの出力信号に基づいて前記器具の位置を求めることにより、前記ユーザが手にしている器具の位置に対応する前記表示装置の表示面上の位置を算出することを特徴とする、請求項5に記載のミラー装置。
The sensor outputs a detection signal corresponding to the action of the user facing the half mirror by detecting the transmission of a transmitter mounted on the instrument,
The controller calculates a position on the display surface of the display device corresponding to the position of the instrument held by the user by obtaining the position of the instrument based on an output signal of the sensor. The mirror device according to claim 5.
前記センサは、前記ミラー装置において異なる位置に複数配置されており、
前記コントローラは、前記複数のセンサ夫々によって出力される検知信号に基づいて計算を行うことにより、前記器具の位置を求めることを特徴とする請求項6に記載のミラー装置。
A plurality of the sensors are arranged at different positions in the mirror device,
The mirror device according to claim 6, wherein the controller obtains a position of the instrument by performing a calculation based on detection signals output by the plurality of sensors.
前記センサは、前記ハーフミラーに対向する範囲を撮像した画像信号を前記検知信号として出力する撮像装置であり、
前記コントローラは、予め記憶された前記器具の画像を前記センサが出力する画像信号に応じた画像情報から抽出することによって前記ユーザが手にしている器具の位置に対応する前記表示装置の表示面上の位置を算出すると共に、前記器具の動きを検知することを特徴とする請求項5に記載のミラー装置。
The sensor is an imaging device that outputs an image signal obtained by imaging a range facing the half mirror as the detection signal,
The controller extracts an image of the instrument stored in advance from image information corresponding to an image signal output from the sensor, thereby corresponding to the position of the instrument held by the user on the display surface of the display device. The mirror device according to claim 5, wherein the position of the mirror is calculated and the movement of the instrument is detected.
入射する光の一部を反射すると共に一部を透過させるハーフミラーと、
表示面が前記ハーフミラーの面に対向するように配置された表示装置と、
前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサとを含むミラー装置の制御方法であって、
前記センサの出力信号に基づいて前記ユーザが手にしている器具の位置に対応する前記表示装置の表示面上の位置を算出し、
前記センサの出力信号の経時的な変化に基づいて前記ユーザが手にしている器具の動きを検知し、
前記ユーザが手にしている器具の動きを検知した場合に、算出した前記表示面上の位置に前記ユーザが手にしている器具の動きに応じた所定の映像パターンを表示させるように前記表示装置を制御することを特徴とするミラー装置の制御方法。
A half mirror that reflects part of the incident light and transmits part of it;
A display device disposed such that a display surface faces the surface of the half mirror;
A control method of a mirror device including a sensor that outputs a detection signal according to a behavior of a user facing the half mirror,
Calculate the position on the display surface of the display device corresponding to the position of the instrument that the user is holding based on the output signal of the sensor,
Detecting the movement of the instrument held by the user based on the change in the output signal of the sensor over time;
The display device displays a predetermined video pattern corresponding to the movement of the appliance held by the user at the calculated position on the display surface when the movement of the appliance held by the user is detected. A control method for a mirror device, characterized in that
入射する光の一部を反射すると共に一部を透過させるハーフミラーと、
表示面が前記ハーフミラーの面に対向するように配置された表示装置と、
前記ハーフミラーに対向するユーザの行動に応じた検知信号を出力するセンサとを含むミラー装置の制御プログラムであって、
前記センサの出力信号に基づいて前記ユーザが手にしている器具の位置に対応する前記表示装置の表示面上の位置を算出するステップと、
前記センサの出力信号の経時的な変化に基づいて前記ユーザが手にしている器具の動きを検知するステップと、
前記ユーザが手にしている器具の動きを検知した場合に、算出した前記表示面上の位置に前記ユーザが手にしている器具の動きに応じた所定の映像パターンを表示させるように前記表示装置を制御するステップとを情報処理装置に実行させることを特徴とするミラー装置の制御プログラム。
A half mirror that reflects part of the incident light and transmits part of it;
A display device disposed such that a display surface faces the surface of the half mirror;
A control program for a mirror device including a sensor that outputs a detection signal according to the action of a user facing the half mirror,
Calculating a position on the display surface of the display device corresponding to the position of the instrument held by the user based on the output signal of the sensor;
Detecting movement of an instrument held by the user based on a change in output signal of the sensor over time;
The display device displays a predetermined video pattern corresponding to the movement of the appliance held by the user at the calculated position on the display surface when the movement of the appliance held by the user is detected. A control program for a mirror device, characterized by causing an information processing device to execute the step of controlling the mirror.
JP2013554114A 2012-01-17 2012-01-17 Mirror device, mirror device control method and control program Active JP5898702B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/050838 WO2013108363A1 (en) 2012-01-17 2012-01-17 Mirror device, method for controlling mirror device, and control program

Publications (2)

Publication Number Publication Date
JPWO2013108363A1 JPWO2013108363A1 (en) 2015-05-11
JP5898702B2 true JP5898702B2 (en) 2016-04-06

Family

ID=48798813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013554114A Active JP5898702B2 (en) 2012-01-17 2012-01-17 Mirror device, mirror device control method and control program

Country Status (2)

Country Link
JP (1) JP5898702B2 (en)
WO (1) WO2013108363A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186734A1 (en) * 2014-06-05 2015-12-10 シャープ株式会社 Mirror display and mirror display unit
DE102014010352A1 (en) * 2014-07-10 2016-01-14 Iconmobile Gmbh Interactive mirror
DE102016204983A1 (en) * 2016-03-24 2017-09-28 Bayerische Motoren Werke Aktiengesellschaft Arrangement, means of transport and method for the cosmetic assistance of a user

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797304B2 (en) * 1985-06-28 1995-10-18 キヤノン株式会社 Coordinate detection device
JPH03210622A (en) * 1990-01-16 1991-09-13 Fujitsu Ltd Data input system
JPH11345087A (en) * 1998-03-31 1999-12-14 Seiko Epson Corp Presentation system and position detecting method
JP2002229494A (en) * 2001-02-02 2002-08-14 Shin Etsu Polymer Co Ltd Mirror with information display function
JP2003153739A (en) * 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd Makeup mirror device, and makeup method
JP3085756U (en) * 2001-11-01 2002-05-17 京子 毛利 Mirror device with information terminal function
JP2005117285A (en) * 2003-10-07 2005-04-28 Hitachi Ltd Information input device, communication terminal and communication method
JP2006330011A (en) * 2005-05-23 2006-12-07 Hitachi Ltd Information presenting device
JP2009156990A (en) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd Mirror system
JP5571895B2 (en) * 2007-12-25 2014-08-13 パナソニック株式会社 Information display device
JP2011083570A (en) * 2009-10-15 2011-04-28 Sakamoto Co Ltd Compact key holder

Also Published As

Publication number Publication date
WO2013108363A1 (en) 2013-07-25
JPWO2013108363A1 (en) 2015-05-11

Similar Documents

Publication Publication Date Title
US10475249B2 (en) Safety for wearable virtual reality devices via object detection and tracking
US11676349B2 (en) Wearable augmented reality devices with object detection and tracking
US9767613B1 (en) Systems and method of interacting with a virtual object
US10320437B2 (en) System and method for immersive and interactive multimedia generation
ES2620762T3 (en) Power management in an eye tracking system
US20190056791A1 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR102322813B1 (en) 3d silhouette sensing system
US9659403B1 (en) Initializing orientation in space for predictive information for free space gesture control and communication
US8866809B2 (en) System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
CN103576857B (en) Stare the fast wake-up of tracking system
JP6558839B2 (en) Intermediary reality
CN113454518A (en) Multi-camera cross reality device
BR112012023787B1 (en) SYSTEM FOR TRACKING THE LOOKING POINT OF AN OBJECT WATCHING AN OBJECT AND METHOD FOR TRACKING THE LOOKING POINT OF AN OBJECT WATCHING AN OBJECT
KR102209745B1 (en) An information display device of a mirror display for advertisement and shopping by recognizing the reflected images on the mirror and method thereof
WO2016135183A1 (en) Interactive mirror
BR112016026714B1 (en) VISION SENSOR AND SENSOR SET
US11537196B2 (en) Drift cancelation for portable object detection and tracking
KR102183692B1 (en) An augmented reality service apparatus for a mirror display by recognizing the reflected images on the mirror and method thereof
JP5898702B2 (en) Mirror device, mirror device control method and control program
EP4189526A1 (en) Systems and methods for object tracking using fused data
JP5651639B2 (en) Information processing apparatus, information display apparatus, information processing method, and program
Zemblys et al. Developing photo-sensor oculography (PS-OG) system for virtual reality headsets
US9911237B1 (en) Image processing techniques for self-captured images
WO2021106552A1 (en) Information processing device, information processing method, and program
Ahmad et al. Skeletal detection enhancement using kinect

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160304

R150 Certificate of patent or registration of utility model

Ref document number: 5898702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250