WO2013118205A1 - ミラーディスプレイシステム、及び、その画像表示方法 - Google Patents

ミラーディスプレイシステム、及び、その画像表示方法 Download PDF

Info

Publication number
WO2013118205A1
WO2013118205A1 PCT/JP2012/005822 JP2012005822W WO2013118205A1 WO 2013118205 A1 WO2013118205 A1 WO 2013118205A1 JP 2012005822 W JP2012005822 W JP 2012005822W WO 2013118205 A1 WO2013118205 A1 WO 2013118205A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
mirror
image
person
Prior art date
Application number
PCT/JP2012/005822
Other languages
English (en)
French (fr)
Inventor
船引　誠
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013118205A1 publication Critical patent/WO2013118205A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to a mirror display system that displays a mirror image of a front space and an image, and an image display method thereof.
  • the mirror system includes an eye position detection unit, a specific part detection unit, a display position control unit, and a display area control unit.
  • the specific part detection unit detects the specific part of the user in the image captured by the front camera
  • the display position control unit is detected by the vertical and horizontal positions of the eyes detected by the eye position detection unit and the specific part detection unit.
  • a method for determining the projection reference position of the image light based on the specific part and the display area control unit determining the projection width of the image light from the size of the user in the captured image captured by the front camera is described. ing.
  • the mirror display system according to the related art has a problem that it can only place an object on a specific part of the user. That is, there is a problem that it is not possible to arrange a predetermined object in a place away from the user.
  • the present disclosure relates to a mirror display system in which a virtual object can be arranged at any position on a space in a mirror, and a user can taste a sense that an object actually exists around the user, and an image display thereof Provide a method.
  • a mirror display system includes a mirror display unit that displays a mirror image of a front space, displays an image, a distance information acquisition unit that acquires distance information of a person existing in a space in front of the mirror display unit, and a mirror Using the camera unit that captures the front of the display unit, the distance information acquired by the distance information acquisition unit, and the image captured by the camera unit, the tertiary of a predetermined part of the person existing in front of the mirror display unit
  • a person position detection unit that detects an original position, an object information acquisition unit that acquires arrangement position information indicating a position in a space in front of a display object to be displayed as an image on the mirror display unit, and Depending on the three-dimensional position of the predetermined part detected by the person position detection unit and the arrangement position information acquired by the object information acquisition unit, Comprising a calculation unit for calculating depth information on the display position and Kagaminai space of the display object in the play unit as an object display parameters, and a display processing unit for displaying the display object
  • an object can be three-dimensionally displayed at an intended position in the mirror space regardless of the figure of the person or the standing position.
  • Realistic expressions can be performed as if the object exists.
  • FIG. 1 is a configuration diagram illustrating an overview of a mirror display system according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration of the mirror display system according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a detailed configuration of the image processing unit according to the first embodiment.
  • FIG. 4 is a flowchart showing a flow of processing of the image processing unit in the first embodiment.
  • FIG. 5 is a diagram illustrating a display parameter calculation method in the calculation unit according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a state in which the user uses the mirror display system according to the first embodiment.
  • FIG. 7A is a diagram illustrating a change in an image of a virtual object when the user moves in the front-rear direction.
  • FIG. 7A is a diagram illustrating a change in an image of a virtual object when the user moves in the front-rear direction.
  • FIG. 7B is a diagram illustrating a change in an image of a virtual object when the user moves in the front-rear direction.
  • FIG. 7C is a diagram illustrating a change in an image of a virtual object when the user moves in the front-rear direction.
  • FIG. 8A is a diagram for describing a change in an image of a virtual object when the user moves in the left-right direction.
  • FIG. 8B is a diagram illustrating a change in the image of the virtual object when the user moves in the left-right direction.
  • FIG. 8C is a diagram illustrating a change in the image of the virtual object when the user moves in the left-right direction.
  • FIG. 9 is a flowchart showing a process flow of the application processing unit according to the first embodiment.
  • FIG. 9 is a flowchart showing a process flow of the application processing unit according to the first embodiment.
  • FIG. 10A is an external view illustrating an example of a configuration of a mirror display unit in the first embodiment.
  • FIG. 10B is an external view showing an example of the configuration of the mirror display unit in the first embodiment.
  • FIG. 11 is a configuration diagram showing an outline of the mirror display system according to the second embodiment.
  • FIG. 12 is a block diagram showing a configuration of the mirror display system according to the second embodiment.
  • FIG. 13 is a configuration diagram showing an outline of the mirror display system according to the third embodiment.
  • FIG. 14 is a block diagram showing a configuration of the mirror display system according to the third embodiment.
  • a mirror display system projects a mirror image of a front space, and acquires distance information of a mirror display unit that displays an image and distance information of a person existing in the space in front of the mirror display unit A predetermined portion of a person existing in front of the mirror display unit using the image capturing unit, the camera unit that captures the front of the mirror display unit, the distance information acquired by the distance information acquiring unit, and the image captured by the camera unit.
  • Object position information indicating the position in the front space where the display object to be displayed as an image on the mirror display unit and the person position detection unit that detects the three-dimensional position of the part
  • the acquisition unit, the three-dimensional position of the predetermined part detected by the person position detection unit, and the arrangement position information acquired by the object information acquisition unit Comprising a calculation unit for calculating depth information on the display position and Kagaminai space of the display object on the display unit as an object display parameters, and a display processing unit for displaying the display object to the mirror display unit using the object display parameters.
  • a virtual object or a display object such as an image (including video) of a remote person is displayed at the intended position. It can be displayed in accordance with the mirror image of the real space as if it exists in the real space.
  • the display object can be displayed in consideration of the depth information of the display object in the mirror space.
  • the object information acquisition unit further acquires object information including at least one of a size of the display object and an angle indicating in which direction the display object is facing in the front space
  • the calculation unit further includes: Depending on the three-dimensional position of the predetermined part, the arrangement position information, and the object information, at least one of the size of the display object and the angle of the display object may be calculated as the object display parameter.
  • the display object can be displayed in consideration of the size and angle of the display object according to the position of the user.
  • the mirror display unit may include an image display unit that displays an image three-dimensionally, and the display processing unit may display a display object on the image display unit three-dimensionally based on object display parameters.
  • the display object can be displayed three-dimensionally, and a realistic expression can be performed as if the display object exists in real space.
  • the calculation unit further calculates, from the depth information, a convergence point related to the arrangement of the display object in the depth direction on the image display unit as an object display parameter, and the display processing unit displays the display object on the image display unit.
  • Three-dimensional display may be performed based on the above.
  • the calculation unit may further calculate a shadow of the object indicating the depth direction of the display object as an object display parameter, and the display processing unit may display the display object with a shadow based on the object display parameter.
  • the depth can be expressed, and the user feels that the display object exists in the back.
  • the calculation unit may calculate the object display parameter of the display object by performing coordinate conversion of the arrangement position information acquired by the object information acquisition unit using a three-dimensional position of a predetermined part.
  • the display position of the display object and the depth information in the mirror space can be calculated as the object display parameters.
  • the calculation unit may calculate the object display parameter of the display object by performing coordinate conversion of the object information acquired by the object information acquisition unit using a three-dimensional position of a predetermined part.
  • the size and angle of the display object can be calculated as the object display parameters.
  • the person position detection unit detects a three-dimensional position of the person's eye as a three-dimensional position of a predetermined part of the person, and the calculation unit detects the person's eye detected by the person position detection unit. Depending on the three-dimensional position, the three-dimensional position of the display object may be calculated as an object display parameter.
  • the person position detecting unit estimates a three-dimensional position of the person's eye from a three-dimensional position of a predetermined part of the person, and the calculating unit is a cubic of the person's eye estimated by the person position detecting unit.
  • the three-dimensional position of the display object may be calculated as the object display parameter.
  • the position of the user's line of sight can be estimated from the position of a predetermined part of the user (for example, the ear, nose, etc.), and the display object can be displayed in accordance with the mirror image of the real space accurately.
  • the mirror display unit is an image display unit that displays an image, and a beam that is installed in front of the image display unit, transmits image light emitted from the rear image display unit, and reflects incident light from the front side. And a splitter unit.
  • the mirror display unit may include an image display unit that displays an image and a portion that does not display the image is transparent, and a mirror unit that is installed on the rear surface of the image display unit and reflects incident light from the front side. Good.
  • FIG. 1 is a configuration diagram showing an outline of the mirror display system according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration of the mirror display system.
  • the same number is attached
  • the mirror display system 100 projects a mirror image of a person (user) or object existing in the front and the surrounding space, and an image (including a video) of a virtual object or a remote person in the real space. It is a system that displays as if it were a mirror image of real space.
  • the mirror display system 100 includes a camera unit 101, a distance information acquisition unit 102, a mirror display unit 103, a microphone unit 107, a speaker unit 108, a control unit 111, and a cable 112, as shown in FIGS.
  • the camera unit 101 is a camera that captures a person or an object existing in front of the mirror display system 100 and a space around it, and generates and outputs color image data.
  • the distance information acquisition unit 102 is, for example, a distance image sensor using infrared rays, and shoots a distance image of a person or an object existing in front of the mirror display system 100 and a surrounding space, and generates distance image data. And output.
  • the distance image data (also referred to as distance information) is data obtained by measuring a distance to a position corresponding to each pixel in the image.
  • the mirror display unit 103 displays a mirror image of a person or object existing in front of the mirror display system 100 and the surrounding space, and displays an image of a virtual object or a remote person.
  • the mirror display unit 103 includes an image display unit 104 and a mirror unit 105 as shown in FIG.
  • the image display unit 104 three-dimensionally displays a virtual object, a remote image, and the like.
  • Any method may be used for the stereoscopic display.
  • a stereoscopic display method a frame sequential method using active shutter glasses, a polarization method using passive glasses, a parallax barrier method without glasses, an integral method, or the like can be used.
  • a method of giving a sense of depth by applying a shadow to an object to be displayed can be used.
  • the mirror unit 105 displays a mirror image of a person or object existing in front of the mirror display system 100 and the surrounding space.
  • the microphone unit 107 collects sound around the mirror display system 100.
  • the speaker unit 108 outputs sound on the space.
  • the cable 112 is a cable that transmits images, sounds, control signals, and the like, and is not limited in type, and any cable may be used.
  • a USB cable, DVI cable, audio cable, or the like can be used.
  • the control unit 111 performs image processing, audio processing, and application processing on the image data and audio data input from the camera unit 101, the distance information acquisition unit 102, and the microphone unit 107, and the mirror display unit 103 and the speaker unit 108. Output image data and audio data.
  • the control unit 111 includes an image processing unit 106, an audio processing unit 109, and an application processing unit 110 as shown in FIG.
  • the image processing unit 106 performs processing of data input from the camera unit 101 and the distance information acquisition unit 102 and calculates each parameter for displaying a virtual object (display object). Output the image to be displayed.
  • FIG. 3 is a block diagram illustrating a detailed configuration of the image processing unit 106.
  • the image processing unit 106 includes a space recognition unit 121, a person position detection unit 122, an object information acquisition unit 123, a calculation unit 124, and a display processing unit 125 as shown in FIG.
  • the space recognition unit 121 analyzes the color image data input from the camera unit 101 and the distance image data input from the distance information acquisition unit 102 and recognizes the state of the space in front of the mirror display system 100.
  • the person position detection unit 122 uses the color image data input from the camera unit 101 and the distance image data input from the distance information acquisition unit 102 to use the center of both eyes of the person existing in front of the mirror display unit 103. Detect the three-dimensional position.
  • the object information acquisition unit 123 obtains arrangement position information indicating where a virtual object is arranged in the space in front of the mirror display unit 103, and object information (size, shape, etc.) of the virtual object. Obtained from the application processing unit 110.
  • the calculation unit 124 according to the virtual object arrangement position information acquired by the object information acquisition unit 123, the object information, and the three-dimensional position of the center position of both eyes detected by the person position detection unit 122, An object display parameter for displaying a virtual object on the image display unit 104 is calculated. That is, the calculation unit 124 displays the virtual object at any position on the image display unit 104 by performing coordinate conversion on the virtual object arrangement position information using the three-dimensional position of the center position of both eyes. The display position indicating whether or not to be performed and the depth information in the mirror space are calculated as object display parameters. In addition, the calculation unit 124 calculates the size and angle of the display object as object display parameters according to the three-dimensional position of the center position of both eyes and the object information.
  • the display processing unit 125 displays a virtual object on the image display unit 104 using the object display parameter calculated by the calculation unit 124.
  • the sound processing unit 109 performs processing of the sound input from the microphone unit 107 and also generates sound.
  • the application processing unit 110 performs application application processing using data acquired from the image processing unit 106 and the audio processing unit 109. For example, it is recognized from the data acquired from the image processing unit 106 that the user in front of the mirror display system 100 is performing a predetermined operation, and is reflected in the operation of a virtual object according to the operation. As a specific example, a virtual object moves when a user touches a virtual object, or a virtual animal approaches when feeding a virtual animal around the user The user and the surrounding objects can perform various interactions.
  • the camera unit 101 and the distance information acquisition unit 102 are attached to the upper part of the mirror display unit 103, but the attachment positions are not limited to this, and may be anywhere. For example, it can be attached to the side surface or the lower part of the mirror display unit 103, or can be incorporated into the mirror display unit 103. Further, the camera unit 101 and the distance information acquisition unit 102 may be incorporated in the same casing.
  • the control unit 111 can also be incorporated in the mirror display unit 103. Similarly, the speaker unit 108 and the microphone unit 107 can be incorporated into the mirror display unit 103.
  • a cable connecting them is also connected inside. Further, it is possible to connect the respective blocks by wireless without using the cable 112.
  • FIG. 4 is a flowchart showing a processing flow in the image processing unit 106.
  • the space recognition unit 121 analyzes the color image data input from the camera unit 101 and the distance image data input from the distance information acquisition unit 102, and recognizes the state of the space in front of the mirror display system 100 (step) S101).
  • the space recognizing unit 121 performs a three-dimensional position of each part of the person (for example, the head, chest, belly, palm, elbow, knee, toe, etc.), the floor and walls of the room, and the three-dimensional of furniture. Recognize the correct position and size.
  • the recognition method may be any method.
  • the recognition of each part of a person is recognized as the most similar part compared to data for recognizing each part of a person registered in advance.
  • the space recognition unit 121 outputs information about the recognized space to the application processing unit 110.
  • the person position detection unit 122 detects the center position of both eyes of the user in front of the mirror display system 100 (step S102).
  • the center position of the user's eyes is recognized by analyzing the periphery of the head of the person recognized by the space recognition unit 121 in step S101 with respect to the image data acquired from the camera unit 101.
  • the person position detection unit 122 detects the center position of both eyes, it is also possible to detect the position of each eye.
  • the person position detection unit 122 can also estimate the position of the person's eyes from the position of a predetermined part (for example, ear, nose, etc.) of the person.
  • the object information acquisition unit 123 receives the object information (size, shape, etc.) of the object to be virtually displayed and the arrangement position information indicating where the object is to be arranged in the recognized space. 110 from step 110 (step S103).
  • the calculation unit 124 calculates an object display parameter for displaying the object on the image display unit 104 (step S104).
  • the position of the image display unit 104 is determined. Calculate (coordinate conversion) whether to display the object.
  • FIG. 5 is a diagram for explaining a display parameter calculation method in the calculation unit 124, and is a diagram of a situation in which the user uses the mirror display system as seen from the side.
  • the appearance of the mirror display system is omitted, and only the positional relationship of the objects is shown.
  • the space in the mirror is not an actual space but a virtual space in the mirror that reflects the real space.
  • the three-dimensional coordinate system is expressed as (X coordinate, Y coordinate, Z coordinate).
  • the X coordinate is expressed in a direction perpendicular to the paper surface
  • the Y coordinate is expressed in the vertical direction
  • the Z coordinate is expressed in the horizontal direction.
  • the measured value of the center position 501 of the user's eyes measured by the distance information acquisition unit 102 is set to Ed (Xed, Yed, Zed), and the real space coordinates Er (Xer, Yer, Zer) of the center position 501 of the user's eyes are used. . If the inclination between the distance information acquisition unit 102 and the direction perpendicular to the surface 502 of the mirror display unit 103 is ⁇ , the relationship between Ed and Er is expressed as follows.
  • Er rotation matrix ( ⁇ ) * Ed “*” Represents a matrix product.
  • the value of Ztm is used for the display in the depth direction of the object to be displayed.
  • the calculation unit 124 calculates the coordinates M as a display position indicating which position on the image display unit 104 is a virtual object to be displayed, which is an object display parameter. Further, the calculation unit 124 calculates the value of Ztm as depth information in the mirror space that is an object display parameter. Further, the calculation unit 124 determines the size of the display object according to the real space coordinates Er of the center position 501 of the user's eyes, the real space coordinates Tr of the center 503 of the virtual object, and the object information of the virtual object. And the angle are calculated as object display parameters.
  • the calculation unit 124 adjusts (calculates) the convergence point of the 3D image according to the value of Ztm.
  • the convergence point is a surface that serves as a reference for a 3D image to pop out, and is generally an image that pops out from the convergence point, and an image in which the back side goes back.
  • the virtual object image is displayed at the back of the convergence point. It is an image that turns around.
  • the display processing unit 125 adjusts the image so as to be the convergence point calculated by the calculation unit 124, and a virtual object is stereoscopically displayed at a distance of the depth Ztm of the coordinate M calculated by the calculation unit 124 ( A virtual object is displayed on the image display unit 104 so as to be displayed in 3D (step S105).
  • the convergence point can be finely adjusted according to the distance between both eyes. For example, in the case of a user whose distance between both eyes is longer than a general value, the convergence point can be finely adjusted so that the object is slightly in the back.
  • FIG. 6 is a diagram illustrating an example of a state in which the user uses the mirror display system 100 according to the present embodiment.
  • a user 601 is a user who uses the mirror display system 100.
  • the mirror display system 100 is the same as the mirror display system 100 in FIG. 1, but for the sake of convenience, only the front surface on which the user is shown is shown, and the other parts are omitted.
  • the user 601 sees the user image 603 reflected in the mirror, thereby recognizing the user's own image 605 as viewed from the user 601 (a user in the mirror space).
  • the user 601 views the virtual object image 604 displayed on the mirror display system, so that the object virtually arranged behind the user (virtual object in the mirror space) can be seen.
  • a virtual object image is recognized.
  • the virtual object 606 when the virtual object 606 is fixed and the user 601 moves and the viewpoint changes, the virtual object displayed on the mirror display system 100 so that the position of the object 606 does not change.
  • the image 604 changes according to the calculation result.
  • FIGS. 7A to 7C and FIGS. 8A to 8C will be used to describe changes in the image of a virtual object when the user 601 moves and the viewpoint changes.
  • FIGS. 7A to 7C are diagrams for explaining changes in the image of a virtual object when the user 601 moves in the front-rear direction with respect to the mirror display system 100.
  • FIGS. 6 is a diagram for explaining a change in an image of a virtual object when moving in the left-right direction with respect to the display system 100.
  • the virtual object image 604 is displayed in accordance with the mirror image of the real space as if the virtual object 602 is present in the real space next to the user 601. Then, it is assumed that the user 601 moves (approaches) forward with respect to the mirror display system 100 and moves to the position of the user 601a as shown in FIG. 7B. In this case, since the position of the virtual object 602 does not move, the position of the virtual object 606 in the mirror space also does not move. However, when the user 601 moves to the position of the user 601a, the center position of both eyes of the user detected by the person position detecting unit 122 changes. Therefore, the coordinate M calculated by the calculation unit 124 as described above changes, and the virtual object image 604 changes to the position of the image 604a.
  • the calculation unit 124 adjusts the size of the virtual object image 604a to be displayed so that the size of the object looks constant even if the position of the user changes according to the value of Ztm.
  • the three-dimensional distance between the real space coordinate Er at the center of the eye of the user 601 and the mirror coordinate Tm at the center of the virtual object 606 in the mirror space, and the real space coordinate of the center of the eye of the user 601a The size of the virtual object image 604a is adjusted in proportion to the change in the three-dimensional distance between Er ′ and the in-mirror coordinate Tm at the center of the virtual object 606 in the mirror space.
  • an image 604a smaller than the image 604 is displayed at a position to the left of the image 604 as shown in FIG. 7B.
  • the calculation unit 124 operates in the same manner as described above, and an image 604b larger than the image 604 is displayed at a position to the right of the image 604 as illustrated in FIG. 7C.
  • the virtual object image 609 is displayed in accordance with the mirror image of the real space as if the virtual object 607 is present in the real space next to the user 601. Then, it is assumed that the user 601 moves to the left with respect to the mirror display system 100 and moves to the position of the user 601c as shown in FIG. 8B. In this case, since the position of the virtual object 607 does not move, the position of the virtual object 608 in the mirror space also does not move. However, when the user 601 moves to the position of the user 601c, the center position of both eyes of the user detected by the person position detection unit 122 changes. Therefore, the coordinates M calculated by the calculation unit 124 as described above change, and the virtual object image 609 changes to the position of the image 609c.
  • the calculation unit 124 rotates the displayed object three-dimensionally according to the rotation angle from the reference angle of the real space coordinate Er and the in-mirror coordinate Tm, and displays the display so that the portion visible to the user changes.
  • the angle of the virtual object image 609c to be adjusted is adjusted.
  • the angle between the straight line connecting the real space coordinate Er at the center of the eye of the user 601 and the in-mirror coordinate Tm at the center of the virtual object 608 in the mirror space and a preset reference straight line, and the user 601c An image of a virtual object in proportion to a change in angle between a straight line connecting the real space coordinate Er ′′ of the center of the eye and the internal mirror coordinate Tm of the virtual object 608 in the mirror space and the reference line 8C, an image 609c that is directed to the right of the image 609 (the left side of the virtual object 608 can be seen) is displayed at a position to the left of the image 609 as shown in FIG. become.
  • the calculation unit 124 operates in the same manner as described above, and displays an image 609d that is directed to the left of the image 609 (the right side of the virtual object 608 is visible) at a position to the right of the image 609 as illustrated in FIG. 8C. Will be.
  • the size of the virtual object image to be displayed is also adjusted. However, it is omitted for the sake of simplicity in the same manner as described above.
  • FIGS. 7A to 7C and FIGS. 8A to 8C described above, the case where the user has moved is described. However, the same is true even when the user is moving. The image of the virtual object will change.
  • FIG. 9 is a flowchart showing a process flow in the application processing unit 110.
  • the application processing unit 110 acquires the state of the space in front of the mirror display system 100 recognized in step S101 (real space recognition information) from the image processing unit 106 (step S201).
  • the application processing unit 110 Based on the acquired real space recognition information, the application processing unit 110 follows the pre-programmed algorithm, and the object information (size, shape, etc.) of the object to be virtually displayed and the object in which position in the recognized space. Whether to arrange (arrangement position information) is determined (step S201).
  • the virtually displayed object may be any person, animal, fantasy creature, thing, machine, or the like.
  • a predetermined movement of a character may be programmed for the user's movement. Further, the character may be moved by the voice input from the microphone unit 107.
  • the application processing unit 110 transmits object information and its arrangement position information to the image processing unit 106 (step S203).
  • the voice processing unit 109 can be instructed to output a voice corresponding to the movement of the virtual object to be displayed.
  • the sound processing unit 109 outputs sound to the speaker unit 108 according to the instruction.
  • FIG. 10A and 10B are diagrams illustrating a configuration example of the mirror display unit 103.
  • FIG. The following two examples will be given as the configuration of the mirror display unit 103.
  • the mirror display unit 103a includes a translucent mirror unit 131 and an image display unit 132 as shown in FIG. 10A.
  • the semi-transparent mirror 131 reflects light from the front and transmits light from the rear.
  • the image display unit 132 displays a stereoscopic image.
  • the mirror display unit 103a in the configuration example (A) is configured by attaching a semi-transparent mirror unit 131 to the front surface of the image display unit 132.
  • the part displaying nothing on the image display unit 132 or the part displaying black does not have light from the back, and therefore, the reflection of light from the front surface of the translucent mirror unit 131 is mainly performed, and the mirror display unit 103a. Shows only the front space like a normal mirror.
  • an image other than black is displayed on the image display unit 132, the light is transmitted through the translucent mirror unit 131 and displayed on the mirror display unit 103a.
  • the mirror display unit 103b includes a transparent image display unit 133 and a mirror unit 134.
  • the transparent image display unit 133 displays a three-dimensional image, and a portion not displaying the image transmits light from behind.
  • the mirror unit 134 reflects light from the front surface.
  • the mirror display unit 103 b in the configuration example (B) is configured by pasting a transparent image display unit 133 on the front surface of the mirror unit 134.
  • the portion that is not displaying an image on the transparent image display unit 133 transmits light from the rear, so that the light reflected by the rear mirror unit 134 is mainly used, and the mirror display unit 103b is like a normal mirror. Only the space in front is shown.
  • the portion does not function as a mirror, and the image is displayed on the mirror display unit 103b.
  • a virtual object or an image (including a video) of a remote person exists in the real space at the intended position regardless of the position of the user. As described above, it can be displayed in three dimensions in accordance with a mirror image of real space.
  • FIG. 11 is a configuration diagram showing an outline of the mirror display system according to the second embodiment
  • FIG. 12 is a block diagram showing a configuration of the mirror display system.
  • FIG. 11 and FIG. 12 the same reference numerals as those in FIG. 1 and FIG.
  • the mirror display system 200 includes a 3D camera unit 201, a distance information acquisition unit 102, a 3D image display unit 202, a microphone unit 107, a speaker unit 108, a control unit 203, and a cable 112. Yes.
  • the 3D camera unit 201 is a camera that captures a person or object existing in front of the mirror display system 200 and a space around the person or object with a 3D image.
  • the 3D image display unit 202 displays a 3D image.
  • the control unit 203 performs image processing, audio processing, and application processing on the image data and audio data input from the 3D camera unit 201, the distance information acquisition unit 102, and the microphone unit 107, and the 3D image display unit 202, speaker Image data and audio data are output to the unit 108.
  • the control unit 203 includes an image processing unit 204, an audio processing unit 109, and an application processing unit 110 as shown in FIG.
  • This embodiment differs from the first embodiment only in the drawing method in step S105.
  • a display processing unit (not shown) of the image processing unit 204 converts the 3D image captured by the 3D camera unit 201 into a mirror image viewed from the center position of both eyes of the user detected by the person position detection unit 122. Then, the display processing unit synthesizes the image of the virtual object displayed in step S105 in Embodiment 1 with the 3D image converted into the mirror image, and displays the synthesized image on the 3D image display unit 202. Thereby, similarly to Embodiment 1, it is possible to obtain a sense that the user is looking at the mirror.
  • the other processes are the same as those in the first embodiment, and a description thereof will be omitted.
  • a virtual object or a remote place can be obtained by using a general 3D image display unit without using the mirror display unit 103 or the like used in the first embodiment.
  • An image of a person (including a video) or the like can be displayed three-dimensionally in accordance with a mirror image of the real space as if it exists in the real space at the intended position.
  • FIG. 13 is a configuration diagram showing an outline of the mirror display system according to the third embodiment
  • FIG. 14 is a block diagram showing a configuration of the mirror display system.
  • the mirror display system 300 includes a 2D camera unit 301, a distance information acquisition unit 102, a 2D image display unit 302, a microphone unit 107, a speaker unit 108, a control unit 303, and a cable 112. Yes.
  • the 2D camera unit 301 is a camera that captures a person or object existing in front of the mirror display system 300 and a space around the person or object with a 2D image.
  • the 2D image display unit 302 displays a 2D image.
  • the control unit 303 performs image processing, audio processing, and application processing on the image data and audio data input from the 2D camera unit 301, the distance information acquisition unit 102, and the microphone unit 107, performs a 2D image display unit 302, a speaker Image data and audio data are output to the unit 108.
  • the control unit 303 includes an image processing unit 304, an audio processing unit 109, and an application processing unit 110 as shown in FIG.
  • This embodiment differs from the first embodiment only in the drawing method in step S305.
  • a display processing unit (not shown) of the image processing unit 304 converts the 2D image captured by the 2D camera unit 301 into a mirror image viewed from the center position of both eyes of the user detected by the person position detection unit 122. Then, the display processing unit synthesizes the image of the virtual object displayed in step S105 in Embodiment 1 with the 2D image converted into the mirror image, and displays it on the 2D image display unit 302. At this time, in order to express the depth using the 2D image display unit 302, the display processing unit synthesizes and draws a virtual object shadow image at a suitable position according to the value of Ztm. As a result, the user feels that the object is present in the back.
  • the other processes are the same as those in the first embodiment, and a description thereof will be omitted.
  • the position of the shadow image of the virtual object may be calculated from, for example, the position of the light source in the space in front of the mirror display system 300 and the positional relationship between the position of the light source and the position of the virtual object. I do not care.
  • a virtual object or a remote place can be obtained by using a more general 2D image display unit without using the mirror display unit 103 or the like used in the first embodiment.
  • a person's image (including video) can be displayed three-dimensionally in accordance with the mirror image of the real space as if it exists in the real space at the intended position.
  • Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • a virtual object or an image (including a video) of a person at a remote place is converted into a mirror image of the real space as if it exists in the real space at the intended position regardless of the position of the user. It can be displayed three-dimensionally and is useful for mirror display systems and the like. In particular, for example, it can be used for various purposes as a mirror that interactively displays information in a home, a store, a play facility, or the like where a normal mirror is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　鏡内の空間上のあらゆる位置に仮想的な物体を配置することができ、ユーザが自身の周囲に実際に物体が存在する感覚を味わうことができるミラーディスプレイシステムを提供する。ミラーディスプレイシステム（１００）の画像処理部（１０６）は、距離情報取得部（１０２）で取得された距離情報およびカメラ部（１０１）で撮影された画像を用いて人物の眼の三次元位置を検出する人物位置検出部（１２２）と、表示物体の配置位置情報を取得する物体情報取得部（１２３）と、人物の眼の三次元位置および配置位置情報に応じて、表示物体の物体表示パラメータ（位置・大きさ・向き・３Ｄコンバージェンスポイント）を算出する算出部（１２４）と、物体表示パラメータを用いてミラーディスプレイ部（１０３）に表示物体を表示する表示処理部（１２５）とを備える。

Description

ミラーディスプレイシステム、及び、その画像表示方法
　本開示は、前方の空間の鏡像を映すとともに、画像を表示するミラーディスプレイシステム、及び、その画像表示方法に関するものである。
　従来、例えば特許文献１に開示されているようなミラーシステムがある。特許文献１においては、ミラーシステムは、目位置検出部と、特定部位検出部と、表示位置制御部と、表示面積制御部とを備えている。特定部位検出部は、正面カメラにより撮像された画像内におけるユーザの特定部位を検出し、表示位置制御部は、目位置検出部により検出された目の上下左右位置及び特定部位検出部により検出された特定部位に基づいて映像光の投射基準位置を決定し、表示面積制御部は、正面カメラにより撮像された撮像画像内におけるユーザの大きさから、映像光の投射幅を決定する方法が記載されている。より具体的には、目位置検出部により検出された目の位置と、特定部位検出部により検出された特定部位との中間位置に対応する表示部上の位置に投射基準位置を決定することにより、ユーザと特定部位上に所定の物体を表示する。これにより、従来と比して処理の複雑さを軽減している。
特開２００９－１６９１０９号公報
　しかしながら、従来技術に係るミラーディスプレイシステムでは、ユーザの特定部位上に物体を配置することしかできないという問題がある。すなわち、ユーザから離れた場所に所定の物体を配置する場合には対応できないという問題がある。
　本開示は、鏡内の空間上のあらゆる位置に仮想的な物体を配置することができ、ユーザが自身の周囲に実際に物体が存在する感覚を味わうことができるミラーディスプレイシステム、及びその画像表示方法を提供する。
　本開示におけるミラーディスプレイシステムは、前方の空間の鏡像を映すとともに、画像を表示するミラーディスプレイ部と、ミラーディスプレイ部の前方の空間に存在する人物の距離情報を取得する距離情報取得部と、ミラーディスプレイ部の前方を撮影するカメラ部と、距離情報取得部で取得された距離情報と、カメラ部で撮影された画像とを用いて、ミラーディスプレイ部の前方に存在する人物の所定の部位の三次元的な位置を検出する人物位置検出部と、ミラーディスプレイ部に画像として表示する表示物体を、前方の空間内のどの位置に配置するかを示す配置位置情報を取得する物体情報取得部と、人物位置検出部で検出された所定の部位の三次元的な位置および物体情報取得部で取得された配置位置情報に応じて、ミラーディスプレイ部における表示物体の表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出する算出部と、物体表示パラメータを用いてミラーディスプレイ部に表示物体を表示する表示処理部とを備える。
　本開示におけるミラーディスプレイシステム、及び、その画像表示方法によれば、人物の体型や立つ位置に関わらず、鏡内空間の意図した位置に物体を立体的に表示することが可能となり、鏡内に物体があたかも存在するかのような、リアルな表現を行うことができる。
図１は、実施の形態１に係るミラーディスプレイシステムの概要を示す構成図である。 図２は、実施の形態１に係るミラーディスプレイシステムの構成を示すブロック図である。 図３は、実施の形態１における画像処理部の詳細な構成を示すブロック図である。 図４は、実施の形態１における画像処理部の処理の流れを示すフローチャートである。 図５は、実施の形態１における算出部での表示パラメータの計算方法を示す図である。 図６は、実施の形態１に係るミラーディスプレイシステムをユーザが利用する様子の一例を示す図である。 図７Ａは、ユーザが前後方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図７Ｂは、ユーザが前後方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図７Ｃは、ユーザが前後方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図８Ａは、ユーザが左右方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図８Ｂは、ユーザが左右方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図８Ｃは、ユーザが左右方向に移動した場合の仮想的な物体の画像の変化について説明する図である。 図９は、実施の形態１におけるアプリ処理部の処理の流れを示すフローチャートである。 図１０Ａは、実施の形態１におけるミラーディスプレイ部の構成の一例を示す外観図である。 図１０Ｂは、実施の形態１におけるミラーディスプレイ部の構成の一例を示す外観図である。 図１１は、実施の形態２に係るミラーディスプレイシステムの概要を示す構成図である。 図１２は、実施の形態２に係るミラーディスプレイシステムの構成を示すブロック図である。 図１３は、実施の形態３に係るミラーディスプレイシステムの概要を示す構成図である。 図１４は、実施の形態３に係るミラーディスプレイシステムの構成を示すブロック図である。
　本開示の一態様に係るミラーディスプレイシステムは、前方の空間の鏡像を映すとともに、画像を表示するミラーディスプレイ部と、ミラーディスプレイ部の前方の空間に存在する人物の距離情報を取得する距離情報取得部と、ミラーディスプレイ部の前方を撮影するカメラ部と、距離情報取得部で取得された距離情報と、カメラ部で撮影された画像とを用いて、ミラーディスプレイ部の前方に存在する人物の所定の部位の三次元的な位置を検出する人物位置検出部と、ミラーディスプレイ部に画像として表示する表示物体を、前方の空間内のどの位置に配置するかを示す配置位置情報を取得する物体情報取得部と、人物位置検出部で検出された所定の部位の三次元的な位置および物体情報取得部で取得された配置位置情報に応じて、ミラーディスプレイ部における表示物体の表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出する算出部と、物体表示パラメータを用いてミラーディスプレイ部に表示物体を表示する表示処理部とを備える。
　これにより、ミラーディスプレイ部の前方の空間に存在する人物（ユーザ）の位置に関わらず、例えば仮想的な物体または遠隔地の人物の画像（映像も含む）などの表示物体を、意図した位置の実空間に存在しているかのように、実空間の鏡像に合わせて表示することができる。また、表示物体の鏡内空間における奥行き情報を考慮して、表示物体を表示することができる。
　また、物体情報取得部は、さらに、表示物体の大きさおよび表示物体が前方の空間内のどの方向を向いているかを示す角度の少なくとも１つを含む物体情報を取得し、算出部は、さらに、所定の部位の三次元的な位置、配置位置情報、および物体情報に応じて、表示物体の大きさおよび表示物体の角度の少なくとも１つを物体表示パラメータとして算出してもよい。
　これにより、ユーザの位置に応じて、表示物体の大きさおよび角度を考慮して表示物体を表示することができる。
　また、ミラーディスプレイ部は、画像を３次元表示する画像表示部を備え、表示処理部は、画像表示部に表示物体を物体表示パラメータに基づいて３次元表示してもよい。
　これにより、表示物体を３次元表示することができ、表示物体が実空間に存在しているかのようにリアルな表現を行うことができる。
　また、算出部は、さらに、奥行き情報から、画像表示部における表示物体の奥行き方向の配置に関連するコンバージェンスポイントを物体表示パラメータとして算出し、表示処理部は、画像表示部に表示物体をコンバージェンスポイントに基づいて３次元表示してもよい。
　これにより、コンバージェンスポイントを調整して表示物体を３次元表示することができ、表示物体が実空間に存在しているかのようにリアルな表現を行うことができる。
　また、算出部は、さらに、表示物体の奥行き方向を示す物体の影を物体表示パラメータとして算出し、表示処理部は、物体表示パラメータに基づいて表示物体に影を付して表示してもよい。
　これにより、表示物体を２次元表示する場合であっても、奥行きを表現することができ、ユーザは感覚的に表示物体が奥の方に存在しているように見える。
　また、算出部は、物体情報取得部で取得された配置位置情報を所定の部位の三次元的な位置を用いて座標変換することによって、表示物体の物体表示パラメータを算出してもよい。
　これにより、ユーザの位置に関わらず、表示物体の表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出することができる。
　また、算出部は、物体情報取得部で取得された物体情報を所定の部位の三次元的な位置を用いて座標変換することによって、表示物体の物体表示パラメータを算出してもよい。
　これにより、ユーザの位置に関わらず、表示物体の大きさおよび角度を物体表示パラメータとして算出することができる。
　また、人物位置検出部は、人物の所定の部位の三次元的な位置として、人物の眼の三次元的な位置を検出し、算出部は、人物位置検出部で検出された人物の眼の三次元的な位置に応じて、表示物体の三次元的な位置を物体表示パラメータとして算出してもよい。
　これにより、正確にユーザの視線位置を検出することができ、表示物体を正確に実空間の鏡像に合わせて表示することができる。
　また、人物位置検出部は、人物の所定の部位の三次元的な位置から人物の眼の三次元的な位置を推定し、算出部は、人物位置検出部で推定された人物の眼の三次元的な位置に応じて、表示物体の三次元的な位置を物体表示パラメータとして算出してもよい。
　これにより、例えばユーザの所定の部位（例えば耳、鼻等）の位置からユーザの視線位置を推定することができ、表示物体を正確に実空間の鏡像に合わせて表示することができる。
　また、ミラーディスプレイ部は、画像を表示する画像表示部と、画像表示部の前面に設置され、後側の画像表示部が出射する画像光を透過するとともに、前側からの入射光を反射するビームスプリッター部とを備えてもよい。
　また、ミラーディスプレイ部は、画像を表示し、画像を表示しない部分は透明である画像表示部と、画像表示部の後面に設置され、前側からの入射光を反射するミラー部とを備えてもよい。
　これにより、ミラーディスプレイ部は、前方の空間の鏡像を映すとともに、画像を表示することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　図１は、本実施の形態１に係るミラーディスプレイシステムの概要を示す構成図であり、図２は、ミラーディスプレイシステムの構成を示すブロック図である。なお、同じ構成要素については、同じ番号を付している。
　ミラーディスプレイシステム１００は、前方に存在する人物（ユーザ）や物体、及び、その周囲の空間の鏡像を映すとともに、仮想的な物体または遠隔地の人物の画像（映像も含む）などが実空間に存在しているかのように、実空間の鏡像に合わせて表示するシステムである。
　ミラーディスプレイシステム１００は、図１および図２に示すようにカメラ部１０１、距離情報取得部１０２、ミラーディスプレイ部１０３、マイク部１０７、スピーカ部１０８、制御部１１１、およびケーブル１１２を備えている。
　カメラ部１０１は、ミラーディスプレイシステム１００の前方に存在する人物や物体、及び、その周囲の空間を撮影するカメラであり、カラー画像データを生成し、出力する。
　距離情報取得部１０２は、例えば赤外線を用いた距離画像センサ等であり、ミラーディスプレイシステム１００の前方に存在する人物や物体、及び、その周囲の空間の距離画像を撮影し、距離画像データを生成し、出力する。ここで、距離画像データ（距離情報ともいう）とは、画像内の各画素に対応する位置までの距離を測定したデータである。
　ミラーディスプレイ部１０３は、ミラーディスプレイシステム１００の前方に存在する人物や物体、及び、その周囲の空間の鏡像を映すとともに、仮想的な物体や遠隔地の人物の画像などを表示する。具体的には、ミラーディスプレイ部１０３は、図２に示すように画像表示部１０４、およびミラー部１０５を備えている。
　画像表示部１０４は、仮想的な物体や遠隔地の画像などを立体的に表示する。立体的に表示する方法は、どのような方法でも構わない。例えば、立体的に表示する方法として、アクティブシャッター式メガネを用いたフレームシーケンシャル方式、パッシブ方式のメガネを用いた偏光方式、メガネを用いない視差バリア方式、インテグラル方式等を用いることができる。もしくは、表示する物体に影を付けることで奥行き感を出す方法を用いることができる。
　ミラー部１０５は、ミラーディスプレイシステム１００の前方に存在する人物や物体、及び、その周囲の空間の鏡像を映す。
　マイク部１０７は、ミラーディスプレイシステム１００の周囲の音声を集音する。スピーカ部１０８は、音声を空間上に出力する。
　ケーブル１１２は、画像や音声や制御信号等を伝送するケーブルであり、種類は限定せず、どのようなものを用いてもよい。例えば、ＵＳＢケーブルやＤＶＩケーブル、音声ケーブルなどを利用することができる。
　制御部１１１は、カメラ部１０１、距離情報取得部１０２、マイク部１０７から入力された画像データ、音声データに対して、画像処理、音声処理、アプリ処理を行い、ミラーディスプレイ部１０３、スピーカ部１０８に画像データ、音声データを出力する。具体的には、制御部１１１は、図２に示すように画像処理部１０６、音声処理部１０９、およびアプリ処理部１１０を備えている。
　画像処理部１０６は、カメラ部１０１、距離情報取得部１０２から入力されるデータの処理、及び、仮想的な物体（表示物体）を表示するための各パラメータの計算を行い、画像表示部１０４に表示する画像を出力する。
　図３は、画像処理部１０６の詳細な構成を示すブロック図である。
　画像処理部１０６は、図３に示すように空間認識部１２１、人物位置検出部１２２、物体情報取得部１２３、算出部１２４、および表示処理部１２５を備えている。
　空間認識部１２１は、カメラ部１０１から入力されるカラー画像データ、および、距離情報取得部１０２から入力される距離画像データを解析し、ミラーディスプレイシステム１００の前方の空間の状況を認識する。
　人物位置検出部１２２は、カメラ部１０１から入力されるカラー画像データ、および、距離情報取得部１０２から入力される距離画像データを用いて、ミラーディスプレイ部１０３の前方に存在する人物の両目の中心位置の三次元的な位置を検出する。
　物体情報取得部１２３は、ミラーディスプレイ部１０３の前方の空間内のどの位置に仮想的な物体を配置するかを示す配置位置情報、および仮想的な物体の物体情報（大きさ、形など）をアプリ処理部１１０から取得する。
　算出部１２４は、物体情報取得部１２３で取得された仮想的な物体の配置位置情報、物体情報、および人物位置検出部１２２で検出された両目の中心位置の三次元的な位置に応じて、画像表示部１０４へ仮想的な物体を表示するための物体表示パラメータを算出する。すなわち、算出部１２４は、仮想的な物体の配置位置情報を両目の中心位置の三次元的な位置を用いて、座標変換することによって、画像表示部１０４のどの位置に仮想的な物体を表示するかを示す表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出する。また、算出部１２４は、両目の中心位置の三次元的な位置および物体情報に応じて、表示物体の大きさおよび角度を物体表示パラメータとして算出する。
　表示処理部１２５は、算出部１２４で算出された物体表示パラメータを用いて画像表示部１０４に仮想的な物体を表示する。
　音声処理部１０９は、マイク部１０７から入力された音声の処理を行うとともに、音声の生成などを行う。
　アプリ処理部１１０は、画像処理部１０６、及び、音声処理部１０９から取得したデータを利用した応用アプリケーションの処理を行う。例えば、画像処理部１０６から取得したデータから、ミラーディスプレイシステム１００の前方のユーザが所定の動作を行っていることを認識し、その動作に従い、仮想的な物体の動作などに反映する。具体的な例としては、ユーザが仮想的な物体に触ると仮想的な物体が動く、もしくは、ユーザの周りにいる仮想的な動物に餌を与える動作をすると仮想的な動物が近づいてくるなど、ユーザと周囲の物体が様々なインタラクションを行うことができる。
　なお、図１においては、カメラ部１０１、距離情報取得部１０２は、ミラーディスプレイ部１０３の上部に取り付けているが、取り付ける位置はこれに限らず、どこでもよい。例えば、ミラーディスプレイ部１０３の側面や下部に取り付ける、もしくは、ミラーディスプレイ部１０３の内部に組み込むこともできる。また、カメラ部１０１と距離情報取得部１０２を同一の筐体に組み込んでもよい。また、制御部１１１は、ミラーディスプレイ部１０３に組み込むこともできる。また、スピーカ部１０８やマイク部１０７も同様にミラーディスプレイ部１０３に組み込むこともできる。上記のように複数機能ブロックが同一の筐体に組み込まれる場合は、それらを接続するケーブルも内部で接続される。また、ケーブル１１２を用いず、無線を用いて各ブロックを接続することもできる。
　上記の構成は、一例であり、同様の機能要素があればよく、本実施の形態により限定されない。
　次に、上記のように構成されたミラーディスプレイシステム１００の動作について説明する。
　図４は、画像処理部１０６における処理の流れを示すフローチャートである。
　空間認識部１２１は、カメラ部１０１から入力されたカラー画像データ、および、距離情報取得部１０２から入力された距離画像データを解析し、ミラーディスプレイシステム１００の前方の空間の状況を認識する（ステップＳ１０１）。
　例えば、空間認識部１２１は、人物の各部位（例えば、頭部、胸、腹、手のひら、肘、膝、足先、など）の三次元的な位置、部屋の床や壁、家具の三次元的な位置や大きさなどを認識する。認識する方法は、どのような方法でも構わない。例えば、人物の各部位の認識は、予め登録された人物の各部位を認識するためのデータと比較し、最も類似している部位であると認識する。空間認識部１２１は、認識した空間に関する情報を、アプリ処理部１１０に出力する。
　次に、人物位置検出部１２２は、ミラーディスプレイシステム１００の前方のユーザの両目の中心位置の検出を行う（ステップＳ１０２）。ここでは、例えば、カメラ部１０１から取得した画像データに対して、ステップＳ１０１で空間認識部１２１が認識した人物の頭部の周辺を解析することにより、ユーザの両目の中心位置を認識する。もしくは、カメラ部１０１から入力されたカラー画像データから特徴点を抽出し、ユーザの両目の中心位置の検出を行うことも可能である。なお、ここでは、人物位置検出部１２２は、両目の中心位置を検出しているが、両目それぞれの位置を検出することも可能である。また、人物位置検出部１２２は、人物の所定の部位（例えば耳、鼻等）の位置から人物の眼の位置を推定することも可能である。
　次に、物体情報取得部１２３は、仮想的に表示する物体の物体情報（大きさ、形など）と、認識した空間内のどの位置に物体を配置するかを示す配置位置情報をアプリ処理部１１０から取得する（ステップＳ１０３）。
　次に、算出部１２４は、画像表示部１０４へ物体を表示するための物体表示パラメータを計算する（ステップＳ１０４）。物体表示パラメータの計算においては、まず、ステップＳ１０３においてアプリ処理部１１０から取得した物体の配置位置情報、及び、ステップＳ１０２において取得したユーザの目の中心位置に基づき、画像表示部１０４のどの位置に物体を表示するかを計算（座標変換）する。
　図５を用いて、座標変換の計算例を説明する。図５は、算出部１２４における表示パラメータの計算方法を説明する図であり、ユーザがミラーディスプレイシステムを使用する状況を真横から見た図である。本説明では、座標変換計算の説明をするため、ミラーディスプレイシステムの外観などは省略し、物体の位置関係のみを示している。ここで、鏡内空間は、実際の空間ではなく、実空間を映し出す鏡内の仮想的な空間である。
　以下の説明では、三次元座標系を（Ｘ座標、Ｙ座標、Ｚ座標）と表す。図５においては、Ｘ座標は紙面と垂直方向、Ｙ座標は上下方向、Ｚ座標は左右方向で表される。
　距離情報取得部１０２で測定したユーザの目の中心位置５０１の測定値をＥｄ（Ｘｅｄ、Ｙｅｄ、Ｚｅｄ）とし、ユーザの目の中心位置５０１の実空間座標Ｅｒ（Ｘｅｒ、Ｙｅｒ、Ｚｅｒ）とする。距離情報取得部１０２とミラーディスプレイ部１０３の表面５０２に垂直な方向との傾きをθとすると、ＥｄとＥｒの関係は以下のように表される。
　Ｅｒ　=　回転行列（θ）＊Ｅｄ
　「＊」は行列の積を表す。
　配置位置情報で示される仮想的な物体の中心５０３の実空間座標をＴｒ（Ｘｔｒ、Ｙｔｒ、Ｚｔｒ）とし、仮想的な物体を配置位置情報で示される位置に配置した際に仮想的な物体の中心５０４が鏡内の空間のどの位置に存在するかを示す鏡内座標をＴｍ（Ｘｔｍ、Ｙｔｍ、Ｚｔｍ）とすると、ＴｒとＴｍの各座標の関係は以下のように表される。
　Ｘｔｍ＝Ｘｔｒ
　Ｙｔｍ＝Ｙｔｒ
　Ｚｔｍ＝－Ｚｔｒ
　画像表示部１０４に表示する仮想的な物体の中心５０５の座標をＭ（Ｘｍ、Ｙｍ）とすると、以下の式から計算される。
　Ｘｍ＝（Ｘｔｍ－Ｘｅｒ）Ｚｅｒ／（Ｚｅｒ－Ｚｔｍ）＋Ｘｅｒ
　Ｙｍ＝（Ｙｔｍ－Ｙｅｒ）Ｚｅｒ／（Ｚｅｒ－Ｚｔｍ）＋Ｙｅｒ
　ここで、表示する物体の奥行方向の表示に関しては、Ｚｔｍの値を用いる。すなわち、算出部１２４は、物体表示パラメータである、画像表示部１０４のどの位置に仮想的な物体を表示するかを示す表示位置として座標Ｍを算出している。また、算出部１２４は、物体表示パラメータである鏡内空間における奥行き情報としてＺｔｍの値を算出している。さらに、算出部１２４は、ユーザの目の中心位置５０１の実空間座標Ｅｒ、仮想的な物体の中心５０３の実空間座標Ｔｒ、および仮想的な物体の物体情報に応じて、表示物体の大きさおよび角度を物体表示パラメータとして算出する。
　また、算出部１２４は、Ｚｔｍの値に従い、３Ｄ画像のコンバージェンスポイントを調整（算出）する。ここで、コンバージェンスポイントとは、３Ｄ画像の飛び出す基準となる面であり、一般的にこのコンバージェンスポイントより手前側が飛び出す画像であり、後ろ側が奥に回る画像である。なお、本実施の形態では、仮想的な物体を実空間に存在しているかのように、実空間の鏡像に合わせて表示するので、仮想的な物体の画像は、コンバージェンスポイントより後ろ側の奥に回る画像である。
　次に、表示処理部１２５は、算出部１２４によって算出されたコンバージェンスポイントとなるように画像を調整し、算出部１２４によって算出された座標Ｍの奥行きＺｔｍの距離に仮想的な物体が立体表示（３Ｄ表示）されるように、仮想的な物体を画像表示部１０４に表示する（ステップＳ１０５）。
　なお、両目それぞれの位置を検出している場合は、両目間の距離に従い、コンバージェンスポイントを微調整することもできる。例えば、両目間の距離が一般的な値よりも長いユーザの場合は、物体が少し奥の方にあるようにコンバージェンスポイントの微調整を行うこともできる。
　図６は、ユーザが本実施の形態に係るミラーディスプレイシステム１００を利用する様子の一例を示す図である。図６において、ユーザ６０１はミラーディスプレイシステム１００を利用するユーザである。ミラーディスプレイシステム１００は、図１におけるミラーディスプレイシステム１００と同じであるが、便宜上、ユーザが映る前面のみを図示し、他の部分は省略している。
　ユーザ６０１は、鏡に映ったユーザの像６０３を見ることで、ユーザ６０１から見たユーザ自身の見え方（鏡内空間内のユーザ）６０５で自身の像を認識する。また、ユーザ６０１は、ミラーディスプレイシステムに表示された仮想的な物体の画像６０４を見ることで、ユーザの後方に仮想的に配置された物体の見え方（鏡内空間内の仮想的な物体）６０６で仮想的な物体の像を認識する。
　すなわち、ユーザ６０１がミラーディスプレイシステム１００を見ると、実空間には存在しない物体６０６がユーザ６０１の後方にあるように見える。これは、図５を用いて説明した計算方法により、仮想的な物体の画像６０４がミラーディスプレイシステム１００上に表示されているためである。
　ここで、例えば仮想的な物体６０６が固定された状態で、ユーザ６０１が移動し視点が変わった場合は、物体６０６の位置が変化しないようにミラーディスプレイシステム１００上に表示される仮想的な物体の画像６０４が計算結果に従い、変化する。
　図７Ａ～図７Ｃおよび図８Ａ～図８Ｃを用いて、ユーザ６０１が移動し視点が変わった場合の仮想的な物体の画像の変化について説明する。図７Ａ～図７Ｃは、ユーザ６０１がミラーディスプレイシステム１００に対して前後方向に移動した場合の仮想的な物体の画像の変化について説明する図であり、図８Ａ～図８Ｃは、ユーザ６０１がミラーディスプレイシステム１００に対して左右方向に移動した場合の仮想的な物体の画像の変化について説明する図である。
　まず、ユーザがミラーディスプレイシステム１００に対して前後方向に移動した場合について説明する。
　例えば、図７Ａに示すようにユーザ６０１の横に仮想的な物体６０２が実空間に存在しているかのように、実空間の鏡像に合わせて仮想的な物体の画像６０４を表示している状態から、ユーザ６０１がミラーディスプレイシステム１００に対して前に移動（近づく）し、図７Ｂに示すようにユーザ６０１ａの位置に移動したとする。この場合、仮想的な物体６０２の位置は動かないので、鏡内空間内の仮想的な物体６０６の位置も動かない。しかし、ユーザ６０１がユーザ６０１ａの位置に移動したことにより、人物位置検出部１２２が検出するユーザの両目の中心位置が変わる。よって、算出部１２４が上記のように算出する座標Ｍが変わり、仮想的な物体の画像６０４が画像６０４ａの位置に変わることになる。
　このとき、算出部１２４は、Ｚｔｍの値に応じて、ユーザの位置が変化しても物体の大きさが一定に見えるように、表示する仮想的な物体の画像６０４ａの大きさを調整する。例えば、ユーザ６０１の目の中心の実空間座標Ｅｒと鏡内空間内の仮想的な物体６０６の中心の鏡内座標Ｔｍとの間の三次元距離と、ユーザ６０１ａの目の中心の実空間座標Ｅｒ’と鏡内空間内の仮想的な物体６０６の中心の鏡内座標Ｔｍとの間の三次元距離との変化に比例して仮想的な物体の画像６０４ａの大きさを調整する。これにより、図７Ｂに示すように画像６０４より左の位置に画像６０４より小さい画像６０４ａが表示されることになる。
　一方、図７Ａに示すような状態から、ユーザ６０１がミラーディスプレイシステム１００に対して後ろに移動（遠ざかる）し、図７Ｃに示すようにユーザ６０１ｂの位置に移動したとする。この場合、算出部１２４は、上記同様に動作し、図７Ｃに示すように画像６０４より右の位置に画像６０４より大きい画像６０４ｂが表示されることになる。
　次に、ユーザがミラーディスプレイシステム１００に対して左右方向に移動した場合について説明する。
　例えば、図８Ａに示すようにユーザ６０１の横に仮想的な物体６０７が実空間に存在しているかのように、実空間の鏡像に合わせて仮想的な物体の画像６０９を表示している状態から、ユーザ６０１がミラーディスプレイシステム１００に対して左に移動し、図８Ｂに示すようにユーザ６０１ｃの位置に移動したとする。この場合、仮想的な物体６０７の位置は動かないので、鏡内空間内の仮想的な物体６０８の位置も動かない。しかし、ユーザ６０１がユーザ６０１ｃの位置に移動したことにより、人物位置検出部１２２が検出するユーザの両目の中心位置が変わる。よって、算出部１２４が上記のように算出する座標Ｍが変わり、仮想的な物体の画像６０９が画像６０９ｃの位置に変わることになる。
　このとき、算出部１２４は、実空間座標Ｅｒと鏡内座標Ｔｍの基準角度からの回転角度に従い、表示する物体を三次元的に回転し、ユーザから見える部分が変化して見えるように、表示する仮想的な物体の画像６０９ｃの角度を調整する。例えば、ユーザ６０１の目の中心の実空間座標Ｅｒと鏡内空間内の仮想的な物体６０８の中心の鏡内座標Ｔｍとを結ぶ直線とあらかじめ設定された基準直線との角度と、ユーザ６０１ｃの目の中心の実空間座標Ｅｒ”と鏡内空間内の仮想的な物体６０８の中心の鏡内座標Ｔｍとを結ぶ直線と基準直線との角度との変化に比例して仮想的な物体の画像６０９ｃの表示角度を調整する。これにより、図８Ｂに示すように画像６０９より左の位置に画像６０９より右に向いた（仮想的な物体６０８の左側面が見える）画像６０９ｃが表示されることになる。
　一方、図８Ａに示すような状態から、ユーザ６０１がミラーディスプレイシステム１００に対して右に移動し、図８Ｃに示すようにユーザ６０１ｄの位置に移動したとする。この場合、算出部１２４は、上記同様に動作し、図８Ｃに示すように画像６０９より右の位置に画像６０９より左に向いた（仮想的な物体６０８の右側面が見える）画像６０９ｄが表示されることになる。
　なお、上記の図７Ａ～図７Ｃを用いた説明したユーザがミラーディスプレイシステム１００に対して前後方向に移動した場合であっても、表示する仮想的な物体の画像の角度についても調整することになるが、説明を簡略化するために便宜上省略した。
　また、上記の図８Ａ～図８Ｃを用いた説明したユーザがミラーディスプレイシステム１００に対して左右方向に移動した場合であっても、表示する仮想的な物体の画像の大きさについても調整することになるが、上記同様に説明を簡略化するために便宜上省略した。
　また、上記の図７Ａ～図７Ｃおよび図８Ａ～図８Ｃを用いた説明で、ユーザが移動した後について述べているが、ユーザが移動中であっても同様であり、ユーザの移動に伴って仮想的な物体の画像が変わることになる。
　図９は、アプリ処理部１１０における処理の流れを示すフローチャートである。
　アプリ処理部１１０は、画像処理部１０６からステップＳ１０１で認識されたミラーディスプレイシステム１００の前方の空間の状況（実空間認識情報）を取得する（ステップＳ２０１）。
　アプリ処理部１１０は、取得した実空間認識情報に基づき、予めプログラムされたアルゴリズムに従い、仮想的に表示する物体の物体情報（大きさ、形など）と、認識した空間内のどの位置に物体を配置するか（配置位置情報）を決定する（ステップＳ２０１）。ここで、仮想的に表示する物体は、人物、動物、空想上の生物、物、および機械等何であってもよい。また、例えば、ユーザの動作に対して、キャラクタ（仮想的に表示する物体）の所定の動きがプログラムされていても構わない。また、マイク部１０７から入力された音声によって、キャラクタが動いてもよい。
　アプリ処理部１１０は、画像処理部１０６に物体情報、及び、その配置位置情報を送信する（ステップＳ２０３）。
　なお、フローチャートには示していないが、音声処理部１０９に対して、表示する仮想的な物体の動きに対応した音声を出力するように指示することもできる。また、音声処理部１０９は、アプリ処理部１１０から音声を出力する指示が入力された場合は、指示に従い、スピーカ部１０８に音声を出力する。
　図１０Ａおよび図１０Ｂは、ミラーディスプレイ部１０３の構成例を示す図である。ミラーディスプレイ部１０３の構成として、以下の２つの例をあげる。
　＜構成例（Ａ）＞
　ミラーディスプレイ部１０３ａは、図１０Ａに示すように半透明ミラー部１３１および画像表示部１３２を備えている。
　半透明ミラー部１３１は、前面からの光を反射するとともに、後方からの光を透過する。画像表示部１３２は、立体的な画像を表示する。構成例（Ａ）におけるミラーディスプレイ部１０３ａは、画像表示部１３２の前面に半透明ミラー部１３１を貼り付けることにより、構成される。画像表示部１３２に何も表示していない部分、もしくは、黒を表示した部分は、後方からの光がないため、半透明ミラー部１３１における前面からの光の反射が主となり、ミラーディスプレイ部１０３ａは通常の鏡のように前方の空間のみを映す。一方、画像表示部１３２に黒以外の画像を表示した場合は、半透明ミラー部１３１ではその光が透過され、ミラーディスプレイ部１０３ａ上に映し出される。
　＜構成例（Ｂ）＞
　ミラーディスプレイ部１０３ｂは、図１０Ｂに示すように透明画像表示部１３３およびミラー部１３４を備えている。
　透明画像表示部１３３は、立体的な画像を表示するとともに、画像を表示していない部分は、後方からの光を透過する。ミラー部１３４は、前面からの光を反射する。構成例（Ｂ）におけるミラーディスプレイ部１０３ｂは、ミラー部１３４の前面に透明画像表示部１３３を貼り付けることにより、構成される。透明画像表示部１３３に画像を表示していない部分は、後方からの光を透過するため、後方のミラー部１３４によって反射される光が主となり、ミラーディスプレイ部１０３ｂは、通常の鏡のように前方の空間のみを映す。一方、透明画像表示部１３３に画像を表示した場合は、その部分は鏡としては働かず、ミラーディスプレイ部１０３ｂに画像が映し出される。
　以上のように、本実施の形態によれば、ユーザの位置に関わらず、仮想的な物体または遠隔地の人物の画像（映像も含む）などを、意図した位置の実空間に存在しているかのように、実空間の鏡像に合わせて立体的に表示することができる。
　（実施の形態２）
　図１１は、本実施の形態２に係るミラーディスプレイシステムの概要を示す構成図であり、図１２は、ミラーディスプレイシステムの構成を示すブロック図である。図１１および図１２において、図１および図２と同じ番号の構成要素に関しては、実施の形態１と同様であるので、説明を省略する。
　ミラーディスプレイシステム２００は、図１１および図１２に示すように３Ｄカメラ部２０１、距離情報取得部１０２、３Ｄ画像表示部２０２、マイク部１０７、スピーカ部１０８、制御部２０３、およびケーブル１１２を備えている。
　３Ｄカメラ部２０１は、ミラーディスプレイシステム２００の前方に存在する人物や物体、及び、その周囲の空間を３Ｄ画像で撮影するカメラである。３Ｄ画像表示部２０２は、３Ｄ画像を表示する。
　制御部２０３は、３Ｄカメラ部２０１、距離情報取得部１０２、マイク部１０７から入力された画像データ、音声データに対して、画像処理、音声処理、アプリ処理を行い、３Ｄ画像表示部２０２、スピーカ部１０８に画像データ、音声データを出力する。具体的には、制御部２０３は、図１２に示すように画像処理部２０４、音声処理部１０９、およびアプリ処理部１１０を備えている。
　実施の形態１とは、ステップＳ１０５の描画の方法のみが異なる。画像処理部２０４の表示処理部（図示せず）は、３Ｄカメラ部２０１により撮影した３Ｄ画像を、人物位置検出部１２２が検出したユーザの両目の中心位置から見た鏡像に変換する。そして、表示処理部は、鏡像に変換した３Ｄ画像に実施の形態１におけるステップＳ１０５において表示する仮想的な物体の画像を合成して、３Ｄ画像表示部２０２に表示する。これにより、実施の形態１と同様に、ユーザが鏡を見ている感覚を得ることができる。その他の処理は、実施の形態１と同じであるので、説明は省略する。
　以上のように、本実施の形態によれば、実施の形態１に用いたミラーディスプレイ部１０３等を用いることなく、一般的な３Ｄ画像表示部を用いることでも、仮想的な物体または遠隔地の人物の画像（映像も含む）などを、意図した位置の実空間に存在しているかのように、実空間の鏡像に合わせて立体的に表示することができる。
　（実施の形態３）
　図１３は、本実施の形態３に係るミラーディスプレイシステムの概要を示す構成図であり、図１４は、ミラーディスプレイシステムの構成を示すブロック図である。図１３および図１４において、図１および図２と同じ番号の構成要素に関しては、実施の形態１と同様であるので、説明を省略する。
　ミラーディスプレイシステム３００は、図１３および図１４に示すように２Ｄカメラ部３０１、距離情報取得部１０２、２Ｄ画像表示部３０２、マイク部１０７、スピーカ部１０８、制御部３０３、およびケーブル１１２を備えている。
　２Ｄカメラ部３０１は、ミラーディスプレイシステム３００の前方に存在する人物や物体、及び、その周囲の空間を２Ｄ画像で撮影するカメラである。２Ｄ画像表示部３０２は、２Ｄ画像を表示する。
　制御部３０３は、２Ｄカメラ部３０１、距離情報取得部１０２、マイク部１０７から入力された画像データ、音声データに対して、画像処理、音声処理、アプリ処理を行い、２Ｄ画像表示部３０２、スピーカ部１０８に画像データ、音声データを出力する。具体的には、制御部３０３は、図１４に示すように画像処理部３０４、音声処理部１０９、およびアプリ処理部１１０を備えている。
　実施の形態１とは、ステップＳ３０５の描画の方法のみが異なる。画像処理部３０４の表示処理部（図示せず）は、２Ｄカメラ部３０１により撮影した２Ｄ画像を人物位置検出部１２２が検出したユーザの両目の中心位置から見た鏡像に変換する。そして、表示処理部は、鏡像に変換した２Ｄ画像に、実施の形態１におけるステップＳ１０５において表示する仮想的な物体の画像を合成して、２Ｄ画像表示部３０２に表示する。このとき、表示処理部は、２Ｄ画像表示部３０２を用いて奥行を表現するために、Ｚｔｍの値に応じて仮想的な物体の影の画像を適した位置に合成して描画する。これにより、ユーザは感覚的に物体が奥の方に存在しているように見える。その他の処理は、実施の形態１と同じであるので、説明は省略する。
　なお、仮想的な物体の影の画像の位置は、例えばミラーディスプレイシステム３００の前方の空間における光源の位置を検出し、光源の位置と仮想的な物体の位置との位置関係により算出しても構わない。
　以上のように、本実施の形態によれば、実施の形態１に用いたミラーディスプレイ部１０３等を用いることなく、さらに一般的な２Ｄ画像表示部を用いることでも、仮想的な物体または遠隔地の人物の画像（映像も含む）などを、意図した位置の実空間に存在しているかのように、実空間の鏡像に合わせて立体的に表示することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、ユーザの位置に関わらず、仮想的な物体または遠隔地の人物の画像（映像も含む）などを、意図した位置の実空間に存在しているかのように、実空間の鏡像に合わせて立体的に表示することができ、ミラーディスプレイシステム等に有用である。特に、例えば、通常の鏡が利用されている家庭や店舗や遊戯施設などでインタラクティブに情報を表示する鏡として様々な用途に利用できる。
　１００、２００、３００　ミラーディスプレイシステム
　１０１　カメラ部
　１０２　距離情報取得部
　１０３、１０３ａ、１０３ｂ　ミラーディスプレイ部
　１０４　画像表示部
　１０５　ミラー部
　１０６、２０４、３０４　画像処理部
　１０７　マイク部
　１０８　スピーカ部
　１０９　音声処理部
　１１０　アプリ処理部
　１１１、２０３、３０３　制御部
　１１２　ケーブル
　１２１　空間認識部
　１２２　人物位置検出部
　１２３　物体情報取得部
　１２４　算出部
　１２５　表示処理部
　１３１　半透明ミラー部
　１３２　画像表示部
　１３３　透明画像表示部
　１３４　ミラー部
　２０１　３Ｄカメラ部
　２０２　３Ｄ画像表示部
　３０１　２Ｄカメラ部
　３０２　２Ｄ画像表示部
 

Claims (12)

  1. 　前方の空間の鏡像を映すとともに、画像を表示するミラーディスプレイ部と、
    　前記ミラーディスプレイ部の前方の空間に存在する人物の距離情報を取得する距離情報取得部と、
    　前記ミラーディスプレイ部の前方を撮影するカメラ部と、
    　前記距離情報取得部で取得された前記距離情報と、前記カメラ部で撮影された画像とを用いて、前記ミラーディスプレイ部の前方に存在する人物の所定の部位の三次元的な位置を検出する人物位置検出部と、
    　前記ミラーディスプレイ部に画像として表示する表示物体を、前記前方の空間内のどの位置に配置するかを示す配置位置情報を取得する物体情報取得部と、
    　前記人物位置検出部で検出された前記所定の部位の三次元的な位置および前記物体情報取得部で取得された前記配置位置情報に応じて、前記ミラーディスプレイ部における前記表示物体の表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出する算出部と、
    　前記物体表示パラメータを用いて前記ミラーディスプレイ部に前記表示物体を表示する表示処理部と
    　を備えるミラーディスプレイシステム。
  2. 　前記物体情報取得部は、さらに、前記表示物体の大きさおよび前記表示物体が前記前方の空間内のどの方向を向いているかを示す角度の少なくとも１つを含む物体情報を取得し、
    　前記算出部は、さらに、前記所定の部位の三次元的な位置、前記配置位置情報、および前記物体情報に応じて、前記表示物体の大きさおよび前記表示物体の角度の少なくとも１つを前記物体表示パラメータとして算出する
    　請求項１に記載のミラーディスプレイシステム。
  3. 　前記ミラーディスプレイ部は、画像を３次元表示する画像表示部を備え、
    　前記表示処理部は、前記画像表示部に前記表示物体を前記物体表示パラメータに基づいて３次元表示する
    　請求項１または請求項２に記載のミラーディスプレイシステム。
  4. 　前記算出部は、さらに、前記奥行き情報から、前記画像表示部における前記表示物体の奥行き方向の配置に関連するコンバージェンスポイントを前記物体表示パラメータとして算出し、
    　前記表示処理部は、前記画像表示部に前記表示物体を前記コンバージェンスポイントに基づいて３次元表示する
    　請求項３に記載のミラーディスプレイシステム。
  5. 　前記算出部は、さらに、前記表示物体の奥行き方向を示す物体の影を前記物体表示パラメータとして算出し、
    　前記表示処理部は、前記物体表示パラメータに基づいて前記表示物体に影を付して表示する
    　請求項１に記載のミラーディスプレイシステム。
  6. 　前記算出部は、前記物体情報取得部で取得された前記配置位置情報を前記所定の部位の三次元的な位置を用いて座標変換することによって、前記表示物体の前記物体表示パラメータを算出する
    　請求項１～請求項５のいずれか１項に記載のミラーディスプレイシステム。
  7. 　前記算出部は、前記物体情報取得部で取得された前記物体情報を前記所定の部位の三次元的な位置を用いて座標変換することによって、前記表示物体の前記物体表示パラメータを算出する
    　請求項１～請求項６のいずれか１項に記載のミラーディスプレイシステム。
  8. 　前記人物位置検出部は、前記人物の所定の部位の三次元的な位置として、前記人物の眼の三次元的な位置を検出し、
    　前記算出部は、前記人物位置検出部で検出された前記人物の眼の三次元的な位置に応じて、前記表示物体の三次元的な位置を物体表示パラメータとして算出する
    　請求項１～請求項７のいずれか１項に記載のミラーディスプレイシステム。
  9. 　前記人物位置検出部は、前記人物の所定の部位の三次元的な位置から前記人物の眼の三次元的な位置を推定し、
    　前記算出部は、前記人物位置検出部で推定された前記人物の眼の三次元的な位置に応じて、前記表示物体の三次元的な位置を物体表示パラメータとして算出する
    　請求項１～請求項７のいずれか１項に記載のミラーディスプレイシステム。
  10. 　前記ミラーディスプレイ部は、
    　画像を表示する画像表示部と、
    　前記画像表示部の前面に設置され、後側の前記画像表示部が出射する画像光を透過するとともに、前側からの入射光を反射するビームスプリッター部とを備える
    　請求項１に記載のミラーディスプレイシステム。
  11. 　前記ミラーディスプレイ部は、
    　画像を表示し、画像を表示しない部分は透明である画像表示部と、
    　前記画像表示部の後面に設置され、前側からの入射光を反射するミラー部とを備える
    　請求項１に記載のミラーディスプレイシステム。
  12. 　前方の空間の鏡像を映すとともに、画像を表示するミラーディスプレイシステムにおける画像表示方法であって、
    　前記ミラーディスプレイシステムの前方の空間に存在する人物の距離情報を取得する距離情報取得ステップと、
    　前記ミラーディスプレイシステムの前方を撮影する撮影ステップと、
    　前記距離情報取得ステップで取得された前記距離情報と、前記撮影ステップで撮影された画像とを用いて、前記ミラーディスプレイシステムの前方に存在する人物の所定の部位の三次元的な位置を検出する人物位置検出ステップと、
    　前記ミラーディスプレイシステムに画像として表示する表示物体を、前記前方の空間内のどの位置に配置するかを示す配置位置情報を取得する物体情報取得ステップと、
    　前記人物位置検出ステップで検出された前記所定の部位の三次元的な位置および前記物体情報取得ステップで取得された前記配置位置情報に応じて、前記ミラーディスプレイシステムにおける前記表示物体の表示位置および鏡内空間における奥行き情報を物体表示パラメータとして算出する算出ステップと、
    　前記物体表示パラメータを用いて前記ミラーディスプレイシステムに前記表示物体を表示する表示処理ステップと
    　を含む画像表示方法。
PCT/JP2012/005822 2012-02-09 2012-09-13 ミラーディスプレイシステム、及び、その画像表示方法 WO2013118205A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012025781A JP2015084002A (ja) 2012-02-09 2012-02-09 ミラーディスプレイシステム、及び、その映像表示方法
JP2012-025781 2012-02-09

Publications (1)

Publication Number Publication Date
WO2013118205A1 true WO2013118205A1 (ja) 2013-08-15

Family

ID=48947016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005822 WO2013118205A1 (ja) 2012-02-09 2012-09-13 ミラーディスプレイシステム、及び、その画像表示方法

Country Status (2)

Country Link
JP (1) JP2015084002A (ja)
WO (1) WO2013118205A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166266A (zh) * 2014-07-24 2014-11-26 京东方科技集团股份有限公司 一种镜面显示装置控制方法、控制装置和控制系统
US20180095326A1 (en) * 2016-03-03 2018-04-05 Boe Technology Group Co., Ltd. Mirror display apparatus
CN108227163A (zh) * 2016-12-12 2018-06-29 重庆门里科技有限公司 一种增强镜面反射内容的方法
CN109313291A (zh) * 2016-06-30 2019-02-05 惠普发展公司，有限责任合伙企业 智能镜件
WO2020238544A1 (zh) * 2019-05-24 2020-12-03 京东方科技集团股份有限公司 一种镜子和显示方法
CN113168822A (zh) * 2018-11-27 2021-07-23 索尼集团公司 显示控制装置、显示控制方法和显示控制程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5939603B1 (ja) * 2015-11-24 2016-06-22 エイブル株式会社 ミラーと映像表示機能を有するドア
WO2017090345A1 (ja) * 2015-11-24 2017-06-01 エイブル株式会社 ミラーと映像表示機能を有するドア
JP6554044B2 (ja) * 2016-02-25 2019-07-31 日本電信電話株式会社 映像表示装置及び映像表示方法
US11308921B2 (en) 2019-11-28 2022-04-19 Panasonic Intellectual Property Management Co., Ltd. Information display terminal
JP2024036167A (ja) * 2022-09-05 2024-03-15 Ｔｏｐｐａｎホールディングス株式会社 空中表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04345197A (ja) * 1991-05-23 1992-12-01 Fujitsu Ltd 時分割式視点追従３次元画像表示装置
JPH04372079A (ja) * 1991-06-20 1992-12-25 Matsushita Electric Ind Co Ltd 画像表示装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2010266510A (ja) * 2009-05-12 2010-11-25 Panasonic Electric Works Co Ltd ミラーシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04345197A (ja) * 1991-05-23 1992-12-01 Fujitsu Ltd 時分割式視点追従３次元画像表示装置
JPH04372079A (ja) * 1991-06-20 1992-12-25 Matsushita Electric Ind Co Ltd 画像表示装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2010266510A (ja) * 2009-05-12 2010-11-25 Panasonic Electric Works Co Ltd ミラーシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166266A (zh) * 2014-07-24 2014-11-26 京东方科技集团股份有限公司 一种镜面显示装置控制方法、控制装置和控制系统
WO2016011713A1 (zh) * 2014-07-24 2016-01-28 京东方科技集团股份有限公司 镜面显示装置控制方法、控制装置和控制系统
US20180095326A1 (en) * 2016-03-03 2018-04-05 Boe Technology Group Co., Ltd. Mirror display apparatus
US10564413B2 (en) * 2016-03-03 2020-02-18 Boe Technology Group Co., Ltd. Mirror display apparatus
CN109313291A (zh) * 2016-06-30 2019-02-05 惠普发展公司，有限责任合伙企业 智能镜件
US10845511B2 (en) 2016-06-30 2020-11-24 Hewlett-Packard Development Company, L.P. Smart mirror
CN108227163A (zh) * 2016-12-12 2018-06-29 重庆门里科技有限公司 一种增强镜面反射内容的方法
CN113168822A (zh) * 2018-11-27 2021-07-23 索尼集团公司 显示控制装置、显示控制方法和显示控制程序
CN113168822B (zh) * 2018-11-27 2024-05-24 索尼集团公司 显示控制装置、显示控制方法和显示控制程序
WO2020238544A1 (zh) * 2019-05-24 2020-12-03 京东方科技集团股份有限公司 一种镜子和显示方法
US11803236B2 (en) 2019-05-24 2023-10-31 Boe Technology Group Co., Ltd. Mirror and display method

Also Published As

Publication number Publication date
JP2015084002A (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
WO2013118205A1 (ja) ミラーディスプレイシステム、及び、その画像表示方法
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11538224B2 (en) Safety for wearable virtual reality devices via object detection and tracking
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
US20190056791A1 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
US20130207962A1 (en) User interactive kiosk with three-dimensional display
US20160155231A1 (en) Head-mountable apparatus and systems
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
JP7073481B2 (ja) 画像表示システム
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
EP3813019A1 (en) Method and system for estimating the geometry of a scene
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
WO2017122004A1 (en) Detection system
JP6467039B2 (ja) 情報処理装置
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
EP4231635A1 (en) Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application
WO2018173206A1 (ja) 情報処理装置
Kyriazakos et al. A user-perspective view for mobile AR systems using discrete depth segmentation
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡
CN117716419A (zh) 图像显示系统及图像显示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12868254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12868254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP