WO2021131781A1 - 表示制御装置、表示制御方法、及び、記録媒体 - Google Patents

表示制御装置、表示制御方法、及び、記録媒体 Download PDF

Info

Publication number
WO2021131781A1
WO2021131781A1 PCT/JP2020/046247 JP2020046247W WO2021131781A1 WO 2021131781 A1 WO2021131781 A1 WO 2021131781A1 JP 2020046247 W JP2020046247 W JP 2020046247W WO 2021131781 A1 WO2021131781 A1 WO 2021131781A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
virtual
real
display control
color
Prior art date
Application number
PCT/JP2020/046247
Other languages
English (en)
French (fr)
Inventor
京二郎 永野
遼 深澤
秀憲 青木
智彦 後藤
井上　正行
新太郎 筒井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021131781A1 publication Critical patent/WO2021131781A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present technology relates to a display control device, a display control method, and a recording medium, and more particularly to a display control device, a display control method, and a recording medium that reduce a sense of discomfort in appearance in the fusion of a real environment and a virtual environment.
  • Patent Documents 1 and 2 describe AR (Augmented Reality) and MR (Mixed Reality) technologies that present shadows on virtual light sources and virtual objects virtually arranged in the real environment (real space). Is disclosed.
  • This technology was made in view of such a situation, and aims to reduce the appearance of discomfort in the fusion of the real environment and the virtual environment.
  • the display control device or recording medium on the first aspect of the present technology is a shadow presentation image synthesized in the user's field of view of observing a real object existing in the real space, and is in the real space of the real object.
  • a second shadow presentation image that presents a range between an existing real shadow and a first virtual shadow that is virtually arranged in the real space is displayed, and is combined with the range of the real shadow in the user's field of view.
  • a display control device having a display control unit for displaying an image of a virtual shadow, or a recording medium on which a program for operating a computer as such a display control device is recorded.
  • the display control method of the first aspect of the present technology is a shadow presentation image in which the display control unit of the display control device including the display control unit is combined with the user's view of observing a real object existing in the real space.
  • a shadow presentation image that presents a range between the real shadow of the real object that actually exists in the real space and the first virtual shadow that is virtually arranged in the real space is displayed, and the shadow presentation image is displayed in the user's field of view.
  • This is a display control method for displaying an image of a second virtual shadow synthesized in the range of the real shadow.
  • the display control device, the display control method, and the recording medium of the first aspect of the present technology is a shadow presentation image synthesized in the user's field of view of observing a real object existing in the real space, and is the real object.
  • a shadow presentation image presenting the range of the real shadow existing in the real space and the first virtual shadow virtually arranged in the real space is displayed, and the range of the real shadow in the user's field of view is displayed.
  • the image of the second virtual shadow to be combined is displayed.
  • FIG. 5 is a diagram showing a state in which a virtual light source is arranged at the same position as the real light source in the real space and the virtual space of FIG. It is a figure showing other display form 1 of AL shadow and RLPAL shadow.
  • FIG. 1 is a diagram illustrating the appearance of an AR (Augmented Reality) device 11 to which the present technology is applied.
  • the AR device 11 is a glasses-type head-mounted display (HMD: Head Mounted Display) worn on the head of the user U, and is equipped with an optical see-through type display.
  • HMD Head Mounted Display
  • the user U wearing the AR device 11 directly observes an object or the like existing in the real space by the light incident on the eyes of the user U from the real environment (real space), and at the same time, the view of the user U observing the real space. Observe the image of the virtual environment (virtual space) that is compositely displayed in.
  • FIG. 2 is a diagram for simply explaining the display unit of the AR device 11.
  • the AR device 11 has a display unit 43, and the display unit 43 has a half mirror 21 and an image display panel 22.
  • the half mirror 21 is arranged in front of the user U.
  • the half mirror 21 transmits light from, for example, a real object 23 arranged in the real space 20 and causes the light to enter the eyes of the user U. Therefore, the user U directly observes the real object 23 (and other objects) in the real space 20.
  • the image display panel 22 is a display device that displays an image of, for example, a liquid crystal panel or an organic EL panel.
  • the image display panel 22 displays an image of a virtual object 25 arranged in the virtual space 24.
  • the light from the image of the virtual object 25 displayed on the image display panel 22 is reflected by the half mirror 21 and is incident on the user U.
  • the real object 23 in the real space 20 exists, and the image of the virtual object 25 is displayed in the real space as if the virtual object 25 in the virtual space 24 exists in the real space 20. It is compositely displayed at 20.
  • the fact that the image of the predetermined object of the virtual space 24 such as a virtual object is compositely displayed in the field of view 26 of the user U observing the real space 20 is simply displayed in the real space 20 as the predetermined object (or the predetermined object). It is also said that the image) is combined. Further, the real object or the like in the real space 20 observed by the user U and the virtual object or the like synthesized in the real space 20 are also referred to as an observation image.
  • the AR device 11 not only synthesizes a virtual object in the real space 20, but also a virtual shadow (virtual shadow) of the virtual object formed by the light from the real light source existing in the real space 20 and the real space 20.
  • a virtual light source virtual light source
  • the user U can observe the state in which the real object or the virtual object is illuminated by the virtual light source that does not exist in the real space 20 as an observation image.
  • Cited Document 1 Japanese Unexamined Patent Publication No. 2019-53423
  • Cited Document 2 Japanese Unexamined Patent Publication No. 2010-12896
  • This technology reduces the difference in shadow color between the real shadow of a real object and the virtual shadow of a real object or a virtual object, and reduces the discomfort to the appearance (observation image) in the fusion of the real environment and the virtual environment, such as AR. Providing technology.
  • a shadow of a real object formed by light from a light source (real light source) existing in the real space 20 is referred to as an RL (Real Light) shadow.
  • a real object or a shadow of a virtual object (a virtual shadow synthesized in the real space 20) formed by light from a virtual light source virtually arranged in the real space 20 is called an AL (AR Light) shadow.
  • the shadow of a real object formed by the light from the virtual light source virtually arranged at the same position as the real light source in the real space 20 is RLPAL (Real Light Positioned AR Light). ) It's called a shadow. That is, the RLPAL shadow represents an AL shadow synthesized in the real space 20 so as to match the position (range) of the real shadow of the real object.
  • the shadow of a virtual object formed by light from a real light source existing in the real space 20 or a virtual light source virtually arranged at the same position as the real light source is called an AL shadow.
  • FIG. 3 is a block diagram showing a configuration example of an embodiment of the AR device 11 of FIG.
  • the AR device 11 has a sensor unit 41, a control unit 42, a display unit 43, a speaker 44, a communication unit 45, an operation input unit 46, and a storage unit 47.
  • the sensor unit 41 acquires various information about the user U or the surrounding environment of the user U, and supplies the acquired various information to the control unit 42 as sensor information.
  • the control unit 42 functions as an arithmetic processing unit and a control device, and controls the overall operation of the AR device 11 according to various programs. Further, the control unit 42 performs image generation processing and the like based on the sensor information from the sensor unit 41, and supplies the generated image to the display unit 43.
  • the display unit 43 has, for example, the configuration shown in FIG. 2, and has an optical see-through type display including an image display panel 22 for displaying images such as virtual objects, AL shadows, and text information to be synthesized in the real space 20. ..
  • the display unit 43 displays the image supplied from the control unit 42 on the image display panel 22 and synthesizes it in the real space 20.
  • the optical see-through type display of the display unit 43 may be any type of display such as a hologram type, a prism type, or a retinal scanning type.
  • the speaker 44 reproduces the sound information from the control unit 42.
  • the communication unit 45 communicates with another device by wire or wirelessly, transmits information from the control unit 42 to the other device, receives information from the other device, and supplies the information to the control unit 42.
  • Communication performed by the communication unit 45 with other devices is not limited to a communication method conforming to a specific standard, and is defined by a wired LAN (Local Area Network), a wireless LAN, infrared communication, Bluetooth (registered trademark), and the like. Communication method can be adopted.
  • the operation input unit 46 is a switch, a button, or the like provided in the AR device 11.
  • the storage unit 47 stores programs and parameters for the control unit 42 to execute various functions. Further, when the control unit 42 executes a program of a predetermined application, it is used for image processing (rendering, etc.) of images such as text information to be synthesized in the real space 20 and virtual objects and shadows to be synthesized in the real space 20. Memorize information.
  • the sensor unit 41 is installed in the AR device 11 of FIG. 1, and includes an outward camera 61, an inward camera 62, a microphone 63, a gyro sensor 64, an acceleration sensor 65, an orientation sensor 66, a positioning sensor 67, and a living body. It has a sensor 68 and a ToF camera 69.
  • the sensor unit 41 may not have all of the elements (referred to as sensors or the like) shown in FIG. 3, or may have a sensor or the like not shown in FIG. 3, and is the same. You may have a plurality of sensors and the like.
  • the outward-facing camera 61 captures an area corresponding to the field of view 26 of the user observing the real space 20, and supplies the obtained captured image (hereinafter referred to as a camera image) to the control unit 42.
  • the camera image may be a moving image or a still image taken at regular intervals.
  • a plurality of outward-facing cameras 61 may be provided, or may be a depth camera capable of acquiring a depth map.
  • the inward camera 62 photographs the eyes of the user U and supplies the captured images to the control unit 42.
  • the microphone 63 collects the user's voice and the surrounding environmental sound and supplies the voice information to the control unit 42.
  • the gyro sensor 64 is, for example, a 3-axis gyro sensor, which detects an angular velocity (rotational speed) around the 3-axis and supplies it to the control unit 42.
  • the acceleration sensor 65 is, for example, a 3-axis acceleration sensor, which detects acceleration in the 3-axis direction and supplies it to the control unit 42.
  • the azimuth sensor 66 is, for example, a 3-axis geomagnetic sensor (compass), detects the magnetic north direction (direction), and supplies it to the control unit 42.
  • the positioning sensor 67 detects the current position of the AR device 11 based on the acquired signal from the outside and supplies it to the control unit 42.
  • the positioning sensor 67 is a GPS (Global Positioning System) positioning sensor, which receives radio waves from GPS satellites and detects the position of the AR device 11.
  • the positioning sensor 67 detects the position by transmission / reception with, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile phone / PHS / smartphone, or short-range communication. You may.
  • the biosensor 68 detects the user's biometric information and supplies it to the control unit 42.
  • the biological sensor 68 includes heartbeat, body temperature, sweating, blood pressure, sweating, pulse, breathing, blinking, eye movement, gaze time, pupil diameter size, blood pressure, brain wave, body movement, body position, and skin temperature. , Skin electrical resistance, MV (microvibration), myoelectric potential, or SPO2 (blood oxygen saturation).
  • the ToF (Time-of-Flight) camera 69 acquires three-dimensional information of the real space 20 by utilizing the flight time of the light from irradiating the real space 20 with the light until the reflected light returns, and is a control unit. Supply to 42.
  • Control unit 42 The control unit 42 has functions as a recognition unit 81 and a display control unit 82.
  • the recognition unit 81 acquires user information regarding the user U and environmental information regarding the surrounding environment of the user U based on various sensor information from the sensor unit 41.
  • the user information represents, for example, information such as the position and posture (direction and inclination) of the viewpoint of the user U, the line of sight of the user U, and the gazing point of the user U.
  • the environmental information represents three-dimensional information such as a real object in the field of view 26 of the user U, light source information regarding the position of the real light source, and the like.
  • the recognition unit 81 includes a light source recognition unit 101, a self-position recognition unit 102, an object recognition unit 103, a shadow color recognition unit 104, and a shadow position recognition unit 105.
  • the light source recognition unit 101 obtains light source information indicating the position of the real light source in the real space 20 (the world coordinate system set in the real space 20) based on the camera image from the outward camera 61 of the sensor unit 41, for example. presume.
  • the light source recognition unit 101 may estimate the light source information based on the camera image from the wide-angle camera. Further, the light source information of the real light source existing in the real space 20 may be stored in advance by the storage unit 47, and the light source recognition unit 101 may acquire the light source information from the storage unit 47.
  • the light source recognition unit 101 estimates the shape of the real light source as the light source information.
  • the shape of the virtual light source is not particularly mentioned, and the light source recognition unit 101 estimates only the position of the actual light source as the light source information.
  • the self-position recognition unit 102 uses, for example, the AR device 11 (of the user U) in the real space 20 based on the sensor information from the gyro sensor 64, the acceleration sensor 65, the orientation sensor 66, and the position positioning sensor 67 of the sensor unit 41. Acquire position information indicating the position and posture of the viewpoint).
  • the object recognition unit 103 is, for example, based on the sensor information from the outward camera 61 of the sensor unit 41 or the ToF camera 69, and the object recognition unit 103 is a real object (table surface or floor) of the real space 20 that actually exists within the range of the user U's field of view 26. Acquires object information representing the position and shape of (including the surface of an object such as a surface).
  • the storage unit 47 stores the object information of the real object that actually exists in the real space 20 in advance, and the object recognition unit 103 stores the object information of the real object that exists within the range of the user U's field of view 26. It may be obtained from 47.
  • the shadow color recognition unit 104 acquires the shadow color information of the RL shadow of the real object based on the camera image from the outward camera 61 of the sensor unit 41. Specifically, the shadow color recognition unit 104 acquires shadow position information representing the position (range) of the RL shadow of the real object in the real space 20 from the shadow position recognition unit 105, and the AR device 11 (viewpoint of the user U). ) Is acquired from the self-position recognition unit 102.
  • the shadow color recognition unit 104 detects the shooting range of the outward camera 61 in the real space 20 based on the position information, and the position (range) of the RL shadow in the camera image based on the detected shooting range and the shadow position information. ) Is detected. Based on the detected image of the position (range) of the RL shadow, the shadow color recognition unit 104 acquires the color information of the RL shadow as the shadow color information.
  • the shadow color information is, for example, information that directly or indirectly represents the hue, lightness (luminance), and saturation of the shadow color.
  • the shadow position recognition unit 105 acquires object information from the object recognition unit 103 and light source information from the light source recognition unit 101, and based on the acquired object information and the light source information, the position of the RL shadow in the real space 20. Acquires shadow position information representing (range).
  • Display control unit 82 controls the operation and display contents of the display unit 43.
  • the display control unit 82 controls the position, posture, and state of the virtual object, AL shadow, text information, etc. to be synthesized in the real space 20 in the real space 20, and the virtual object as if it actually exists in the real space 20. Etc. are controlled.
  • the display control unit 82 generates (renders) images such as virtual objects, AL shadows, RLPAL shadows, and text information to be synthesized in the real space 20 based on the information acquired by the recognition unit 81, and the display unit 43. Supply to.
  • the content of the image to be combined in the real space 20 is set by the processing of the application executed by the control unit 42 or the like.
  • control unit 42 when a virtual light source that does not exist in the real space 20 is virtually arranged with respect to the real object that exists in the real space 20 and the AL shadow (first virtual shadow) of the real object is synthesized in the real space 20.
  • Process example 1 will be described.
  • FIG. 4 is a diagram showing a real object of interest, a real light source, an RL shadow, and the like in the real space 20.
  • the real object 121 of interest is a real object of interest in the real space 20, and represents the real object of interest.
  • the same processing as that for one real object is performed on each real object.
  • only the processing for the real object 121 of interest will be described with one real object as the real object 121 of interest.
  • the real light source 122 is a real light source that actually exists in the real space 20. Although the real light source 122 is shown at a position close to the real object 121 of interest for illustration on the drawing, it may actually be arranged outside the range of the drawing.
  • the RL shadow 123 represents a real shadow of the real object 121 of interest in the real space 20.
  • the object surface 124 is a flat object surface such as a floor on which the real object 121 of interest is placed in the real space 20.
  • the object surface 124 on which the real object 121 of interest is placed does not necessarily have to be flat.
  • the light source recognition unit 101 of the recognition unit 81 acquires the light source information indicating the position of the real light source 122 in the real space 20 and the like.
  • the object recognition unit 103 of the recognition unit 81 acquires object information representing the positions and shapes of the real object 121 of interest and the object surface 124 in the real space 20, and supplies the object information to the shadow position recognition unit 105.
  • the display control unit 82 of the control unit 42 represents the virtual object 121 of interest in the real space 20 in the virtual space 24 corresponding to the real space 20 based on the object information acquired by the object recognition unit 103.
  • An object and a virtual object surface representing the object surface 124 of the real space 20 are arranged.
  • the display control unit 82 arranges a virtual light source representing the real light source 122 in the virtual space 24 corresponding to the real space 20 based on the light source information acquired by the light source recognition unit 101.
  • the virtual space 24 corresponding to the real space 20 is a virtual space representing the real space 20, and each position (coordinate value) of the three-dimensional coordinate system (world coordinate system) set in the real space 20. ) And each position (coordinate value) of the three-dimensional coordinate system set in the virtual space 24 are associated with each other on a one-to-one basis.
  • the virtual space 24 is a virtual space corresponding to the real space 20.
  • the virtual space 24 corresponding to the real space 20 is simply referred to as a virtual space 24.
  • the virtual object of interest representing the real object of interest 121 in the virtual space 24 and the virtual object surface representing the object surface 124 have the shapes of the real object of interest 121 and the object surface 124 acquired as the object information, and the object information. It is arranged at the position in the virtual space 24 corresponding to each position in the real space 20 of the real object 121 and the object surface 124 acquired as.
  • the virtual light source representing the real light source 122 is arranged at a position in the virtual space 24 corresponding to the position of the real light source 122 acquired as the light source information in the real space 20.
  • the virtual object of interest representing the real object 121 of interest in the virtual space 24 the virtual object surface representing the object surface 124, and the virtual light source representing the real light source 122 are respectively described in the same manner as in the case of the real space 20. It is referred to as a real object 121 of interest, an object surface 124, and a real light source 122.
  • the shadow position recognition unit 105 of the recognition unit 81 acquires the shadow position information representing the position (range) of the RL shadow 123 (real shadow) of the real object 121 of interest.
  • the shadow position recognition unit 105 is formed on the object surface 124 by the light from the real light source 122 based on the real object 121, the object surface 124, and the real light source 122 arranged in the virtual space 24.
  • the position (range) of the shadow of the body 121 is calculated.
  • the shadow position recognition unit 105 sets the position (range) in the real space 20 corresponding to the calculated shadow position (range) of the real object 121 of interest in the virtual space 24 to the RL shadow 123 of the real object 121 of interest in the real space 20. It is acquired as shadow position information indicating the position (range) of.
  • the shadow position recognition unit 105 may use, for example, light source information (position of the real light source 122 in the real space 20) acquired by the light source recognition unit 101 and object information (position of the real object 121 of interest) acquired by the object recognition unit 103.
  • the position of the RL shadow 123 is calculated using the shadow map method based on the shape). Since the shadow map method is well known, the description thereof will be omitted.
  • a portion having a low brightness (luminance) on the object surface 124 portion is recognized as the RL shadow 123. It may be a method of doing.
  • the portion where the brightness (brightness) of the object surface 124 portion is low is defined as the RL shadow 123 by using the camera image from the outward camera 61, and the RL shadow on the camera image is used.
  • a method of calculating the position (range) of the RL shadow 123 in the real space 20 from the position (range) of 123 may be used.
  • the brightness (brightness) of the camera image from the outward camera 61 in a wide range (about 10 cm) from the position (range) of the RL shadow 123 obtained by the shadow map method may be used in which a portion having a brightness) lower than a predetermined value or a portion having a predetermined value or more lower than the peripheral portion is recognized as the position of the RL shadow 123.
  • the shadow color recognition unit 104 acquires the shadow color information representing the color of the RL shadow 123 of the real object 121 of interest.
  • the shadow color recognition unit 104 is 1 from the image area (image area of the RL shadow 123) corresponding to the position of the RL shadow 123 obtained as the shadow position information in the camera image from the outward camera 61. Extract color information for each pixel.
  • the color information to be extracted is, for example, an RGB component value in an RGB color space.
  • the shadow color recognition unit 104 calculates the color obtained by averaging the colors within the range of the RL shadow 123 as the shadow color (shadow color information) of the RL shadow 123. For example, the shadow color recognition unit 104 calculates the average value of the color information (RGB component values) for each pixel in the image region of the RL shadow 123 as the shadow color information representing the shadow color of the RL shadow 123. However, the shadow color recognition unit 104 has the highest brightness or lowest saturation of the pixels in the image area of the RL shadow 123, based on the color information of each pixel in the image area of the RL shadow 123. Alternatively, the color information of the pixel that is an intermediate value may be used as the shadow color of the RL shadow 123.
  • the display control unit 82 positions (ranges) the AL shadow (first virtual shadow) of the real object 121 of interest formed on the object surface 124 by the light from the virtual light source virtually arranged in the real space 20. Is calculated.
  • FIG. 5 is a diagram showing the states of the RL shadow 123 and the AL shadow 126 of the real object 121 of interest when the virtual light source 125 is virtually arranged in the real space 20 of FIG.
  • the space of FIG. 5 represents a space in which the real space 20 and the virtual space 24 of FIG. 4 are overlapped so as to coincide with each other.
  • the real object 121, the object surface 124, and the real light source 122 in the real space 20 and the real object 121 (virtual object of interest), the object surface 124 (virtual object surface), and the real light source 122 (virtual) in the virtual space 24. It is assumed that the real object 121, the object surface 124, and the real light source 122 in the real space 20 are shown on the drawing at the same position as the light source (FIGS. 6 to 9 below). , FIG. 11 and FIG. 13).
  • the virtual light source 125 is a virtual light source virtually arranged in the real space 20, and is arranged at the position of the virtual space 24 corresponding to the position of the real space 20 in which the virtual light source 125 is virtually arranged.
  • the display control unit 82 virtually places the virtual light source 125 at a predetermined position in the real space 20. Is set to be placed in.
  • arranging the virtual light source 125 at a predetermined position in the real space 20 may be given to the display control unit 82 from the device communicated with the AR device 11 by the communication unit 45 (see FIG. 3). , Not limited to specific cases.
  • the virtual light source 125 may be a surface light source having a predetermined shape.
  • the virtual light source 125 is shown at a position close to the real object 121 of interest in order to be shown on the drawing, but even if it is actually arranged outside the range of the drawing. Good.
  • the AL shadow 126 represents the AL shadow (first virtual shadow) of the real object 121 of interest formed on the object surface 124 by the light from the virtual light source 125.
  • the AL shadow 126 is a virtual shadow synthesized in the real space 20 and is arranged in the virtual space 24.
  • the display control unit 82 is the position of the AL shadow 126 formed by the light from the virtual light source 125 in the virtual space 24 based on the position information of the real object 121 of interest, the virtual light source 125, and the object surface 124 in the virtual space 24. Calculate (range).
  • the display control unit 82 determines the shadow colors of the AL shadow 126 and the RLPAL shadow (second virtual shadow).
  • FIG. 6 is a diagram showing a state in which the virtual light source 127 is arranged at the same position as the real light source 122 in the real space 20 and the virtual space 24 of FIG.
  • the virtual light source 127 is a virtual light source that is virtually arranged at the same position as the real light source 122 (the position of the virtual space 24 corresponding to the position of the real light source 122 in the real space 20).
  • the RLPAL shadow 128 represents the AL shadow (second virtual shadow) of the real object 121 of interest formed by the light from the virtual light source 127. That is, the RLPLAL shadow 128 is a virtual shadow synthesized at the position (range) of the RL shadow 123 in the real space 20, and is arranged in the virtual space 24.
  • the display control unit 82 arranges the RLPLAL shadow 128 at the position (range) of the virtual space 24 corresponding to the position (range) of the RL shadow 123 of the real object 121 of interest in the real space 20.
  • the display control unit 82 superimposes (combines) the RL shadow 123 and the RLLPAL shadow 128 of the real object 121 of interest formed by the light from the real light source 122 and the virtual light source 127 (hereinafter, superposed shadow) and a virtual shadow.
  • the shadow colors of the AL shadow 126 and the RLPAL shadow 128 are determined (adjusted) so that the AL shadow 126 of the real object 121 of interest formed by the light from the light source 125 has a similar shadow color.
  • the RL shadow 123 is darker (lower brightness) than the non-shadow peripheral portion in the real space 20.
  • the AL shadow 126 when the AL shadow 126 is synthesized in the real space 20, the brightness of the range of the AL shadow 126 (in the observation image) cannot be lowered from the peripheral portion in the field of view 26 of the user U. Therefore, even if only the shadow color of the AL shadow 126 is adjusted, the difference in the shadow color (difference in appearance) between the RL shadow 123 and the AL shadow 126 cannot be reduced.
  • the display control unit 82 virtually arranges the virtual light source 127 at the same position as the real light source 122, and forms the RLPLAL shadow 128 of the real object 121 of interest at the same position of the RL shadow 123.
  • the position (range) of the RL shadow 123 becomes brighter (in the observation image) in the view 26 of the user U, and the RL shadow becomes brighter. It is possible to reduce the difference between the shadow color in the range of 123 and the shadow color of the AL shadow 126.
  • the display control unit 82 bases the AL shadow 126 (first virtual shadow) and the RL PAL shadow (first virtual shadow) based on the shadow color of the AL shadow 126 (in the observation image) in the field of view 26 of the user U and the shadow color of the RL shadow 123. 2 Determine the shadow color of the virtual shadow).
  • the shadow colors of the AL shadow 126 (first virtual shadow) and the RLPAL shadow (second virtual shadow) are determined by, for example, the following method.
  • the shadow color of the AL shadow 126 in the field of view 26 of the user U is, to be exact, the shadow color of the AL shadow 126 in the virtual space 24 and the color of the region of the object surface 124 in which the AL shadow 126 is synthesized in the real space 20. It becomes a composite color. However, assuming that the combined color is substantially equal to the shadow color of the AL shadow 126 in the virtual space 24, the color of the region of the object surface 124 on which the AL shadow 126 is synthesized is not considered.
  • the R value (0 to 255), the G value (0 to 255), and the B value (0 to 255), which are the RGB component values when the shadow color is expressed in the RGB color space, are referred to as the (R value). , G value, B value).
  • the shadow color of the RL shadow 123 of the real object 121 of interest be (Rx, Gx, Bx).
  • the shadow color of the RL shadow 123 of the real object 121 of interest is obtained from, for example, the camera image of the outward camera 61.
  • the shadow color before adjustment of the AL shadow 126 of the real object 121 of interest is (Ry, Gy, By).
  • the shadow color (Ry, Gy, By) before adjustment of the AL shadow 126 is determined in advance to a predetermined color.
  • ⁇ be the tint coefficient and A be the tint addition value.
  • the display control unit 82 calculates the shadow color (Rx', Gx', Bx') of the RLPAL shadow 128 by the following equation (1).
  • the display control unit 82 obtains an average value for each RGB component value for the shadow color of the RL shadow 123 and the shadow color of the AL shadow 126 before adjustment, and with respect to the obtained average value for each RGB component value.
  • the value obtained by multiplying each of them by the tint coefficient ⁇ and adding the tint addition value A is defined as the shadow color (Rx', Gx', Bx') of the RLPAL shadow 128.
  • the display control unit 82 calculates the adjusted shadow color (Ry', Gy', By') of the AL shadow 126 by the following equation (2).
  • the display control unit 82 obtains an average value for each RGB component value for the shadow color of the RL shadow 123 and the shadow color of the AL shadow 126 before adjustment, and with respect to the obtained average value for each RGB component value.
  • the value obtained by multiplying each of them by the tint coefficient ⁇ is taken as the adjusted shadow color (Ry', Gy', By') of the AL shadow 126.
  • the shadow color (Rx, Gx, Bx) of the RL shadow 123 is (191, 191, 191)
  • the shadow colors (Ry', Gy', By') are (166, 185, 209).
  • the shadow colors (Rx', Gx', Bx') of the RLPAL shadow 128 are the RGB component values of the adjusted shadow colors (Ry', Gy', By') of the AL shadow 126, respectively. It is obtained as a shadow color obtained by adding the tint addition value A.
  • the tint addition value A added to the shadow color (Rx', Gx', Bx') of the RLPLAL shadow 128 is the shadow color of the RLPLAL shadow 128 because the RL shadow 123 has a lower brightness than the peripheral portion. It is an adjustment value to make up with.
  • the shadow color (Rx', Gx', Bx') of the RLPAL shadow 128 and the adjusted shadow color (Ry', Gy', By') of the AL shadow 126 are the presence or absence of addition of the hue addition value A. Other than that, it is calculated by the same formula, so the hue and saturation are almost the same.
  • the tint coefficient ⁇ is an adjustment value for adjusting the brightness of the shadow color of the AL shadow 126 and the RL PAL shadow 128. For example, when the RL shadow 123 is very dark and the average value for each RGB component value for the shadow color of the RL shadow 123 and the shadow color of the AL shadow 126 before adjustment is too small, the tint coefficient ⁇ becomes a large value. It is set and the AL shadow 126 and the RGBL shadow 128 are adjusted to an appropriate brightness.
  • the display control unit 82 determines the shadow colors of the AL shadow 126 and the RLPAL shadow 128, in the above equations (1) and (2), the object surface 124 on which the AL shadow 126 is synthesized in the real space 20
  • the shadow color of the AL shadow 126 and the RLPAL shadow 128 may be determined in consideration of the color of the region. For example, the shadow color obtained by combining (superimposing) the color of the region of the object surface 124 on which the AL shadow 126 and the AL shadow 126 are combined and the shadow color of the superimposed shadow obtained by combining the RL shadow 123 and the RLPLAL shadow 128 are abbreviated.
  • the shadow colors of AL shadow 126 and RLPAL shadow 128 may be determined so as to match.
  • the display control unit 82 is a method of determining the shadow color of the RLPLAL shadow 128 that reduces the difference in the shadow color between the RL shadow 123 and the AL shadow 126
  • any method can be used to determine the shadow color of the RLPLAL shadow 128. You may decide.
  • the shadow color of the RL PAL shadow 128 that reduces the difference in the shadow color between the RL shadow 123 and the AL shadow 126 is at least one of the hue, lightness, and saturation of the shadow color between the RL shadow 123 and the AL shadow 126. Represents a shadow color that reduces the difference.
  • the display control unit 82 generates an image observed by the position and orientation of the viewpoint of the user U with respect to the AL shadow 126 and the RLPAL shadow 128 generated as described above. Then, the display control unit 82 supplies the generated images of the AL shadow 126 and the RLPAL shadow 128 to the display unit 43 as a shadow presentation image presenting the range of the shadow, and synthesizes the images in the real space 20.
  • the AL shadow 126 when the virtual light source 125 is arranged with respect to the real object 121 of interest is synthesized in the real space 20. Further, the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the images of the AL shadow 126 (first virtual shadow) and the RLPLAL shadow 128 (second virtual shadow) are combined with the RL shadow 123 (real shadow) that actually exists in the real space 20 (in the observation image) in the view 26 of the user U. It is displayed as a shadow presentation image that presents the range of the real object 121 of interest that is virtually arranged in the real space 20 with the AL shadow 126 (first virtual shadow).
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort to the observed image is reduced.
  • FIG. 7 is a diagram showing another display form 1 of the AL shadow 126 and the RLPAL shadow 128.
  • the real object 121, the real light source 122, the RL shadow 123, the object surface 124, the virtual light source 125, the AL shadow 126, and the virtual light source 127 is shown.
  • the AL shadow 126 and the RLPAL shadow 128 in FIG. 7 are different from the case of FIG. 6 in that the contour 126A and the contour 128A are blurred, respectively.
  • the display control unit 82 performs Gaussian blur processing on the contours (peripheries) of the AL shadow 126 and the RLPAL shadow 128 in FIG. 6 to blur the contours.
  • Gaussian blurring process for example, each pixel (each voxel) in a region having a predetermined width along the contours of the AL shadow 126 and the RGBAL shadow 128 is set as the pixel of interest, and a predetermined distance (for example, for example) on the object surface 124 with respect to the pixel of interest.
  • the color obtained by taking the weighted average of the pixel colors (RGB component values) included in the range of several cm) is set as the color of the pixel of interest.
  • any method can be adopted as a method of blurring the contours of the AL shadow 126 and the RLPAL shadow 128.
  • the images of the AL shadow 126 (first virtual shadow) and the RLPLAL shadow 128 (second virtual shadow) are displayed by the user U as in the case of FIG. Range between the RL shadow 123 (real shadow) existing in the real space 20 (in the observation image) and the AL shadow 126 (first virtual shadow) of the real object 121 of interest virtually arranged in the real space 20. Is displayed as a shadow presentation image. Further, by synthesizing the RL PAL shadow 128 (second virtual shadow) at the position (range) of the RL shadow 123 (real shadow) in the real space 20, the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U.
  • FIG. 8 is a diagram showing another display form 2 of the AL shadow 126 and the RLPAL shadow 128.
  • the real object 121, the real light source 122, the RL shadow 123, the object surface 124, the virtual light source 125, the AL shadow 126, and the virtual light source 127 is shown.
  • the shadow colors of the AL shadow 126 and the RLPAL shadow 128 in FIG. 8 are different from those in the case of FIG. Further, the AL shadow 126 and the RLPAL shadow 128 in FIG. 8 are different from the case of FIG. 6 in that the color addition portion 129 is provided in the peripheral portion.
  • the display control unit 82 does not add a shadow color to the AL shadow 126 (the RGB component value is (0, 0, 0)). That is, the shadow color of the AL shadow 126 (in the observation image) in the field of view 26 of the user U is the color of the region of the object surface 124 in which the AL shadow 126 is synthesized in the real space 20.
  • the display control unit 82 synthesizes the RLPLAL shadow 128 (range) at the position (range) of the RL shadow 123 based on the shadow color of the AL shadow 126 (first virtual shadow) in the view 26 of the user U (in the observation image).
  • Set the shadow color of the second virtual shadow For example, the display control unit 82 sets the shadow color of the AL shadow 126 (first virtual shadow) in the field of view 26 of the user U as the shadow color of the RLPAL shadow 128 (second virtual shadow).
  • the shadow color of the AL shadow 126 (first virtual shadow) in the field of view 26 of the user U is the color of the region of the object surface 124 on which the AL shadow 126 is synthesized in the real space 20 as described above, for example, the sensor unit 41. Obtained from the camera image from the outward facing camera 61 of
  • the AL shadow 126 and the RLPAL shadow 128 are combined in the real space 20
  • the AL shadow 126 and the RLPAL shadow 128 (in the observation image) in the user U's field of view 26 Is observed by the user U as substantially the same shadow color.
  • the shadow colors of the AL shadow 126 and the RLPAL shadow 128 may be determined in the same manner as in FIG.
  • the display control unit 82 sets the color addition unit 129 to a predetermined color.
  • the color addition unit 129 adds a predetermined color to the peripheral portion of the range of the AL shadow 126 (first virtual shadow) and the RL shadow 123 (real shadow), thereby adding a predetermined color to the AL shadow 126 (first virtual shadow) and the RL. It is a shadow presentation image that presents the range with the shadow 123 (actual shadow).
  • the color addition unit 129 includes the real object 121, the AL shadow 126, and the RLPAL shadow 128 in the range of the circle including the real object 121, the AL shadow 126, and the RLPAL shadow 128. Represents a portion to which a predetermined color is added to a range excluding 128 areas.
  • the center of the circle within the range of the color addition portion 129 is set, for example, at the position of the center of gravity of the regions of the real object 121, the AL shadow 126, and the RL PAL shadow 128 that occupy the object surface 124.
  • the display control unit 82 supplies the image of the color addition unit 129 together with the image of the RLLPAL shadow 128 to the display unit 43, and combines the image of the RLLPAL shadow 128 and the image of the color addition unit 129 into the real space 20.
  • the image of the color addition unit 129 in the user U's field of view 26 is an RL that actually exists in the real space 20 (in the observation image) in the user U's field of view 26. It is displayed as a shadow presentation image that presents the range between the shadow 123 (real shadow) and the AL shadow 126 (first virtual shadow) of the real object 121 of interest that is virtually arranged in the real space 20. That is, the range of the RL shadow 123 (real shadow) and the AL shadow 126 (first virtual shadow) is presented by the range of the color different from that of the color addition section 129 within the range of the image of the color addition section 129.
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort with respect to the observed image is reduced.
  • the color addition portion 129 may be subjected to a blurring process on the outer peripheral contour and the boundary portion between the AL shadow 126 and the RLPAL shadow 128, or a gradation process in which the brightness decreases as the distance from the center increases. It may be given. Further, the outer shape of the color addition portion 129 does not have to be circular, and may be any shape such as an ellipse or a square.
  • FIG. 9 is a diagram showing another display form 3 of the AL shadow 126 and the RLPAL shadow 128.
  • the real object 121, the real light source 122, the RL shadow 123, the object surface 124, the virtual light source 125, the AL shadow 126, and the virtual light source 127 is shown.
  • the shadow colors of AL shadow 126 and RLPAL shadow 128 in FIG. 9 are different from those in FIG. Further, the AL shadow 126 and the RLPAL shadow 128 in FIG. 9 are different from the case of FIG. 6 in that they have a contour portion 130 to which a color is added along the boundary.
  • the display control unit 82 determines the shadow colors of the AL shadow 126 and the RLPAL shadow 128 in the same manner as in the case of FIG. As a result, when the images of the AL shadow 126 and the RLPAL shadow 128 (actually only the RLPAL shadow 128) are combined in the real space 20, the AL shadow 126 and the RLPAL shadow 128 (in the observation image) in the user U's field of view 26 Is observed by the user U as substantially the same shadow color.
  • the shadow colors of the AL shadow 126 and the RLPAL shadow 128 may be determined in the same manner as in FIG.
  • the display control unit 82 sets the contour unit 130 to a predetermined color.
  • the contour portion 130 is an image representing the contour of the AL shadow 126 (first virtual shadow) and the RL shadow 123 (real shadow), and is an image of the AL shadow 126 (first virtual shadow) and the RL shadow 123 (real shadow). A predetermined color is added to the area along the outline of the range. Further, the contour portion 130 is a shadow presentation image that presents a range between the AL shadow 126 (first virtual shadow) and the RL shadow 123 (real shadow). The region where the AL shadow 126 and the RLPAL shadow 128 overlap and the region along the real object 121 of interest may be excluded from the region of the contour portion 130 (so that the contour portion 130 is not provided), or may not be excluded. You may.
  • the display control unit 82 supplies the image of the contour portion 130 together with the image of the RLLPAL shadow 128 to the display unit 43, and synthesizes the image of the RLLPAL shadow 128 and the image of the contour portion 130 in the real space 20.
  • the image of the contour portion 130 in the view 26 of the user U is an RL shadow that actually exists in the real space 20 (in the observation image) in the view 26 of the user U. It is displayed as a shadow presentation image that presents the range between 123 (real shadow) and AL shadow 126 (first virtual shadow) of the real object 121 of interest that is virtually arranged in the real space 20.
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort with respect to the observed image is reduced.
  • FIG. 10 is a flowchart showing the procedure of the processing example 1 performed by the control unit 42. A case where the AL shadow 126 and the RL PAL shadow 128 are combined with the real space 20 according to the display form of FIG. 6 will be described.
  • step S11 the light source recognition unit 101 of the recognition unit 81 in the control unit 42 acquires the light source information indicating the position of the actual light source 122 or the like based on the sensor information from the sensor unit 41.
  • the process proceeds from step S11 to step S12.
  • step S12 the object recognition unit 103 of the recognition unit 81 in the control unit 42 acquires the object information representing the positions and shapes of the real object 121 of interest and the object surface 124 based on the sensor information from the sensor unit 41.
  • the process proceeds from step S12 to step S13.
  • step S13 the shadow position recognition unit 105 of the recognition unit 81 in the control unit 42 of the RL shadow 123 of the real object 121 of interest is based on the light source information acquired in step S11 and the object information acquired in step S12. Acquires the shadow position information indicating the position.
  • the process proceeds from step S13 to step S14.
  • step S14 the shadow color recognition unit 104 of the recognition unit 81 in the control unit 42 of the real object 121 of interest is based on the shadow position information acquired in step S13 and the camera image from the outward camera 61 of the sensor unit 41.
  • the shadow color information of the RL shadow 123 is acquired. The process proceeds from step S14 to step S15.
  • step S15 the display control unit 82 in the control unit 42 calculates the position of the AL shadow 126 of the real object 121 of interest formed by the light from the virtual light source 125. The process proceeds from step S15 to step S16.
  • step S16 the display control unit 82 is RLPAL formed by the AL shadow 126 of the real object 121 of interest and the light from the virtual light source 127 at the same position as the real light source 122, based on the shadow color information acquired in step S14. The shadow color of the shadow 128 is determined. The process proceeds from step S16 to step S17.
  • step S17 the display control unit 82 supplies the image of the AL shadow 126 and the RLPLAL shadow 128 generated in the shadow color determined in step S16 to the display unit 43, and supplies the AL shadow 126 and the RLPLAL shadow 128. Synthesize in real space 20. The process returns from step S17 to step S11, and the process from step S11 is repeated.
  • steps S11 to S17 is executed once each time the display control unit 82 supplies an image for one frame to the display unit 43, but this is not limited to this.
  • the AL shadow 126 when the virtual light source 125 is arranged with respect to the real object 121 of interest is synthesized in the real space 20. Further, the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the images of the AL shadow 126 (first virtual shadow) and the RLPLAL shadow 128 (second virtual shadow) are the RL shadow 123 (real shadow) that actually exists in the real space 20 (in the observation image) in the view 26 of the user U.
  • the AL shadow 126 (first virtual shadow) of the real object 121 of interest that is virtually arranged in the real space 20 are displayed as a shadow presentation image that presents the range.
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort to the observed image is reduced.
  • FIG. 11 is a diagram showing a state in which the virtual object 151 is arranged in the same real space 20 as in FIG.
  • the real object 121 of interest the real light source 122, the RL shadow 123, the object surface 124, the virtual light source 127, and the RLPLAL shadow 128 are shown as in the case of FIG. ing.
  • the virtual object 151 is a virtual object synthesized in the real space 20 and is arranged in the virtual space 24. For example, it is required that the virtual object 151 having a predetermined shape is synthesized at a predetermined position in the real space 20 by the processing of the application executed by the control unit 42.
  • the display control unit 82 arranges the virtual object 151 having the requested shape at the position of the virtual space 24 corresponding to the position of the requested real space 20.
  • synthesizing the virtual object 151 having a predetermined shape at a predetermined position in the real space 20 is given to the display control unit 82 from the device that is communicated and connected to the AR device 11 by the communication unit 45 (see FIG. 3). It may be, and it is not limited to a specific case.
  • the AL shadow 152 represents a virtual shadow (first virtual shadow) of the virtual object 151 formed on the object surface 124 by the light from the real light source 122 (or the virtual light source 127).
  • the AL shadow 152 is a virtual shadow synthesized in the real space 20 and is arranged in the virtual space 24.
  • the AL shadow 152 corresponds to the RL shadow 123 or the RLLPAL shadow 128 of the real object 121 of interest in that it is formed by the light from the real light source 122 or the virtual light source 127 at the same position as the real light source 122.
  • the AL shadow 152 is not a shadow that actually exists in the real space like the RL shadow 123, nor is it a shadow superimposed on the RL shadow 123 like the RLLPAL shadow 128, but is an AL shadow.
  • the display control unit 82 generates the RLPLAL shadow 128 of the real object 121 of interest in the same manner as in FIGS. 4 to 6. That is, the display control unit 82 arranges the RLPLAL shadow 128 at the position (range) in the virtual space 24 corresponding to the position (range) of the RL shadow 123 of the real object 121 of interest in the real space 20. Further, the display control unit 82 uses the above equations (1) and the above equations based on the shadow colors (Rx, Gx, Bx) of the RL shadow 123 and the shadow colors (Ry, Gy, By) of the AL shadow 152 before adjustment. Using (2), the adjusted shadow color (Ry', Gy', By') of the AL shadow 126 and the shadow color (Rx', Gx', Bx') of the RLPAL shadow 128 are calculated.
  • the display control unit 82 arranges the virtual object 151 at the position of the virtual space 24 corresponding to the position of the real space 20 where the virtual object 151 is virtually arranged.
  • the display control unit 82 calculates the position of the AL shadow 152 of the virtual object 151 formed on the object surface 124 by the light from the real light source 122 (or the virtual light source 127) in the virtual space 24.
  • the position of the AL shadow 152 is calculated from the position and shape of the virtual object 151, the position of the real light source 122 (or the virtual light source 127), and the like.
  • the display control unit 82 calculates the position of the AL shadow 152 in the virtual space 24, the display control unit 82 arranges the AL shadow 152 of the adjusted shadow color (Ry', Gy', By') at the calculated position.
  • the display control unit 82 generates an image observed by the position and orientation of the viewpoint of the user U with respect to the RLPAL shadow 128, the virtual object 151, and the AL shadow 152 arranged in the virtual space 24. Then, the display control unit 82 supplies the generated image to the display unit 43 and synthesizes it in the real space 20.
  • the AL shadow 152 of the virtual object 151 due to the light from the real light source 122 when the virtual object 151 is combined with the real object 121 of interest is synthesized in the real space 20. Further, the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the images of the AL shadow 152 (first virtual shadow) and the RL PAL shadow 128 (second virtual shadow) are the RL shadow 123 (real shadow) that actually exists in the real space 20 (in the observation image) in the view 26 of the user U.
  • the AL shadow 152 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort with respect to the observed image is reduced.
  • FIG. 12 is a flowchart showing the procedure of the processing example 2 performed by the control unit 42.
  • steps S31 to S34 are common to steps S11 to S14 in the flowchart of FIG. 10, the description thereof will be omitted.
  • step S35 the display control unit 82 in the control unit 42 calculates the position of the AL shadow 152 of the virtual object 151 formed by the light from the real light source 122 (virtual light source 127). The process proceeds from step S35 to step S36.
  • step S36 the display control unit 82 determines the shadow color of the AL shadow 152 of the virtual object 151 and the shadow color of the RLPAL shadow 128 of the real object 121 of interest based on the shadow color information acquired in step S34. The process proceeds from step S36 to step S37.
  • step S37 the display control unit 82 supplies the image of the virtual object 151 to be synthesized in the real space 20, the AL shadow 152 of the shadow color determined in step S36, and the image of the RLPAL shadow 128 to the display unit 43. Then, the virtual object 151, the AL shadow 152, and the RLPAL shadow 128 are combined in the real space 20.
  • the process returns from step S37 to step S31, and the process from step S31 is repeated.
  • steps S31 to S37 is executed once each time the display control unit 82 supplies an image for one frame to the display unit 43, but the present invention is not limited to this.
  • the AL shadow 152 of the virtual object 151 due to the light from the real light source 122 when the virtual object 151 is combined with the real object 121 of interest is synthesized in the real space 20. Further, the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the images of the AL shadow 152 (first virtual shadow) and the RL PAL shadow 128 (second virtual shadow) are the RL shadow 123 (real shadow) that actually exists in the real space 20 (in the observation image) in the view 26 of the user U.
  • the AL shadow 152 (first virtual shadow) is formed in the view 26 of the user U. It is possible to reduce the difference in shadow color (appearance) between the RL shadow 123 (actual shadow) and the RL shadow 123 (actual shadow), and the discomfort with respect to the observed image is reduced.
  • ⁇ Processing example 3 of control unit 42> a virtual light source that does not exist in the real space 20 is arranged with respect to the real object that exists in the real space 20, and the virtual object and the real object and the AL shadow (first virtual shadow) of the virtual object are formed in the real space 20.
  • a processing example 3 of the control unit 42 in the case of synthesizing in the above will be described.
  • FIG. 13 is a diagram showing a state in which a virtual object 151 is added to the real space 20 and the virtual space 24 similar to those in FIG.
  • the real object 121, the real light source 122, the RL shadow 123, the object surface 124, the virtual light source 125, the AL shadow 126, and the virtual light source 127 is shown.
  • the real space 20 and the virtual space 24 of FIG. 13 are shown in FIG. 6 in that the virtual object 151, the AL shadow 152, and the AL shadow 153 are added to the real space 20 and the virtual space 24 of FIG. Different from the case of.
  • the real space 20 and the virtual space 24 in FIG. 13 show a state when the virtual light source 125 is added in the real space 20 and the virtual space 24 in FIG. 11, and the parts corresponding to the case in FIG. 11 have the same reference numerals. Is attached.
  • the virtual object 151 is a virtual object synthesized in the real space 20 and is arranged in the virtual space 24. For example, it is required that the virtual object 151 having a predetermined shape is synthesized at a predetermined position in the real space 20 by the processing of the application executed by the control unit 42.
  • the display control unit 82 arranges the virtual object 151 having the requested shape at the position of the virtual space 24 corresponding to the position of the requested real space 20.
  • synthesizing the virtual object 151 having a predetermined shape at a predetermined position in the real space 20 is given to the display control unit 82 from the device that is communicated and connected to the AR device 11 by the communication unit 45 (see FIG. 3). It may be, and it is not limited to a specific case.
  • the AL shadow 152 represents a virtual shadow (first virtual shadow) of the virtual object 151 formed on the object surface 124 by the light from the real light source 122 (or the virtual light source 127).
  • the AL shadow 152 is a virtual shadow synthesized in the real space 20 and is arranged in the virtual space 24.
  • the AL shadow 152 corresponds to the RL shadow 123 or the RLLPAL shadow 128 of the real object 121 of interest in that it is formed by the light from the real light source 122 or the virtual light source 127 at the same position as the real light source 122.
  • the AL shadow 152 is not a shadow that actually exists in the real space like the RL shadow 123, nor is it a shadow superimposed on the RL shadow 123 like the RLLPAL shadow 128, but is an AL shadow.
  • the AL shadow 153 represents a virtual shadow (first virtual shadow) of the virtual object 151 formed on the object surface 124 by the light from the virtual light source 125.
  • the AL shadow 153 is a virtual shadow synthesized in the real space 20 and is arranged in the virtual space 24.
  • the display control unit 82 generates the AL shadow 126 (first virtual shadow) and the RLPAL shadow 128 (second virtual shadow) of the real object 121 of interest in the same manner as in FIGS. 4 to 6.
  • the display control unit 82 arranges the virtual object 151 at the position of the virtual space 24 corresponding to the position of the real space 20 where the virtual object 151 is virtually arranged.
  • the display control unit 82 determines the position of the AL shadow 152 of the virtual object 151 formed on the object surface 124 by the light from the real light source 122 (or the virtual light source 127) in the virtual space 24, and the light from the virtual light source 125.
  • the position of the AL shadow 153 of the virtual object 151 formed on the object surface 124 is calculated.
  • the positions of the AL shadow 152 and the AL shadow 153 are calculated from the positions and shapes of the virtual object 151, the positions of the virtual light source 125 and the real light source 122 (virtual light source 127), and the like.
  • the display control unit 82 calculates the positions of the AL shadow 152 and the AL shadow 153 in the virtual space 24, the display control unit 82 arranges the AL shadow 152 and the AL shadow 153 at the calculated positions.
  • the shadow colors of the AL shadow 152 and the AL shadow 153 are set to the same shadow colors as the AL shadow 126.
  • the display control unit 82 displays an image observed by the position and orientation of the viewpoint of the user U with respect to the AL shadow 126, the RLPAL shadow 128, the virtual object 151, the AL shadow 152, and the AL shadow 153 arranged in the virtual space 24. Generate. Then, the display control unit 82 supplies the generated image to the display unit 43 and synthesizes it in the real space 20.
  • the AL shadow 126 of the real object of interest 121 when the virtual light source 125 is arranged with respect to the real object of interest 121 is synthesized in the real space 20.
  • the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the AL shadow 152 of the virtual object 151 by the light from the real light source 122 is synthesized in the real space 20.
  • the AL shadow 153 of the virtual object 151 by the light from the virtual light source 125 is synthesized in the real space 20.
  • the images of AL shadow 126 (first virtual shadow), RLPAL shadow 128 (second virtual shadow), AL shadow 152 (first virtual shadow), and AL shadow 153 (first virtual shadow) are visible to the user U.
  • the AL shadow 126 (first virtual shadow) of the real object 121 of interest virtually arranged in the real space 20
  • the virtual shadow It is displayed as a shadow presentation image that presents the range of the object 151 with the AL shadow 152 (first virtual shadow) and the AL shadow 153 (first virtual shadow).
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U.
  • AL shadow 152 (first virtual shadow)
  • AL shadow 153 (first virtual shadow)
  • RL shadow 123 real shadow
  • FIG. 14 is a flowchart showing the procedure of the processing example 3 performed by the control unit 42.
  • steps S51 to S54 are common to steps S11 to S14 in the flowchart of FIG. 10, the description thereof will be omitted.
  • step S55 the display control unit 82 in the control unit 42 calculates the position of the AL shadow 126 of the real object 121 of interest formed by the light from the virtual light source 125 and the AL shadow 153 of the virtual object 151, and actually The position of the AL shadow 152 of the virtual object 151 formed by the light from the light source 122 (or the virtual light source 127) is calculated.
  • the process proceeds from step S55 to step S56.
  • step S56 the display control unit 82 sets the AL shadow 126 of the real object 121 of interest, the AL shadow 152 of the virtual object 151, the AL shadow 153, and the real object of interest based on the shadow color information acquired in step S54.
  • the shadow color of the body 121 with the RLPAL shadow 128 is determined. The process proceeds from step S56 to step S57.
  • step S57 the display control unit 82 uses the image of the virtual object 151 to be synthesized in the real space 20, and the shadow colors AL shadow 126, AL shadow 152, AL shadow 153, and RLPAL shadow 128 determined in step S56. Is supplied to the display unit 43, and the virtual object 151, the AL shadow 126, the AL shadow 152, the AL shadow 153, and the RLPAL shadow 128 are combined with the real space 20. The process returns from step S57 to step S51, and the process from step S51 is repeated.
  • steps S51 to S57 is executed once each time the display control unit 82 supplies an image for one frame to the display unit 43, but the present invention is not limited to this.
  • the AL shadow 126 of the real object of interest 121 when the virtual light source 125 is arranged with respect to the real object of interest 121 is synthesized in the real space 20.
  • the RL PAL shadow 128 is synthesized at the position of the RL shadow 123 in the real space 20.
  • the AL shadow 152 of the virtual object 151 by the light from the real light source 122 is synthesized in the real space 20.
  • the AL shadow 153 of the virtual object 151 by the light from the virtual light source 125 is synthesized in the real space 20.
  • the images of AL shadow 126 (first virtual shadow), RLPAL shadow 128 (second virtual shadow), AL shadow 152 (first virtual shadow), and AL shadow 153 (first virtual shadow) are visible to the user U.
  • the AL shadow 126 (first virtual shadow) of the real object 121 of interest virtually arranged in the real space 20
  • the virtual shadow It is displayed as a shadow presentation image that presents the range of the object 151 with the AL shadow 152 (first virtual shadow) and the AL shadow 153 (first virtual shadow).
  • the AL shadow 126 (first virtual shadow) is formed in the view 26 of the user U.
  • AL shadow 152 (first virtual shadow)
  • AL shadow 153 (first virtual shadow)
  • RL shadow 123 real shadow
  • the series of processes of the control unit 42 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 15 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 211 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by mounting the removable media 211 in the drive 210. Further, the program can be received by the communication unit 209 and installed in the storage unit 208 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 202 or the storage unit 208.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also have the following configurations.
  • a shadow presentation image synthesized in the user's field of view that observes a real object that actually exists in the real space, and is virtually arranged in the real space and the real shadow that actually exists in the real space.
  • a display control device having a display control unit that displays a shadow presentation image that presents a range with the first virtual shadow and displays an image of the second virtual shadow that is combined with the range of the real shadow in the user's field of view. .. ⁇ 2> The display control device according to ⁇ 1>, wherein the first virtual shadow includes a virtual shadow of the real object formed by light from a virtual light source virtually arranged in the real space.
  • the first virtual shadow is A virtual shadow of the virtual object formed by light from a virtual light source virtually arranged in the real space
  • the display control unit displays an image of a second virtual shadow having a shadow color based on at least one of the shadow color of the first virtual shadow and the shadow color of the real shadow in the user's field of view.
  • the display control device according to any one of 1> to ⁇ 4>.
  • ⁇ 6> The display control device according to any one of ⁇ 1> to ⁇ 5>, further comprising a shadow position recognition unit that acquires the position of the actual shadow based on a captured image obtained by capturing the user's field of view.
  • ⁇ 7> The display control device according to ⁇ 5>, further including a shadow color recognition unit that acquires the shadow color of the actual shadow based on a captured image obtained by capturing the user's field of view.
  • the shadow color of the second virtual shadow is a shadow that reduces at least one of the hue, lightness, and saturation of the shadow color of the first virtual shadow and the shadow color of the real shadow.
  • the display control device according to any one of ⁇ 1> to ⁇ 7>, which is a color.
  • the shadow presentation image is any one of ⁇ 1> to ⁇ 8> including the image of the first virtual shadow synthesized in the range of the first virtual shadow and the image of the second virtual shadow.
  • ⁇ 10> The display according to any one of ⁇ 1> or ⁇ 9>, wherein the shadow presentation image includes an image in which a predetermined color is added to the peripheral portion of the range of the first virtual shadow and the second virtual shadow.
  • ⁇ 11> The display control device according to any one of ⁇ 1> or ⁇ 9>, wherein the shadow presentation image includes an image representing the outline of the first virtual shadow and the second virtual shadow.
  • the display control device according to ⁇ 7>, wherein the shadow color recognition unit acquires a color obtained by averaging colors within the range of the actual shadow as the shadow color of the actual shadow.
  • the shadow color of the first virtual shadow is a color composed of RGB component values obtained by multiplying the average value of the predetermined shadow color and the shadow color of the real shadow for each RGB component value by a predetermined coefficient.
  • the shadow color of the second virtual shadow is set to a color obtained by adding a predetermined value to the RGB component value of the color set as the shadow color of the first virtual shadow.
  • the display control device includes an image in which the contours of the first virtual shadow image and the second virtual shadow image are blurred.
  • the shadow presentation image includes the real object, the first virtual shadow, and the second virtual shadow, and the real object, the first virtual shadow, and the second virtual shadow.
  • the display control device which includes an image in which the predetermined color is added to a range excluding the range of.
  • the shadow presentation image includes the real object, the first virtual shadow, and the second virtual shadow in the range of a circle including the real object, the first virtual shadow, and the second virtual shadow.
  • the display control device which includes an image in which the predetermined color is added to a range excluding the range of virtual shadows.
  • ⁇ 17> The display control device according to ⁇ 6>, wherein the shadow position recognition unit calculates the position of the real shadow based on the position of the real light source existing in the real space and the position and shape of the real object.
  • ⁇ 18> The display control device according to any one of ⁇ 1> to ⁇ 17>, wherein the display control unit displays the shadow presentation image and the second virtual shadow image on an optical see-through type display.
  • the display control unit of the display control device including the display control unit is a shadow presentation image synthesized in the user's view of observing a real object existing in the real space, and is in the real space of the real object.
  • a second shadow presentation image that presents a range between an existing real shadow and a first virtual shadow that is virtually arranged in the real space is displayed, and is combined with the range of the real shadow in the user's field of view.
  • Computer A shadow presentation image synthesized in the user's field of view that observes a real object that actually exists in the real space. The real shadow of the real object that actually exists in the real space and the first virtual that is virtually arranged in the real space.
  • a program is recorded to display a shadow presentation image that presents a range with a shadow and to function as a display control unit that displays an image of a second virtual shadow synthesized in the range of the real shadow in the user's field of view. Recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、現実環境と仮想環境との融合における見た目の違和感の低減を図ることができるようにする表示制御装置、表示制御方法、及び、記録媒体に関する。 実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像が表示され、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像が表示される。本技術は、光学シースルー型のＨＭＤに適用され得る。

Description

表示制御装置、表示制御方法、及び、記録媒体
　本技術は、表示制御装置、表示制御方法、及び、記録媒体に関し、特に、現実環境と仮想環境との融合における見た目の違和感の低減を図る表示制御装置、表示制御方法、及び、記録媒体に関する。
　特許文献１、２には、現実環境（実空間）に仮想的に配置された仮想光源や仮想物体に対する影を提示するＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）の技術が開示されている。
特開２０１９－５３４２３号公報 特開２０１０－１２８９６号公報
　ＡＲ等の技術において、現実環境と仮想環境との融合における見た目の違和感の低減することが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、現実環境と仮想環境との融合における見た目の違和感の低減を図る。
　本技術の第１の側面の表示制御装置、又は、記録媒体は、実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御部を有する表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
　本技術の第１の側面の表示制御方法は、表示制御部を含む表示制御装置の前記表示制御部が、実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御方法である。
　本技術の第１の側面の表示制御装置、表示制御方法、及び、記録媒体においては、実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像が表示され、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像が表示される。
本技術を適用したＡＲ装置の外観を例示した図である。 ＡＲ装置の表示部を簡易に説明する図である。 図１のＡＲ装置の一実施の形態の構成例を示すブロック図である。 実空間における着目実物体、実光源、及び、ＲＬ影等を表した図である。 図４の実空間に仮想光源を仮想的に配置した場合の着目実物体のＲＬ影及びＡＬ影の状態を表した図である。 図５の実空間及び仮想空間において、実光源と同一位置に仮想光源を配置した状態を表した図である。 ＡＬ影及びＲＬＰＡＬ影の他の表示形態１を表した図である。 ＡＬ影及びＲＬＰＡＬ影の他の表示形態２を表した図である。 ＡＬ影及びＲＬＰＡＬ影の他の表示形態３を表した図である。 制御部が行う処理例１の手順を示したフローチャートである。 図４と同様の実空間に対して、仮想物体を配置した状態を表した図である。 制御部が行う処理例２の手順を示したフローチャートである。 図６と同様の実空間及び仮想空間に対して、仮想物体を追加した状態を表した図である。 制御部が行う処理例３の手順を示したフローチャートである。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜＜本技術を適用したＡＲ装置の一実施の形態＞＞
　図１は、本技術を適用したＡＲ（Augmented Reality：拡張現実）装置１１の外観を例示した図である。
　図1において、ＡＲ装置１１は、ユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）であり、光学シースルー型のディスプレイを搭載する。
　ＡＲ装置１１を装着したユーザＵは、現実環境（実空間）からユーザＵの眼に入射する光により実空間に実在する物体等を直接的に観察すると同時に、実空間を観察するユーザＵの視界に合成表示された仮想環境（仮想空間）の画像を観察する。
　図２は、ＡＲ装置１１の表示部を簡易に説明する図である。
　図２において、ＡＲ装置１１は、表示部４３を有し、表示部４３は、ハーフミラー２１と画像表示パネル２２とを有する。
　ハーフミラー２１は、ユーザＵの目前に配置される。ハーフミラー２１は、実空間２０に配置された例えば実物体２３からの光を透過させてユーザＵの眼に入射させる。したがって、ユーザＵは、実空間２０の実物体２３（及びその他の物体）を直接的に観察する。
　画像表示パネル２２は、例えば液晶パネルや有機ＥＬパネル等の画像を表示する表示装置である。画像表示パネル２２は、仮想空間２４において配置された仮想物体２５の画像を表示する。画像表示パネル２２に表示された仮想物体２５の画像からの光は、ハーフミラー２１で反射してユーザＵに目に入射する。
　したがって、ユーザＵの視界２６には、実空間２０の実物体２３が存在するとともに、仮想空間２４の仮想物体２５があたかも実空間２０に存在するかのようにして仮想物体２５の画像が実空間２０に合成表示される。
　なお、以下において、実空間２０を観察するユーザＵの視界２６に仮想物体等の仮想空間２４の所定対象の画像が合成表示されることを、単に、実空間２０に所定対象（又は所定対象の画像）が合成される、ともいう。また、ユーザＵにより観察される実空間２０の実物体等と実空間２０に合成された仮想物体等とを観察像ともいう。
＜従来の課題＞
　ところで、ＡＲ装置１１は、実空間２０に仮想物体を合成するだけでなく、実空間２０に実在する実光源からの光により形成される仮想物体の仮想の影（仮想影）や、実空間２０に仮想の光源（仮想光源）を配置した場合に仮想光源からの光により形成される実物体や仮想物体の仮想影を合成することができる。これによって、ユーザＵは、実空間２０に実在しない仮想光源により実物体や仮想物体を照明した状態を観察像として観察することができる。
　しかしながら、図２の表示部４３のように光学シースルー型のディスプレイを用いて実空間２０に所定の画像を合成する場合、画像表示パネル２２にどのような画像を表示しても、観察像におけるその画像の合成部分を暗くすることはできない。
　そのため、実物体や仮想物体の仮想影を実空間２０に合成した場合の観察像において、実物体や仮想物体の仮想影と、実空間において実在する影（実影）とに、明るさや色味等の見た目の差異が生じる。これらの影の見た目の差異は、ユーザＵに違和感を生じさせ、ＡＲの環境への没入感を損ねる可能性があった。引用文献１（特開２０１９－５３４２３号公報）や引用文献２（特開２０１０－１２８９６号公報）では、仮想影と実影との見た目の差異については考慮されていない。
　本技術は、実物体の実影と実物体や仮想物体の仮想影との影色の差異を低減して、現実環境と仮想環境との融合における見た目（観察像）に対する違和感を低減させるＡＲ等の技術を提供する。
＜定義＞
　ここで、本開示において、実空間２０に実在する光源（実光源）からの光により形成された実物体の影（実空間２０に実在する実影）をＲＬ（Real Light）影という。
　また、実空間２０に仮想的に配置された仮想光源からの光により形成される実物体又は仮想物体の影（実空間２０に合成される仮想影）をＡＬ（AR Light）影という。
　さらに、実空間２０において実光源と同一位置に仮想的に配置された仮想光源からの光により形成される実物体の影（実空間２０に合成される仮想影）をＲＬＰＡＬ（Real Light Positioned AR Light）影という。すなわち、ＲＬＰＡＬ影は、実物体の実影の位置（範囲）に一致するように実空間２０に合成されるＡＬ影を表す。
　なお、実空間２０に実在する実光源又は実光源と同一位置に仮想的に配置された仮想光源からの光により形成される仮想物体の影はＡＬ影という。
＜ＡＲ装置１１の構成例＞
　図３は、図１のＡＲ装置１１の一実施の形態の構成例を示すブロック図である。
　ＡＲ装置１１は、センサ部４１、制御部４２、表示部４３、スピーカ４４，通信部４５、操作入力部４６、及び、記憶部４７を有する。
　センサ部４１は、ユーザＵ、又は、ユーザＵの周辺環境に関する各種情報を取得し、取得した各種情報をセンサ情報として制御部４２に供給する。
　制御部４２は、演算処理装置、及び、制御装置として機能し、各種プログラムにしたがってＡＲ装置１１の動作全般を制御する。また、制御部４２はセンサ部４１からのセンサ情報に基づいて画像生成処理などを行い、生成した画像を表示部４３に供給する。
　表示部４３は、例えば図２に示した構成を有し、実空間２０に合成する仮想物体、ＡＬ影、テキスト情報等の画像を表示する画像表示パネル２２を含む光学式シースルー型のディスプレイを有する。表示部４３は、制御部４２から供給される画像を画像表示パネル２２に表示して実空間２０に合成する。なお、表示部４３の光学式シースルー型のディスプレイとしては、ホログラム型、プリズム型、又は、網膜走査型など、どのような型のディスプレイであってもよい。
　スピーカ４４は、制御部４２からの音情報を再生する。
　通信部４５は、有線又は無線により他の装置と通信を行い、制御部４２からの情報を他の装置に送信し、他の装置からの情報を受信して制御部４２に供給する。通信部４５が他の装置と行う通信は、特定の規格に準拠した通信方式に限定されず、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、赤外線通信、及び、Bluetooth（登録商標）等で規定された通信方式を採用し得る。
　操作入力部４６は、ＡＲ装置１１に設けられたスイッチやボタン等である。
　記憶部４７は、制御部４２が各種機能を実行するためのプログラムやパラメータを記憶する。また、制御部４２が所定のアプリケーションのプログラムを実行した際に、実空間２０に合成するテキスト情報等の画像や、実空間２０に合成する仮想物体や影等の画像処理（レンダリング等）に用いる情報を記憶する。
（センサ部４１）
　図３において、センサ部４１は、図１のＡＲ装置１１に設置され、外向きカメラ６１、内向きカメラ６２、マイク６３、ジャイロセンサ６４、加速度センサ６５、方位センサ６６、位置測位センサ６７、生体センサ６８、及び、ＴｏＦカメラ６９を有する。ただし、センサ部４１は、図３に示された要素（センサ等という）の全てを有していなくてもよいし、図３に示されていないセンサ等を有していてもよいし、同一のセンサ等を複数有していてもよい。
　外向きカメラ６１は、実空間２０を観察するユーザの視界２６に相当する領域を撮影し、得られた撮影画像（以下、カメラ画像という）を制御部４２に供給する。なお、カメラ画像は、動画像であってもよいし、一定時間置きに撮影される静止画像であってもよい。また、外向きカメラ６１は、複数設けられていてもよいし、デプスマップを取得可能なデプスカメラであってもよい。
　内向きカメラ６２は、ユーザＵの眼を撮影し、撮影した画像を制御部４２に供給する。
　マイク６３は、ユーザの音声や周囲の環境音を収音し、音声情報として制御部４２に供給する。
　ジャイロセンサ６４は、例えば３軸ジャイロセンサであり、３軸周りの角速度（回転速度）を検出して制御部４２に供給する。
　加速度センサ６５は、例えば３軸加速度センサであり、３軸方向の加速度を検出して制御部４２に供給する。
　方位センサ６６は、例えば３軸地磁気センサ（コンパス）であり、磁北方向（方位）を検出して制御部４２に供給する。
　位置測位センサ６７は、外部からの取得信号に基づいてＡＲ装置１１の現在位置を検出し、制御部４２に供給する。例えば、位置測位センサ６７は、ＧＰＳ（Global Positioning System）測位センサであり、ＧＰＳ衛星からの電波を受信して、ＡＲ装置１１の位置を検出する。また、位置測位センサ６７は、ＧＰＳ測位センサの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、又は近距離通信等により位置を検出してもよい。
　生体センサ６８は、ユーザの生体情報を検出して制御部４２に供給する。具体的には、生体センサ６８は、心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、又は、ＳＰＯ２（血中酸素飽和度）などを検出する。
　ＴｏＦ(Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ)カメラ６９は、実空間２０に光を照射してからその反射光が戻るまでの光の飛行時間を利用して実空間２０の３次元情報を取得し、制御部４２に供給する。
（制御部４２）
　制御部４２は、認識部８１、及び、表示制御部８２としての機能を有する。
　認識部８１は、センサ部４１からの各種センサ情報に基づいて、ユーザＵに関するユーザ情報、及び、ユーザＵの周辺環境に関する環境情報を取得する。
　ユーザ情報とは、例えば、ユーザＵの視点の位置と姿勢（向きや傾き）、ユーザＵの視線、ユーザＵの注視点等の情報を表す。環境情報とは、ユーザＵの視界２６内の実物体等の３次元情報や実光源の位置等に関する光源情報等を表す。
　認識部８１は、光源認識部１０１、自己位置認識部１０２、物体認識部１０３、影色認識部１０４、及び、影位置認識部１０５を有する。
　光源認識部１０１は、例えば、センサ部４１の外向きカメラ６１からのカメラ画像に基づいて、実空間２０（実空間２０に設定された世界座標系）における実光源の位置等を表す光源情報を推定する。
　なお、センサ部４１が実光源を検出するための広角なカメラを備える場合には、光源認識部１０１は、その広角なカメラからのカメラ画像に基づいて光源情報を推定してもよい。また、実空間２０に実在する実光源の光源情報を記憶部４７が事前に記憶しておき、光源認識部１０１は、記憶部４７から光源情報を取得してもよい。
　さらに、実光源が点とみなせる大きさではなく、所定形状の面光源である場合には、光源認識部１０１は、光源情報として実光源の形状を推定するが、本開示では、実光源（及び仮想光源）の形状については特に言及せず、光源認識部１０１は、光源情報として実光源の位置のみを推定するものとする。
　自己位置認識部１０２は、例えば、センサ部４１のジャイロセンサ６４、加速度センサ６５、方位センサ６６、及び、位置測位センサ６７からのセンサ情報に基づいて、実空間２０におけるＡＲ装置１１（ユーザＵの視点）の位置及び姿勢を表す位置情報を取得する。
　物体認識部１０３は、例えば、センサ部４１の外向きカメラ６１又はＴｏＦカメラ６９からのセンサ情報に基づいて、ユーザＵの視界２６の範囲内において実在する実空間２０の実物体（テーブル面や床面等の物体表面を含む）の位置及び形状を表す物体情報を取得する。なお、実空間２０に実在する実物体の物体情報を記憶部４７が事前に記憶しておき、物体認識部１０３は、ユーザＵの視界２６の範囲内に存在する実物体の物体情報を記憶部４７から取得してもよい。
　影色認識部１０４は、センサ部４１の外向きカメラ６１からのカメラ画像に基づいて、実物体のＲＬ影の影色情報を取得する。具体的には、影色認識部１０４は、実空間２０における実物体のＲＬ影の位置（範囲）を表す影位置情報を影位置認識部１０５から取得するとともに、ＡＲ装置１１（ユーザＵの視点）の位置及び姿勢を表す位置情報を自己位置認識部１０２から取得する。
　そして、影色認識部１０４は、位置情報に基づいて実空間２０における外向きカメラ６１の撮影範囲を検出し、検出した撮影範囲と影位置情報とに基づいてカメラ画像におけるＲＬ影の位置（範囲）を検出する。この検出したＲＬ影の位置（範囲）の画像に基づいて、影色認識部１０４は、ＲＬ影の色情報を影色情報として取得する。影色情報は、例えば、影色の色相、明度（輝度）、及び、彩度を直接的、又は、間接的に表す情報である。
　影位置認識部１０５は、物体認識部１０３から物体情報を取得するとともに、光源認識部１０１から光源情報を取得し、取得した物体情報と光源情報とに基づいて、実空間２０におけるＲＬ影の位置（範囲）を表す影位置情報を取得する。
（表示制御部８２）
　表示制御部８２は、表示部４３の動作及び表示内容を制御する。表示制御部８２は、実空間２０に合成する仮想物体、ＡＬ影、テキスト情報等の実空間２０での位置、姿勢、及び、状態を制御し、実空間２０に実在するかのように仮想物体等の表示を制御する。
　また、表示制御部８２は、認識部８１により取得された情報に基づいて、実空間２０に合成する仮想物体、ＡＬ影、ＲＬＰＡＬ影、テキスト情報等の画像を生成（レンダリング）し、表示部４３に供給する。実空間２０に合成する画像の内容は、制御部４２において実行されるアプリケーションの処理などにより設定される。
＜制御部４２の処理例１＞
　実空間２０に実在する実物体に対して実空間２０に実在しない仮想光源を仮想的に配置して実物体のＡＬ影（第１仮想影）を実空間２０に合成する場合の制御部４２の処理例１について説明する。
　図４は、実空間２０における着目実物体、実光源、及び、ＲＬ影等を表した図である。
　着目実物体１２１は、実空間２０の実在する実物体であり、着目する実物体を表す。実空間２０に影を有する複数の実物体が実在する場合にそれぞれの実物体に対して１つの実物体に対する処理と同様の処理が施される。但し、本説明では１つの実物体を着目実物体１２１として着目実物体１２１に対する処理のみについて説明する。
　実光源１２２は、実空間２０に実在する実光源である。実光源１２２は、図面上に図示するために着目実物体１２１に近接した位置に図示されているが、実際には図面の範囲外に配置されていてもよい。
　ＲＬ影１２３は、実空間２０における着目実物体１２１の実在する実影を表す。
　物体面１２４は、実空間２０において着目実物体１２１が置かれている床等の平坦な物体表面である。ただし、着目実物体１２１が置かれている物体面１２４は必ずしも平坦でなくてもよい。
　制御部４２において、まず、認識部８１の光源認識部１０１は、実空間２０における実光源１２２の位置等を表す光源情報を取得する。
　また、認識部８１の物体認識部１０３は、実空間２０における着目実物体１２１及び物体面１２４の位置及び形状を表す物体情報を取得し、影位置認識部１０５に供給する。
　次に、制御部４２の表示制御部８２は、物体認識部１０３により取得された物体情報に基づいて、実空間２０に対応した仮想空間２４において、実空間２０の着目実物体１２１を表す仮想着目物体と、実空間２０の物体面１２４を表す仮想物体面を配置する。
　また、表示制御部８２は、光源認識部１０１により取得された光源情報に基づいて、実空間２０に対応した仮想空間２４において、実光源１２２を表す仮想光源を配置する。
　ここで、実空間２０に対応した仮想空間２４とは、実空間２０を表す仮想上の空間であって、実空間２０に設定された３次元座標系（世界座標系）の各位置（座標値）と、仮想空間２４に設定された３次元座標系の各位置（座標値）とが１対１に対応付けられている仮想空間をいう。例えば、仮想空間２４での座標値が実空間２０での同一の座標値に対応付けられている場合にその仮想空間２４は実空間２０に対応する仮想空間である。以下、実空間２０に対応した仮想空間２４を単に仮想空間２４という。
　また、仮想空間２４における着目実物体１２１を表す仮想着目物体、及び、物体面１２４を表す仮想物体面は、物体情報として取得された着目実物体１２１及び物体面１２４の形状を有し、物体情報として取得された着目実物体１２１及び物体面１２４の実空間２０での各々の位置に対応した仮想空間２４での位置に配置される。実光源１２２を表す仮想光源は、光源情報として取得された実光源１２２の実空間２０での位置に対応した仮想空間２４での位置に配置される。
　以下においては、仮想空間２４における着目実物体１２１を表す仮想着目物体、物体面１２４を表す仮想物体面、及び、実光源１２２を表す仮想光源を、それぞれ、実空間２０での場合と同様に、着目実物体１２１、物体面１２４、及び、実光源１２２という。
　次に、認識部８１の影位置認識部１０５は、着目実物体１２１のＲＬ影１２３（実影）の位置（範囲）を表す影位置情報を取得する。
　即ち、影位置認識部１０５は、仮想空間２４に配置した着目実物体１２１、物体面１２４、及び、実光源１２２に基づいて、実光源１２２からの光により物体面１２４上に形成される着目実物体１２１の影の位置（範囲）を算出する。そして、影位置認識部１０５は、算出した仮想空間２４における着目実物体１２１の影の位置（範囲）に対応する実空間２０における位置（範囲）を実空間２０における着目実物体１２１のＲＬ影１２３の位置（範囲）を表す影位置情報として取得する。
　影位置認識部１０５は、例えば、光源認識部１０１により取得された光源情報（実空間２０における実光源１２２の位置）と、物体認識部１０３により取得された物体情報（着目実物体１２１の位置及び形状）とに基づいてシャドウマップ法を用いてＲＬ影１２３の位置を算出する。シャドウマップ法については周知であるので説明を省略する。
　なお、ＲＬ影１２３の位置を算出する方法としては、シャドウマップ法以外にも、光源情報と物体情報に基づくレンダリングの結果、物体面１２４部分における明度（輝度）が低い部分をＲＬ影１２３として認識する方法であってもよい。
　また、ＲＬ影１２３の位置を算出する方法としては、外向きカメラ６１からのカメラ画像を用いて物体面１２４部分の明度（輝度）が低い部分をＲＬ影１２３とし、カメラ画像上でのＲＬ影１２３の位置（範囲）から実空間２０におけるＲＬ影１２３の位置（範囲）を算出する方法であってもよい。
　さらに、ＲＬ影１２３の位置を算出する方法としては、シャドウマップ法で得られたＲＬ影１２３の位置（範囲）から所定距離（１０ｃｍ程度）広い範囲において外向きカメラ６１からのカメラ画像の明度（輝度）が所定値より低い部分、又は、周辺部よりも所定値以上低い部分をＲＬ影１２３の位置として認識する方法であってもよい。
　次に、制御部４２において、影色認識部１０４は、着目実物体１２１のＲＬ影１２３の色を表す影色情報を取得する。
　具体的には、影色認識部１０４は、外向きカメラ６１からのカメラ画像のうち、影位置情報として得られたＲＬ影１２３の位置に対応する画像領域（ＲＬ影１２３の画像領域）から１画素ごとの色情報を抽出する。抽出する色情報としては例えばＲＧＢ色空間におけるＲＧＢ成分値である。
　そして、影色認識部１０４は、ＲＬ影１２３の範囲内の色を平均化した色をＲＬ影１２３の影色（影色情報）として算出する。例えば、影色認識部１０４は、ＲＬ影１２３の画像領域の１画素ごとの色情報（ＲＧＢ成分値）の平均値を、ＲＬ影１２３の影色を表す影色情報として算出する。ただし、影色認識部１０４は、ＲＬ影１２３の画像領域の各画素の色情報に基づいて、ＲＬ影１２３の画像領域の画素のうち、明度又は彩度が、最も高い画素、最も低い画素、又は、中間値となる画素の色情報をＲＬ影１２３の影色としてもよい。
　次に、表示制御部８２は、実空間２０に仮想的に配置する仮想光源からの光により物体面１２４上に形成される着目実物体１２１のＡＬ影（第１仮想影）の位置（範囲）を算出する。
　図５は、図４の実空間２０に仮想光源１２５を仮想的に配置した場合の着目実物体１２１のＲＬ影１２３及びＡＬ影１２６の状態を表した図である。
　図５の空間は、図４の実空間２０と仮想空間２４とを互いに対応する位置が一致するように重ね合わせた空間を表す。実空間２０における着目実物体１２１、物体面１２４、及び、実光源１２２と、仮想空間２４における着目実物体１２１（仮想着目物体）、物体面１２４（仮想物体面）、及び、実光源１２２（仮想光源）とは同一位置に重なっており、図面上には、実空間２０における着目実物体１２１、物体面１２４、及び、実光源１２２が示されているものとする（以下の図６乃至図９、図１１、及び、図１３も同様）。
　仮想光源１２５は、実空間２０に仮想的に配置される仮想光源であり、仮想光源１２５が仮想的に配置される実空間２０の位置に対応する仮想空間２４の位置に配置される。例えば、制御部４２において実行されるアプリケーションの処理により実空間２０の照明を仮想的に変更することが要求された場合等に表示制御部８２において仮想光源１２５を実空間２０の所定位置に仮想的に配置することが設定される。ただし、仮想光源１２５を実空間２０の所定位置に配置することは、ＡＲ装置１１に対して通信部４５（図３参照）により通信接続された装置から表示制御部８２に与えられてもよいし、特定の場合に限定されない。また、仮想光源１２５は、所定形状を有する面光源であってもよい。
　また、仮想光源１２５は、実光源１２２と同様に、図面上に図示するために、着目実物体１２１に近接した位置に図示されているが、実際には図面の範囲外に配置されていてもよい。
　ＡＬ影１２６は、仮想光源１２５からの光により物体面１２４上に形成される着目実物体１２１のＡＬ影（第１仮想影）を表す。ＡＬ影１２６は、実空間２０に合成される仮想影であり、仮想空間２４に配置される。
　表示制御部８２は、仮想空間２４における着目実物体１２１、仮想光源１２５、及び、物体面１２４の位置情報に基づいて、仮想光源１２５からの光により形成されるＡＬ影１２６の仮想空間２４における位置（範囲）を算出する。
　次に、表示制御部８２は、ＡＬ影１２６とＲＬＰＡＬ影（第２仮想影）の影色を決定する。
　図６は、図５の実空間２０及び仮想空間２４において、実光源１２２と同一位置に仮想光源１２７を配置した状態を表した図である。
　仮想光源１２７は、実光源１２２と同一位置（実空間２０における実光源１２２の位置に対応する仮想空間２４の位置）に仮想的に配置される仮想光源である。
　ＲＬＰＡＬ影１２８は、仮想光源１２７からの光により形成される着目実物体１２１のＡＬ影（第２仮想影）を表す。即ち、ＲＬＰＡＬ影１２８は、実空間２０のＲＬ影１２３の位置（範囲）に合成される仮想影であり、仮想空間２４に配置される。表示制御部８２は、ＲＬＰＡＬ影１２８を、実空間２０における着目実物体１２１のＲＬ影１２３の位置（範囲）に対応する仮想空間２４の位置（範囲）に配置する。
　表示制御部８２は、実光源１２２と仮想光源１２７とからの光により形成される着目実物体１２１のＲＬ影１２３とＲＬＰＡＬ影１２８とを重畳（合成）した影（以下、重畳影）と、仮想光源１２５からの光により形成される着目実物体１２１のＡＬ影１２６とが類似の影色となるように、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色を決定（調整）する。
　ここで、ＲＬ影１２３は、実空間２０における影ではない周辺部分よりも暗くなる（明度が低くなる）。一方、ＡＬ影１２６は、実空間２０に合成された場合に、ユーザＵの視界２６において（観察像において）ＡＬ影１２６の範囲の明度を周辺部分より下げることはできない。そのため、ＡＬ影１２６の影色のみを調整してもＲＬ影１２３とＡＬ影１２６との影色の差異（見た目の差異）を低減することはできない。
　そこで、表示制御部８２は、実光源１２２と同一位置に仮想光源１２７を仮想的に配置してＲＬ影１２３の同一位置に着目実物体１２１のＲＬＰＡＬ影１２８を形成させる。このＲＬＰＡＬ影１２８が実空間２０のＲＬ影１２３の位置（範囲）に合成されることで、ユーザＵの視界２６において（観察像において）ＲＬ影１２３の位置（範囲）が明るくなるとともに、ＲＬ影１２３の範囲の影色とＡＬ影１２６の影色との差異を低減することが可能となる。
　表示制御部８２は、ユーザＵの視界２６における（観察像における）ＡＬ影１２６の影色と、ＲＬ影１２３の影色とに基づいて、ＡＬ影１２６（第１仮想影）とＲＬＰＡＬ影（第２仮想影）の影色を決定する。ＡＬ影１２６（第１仮想影）とＲＬＰＡＬ影（第２仮想影）の影色の決定は、例えば、次のような方法で行われる。
　なお、ユーザＵの視界２６におけるＡＬ影１２６の影色は、正確には仮想空間２４におけるＡＬ影１２６の影色と、実空間２０においてＡＬ影１２６が合成される物体面１２４の領域の色とを合成した色となる。ただし、その合成した色が仮想空間２４におけるＡＬ影１２６の影色に略等しくなるとして、ＡＬ影１２６が合成される物体面１２４の領域の色は考慮しないものとする。
　また、以下において、影色をＲＧＢ色空間で表したときのＲＧＢ成分値であるＲ値（０乃至２５５）、Ｇ値（０乃至２５５）、及び、Ｂ値（０乃至２５５）を（Ｒ値、Ｇ値、Ｂ値）と表記する。
　着目実物体１２１のＲＬ影１２３の影色を（Ｒｘ、Ｇｘ、Ｂｘ）とする。着目実物体１２１のＲＬ影１２３の影色は、例えば外向きカメラ６１のカメラ画像から取得される。
　また、着目実物体１２１のＡＬ影１２６の調整前の影色を（Ｒｙ、Ｇｙ、Ｂｙ）とする。ＡＬ影１２６の調整前の影色（Ｒｙ、Ｇｙ、Ｂｙ）は、事前に所定の色に決められている。
　また、色味係数をα、色味加算値をＡとする。
　このとき、表示制御部８２は、ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）を次式（１）により算出する。
　（Ｒｘ′、Ｇｘ′、Ｂｘ′）＝
　（（（Ｒｘ＋Ｒｙ）／２）×α＋Ａ、（（Ｇｘ＋Ｇｙ）／２）×α＋Ａ、（（Ｂｘ＋Ｂｙ）／２）×α＋Ａ）
　・・・（１）
　即ち、表示制御部８２は、ＲＬ影１２３の影色とＡＬ影１２６の調整前の影色とに対してＲＧＢ成分値ごとに平均値を求め、求めたＲＧＢ成分値ごとの平均値に対してそれぞれ色味係数αを乗じて色味加算値Ａを加算した値を、ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）とする。
　また、表示制御部８２は、ＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）を次式（２）により算出する。
　（Ｒｙ′、Ｇｙ′、Ｂｙ′）＝
　（（（Ｒｘ＋Ｒｙ）／２）×α、
　（（Ｇｘ＋Ｇｙ）／２）×α、
　（（Ｂｘ＋Ｂｙ）／２）×α）
　・・・（２）
　即ち、表示制御部８２は、ＲＬ影１２３の影色とＡＬ影１２６の調整前の影色とに対してＲＧＢ成分値ごとに平均値を求め、求めたＲＧＢ成分値ごとの平均値に対してそれぞれ色味係数αを乗じた値を、ＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）とする。
　例えば、ＲＬ影１２３の影色（Ｒｘ、Ｇｘ、Ｂｘ）が(１９１、１９１、１９１)であり、ＡＬ影１２６の補正前の影色（Ｒｙ、Ｇｙ、Ｂｙ）が（１４２、１８０、２２７）であった場合に、α＝１、Ａ＝３０とすると、ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）は、（１９６、２１５、２３９）となり、ＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）は、（１６６、１８５、２０９）となる。
　ここで、ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）は、ＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）のＲＧＢ成分値にそれぞれに対して、色味加算値Ａを加算した影色として求められる。ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）に加算されている色味加算値Ａは、ＲＬ影１２３が周辺部よりも明度が低い分、その明度をＲＬＰＡＬ影１２８の影色で補うための調整値である。
　また、ＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）とＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）とは、色味加算値Ａの加算の有無以外では同一の算出式で算出されるため、色相と彩度は略共通している。
　したがって、図６のようにＲＬ影１２３とＲＬＰＡＬ影１２８とを合成した重畳影とＡＬ影１２６とは、色相、明度、及び、彩度が略一致する影色に調整される。
　なお、色味係数αは、ＡＬ影１２６とＲＬＰＡＬ影１２８との影色の明度を調整する調整値である。たとえば、ＲＬ影１２３が非常に暗い場合にＲＬ影１２３の影色とＡＬ影１２６の調整前の影色とに対するＲＧＢ成分値ごとに平均値が小さすぎる値のときには色味係数αが大きな値に設定されてＡＬ影１２６とＲＬＰＡＬ影１２８とが適切な明るさに調整される。
　また、表示制御部８２は、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色を決定する際に、上式（１）及び（２）では、実空間２０においてＡＬ影１２６が合成される物体面１２４の領域の色が考慮されていないが、その領域の色を考慮してＡＬ影１２６及びＲＬＰＡＬ影１２８の影色を決定してもよい。例えば、ＡＬ影１２６とＡＬ影１２６が合成される物体面１２４の領域の色とを合成（重畳）した影色と、ＲＬ影１２３とＲＬＰＡＬ影１２８とを合成した重畳影の影色とが略一致するように、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色を決定してもよい。
　また、表示制御部８２は、ＲＬ影１２３とＡＬ影１２６との影色の差異を低減するＲＬＰＡＬ影１２８の影色を決定する方法であれば、どうような方法でＲＬＰＡＬ影１２８の影色を決定してもよい。ＲＬ影１２３とＡＬ影１２６との影色の差異を低減するＲＬＰＡＬ影１２８の影色とは、ＲＬ影１２３とＡＬ影１２６との影色の色相、明度、及び、彩度のうちの少なくともいずれかの差異を低減する影色を表す。
　表示制御部８２は、以上のようにして生成したＡＬ影１２６及びＲＬＰＡＬ影１２８に対してユーザＵの視点の位置及び姿勢により観察される画像を生成する。そして、表示制御部８２は、生成したＡＬ影１２６及びＲＬＰＡＬ影１２８の画像を影の範囲を提示する影提示画像として表示部４３に供給し、実空間２０に合成させる。
　以上の処理例１によれば、着目実物体１２１に対して仮想光源１２５を配置した場合のＡＬ影１２６が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。これにより、ＡＬ影１２６（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）の画像がユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
＜ＡＬ影及びＡＬＰＡＬ影の他の表示形態＞
　次に、図６のＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態１乃至３について説明する。
（他の表示形態１）
　図７は、ＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態１を表した図である。
　図７の実空間２０及び仮想空間２４には、図６の場合と同様に、着目実物体１２１、実光源１２２、ＲＬ影１２３、物体面１２４、仮想光源１２５、ＡＬ影１２６、仮想光源１２７、及び、ＲＬＰＡＬ影１２８が示されている。
　ただし、図７におけるＡＬ影１２６及びＲＬＰＡＬ影１２８は、それぞれの輪郭１２６Ａ及び輪郭１２８Ａにぼかし処理が施されている点で図６の場合と相違している。
　表示制御部８２は、例えば、図６のＡＬ影１２６及びＲＬＰＡＬ影１２８のそれぞれの輪郭（周縁）に対してガウスぼかし処理を施して輪郭をぼかす。ガウスぼかし処理では、例えば、ＡＬ影１２６及びＲＬＰＡＬ影１２８のそれぞれの輪郭に沿った所定幅の領域の各画素（各ボクセル）を着目画素として着目画素に対して物体面１２４上の所定距離（例えば数ｃｍ）の範囲に含まれる画素の色（ＲＧＢ成分値）の加重平均をとった色が着目画素の色に設定される。ただし、ＡＬ影１２６及びＲＬＰＡＬ影１２８の輪郭をぼかす方法としては任意の方法を採用し得る。
　このＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態１によれば、図６の場合と同様に、ＡＬ影１２６（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）の画像がユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。さらに、ＡＬ影１２６とＲＬＰＡＬ影１２８の画像の輪郭がぼかし処理が施されることで、ＡＬ影１２６及びＲＬＰＡＬ影１２８が実空間２０に融合しやすくなる。
（他の表示形態２）
　図８は、ＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態２を表した図である。
　図８の実空間２０及び仮想空間２４には、図６の場合と同様に、着目実物体１２１、実光源１２２、ＲＬ影１２３、物体面１２４、仮想光源１２５、ＡＬ影１２６、仮想光源１２７、及び、ＲＬＰＡＬ影１２８が示されている。
　ただし、図８におけるＡＬ影１２６及びＲＬＰＡＬ影１２８は、図６の場合と影色が相違する。また、図８におけるＡＬ影１２６及びＲＬＰＡＬ影１２８は、周辺部に色付加部１２９を有する点で図６の場合と相違する。
　表示制御部８２は、ＡＬ影１２６には影色を付けない（ＲＧＢ成分値を（０、０、０）とする）。即ち、ユーザＵの視界２６における（観察像における）ＡＬ影１２６の影色は、実空間２０においてＡＬ影１２６が合成される物体面１２４の領域の色となる。
　一方、表示制御部８２は、ユーザＵの視界２６における（観察像における）ＡＬ影１２６（第１仮想影）の影色に基づいて、ＲＬ影１２３の位置（範囲）に合成するＲＬＰＡＬ影１２８（第２仮想影）の影色を設定する。例えば、表示制御部８２は、ユーザＵの視界２６におけるＡＬ影１２６（第１仮想影）の影色をＲＬＰＡＬ影１２８（第２仮想影）の影色として設定する。ユーザＵの視界２６におけるＡＬ影１２６（第１仮想影）の影色は、前述のように実空間２０においてＡＬ影１２６が合成される物体面１２４の領域の色であり、例えば、センサ部４１の外向きカメラ６１からのカメラ画像から取得される。
　これによって、ＡＬ影１２６及びＲＬＰＡＬ影１２８（実際にはＲＬＰＡＬ影１２８のみ）の画像が実空間２０に合成された場合に、ユーザＵの視界２６において（観察像において）ＡＬ影１２６及びＲＬＰＡＬ影１２８が略同一の影色としてユーザＵにより観察される。
　なお、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色は、図６の場合と同様にして決定してもよい。
　また、表示制御部８２は、色付加部１２９を予め決められた色に設定する。
　色付加部１２９は、ＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との範囲の周辺部に所定の色を付加することで、ＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との範囲を提示する影提示画像である。色付加部１２９は、例えば、物体面１２４上において、着目実物体１２１、ＡＬ影１２６、及び、ＲＬＰＡＬ影１２８を包含する円の範囲のうち、着目実物体１２１、ＡＬ影１２６、及び、ＲＬＰＡＬ影１２８の領域を除く範囲に所定の色が付加された部分を表す。色付加部１２９の範囲とする円の中心は、例えば、物体面１２４上に占める着目実物体１２１、ＡＬ影１２６、及び、ＲＬＰＡＬ影１２８の領域の重心位置に設定される。
　表示制御部８２は、ＲＬＰＡＬ影１２８の画像とともに色付加部１２９の画像を表示部４３に供給して、ＲＬＰＡＬ影１２８の画像と色付加部１２９の画像とを実空間２０に合成させる。
　このＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態２によれば、ユーザＵの視界２６において色付加部１２９の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）との範囲を提示する影提示画像として表示される。即ち、色付加部１２９の画像の範囲内において色付加部１２９と異なる色の範囲によって、ＲＬ影１２３（実影）とＡＬ影１２６（第１仮想影）との範囲が提示される。
　また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
　なお、色付加部１２９は、外周の輪郭や、ＡＬ影１２６及びＲＬＰＡＬ影１２８との境界部分にぼかし処理が施されていてもよいし、中心から離れるにしたがって明度が低くなるようなグラデーション処理が施されていてもよい。また、色付加部１２９の外形は、円形でなくてもよく、楕円や四角等の任意の形状であってよい。
（他の表示形態３）
　図９は、ＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態３を表した図である。
　図９の実空間２０及び仮想空間２４には、図６の場合と同様に、着目実物体１２１、実光源１２２、ＲＬ影１２３、物体面１２４、仮想光源１２５、ＡＬ影１２６、仮想光源１２７、及び、ＲＬＰＡＬ影１２８が示されている。
　ただし、図９におけるＡＬ影１２６及びＲＬＰＡＬ影１２８は、図６の場合と影色が相違する。また、図９におけるＡＬ影１２６及びＲＬＰＡＬ影１２８は、境界に沿って色が付加された輪郭部１３０を有する点で図６の場合と相違する。
　表示制御部８２は、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色については、図８の場合と同様にして決定する。これによって、ＡＬ影１２６及びＲＬＰＡＬ影１２８（実際にはＲＬＰＡＬ影１２８のみ）の画像が実空間２０に合成された場合に、ユーザＵの視界２６において（観察像において）ＡＬ影１２６及びＲＬＰＡＬ影１２８が略同一の影色としてユーザＵにより観察される。
　なお、ＡＬ影１２６及びＲＬＰＡＬ影１２８の影色は、図６の場合と同様にして決定してもよい。
　また、表示制御部８２は、輪郭部１３０を予め決められた色に設定する。
　輪郭部１３０は、ＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との輪郭を表す画像であり、ＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との範囲の輪郭に沿った領域に所定の色を付加する。また、輪郭部１３０は、ＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との範囲を提示する影提示画像である。なお、ＡＬ影１２６とＲＬＰＡＬ影１２８とが重なる領域や着目実物体１２１に沿った領域は、輪郭部１３０の領域から除外（輪郭部１３０を設けないように）してもよいし、除外しなくてもよい。
　表示制御部８２は、ＲＬＰＡＬ影１２８の画像とともに輪郭部１３０の画像を表示部４３に供給して、ＲＬＰＡＬ影１２８の画像と輪郭部１３０の画像とを実空間２０に合成させる。
　このＡＬ影１２６及びＲＬＰＡＬ影１２８の他の表示形態３によれば、ユーザＵの視界２６において輪郭部１３０の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）との範囲を提示する影提示画像として表示される。
　また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
＜制御部４２の処理例１の処理手順＞
　図１０は、制御部４２が行う処理例１の手順を示したフローチャートである。なお、図６の表示形態によりＡＬ影１２６及びＲＬＰＡＬ影１２８を実空間２０に合成する場合について説明する。
　ステップＳ１１では、制御部４２における認識部８１の光源認識部１０１は、センサ部４１からのセンサ情報に基づいて、実光源１２２の位置等を表す光源情報を取得する。処理はステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、制御部４２における認識部８１の物体認識部１０３は、センサ部４１からのセンサ情報に基づいて、着目実物体１２１及び物体面１２４の位置及び形状を表す物体情報を取得する。処理はステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、制御部４２における認識部８１の影位置認識部１０５は、ステップＳ１１で取得された光源情報とステップＳ１２で取得された物体情報とに基づいて、着目実物体１２１のＲＬ影１２３の位置を表す影位置情報を取得する。処理はステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、制御部４２における認識部８１の影色認識部１０４は、ステップＳ１３で取得された影位置情報とセンサ部４１の外向きカメラ６１からのカメラ画像に基づいて、着目実物体１２１のＲＬ影１２３の影色情報を取得する。処理はステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、制御部４２における表示制御部８２は、仮想光源１２５からの光により形成される着目実物体１２１のＡＬ影１２６の位置を算出する。処理はステップＳ１５からステップＳ１６に進む。
　ステップＳ１６では、表示制御部８２は、ステップＳ１４で取得した影色情報に基づいて、着目実物体１２１のＡＬ影１２６と、実光源１２２と同一位置の仮想光源１２７からの光により形成されるＲＬＰＡＬ影１２８の影色を決定する。処理はステップＳ１６からステップＳ１７に進む。
　ステップＳ１７では、表示制御部８２は、ステップＳ１６で決定された影色で生成されたＡＬ影１２６とＲＬＰＡＬ影１２８との画像を表示部４３に供給して、ＡＬ影１２６とＲＬＰＡＬ影１２８とを実空間２０に合成する。処理はステップＳ１７からステップＳ１１に戻り、ステップＳ１１からの処理を繰り返す。
　なお、表示制御部８２が表示部４３に１フレーム分の画像を供給するごとにステップＳ１１乃至ステップＳ１７の処理が１回実行されるが、これ限らない。
　以上の処理例１によれば、着目実物体１２１に対して仮想光源１２５を配置した場合のＡＬ影１２６が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。これにより、ＡＬ影１２６（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
＜制御部４２の処理例２＞
　次に、実空間２０に実在する実物体に対して仮想物体と仮想物体のＡＬ影（第１仮想影）とを実空間２０に合成する場合の制御部４２の処理例２について説明する。
　図１１は、図４と同様の実空間２０に対して、仮想物体１５１を配置した状態を表した図である。
　図１１の実空間２０及び仮想空間２４には、図６の場合と同様に、着目実物体１２１、実光源１２２、ＲＬ影１２３、物体面１２４、仮想光源１２７、及び、ＲＬＰＡＬ影１２８が示されている。
　但し、図１１の実空間２０及び仮想空間２４には、図６の仮想光源１２５とＡＬ影１２６が存在しない点と、仮想物体１５１、及び、ＡＬ影１５２（第１仮想影）が追加されている点で、図１１の実空間２０及び仮想空間２４は、図６の場合と異なる。
　仮想物体１５１は、実空間２０に合成される仮想物体であり、仮想空間２４に配置される。例えば、制御部４２において実行されるアプリケーションの処理により実空間２０の所定の位置に所定の形状の仮想物体１５１を合成することが要求される。表示制御部８２は、要求された実空間２０の位置に対応する仮想空間２４の位置に要求された形状の仮想物体１５１を配置する。ただし、実空間２０の所定位置に所定形状の仮想物体１５１を合成することは、ＡＲ装置１１に対して通信部４５（図３参照）により通信接続された装置から表示制御部８２に与えられてもよいし、特定の場合に限定されない。
　ＡＬ影１５２は、実光源１２２（又は仮想光源１２７）からの光により物体面１２４上に形成される仮想物体１５１の仮想影（第１仮想影）を表す。ＡＬ影１５２は、実空間２０に合成される仮想影であり、仮想空間２４に配置される。
　ＡＬ影１５２は、実光源１２２又は実光源１２２と同一位置の仮想光源１２７からの光により形成される点において、着目実物体１２１のＲＬ影１２３又はＲＬＰＡＬ影１２８に相当する。しかしながら、ＡＬ影１５２は、ＲＬ影１２３のように実空間に実在する影ではなく、また、ＲＬＰＡＬ影１２８のようにＲＬ影１２３に重畳される影でもなく、ＡＬ影である。
　表示制御部８２は、着目実物体１２１のＲＬＰＡＬ影１２８については図４乃至図６の場合と同様にして生成する。即ち、表示制御部８２は、ＲＬＰＡＬ影１２８を、実空間２０における着目実物体１２１のＲＬ影１２３の位置（範囲）に対応する仮想空間２４における位置（範囲）に配置する。また、表示制御部８２は、ＲＬ影１２３の影色（Ｒｘ、Ｇｘ、Ｂｘ）とＡＬ影１５２の調整前の影色（Ｒｙ、Ｇｙ、Ｂｙ）とに基づいて上式（１）及び上式（２）を用いてＡＬ影１２６の調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）とＲＬＰＡＬ影１２８の影色（Ｒｘ′、Ｇｘ′、Ｂｘ′）とを算出する。
　一方、表示制御部８２は、仮想物体１５１を仮想的に配置する実空間２０の位置に対応する仮想空間２４の位置に仮想物体１５１を配置する。
　そして、表示制御部８２は、実光源１２２（又は仮想光源１２７）からの光により物体面１２４上に形成される仮想物体１５１のＡＬ影１５２の仮想空間２４における位置を算出する。ＡＬ影１５２の位置は、仮想物体１５１の位置及び形状と、実光源１２２（又は仮想光源１２７）の位置等から算出される。
　表示制御部８２は、ＡＬ影１５２の仮想空間２４における位置を算出すると、算出した位置に、調整後の影色（Ｒｙ′、Ｇｙ′、Ｂｙ′）のＡＬ影１５２を配置する。
　表示制御部８２は、仮想空間２４に配置したＲＬＰＡＬ影１２８、仮想物体１５１、ＡＬ影１５２に対してユーザＵの視点の位置及び姿勢により観察される画像を生成する。そして、表示制御部８２は、生成した画像を表示部４３に供給し、実空間２０に合成させる。
　以上の処理例２によれば、着目実物体１２１に対して仮想物体１５１を合成した場合の実光源１２２からの光による仮想物体１５１のＡＬ影１５２が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。
　これにより、ＡＬ影１５２（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される仮想物体１５１のＡＬ影１５２（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１５２（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
　なお、図１１の処理例２に対して図７乃至図９に示したようなＡＬ影及びＲＬＰＡＬ影の他の表示形態１乃至３を適用してもよい。
＜制御部４２の処理例２の処理手順＞
　図１２は、制御部４２が行う処理例２の手順を示したフローチャートである。
　ステップＳ３１乃至ステップＳ３４は、図１０のフローチャートにおけるステップＳ１１乃至ステップＳ１４と共通するため、説明を省略する。
　ステップＳ３５では、制御部４２における表示制御部８２は、実光源１２２（仮想光源１２７）からの光により形成される仮想物体１５１のＡＬ影１５２の位置を算出する。処理はステップＳ３５からステップＳ３６に進む。
　ステップＳ３６では、表示制御部８２は、ステップＳ３４で取得した影色情報に基づいて、仮想物体１５１のＡＬ影１５２、及び、着目実物体１２１のＲＬＰＡＬ影１２８の影色を決定する。処理はステップＳ３６からステップＳ３７に進む。
　ステップＳ３７では、表示制御部８２は、実空間２０に合成する仮想物体１５１の画像、並びに、ステップＳ３６で決定された影色のＡＬ影１５２、及び、ＲＬＰＡＬ影１２８の画像を表示部４３に供給して、仮想物体１５１、ＡＬ影１５２、及び、ＲＬＰＡＬ影１２８を実空間２０に合成する。処理はステップＳ３７からステップＳ３１に戻り、ステップＳ３１からの処理を繰り返す。
　なお、表示制御部８２が表示部４３に１フレーム分の画像を供給するごとにステップＳ３１乃至ステップＳ３７の処理が１回実行されるが、これに限らない。
　以上の処理例２によれば、着目実物体１２１に対して仮想物体１５１を合成した場合の実光源１２２からの光による仮想物体１５１のＡＬ影１５２が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。
　これにより、ＡＬ影１５２（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と実空間２０に仮想的に配置される仮想物体１５１のＡＬ影１５２（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１５２（第１仮想影）とＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
＜制御部４２の処理例３＞
　次に、実空間２０に実在する実物体に対して実空間２０に実在しない仮想光源を配置して、仮想物体と、実物体及び仮想物体のＡＬ影（第１仮想影）とを実空間２０に合成する場合の制御部４２の処理例３について説明する。
　図１３は、図６と同様の実空間２０及び仮想空間２４に対して、仮想物体１５１を追加した状態を表した図である。
　図１３の実空間２０及び仮想空間２４には、図６の場合と同様に、着目実物体１２１、実光源１２２、ＲＬ影１２３、物体面１２４、仮想光源１２５、ＡＬ影１２６、仮想光源１２７、及び、ＲＬＰＡＬ影１２８が示されている。
　但し、図１３の実空間２０及び仮想空間２４には、仮想物体１５１、ＡＬ影１５２、及び、ＡＬ影１５３が追加されている点で、図１３の実空間２０及び仮想空間２４は、図６の場合と異なる。
　なお、図１３の実空間２０及び仮想空間２４は、図１１の実空間２０及び仮想空間２４において、仮想光源１２５を追加した場合の状態を示し、図１１の場合と対応する部分には同一符号を付している。
　仮想物体１５１は、実空間２０に合成される仮想物体であり、仮想空間２４に配置される。例えば、制御部４２において実行されるアプリケーションの処理により実空間２０の所定の位置に所定の形状の仮想物体１５１を合成することが要求される。表示制御部８２は、要求された実空間２０の位置に対応する仮想空間２４の位置に要求された形状の仮想物体１５１を配置する。ただし、実空間２０の所定位置に所定形状の仮想物体１５１を合成することは、ＡＲ装置１１に対して通信部４５（図３参照）により通信接続された装置から表示制御部８２に与えられてもよいし、特定の場合に限定されない。
　ＡＬ影１５２は、実光源１２２（又は仮想光源１２７）からの光により物体面１２４上に形成される仮想物体１５１の仮想影（第１仮想影）を表す。ＡＬ影１５２は、実空間２０に合成される仮想影であり、仮想空間２４に配置される。
　ＡＬ影１５２は、実光源１２２又は実光源１２２と同一位置の仮想光源１２７からの光により形成される点において、着目実物体１２１のＲＬ影１２３又はＲＬＰＡＬ影１２８に相当する。しかしながら、ＡＬ影１５２は、ＲＬ影１２３のように実空間に実在する影ではなく、また、ＲＬＰＡＬ影１２８のようにＲＬ影１２３に重畳される影でもなく、ＡＬ影である。
　ＡＬ影１５３は、仮想光源１２５からの光により物体面１２４上に形成される仮想物体１５１の仮想影（第１仮想影）を表す。ＡＬ影１５３は、実空間２０に合成される仮想影であり、仮想空間２４に配置される。
　表示制御部８２は、着目実物体１２１のＡＬ影１２６（第１仮想影）及びＲＬＰＡＬ影１２８（第２仮想影）については図４乃至図６の場合と同様にして生成する。
　一方、表示制御部８２は、仮想物体１５１を仮想的に配置する実空間２０の位置に対応する仮想空間２４の位置に仮想物体１５１を配置する。
　そして、表示制御部８２は、実光源１２２（又は仮想光源１２７）からの光により物体面１２４上に形成される仮想物体１５１のＡＬ影１５２の仮想空間２４における位置と、仮想光源１２５からの光により物体面１２４上に形成される仮想物体１５１のＡＬ影１５３の位置とを算出する。ＡＬ影１５２及びＡＬ影１５３の位置は、仮想物体１５１の位置及び形状と、仮想光源１２５及び実光源１２２（仮想光源１２７）の位置等から算出される。
　表示制御部８２は、ＡＬ影１５２及びＡＬ影１５３の仮想空間２４における位置を算出すると、算出した位置に、ＡＬ影１５２及びＡＬ影１５３を配置する。ＡＬ影１５２及びＡＬ影１５３の影色は、ＡＬ影１２６と同一の影色に設定される。
　表示制御部８２は、仮想空間２４に配置したＡＬ影１２６、ＲＬＰＡＬ影１２８、仮想物体１５１、ＡＬ影１５２、及び、ＡＬ影１５３に対してユーザＵの視点の位置及び姿勢により観察される画像を生成する。そして、表示制御部８２は、生成した画像を表示部４３に供給し、実空間２０に合成させる。
　以上の処理例３によれば、着目実物体１２１に対して仮想光源１２５を配置した場合の着目実物体１２１のＡＬ影１２６が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。また、実光源１２２からの光による仮想物体１５１のＡＬ影１５２が実空間２０に合成される。また、仮想光源１２５からの光による仮想物体１５１のＡＬ影１５３が実空間２０に合成される。
　これにより、ＡＬ影１２６（第１仮想影）、ＲＬＰＡＬ影１２８（第２仮想影）、ＡＬ影１５２（第１仮想影）、ＡＬ影１５３（第１仮想影）の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と、実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）、並びに、仮想物体１５１のＡＬ影１５２（第１仮想影）及びＡＬ影１５３（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）、ＡＬ影１５２（第１仮想影）、及び、ＡＬ影１５３（第１仮想影）と、ＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
　なお、図１３の処理例３に対して図７乃至図９に示したようなＡＬ影及びＲＬＰＡＬ影の他の表示形態１乃至３を適用してもよい。
＜制御部４２の処理例３の処理手順＞
　図１４は、制御部４２が行う処理例３の手順を示したフローチャートである。
　ステップＳ５１乃至ステップＳ５４は、図１０のフローチャートにおけるステップＳ１１乃至ステップＳ１４と共通するため、説明を省略する。
　ステップＳ５５では、制御部４２における表示制御部８２は、仮想光源１２５からの光により形成される着目実物体１２１のＡＬ影１２６の位置と、仮想物体１５１のＡＬ影１５３とを算出するとともに、実光源１２２（又は仮想光源１２７）からの光により形成される仮想物体１５１のＡＬ影１５２の位置を算出する。処理はステップＳ５５からステップＳ５６に進む。
　ステップＳ５６では、表示制御部８２は、ステップＳ５４で取得した影色情報に基づいて、着目実物体１２１のＡＬ影１２６、並びに、仮想物体１５１のＡＬ影１５２、及び、ＡＬ影１５３と、着目実物体１２１のＲＬＰＡＬ影１２８との影色を決定する。処理はステップＳ５６からステップＳ５７に進む。
　ステップＳ５７では、表示制御部８２は、実空間２０に合成する仮想物体１５１の画像、並びに、ステップＳ５６で決定された影色のＡＬ影１２６、ＡＬ影１５２、ＡＬ影１５３、及び、ＲＬＰＡＬ影１２８の画像を表示部４３に供給して、仮想物体１５１、ＡＬ影１２６、ＡＬ影１５２、ＡＬ影１５３、及び、ＲＬＰＡＬ影１２８を実空間２０に合成する。処理はステップＳ５７からステップＳ５１に戻り、ステップＳ５１からの処理を繰り返す。
　なお、表示制御部８２が表示部４３に１フレーム分の画像を供給するごとにステップＳ５１乃至ステップＳ５７の処理が１回実行されるが、これに限らない。
　以上の処理例３によれば、着目実物体１２１に対して仮想光源１２５を配置した場合の着目実物体１２１のＡＬ影１２６が実空間２０に合成される。また、実空間２０のＲＬ影１２３の位置にＲＬＰＡＬ影１２８が合成される。また、実光源１２２からの光による仮想物体１５１のＡＬ影１５２が実空間２０に合成される。また、仮想光源１２５からの光による仮想物体１５１のＡＬ影１５３が実空間２０に合成される。
　これにより、ＡＬ影１２６（第１仮想影）、ＲＬＰＡＬ影１２８（第２仮想影）、ＡＬ影１５２（第１仮想影）、ＡＬ影１５３（第１仮想影）の画像が、ユーザＵの視界２６において（観察像において）実空間２０に実在するＲＬ影１２３（実影）と、実空間２０に仮想的に配置される着目実物体１２１のＡＬ影１２６（第１仮想影）、並びに、仮想物体１５１のＡＬ影１５２（第１仮想影）及びＡＬ影１５３（第１仮想影）との範囲を提示する影提示画像として表示される。また、実空間２０のＲＬ影１２３（実影）の位置（範囲）にＲＬＰＡＬ影１２８（第２仮想影）が合成されることで、ユーザＵの視界２６においてＡＬ影１２６（第１仮想影）、ＡＬ影１５２（第１仮想影）、及び、ＡＬ影１５３（第１仮想影）と、ＲＬ影１２３（実影）との影色（見た目）の差異を低減することが可能となり、観察像に対する違和感が低減される。
＜プログラム＞
　上述した制御部４２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本技術は、以下のような構成も取ることができる。
＜１＞　実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御部
　を有する表示制御装置。
＜２＞　前記第１仮想影は、前記実空間に仮想的に配置された仮想光源からの光により形成される前記実物体の仮想影を含む
　＜１＞に記載の表示制御装置。
＜３＞　前記第１仮想影は、前記ユーザの視界に合成される仮想物体に対して前記実空間に実在する実光源からの光により形成される仮想影を含む
　＜１＞に記載の表示制御装置。
＜４＞　前記第１仮想影は、
　　前記実空間に仮想的に配置された仮想光源からの光により形成される前記仮想物体の仮想影と、
　　前記仮想光源からの光により形成される前記実物体の仮想影と
　を含む
　＜３＞に記載の表示制御装置。
＜５＞　前記表示制御部は、前記ユーザの視界における前記第１仮想影の影色と前記実影の影色とのうちの少なくとも一方に基づく影色の第２仮想影の画像を表示させる
　＜１＞乃至＜４＞のいずれかに記載の表示制御装置。
＜６＞　前記ユーザの視界を撮影した撮影画像に基づいて、前記実影の位置を取得する影位置認識部
　をさらに有する
　＜１＞乃至＜５＞のいずれかに記載の表示制御装置。
＜７＞　前記ユーザの視界を撮影した撮影画像に基づいて、前記実影の影色を取得する影色認識部
　をさらに有する
　＜５＞に記載の表示制御装置。
＜８＞　前記第２仮想影の影色は、前記第１仮想影の影色と前記実影の影色との色相、明度、及び、彩度のうちの少なくともいずれかの差異を低減する影色である
　＜１＞乃至＜７＞のいずれかに記載の表示制御装置。
＜９＞　前記影提示画像は、前記第１仮想影の範囲に合成される前記第１仮想影の画像と、前記第２仮想影の画像とを含む
　＜１＞乃至＜８＞のいずれかに記載の表示制御装置。
＜１０＞　前記影提示画像は、前記第１仮想影及び前記第２仮想影の範囲の周辺部に所定の色が付加される画像を含む
　＜１＞又は＜９＞のいずれかに記載の表示制御装置。
＜１１＞　前記影提示画像は、前記第１仮想影及び前記第２仮想影の輪郭を表す画像を含む
　＜１＞又は＜９＞のいずれかに記載の表示制御装置。
＜１２＞　前記影色認識部は、前記実影の範囲内の色を平均化した色を前記実影の影色として取得する
　＜７＞に記載の表示制御装置。
＜１３＞　前記第１仮想影の影色は、所定の影色と前記実影の影色とのＲＧＢ成分値ごとの平均値に所定の係数を乗算して得られるＲＧＢ成分値からなる色に設定され、
　前記第２仮想影の影色は、前記第１仮想影の影色として設定された色のＲＧＢ成分値に所定値を加算した色に設定される
　＜９＞に記載の表示制御装置。
＜１４＞　前記影提示画像は、前記第１仮想影の画像と前記第２仮想影の画像との輪郭にぼかし処理が施された画像を含む
　＜９＞に記載の表示制御装置。
＜１５＞　前記影提示画像は、前記実物体、前記第１仮想影、及び、前記第２仮想影を包含する範囲のうち、前記実物体、前記第１仮想影、及び、前記第２仮想影の範囲を除く範囲に前記所定の色が付加された画像を含む
　＜１０＞に記載の表示制御装置。
＜１６＞　前記影提示画像は、前記実物体、前記第１仮想影、及び、前記第２仮想影を包含する円の範囲のうち、前記実物体、前記第１仮想影、及び、前記第２仮想影の範囲を除く範囲に前記所定の色が付加された画像を含む
　＜１０＞に記載の表示制御装置。
＜１７＞　前記影位置認識部は、前記実空間に実在する実光源の位置と前記実物体の位置及び形状に基づいて前記実影の位置を算出する
　＜６＞に記載の表示制御装置。
＜１８＞　前記表示制御部は、前記影提示画像及び前記第２仮想影の画像を光学シースルー型のディスプレイに表示させる
　＜１＞乃至＜１７＞のいずれかに記載の表示制御装置。
＜１９＞　表示制御部
　を含む表示制御装置の
　前記表示制御部が、実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる
　表示制御方法。
＜２０＞　コンピュータを、
　実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御部
　として機能させるためのプログラムが記録された記録媒体。
　１１　ＡＲ装置，　４１　センサ部，　４２　制御部，　４３　表示部，　６１　外向きカメラ，　６２　内向きカメラ，　６４　ジャイロセンサ，　６５　加速度センサ，　６６　方位センサ，　６７　位置測位センサ，　６９　ＴｏＦカメラ，　８１　認識部，　８２　表示制御部，　１０１　光源認識部，　１０２　自己位置認識部，　１０３　物体認識部，　１０４　影色認識部，　１０５　影位置認識部

Claims (20)

  1. 　実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御部
    　を有する表示制御装置。
  2. 　前記第１仮想影は、前記実空間に仮想的に配置された仮想光源からの光により形成される前記実物体の仮想影を含む
    　請求項１に記載の表示制御装置。
  3. 　前記第１仮想影は、前記ユーザの視界に合成される仮想物体に対して前記実空間に実在する実光源からの光により形成される仮想影を含む
    　請求項１に記載の表示制御装置。
  4. 　前記第１仮想影は、
    　　前記実空間に仮想的に配置された仮想光源からの光により形成される前記仮想物体の仮想影と、
    　　前記仮想光源からの光により形成される前記実物体の仮想影と
    　を含む
    　請求項３に記載の表示制御装置。
  5. 　前記表示制御部は、前記ユーザの視界における前記第１仮想影の影色と前記実影の影色とのうちの少なくとも一方に基づく影色の第２仮想影の画像を表示させる
    　請求項１に記載の表示制御装置。
  6. 　前記ユーザの視界を撮影した撮影画像に基づいて、前記実影の位置を取得する影位置認識部
    　をさらに有する
    　請求項１に記載の表示制御装置。
  7. 　前記ユーザの視界を撮影した撮影画像に基づいて、前記実影の影色を取得する影色認識部
    　をさらに有する
    　請求項５に記載の表示制御装置。
  8. 　前記第２仮想影の影色は、前記第１仮想影の影色と前記実影の影色との色相、明度、及び、彩度のうちの少なくともいずれかの差異を低減する影色である
    　請求項１に記載の表示制御装置。
  9. 　前記影提示画像は、前記第１仮想影の範囲に合成される前記第１仮想影の画像と、前記第２仮想影の画像とを含む
    　請求項１に記載の表示制御装置。
  10. 　前記影提示画像は、前記第１仮想影及び前記第２仮想影の範囲の周辺部に所定の色が付加される画像を含む
    　請求項１に記載の表示制御装置。
  11. 　前記影提示画像は、前記第１仮想影及び前記第２仮想影の輪郭を表す画像を含む
    　請求項１に記載の表示制御装置。
  12. 　前記影色認識部は、前記実影の範囲内の色を平均化した色を前記実影の影色として取得する
    　請求項７に記載の表示制御装置。
  13. 　前記第１仮想影の影色は、所定の影色と前記実影の影色とのＲＧＢ成分値ごとの平均値に所定の係数を乗算して得られるＲＧＢ成分値からなる色に設定され、
    　前記第２仮想影の影色は、前記第１仮想影の影色として設定された色のＲＧＢ成分値に所定値を加算した色に設定される
    　請求項９に記載の表示制御装置。
  14. 　前記影提示画像は、前記第１仮想影の画像と前記第２仮想影の画像との輪郭にぼかし処理が施された画像を含む
    　請求項９に記載の表示制御装置。
  15. 　前記影提示画像は、前記実物体、前記第１仮想影、及び、前記第２仮想影を包含する範囲のうち、前記実物体、前記第１仮想影、及び、前記第２仮想影の範囲を除く範囲に前記所定の色が付加された画像を含む
    　請求項１０に記載の表示制御装置。
  16. 　前記影提示画像は、前記実物体、前記第１仮想影、及び、前記第２仮想影を包含する円の範囲のうち、前記実物体、前記第１仮想影、及び、前記第２仮想影の範囲を除く範囲に前記所定の色が付加された画像を含む
    　請求項１０に記載の表示制御装置。
  17. 　前記影位置認識部は、前記実空間に実在する実光源の位置と前記実物体の位置及び形状に基づいて前記実影の位置を算出する
    　請求項６に記載の表示制御装置。
  18. 　前記表示制御部は、前記影提示画像及び前記第２仮想影の画像を光学シースルー型のディスプレイに表示させる
    　請求項１に記載の表示制御装置。
  19. 　表示制御部
    　を含む表示制御装置の
    　前記表示制御部が、実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる
    　表示制御方法。
  20. 　コンピュータを、
    　実空間に実在する実物体を観察するユーザの視界に合成される影提示画像であって、前記実物体の前記実空間に実在する実影と前記実空間に仮想的に配置される第１仮想影との範囲を提示する影提示画像を表示させ、かつ、前記ユーザの視界における前記実影の範囲に合成される第２仮想影の画像を表示させる表示制御部
    　として機能させるためのプログラムが記録された記録媒体。
PCT/JP2020/046247 2019-12-26 2020-12-11 表示制御装置、表示制御方法、及び、記録媒体 WO2021131781A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019235748 2019-12-26
JP2019-235748 2019-12-26

Publications (1)

Publication Number Publication Date
WO2021131781A1 true WO2021131781A1 (ja) 2021-07-01

Family

ID=76573149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046247 WO2021131781A1 (ja) 2019-12-26 2020-12-11 表示制御装置、表示制御方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2021131781A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134681A (ja) * 2007-11-07 2009-06-18 Canon Inc 画像処理装置、画像処理方法
JP2010128986A (ja) * 2008-11-28 2010-06-10 Canon Inc 複合現実感提示システムと仮想光源の輝度調整方法
JP2016162142A (ja) * 2015-02-27 2016-09-05 ソニー株式会社 画像処理装置
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134681A (ja) * 2007-11-07 2009-06-18 Canon Inc 画像処理装置、画像処理方法
JP2010128986A (ja) * 2008-11-28 2010-06-10 Canon Inc 複合現実感提示システムと仮想光源の輝度調整方法
JP2016162142A (ja) * 2015-02-27 2016-09-05 ソニー株式会社 画像処理装置
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRISHNA KANT SINGH, PAL KIRAT, NIGAM M J: "Shadow Detection and Removal from Remote Sensing Images Using NDI and Morphological Operators", INTERNATIONAL JOURNAL OF COMPUTER APPLICATIONS VOL 42, NO 10, 1 March 2012 (2012-03-01), pages 37 - 40, XP055705995, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.259.280&rep=rep1&type=pdf> [retrieved on 20200617] *

Similar Documents

Publication Publication Date Title
US10365490B2 (en) Head-mounted display, head-up display and picture displaying method
JP7054406B2 (ja) 拡張現実（ａｒ）システムを動作させる方法
US10310595B2 (en) Information processing apparatus, information processing method, computer program, and image processing system
CA2928248C (en) Image display device and image display method, image output device and image output method, and image display system
US9990777B2 (en) Privacy-sensitive consumer cameras coupled to augmented reality systems
JP6732716B2 (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US20130063486A1 (en) Optical Display System and Method with Virtual Image Contrast Control
US20200202161A1 (en) Information processing apparatus, information processing method, and program
EP2889873A1 (en) Image display device and image display method, information communication terminal and information communication method, and image display system
US7940295B2 (en) Image display apparatus and control method thereof
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
US20210004081A1 (en) Information processing apparatus, information processing method, and program
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US11003408B2 (en) Image generating apparatus and image generating method
US11157078B2 (en) Information processing apparatus, information processing method, and program
WO2020090316A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2020071029A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20200292825A1 (en) Attention direction on optical passthrough displays
US11314327B2 (en) Head mounted display and control method thereof
JP6500570B2 (ja) 画像表示装置および画像表示方法
JP2021039444A (ja) 画像処理装置及びその制御方法及びプログラム
WO2021131781A1 (ja) 表示制御装置、表示制御方法、及び、記録媒体
US20200118258A1 (en) Information processing device, information processing system, and image processing method
JP2012103941A (ja) 画像処理装置および画像処理方法
JP2017215688A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20908289

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20908289

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP