WO2023228585A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023228585A1
WO2023228585A1 PCT/JP2023/013820 JP2023013820W WO2023228585A1 WO 2023228585 A1 WO2023228585 A1 WO 2023228585A1 JP 2023013820 W JP2023013820 W JP 2023013820W WO 2023228585 A1 WO2023228585 A1 WO 2023228585A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
control device
transmittance
glasses
virtual object
Prior art date
Application number
PCT/JP2023/013820
Other languages
English (en)
French (fr)
Inventor
裕一 市川
真治 木村
修 後藤
宏暢 藤野
拓郎 栗原
健吾 松本
泰士 山本
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023228585A1 publication Critical patent/WO2023228585A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Definitions

  • the present invention relates to a display control device.
  • Patent Document 1 discloses a vehicle display device that displays on a display an image generated by photographing an object hidden by a sun visor with a camera. This vehicle display device acquires the current location and time of the vehicle from the GPS device. The vehicle display device uses a gyroscope to obtain the traveling direction of the vehicle. The vehicle display device estimates the position of the sun based on the current location of the vehicle and the current time. Further, the vehicle display device determines whether sunlight will shine through the front window based on the estimated position of the sun and the direction of travel of the vehicle. In other words, the vehicle display device determines whether or not the sun causes backlighting based on the position of the sun in front of the vehicle in the direction of travel.
  • the vehicle display device causes the camera to take a picture in the direction of backlighting.
  • the vehicle display device extracts a traffic light image from among the images generated by photography.
  • the vehicle display device displays the extracted image on a display provided in the sun visor.
  • XR glasses that are worn on the user's head are becoming popular.
  • a user views an augmented reality space or a mixed reality space in which a virtual object is superimposed on a real space through XR glasses.
  • a backlight condition occurs. For example, when a user looks up at a tall building, a backlit situation occurs where the sun is located in the user's field of view.
  • Conventional vehicle display devices determine whether a backlight condition has occurred by determining whether the sun is located in the direction in which the vehicle is traveling. However, since a user wearing XR glasses can move his or her head, it is not possible to determine whether a backlight condition is occurring based on the user's direction of travel.
  • An object of the present disclosure is to provide a display control device for glasses that improves user safety.
  • a display control device controls see-through type glasses.
  • the display control device is based on first position information indicating the position of the glass, direction information indicating the direction in which the glass faces the outside world, and second position information indicating the relative position of the sun with respect to the position of the glass.
  • a determining unit that determines a light-blocking range that blocks external light out of a visual field visible to the user through the glass;
  • the glass includes a lens and a light control device provided on a surface of the lens on which the external light enters, and the transmittance control unit corresponds to the light blocking range. The transmittance is adjusted for the area of the light control device.
  • the display control device can set a shade range, thereby ensuring the safety of the user. Improves sex.
  • FIG. 1 is a diagram showing the overall configuration of an information processing system 1 according to an embodiment.
  • FIG. 3 is a perspective view showing an example of the appearance of XR glasses 30-k.
  • FIG. 3 is a plan view showing a configuration example of a light control device 39.
  • FIG. FIG. 2 is a block diagram showing a configuration example of a terminal device 20-k.
  • FIG. 3 is an explanatory diagram showing partial regions R1 to R5 of the light control device 39; An explanatory diagram showing an example of a captured image Gk. An explanatory diagram showing a partial image Gkp obtained by extracting the entire light-shielding range C3 shown in FIG. 8 from the captured image Gk shown in FIG. 10A. An explanatory diagram showing an example of a partial image Gkp obtained by extracting an image of a sign from a light-shielding range C3.
  • FIG. 2 is an explanatory diagram showing an example of a viewing range W recognized by the user U[k].
  • FIG. 2 is an explanatory diagram showing an example of a viewing range W recognized by the user U[k].
  • FIG. 3 is an explanatory diagram showing an example in which a first virtual object and a second virtual object VO2 are displayed in a superimposed manner in real space as a partial image Gkp.
  • 13A is an explanatory diagram showing the relationship between the light shielding range C and the regions X1 to X4 in the captured image Gk shown in FIG. 13A.
  • FIG. 1 is a block diagram showing the overall configuration of an information processing system 1.
  • the information processing system 1 includes user devices 10-1, 10-2, ... 10-k, ... 10-j, and a management server 40.
  • Management server 40 is an example of an external device.
  • the management server 40 includes a location management server 40A that manages the location of a user device, and an object management server 40B that manages virtual objects.
  • j is any integer greater than or equal to 1.
  • k is any integer from 1 to j.
  • the user device 10-k includes a terminal device 20-k and XR glasses 30-k.
  • the terminal devices 20-1, 20-2, ...20-k, ...20-j have the same configuration
  • the XR glasses 30-1, 30-2, ...30-k, ...30-j have the same configuration. They have the same configuration.
  • the information processing system 1 may include a terminal device that does not have the same configuration as other terminal devices, or XR glasses that do not have the same configuration as other XR glasses.
  • the location management server 40A and the user device 10-k are communicably connected to each other via the communication network NW.
  • the object management server 40B and the user device 10-k are connected to be able to communicate with each other via the communication network NW.
  • the terminal device 20-k and the XR glasses 30-k are connected to be able to communicate with each other.
  • user U[k] uses user device 10-k. Users U[1], U[2], ...U[k-1], U[k+1], ...U[j] are user devices 10-1, 10-2, ...10-k-1, 10-k+1, . . . 10-j are used, respectively.
  • the terminal device 20-k is an example of a display control device that controls the XR glasses 30-k. Furthermore, the terminal device 20-k functions as a relay device that relays communication between the XR glasses 30-k and the position management server 40A and communication between the XR glasses 30-k and the object management server 40B.
  • the terminal device 20-k is configured by, for example, a smartphone or a tablet terminal.
  • the XR glasses 30-k are worn on the head of the user U[k].
  • the XR glasses 30-k are see-through glasses that can display virtual objects.
  • User U[k] visually recognizes the virtual object while viewing the real space through the XR glasses 30-k.
  • the virtual object is placed at a position in the virtual space that corresponds to a position in the real space.
  • the user U[k] recognizes an augmented reality space or a mixed reality space that is a combination of a real space and a virtual space.
  • Augmented reality space refers to a space in which virtual objects can be superimposed on real objects in real space.
  • Mixed reality space refers to a space where real objects and virtual objects in real space are related to each other.
  • augmented reality space virtual objects are simply superimposed on real objects.
  • interaction between virtual objects and real objects can be expressed by using a physical model of the virtual object. For example, in a mixed reality space, when a user throws a ball, which is a virtual object, at a wall, which is a real object, the ball, which is a virtual object, is shown bouncing off the wall, which is a real object.
  • the XR glasses 30-k shown in FIG. 1 include an imaging device 36 (see FIG. 4) that images the outside world.
  • the imaging device 36 generates a captured image Gk by performing imaging.
  • the captured image Gk is transmitted to the location management server 40A via the terminal device 20-k.
  • the location management server 40A receives the captured image Gk transmitted from the terminal device 20-k.
  • the position management server 40A identifies the position of the XR glasses 30-k and the direction in which the XR glasses 30-k face the outside world based on the captured image Gk.
  • the position management server 40A returns glass position information Pk indicating the specified position and direction information Dk indicating the specified direction to the terminal device 20-k.
  • the glass position information Pk is an example of first position information.
  • the location management server 40A stores a feature point map M.
  • the feature point map M is data expressing a plurality of feature points using a three-dimensional global coordinate system (world coordinate system).
  • the feature point map M is generated, for example, by extracting a plurality of feature points from an image obtained by performing imaging with a stereo camera.
  • positions in real space are expressed using a world coordinate system.
  • the location management server 40A extracts a plurality of feature points from the captured image Gk.
  • the position management server 40A determines the imaging position and imaging direction used to generate the captured image Gk by comparing the extracted multiple feature points with the multiple feature points stored in the feature point map M. Identify.
  • the position management server 40A returns glass position information Pk indicating the imaging position and direction information Dk indicating the imaging direction to the terminal device 20-k.
  • the XR glasses 30-k periodically acquire the glasses position information Pk and direction information Dk by periodically transmitting the captured image Gk to the position management server 40A.
  • the XR glasses 30-k track the local coordinates of the XR glasses 30-k in real time.
  • the XR glasses 30-k correct the position and direction of the XR glasses 30-k in real time using the glasses position information Pk and direction information Dk obtained from the position management server 40A. This correction allows the XR glasses 30-k to recognize the position and direction of the XR glasses 30-k expressed in the world coordinate system in real time.
  • information indicating the position generated by the correction will be referred to as glass position information Pck, and information indicating the direction generated by the correction will be referred to as direction information Dck.
  • the glass position information Pck is an example of first position information like the glass position information Pk.
  • the object management server 40B When the object management server 40B receives the glass position information Pck and direction information Dck from the user device 10-k, it executes rendering of the virtual object based on the glass position information Pck and direction information Dck.
  • the object management server 40B transmits the rendered virtual object to the terminal device 20-k.
  • the virtual object in this example is a three-dimensional image. Examples of virtual objects include, for example, information regarding disasters such as earthquakes and fires, information regarding traffic jams, and information regarding service areas on expressways.
  • the virtual object managed by the object management server 40B will be referred to as a second virtual object VO2.
  • FIG. 2 is an explanatory diagram showing an example of a mixed reality space that the user U[k] views through the XR glasses 30-k.
  • the second virtual object VO2 shown in FIG. 2 has an ellipsoidal shape.
  • the XR glasses 30-k include a light control device 39 (see FIG. 3) that adjusts the amount of incident external light, and controls the transmittance of the light control device 39 to improve visibility.
  • the XR glasses 30-k are see-through head-mounted displays that are worn on the user's head.
  • the XR glasses 30-k display virtual objects on the lenses 310A and 310B under the control of the terminal device 20-k.
  • FIG. 3 is a perspective view showing an example of the appearance of the XR glasses 30-k.
  • the XR glasses 30-k include temples 301 and 302, a bridge 303, frames 304 and 305, rims 306 and 307, lenses 310A and 310B, and an imaging lens LEN.
  • Bridge 303 interconnects rims 306 and 307.
  • An imaging lens LEN that constitutes the imaging device 36 shown in FIG. 4 is arranged on the bridge 303.
  • the imaging device 36 is, for example, a camera.
  • the frame 304 is provided with a display panel for the left eye and an optical member for the left eye.
  • the display panel is, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display panel for the left eye displays a projection image corresponding to a virtual object, for example, based on control from the terminal device 20-k.
  • the left eye optical member is an optical member that guides the light emitted from the left eye display panel to the lens 310A.
  • the frame 305 is provided with a display panel for the right eye and an optical member for the right eye.
  • the display panel for the right eye displays a projected image corresponding to a virtual object based on control from the terminal device 20-K, for example.
  • the optical member for the right eye is an optical member that guides the light emitted from the display panel for the right eye to the lens 310B.
  • Rim 306 holds lens 310A.
  • Rim 307 holds lens 310B.
  • Each of the lenses 310A and 310B has a half mirror.
  • the half mirrors included in the lenses 310A and 310B transmit the light representing the real space R, thereby guiding the light representing the real space R to the eyes of the user U[k]. Further, the half mirrors included in the lenses 310A and 310B reflect the light indicating the virtual object guided by the optical member toward the eyes of the user U[k].
  • the light in the real space that has passed through the half mirror and the light that represents the virtual object reflected by the half mirror are incident on the eyes of the user U[k], so that the user U[k] can see the virtual object in the real space. Perceive the object as being located. That is, the lenses 310A and 310B function as a transmissive display placed in front of the user U[k]'s eyeball.
  • the light control device 39 is fixed to the outer surface of the lens 310A and the outer surface of the lens 310B.
  • the outer surface of the lens 310A is the surface opposite to the surface facing the eyes of the user U[k] wearing the XR glasses 30-k, of the two surfaces of the planar lens 310A.
  • the outer surface of the lens 310B is the surface opposite to the surface facing the eyes of the user U[k] wearing the XR glasses 30-k, of the two surfaces of the planar lens 310B. That is, the light control device 39 is provided on the surface of each of the lenses 310A and 310B on which external light enters.
  • the light control device 39 adjusts the passage rate of external light passing through the lens 310A and the passing rate of external light passing through the lens 310B.
  • the light control device 39 is configured by, for example, a liquid crystal panel.
  • the light control device 39 By using the light control device 39, it is possible to adjust the amount of external light that enters the eyes of the user U[k] wearing the XR glasses 30-k. In glasses without the light control device 39, the visibility of the user U[k] decreases in backlit conditions.
  • the XR glasses 30-k can improve the visibility of the user U[k] by adjusting the transmittance of the light control device 39 according to the position of the sun and the like.
  • FIG. 4 is a block diagram showing an example of the electrical configuration of the XR glasses 30-k.
  • the XR glasses 30-k include a processing device 31, a storage device 32, a detection device 35, an imaging device 36, a communication device 37, a projection device 38, and a light control device 39. Each device is interconnected via a bus.
  • the processing device 31 includes one or more CPUs (Central Processing Units). One or more CPUs are an example of one or more processors. A processor and a CPU are each an example of a computer.
  • the processing device 31 may be configured by a circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array).
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the storage device 32 is a recording medium that can be read by the processing device 31.
  • the storage device 32 includes, for example, nonvolatile memory and volatile memory. Examples of nonvolatile memories include ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically Erasable Programmable Read Only Memory).
  • the volatile memory is, for example, RAM (Random Access Memory).
  • the storage device 32 stores a control program PR1.
  • the control program PR1 is a program for operating the XR glasses 30-k.
  • the detection device 35 detects the state of the XR glasses 30-k.
  • the detection device 35 includes, for example, an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration, and a geomagnetic sensor that detects orientation.
  • the acceleration sensor detects acceleration in a direction along each of the orthogonal X-axis, Y-axis, and Z-axis.
  • the gyro sensor detects angular acceleration for each of the X-axis, Y-axis, and Z-axis, with the axis being the central axis of rotation.
  • the detection device 35 can generate posture information indicating the posture of the XR glasses 30-k based on the output information of the gyro sensor.
  • the motion information which will be described later, includes acceleration information indicating the acceleration of each of the three axes and angular acceleration information indicating the angular acceleration of the three axes.
  • the detection device 35 outputs posture information indicating the posture of the XR glasses 30-k, motion information regarding the movement of the XR glasses 30-k, and orientation information indicating the direction of the XR glasses 30-k to the processing device 31.
  • the imaging device 36 includes, for example, an imaging optical system and an imaging element.
  • the imaging optical system is an optical system including at least one imaging lens LEN (see FIG. 3).
  • the imaging optical system may include various optical elements such as a prism, or may include a zoom lens, a focus lens, or the like.
  • the image sensor is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor.
  • the communication device 37 includes a communication interface for communicating with other devices.
  • the communication device 37 communicates with the terminal device 20-K using wireless communication or wired communication.
  • the communication device 37 communicates with the communication device 23 (see FIG. 6) of the terminal device 20-k using short-range wireless communication such as Bluetooth (registered trademark).
  • the projection device 38 includes lenses 310A and 310B, a display panel for the left eye, an optical member for the left eye, a display panel for the right eye, and an optical member for the right eye.
  • Lenses 310A and 310B function as a display placed in front of the user U[k]'s eyeball.
  • the projection device 38 displays a projection image corresponding to the virtual object on the left eye display panel and the right eye display panel under control from the terminal device 20-k.
  • the light control device 39 is composed of, for example, a transmissive liquid crystal panel.
  • a liquid crystal panel includes multiple pixels. In a liquid crystal panel, transmittance is controlled for each pixel.
  • a plurality of pixels is an example of a plurality of partial regions.
  • FIG. 5 is an explanatory diagram schematically showing a configuration example of the light control device 39.
  • the light control device 39 has a plurality of pixels 391 arranged vertically and horizontally.
  • the light control device 39 includes a plurality of pixel electrodes in one-to-one correspondence with the plurality of pixels 391, a common electrode common to the plurality of pixels 391, and a liquid crystal display provided between the common electrode and the plurality of pixel electrodes. Equipped with.
  • the common electrode and the plurality of pixel electrodes are each formed of a transparent electrode. Then, the transmittance is controlled for each pixel according to the voltage applied between each pixel electrode and the common electrode.
  • FIG. 6 is a block diagram showing an example of the configuration of the terminal device 20-k.
  • the terminal device 20-k includes a processing device 21, a storage device 22, a communication device 23, and a touch display 24. Each element of the terminal device 20-k is interconnected by one or more buses for communicating information.
  • the terminal device 20-k is an example of a display control device.
  • the processing device 21 is a processor that controls the entire terminal device 20-k. Further, the processing device 21 is configured using, for example, a single chip or a plurality of chips. The processing device 21 is configured using, for example, a central processing unit (CPU) that includes interfaces with peripheral devices, an arithmetic unit, registers, and the like. Note that some or all of the functions of the processing device 21 may be realized by hardware such as a DSP, ASIC, PLD, or FPGA. The processing device 21 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 22 is a recording medium that can be read and written by the processing device 21. Furthermore, the storage device 22 stores a plurality of programs including the control program PR2 executed by the processing device 21. Furthermore, the storage device 22 functions as a work area for the processing device 21.
  • the communication device 23 is hardware as a transmitting/receiving device for communicating with other devices.
  • the communication device 23 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 23 may include a connector for wired connection and an interface circuit corresponding to the connector. Furthermore, the communication device 23 may include a wireless communication interface.
  • the touch display 24 is a device that displays images and text information. Furthermore, the touch display 24 functions as an input device that receives input operations from the user U[k].
  • the processing device 21 reads the control program PR2 from the storage device 22.
  • the processing device 21 functions as a first acquisition section 211, a second acquisition section 212, a calculation section 213, a determination section 214, a transmittance control section 215, an extraction section 216, and a display control section 217 by executing the control program PR2. do.
  • the first acquisition unit 211 uses the communication device 23 to transmit the captured image Gk to the position management server 40A, thereby acquiring the glass position information Pk and direction information Dk from the position management server 40A.
  • the second acquisition unit 212 uses the communication device 23 to acquire the second virtual object VO2 from the object management server 40B. More specifically, the second acquisition unit 212 acquires the second virtual object VO2 by transmitting the glass position information Pck and the direction information Dck to the object management server 40B.
  • the calculation unit 213 calculates sun position information indicating the relative position of the sun with respect to the position of the XR glasses 30-k based on the current date and time and the glass position information Pk or Pck.
  • Sun position information is an example of second position information.
  • the determining unit 214 uses glass position information Pk or Pck indicating the position of the XR glasses 30-k, direction information Dk or Dck indicating the direction in which the XR glasses 30-k faces the outside world, and the position of the XR glasses 30-k as a reference. Based on the sun position information indicating the relative position of the sun, a light-blocking range C that blocks external light is determined from among the visual field W visible to the user U[k] through the XR glasses 30-k.
  • FIG. 7 is an explanatory diagram showing an example of the relationship between the position of the XR glasses 30-k, the position of the sun, and the direction in which the XR glasses 30-k face the outside world.
  • the XR glasses 30-k are located at position P1 (x1, y1, z1).
  • the sun is located at position P2 (x2, y2, z2).
  • the relative position of the sun indicated by the sun position information is (x2-x1, y2-y1, z2-z1).
  • Line segment L is a line segment that connects the XR glass 30-k and the sun.
  • the XR glasses 30-k face direction D.
  • the angle formed by the direction D and the line segment L is " ⁇ ".
  • FIG. 2 shows an example of the visual field W that is visible to the user U[k] through the XR glasses 30-k.
  • the angle ⁇ is zero, the sun indicated by the point Q is located at the center of the viewing range W, as shown in FIG.
  • the determining unit 214 calculates the position of the sun in the viewing range W based on the glass position information Pk or Pck, the sun position information, and the direction information Dk or Dck.
  • the determining unit 214 determines the light shielding range C according to the calculation result. For example, the determining unit 214 may determine a circle centered on the position of the sun in the viewing range W as the shade range C.
  • FIG. 8 is an explanatory diagram showing an example of the relationship between the position of the sun in the viewing range W and the shading range C. In the viewing range W shown in FIG. 8, when the sun is located at a point Q1, the determining unit 214 determines a light shielding range C1 centered on the point Q1.
  • the determining unit 214 determines a shade range C2 centered on point Q2.
  • the determining unit 214 determines a shade range C3 centered on point Q3.
  • the determining unit 214 determines a shade range C4 centered on point Q4.
  • the determining unit 214 determines a shade range C5 centered on point Q5.
  • the radius of the light shielding ranges C1 to C5 was constant.
  • the determining unit 214 may reduce the area of the light shielding range C as the distance between the center of the viewing range W and the position of the sun becomes longer.
  • the shape of the light shielding range C is not limited to a circle, but may be an ellipse, a square, a rectangle, or a polygon.
  • the transmittance control unit 215 controls the transmittance of external light that passes through the XR glasses 30-k in the light-blocking range C determined by the determining unit 214.
  • the transmittance of external light is expressed by B/A, where "A" is the amount of external light that enters the XR glass 30-k, and "B" is the amount of external light that exits from the XR glass 30-k. Ru.
  • the transmittance control unit 215 adjusts the transmittance of the area of the light control device 39 corresponding to the light-blocking range C.
  • the transmittance control unit 215 controls the transmittance of each of the plurality of partial regions based on the position of the sun in the light control device 39.
  • the transmittance control unit 215 may minimize the transmittance of the light control device 39 at the center of the light-blocking range C, that is, at the position of the sun above the light control device 39.
  • the transmittance control unit 215 may gradually increase the transmittance of the light control device 39 as the distance from the center of the light-blocking range C increases. For example, as shown in FIG. 9, the transmittance control unit 215 sets the transmittance to 0% in the partial region R1 of the light control device 39, and sets the transmittance to 25% in the partial region R2 of the light control device 39.
  • the transmittance is set to 25% in the partial area R3 of the dimmer 39, the transmittance is set to 75% in the partial area R4 of the dimmer 39, and the transmittance is set to 75% in the partial area R5 of the dimmer 39. may be set to 100%.
  • the partial regions R1 to R4 are regions corresponding to the light shielding range C3 shown in FIG.
  • the partial region R5 is a region of the viewing range W other than the light shielding range C3.
  • the extraction unit 216 extracts a partial image Gkp corresponding to part or all of the light-shielding range C from the captured image Gk.
  • FIG. 10A is an explanatory diagram showing an example of a captured image Gk.
  • the captured image Gk shown in FIG. 10A is an image obtained by removing the second virtual object VO2 from the mixed reality space shown in FIG. 2.
  • FIG. 10B is a partial image Gkp obtained by extracting the entire light shielding range C3 shown in FIG. 8 from the captured image Gk shown in FIG. 10A.
  • FIG. 10C is an explanatory diagram showing an example of a partial image Gkp obtained by extracting the image of the sign from the light-shielding range C3.
  • the extraction unit 216 performs image recognition processing on the captured image Gk to extract the partial image Gkp.
  • the target of the image recognition process is a real object that makes the user U[k] aware of danger or a real object that may collide with the user U[k]. Examples of real objects that make the user U[k] aware of danger include, for example, signs and traffic lights. Examples of real objects that may collide with user U[k] include vehicles and people.
  • the image recognition process may use a learning model that has already been trained on images of real objects to be extracted.
  • the display control unit 217 displays the partial image Gkp as a first virtual object on the lenses 310A and 310B of the XR glasses 10-k. Specifically, the display control unit 217 transmits image information indicating the partial image Gkp to the XR glasses 30-k via the communication device 23. The XR glasses 30-k use the projection device 38 to project the partial image Gkp onto the lenses 310A and 310B based on the image information. The light control device 39 reduces the amount of external light that passes through the light shielding range C, and the partial image Gkp is projected, so that the user U[k] can recognize the partial image Gkp even in a backlit state. .
  • the user U[k] In a backlit state where the sun is located at the center of the viewing range W, the user U[k] is hardly able to perceive the outside world.
  • the imaging device 36 can control the exposure time, it can generate a clear captured image Gk.
  • the XR glasses 30-k simply project the captured image Gk using the projection device 38, external light will enter the eyes of the user U[k] via the lenses 310A and 310B. [k] is barely aware of the outside world.
  • the external light is attenuated by the light control device 39 in a backlit state, so that the user U[k] can perceive the external world.
  • the transmittance of the partial regions R1 to R4 shown in FIG. 9 is set to 0%
  • the captured image Gk shown in FIG. 10A is generated
  • the partial image Gkp is the image shown in FIG. 10B.
  • user U[k] recognizes the viewing range W shown in FIG. 11A.
  • the transmittance of partial regions R1 to R3 shown in FIG. 9 is set to 0%
  • the transmittance of partial region R4 is set to 50%
  • the captured image Gk shown in FIG. 10A is generated
  • the partial image Gkp Assume that the image is the image shown in FIG. 10C.
  • user U[k] recognizes the viewing range W shown in FIG. 11B.
  • the display control unit 217 displays the XR glass in a manner that allows the partial image Gkp, which is an example of the first virtual object, and the second virtual object VO2, which is an example of the first virtual object, to be distinguished from each other. It may also be displayed on 30-k.
  • the first virtual object and the second virtual object in a manner in which they can be identified from each other, the first virtual object generated corresponding to the real object existing in the real space and the object management server 40B are The user U[k] can easily recognize the second virtual object VO2.
  • the display control unit 217 displays the first virtual object in the first area corresponding to the light-blocking range C among the display areas of the lenses 310A and 310B, and displays the second virtual object in the first area of the display area of the lenses 310A and 310B. It may be displayed in a second area other than the area.
  • the viewing range W shown in FIG. 11A is displayed in the display area of the XR glasses 30-k, and an image on which the second virtual object VO2 shown in FIG. 2 is superimposed on this image is displayed in the display area.
  • FIG. 11C is an explanatory diagram showing an example in which an image in which the first virtual object, which is the partial image Gkp, and the second virtual object VO2 are superimposed on the real space is displayed.
  • the partial image Gkp is displayed in the first area corresponding to the light-blocking range C.
  • the partial regions R1, R2, R3, and R4 described above correspond to the first region.
  • partial region R5 corresponds to the second region.
  • partial image Gkp is displayed in the first area
  • second virtual object VO2 is displayed in the second area.
  • the display control unit 217 surrounds the outer edge of the second virtual object VO2 with a red frame, or causes the second virtual object VO2 to blink.
  • the display control unit 217 applies such effect processing to the second virtual object VO2, thereby displaying the first virtual object and the second virtual object in a manner that allows them to be distinguished from each other.
  • FIG. 12 is a flowchart showing an example of the operation of the terminal device 20-k.
  • step S10 the processing device 21 transmits a position direction request including the captured image Gk to the position management server 40A via the communication device 23. Further, the processing device 21 receives a location direction response from the location management server 40A via the communication device 23.
  • the position/direction response includes first position information indicating the position of the XR glasses 30-k and direction information indicating the direction in which the XR glasses 30-k face the outside world. Through this transmission and reception, the processing device 21 acquires the first position information and direction information.
  • step S11 the processing device 21 acquires the second virtual object VO2 from the object management server 40B. Specifically, the processing device 21 transmits an object request including first position information and direction information to the object management server 40B via the communication device 23. Further, the processing device 21 receives an object response including the second virtual object VO2 from the object management server 40B via the communication device 23. Through this transmission and reception, the processing device 21 acquires the second virtual object VO2.
  • step S12 the processing device 21 calculates sun position information indicating the relative position of the sun based on the current date and time and the glass position information Pk or Pck.
  • step S13 the processing device 21 determines the light-shielding range C.
  • the processing device 21 determines the visual field visible to the user U[k] via the XR glasses 30-k based on the glasses position information Pk or Pck, the direction information Dk or Dck, and the sun position information.
  • a light-blocking range C that blocks external light is determined.
  • the processing device 21 first calculates the position of the sun in the viewing range W based on the glass position information Pk or Pck, the sun position information, and the direction information Dk or Dck. The processing device 21 then determines the light-shielding range C according to the calculation result.
  • step S14 the processing device 21 adjusts the transmittance of the area of the light control device 39 corresponding to the light-blocking range C.
  • the processing device 21 controls the transmittance of each of the plurality of partial regions based on the position of the sun in the light control device 39.
  • the processing device 21 generates transmittance information that specifies the transmittance for each of the plurality of partial regions of the light control device 39.
  • the transmittance information specifies 100% transmittance for portions other than the light shielding range C.
  • the processing device 21 transmits the transmittance information to the XR glasses 30-k via the communication device 23.
  • the XR glasses 30-k control the transmittance of the light control device 39 based on the received transmittance information.
  • step S15 the processing device 21 extracts a partial image Gkp corresponding to part or all of the light-shielding range C from the captured image Gk.
  • the partial image Gkp may correspond to a part of the light-shielding range C, or may correspond to the entire light-shielding range C.
  • step S16 the processing device 21 generates a display image to be displayed on the XR glasses 30-k.
  • the processing device 21 generates a display image by combining the image of the second virtual object VO2 obtained in step S11 and the partial image Gkp extracted in step S15.
  • step S17 the processing device 21 transmits the display image to the XR glasses 30-k via the communication device 23.
  • the XR glasses 30-k project the received display image using the projection device 38, thereby allowing the user U[k] to view the augmented reality space or the mixed reality space.
  • the processing device 21 functions as the first acquisition unit 211 in step S10. Furthermore, the processing device 21 functions as the second acquisition unit 212 in step S11. Furthermore, the processing device 21 functions as the calculation unit 213 in step S12. Furthermore, the processing device 21 functions as the determining unit 214 in step S13. Furthermore, the processing device 21 functions as the transmittance control section 215 in step S14. Furthermore, the processing device 21 functions as the extraction unit 216 in step S15. Furthermore, the processing device 21 functions as the display control unit 217 in steps S16 and S17.
  • the terminal device 20-k is an example of a display control device that controls the see-through XR glasses 30-k.
  • the terminal device 20-k includes a determination section 214 and a transmittance control section 215.
  • the determining unit 214 includes glass position information Pk or Pck indicating the position of the XR glasses 30-k, direction information Dk or Dck indicating the direction in which the XR glasses 30-k faces the outside world, and solar position information indicating the position of the sun. Based on this, a light-blocking range C that blocks external light is determined out of the viewing range W that is visible to the user through the XR glasses 30-k.
  • the transmittance control unit 215 controls the transmittance of external light that passes through the XR glass 30-k in the determined light-blocking range C.
  • XR glasses 30-k include lenses 310A and 310B and a light control device 39.
  • the light control device 39 is provided on the surfaces of the lenses 310A and 310B on which external light enters.
  • the transmittance control unit 215 adjusts the transmittance of the area of the light control device 39 corresponding to the light-blocking range C.
  • the light-shielding range is determined by considering the direction in which the XR glasses 30-k face the outside world, rather than the traveling direction of the user U[k] wearing the XR glasses 30-k. C can be determined. Therefore, when the user U[k] wearing the XR glasses 30-k looks up while moving in a predetermined direction and the sun enters the viewing range W of the user U[k], the terminal device 20-k can set the shading range C. Therefore, the terminal device 20-k can improve the safety of the user U[k] wearing the XR glasses 30-k.
  • the XR glasses 30-k include an imaging device 36 that images the outside world.
  • the terminal device 20-k includes a first acquisition section 211 and a calculation section 213.
  • the first acquisition unit 211 acquires the glass position information Pk and the direction information Dk from the position management server 40A by transmitting the captured image Gk generated by the imaging device 36 to the position management server 40A.
  • the calculation unit 213 calculates the sun position information based on the current date and time and the glass position information Pk or Pck.
  • the terminal device 20-k Since the terminal device 20-k has the above configuration, it can acquire the glass position information Pk and direction information Dk from the position management server 40A.
  • the position management server 40A generates the glass position information Pk and the direction information Dk by comparing the plurality of feature points extracted from the captured image Gk and the plurality of feature points stored in the feature point map M.
  • the glass position information Pk generated by the verification is more accurate than the position information of the XR glasses 30-k acquired by the GPS device. Therefore, the terminal device 20-k can calculate solar position information with high accuracy.
  • the light control device 39 includes a plurality of pixels 391 corresponding to a plurality of partial regions.
  • the determining unit 214 determines the transmittance of each of the plurality of pixels 391. Since the terminal device 20-k determines the transmittance of each of the plurality of pixels 391, the transmittance can be precisely controlled depending on the backlight condition.
  • the XR glasses 30-k also include a projection device 38 that displays virtual objects on the lenses 310A and 310B.
  • the terminal device 20-k further includes an extraction section 216 and a display control section 217.
  • the extraction unit 216 extracts a partial image Gkp corresponding to part or all of the light-shielding range C from the captured image Gk.
  • Display control unit 217 displays partial image Gkp as a first virtual object on lenses 310A and 310B.
  • the terminal device 20-k displays the partial image Gkp on the lenses 310A and 310B, the user U[k] can recognize the real object existing in the real space corresponding to the shaded range C as the first virtual object. . Therefore, the terminal device 20-k can improve safety when using the XR glasses 30-k while protecting the eyes of the user U[k].
  • the terminal device 20-k also includes a second acquisition unit 212 that acquires the second virtual object VO2 from the object management server 40B.
  • the display control unit 217 causes the lenses 310A and 310B to display the first virtual object and the second virtual object VO2 in such a manner that they can be distinguished from each other.
  • the terminal device 20-k Since the terminal device 20-k has the above configuration, the first virtual object generated corresponding to a real object existing in real space and the second virtual object held by the object management server 40B are transferred to the user U. [k] can be easily recognized.
  • the display control unit 217 also causes the first virtual object to be displayed in the first area corresponding to the light-blocking range C among the display areas of the lenses 310A and 310B, and displays the second virtual object in the first area of the display areas. display in the second area other than the
  • the terminal device 20-k Since the terminal device 20-k has the above configuration, the area where the virtual object is displayed is distinguished according to the type of the virtual object. Therefore, the terminal device 20-k can easily make the user U[k] recognize the first virtual object and the second virtual object.
  • the XR glasses 30-k described above use the projection device 38 to display virtual objects on the lenses 310A and 310B.
  • the XR glasses 30-k provided the user U[k] with an augmented reality space or a mixed reality space by displaying virtual objects.
  • the present disclosure is not limited to the embodiments.
  • the present disclosure may be a glass that does not include the projection device 38. In this glass as well, the eyes of the user U[k] can be protected by blocking external light using the light control device 39.
  • the modified glasses by controlling the transmittance of the light control device 39 to be lower in a backlit state than in a frontlit state, the user U[k] can easily see the outside world. .
  • the determination unit 214 determined the transmittance of each of the plurality of partial regions of the light control device 39.
  • the present disclosure is not limited to the embodiments. That is, the determining unit 214 may uniformly determine the transmittance of the entire light control device 39.
  • the light control device 39 does not need to include a plurality of pixels 391, and has one common electrode, one pixel electrode, and a common electrode and a pixel electrode. It is only necessary to provide a liquid crystal to be sandwiched. In this case, the transmittance of the entire light control device 39 is uniformly controlled depending on the voltage applied to the common electrode and the pixel electrode.
  • the transmittance control unit 215 controlled the transmittance of each pixel 391 of the light control device 39 according to the relative position of the sun with respect to the XR glasses 30-k.
  • the transmittance control unit 215 calculates the brightness of the captured image Gk corresponding to each of the plurality of pixels 391 corresponding to the plurality of partial regions, and calculates the brightness of the captured image Gk corresponding to each of the plurality of pixels 391 corresponding to the position of the sun in the light control device 39 and each of the plurality of pixels 391.
  • the transmittance of each of the plurality of pixels 391 may be controlled based on the brightness of the captured image Gk.
  • the transmittance control unit 215 calculates the brightness distribution of the captured image Gk in areas X1, X2, and X3 shown in FIG. 13B. and is classified into area X4. It is assumed that the average luminance value of the region X1 is L1, the average luminance value of the region X2 is L2, the average luminance value of the region X3 is L3, and the average luminance value of the region X4 is L4. Furthermore, it is assumed that L1 to L4 have the following relationship. L1 ⁇ L2 ⁇ L3 ⁇ L4
  • the transmittance control unit 215 sets the transmittance Z1 of the region X1, the transmittance Z2 of the region X2, the transmittance Z3 of the region X3, and the transmittance Z4 of the region X4 based on the average luminances L1 to L4.
  • the transmittances Z1 to Z4 have the following relationship. Z1>Z2>Z3>Z4
  • the transmittance of the light control device 39 can be made smaller in areas with higher brightness. Therefore, according to the terminal device 20-k according to the third modification, the transmittance can be controlled in consideration of the brightness of the captured image Gk, compared to the case where the transmittance is controlled without considering the brightness of the captured image Gk. Therefore, the visibility of user U[k] is improved.
  • the light control device 39 was provided on the surfaces of the lenses 310A and 310B on which external light enters.
  • the present disclosure is not limited to the embodiments. That is, the light control device 39 may be provided spaced apart in the first direction from the surfaces of the lenses 310A and 310B on which external light enters.
  • the first direction is a direction from the user U[k]'s eyeball toward the surface on which external light enters.
  • the user device 10-k is configured by the terminal device 20-k and the XR glasses 30-k.
  • the present disclosure is not limited to the embodiments.
  • the XR glasses 30-k may include the terminal device 20-k.
  • the processing device 31 is an example of a display control device that controls the XR glasses 30-k.
  • the storage device 22 and the storage device 32 are exemplified as ROM and RAM, but they may also be flexible disks, magneto-optical disks (for example, compact disks, digital versatile disks, Blu-ray disks, etc.).
  • ray (registered trademark) disk) smart card
  • flash memory device e.g., card, stick, key drive
  • CD-ROM Compact Disc-ROM
  • register removable disk
  • hard disk floppy disk
  • magnetic strip database
  • server or other suitable storage medium.
  • the program may also be transmitted from a network via a telecommunications line. Further, the program may be transmitted from the communication network NW via a telecommunications line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. which may be referred to throughout the above description, may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may also be represented by a combination of
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the determination may be made using a value expressed using 1 bit (0 or 1) or a truth value (Boolean: true or false).
  • the comparison may be performed by comparing numerical values (for example, comparing with a predetermined value).
  • each of the functions illustrated in FIGS. 1 to 13B is realized by an arbitrary combination of at least one of hardware and software.
  • the method for realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • the programs exemplified in the above-described embodiments are instructions, instruction sets, codes, codes, regardless of whether they are called software, firmware, middleware, microcode, hardware description language, or by other names. Should be broadly construed to mean a segment, program code, program, subprogram, software module, application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in this disclosure may be expressed using absolute values, relative values from a predetermined value, or other corresponding information. It may also be expressed as
  • the user devices 10-1 to 10-j, the terminal devices 20-1 to 20-j, and the XR glasses 30-1 to 30-j are mobile stations (MS). This includes some cases.
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology. Further, in the present disclosure, terms such as “mobile station,” “user terminal,” “user equipment (UE),” and “terminal” may be used interchangeably.
  • connection refers to direct or indirect connections between two or more elements. Refers to any connection or combination and may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other.
  • the coupling or connection between elements may be a physical coupling or connection, a logical coupling or connection, or a combination thereof.
  • connection may be replaced with "access.”
  • two elements may include one or more wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges.
  • determining and “determining” used in this disclosure may encompass a wide variety of operations.
  • “Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, and inquiry. (e.g., searching in a table, database, or other data structure), and regarding an ascertaining as a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • notification of prescribed information is not limited to explicit notification, but may also be done implicitly (for example, by not notifying the prescribed information). Good too.
  • Transmittance control section 216...Extraction unit, 217...Display control unit, 310A, 310B...Lens, 391...Pixel, C...Shading range, Dck, Dk...Direction information, Gk...Captured image, Gkp...Partial image, Pk, Pck...Glass position information , R1 to R5... partial area, VO2... second virtual object, W... viewing range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

端末装置は、シースルー方式のグラスの位置を示す第１位置情報と、前記グラスの外界を向く方向を示す方向情報と、前記グラスの位置を基準として太陽の相対位置を示す第２位置情報とに基づいて、視野範囲のうち、外光を遮光する遮光範囲を決定する決定部と、遮光範囲おいて外光の透過率を制御する透過率制御部とを備える。

Description

表示制御装置
　本発明は、表示制御装置に関する。
　特許文献１には、サンバイザによって隠される物体をカメラにより撮影することによって生成される画像を表示器に表示する車両用表示装置が開示されている。この車両用表示装置は、自動車の現在位置と現在の時刻をＧＰＳ装置から取得する。車両用表示装置は、ジャイロスコープを用いて自動車の進行方向を取得する。車両用表示装置は、自動車の現在位置と現在の時刻に基づいて、太陽の位置を推測する。更に、車両用表示装置は、推測した太陽の位置と自動車の進行方向とから、フロントウインドから太陽光が差し込むか否かを判断する。つまり、車両用表示装置は、進行方向の前方に太陽が位置することによって、その太陽が逆光を引き起こすか否かを判断する。逆光が引き起こされると判断した場合、車両用表示装置は、逆光となる方向においてカメラに撮影を実行させる。車両用表示装置は、撮影によって生成された映像のうちから信号機の映像を抽出する。車両用表示装置は、抽出された映像をサンバイザに設けられた表示器に表示する。
特開２００６－２６００１１号公報
　ところで、ユーザの頭部に装着されるＸＲグラスが普及しつつある。ユーザは、ＸＲグラスを介して、現実空間に仮想オブジェクトが重畳された拡張現実空間又は複合現実空間を視認する。ユーザがＸＲグラスを装着した状態で市中を歩く場合に、ユーザの視界に太陽が入ると、逆光の状態が生じる。例えば、ユーザが高い建物を見上げた場合に、ユーザの視界に太陽が位置する逆光の状態が生じる。
　従来の車両用表示装置は、自動車の進行方向に太陽が位置するか否かを判断することによって逆光の状態が生じたか否かを判断していた。しかし、ＸＲグラスを装着したユーザは、ユーザの頭部を動かすことができるため、ユーザの進行方向から逆光の状態が生じているかを判断することはできない。
　本開示は、ユーザの安全性を向上させるグラスの表示制御装置を提供することを目的とする。
　本開示に係る表示制御装置は、シースルー方式のグラスを制御する。表示制御装置は、前記グラスの位置を示す第１位置情報と、前記グラスの外界を向く方向を示す方向情報と、前記グラスの位置を基準として太陽の相対位置を示す第２位置情報とに基づいて、前記グラスを介してユーザに視認される視野範囲のうち、外光を遮光する遮光範囲を決定する決定部と、前記決定された遮光範囲おいて、前記グラスを透過する前記外光の透過率を制御する透過率制御部とを備え、前記グラスは、レンズ及び前記レンズの前記外光が入射する面に設けられた調光装置を含み、前記透過率制御部は、前記遮光範囲に対応する前記調光装置の領域に対して透過率を調整する。
　本開示によれば、グラスを装着したユーザが、所定の方向に進行中に見上げることによって、ユーザの視野範囲に太陽が入る状況において、表示制御装置は、遮光範囲を設定できるので、ユーザの安全性が向上する。
実施形態に係る情報処理システム１の全体構成を示す図。 ユーザＵ[ｋ]がＸＲグラス３０－ｋを介して視認する複合現実空間の一例を示す説明図。 ＸＲグラス３０－ｋの外観の一例を示す斜視図。 ＸＲグラス３０－ｋの構成例を示すブロック図。 調光装置３９の構成例を示す平面図。 端末装置２０－ｋの構成例を示すブロック図。 ＸＲグラス３０－ｋの位置、太陽の位置、及びＸＲグラス３０－ｋの外界を向く方向の関係の一例を示す説明図。 視野範囲Ｗにおける太陽の位置Ｑ１～Ｑ５と遮光範囲Ｃ１～Ｃ５との関係の一例を示す説明図。 調光装置３９の部分領域Ｒ１～Ｒ５を示す説明図。 撮像画像Ｇｋの一例を示す説明図。 図１０Ａに示される撮像画像Ｇｋから図８に示される遮光範囲Ｃ３の全部を抽出することによって得られた部分画像Ｇｋｐを示す説明図。 遮光範囲Ｃ３から、標識の画像を抽出することによって得られた部分画像Ｇｋｐの一例を示す説明図。 ユーザＵ[ｋ]が認識する視野範囲Ｗの一例を示す説明図。 ユーザＵ[ｋ]が認識する視野範囲Ｗの一例を示す説明図。 部分画像Ｇｋｐとして第１の仮想オブジェクトと第２の仮想オブジェクトＶＯ２とが、現実空間に重畳して表示される一例を示す説明図。 端末装置２０－ｋの動作例を示すフローチャート。 撮像画像Ｇｋの一例を示す説明図。 図１３Ａに示される撮像画像Ｇｋにおいて、遮光範囲Ｃ、及び領域Ｘ１～Ｘ４の関係を示す説明図。
１：実施形態
　以下、図１～図１２を参照しつつ、情報処理システム１について説明する。
１．１：実施形態の構成
１．１．１：全体構成
　図１は、情報処理システム１の全体構成を示すブロック図である。図１に示されるように、情報処理システム１は、ユーザ装置１０－１、１０－２、…１０－ｋ、…１０－ｊ、及び管理サーバ４０を備える。管理サーバ４０は、外部装置の一例である。管理サーバ４０は、ユーザ装置の位置を管理する位置管理サーバ４０Ａ、及び仮想オブジェクトを管理するオブジェクト管理サーバ４０Ｂを含む。ｊは１以上の任意の整数である。ｋは１以上ｊ以下の任意の整数である。ユーザ装置１０－ｋは、端末装置２０－ｋ及びＸＲグラス３０－ｋを備える。本実施形態において、ユーザ装置１０－１、１０－２、…１０－ｋ、…１０－ｊは相互に同一の構成である。従って、端末装置２０－１、２０－２、…２０－ｋ、…２０－ｊは相互に同一の構成であり、ＸＲグラス３０－１、３０－２、…３０－ｋ、…３０－ｊは相互に同一の構成である。但し、情報処理システム１は、他の端末装置と構成が同一でない端末装置、又は他のＸＲグラスと構成が同一でないＸＲグラスを含んでもよい。
　情報処理システム１において、位置管理サーバ４０Ａとユーザ装置１０－ｋとは、通信網ＮＷを介して互いに通信可能に接続される。オブジェクト管理サーバ４０Ｂとユーザ装置１０－ｋとは、通信網ＮＷを介して互いに通信可能に接続される。また、端末装置２０－ｋとＸＲグラス３０－ｋとは互いに通信可能に接続される。なお、図１において、ユーザＵ[ｋ]は、ユーザ装置１０－ｋを利用する。ユーザＵ[１]、Ｕ[２]、…Ｕ[ｋ-１]、Ｕ[ｋ+１]、…Ｕ[ｊ] は、ユーザ装置１０－１、１０－２、…１０－ｋ－１、１０－ｋ＋１、…１０－ｊをそれぞれ利用する。
　端末装置２０－ｋは、ＸＲグラス３０－ｋを制御する表示制御装置の一例である。また、端末装置２０－ｋは、ＸＲグラス３０－ｋと位置管理サーバ４０Ａとの通信及びＸＲグラス３０－ｋとオブジェクト管理サーバ４０Ｂとの通信を中継する中継装置として機能する。端末装置２０－ｋは、例えば、スマートフォン又はタブレット端末によって構成される。
　ＸＲグラス３０－ｋは、ユーザＵ[ｋ]の頭部に装着される。ＸＲグラス３０－ｋは、仮想オブジェクトを表示可能なシースルー方式のグラスである。ユーザＵ[ｋ]は、ＸＲグラス３０－ｋを介して、現実空間を視認しながら仮想オブジェクトを視認する。仮想オブジェクトは、現実空間の位置に対応付けられた仮想空間の位置に配置される。ユーザＵ[ｋ]は、ＸＲグラス３０－ｋを用いることによって、現実空間と仮想空間が複合された拡張現実空間又は複合現実空間を認識する。拡張現実空間とは、現実空間の実オブジェクトに仮想オブジェクトが重ねられることが可能な空間を意味する。複合現実空間とは、現実空間の実オブジェクトと仮想オブジェクトとが相互に関係する空間を意味する。拡張現実空間では、仮想オブジェクトは単に実オブジェクトに重畳される。これに対して、複合現実空間では、仮想オブジェクトの物理モデルを用いることによって、仮想オブジェクトと実オブジェクトとの間の相互の作用が表現できる。例えば、複合現実空間では、ユーザが仮想オブジェクトであるボールを実オブジェクトである壁に投げると、仮想オブジェクトであるボールが実オブジェクトである壁で跳ね返る様子が表現される。
　図１に示されるＸＲグラス３０－ｋは、外界を撮像する撮像装置３６（図４参照）を備える。撮像装置３６は、撮像を実行することによって撮像画像Ｇｋを生成する。撮像画像Ｇｋは、端末装置２０－ｋを介して位置管理サーバ４０Ａに送信される。位置管理サーバ４０Ａは、端末装置２０－ｋから送信される撮像画像Ｇｋを受信する。位置管理サーバ４０Ａは、撮像画像Ｇｋに基づいて、ＸＲグラス３０－ｋの位置と、ＸＲグラス３０－ｋが外界を向く方向を特定する。位置管理サーバ４０Ａは、特定した位置を示すグラス位置情報Ｐｋ及び特定した方向を示す方向情報Ｄｋを端末装置２０－ｋへ返信する。グラス位置情報Ｐｋは、第１位置情報の一例である。
　位置管理サーバ４０Ａは、特徴点マップＭを記憶している。特徴点マップＭは、複数の特徴点を三次元のグローバル座標系（ワールド座標系）によって表現したデータである。特徴点マップＭは、例えば、ステレオカメラが撮像を実行することによって得られた画像から複数の特徴点を抽出することによって生成される。特徴点マップＭでは、現実空間の位置はワールド座標系によって表現される。
　位置管理サーバ４０Ａは、撮像画像Ｇｋから複数の特徴点を抽出する。位置管理サーバ４０Ａは、抽出した複数の特徴点を特徴点マップＭに記憶されている複数の特徴点と照合することによって、撮像画像Ｇｋを生成するために用いられた撮像位置と撮像方向とを特定する。位置管理サーバ４０Ａは、撮像位置を示すグラス位置情報Ｐｋ及び撮像方向を示す方向情報Ｄｋを端末装置２０－ｋへ返信する。
　ＸＲグラス３０－ｋは、撮像画像Ｇｋを位置管理サーバ４０Ａに周期的に送信することによって、周期的にグラス位置情報Ｐｋ及び方向情報Ｄｋを取得する。なお、ＸＲグラス３０－ｋは、ＸＲグラス３０－ｋのローカル座標をリアルタイムでトラッキングする。ＸＲグラス３０－ｋは、位置管理サーバ４０Ａから取得するグラス位置情報Ｐｋ及び方向情報Ｄｋを用いて、リアルタイムにＸＲグラス３０－ｋの位置及び方向の補正を実行する。この補正によって、ＸＲグラス３０－ｋは、リアルタイムにワールド座標系で表されるＸＲグラス３０－ｋの位置及び方向を認識できる。以下の説明では、補正によって生成される位置を示す情報をグラス位置情報Ｐｃｋ、補正によって生成される方向を示す情報を方向情報Ｄｃｋと称する。グラス位置情報Ｐｃｋはグラス位置情報Ｐｋと同様に第１位置情報の一例である。
　オブジェクト管理サーバ４０Ｂは、ユーザ装置１０－ｋからグラス位置情報Ｐｃｋ及び方向情報Ｄｃｋを受信した場合、グラス位置情報Ｐｃｋ及び方向情報Ｄｃｋに基づいて、仮想オブジェクトのレンダリングを実行する。オブジェクト管理サーバ４０Ｂは、レンダリングされた仮想オブジェクトを端末装置２０－ｋに送信する。この例の仮想オブジェクトは、三次元の画像である。仮想オブジェクトの例には、例えば、地震及び火災などの災害に関する情報、渋滞に関する情報、並びに高速道路におけるサービスエリアに関する情報が含まれる。オブジェクト管理サーバ４０Ｂによって生成される仮想オブジェクトをＸＲグラス３０－ｋが表示することによって、ユーザＵ[ｋ]は、危険を回避することが可能になる。以下の説明では、オブジェクト管理サーバ４０Ｂが管理する仮想オブジェクトを第２の仮想オブジェクトＶＯ２と称する。
　図２は、ユーザＵ[ｋ]が、ＸＲグラス３０－ｋを介して視認する複合現実空間の一例を示す説明図である。図２に示される第２の仮想オブジェクトＶＯ２は、楕円体の形状をしている。図２に示される複合現実空間において、点Ｑに太陽が位置する場合、逆光の状態が生じる。逆光の状態では、ユーザＵ[ｋ]は、第２の仮想オブジェクトＶＯ２と現実空間に存在する標識１００等の実オブジェクトを認識できない。そこで、ＸＲグラス３０－ｋは、入射する外光の光量を調整する調光装置３９（図３参照）を備え、調光装置３９の透過率を制御することによって、視認性を高めている。
１．１．２：ＸＲグラスの構成
　ＸＲグラス３０－ｋは、ユーザの頭部に装着されるシースルー型のヘッドマウントディスプレイである。ＸＲグラス３０－ｋは、端末装置２０－ｋの制御に基づいて、レンズ３１０Ａ及び３１０Ｂに仮想オブジェクトを表示させる。
　図３は、ＸＲグラス３０－ｋの外観の一例を示す斜視図である。ＸＲグラス３０－ｋは、テンプル３０１及び３０２と、ブリッジ３０３と、フレーム３０４及び３０５と、リム３０６及び３０７と、レンズ３１０Ａ及び３１０Ｂと、撮像レンズＬＥＮとを有する。
　ブリッジ３０３は、リム３０６及び３０７を相互に接続する。ブリッジ３０３には、図４に示される撮像装置３６を構成する撮像レンズＬＥＮが配置されている。撮像装置３６は、例えば、カメラである。
　フレーム３０４には、左眼用の表示パネルと左眼用の光学部材が設けられている。表示パネルは、例えば、液晶パネルまたは有機ＥＬ（Electro Luminescence）パネルである。左眼用の表示パネルは、例えば、端末装置２０－ｋからの制御に基づいて、仮想オブジェクトに対応する投射画像を表示する。左眼用の光学部材は、左眼用の表示パネルから射出された光をレンズ３１０Ａに導光する光学部材である。
　フレーム３０５には、右眼用の表示パネルと右眼用の光学部材が設けられている。右眼用の表示パネルは、例えば、端末装置２０－Ｋからの制御に基づいて仮想オブジェクトに対応する投射画像を表示する。右眼用の光学部材は、右眼用の表示パネルから射出された光をレンズ３１０Ｂに導光する光学部材である。リム３０６は、レンズ３１０Ａを保持する。リム３０７は、レンズ３１０Ｂを保持する。
　レンズ３１０Ａ及び３１０Ｂの各々は、ハーフミラーを有する。レンズ３１０Ａ及び３１０Ｂが有するハーフミラーは、現実空間Ｒを表す光を透過させることによって、現実空間Ｒを表す光をユーザＵ[ｋ]の目に導く。また、レンズ３１０Ａ及び３１０Ｂが有するハーフミラーは、光学部材によって導光された仮想オブジェクトを示す光をユーザＵ[ｋ]の目に向けて反射する。ハーフミラーを透過した現実空間の光と、ハーフミラーによって反射された仮想オブジェクトを示す光とがユーザＵ[ｋ]の目に入射されることによって、ユーザＵ[ｋ]は、現実空間上に仮想オブジェクトが位置しているように知覚する。すなわち、レンズ３１０Ａ及び３１０Ｂは、ユーザＵ[ｋ]の眼球の前面に配置される透過型のディスプレイとして機能する。
　また、本実施形態では、レンズ３１０Ａの外面及びレンズ３１０Ｂの外面に、調光装置３９が固定される。レンズ３１０Ａの外面とは、平面状のレンズ３１０Ａが有する２つの面のうち、ＸＲグラス３０－ｋを装着したユーザＵ[ｋ]の目と対向する面と反対側の面である。レンズ３１０Ｂの外面とは、平面状のレンズ３１０Ｂが有する２つの面のうち、ＸＲグラス３０－ｋを装着したユーザＵ[ｋ]の目と対向する面と反対側の面である。即ち、調光装置３９はレンズ３１０Ａ及び３１０Ｂの各々が有する面のうち外光が入射する面に設けられている。調光装置３９は、レンズ３１０Ａを透過する外光の通過率及びレンズ３１０Ｂを透過する外光の通過率を調整する。調光装置３９は、例えば、液晶パネルによって構成される。
　調光装置３９を用いることによって、ＸＲグラス３０－ｋを装着したユーザＵ[ｋ]の目に入射する外光の光量を調整できる。調光装置３９を有しないグラスでは、逆光の状態において、ユーザＵ[ｋ]の視認性が低下する。ＸＲグラス３０－ｋは太陽の位置等に応じて調光装置３９の透過率を調整することによって、ユーザＵ[ｋ]の視認性を向上できる。
　図４は、ＸＲグラス３０－ｋの電気的な構成例を示すブロック図である。ＸＲグラス３０－ｋは、処理装置３１、記憶装置３２、検出装置３５、撮像装置３６、通信装置３７、投影装置３８、及び調光装置３９を備える。各装置は、バスを介して相互に接続される。
　処理装置３１は、１または複数のＣＰＵ（Central Processing Unit）を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。処理装置３１は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuiｔ）、ＰＬＤ（Programmable Logic Device）およびＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。
　記憶装置３２は、処理装置３１が読み取り可能な記録媒体である。記憶装置３２は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置３２は、制御プログラムＰＲ１を記憶する。制御プログラムＰＲ１は、ＸＲグラス３０－ｋを動作させるためのプログラムである。
　検出装置３５は、ＸＲグラス３０－ｋの状態を検出する。検出装置３５は、例えば、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサ、並びに、方位を検出する地磁気センサを含む。加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の軸ごとに当該軸に沿う方向の加速度を検出する。ジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸の軸ごとに当該軸を回転の中心軸とする角加速度を検出する。検出装置３５は、ジャイロセンサの出力情報に基づいて、ＸＲグラス３０－ｋの姿勢を示す姿勢情報を生成できる。後述の動き情報は、３軸の加速度を各々示す加速度情報及び３軸の角加速度を各々示す角加速度情報を含む。検出装置３５は、ＸＲグラス３０－ｋの姿勢を示す姿勢情報、及びＸＲグラス３０－ｋの動きに関する動き情報、ＸＲグラス３０－ｋの方位を示す方位情報を処理装置３１に出力する。
　撮像装置３６は、例えば、撮像光学系および撮像素子を有する。撮像光学系は、少なくとも１つの撮像レンズＬＥＮ（図３参照）を含む光学系である。例えば、撮像光学系は、プリズム等の各種の光学素子を有してもよいし、ズームレンズまたはフォーカスレンズ等を有してもよい。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary MOS）イメージセンサー等である。
　通信装置３７は、他の装置と通信を行うための通信インターフェースを備える。通信装置３７は、無線通信または有線通信を用いて端末装置２０－Ｋと通信する。本実施形態において、通信装置３７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信を用いて端末装置２０－ｋの通信装置２３（図６参照）と通信する。
　投影装置３８は、レンズ３１０Ａ及び３１０Ｂ、左眼用の表示パネル、左眼用の光学部材、右眼用の表示パネル、および右眼用の光学部材を含む。レンズ３１０Ａ及び３１０Ｂは、ユーザＵ[ｋ]の眼球の前面に配置されるディスプレイとして機能する。投影装置３８は、端末装置２０－ｋからの制御に基づいて、仮想オブジェクトに対応する投射画像を左眼用の表示パネルおよび右眼用の表示パネルに表示する。
　調光装置３９は、例えば、透過型の液晶パネルによって構成される。液晶パネルは、複数の画素を備える。液晶パネルでは、画素ごとに透過率が制御される。複数の画素は、複数の部分領域の一例である。図５は調光装置３９の構成例を模式的に示す説明図である。図５に示されるように、調光装置３９は、縦と横に配列された複数の画素３９１を有する。例えば、調光装置３９は、複数の画素３９１と１対１に対応する複数の画素電極と、複数の画素３９１に共通する共通電極と、共通電極と複数の画素電極との間に設けられる液晶を備える。共通電極と複数の画素電極は、それぞれ、透明電極によって構成される。そして、各画素電極と共通電極との間に印加される電圧に応じて、透過率が画素ごとに制御される。
　１．１．３：端末装置の構成
　図６は、端末装置２０－ｋの構成例を示すブロック図である。端末装置２０－ｋは、処理装置２１、記憶装置２２、通信装置２３、及びタッチディスプレイ２４を備える。端末装置２０－ｋの各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。端末装置２０－ｋは、表示制御装置の一例である。
　処理装置２１は、端末装置２０－ｋの全体を制御するプロセッサである。また、処理装置２１は、例えば、単数又は複数のチップを用いて構成される。処理装置２１は、例えば、周辺装置とのインターフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ）を用いて構成される。なお、処理装置２１が有する機能の一部又は全部を、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等のハードウェアによって実現してもよい。処理装置２１は、各種の処理を並列的又は逐次的に実行する。
　記憶装置２２は、処理装置２１による読取及び書込が可能な記録媒体である。また、記憶装置２２は、処理装置２１が実行する制御プログラムＰＲ２を含む複数のプログラムを記憶する。また、記憶装置２２は、処理装置２１のワークエリアとして機能する。
　通信装置２３は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置２３は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。通信装置２３は、有線接続用のコネクターと、上記コネクターに対応するインターフェース回路を備えていてもよい。また、通信装置２３は、無線通信インターフェースを備えていてもよい。
　タッチディスプレイ２４は、画像及び文字情報を表示するデバイスである。また、タッチディスプレイ２４は、ユーザＵ[ｋ]からの入力操作を受け付ける入力装置として機能する。
　処理装置２１は、記憶装置２２から制御プログラムＰＲ２を読み出す。　処理装置２１は、制御プログラムＰＲ２を実行することによって、第１取得部２１１、第２取得部２１２、算出部２１３、決定部２１４、透過率制御部２１５、抽出部２１６及び表示制御部２１７として機能する。
　第１取得部２１１は、通信装置２３を用いて、撮像画像Ｇｋを位置管理サーバ４０Ａに送信することによって、位置管理サーバ４０Ａからグラス位置情報Ｐｋ及び方向情報Ｄｋを取得する。
　第２取得部２１２は、通信装置２３を用いて、オブジェクト管理サーバ４０Ｂから第２の仮想オブジェクトＶＯ２を取得する。より具体的には、第２取得部２１２は、グラス位置情報Ｐｃｋ及び方向情報Ｄｃｋをオブジェクト管理サーバ４０Ｂに送信することによって、第２の仮想オブジェクトＶＯ２を取得する。
　算出部２１３は、現在の日時及びグラス位置情報Ｐｋ又はＰｃｋに基づいて、ＸＲグラス３０－ｋの位置を基準として太陽の相対位置を示す太陽位置情報を算出する。太陽位置情報は第２位置情報の一例である。
　決定部２１４は、ＸＲグラス３０－ｋの位置を示すグラス位置情報Ｐｋ又はＰｃｋと、ＸＲグラス３０－ｋの外界を向く方向を示す方向情報Ｄｋ又はＤｃｋと、ＸＲグラス３０－ｋの位置を基準として太陽の相対位置を示す太陽位置情報とに基づいて、ＸＲグラス３０－ｋを介してユーザＵ[ｋ]に視認される視野範囲Ｗのうち、外光を遮光する遮光範囲Ｃを決定する。
　図７は、ＸＲグラス３０－ｋの位置、太陽の位置、及びＸＲグラス３０－ｋの外界を向く方向の関係の一例を示す説明図である。図７に示される例において、ＸＲグラス３０－ｋは、位置Ｐ１（ｘ１,ｙ１,ｚ１）に位置する。太陽は、位置Ｐ２（ｘ２,ｙ２,ｚ２）に位置する。太陽位置情報の示す太陽の相対位置は、（ｘ２－ｘ１, ｙ２－ｙ１, ｚ２－ｚ１）となる。線分ＬはＸＲグラス３０－ｋと太陽とを結ぶ線分である。また、ＸＲグラス３０－ｋは方向Ｄを向いている。方向Ｄと線分Ｌとの為す角は「θ」である。
　完全な逆光状態では、方向Ｄと線分Ｌとが重なる。この結果、完全な逆光状態では、角θはゼロとなり、ＸＲグラス３０－ｋに入射する外光の光量が最大となる。図２に示される複合現実空間は、ＸＲグラス３０－ｋを介してユーザＵ[ｋ]に視認される。従って、図２は、ＸＲグラス３０－ｋを介してユーザＵ[ｋ]に視認される視野範囲Ｗの一例を示している。角θがゼロとなる場合は、図２に示されるように、点Ｑによって示される太陽が、視野範囲Ｗの中央に位置する。
　決定部２１４は、グラス位置情報Ｐｋ又はＰｃｋ及び太陽位置情報、並びに方向情報Ｄｋ又はＤｃｋに基づいて、視野範囲Ｗにおける太陽の位置を算出する。決定部２１４は、算出結果に応じて遮光範囲Ｃを決定する。例えば、決定部２１４は、視野範囲Ｗにおける太陽の位置を中心とする円を遮光範囲Ｃとして決定してもよい。図８は、視野範囲Ｗにおける太陽の位置と遮光範囲Ｃとの関係の一例を示す説明図である。図８に示される視野範囲Ｗにおいて、決定部２１４は、点Ｑ１に太陽が位置する場合、点Ｑ１を中心とする遮光範囲Ｃ１を決定する。決定部２１４は、点Ｑ２に太陽が位置する場合、点Ｑ２を中心とする遮光範囲Ｃ２を決定する。決定部２１４は、点Ｑ３に太陽が位置する場合、点Ｑ３を中心とする遮光範囲Ｃ３を決定する。決定部２１４は、点Ｑ４に太陽が位置する場合、点Ｑ４を中心とする遮光範囲Ｃ４を決定する。決定部２１４は、点Ｑ５に太陽が位置する場合、点Ｑ５を中心とする遮光範囲Ｃ５を決定する。
　図８に示される例では、遮光範囲Ｃ１～Ｃ５の半径は一定であった。しかし、決定部２１４は、視野範囲Ｗの中心と太陽の位置との距離が長くなるにつれて、遮光範囲Ｃの面積を小さくしてもよい。また、遮光範囲Ｃの形状は、円に限定されず、楕円、正方形、長方形、又は多角形であってもよい。
　透過率制御部２１５は、決定部２１４によって決定された遮光範囲Ｃおいて、ＸＲグラス３０－ｋを透過する外光の透過率を制御する。外光の透過率は、ＸＲグラス３０－ｋに入射する外光の光量を「Ａ」、ＸＲグラス３０－ｋから出射する外光の光量を「Ｂ」とした場合、Ｂ／Ａによって表される。透過率制御部２１５は、遮光範囲Ｃに対応する調光装置３９の領域に対して透過率を調整する。透過率制御部２１５は、調光装置３９における太陽の位置に基づいて、複数の部分領域の各々についての透過率を制御する。
　透過率制御部２１５は、遮光範囲Ｃの中心、即ち、調光装置３９上の太陽の位置において、調光装置３９の透過率を最小としてもよい。透過率制御部２１５は、遮光範囲Ｃの中心からの距離が長いほど、調光装置３９の透過率を次第に大きくしてもよい。透過率制御部２１５は、例えば、図９に示されるように、調光装置３９の部分領域Ｒ１において透過率を０％に設定し、調光装置３９の部分領域Ｒ２において透過率を２５％に設定し、調光装置３９の部分領域Ｒ３において透過率を２５％に設定し、調光装置３９の部分領域Ｒ４において透過率を７５％に設定し、調光装置３９の部分領域Ｒ５において透過率を１００％に設定してもよい。部分領域Ｒ１～Ｒ４は、図８に示される遮光範囲Ｃ３に対応する領域である。部分領域Ｒ５は、視野範囲Ｗのうち遮光範囲Ｃ３以外の領域である。
　抽出部２１６は、撮像画像Ｇｋから遮光範囲Ｃの一部又は全部に対応する部分画像Ｇｋｐを抽出する。図１０Ａは、撮像画像Ｇｋの一例を示す説明図である。図１０Ａに示される撮像画像Ｇｋは、図２に示される複合現実空間から第２の仮想オブジェクトＶＯ２を除いた画像である。図１０Ｂは、図１０Ａに示される撮像画像Ｇｋから図８に示される遮光範囲Ｃ３の全部を抽出することによって得られた部分画像Ｇｋｐである。
　また、図１０Ｃは、遮光範囲Ｃ３から、標識の画像を抽出することによって得られた部分画像Ｇｋｐの一例を示す説明図である。抽出部２１６は、撮像画像Ｇｋから遮光範囲Ｃの一部に対応する部分画像Ｇｋｐを抽出するために、撮像画像Ｇｋに画像認識処理を施して部分画像Ｇｋｐを抽出する。画像認識処理の対象は、ユーザＵ［ｋ］に危険を認識させる実オブジェクト、又はユーザＵ［ｋ］と衝突する可能性がある実オブジェクトである。ユーザＵ［ｋ］に危険を認識させる実オブジェクトの例は、例えば、標識及び信号機を含む。ユーザＵ［ｋ］と衝突する可能性がある実オブジェクトの例は、車両及び人を含む。画像認識処理には、抽出の対象となる実オブジェクトの画像を学習済みの学習モデルが用いられてもよい。
　表示制御部２１７は、部分画像Ｇｋｐを第１の仮想オブジェクトとして、ＸＲグラス１０-ｋのレンズ３１０Ａ及び３１０Ｂに表示させる。具体的には、表示制御部２１７は、部分画像Ｇｋｐを示す画像情報を、通信装置２３を介してＸＲグラス３０－ｋに送信する。ＸＲグラス３０－ｋは、画像情報に基づいて、投影装置３８を用いて部分画像Ｇｋｐをレンズ３１０Ａ及び３１０Ｂに投影する。調光装置３９が遮光範囲Ｃを透過する外光の光量を低下させ、且つ部分画像Ｇｋｐが投影されることによって、ユーザＵ[ｋ]は、逆光の状態であっても部分画像Ｇｋｐを認識できる。
　視野範囲Ｗの中央に太陽が位置する逆光の状態においては、ユーザＵ[ｋ]は、外界を認識することが殆どできない。一方、撮像装置３６は、露光時間を制御できるので、鮮明な撮像画像Ｇｋを生成できる。しかし、ＸＲグラス３０－ｋが、単に、投影装置３８を用いて撮像画像Ｇｋを投影するだけでは、外光がレンズ３１０Ａ及び３１０Ｂを介してユーザＵ[ｋ]の目に入射するので、ユーザＵ[ｋ]は外界を殆ど認識できない。本実施形態では、逆光状態において調光装置３９によって外光が減光されるので、ユーザＵ[ｋ]は外界を認識できる。
　例えば、図９に示される部分領域Ｒ１～Ｒ４の透過率が０％に設定され、図１０Ａに示される撮像画像Ｇｋが生成され、部分画像Ｇｋｐが図１０Ｂに示される画像である場合を想定する。この想定では、ユーザＵ[ｋ]は図１１Ａに示される視野範囲Ｗを認識する。
　例えば、図９に示される部分領域Ｒ１からＲ３の透過率が０％に設定され、部分領域Ｒ４の透過率が５０％に設定され、図１０Ａに示される撮像画像Ｇｋが生成され、部分画像Ｇｋｐが図１０Ｃに示される画像である場合を想定する。この想定では、ユーザＵ[ｋ]は図１１Ｂに示される視野範囲Ｗを認識する。
　また、表示制御部２１７は、第１の仮想オブジェクトの一例である部分画像Ｇｋｐと第２取得部２１２がオブジェクト管理サーバ４０Ｂから取得した第２の仮想オブジェクトＶＯ２とを互いに識別できる態様で、ＸＲグラス３０－ｋに表示させてもよい。第１の仮想オブジェクトと第２の仮想オブジェクトとが互いに識別できる態様で表示されることによって、現実空間に存在する実オブジェクトに対応して生成された第１の仮想オブジェクトと、オブジェクト管理サーバ４０Ｂが有する第２の仮想オブジェクトＶＯ２とをユーザＵ［ｋ］は、簡単に認識することができる。
　加えて、表示制御部２１７は、第１の仮想オブジェクトをレンズ３１０Ａ及び３１０Ｂの表示領域のうち遮光範囲Ｃに対応する第１領域に表示させ、第２の仮想オブジェクトを、表示領域のうち第１領域以外の第２領域に表示させてもよい。仮想オブジェクトの種別に応じて仮想オブジェクトの表示領域を区別することによって、第１の仮想オブジェクトと第２の仮想オブジェクトとをユーザＵ［ｋ］は、簡単に認識することができる。
　例えば、図１１Ａに示される視野範囲ＷがＸＲグラス３０－ｋの表示領域に表示されており、この画像に、図２に示される第２の仮想オブジェクトＶＯ２が重畳させた画像が表示領域に表示される場合を想定する。図１１Ｃは部分画像Ｇｋｐである第１の仮想オブジェクトと第２の仮想オブジェクトＶＯ２とが現実空間に重畳された画像が表示される一例を示す説明図である。図１１Ｃに示されるように、部分画像Ｇｋｐは、遮光範囲Ｃに対応する第１領域に表示される。上述した部分領域Ｒ１、Ｒ２、Ｒ３及びＲ４は第１領域に対応する。また、部分領域Ｒ５は第２領域に対応する。図１１Ｃに示される例では、部分画像Ｇｋｐが第１領域に表示され、第２の仮想オブジェクトＶＯ２が第２領域に表示される。また、表示制御部２１７は、第２の仮想オブジェクトＶＯ２の外縁を赤色の枠で囲む、あるいは、第２の仮想オブジェクトＶＯ２を点滅させる。表示制御部２１７は、このような効果処理を第２の仮想オブジェクトＶＯ２に施すことによって、第１の仮想オブジェクトと第２の仮想オブジェクトとが互いに識別できる態様で表示させる。
１．２：実施形態の動作
　以下、端末装置２０-ｋの動作を説明する。図１２は、端末装置２０－ｋの動作例を示すフローチャートである。
　ステップＳ１０において、処理装置２１は、通信装置２３を介して、撮像画像Ｇｋを含む位置方向要求を位置管理サーバ４０Ａへ送信する。また、処理装置２１は、通信装置２３を介して、位置管理サーバ４０Ａから位置方向応答を受信する。位置方向応答には、ＸＲグラス３０－ｋの位置を示す第１位置情報及びＸＲグラス３０－ｋが外界を向く方向を示す方向情報が含まれる。この送受信によって、処理装置２１は、第１位置情報及び方向情報を取得する。
　ステップＳ１１において、処理装置２１は、オブジェクト管理サーバ４０Ｂから第２の仮想オブジェクトＶＯ２を取得する。具体的には、処理装置２１は、通信装置２３を介して、第１位置情報及び方向情報を含むオブジェクト要求を、オブジェクト管理サーバ４０Ｂへ送信する。また、処理装置２１は、通信装置２３を介して、オブジェクト管理サーバ４０Ｂから第２の仮想オブジェクトＶＯ２を含むオブジェクト応答を受信する。この送受信によって、処理装置２１は、第２の仮想オブジェクトＶＯ２を取得する。
　ステップＳ１２において、処理装置２１は、現在の日時、及びグラス位置情報Ｐｋ又はＰｃｋに基づいて、太陽の相対位置を示す太陽位置情報を算出する。
　ステップＳ１３において、処理装置２１は、遮光範囲Ｃを決定する。この処理において、処理装置２１は、グラス位置情報Ｐｋ又はＰｃｋと、方向情報Ｄｋ又はＤｃｋと、太陽位置情報とに基づいて、ＸＲグラス３０－ｋを介してユーザＵ[ｋ]に視認される視野範囲Ｗのうち、外光を遮光する遮光範囲Ｃを決定する。具体的には、処理装置２１は、まず、グラス位置情報Ｐｋ又はＰｃｋ、及び太陽位置情報、並びに方向情報Ｄｋ又はＤｃｋに基づいて、視野範囲Ｗにおける太陽の位置を算出する。処理装置２１は、続いて、算出結果に応じて遮光範囲Ｃを決定する。
　ステップＳ１４において、処理装置２１は、遮光範囲Ｃに対応する調光装置３９の領域について透過率を調整する。この処理において、処理装置２１は、調光装置３９における太陽の位置に基づいて、複数の部分領域の各々についての透過率を制御する。具体的には、処理装置２１は、調光装置３９の複数の部分領域の各々について透過率を指定する透過率情報を生成する。なお、透過率情報は、遮光範囲Ｃ以外の部分については、１００％の透過率を指定する。処理装置２１は、通信装置２３を介して、透過率情報をＸＲグラス３０－ｋに送信する。ＸＲグラス３０－ｋは、受信した透過率情報に基づいて調光装置３９の透過率を制御する。
　ステップＳ１５において、処理装置２１は、撮像画像Ｇｋから遮光範囲Ｃの一部又は全部に対応する部分画像Ｇｋｐを抽出する。部分画像Ｇｋｐは遮光範囲Ｃの一部に対応してもよいし、あるいは、遮光範囲Ｃの全部に対応してもよい。
　ステップＳ１６において、処理装置２１は、ＸＲグラス３０－ｋに表示させる表示画像を生成する。この処理において、処理装置２１は、ステップＳ１１で取得した第２の仮想オブジェクトＶＯ２の画像とステップＳ１５で抽出した部分画像Ｇｋｐとを合成して表示画像を生成する。
　ステップＳ１７において、処理装置２１は、通信装置２３を介して、表示画像をＸＲグラス３０－ｋに送信する。ＸＲグラス３０－ｋは、投影装置３８を用いて受信した表示画像を投影することによって、拡張現実空間又は複合現実空間をユーザＵ[ｋ]に視認させる。
　以上の処理において、処理装置２１は、ステップＳ１０において第１取得部２１１として機能する。また、処理装置２１は、ステップＳ１１において第２取得部２１２として機能する。また、処理装置２１は、ステップＳ１２において算出部２１３として機能する。また、処理装置２１は、ステップＳ１３において決定部２１４として機能する。また、処理装置２１は、ステップＳ１４において透過率制御部２１５として機能する。また、処理装置２１は、ステップＳ１５において抽出部２１６として機能する。また、処理装置２１は、ステップＳ１６及びＳ１７において表示制御部２１７として機能する。
１．３：実施形態が奏する効果
　以上の説明によれば、端末装置２０－ｋは、シースルー方式のＸＲグラス３０－ｋを制御する表示制御装置の一例である。端末装置２０－ｋは、決定部２１４と、透過率制御部２１５とを備える。決定部２１４は、ＸＲグラス３０－ｋの位置を示すグラス位置情報Ｐｋ又はＰｃｋと、ＸＲグラス３０－ｋの外界を向く方向を示す方向情報Ｄｋ又はＤｃｋと、太陽の位置を示す太陽位置情報とに基づいて、ＸＲグラス３０－ｋを介してユーザに視認される視野範囲Ｗのうち、外光を遮光する遮光範囲Ｃを決定する。透過率制御部２１５は、決定された遮光範囲Ｃおいて、ＸＲグラス３０－ｋを透過する外光の透過率を制御する。ＸＲグラス３０－ｋは、レンズ３１０Ａ及び３１０Ｂ並びに調光装置３９を含む。調光装置３９は、レンズ３１０Ａ及び３１０Ｂの外光が入射する面に設けられている。透過率制御部２１５は、遮光範囲Ｃに対応する調光装置３９の領域に対して透過率を調整する。
　端末装置２０－ｋは、以上の構成を有するので、ＸＲグラス３０－ｋを装着したユーザＵ[ｋ]の進行方向ではなく、ＸＲグラス３０－ｋの外界を向く方向を考慮して、遮光範囲Ｃを決定できる。このため、ＸＲグラス３０－ｋを装着したユーザＵ［ｋ］が、所定の方向に進行中に見上げることによって、ユーザＵ［ｋ］の視野範囲Ｗに太陽が入る状況において、端末装置２０－ｋは遮光範囲Ｃを設定できる。よって、端末装置２０－ｋは、ＸＲグラス３０－ｋを装着したユーザＵ［ｋ］の安全性を向上させることができる。
　また、ＸＲグラス３０－ｋは、外界を撮像する撮像装置３６を備える。端末装置２０－ｋは、第１取得部２１１と、算出部２１３とを備える。第１取得部２１１は、撮像装置３６が撮像を実行することによって生成された撮像画像Ｇｋを位置管理サーバ４０Ａに送信することによって、位置管理サーバ４０Ａからグラス位置情報Ｐｋ及び方向情報Ｄｋを取得する。算出部２１３は、現在の日時及びグラス位置情報Ｐｋ又はＰｃｋに基づいて、太陽位置情報を算出する。
　端末装置２０－ｋは、以上の構成を有するので、位置管理サーバ４０Ａからグラス位置情報Ｐｋ及び方向情報Ｄｋを取得できる。位置管理サーバ４０Ａは、撮像画像Ｇｋから抽出した複数の特徴点と特徴点マップＭに格納されている複数の特徴点とを照合することによって、グラス位置情報Ｐｋ及び方向情報Ｄｋを生成する。照合によって生成されたグラス位置情報Ｐｋは、ＧＰＳ装置によって取得されるＸＲグラス３０－ｋの位置情報よりも高精度である。よって、端末装置２０－ｋは、太陽位置情報を高い精度で算出できる。
　また、調光装置３９は、複数の部分領域に相当する複数の画素３９１を含む。決定部２１４は、複数の画素３９１の各々についての透過率を決定する。端末装置２０－ｋは、複数の画素３９１の各々についての透過率を決定するので、逆光の状態に応じて、透過率を精細に制御できる。
　また、ＸＲグラス３０－ｋは、レンズ３１０Ａ及び３１０Ｂに仮想オブジェクトを表示させる投影装置３８を備える。端末装置２０－ｋは、抽出部２１６と、表示制御部２１７とを更に備える。抽出部２１６は、撮像画像Ｇｋから遮光範囲Ｃの一部又は全部に対応する部分画像Ｇｋｐを抽出する。表示制御部２１７は、部分画像Ｇｋｐを第１の仮想オブジェクトとして、レンズ３１０Ａ及び３１０Ｂに表示させる。
　調光装置３９によって遮光される遮光範囲Ｃの透過率が低い場合、ユーザＵ［ｋ］の目を保護することができる。一方、遮光範囲Ｃにおいて、ユーザＵ［ｋ］は現実空間を認識できなくなる。端末装置２０－ｋは、部分画像Ｇｋｐをレンズ３１０Ａ及び３１０Ｂに表示させるので、ユーザＵ［ｋ］は、遮光範囲Ｃに対応する現実空間に存在する実オブジェクトを、第１の仮想オブジェクトとして認識できる。よって、端末装置２０－ｋは、ユーザＵ［ｋ］の目を保護しつつ、ＸＲグラス３０－ｋの利用時の安全性を向上できる。
　また、端末装置２０－ｋは、オブジェクト管理サーバ４０Ｂから第２の仮想オブジェクトＶＯ２を取得する第２取得部２１２を備える。表示制御部２１７は、第１の仮想オブジェクトと第２の仮想オブジェクトＶＯ２とを互いに識別できる態様で、レンズ３１０Ａ及び３１０Ｂに表示させる。
　端末装置２０－ｋは、以上の構成を有するので、現実空間に存在する実オブジェクトに対応して生成された第１の仮想オブジェクトと、オブジェクト管理サーバ４０Ｂが有する第２の仮想オブジェクトとをユーザＵ［ｋ］は、簡単に認識することができる。
　また、表示制御部２１７は、第１の仮想オブジェクトをレンズ３１０Ａ及び３１０Ｂの表示領域のうち遮光範囲Ｃに対応する第１領域に表示させ、第２の仮想オブジェクトを、表示領域のうち第１領域以外の第２領域に表示させる。
　端末装置２０－ｋは、以上の構成を有するので、仮想オブジェクトの種別に応じて仮想オブジェクトが表示される領域が区別される。よって、端末装置２０－ｋは、第１の仮想オブジェクトと第２の仮想オブジェクトとをユーザＵ［ｋ］に、簡単に認識させることができる。
２：変形例
　本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
２．１：変形例１
　上述したＸＲグラス３０－ｋは、投影装置３８を用いて、仮想オブジェクトをレンズ３１０Ａ及び３１０Ｂに表示させた。ＸＲグラス３０－ｋは、仮想オブジェクトを表示することによって、拡張現実空間又は複合現実空間をユーザＵ[ｋ]に提供した。しかし、本開示は、実施形態に限定されない。本開示は、投影装置３８を備えないグラスであってもよい。このグラスにおいても調光装置３９によって、外光を遮光することによって、ユーザＵ［ｋ］の目を保護することができる。加えて、変形例のグラスにおいて、逆光の状態では順光の状態と比較して調光装置３９の透過率を低く制御することによって、ユーザＵ［ｋ］に外界を容易に視認させることができる。
２．２：変形例２
　上述した実施形態において、決定部２１４は、調光装置３９の複数の部分領域の各々についての透過率を決定した。しかし、本開示は実施形態に限定されない。即ち、決定部２１４は、調光装置３９の全体についての透過率を一律に決定してもよい。決定部２１４が透過率を一律に決定する場合、調光装置３９は、複数の画素３９１を備える必要はなく、１個の共通電極と、1個の画素電極と、共通電極と画素電極とに挟持される液晶を備えればよい。この場合、共通電極と画素電極とに印加される電圧に応じて、調光装置３９の全体について透過率が一律に制御される。
２．３：変形例３
　上述した実施形態において、透過率制御部２１５は、ＸＲグラス３０－ｋに対する太陽の相対位置に応じて調光装置３９の各画素３９１の透過率を制御した。しかし、本開示はこれに限定されない。透過率制御部２１５は、複数の部分領域に相当する複数の画素３９１の各々に対応する撮像画像Ｇｋの輝度を算出し、調光装置３９における太陽の位置及び複数の画素３９１の各々に対応する撮像画像Ｇｋの輝度に基づいて、複数の画素３９１の各々についての透過率を制御してもよい。
　例えば、図１３Ａに示される撮像画像Ｇｋにおいて、決定部２１４によって図１３Ａに示される遮光範囲Ｃが設定された場合を想定する。ここで、透過率制御部２１５は、複数の画素３９１の各々に対応する撮像画像Ｇｋの輝度を算出した結果、撮像画像Ｇｋの輝度の分布が図１３Ｂに示される領域Ｘ１、領域Ｘ２、領域Ｘ３及び領域Ｘ４に分類されたとする。領域Ｘ１の輝度の平均値はＬ１、領域Ｘ２の輝度の平均値はＬ２、領域Ｘ３の輝度の平均値はＬ３、領域Ｘ４の輝度の平均値はＬ４であるとする。また、Ｌ１～Ｌ４は以下の関係があるものとする。
　Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４
　この場合、透過率制御部２１５は、平均輝度Ｌ１～Ｌ４に基づいて、領域Ｘ１の透過率Ｚ１、領域Ｘ２の透過率Ｚ２、領域Ｘ３の透過率Ｚ３及び領域Ｘ４の透過率Ｚ４を設定する。透過率Ｚ１～Ｚ４には以下の関係がある。
　Ｚ１＞Ｚ２＞Ｚ３＞Ｚ４
　以上のように透過率Ｚ１～Ｚ４が設定されることによって、輝度が高い領域ほど調光装置３９の透過率を小さくできる。よって、変形例３に係る端末装置２０－ｋによれば、撮像画像Ｇｋの輝度を考慮して透過率を制御できるので、撮像画像Ｇｋの輝度を考慮しないで透過率を制御する場合と比較して、ユーザＵ［ｋ］の視認性が向上する。
２．４：変形例４
　上述した実施形態において、調光装置３９は、レンズ３１０Ａ及び３１０Ｂの外光が入射する面に設けられた。しかし、本開示は実施形態に限定されない。即ち、調光装置３９は、レンズ３１０Ａ及び３１０Ｂの外光が入射する面から、第１方向に離間して設けられてもよい。第１方向は、ユーザＵ［ｋ］の眼球から外光が入射する面に向かう方向である。
２．５：変形例５
　上述した実施形態において、ユーザ装置１０-ｋは、端末装置２０－ｋとＸＲグラス３０－ｋによって、構成された。しかし、本開示は実施形態に限定されない。例えば、ＸＲグラス３０－ｋが端末装置２０－ｋを含んででもよい。この場合、ＸＲグラス３０－ｋを制御する表示制御装置の一例は、処理装置３１である。
３：その他
（１）上述した実施形態では、記憶装置２２、及び記憶装置３２は、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＷから送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図１～図１３Ｂに例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
（１０）上述した実施形態において、ユーザ装置１０－１～１０－ｊ、端末装置２０－１～２０－ｊ、及びＸＲグラス３０－１～３０－ｊは、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
１…情報処理システム、１０－１～１０－ｊ…ユーザ装置、２１，３１…処理装置、２０－１～２０－ｊ…端末装置、３０－１～３０－ｊ…ＸＲグラス、３６…撮像装置、３９…調光装置、４０Ａ…位置管理サーバ、４０Ｂ…オブジェクト管理サーバ、２１１…第１取得部、２１２…第２取得部、２１３…算出部、２１４…決定部、２１５…透過率制御部、２１６…抽出部、２１７…表示制御部、３１０Ａ，３１０Ｂ…レンズ、３９１…画素、Ｃ…遮光範囲、Ｄｃｋ，Ｄｋ…方向情報、Ｇｋ…撮像画像、Ｇｋｐ…部分画像、Ｐｋ，Ｐｃｋ…グラス位置情報、Ｒ１～Ｒ５…部分領域、ＶＯ２…第２の仮想オブジェクト、Ｗ…視野範囲。

Claims (7)

  1. 　シースルー方式のグラスを制御する表示制御装置であって、
    　前記グラスの位置を示す第１位置情報と、前記グラスの外界を向く方向を示す方向情報と、前記グラスの位置を基準として太陽の相対位置を示す第２位置情報とに基づいて、前記グラスを介してユーザに視認される視野範囲のうち、外光を遮光する遮光範囲を決定する決定部と、
    　前記決定された遮光範囲おいて、前記グラスを透過する前記外光の透過率を制御する透過率制御部とを備え、
    　前記グラスは、レンズ及び前記レンズの前記外光が入射する面に設けられた調光装置を含み、
    　前記透過率制御部は、前記遮光範囲に対応する前記調光装置の領域に対して透過率を調整する、
    　表示制御装置。
  2. 　前記グラスは、外界を撮像する撮像装置を備え、
    　前記撮像装置が撮像を実行することによって生成された撮像画像を外部装置に送信することによって、前記外部装置から前記第１位置情報及び前記方向情報を取得する第１取得部と、
    　現在の日時及び前記第１位置情報に基づいて、前記第２位置情報を算出する算出部とを更に備える、
    　請求項１に記載の表示制御装置。
  3. 　前記調光装置は、複数の部分領域を含み、
    　前記決定部は、前記調光装置の全体についての透過率を一律に決定するか、又は前記複数の部分領域の各々についての透過率を決定する、
    　請求項２に記載の表示制御装置。
  4. 　前記調光装置は、複数の部分領域を含み、
    　前記透過率制御部は、
    　前記複数の部分領域の各々に対応する撮像画像の輝度を算出し、
    　前記調光装置における太陽の位置及び前記複数の部分領域の各々に対応する撮像画像の輝度に基づいて、前記複数の部分領域の各々についての透過率を制御する、
    　請求項２に記載の表示制御装置。
  5. 　前記グラスは、前記レンズに仮想オブジェクトを表示し、
    　前記撮像画像から前記遮光範囲の一部又は全部に対応する部分画像を抽出する抽出部と、
    　前記部分画像を第１の仮想オジェクトとして、前記レンズに表示させる表示制御部とを更に備える、
    　請求項３に記載の表示制御装置。
  6. 　外部装置から第２の仮想オジェクトを取得する第２取得部を更に備え、
    　前記表示制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを互いに識別できる態様で、前記レンズに表示させる、
    　請求項５に記載の表示制御装置。
  7. 　外部装置から第２の仮想オジェクトを取得する第２取得部を更に備え、
    　前記表示制御部は、
    　前記第１の仮想オブジェクトを前記レンズの表示領域のうち前記遮光範囲に対応する第１領域に表示させ、
    　前記第２の仮想オジェクトを、前記表示領域のうち前記第１領域以外の第２領域に表示させる、
    　請求項５に記載の表示制御装置。
PCT/JP2023/013820 2022-05-24 2023-04-03 表示制御装置 WO2023228585A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022084775 2022-05-24
JP2022-084775 2022-05-24

Publications (1)

Publication Number Publication Date
WO2023228585A1 true WO2023228585A1 (ja) 2023-11-30

Family

ID=88919061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013820 WO2023228585A1 (ja) 2022-05-24 2023-04-03 表示制御装置

Country Status (1)

Country Link
WO (1) WO2023228585A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412439A (en) * 1993-02-17 1995-05-02 Northrop Grumman Corporation Laser visor having overlying photosensors
JP2014228595A (ja) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 拡張現実空間表示装置
JP2016220042A (ja) * 2015-05-20 2016-12-22 株式会社リコー 視認装置、視認システム及び建造物の点検方法
US20210048676A1 (en) * 2019-08-15 2021-02-18 Magic Leap, Inc. Ghost Image Mitigation in See-Through Displays With Pixel Arrays
JP2021103341A (ja) * 2018-03-30 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412439A (en) * 1993-02-17 1995-05-02 Northrop Grumman Corporation Laser visor having overlying photosensors
JP2014228595A (ja) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 拡張現実空間表示装置
JP2016220042A (ja) * 2015-05-20 2016-12-22 株式会社リコー 視認装置、視認システム及び建造物の点検方法
JP2021103341A (ja) * 2018-03-30 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
US20210048676A1 (en) * 2019-08-15 2021-02-18 Magic Leap, Inc. Ghost Image Mitigation in See-Through Displays With Pixel Arrays

Similar Documents

Publication Publication Date Title
CN106327584B (zh) 一种用于虚拟现实设备的图像处理方法及装置
US10645374B2 (en) Head-mounted display device and display control method for head-mounted display device
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US9864198B2 (en) Head-mounted display
US9696798B2 (en) Eye gaze direction indicator
US20160357266A1 (en) Methods And Systems For Hands-Free Browsing In A Wearable Computing Device
US10109110B2 (en) Reality augmentation to eliminate, or de-emphasize, selected portions of base image
US8957916B1 (en) Display method
CN106919262A (zh) 增强现实设备
CN204595329U (zh) 头戴式显示装置
US11506902B2 (en) Digital glasses having display vision enhancement
JP3372926B2 (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
US10761694B2 (en) Extended reality content exclusion
CN108828771A (zh) 可穿戴设备的参数调整方法、装置、穿戴设备及存储介质
KR20190066197A (ko) 스포츠 고글
WO2023228585A1 (ja) 表示制御装置
CN204695230U (zh) 头操作的电子眼镜
US11792371B2 (en) Projector with field lens
US20220197580A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
US11506898B1 (en) Polarized reflective pinhole mirror display
US11852500B1 (en) Navigation assistance for the visually impaired
CN117222932A (zh) 眼部佩戴设备投影仪亮度控制
JP2022102907A (ja) システム、管理装置、プログラム、及び管理方法
JP2017126009A (ja) 表示制御装置、表示制御方法、およびプログラム
WO2018145463A1 (zh) 一种实现增强现实的装置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811463

Country of ref document: EP

Kind code of ref document: A1