WO2021106648A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021106648A1
WO2021106648A1 PCT/JP2020/042585 JP2020042585W WO2021106648A1 WO 2021106648 A1 WO2021106648 A1 WO 2021106648A1 JP 2020042585 W JP2020042585 W JP 2020042585W WO 2021106648 A1 WO2021106648 A1 WO 2021106648A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display
threshold value
information processing
Prior art date
Application number
PCT/JP2020/042585
Other languages
English (en)
French (fr)
Inventor
晋 黒田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP20893494.3A priority Critical patent/EP4068268A4/en
Priority to JP2021561313A priority patent/JPWO2021106648A1/ja
Priority to CN202080080532.4A priority patent/CN114730547A/zh
Priority to US17/773,753 priority patent/US20220383632A1/en
Publication of WO2021106648A1 publication Critical patent/WO2021106648A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • a technique for displaying an image on a transmissive display such as a head-mounted display or a head-up display is known.
  • a black image is displayed on a transmissive display by shading the outside world image using a shutter for blocking the outside world image.
  • the above-mentioned technology requires a mechanism for displaying a black image on a transmissive display such as a shutter for blocking an external image, and it cannot be said that the black image can be easily presented to the user. .. Further, when the light of the outside world (outside light) is strong, there is a problem that not only a black image but also a dark image similar to black becomes difficult to see. As described above, there is room for further improvement in the prior art in terms of improving the visibility of the image more easily.
  • an information processing device includes a control unit.
  • the control unit detects a transparent region through which the real space is transmitted from the display image.
  • the control unit corrects the pixel value of at least a part of the transparent region of the displayed image.
  • FIG. 1 is a diagram for explaining AR using a non-transparent display.
  • FIG. 2 is a diagram for explaining AR using a transmissive display.
  • AR Augmented Reality
  • a virtual object Ob which is a black cube
  • a real space Mb is superimposed on a real space Mb and displayed on the screen M1 of a non-transparent display such as a smartphone.
  • the image of the real space Mb and the virtual object Ob are superimposed and displayed on the screen M1.
  • the black color of the virtual object Ob is displayed as a transparent color.
  • the black color of the virtual object Ob is transparent and the background is transparent.
  • black is displayed as a transparent color on the display. Therefore, a device for displaying black such as a shutter that blocks external light is required. ..
  • the information processing system according to the present embodiment can present an image with improved visibility on a transmissive display, the user can be more reliable even if the image includes a black region of the image, for example. You will be able to see it.
  • the transmissive display to which the technique according to the present embodiment is applied is not limited to this.
  • the technique according to the present embodiment may be applied to a transmissive display that displays an advertisement, an image, or the like by using a transmissive member such as a window glass as a display unit.
  • FIG. 3 is a diagram for explaining the image processing according to the present embodiment.
  • an image is displayed on an AR glass (hereinafter, also referred to as AR glass 20) as a transmissive display device 20 from a smartphone (hereinafter, also referred to as a smartphone 10) which is an information processing device 10.
  • AR glass 20 an AR glass
  • a smartphone hereinafter, also referred to as a smartphone 10
  • the smartphone 10 transmits the virtual object Ob to be displayed on the AR glass 20 (step S1).
  • the virtual object Ob has, for example, a pixel value for each pixel.
  • the AR glass 20 receives the virtual object Ob from the smartphone 10, for example, the AR glass 20 stores the pixel value of each pixel as the virtual object information Ob1 in the memory.
  • the virtual object information Ob1 shown in FIG. 3 is an example, and is different from the actual pixel value of the virtual object Ob in FIG. Further, in FIG. 3, for simplification of the description, the case where the virtual object information Ob1 has one pixel value for each pixel, that is, the virtual object information Ob1 has a gray scale is shown, but the present invention is not limited to this. ..
  • the virtual object information Ob1 may be color image information having three pixel values of R, G, and B for each pixel.
  • the AR glass 20 performs a threshold value determination for comparing the pixel value of each pixel of the virtual object information Ob1 with the threshold value (step S2). For example, as shown in the comparison result R of FIG. 3, the AR glass 20 compares the pixel value of the virtual object information Ob1 with the threshold value, determines that the pixel whose pixel value is less than the threshold value is “0”, and determines the pixel value. A pixel whose value is equal to or greater than the threshold value is determined to be "1". The AR glass 20 detects a pixel region determined to be “0” as a transparent region through which the background is transparent when displayed on a transmissive display. In FIG. 3, the threshold value is set to "5", as shown in the comparison result R, the pixel having a pixel value less than "5" is set to "0", and the pixel having a pixel value of "5" or more is set to "1". ".
  • the AR glass 20 not only detects black pixels, that is, pixels having a pixel value of "0", but also transparents the background on a blackish transmissive display, which makes it difficult for the user to see the color region ( The transparent region) may be detected.
  • the threshold value used for the threshold value determination in step S2 may be a threshold value for detecting the black region of the virtual object Ob, or may be a threshold value for detecting the transparent region including the black region. The details of the threshold value will be described later with reference to FIGS. 7 to 10.
  • the AR glass 20 corrects the pixel value of the transparent region of the virtual object information Ob1 (step S3). For example, the AR glass 20 corrects so that the pixel value of the pixel included in the transmission region becomes larger than the original value. More specifically, the AR glass 20 corrects the transmission region by adding a correction value to the pixel value of the pixel in the transmission region. As a result, as shown in FIG. 3, the AR glass 20 generates the corrected virtual object Ob2 in which the black region is color-converted to gray.
  • the AR glass 20 displays the corrected virtual object Ob2 on the transmissive display (step S4). Since the corrected virtual object Ob2 is corrected so that the transparent area is displayed in gray, the user can visually recognize the corrected virtual object Ob2 on the transparent display against the background of the real space. ..
  • a transparent region that is transparent and difficult to see on a transmissive display such as the black color of the virtual object Ob
  • the pixel value of the detected transparent region is corrected.
  • the visibility of the transmission region can be improved even if there is no device for displaying black.
  • the image processing shown in FIG. 3 is merely an example, and the image processing for the image displayed on the transmissive display according to the present embodiment is not limited to the above-mentioned example.
  • the image processing according to the present embodiment and a configuration for executing the image processing will be described in detail.
  • FIG. 4 is a diagram showing a configuration example of the information processing system according to the present embodiment. As shown in FIG. 4, the information processing system includes an information processing device 10 and a display device 20.
  • the information processing device 10 controls the image display by the display device 20 via the network 30.
  • the information processing device 10 according to the present embodiment may be, for example, an electronic device suitable for carrying around, such as a smartphone, a tablet terminal, or a notebook PC.
  • the information processing device 10 according to the present embodiment may be a desktop PC or a server.
  • a case where the information processing device 10 is a smartphone will be described as an example.
  • the display device 20 is a device provided with a transmissive display (display unit) and enables a user to visually recognize a real space and view AR contents.
  • the display device 20 according to the present embodiment may be, for example, an AR glass or a head-mounted display.
  • the display device 20 according to the present embodiment is not limited to AR glasses and head-mounted displays, and can be applied to other types of transmissive displays.
  • the other display device may be a display device that displays an image on a transparent display unit such as a head-up display or a window glass.
  • the display device 20 may be, for example, an external device that can be worn on ordinary eyeglasses or the like. In the following, a case where the display device 20 is an AR glass will be described as an example.
  • the information processing device 10 and the display device 20 are connected to each other via a predetermined network 30.
  • the type of network 30 that connects the information processing device 10 and the display device 20 is not particularly limited.
  • the network 30 may be configured by a so-called wireless network such as a network based on the Wi-Fi (registered trademark) standard.
  • the network 30 may be configured by the Internet, a dedicated line, a LAN (Local Area Network), a WAN (Wide Area Network), or the like.
  • the network may include a plurality of networks, and a part or all of them may be configured as a wired network.
  • the information processing device 10 and the display device 20 may be connected to each other via a cable.
  • the display device 20 may be directly connected to the information processing device 10 by mounting the information processing device 10 such as a smartphone on the display device 20.
  • FIG. 5 is a block diagram showing a functional configuration example of the information processing apparatus 10 according to the present embodiment.
  • the information processing device 10 shown in FIG. 5 includes a control unit 130, a storage unit 140, a communication unit 150, and a memory 160.
  • the information processing device 10 controls the image display of the display device 20 by transmitting the image to be displayed on the display device 20 to the display device 20.
  • the control unit 130 is, for example, a controller, and various programs stored in a storage device inside the information processing device 10 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like are stored in a RAM (Random Access). It is realized by executing Memory) as a work area.
  • the various programs include programs of applications installed in the information processing apparatus 10.
  • the control unit 130 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 130 transmits, for example, an image stored in the storage unit 140 to the display device 20 via the communication unit 150.
  • the control unit 130 stores the acquired image in the memory 160, and transmits the image stored in the memory 160 to the display device 20.
  • control unit 130 may acquire an image to be displayed on the display device 20 from an external device (not shown) such as a server via, for example, the communication unit 150.
  • the control unit 130 may acquire such an image from a storage medium such as a USB or an SD card.
  • the image acquired from the external device or the storage medium is stored in the storage unit 140 or the memory 160.
  • the storage unit 140 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 140 stores programs, calculation parameters, and the like used for processing by the control unit 130.
  • the storage unit 140 stores an image to be displayed on the display device 20.
  • the communication unit 150 is a communication interface that connects to the network 30 by wire or wirelessly and communicates with other devices including the display device 20 via the network 30.
  • the communication unit 150 communicates with the network by, for example, a wired / wireless LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (Wireless Fidelity, registered trademark), or the like.
  • the memory 160 stores image information transmitted by the control unit 130 to the display device 20.
  • the memory 160 has a capacity for storing, for example, one frame of image information.
  • FIG. 6 is a block diagram showing a functional configuration example of the display device 20 according to the present embodiment.
  • the display device 20 includes a photographing unit 210, a sensor unit 220, a control unit 230, an output unit 240, a communication unit 250, a memory 260, and a storage unit 270.
  • the photographing unit 210 is provided with a camera and has a function of photographing a real space.
  • the photographing unit 210 is arranged so that the user can photograph in the same direction as the user visually recognizes the real space via, for example, the output unit 240.
  • the sensor unit 220 has a function of collecting various sensor information such as acceleration and angular velocity. Further, the sensor unit 220 includes an illuminance sensor and detects an illuminance value in a real space.
  • the sensor unit 220 has an IMU (Inertial Measurement Unit) including, for example, an acceleration sensor, a gyro, a geomagnetic sensor, and the like, and acquires sensor information such as acceleration information and angular velocity information.
  • IMU Inertial Measurement Unit
  • the control unit 230 is, for example, a controller, and various programs stored in a storage device inside the information processing device 10 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like are stored in a RAM (Random Access). It is realized by executing Memory) as a work area. For example, these various programs include an information processing program that executes image processing. Further, the control unit 230 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 230 includes a threshold value setting unit 231, an area detection unit 232, a pattern determination unit 233, and an area correction unit 234, and realizes or executes the functions and actions of image processing described below.
  • the internal structure of the control unit 230 is not limited to the configuration shown in FIG. 6, and may be another configuration as long as it is configured to perform image processing described later.
  • the threshold value setting unit 231 sets a threshold value used for threshold value determination by the area detection unit 232.
  • the threshold value setting unit 231 sets, for example, a predetermined threshold value.
  • the threshold value setting unit 231 may set the threshold value based on the sensing result of the sensor unit 220, or the threshold value may be set based on the imaging result of the photographing unit 210. The details of the threshold value setting process by the threshold value setting unit 231 will be described later with reference to FIGS. 7 to 10.
  • the area detection unit 232 uses the threshold value set by the threshold value setting unit 231 to determine the pixel value of each pixel of the image transmitted from the information processing device 10 (hereinafter, also referred to as a display image) to determine the threshold value of the display image. Detects the transparent area of.
  • the area detection unit 232 detects, for example, a pixel area in which the pixel value of the display image is less than the threshold value as a transmission area.
  • the pattern determination unit 233 determines a correction pattern to be used when the area correction unit 234 corrects the transmission region detected by the area detection unit 232.
  • the area correction unit 234 corrects the transparent area to be filled with the same color such as gray. Alternatively, the area correction unit 234 corrects the transparent area so that the displayed image is displayed by hatching the transparent area or the like. In this way, the area correction unit 234 changes the correction pattern according to the situation in the real space.
  • the pattern determination unit 233 determines the correction pattern used for the correction by the area correction unit 234. The details of the pattern determination process by the pattern determination unit 233 will be described later with reference to FIGS. 11 to 20.
  • the area correction unit 234 corrects the pixel values of the pixels in the transmission region detected by the area detection unit 232 according to the correction pattern determined by the pattern determination unit 233. For example, when the pattern determination unit 233 selects a correction pattern that fills the transparent area, the area correction unit 234 corrects all the pixel values in the transparent area by converting the pixel values in the transparent area into predetermined values. Alternatively, the area correction unit 234 may correct the transparent area by adding a predetermined value to the pixel value of the transparent area.
  • the area correction unit 234 determines at least one of the transparent areas so that the display image is displayed with the transparent area hatched. The pixel value of the pixel of the part is corrected. The details of the correction by the area correction unit 234 will be described later with reference to FIGS. 21 to 25.
  • the output unit 240 displays content such as an image based on the control by the control unit 130 and the control unit 230.
  • the output unit 240 includes at least a display unit 241 which is a transmissive display. Further, the output unit 240 may be provided with a speaker or the like for outputting sound.
  • the communication unit 250 is a communication interface that connects to the network 30 by wire or wirelessly and communicates with other devices including the information processing device 10 via the network 30.
  • the communication unit 250 communicates with the network by, for example, a wired / wireless LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (Wireless Fidelity, registered trademark), or the like.
  • the memory 260 stores image information transmitted from the information processing device 10.
  • the memory 260 has a capacity for storing, for example, one frame of image information.
  • the memory 260 may store the threshold value determination result in the image processing.
  • the storage unit 270 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 270 stores programs, calculation parameters, and the like used for processing by the control unit 230.
  • the functional configuration examples of the information processing device 10 and the display device 20 according to the present embodiment have been described above.
  • the above configuration described with reference to FIGS. 5 and 6 is merely an example, and the functional configurations of the information processing device 10 and the display device 20 according to the present embodiment are not limited to such an example.
  • the display device 20 according to the present embodiment can independently display content including an image without being controlled by the information processing device 10.
  • the display device 20 has either (1) a specified threshold value, (2) a threshold value according to the sensing result of the sensor unit 220, or (3) a threshold value according to the imaging result of the photographing unit 210.
  • the transparent region is detected from the displayed image using the threshold value of.
  • the threshold value set by the threshold value setting unit 231 will be described separately for the above-mentioned three cases.
  • FIG. 7 is a diagram for explaining a threshold value set by the threshold value setting unit 231 according to the present embodiment.
  • the display device 20 displays the display image Md01 including the object Ob01 in the real space (hereinafter, also referred to as the background Mb01) which is the background on the display unit 241.
  • the object Ob01 includes pixels having a pixel value (0, 0, 0).
  • the pixels of the display image include three pixel values (R, G, B). That is, the display image is a color image.
  • the display image Md01 is displayed on the display unit 241 in which the background Mb01 shown in FIG. 7 is visually recognized, the area of the pixel value (0, 0, 0) is displayed as a transparent color area on the display unit 241. Therefore, the screen Mf01 As shown in, the corresponding area of the object Ob01 becomes transparent.
  • the threshold value setting unit 231 sets a threshold value for determining whether or not the pixel value of the display image Md01 is zero. As described above, when the display image Md01 is a color image, the threshold value setting unit 231 sets the threshold value of each pixel value (R, G, B).
  • the threshold value setting unit 231 may set the threshold value so that the area detection unit 232 detects a transparent region having a color close to black in addition to black. This point will be described with reference to FIG.
  • FIG. 8 is a diagram for explaining a threshold value set by the threshold value setting unit 231 according to the present embodiment. It is assumed that the display image Md02 including the object Ob02 having a dark red region is displayed on the display unit 241. In this case, since the pixels in the dark red region of the object Ob02 have, for example, pixel values (75, 0, 0), when they are displayed on the display unit 241 they are displayed in red as shown on the screen Mf02, but the pixel values. Is small, so the background Mb01 is transmitted with a high transmittance. Therefore, the visibility of the dark red region of the display image Md01 is low.
  • the threshold value setting unit 231 sets a threshold value for detecting the transmission region by the region detection unit 232. It is assumed that such a threshold value is a value determined in advance by an experiment, a simulation, or the like, and is stored in a storage unit (not shown) of the display device 20.
  • the threshold setting unit 231 sets a predetermined value as the threshold value, so that the region detection unit 232 can detect the transparent region including the black region.
  • the black area of the display image is displayed in a transparent color on the display unit 241.
  • the display unit 241 displays it in a display color corresponding to the pixel value. Therefore, the visibility of the transparent region other than black depends on the brightness of the background. This point will be described with reference to FIGS. 9 and 10.
  • 9 and 10 are diagrams for explaining the threshold value set by the threshold value setting unit 231 according to the present embodiment.
  • the threshold value setting unit 231 sets the threshold value according to the brightness of the real space. Specifically, the threshold value setting unit 231 sets the threshold value based on the illuminance value which is the sensing result of the illuminance sensor of the sensor unit 220. For example, a table in which an illuminance value and a threshold value are associated with each other is stored in a storage unit in advance, and the threshold value setting unit 231 sets a threshold value according to the illuminance value by referring to the table. It is assumed that the table in which the illuminance value and the threshold value are associated with each other is created in advance by an experiment, a simulation, or the like.
  • the threshold value setting unit 231 sets the threshold value based on the illuminance value detected by the illuminance sensor, but the present invention is not limited to this.
  • the threshold value setting unit 231 may set the threshold value by using the automatic exposure (AE) function of the photographing unit 210.
  • the threshold value setting unit 231 sets the threshold value by referring to, for example, a table in which the exposure value and the threshold value set by the photographing unit 210 are associated with each other. It is assumed that the table in which the exposure value and the threshold value are associated is created in advance by an experiment, a simulation, or the like and stored in the storage unit 270.
  • the threshold value setting unit 231 may set the threshold value according to the location of the display unit 241 for example. In this case, the threshold value setting unit 231 sets the threshold value according to whether the display device 20 is used outdoors or indoors, for example. Specifically, the threshold value setting unit 231 sets the threshold value when the display device 20 is used outdoors to be higher than the threshold value used indoors. This is because the real space is considered to be brighter outdoors than indoors.
  • the place of use of the display device 20 may be set by the user, or may be detected by using a sensor such as GPS.
  • the threshold value setting unit 231 may set the threshold value according to the time when the display image is displayed on the display unit 241, the weather, and the like. Specifically, for example, when the display image is displayed in the daytime, the threshold value setting unit 231 is set so that the threshold value is higher than that in the case of displaying the display image at night. Alternatively, the threshold value setting unit 231 may be set so that the threshold value is higher in fine weather than in rainy weather.
  • the threshold value setting unit 231 sets the threshold value based on the sensing result of the sensor unit 220 and additional information such as location, time, and weather.
  • the region detection unit 232 can detect a transmission region having lower visibility.
  • Threshold based on captured image> A case where the threshold value setting unit 231 sets the threshold value based on the captured image captured by the camera by the photographing unit 210 will be described.
  • the illuminance value detected by the illuminance sensor of the sensor unit 220 is the average value of the brightness of the background.
  • the actual brightness of the background may differ depending on the location due to the influence of objects (objects) placed in the real space such as buildings and furniture.
  • the visibility of the display image displayed on the display unit 241 differs depending on the display location of the display unit 241. This point will be described with reference to FIG.
  • FIG. 11 is a diagram for explaining a threshold value set by the threshold value setting unit 231 according to the present embodiment. As shown in FIG. 11, it is assumed that the display image Md03 including the object Ob03 is displayed on the background Mb04 including the two buildings.
  • the object Ob03 is a dark gray character string.
  • the object included in the display image is not limited to the virtual object and the image, and may include a character string.
  • the background Mb04 of FIG. 11 includes two buildings as described above. Therefore, the building of the background MB04 and the shadow portion generated by the building are darker than the other portions. Therefore, as shown on the screen Mf05, when the display image Md03 is superimposed and displayed on the background Mb04 as it is, for example, a building or a shadow part can be visually recognized, but the object Ob03 may be transparent and difficult to see in other parts. is there.
  • the threshold value setting unit 231 sets the threshold value based on the illuminance value darker than the actual brightness. There is a risk of doing it. Therefore, the threshold value of the threshold value setting unit 231 cannot be set appropriately, and the area detection unit 232 may not be able to detect the transmission region.
  • the threshold value setting unit 231 of the present embodiment sets the threshold value based on the captured image of the photographing unit 210. As a result, even if the brightness of the background Mb04 varies, the threshold value setting unit 231 can appropriately set the threshold value.
  • the threshold value setting unit 231 sets the threshold value of each pixel of the display image (hereinafter, also referred to as a display pixel) based on the pixel value of each pixel of the captured image (hereinafter, also referred to as an imaged pixel). For example, a table in which an image pickup pixel and a threshold value are associated with each other is stored in a storage unit in advance, and the threshold value setting unit 231 responds to the pixel value of the image pickup pixel corresponding to the display pixel by referring to the table. The threshold value is set to the threshold value of the display pixel. It is assumed that the table in which the imaging pixels and the threshold value are associated with each other is created in advance by an experiment, a simulation, or the like.
  • the threshold value setting unit 231 sets the threshold value for each display pixel, but the present invention is not limited to this.
  • the threshold value setting unit 231 may divide the display image into predetermined areas and set the threshold value for each of the predetermined areas. In this case, the threshold value setting unit 231 sets the threshold value according to, for example, the average value of the pixel values in a predetermined region.
  • the predetermined area may be an area obtained by dividing the display image at equal intervals, or may be an area divided according to the feature amount included in the display image. In this case, the threshold value setting unit 231 may detect an edge from the display image as a feature amount, set a region divided by the detected edge as a predetermined region, and set a threshold value of the predetermined region. ..
  • the threshold value setting unit 231 can also set the threshold value based on the captured image.
  • the region detection unit 232 can more appropriately detect the transmission region even when the brightness of the background varies.
  • the area detection unit 232 determines the pixel value of each pixel of the display image as the threshold value by using the threshold value set by the threshold value setting unit 231 or the threshold value set based on the imaging pixel.
  • the area detection unit 232 compares each of the pixel values (R, G, B) of each pixel of the display image with the threshold value. As a result of performing the threshold value determination, the area detection unit 232 detects as a transmission region the pixels in which all the pixel values (R, G, B) are less than the threshold value.
  • the region detection unit 232 sets the plurality of pixels as one transmission region.
  • the area detection unit 232 may detect a plurality of transparent areas.
  • the pattern determination unit 233 fills the transparent area with the same color (hereinafter, also referred to as a fill pattern), or a correction pattern with hatching (hereinafter, also referred to as a hatch pattern). Select).
  • the pattern determination unit 233 selects a correction pattern according to, for example, the shape and texture of an object included in the background. Alternatively, the pattern determination unit 233 may select a correction pattern according to the brightness of the background.
  • the pattern determination unit 233 uses the pattern determination unit 233 as a correction pattern. Select a hatch pattern.
  • the area correction unit 234 corrects the transparent area with the hatching pattern, so that the visibility of the transparent areas Ob11 to Ob13 can be further improved as shown in the screen M12 of FIG. 12 and 13 are diagrams for explaining the pattern determination process by the pattern determination unit 233 according to the present embodiment.
  • the pattern determination unit 233 extracts, for example, the feature amount of the background area (hereinafter, also referred to as the transparent background area) that overlaps with the transparent area when the transparent area detected by the area detecting unit 232 is displayed on the display unit 241.
  • the pattern determination unit 233 selects a fill pattern as a correction pattern when the feature amount included in the transparent background area is a predetermined number or more, and selects a hatching pattern when the feature amount is less than a predetermined number.
  • Examples of the feature amount include edges included in the background.
  • the pattern determination unit 233 may determine the correction pattern according to the brightness of the background. For example, if the background is too bright, it may be difficult to improve the visibility of the transparent region by correcting with a fill pattern. In this case, the pattern determination unit 233 selects a hatch pattern as the correction pattern when the brightness of the transparent background region is equal to or greater than a predetermined value, and selects a fill pattern when the brightness is less than the predetermined value.
  • the brightness of the transmissive background region may be the illuminance value of the illuminance sensor, and the pixel value of the transmissive background region in the captured image (when a plurality of pixels are included in the transmissive background region, for example, a plurality of pixel values It may be an average value).
  • the pattern determination unit 233 determines the type of hatching.
  • Types of hatching include, for example, a "line pattern” in which diagonal lines are added to a transparent area and a “dot pattern” in which dots are added.
  • the "line pattern” also has a plurality of hatching patterns depending on the line type (dotted line, chain line), line thickness, spacing, line angle, and the like.
  • the pattern determination unit 233 selects a hatching pattern that further improves the visibility of the user from among these plurality of hatching patterns, for example, according to the shape and texture of the object included in the background. This point will be described with reference to FIGS. 14 to 17. 14 to 17 are diagrams for explaining the pattern determination process by the pattern determination unit 233 according to the present embodiment.
  • the display device 20 when the background M13 includes, for example, a railroad crossing, the display device 20 superimposes the black image Ob16 on the railroad crossing caution fence and displays the black image Ob16 on the display unit 241.
  • the pattern determination unit 233 selects the diagonal line pattern as the correction pattern
  • the area correction unit 234 corrects the black image Ob16 with the diagonal line pattern to generate the correction image Mc11a including the correction image Occ16a.
  • the corrected image Mc11a is superimposed and displayed on the background M13, as shown in the screens Mf11a and Mf21a of FIG. 15, the diagonal line of the railroad crossing caution fence and the diagonal line pattern of the corrected image Occ16a are displayed in an overlapping manner, and the corrected image Oct16a is displayed. Visibility is reduced.
  • the screen Mf21a is an enlargement of a part of the screen Mf11a.
  • the pattern determination unit 233 selects a hatch pattern different from the texture pattern of the transparent background region from the hatch patterns.
  • the pattern determination unit 233 selects a hatch pattern of a dot pattern.
  • the area correction unit 234 corrects the black image Ob16 with the dot pattern to generate the correction image Mc11b including the correction image Occ16b.
  • the diagonal line of the railroad crossing caution fence and the dot pattern of the corrected image Occ16b are displayed overlapping as shown in the screens Mf11b and Mf21b of FIG. In this way, by selecting a hatching pattern different from the texture pattern of the transparent background region, it is possible to suppress a decrease in visibility of the corrected image Occ16b.
  • the screen Mf21b is an enlargement of a part of the screen Mf11b.
  • FIGS. 18 to 20 are diagrams for explaining the pattern determination process by the pattern determination unit 233 according to the present embodiment.
  • FIGS. 18 to 20 show a case where, for example, a blind is included in the background.
  • FIG. 18 shows a background in which the blinds are viewed from the left side
  • FIG. 19 shows a background in which the blinds are viewed from the front
  • FIG. 20 shows a background in which the blinds are viewed from the right side.
  • the background seen by the user through the AR glass changes in the order of FIGS. 18, 19, and 20.
  • 18 to 20 shows a screen having only a background
  • the middle figure shows a screen displaying a correction object Oct21 corrected with a diagonal line pattern on the background
  • the right figure shows a correction object Oct22 corrected with a dot pattern on the background. It is a screen.
  • the display device 20 displays the object Occ21 corrected by the diagonal line pattern rising to the right on the blind
  • the correction object Oct21 is superimposed on the background when the blind is viewed from the front and the left side. Can visually recognize the corrected image without any particular problem.
  • the texture pattern of the blind and the pattern of the correction object Occ21 may be similar to each other, and the visibility may be lowered.
  • the pattern determination unit 233 may select a hatching pattern of the same type as the texture pattern of the transparent background area. In this case, the pattern determination unit 233 suppresses the deterioration of the visibility of the correction object Occ21 by changing the type of the "line pattern" such as the angle, thickness, and spacing of the lines.
  • the pattern determination unit 233 may select a hatch pattern correction pattern different from the texture pattern of the transparent background area. Changing the type of "line pattern” described above increases the processing load of the pattern determination unit 233.
  • the background changes when the user wearing the AR glass moves. If the type of "line pattern” is changed according to such a change in the background, the processing load of the pattern determination unit 233 becomes high.
  • the pattern determination unit 233 selects a hatch pattern correction pattern different from the texture pattern of the transparent background area, the pattern determination unit 233 does not need to change the type of the "line pattern", which increases the processing load. It can be suppressed.
  • the pattern determination unit 233 selects a hatch pattern having a predetermined pattern such as a dot or a square as the correction pattern.
  • texture patterns that include lines
  • wall and ceiling patterns such as soundproof rooms, clothing, clothing such as tablecloths and curtains
  • texture patterns that include dots and specific patterns such as paved roads and gravel. It may be included in the transparent background area.
  • the pattern determination unit 233 selects, for example, a hatched pattern with diagonal lines as the correction pattern.
  • the pattern determination unit 233 extracts, for example, a feature amount from the transparent background area of the background image, and extracts a texture pattern of the transparent background area by pattern matching processing of the extracted feature amount.
  • the pattern determination unit 233 selects a correction pattern according to the extracted texture pattern. It is assumed that the correspondence between the texture pattern and the correction pattern is stored in the storage unit of the display device 20 as a table, for example.
  • the pattern determination unit 233 may select a correction pattern based on, for example, machine learning. Specifically, the pattern determination unit 233 selects a correction pattern using a classifier generated in advance by machine learning. For example, the pattern determination unit 233 selects a correction pattern based on the result obtained by inputting the feature amount included in the transparent background region into the classifier.
  • the classifier is generated by using machine learning, for example, when the feature amount of the transparent background region is used as input data and the correction pattern having the highest visibility is used as correct answer data.
  • the pattern determination unit 233 determines the correction pattern based on the texture and brightness of the transparent background region, so that the deterioration of the visibility of the corrected image can be suppressed.
  • the area correction unit 234 corrects the transparent region with the correction pattern determined by the pattern determination unit 233, but here, in order to simplify the explanation, it is assumed that the pattern determination unit 233 has selected the fill pattern.
  • FIG. 21 is a diagram for explaining the correction process by the area correction unit 234 according to the present embodiment.
  • the display device 20 superimposes and displays the display image Md01 including the object Ob01 on the background Mb01.
  • the object Ob01 includes a black region having a pixel value (0, 0, 0).
  • the black region is transparently displayed as shown on the screen Mf01.
  • the area correction unit 234 corrects the object Ob01 by replacing the pixel value of the black region (corresponding to the transparent region) of the object Ob01 with a constant value, and generates a corrected image Mc01 including the correction object Occ01.
  • the area correction unit 234 color-converts the pixel value (0, 0, 0) of the black region of the object Ob01 into the pixel value (150, 150, 150) to generate the corrected image Mc01.
  • the area correction unit 234 outputs the generated correction image Mc01 to the display unit 241.
  • the correction object Occ01 can be presented so that the user can see it.
  • the area correction unit 234 may correct the transparent area by adding a constant value to the pixel value of the transparent area.
  • FIG. 22 is a diagram for explaining the correction process by the area correction unit 234 according to the present embodiment.
  • the display device 20 superimposes and displays the display image Md02 including the object Ob021 on the background Mb01.
  • the object Ob02 includes a transparent region of pixel values (75, 0, 0). Such a transmission region is detected by the region detection unit 232.
  • the display device 20 superimposes the display image Md02 on the background Mb01 without correction, the transparent area is transparently displayed as shown on the screen Mf02, and the visibility of the object Ob02 deteriorates.
  • the area correction unit 234 corrects the object Ob02 by adding it to the pixel value of the transparent area of the object Ob02 to a constant value, and generates the correction object Occ02.
  • the area correction unit 234 adds a constant value “75” to the pixel value (75, 0, 0) in the black region of the object Ob01 and color-converts it to the pixel value (150, 75, 75).
  • the area correction unit 234 outputs the generated correction image Mc02 to the display unit 241.
  • the correction object Occ02 can be presented so that the user can see it more reliably.
  • the area correction unit 234 adds the pixel value of the transparent area of the object Ob41 to a constant value, so that the correction can be performed while maintaining the color tone of the original object Ob41.
  • the constant value described with reference to FIGS. 21 and 22 may be a predetermined value, for example, a value determined according to the brightness of the background. As described above, the visibility of the transparent region changes depending on the brightness (luminance) of the background. Therefore, the area correction unit 234 may determine a constant value according to the brightness of the background and correct the transmission region using the determined constant value.
  • the area correction unit 234 determines a constant value according to the brightness of the background by referring to, for example, a table in which the illuminance value and the constant value are associated with each other. It is assumed that the table is determined in advance by, for example, an experiment or a simulation, and is stored in the storage unit of the display device 20.
  • the area correction unit 234 may correct the pixel value with a correction value different for each pixel in the transmission region.
  • FIG. 23 is a diagram for explaining the correction process by the area correction unit 234 according to the present embodiment.
  • the brightness of the background Mb04 may vary depending on the location.
  • the display image Md03 including the object Ob03 is displayed on the display unit 241 as it is, the object Ob03 in the portion having a bright background becomes difficult to see on the display unit 241 as shown on the screen Mf05.
  • the object Ob03 in the dark background portion is easier to see than the bright background portion.
  • the visibility of the transparent region changes depending on the brightness of the background
  • the pixel value of the transparent region is corrected by a constant value as described above
  • the background is bright as shown in the screen Mf08 of FIG.
  • the visibility of the correction object in the part may be lower than that in the dark part.
  • the area correction unit 234 corrects the pixel value of the transparent area for each pixel with a correction value according to the brightness of the background.
  • the area correction unit 234 determines a correction value for each pixel of the captured image captured by the photographing unit 210, for example. For example, the area correction unit 234 increases the correction value as the pixel value of the imaging pixel increases.
  • the area correction unit 234 determines a correction value according to the pixel value of the image pickup pixel, for example, based on a table in which the pixel value of the image pickup pixel and the correction value are associated with each other. Alternatively, the area correction unit 234 determines the correction value based on the function indicating the relationship between the pixel value of the imaging pixel and the correction value. It is assumed that such a table or function has been determined in advance by, for example, an experiment or a simulation, and is stored in the storage unit of the display device 20.
  • the area correction unit 234 corrects the transparent area using the determined correction value.
  • FIG. 24 is a diagram for explaining the correction process by the area correction unit 234 according to the present embodiment.
  • the area correction unit 234 shown in FIG. 24 determines the correction value based on the captured image Mb14 obtained by capturing the real space, and corrects the display image Md03 shown in FIG. 23.
  • the area correction unit 234 sets the correction value of the area of the object Ob03 that is displayed overlapping with the building of the captured image Mb14 to a value smaller than the correction value of the area of the object Ob03 that is displayed overlapping with other than the building. To do.
  • the area correction unit 234 generates the correction object Occ03 shown in FIG. 24, for example, by adding the correction value corresponding to each area to the pixel value of the object Ob03.
  • the areas at both ends that are displayed overlapping with the building are corrected to be darker than the middle area that does not overlap.
  • the correction display image Mc03 including the correction object Occ03 is displayed on the display unit 241 as shown in the screen Mf10 of FIG. 24, it is possible to suppress a decrease in the visibility of the correction object Occ03 regardless of the brightness of the background.
  • the background includes an object that emits strong light such as sunlight or a light source (hereinafter, referred to as a light emitting object S)
  • a light emitting object S the closer to the light emitting object S, the higher the brightness of the background. .. Therefore, the closer it is to the light emitting object S, the more the object Ob03 is transmitted, and the visibility is lowered.
  • FIG. 25 is a diagram for explaining the correction process by the area correction unit 234 according to the present embodiment.
  • the object Ob03 When displaying the object Ob03 superimposed on the light emitting object S, the object Ob03 cannot be displayed so that the user can see it even if the correction value is increased. That is, even if the area correction unit 234 corrects the object Ob03 to be converted to white, if the object Ob03 is superimposed and displayed on the light emitting object S, the user cannot see the object Ob03. Therefore, it is desirable that the object Ob03 is displayed in an area other than the light emitting object S. Further, from the viewpoint of protecting the eyes of the user who sees the display unit 241, when the light emitting object S is included in the background, it is desirable to display the object Ob03 at a place away from the light emitting object S. In this case, the area correction unit 234 may perform correction to change the display position of the object Ob03.
  • the visibility of the corrected transparent area depends on the brightness of the entire background. For example, as shown in the screen Mf05 of FIG. 23, in the case of a bright background in the daytime, the visibility of the correction object changes depending on the brightness of the background. On the other hand, as shown on the screen Mf09, in the case of a dark background at night, the visibility of the correction object is not easily affected by the brightness of the background. Therefore, the area correction unit 234 may determine the correction value according to the brightness of the background.
  • the area correction unit 234 determines the correction value for each pixel, but the present invention is not limited to this.
  • the area correction unit 234 may divide the display image into a predetermined area and set a correction value for each of the divided areas.
  • the predetermined area may be an area obtained by dividing the display image at equal intervals, or may be an area divided according to the feature amount included in the display image.
  • the area correction unit 234 may detect an edge from the display image as a feature amount, set a region divided by the detected edge as a predetermined region, and set a threshold value of the predetermined region. ..
  • FIG. 26 is a flowchart showing the flow of image processing according to the present embodiment. Such image processing is executed, for example, when a display image is written in the memory 260. Further, when the display image is transmitted from the information processing device 10 at a predetermined cycle such as a moving image, the display device 20 executes the image processing according to the present embodiment at a predetermined cycle.
  • the display device 20 refers to the memory 260 and acquires a display image to be displayed on the display unit 241 (step S101).
  • the display device 20 executes the threshold value setting process and sets the threshold value (step S102).
  • the display device 20 determines the threshold value of the display image using the set threshold value and detects the transparent region (step S103).
  • the display device 20 executes the pattern selection process and selects the correction pattern (step S104). Further, the display device 20 determines the correction value of the transparent region (step S105), corrects the transparent region of the display image, and generates the corrected image (step S106).
  • the display device 20 outputs a corrected image to the display unit 241 instead of the display image (step S107), and ends the process.
  • step S103 If the display device 20 does not detect the transparent region in step S103, the display image is output to the display unit 241 as it is, and the process ends.
  • the display device 20 (an example of the information processing device) according to the present embodiment includes a control unit 230.
  • the control unit 230 detects the transparent region through which the real space is transmitted from the displayed image.
  • the control unit 230 corrects the pixel values of at least a part of the pixels in the transparent region of the display image.
  • the display device 20 can more easily improve the visibility of the display image, particularly the transparent region.
  • the display device 20 corrects the transparent region of the display image, but the present invention is not limited to this.
  • the information processing device 10 may correct the transparent region of the displayed image.
  • an external device (not shown) may correct the transparent region of the displayed image.
  • the external device may be, for example, a device that provides a display image to the information processing device 10.
  • the information processing device 10 or an external device may execute a part of the image processing performed by the display device 20.
  • the information processing device 10 may recognize the captured image (extract the feature amount, etc.), set the threshold value, or select the correction pattern. In this way, by executing the image processing in a distributed manner in each device of the information processing system, the processing load of each device can be reduced and the processing speed can be improved.
  • the display device 20 determines the threshold value and the correction value for correcting the transparent region, but the present invention is not limited to this.
  • the user may be able to change the threshold value or the correction value determined by the display device 20.
  • the display device 20 may receive an instruction from the user via an input unit (not shown) such as a button included in the display device 20.
  • the user may be able to change the threshold value and the correction value via the information processing device 10.
  • the display device 20 corrects the transparent region, but the present invention is not limited to this.
  • the display device 20 may correct the pixel value of the entire display image so that the brightness of the entire display image is increased.
  • the display device 20 may increase the brightness of the display unit 241.
  • the display image itself may be difficult to see, or the visibility of the transparent area may be difficult to improve even if the transparent area is corrected.
  • the visibility of the display image including the transparent region can be improved by increasing the brightness other than the transparent region, such as the brightness of the entire display image and the brightness of the display unit 241.
  • the brightness other than the transparent region such as the brightness of the display image and the brightness of the display unit 241 may be increased.
  • the display device 20 determines the threshold value for each pixel value (R, G, B) of the display image which is a color image, but the present invention is not limited to this.
  • the display device 20 may convert a color image into a grayscale image and determine such a grayscale image as a threshold value. In this way, the display device 20 may determine the brightness value of the pixels of the display image as a threshold value.
  • FIG. 27 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 10.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the function of the control unit 120 by executing the information processing program loaded on the RAM 1200. .. Further, the information processing program related to the present disclosure and the data in the storage unit 50 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the control unit The information processing apparatus according to (3), wherein the threshold value is determined according to the illuminance in the real space.
  • the control unit The information processing apparatus according to (3), wherein the threshold value is determined based on an captured image obtained by capturing the real space.
  • the control unit The information processing apparatus according to any one of (1) to (6), wherein the pixel value is corrected by adding a predetermined value to the pixel value of the region included in the transparent region of the display image.
  • the information processing apparatus according to (7), wherein the predetermined value is a predetermined value.
  • the control unit The information processing apparatus according to (7), wherein the predetermined value is determined according to the illuminance in the real space.
  • the control unit The information processing apparatus according to (7), wherein the predetermined value is determined based on the captured image in the real space.
  • the control unit The information processing apparatus according to any one of (1) to (10), wherein the pixel value is corrected so that the transparent region of the displayed image is displayed in a predetermined pattern.
  • the control unit The information processing apparatus according to (11), wherein the predetermined pattern is selected according to the texture pattern in the transmission region of the captured image obtained by capturing the real space.
  • the transparent region through which the real space is transmitted is detected from the display image. Correcting the pixel value of at least a part of the transparent region of the displayed image and Information processing methods including.
  • Information processing device 20 Display device 130, 230 Control unit 140, 270 Storage unit 150, 250 Communication unit 160, 260 Memory 210 Imaging unit 220 Sensor unit 240 Output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示にかかる情報処理装置（２０）は、制御部（２３０）を備える。制御部（２３０）は、実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、実空間が透過する透過領域を表示画像から検出する。制御部（２３０）は、表示画像の透過領域における少なくとも一部の領域の画素値を補正する。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　従来、ヘッドマウントディスプレイやヘッドアップディスプレイのように、透過型ディスプレイに画像を表示するための技術が知られている。かかる技術では、外界像遮光用シャッタを用いて外界像を遮光することで、透過型のディスプレイに黒色の画像を表示している。
特開平７－６７０５５号公報
　しかしながら、上述した技術では、外界像遮光用シャッタのような透過型ディスプレイに黒色の画像を表示するための機構が必要であり、容易に黒色の画像をユーザに提示できているとは言えなかった。また、外界の光（外光）が強い場合、黒色の画像だけでなく、黒色に似た暗い画像が見えにくくなるという問題があった。このように、従来技術には、より容易に画像の視認性を向上させる点においてさらなる改善の余地があった。
　そこで、本開示では、より容易に画像の視認性を向上させることができる技術を提案する。
　本開示によれば、情報処理装置が提供される。情報処理装置は、制御部を備える。制御部は、実空間が視認可能な透過型ディスプレイに前記表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出する。制御部は、前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正する。
非透過型ディスプレイを用いたＡＲについて説明するための図である。 透過型ディスプレイを用いたＡＲについて説明するための図である。 本実施形態にかかる画像処理について説明するための図である。 本実施形態にかかる情報処理システムの構成例を示す図である。 本実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 本実施形態にかかる表示装置の機能構成例を示すブロック図である。 本実施形態にかかる閾値設定部が設定する閾値を説明するための図である。 本実施形態にかかる閾値設定部が設定する閾値を説明するための図である。 本実施形態にかかる閾値設定部が設定する閾値を説明するための図である。 本実施形態にかかる閾値設定部が設定する閾値を説明するための図である。 本実施形態にかかる閾値設定部が設定する閾値を説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかるパターン決定部によるパターン決定処理について説明するための図である。 本実施形態にかかる領域補正部による補正処理を説明するための図である。 本実施形態にかかる領域補正部による補正処理を説明するための図である。 本実施形態にかかる領域補正部による補正処理を説明するための図である。 本実施形態にかかる領域補正部による補正処理を説明するための図である。 本実施形態にかかる領域補正部による補正処理を説明するための図である。 本実施形態にかかる画像処理の流れを示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．背景
　　２．実施形態の概要
　　３．実施形態の構成例
　　　３．１．システム構成例
　　　３．２．機能構成例
　　　３．３．詳細構成例
　　４．閾値設定処理の一例
　　　４．１．規定の閾値
　　　４．２．センシング結果に基づいた閾値
　　　４．３．撮像画像に基づいた閾値
　　５．パターン決定処理の一例
　　　５．１．補正パターンの選択
　　　５．２．ハッチングの選択
　　６．補正処理の一例
　　　６．１．一定値に置き換える場合
　　　６．２．一定値を加算する場合
　　　６．３．背景に応じて補正する場合
　　７．画像処理の手順
　　８．変形例
　　９．ハードウェア構成
　１０．補足
　＜１．背景＞
　まず、本開示の実施形態の詳細を説明する前に、本発明者らが本開示の実施形態を創作するに至った背景について、図１および図２を参照して説明する。図１は、非透過型ディスプレイを用いたＡＲについて説明するための図である。また、図２は、透過型ディスプレイを用いたＡＲについて説明するための図である。
　拡張現実（ＡＲ：Augmented　Reality）技術において、実空間に仮想オブジェクトを重畳表示する方法として、スマートフォンやタブレット端末のように非透過型ディスプレイに表示する方法と、ＡＲグラスのように透過型ディスプレイに表示する方法とが知られている。
　例えば、図１に示すように、実空間Ｍｂに黒い立方体である仮想オブジェクトＯｂを重畳させてスマートフォンのような非透過型ディスプレイの画面Ｍ１に表示するとする。この場合、図１に示すように、画面Ｍ１には、実空間Ｍｂの映像と仮想オブジェクトＯｂとが重畳して表示される。
　一方、ＡＲグラスのような透過型ディスプレイの場合、仮想オブジェクトＯｂの黒色は透明色として表示される。仮想オブジェクトＯｂを表示しているＡＲグラスをかけたユーザが、実空間Ｍｂを見ると、図２に右図に示すように、仮想オブジェクトＯｂの黒色が透過して背景が透けて見えてしまう。
　このように、透過型ディスプレイに黒色の画像をそのまま表示すると、黒色がディスプレイでは透明色として表示されてしまうため、例えば外光を遮断するシャッタのような黒色を表示するための装置が必要となる。
　あるいは、透過型ディスプレイに表示する仮想オブジェクトＯｂでは黒色を使用しないなど、透過型ディスプレイのために仮想オブジェクトＯｂを作る必要がある。
　また、例えばサングラスのように、画像を表示する透明部材（例えばガラス等）の透過率を低くして背景の輝度を下げることで画像の視認性を向上させる方法もある。しかしながら、背景の輝度を下げると背景の見え方が実際の見え方と異なってしまう。例えばＡＲのように、実空間に仮想オブジェクトを重畳させて表示する場合、仮想オブジェクトをより現実に溶け込ませて表示させるためには、透過型ディスプレイを通して視認できる背景が、実際の背景と同じであることが望ましい。
　このように、従来の技術では、透過型ディスプレイに、視認性が高い画像を提示することが難しい場合があった。
　そこで、上記事情を一着眼点にして本実施形態による情報処理システムを創作するに至った。本実施形態にかかる情報処理システムは、視認性を向上させた画像を透過型ディスプレイに提示することが可能となるので、例えば画像の黒色の領域を含んだ画像であっても、ユーザがより確実に視認できるようになる。
　なお、ここでは、透過型ディスプレイとしてＡＲ画像を表示するディスプレイについて説明したが、本実施形態にかかる技術が適用される透過型ディスプレイはこれに限定されない。例えば窓ガラスのような透過部材を表示部として、広告や映像等を表示する透過型ディスプレイに本実施形態にかかる技術を適用してもよい。
　＜２．実施形態の概要＞
　まず、図３を用いて、本実施形態にかかる画像処理の概要について説明する。図３は、本実施形態にかかる画像処理について説明するための図である。ここでは、図３に示すように、情報処理装置１０であるスマートフォン（以下、スマートフォン１０ともいう）から、透過型の表示装置２０としてＡＲグラス（以下、ＡＲグラス２０ともいう）に画像を表示させる場合について説明する。
　まず、スマートフォン１０は、ＡＲグラス２０に表示する仮想オブジェクトＯｂを送信する（ステップＳ１）。仮想オブジェクトＯｂは、例えば画素ごとに画素値を有する。ＡＲグラス２０は、仮想オブジェクトＯｂをスマートフォン１０から受け取ると、例えば、各画素の画素値を仮想オブジェクト情報Ｏｂ１としてメモリに記憶する。
　なお、図３に示す仮想オブジェクト情報Ｏｂ１は一例であり、図３の仮想オブジェクトＯｂの実際の画素値とは異なる。また、図３では、説明を簡略化するために、仮想オブジェクト情報Ｏｂ１が画素ごとに１つの画素値を有する、すなわち、仮想オブジェクト情報Ｏｂ１がグレースケールの場合について示しているが、これに限定されない。例えば、仮想オブジェクト情報Ｏｂ１が、画素ごとに、Ｒ、Ｇ、Ｂの３つの画素値をそれぞれ有するカラー画像情報であってもよい。
　ＡＲグラス２０は、仮想オブジェクト情報Ｏｂ１の各画素の画素値と閾値とを比較する閾値判定を行う（ステップＳ２）。例えば、図３の比較結果Ｒに示すように、ＡＲグラス２０は、仮想オブジェクト情報Ｏｂ１の画素値と閾値とを比較し、画素値が閾値未満である画素を「０」と判定し、画素値が閾値以上である画素を「１」と判定する。ＡＲグラス２０は、「０」と判定した画素の領域を、透過型ディスプレイに表示した場合に背景が透過する透過領域として検出する。なお、図３では、閾値を「５」とし、比較結果Ｒに示すように、画素値が「５」未満である画素を「０」とし、画素値が「５」以上である画素を「１」としている。
　このように、ＡＲグラス２０は、黒色の画素、すなわち画素値が「０」である画素を検出するだけでなく、黒っぽく透過型ディスプレイでは背景を透過してしまいユーザが視認しにくい色の領域（透過領域）を検出するようにしてもよい。すなわち、ステップＳ２の閾値判定に用いる閾値は、仮想オブジェクトＯｂの黒色領域を検出するための閾値であってもよく、あるいは、黒色領域を含む透過領域を検出するための閾値であってもよい。閾値の詳細については、図７～図１０を用いて後述する。
　続いて、ＡＲグラス２０は、仮想オブジェクト情報Ｏｂ１の透過領域の画素値を補正する（ステップＳ３）。例えば、ＡＲグラス２０は、透過領域に含まれる画素の画素値が元の値より大きくなるように補正する。より具体的には、ＡＲグラス２０は、透過領域の画素の画素値に補正値を加算することで、透過領域を補正する。これにより、ＡＲグラス２０は、図３に示すように、黒色の領域がグレーに色変換された補正後の仮想オブジェクトＯｂ２を生成する。
　ＡＲグラス２０は、補正後の仮想オブジェクトＯｂ２を透過型ディスプレイに表示する（ステップＳ４）。補正後の仮想オブジェクトＯｂ２は、透過領域がグレーで表示されるように補正されているため、ユーザは、実空間を背景として、補正後の仮想オブジェクトＯｂ２を透過型ディスプレイ上で視認することができる。
　このように、本実施形態にかかる画像処理では、例えば仮想オブジェクトＯｂの黒色のような、透過型ディスプレイでは透過して視認しにくい透過領域を検出し、検出した透過領域の画素値を補正する。これにより、黒色を表示するための装置がなくとも、透過領域の視認性を向上させることができる。また、透過型ディスプレイ用に仮想オブジェクトＯｂを用意する必要がなく、非透過型ディスプレイに表示させる仮想オブジェクトＯｂを透過型ディスプレイで表示させることができる。
　なお、図３に示した画像処理は、あくまで一例であり、本実施形態にかかる透過型ディスプレイに表示する画像に対する画像処理は、上述した例に限定されない。以下、本実施形態にかかる画像処理の具体例と、画像処理を実行するための構成について詳細に説明する。
　＜３．実施形態の構成例＞
　＜３．１．システム構成例＞
　次に、本実施形態にかかる情報処理システムの構成例について述べる。図４は、本実施形態にかかる情報処理システムの構成例を示す図である。図４に示すように、情報処理システムは、情報処理装置１０および表示装置２０を備える。
　（情報処理装置）
　情報処理装置１０は、ネットワーク３０を介して表示装置２０による画像表示を制御する。本実施形態にかかる情報処理装置１０は、例えば、スマートフォンやタブレット型端末、ノート型ＰＣなどの持ち運びに適した電子機器であってよい。あるいは、本実施形態にかかる情報処理装置１０が、デスクトップＰＣやサーバであってもよい。なお、以下では、情報処理装置１０がスマートフォンである場合を例に説明を行う。
　（表示装置）
　表示装置２０は、透過型ディスプレイ（表示部）を備え、ユーザによる現実空間の視認とＡＲコンテンツの視聴とを可能とする装置である。本実施形態にかかる表示装置２０は、例えば、ＡＲグラスやヘッドマウントディスプレイであってよい。あるいは、本実施形態にかかる表示装置２０は、ＡＲグラスやヘッドマウントディスプレイに限らず、他の方式の透過型ディスプレイに適応可能である。他の表示装置は、ヘッドアップディスプレイや窓ガラス等の透明な表示部に画像を表示する表示装置であってもよい。また、表示装置２０が、例えば、通常の眼鏡などに装着が可能な外付け型の装置であってもよい。なお、以下では、表示装置２０がＡＲグラスである場合を例に説明を行う。
　情報処理装置１０と表示装置２０とは、所定のネットワーク３０を介して互いに接続される。情報処理装置１０と表示装置２０とを接続するネットワーク３０の種別は特に限定されない。具体的な一例として、当該ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワーク３０は、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、一部または全部が有線のネットワークとして構成されていてもよい。あるいは、情報処理装置１０と表示装置２０とがケーブルを介して互いに接続されてもよい。また、表示装置２０に、例えばスマートフォンのような情報処理装置１０を搭載することで、表示装置２０と情報処理装置１０とを直接接続するようにしてもよい。
　＜３．２．情報処理装置の機能構成例＞
　次に、本実施形態にかかる情報処理装置１０の機能構成例について述べる。図５は、本実施形態にかかる情報処理装置１０の機能構成例を示すブロック図である。
　（情報処理装置）
　図５に示す情報処理装置１０は、制御部１３０、記憶部１４０、通信部１５０およびメモリ１６０を備える。情報処理装置１０は、表示装置２０に表示する画像を、表示装置２０に送信することで、表示装置２０の画像表示を制御する。
　（制御部）
　制御部１３０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random　Access　Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、情報処理装置１０にインストールされたアプリケーションのプログラムが含まれる。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　制御部１３０は、例えば、記憶部１４０に記憶される画像を、通信部１５０を介して表示装置２０に送信する。制御部１３０は、取得した画像をメモリ１６０に記憶させ、メモリ１６０に記憶された画像を表示装置２０に送信する。
　あるいは制御部１３０が、例えば通信部１５０を介して、サーバ等の外部装置（図示省略）から表示装置２０に表示する画像を取得するようにしてもよい。あるいは、制御部１３０は、かかる画像をＵＳＢやＳＤカード等のストレージメディアから取得してもよい。外部装置やストレージメディアから取得した画像は、記憶部１４０またはメモリ１６０に記憶される。
　（記憶部）
　記憶部１４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４０は、制御部１３０の処理に用いられるプログラムや演算パラメータ等を記憶する。また、記憶部１４０は、表示装置２０に表示する画像を記憶する。
　（通信部）
　通信部１５０は、有線または無線によりネットワーク３０と接続し、ネットワーク３０を介して表示装置２０を含む他の装置と通信を行う通信インターフェイスである。通信部１５０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等によりネットワークと通信接続する。
　（メモリ）
　メモリ１６０は、制御部１３０が表示装置２０に送信する画像情報を記憶する。メモリ１６０は、例えば１フレーム分の画像情報を記憶する容量を有する。
　＜３．３．表示装置２０の構成例＞
　続いて、本実施形態にかかる表示装置２０の機能構成について説明する。図６は、本実施形態にかかる表示装置２０の機能構成例を示すブロック図である。
　表示装置２０は、撮影部２１０、センサ部２２０、制御部２３０、出力部２４０、通信部２５０、メモリ２６０および記憶部２７０を備える。
　（撮影部）
　撮影部２１０は、カメラを備え、実空間を撮影する機能を有する。撮影部２１０は、例えば出力部２４０を介してユーザが現実空間を視認する方向と同一方向を撮影可能なように配置される。
　（センサ部）
　センサ部２２０は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。また、センサ部２２０は、照度センサを備え、実空間の照度値を検出する。センサ部２２０は、例えば加速度センサ、ジャイロ、地磁気センサなどを含むＩＭＵ（Inertial　Measurement　Unit）を有し、加速度情報および角速度情報等のセンサ情報を取得する。
　（制御部）
　制御部２３０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random　Access　Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、画像処理を実行する情報処理プログラムが含まれる。また、制御部２３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　制御部２３０は、閾値設定部２３１、領域検出部２３２、パターン決定部２３３および領域補正部２３４を備え、以下に説明する画像処理の機能や作用を実現または実行する。なお、制御部２３０の内部構造は、図６に示した構成に限られず、後述する画像処理を行う構成であれば他の構成であってもよい。
　（閾値設定部）
　閾値設定部２３１は、領域検出部２３２による閾値判定に用いる閾値を設定する。閾値設定部２３１は、例えば予め決められた閾値を設定する。あるいは、閾値設定部２３１がセンサ部２２０のセンシング結果に基づき閾値を設定してもよく、撮影部２１０の撮像結果に基づき閾値を設定してもよい。閾値設定部２３１による閾値設定処理の詳細については、図７～図１０を用いて後述する。
　（領域検出部）
　領域検出部２３２は、閾値設定部２３１が設定した閾値を用いて、情報処理装置１０から送信された画像（以下、表示画像ともいう）の各画素の画素値を閾値判定することで、表示画像の透過領域を検出する。領域検出部２３２は、例えば表示画像の画素値が閾値未満である画素領域を透過領域として検出する。
　（パターン決定部）
　パターン決定部２３３は、領域検出部２３２が検出した透過領域を、領域補正部２３４が補正する際に用いる補正パターンを決定する。領域補正部２３４は、例えば透過領域をグレー等の同一色で塗りつぶす補正を行う。あるいは、領域補正部２３４は、透過領域に斜線等のハッチングを付して表示画像が表示されるように補正を行う。このように、領域補正部２３４は、実空間の状況に応じて補正パターンを変更する。パターン決定部２３３は、領域補正部２３４による補正に用いる補正パターンを決定する。なお、パターン決定部２３３によるパターン決定処理の詳細については、図１１～図２０を用いて後述する。
　（領域補正部）
　領域補正部２３４は、領域検出部２３２が検出した透過領域の画素の画素値を、パターン決定部２３３が決定した補正パターンに応じて補正する。例えば、パターン決定部２３３が、透過領域を塗りつぶす補正パターンを選択した場合、領域補正部２３４は、透過領域の画素値を所定値に変換することで、透過領域の全ての画素値を補正する。あるいは、領域補正部２３４は、透過領域の画素値に所定値を加算することで、透過領域を補正してもよい。
　また、パターン決定部２３３が、透過領域にハッチングを付す補正パターンを選択した場合、領域補正部２３４は、表示画像が、透過領域にハッチングが付されて表示されるように、透過領域の少なくとも一部の画素の画素値を補正する。なお、領域補正部２３４による補正の詳細については、図２１～図２５を用いて後述する。
　（出力部）
　出力部２４０は、制御部１３０や制御部２３０による制御に基づいて例えば画像等のコンテンツを表示する。出力部２４０は、透過型ディスプレイである表示部２４１を少なくとも備える。また、出力部２４０は、音声を出力するためのスピーカなどを備えてよい。
　（通信部）
　通信部２５０は、有線または無線によりネットワーク３０と接続し、ネットワーク３０を介して情報処理装置１０を含む他の装置と通信を行う通信インターフェイスである。通信部２５０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等によりネットワークと通信接続する。
　（メモリ）
　メモリ２６０は、情報処理装置１０から送信される画像情報を記憶する。メモリ２６０は、例えば１フレーム分の画像情報を記憶する容量を有する。あるいは、メモリ２６０が、画像処理での閾値判定結果を記憶するようにしてもよい。
　（記憶部）
　記憶部２７０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２７０は、制御部２３０の処理に用いられるプログラムや演算パラメータ等を記憶する。
　以上、本実施形態にかかる情報処理装置１０および表示装置２０の機能構成例について述べた。なお、図５、図６を用いて説明した上記の構成はあくまで一例であり、本実施形態にかかる情報処理装置１０および表示装置２０の機能構成はかかる例に限定されない。例えば、本実施形態にかかる表示装置２０は、情報処理装置１０による制御に依らず、単独で画像を含むコンテンツの表示を行うことも可能である。
　＜４．閾値設定処理の一例＞
　続いて、閾値設定部２３１による閾値設定処理について説明する。本実施形態にかかる表示装置２０は、例えば（１）規定の閾値、（２）センサ部２２０のセンシング結果に応じた閾値、または、（３）撮影部２１０の撮像結果に応じた閾値のいずれかの閾値を用いて表示画像から透過領域を検出する。以下、上述した３つの場合に分けて、閾値設定部２３１が設定する閾値について説明する。
　＜４．１．規定の閾値＞
（黒色領域検出のための閾値）
　図７は、本実施形態にかかる閾値設定部２３１が設定する閾値を説明するための図である。図７に示すように、表示装置２０は、表示部２４１で背景となる実空間（以下、背景Ｍｂ０１ともいう）に、オブジェクトＯｂ０１を含む表示画像Ｍｄ０１を表示するとする。オブジェクトＯｂ０１には、画素値（０、０、０）の画素が含まれる。このように、表示画像の画素には３つの画素値（Ｒ、Ｇ、Ｂ）が含まれる。すなわち、表示画像はカラー画像である。
　図７に示す背景Ｍｂ０１が視認される表示部２４１に、表示画像Ｍｄ０１を表示すると、画素値（０、０、０）の領域が表示部２４１では透明色の領域として表示されるため、画面Ｍｆ０１に示すように、オブジェクトＯｂ０１の該当領域が透過してしまう。
　この場合、閾値設定部２３１は、表示画像Ｍｄ０１の画素値がゼロであるか否かを判定するための閾値を設定する。なお、上述したように、表示画像Ｍｄ０１がカラー画像である場合、閾値設定部２３１は、各画素値（Ｒ、Ｇ、Ｂ）の閾値をそれぞれ設定する。
（黒に近い透過領域検出のための閾値）
　あるいは、閾値設定部２３１は、領域検出部２３２が黒色に加え、黒色に近い色の透過領域を検出するように、閾値を設定するようにしてもよい。かかる点について、図８を用いて説明する。
　図８は、本実施形態にかかる閾値設定部２３１が設定する閾値を説明するための図である。暗い赤色の領域を有するオブジェクトＯｂ０２を含む表示画像Ｍｄ０２を表示部２４１に表示するとする。この場合、オブジェクトＯｂ０２の暗い赤色の領域の画素は、例えば画素値（７５、０、０）であるため、表示部２４１に表示すると、画面Ｍｆ０２に示すように赤色で表示されるが、画素値が小さいため背景Ｍｂ０１が高い透過率で透過してしまう。そのため、表示画像Ｍｄ０１の暗い赤色の領域の視認性が低くなる。
　そこで、本実施形態の表示装置２０では、透過率が高く視認性が低い透過領域を補正することで、かかる透過領域の視認性を向上させる。そのため、閾値設定部２３１は、領域検出部２３２で透過領域を検出するための閾値を設定する。かかる閾値は、予め実験やシミュレーション等で決められた値であり、表示装置２０の記憶部（図示省略）に記憶されているものとする。
　このように、閾値設定部２３１が予め決められた値を閾値に設定することで、領域検出部２３２が黒色領域を含む透過領域を検出することができる。
　＜４．２．センシング結果に基づいた閾値＞
　続いて、図９および図１０を用いて、閾値設定部２３１がセンサ部２２０のセンシング結果に基づいて閾値を設定する場合について説明する。
　上述したように、表示画像の黒色領域は、表示部２４１では透明色で表示される。一方、黒色を除く透過領域は、完全な黒色ではないため、表示部２４１では画素値に応じた表示色で表示される。そのため、黒色を除く透過領域の視認しやすさは、背景の明るさに依存する。かかる点について、図９および図１０を用いて説明する。図９および図１０は、本実施形態にかかる閾値設定部２３１が設定する閾値を説明するための図である。
　図９に示すように、明るい背景Ｍｂ０２に、暗い赤色のオブジェクトＯｂ０２を含む表示画像Ｍｄ０２を表示すると、表示部２４１の画面Ｍｆ０３では、オブジェクトＯｂ０２の透過率が高くなり、オブジェクトＯｂ０２が視認しにくくなる。
　一方、図１０に示すように、暗い背景Ｍｂ０３に、暗い赤色のオブジェクトＯｂ０２を含む表示画像Ｍｄ０２を表示すると、表示部２４１の画面Ｍｆ０４では、明るい背景Ｍｂ０２の場合に比べて、オブジェクトＯｂ０２の透過率が低くなり、オブジェクトＯｂ０２を視認しやすくなる。
　このように、表示画像の透明領域の視認性は、背景、すなわち実空間の明るさに依存する。そこで、本実施形態にかかる閾値設定部２３１は、実空間の明るさに応じて閾値を設定する。具体的には、閾値設定部２３１は、センサ部２２０の照度センサのセンシング結果である照度値に基づき、閾値を設定する。例えば、照度値と閾値とが対応付けられたテーブルが予め記憶部に記憶されており、閾値設定部２３１は、かかるテーブルを参照することで、照度値に応じた閾値を設定する。なお、照度値と閾値とを対応付けたテーブルは、予め実験やシミュレーション等により作成されているものとする。
　なお、ここでは、閾値設定部２３１が、照度センサが検出した照度値に基づいて閾値を設定するとしたが、これに限定されない。閾値設定部２３１が、撮影部２１０が有する自動露出（ＡＥ：Automatic　Exposure）機能を利用して閾値を設定するようにしてもよい。この場合、閾値設定部２３１は、例えば、撮影部２１０が設定した露出値と閾値とを対応付けたテーブルを参照して閾値を設定する。なお、露出値と閾値とを対応付けたテーブルは、予め実験やシミュレーション等により作成され、記憶部２７０に記憶されているものとする。
　あるいは、閾値設定部２３１が、例えば表示部２４１の場所に応じて閾値を設定するようにしてもよい。この場合、閾値設定部２３１は、例えば表示装置２０が屋外で使用されるか屋内で使用されるかに応じて閾値を設定する。具体的には、閾値設定部２３１は、表示装置２０が屋外で使用される場合の閾値を、屋内で使用される閾値より高くなるように設定する。これは、屋外の方が屋内に比べて実空間が明るいと考えられるためである。表示装置２０の使用場所は、使用者が設定してもよく、あるいはＧＰＳ等のセンサを用いて検出するようにしてもよい。
　また、例えば、閾値設定部２３１が、表示画像を表示部２４１に表示する時刻や天候等に応じて閾値を設定するようにしてもよい。具体的に、閾値設定部２３１は、例えば昼間に表示画像を表示する場合は、夜間に表示する場合に比べて閾値が高くなるように設定する。あるいは、閾値設定部２３１が、晴天時は雨天時に比べて閾値が高くなるように設定するようにしてもよい。
　このように、閾値設定部２３１は、センサ部２２０のセンシング結果や、場所、時刻や天候といった付加情報に基づいて閾値を設定する。これにより、領域検出部２３２は、より視認性が低い透過領域を検出できるようになる。
　＜４．３．撮像画像に基づいた閾値＞
　閾値設定部２３１が、撮影部２１０がカメラで撮像した撮像画像に基づいて閾値を設定する場合について説明する。
　センサ部２２０の照度センサが検出する照度値は、背景の明るさの平均値である。実際背景の明るさは、建物や家具等の実空間に配置される物体（オブジェクト）の影響により、場所によって異なる場合がある。この場合、表示部２４１に表示される表示画像の視認性は、表示部２４１の表示場所によって異なる。かかる点について、図１１を用いて説明する。
　図１１は、本実施形態にかかる閾値設定部２３１が設定する閾値を説明するための図である。図１１に示すように、２つの建物を含む背景Ｍｂ０４に、オブジェクトＯｂ０３を含む表示画像Ｍｄ０３を表示するとする。なお、オブジェクトＯｂ０３は、暗いグレーの文字列である。このように、表示画像に含まれるオブジェクトは、仮想オブジェクトや画像に限らず、文字列を含んでいてもよい。
　図１１の背景Ｍｂ０４は、上述したように２つの建物を含む。従って、背景ＭＢ０４の建物および建物によって生じる影の部分は、他の部分と比べて明るさが暗くなる。そのため、画面Ｍｆ０５に示すように、背景Ｍｂ０４に表示画像Ｍｄ０３をそのまま重畳して表示すると、例えば建物や影の部分は視認できるが、その他の部分はオブジェクトＯｂ０３が透過して視認しにくくなる場合がある。
　このように、背景Ｍｂ０４の明るさにばらつきがある場合、明るさの平均値である照度値に基づいて閾値を設定すると、閾値設定部２３１が実際の明るさより暗い照度値に基づいて閾値を設定してしまう恐れがある。そのため、閾値設定部２３１の閾値が適切に設定できず、領域検出部２３２が透過領域を検出できない恐れがある。
　そこで、本実施形態の閾値設定部２３１は、撮影部２１０の撮像画像に基づいて閾値を設定する。これにより、背景Ｍｂ０４の明るさにばらつきがある場合でも、閾値設定部２３１が適切に閾値を設定することができる。
　具体的には、閾値設定部２３１は、撮像画像の各画素（以下、撮像画素ともいう）の画素値に基づき、表示画像の各画素（以下、表示画素ともいう）の閾値を設定する。例えば、撮像画素と閾値とが対応付けられたテーブルが予め記憶部に記憶されており、閾値設定部２３１は、かかるテーブルを参照することで、表示画素に対応する撮像画素の画素値に応じた閾値を、当該表示画素の閾値に設定する。なお、撮像画素と閾値とを対応付けたテーブルは、予め実験やシミュレーション等により作成されているものとする。
　なお、ここでは、閾値設定部２３１が、表示画素ごとに閾値を設定するが、これに限定されない。閾値設定部２３１が、表示画像を所定の領域に分割して、かかる所定の領域ごとに閾値を設定するようにしてもよい。この場合、閾値設定部２３１は、例えば所定の領域の画素値の平均値に応じて閾値を設定する。なお、かかる所定の領域は、表示画像を等間隔に分割した領域でもよく、表示画像に含まれる特徴量に応じて分割した領域であってもよい。この場合、閾値設定部２３１は、例えば、特徴量として表示画像からエッジを検出し、検出したエッジによって分割される領域を所定の領域として、かかる所定の領域の閾値を設定するようにしてもよい。
　このように、閾値設定部２３１は、撮像画像に基づき、閾値を設定することもできる。これにより、領域検出部２３２は、背景の明るさにばらつきがある場合でも、透過領域をより適切に検出することができる。
（領域検出処理）
　領域検出部２３２は、閾値設定部２３１が規定値または撮像画素に基づいて設定した閾値を用いて、表示画像の各画素の画素値を閾値判定する。領域検出部２３２は、表示画像の各画素の画素値（Ｒ、Ｇ、Ｂ）それぞれと閾値とを比較する。領域検出部２３２は、閾値判定を行った結果、全ての画素値（Ｒ、Ｇ、Ｂ）が閾値未満である画素を透過領域として検出する。なお、領域検出部２３２は、透過領域として検出した複数の画素が隣接する場合は、かかる複数の画素を１つの透過領域とする。領域検出部２３２は、複数の透過領域を検出する場合もある。
　＜５．パターン決定処理の一例＞
　＜５．１．補正パターンの選択＞
　次に、パターン決定部２３３によるパターン決定処理について説明する。上述したように、パターン決定部２３３は、補正パターンとして、透過領域を同一色で塗りつぶす補正パターン（以下、塗りつぶしパターンともいう）、あるいは、ハッチングを付して補正する補正パターン（以下、ハッチングパターンともいう）を選択する。パターン決定部２３３は、例えば背景に含まれるオブジェクトの形状やテクスチャに応じて補正パターンを選択する。あるいは、パターン決定部２３３が、背景の明るさに応じて補正パターンを選択してもよい。
　例えば、図１２に示すように、背景Ｍ１１に、壁やテーブルのようなテクスチャが少ないオブジェクトが含まれ、かかるオブジェクトに重畳するように透過領域を表示させる場合、パターン決定部２３３は、補正パターンとしてハッチングパターンを選択する。この場合、領域補正部２３４がハッチングパターンで透過領域を補正することで、図１３の画面Ｍ１２に示すように、透過領域Ｏｂ１１～Ｏｂ１３の視認性をより向上させることができる。なお、図１２および図１３は、本実施形態にかかるパターン決定部２３３によるパターン決定処理について説明するための図である。
　パターン決定部２３３は、例えば、領域検出部２３２が検出した透過領域を表示部２４１に表示した場合に透過領域と重複する背景領域（以下、透過背景領域ともいう）の特徴量を抽出する。パターン決定部２３３は、透過背景領域に含まれる特徴量が所定数以上の場合に補正パターンとして塗りつぶしパターンを選択し、特徴量が所定数未満の場合にハッチングパターンを選択する。なお、特徴量としては、例えば背景に含まれるエッジ等があげられる。
　あるいは、パターン決定部２３３は、背景の明るさに応じて補正パターンを決定するようにしてもよい。例えば、背景が明る過ぎると、塗りつぶしパターンでの補正では透過領域の視認性を向上させにくい場合がある。この場合、パターン決定部２３３は、透過背景領域の明るさが所定値以上である場合に補正パターンとしてハッチングパターンを選択し、明るさが所定値未満である場合に塗りつぶしパターンを選択する。なお、透過背景領域の明るさは、照度センサの照度値であってもよく、撮像画像における透過背景領域の画素値（透過背景領域に複数の画素が含まれる場合は、例えば複数の画素値の平均値）であってもよい。
　＜５．２．ハッチングの選択＞
　パターン決定部２３３は、補正パターンとしてハッチングパターンを選択した場合、ハッチングの種類を決定する。ハッチングの種類としては、例えば、透過領域に斜線を付す「線パターン」やドットを付す「ドットパターン」などがある。その他にも、所定の図柄を付すパターン等がある。また、例えば、「線パターン」にも、線種（点線、鎖線）や線の太さ、間隔、線の角度等に応じて複数のハッチングパターンがある。
　パターン決定部２３３は、これら複数のハッチングパターンの中から、例えば背景に含まれるオブジェクトの形状やテクスチャに応じて、ユーザの視認性がより向上するハッチングパターンを選択する。図１４～図１７を用いて、かかる点について説明する。図１４～図１７は、本実施形態にかかるパターン決定部２３３によるパターン決定処理について説明するための図である。
　図１４に示すように、表示装置２０が、例えば、背景Ｍ１３に例えば踏切が含まれる場合に、踏切注意柵に重畳して黒色画像Ｏｂ１６を表示部２４１に表示するものとする。このとき、パターン決定部２３３が、補正パターンとして斜線パターンを選択すると、領域補正部２３４は、斜線パターンで黒色画像Ｏｂ１６を補正することで、補正画像Ｏｃ１６ａを含む補正画像Ｍｃ１１ａを生成する。
　かかる補正画像Ｍｃ１１ａを、背景Ｍ１３に重畳して表示すると、図１５の画面Ｍｆ１１ａ、Ｍｆ２１ａに示すように、踏切注意柵の斜線と補正画像Ｏｃ１６ａの斜線パターンとが重複して表示され、補正画像Ｏｃ１６ａの視認性が低下してしまう。なお、画面Ｍｆ２１ａは、画面Ｍｆ１１ａの一部を拡大したものである。
　このように、透過背景領域のテクスチャパターンに似たハッチングパターンを選択すると、補正後の透過領域の視認性が低下する場合がある。そこで、パターン決定部２３３は、ハッチングパターンの中から、透過背景領域のテクスチャパターンとは異なるハッチングパターンを選択する。
　例えば、図１６に示すように、透過背景領域に斜線のテクスチャパターンがある場合、パターン決定部２３３は、ドットパターンのハッチングパターンを選択する。この場合、領域補正部２３４は、ドットパターンで黒色画像Ｏｂ１６を補正することで、補正画像Ｏｃ１６ｂを含む補正画像Ｍｃ１１ｂを生成する。
　かかる補正画像Ｍｃ１１ｂを、背景Ｍ１３に重畳して表示すると、図１７の画面Ｍｆ１１ｂ、Ｍｆ２１ｂに示すように、踏切注意柵の斜線と補正画像Ｏｃ１６ｂのドットパターンとが重複して表示される。このように、透過背景領域のテクスチャパターンとは異なるハッチングパターンを選択することで、補正画像Ｏｃ１６ｂの視認性低下を抑制する。なお、画面Ｍｆ２１ｂは、画面Ｍｆ１１ｂの一部を拡大したものである。
　次に、図１８～図２０を用いて、パターン決定部２３３によるハッチングパターン選択の他の例について説明する。図１８～図２０は、本実施形態にかかるパターン決定部２３３によるパターン決定処理について説明するための図である。
　図１８～図２０に示す画面には、背景に例えばブラインドが含まれる場合について示している。図１８は左側からブラインドを見た背景の場合、図１９は正面からブラインドを見た背景の場合、図２０は右側からブラインドを見た背景の場合を示している。例えば、表示装置２０としてＡＲグラスを装着したユーザがブラインドを見ながら、ブラインドの左側から右側に移動すると、ユーザがＡＲグラスを通して見る背景は、図１８、図１９および図２０の順に変化する。また、図１８～図２０の左図は背景のみの画面、中図は背景に斜線パターンで補正した補正オブジェクトＯｃ２１を表示した画面、右図は背景にドットパターンで補正した補正オブジェクトＯｃ２２を表示した画面である。
　図１８～図２０の中図に示すように、表示装置２０がブラインドに右上がりの斜線パターンで補正したオブジェクトＯｃ２１を表示すると、ブラインドを正面および左側から見た背景に補正オブジェクトＯｃ２１を重畳する場合は、特に問題なく補正画像を視認することができる。しかし、ブラインドを右側から見た背景に補正オブジェクトＯｃ２１を重畳する場合、ブラインドのテクスチャパターンと補正オブジェクトＯｃ２１のパターンとが似てしまい、視認性が低下する恐れがある。
　一方、図１８～図２０の右図に示すように、表示装置２０がブラインドにドットパターンで補正した補正オブジェクトＯｃ２２を表示すると、ブラインドを見る方向によらず補正オブジェクトＯｃ２２を視認することができる。
　このように、透過背景領域のテクスチャパターンと補正パターンのハッチングパターンとが、例えば線パターンのように同一種類であっても、線の角度によっては補正オブジェクトＯｃ２１の視認性が低下しない場合もある。そのため、パターン決定部２３３は、透過背景領域のテクスチャパターンと同じ種類のハッチングパターンを選択するようにしてもよい。この場合、パターン決定部２３３は、線の角度や太さ、間隔等、「線パターン」の種類を変えることで、補正オブジェクトＯｃ２１の視認性の低下を抑制する。
　あるいは、パターン決定部２３３が、透過背景領域のテクスチャパターンと異なるハッチングパターンの補正パターンを選択するようにしてもよい。上述した「線パターン」の種類の変更は、パターン決定部２３３の処理負荷が高くなる。特に、表示装置２０がＡＲグラスである場合、ＡＲグラスを装着したユーザが移動すると背景も変化する。かかる背景の変化に応じて「線パターン」の種類を変更すると、パターン決定部２３３の処理負荷が高くなる。一方、パターン決定部２３３が、透過背景領域のテクスチャパターンと異なるハッチングパターンの補正パターンを選択すると、パターン決定部２３３は、「線パターン」の種類を変更する必要がなくなるため、処理負荷の上昇を抑制することができる。
　補正オブジェクトの視認性を低下させる恐れがある透過背景領域のテクスチャパターンとして、例えば、上述したブラインドや踏切の注意喚起ストライプの他にも、カーテンや横断歩道、タイル等が張られた床、天井や壁の模様、階段等が挙げられる。これら線を含むテクスチャパターンが透過背景領域に含まれる場合、パターン決定部２３３は、補正パターンとして、例えばドットや四角など所定模様のハッチングパターンを選択する。
　また、線を含むテクスチャパターン以外にも、例えば防音室等の壁や天井の模様、服や、テーブルクロス、カーテンといった服飾品や、舗装道路や砂利等、ドットや特定の模様を含むテクスチャパターンが透過背景領域に含まれる場合もある。この場合、パターン決定部２３３は、補正パターンとして、例えば斜線のハッチングパターンを選択する。
　なお、パターン決定部２３３は、例えば背景画像の透過背景領域から特徴量を抽出し、抽出した特徴量のパターンマッチング処理によって、透過背景領域のテクスチャパターンを抽出する。パターン決定部２３３は、抽出したテクスチャパターンに応じて、補正パターンを選択する。なお、テクスチャパターンと補正パターンとの対応関係は、例えばテーブルとして表示装置２０の記憶部に記憶されているものとする。
　あるいは、パターン決定部２３３が、例えば機械学習に基づいて補正パターンを選択するようにしてもよい。具体的に、パターン決定部２３３は、予め機械学習により生成された識別器を用いて、補正パターンを選択する。例えば、パターン決定部２３３は、透過背景領域に含まれる特徴量を識別器に入力して得られる結果に基づき、補正パターンを選択する。なお、識別器は、例えば、透過背景領域の特徴量を入力データとしたときに、視認性が最も高い補正パターンを正解データとして機械学習を用いて生成されるものとする。
　このように、パターン決定部２３３が、透過背景領域のテクスチャや明るさに基づいて補正パターンを決定することで、補正画像の視認性の低下を抑制することができる。
　＜６．補正処理の一例＞
　領域補正部２３４による補正処理について説明する。領域補正部２３４は、パターン決定部２３３が決定した補正パターンで透過領域の補正を行うが、ここでは説明を簡略化するために、パターン決定部２３３が塗りつぶしパターンを選択したものとして説明する。
　＜６．１．一定値に置き換える場合＞
　図２１は、本実施形態にかかる領域補正部２３４による補正処理を説明するための図である。図２１に示すように、表示装置２０は、背景Ｍｂ０１にオブジェクトＯｂ０１を含む表示画像Ｍｄ０１を重畳して表示するものとする。オブジェクトＯｂ０１には、画素値（０、０、０）の黒色領域が含まれる。この場合、表示装置２０が、補正せずに表示画像Ｍｄ０１を背景Ｍｂ０１に重畳すると、画面Ｍｆ０１に示すように、黒色領域が透過して表示されてしまう。
　そこで、領域補正部２３４は、オブジェクトＯｂ０１の黒色領域（透過領域に相当）の画素値を一定値に置き換えることで、オブジェクトＯｂ０１を補正し、補正オブジェクトＯｃ０１を含む補正画像Ｍｃ０１を生成する。図２１の例では、領域補正部２３４は、オブジェクトＯｂ０１の黒色領域の画素値（０、０、０）を画素値（１５０、１５０、１５０）に色変換して、補正画像Ｍｃ０１を生成する。領域補正部２３４は、生成した補正画像Ｍｃ０１を表示部２４１に出力する。これにより、画面Ｍｆ０６に示すように、ユーザが視認できるように補正オブジェクトＯｃ０１を提示することができる。
　＜６．２．一定値を加算する場合＞
　なお、上述した例では、領域補正部２３４が透過領域の画素値を一定値に置き換える場合について説明したが、これに限定されない。例えば、領域補正部２３４が、透過領域の画素値に一定値を加算することで、透過領域を補正するようにしてもよい。
　図２２は、本実施形態にかかる領域補正部２３４による補正処理を説明するための図である。図２２に示すように、表示装置２０は、背景Ｍｂ０１にオブジェクトＯｂ０２１を含む表示画像Ｍｄ０２を重畳して表示するものとする。オブジェクトＯｂ０２には、画素値（７５、０、０）の透過領域が含まれる。かかる透過領域は、領域検出部２３２によって検出される。
　この場合、表示装置２０が、補正せずに表示画像Ｍｄ０２を背景Ｍｂ０１に重畳すると、画面Ｍｆ０２に示すように、透過領域が透過して表示されてしまいオブジェクトＯｂ０２の視認性が低下してしまう。
　そこで、領域補正部２３４は、オブジェクトＯｂ０２の透過領域の画素値に一定値に加算することで、オブジェクトＯｂ０２を補正し、補正オブジェクトＯｃ０２を生成する。図２２の例では、領域補正部２３４は、オブジェクトＯｂ０１の黒色領域の画素値（７５、０、０）に一定値「７５」を加算して画素値（１５０、７５、７５）に色変換して、補正画像Ｍｃ０２を生成する。領域補正部２３４は、生成した補正画像Ｍｃ０２を表示部２４１に出力する。これにより、画面Ｍｆ０７に示すように、ユーザがより確実に視認できるように補正オブジェクトＯｃ０２を提示することができる。
　このように、領域補正部２３４が、オブジェクトＯｂ４１の透過領域の画素値に一定値に加算することで、もとのオブジェクトＯｂ４１の色味を保ったまま補正することができる。
　なお、図２１、図２２を用いて説明した一定値は、予め定められた値でもよく、例えば背景の輝度に応じて決定される値であってもよい。上述したように、透過領域の視認性は、背景の明るさ（輝度）によって変化する。そこで、領域補正部２３４は、背景の明るさに応じて一定値を決定し、決定した一定値を用いて透過領域を補正するようにしてもよい。領域補正部２３４は、例えば照度値と一定値とを対応付けたテーブルを参照することで、背景の明るさに応じた一定値を決定する。なお、かかるテーブルは、例えば実験やシミュレーション等によって予め決定されており、表示装置２０の記憶部に記憶されているものとする。
　＜６．３．背景に応じて補正する場合＞
　上述した補正処理では、領域補正部２３４が透過領域の画素値を一定値で補正する場合について説明したが、これに限定されない。例えば、領域補正部２３４が、透過領域の画素ごとに異なる補正値で画素値を補正するようにしてもよい。
　図２３は、本実施形態にかかる領域補正部２３４による補正処理を説明するための図である。上述したように、実空間に建物等のオブジェクトがあると、背景Ｍｂ０４の明るさが場所によってばらつく場合がある。この場合、オブジェクトＯｂ０３を含む表示画像Ｍｄ０３をそのまま表示部２４１に表示すると、表示部２４１には画面Ｍｆ０５に示すように、背景が明るい部分のオブジェクトＯｂ０３は視認しにくくなる。一方、背景が暗い部分のオブジェクトＯｂ０３は、背景が明るい部分よりは視認しやすくなる。
　このように、背景の明るさによって、透過領域の視認性が変化する場合、上述したように、透過領域の画素値を一定値で補正すると、図２３の画面Ｍｆ０８に示すように、背景が明るい部分の補正オブジェクトの視認性が、暗い部分に比べて低下する恐れがある。
　この場合、領域補正部２３４は、背景の明るさに応じた補正値で画素ごとに透過領域の画素値を補正する。領域補正部２３４は、例えば撮影部２１０が撮像した撮像画像の画素ごとに補正値を決定する。領域補正部２３４は、例えば、撮像画素の画素値の値が大きいほど補正値を大きくする。領域補正部２３４は、例えば、撮像画素の画素値と補正値とを対応づけたテーブルに基づき、撮像画素の画素値に応じた補正値を決定する。あるいは、領域補正部２３４が、撮像画素の画素値と補正値との関係を示す関数に基づき、補正値を決定する。かかるテーブルまたは関数は、例えば実験やシミュレーション等によって予め決定されており、表示装置２０の記憶部に記憶されているものとする。
　領域補正部２３４は、決定した補正値を用いて透過領域を補正する。図２４は、本実施形態にかかる領域補正部２３４による補正処理を説明するための図である。例えば、図２４に示す領域補正部２３４が、実空間を撮像した撮像画像Ｍｂ１４に基づいて補正値を決定し、図２３に示す表示画像Ｍｄ０３を補正する。この場合、領域補正部２３４は、撮像画像Ｍｂ１４の建物と重複して表示されるオブジェクトＯｂ０３の領域の補正値を、建物以外と重複して表示されるオブジェクトＯｂ０３の領域の補正値より小さい値にする。
　領域補正部２３４は、例えば、オブジェクトＯｂ０３の画素値に各領域に応じた補正値を加算することで、図２４に示す補正オブジェクトＯｃ０３を生成する。補正オブジェクトＯｃ０３は、図２４に示すように、建物と重複して表示される両端の領域が、重複しない真ん中の領域より暗く補正される。この補正オブジェクトＯｃ０３を含む補正表示画像Ｍｃ０３を表示部２４１に表示すると、図２４の画面Ｍｆ１０に示すように、背景の明るさによらず補正オブジェクトＯｃ０３の視認性の低下を抑制することができる。
　また、図２５に示すように、背景に太陽光や光源のように強い光を発光するオブジェクト（以下、発光オブジェクトＳという）が含まれる場合、発光オブジェクトＳに近いほど、背景の輝度が上昇する。そのため、発光オブジェクトＳに近いほど、オブジェクトＯｂ０３が透過し、視認性が低下する。
　そこで、領域補正部２３４は、発光オブジェクトＳに近いほど補正値が大きくなるよう補正値を決定する。これにより、発光オブジェクトＳが背景に含まれる場合でも、透過領域の視認性を向上させることができる。なお、図２５は、本実施形態にかかる領域補正部２３４による補正処理を説明するための図である。
　なお、発光オブジェクトＳと重畳してオブジェクトＯｂ０３を表示する場合は、補正値を大きくしてもオブジェクトＯｂ０３をユーザが視認できるように表示することはできない。すなわち、領域補正部２３４が、オブジェクトＯｂ０３を白色に変換する補正を行っても、発光オブジェクトＳと重畳して表示すると、オブジェクトＯｂ０３をユーザが視認できなくなる。そのため、オブジェクトＯｂ０３は発光オブジェクトＳ以外の領域に表示することが望ましい。また、表示部２４１を見るユーザの目を保護する観点からも、背景に発光オブジェクトＳが含まれる場合は、発光オブジェクトＳから離れた場所にオブジェクトＯｂ０３を表示することが望ましい。この場合、領域補正部２３４は、オブジェクトＯｂ０３の表示位置を変更する補正を行うようにしてもよい。
　また、補正後の透過領域の視認性は、背景全体の明るさにも依存する。例えば、図２３の画面Ｍｆ０５に示すように、昼間の明るい背景の場合、補正オブジェクトの視認性が背景の明るさによって変化する。一方、画面Ｍｆ０９に示すように、夜間の暗い背景の場合、補正オブジェクトの視認性は背景の明るさの影響を受けにくい。そのため、領域補正部２３４が背景の明るさに応じて補正値を決定するようにしてもよい。
　また、上述した補正処理では、領域補正部２３４が画素ごとに補正値を決定するとしたが、これに限定されない。例えば、領域補正部２３４が表示画像を所定の領域に分割し、分割した領域ごとに補正値を設定するようにしてもよい。なお、かかる所定の領域は、表示画像を等間隔に分割した領域でもよく、表示画像に含まれる特徴量に応じて分割した領域であってもよい。この場合、領域補正部２３４は、例えば、特徴量として表示画像からエッジを検出し、検出したエッジによって分割される領域を所定の領域として、かかる所定の領域の閾値を設定するようにしてもよい。
　＜７．画像処理の手順＞
　次に、図２６を用いて、本実施形態にかかる画像処理の手順について説明する。図２６は、本実施形態にかかる画像処理の流れを示すフローチャートである。かかる画像処理は、例えばメモリ２６０に表示画像が書き込まれると実行される。また、例えば動画のように、所定周期で表示画像が情報処理装置１０から送信される場合、表示装置２０は、所定周期で本実施形態にかかる画像処理を実行する。
　まず、表示装置２０は、メモリ２６０を参照し、表示部２４１に表示する表示画像を取得する（ステップＳ１０１）。表示装置２０は、閾値設定処理を実行し、閾値を設定する（ステップＳ１０２）。表示装置２０は、設定した閾値を用いて表示画像の閾値判定を行い、透過領域を検出する（ステップＳ１０３）。
　続いて、表示装置２０は、パターン選択処理を実行し、補正パターンを選択する（ステップＳ１０４）。また、表示装置２０は、透過領域の補正値を決定し（ステップＳ１０５）、表示画像の透過領域を補正して補正画像を生成する（ステップＳ１０６）。
　表示装置２０は、表示画像に代えて補正画像を表示部２４１に出力し（ステップＳ１０７）、処理を終了する。
　なお、ステップＳ１０３で、表示装置２０が透過領域を検出しなかった場合、表示画像をそのまま表示部２４１に出力し、処理を終了する。
　以上のように、本実施形態にかかる表示装置２０（情報処理装置の一例）は、制御部２３０を備える。制御部２３０は、実空間に表示画像を重畳して表示する透過型の表示部２４１（透過型ディスプレイの一例）に表示画像を表示すると、実空間が透過する透過領域を表示画像から検出する。制御部２３０は、表示画像の透過領域における少なくとも一部の画素の画素値を補正する。
　これにより、表示装置２０は、より容易に表示画像の、特に透過領域の視認性を向上させることができる。
　＜８．変形例＞
　なお、上述した実施形態では、表示装置２０が表示画像の透過領域を補正するとしたが、これに限定されない。例えば、情報処理装置１０が表示画像の透過領域を補正するようにしてもよい。あるいは、外部装置（図示省略）が表示画像の透過領域を補正するようにしてもよい。外部装置は、例えば情報処理装置１０に表示画像を提供する装置であってもよい。
　あるいは、表示装置２０が行う画像処理の一部の処理を情報処理装置１０や外部装置が実行するようにしてもよい。例えば、情報処理装置１０が、撮像画像の認識（特徴量の抽出等）を行ったり、閾値の設定や補正パターンの選択を行ったりするようにしてもよい。このように、画像処理を情報処理システムの各装置で分散して実行することで、各装置の処理負荷を低減することができ、処理速度を向上させることができる。
　また、上述した実施形態では、表示装置２０が、透過領域の補正を行うための閾値や補正値を決定するとしたが、これに限定されない。例えば、表示装置２０が決定した閾値や補正値を、ユーザが変更できるようにしてもよい。この場合、例えば表示装置２０が、表示装置２０が備えるボタン等の入力部（図示省略）を介して、ユーザからの指示を受け付けてもよい。あるいは、ユーザが、情報処理装置１０を介して閾値や補正値の変更を行えるようにしてもよい。
　また、上述した実施形態では、表示装置２０が、透過領域の補正を行うとしたが、これに限定されない。例えば、表示装置２０が、表示画像全体の輝度が高くなるよう、表示画像全体の画素値を補正するようにしてもよい。あるいは、表示装置２０が、表示部２４１の輝度を高くするようにしてもよい。
　例えば、表示装置２０を屋外で使用する場合など、背景の輝度が高く明るい場合、表示画像そのものが視認しにくくなったり、透過領域を補正しても透過領域の視認性が向上しにくくなったりすることがある。このような場合、表示画像全体の輝度や、表示部２４１の輝度など、透過領域以外の輝度を高くすることで、透過領域を含めた表示画像の視認性を向上させることができる。なお、この場合、表示画像に透過領域が含まれない場合でも、表示画像の輝度や、表示部２４１の輝度など、透過領域以外の輝度を高くするようにしてもよい。
　また、上述した実施形態では、表示装置２０が、カラー画像である表示画像の画素値（Ｒ、Ｇ、Ｂ）ごとに閾値判定するとしたが、これに限定されない。例えば、表示装置２０がカラー画像をグレースケール画像に変換し、かかるグレースケール画像を閾値判定するようにしてもよい。このように、表示装置２０が、表示画像の画素の輝度値を閾値判定するようにしてもよい。
　＜９．ハードウェア構成＞
　上述してきた実施形態にかかる情報処理装置１０、表示装置２０等の情報機器は、例えば図２７に示すような構成のコンピュータ１０００によって実現される。以下、本実施形態にかかる情報処理装置１０を例に挙げて説明する。図２７は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。　
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。　
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示にかかる情報処理プログラムを記録する記録媒体である。　
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。　
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。　
　例えば、コンピュータ１０００が第１の実施形態にかかる情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１２０の機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラムや、記憶部５０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　＜１０．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出し、
　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正する制御部、
　を備える情報処理装置。
（２）
　前記制御部は、
　前記表示画像の黒色領域を前記透過領域として検出する
　（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記表示画像の前記画素値が閾値未満である領域を前記透過領域として検出する
　（１）または（２）に記載の情報処理装置。
（４）
　前記閾値は、予め定められた値である
　（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記実空間の照度に応じて前記閾値を決定する
　（３）に記載の情報処理装置。
（６）
　前記制御部は、
　前記実空間を撮像した撮像画像に基づき、前記閾値を決定する
　（３）に記載の情報処理装置。
（７）
　前記制御部は、
　前記表示画像の前記透過領域に含まれる前記領域の画素値に所定値を加算することで前記画素値を補正する
　（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記所定値は、予め決められた値である（７）に記載の情報処理装置。
（９）
　前記制御部は、
　前記実空間の照度に応じて前記所定値を決定する
　（７）に記載の情報処理装置。
（１０）
　前記制御部は、
　前記実空間の撮像画像に基づき、前記所定値を決定する
　（７）に記載の情報処理装置。
（１１）
　前記制御部は、
　前記表示画像の前記透過領域が所定のパターンで表示されるように、前記画素値を補正する
　（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記制御部は、
　前記実空間を撮像した撮像画像の前記透過領域におけるテクスチャのパターンに応じて、前記所定のパターンを選択する
　（１１）に記載の情報処理装置。
（１３）
　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出することと、
　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正することと、
　を含む情報処理方法。
（１４）
　コンピュータに、
　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出することと、
　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正することと、
　を実行させるプログラム。
１０　情報処理装置
２０　表示装置
１３０、２３０　制御部
１４０、２７０　記憶部
１５０、２５０　通信部
１６０、２６０　メモリ
２１０　撮影部
２２０　センサ部
２４０　出力部

Claims (14)

  1. 　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出し、
    　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正する制御部、
    　を備える情報処理装置。
  2. 　前記制御部は、
    　前記表示画像の黒色領域を前記透過領域として検出する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記表示画像の前記画素値が閾値未満である領域を前記透過領域として検出する
    　請求項１に記載の情報処理装置。
  4. 　前記閾値は、予め定められた値である
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　前記実空間の照度に応じて前記閾値を決定する
    　請求項３に記載の情報処理装置。
  6. 　前記制御部は、
    　前記実空間を撮像した撮像画像に基づき、前記閾値を決定する
    　請求項３に記載の情報処理装置。
  7. 　前記制御部は、
    　前記表示画像の前記透過領域に含まれる前記領域の画素値に所定値を加算することで前記画素値を補正する
    　請求項３に記載の情報処理装置。
  8. 　前記所定値は、予め決められた値である請求項７に記載の情報処理装置。
  9. 　前記制御部は、
    　前記実空間の照度に応じて前記所定値を決定する
    　請求項７に記載の情報処理装置。
  10. 　前記制御部は、
    　前記実空間の撮像画像に基づき、前記所定値を決定する
    　請求項７に記載の情報処理装置。
  11. 　前記制御部は、
    　前記表示画像の前記透過領域が所定のパターンで表示されるように、前記画素値を補正する
    　請求項７に記載の情報処理装置。
  12. 　前記制御部は、
    　前記実空間を撮像した撮像画像の前記透過領域におけるテクスチャのパターンに応じて、前記所定のパターンを選択する
    　請求項１１に記載の情報処理装置。
  13. 　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出することと、
    　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正することと、
    　を含む情報処理方法。
  14. 　コンピュータに、
    　実空間が視認可能な透過型ディスプレイに表示画像を表示する場合に、前記実空間が透過する透過領域を前記表示画像から検出することと、
    　前記表示画像の前記透過領域における少なくとも一部の領域の画素値を補正することと、
    　を含むプログラム。
PCT/JP2020/042585 2019-11-27 2020-11-16 情報処理装置、情報処理方法およびプログラム WO2021106648A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20893494.3A EP4068268A4 (en) 2019-11-27 2020-11-16 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2021561313A JPWO2021106648A1 (ja) 2019-11-27 2020-11-16
CN202080080532.4A CN114730547A (zh) 2019-11-27 2020-11-16 信息处理装置、信息处理方法和程序
US17/773,753 US20220383632A1 (en) 2019-11-27 2020-11-16 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019214424 2019-11-27
JP2019-214424 2019-11-27

Publications (1)

Publication Number Publication Date
WO2021106648A1 true WO2021106648A1 (ja) 2021-06-03

Family

ID=76130230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042585 WO2021106648A1 (ja) 2019-11-27 2020-11-16 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20220383632A1 (ja)
EP (1) EP4068268A4 (ja)
JP (1) JPWO2021106648A1 (ja)
CN (1) CN114730547A (ja)
WO (1) WO2021106648A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767055A (ja) 1993-08-24 1995-03-10 Olympus Optical Co Ltd 光学装置
JP2016128893A (ja) * 2015-01-09 2016-07-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017228848A (ja) * 2016-06-20 2017-12-28 パナソニックＩｐマネジメント株式会社 映像表示システム
US20180268754A1 (en) * 2017-03-15 2018-09-20 Samsung Electronics Co., Ltd. Transparent display apparatus and display method thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205788A (ja) * 1998-01-13 1999-07-30 Matsushita Electric Ind Co Ltd 画像圧縮装置、および画像伸張装置
JP2011242616A (ja) * 2010-05-19 2011-12-01 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
CN103376589B (zh) * 2012-04-17 2016-06-01 扬升照明股份有限公司 显示装置
WO2014104858A1 (ko) * 2012-12-31 2014-07-03 엘지디스플레이 주식회사 투명표시장치 및 그 제어 방법
US10204596B2 (en) * 2015-12-21 2019-02-12 Mediatek Inc. Display control for transparent display
JPWO2017221663A1 (ja) * 2016-06-20 2019-04-25 パナソニックＩｐマネジメント株式会社 映像表示システム
KR20180058363A (ko) * 2016-11-24 2018-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102349384B1 (ko) * 2017-03-15 2022-01-11 삼성전자주식회사 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10262568B2 (en) * 2017-05-27 2019-04-16 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Color temperature adjusting system of transparent display and color temperature adjusting method of transparent display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767055A (ja) 1993-08-24 1995-03-10 Olympus Optical Co Ltd 光学装置
JP2016128893A (ja) * 2015-01-09 2016-07-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017228848A (ja) * 2016-06-20 2017-12-28 パナソニックＩｐマネジメント株式会社 映像表示システム
US20180268754A1 (en) * 2017-03-15 2018-09-20 Samsung Electronics Co., Ltd. Transparent display apparatus and display method thereof

Also Published As

Publication number Publication date
EP4068268A1 (en) 2022-10-05
CN114730547A (zh) 2022-07-08
EP4068268A4 (en) 2022-12-21
JPWO2021106648A1 (ja) 2021-06-03
US20220383632A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US10043120B2 (en) Translucent mark, method for synthesis and detection of translucent mark, transparent mark, and method for synthesis and detection of transparent mark
JP6909554B2 (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
JP7007348B2 (ja) 画像処理装置
US11010979B2 (en) Overlay for camera field of vision
US20170309075A1 (en) Image to item mapping
JP4854965B2 (ja) 表示装置
US8237730B1 (en) Tone mapping for motion pictures
US11720996B2 (en) Camera-based transparent display
JP2020532797A (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
CN107239143A (zh) 一种采用小间距led屏幕的cave显示系统及方法
KR20180098065A (ko) 디스플레이 장치 및 그 제어 방법
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
JP2014059691A (ja) 画像処理装置および方法、並びにプログラム
JP2016142988A (ja) 表示装置及び表示制御プログラム
US20230033956A1 (en) Estimating depth based on iris size
US8811770B2 (en) Image processing apparatus, image processing method, and storage medium
WO2021106648A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6873648B2 (ja) 電子機器、表示装置、及び情報出力方法
KR20230149615A (ko) 빛 추정 방법 및 장치
CN106291932A (zh) 一种虚拟现实头盔
US20170091988A1 (en) 3D Lighting
JP2017228848A (ja) 映像表示システム
EP4300945A1 (en) Image processing device, image processing method, and projector device
JP4696669B2 (ja) 画像調整方法及び画像調整装置
JP2023045164A (ja) 情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893494

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561313

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020893494

Country of ref document: EP

Effective date: 20220627