WO2020008876A1 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
WO2020008876A1
WO2020008876A1 PCT/JP2019/024212 JP2019024212W WO2020008876A1 WO 2020008876 A1 WO2020008876 A1 WO 2020008876A1 JP 2019024212 W JP2019024212 W JP 2019024212W WO 2020008876 A1 WO2020008876 A1 WO 2020008876A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual information
display
display method
information
user
Prior art date
Application number
PCT/JP2019/024212
Other languages
English (en)
French (fr)
Inventor
邦在 鳥居
佐藤　直之
遼 深澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020008876A1 publication Critical patent/WO2020008876A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • the present technology relates to an information processing device, an information processing method, a program, and a moving object, and particularly to an information processing device, an information processing method, a program, and a moving object using AR (Augmented Reality).
  • AR Augmented Reality
  • Non-Patent Document 1 In a vehicle-mounted HUD (head-up display), the distance to an object is measured with a stereo camera, and the image (visual information) is focused on the same position as the object, so that the driver's viewpoint can be turned sideways. A technique has been proposed that makes it difficult for the visual information and the position of the target object to be displaced even if they are displaced (for example, see Non-Patent Document 1).
  • Non-Patent Document 1 does not consider a case where a plurality of users use the HUD simultaneously.
  • the present technology has been made in view of such a situation, and is to enable visual information to be appropriately superimposed and displayed on the field of view of a plurality of users.
  • An information processing apparatus includes a display method setting unit configured to set a display method of visual information to be displayed in a manner superimposed on the fields of view of a plurality of users, and a display of the visual information according to the set display method. And a display control unit for controlling the display information.
  • the display method includes: an individual display for individually displaying the visual information for each user; and an integrated display for integrating and displaying the visual information for a plurality of users.
  • the information processing method sets a display method of visual information to be displayed in a manner superimposed on the fields of view of a plurality of users, controls display of the visual information by the set display method,
  • the display method includes an individual display for individually displaying the visual information for each user, and an integrated display for integrating and displaying the visual information for a plurality of users.
  • a program sets a display method of visual information to be displayed so as to be superimposed on a field of view of a plurality of users, controls display of the visual information by the set display method, Causes the computer to execute processing including individual display for displaying the visual information individually for each user, and integrated display for integrating and displaying the visual information for a plurality of users.
  • the moving object includes a display method setting unit configured to set a display method of visual information to be displayed in a manner superimposed on the fields of view of a plurality of users, and by projecting the visual information on a predetermined projection surface.
  • a display unit that superimposes the visual information on a real world or a moving image of the real world, and a display control unit that controls display of the visual information by the display unit according to the set display method. Includes an individual display for individually displaying the visual information for each user, and an integrated display for integrating and displaying the visual information for a plurality of users.
  • a display method of visual information to be displayed so as to be superimposed on the field of view of a plurality of users is set, and the visual information is displayed by the set display method.
  • a display method of visual information to be displayed so as to be superimposed on the field of view of a plurality of users is set, and by projecting the visual information on a predetermined projection surface, the real world or the real world is set.
  • the visual information is superimposed on the moving image, and the visual information is displayed by the set display method.
  • visual information can be appropriately superimposed and displayed on the fields of view of a plurality of users.
  • FIG. 1 is a block diagram illustrating a configuration example of a vehicle to which the present technology is applied. It is a figure for explaining visual characteristics of visual information. It is a figure for explaining visual characteristics of visual information. It is a figure for explaining visual characteristics of visual information. It is a figure for explaining visual characteristics of visual information.
  • FIG. 4 is a diagram illustrating a relationship between a distance from a projection surface to an object and a size of the object on the projection surface.
  • FIG. 3 is a diagram illustrating a relationship between a distance from a projection surface to a user and a size of an object on the projection surface.
  • It is a flowchart for explaining AR control processing It is a flow chart for explaining a 1st embodiment of visual information setting processing. The example of the distance between visual information for every user is shown.
  • FIG. 9 is a diagram illustrating an example of switching between integrated display and individual display of visual information. It is a flow chart for explaining a 2nd embodiment of visual information setting processing. 6 is a graph for explaining a method of setting a display method of visual information based on an overlapping amount of visual information and a change amount thereof. It is a figure showing the example of a display of visual information at the time of a quick movement of a subject. 6 is a graph for explaining a method of setting a display method of visual information based on a moving speed and a size of the visual information. FIG.
  • FIG. 9 is a diagram illustrating a display example of visual information when the distance to the target is short.
  • 6 is a graph for explaining a method of setting a display method of visual information based on a distance to an object and an amount of change thereof.
  • 6 is a graph for explaining a method for setting a display method of visual information based on a distance between users and a change amount thereof.
  • FIG. 9 is a diagram illustrating an example in which visual information is displayed based on whether or not the user has recognized an object.
  • FIG. 11 is a diagram illustrating a configuration example of a computer.
  • FIG. 1 is a block diagram illustrating an embodiment of a vehicle 11 to which the present technology is applied.
  • the type of the vehicle 11 is not particularly limited as long as a plurality of users (passengers) can board.
  • the vehicle 11 includes an information processing unit 21.
  • the information processing unit 21 realizes an AR that superimposes and displays visual information on a field of view of a user riding in the vehicle 11.
  • the visual information is not particularly limited as long as it is information that can be visually recognized by the user.
  • the visual information includes an image (moving image, still image), a marking for indicating an object in the real world outside the vehicle 11, and the like.
  • the background in the visual sense of the user on which the visual information is superimposed is, for example, the real world or a moving image of the real world. That is, in the information processing unit 21, the visual information is displayed so as to be superimposed on the real world viewed by the user or a moving image obtained by photographing the real world.
  • the real world when it is not necessary to particularly distinguish the real world from the moving image of the real world, it is simply referred to as the real world.
  • the information processing unit 21 includes a data acquisition unit 31, an in-vehicle information acquisition unit 32, an out-of-vehicle information acquisition unit 33, an output information setting unit 34, an output control unit 35, and an output unit 36.
  • the data acquisition unit 31 acquires data for detecting a situation inside and outside the vehicle 11.
  • the data acquisition unit 31 includes a photographing unit 101, a voice detection unit 102, a GNSS (Global Navigation Satellite System) receiver 103, a sensor unit 104, and a communication unit 105.
  • GNSS Global Navigation Satellite System
  • the image capturing unit 101 includes, for example, a plurality of cameras, and captures images of the interior and surroundings of the vehicle 11.
  • the photographing unit 101 supplies data of a photographed image (hereinafter, referred to as a photographed image) to the in-vehicle information acquiring unit 32 and the out-of-vehicle information acquiring unit 33.
  • the sound detection unit 102 includes, for example, a plurality of microphones, and detects sounds in and around the vehicle 11.
  • the voice detection unit 102 supplies voice data indicating the detected voice to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit 33.
  • the GNSS receiver 103 receives the GNSS signal from the GNSS satellite and supplies the GNSS signal to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit 33.
  • the sensor unit 104 includes various sensors.
  • the sensor unit 104 includes various sensors for detecting the state of the vehicle 11 and the like.
  • the sensor unit 104 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), and an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, a motor speed, or A sensor and the like for detecting the rotation speed of the wheels and the like are provided.
  • IMU inertial measurement device
  • the sensor unit 104 includes various sensors for detecting data external to the vehicle 11.
  • the sensor unit 104 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the vehicle 11.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging and Ranging), a sonar, and the like.
  • the sensor unit 104 includes a biological sensor that detects biological information of the user.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a user sitting on a seat (a passenger) or a user holding a steering wheel (a driver).
  • the sensor unit 104 supplies the sensor data indicating the detection result to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit 33.
  • the communication unit 105 communicates with various devices inside and outside the vehicle, a server, a base station, and the like, and transmits and receives various data (for example, map information, regional information, and the like).
  • the communication protocol supported by the communication unit 105 is not particularly limited, and the communication unit 105 can support a plurality of types of communication protocols.
  • the in-vehicle information acquisition unit 32 acquires in-vehicle information regarding the vehicle 11 and the inside of the vehicle 11 based on the data supplied from the data acquisition unit 31.
  • the in-vehicle information acquisition unit 32 includes a user information detection unit 111, a voice recognition unit 112, and a vehicle information detection unit 113.
  • the user information detection unit 111 detects information about a user in the vehicle. For example, the user information detection unit 111 detects the position of the user in the vehicle, the position of the user's eyes, the direction of the user's line of sight, and the behavior of the user (for example, whether or not the user is driving or recognizes the user's target). I do. The user information detection unit 111 supplies data indicating the detection result to the output information setting unit 34.
  • the target object is an object or the like on which visual information is displayed.
  • the visual information is a marking indicating a pedestrian in front of the vehicle 11, the pedestrian is an object.
  • the voice recognition unit 112 performs a recognition process of a voice generated by a user in the vehicle.
  • the voice recognition unit 112 supplies data indicating the recognition result to the output information setting unit 34.
  • the vehicle information detection unit 113 performs a process of detecting information on the vehicle 11. For example, the vehicle information detection unit 113 detects the speed, traveling direction, current position, and the like of the vehicle 11. The vehicle information detection unit 113 supplies data indicating the detection result to the output information setting unit 34.
  • the outside-of-vehicle information acquisition unit 33 acquires outside-of-vehicle information relating to the outside of the vehicle 11 based on the data supplied from the data acquisition unit 31.
  • the outside-of-vehicle information acquisition unit 33 includes an object recognition unit 121 and a peripheral information acquisition unit 122.
  • the object recognition unit 121 performs recognition processing of objects around the vehicle 11. For example, the object recognition unit 121 recognizes positions, movements, actions, and the like of people such as pedestrians and bicycles around the vehicle 11. For example, the object recognizing unit 121 specifies a recognized person. For example, the object recognizing unit 121 recognizes the position, movement, and characteristics (for example, vehicle type (for a vehicle), size, shape, color, and the like) of an object such as a vehicle, an obstacle, and a building around the vehicle 11. The object recognition unit 121 supplies data indicating the recognition result to the output information setting unit 34.
  • vehicle type for a vehicle
  • color color
  • the object recognition unit 121 supplies data indicating the recognition result to the output information setting unit 34.
  • the peripheral information acquisition unit 122 acquires information about the periphery of the vehicle 11. For example, the peripheral information acquisition unit 122 acquires information on the road of the route on which the vehicle 11 travels, information on buildings, facilities, stores, landmarks, and the like around the vehicle 11, information on an area where the vehicle 11 is located, and the like. The peripheral information acquisition unit 122 supplies the acquired information to the output information setting unit 34.
  • the output information setting unit 34 sets output information to be output from the output unit 36.
  • the output information setting unit 34 includes a visual information generation unit 131, a display method setting unit 132, and an audio information generation unit 133.
  • the visual information generating unit 131 generates visual information based on the in-vehicle information and the out-of-vehicle information and the display method set by the display method setting unit 132.
  • the visual information generator 131 supplies the generated visual information to the output controller 35.
  • the display method setting unit 132 sets a display method of visual information based on in-vehicle information (for example, information about a user), out-of-vehicle information (for example, information about an object), visual information, and the like. For example, the display method setting unit 132 determines at least one of a state of each user, a movement (for example, a moving speed and a direction) of the vehicle 11, a state and contents of visual information, a projection surface that projects the visual information, a state of an object, and the like. The display method of the visual information is set based on one.
  • the audio information generation unit 133 generates audio information based on the in-vehicle information and the out-of-vehicle information.
  • the audio information generation unit 133 supplies the generated audio information to the output control unit 35.
  • the output control unit 35 controls output of output information.
  • the output control unit 35 includes a display control unit 141 and a voice control unit 142.
  • the display control unit 141 controls display of visual information by the display device 151 according to the display method set by the display method setting unit 132.
  • the audio control unit 142 controls the output of audio from the speaker 152.
  • the output unit 36 outputs output information.
  • the output unit 36 includes a display device 151 and a speaker 152.
  • the display device 151 is a device that superimposes and displays visual information on a user's field of view using AR under the control of the display control unit 141.
  • the display device 151 includes a HUD, and projects visual information on a predetermined projection surface (for example, a windshield of the vehicle 11).
  • the speaker 152 outputs a sound based on the sound information under the control of the sound control unit 142.
  • FIG. 2 shows an example in which the user 201a and the user 201b sitting side by side in the vehicle 11 display the visual information 204 on an object 203 which is a pedestrian in front of the vehicle 11. ing.
  • the visual information 204 is displayed by being projected on the projection surface 202 of the vehicle 11, for example, a windshield.
  • the visual information 204 basically depends on the content, but it is basically important to display the visual information accurately in accordance with the position of the object 203.
  • a viewpoint is not a viewpoint (point ahead of the user's line of sight) that indicates where the user is looking, but a viewpoint (where the user is looking from). (The point that is the source of the user's line of sight).
  • the visual information 204 for each user is projected at different positions on the projection surface 202. There is a need.
  • the visual information 204a is projected to the left of the position of the target 203 on the projection surface 202 as viewed from the user 201a. This allows the user 201a to see the visual information 204a on the left side of the object 203.
  • the position of the object 203 on the projection surface 202 as viewed from the user 201b is different from the position of the object 203 on the projection surface 202 as viewed from the user 201a. Therefore, the visual information 204a is visible to the user 201b at a position on the right side of the target object 203, and the user 201b may feel uncomfortable.
  • the visual information 204b having the same content as the visual information 204a is projected to the left of the position of the target 203 on the projection surface 202 viewed from the user 201a. You. This allows the user 201b to see the visual information 204b on the left of the object 203.
  • the user 201a sees the visual information 204b in addition to the visual information 204a at a position away from the object 203 to the left. Therefore, when the horizontal distance between the visual information 204a and the visual information 204b is reduced, the user 201a visually recognizes the visual information 204b in an unnatural position in addition to the visual information 204a, and feels uncomfortable. .
  • the user 201b sees the visual information 204a in addition to the visual information 204b at a position away from the object 203 to the right. Therefore, when the horizontal distance between the visual information 204a and the visual information 204b is reduced, the user 201b visually recognizes the visual information 204a in an unnatural position in addition to the visual information 204b, and may feel uncomfortable. There is.
  • FIG. 5 shows the relationship between the distance from the projection surface 202 to the object 221 and the size of the object 221 on the projection surface 202.
  • the distance from the projection surface 202 to the object 221 is shorter than in FIG. 5B.
  • the distance from the viewpoint A of the user 201a to the projection surface 202 and the distance from the viewpoint B of the user 201b to the projection surface 202 are all equal.
  • the size of the object 221 on the projection surface 202 increases.
  • the size of the object 221 on the projection surface 202 decreases.
  • the size S1a of the object 221 on the projection surface 202 viewed from the viewpoint A in FIG. 5A is larger than the size S2a of the object 221 on the projection surface 202 viewed from the viewpoint A in FIG.
  • the size S1b of the object 221 on the projection surface 202 viewed from the viewpoint B of FIG. 5A is larger than the size S2b of the object 221 on the projection surface 202 viewed from the viewpoint B of FIG.
  • the horizontal distance between the object 221 on the projection surface 202 viewed from the viewpoint A and the object 221 on the projection surface 202 viewed from the viewpoint B becomes larger. It becomes narrow. Therefore, when the visual information for the object 221 is displayed individually for the user 201a and the user 201b, the interval between the two visual information is narrowed, and the possibility that the two visual information overlap on the projection surface 202 is increased.
  • the horizontal distance between the object 221 on the projection surface 202 viewed from the viewpoint A and the object 221 on the projection surface 202 viewed from the viewpoint B becomes larger. Become wider. Therefore, when the visual information on the object 221 is displayed separately for the user 201a and the user 201b, the interval between the two visual information is widened, and the possibility that the two visual information overlap on the projection surface 202 is reduced.
  • FIG. 6 shows the relationship between the distance from the user's viewpoint to the projection surface 202 and the size of the object 221 on the projection surface 202.
  • the viewpoint A of the user 201a is closer to the projection surface 202 than the viewpoint B of the user 201b.
  • the size of the object 221 on the projection surface 202 seen from the user decreases as the user's viewpoint approaches the projection surface 202.
  • the size of the object 221 on the projection surface 202 as viewed from the user increases.
  • the size S3a of the object 221 on the projection surface 202 viewed from the viewpoint A is smaller than the size S3b of the object 221 on the projection surface 202 viewed from the viewpoint B.
  • the size of the object 221 on the projection surface 202 viewed from each user increases, and the horizontal interval decreases. Therefore, when the visual information on the object 221 is displayed individually for the user 201a and the user 201b, the interval between the two visual information is narrowed, and the possibility that the two visual information overlap on the projection surface 202 increases.
  • the viewpoint of each user moves away from the projection surface 202
  • the size of the object 221 on the projection surface 202 viewed from each user decreases, and the horizontal interval increases. Therefore, when the visual information for the object 221 is displayed separately for the user 201a and the user 201b, the interval between the two visual information is widened, and the possibility that the two visual information overlap on the projection surface 202 is reduced.
  • the information processing unit 21 of the vehicle 11 displays the visual information individually for a plurality of users, or displays the visual information in an integrated manner depending on the situation in consideration of the above-described visual characteristics and the like. This allows a plurality of users to check visual information without feeling uncomfortable.
  • This process is started, for example, when an operation for starting the vehicle 11 and starting driving is performed, for example, when an ignition switch, a power switch, a start switch, or the like of the vehicle 11 is turned on. Further, this processing ends when, for example, an operation for ending driving is performed, for example, when an ignition switch, a power switch, a start switch, or the like of the vehicle 11 is turned off.
  • step S1 the data acquisition unit 31 acquires various data.
  • the photographing unit 101 performs photographing of the inside and the surroundings of the vehicle 11 and supplies data of the obtained photographed images to the in-vehicle information acquiring unit 32 and the out-of-vehicle information acquiring unit 33.
  • the sound detection unit 102 detects sounds in and around the vehicle 11 and supplies sound data indicating the detected sounds to the in-vehicle information acquisition unit 32 and the outside information acquisition unit 33.
  • the GNSS receiver 103 receives the GNSS signal from the GNSS satellite and supplies the GNSS signal to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit 33.
  • the sensor unit 104 detects a situation inside and outside the vehicle 11 and supplies sensor data indicating a detection result to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit 33.
  • the communication unit 105 communicates with various devices inside and outside the vehicle, servers, base stations, and the like, receives various data such as map information and regional information, and transmits the received data to the in-vehicle information acquisition unit 32 and the out-of-vehicle information acquisition unit. 33.
  • step S2 the in-vehicle information acquisition unit 32 acquires in-vehicle information.
  • the user information detection unit 111 detects information about the user in the vehicle, such as the position of the user in the vehicle, the position of the user's eyes, the direction of the user's line of sight, the user's behavior, and whether or not the user recognizes the target.
  • the user information detection unit 111 supplies data indicating the detection result to the output information setting unit 34.
  • the voice recognition unit 112 performs a process of recognizing a voice generated by a user in the vehicle, and supplies data indicating a recognition result to the output information setting unit 34.
  • the vehicle information detection unit 113 performs a process of detecting information about the vehicle 11 such as the speed, the traveling direction, and the current position of the vehicle 11, and supplies data indicating a detection result to the output information setting unit 34.
  • step S3 the outside-of-vehicle information acquisition unit 33 acquires outside-of-vehicle information.
  • the object recognizing unit 121 performs a process of recognizing an object such as a pedestrian, a bicycle, a vehicle, an obstacle, and a building around the vehicle 11, and supplies data indicating the recognition result to the output information setting unit 34.
  • the peripheral information acquisition unit 122 includes information about the road on which the vehicle 11 travels, information about buildings, facilities, shops, landmarks, and the like around the vehicle 11, information about the area where the vehicle 11 is located, and the like. And supplies the acquired information to the output information setting unit 34.
  • step S4 the output information setting unit 34 performs a visual information setting process.
  • the details of the visual information setting process will be described with reference to the flowchart of FIG.
  • the visual information generation unit 131 sets the contents of the visual information. For example, the visual information generation unit 131 sets the content of the visual information to be superimposed and displayed on the user's field of view (for example, the type of visual information, the image to be displayed, the text, and the like) based on the in-vehicle information and the out-of-vehicle information.
  • the visual information generation unit 131 sets the content of the visual information to be superimposed and displayed on the user's field of view (for example, the type of visual information, the image to be displayed, the text, and the like) based on the in-vehicle information and the out-of-vehicle information.
  • step S102 the display method setting unit 132 determines whether the position of the visual information is important. For example, the display method setting unit 132 determines that the position of the visual information is important when there is an object to be displayed with the visual information, for example, when the visual information is related information or marking of the object. Then, the process proceeds to step S103.
  • step S103 the display method setting unit 132 calculates a display position when visual information is individually displayed.
  • the display method setting unit 132 calculates the position and size of the target on the projection surface as viewed from each user's viewpoint, based on the in-vehicle information and the out-of-vehicle information. Then, based on the position and size of the target object from the viewpoint of each user on the projection surface, the content of the visual information, and the like, the display method setting unit 132 sets the projection surface of the visual information appropriate for each user. Calculate the upper display position.
  • the appropriate display position for each user is, for example, a display position at which each user can visually recognize the visual information without a sense of incongruity.
  • the display position of the visual information is, for example, the position of an area where the visual information is displayed on the projection surface, and includes the concept of the display size and shape of the visual information.
  • step S104 the display method setting unit 132 determines whether or not the visual information interferes.
  • the display method setting unit 132 calculates the distance on the projection surface between the visual information for each user.
  • FIG. 9 shows an example of the distance between visual information.
  • FIG. 9 shows an example in which a marking surrounding the object 301 is displayed as visual information.
  • the visual information 302a is visual information displayed for the user 201a
  • the visual information 302b is visual information displayed for the user 201b.
  • FIG. 9 shows the positions of the object 301, the visual information 302a, and the visual information 302b on the projection surface 202 as viewed from the viewpoint A of the user 201a.
  • FIG. 9B illustrates positions of the object 301, the visual information 302 a, and the visual information 302 b on the projection surface 202 as viewed from the viewpoint B of the user 201 b.
  • the object 301 is surrounded by the visual information 302a
  • FIG. 9B the object 301 is surrounded by the visual information 302b.
  • the display method setting unit 132 calculates, for example, a horizontal distance d between the visual information 302a and the visual information 302b on the projection surface 202 (that is, a distance between both).
  • the distance d is a negative value when the visual information 302a and the visual information 302b overlap on the projection surface 202. Further, the value of the distance d decreases (the absolute value of the negative value of the distance d increases) as the horizontal width (hereinafter, referred to as an overlap amount) of the portion where the visual information 302a and the visual information 302b overlap each other increases. .
  • the display method setting unit 132 determines that the visual information does not interfere, and the process proceeds to step S105.
  • FIG. 10 is a schematic view of a person viewed from above, and shows the visual field and the discrimination ability when the person is looking in the front direction.
  • the range A1 is a range in which a person can recognize characters, numbers, and the like.
  • the range A1 is, for example, 5 degrees to 10 degrees left and right with respect to the center C1 of the human visual field (hereinafter referred to as the visual field center C1).
  • the range A2 is a range in which a person can recognize a symbol (for example, a marking or a mark).
  • the range A2 is, for example, a range of 5 degrees to 30 degrees left and right with respect to the visual field center C1.
  • the range A3 is a range in which a person can discriminate colors when the color and the luminance change.
  • the range A3 is, for example, a range of 30 degrees to 60 degrees to the left and right with respect to the visual field center C1.
  • the threshold value is set, for example, based on the range A2. For example, when the user is sitting at a position 80 cm away from the projection surface, the size of the range A2 on the projection surface is approximately 7 cm to 46 cm on the left and right with respect to the visual field center C1. In this case, for example, when the range A2 is estimated to be the narrowest, the threshold is set to 7 cm. On the other hand, for example, when the range A2 is estimated most widely, the threshold value is set to 46 cm.
  • the distance d is equal to or larger than the threshold
  • the user 201a recognizes the visual information 302b using the peripheral visual field while gazing at the visual information 302a. Therefore, the degree to which the visual information 302b interferes with the user 201a is reduced, and it is considered that the visual information 302a and the visual information 302b do not interfere.
  • the distance d is less than the threshold value
  • the user 201a recognizes the visual information 302b using the central visual field while gazing at the visual information 302a. Therefore, it is considered that the degree to which the visual information 302b interferes with the user 201a increases, and the visual information 302a and the visual information 302b interfere with each other.
  • step S105 the display method setting unit 132 sets the position where the visual information is individually displayed. That is, the display method setting unit 132 sets the display position calculated in the process of step S103 as the display position of the visual information for each user.
  • step S104 when the distance between the pieces of visual information is smaller than the predetermined threshold (including the case where the pieces of visual information overlap on the projection surface), the display method setting unit 132 determines that the pieces of visual information interfere with each other. Proceed to step S106.
  • step S106 the display method setting unit 132 sets a position where the visual information is integrated and displayed. For example, when displaying only one piece of visual information based on the position and size of an object viewed from each user on the projection plane and the content of the visual information, the display method setting unit 132 A display position on the projection plane that is as appropriate as possible is calculated. The display method setting unit 132 sets the calculated display position as a display position of visual information commonly displayed to each user.
  • step S102 the display method setting unit 132 determines whether there is no target to be displayed with the visual information, for example, if the visual information is a time display irrelevant to the target, or the like. It is determined that the display position is not important, and the process proceeds to step S107.
  • step S107 the display method setting unit 132 sets a display position when visual information is commonly displayed.
  • the display method setting unit 132 sets the display position of the visual information at a predetermined position (for example, a corner of the projection plane).
  • the display method setting unit 132 calculates a position that does not hinder the view and behavior of each user, and sets a display position of visual information at the calculated position.
  • the visual information generating unit 131 generates visual information. For example, the visual information generation unit 131 sets the display size, layout, design, and the like of the visual information based on the content of the visual information and the display position of the visual information. Then, the visual information generating unit 131 generates visual information according to the set contents. At this time, when performing individual display, the visual information generation unit 131 generates visual information for each user.
  • the visual information generating unit 131 supplies the generated visual information and data indicating the display position to the output control unit 35.
  • the visual information generating unit 131 supplies data indicating the content, display size, layout, design, and the like of the visual information to the output control unit 35 without generating the visual information, and the display control unit 141 Visual information may be generated based on the data.
  • step S5 the display device 151 displays visual information under the control of the display control unit 141.
  • the display control unit 141 sets (renders) visual information in a frame buffer (not shown) so as to be displayed at the set position.
  • the display device 151 projects the visual information set in the frame buffer on the projection surface. Thereby, the visual information is displayed at the position on the projection plane set by the display method setting unit 132.
  • step S1 the process returns to step S1, and the processes after step S1 are executed.
  • individual display, integrated display, and common display of visual information are selectively used according to the situation, and the visual information is appropriately superimposed and displayed on the fields of view of a plurality of users.
  • the visibility of the visual information is improved, and the user is less likely to feel uncomfortable with the visual information.
  • FIG. 11 shows an example in which the marking on the object 321 is displayed as visual information.
  • A1 and B1 in FIG. 11 show examples in which the visual information 322a for the user 201a and the visual information 322b for the user 201b are individually displayed.
  • A1 in FIG. 11 schematically illustrates the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • B1 in FIG. 11 schematically illustrates the state of the projection surface 202 viewed from the viewpoint B of the user 201b. I have.
  • the visual information 322a and the visual information 322b overlap and interfere with each other. Therefore, for example, the visibility of the visual information 322a and the visual information 322b is reduced, and the user 201a and the user 201b feel uncomfortable.
  • the visual information for the user 201a and the user 201b is integrated, and the visual information 323 is displayed.
  • A2 in FIG. 11 schematically illustrates the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • B2 in FIG. 11 schematically illustrates the state of the projection surface 202 viewed from the viewpoint B of the user 201b. I have.
  • the visual information 323 extends in the horizontal direction as compared with the visual information 322a and the visual information 322b.
  • the visual object 323 includes the target 321 from both the user 201a and the user 201b. Further, the number of visual information to be displayed is reduced.
  • the visibility of the visual information is improved for both the user 201a and the user 201b, and the user 201a and the user 201b can reliably recognize the object 321.
  • FIG. 12 shows an example of switching between integrated display and individual display.
  • the marking on the object 341 is displayed as visual information.
  • A1 to A4 in FIG. 12 schematically show the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • B1 to B4 in FIG. 12 schematically show the state of the projection surface 202 viewed from the viewpoint B of the user 201b. Is shown.
  • the position of the object 341 on the projection surface 202 as viewed from the user 201a and the user 201b changes from A1 and B1 to A4 and B4 in FIG.
  • the visual information 342 when the difference between the two positions is smaller than a predetermined threshold, the visual information 342 is integrated and displayed, and the difference between the two positions is displayed. As it spreads, the horizontal width of the visual information 342 increases. Thus, the target 341 is included in the visual information 342 from both the user 201a and the user 201b.
  • the visual information 343a for the user 201a and the visual information 343b for the user 201b are individually set. Will be displayed. Further, as the difference between the positions increases, the horizontal interval between the visual information 343a and the visual information 343b increases.
  • the object 341 is included in the visual information 343a when viewed from the user 201a
  • the object 341 is included in the visual information 343b when viewed from the user 201b.
  • the position of the object 341 on the projection surface 202 viewed from the user 201a and the position of the object 341 on the projection surface 202 viewed from the user 201b are: It changes from A4 and B4 in FIG. 12 to A1 and B1.
  • the visual information 343a for the user 201a and the visual information for the user 201b 343b are displayed individually. Further, as the difference between the positions decreases, the horizontal interval between the visual information 343a and the visual information 343b decreases.
  • the object 341 is included in the visual information 343a when viewed from the user 201a
  • the object 341 is included in the visual information 343b when viewed from the user 201b.
  • the visual information 342 is integrated and displayed, and as the difference between the two positions narrows, The width of the visual information 342 in the horizontal direction is reduced.
  • the target 341 is included in the visual information 342 from both the user 201a and the user 201b.
  • the visual information integratedly displayed and the visual information individually displayed may be cross-fade. That is, the visual information displayed in an integrated manner may be faded out, and the visual information individually displayed may be faded in.
  • the visual information displayed individually and the visual information to be integrated displayed may be cross-fade. That is, the visual information displayed individually may be faded out, and the visual information to be integrated and displayed may be faded in.
  • the second embodiment differs from the first embodiment in the visual information setting process in step S4 in FIG. More specifically, the method of selecting individual display and integrated display is different.
  • step S201 the contents of the visual information are set as in the process of step S101 in FIG.
  • step S202 it is determined whether or not the display position of the visual information is important, as in the process of step S102 in FIG. If it is determined that the display position of the visual information is important, the process proceeds to step S203.
  • step S203 the display position when visual information is individually displayed is calculated in the same manner as in step S103 in FIG.
  • step S204 the display method setting unit 132 calculates the overlapping amount of the visual information. Specifically, the display method setting unit 132 calculates the amount of overlap of the visual information on the projection surface based on the display position of the visual information calculated in the process of step S203.
  • the overlapping amount of visual information has the opposite concept to the horizontal interval between visual information described above.
  • the overlapping amount of visual information is represented by the maximum value of the horizontal width of a portion where two pieces of visual information overlap. Therefore, the overlapping amount increases as the horizontal width of the portion where the visual information overlaps increases, and the overlapping amount decreases as the horizontal width of the portion where the visual information overlaps decreases.
  • the overlap amount has a negative value. Then, as the horizontal interval between the two pieces of visual information increases, the amount of overlap decreases (the absolute value of the amount of overlap of a negative value increases).
  • step S205 the display method setting unit 132 calculates the moving speed of the visual information. For example, the display method setting unit 132 calculates the moving speed of each piece of visual information on the projection surface based on the history of the past display positions of the visual information and the display positions of the visual information calculated in the process of step S203.
  • step S206 the display method setting unit 132 calculates the distance to the object. For example, the display method setting unit 132 calculates the distance from the projection surface to the target based on the position of the target detected by the object recognition unit 121.
  • step S207 the display method setting unit 132 calculates the distance between the users. For example, the display method setting unit 132 calculates the distance between the users in a direction horizontal to the projection plane based on the position of each user in the vehicle detected by the user information detection unit 111.
  • step S208 the display method setting unit 132 determines whether or not the visual information is to be integrated and displayed.
  • step S208 a specific example of the processing in step S208 will be described with reference to FIGS.
  • a visual information display method is selected based on the amount of overlap of visual information for each user.
  • FIG. 14 is a graph showing an example of a criterion for selecting a display method of visual information based on the amount of overlap of visual information for each user.
  • the horizontal axis indicates the amount of change in the amount of overlap (the unit is cm / sec). In the range to the right of the point where the amount of change in the amount of overlap on the horizontal axis becomes zero, the amount of change in the direction in which the amount of overlap increases (or in the direction in which two pieces of visual information approach) increases toward the right. In the range to the left of the point where the change in the amount of overlap on the horizontal axis is 0, the amount of change in the direction in which the amount of overlap decreases (or in the direction in which two pieces of visual information separate) increases toward the left.
  • the vertical axis indicates the amount of overlap (the unit is cm). In the range above the point where the amount of overlap on the vertical axis becomes 0, the amount of overlap increases as going upward, and in the range below the point where the amount of overlap on the vertical axis becomes 0, two pieces of visual information go down. The distance between is increased.
  • integrated display is selected in a range diagonally upper right from the curve C11 indicating the relationship between the amount of overlap of visual information and the change amount, and individual display is selected in a range diagonally lower left from the curve C11. .
  • the visual information greatly changes in the direction in which the visual information overlaps (the direction in which the visual information approaches). It is expected that visual information will soon overlap. Therefore, for example, even if the visual information of each user does not overlap, the integrated display is selected.
  • the display method of the visual information may be selected based on the moving speed of the visual information on the projection surface.
  • the movement of visual information becomes faster, the strictness of the display position of the visual information becomes meaningless.
  • the visual information looks larger than it actually is due to the afterimage, so that when the visual information is individually displayed, the visual information easily interferes. Therefore, for example, when the moving speed of the visual information is equal to or higher than a predetermined threshold, the integrated display is selected, and when the moving speed of the visual information is lower than the predetermined threshold, the individual display is selected.
  • FIG. 15 illustrates an example in which the target object 301 is a bicycle and the marking on the target object 301 is displayed as the visual information 302.
  • 15A schematically illustrates the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • FIG. 15B schematically illustrates the state of the projection surface 202 viewed from the viewpoint B of the user 201b. I have.
  • the position and the size of the visual information 302 are set so that the object 301 is included from both the viewpoints A and B.
  • the display method of the visual information may be selected based on the size of the visual information on the projection surface.
  • the size of the visual information increases, the possibility that the visual information of each user overlaps increases, and as the size of the visual information decreases, the possibility of the overlap of the visual information of each user decreases. Therefore, for example, when the size of the visual information (for example, the horizontal width of the visual information) is equal to or larger than a predetermined threshold, the integrated display is selected, and when the size of the visual information is smaller than the predetermined threshold, the individual display is selected.
  • the display method of the visual information may be selected based on a combination of the moving speed and the size of the visual information on the projection surface.
  • FIG. 16 is a graph showing an example of a criterion for selecting a display method of visual information based on a combination of a moving speed and a size of visual information on a projection surface.
  • the horizontal axis indicates the moving speed (unit: cm / sec) of visual information on the projection surface.
  • the vertical axis indicates the size of the visual information on the projection surface, more specifically, the horizontal width (unit: cm) of the visual information on the projection surface.
  • the integrated display is selected in a range diagonally upper right from the curve C12 indicating the relationship between the moving speed of the visual information and the size of the visual information, and the individual display is selected in a range diagonally lower left from the curve C12.
  • the movement of the visual information is fast, and the importance of the display position of the visual information decreases, so the integrated display is selected.
  • the visual information is large and the visual information is likely to overlap, so the integrated display is selected.
  • both the moving speed and the size of the visual information are small, the importance of the display position of the visual information increases, and the possibility that the visual information overlaps decreases. , Individual display is selected.
  • the display method may be selected based on the distance from the projection surface to the target (hereinafter simply referred to as the distance to the target).
  • FIG. 17 illustrates an example in which the target 321 is a store and information (for example, an advertisement) on the target 321 is displayed as visual information.
  • FIG. 17A illustrates an example in which the visual information 322a for the user 201a and the visual information 322b for the user 201a are individually displayed.
  • FIG. 17B illustrates an example in which the visual information 323 for the user 201a and the user 201b is integrated and displayed.
  • the display method may be selected based on the size of the target on the projection surface. For example, when the size of the object is smaller than the predetermined threshold, the integrated display is selected, and when the size of the target portion is equal to or larger than the predetermined threshold, the individual display is selected.
  • a display method of visual information may be selected based on a combination of a distance to an object and an amount of change thereof.
  • FIG. 18 is a graph showing an example of a criterion for selecting a display method of visual information based on a combination of a distance to an object and an amount of change thereof.
  • the horizontal axis indicates the amount of change in the distance to the object (the unit is m / sec). In the range to the right of the point at which the amount of change in the distance to the object on the horizontal axis is 0, the amount of change in the direction in which the distance increases becomes greater toward the right. In the range to the left of the point where the change amount of the distance on the horizontal axis becomes 0, the amount of change in the direction in which the distance approaches becomes larger toward the left.
  • the vertical axis indicates the distance to the object (the unit is m).
  • the distance to the target is large at the present time, so that even if the visual information of each user does not overlap, the distance to the target changes greatly in the direction to approach. It is expected that visual information will soon overlap. Therefore, for example, even if the visual information of each user does not overlap, the integrated display is selected.
  • the distance to the target is short at the present time, so that even if the visual information of each user overlaps, the distance to the target greatly changes in the direction in which the distance increases. It is expected that visual information will leave soon. Therefore, for example, even if the visual information of each user overlaps, the individual display is selected.
  • a display method may be selected based on a distance between users in a direction horizontal to the projection surface (hereinafter, simply referred to as a distance between users).
  • the viewpoint between the users increases, so that the position of the target on the projection surface for each user increases. Therefore, the positions of the visual information individually displayed for each user are separated, and the possibility that the visual information overlaps is reduced.
  • the closer the distance between the users is the closer the viewpoint between the users is. Therefore, the position of the target on the projection surface is closer to each user. Therefore, the position of the visual information individually displayed for each user becomes closer, and the possibility that the visual information overlaps increases.
  • the integrated display is selected, and when the distance between the users is equal to or more than the predetermined threshold, the individual display is selected.
  • a method of displaying visual information may be selected based on a combination of a distance between users and a change amount thereof.
  • FIG. 19 is a graph showing an example of a criterion for selecting a display method of visual information based on a combination of a distance between users and an amount of change thereof.
  • the horizontal axis indicates the amount of change in the distance between users (the unit is cm / sec). In the range to the right of the point on the horizontal axis where the amount of change in the distance between users becomes zero, the amount of change in the direction in which the distance increases increases toward the right. In the range to the left of the point where the change amount of the distance on the horizontal axis becomes 0, the amount of change in the direction in which the distance approaches becomes larger toward the left.
  • the vertical axis indicates the distance between users (the unit is cm).
  • the integrated display is selected.
  • the above determination method is an example, and another determination method may be used. Further, a method for displaying visual information may be selected by combining a plurality of determination methods.
  • step S208 if the display method setting unit 132 determines that the visual information is not to be integrated as a result of selecting the visual information display method, the process proceeds to step S209.
  • step S209 a position for individually displaying visual information is set in the same manner as in the process of step S105 in FIG.
  • step S208 determines whether visual information is to be integrated. If it is determined in step S208 that visual information is to be integrated, the process proceeds to step S210.
  • step S210 a position where the visual information is integrated and displayed is set in the same manner as in the process of step S106 in FIG.
  • step S202 determines whether the display position of the visual information is important. If it is determined in step S202 that the display position of the visual information is not important, the process proceeds to step S211.
  • step S211 a position where the visual information is displayed in common is set, similarly to the process of step S107 in FIG.
  • step S212 visual information is generated in the same manner as in the process in step S108 in FIG.
  • the display position of the visual information for each user can be set more appropriately.
  • the display method of visual information may be changed based on whether or not the user has recognized the target. Further, for example, when displaying a plurality of types of visual information for one target object, the display method may be different for each visual information.
  • FIG. 20 shows an example in which two types of visual information, marking and label, are displayed on the object 401 when the object 401 is a celebrity.
  • A1 and B1 in FIG. 20 show examples when visual information is individually displayed.
  • A1 in FIG. 20 schematically illustrates the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • B1 in FIG. 20 schematically illustrates the state of the projection surface 202 viewed from the viewpoint B of the user 201b. I have.
  • the visual information 402a is a marking for the user 201a, and surrounds the object 401 as viewed from the user 201a.
  • the visual information 403a is a label for the user 201a, and is displayed at the upper right of the object 401 as viewed from the user 201a.
  • the visual information 402b is a marking for the user 201b, and surrounds the object 401 as viewed from the user 201b.
  • the visual information 403b is a label for the user 201b, and is displayed at the upper right of the object 401 as viewed from the user 201b.
  • A2 in FIG. 20 schematically illustrates the state of the projection surface 202 viewed from the viewpoint A of the user 201a
  • B2 in FIG. 20 schematically illustrates the state of the projection surface 202 viewed from the viewpoint B of the user 201b. I have.
  • the display position of the marking is important for indicating the exact position of the object 401, but the display position of the label may be such that the object 401 in the marking is a famous person, and is not so important. . Therefore, for example, instead of the visual information 403a and the visual information 403b, the visual information 404 having the same content as the two is integrated and displayed at substantially the center of the display position of both.
  • visual information for some users may be integratedly displayed and visual information for other users may be individually displayed according to conditions. For example, when the visual information for some users interferes with each other, the visual information for some users is integrated and the visual information for other users is individually displayed.
  • the present technology can be applied to a case where there are a plurality of projection surfaces.
  • the present technology can also be applied to a case where a window other than the windshield of the vehicle 11 is used as a projection surface.
  • the present technology can be applied to a moving object other than a vehicle, on which a plurality of users board, and which can display visual information to a plurality of users using AR.
  • the present technology can be applied to moving objects such as airplanes, helicopters, ships, construction machines, and agricultural machines (tractors).
  • the present technology is applied to, for example, a device or a system that displays visual information to a plurality of users other than a moving object, and at least one of the user and the target can move with respect to a projection surface.
  • a device or a system that displays visual information to a plurality of users other than a moving object, and at least one of the user and the target can move with respect to a projection surface.
  • the present technology can be applied to a case where visual information about landmarks and the like is projected and displayed on a transparent screen for a plurality of users at a tourist spot or the like.
  • FIG. 21 is a block diagram illustrating a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504, and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 500 can be provided by being recorded on, for example, a removable medium 511 as a package medium or the like. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510.
  • the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508.
  • the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or may be performed in parallel or at a necessary timing such as when a call is made. It may be a program that performs processing.
  • a system means a set of a plurality of components (devices, modules (parts), and the like), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can adopt a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step may be executed by one device or may be shared and executed by a plurality of devices.
  • the present technology can also have the following configurations.
  • a display method setting unit that sets a display method of visual information to be displayed in a manner superimposed on the fields of view of a plurality of users, A display control unit that controls the display of the visual information according to the set display method, The information processing apparatus, wherein the display method includes an individual display for individually displaying the visual information for each user, and an integrated display for integrating and displaying the visual information for a plurality of users.
  • the display method setting unit sets the display method based on at least one of the visual information, a target object of the visual information, and each user. .
  • (3) The information processing device wherein the display method setting unit sets the display method based on a state of the visual information on a projection surface on which the visual information is projected.
  • the display method setting unit selects the integrated display when the visual information of each user interferes on the projection surface, and selects the individual display when the visual information of each user does not interfere.
  • the information processing device according to (1).
  • the display method setting unit sets the display method based on an overlap amount, which is an amount by which the plurality of pieces of visual information overlap on the projection surface, and a change amount of the overlap amount (3) or The information processing device according to (4).
  • (6) The information according to any one of (3) to (5), wherein the display method setting unit sets the display method based on at least one of a size and a moving speed of the visual information on the projection surface. Processing equipment.
  • the display method includes a common display that displays one of the visual information independently of the object, The display method setting unit, when the object is present for the visual information, selects the integrated display or the individual display, and when the object is not present for the visual information, the common display is displayed. Select The information processing apparatus according to any one of (2) to (15). (17) The information processing device according to any one of (1) to (16), wherein the visual information is displayed by being superimposed on a real world outside a moving object in a field of view of a plurality of users or a moving image of the real world. .
  • the information processing method includes an individual display for individually displaying the visual information for each user, and an integrated display for integrating and displaying the visual information for a plurality of users.
  • the display method is a program for causing a computer to execute processing including individual display for individually displaying the visual information for each user, and integrated display for integrating and displaying the visual information for a plurality of users.
  • a display method setting unit that sets a display method of visual information to be displayed in a manner superimposed on the fields of view of a plurality of users, By projecting the visual information on a predetermined projection surface, a display unit that superimposes the visual information on a moving image of the real world or the real world, A display control unit that controls the display of the visual information by the display unit according to the set display method,
  • the display method includes: an individual display for displaying the visual information individually for each user; and an integrated display for integrating and displaying the visual information for a plurality of users.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本技術は、複数のユーザの視界に適切に視覚情報を重ね合わせて表示することができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。 情報処理装置は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、設定された前記表示方法により前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。本技術は、例えば、ＡＲを用いて視覚情報を表示する車両に適用することができる。

Description

情報処理装置、情報処理方法、プログラム、及び、移動体
　本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、ＡＲ（Augmented Reality）を用いた情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
　従来、車載用のＨＵＤ（ヘッドアップディスプレイ）において、ステレオカメラで対象物までの距離を測定し、対象物と同じ位置に映像（視覚情報）の焦点を合わせることにより、運転者の視点が横にずれても、視覚情報と対象物の位置をずれにくくする技術が提案されている（例えば、非特許文献１参照）。
窪野　薫、外１名、「HUD＋車載カメラでAR、安全性向上や新事業の契機に」、日経エレクトロニクス、日本、日経ＢＰ社、２０１７年７月号、p.40-45
　しかしながら、非特許文献１では、複数のユーザが同時にＨＵＤを使用する場合は検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、複数のユーザの視界に適切に視覚情報を重ね合わせて表示できるようにするものである。
　本技術の第１の側面の情報処理装置は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、設定された前記表示方法により前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。
　本技術の第１の側面の情報処理方法は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、設定された前記表示方法により前記視覚情報の表示を制御し、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。
　本技術の第１の側面のプログラムは、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、設定された前記表示方法により前記視覚情報の表示を制御し、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む処理をコンピュータに実行させる。
　本技術の第２の側面の移動体は、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部とを備え、前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む。
　本技術の第１の側面においては、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法が設定され、設定された前記表示方法により前記視覚情報が表示される。
　本技術の第２の側面においては、複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法が設定され、前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報が重ね合わせられ、設定された前記表示方法により前記視覚情報が表示される。
　本技術の第１の側面又は第２の側面によれば、複数のユーザの視界に適切に視覚情報を重ね合わせて表示することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用される車両の構成例を示すブロック図である。 視覚情報の視覚特性を説明するための図である。 視覚情報の視覚特性を説明するための図である。 視覚情報の視覚特性を説明するための図である。 投射面から対象物までの距離と投射面上の対象物のサイズとの関係を示す図である。 投射面からユーザまでの距離と投射面上の対象物のサイズとの関係を示す図である。 ＡＲ制御処理を説明するためのフローチャートである。 視覚情報設定処理の第１の実施の形態を説明するためのフローチャートである。 ユーザ毎の視覚情報間の距離の例を示している。 人の視野と弁別能力を説明するための図である。 視覚情報の表示例を示す図である。 視覚情報の統合表示と個別表示の切り替え例を示す図である。 視覚情報設定処理の第２の実施の形態を説明するためのフローチャートである。 視覚情報の重なり量及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 対象物の動きが速い場合の視覚情報の表示例を示す図である。 視覚情報の移動速度及びサイズに基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 対象物までの距離が近い場合の視覚情報の表示例を示す図である。 対象物までの距離及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 ユーザ間の距離及びその変化量に基づいて視覚情報の表示方法を設定する方法を説明するためのグラフである。 ユーザの対象物の認識の有無に基づいて視覚情報を表示する例を示す図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．変形例
　４．その他
　＜＜１．第１の実施の形態＞＞
　まず、図１乃至図１２を参照して、本技術の第１の実施の形態について説明する。
　　＜車両１１の構成例＞
　図１は、本技術が適用される車両１１の一実施の形態を示すブロック図である。
　車両１１の種類は、複数のユーザ（搭乗者）が搭乗することが可能であれば、特に限定されない。車両１１は、情報処理部２１を備える。
　情報処理部２１は、車両１１に搭乗しているユーザの視界に視覚情報を重ね合わせて表示するＡＲを実現する。視覚情報は、ユーザが視認可能な情報であれば特に限定されない。例えば、視覚情報は、画像（動画像、静止画像）、車両１１の外の現実世界内の物体を指し示すためのマーキング等からなる。視覚情報が重畳されるユーザの視覚内の背景は、例えば、現実世界、又は、現実世界を撮影した動画像とされる。すなわち、情報処理部２１では、ユーザが見ている現実世界、又は、現実世界を撮影した動画像に視覚情報が重ね合わせて表示される。
　なお、以下、現実世界と現実世界の動画像を特に区別する必要がない場合、単に現実世界と称する。
　情報処理部２１は、データ取得部３１、車内情報取得部３２、車外情報取得部３３、出力情報設定部３４、出力制御部３５、及び、出力部３６を備える。
　データ取得部３１は、車両１１の内部及び外部の状況を検出するためのデータを取得する。データ取得部３１は、撮影部１０１、音声検出部１０２、ＧＮＳＳ（Global Navigation Satellite System）受信機１０３、センサ部１０４、及び、通信部１０５を備える。
　撮影部１０１は、例えば、複数のカメラを備え、車両１１の室内及び周囲の撮影を行う。撮影部１０１は、撮影した画像（以下、撮影画像と称する）のデータを車内情報取得部３２及び車外情報取得部３３に供給する。
　音声検出部１０２は、例えば、複数のマイクロフォンを備え、車両１１の室内及び周囲の音声の検出を行う。音声検出部１０２は、検出した音声を示す音声データを車内情報取得部３２及び車外情報取得部３３に供給する。
　ＧＮＳＳ受信機１０３は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、車内情報取得部３２及び車外情報取得部３３に供給する。
　センサ部１０４は、各種のセンサを備える。例えば、センサ部１０４は、車両１１の状態等を検出するための各種のセンサを備える。例えば、センサ部１０４は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、センサ部１０４は、車両１１の外部のデータを検出するための各種のセンサを備える。例えば、センサ部１０４は、天候又は気象等を検出するための環境センサ、及び、車両１１の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、センサ部１０４は、ユーザの生体情報を検出する生体センサを備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っているユーザ（搭乗者）又はステアリングホイールを握っているユーザ（運転者）の生体情報を検出する。
　センサ部１０４は、検出結果を示すセンサデータを車内情報取得部３２及び車外情報取得部３３に供給する。
　通信部１０５は、例えば、車内外の様々な機器、サーバ、基地局等と通信を行い、各種のデータ（例えば、地図情報、地域情報等）の送受信を行う。通信部１０５がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０５が、複数の種類の通信プロトコルをサポートすることも可能である。
　車内情報取得部３２は、データ取得部３１から供給されるデータに基づいて、車両１１及び車両１１の内部に関する車内情報を取得する。車内情報取得部３２は、ユーザ情報検出部１１１、音声認識部１１２、及び、車両情報検出部１１３を備える。
　ユーザ情報検出部１１１は、車内のユーザに関する情報を検出する。例えば、ユーザ情報検出部１１１は、車内のユーザの位置、ユーザの目の位置、ユーザの視線の方向、ユーザの行動（例えば、運転しているか、ユーザの対象物の認識の有無等）を検出する。ユーザ情報検出部１１１は、検出結果を示すデータを出力情報設定部３４に供給する。
　なお、対象物とは、視覚情報の表示対象となる物体等である。例えば、視覚情報が車両１１の前方の歩行者を指し示すマーキングである場合、その歩行者が対象物となる。
　音声認識部１１２は、車内のユーザが発した音声の認識処理を行う。音声認識部１１２は、認識結果を示すデータを出力情報設定部３４に供給する。
　車両情報検出部１１３は、車両１１に関する情報の検出処理を行う。例えば、車両情報検出部１１３は、車両１１の速度、進行方向、現在位置等を検出する。車両情報検出部１１３は、検出結果を示すデータを出力情報設定部３４に供給する。
　車外情報取得部３３は、データ取得部３１から供給されるデータに基づいて、車両１１の外部に関する車外情報を取得する。車外情報取得部３３は、物体認識部１２１及び周辺情報取得部１２２を備える。
　物体認識部１２１は、車両１１の周囲の物体の認識処理を行う。例えば、物体認識部１２１は、車両１１の周囲の歩行者及び自転車等の人の位置、動き、行動等を認識する。例えば、物体認識部１２１は、認識した人の特定を行う。例えば、物体認識部１２１は、車両１１の周囲の車両、障害物、建物等の物体の位置、動き、特徴（例えば、車種（車両の場合）、大きさ、形、色等）を認識する。物体認識部１２１は、認識結果を示すデータを出力情報設定部３４に供給する。
　周辺情報取得部１２２は、車両１１の周辺の情報を取得する。例えば、周辺情報取得部１２２は、車両１１が走行するルートの道路に関する情報、車両１１の周囲の建物、施設、店舗、ランドマーク等に関する情報、車両１１がいる地域に関する情報等の取得を行う。周辺情報取得部１２２は、取得した情報を出力情報設定部３４に供給する。
　出力情報設定部３４は、出力部３６から出力する出力情報の設定を行う。出力情報設定部３４は、視覚情報生成部１３１、表示方法設定部１３２、及び、音声情報生成部１３３を備える。
　視覚情報生成部１３１は、車内情報及び車外情報、並びに、表示方法設定部１３２により設定された表示方法に基づいて、視覚情報を生成する。視覚情報生成部１３１は、生成した視覚情報を出力制御部３５に供給する。
　表示方法設定部１３２は、車内情報（例えば、ユーザに関する情報）、車外情報（例えば、対象物に関する情報）、及び、視覚情報等に基づいて、視覚情報の表示方法を設定する。例えば、表示方法設定部１３２は、各ユーザの状態、車両１１の動き（例えば、移動速度及び方向）、視覚情報の状態及び内容、視覚情報を投射する投射面、対象物の状態等のうち少なくとも１つに基づいて、視覚情報の表示方法を設定する。
　音声情報生成部１３３は、車内情報及び車外情報に基づいて、音声情報を生成する。音声情報生成部１３３は、生成した音声情報を出力制御部３５に供給する。
　出力制御部３５は、出力情報の出力を制御する。出力制御部３５は、表示制御部１４１、及び、音声制御部１４２を備える。
　表示制御部１４１は、表示方法設定部１３２により設定された表示方法に従って、表示装置１５１による視覚情報の表示を制御する。
　音声制御部１４２は、スピーカ１５２による音声の出力を制御する。
　出力部３６は、出力情報の出力を行う。出力部３６は、表示装置１５１、及び、スピーカ１５２を備える。
　表示装置１５１は、表示制御部１４１の制御の下に、ＡＲを用いて、ユーザの視界に視覚情報を重ね合わせて表示する装置である。例えば、表示装置１５１は、ＨＵＤにより構成され、所定の投射面（例えば、車両１１のウインドシールド）に視覚情報を投射する。
　スピーカ１５２は、音声制御部１４２の制御の下に、音声情報に基づく音声を出力する。
　　＜視覚情報及び対象物の視覚特性＞
　次に、図２乃至図６を参照して、視覚情報及び対象物の視覚特性について簡単に説明する。
　図２は、車両１１内に横に並んで座っているユーザ２０１ａ及びユーザ２０１ｂに対して、車両１１の前方の歩行者である対象物２０３に対して視覚情報２０４を表示する場合の例を示している。
　視覚情報２０４は、例えば、車両１１のウインドシールド等からなる投射面２０２に投射されることにより表示される。また、視覚情報２０４は、その内容にもよるが、基本的に対象物２０３の位置に正確に合わせて表示することが重要である。
　一方、ユーザ２０１ａとユーザ２０１ｂとは座っている位置が異なるため、対象物２０３に対する視点が異なる。なお、この明細書において、特に断りがない限り、視点とは、ユーザがどこを見ているかを表す視点（ユーザの視線の先となる点）ではなく、ユーザがどこから見ているかを表す視点（ユーザの視線の元となる点）であるものとする。
　そのため、ユーザ２０１ａ及びユーザ２０１ｂの両方から、対象物２０３に対してほぼ同じ位置に視覚情報２０４が見えるようにするには、各ユーザに対する視覚情報２０４が投射面２０２のそれぞれ異なる位置に投射される必要がある。
　例えば、図３のＡに示されるように、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置の左隣に視覚情報２０４ａが投射される。これにより、ユーザ２０１ａには、対象物２０３の左隣に視覚情報２０４ａが見えるようになる。
　一方、図３のＢに示されるように、ユーザ２０１ｂから見た投射面２０２上の対象物２０３の位置は、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置と異なる。従って、ユーザ２０１ｂには視覚情報２０４ａが対象物２０３の右側の離れた位置に見え、ユーザ２０１ｂが違和感を覚えるおそれがある。
　これに対して、例えば、図４のＢに示されるように、ユーザ２０１ａから見た投射面２０２上の対象物２０３の位置の左隣に、視覚情報２０４ａと同じ内容の視覚情報２０４ｂが投射される。これにより、ユーザ２０１ｂにも、対象物２０３の左隣に視覚情報２０４ｂが見えるようになる。
　しかし、図４のＡに示されるように、ユーザ２０１ａには、視覚情報２０４ａに加えて、視覚情報２０４ｂが対象物２０３から左側に離れた位置に見える。従って、視覚情報２０４ａと視覚情報２０４ｂとの間の水平方向の間隔が狭くなると、ユーザ２０１ａは、視覚情報２０４ａに加えて、視覚情報２０４ｂを不自然な位置に視認することになり、違和感を覚える。
　同様に、図４のＢに示されるように、ユーザ２０１ｂには、視覚情報２０４ｂに加えて、視覚情報２０４ａが対象物２０３から右側に離れた位置に見える。従って、視覚情報２０４ａと視覚情報２０４ｂの間の水平方向の間隔が狭くなると、ユーザ２０１ｂは、視覚情報２０４ｂに加えて、視覚情報２０４ａを不自然な位置に視認することになり、違和感を覚えるおそれがある。
　図５は、投射面２０２から対象物２２１までの距離と、投射面２０２上の対象物２２１のサイズとの関係を示している。例えば、図５のＡでは、図５のＢと比較して、投射面２０２から対象物２２１までの距離が近くなっている。また、図５のＡ及びＢにおいて、ユーザ２０１ａの視点Ａから投射面２０２までの距離、及び、ユーザ２０１ｂの視点Ｂから投射面２０２までの距離は、全て等しくなっている。
　この例に示されるように、投射面２０２から対象物２２１までの距離が近くなるほど、投射面２０２上の対象物２２１のサイズは大きくなる。一方、投射面２０２から対象物２２１までの距離が遠くなるほど、投射面２０２上の対象物２２１のサイズは小さくなる。
　例えば、図５のＡの視点Ａから見た対象物２２１の投射面２０２上のサイズＳ１ａは、図５のＢの視点Ａから見た対象物２２１の投射面２０２上のサイズＳ２ａより大きくなる。また、図５のＡの視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ１ｂは、図５のＢの視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ２ｂより大きくなる。
　従って、対象物２２１が投射面２０２に近づくほど、視点Ａから見た投射面２０２上の対象物２２１と、視点Ｂから見た投射面２０２上の対象物２２１との間の水平方向の間隔は狭くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が狭くなり、２つの視覚情報が投射面２０２上で重なる可能性が高くなる。
　一方、対象物２２１が投射面２０２から遠ざかるほど、視点Ａから見た投射面２０２上の対象物２２１と、視点Ｂから見た投射面２０２上の対象物２２１との間の水平方向の間隔は広くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が広くなり、２つの視覚情報が投射面２０２上で重なる可能性が低くなる。
　図６は、ユーザの視点から投射面２０２までの距離と、投射面２０２上の対象物２２１のサイズとの関係を示している。この例では、ユーザ２０１ａの視点Ａが、ユーザ２０１ｂの視点Ｂより、投射面２０２に近くなっている。
　この例に示されるように、ユーザの視点が投射面２０２に近づくほど、ユーザから見た投射面２０２上の対象物２２１のサイズは小さくなる。一方、ユーザの視点が投射面２０２から遠ざかるほど、ユーザから見た投射面２０２上の対象物２２１のサイズは大きくなる。例えば、視点Ａから見た対象物２２１の投射面２０２上のサイズＳ３ａは、視点Ｂから見た対象物２２１の投射面２０２上のサイズＳ３ｂより小さくなる。
　従って、各ユーザの視点が投射面２０２に近づくほど、各ユーザから見た投射面２０２上の対象物２２１のサイズが大きくなり、水平方向の間隔は狭くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が狭くなり、２つの視覚情報が投射面２０２上で重なる可能性は高くなる。
　一方、各ユーザの視点が投射面２０２から遠ざかるほど、各ユーザから見た投射面２０２上の対象物２２１のサイズが小さくなり、水平方向の間隔は広くなる。従って、対象物２２１に対する視覚情報をユーザ２０１ａとユーザ２０１ｂに対して個別に表示した場合、２つの視覚情報の間隔が広くなり、２つの視覚情報が投射面２０２上で重なる可能性は低くなる。
　車両１１の情報処理部２１は、後述するように、上記の視覚特性等を考慮して、状況に応じて複数のユーザに対して視覚情報を個別に表示したり、統合して表示したりすることにより、複数のユーザが、違和感を覚えずに視覚情報を確認することができるようにする。
　　＜ＡＲ制御処理＞
　次に、図７のフローチャートを参照して、車両１１の情報処理部２１により実行されるＡＲ制御処理について説明する。
　この処理は、例えば、車両１１を起動し、運転を開始するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　なお、以下、上述した図２に示されるように、ユーザ２０１ａ及びユーザ２０１ｂに対して、１種類の視覚情報を投射面２０２に投射して表示する場合を適宜具体例として挙げながら説明する。
　ステップＳ１において、データ取得部３１は、各種データを取得する。
　例えば、撮影部１０１は、車両１１の室内及び周囲の撮影を行い、得られた撮影画像のデータを車内情報取得部３２及び車外情報取得部３３に供給する。
　音声検出部１０２は、車両１１の室内及び周囲の音声の検出を行い、検出した音声を示す音声データを車内情報取得部３２及び車外情報取得部３３に供給する。
　ＧＮＳＳ受信機１０３は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、車内情報取得部３２及び車外情報取得部３３に供給する。
　センサ部１０４は、車両１１の内部及び外部の状況を検出し、検出結果を示すセンサデータを車内情報取得部３２及び車外情報取得部３３に供給する。
　通信部１０５は、車内外の様々な機器、サーバ、基地局等と通信を行い、地図情報及び地域情報等の各種のデータを受信し、受信したデータを車内情報取得部３２及び車外情報取得部３３に供給する。
　ステップＳ２において、車内情報取得部３２は、車内情報を取得する。
　例えば、ユーザ情報検出部１１１は、車内のユーザの位置、ユーザの目の位置、ユーザの視線の方向、ユーザの行動、ユーザの対象物の認識の有無等の車内のユーザに関する情報を検出する。ユーザ情報検出部１１１は、検出結果を示すデータを出力情報設定部３４に供給する。
　音声認識部１１２は、車内のユーザが発した音声の認識処理を行い、認識結果を示すデータを出力情報設定部３４に供給する。
　車両情報検出部１１３は、車両１１の速度、進行方向、現在位置等の車両１１に関する情報の検出処理を行い、検出結果を示すデータを出力情報設定部３４に供給する。
　ステップＳ３において、車外情報取得部３３は、車外情報を取得する。
　例えば、物体認識部１２１は、車両１１の周囲の歩行者、自転車、車両、障害物、建物等の物体の認識処理を行い、認識結果を示すデータを出力情報設定部３４に供給する。
　周辺情報取得部１２２は、車両１１が走行するルートの道路に関する情報、車両１１の周囲の建物、施設、店舗、ランドマーク等に関する情報、車両１１がいる地域に関する情報等の車両１１の周辺の情報を取得し、取得した情報を出力情報設定部３４に供給する。
　ステップＳ４において、出力情報設定部３４は、視覚情報設定処理を行う。ここで、図８のフローチャートを参照して、視覚情報設定処理の詳細について説明する。
　ステップＳ１０１において、視覚情報生成部１３１は、視覚情報の内容を設定する。例えば、視覚情報生成部１３１は、車内情報及び車外情報に基づいて、ユーザの視界に重ね合わせて表示する視覚情報の内容（例えば、視覚情報の種類、表示する画像、テキスト等）を設定する。
　ステップＳ１０２において、表示方法設定部１３２は、視覚情報の位置が重要であるか否かを判定する。例えば、表示方法設定部１３２は、視覚情報の表示対象となる対象物が存在する場合、例えば、視覚情報が対象物の関連情報、マーキング等である場合、視覚情報の位置が重要であると判定し、処理はステップＳ１０３に進む。
　ステップＳ１０３において、表示方法設定部１３２は、視覚情報を個別表示する場合の表示位置を計算する。
　例えば、表示方法設定部１３２は、車内情報及び車外情報に基づいて、各ユーザの視点から見た対象物の投射面上の位置及びサイズを計算する。そして、表示方法設定部１３２は、各ユーザの視点から見た対象物の投射面上の位置及びサイズ、並びに、視覚情報の内容等に基づいて、各ユーザに対して適切な視覚情報の投射面上の表示位置を計算する。
　ここで、各ユーザに対して適切な表示位置とは、例えば、各ユーザが視覚情報を違和感なく視認できる表示位置である。また、視覚情報の表示位置は、例えば、投射面上において視覚情報が表示される領域の位置とされ、視覚情報の表示サイズや形の概念も含む。
　ステップＳ１０４において、表示方法設定部１３２は、視覚情報が干渉するか否かを判定する。
　例えば、表示方法設定部１３２は、各ユーザに対する視覚情報間の投射面上の距離を計算する。
　図９は、視覚情報間の距離の例を示している。図９は、対象物３０１を囲むマーキングを視覚情報として表示する場合の例を示している。視覚情報３０２ａは、ユーザ２０１ａに対して表示される視覚情報であり、視覚情報３０２ｂは、ユーザ２０１ｂに対して表示される視覚情報である。
　また、図９のＡは、ユーザ２０１ａの視点Ａから見た対象物３０１、視覚情報３０２ａ、及び、視覚情報３０２ｂの投射面２０２上の位置を示している。図９のＢは、ユーザ２０１ｂの視点Ｂから見た対象物３０１、視覚情報３０２ａ、及び、視覚情報３０２ｂの投射面２０２上の位置を示している。図９のＡでは、対象物３０１が視覚情報３０２ａにより囲まれ、図９のＢでは、対象物３０１が視覚情報３０２ｂにより囲まれている。
　表示方法設定部１３２は、例えば、投射面２０２上の視覚情報３０２ａと視覚情報３０２ｂとの間の水平方向の距離（すなわち、両者の間隔）ｄを計算する。
　なお、距離ｄは、視覚情報３０２ａと視覚情報３０２ｂが投射面２０２上で重なる場合、負の値となる。また、視覚情報３０２ａと視覚情報３０２ｂが重なる部分の水平方向の幅（以下、重なり量と称する）が大きくなるほど、距離ｄの値は小さくなる（負の値の距離ｄの絶対値が大きくなる）。
　そして、表示方法設定部１３２は、距離ｄが所定の閾値以上である場合、視覚情報が干渉しないと判定し、処理はステップＳ１０５に進む。
　ここで、図１０を参照して、閾値の設定方法の一例について説明する。
　図１０は、人を上方から見た模式図であり、人が正面方向を見ている場合の視野と弁別能力を示している。
　範囲Ａ１は、人が文字や数字等を認識可能な範囲である。範囲Ａ１は、例えば、人の視野の中心Ｃ１（以下、視野中心Ｃ１と称する）を中心にして左右にそれぞれ５度から１０度の範囲となる。
　範囲Ａ２は、人がシンボル（例えば、マーキングやマーク等）を認識可能な範囲である。範囲Ａ２は、例えば、視野中心Ｃ１を中心にして左右にそれぞれ５度から３０度の範囲となる。
　範囲Ａ３は、色、輝度が変化する場合に人が色の弁別が可能な範囲である。範囲Ａ３は、例えば、視野中心Ｃ１を中心にして左右にそれぞれ３０度から６０度の範囲となる。
　これに対して、閾値は、例えば、範囲Ａ２を基準にして設定される。例えば、ユーザが投射面から８０ｃｍ離れた場所に座っている場合、範囲Ａ２の投影面上のサイズは、視野中心Ｃ１を中心にして左右にそれぞれ約７ｃｍから４６ｃｍの範囲となる。この場合、例えば、範囲Ａ２を最も狭く見積もった場合、閾値は７ｃｍに設定される。一方、例えば、範囲Ａ２を最も広く見積もった場合、閾値は４６ｃｍに設定される。
　例えば、図９の例において、距離ｄが閾値以上である場合、ユーザ２０１ａは、視覚情報３０２ａを注視した状態において、周辺視野を用いて視覚情報３０２ｂを認識することになると想定される。従って、ユーザ２０１ａにとって視覚情報３０２ｂが邪魔になる度合いが低くなり、視覚情報３０２ａと視覚情報３０２ｂは干渉しないと考えられる。
　一方、距離ｄが閾値未満である場合、ユーザ２０１ａは、視覚情報３０２ａを注視した状態において、中心視野を用いて視覚情報３０２ｂを認識することになると想定される。従って、ユーザ２０１ａにとって、視覚情報３０２ｂが邪魔になる度合いが高くなり、視覚情報３０２ａと視覚情報３０２ｂが干渉すると考えられる。
　これは、ユーザ２０１ｂにとっても同様である。
　ステップＳ１０５において、表示方法設定部１３２は、視覚情報を個別表示する位置を設定する。すなわち、表示方法設定部１３２は、ステップＳ１０３の処理で計算した表示位置を、各ユーザに対する視覚情報の表示位置に設定する。
　その後、処理はステップＳ１０８に進む。
　一方、ステップＳ１０４において、表示方法設定部１３２は、視覚情報間の距離が所定の閾値未満である場合（投射面上で視覚情報が重なる場合も含む）、視覚情報が干渉すると判定し、処理はステップＳ１０６に進む。
　ステップＳ１０６において、表示方法設定部１３２は、視覚情報を統合表示する位置を設定する。例えば、表示方法設定部１３２は、各ユーザから見た対象物の投影面上の位置及びサイズ、並びに、視覚情報の内容等に基づいて、視覚情報を１つのみ表示する場合に、各ユーザに対して可能な限り適切となる投影面上の表示位置を計算する。表示方法設定部１３２は、計算した表示位置を、各ユーザに対して共通に表示する視覚情報の表示位置に設定する。
　その後、処理はステップＳ１０８に進む。
　一方、ステップＳ１０２において、例えば、表示方法設定部１３２は、視覚情報の表示対象となる対象物が存在しない場合、例えば、視覚情報が対象物とは無関係の時刻表示等である場合、視覚情報の表示位置が重要でないと判定し、処理はステップＳ１０７に進む。
　ステップＳ１０７において、表示方法設定部１３２は、視覚情報を共通表示する場合の表示位置を設定する。例えば、表示方法設定部１３２は、所定の位置（例えば、投影面の隅等）に視覚情報の表示位置を設定する。或いは、例えば、表示方法設定部１３２は、各ユーザの視界や行動を阻害しない位置を計算し、計算した位置に視覚情報の表示位置を設定する。
　その後、処理はステップＳ１０８に進む。
　ステップＳ１０８において、視覚情報生成部１３１は、視覚情報を生成する。例えば、視覚情報生成部１３１は、視覚情報の内容、及び、視覚情報の表示位置等に基づいて、視覚情報の表示サイズ、レイアウト、デザイン等を設定する。そして、視覚情報生成部１３１は、設定した内容に従って、視覚情報を生成する。このとき、個別表示を行う場合、視覚情報生成部１３１は、各ユーザに対する視覚情報を生成する。
　視覚情報生成部１３１は、生成した視覚情報及び表示位置を示すデータを出力制御部３５に供給する。
　なお、例えば、視覚情報生成部１３１が、視覚情報を生成せずに、視覚情報の内容、表示サイズ、レイアウト、デザイン等を示すデータを出力制御部３５に供給し、表示制御部１４１が、そのデータに基づいて、視覚情報を生成するようにしてもよい。
　その後、視覚情報設定処理は終了する。
　図７に戻り、ステップＳ５において、表示装置１５１は、表示制御部１４１の制御の下に、視覚情報を表示する。例えば、表示制御部１４１は、設定された位置に表示されるようにフレームバッファ（不図示）に視覚情報を設定する（レンダリングする）。表示装置１５１は、フレームバッファに設定された視覚情報を投射面に投射する。これにより、表示方法設定部１３２により設定された投影面上の位置に視覚情報が表示される。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のようにして、状況に応じて、視覚情報の個別表示、統合表示、及び、共通表示が使い分けられ、複数のユーザの視界に適切に視覚情報が重ね合わせて表示される。その結果、視覚情報の視認性が向上するとともに、ユーザが視覚情報に対して違和感を覚えるおそれが低減する。
　例えば、図１１は、対象物３２１に対するマーキングを視覚情報として表示する場合の例を示している。
　図１１のＡ１及びＢ１は、ユーザ２０１ａに対する視覚情報３２２ａ及びユーザ２０１ｂに対する視覚情報３２２ｂを個別表示する場合の例を示している。図１１のＡ１は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１１のＢ１は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を示模式的にしている。
　この例では、視覚情報３２２ａと視覚情報３２２ｂが重なっており、互いに干渉している。従って、例えば、視覚情報３２２ａ及び視覚情報３２２ｂの視認性の低下や、ユーザ２０１ａ及びユーザ２０１ｂの違和感が発生する。
　これに対して、図１１のＡ２及びＢ２に示されるように、ユーザ２０１ａ及びユーザ２０１ｂに対する視覚情報が統合され、視覚情報３２３が表示される。図１１のＡ２は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１１のＢ２は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。
　視覚情報３２３は、視覚情報３２２ａ及び視覚情報３２２ｂと比較して、水平方向に広がっている。これにより、ユーザ２０１ａ及びユーザ２０１ｂのどちらから見ても、視覚情報３２３内に対象物３２１が含まれるようになる。また、表示される視覚情報の数が削減される。
　その結果、ユーザ２０１ａ及びユーザ２０１ｂのどちらに対しても、視覚情報の視認性が向上し、ユーザ２０１ａ及びユーザ２０１ｂが対象物３２１を確実に認識できるようになる。
　図１２は、統合表示と個別表示の切り替え例を示している。この例では、対象物３４１に対するマーキングを視覚情報として表示する場合の例を示している。図１２のＡ１乃至Ａ４は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１２のＢ１乃至Ｂ４は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。
　例えば、対象物３４１が投射面２０２から遠ざかるにつれて、ユーザ２０１ａ及びユーザ２０１ｂから見た対象物３４１の投射面２０２上の位置は、図１２のＡ１及びＢ１からＡ４及びＢ４のように変化する。
　具体的には、図１２のＡ１、Ａ２、Ｂ１、及び、Ｂ２に示されるように、両者の位置の差が所定の閾値未満の場合、視覚情報３４２が統合表示され、両者の位置の差が広がるにつれて、視覚情報３４２の水平方向の幅が広げられる。これにより、ユーザ２０１ａ及びユーザ２０１ｂのいずれから見ても、対象物３４１が視覚情報３４２内に含まれるようになる。
　そして、図１２のＡ３、Ａ４、Ｂ３、及び、Ｂ４に示されるように、両者の位置の差が所定の閾値以上になると、ユーザ２０１ａ用の視覚情報３４３ａ及びユーザ２０１ｂ用の視覚情報３４３ｂが個別に表示される。また、両者の位置の差が広がるにつれて、視覚情報３４３ａと視覚情報３４３ｂの水平方向の間隔が広げられる。これにより、ユーザ２０１ａから見て、対象物３４１が視覚情報３４３ａ内に含まれ、ユーザ２０１ｂから見て、対象物３４１が視覚情報３４３ｂ内に含まれるようになる。
　一方、逆に対象物３４１が投射面２０２に近づくにつれて、ユーザ２０１ａから見た対象物３４１の投射面２０２上の位置、及び、ユーザ２０１ｂから見た対象物３４１の投射面２０２上の位置は、図１２のＡ４及びＢ４からＡ１及びＢ１のように変化する。
　具体的には、図１２のＡ３、Ａ４、Ｂ３、及び、Ｂ４に示されるように、両者の位置の差が所定の閾値以上の場合、ユーザ２０１ａ用の視覚情報３４３ａ及びユーザ２０１ｂ用の視覚情報３４３ｂが個別に表示される。また、両者の位置の差が狭まるにつれて、視覚情報３４３ａと視覚情報３４３ｂの水平方向の間隔が狭められる。これにより、ユーザ２０１ａから見て、対象物３４１が視覚情報３４３ａ内に含まれ、ユーザ２０１ｂから見て、対象物３４１が視覚情報３４３ｂ内に含まれるようになる。
　そして、図１２のＡ１、Ａ２、Ｂ１、及び、Ｂ２に示されるように、両者の位置の差が所定の閾値未満になると、視覚情報３４２が統合表示され、両者の位置の差が狭まるにつれて、視覚情報３４２の水平方向の幅が狭められる。これにより、ユーザ２０１ａ及びユーザ２０１ｂのいずれから見ても、対象物３４１が視覚情報３４２内に含まれるようになる。
　なお、例えば、統合表示から個別表示に切り替わる際に、統合表示されている視覚情報と個別表示する視覚情報がクロスフェードされるようにしてもよい。すなわち、統合表示されている視覚情報がフェードアウトされるとともに、個別表示する視覚情報がフェードインされるようにしてもよい。逆に、例えば、個別表示から統合表示に切り替わる際に、個別表示されている視覚情報と統合表示する視覚情報がクロスフェードされるようにしてもよい。すなわち、個別表示されている視覚情報がフェードアウトされるとともに、統合表示する視覚情報がフェードインされるようにしてもよい。これにより、ユーザに違和感を与えずに、視覚情報の表示方法を切り替えることができる。
　＜＜２．第２の実施の形態＞＞
　次に、図１３乃至図１９を参照して、本技術の第２の実施の形態について説明する。
　第２の実施の形態は、第１の実施の形態と比較して、図７のステップＳ４の視覚情報設定処理が異なる。より具体的には、個別表示と統合表示の選択方法が異なる。
　ここで、図１３のフローチャートを参照して、視覚情報設定処理の第２の実施の形態について説明する。
　具体的には、ステップＳ２０１において、図８のステップＳ１０１の処理と同様に、視覚情報の内容が設定される。
　ステップＳ２０２において、図８のステップＳ１０２の処理と同様に、視覚情報の表示位置が重要であるか否かが判定される。視覚情報の表示位置が重要であると判定された場合、処理はステップＳ２０３に進む。
　ステップＳ２０３において、図８のステップＳ１０３の処理と同様に、視覚情報を個別表示する場合の表示位置が計算される。
　ステップＳ２０４において、表示方法設定部１３２は、視覚情報の重なり量を計算する。具体的には、表示方法設定部１３２は、ステップＳ２０３の処理で計算した視覚情報の表示位置に基づいて、投射面における視覚情報の重なり量を計算する。
　視覚情報の重なり量は、上述した、視覚情報間の水平方向の間隔と逆の概念である。例えば、視覚情報の重なり量は、２つの視覚情報が重なっている部分の水平方向の幅の最大値により表される。従って、視覚情報が重なっている部分の水平方向の幅が大きくなるほど、重なり量は大きくなり、視覚情報が重なっている部分の水平方向の幅が小さくなるほど、重なり量は小さくなる。一方、視覚情報が重なっていない場合、重なり量は負の値になる。そして、２つの視覚情報の間の水平方向の間隔が広がるほど、重なり量は小さくなる（負の値の重なり量の絶対値が大きくなる）。
　ステップＳ２０５において、表示方法設定部１３２は、視覚情報の移動速度を計算する。例えば、表示方法設定部１３２は、過去の視覚情報の表示位置の履歴、及び、ステップＳ２０３の処理で計算した視覚情報の表示位置に基づいて、投射面における各視覚情報の移動速度を計算する。
　ステップＳ２０６において、表示方法設定部１３２は、対象物までの距離を計算する。例えば、表示方法設定部１３２は、物体認識部１２１により検出された対象物の位置に基づいて、投射面から対象物までの距離を計算する。
　ステップＳ２０７において、表示方法設定部１３２は、ユーザ間の距離を計算する。例えば、表示方法設定部１３２は、ユーザ情報検出部１１１により検出された車内の各ユーザの位置に基づいて、投射面に対して水平な方向における各ユーザ間の距離を計算する。
　ステップＳ２０８において、表示方法設定部１３２は、視覚情報を統合表示するか否かを判定する。
　ここで、図１４乃至図１９を参照して、ステップＳ２０８の処理の具体例について説明する。
　例えば、ユーザ毎の視覚情報の重なり量に基づいて、視覚情報の表示方法が選択される。
　図１４は、ユーザ毎の視覚情報の重なり量に基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は重なり量の変化量（単位はｃｍ／ｓｅｃ）を示している。横軸の重なり量の変化量が０となる点より右の範囲では、右に行くほど重なり量が増加する方向（或いは、２つの視覚情報が近づく方向）への変化量が大きくなる。横軸の重なり量の変化量が０となる点より左の範囲では、左に行くほど重なり量が減少する方向（或いは、２つの視覚情報が離れる方向）への変化量が大きくなる。縦軸は重なり量（単位はｃｍ）を示している。縦軸の重なり量が０となる点より上の範囲では、上に行くほど重なり量が大きくなり、縦軸の重なり量が０となる点より下の範囲では、下に行くほど２つの視覚情報の間の間隔が大きくなる。
　そして、例えば、視覚情報の重なり量とその変化量との関係を示す曲線Ｃ１１より右斜め上の範囲において、統合表示が選択され、曲線Ｃ１１より左斜め下の範囲において、個別表示が選択される。
　例えば、図１４の矢印Ａ１１で示される領域付近では、現時点では各ユーザの視覚情報が重なるとしても、重なり量が減少する方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。
　逆に、例えば、図１４の矢印Ａ１２で示される領域付近では、現時点では各ユーザの視覚情報が重ならなくても、視覚情報が重なる方向（視覚情報が近づく方向）に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。
　また、例えば、投射面における視覚情報の移動速度に基づいて、視覚情報の表示方法が選択されるようにしてもよい。
　例えば、視覚情報の動きが速くなると、視覚情報の表示位置の厳密さは意味をなさなくなる。また、視覚情報を対象物に追従させて速く動かすと、残像により視覚情報は実際より大きく見えるため、視覚情報を個別表示した場合、視覚情報が干渉しやすくなる。そこで、例えば、視覚情報の移動速度が所定の閾値以上の場合、統合表示が選択され、視覚情報の移動速度が所定の閾値未満の場合、個別表示が選択される。
　例えば、図１５は、対象物３０１が自転車であり、対象物３０１に対するマーキングを視覚情報３０２として表示する場合の例を示している。図１５のＡは、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図１５のＢは、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。
　対象物３０１が投射面２０２上を高速に移動している場合、視覚情報の表示位置の厳密性はあまり重要でなくなる。逆に、視覚情報の表示位置を厳密にすると、視覚情報が投射面２０２上を高速に移動するようになり、視覚情報の視認性が低下するおそれがある。従って、図１５に示されるように、視点Ａ及び視点Ｂのいずれからも対象物３０１が含まれるように、視覚情報３０２の位置及びサイズが設定される。
　さらに、例えば、投射面における視覚情報のサイズに基づいて、視覚情報の表示方法が選択されるようにしてもよい。
　例えば、視覚情報のサイズが大きくなるほど、ユーザ毎の視覚情報が重なる可能性が高くなり、視覚情報のサイズが小さくなるほど、ユーザ毎の視覚情報が重なる可能性が低くなる。そこで、例えば、視覚情報のサイズ（例えば、視覚情報の水平方向の幅）が所定の閾値以上の場合、統合表示が選択され、視覚情報のサイズが所定の閾値未満の場合、個別表示が選択される。
　また、例えば、投射面における視覚情報の移動速度とサイズとの組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。
　図１６は、投射面における視覚情報の移動速度とサイズとの組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、投射面における視覚情報の移動速度（単位はｃｍ／ｓｅｃ）を示している。縦軸は、投射面における視覚情報のサイズ、より具体的には、投射面における視覚情報の水平方向の幅（単位はｃｍ）を示している。
　そして、例えば、視覚情報の移動速度と視覚情報のサイズとの関係を示す曲線Ｃ１２より右斜め上の範囲において、統合表示が選択され、曲線Ｃ１２より左斜め下の範囲において、個別表示が選択される。
　例えば、図１６の矢印Ａ１３で示される領域付近では、視覚情報の動きが速く、視覚情報の表示位置の重要性が低下するため、統合表示が選択される。また、例えば、図１６の矢印Ａ１４で示される領域付近では、視覚情報が大きく、視覚情報が重なる可能性が高いため、統合表示が選択される。
　一方、例えば、図１６の矢印Ａ１５で示される領域付近では、視覚情報の移動速度及びサイズとも小さく、視覚情報の表示位置の重要性が上昇し、かつ、視覚情報が重なる可能性が低下するため、個別表示が選択される。
　また、例えば、投射面から対象物までの距離（以下、単に対象物までの距離と称する）に基づいて、表示方法が選択されるようにしてもよい。
　図５を参照して上述したように、対象物までの距離が遠くなるほど、投射面上の対象物のサイズは小さくなり、各ユーザの視点間の投射面上の対象物の位置の差が大きくなる。そのため、ユーザ毎の視覚情報が重なる可能性が低くなる。また、投射面上の対象物のサイズが小さくなると、視覚情報の表示位置の重要性が上昇し、表示位置の厳密さが要求されるようになる。
　一方、対象物までの距離が近くなるほど、投射面上の対象物のサイズは大きくなり、各ユーザの視点間の投射面上の対象物の位置の差が小さくなる。そのため、ユーザ毎の視覚情報が重なる可能性が高くなる。また、投射面上の対象物のサイズが大きくなると、視覚情報の表示位置の重要性が低下し、表示位置の厳密さが要求されなくなる。
　そこで、例えば、対象物までの距離が所定の閾値未満の場合、統合表示が選択され、対象部までの距離が所定の閾値以上の場合、個別表示が選択される。
　例えば、図１７は、対象物３２１が店舗であり、対象物３２１に関する情報（例えば、広告）を視覚情報として表示する場合の例を示している。図１７のＡは、ユーザ２０１ａに対する視覚情報３２２ａ及びユーザ２０１ａに対する視覚情報３２２ｂを個別表示した場合の例を示している。図１７のＢは、ユーザ２０１ａ及びユーザ２０１ｂに対する視覚情報３２３を統合表示した場合の例を示している。
　図１７に示されるように、対象物３２１までの距離が近く、投射面２０２上の対象物３２１のサイズが大きい場合、ユーザの視点によって視覚情報の表示位置が多少ずれても、視認性が低下したり、ユーザが他の対象物を誤認識したりする可能性は低い。そこで、図１７のＢのように、視覚情報３２３が統合表示される。
　なお、例えば、対象物までの距離の代わりに、投射面上の対象物のサイズに基づいて、表示方法が選択されるようにしてもよい。例えば、対象物のサイズが所定の閾値未満の場合、統合表示が選択され、対象部のサイズが所定の閾値以上の場合、個別表示が選択される。
　また、例えば、対象物までの距離とその変化量との組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。
　図１８は、対象物までの距離とその変化量との組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、対象物までの距離の変化量（単位はｍ／ｓｅｃ）を示している。横軸の対象物までの距離の変化量が０となる点より右の範囲では、右に行くほど距離が離れる方向への変化量が大きくなる。横軸の距離の変化量が０となる点より左の範囲では、左に行くほど距離が近づく方向への変化量が大きくなる。縦軸は、対象物までの距離（単位はｍ）を示している。
　そして、例えば、対象物までの距離と対象物までの距離の変化量との関係を示す曲線Ｃ１３より右斜め上の範囲において、個別表示が選択され、曲線Ｃ１３より左斜め下の範囲において、統合表示が選択される。
　例えば、図１８の矢印Ａ１６で示される領域付近では、現時点で対象物までの距離が遠いため各ユーザの視覚情報が重ならなくても、対象物までの距離が近づく方向に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。
　一方、例えば、図１８の矢印Ａ１７で示される領域付近では、現時点で対象物までの距離が近いため各ユーザの視覚情報が重なるとしても、対象物までの距離が離れる方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。
　さらに、例えば、投射面に対して水平な方向におけるユーザ間の距離（以下、単にユーザ間の距離と称する）に基づいて、表示方法が選択されるようにしてもよい。
　例えば、ユーザ間の距離が離れるほど、ユーザ間の視点が離れるため、各ユーザに対する投射面上の対象物の位置が離れる。従って、各ユーザに対して個別表示される視覚情報の位置が離れ、視覚情報が重なる可能性が低くなる。一方、ユーザ間の距離が近づくほど、ユーザ間の視点が近づくため、各ユーザに対する投射面上の対象物の位置が近づく。従って、各ユーザに対して個別表示される視覚情報の位置が近くなり、視覚情報が重なる可能性が高くなる。
　そこで、例えば、ユーザ間の距離が所定の閾値未満の場合、統合表示が選択され、ユーザ間の距離が所定の閾値以上の場合、個別表示が選択される。
　また、例えば、ユーザ間の距離とその変化量との組合せに基づいて、視覚情報の表示方法が選択されるようにしてもよい。
　図１９は、ユーザ間の距離とその変化量との組合せに基づいて、視覚情報の表示方法を選択する場合の判定基準の例を示すグラフである。横軸は、ユーザ間の距離の変化量（単位はｃｍ／ｓｅｃ）を示している。横軸のユーザ間の距離の変化量が０となる点より右の範囲では、右に行くほど距離が離れる方向への変化量が大きくなる。横軸の距離の変化量が０となる点より左の範囲では、左に行くほど距離が近づく方向への変化量が大きくなる。縦軸は、ユーザ間の距離（単位はｃｍ）を示している。
　そして、例えば、ユーザ間の距離とその変化量との関係を示す曲線Ｃ１４より右斜め上の範囲において、個別表示が選択され、曲線Ｃ１４より左斜め下の範囲において、統合表示が選択される。
　例えば、図１９の矢印Ａ１８で示される領域付近では、現時点でユーザ間の距離が遠いため視覚情報が重ならなくても、ユーザ間の距離が近づく方向に大きく変化しており、すぐに視覚情報が重なると予想される。そこで、例えば、各ユーザの視覚情報が重ならなくても、統合表示が選択される。
　一方、例えば、図１９の矢印Ａ１９で示される領域付近では、現時点でユーザ間の距離が近いため視覚情報が重なるとしても、ユーザ間の距離が遠ざかる方向に大きく変化しており、すぐに視覚情報が離れると予想される。そこで、例えば、各ユーザの視覚情報が重なっても、個別表示が選択される。
　なお、以上の判定方法は、その一例であり、他の判定方法を用いてもよい。また、複数の判定方法を組み合わせて、視覚情報の表示方法を選択するようにしてもよい。
　図１３に戻り、ステップＳ２０８において、表示方法設定部１３２が、視覚情報の表示方法を選択した結果、視覚情報を統合しないと判定した場合、処理はステップＳ２０９に進む。
　ステップＳ２０９において、図８のステップＳ１０５の処理と同様に、視覚情報を個別表示する位置が設定される。
　その後、処理はステップＳ２１２に進む。
　一方、ステップＳ２０８において、視覚情報を統合すると判定された場合、処理はステップＳ２１０に進む。
　ステップＳ２１０において、図８のステップＳ１０６の処理と同様に、視覚情報を統合表示する位置が設定される。
　その後、処理はステップＳ２１２に進む。
　一方、ステップＳ２０２において、視覚情報の表示位置が重要でないと判定された場合、処理はステップＳ２１１に進む。
　ステップＳ２１１において、図８のステップＳ１０７の処理と同様に、視覚情報を共通表示する位置が設定される。
　その後、処理はステップＳ２１２に進む。
　ステップＳ２１２において、図８のステップＳ１０８の処理と同様に、視覚情報が生成される。
　その後、視覚情報設定処理は終了する。
　以上のようにして、各ユーザに対する視覚情報の表示位置をより適切に設定することができる。
　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　例えば、ユーザの対象物の認識の有無に基づいて、視覚情報の表示方法が変更されるようにしてもよい。また、例えば、１つの対象物に対して複数の種類の視覚情報を表示する場合に、視覚情報毎に表示方法が異なるようにしてもよい。
　図２０は、対象物４０１が有名人である場合に、マーキング及びラベルの２種類の視覚情報を対象物４０１に対して表示するときの例を示している。
　図２０のＡ１及びＢ１は、視覚情報を個別表示した場合の例を示している。図２０のＡ１は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図２０のＢ１は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。
　視覚情報４０２ａは、ユーザ２０１ａに対するマーキングであり、ユーザ２０１ａから見て対象物４０１の周囲を囲んでいる。視覚情報４０３ａは、ユーザ２０１ａに対するラベルであり、ユーザ２０１ａから見て対象物４０１の右上に表示されている。
　視覚情報４０２ｂは、ユーザ２０１ｂに対するマーキングであり、ユーザ２０１ｂから見て対象物４０１の周囲を囲んでいる。視覚情報４０３ｂは、ユーザ２０１ｂに対するラベルであり、ユーザ２０１ｂから見て対象物４０１の右上に表示されている。
　図２０のＡ２及びＢ２は、ユーザ２０１ｂが対象物４０１を認識している場合の視覚情報の表示例を示している。図２０のＡ２は、ユーザ２０１ａの視点Ａから見た投射面２０２の様子を模式的に示し、図２０のＢ２は、ユーザ２０１ｂの視点Ｂから見た投射面２０２の様子を模式的に示している。
　ユーザ２０１ｂが対象物４０１をすでに認識しているため、ユーザ２０２ｂに対して対象物４０１の位置を示す必要はない。従って、視覚情報４０２ｂが消去される。
　また、マーキングの表示位置は、対象物４０１の正確な位置を示すため重要であるが、ラベルの表示位置は、マーキング内の対象物４０１が有名人であることが分かる程度でよく、それほど重要ではない。そこで、例えば、視覚情報４０３ａと視覚情報４０３ｂの代わりに、両者の表示位置のほぼ中央に、両者と同内容の視覚情報４０４が統合表示される。
　また、ユーザが３人以上いる場合、例えば、条件に応じて、一部のユーザに対する視覚情報が統合表示され、他のユーザに対する視覚情報が個別表示されるようにしてもよい。例えば、一部のユーザに対する視覚情報が互いに干渉する場合、その一部のユーザに対する視覚情報が統合表示され、他のユーザに対する視覚情報が個別表示される。
　さらに、本技術は、投射面が複数の場合にも適用することができる。例えば、本技術は、車両１１のウインドシールド以外の窓も投射面に用いる場合にも適用することができる。
　また、本技術は、車両以外にも、複数のユーザが搭乗し、複数のユーザに対してＡＲを用いて視覚情報を表示可能な移動体に適用することができる。例えば、飛行機、ヘリコプター、船舶、建設機械、農業機械（トラクター）等の移動体に本技術を適用することができる。
　さらに、本技術は、例えば、移動体以外にも、複数のユーザに対して視覚情報を表示し、ユーザ及び対象物のうち少なくとも１つが投射面に対して移動可能な装置やシステムに適用することができる。例えば、観光地等において、複数のユーザに対してランドマーク等に関する視覚情報を透明なスクリーンに投射して表示する場合に、本技術を適用することができる。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
　設定された前記表示方法により前記視覚情報の表示を制御する表示制御部と
　を備え、
　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
　情報処理装置。
（２）
　前記表示方法設定部は、前記視覚情報、前記視覚情報の対象となる対象物、及び、各ユーザのうち少なくとも１つに基づいて、前記表示方法を設定する
　前記（１）に記載の情報処理装置。
（３）
　前記表示方法設定部は、前記視覚情報が投射される投射面上における前記視覚情報の状態に基づいて、前記表示方法を設定する
　前記（２）に記載の情報処理装置。
（４）
　前記表示方法設定部は、前記投射面上においてユーザ毎の前記視覚情報が干渉する場合、前記統合表示を選択し、ユーザ毎の前記視覚情報が干渉しない場合、前記個別表示を選択する
　前記（３）に記載の情報処理装置。
（５）
　前記表示方法設定部は、前記投射面上において複数の前記視覚情報が重なっている量である重なり量、及び、前記重なり量の変化量に基づいて、前記表示方法を設定する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記表示方法設定部は、前記投射面上における前記視覚情報のサイズ及び移動速度のうち少なくとも１つに基づいて、前記表示方法を設定する
　前記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記表示方法設定部は、前記対象物の状態に基づいて、前記表示方法を設定する
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記表示方法設定部は、前記視覚情報が投射される投射面から前記対象物までの距離に基づいて、前記表示方法を設定する
　前記（７）に記載の情報処理装置。
（９）
　前記表示方法設定部は、さらに前記対象物までの距離の変化量に基づいて、前記表示方法を設定する
　前記（８）に記載の情報処理装置。
（１０）
　前記表示方法設定部は、前記視覚情報が投射される投射面上の前記対象物のサイズに基づいて、前記表示方法を設定する
　前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記表示方法設定部は、各ユーザの状態に基づいて、前記表示方法を設定する
　前記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記表示方法設定部は、前記視覚情報が投射される投射面に対して水平な方向におけるユーザ間の距離に基づいて、前記表示方法を設定する
　前記（１１）に記載の情報処理装置。
（１３）
　前記表示方法設定部は、さらに前記ユーザ間の距離の変化量に基づいて、前記表示方法を設定する
　前記（１２）に記載の情報処理装置。
（１４）
　前記表示方法設定部は、各ユーザの前記対象物の認識の有無に基づいて、前記表示方法を設定する
　前記（１１）に記載の情報処理装置。
（１５）
　前記表示方法設定部は、前記視覚情報の内容に基づいて、前記表示方法を設定する
　前記（２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記表示方法は、前記対象物とは無関係に前記視覚情報を１つ表示する共通表示を含み、
　前記表示方法設定部は、前記視覚情報に対して前記対象物が存在する場合、前記統合表示又は前記個別表示を選択し、前記視覚情報に対して前記対象物が存在しない場合、前記共通表示を選択する
　前記（２）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記視覚情報は、複数のユーザの視界内の移動体の外の現実世界又は前記現実世界の動画像に重ね合わせて表示される
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
　設定された前記表示方法により前記視覚情報の表示を制御し、
　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
　情報処理方法。
（１９）
　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
　設定された前記表示方法により前記視覚情報の表示を制御し、
　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
　処理をコンピュータに実行させるためのプログラム。
（２０）
　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
　前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、
　設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部と
　を備え、
　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
　移動体。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　車両，　２１　情報処理部，　３１　データ取得部，　３２　車内情報取得部，　３３　車外情報取得部，　３４　出力情報設定部，　３５　出力制御部，　３６　出力部，　１１１　ユーザ情報取得部，　１１２　音声認識部，　１１３　車両情報検出部，　１２１　物体認識部，　１２２　周辺情報取得部，　１３１　視覚情報生成部，　１３２　表示方法設定部，　１４１　表示制御部，　１５１　表示装置，　２０１ａ，２０１ｂ　ユーザ，　２０２　投射面，　２０３　対象物

Claims (20)

  1. 　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
    　設定された前記表示方法により前記視覚情報の表示を制御する表示制御部と
    　を備え、
    　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    　情報処理装置。
  2. 　前記表示方法設定部は、前記視覚情報、前記視覚情報の対象となる対象物、及び、各ユーザのうち少なくとも１つに基づいて、前記表示方法を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記表示方法設定部は、前記視覚情報が投射される投射面上における前記視覚情報の状態に基づいて、前記表示方法を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記表示方法設定部は、前記投射面上においてユーザ毎の前記視覚情報が干渉する場合、前記統合表示を選択し、ユーザ毎の前記視覚情報が干渉しない場合、前記個別表示を選択する
    　請求項３に記載の情報処理装置。
  5. 　前記表示方法設定部は、前記投射面上において複数の前記視覚情報が重なる量である重なり量、及び、前記重なり量の変化量に基づいて、前記表示方法を設定する
    　請求項３に記載の情報処理装置。
  6. 　前記表示方法設定部は、前記投射面上における前記視覚情報のサイズ及び移動速度のうち少なくとも１つに基づいて、前記表示方法を設定する
    　請求項３に記載の情報処理装置。
  7. 　前記表示方法設定部は、前記対象物の状態に基づいて、前記表示方法を設定する
    　請求項２に記載の情報処理装置。
  8. 　前記表示方法設定部は、前記視覚情報が投射される投射面から前記対象物までの距離に基づいて、前記表示方法を設定する
    　請求項７に記載の情報処理装置。
  9. 　前記表示方法設定部は、さらに前記対象物までの距離の変化量に基づいて、前記表示方法を設定する
    　請求項８に記載の情報処理装置。
  10. 　前記表示方法設定部は、前記視覚情報が投射される投射面上の前記対象物のサイズに基づいて、前記表示方法を設定する
    　請求項７に記載の情報処理装置。
  11. 　前記表示方法設定部は、各ユーザの状態に基づいて、前記表示方法を設定する
    　請求項２に記載の情報処理装置。
  12. 　前記表示方法設定部は、前記視覚情報が投射される投射面に対して水平な方向におけるユーザ間の距離に基づいて、前記表示方法を設定する
    　請求項１１に記載の情報処理装置。
  13. 　前記表示方法設定部は、さらに前記ユーザ間の距離の変化量に基づいて、前記表示方法を設定する
    　請求項１２に記載の情報処理装置。
  14. 　前記表示方法設定部は、各ユーザの前記対象物の認識の有無に基づいて、前記表示方法を設定する
    　請求項１１に記載の情報処理装置。
  15. 　前記表示方法設定部は、前記視覚情報の内容に基づいて、前記表示方法を設定する
    　請求項２に記載の情報処理装置。
  16. 　前記表示方法は、前記対象物とは無関係に前記視覚情報を１つ表示する共通表示を含み、
    　前記表示方法設定部は、前記視覚情報に対して前記対象物が存在する場合、前記統合表示又は前記個別表示を選択し、前記視覚情報に対して前記対象物が存在しない場合、前記共通表示を選択する
    　請求項２に記載の情報処理装置。
  17. 　前記視覚情報は、複数のユーザの視界内の移動体の外の現実世界又は前記現実世界の動画像に重ね合わせて表示される
    　請求項１に記載の情報処理装置。
  18. 　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
    　設定された前記表示方法により前記視覚情報の表示を制御し、
    　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    　情報処理方法。
  19. 　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定し、
    　設定された前記表示方法により前記視覚情報の表示を制御し、
    　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    　処理をコンピュータに実行させるためのプログラム。
  20. 　複数のユーザの視界に重ね合わせて表示する視覚情報の表示方法を設定する表示方法設定部と、
    　前記視覚情報を所定の投射面に投射することにより、現実世界又は前記現実世界の動画像に前記視覚情報を重ね合わせる表示部と、
    　設定された前記表示方法により前記表示部による前記視覚情報の表示を制御する表示制御部と
    　を備え、
    　前記表示方法は、ユーザ毎に個別に前記視覚情報を表示する個別表示、及び、複数のユーザに対する前記視覚情報を統合して表示する統合表示を含む
    　移動体。
PCT/JP2019/024212 2018-07-03 2019-06-19 情報処理装置、情報処理方法、プログラム、及び、移動体 WO2020008876A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-126758 2018-07-03
JP2018126758A JP2021165766A (ja) 2018-07-03 2018-07-03 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (1)

Publication Number Publication Date
WO2020008876A1 true WO2020008876A1 (ja) 2020-01-09

Family

ID=69060236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024212 WO2020008876A1 (ja) 2018-07-03 2019-06-19 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (2)

Country Link
JP (1) JP2021165766A (ja)
WO (1) WO2020008876A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023056411A (ja) 2021-10-07 2023-04-19 株式会社Space Walker 高圧ガス容器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292296A (ja) * 2008-06-04 2009-12-17 Toyota Motor Corp 車載表示システム
JP2011180177A (ja) * 2010-02-26 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2012108470A (ja) * 2010-10-22 2012-06-07 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
WO2018100377A1 (en) * 2016-11-30 2018-06-07 Cambridge Enterprise Limited Multi-dimensional display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292296A (ja) * 2008-06-04 2009-12-17 Toyota Motor Corp 車載表示システム
JP2011180177A (ja) * 2010-02-26 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2012108470A (ja) * 2010-10-22 2012-06-07 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
WO2018100377A1 (en) * 2016-11-30 2018-06-07 Cambridge Enterprise Limited Multi-dimensional display

Also Published As

Publication number Publication date
JP2021165766A (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
EP3496068A1 (en) Travel assistance device and computer program
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
US11525694B2 (en) Superimposed-image display device and computer program
JP2023159121A (ja) 情報処理装置、情報処理方法、プログラム、および移動体
US20120235805A1 (en) Information display apparatus and information display method
KR20160142167A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
JP2008280026A (ja) 運転支援装置
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
US11100718B2 (en) Method for operating a display device in a motor vehicle
JP2017007481A (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11260856B2 (en) Information display device, information display method, and recording medium
JP2010185761A (ja) ナビゲーションシステム、道路地図表示方法
KR20190016815A (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2020008876A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP2023165721A (ja) 表示制御装置
US11973922B2 (en) Vehicular travel-environment display apparatus
JP2020126478A (ja) 表示制御装置及び表示制御プログラム
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
WO2022224754A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
US11645038B1 (en) Augmented reality head-up display for audio event awareness
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829975

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19829975

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP