WO2021192469A1 - 表示装置、表示方法、及び車両 - Google Patents

表示装置、表示方法、及び車両 Download PDF

Info

Publication number
WO2021192469A1
WO2021192469A1 PCT/JP2020/048570 JP2020048570W WO2021192469A1 WO 2021192469 A1 WO2021192469 A1 WO 2021192469A1 JP 2020048570 W JP2020048570 W JP 2020048570W WO 2021192469 A1 WO2021192469 A1 WO 2021192469A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
vehicle
information
display device
virtual
Prior art date
Application number
PCT/JP2020/048570
Other languages
English (en)
French (fr)
Inventor
肇 本間
睦 日向
雅弘 姉崎
裕忠 柳沼
綾乃 河江
愛絵 廣澤
コウミ バク
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to DE112020006955.9T priority Critical patent/DE112020006955T5/de
Priority to CN202080098828.9A priority patent/CN115298520A/zh
Publication of WO2021192469A1 publication Critical patent/WO2021192469A1/ja
Priority to US17/947,834 priority patent/US20230014553A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J1/00—Windows; Windscreens; Accessories therefor
    • B60J1/02—Windows; Windscreens; Accessories therefor arranged at the vehicle front, e.g. structure of the glazing, mounting of the glazing
    • B60K35/10—
    • B60K35/22—
    • B60K35/28—
    • B60K35/60—
    • B60K35/81—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/77—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B60K2360/149—
    • B60K2360/177—
    • B60K2360/31—
    • B60K2360/785—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments

Definitions

  • This disclosure relates to display devices, display methods, and vehicles.
  • Patent Document 1 discloses a technique for associating a photograph having geographical information such as a landscape or a building with the shooting point. According to the technology of Patent Document 1, a mobile phone, a personal computer, etc. can be used by connecting a photograph having geographic information and information such as the direction in which the photograph was taken to a shooting point on the map on an electronic map management server. It is possible to show the user of the display terminal of the landscape in the direction in which he / she is actually looking.
  • the non-limiting embodiment of the present disclosure contributes to the provision of a display device, a display method, and a vehicle capable of providing a virtual object corresponding to an object such as a landscape to a moving occupant.
  • the display device corresponds to the object based on the positional relationship between the display unit provided on the moving body, the object visible through the display unit from the inside of the moving body, and the moving body.
  • a display control unit that controls the display of a virtual object on the display unit is provided.
  • the vehicle according to the embodiment of the present disclosure is provided with the above display device.
  • the display method is a virtual object corresponding to the object based on the positional relationship between the moving object and the object visible through the display unit window provided on the moving body from the inside of the moving body. Includes a step of determining a display position when displaying the virtual object on the display unit, and a step of displaying the virtual object at the display position.
  • FIG. 1 is a diagram showing a configuration example of a display system according to an embodiment of the present disclosure.
  • the display system 1 includes an in-vehicle device 30 mounted on each of the plurality of mobile bodies 3 and a center server 5 capable of communicating with the in-vehicle device 30.
  • the moving body 3 is, for example, a vehicle such as a passenger car, a freight car, a shared car, a motorcycle, or a railroad car.
  • the moving body 3 is not limited to a vehicle, and may be an aircraft, amusement equipment, or the like. Hereinafter, the case where the moving body 3 is a vehicle will be described.
  • V2X is a communication technology that connects a car and various things.
  • V2X has communication such as V2V (Vehicle to Vehicle: between vehicles), V2P (Vehicle to Pedestrian: between vehicle pedestrians), V2I (Vehicle to Infrastructure: between road vehicles), V2N (Vehicle to Network: between vehicle networks), etc. included.
  • the ECU 32 is an electronic control unit that performs various control processes related to a predetermined function in the vehicle, and is, for example, a motor ECU, a hybrid ECU, an engine ECU, or the like.
  • the ECU 32 collects vehicle information and inputs it to the DCM 31, for example.
  • the vehicle state information includes the operating state of the wiper, the state of the defogger, the accelerator opening, the amount of depression of the brake, the amount of steering of the steering wheel, and the information acquired from ADAS (Advanced Driver-Assistance Systems).
  • ADAS Advanced Driver-Assistance Systems
  • the imaging information is information indicating the content of the image captured by the imaging device 36.
  • the imaging information includes time information indicating the time when the image was generated.
  • the image pickup device 36 is a camera including an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image pickup device 36 includes, for example, an internal image pickup device that images the inside of the vehicle, an external image pickup device that images the outside of the vehicle, and the like.
  • the internal imaging device is arranged at a position where, for example, the face of the occupant in the driver's seat, the passenger seat, etc. of the vehicle, the face of the occupant in the rear seat, etc. can be imaged.
  • the location is the dashboard of the vehicle, the instrument panel in the driver's seat, the ceiling of the vehicle, and the like.
  • the number of internal imaging devices is not limited to one, and a plurality of internal imaging devices may be provided in the vehicle.
  • the internal imaging device outputs imaging information indicating the contents of the captured vehicle interior image.
  • the external imaging device is an omnidirectional camera, a panoramic camera, etc. that captures the scenery around the vehicle.
  • the scenery around the vehicle is, for example, the scenery in front of the vehicle, the scenery on the side of the vehicle (the driver's door side of the vehicle or the passenger's door side of the vehicle), the scenery behind the vehicle, and the like.
  • the landscape includes, for example, a road on which a vehicle is traveling, an object existing on the road, a sidewalk facing the road, an object existing on the sidewalk, and the like.
  • Objects existing on the roadway are, for example, passenger cars, motorcycles, buses, taxis, buildings, structures (advertisements, road signs, traffic lights, telephone poles, etc.), people, animals, falling objects, and the like.
  • Objects present on the sidewalk are, for example, pedestrians, animals, bicycles, workpieces, animals, falling objects, and the like.
  • the external image pickup device is arranged at a position where, for example, an image of a landscape outside the vehicle can be taken.
  • the positions are front grille, side mirrors, ceiling, rear bumper, etc.
  • the external imaging device outputs imaging information indicating the content of the captured vehicle exterior image.
  • the GPS module 33 receives a GPS signal transmitted from a satellite and positions the vehicle on which the GPS module 33 is mounted.
  • the GPS module 33 is communicably connected to the ECU 32 through the CAN 38, and the vehicle position information is transmitted to the ECU 32.
  • the ACC switch 34 is a switch that turns on / off the accessory power supply of the vehicle according to the operation of the occupant.
  • the ACC switch 34 turns on / off the accessory power supply according to the operation of the power switch provided on the instrument panel near the steering of the driver's seat in the vehicle interior.
  • the power switch is, for example, a button-type switch for operating an ignition (not shown).
  • the output signal of the ACC switch 34 is an example of information indicating the start and stop of the vehicle. Specifically, when the output signal of the ACC switch 34 changes from an OFF signal to an ON signal, it indicates the start of the vehicle, and when the output signal of the ACC switch 34 changes from an ON signal to an OFF signal, the vehicle stops. Represents.
  • the ACC switch 34 is communicably connected to the ECU 32 and the like through the CAN 38, and its status signal (ON signal / OFF signal) is transmitted to the ECU 32.
  • the sensor 35 includes a sensor that detects the voltage applied to the inverter, a sensor that detects the voltage applied to the motor, a sensor that detects the vehicle speed, a sensor that detects the accelerator opening, a sensor that detects the steering amount of the steering wheel, and a brake. It is a sensor that detects the amount of operation. Further, the sensor 35 may include, for example, an acceleration sensor for detecting the acceleration of the vehicle, an angular velocity sensor (gyro sensor) for detecting the angular velocity of the vehicle, and the like. The detection information output from the sensor 35 is taken into the ECU 32 through the CAN 38.
  • the vehicle window includes a window entirely composed of a display device 14 (transparent liquid crystal display), that is, a window that does not use glass (a window is composed of only a transparent liquid crystal display).
  • the display device 14 is not limited to the above configuration example, and the light transmission rate is electronically applied to a transparent liquid crystal display, a transparent organic EL display, a transparent micro LED, a transparent screen film for forming a projector image, or the like.
  • a structure in which a changing light control film or the like is laminated and laminated may be used.
  • the film to be laminated on the glass is arranged within, for example, 90% of the outer shape of the glass that can be visually recognized from the inside of the vehicle.
  • the center server 5 is a server that provides various services by collecting information from a plurality of vehicles and distributing information to the occupants of the plurality of vehicles.
  • Various services include, for example, a car sharing service, an authentication key service, a trunk delivery service, a B2C car sharing service, and an advertisement distribution service.
  • the center server 5 includes a communication device 51 and an information processing device 52.
  • the communication device 51 is a communication device that bidirectionally communicates with each of a plurality of vehicles through the communication network NW under the control of the information processing device 52.
  • the information processing device 52 executes various control processes in the center server 5.
  • the information processing device 52 includes, for example, a server computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device, an input / output interface, and the like.
  • FIG. 2 is a diagram showing a hardware configuration example of the ECU of the in-vehicle device.
  • the ECU 32 includes an auxiliary storage device 32A, a memory device 32B, a CPU 32C, and an interface device 32D. These are connected to each other by a bus line 32E.
  • the auxiliary storage device 32A is an HDD (Hard Disk Drive), a flash memory, or the like that stores files and data required for processing by the ECU 32.
  • the memory device 32B reads and stores the program from the auxiliary storage device 32A when the program is instructed to start.
  • the CPU 32C executes a program stored in the memory device 32B, and realizes various functions of the ECU 32 according to the program.
  • the interface device 32D is an interface that connects, for example, the CPU 32C to the DCM 31 via the CAN 38, and connects the image pickup device 36, the sensor 35, and the like to the DCM 31 via the CAN 38.
  • FIG. 3 is a diagram showing a configuration example of the function of the ECU of the in-vehicle device.
  • the display position determination unit 22 determines the display position of the display information on the display device 14. As a scene of using the display position determination unit 22, for example, in the display device 14, since the display information is superimposed on the scenery through the display unit, the display information may be displayed in association with the line-of-sight direction of the occupant. Be done.
  • a method of determining the display position of the display information will be described.
  • the display position determining unit 22 extracts the occupant's face from the vehicle interior image transmitted from the internal imaging device, for example, and based on the position and orientation of the occupant's face in the vehicle and the vehicle position, the display device 14 Identify the position of the occupant who visually recognizes the screen.
  • the display position determination unit 22 specifies, for example, the position where the screen of the display device 14 is provided in the vehicle as the screen position. For example, since the position of the screen of the display device 14 is determined when the display device 14 is installed in the vehicle, the vehicle identification information corresponding to the vehicle is associated with the information indicating the screen position of the display device 14. , The associated information is recorded in the memory device 32B or the like.
  • the vehicle identification information includes a vehicle identification number (VehicleIndexNumber), a vehicle ID (Identifier), and the like.
  • the display position determination unit 22 reads out the screen position of the display device 14 by referring to the memory device 32B at the time of starting the in-vehicle device 30 and using the vehicle identification information. Thereby, it can be specified that the screen of the display device 14 is provided on, for example, a windshield, a side glass, or the like.
  • the display position determination unit 22 specifies the display position of the display information in the scenery through the display screen. Specifically, the display position determination unit 22 extracts a building or the like from two frames of the vehicle exterior image continuously captured, and based on the difference in position between the two frames of the building or the like in the vehicle exterior image, the stereo camera. The distance from the external image pickup device to the building etc. is calculated according to the principle of. Subsequently, the display position determining unit 22 identifies the position of the building or the like based on the distance from the external imaging device to the building or the like and the vehicle position.
  • the display position determination unit 22 may be configured to specify the display position of the display information by another method. For example, the display position determining unit 22 calculates the latitude and longitude ranges corresponding to the landscape region included in the vehicle exterior image based on the vehicle position and the imaging range of the external imaging device. Then, the display position determination unit 22 specifies the display position of the display information by searching the display information DB 332 for the display position of the display information within the calculated latitude and longitude ranges.
  • the display position determination unit 22 determines the display position of the display information based on the specified current position of the occupant, the screen position, the display position of the display information, and the like. Details of the method for determining the display position will be described later.
  • the imaging information management unit 323 inputs the imaging information transmitted from the imaging device 36 for a certain period of time, and embeds the time and vehicle position information in the transmitted imaging information to create an imaging information table (imaging information DB 3292). create.
  • the CPU 16 has a communication processing unit 5201 that transmits and receives various information to and from each of the plurality of vehicles, an information display object extraction unit 5205, a vehicle identification unit 5212, a command transmission unit 5213, a map matching unit 5214, and a probe information generation.
  • a unit 5215 is provided.
  • the storage unit 520 includes a map information DB 520A, a probe information DB 520B, an information display object DB 520F, a vehicle information DB 520H, and an imaging information DB 520J.
  • the information display object extraction unit 5205 extracts an information display object from the image pickup information of the image pickup apparatus 36 stored in the probe information DB 520B and included in the probe information of each of the plurality of vehicles, based on the known image recognition process. Then, the information display object extraction unit 5205 attaches identification information unique to the extracted information display object, and then links the identification information with meta information such as an image of the information display object and position information of the information display object. Then, it is saved in the information display object DB520F. As a result, in the information display object DB520F, in addition to the information related to the information display object registered in advance such as the signboard and the digital signage on which the advertisement information of the predetermined advertiser is displayed, the information display object extraction unit 5205 extracts the information.
  • the position information of the information display object attached as meta information may be the vehicle position information itself included in the same probe information as the imaging information that is the extraction source, or the information display for the vehicle calculated from the imaging information.
  • the position information may be in consideration of the relative position information of the object.
  • the information display object extraction unit 5205 does not save the information related to the extracted information display object in the information display object DB 520F when the extracted information display object is the same as the information display object already registered in the information display object DB 520F. ..
  • processing by the information display object extraction unit 5205 may be executed in real time in response to probe information sequentially received from each of the plurality of vehicles by the communication processing unit 5201, and may be periodically accumulated to some extent. It may be executed for unprocessed probe information.
  • the vehicle identification unit 5212 identifies a vehicle that has passed through a geographical position or area for which imaging information is to be collected, based on the vehicle position information.
  • three-dimensional advanced dynamic map information dynamic map
  • the field for which this dynamic map is created can be an example of a geographical location or area for which imaging information is to be collected.
  • the vehicle identification unit 5212 when the vehicle identification unit 5212 inputs vehicle position information transmitted from each of a plurality of vehicles, the vehicle identification unit 5212 collates the vehicle position information with the position or area to be collected, thereby causing the vehicle passing through the position or area. judge. Then, the vehicle information including the vehicle position information for which the passage is determined is selected from the vehicle information transmitted from each of the plurality of vehicle-mounted devices 30, and the vehicle identification information included in the selected vehicle information is extracted. The vehicle identification unit 5212 that has extracted the vehicle identification information transfers the extracted vehicle identification information to the command transmission unit 5213.
  • the command transmission unit 5213 that has input the vehicle identification information from the vehicle identification unit 5212 is assigned to the vehicle to which the vehicle identification information is assigned among the vehicle groups that are communicably connected to the center server 5 via the communication network NW.
  • an imaging information request command is transmitted.
  • the imaging information delivered in response to the imaging information request command is associated with the data collection target area information and recorded in the storage unit 520 as the imaging information DB 520J.
  • FIG. 5 is a cross-sectional view of the display device.
  • the display device 14 is provided on the vehicle, for example, by being attached to the inside or outside of the window of the vehicle.
  • the method of arranging the display device 14 on the vehicle is not limited to this, and for example, the display device 14 is fixed to the frame of the vehicle so that the screen of the display device 14 faces the inside or the outside of the window of the vehicle. It may be provided. Further, the display device 14 may be provided embedded in the window of the vehicle. Further, the display device 14 may be provided so as to cover the entire area of the window of the vehicle, or may be provided so as to cover a part of the window of the vehicle.
  • the display device 14 has, for example, a structure in which an electron transmission control film 14a is sandwiched between two transparent OLEDs 14b1 and two transparent OLEDs 14b2.
  • transparent OLEDs when the two transparent OLEDs 14b1 and the transparent OLED14b2 are not distinguished, they are referred to as "transparent OLEDs".
  • the electron transmission control film 14a is an example of a transmission type display unit whose transparency can be changed.
  • the transparent OLED 14b1 and the transparent OLED 14b2 are examples of a display information display unit capable of displaying display information.
  • the electron transmission control film 14a controls, for example, the shade of the landscape seen through the display unit of the vehicle or the shade of the image displayed on the transparent OLED by changing the transparency (visible light transmittance). can do.
  • the electron transmission control film 14a may be one that can uniformly change the transparency of the entire electron transmission control film 14a, or may be one that can change the transparency of a part of the electron transmission control film 14a.
  • As a method of changing the transparency of the electron transmission control film 14a for example, an electrochromic method, a gas chromic method capable of faster dimming control than the electrochromic method, and the like can be exemplified.
  • the transparent OLED 14b1 is an example of a transparent display directed toward the first end surface side of the electron transmission control film 14a.
  • the first end surface side of the electron transmission control film 14a is, for example, the inside of a window.
  • the transparent OLED 14b2 is an example of a transparent display directed to the second end surface side of the electron transmission control film 14a opposite to the first end surface side.
  • the second end surface side of the electron transmission control film 14a is the outside of the vehicle.
  • the display device 14 may be provided with a transparent liquid crystal display instead of the transparent OLED.
  • the display device 14 By providing the display device 14 with two transparent OLEDs, it is possible to display different display information on the inside and outside of the window.
  • a navigation screen such as a map on the transparent OLED 14b2 and display an advertisement image or the like on the transparent OLED 14b2 in a state where the transparency of the electron transmission control film 14a is lowered.
  • the two transparent OLEDs may display different display information, or may display the same or similar display information to each other.
  • the transparent OLED 14b1 displays only the instruction video image
  • the transparent OLED 14b2 displays the instruction video image with the transparency of the electron transmission control film 14a lowered.
  • the moving image of the person who is exercising may be displayed on two screens.
  • the configuration example of the display device 14 is not limited to the illustrated example.
  • the display device 14 may be configured to include only one of the two transparent OLEDs.
  • the display control unit 26 uses, for example, table information in which the vehicle speed and the transparency are associated with each other.
  • the table information may be pre-recorded in the memory device 32B or may be distributed from the center server 5.
  • the display control unit 26 that has input the vehicle speed information refers to the table information, and for example, sets the first transparency in the first speed region and lowers the first transparency in the second speed range higher than the first speed range. 2 Make it transparent.
  • the first transparency is, for example, a state in which the visible light transmittance is 80%.
  • the second transparency is, for example, a state in which the visible light transmittance is 30%.
  • the first speed region is, for example, a speed from 0 km / h to 80 km / h.
  • the second speed region is, for example, a speed of 80 km / h or more.
  • the automatic driving mode when the vehicle is traveling in the town in the first speed region, the driver can visually recognize the scenery through the display unit even when it is necessary to avoid obstacles. Therefore, the operation of avoiding obstacles can be performed immediately.
  • the automatic driving mode when the vehicle is traveling on a bypass road, a highway, etc. in the second speed region, there are few scenes to avoid obstacles, etc. You can concentrate on listening to music and reading.
  • the transparency may be changed stepwise according to the vehicle speed, or may be continuously changed according to the vehicle speed.
  • the display control unit 26 can change the transparency by using, for example, the weather information distributed on the Internet, the operating state information of the wiper, the operating state information of the defogger, and the like.
  • the weather information distributed on the Internet for example, the weather information distributed on the Internet
  • the operating state information of the wiper for example, the operating state information of the defogger
  • the display control unit 26 increases the transparency of the region below the center of the display device 14, for example, and is higher than the center of the display device 14. Reduce the transparency of the upper area.
  • the display control unit 26 sets the overall visible light transmittance of the display device 14 to a high transparency such as around 80%.
  • the display control unit 26 that has input the time information refers to the table information and sets the overall transparency of the display device 14 to around 50% in order to reduce glare of the driver and the like in the early morning and in the daytime. do. Further, the display control unit 26 sets the overall transparency of the display device 14 to around 80% in order to secure the field of view at night and at midnight.
  • the display control unit 26 may be configured to compare the brightness inside the vehicle with the brightness outside the vehicle and lower the transparency only when the brightness inside the vehicle is brighter than the brightness outside the vehicle.
  • the comparison between the brightness inside the car and the brightness outside the car is the average brightness level before the white balance adjustment of the outside shooting device that shoots the outside of the car during automatic driving and the average brightness before the white balance adjustment of the internal shooting device that shoots the inside of the car. It is done by comparison with the level.
  • the table information When changing the transparency based on the vehicle condition information, for example, prepare a plurality of table information for each type of vehicle condition information, and in each table information, for example, the transparency for the accelerator opening, the amount of depression of the brake, the amount of steering of the steering wheel, etc. Are associated with each other.
  • the table information may be pre-recorded in the memory device 32B or may be distributed from the center server 5.
  • the display control unit 26 which has input information regarding the accelerator opening, sets the overall transparency of the display device 14 to around 80%, for example, when the accelerator opening is large. As a result, for example, when the vehicle travels on a steep uphill with continuous curves such as a mountain road, the display device 14 is not shielded from light, which contributes to safe driving of the driver and superimposes the passenger on the landscape. You can enjoy the display image displayed by
  • the transparency of the region is set to around 80%, and the transparency of the region above the center of the display device 14 is set to around 30%.
  • the display control unit 26 which has input information regarding the amount of depression of the brake, sets the overall transparency of the display device 14 to 80, for example, when the number of times the brake is depressed during a certain period of time is large or the amount of depression of the brake during a certain period of time is large. Set to around%. As a result, for example, when a vehicle travels in an urban area with heavy traffic, the display device 14 is not shielded from light, which contributes to safe driving of the driver and allows passengers to display a display image superimposed on the landscape. Can be enjoyed.
  • the transparency of the region is set to around 80%, and the transparency of the region above the center of the display device 14 is set to around 30%.
  • the display control unit 26 may change the transparency of the display device 14 according to the congestion situation of the road. Specifically, according to the traffic information delivered when the vehicle is traveling on the highway, if the road on which the vehicle is traveling is congested for several minutes, the vehicle speed will decrease for a short time. The transparency is set to around 80% so that passengers and the like can enjoy the scenery through the display unit. On the other hand, if there is a traffic jam of several tens of minutes or more on the road on which the vehicle is traveling, it is forced to drive at a low speed for a relatively long time. In this case, the display control unit 26 sets the transparency to around 30% in order to entertain the driver of the vehicle with the displayed image, and changes the transparency from around 30% to around 80% when the traffic jam is resolved.
  • the display device 14 may be a combination of the electron transmission control film 14a and the head-up display.
  • the information projected from the head-up unit is projected onto the electron transmission control film 14a provided on the window via a reflection mirror or the like so that the driver can visually recognize the information as a virtual image.
  • the operation can be finely assisted. For example, when the vehicle is traveling on a snowy road, the display device 14 sets the transparency of a part of the electron transmission control film 14a on which the virtual image is projected to be lower than the transparency of the other areas. Therefore, the virtual image that overlaps the snowy road can be clearly displayed.
  • the head-up display is displayed. It is better to use the display part of the above to display the image with the transparency partially reduced.
  • a HOE Holographic Optical Element
  • diffracts only a specific wavelength can be exemplified, and in this case, the above-mentioned image adjustment becomes unnecessary.
  • the display control unit 26 may change the transparency by using, for example, the information distributed by V2X communication.
  • V2X communication not only vehicle-to-vehicle communication but also communication between a vehicle and a person having a communication terminal, communication between a vehicle and a roadside machine, and the like are possible.
  • V2X communication provides information indicating the state of traffic signals, traffic regulation information, traffic obstacle information (information on road surface freezing, road flooding, falling objects on the road, etc.), position information of moving objects existing around the vehicle, and the like.
  • NS the information distributed by V2X communication.
  • the display control unit 26 may display the message information prompting the warning on the display device 14.
  • the display control unit 26 displays, for example, an image of a moving object approaching the vehicle in real time on the display device 14 by using the imaging information obtained from the external imaging device, and also around the vehicle.
  • the speed at which the moving body approaches the vehicle is estimated from the position of the existing moving body, the amount of movement of the moving body per unit time, and the like.
  • the display control unit 26 displays message information prompting a warning on the display device 14.
  • the display control unit 26 can determine the flooded place, the flooded amount, the detour that bypasses the flooded place, and the like and display it on the display device 14 by cooperating with the navigation device. ..
  • An AR object is an object in which an image created by rendering based on spatial information about a specific object is faded into or superimposed on a landscape image.
  • the VR object is a virtualized object, for example, a computer graphics image created based on a high-definition 3D map, an object image embedded in a moving image taken during traveling, and the like.
  • the AR object 9B is not limited to the one related to the coupon code, and may be, for example, the content of the campaign carried out in the store, the company, etc. expressed by a pattern or text, or the content of the word-of-mouth evaluation of the store. But it may be.
  • the AR object may be newly created by an individual or an advertiser, or may be a customized existing AR object, even if it is not a content production company.
  • the design of the AR object, the display position of the AR object, the language displayed on the AR object, and the like can be freely set.
  • the set AR object is registered in map information (dynamic map, 3D high-definition map, etc.) on the center server 5 in association with the position of a building, a landscape, or the like.
  • this map information is downloaded to the vehicle, the display control unit 26 compares the position of the map information with the current position of the vehicle, and the vehicle enters within a certain range from a specific building in the map information.
  • the AR object can be combined with the actual object corresponding to the vehicle position and displayed on the display device 14.
  • AR objects can be freely customized, hotspots can be created by constructing landscapes with unique patterns that do not exist in other areas.
  • the display method of VR objects, MR objects, etc. will be supplemented below.
  • a VR object an object close to reality or different from reality
  • an object building, road, etc.
  • 3D space virtual 3D space
  • the person is designated as character A
  • the motorcycle is designated as character B.
  • It is an MR object in the virtual 3D space.
  • the VR object and the MR object are displayed according to the actual movement, and the actual information is displayed in the virtual space.
  • the object to be arranged in the virtual space close to the reality may be provided by the owner of the building in an arbitrary form, for example.
  • the VR object, AR object, etc. can be changed based on the running information related to the running of the moving object.
  • the traveling information related to the traveling of the moving body is, for example, the speed (vehicle speed) of the vehicle, the weather around the current position of the vehicle, the current time information, the vehicle state information, the traffic information, the information indicating the vehicle traveling mode, and the like.
  • a specific example of changing a virtual object based on travel information related to the travel of a moving object will be described below.
  • table information that associates each time zone such as early morning and midnight with virtual objects for multiple time zones that are different for each of these time zones. By using it, you can change the virtual object according to the time.
  • the table information may be pre-recorded in the memory device 32B or may be distributed from the center server 5.
  • the display control unit 26 which has input the time information from GPS or the like, refers to the table information and displays an object with a sun pattern as shown in FIG. 7 on the surface of the mountain in the early morning.
  • the display control unit 26 displays an object with a moon pattern, for example, near the top of a mountain at midnight.
  • the display control unit 26 uses, for example, table information in which the vehicle speed is associated with the virtual object for each of a plurality of areas.
  • the table information may be pre-recorded in the memory device 32B or may be distributed from the center server 5.
  • the display control unit 26 that has input the vehicle speed information refers to the table information, and for example, in the first speed region where the vehicle speed is 20 km / h or less, the area around the vehicle (for example, an area up to several tens of meters from the vehicle) Display advertisements such as buildings to be provided as virtual objects.
  • the display control unit 26 virtually advertises a building or the like provided in an area relatively distant from the vehicle (for example, an area tens of meters or more away from the vehicle). Display as an object.
  • a virtual object near the vehicle can be shown to the occupant.
  • virtual objects near the vehicle pass through the window in a short time, making it difficult to show to the occupants, but virtual objects in areas relatively far from the vehicle. Any object can be shown to the occupants.
  • the display control unit 26 uses, for example, the weather information distributed on the Internet, the operating state information of the wiper, the operating state information of the defogger, and the like to change the virtual object.
  • a virtual object related to a rice menu can be set in a restaurant advertisement
  • a virtual object related to a noodle menu can be set in a restaurant advertisement.
  • the effect of increasing the enjoyment of driving and sightseeing in rainy or cloudy weather can be obtained.
  • the display control unit 26 displays a virtual object as shown in FIG. The same applies when the amount of depression of the brake is small, the number of times the steering wheel is steered during a certain period of time is small, or the amount of steering of the steering wheel during a certain period of time is small.
  • the display control unit 26 causes the display device 14 to display a virtual object that assists driving by superimposing it on a road sign or the like in the town.
  • Virtual objects that assist driving include, for example, guidance to roadside stations, convenience stores, gas stations, charging stations, etc. that exist near the current location of the vehicle, discount coupon codes for drinking water, and the like. Note that these objects may be changed in real time according to the accelerator opening degree. The same applies when the amount of depression of the brake is large, the number of times the steering wheel is steered during a certain period of time is large, or the amount of steering of the steering wheel during a certain period of time is large.
  • the display control unit 26 may change the virtual object of the display device 14 according to the congestion situation of the road. Specifically, it is conceivable that the vehicle speed will decrease for a short time if there is a traffic jam of about several minutes on the road on which the vehicle is scheduled to pass, according to the traffic information distributed while traveling on the expressway. In this case, the display control unit 26 displays an AR object as shown in FIG. 7 so that a passenger or the like can enjoy a virtual object corresponding to the scenery through the display unit. On the other hand, when traffic congestion of several tens of minutes or more occurs, it is conceivable that driving at low speed is forced for a relatively long time.
  • the display control unit 26 displays a VR object or the like that attracts the passenger's interest on the side glass or the like.
  • a VR object or the like that attracts the passenger's interest on the side glass or the like.
  • a computer graphics image of the building before the renovation, a computer graphics image of the building after the renovation, and the like can be displayed as VR objects.
  • the display control unit 26 When changing a virtual object based on information indicating a vehicle driving mode, the display control unit 26 virtually determines whether it is a manual driving mode or an automatic driving mode (including a driving support mode, a semi-automatic driving mode, etc.). You may change the object. For example, the display control unit 26 displays an AR object as shown in FIG. 7 in the manual operation mode, and displays a VR object in the townscape in the automatic operation mode.
  • the display control unit 26 may change, for example, a virtual object according to the attributes of the occupant. For example, in the map information, when an AR object of an anime character popular with children is embedded at a specific point, the display control unit 26 recognizes the face of an occupant in the vehicle by using the imaging information, and further. Determine if you are a child. Then, in the case of a child, the display control unit 26 causes the display device 14 to display the AR object of the animation character when the vehicle approaches the point where the animation character exists on the map.
  • the center server 5 information such as advertisements, signboards, and slogans that should be prohibited from being viewed by children is registered in association with information such as the age, gender, and nationality of the child. .. Then, by associating the table information etc. with these correspondences with the coordinates on the map, it corresponds to the registered conditions among the people who get on the vehicle approaching the point where those advertisements etc. exist. If there is a child to play, the display control unit 26 may cover the actual advertisement with a virtual object so that the child does not see it.
  • the display control unit 26 analyzes the line-of-sight direction of the target child by cooperating with the display position determination unit 22, so that a virtual object such as an advertisement that the child does not want to see exists in front of the line of sight. If so, an alternative AR object such as an animated character may be displayed instead of the object. Further, the display control unit 26 may display an alternative AR object or the like when these advertisements or the like approach the child's line of sight by cooperating with the display position determination unit 22.
  • the display control unit 26 may be incorporated in the ECU 32 or the display device 14.
  • FIGS. 12 to 14 An example of displaying an AR object or the like by aligning the line-of-sight direction of a person with respect to an actual object will be described with reference to FIGS. 12 to 14.
  • FIGS. 12 to 14 is a diagram for explaining an example of a method of determining a display position.
  • a display device 14 provided on the window of the vehicle, an occupant u who visually recognizes the display device 14 in the vehicle interior, and a position p are shown.
  • the position p is a position outside the vehicle to which display information such as an AR object is associated in the landscape seen from the occupant u via the display device 14.
  • the display position determination unit 22 determines the display position of the display information on the display device 14 based on the position of the occupant u, the position of the display device 14, and the position p.
  • the position of the occupant u is referred to as the "occupant position”
  • the position of the display device 14 is referred to as the "screen position”
  • the position p to which the display information is associated is referred to as the "information corresponding position p”.
  • the display position determination unit 22 has a display information d1 in which the intersection where the dotted line connecting the information correspondence position p in the landscape and the occupant position intersects the display device 14 is associated with the information correspondence position p in the landscape. It is determined as the center point of the display position of.
  • the display position determination unit 22 generates a display command indicating that the display information d1 is to be displayed at the determined display position on the display device 14, and inputs the display command to the display control unit 26.
  • the display position determination unit 22 displays the display information d1 (virtual object) in the mode corresponding to the positional relationship between the information corresponding position p in the landscape and the occupant position.
  • the display position determination unit 22 adds to pay attention to the display information d1 of the display device 14 before displaying the display information d1 in the mode corresponding to the positional relationship between the information corresponding position p in the landscape and the occupant position.
  • the viewpoint may be guided by the sound and the display by producing a decorative display, a blinking operation, a sound effect, or the like.
  • the display position determining unit 22 connects the information correspondence position p in the landscape with the occupant position.
  • the intersection where the dotted line intersects the display device 14 is determined as the center point of the display position of the display information d2 associated with the information correspondence position p in the landscape.
  • the display position determination unit 22 generates a display command indicating that the display information d2 (virtual object) is to be displayed at the determined display position, and inputs the display command to the display control unit 26.
  • the display mode of the display information d2 is different from the display mode of the display information d1 of FIG.
  • the display position determination unit 22 has the display information d3 in which the intersection where the dotted line connecting the information correspondence position p in the landscape and the occupant position intersects the display device 14 is associated with the information correspondence position p in the landscape. Determined as the center point of the display position.
  • the display position determination unit 22 virtualizes the position in the display device 14 that overlaps with the information correspondence position p in the landscape when viewed from the occupant u, based on the occupant position, the screen position, and the information correspondence position p. Determined as the display position of a typical object. Then, the display position determination unit 22 generates a display command indicating that the determined display position displays a virtual object in a mode corresponding to the positional relationship between the information correspondence position p in the landscape and the occupant position. Input to the display control unit 26.
  • FIG. 15 is a flowchart for explaining a display method of the display system.
  • a virtual object is registered (step S1).
  • a dedicated application installed on smartphones, mobile terminals, etc.
  • advertisers, individuals, etc. who wish to process objects can create new virtual objects or use vehicles.
  • new virtual objects, processed virtual objects, and the like are set.
  • the customization includes, for example, adding a virtual advertisement to an image obtained by imaging an existing building, or drawing the entire building as a fictitious building by computer graphics.
  • a virtual pattern, a virtual character, or the like may be applied to an image obtained by imaging an existing building.
  • the customized object is registered in the map information on the center server 5, for example, in association with the position of a building, a landscape, or the like.
  • the display control unit 26 that has downloaded this map information compares the position of the map information with the current position of the vehicle (step S2). When the vehicle has not entered within a certain range from the specific building on the map (steps S3 and No), the display control unit 26 repeats the processes after step S2. When a vehicle enters within a certain range from a specific building on the map (steps S3, Yes), the display control unit 26 displays the AR object in combination with the actual building corresponding to the vehicle position. Displayed on the device 14. Further, the display control unit 26 displays the VR object so as to be superimposed on the actual building (step S4).
  • the virtual object may change its movement or shape according to the speed of the moving object, the traveling position, and the like.
  • the display system 1 may be configured so that a plurality of virtual objects can be selected by operating the occupant mobile terminal application (payment application) or by touching the icon displayed on the window.
  • the display device 14 is not limited to the one having the transparency changing function, and may not have the transparency changing function.
  • the display device is based on the positional relationship between the display unit provided in the window of the moving body and the object visible through the display unit from the inside of the moving body and the moving body. It is configured to include a display control unit that controls the display of the virtual object corresponding to the display unit.
  • a display control unit that controls the display of the virtual object corresponding to the display unit.
  • a virtual object corresponding to the object is provided in the window of the moving body based on the positional relationship between the object and the moving body that can be seen from the inside of the moving body through the display unit. It includes a step of determining a display position when displaying on the display unit and a step of displaying a virtual object at the display position.
  • One embodiment of the present disclosure is suitable for display devices and vehicles.
  • Display system 3 Mobile 4 Mountains 5 Center server 6 Crew 7 Object 8A Basic 8B Object 9A Icon 9B Object 14 Display device 14a Electronic transmission control film 22 Display position determination unit 26 Display control unit 30 In-vehicle device 32A Auxiliary storage device 32B Memory device 32D interface device 33 GPS module 34 ACC switch 35 sensor 36 image pickup device 51 communication device 52 information processing device 321 vehicle information transmission / reception section 323 image pickup information management section 520 storage section 5201 communication processing section 5205 information display object extraction section 5212 vehicle identification section 5213 command Transmitter 5214 Map matching section 5215 Probe information generator

Abstract

表示装置を開示する。この装置は、移動体の窓に設けられる表示部と、前記移動体の内部から前記表示部越しに見えるオブジェクトと前記移動体との位置関係に基づき、前記オブジェクトに対応する仮想的なオブジェクトの前記表示部における表示を制御する表示制御部と、を備える。

Description

表示装置、表示方法、及び車両
　本開示は、表示装置、表示方法、及び車両に関する。
　特許文献１には、風景や建物などの地理情報を有する写真を、その撮影地点に対応付ける技術が開示されている。特許文献１の技術によれば、電子地図管理サーバ上で、地理情報を有する写真と、写真を撮影した方角などの情報とを、地図上の撮影地点に連結させることにより、携帯電話、パソコンなどの表示端末の利用者に対して、実際に見ている方向の風景などを見せることができる。
特許第５３３４１５９号公報
　本開示の非限定的な実施例は、移動体の乗員に対して風景などのオブジェクトに対応する仮想的なオブジェクトを提供できる表示装置、表示方法、及び車両の提供に資する。
　本開示の一実施例に係る表示装置は、移動体に設けられる表示部と、前記移動体の内部から前記表示部越しに見えるオブジェクトと前記移動体との位置関係に基づき、前記オブジェクトに対応する仮想的なオブジェクトの前記表示部における表示を制御する表示制御部と、を備える。
　本開示の一実施例に係る車両は、上記表示装置を備える。
　本開示の一実施例に係る表示方法は、移動体の内部から前記移動体に設けられる表示部窓越しに見えるオブジェクトと前記移動体との位置関係に基づき、前記オブジェクトに対応する仮想的なオブジェクトを前記表示部に表示する際の表示位置を決定するステップと、前記表示位置に前記仮想的なオブジェクトを表示するステップと、を含む。
　本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の実施の形態に係る表示システムの構成例に示す図 車載機のＥＣＵのハードウェア構成例を示す図 車載機のＥＣＵの機能の構成例を示す図 センタサーバの情報処理装置のハードウェア構成例と機能の構成例を示す図 表示装置の断面図 車両の窓に設けられる表示装置に表示される風景を示す図 図６の山にＡＲオブジェクトを組み合わせた状態を示す図 車両の窓に設けられる表示装置に表示される風景を示す図 橋の基礎の画像にＡＲオブジェクトを組み合わせた状態を示す図 町並みの風景にアイコン型のＡＲオブジェクトを表示する例を示す図 図１０のアイコンが操作されたときに現れるクーポンコードの画像の一例を示す図 表示位置の決定方法の一例を説明するための図 表示位置の決定方法の一例を説明するための図 表示位置の決定方法の一例を説明するための図 表示システムの表示方法を説明するためのフローチャート
　従来、風景や建物などの地理情報を有する写真を、その撮影地点に対応付ける技術が開示されている。従来の技術は、風景などに写真を重ね合わせるだけであるため、移動体の乗員に対して付加価値の高い情報を提供しているとはいえないという課題がある。このような課題に対して、本開示の表示装置によれば、移動体の乗員に対して風景などのオブジェクトに対応する仮想的なオブジェクトを提供できる。以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　（実施の形態）
　図１は本開示の実施の形態に係る表示システムの構成例に示す図である。表示システム１は、複数の移動体３のそれぞれに搭載される車載機３０と、車載機３０との通信が可能なセンタサーバ５とを備える。移動体３は、例えば乗用車、貨物車、乗合車、自動二輪車、鉄道車両などの車両である。なお、移動体３は車両に限定されず、航空機、遊戯設備などでもよい。以下では、移動体３が車両の場合について説明する。
　車載機３０は、ＤＣＭ３１（Data Communication Module）、ＥＣＵ（Electronic Control Unit）３２、ＧＰＳ（Global Positioning System）モジュール３３、ＡＣＣ（ACCessory）スイッチ３４、センサ３５、撮像装置３６、表示装置１４などを含む。なお、車載機３０は、これら以外にも例えば、カーナビゲーション装置、オーディオ装置、インバータ、モータ、補機類なども含む。
　ＤＣＭ３１は、通信ネットワークＮＷを通じて、センタサーバ５と双方向で通信を行う通信機器である。通信ネットワークＮＷは、例えば、多数の基地局を末端とする携帯電話網、通信衛星を利用する衛星通信網などである。またＤＣＭ３１は、車載ネットワークであるＣＡＮ（Controller Area Network）３８を通じて、ＥＣＵ３２と相互に通信可能に接続され、ＥＣＵ３２からの要求に応じて各種情報を車両の外部機器に送信し、また車両の外部機器から送信された情報をＥＣＵ３２に中継する。外部機器は、例えば、センタサーバ５、Ｖ２Ｘ（Vehicle to Everything）通信機器などである。Ｖ２Ｘは、車と様々な物をつなぐ通信技術である。Ｖ２Ｘには、Ｖ２Ｖ（Vehicle to Vehicle：車車間）、Ｖ２Ｐ（Vehicle to Pedestrian：車歩行者間）、Ｖ２Ｉ（Vehicle to Infrastructure：路車間）、Ｖ２Ｎ（Vehicle to Network：車ネットワーク間）などの通信が含まれる。
　ＥＣＵ３２は、車両における所定の機能に関する各種制御処理を行う電子制御ユニットであり、例えばモータＥＣＵ、ハイブリッドＥＣＵ、エンジンＥＣＵなどである。ＥＣＵ３２は、例えば、車両情報を収集してＤＣＭ３１に入力する。
　車両情報は、車両位置情報、速度情報、車両状態情報、撮像情報などである。車両位置情報は、車両の現在位置を示す情報であり、例えば、自車両が走行している緯度及び経度を示す情報である。車両位置情報は、例えば、カーナビゲーション装置、ＧＰＳモジュール３３などから送信される。速度情報は、車速センサから送信される車両の現在速度を示す情報である。車両状態情報は、例えば、ＡＣＣスイッチ３４がＯＮ状態であるかＯＦＦ状態であるかを示す信号などである。車両状態情報は、この他にも、ワイパーの動作状態、デフォッガの状態、アクセル開度、ブレーキの踏み込み量、ハンドルの操舵量、ＡＤＡＳ（Advanced Driver-Assistance Systems）から取得される情報などである。ＡＤＡＳは、道路交通の利便性を高めるため、運転手の運転操作を支援するシステムである。撮像情報は、撮像装置３６により撮像される画像の内容を示す情報である。撮像情報には、画像が生成されたときの時刻を示す時刻情報が含まれる。
　撮像装置３６は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えるカメラである。撮像装置３６は、例えば、車両内部を撮像する内部撮像装置、車両外部を撮像する外部撮像装置などを含む。
　内部撮像装置は、例えば、車両の運転席、助手席などに存在する乗員の顔、後部座席に存在する乗員の顔などを撮像できる位置に配置される。当該位置は、車両のダッシュボード、運転席の計器パネル、車両の天井などである。内部撮像装置は、１つに限定されず、車両内に複数設けられてもよい。内部撮像装置は、撮像した車内画像の内容を示す撮像情報を出力する。
　外部撮像装置は、車両周囲の風景を撮像する全方向カメラ、パノラマカメラなどである。車両周囲の風景は、例えば、車両の前方の風景、車両の側方（車両の運転席ドア側又は車両の助手席ドア側）の風景、車両の後方の風景などである。風景には、例えば、車両が走行中の車道、当該車道に存在する物、当該車道に面した歩道、当該歩道に存在する物などが含まれる。車道に存在する物は、例えば、乗用車、バイク、バス、タクシー、建築物、工作物（広告、道路標識、信号機、電信柱など）、人、動物、落下物などである。歩道に存在する物は、例えば、歩行者、動物、自転車、工作物、動物、落下物などである。外部撮像装置は、例えば、車外の風景を撮像できる位置に配置される。当該位置は、フロントグリル、サイドミラー、天井、リアバンパーなどである。外部撮像装置は、撮像した車外画像の内容を示す撮像情報を出力する。
　ＧＰＳモジュール３３は、衛星から送信されるＧＰＳ信号を受信し、ＧＰＳモジュール３３が搭載される車両の位置を測位する。ＧＰＳモジュール３３は、ＣＡＮ３８を通じてＥＣＵ３２と通信可能に接続され、車両位置情報は、ＥＣＵ３２に送信される。
　ＡＣＣスイッチ３４は、乗員の操作に応じて、車両のアクセサリ電源をＯＮ／ＯＦＦするスイッチである。例えば、ＡＣＣスイッチ３４は、車室内の運転席のステアリング近傍のインストルメンタルパネルに設けられるパワースイッチに対する操作に応じて、アクセサリ電源をＯＮ／ＯＦＦする。パワースイッチは、例えば、図示しないイグニッションを操作するボタン型スイッチである。ＡＣＣスイッチ３４の出力信号は、車両の起動及び停止を表す情報の一例である。具体的には、ＡＣＣスイッチ３４の出力信号が、ＯＦＦ信号からＯＮ信号になった場合、車両の起動を表し、ＡＣＣスイッチ３４の出力信号が、ＯＮ信号からＯＦＦ信号になった場合、車両の停止を表す。ＡＣＣスイッチ３４は、ＣＡＮ３８を通じてＥＣＵ３２などと通信可能に接続され、その状態信号（ＯＮ信号／ＯＦＦ信号）は、ＥＣＵ３２に送信される。
　センサ３５は、インバータに印加される電圧を検出するセンサ、モータに印加される電圧を検出するセンサ、車速を検出するセンサ、アクセル開度を検出するセンサ、ハンドルの操舵量を検出するセンサ、ブレーキ操作量を検出するセンサなどである。また、センサ３５は、例えば、車両の加速度を検出する加速度センサ、車両の角速度を検出する角速度センサ（ジャイロセンサ）などを含みうる。センサ３５から出力される検出情報は、ＣＡＮ３８を通じてＥＣＵ３２に取り込まれる。
　表示装置１４は、光透過性を備えると共に調光性を備えた透明液晶ディスプレイ、透明有機ＥＬ（Electroluminescence）ディスプレイなどである。表示装置１４は、例えば、車両の窓に設けられる。車両の窓は、フロントガラス、サイドガラス、リアガラスなどである。なお、表示装置１４は、車両の窓以外にも、例えば、鉄道車両の乗降扉に設けられる窓、鉄道車両の座席付近に設けられる窓、航空機の操縦室窓、航空機の客室窓などに設けてもよい。表示装置１４の構成例については後述する。車両の窓には、車両の前後左右の各々の面と車両の天井面とが全て表示装置１４やガラスで構成されたものを含む。また、車両の窓は、その全体が表示装置１４（透明液晶ディスプレイ）で構成されたもの、すなわち、窓にガラスを用いないもの（透明液晶ディスプレイのみで窓が構成されるもの）を含む。なお、表示装置１４は、上記の構成例に限定されず、透明液晶ディスプレイ、或いは、透明有機ＥＬディスプレイ、透明マイクロＬＥＤ、プロジェクタ映像を結像する透明スクリーンフィルムなどに、光透過率が電子的に変化する調光フィルムなどが、積層して張り合わせられた構造のものでもよい。ガラスに積層するフィルムは、車内から視認できるガラス外形の例えば９０％以内に配置する。これにより、人が車内で閉じ込められた際に、窓を割って脱出する際に発生するガラスの飛散抑制も兼ねることができる。
　センタサーバ５は、複数の車両から情報を収集すると共に、複数の車両の乗員に対して情報配信を行うことによって、各種サービスを提供するサーバである。各種サービスは、例えばカーシェアリングサービス、認証キーサービス、トランク配送サービス、Ｂ２Ｃカーシェアサービス、広告配信サービスなどである。
　センタサーバ５は、通信機器５１及び情報処理装置５２を備える。通信機器５１は、情報処理装置５２による制御の下、通信ネットワークＮＷを通じて、複数の車両のそれぞれと双方向で通信を行う通信デバイスである。情報処理装置５２は、センタサーバ５における各種制御処理を実行する。情報処理装置５２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置、入出力インタフェースなどを含む、サーバコンピュータで構成される。
　次に図２を参照して、車載機３０のＥＣＵ３２のハードウェア構成について説明する。図２は車載機のＥＣＵのハードウェア構成例を示す図である。ＥＣＵ３２は、補助記憶装置３２Ａ、メモリ装置３２Ｂ、ＣＰＵ３２Ｃ、及びインタフェース装置３２Ｄを備える。これらは、互いにバスライン３２Ｅで接続される。
　補助記憶装置３２Ａは、ＥＣＵ３２の処理に必要なファイルやデータなどを格納する、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどである。メモリ装置３２Ｂは、プログラムの起動指示があった場合に、補助記憶装置３２Ａからプログラムを読み出して格納する。ＣＰＵ３２Ｃは、メモリ装置３２Ｂに格納されたプログラムを実行し、プログラムに従ってＥＣＵ３２の各種機能を実現する。インタフェース装置３２Ｄは、例えば、ＣＰＵ３２Ｃを、ＣＡＮ３８を介してＤＣＭ３１に接続し、また撮像装置３６、センサ３５などを、ＣＡＮ３８を介して、ＤＣＭ３１に接続するインタフェースである。
　次に図３を参照して車載機３０のＥＣＵ３２の機能について説明する。図３は車載機のＥＣＵの機能の構成例を示す図である。
　メモリ装置３２Ｂは、表示装置１４に表示される表示情報が記録される表示情報ＤＢ３３２を備える。表示情報は、仮想的なオブジェクトの内容を示す情報である。仮想的なオブジェクトの具体例については後述する。
　ＥＣＵ３２のＣＰＵ３２Ｃは、車両情報送受信部３２１、撮像情報管理部３２３、表示位置決定部２２、及び表示装置１４の表示処理を行う表示制御部２６を備える。
　車両情報送受信部３２１は、車両情報を受信する機能と、車両情報をセンタサーバ５に送信する機能を有する。
　表示位置決定部２２は、表示装置１４における表示情報の表示位置を決定する。表示位置決定部２２の利用の場面としては、例えば表示装置１４において、表示部越しの風景に表示情報を重ねて表示するため、表示情報を乗員の視線方向に対応付けて表示させる場合などが考えられる。以下、表示情報の表示位置の決定方法の一例を説明する。
　まず、表示位置決定部２２は、例えば、内部撮像装置から送信される車内画像から乗員の顔を抽出し、車内における乗員の顔の位置及び向きと、車両位置とに基づいて、表示装置１４の画面を視認する乗員の位置を特定する。
　次に、表示位置決定部２２は、例えば、車両において、表示装置１４の画面が設けられる位置を、画面位置として特定する。例えば、表示装置１４の画面は、表示装置１４が車両に設置されたときに、その位置が決まるため、車両に対応する車両識別情報に、表示装置１４の画面位置を示す情報を紐づけておき、紐付けた情報をメモリ装置３２Ｂなどに記録しておく。車両識別情報は、車両識別番号（Vehicle Index Number）、車両ＩＤ（Identifier）などである。表示位置決定部２２は、車載機３０の起動時に、メモリ装置３２Ｂを参照することにより、車両識別情報を利用して、表示装置１４の画面位置を読み出す。これにより、表示装置１４の画面が、例えばフロントガラス、サイドガラスなどに設けられていることを特定できる。
　なお、表示装置１４の画面が設けられる位置をより細かく設定することも可能である。例えば、フロントガラスの一部領域に表示装置１４が設けられる場合、フロントガラスを車内側から前方に向かって平面視した全体領域を、例えば直交座標の第１象限から第４象限のそれぞれの領域に分けて、各領域の識別情報を、車両識別情報に紐づけておき、紐付けた情報をメモリ装置３２Ｂなどに記録しておくことでもよい。これにより、表示位置決定部２２は、表示装置１４が、例えば、フロントガラスの左上部寄りの領域、フロントガラスの右下部寄りの領域などに配置されていることを特定できる。
　次に、表示位置決定部２２は、表示画面越しの風景中での、表示情報の表示位置を特定する。具体的には、表示位置決定部２２は、連続して撮像される２フレームの車外画像から建造物などを抽出し、車外画像における建造物などの２フレーム間における位置の差に基づき、ステレオカメラの原理によって外部撮像装置から建造物などまでの距離を算出する。続いて、表示位置決定部２２は、外部撮像装置から建造物などまでの距離と、車両位置とに基づいて、建造物などの位置を特定する。そして、表示位置決定部２２は、表示情報ＤＢ３３２を参照することにより、建造物などの位置が対応付けられた表示情報が、表示情報ＤＢ３３２に存在するか否かを判定する。当該表示情報が存在する場合、表示位置決定部２２は、その建造物などの位置を、表示情報の表示位置として特定する。
　なお、表示位置決定部２２は、他の方法によって、表示情報の表示位置を特定するように構成してもよい。例えば、表示位置決定部２２は、車両位置と外部撮像装置の撮像範囲とに基づいて、車外画像に含まれる風景の領域に対応する緯度及び経度の範囲を算出する。そして、表示位置決定部２２は、算出した緯度及び経度の範囲内における、表示情報の表示位置を、表示情報ＤＢ３３２から検索することによって、表示情報の表示位置を特定する。
　最後に、表示位置決定部２２は、特定した乗員の現在位置、画面位置、表示情報の表示位置などに基づき、表示情報の表示位置を決定する。表示位置の決定方法の詳細は後述する。
　撮像情報管理部３２３は、撮像装置３６から送信される撮像情報を、一定時間入力しながら、送信される撮像情報に、時刻、車両位置情報を埋め込む形で、撮像情報テーブル（撮像情報ＤＢ３２９２）を作成する。
　次に図４を用いてセンタサーバの情報処理装置のハードウェア構成例などを説明する。図４はセンタサーバの情報処理装置のハードウェア構成例と機能の構成例を示す図である。情報処理装置５２は、ＣＰＵ１６、及び記憶部５２０を備える。
　ＣＰＵ１６は、複数の車両のそれぞれとの間での各種情報の送受信を行う通信処理部５２０１、情報表示物抽出部５２０５、車両特定部５２１２、指令送信部５２１３、マップマッチング部５２１４、及びプローブ情報生成部５２１５を備える。記憶部５２０は、地図情報ＤＢ５２０Ａ、プローブ情報ＤＢ５２０Ｂ、情報表示物ＤＢ５２０Ｆ、車両情報ＤＢ５２０Ｈ、及び撮像情報ＤＢ５２０Ｊを備える。
　情報表示物抽出部５２０５は、プローブ情報ＤＢ５２０Ｂに格納される、複数の車両のそれぞれのプローブ情報に含まれる撮像装置３６の撮像情報から、既知の画像認識処理に基づき、情報表示物を抽出する。そして、情報表示物抽出部５２０５は、抽出した情報表示物に固有の識別情報を付した上で、識別情報に、当該情報表示物の画像、当該情報表示物の位置情報などのメタ情報を紐づけて、情報表示物ＤＢ５２０Ｆに保存する。これにより、情報表示物ＤＢ５２０Ｆには、所定の広告主の広告情報が表示される立て看板やデジタルサイネージなどの予め登録される情報表示物に関する情報の他に、情報表示物抽出部５２０５により抽出された情報表示物に関する情報が登録される。従って、情報表示物が充実化され、乗員の利便性が向上する。なお、メタ情報として付される情報表示物の位置情報は、抽出元である撮像情報と同じプローブ情報に含まれる車両位置情報そのものであってもよいし、撮像情報から算出される車両に対する情報表示物の相対的な位置情報を考慮した位置情報であってもよい。また、情報表示物抽出部５２０５は、抽出した情報表示物が、既に情報表示物ＤＢ５２０Ｆに登録される情報表示物と同じである場合、抽出した情報表示物に関する情報を情報表示物ＤＢ５２０Ｆに保存しない。また、情報表示物抽出部５２０５による当該処理は、通信処理部５２０１により複数の車両のそれぞれから逐次受信されるプローブ情報に対応し、リアルタイムに実行されてもよいし、定期的に、ある程度溜まった未処理のプローブ情報に対して実行されてもよい。
　車両特定部５２１２は、車両位置情報に基づき、撮像情報の収集対象の地理的な位置又はエリアを通過した車両を特定する。なお、車両の自動運転に利用される３次元の高度な動的地図情報（ダイナミックマップ）の作成には、実際に車両が走行するフィールドを撮像した最新の画像が必要になる。このダイナミックマップの作成対象となるフィールドが、撮像情報の収集対象の地理的な位置又はエリアの一例になり得る。
　車両特定部５２１２は、例えば、複数の車両のそれぞれから送信される車両位置情報を入力したとき、収集対象の位置又はエリアに車両位置情報を照合することによって、当該位置又はエリアを通過した車両を判定する。そして、複数の車載機３０のそれぞれから送信される車両情報の中から、通過を判定した車両位置情報を含む車両情報を選択し、選択した車両情報に含まれる車両識別情報を抽出する。車両識別情報を抽出した車両特定部５２１２は、抽出した車両識別情報を指令送信部５２１３に転送する。
　車両特定部５２１２からの車両識別情報を入力した指令送信部５２１３は、通信ネットワークＮＷを介して、センタサーバ５と通信可能に接続される車両群のうち、当該車両識別情報が割り当てられた車両に対して、撮像情報要求指令を送信する。撮像情報要求指令に対して配信された撮像情報は、データ収集対象エリア情報と対応付けられて、撮像情報ＤＢ５２０Ｊとして記憶部５２０に記録される。
　マップマッチング部５２１４は、地図情報ＤＢ５２０Ａと、車両位置情報とに基づき、車両が現在位置する道路リンクを特定する。地図情報ＤＢ５２０Ａは、ＧＩＳ（Geographic Information System）データなどにより構成される。ＧＩＳデータは、交差点に対応するノード、ノード間を接続する道路リンク、建物や道路などの地物に対応するライン、ポリゴンなどを含む。例えば、地図情報ＤＢ５２０Ａに含まれる、道路網を構成する複数の道路リンクのそれぞれには、予め識別情報、すなわちリンクＩＤが規定されている。マップマッチング部５２１４は、地図情報ＤＢ５２０Ａを参照することによって、車両が現在位置する道路リンクのリンクＩＤを特定する。
　プローブ情報生成部５２１５は、所定周期ごとに、車両から送信された車両情報と、時刻情報と、マップマッチング部５２１４により特定された道路リンクとを含む、プローブ情報を生成する。そして、プローブ情報生成部５２１５は、生成したプローブ情報を、プローブ情報ＤＢ５２０Ｂに格納する。
　次に図５を参照して表示装置１４の構成例について説明する。図５は表示装置の断面図である。表示装置１４は、例えば、車両の窓の内側又は外側に貼り付ける形で、車両に設けられる。なお、表示装置１４の車両への配置方法は、これに限定されず、例えば、表示装置１４を車両のフレームに固定して、表示装置１４の画面を車両の窓の内側又は外側と向き合うように設けてもよい。また表示装置１４は、車両の窓の中に埋め込み形で設けてもよい。また、表示装置１４は、車両の窓の全体領域を覆うように設けてもよいし、車両の窓の一部領域を覆うように設けてもよい。
　表示装置１４は、例えば、電子透過制御フィルム１４ａを、２つの透明ＯＬＥＤ１４ｂ１及び透明ＯＬＥＤ１４ｂ２で挟み込んだ構造を有する。以下では、２つの透明ＯＬＥＤ１４ｂ１及び透明ＯＬＥＤ１４ｂ２を区別しない場合、「透明ＯＬＥＤ」と称する。電子透過制御フィルム１４ａは、透明度を変更可能な透過型表示部の一例である。透明ＯＬＥＤ１４ｂ１及び透明ＯＬＥＤ１４ｂ２は、表示情報を表示可能な表示情報表示部の一例である。
　電子透過制御フィルム１４ａは、例えば、透明度（可視光透過率）を変更することにより、車両の表示部越しに見える風景の濃淡を制御したり、透明ＯＬＥＤに表示される画像の濃淡を制御したりすることができる。電子透過制御フィルム１４ａは、電子透過制御フィルム１４ａの全体の透明度を均一に変更できるものでもよいし、電子透過制御フィルム１４ａの一部領域の透明度を変更できるものでもよい。電子透過制御フィルム１４ａの透明度を変更する方法としては、例えば、エレクトロクロミック方式、エレクトロクロミック方式よりも高速な調光制御が可能なガスクロミック方式などを例示できる。電子透過制御フィルム１４ａの一部領域の透明度を変更する場合、ローカルデミング技術や、非特許文献１に開示される技術を利用できる（非特許文献１：https://www.jst.go.jp/pr/announce/20171017-3/index.html）。
　透明ＯＬＥＤ１４ｂ１は、電子透過制御フィルム１４ａの第１端面側に向けられる透明ディスプレイの一例である。電子透過制御フィルム１４ａの第１端面側は、例えば、窓の内側である。透明ＯＬＥＤ１４ｂ２は、電子透過制御フィルム１４ａの第１端面側とは反対側の第２端面側に向けられる透明ディスプレイの一例である。電子透過制御フィルム１４ａの第２端面側は、車両の外側である。なお、表示装置１４は、透明ＯＬＥＤに代えて、透明液晶ディスプレイを備えるものでもよい。
　表示装置１４は、２つの透明ＯＬＥＤを備えることにより、窓の内側と外側で互いに異なる表示情報を表示させることができる。
　例えば、自動運転中の車両内で、ゲームを楽しむ乗員がいる場合、図５の左側に示すように、電子透過制御フィルム１４ａの透明度を低くした状態（例えば可視光透過率が３０％以下）で、透明ＯＬＥＤ１４ｂ１に例えばゲームのプレイ中の画面を表示させ、透明ＯＬＥＤ１４ｂ２に当該ゲームのキャラクタを拡大して表示させることができる。
　また、自動運転中の車両内で、ヨガ、シャドーボクシングなどのエクササイズを楽しむ乗員がいる場合、図５の左側に示すように、電子透過制御フィルム１４ａの透明度を低くした状態で、透明ＯＬＥＤ１４ｂ１にはエクササイズのインストラクションビデオ映像を表示させて、透明ＯＬＥＤ１４ｂ２には車両内で運動中の人の動画像を表示させることができる。
　また、電子透過制御フィルム１４ａの透明度を低くした状態で、透明ＯＬＥＤ１４ｂ２には、地図などのナビゲーション画面を表示させて、透明ＯＬＥＤ１４ｂ２には、広告映像などを表示させることも可能である。
　また、図５の右側に示すように、電子透過制御フィルム１４ａの透明度を高くした状態（例えば可視光透過率が８０％以上）で、フロントガラスに設けられた表示装置１４の透明ＯＬＥＤ１４ｂ１に、地図などのナビゲーション画面を表示させる。そして、当該表示装置１４の透明ＯＬＥＤ１４ｂ２に、表示情報を表示させないことで、フロントガラス越しの風景に、ナビゲーション画面を重ねて表示させることができる。
　また、２つの透明ＯＬＥＤには、それぞれに異なる表示情報を表示させてもよいし、互いに同一又は類似の表示情報を表示させてもよい。例えば、自動運転中の車両内で、エクササイズを楽しむ乗員がいる場合、電子透過制御フィルム１４ａの透明度を低くした状態で、透明ＯＬＥＤ１４ｂ１に、インストラクションビデオ映像のみを表示させ、透明ＯＬＥＤ１４ｂ２に、インストラクションビデオ映像と運動中の人の動画像とを２画面表示させてもよい。
　なお、表示装置１４の構成例は、図示例に限定されるものではない。例えば、表示装置１４は、２つの透明ＯＬＥＤの内、一方の透明ＯＬＥＤのみ備えるように構成してもよい。
　表示装置１４の透明度は、移動体の走行に関わる走行情報に基づき変えることができる。移動体の走行に関わる走行情報は、例えば、車両の速度（車速）情報、車両の現在位置周囲の天候情報、現在時間情報、車両状態情報、交通情報、車両走行モードを示す情報などである。また、表示装置１４の透明度は、段階的に変えることも、連続的に変えることもできる。以下では、透明度を変える例について説明する。
　車速に基づき透明度を変更する場合、表示制御部２６は、例えば、車速と透明度を対応付けたテーブル情報を用いる。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。車速情報を入力した表示制御部２６は、当該テーブル情報を参照し、例えば、第１速度領域では第１透明度にして、第１速度範囲よりも高い第２速度範囲では、第１透明度より低い第２透明度にする。第１透明度は、例えば可視光透過率が８０％の状態である。第２透明度は、例えば可視光透過率が３０％の状態である。第１速度領域は、例えば時速０ｋｍ/ｈから時速８０ｋｍ/ｈまでの速度である。第２速度領域は、例えば時速８０ｋｍ/ｈ以上の速度である。これにより、例えば、自動運転モードで、第１速度領域で車両が町中を走行しているときに、障害物などの回避を必要とする場合でも、運転手は表示部越しの風景を視認できるため、障害物などを避ける操作を即座に行うことができる。また、自動運転モードで、車両がバイパス道路、高速道路などを第２速度領域で走行中の場合、障害物などを避ける場面が少ないため、表示部越しの風景などが遮られることで、乗員が音楽鑑賞や読書などに集中できる。なお、透明度は、車速に応じて段階的に変更させてもよいし、車速に応じて連続的に変更させてもよい。例えば、第１速度領域では、車速が時速０ｋｍ/ｈから時速８０ｋｍ/ｈまで高くなるに従って、透明度が連続的に低くなるようにしてもよい。また、車速に基づき透明度を変更する場合、表示制御部２６は、風景変化が少ない遠方部分（窓の上部）は、透明度を高くし、逆に風景変化が多い部分（窓の下部）は、透明度を低くするように構成してもよい。
　天候に基づき透明度を変更する場合、表示制御部２６は、例えば、インターネットで配信される天気情報、ワイパーの動作状態情報、デフォッガの動作状態情報などを利用して、透明度を変更することができる。例えば、晴天時は、表示装置１４の全体の透明度を５０％付近に設定することで、運転手及び同乗者が眩しさを感じることなく、表示画像への没頭感を高めることができる。また、曇天時は、晴天時に比べて視認性が低下するため、表示制御部２６は、例えば、表示装置１４の中心よりも下側の領域の透明度を高くして、表示装置１４の中心よりも上側の領域の透明度を低くする。これにより、表示装置１４の一部領域が遮光されつつ、残りの領域が遮光されずに車外状況を確認できる状態となる。従って、雲の乱反射による眩しさを軽減しながら、交通状況を把握できるため、歩行者などの飛び出しなどに対して回避操作が可能である。また同乗者は表示画像などを楽しむことができる。また、雨天時は、曇天時よりも視認性が低下するため、表示制御部２６は、例えば、表示装置１４の全体の可視光透過率を８０％付近など、高い透明度に設定する。これにより、雨により視界が悪い状況でも、信号機、交差点、周囲の車両などが把握し易くなり、歩行者などの飛び出しなどに対して回避操作が可能である。また、フロントガラスに設けられる表示装置１４の透明度が高い状態でも、サイドガラスなどに設けられる表示装置１４の透明度を低い状態にすることで、同乗者は表示画像などを楽しむことができる。
　時刻に基づき透明度を変更する場合、例えば、早朝、日中、夜間、深夜などのそれぞれの時間帯と、これらの時間帯毎に異なる複数の透明度とを対応付けたテーブル情報を利用することで、時刻に応じて、透明度を変更することができる。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。例えば、時刻の情報を入力した表示制御部２６は、当該テーブル情報を参照し、早朝と日中では運転手などの眩しさを軽減するため、表示装置１４の全体の透明度を５０％付近に設定する。また、表示制御部２６は、夜間と深夜では、視界を確保するため、表示装置１４の全体の透明度を８０％付近に設定する。
　また、表示制御部２６は、車内の明るさと車外の明るさを比較して、車内の明るさが車外よりも明るいときにのみ、透明度を低くするように構成してもよい。車内の明るさと車外の明るさとの比較は、自動運転の際に車外を撮影する車外撮影装置のホワイトバランス調整前の平均輝度レベルと、車内を撮影する内部撮影装置のホワイトバランス調整前の平均輝度レベルとの比較により行われる。
　車両状態情報に基づき透明度を変更する場合、例えば、車両状態情報の種別毎にテーブル情報を複数用意し、それぞれのテーブル情報に、例えばアクセル開度、ブレーキの踏み込み量、ハンドルの操舵量などに対する透明度が対応付けられている。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。
　アクセル開度に関する情報を入力した表示制御部２６は、例えば、アクセル開度が小さい場合、表示装置１４の中心よりも下側の領域の透明度を８０％付近に設定し、表示装置１４の中心よりも上側の領域の透明度を３０％付近に設定する。これにより、例えば、高速道路などを一定速度で車両が巡航する場面では、表示装置１４の一部領域が遮光されるため、運転手に対する太陽光などの眩しさを軽減できる。また同乗者は、透明度が低い領域に表示される画像などを楽しむことができる。
　アクセル開度に関する情報を入力した表示制御部２６は、例えば、アクセル開度が大きい場合、表示装置１４の全体の透明度を８０％付近に設定する。これにより、例えば、山道のようにカーブが連続する急勾配の上り坂などを車両が走行する場合、表示装置１４が遮光されないため、運転手の安全運転に寄与すると共に、同乗者は風景に重畳して表示される表示画像などを楽しむことができる。
　ブレーキの踏み込み量に関する情報を入力した表示制御部２６は、例えば、一定時間中のブレーキの踏み込み回数が少なく、又は一定時間中のブレーキの踏み込み量が少ない場合、表示装置１４の中心よりも下側の領域の透明度を８０％付近に設定し、表示装置１４の中心よりも上側の領域の透明度を３０％付近に設定する。これにより、例えば、高速道路などを車両が巡航する場面では、表示装置１４の一部領域が遮光されるため、運転手に対する太陽光などの眩しさを軽減できる。また同乗者は残りの領域に表示される画像などを楽しむことができる。
　ブレーキの踏み込み量に関する情報を入力した表示制御部２６は、例えば、一定時間中のブレーキの踏み込み回数が多く、又は一定時間中のブレーキの踏み込み量が多い場合、表示装置１４の全体の透明度を８０％付近に設定する。これにより、例えば、交通量が多い市街地を車両が走行する場面では、表示装置１４が遮光されないため、運転手の安全運転に寄与すると共に、同乗者は風景に重畳して表示される表示画像などを楽しむことができる。
　ハンドルの操舵量に関する情報を入力した表示制御部２６は、例えば、一定時間中のハンドルの操舵回数が少なく、又は一定時間中のハンドルの操舵量が小さい場合、表示装置１４の中心よりも下側の領域の透明度を８０％付近に設定し、表示装置１４の中心よりも上側の領域の透明度を３０％付近に設定する。これにより、例えば、高速道路などを車両が巡航する場面では、表示装置１４の一部領域が遮光されるため、運転手に対する太陽光などの眩しさを軽減できる。また同乗者は残りの領域に表示される画像などを楽しむことができる。
　ハンドルの操舵量に関する情報を入力した表示制御部２６は、例えば、一定時間中のハンドルの操舵回数が多く、又は一定時間中のハンドルの操舵量が大きい場合、表示装置１４の全体の透明度を８０％付近に設定する。これにより、例えば、交通量が多い市街地を車両が走行する場面では、表示装置１４が遮光されないため、運転手の安全運転に寄与すると共に、同乗者は、風景に重畳して表示される表示画像などを楽しむことができる。
　交通情報に基づき透明度を変更する場合、表示制御部２６は、道路の混雑状況に応じて、表示装置１４の透明度を変更してもよい。具体的には、高速道路を走行時に配信される交通情報により、車両の走行中の道路で数分程度の渋滞が発生している場合、車速が短時間低下するため、表示制御部２６は、同乗者などが表示部越しの風景を楽しむことができるように、透明度を８０％付近に設定する。一方、車両の走行中の道路で数十分以上の渋滞が発生している場合、比較的長い時間で低速での運転が強いられる。この場合、表示制御部２６は、表示画像により車両の運転手などを楽しませるため、透明度を３０％付近に設定し、渋滞が解消したとき、透明度を３０％付近から８０％付近に変更させる。
　車両走行モードを示す情報に基づき透明度を変更する場合、表示制御部２６は、例えば、手動運転モードか自動運転モード（運転支援モード、半自動運転モードなどを含む）かによって、透明度を変更させる。また表示制御部２６は、手動運転モードが選択されているときに、省燃費走行が可能なエコ運転モード、アクティブな運転が可能なスポーツ運転モードなどによって、透明度を変更させてもよい。この他にも、表示制御部２６は、乗客の選択により、例えば車両を完全なプライベート空間として利用する場合は、全ての窓の透明度を下げるように構成してもよい。
　なお、表示装置１４は、電子透過制御フィルム１４ａをヘッドアップディスプレイに組み合わせたものでもよい。この場合、ヘッドアップユニットから投射される情報を、反射ミラーなどを介して、窓に設けられた電子透過制御フィルム１４ａに投影することで、虚像として運転手に視認させることができる。このとき、電子透過制御フィルム１４ａの透明度を走行状態に応じて変化させることにより、運転を細やかにアシストできる。例えば、車両が雪道を走行している場合、表示装置１４は、電子透過制御フィルム１４ａの全体の内、虚像が投射される一部領域の透明度を、他の領域の透明度よりも低くすることで、雪道と重なる虚像を鮮明に表示させることができる。
　なお、ヘッドアップディスプレイには、ヘッドアップディスプレイの虚像を視認しやすくするために、ハーフミラーに近い特殊なフィルムを乗客に近い面に貼り合わせたものや、ガラス内部に中間層として特殊なフィルム状のものを挟んだものなどがある。特に、ハーフミラーに近い特殊なフィルムを用いたヘッドアップディスプレイは、車外が車内よりも暗い状態では、ほぼミラーとなる。すなわち、車外が車内よりも暗い状況下では、車内の様子がハーフミラー越しに映り込んでしまう。そのため、上記の透明ＯＬＥＤの輝度を高めることにより、透明ＯＬＥＤのコントラストは悪化するが、黒レベル（黒輝度）を上げるなどの映像調整、或いは、黒を含まない映像としたうえで、ヘッドアップディスプレイの表示部のみを、部分的に透過率を下げて画像の表示を行うといった使い方の方がよい。上述のハーフミラーの特性に近い特殊なフィルム以外には、特定波長のみを回折するＨＯＥ（Holographic Optical Element）を例示でき、この場合、上述の映像調整は不要となる。
　この他にも、表示制御部２６は、例えばＶ２Ｘ通信で配信される情報を利用して、透明度を変更させてもよい。Ｖ２Ｘ通信では、車車間通信だけでなく、車両と通信端末を有する人との通信、車両と路側機との通信などが可能である。Ｖ２Ｘ通信では、交通信号の状態を示す情報、交通規制情報、交通障害情報（路面凍結、道路冠水、道路上の落下物などに関する情報）、車両周囲に存在する移動物体の位置情報などが提供される。これらの情報を利用することで、例えば、表示装置１４を搭載した車両が右折する際、当該車両の後方から当該車両に接近する自転車、バイクなどの移動体が存在するとき、表示装置１４に当該移動体をリアルタイムに表示させることも可能である。また、当該移動体が車両までの距離が設定距離よりも小さくなると、表示制御部２６は、サイドガラスなどに設けられる電子透過制御フィルム１４ａの透明度を、低い状態から高い状態に切り替えることで、運転手に当該移動体を視認させることもできる。また、表示制御部２６は、車両への移動体の衝突を回避できないと判断される場合、警告を促すメッセージ情報を、表示装置１４に表示してもよい。具体的には、表示制御部２６は、例えば、外部撮像装置から得られる撮像情報を利用することにより、車両に接近する移動体の画像を、表示装置１４にリアルタイムに表示させると共に、車両周囲に存在する移動体の位置、当該移動体の単位時間当たりの移動量などから、移動体が車両に接近する速度を推定する。そして、表示制御部２６は、推定速度から、車両への移動体の衝突を回避できないと判断される場合、警告を促すメッセージ情報を、表示装置１４に表示する。また、表示制御部２６は、冠水情報を受信した場合、ナビゲーション装置と連携することにより、冠水場所、冠水量、冠水場所を迂回する迂回路などを割り出して、表示装置１４に表示させることもできる。
　また、表示装置１４の透明度は、仮想的なオブジェクトの表示内容の態様、乗客の属性などに応じて、変更してもよい。仮想的なオブジェクトの表示内容の具体例については後述する。
　次に図６から図１１を参照して参照して、仮想的なオブジェクトなどの表示例について説明する。なお、仮想的なオブジェクトには、拡張現実のオブジェクト（ＡＲオブジェクト）、仮想現実のオブジェクト（ＶＲオブジェクト）、代替現実（ＳＲオブジェクト）、混合現実のオブジェクト（ＭＲオブジェクト）などを含み得る。ＡＲ（Augmented Reality）は、現実空間の物体などに情報を重ねることで新たな認識を与える技術である。ＶＲ（Virtual Reality）は、仮想空間上にリアリティ（実在感）を構築する技術である。ＳＲ（Substitutional Reality）は、過去を記録した情報と現在得られる情報とシームレスに置換する技術である。ＭＲ（Mixed Reality）は、現実空間と仮想空間を混合した上でリアリティーを構築する技術である。ＡＲオブジェクトは、特定の物体についての空間情報をもとにしてレンダリングにより作成された画像が、風景の画像にフェードインされ、ないしは、風景の画像に重ね合わされる物体である。ＶＲオブジェクトは、仮想化した物体であり、例えば高精細３Ｄ地図に基づき作成されるコンピュータグラフィクス画像や、走行時に撮影された動画に対して埋め込まれたオブジェクト画像などである。
　図６は車両の窓に設けられる表示装置に表示される風景を示す図である。図６には、表示部越しの風景の一例として、山４の画像が示される。なお、表示部越しの風景は、撮像手段で撮像された風景の画像でもよいし、乗員６が車内から表示部越しに見る実際の風景でもよい。
　図７は図６の山にＡＲオブジェクトを組み合わせた状態を示す図である。実際の山４に、太陽の形状をデフォルメしたＡＲオブジェクト７を組み合わせることにより、表示情報に対する乗員６の没入感を高めることができる。
　図８及び図９を参照してＡＲオブジェクト７の別の表示例について説明する。図８は車両の窓に設けられる表示装置に表示される風景を示す図である。図８には、表示部越しの風景の一例として、建設中の橋の基礎８Ａ（橋桁）が示される。図９は橋の基礎の画像にＡＲオブジェクトを組み合わせた状態を示す図である。実際の基礎８Ａに、完成後の鉄橋のＡＲオブジェクト８Ｂを組み合わせることで、表示情報に対する乗員６の没入感を高めることができる。また未完成の鉄橋を表示部越しに見ることができるため、見物客を集めて、地域を盛り上げようとする町おこし（地域活性化）に寄与する。
　図１０は町並みの風景にアイコン型のＡＲオブジェクトを表示する例を示す図である。図１１は図１０のアイコンが操作されたときに現れるクーポンコードに関するＡＲオブジェクトを示す図である。例えば、アイコン９Ａを乗員がクリックすると、図１１に示すクーポンコードに関するＡＲオブジェクト９Ｂを表示させることができる。
　このようなＡＲオブジェクトを表示させることにより、表示部越しの風景に対する乗員の興味が大きく向上する。また、お店、企業などのＰＲにも大きく寄与するため、実際の建物に物理的な広告を掲載しなくても、バスなどの旅客に対して、自社製品の宣伝などができる。また、特定の期間（オリンピック開催期間など）にだけ、特別な広告を行いたいというニーズに対しても、建物に物理的な広告を設置することなく、様々なエリアに広告を打つことができるため、効率的に購買力、集客力などを高めることができる。
　なお、ＡＲオブジェクト９Ｂは、クーポンコードに関するものに限定されず、例えば、お店、企業などで実施されるキャンペーン内容を図柄やテキストで表したものでもよいし、店舗の口コミ評価の内容を表すものでもよい。
　また、ＡＲオブジェクトは、例えば、コンテンツ制作会社でなくとも、個人や広告主が新規に作成したものでもよいし、既存のＡＲオブジェクトをカスタマイズしたものでもよい。例えば、スマートフォンにインストールされた専用のアプリケーションを利用することで、ＡＲオブジェクトのデザイン、ＡＲオブジェクトの表示位置、ＡＲオブジェクトに表示される言語などを、自由に設定することができる。設定されたＡＲオブジェクトは、例えばセンタサーバ５上の地図情報（ダイナミックマップ、３Ｄ高精細マップなど）において、建物、風景などの位置に対応付けて登録される。そして、この地図情報を車両にダウンロードして、表示制御部２６が、地図情報の位置と、車両の現在位置とを比較して、地図情報内での特定の建物から一定範囲内に車両が進入したとき、その車両位置に対応した現実のオブジェクトにＡＲオブジェクトを組み合わせて、表示装置１４に表示させることができる。ＡＲオブジェクトだけでなく、ＶＲオブジェクト、ＭＲオブジェクトなども同様に設定が可能である。また、ＡＲオブジェクトを自由にカスタマイズできるため、他の地域に存在しないユニークな図柄の風景を構築することで、ホットスポットを創造することもできる。なお、ＶＲオブジェクト、ＭＲオブジェクトなどの表示方法について以下に補足する。例えば、車両が走行する空間内の物体（建物、道路など）を、仮想的に作成された３Ｄ空間全体（仮想３Ｄ空間）内に配置するＶＲオブジェクト（現実に近いオブジェクト、或いは、現実とは異なるオブジェクト）とする。さらに、自動運転などで検出される人、バイク、自転車などの他の移動体の位置、移動ベクトルのセンシングデータをもとに、人はキャラクターＡとし、バイクはキャラクターＢとして、これらを、上述の仮想３Ｄ空間内におけるＭＲオブジェクトとする。その上で、ＶＲオブジェクト、ＭＲオブジェクトを、実際の動きに合わせて表示させ、現実の情報を仮想空間に表示する。このとき、現実に近い仮想空間内に配置するオブジェクトは、例えば建物の所有者が任意な形で提供できるようにしても良い。
　また、ＶＲオブジェクト、ＡＲオブジェクトなどは、移動体の走行に関わる走行情報に基づき変更することも可能である。移動体の走行に関わる走行情報は、例えば、車両の速度（車速）、車両の現在位置周囲の天候、現在時間情報、車両状態情報、交通情報、車両走行モードを示す情報などである。以下に、仮想的なオブジェクトを、移動体の走行に関わる走行情報に基づき変更する具体例を説明する。
　時刻に基づき仮想的なオブジェクトを変更する場合、例えば、早朝、深夜などのそれぞれの時間帯と、これらの時間帯毎に異なる複数の時間帯別の仮想的なオブジェクトとを対応付けたテーブル情報を利用することで、時刻に応じて、仮想的なオブジェクトを変更することができる。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。例えば、ＧＰＳなどから時刻情報を入力した表示制御部２６は、当該テーブル情報を参照し、早朝では、図７に示すような太陽の図柄のオブジェクトを山の表面に表示させる。また、表示制御部２６は、深夜では、例えば山頂付近に、月の図柄のオブジェクトを表示させる。
　車速に基づき仮想的なオブジェクトを変更する場合、表示制御部２６は、例えば、車速と、複数のエリア別の仮想的なオブジェクトとを対応付けたテーブル情報を用いる。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。車速情報を入力した表示制御部２６は、当該テーブル情報を参照し、例えば、車速が時速２０ｋｍ/ｈ以下の第１速度領域では、車両の周囲エリア（例えば車両から数十ｍまでのエリア）に設けられる建物などの広告を、仮想的なオブジェクトとして表示させる。車速が時速２０ｋｍ/ｈを超える第２速度領域では、表示制御部２６は、車両から比較的離れたエリア（例えば車両から数十ｍ以上離れたエリア）に設けられる建物などの広告を、仮想的なオブジェクトとして表示させる。これにより、車両が低速で走行している場合には、車両近くの仮想的なオブジェクトを乗員に見せることができる。車両が高速で走行している場合には、車両近くの仮想的なオブジェクトは、短時間で窓を通過してしまうため、乗員に見せることが難しいが、車両から比較的離れたエリアの仮想的なオブジェクトであれば、乗員に見せることができる。
　また、フロントガラスなどに仮想的なオブジェクトを表示させる場合、例えば、停車中は仮想的なオブジェクトを表示させるが、サイドブレーキなどの制動装置の解除をトリガとし、運転に注意が必要な部分のオブジェクトから順に、車速、加速度などの増大に伴い、仮想的なオブジェクトが徐々に非表示になっていくようにしてもよい。これにより、運転手にも広告などを提供できると共に、町中を走行中の車両周囲の障害物などを見落とすことによる事故の発生を抑制できる。
　また、フロントガラスなどに仮想的なオブジェクトを表示させる場合、自動運転モードで、車両がバイパス道路、高速道路などを第２速度領域で走行しているときには、障害物などを避ける場面が少ないため、車両から比較的離れたエリアの風景に対応する仮想的なオブジェクトを表示させ、車速が第２速度領域から第１速度領域に低下したとき、当該オブジェクトを非表示にさせてもよい。これにより、運転手にも広告などを提供しながら、渋滞や、高速道路のインターチェンジなどで、車速が低くなる場面でも、走行中の車両周囲の障害物などを見落とすことによる事故の発生を抑制できる。
　天候に基づき仮想的なオブジェクトを変更する場合、表示制御部２６は、例えば、インターネットで配信される天気情報、ワイパーの動作状態情報、デフォッガの動作状態情報などを利用して、仮想的なオブジェクトを変更することができる。例えば、天候によって人の趣向が変化することに連動させて、飲食店などの広告を、天候に対応した仮想的なオブジェクトとして表示させることが考えられる。例えば、晴天時は、飲食店の広告に、ご飯類のメニューに関する仮想的なオブジェクトを設定し、雨天時は、飲食店の広告に、麺類のメニューに関する仮想的なオブジェクトを設定することができる。これにより、建物に物理的な広告を設置することなく、効率的に集客力、購買力などを高めることができる。また、車両の乗員にとっては、雨天時や曇天時におけるドライブや観光の楽しみが増えるという効果も得られる。
　車両状態情報に基づき仮想的なオブジェクトを変更する場合、例えば、車両状態情報の種別毎にテーブル情報を複数用意し、それぞれのテーブル情報に、例えばアクセル開度、ブレーキの踏み込み量、ハンドルの操舵量などに対する仮想的なオブジェクトが対応付けられている。当該テーブル情報は、メモリ装置３２Ｂに予め記録されたものでもよいし、センタサーバ５から配信されるものでもよい。
　例えば、車両が高速道路を一定速度で走行するため、アクセル開度が小さい場合、運転手が比較的リラックスして運転していると考えられる。この場合、表示制御部２６は、図１０に示すような、仮想的なオブジェクトを表示させる。ブレーキの踏み込み量が少ない場合、一定時間中のハンドルの操舵回数が少ない場合、又は、一定時間中のハンドルの操舵量が小さい場合も同様である。
　一方、山道のようにカーブが連続する急勾配の上り坂などを車両が走行するため、アクセル開度が大きい場合、運転手の緊張感が高まり、運転後の疲労感が増すと考えられる。この場合、表示制御部２６は、運転をアシストする仮想的なオブジェクトを、町中の道路標識などに重ねるようにして、表示装置１４に表示させる。運転をアシストする仮想的なオブジェクトは、例えば、車両の現在位置付近に存在する道の駅、コンビニエンスストア、ガソリンスタンド、充電スタンドなどへのガイダンス、飲料水の割引クーポンコードなどである。なお、これらのオブジェクトは、アクセル開度に応じてリアルタイムに変化させてもよい。また、ブレーキの踏み込み量が多い場合、一定時間中のハンドルの操舵回数が多い場合、又は、一定時間中のハンドルの操舵量が大きい場合も同様である。
　交通情報に基づき仮想的なオブジェクトを変更する場合、表示制御部２６は、道路の混雑状況に応じて、表示装置１４の仮想的なオブジェクトを変更してもよい。具体的には、高速道路を走行時に配信される交通情報により、車両の通行予定の道路で数分程度の渋滞が発生している場合、車速が短時間低下することが考えられる。この場合、表示制御部２６は、同乗者などが、表示部越しの風景に対応した仮想的なオブジェクトを楽しむことができるように、図７に示すようなＡＲオブジェクトを表示させる。一方、数十分以上の渋滞が発生している場合、比較的長い時間で低速での運転が強いられることが考えられる。この場合、表示制御部２６は、サイドガラスなどに同乗者の興味を引くＶＲオブジェクトなどを表示させる。例えば、車両の現在位置付近に存在する建物が改装中である場合、改築前の当該建物のコンピュータグラフィクス画像、改築後の当該建物のコンピュータグラフィクス画像などを、ＶＲオブジェクトとして表示させることができる。
　車両走行モードを示す情報に基づき仮想的なオブジェクトを変更する場合、表示制御部２６は、例えば、手動運転モードか自動運転モード（運転支援モード、半自動運転モードなどを含む）かによって、仮想的なオブジェクトを変更させてもよい。例えば、表示制御部２６は、手動運転モードの場合、図７に示すようなＡＲオブジェクトを表示させ、自動運転モードの場合には、町並みのＶＲオブジェクトを表示させる。
　また表示制御部２６は、例えば、仮想的なオブジェクトを、乗員の属性に応じて変更してもよい。例えば、地図情報において、特定の地点に、子供に人気のアニメキャラクタのＡＲオブジェクトが埋め込まれている場合、表示制御部２６は、撮像情報を用いて、車両内の乗員の顔を認識し、さらに子供であるか否かを判定する。そして、子供である場合、表示制御部２６は、地図上のアニメキャラクタが存在する地点に車両が近づいたとき、そのアニメキャラクタのＡＲオブジェクトを表示装置１４に表示させる。
　また、子供に見せたくない看板などが町中に存在する場合には、実際の看板を仮想的なオブジェクトで覆う、又は子供が好きなキャラクタの仮想的なオブジェクトなどに置き換えるなどしてもよい。具体的には、例えば、センタサーバ５において、子供への閲覧を禁止することが望ましい広告、看板、標語などの情報と、子供の年齢、性別、国籍などの情報を対応付けて登録しておく。そして、これらの対応付けがなされたテーブル情報などを、地図上の座標と紐付けおくことで、それらの広告などが存在する地点に近づいた車両に乗る人の中に、登録された条件に対応する子供が存在する場合、表示制御部２６は、実際の広告を仮想的なオブジェクトで覆うことで子供に見せないようにしてもよい。また表示制御部２６は、表示位置決定部２２と連携することにより、対象となる子供の視線方向を解析することで、視線の先に、子供に見せたくない広告などの仮想的なオブジェクトが存在する場合には、そのオブジェクトの代わりに、アニメキャラクタなどの代替えのＡＲオブジェクトを表示させてもよい。また表示制御部２６は、表示位置決定部２２と連携することにより、子供の視線にこれらの広告などが近づいたときに、代替えのＡＲオブジェクトなどを表示させてもよい。
　なお表示制御部２６は、ＥＣＵ３２に組み込まれてもよいし、表示装置１４に組み込まれてもよい。
　現実のオブジェクトに対して人の視線方向を合わせることにより、ＡＲオブジェクトなどを表示させる例について、図１２から図１４を参照して説明する。
　図１２から図１４のそれぞれは表示位置の決定方法の一例を説明するための図である。図１２から図１４のそれぞれには、車両の窓に設けられる表示装置１４と、車室内で表示装置１４を視認する乗員ｕと、位置ｐとが示される。位置ｐは、表示装置１４を介して乗員ｕから見える風景の中で、ＡＲオブジェクトなどの表示情報が対応付けられている車両外の位置である。
　図１２では、例えば、車両内の乗員ｕが、車両の右側後部の窓の後方寄りの位置に存在し、この位置から、表示装置１４を介して、車両外右前方の位置ｐを見る場合について説明する。この場合、表示位置決定部２２は、乗員ｕの位置と、表示装置１４の位置と、位置ｐと基づいて、表示装置１４における表示情報の表示位置を決定する。
　以下、乗員ｕの位置を「乗員位置」、表示装置１４の位置を「画面位置」、表示情報が対応付けられた位置ｐを「情報対応位置ｐ」と称する。
　図１２において、表示位置決定部２２は、風景中の情報対応位置ｐと乗員位置とを結ぶ点線が、表示装置１４に交わる交点を、風景中の情報対応位置ｐに対応付けられた表示情報ｄ１の表示位置の中心点として決定する。
　そして、表示位置決定部２２は、表示装置１４に対して、決定した表示位置に、表示情報ｄ１を表示させることを示す表示指令を生成して、表示制御部２６に入力する。このとき、表示位置決定部２２は、風景中の情報対応位置ｐと乗員位置との位置関係に応じた態様の表示情報ｄ１（仮想的なオブジェクト）を、表示させる。なお、表示位置決定部２２は、風景中の情報対応位置ｐと乗員位置との位置関係に応じた態様の表示情報ｄ１を表示させる前に、表示装置１４の表示情報ｄ１に着目させるための加飾表示、点滅動作、効果音などを出すことで、音と表示により視点を誘導するように構成してもよい。
　次に、図１３に示すように、乗員ｕが、車両の右側後部の窓の前方寄りの位置に移動した場合、表示位置決定部２２は、風景中の情報対応位置ｐと乗員位置とを結ぶ点線が、表示装置１４に交わる交点を、風景中の情報対応位置ｐに対応付けられた表示情報ｄ２の表示位置の中心点として決定する。
　そして、表示位置決定部２２は、決定した表示位置に表示情報ｄ２（仮想的なオブジェクト）を表示させることを示す表示指令を生成して、表示制御部２６に入力する。表示情報ｄ２の表示態様は、図１２の表示情報ｄ１の表示態様とは異なる。
　その後、車両が前進すると、風景中の情報対応位置ｐが相対的に車両の右後方へ移動する。この場合、表示位置決定部２２は、風景中の情報対応位置ｐと乗員位置とを結ぶ点線が、表示装置１４に交わる交点を、風景中の情報対応位置ｐに対応付けられた表示情報ｄ３の表示位置の中心点として決定する。
　そして、表示位置決定部２２は、表示装置１４に対して、決定した表示位置に、表示情報ｄ３（仮想的なオブジェクト）を表示させることを示す表示指令を生成して、表示制御部２６に入力する。表示情報ｄ３の表示態様は、図１３の表示情報ｄ２の表示態様とは異なる。
　このように、表示位置決定部２２は、乗員位置、画面位置、及び情報対応位置ｐに基づき、乗員ｕから見て風景中の情報対応位置ｐと重なる位置を、表示装置１４の中での仮想的なオブジェクトの表示位置として決定する。そして、表示位置決定部２２は、決定した表示位置に、風景中の情報対応位置ｐと乗員位置との位置関係に応じた態様の仮想的なオブジェクトを表示させることを示す表示指令を生成し、表示制御部２６に入力する。
　これにより、表示装置１４を介して見える現実の情報対応位置ｐに、あたかも存在しているかのような態様のＡＲオブジェクトなどを表示させることができるので、表示部越しの風景に対する乗員の違和感を無くして、没入感を高めることができる。
　図１５は表示システムの表示方法を説明するためのフローチャートである。表示システム１では、まず仮想的なオブジェクトの登録が行われる（ステップＳ１）。具体的には、スマートフォン、携帯端末などにインストールされた専用アプリケーションを利用することで、オブジェクトの加工などを希望する広告主、個人などが、新規に仮想的なオブジェクトを作成し、又は、車両の走行ルート沿い設定された仮想的なオブジェクトを自由にカスタマイズする。これにより、新しい仮想的なオブジェクト、加工された仮想的なオブジェクトなどの設定が行われる。なお、カスタマイズには、例えば、既存の建物を撮像して得られた画像に仮想化な広告を付加すること、当該建物全体をコンピュータグラフィクスで架空の建物に描写すること、などである。既存の建物を撮像して得られた画像に、仮想的な模様や、仮想的なキャラクタなどを施してもよい。カスタマイズされたオブジェクトは、例えばセンタサーバ５上の地図情報において、建物、風景などの位置に対応付けて登録される。
　次に、この地図情報をダウンロードした表示制御部２６は、地図情報の位置と、車両の現在位置とを比較する（ステップＳ２）。地図上の特定の建物から一定範囲内に車両が進入していないとき（ステップＳ３，Ｎｏ）、表示制御部２６は、ステップＳ２以降の処理を繰り返す。地図上の特定の建物から一定範囲内に車両が進入したとき（ステップＳ３，Ｙｅｓ）、表示制御部２６は、その車両位置に対応した現実の建物などに、ＡＲオブジェクトを組み合わせるようにして、表示装置１４に表示させる。また、表示制御部２６は、ＶＲオブジェクトを、現実の建物に重畳するように表示させる（ステップＳ４）。
　なお、仮想的なオブジェクトは、移動体の速度、走行位置などに合わせて、その動きや形状が変化するものでもよい。また表示システム１は、乗員携帯端末アプリ（決済アプリ）が操作され、或いは、窓に表示されたアイコンが触れられることにより、複数の仮想的なオブジェクトを選択できるように構成してもよい。また表示装置１４は、透明の変更機能を有するものに限定されず、透明度の変更機能を有さないものでもよい。
　以上に説明したように、本実施の形態に係る表示装置は、移動体の窓に設けられる表示部と、移動体の内部から表示部越しに見えるオブジェクトと移動体との位置関係に基づき、オブジェクトに対応する仮想的なオブジェクトの表示部における表示を制御する表示制御部と、を備えるように構成されている。この構成により、町並みは昔の風情を保ちつつ、表示部越しに見える風景に、広告やユーザが自由にアレンジしたＡＲオブジェクトなどを、組み込むことができる。従って、地域活性化を図る地域、景観条例などが厳しく広告の掲載などが制限される地域などにおいては、町の景観を損ねることなく、短期間でユニークな風景を想像することができ、ホットスポットを構築することができる。特に観光資源が乏しい町の場合、移動体の窓にだけ表示されるレアキャラクタを設定することで、乗用車、バス、タクシーなどの利用促進を図ることができる。また表示部越しの風景を工夫することで、観光客の増加を見込めるため、宿泊施設、娯楽施設などの集客力を向上させることができる。このように、移動体の乗員に対して付加価値の高い情報を提供することにより、地域の競争力の向上と、雇用の促進強化を図ることができる。
　また、本実施の形態に係る表示方法は、移動体の内部から表示部越しに見えるオブジェクトと移動体との位置関係に基づき、オブジェクトに対応する仮想的なオブジェクトを移動体の窓に設けられた表示部に表示する際の表示位置を決定するステップと、表示位置に仮想的なオブジェクトを表示するステップと、を含む。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
　２０２０年３月２３日出願の特願２０２０－０５０７６４の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。
　本開示の一実施例は、表示装置及び車両に好適である。
　１　表示システム
　３　移動体
　４　山
　５　センタサーバ
　６　乗員
　７　オブジェクト
　８Ａ　基礎
　８Ｂ　オブジェクト
　９Ａ　アイコン
　９Ｂ　オブジェクト
　１４　表示装置
　１４ａ　電子透過制御フィルム
　２２　表示位置決定部
　２６　表示制御部
　３０　車載機
　３２Ａ　補助記憶装置
　３２Ｂ　メモリ装置
　３２Ｄ　インタフェース装置
　３３　ＧＰＳモジュール
　３４　ＡＣＣスイッチ
　３５　センサ
　３６　撮像装置
　５１　通信機器
　５２　情報処理装置
　３２１　車両情報送受信部
　３２３　撮像情報管理部
　５２０　記憶部
　５２０１　通信処理部
　５２０５　情報表示物抽出部
　５２１２　車両特定部
　５２１３　指令送信部
　５２１４　マップマッチング部
　５２１５　プローブ情報生成部

Claims (13)

  1. 　移動体に設けられる表示部と、
    　前記移動体の内部から前記表示部越しに見えるオブジェクトと前記移動体との位置関係に基づき、前記オブジェクトに対応する仮想的なオブジェクトの前記表示部における表示を制御する表示制御部と、
    　を備える表示装置。
  2. 　前記仮想的なオブジェクトは、拡張現実のオブジェクトである請求項１に記載の表示装置。
  3. 　前記表示部越しのオブジェクトに前記拡張現実のオブジェクトを付加して表示する請求項２に記載の表示装置。
  4. 　前記表示部越しのオブジェクトに前記拡張現実のオブジェクトを重ねて表示する請求項３に記載の表示装置。
  5. 　前記表示部越しのオブジェクトの位置に前記拡張現実のオブジェクトを表示する請求項３に記載の表示装置。
  6. 　前記拡張現実のオブジェクトは、現実空間におけるオブジェクトを加工したオブジェクトである請求項２に記載の表示装置。
  7. 　前記表示部越しの風景に対する前記移動体の乗員の視線方向に、前記拡張現実のオブジェクトを表示する請求項２に記載の表示装置。
  8. 　前記仮想的なオブジェクトは、仮想現実のオブジェクトである請求項１に記載の表示装置。
  9. 　前記仮想現実のオブジェクトは、現実空間におけるオブジェクトを加工したオブジェクトである請求項８に記載の表示装置。
  10. 　前記仮想的なオブジェクトは、広告に関するオブジェクトである請求項１に記載の表示装置。
  11. 　前記仮想的なオブジェクトは、前記移動体の乗員の属性に応じて変更される請求項１に記載の表示装置。
  12. 　請求項１に記載の表示装置を備えた車両。
  13. 　移動体の内部から前記移動体に設けられる表示部窓越しに見えるオブジェクトと前記移動体との位置関係に基づき、前記オブジェクトに対応する仮想的なオブジェクトを前記表示部に表示する際の表示位置を決定するステップと、
    　前記表示位置に前記仮想的なオブジェクトを表示するステップと、
    　を含む表示方法。
PCT/JP2020/048570 2020-03-23 2020-12-24 表示装置、表示方法、及び車両 WO2021192469A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020006955.9T DE112020006955T5 (de) 2020-03-23 2020-12-24 Anzeigevorrichtung, Anzeigeverfahren und Fahrzeug
CN202080098828.9A CN115298520A (zh) 2020-03-23 2020-12-24 显示装置、显示方法及车辆
US17/947,834 US20230014553A1 (en) 2020-03-23 2022-09-19 Display device, display method, and vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020050764A JP7437630B2 (ja) 2020-03-23 2020-03-23 表示装置、表示方法、及び車両
JP2020-050764 2020-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/947,834 Continuation US20230014553A1 (en) 2020-03-23 2022-09-19 Display device, display method, and vehicle

Publications (1)

Publication Number Publication Date
WO2021192469A1 true WO2021192469A1 (ja) 2021-09-30

Family

ID=77848486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048570 WO2021192469A1 (ja) 2020-03-23 2020-12-24 表示装置、表示方法、及び車両

Country Status (5)

Country Link
US (1) US20230014553A1 (ja)
JP (1) JP7437630B2 (ja)
CN (1) CN115298520A (ja)
DE (1) DE112020006955T5 (ja)
WO (1) WO2021192469A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071801A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理装置及び情報処理方法
EP4167055A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle display by transfering external interest information

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
JP2023017645A (ja) * 2021-07-26 2023-02-07 トヨタ自動車株式会社 車両用表示制御装置及び車両用表示制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005098916A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2005098915A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2014085723A (ja) * 2012-10-19 2014-05-12 Toyota Motor Corp 情報提供装置および情報提供方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129439B2 (en) * 2016-03-23 2018-11-13 GM Global Technology Operations LLC Dynamically colour adjusted visual overlays for augmented reality systems
US10870351B2 (en) * 2018-12-12 2020-12-22 Here Global B.V. Method and apparatus for augmented reality based on localization and environmental conditions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005098916A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2005098915A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2014085723A (ja) * 2012-10-19 2014-05-12 Toyota Motor Corp 情報提供装置および情報提供方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071801A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理装置及び情報処理方法
JP7122408B2 (ja) 2020-10-28 2022-08-19 株式会社日本総合研究所 情報処理装置及び情報処理方法
EP4167055A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle display by transfering external interest information

Also Published As

Publication number Publication date
CN115298520A (zh) 2022-11-04
JP2021148691A (ja) 2021-09-27
US20230014553A1 (en) 2023-01-19
DE112020006955T5 (de) 2023-01-05
JP7437630B2 (ja) 2024-02-26

Similar Documents

Publication Publication Date Title
WO2021192469A1 (ja) 表示装置、表示方法、及び車両
US20230017486A1 (en) Display device, display method, and vehicle
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
CN109895788A (zh) 安装在车辆上的车辆控制装置以及用于控制车辆的方法
KR102007227B1 (ko) 컴퓨팅 디바이스
EP4280165A1 (en) Navigation device linked to vehicle, ar platform apparatus, ar platform system comprising same, and operation method
US11840173B2 (en) External facing communications for autonomous vehicles
CN113544757A (zh) 信息处理装置、信息处理方法，以及移动体装置
US20220383556A1 (en) Image output device and method for controlling the same
US20230083637A1 (en) Image processing apparatus, display system, image processing method, and recording medium
US20230375362A1 (en) Reachability User Experience Interfaces for Autonomous Vehicles
KR102625688B1 (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
KR20230065287A (ko) 차량용 ar 화면을 위한 시스템 및 차량용 ar 화면 서비스 제공 방법
JP2021149752A (ja) 表示装置、表示方法、及び車両
WO2024029368A1 (ja) 情報処理システム、情報処理プログラム及び情報処理方法
JP2022167701A (ja) 情報処理装置、情報処理プログラム、情報処理方法及びモビリティサイネージシステム
CN117215061A (zh) 车辆用ar显示装置及其动作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927517

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20927517

Country of ref document: EP

Kind code of ref document: A1