WO2019044536A1 - 情報処理装置、情報処理方法、プログラム、および移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、および移動体 Download PDF

Info

Publication number
WO2019044536A1
WO2019044536A1 PCT/JP2018/030489 JP2018030489W WO2019044536A1 WO 2019044536 A1 WO2019044536 A1 WO 2019044536A1 JP 2018030489 W JP2018030489 W JP 2018030489W WO 2019044536 A1 WO2019044536 A1 WO 2019044536A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
information
content
unit
user
Prior art date
Application number
PCT/JP2018/030489
Other languages
English (en)
French (fr)
Inventor
計人 椋
綾香 佐藤
聰 赤川
祥次 渡邊
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/640,727 priority Critical patent/US11645840B2/en
Priority to DE112018004847.0T priority patent/DE112018004847B4/de
Priority to JP2019539362A priority patent/JP7331696B2/ja
Publication of WO2019044536A1 publication Critical patent/WO2019044536A1/ja
Priority to US18/189,273 priority patent/US20230237799A1/en
Priority to JP2023124515A priority patent/JP7571829B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and a moving object, and in particular, an information processing apparatus and an information processing method capable of appropriately displaying content superimposed on a scene viewed by a user. , Programs, and mobiles.
  • Patent Document 1 when an AR (Augmented Reality) image related to a facility is displayed in association with a real landscape viewed by the driver, an AR image is displayed at a distance when the vehicle speed is fast, and an AR image is near when the vehicle speed is slow.
  • an AR image is displayed at a distance when the vehicle speed is fast, and an AR image is near when the vehicle speed is slow.
  • the present technology has been made in view of such a situation, and is intended to be able to appropriately display content superimposed on a scene that a user is looking at.
  • An information processing apparatus includes a setting unit configured to set a frame to which content is to be superimposed in an area corresponding to the surface of an object based on a user's movement status, and the set frame. And a display control unit that generates visual information for displaying the content in an area.
  • a frame to which content is to be superimposed is set in an area corresponding to the surface of an object based on the user's movement situation, and the content is displayed in the area corresponding to the set frame Visual information is generated to
  • FIG. 1 It is a figure showing interior of a vehicle carrying a vehicle control system concerning a 1st embodiment of this art. It is a figure which shows the example of the appearance of content. It is a figure which shows the example of a display of the content for implement
  • FIG. 7 is a diagram showing an example of an information superimposable frame excluded by the exclusion rule 2; It is a figure which shows the example of the information superimposition possible flame
  • FIG. 7 It is a figure which shows the example of the information superimposition possible flame
  • FIG. FIG. 18 is a diagram showing an example of an information superimposable frame excluded by the exclusion rule 5; It is a figure which shows the example of the information superimposition possible flame
  • FIG. It is a figure which shows the example of transition of a vehicle position. It is a figure showing an example of direction change of vehicles. It is a figure which shows the scenery image in each vehicle position. It is a figure which shows the example of the user's visual field angular velocity. It is a figure which shows the example of the facing angle with respect to the vehicle advancing direction. It is a figure which shows the example of an exposed area ratio. It is a figure which shows the example of an exposed area ratio.
  • FIG. 37 is a flowchart for describing information superimposition appropriate view setting processing performed in step S3 of FIG. 36.
  • FIG. 37 is a flowchart following to FIG. 37 for explaining the information superimposition appropriate view setting process performed in step S3 of FIG.
  • FIG. 37 is a flowchart for describing superimposition target frame selection processing performed in step S4 of FIG. 36.
  • FIG. It is a flowchart explaining the display processing performed in FIG.36 S5. It is a flowchart explaining prior analysis processing of contents.
  • the figure explaining the outline of the example which superimposes a content on the information superimposition appropriate frame according to the user's viewpoint position according to a 2nd embodiment of this art according to a user's viewpoint position, and it defocuses and displays it. is there. It is a figure explaining the example of a setup of the degree of defocusing in case the information superposition suitable frame is one sheet. It is a figure explaining the example of a setup of the degree of defocusing in case information superimposition appropriate frames is plurality, and the example of a display when a projection unit is a transmissive display. It is a figure explaining an example of composition of a display control part concerning a 2nd embodiment of this art. It is a figure explaining the example of a structure of the display process part of FIG.
  • FIG. 56 A display control unit of an output control unit of the vehicle control system of FIG.
  • FIG. 54 which is a block diagram showing a configuration example of a display processing unit when a liquid crystal polarization shutter is used for the display unit. It is a flowchart explaining the display processing by the display control part of FIG. 45 which applied the display process part of FIG. A diagram for explaining an example of the configuration of a display unit using a lenticular lens when content is superimposed on a frame suitable for information superposition according to the viewpoint positions of a plurality of users when the number of users is plural and defocused and displayed. is there.
  • FIG. 56 A display control unit of an output control unit of the vehicle control system of FIG. 54, which is a block diagram showing a configuration example of a display processing unit when a lenticular lens is used for the display unit. It is a flowchart explaining the display processing by the display control part of FIG. 45 which applied the display process part of FIG. It is a block diagram showing an example of composition of a computer.
  • First Embodiment 1-1 Example of display of content 1-2.
  • Configuration Example of Vehicle Control System 1-3 Operation of Vehicle Control System 1-4.
  • Third Embodiment 3-1 Outline of third embodiment 3-2.
  • Configuration Example of Vehicle Control System 3-3 Display processing by the display processing unit of FIG. 55 3-4. Modified example
  • FIG. 1 is a diagram showing interiors near the driver's seat of a vehicle equipped with a vehicle control system according to an embodiment of the present technology.
  • a windshield G is provided at the end of the dashboard when viewed from the user (driver) who sits in the driver's seat.
  • the display of the content by the vehicle control system is performed, for example, by projecting an image on the windshield G. The user sees the content superimposed on the scenery seen through the windshield G.
  • the user who looks at the content may be another user sitting in the front passenger seat or the rear seat.
  • images representing various types of information such as entertainment information, practical information, and advertisements are displayed.
  • the image displayed as content may be a moving image or a still image. Characters may or may not be included in the image.
  • a projection unit for realizing such AR display of content is provided at a predetermined position such as the rear side of the rearview mirror or the upper surface of the dashboard.
  • a device for realizing the AR display various devices for projecting a virtual image other than the projection unit may be used.
  • a transmissive display attached to the windshield G may be used, or a transmissive HMD (Head Mounted Display) worn by a user may be used.
  • HMD Head Mounted Display
  • the display of the content by the vehicle control system is performed in the optimum expression at the optimum place in the landscape. Specifically, among the frames set on the wall surface of an object such as a building existing in the landscape, a frame that is considered easy for the user to view is selected as the optimum place based on the movement situation. Also, in order to make it look as if it were actually projected on the wall of a building, the content is displayed after image processing according to how the wall is viewed.
  • FIG. 2 is a diagram showing an example of the appearance of content.
  • the landscape shown in the horizontally-long rectangular range shown in FIG. 2 represents a part of the landscape viewed by the user sitting in the driver's seat.
  • a curve turning to the right is visible in front of the vehicle.
  • a building B1 is on the right side of the curve, and a building B2 is on the tip of the curve.
  • a building B3 beyond the building B2.
  • the content C2 is displayed on the frame set on the wall surface of the building B2
  • the content C3 is displayed on the frame set on the wall surface of the building B3.
  • the contents are displayed large on the wall of the nearby building, and the contents are displayed small on the wall of the far building.
  • the vehicle speed is displayed.
  • FIG. 3 is a view showing a display example of content for realizing the appearance of the landscape as shown in FIG.
  • a of FIG. 3 shows the actual scenery seen in front of the user. As shown in A of FIG. 3, in an actual landscape, a curve turning to the right is seen in front of the vehicle, and buildings B1 to B3 are seen along the road.
  • contents C1 to C3 are displayed in a form as shown in B of FIG. 3, and the same appearance of contents as FIG. 2 shown in C of FIG. 3 is realized.
  • FIG. 4 is a view schematically showing the display of content.
  • the display of content is performed by displaying an image on an area on the windshield G corresponding to a frame set in a building.
  • the area inside the straight line connecting the position P and the frame (hatched portion) is the area on the windshield G corresponding to the frame.
  • the horizontal line in FIG. 4 shows the windshield G as a display surface between the user and the building.
  • the area on the windshield G corresponding to the frame set in the building B1 ′ is the area G1
  • the area on the windshield G corresponding to the frame set in the building B2 ′ is the area G2.
  • the user sees the content displayed in the area G1 superimposed on the building B1 'viewed from the windshield G.
  • the user sees the content displayed in the area G2 superimposed on the building B2 'viewed from the windshield G.
  • the user can view various information as if it were displayed on the wall of a building.
  • the superimposition of the content on the frame set on the wall of the building is realized by displaying an image on the windshield G.
  • the display content is updated in real time according to the traveling situation (moving situation) while the vehicle is traveling. As the appearance of the landscape from the driver's seat changes, the appearance of the content also changes.
  • FIG. 5 is a diagram showing an example of how the content looks after a predetermined time has elapsed from the state of FIG.
  • the state of FIG. 5 is a state in which the vehicle is turning a curve. Most of the building B1 that has been seen on the right side is out of sight, and the content C1 superimposed on the building B1 is not visible.
  • the building B2 approaches the front on the front, and the content C2 is displayed larger than the state of FIG.
  • the content C2 is displayed in a size and a shape as if displayed on the wall surface of the building B2 based on the positional relationship between the vehicle and the wall surface of the building B2. As time passes, the display content of the content C2 also changes.
  • the display of the content C3 also changes.
  • the building B4 which was not seen in the state of FIG. 2 is newly seen beyond the building B3.
  • Frames are respectively set on the two wall surfaces of the building B4 seen by the user, and the content C4-1 and the content C4-2 are superimposed on the respective frames.
  • FIG. 6 is a diagram showing an example of how content looks after a predetermined time has elapsed from the state of FIG.
  • the state shown in FIG. 6 is a state in which the vehicle turns a curve and goes straight on the road. Most of the building B2 that was visible on the left side is out of view, and the content C2 superimposed on the building B2 is not visible.
  • the buildings B6 and B7 are visible in front, and the contents are superimposed on the respective wall surfaces.
  • FIG. 7 is a diagram showing an example of how the content looks after a predetermined time has elapsed from the state of FIG.
  • the state of FIG. 7 is a state in which the position in front of the building B4 goes straight.
  • the display of the content superimposed on each of the buildings B4 to B7 changes as the appearance of the buildings changes.
  • the building B8, which was hardly visible in the state of FIG. 6, looks large on the right side, and the content is also superimposed on the wall surface of the building B8.
  • a frame is set also to various buildings such as a water storage tank and soundproof walls installed on both sides of an expressway. Is superimposed.
  • the object to which the frame is set is not limited to a structure, and may be a natural object such as a mountain slope or a sea surface which can be seen in the distance.
  • a frame may be set on the road itself and content may be superimposed.
  • the object on which the content is superimposed is a building.
  • the display of the content by the vehicle control system is performed by superimposing on the building viewed during driving. Also, the content superimposed on the building is displayed with its shape and size changed as the user's view changes.
  • the content is displayed as if it is displayed on a building, and the display changes with the change in the appearance of the landscape, the user can view the content in a natural manner while driving Can.
  • FIG. 8 is a block diagram showing a configuration example of the vehicle control system 100. As shown in FIG. The vehicle control system 100 shown in FIG. 8 functions as an information processing apparatus.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle as appropriate.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • a system system 110, a storage unit 111, and an automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 mutually communicate via the communication network 121. It is connected.
  • the communication network 121 is, for example, an on-vehicle communication network, a bus or the like conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), or the like. Each part of the vehicle control system 100 may be directly connected without via the communication network 121.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device or the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes imaging devices such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like that receives a signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging the driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in the vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the camera constituting the data acquisition unit 102 captures a landscape in the traveling direction of the vehicle.
  • the landscape image taken by the camera is analyzed to identify the presence or absence of a building, the brightness of the building, the brightness of the surroundings, and the like.
  • the situation of the vehicle such as the traveling direction and the speed is specified.
  • the identified condition of the vehicle is used to predict the travel route of the vehicle.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI) (registered trademark), or a Mobile High (MHL) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by means of a definition link).
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High
  • the communication unit 103 communicates with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point.
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the content to be superimposed on the landscape may be acquired from a server that manages the content.
  • the communication unit 103 acquires content by communicating with the server.
  • the content acquired by the communication unit 103 is supplied to, for example, the storage unit 111 and stored.
  • the communication unit 103 communicates with a terminal (for example, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • the communication unit 103 performs vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • V2X communication includes a beacon receiving unit, receives a radio wave or an electromagnetic wave transmitted from a radio station or the like installed on a road, and acquires information such as a current position, traffic jam, traffic restriction, or required time.
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the vehicle, and a navigation device for searching for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • Control the output of visual and auditory information from 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a lamp, and the like.
  • the output unit 106 also includes a projection unit 106A.
  • the projection unit 106A is a display device having an AR display function, such as a HUD or a transmissive display. As described above, the projection unit 106A projects various types of information such as content onto the windshield G.
  • the drive system control unit 107 supplies various control signals to the drive system 108 to control the drive system 108.
  • the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 is configured of a storage device such as a solid state drive (SSD) or a hard disc drive (HDD).
  • the storage unit 111 stores programs, data, and the like used by each unit of the vehicle control system 100.
  • a map such as a three-dimensional high-accuracy map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-accuracy map, and a local map including information around the vehicle. Data is stored.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance.
  • the automatic driving control unit 112 is an ADAS (Advanced Driver) including collision avoidance or shock mitigation of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Cooperative control for the purpose of realizing the function of the Assistance System. Further, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like which travels autonomously without depending on the driver's operation.
  • ADAS Advanced Driver
  • the autonomous driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the external information detection unit 141 performs detection processing of external information of the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the external information detection unit 141 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs detection processing of the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other on-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • Self position estimation unit 132 estimates the position and attitude of the vehicle based on data or signals from each part of vehicle control system 100 such as external information detection unit 141 and situation recognition unit 153 of situation analysis unit 133. Do the processing.
  • the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. In addition, the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 performs analysis processing of the own vehicle and the surrounding situation.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as needed. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of signals around the host vehicle, the contents of traffic restrictions around the host vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle to be recognized includes, for example, the position, attitude, movement (for example, velocity, acceleration, moving direction, etc.) of the vehicle, and the presence or absence and contents of abnormality.
  • the situation around the vehicle to be recognized includes, for example, the type and position of surrounding stationary objects, the type and position of surrounding moving objects, position and movement (eg, velocity, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data indicating the result of the recognition process (including the situation recognition map as necessary) to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs a prediction process of the situation regarding the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change in the signal state, and the change in the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Also, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action plan part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive.
  • the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like.
  • the action plan unit 162 supplies data indicating the planned behavior of the host vehicle to the operation plan unit 163 or the like.
  • the operation plan unit 163 is an operation of the own vehicle for realizing the action planned by the action plan unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan. For example, the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entering a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 9 is a block diagram showing an example of a functional configuration of the output control unit 105 of FIG. At least a part of the functional units shown in FIG. 9 is realized by executing a predetermined program.
  • the output control unit 105 includes an information superimposition appropriate view setting unit 201, a superimposition target frame selection unit 202, a display control unit 203, and a content acquisition unit 204.
  • the information superimposition appropriate view setting unit 201 analyzes an image obtained by photographing a landscape in the traveling direction of the vehicle. For example, a landscape image captured by a camera constituting the data acquisition unit 102 is supplied to the information superimposition appropriate view setting unit 201.
  • the information superimposition appropriate view setting unit 201 sets an information superimposable frame on the wall surface of the building shown in the landscape image.
  • the information superimposable frame is an area in which contents can be superimposed on the surface (an area corresponding to the surface) of an object such as a building.
  • the information superimposition appropriate view setting unit 201 selects a predetermined frame of the information superimposable frames as an information superimposition appropriate frame which is a frame suitable for superimposing the content.
  • the content is not superimposed on all the information superimposable frames, but the information superimposable frame suitable for superimposing the content is selected according to the traveling situation or the like.
  • Information on the information superposition appropriate frame set by the information superposition appropriate view setting unit 201 is supplied to the superposition target frame selection unit 202.
  • Information on the analysis result of the landscape image is appropriately supplied from the information superimposition appropriate view setting unit 201 to the display control unit 203.
  • the superposition target frame selection unit 202 selects the superposition destination of the content acquired by the content acquisition unit 204 from among the information superposition appropriate frames set by the information superposition appropriate view setting unit 201. Information on the information superposition appropriate frame selected as the content superposition destination is supplied to the display control unit 203.
  • the display control unit 203 performs visual adjustment on the content by performing image processing according to the status of the information superimposition appropriate frame selected as the superimposition destination. As described above, the display control unit 203 has a function of generating visual information for displaying content. Further, the display control unit 203 controls the projection unit 106A to superimpose the image-processed content on the information superimposition appropriate frame. The display control unit 203 displays the content by projecting the content onto the area on the windshield G corresponding to the information superimposition appropriate frame.
  • the content acquisition unit 204 acquires content by reading out from the storage unit 111.
  • the storage unit 111 stores content acquired from a server (not shown).
  • the content acquired by the content acquisition unit 204 is supplied to the superposition target frame selection unit 202 and the display control unit 203.
  • the process by the information superimposition appropriate view setting unit 201 is a first stage process
  • the process by the superposition target frame selection unit 202 is a second stage process
  • the process by the display control unit 203 is a third stage As a process of
  • FIG. 10 is a block diagram showing a configuration example of the information superimposition appropriate view setting unit 201 of FIG.
  • the information superimposition appropriate view setting unit 201 includes an image analysis unit 211, a light state mode setting unit 212, an object detection unit 213, a frame setting unit 214, and an appropriate view setting unit 215.
  • the image analysis unit 211 analyzes a landscape image obtained by shooting. Analysis of the landscape image detects the outline of the building and detects the surrounding brightness (brightness). Further, by analyzing the landscape image, the state of sunshine, the state of illumination, the state of the atmosphere, etc. are also detected. Information representing an analysis result by the image analysis unit 211 is supplied to the light state mode setting unit 212 and the object detection unit 213, and is also supplied to the display control unit 203.
  • the light state mode setting unit 212 sets the light state mode based on the information supplied from the image analysis unit 211. For example, any one of "daytime mode”, “twilight mode” and “night mode” is set as the light state mode.
  • the "daytime mode” is set when the sun is out and the surroundings are bright.
  • the “twilight mode” is set when the surroundings are dim, such as the evening or the morning.
  • the “night mode” is set when the sun is sunk and the surroundings are dark.
  • a threshold of brightness as a reference is set.
  • the light state mode setting unit 212 sets the light state mode according to the current brightness condition by comparing the ambient brightness specified by analyzing the image and the brightness serving as the threshold. Information on the light state mode set by the light state mode setting unit 212 is supplied to the frame setting unit 214.
  • the setting of the light state mode by the light state mode setting unit 212 may not be performed based on the analysis result of the landscape image, but may be performed based on the detection result of the sensor that configures the data acquisition unit 102.
  • the setting of the light state mode may be performed with reference to the current time and the like.
  • the object detection unit 213 acquires map data and plots a building whose outline is detected on the map, thereby generating a three-dimensional model of a building which is included in the user's view along the road on which the vehicle is traveling. .
  • the road on which the vehicle is traveling is identified based on the positioning result by the GNSS receiver that configures the data acquisition unit 102.
  • the map data supplied to the object detection unit 213 may be stored in the storage unit 111 or may be acquired from a server (not shown).
  • FIG. 11 is a diagram illustrating an example of a three-dimensional model of an object along a road.
  • the buildings are arranged on the left and right of the linear road on which the host vehicle is traveling.
  • a three-dimensional model including such outline data of a building is generated by the object detection unit 213.
  • the three-dimensional model also includes data of outlines of objects other than buildings included in the landscape image, such as trees and telephone poles.
  • the object detection unit 213 determines whether a building on the map data actually exists based on the analysis result of the landscape image by the image analysis unit 211, and for the building that is actually present, Determine the position.
  • the existing buildings may be torn down on map data.
  • the object detection unit 213 excludes the building from the overlapping target of the content.
  • the map data is updated every predetermined period such as one year, so it may happen that the buildings present on the map data are not at the time of traveling of the vehicle. If the content is superimposed on the wall of a building that has been lost at the time of travel of the vehicle, the content appears to be floating, but such unnatural appearance can be prevented.
  • the object detection unit 213 outputs, to the frame setting unit 214, information of the three-dimensional model of the building actually shown in the landscape image.
  • the frame setting unit 214 sets an information superimposable frame on the wall of the building included in the field of view of the user based on the three-dimensional model supplied from the object detection unit 213. For example, a plane having an area larger than the threshold is set as the information superimposable frame.
  • FIG. 12 is a diagram showing an example of setting of the information superimposable frame.
  • the information superimposable frame F_01 is set in the building on the right side before the curve. There are three buildings on the left along the curve, and information superimposable frames F_02, F_03, and F_04 are set sequentially from the front building.
  • the scenery shown in FIG. 12 indicates a scenery at a vehicle position A described later.
  • an information superimposable frame is set as a candidate for the content superimposition destination.
  • a frame to be a superimposition destination of the content is selected.
  • one information superimposable frame is set on one surface of a building, but a plurality of frames may be set.
  • the frame setting unit 214 excludes an information superimposable frame that is not appropriate as a content superimposition destination among the information superimposable frames set as described above.
  • the exclusion of the information superimposable frame is performed based on the light state mode set by the light state mode setting unit 212 and the brightness of each part of the building included in the landscape image analyzed by the image analysis unit 211. .
  • the frame setting unit 214 excludes a portion in a strong light emission state, such as a large monitor, from the information superimposable frame in all cases of "daytime mode", "twilight mode", and "night mode". For example, a part of a building having a luminance equal to or higher than a threshold is identified as a part in a strong light emission state.
  • FIG. 13 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 1.
  • the frame setting unit 214 excludes a portion that appears as a strong shadow due to sunlight from the information superimposable frame. For example, if there is a part that is brightened by sunlight and a part that has a luminance difference greater than or equal to the part and the part, a part with low luminance is identified as a part that appears to be strongly shaded by sunlight Be done.
  • FIG. 14 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 2. As shown in FIG.
  • the surface b11-1 constituting the building B11 is hit by sunlight, and the other surface b11-2 is entirely shaded, so that the difference in luminance between those surfaces is equal to or more than the threshold I assume.
  • the part of the area A11 of the surface b11-2 with low luminance is excluded from the information superimposable frame.
  • the part of the area A12 of the surface b12-2 constituting the building B12 and the part of the area A13 of the surface b13-2 constituting the building B13 are excluded from the information superimposable frame.
  • the building B12 there is a difference in brightness between the upper side of the plane b12-1 and the plane b12-2
  • the building B13 there is a difference in brightness between the upper side of the plane b13-1 and the plane b13-2.
  • the frame setting unit 214 excludes a portion that looks particularly dark due to various reasons from the information superimposable frame. For example, a portion where the luminance is lower than the threshold is identified as a portion that appears particularly dark.
  • FIG. 15 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 3. As shown in FIG.
  • the luminance of the surface b21-1 constituting the building B21 is lower than the threshold. Further, it is assumed that the luminance of the surface b22-1 and the surface b22-2 constituting the building B22 is lower than the threshold value, which is behind the building B21. In this case, a portion of the regions A 21-1 and A 21-2 of the surface b 21-1, a portion of the region A 22-1 of the surface b 22-1, and a portion of the region A 22-2 of the surface b 22-2 It is excluded.
  • the content when the content is superimposed on a dark part, the content becomes difficult to see. Also by excluding the information superimposable frame in accordance with the exclusion rule 3, it is possible to secure the visibility of the content.
  • the frame setting unit 214 excludes, from the information superimposable frame, a portion that appears as a strong shadow due to the illumination light. For example, if there is a part that is brightened by the illumination light and a part that has a luminance difference greater than or equal to the part and the part, the part with low luminance is identified as a part that appears strongly shadowed by the illumination light Be done.
  • the exclusion rule 2 it is determined whether to exclude the information superimposable frame from the information superimposable frame based on the absolute luminance of each portion and the luminance difference between the surroundings.
  • FIG. 16 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 4.
  • the light from the street lamp L strikes the surface b31-1 constituting the building B31, and a shadow is generated on the entire surface b31-2, which is the other surface, so that the luminance difference between those surfaces is a threshold. It shall be above. In this case, the part of the area A31 of the surface b31-2 with low luminance is excluded from the information superimposable frame.
  • the frame setting unit 214 excludes, from the information superimposable frame, the portion in the light emitting state of the building outer wall and the window portion in the light emitting state due to internal lighting. For example, a part of a building having a luminance equal to or higher than a threshold is identified as a part in a light emitting state.
  • FIG. 17 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 5.
  • FIG. 17 there are windows in the area A41-1 and A41-2 of the surface b11-1 and the area A41-3 and A41-4 of the surface b11-2 constituting the building B11. It is assumed that those parts are in a light emitting state by the illumination of In this case, portions of the regions A41-1 to A41-4 are excluded from the information superimposable frame.
  • the part of the area A42 of the surface b12-2 constituting the building B12 and the part of the area A43 of the surface b13-2 constituting the building B13 are excluded from the information superimposable frame. These parts also have windows, which are supposed to be in a luminous state by the illumination in the room.
  • the frame setting unit 214 is configured to display a portion where it is deemed inappropriately or practically inappropriate to superimpose content, such as a historical building, a display such as a signboard, or an object at a tourist attraction, from an information superimposable frame. exclude.
  • the exclusion rule 6 is adopted in all cases of "daytime mode”, "twilight mode", and "night mode".
  • FIG. 18 is a diagram showing an example of the information superimposable frame excluded by the exclusion rule 6.
  • regions A51 and A52 in FIG. 18 for example, the outer wall of a castle which is a historical building is excluded from the information superimposable frame.
  • the determination based on the exclusion rule 6 is performed, for example, by the frame setting unit 214 based on the information included in the map data.
  • the frame setting unit 214 By analyzing the landscape image, a historical building or the like may be detected, and a determination may be made as to whether to exclude it from the information superimposable frame.
  • the frame setting unit 214 excludes the information superimposable frame according to each rule as described above, and outputs the information of the remaining (not excluded) information superimposable frame to the appropriate view setting unit 215.
  • the appropriate view setting unit 215 of FIG. 10 determines whether the information superimposable frame set by the frame setting unit 214 and subjected to the determination based on the exclusion rule satisfies the following conditions 1 to 4.
  • Condition 1 The distance from the user, the angle with respect to the direction of travel of the vehicle, and the angular velocity within the user's field of view calculated from the vehicle speed are within the reference range
  • Condition 2 the facing angle with respect to the direction of travel of the vehicle is at least the minimum reference value 3: When the information superimposable frame is viewed through the front object such as a tree or a telephone pole, the exposure area ratio is equal to or more than the reference value.
  • Condition 4 the time during which the user stays in the view is equal to or more than the reference value.
  • Whether or not these conditions are satisfied is appropriately determined using analysis results of landscape images, information on roads included in map data, traveling direction of vehicles, vehicle speed, and the like.
  • Information on the current situation of the vehicle such as the traveling direction of the vehicle and the vehicle speed, is specified based on the information supplied from the situation analysis unit 133 or the like, for example. Further, information on the future vehicle status is specified based on, for example, the progress status prediction information supplied from the operation plan unit 163 or the like.
  • the appropriate view setting unit 215 sets an information superimposable frame that satisfies all the conditions 1 to 4 as an information superimposition appropriate frame.
  • An information superimposable frame that does not satisfy at least one of the conditions 1 to 4 is not selected as an information superimposition appropriate frame.
  • FIG. 19 is a diagram showing an example of the transition of the vehicle position.
  • FIG. 19 shows a state in which the transition of the position of a vehicle traveling a curve turning to the right is viewed from above.
  • the rounded rectangles on the road represent vehicles, and the rectangles on both sides of the road represent buildings.
  • There is one building inside the curve and the information superimposable frame F_01 is set on the surface of the building on the road side.
  • there are three buildings outside the curve and information superimposable frames F_02, F_03, and F_04 are set in order from the building on the near side.
  • thick lines in the rectangles representing buildings indicate frames in which information can be superimposed.
  • vehicle positions A to E The positions of the vehicle at each time are referred to as vehicle positions A to E.
  • the vehicle travels in order on the path connecting the vehicle positions A to E.
  • the direction shift at the vehicle position B is represented by 22.5 °
  • the direction shift at the vehicle position C is represented at 45 °
  • the direction shift of the vehicle at the vehicle position D is represented by 67.5 °
  • the direction shift of the vehicle at the vehicle position E is represented by 90 °.
  • the fan-shaped interior angle shown with reference to the vehicle position represents the range of the user's view when the vehicle is at each position.
  • the field of view at vehicle position A is represented by sector # 1
  • the field of view at vehicle position B is represented by sector # 2.
  • the field of view at vehicle position C is represented by sector # 3.
  • the landscape viewed by the user changes according to the vehicle position and the direction of the vehicle.
  • the situation of the vehicle at each time is generated at each timing based on the current situation of the vehicle and the future situation.
  • FIG. 19 shows the state of transition of the vehicle position generated at the timing when the vehicle travels the vehicle position A.
  • the situation of the vehicle at the vehicle positions B to E is a situation predicted based on the future progress situation. Such future progress is represented by progress prediction information input from the outside.
  • FIG. 21 is a view showing a landscape image at each vehicle position.
  • the range of the landscape image captured by the camera matches the range of the user's view.
  • the entire landscape the user is looking at will be captured by the camera.
  • FIG. 21 shows a landscape image of the vehicle position A.
  • the scenery image of the vehicle position A includes all the information superimposable frames F_01 to F_04.
  • the field of view of the user at the timing of traveling the vehicle position A includes information superimposable frames F_01 to F_04.
  • the information superimposable frame F_03 is partially overlapped with the information superimposable frame at the position before the building where the information superimposable frame F_03 is set and the position before the building where the information superimposable frame F_04 is set. Trees are planted in the form.
  • the scenery shown to A of FIG. 21 is the same as the scenery demonstrated with reference to FIG.
  • B of FIG. 21 shows a landscape image of the vehicle position B. Since the current vehicle position is the vehicle position A, the scenery image shown in B of FIG. 21 represents a scenery which is expected to be seen after a predetermined time has elapsed.
  • the landscape image of the vehicle position B includes an information superimposable frame F_03 and an information superimposable frame F_04. As indicated by a sector # 2 in FIG. 19, the user viewable field at the timing of traveling the vehicle position B includes the information superimposable frame F_03 and the information superimposable frame F_04.
  • C of FIG. 21 shows a landscape image of the vehicle position C. Since the current vehicle position is the vehicle position A, the scenery image shown in C of FIG. 21 represents a scenery which is expected to be seen after a predetermined time elapses from the timing at which the vehicle position B is being traveled.
  • the landscape image of the vehicle position C includes an information superimposable frame F_04. As shown in a sector # 3 of FIG. 19, the information superimposable frame F_04 is included on the left side of the user's field of view at the timing when the vehicle position C is being traveled.
  • the information superimposable frames F_01 to F_04 are all out of the field of view of the user.
  • the appropriate view setting unit 215 determines that the condition 1 is satisfied if the user's distance, the angle with respect to the vehicle traveling direction, and the user's in-field angular velocity calculated from the vehicle speed are within the reference range. Do.
  • the angular velocity in the user view represents the angular velocity of the vehicle while the information superimposable frame is within the field of view of the user, based on the position of each information superimposable frame.
  • FIG. 22 is a diagram illustrating an example of the angular velocity in the user view.
  • the determination using the angular velocity in the user's field of view during movement from the vehicle position A to the vehicle position B is shown.
  • the in-field angular velocity of the information superimposable frame F_01 is 41 ° / sec
  • the in-field angular velocity of the information superimposable frame F_02 is 38 ° / sec.
  • the angular velocity in the user view of the information superimposable frame F_03 is 3 ° / sec
  • the angular velocity in the user view of the information superimposable frame F_04 is 8 ° / sec.
  • the reference value of the angular velocity in the user's field of view which is the upper limit
  • the information superimposable frame F_01 and the information superimposable frame F_02 exceeding the standard value do not satisfy the condition 1 and Is judged to be inappropriate.
  • the information superimposable frame F_03 and the information superimposable frame F_04 within the range of the reference value satisfy the condition 1 and are appropriate as a frame on which the content is superimposed.
  • the fact that the angular velocity in the field of view of the user is smaller than the reference value means that the amount of movement in the field of view of the user is small.
  • condition 1 it is determined based on condition 1 whether or not the frame is suitable as a frame on which the content is superimposed, so that a frame with a small amount of movement in the user's view, that is, a frame that is easy to see when the content is superimposed It becomes possible to choose.
  • the content when the content is superimposed on the information superimposable frame having a large angular velocity in the user's field of view, the content appears to move largely.
  • the determination based on the condition 1 makes it possible to prevent the content from being superimposed on the information superimposable frame that moves largely in the field of view.
  • the appropriate view setting unit 215 determines that the condition 2 is satisfied when the facing angle with respect to the traveling direction of the vehicle is equal to or greater than the minimum reference value.
  • FIG. 23 is a diagram showing an example of the facing angle with respect to the vehicle traveling direction.
  • the setting plane of the information superimposable frame F_03 is represented by a broken line L1
  • the setting plane of the information superimposable frame F_04 is represented by a broken line L2. Since the information superimposable frame F_01 and the information superimposable frame F_02 are determined as inappropriate frames by the determination based on the condition 1, the determination based on the condition 2 for the information superimposable frame F_01 and the information superimposable frame F_02 is a line I can not do it.
  • the facing angle of the information superimposable frame F_03 with respect to the vehicle traveling direction at the vehicle position A is represented by a sector # 11-1, and the facing angle of the information superimposable frame F_04 is represented by a sector # 11-2.
  • the facing angle of any information superimposable frame is 90 °.
  • the facing angles at the same vehicle position are the same, but are not parallel planes If set, the facing angles for each will be different.
  • the facing angle of the information superimposable frame with respect to the vehicle traveling direction at each vehicle position is similarly determined.
  • the facing angle of the information superimposable frame F_03 with respect to the vehicle traveling direction at the vehicle position B is represented by a sector # 12-1
  • the facing angle of the information superimposable frame F_04 is represented by a sector # 12-2.
  • the facing angle of any information superimposable frame is 67.5 °.
  • the facing angle of the information superimposable frame F_04 with respect to the vehicle traveling direction at the vehicle position C is represented by a sector # 13.
  • the facing angle of the information superimposable frame F_04 is 45 °.
  • the determination using the facing angle of the information superimposable frame F_03 is not performed because the vehicle is already out of the field of view of the user.
  • the information superimposable frame F_03 and the information superimposable frame F_04 satisfy the condition 2 and are determined to be appropriate as frames to superimpose contents.
  • both facing angles of the information superimposable frame F_03 and the information superimposable frame F_04 exceed the reference value.
  • the information superimposable frame F_03 and the information superimposable frame F_04 satisfy the condition 2 and are determined to be appropriate as frames to superimpose contents.
  • the facing angle of the information superimposable frame F_04 exceeds the reference value.
  • the information superimposable frame F_04 satisfies the condition 2 and is determined to be appropriate as a frame on which content is to be superimposed.
  • the meeting angle at one timing exceeds the reference value
  • the information superimposable frame in which the meeting angles at plural timings exceed the reference value may be determined as the condition 2 is satisfied.
  • the fact that the facing angle of the information superimposable frame with respect to the vehicle traveling direction is equal to or greater than the reference value indicates that the information superimposable frame is set in a direction closer to the front with respect to the user.
  • the appropriate view setting unit 215 determines that the condition 3 is satisfied when the information superimposable frame is viewed through the front object such as a tree or a telephone pole and the exposure area ratio is equal to or more than a reference value.
  • the near object is an object located in front of the information superimposable frame when viewed from the position of the user.
  • the determination based on the condition 3 may be performed when the distance between the near object and the building (information superimposable frame) located behind the near object is smaller than the threshold.
  • the distance between the object in front and the building is specified based on, for example, the three-dimensional model of the object generated by the object detection unit 213.
  • FIG. 24 and FIG. 25 are diagrams showing an example of the exposed area ratio.
  • FIG. 24 for example, at the timing of traveling the vehicle position A, there is a tree T1 in front of the information superimposable frame F_03 included in the field of view of the user and a tree T2 in front of the information superimposable frame F_04. is there. As shown in FIG. 25, the user views these information superimposable frames with the tree partially covered.
  • the exposed area ratio of the information superimposable frame F_03 is expressed as the ratio of the area of the part not shaded by the tree T1 (the shaded area in FIG. 25) to the entire area of the information superimposable frame F_03.
  • Each area is determined by, for example, the appropriate view setting unit 215 based on the analysis result of the scenery image.
  • the exposed area ratio of the information superimposable frame F_03 is 80%.
  • the exposed area ratio of the information superimposable frame F_04 is expressed as the ratio of the area of the portion not hidden by the tree T2 to the entire area of the information superimposable frame F_04. In this example, the exposed area ratio of the information superimposable frame F_04 is 95%.
  • the exposure area ratio of both the information superimposable frame F_03 and the information superimposable frame F_04 is the reference value It will be exceeded.
  • the information superimposable frame F_03 and the information superimposable frame F_04 satisfy the condition 3 and are determined to be appropriate as a frame on which the content is to be superimposed.
  • An information superimposable frame in which the exposure area ratio at a plurality of timings exceeds the reference value may be determined as satisfying the condition 3 as well as the exposure area ratio at one timing exceeds the reference value.
  • the fact that the exposed area ratio is equal to or higher than the reference value means that a wide range of the information superimposable frame is visible to the user even if there is an object in front.
  • the appropriate view setting unit 215 determines that the condition 4 is satisfied when the time of stay in the user view is equal to or more than the reference value.
  • FIG. 26 is a diagram showing an example of the staying time in the user view.
  • the staying time in the user view of the information superimposable frame F_03 is determined as the time from the timing serving as the reference to the timing of traveling the position in front of the vehicle position C. .
  • the field of view of the user continues to include the information superimposable frame F_03 up to a position before that.
  • the staying time within the user view of the information superimposable frame F_03 is 3.5 seconds.
  • the staying time in the user view of the information superimposable frame F_04 is obtained as the time from the reference timing to the timing of traveling the position in front of the vehicle position D. Although it is hardly included in the field of vision of the user at the vehicle position D, the field of view of the user continues to include the information superimposable frame F_04 up to the position in front of it. In this example, the staying time in the user view of the information superimposable frame F_04 is 5.5 seconds.
  • any staying time of the information superimposable frame F_03 and the information superimposable frame F_04 exceeds the reference value.
  • the information superimposable frame F_03 and the information superimposable frame F_04 satisfy the condition 4 and are determined to be appropriate as frames to superimpose contents.
  • the reference value of the stay time may be set according to the traveling speed.
  • the reference value of 3.0 seconds described above is set, for example, when the traveling speed is 5 m / sec (18 km / h).
  • the fact that the stay time is equal to or greater than the reference value indicates that the information superimposable frame continues to be contained in the field of view of the traveling user for a certain period of time.
  • the frame is suitable as a frame on which the content is to be superimposed based on the condition 4, it is possible to select a frame that can be continuously viewed for a predetermined time when the content is superimposed. .
  • the information superimposable frame is suitable for content superimposition. It may be determined whether the information superimposable frame is suitable for content superimposition by using other conditions such as whether the area of the information superimposable frame is equal to or more than a reference value. .
  • the appropriate view setting unit 215 selects an information superimposable frame that satisfies all the conditions 1 to 4 as an information superimposition appropriate frame.
  • An information superimposable frame that satisfies at least one condition instead of all the conditions 1 to 4 may be selected as the information superimposition appropriate frame.
  • the appropriate view setting unit 215 sets an information superimposed appropriate view on the basis of the information superimposed appropriate frame.
  • the information overlapping appropriate view is an area of the entire view of the user that is suitable for overlapping content. For example, an area inside a rectangle including all the information superimposition appropriate frames in the entire field of view of the user is set as the information superimpose appropriate field of view.
  • FIG. 27 is a diagram showing an example of setting of the information superimposition appropriate view.
  • the area inside the minimum rectangle surrounding the information superimposable frame F_03 selected as the information superimposing appropriate frame and the information superimposable frame F_04 is set as the information superimposing appropriate view.
  • An information superimposable frame F_03 and an information superimposable frame F_04 included in the information superimposing appropriate view are used as a content superimposing destination.
  • the information superimposable frames included in the information superimposing appropriate view are all set as the information superimposable frame F_03 and the information superimposable frame F_04 determined as the information superimposing appropriate frames.
  • the information superimposable frame which is not determined as the information superimposing appropriate frame by the determination based on the conditions 1 to 4 may also be used as a content superimposing destination when it is included in the information superimposing appropriate view.
  • the appropriate view setting unit 215 sets an area outside the information superimposing appropriate view as an information superimposing unsuitable view.
  • the information superposition inappropriate view is not used for content superposition, but is used for display of various messages, display of information representing a traveling state such as traveling speed, and the like.
  • the speed display on the upper left shown in FIG. 2 and the like is a display using an information superposition inappropriate view.
  • the appropriate view setting unit 215 outputs information on all information superimposition appropriate frames included in the information superimposition appropriate view to the superimposition target frame selection unit 202.
  • Second stage processing selection of information superposition appropriate frame to be superposition destination
  • the selection of the superposition destination performed by the superposition target frame selection unit 202 as the second stage processing will be described.
  • FIG. 28 is a block diagram showing a configuration example of the superposition target frame selection unit 202 of FIG.
  • the superposition target frame selection unit 202 includes a pre-analysis unit 231, a matching degree calculation unit 232, and a superposition destination setting unit 233.
  • the content acquired by the content acquisition unit 204 is input to the pre-analysis unit 231 as content to be displayed. Further, the information of the information superimposition appropriate frame output from the information superimposition appropriate view setting section 201 is input to the degree of adaptability calculation section 232.
  • the pre-analysis unit 231 pre-analyzes content information items for all contents scheduled to be displayed, and sets a display position determination element (Positioning Factors).
  • the content information item is metadata representing the feature of the content, and is configured of items different for each type of content.
  • the display position determination element is information related to the specification required to display the content, and is used to select the information superimposition appropriate frame to be the superimposition destination.
  • the pre-analysis unit 231 classifies each content into one of the content types of “moving image”, “still image”, and “character (text)”.
  • the classification of the content type is performed based on, for example, the file extension of the content.
  • FIG. 29 shows an example of a content information item. Duplicate descriptions will be omitted as appropriate.
  • a of FIG. 29 shows the content information item of the character content whose file name is "File_01".
  • the pre-analysis unit 231 sets “Type”, “Number of Letters”, “Time for Reading”, “Proportion”, and “Time for Viewing” as content information items of the character content. Set each item.
  • Type represents the content type.
  • Numberer of Letters represents the number of characters included in the content.
  • Time for Reading represents reading time.
  • the reading time is set, for example, according to the number of characters.
  • Proportion represents the ratio of the vertical and horizontal size of the area required to display the content.
  • Time for Viewing represents viewing time. In the case of character content, the required viewing time is set to be the same as the reading time.
  • the pre-analysis unit 231 sets 4: 3 of “Proportion” and 10 seconds of “Time for Viewing” as display position determination elements of the character content of “File_01”.
  • FIG. 29 shows the content information item of the moving image content whose file name is "File_02".
  • the pre-analysis unit 231 sets each item of “Type”, “Playback Duration”, “Proportion”, and “Time for Viewing” as the content information item of the moving image content.
  • Playback Duration represents playback time.
  • Proportion represents the aspect ratio of each frame constituting the moving image content.
  • Time for Viewing represents viewing time.
  • the browsing required time is set as the same time as the playback time.
  • “Playback Duration” is set as 20 seconds. Also, “Proportion” is set as 16: 9. “Time for Viewing” is set to 20 seconds, which is the same as “Playback Duration”.
  • the pre-analysis unit 231 sets 16: 9 of "Proportion” and 20 seconds of “Time for Viewing” as display position determination elements of moving image content of "File_02".
  • C of FIG. 29 shows the content information item of the still image content whose file name is "File_03”
  • D of FIG. 29 shows the content information item of the still image content whose file name is "File_04".
  • the pre-analysis unit 231 sets “Type”, “Text”, “Number of Letters”, “Time for Reading”, “Proportion” as content information items of still image content. And set each item of "Time for Viewing".
  • Text represents whether or not a text element is included in the image.
  • the pre-analysis unit 231 performs image analysis on the content of the “still image” to identify whether it is a “still image” with a text element or a “still image” without a text element.
  • the other content information items of the still image content with the text element are the same as the content information items of the text content.
  • the pre-analysis unit 231 sets 3: 4 of "Proportion” and 7 seconds of "Time for Viewing” as display position determination elements of still image content of "File_03".
  • the pre-analysis unit 231 sets 1: 1 of “Proportion” and 5 seconds of “Time for Viewing” as display position determination elements of still image content of “File_04”.
  • the pre-analysis unit 231 outputs the information of the display position determination element of each content set as described above to the adaptability calculation unit 232.
  • the degree-of-fit calculation unit 232 calculates the degree of match for each combination of the content on which the pre-analysis is performed by the pre-analysis unit 231 and the information superimposition appropriate frame included in the information superimposition appropriate view. That is, for each of all the contents, the matching degree with each information superimposition appropriate frame included in the information superimposition appropriate view is calculated.
  • the matching degree calculation unit 232 specifies the vertical / horizontal size ratio of each information superimposition appropriate frame and the stay time in the user view based on the information supplied from the information superimposition appropriate view setting unit 201, for example.
  • the adaptability calculation unit 232 calculates the adaptability of the content and the information superimposition appropriate frame by comparing the identified vertical / horizontal size ratio and the staying time in the user view with the display position determination element of the content. As described above, the aspect ratio (“Proportion”) and the time required for viewing (“Time for Viewing”) are set as display position determination elements.
  • FIG. 30 is a diagram illustrating an example of the matching degree.
  • Frame_11 to Frame_14 shown in FIG. 30 respectively represent information superposition appropriate frames F_11 to F_14.
  • the vertical and horizontal size ratios of the information superimposing appropriate frames F_11 to F_14 are 1: 0.9, 3: 4.2, 4: 3.2, and 16: 8, respectively, and the staying time in the user view is 4 seconds, 7 seconds, and 14 seconds, respectively. It shall be seconds and 17 seconds.
  • a of FIG. 30 shows the matching degree of the character content of "File_01” with each of the information superimposition appropriate frames F_11 to F_14.
  • the display position determination element of the character content of “File — 01” is 4: 3 of the vertical / horizontal size ratio and 10 seconds of the browsing required time.
  • the pre-analysis unit 231 determines the conformity of the vertical and horizontal size ratio based on 4: 3 of the vertical and horizontal size ratio of the character content and 1: 0.9 of the vertical and horizontal size ratio of the information superposition appropriate frame F_11. Ask as 20. For example, the closer the ratio between the two, the higher the degree of matching required.
  • the pre-analysis unit 231 obtains the matching degree of the browsing required time as 10 based on 10 seconds of the browsing required time of the character content and 4 seconds of the staying time within the user view of the information superimposition appropriate frame F_11. For example, the closer the two times are, the higher the degree of matching is required.
  • the pre-analysis unit 231 calculates the overall compatibility of the information content appropriate frame F_11 with the character content of “File_01” as 30 by adding the compatibility of the vertical / horizontal size ratio and the compatibility of the required viewing time.
  • the overall fitness is determined by adding the fitness of the aspect ratio and the fitness of the viewing time, but one of the fitness may be weighted before adding the overall It is arbitrary about how to obtain the degree of fitness.
  • the pre-analysis unit 231 similarly calculates, for each of the information superimposition appropriate frames F_12 to F_14, the degree of matching with the character content of “File_01”.
  • the overall fitness of the text content of "File_01” and the information superimposition appropriate frame F_12 is 30, and the overall fitness of the text content of "File_01” and the information superimposition appropriate frame F_13. Is 90.
  • the overall matching degree between the character content of “File — 01” and the information superimposition appropriate frame F — 14 is 70.
  • the pre-analysis unit 231 similarly calculates the degree of matching of each of the moving image content of "File 02", the still image content of "File 03", and the still image content of "File 04" with each of the information superimposition appropriate frames F_11 to F_14. Do.
  • FIG. 30 shows the matching degree of the moving image content of "File_02” with each of the information superimposition appropriate frames F_11 to F_14.
  • the display position determination element of the moving image content of “File — 02” is 16: 9 of the vertical / horizontal size ratio and 20 seconds of the browsing required time.
  • the overall adaptability of the moving image content of "File 02” and the information superimposition appropriate frame F_11 is 0, and the overall adaptivity of the moving image content of "File 02” and the information superimposing appropriate frame F 12 Is zero. Further, the overall compatibility of the moving image content of “File_02” with the information superimposition appropriate frame F_13 is 50, and the total compatibility of the moving image content of “File_02” with the information superimposing appropriate frame F_14 is 80.
  • FIG. 30 shows the matching degree of the still image content of "File_03" with each of the information superimposition appropriate frames F_11 to F_14.
  • the display position determination element of the still image content of “File — 03” is 3: 4 of the aspect ratio, and 7 seconds of the required viewing time.
  • the overall matching degree between the still image content of "File_03” and the information superimposition appropriate frame F_11 is 30, and the entire still image content of "File_03” and the information superimposition appropriate frame F_12.
  • the fitness is 90.
  • the overall compatibility of the still image content of "File_03” with the information superimposition appropriate frame F_13 is 60, and the overall relevance of the still image content of "File_03” with the information superimposition appropriate frame F_14 is 50.
  • D of FIG. 30 shows the matching degree of the still image content of "File_04" with each of the information superimposition appropriate frames F_11 to F_14.
  • the display position determination elements of the still image content of “File — 04” are 1: 1 of the aspect ratio and 5 seconds of the browsing required time.
  • the overall matching degree of the still image content of "File_04" and the information superimposition appropriate frame F_11 is 70
  • the fitness is 70.
  • the overall compatibility of the still image content of "File_04" with the information superimposition appropriate frame F_13 is 70
  • the overall relevance of the still image content of "File_04" with the information superimposition appropriate frame F_14 is 60.
  • the adaptability calculation unit 232 outputs the information of the adaptability calculated in this manner to the superposition destination setting unit 233.
  • the superimposition destination setting unit 233 sets an information superimposition appropriate frame to be a superimposition destination of each content according to the degree of matching calculated by the degree of matching calculation unit 232.
  • the superimposing destination setting unit 233 sets an information superimposing appropriate frame to be a superimposing destination by sequentially allocating an information superimposing appropriate frame having a high degree of matching.
  • FIG. 31 is a diagram illustrating an example of setting of the superposition destination.
  • the left side of FIG. 31 shows an example of calculation of the degree of matching as described above.
  • Each fitness level is appropriately ranked in the range of "Not Good” to "Very Good”.
  • the table shown at the end of the white arrow indicates the information superimposition appropriate frames F_11 to F_14 of the character content of "File_01", the moving image content of "File_02", the still image content of "File_03", and the still image content of "File_04" Is a table showing the overall fitness with each of the
  • the superposition destination setting unit 233 sets an information superposition appropriate frame F_13 having the highest degree of conformity among the information superposition suitable frames F_11 to F_14 as a superposition destination of the character content of “File_01”.
  • the superposition destination setting unit 233 sets an information superposition appropriate frame F_14 having the highest degree of conformity among the information superposition appropriate frames F_11 to F_14 as a superposition destination of the moving image content of “File — 02”.
  • the superposition destination setting unit 233 sets an information superposition appropriate frame F_12 having the highest degree of conformity among the information superposition appropriate frames F_11 to F_14 as a superposition destination of the still image content of “File_03”.
  • the superposition destination setting unit 233 sets an information superposition appropriate frame F_11 having the highest degree of conformity among the information superposition appropriate frames F_11 to F_14 as a superposition destination of the still image content of “File_04”.
  • the matching levels of the still image contents of "File_04" and the information superimposition appropriate frames F_11, F_12, and F_13 are all 70, here, information superimposition that is not set as a superimposition destination of any contents is appropriate.
  • a frame F_11 is set.
  • the information superimposition appropriate frame F_12 is already set as the superimposition destination of the still image content of “File 03” based on the degree of matching higher than 70
  • the information superimposing appropriate frame F 13 is the character “File 01” based on the degree of conformity higher than 70. It has already been set as the content overlay destination.
  • FIG. 32 is a diagram showing an example of the overlap destination set as described above.
  • the information superimposition appropriate frame F_11 and the information superimposition appropriate frame F_12 described above are the information superimposition appropriate frames set in the building B101 on the left side.
  • the information superimposition appropriate frame F_13 is an information superimposition appropriate frame set in the building B102 at the center.
  • the information superimposition appropriate frame F_14 is an information superimposition appropriate frame set in the building B103 on the right side.
  • the superposition destination setting unit 233 outputs, to the display control unit 203, information on the superposition destination of each content set in this way, that is, information indicating which content is to be superimposed on which information superposition appropriate frame.
  • the matching degree between the content and the information superimposition appropriate frame is calculated based on the aspect ratio and the time of the both, but may be calculated based on other factors. For example, it may be calculated based on only the aspect ratio, or may be calculated based only on the time (the required viewing time and the staying time in the view).
  • the degree of matching is calculated based on other factors such as superimposing the moving image content on the information superimposing appropriate frame in the dark place and superimposing the character content on the information superimposing appropriate frame in the bright place. You may do so. In this case, the degree of matching is calculated based on the luminance of the information superimposition appropriate frame and the content type.
  • the moving image content may be superimposed on the information superimposition appropriate frame located far away, and the matching degree may be calculated so as to superimpose the character content on the information superimposition appropriate frame located nearby.
  • the degree of matching is calculated based on the distance to the information superimposition appropriate frame and the content type.
  • analysis of the content information item and the display position determination element is performed in the vehicle control system 100, it may be performed on the server side that manages the content.
  • Information on the content information item and the display position determination element is provided from the server to the vehicle control system 100 in association with the content.
  • FIG. 33 is a block diagram showing a configuration example of the display control unit 203 of FIG.
  • the display control unit 203 includes an adaptive contrast calculation unit 251, a contrast adjustment unit 252, a mask processing unit 253, and a display processing unit 254.
  • the adaptive contrast calculation unit 251 For the adaptive contrast calculation unit 251, the analysis result of the landscape image output from the information superimposition appropriate view setting unit 201 and the information superimposition appropriate frame as the superimposition destination of each content output from the superimposition target frame selection unit 202. Information is entered.
  • the content output from the content acquisition unit 204 is input to the contrast adjustment unit 252, and a landscape image is input to the mask processing unit 253.
  • the adaptive contrast calculation unit 251 calculates the adaptive contrast (Fitting Contrast) of each information superposition appropriate frame based on the context of the location of the information superposition appropriate frame set as the content superposition destination.
  • the adaptive contrast is used to adjust the contrast of the content so that it looks the same as the actual appearance of the location of the information superimposition appropriate frame.
  • the adaptive contrast calculation unit 251 calculates the adaptive contrast based on, for example, the state of sunshine, the state of illumination, the state of the atmosphere, and / or the distance from the vehicle position.
  • the condition of sunshine, the condition of lighting, the condition of the atmosphere, and / or the distance from the vehicle position are used as context, but other conditions such as weather and temperature are used as the context. It may be used.
  • the state of sunshine, the state of illumination, the state of the atmosphere, and the distance from the vehicle position are included in the analysis result of the landscape image.
  • the distance from the vehicle position to the location where the information superimposition appropriate frame is present may be acquired based on the detection result of the distance sensor.
  • the adaptive contrast calculation unit 251 outputs information on the adaptive contrast of each information superposition appropriate frame to the contrast adjustment unit 252.
  • the contrast adjustment unit 252 adjusts the contrast of the content for which the superposition destination is set according to the adaptive contrast of the information superposition appropriate frame which is the superposition destination.
  • the contrast adjustment unit 252 outputs the content after the contrast adjustment to the display processing unit 254.
  • FIG. 34 is a diagram showing an example of contrast adjustment based on adaptive contrast.
  • the information superimposition appropriate frames F_11 to F_14 shown in FIG. 34 are the same as the information superimposition appropriate frames described with reference to FIG. 34
  • the information superimposition appropriate frame F_11 is set on the wall surface of the building B101 located at a short distance.
  • the sunshine state of the information superimposition appropriate frame F_11 is in the sunshine state by the sunlight hitting the wall surface on which the information superimposition appropriate frame F_11 is set.
  • the state of sunshine is specified based on, for example, the luminance of the wall on which the information superimposition appropriate frame F_ 11 is set.
  • the adaptive contrast calculation unit 251 determines that the information superimposition is appropriate based on the fact that the information superimposition appropriate frame F_11 is at a short distance and the sunshine state is sunshine. 100% is calculated as the adaptive contrast of the frame F_11.
  • the sunshine state of the information superimposition appropriate frame F_12 set on the wall surface of the building B101 at a short distance is a weak shade state.
  • the adaptive contrast calculation unit 251 calculates 60% as the adaptive contrast of the information superposition appropriate frame F_12 based on the fact that the information superposition appropriate frame F_12 is at a short distance and the sunshine state is a weak shade state. .
  • the adaptive contrast is 60%
  • the still image content of "File_03" to which the information superimposing appropriate frame F_12 is to be superimposed is superimposed on the information superimposing appropriate frame F_12 in a state where the contrast is lowered to 60%.
  • the actual superposition of the information superimposition appropriate frame F_11 is set when comparing the actual appearance of the wall surface where the information superimposition appropriate frame F_12 is set, the information superimposition appropriate frame F_12 is set.
  • the wall looks darker and the contrast is lower. By lowering the contrast in accordance with the actual appearance of the wall, it is possible to display the still image content of “File — 03” in a state of being embedded in the appearance of the wall on which it is superimposed.
  • the information superimposition appropriate frame F_13 is set on the wall surface of the building B102 at a long distance.
  • the state of the atmosphere of the information superimposition appropriate frame F_13 is in a state where fog is generated.
  • the state of the atmosphere, such as the occurrence of fog, is specified based on, for example, the luminance and contrast of the wall surface to which the information superimposition appropriate frame F_13 is set.
  • the adaptive contrast calculation unit 251 determines that the adaptive contrast frame F_13 is 10% as the adaptive contrast based on the fact that the information superimposition appropriate frame F_13 is at a long distance and the atmospheric state is a fog generation state.
  • the adaptive contrast is 10%
  • the text content of "File_01" to which the information superimposing appropriate frame F_13 is superimposed is superimposed on the information superimposing appropriate frame F_13 in a state where the contrast is lowered to 10%.
  • the information superimpose appropriate frame is because it looks in fog at a long distance.
  • the contrast appears to be lower on the wall where F_13 is set.
  • the information superimposition appropriate frame F_14 is set on the wall surface of the building B103 at a short distance.
  • the sunshine state of the information superimposition appropriate frame F_14 is in the sunshine state.
  • the adaptive contrast calculation unit 251 determines that the information superimposition appropriate frame is based on the fact that the information superimposition appropriate frame F_14 is at a short distance and the sunshine state is sunshine. Calculate 100% as the adaptive contrast of F_14.
  • the moving image content of "File 02" having the information superimposition appropriate frame F_14 as the superimposition destination is superimposed on the information superimposition appropriate frame F_14 with the original contrast without performing the contrast adjustment.
  • contrast adjustment is performed on each content based on the adaptive contrast that is calculated according to the actual appearance of the location where the information superimposition appropriate frame that is the superimposition destination is present. This enables the content to be shown to the user as if it were being displayed on the wall of a real building.
  • the mask processing unit 253 cuts out the image of the front object from the landscape image by performing mask processing when the front object such as a tree or a telephone pole covers the information superimposition appropriate frame.
  • the mask processing by the mask processing unit 253 is performed when there is a near object overlapping the information superimposition appropriate frame.
  • the mask processing unit 253 outputs the image of the near object extracted by performing the mask processing to the display processing unit 254 as a component image.
  • the display processing unit 254 controls the projection unit 106A to superimpose each content on the information superimposition appropriate frame set as the superimposition destination of each content.
  • the display processing unit 254 causes the component image supplied from the mask processing unit 253 to be displayed superimposed on the content.
  • the part image is displayed superimposed on the position where the front object is actually seen.
  • the display of the content and the like by the display processing unit 254 is repeatedly performed while the vehicle is traveling.
  • FIG. 35 is a diagram showing an example of display of a near object.
  • the range indicated by the broken line is the range of the information superimposition appropriate frame.
  • the range indicated by coloring the end of the white arrow # 31 is the range in which the near object and the information superimposition appropriate frame overlap.
  • the mask processing unit 253 detects the outer shape of the near object, and generates a mask image M as indicated by the tip of arrow # 41.
  • the mask processing unit 253 cuts out the component image P of the near object by performing mask processing on the landscape image using the mask image M.
  • the display processing unit 254 superimposes the content on the information superimposition appropriate frame.
  • the display of the content is performed by displaying the content on the windshield G. Therefore, as shown by the tip of the white arrow # 32, the content is superimposed on the near object as the user's view Will be visible.
  • the hatching of the entire information superposition appropriate frame indicated by the end of the white arrow # 32 means that the entire content can be viewed without being covered by the near object.
  • the display processing unit 254 superimposes and displays the component image P on the position of the front object, so that the content is displayed on the wall of the building in the back of the front object, as shown at the tip of the white arrow # 33. To realize the display as if
  • the part image P Assuming that the part image P is not displayed in a superimposed manner, the content will be visible in front of the near object as shown at the end of the white arrow # 32, so that the content is displayed on the wall of the building I can not see it.
  • the part image P By superimposing and displaying the part image P on the content, it becomes possible to realize the appearance as if the content is displayed on the wall of an actual building without a sense of discomfort.
  • step S1 the automatic driving control unit 112 controls the camera constituting the data acquisition unit 102, and starts photographing of the scenery in the traveling direction of the vehicle. A landscape image obtained by photographing is supplied to the output control unit 105.
  • step S2 the automatic driving control unit 112 controls the sensors constituting the data acquisition unit 102, and starts measurement by various sensors.
  • the prediction of the state of the vehicle or the like is performed based on the measurement result by the sensor and the like.
  • Information on the condition of the vehicle is supplied to the output control unit 105 as progress condition prediction information.
  • step S3 the information superimposition appropriate view setting unit 201 performs an information superimposition appropriate view setting process, which is the process of the first stage.
  • the information superimposition appropriate view setting process selects an information superimposition appropriate frame suitable for content superimposition. Details of the information superimposition appropriate view setting process will be described later with reference to the flowcharts of FIGS. 37 and 38.
  • step S4 the superimposition target frame selection unit 202 performs superimposition target frame selection processing, which is the processing of the second stage.
  • superimposition target frame selection process an information superimposition appropriate frame to be a superimposition destination is set out of the information superimposition appropriate frames included in the information superimposition appropriate view. Details of the superimposition target frame selection process will be described later with reference to the flowchart of FIG. 39.
  • step S5 the display control unit 203 performs the display process which is the process of the third stage.
  • the display process executes the display of the content. The details of the display process will be described later with reference to the flowchart of FIG.
  • steps S3 to S5 are repeatedly performed.
  • step S11 the image analysis unit 211 of the information superimposition appropriate view setting unit 201 analyzes a landscape image. For example, an outline of a building shown in a landscape image is detected, and ambient brightness is detected.
  • step S12 the light state mode setting unit 212 sets one of the light state modes among "daytime mode”, “twilight mode”, and "night mode” based on the ambient brightness.
  • step S13 the object detection unit 213 determines the position of each object. That is, the object detection unit 213 plots the building whose outline has been detected on a map, and determines the position of the building shown in the landscape image. In addition to the building, the object detection unit 213 determines the position of an object such as a tree. The object detection unit 213 generates a three-dimensional model of the object whose position has been determined.
  • step S14 the frame setting unit 214 sets an information superimposable frame on the surface of the object.
  • step S15 the frame setting unit 214 excludes inappropriate information superimposable frames in accordance with the optical state mode.
  • an information superimposable frame which is unnatural when it is superimposed is excluded as described above.
  • the information of the information superimposable frame which is not excluded is supplied to the appropriate view setting unit 215.
  • step S16 the appropriate view setting unit 215 focuses on one information superimposable frame.
  • step S17 the appropriate view setting unit 215 calculates the in-view angular velocity of the information superimposable frame to be focused.
  • step S18 the appropriate view setting unit 215 determines whether the calculated user's in-view angular velocity is within the reference range.
  • step S19 the appropriate view setting unit 215 calculates the facing angle of the information superimposable frame to be focused with respect to the vehicle traveling direction.
  • step S20 the appropriate view setting unit 215 determines whether the calculated meeting angle is equal to or greater than the minimum reference value.
  • step S21 the appropriate view setting unit 215 calculates the exposed area ratio of the information superimposable frame of interest.
  • step S22 the appropriate view setting unit 215 determines whether the calculated exposure area ratio is equal to or greater than a reference value.
  • step S22 If it is determined in step S22 that the exposed area ratio is equal to or more than the reference value, the appropriate view setting unit 215 calculates the staying time of the information superimposable frame in the user's view in step S23.
  • step S24 the appropriate view setting unit 215 determines whether the calculated stay time in the view of the user is equal to or greater than a reference value.
  • the appropriate view setting unit 215 sets the information superimposable frame to which attention is paid as the information superimposition appropriate frame in step S25.
  • step S18 when it is determined in step S18 that the angular velocity in the user's field of view is not within the reference range, the information superposition enabled frame is set as an inappropriate frame for information superposition in step S26. If it is determined in step S20 that the face-to-face angle is not the minimum reference value or more, if it is determined in step S22 that the exposure area ratio is not the reference value or more, or if the stay time in the user's view is over the reference value in step S24. The same applies to the case where it is determined not to be present.
  • step S27 the appropriate view setting unit 215 determines whether or not all information superimposable frames have been focused.
  • step S27 If it is determined in step S27 that there is an information superimposable frame that has not been focused on yet, the process returns to step S16, and the above-described processing is repeated focusing on other information superimposable frames. If it is determined in step S27 that all information superimposable frames have been focused, the process proceeds to step S28.
  • step S28 the appropriate view setting unit 215 sets the area inside the rectangle including all the information superimposition appropriate frames as the information superimposition appropriate view. Thereafter, the process returns to step S3 of FIG. 36, and the subsequent processing is performed.
  • the pre-analysis of the content is performed by the pre-analysis unit 231.
  • the display position determination element obtained by the pre-analysis process is supplied from the pre-analysis unit 231 to the fitness calculation unit 232.
  • step S41 the matching degree calculation unit 232 of the superposition target frame selection unit 202 focuses on one content to be displayed.
  • step S42 the matching degree calculation unit 232 calculates, for the content of interest, the matching degree with all the information superposition appropriate frames in the information superposition appropriate view.
  • the calculation of the degree of matching is performed, for example, with reference to the ratio of vertical and horizontal size and the required viewing time, which are included in the display position determination element.
  • step S43 the matching degree calculation unit 232 determines whether all the contents have been focused.
  • step S43 If it is determined in step S43 that there is content that has not been focused on yet, the process returns to step S41, and the above-described processing is repeated focusing on other content. As a result, the degree of matching between each content and each of all the information superimposition appropriate frames is calculated.
  • step S44 the superimposing destination setting unit 233 sets an information superimposing appropriate frame as a superimposing destination of each content based on the degree of matching. Thereafter, the process returns to step S4 of FIG. 36, and the subsequent processing is performed.
  • step S51 the adaptive contrast calculation unit 251 of the display control unit 203 focuses on one content for which the superposition destination is set.
  • step S52 the adaptive contrast calculation unit 251 calculates the adaptive contrast based on the context of the location where the information superimposition appropriate frame to be superimposed is present.
  • step S53 the contrast adjustment unit 252 adjusts the contrast of the content of interest based on the adaptive contrast.
  • step S54 when there is a near object in the information superimposition appropriate frame which is the superimposition destination of the content of interest, the mask processing unit 253 cuts out an image of the near object by performing mask processing.
  • step S55 the display processing unit 254 superimposes the content on the information superimposition appropriate frame.
  • step S56 the display processing unit 254 appropriately displays the image of the near object on the content.
  • step S57 the display control unit 203 determines whether all the contents have been focused.
  • step S57 If it is determined in step S57 that there is content that has not been focused on yet, the process returns to step S51, and the above-described processing is repeated focusing on other content.
  • step S57 If it is determined in step S57 that all the contents have been focused, the process returns to step S5 in FIG. 36 and the subsequent processing is performed. As a result, all the contents are superimposed on the information superposition appropriate frame set as the superposition destination.
  • step S101 the pre-analysis unit 231 of the superposition target frame selection unit 202 focuses on one content to be displayed among the content supplied from the content acquisition unit 204.
  • step S102 the pre-analysis unit 231 classifies the content of interest according to the content type based on the extension of the file.
  • the pre-analysis unit 231 sets the aspect ratio and the required viewing time as the display position determination element.
  • step S104 the pre-analysis unit 231 analyzes the still image content of interest and detects the presence or absence of a text element.
  • step S105 the pre-analysis unit 231 determines whether or not the text element is included, and when it is determined that the text element is not included, in step S106, the aspect ratio is set as the display position determination element. .
  • step S107 the pre-analysis unit 231 sets the vertical / horizontal size ratio and the browsing required time as the display position determination element.
  • step S108 the pre-analysis unit 231 sets the aspect ratio and the required viewing time as a display position determination element.
  • the pre-analysis unit 231 determines whether or not all the contents have been focused.
  • step S109 If it is determined in step S109 that there is content that has not been focused on yet, the process returns to step S101, and the above-described processing is repeated focusing on other content.
  • step S109 If it is determined in step S109 that all the contents have been focused, the pre-analysis process is ended.
  • the information on the display position determination element of each content is supplied from the pre-analysis unit 231 to the fitness calculation unit 232, and is used for calculation of the fitness.
  • processing of each of the above steps may be performed in parallel with the other processing as appropriate, or in a different order from the other processing.
  • the mobile unit on which the user is riding is a car, it may be another mobile unit such as a bicycle, a motorcycle, a train, or an airplane.
  • the mobile unit is provided with a device serving as a display surface of content between an object and a user, the above-described technology can be applied to the display of content in various mobile units.
  • the present invention is also applicable to the display of content when the user wears the transmissive HMD and travels on foot.
  • the content is displayed superimposed on the landscape in the traveling direction by the HMD.
  • image processing to be applied to the content based on the context of the location where the information superimposition suitable frame is present is the adjustment of contrast
  • other processing such as adjustment of luminance and adjustment of color may be performed.
  • Second embodiment >>> ⁇ 2-1.
  • Outline of Second Embodiment >> In the above, the information superimposition appropriate frame is set based on the scenery image of the traveling direction of the vehicle captured by the camera constituting the data acquisition unit 102, and the content is superimposed and displayed on the set information superimposition appropriate frame An example has been described.
  • any content present in the direction of the user's line of sight should be clearly visible in focus, and those out of the line of sight direction should be seen in an out of focus or blurry state.
  • any content may be displayed so as to be clearly visible as a whole regardless of the viewing direction, which may cause an unnatural appearance.
  • the user who is in the vehicle is photographed, the viewpoint position of the user is detected, and the content superimposed on the information superimposition appropriate frame according to the viewpoint position is such that the content farther from the viewpoint position looks blurry. Focus processing may be added and displayed.
  • FIG. 42 is an outline of a second embodiment of the vehicle control system 100 in which the defocusing processing is added to the content superimposed on the information superimposition appropriate frame according to the viewpoint position EP of the user boarding the vehicle.
  • FIG. 42 is an outline of a second embodiment of the vehicle control system 100 in which the defocusing processing is added to the content superimposed on the information superimposition appropriate frame according to the viewpoint position EP of the user boarding the vehicle.
  • a camera 271 that captures a landscape image in the traveling direction of the vehicle and a camera 272 that captures a user 273 who is a passenger in the vehicle are provided.
  • the output control unit 105 superimposes the content on the information superimposition appropriate frame by the above-described series of processing based on the landscape image captured by the camera 271, and the user 273 in the vehicle captured by the camera 272 According to the distance from the viewpoint position EP on the projection unit 106A, defocus processing is added to the content displayed on the projection unit 106A.
  • defocusing refers to processing of an image in an out-of-focus state so that the user looks dimly when displaying the image.
  • the degree of defocus (Deforcus_Range) is set according to the distance from the user's viewpoint position of the user 273, and the focus is in accordance with the degree of defocus
  • the content is displayed in a state of being processed into an empty state.
  • the content close to the viewpoint position EP is displayed with a small degree of defocus in accordance with the movement of the line of sight, and a position away from the viewpoint position EP
  • the content of is displayed in an out-of-focus state according to the size of the distance from the viewpoint position EP, so that natural viewing according to the user's gaze direction can be realized.
  • the user 273 focuses on an object located in the direction of sight as a viewpoint position and focuses on the viewpoint position, so that an object located away from the viewpoint position is not in focus. .
  • the degree of defocus is set according to the distance difference value which is the difference value of the distance between the position on the content and the viewpoint position of the user 273.
  • the information superimposition appropriate frame 281F is set on the side surface of the building 281, and in order of closeness according to the distance from the viewpoint position of the user 273 on the information superimpose appropriate frame 281F.
  • positions 281A, 281B, 281C are set.
  • FIG. 43 shows an example of setting the degree of defocus
  • buildings 281 and 282 at the front left and right which are the traveling directions of the user 273 who gets on the vehicle.
  • An example of a landscape is shown.
  • the viewpoint position at which the user 273 is looking at is referred to as a user viewpoint position. Therefore, as shown in the left part of FIG. 43, when the dotted arrow indicates the line of sight of the user 273, the position 281B is the user viewpoint position.
  • the position 281B on the information superimposition appropriate frame 281F is the user viewpoint position, it can be considered that the user 273 is viewing with focusing on the position 281B which is the user viewpoint position.
  • the degree of defocus (Deforcus_Range) is set to 0% at the position 281B which is the user viewpoint position. Further, at positions 281A and 281C away from the user's viewpoint, the defocus degree (Deforcus_Range) is 0.1 to 0.5A according to the distance difference value which is the value of the distance from the user's viewpoint to each of the positions 281A and 281C. Set to%.
  • the degree of defocus is set to a larger value as the distance difference value between the user viewpoint position of the user 273 and each position is larger, and the degree of defocus is set smaller as the distance difference value is smaller. Therefore, since the distance difference value is 0 at the position 281B which is the user viewpoint position, the degree of defocus is also set to 0.
  • the degree of defocus is set smaller at positions closer to the user's viewpoint, and set larger at positions farther from the user's viewpoint.
  • A is a predetermined coefficient, and can be arbitrarily set as a weight according to the degree of defocus and the distance difference value. That is, when the coefficient A is small, the degree of defocus does not change significantly even if the distance difference value with the position from the user's viewpoint changes, so that the position near the user's viewpoint does not look so dimly It is not processed in focus. On the other hand, when the coefficient A is large, the degree of defocus changes significantly even with a slight change in the distance difference value, so defocusing processing is performed so that it looks more blurred even at a position near the user viewpoint position. Be done.
  • the road 290 exists in the front, and the buildings 291 to 293 are arranged in order from the side closer to the left side of the road 290.
  • the buildings 294 and 295 are arranged from the side closer to the right side of the road 290
  • the existing landscape is shown.
  • the information superimposition appropriate frame 291A is set on the surface of the building 291 facing the user in the traveling direction, and the content 291a of the star mark is superimposed and displayed.
  • the user viewpoint position 301 of the user 273 is substantially at the center of the content 291a. Therefore, for the content 291a of the information superimposition appropriate frame 291A, the degree of defocus (Deforcus_Range) is set to 0%.
  • the distance from the user viewpoint position 301 of the image on the information superimposition appropriate frame projected by the projection unit 106A and the buildings 291 to 295 viewed directly forward through the projection unit 106A from the user viewpoint position 301 is in the order of closeness It is assumed that it is the order of buildings 291, 292, 293, 294, 295.
  • an information superimposition appropriate frame 292A is set on the surface of the building 292 facing the user's traveling direction, and the content 292a of the star mark is superimposed and displayed.
  • the distance from the user viewpoint position 301 of the building 292 is greater than that of the building 291, so the defocus degree (Deforcus_Range) is, for example, 1.0 A to 1.9 A% for the content 292 a of the information superposition appropriate frame 292 A.
  • an information superimposition appropriate frame 294A is set on the surface of the building 294 facing the road 290, and the content 294a of the star mark is superimposed and displayed. Since the distance from the user viewpoint position 301 of the building 294 is farther than the building 292, the defocus degree (Deforcus_Range) is, for example, larger than the value in the content 292a for the content 294a of the information superposition appropriate frame 294A. The value is set to 2.0A to 2.9A%.
  • the information superimposition appropriate frame 295A is set on the surface of the building 295 facing the user's traveling direction, and the content 295a of the star mark is superimposed and displayed. Since the distance from the user viewpoint position 301 of the building 295 is farther than the building 294, the defocus degree (Deforcus_Range) is, for example, a value larger than the value for the content 294a for the content 295a of the information superposition appropriate frame 295A. Is set to 3.0A to 3.9A%.
  • the degree of defocus of the content 291a to be the user viewpoint position 301 is set to 0% at which the depth is minimum.
  • the defocus degree of the content 292a in the information superposition appropriate frame 292A which is the closest distance to the information superposition appropriate frame 291A which is the user viewpoint position 301 is set to, for example, 1.0 to 1.9%.
  • the degree of defocus of the content 294a in the information superposition appropriate frame 294A which is the second closest distance to the information superposition appropriate frame 291A which is the user viewpoint position 301, is set to, for example, 2.0 to 2.9%.
  • the defocus degree of the content 295a in the information superposition appropriate frame 295A which is the third closest distance to the information superposition appropriate frame 291A serving as the user viewpoint position 301, is set to, for example, 3.0 to 3.9%.
  • the content 291a is displayed in focus, and the content 292a is displayed to the user 273 more than the content 291a in an out-of-focus state so that the degree of defocus corresponds to 1.0 to 1.9%. Appears to look vague.
  • the content 294a is displayed to the user 273 so as to look more blurry than the content 292a in a state where the content 294a is not in focus so as to correspond to the degree of defocus of 2.0 to 2.9%.
  • the content 295a is displayed to the user 273 so as to appear more blurry than the content 294a in an out-of-focus state so that the degree of defocus corresponds to 3.0 to 3.9%.
  • the degree of out-of-focus is large, and the contents are displayed in a more vague state.
  • the star indicated by a dotted line represents the out-of-focus state.
  • the content 291a is displayed as a star mark only with a solid line, and it is shown that there is no focus shift.
  • the content 292a is displayed as a star indicated by one solid line and one dotted line, which is more out of focus than the content 291a, and is represented as being blurred .
  • the content 294a is displayed as a star mark displayed by one solid line and two dotted lines, which causes a greater shift in focus than the content 292a, and expresses that it is viewed more blurry. ing.
  • the content 295a is displayed as a star mark displayed by one solid line and three dotted lines, and the shift of the focus is larger than the content 294a, and it is expressed that it looks more vague ing.
  • the content 291a of the user viewpoint position 301 is displayed in focus, and the content 292a, 294a, 295a is a distance difference value between the user viewpoint position 301 of the user 273 and each position. Accordingly, by displaying in an out-of-focus, vague, and blurred state, it is possible to realize a natural display according to the line of sight.
  • the processing of the display processing unit 254 is different from that of the display control unit 203 of FIG. 33, so the processing of the display processing unit 254 will be described.
  • the display control unit 203 in FIG. 45 is a landscape image captured by the camera 271 that captures the outside of the vehicle, map data stored in the storage unit 111, or map data acquired from a server (not shown), and information superimposition appropriate.
  • a pseudo 3D model is constructed on the memory space from the information of the frame, and a wire frame corresponding to the information superimposing appropriate frame is generated in the pseudo 3D model.
  • the display control unit 203 performs de-registration at each position on the information superimposition appropriate frame to be superimposed on the wire frame in the pseudo 3D model from the information of the coordinate system of the pseudo 3D model and the in-vehicle image captured by the camera 272.
  • the degree of focus is determined to generate a degree of defocus map.
  • the display control unit 203 superimposes the contrast-adjusted content and the component image on the wire frame in the pseudo 3D model, reads out the defocusing degree of each position from the defocusing degree map, and carries out corresponding defocusing processing And output to the projection unit 106A for display.
  • the display processing unit 254 in FIG. 45 includes a pseudo 3D model wire frame generation unit 321, a content superposition unit 322, a defocus processing unit 323, a viewpoint position detection unit 324, a defocus degree setting unit 325, and a defocus degree map storage unit 326. Is equipped.
  • the pseudo 3D model wire frame generation unit 321 generates a pseudo 3D model in a memory space from a road or a building corresponding to the space in the traveling direction of the vehicle based on the scenery image, map data, and the information superimposition appropriate frame information. To construct. Then, the pseudo 3D model wire frame generation unit 321 generates a corresponding wire frame based on the information of the position where the information superimposition appropriate frame is provided in the constructed pseudo 3D model, and as pseudo 3D model wire frame information The content is output to the content superposition unit 322, the viewpoint position detection unit 324, and the defocus degree setting unit 325.
  • the content superimposing unit 322 superimposes the content whose contrast has been adjusted and the component image on the wire frame corresponding to the information superimposition appropriate frame in the pseudo 3D model, and outputs the superimposed image to the defocus processing unit 323.
  • the defocusing processing unit 323 accesses the defocusing degree map storage unit 326, and for each wire frame corresponding to the information superimposition appropriate frame in the pseudo 3D model in which the contrast is adjusted and the component image has been adjusted.
  • the set defocusing degree group is read out, and the image is subjected to defocusing processing at the corresponding defocusing degree and output.
  • the viewpoint position detection unit 324 searches the user viewpoint position from the in-vehicle image captured by the camera 272, obtains the coordinate position on the 3D model wire frame, and outputs the coordinate position to the defocus degree setting unit 325. More specifically, the viewpoint position detection unit 324 detects the face image of the user from the in-vehicle image captured by the camera 272. Further, the viewpoint position detection unit 324 identifies the iris position of the eye from the detected face image, and detects the viewpoint position on the projection plane of the projection unit 106A as the user viewpoint position based on the position of the iris.
  • the defocus degree setting unit 325 sets the defocus degree at each position on the wire frame corresponding to the information superimposition appropriate frame in the pseudo 3D model based on the pseudo 3D model wire frame information and the information of the user viewpoint position. By doing this, a defocus degree group is formed for each wire frame, and is stored in the defocus degree map storage unit 326 as a defocus degree map for a plurality of information superimposition appropriate frames. At this time, the defocusing degree setting unit 325 sets the defocusing degree also for the area other than the wire frame. That is, the defocus degree setting unit 325 sets the defocus degree for all positions in the pseudo 3D model space, and stores the defocus degree map in the defocus degree map storage unit 326 as the defocus degree map.
  • the defocus degree map storage unit 326 stores the defocus degree map, and the defocus processing unit 323 supplies the content of which the contrast has been adjusted and the component image supplied from the content superposition unit 322 to a pseudo-3D.
  • Information Superimposition in the Model Space The content superimposed on the wire frame corresponding to the appropriate frame is subjected to defocusing processing according to the degree of defocusing and output.
  • the pseudo 3D model wire frame generation unit 321 constructs a pseudo 3D model such as a road or a building in the memory space based on the scenery image, the map data, and the information superimposition appropriate frame information. Then, the pseudo-3D model wire frame generation unit 321 sets a wire frame corresponding to the information superimposition appropriate frame in the pseudo 3D model based on the information of the position where the information superimposition appropriate frame is provided, and the pseudo 3D model wire frame information As a content superimposing unit 322, a viewpoint position detecting unit 324, and a defocus degree setting unit 325.
  • step S202 the viewpoint position detection unit 324 and the defocus degree setting unit 325 execute the defocus degree map generation processing, generate the defocus degree map, and store the defocus degree map storage unit 326.
  • the viewpoint position detection unit 324 acquires the in-vehicle image captured by the camera 272, detects the face image of the user who is the passenger, detects the iris position, and detects the gaze direction from the iris position. It estimates and specifies the user's gaze position on the display surface of the projection unit 106A.
  • the viewpoint position detection unit 324 specifies the coordinate position in the pseudo 3D model with respect to the user viewpoint position on the projection unit 106A, and outputs the coordinate position of the user viewpoint position to the defocus degree setting unit 325.
  • step S223 the defocus degree setting unit 325 sets the defocus degree according to the distance difference value from the user viewpoint position for each point in the pseudo 3D model to generate the defocus degree map, and the defocus degree It is stored in the map storage unit 326.
  • the degree of defocus at each point of the 3D model is set, and is stored in the degree of defocus map storage unit 326 as a degree of defocus map.
  • the continuous defocus degree is set in the wire frame in the 3D model, and the defocus degree group is stored in the defocus degree map in a state where the defocus degree group is formed in wire frame units.
  • step S202 when the defocus degree map is generated by the defocus degree map generation processing, in step S203, the adaptive contrast calculation unit 251 of the display control unit 203 focuses on one content for which the superposition destination is set. .
  • step S204 the adaptive contrast calculation unit 251 calculates the adaptive contrast based on the context of the location where the information superimposition appropriate frame to be superimposed is present.
  • step S205 the contrast adjustment unit 252 adjusts the contrast of the content of interest based on the adaptive contrast.
  • step S206 when there is a near object in the information superimposition appropriate frame which is the superimposition destination of the content of interest, the mask processing unit 253 cuts out an image of the near object by performing mask processing.
  • step S207 the content superimposing unit 322 of the display processing unit 254 superimposes the content of which the contrast has been adjusted on the wire frame in the pseudo 3D model space corresponding to the information superimposition appropriate frame.
  • step S208 the content superimposing unit 322 appropriately displays the image of the near object on the content and outputs the superimposed image to the defocus processing unit 323.
  • step S209 the defocus processing unit 323 accesses the defocus degree map storage unit 326, reads out the defocus degree group corresponding to the frame on which the content of interest is superimposed from the defocus degree map, and Defocusing processing is performed on each point on the wire frame of the pseudo 3D model corresponding to the information superposition appropriate frame on which the content is superimposed according to the degree of defocus at the point, and the result is output.
  • step S210 the display control unit 203 determines whether all the contents have been focused.
  • step S210 If it is determined in step S210 that there is content that has not been focused on yet, the process returns to step S203, and the above-described processing is repeated focusing on other content.
  • step S210 If it is determined in step S210 that all the contents have been focused, all the contents are superimposed on the wire frame of the pseudo 3D model corresponding to the information superimposition appropriate frame set as the superimposition destination, and defocusing occurs. After the process is performed, the process proceeds to step S211.
  • step S211 the defocus processing unit 323 outputs an image that has been defocused according to the distance from the user's viewpoint in a state in which all the contents are superimposed on the information superposition appropriate frame set as the superposition destination. Then, the projection unit 106A outputs and displays it, and the process returns to step S5 in FIG. 36, and the subsequent processing is performed.
  • the content is superimposed and displayed on the information superimposition appropriate frame on the projection unit 106A made of the transmissive display so as to be familiar with the scenery.
  • the information superimposing position closer to the user's viewpoint position is displayed as an image less focused as the content of the appropriate frame content (an image in a sharp and clear state in which the focus is more in focus)
  • the information is superimposed on the content of the appropriate frame as an image that is out of focus (a blurred image that is less in focus).
  • the defocusing degree of each point in the 3D model corresponding to the entire scenery image is determined, and the defocusing degree map is generated. Since it is only the area of the information superimposition appropriate frame in which the content is actually superimposed on the information superimposition process, the wire in the pseudo 3D model corresponding to the area of the information superimpose appropriate frame is also used for the defocus degree map. Only the defocusing degree group of the area of the frame may be obtained to form the defocusing degree map.
  • the projection unit 106A is a transmissive display
  • the content is superimposed on the area regarded as the information superposition appropriate frame described above, and the content regarded as the information superposition appropriate frame is superimposed. Only the area is projected after being defocused. For this reason, the user views the projected image for the area regarded as the information superimposing appropriate frame, and views the object existing ahead in direct view for the area other than the area considered as the information superimposing appropriate frame. By watching the content displayed in a way that blends naturally with the landscape.
  • the non-transmissive display for example, a landscape image taken by the camera 271 is displayed on the entire display, and the content is superimposed and displayed on the region of the information superimposition appropriate frame in the landscape image to be displayed. That is, in the case of displaying on the non-transmissive display, the user views the image in a state where the content is displayed on a part of the image displayed on the entire display. For this reason, in the case of the non-transmissive display, defocusing processing corresponding to the user's viewpoint position is required for the entire display area of the display.
  • the configuration different from the display processing unit 254 of FIG. 46 in the display processing unit 254 of FIG. 49 is that the defocus processing unit 323 supplies the information of the scenery image, and the information superimposition appropriate frame information is superimposed. This is the point at which focus processing is performed.
  • the defocus processing unit 323 performs the entire landscape image in a state in which the information superimposition appropriate frame on which the content is superimposed is superimposed on the landscape image captured by the camera 271. Perform defocus processing.
  • the defocusing processing unit 323 uses all the information of the defocusing degree set for the whole of the landscape image stored in the defocusing degree map storage unit 326, and an information superimposition appropriate frame on which the content is superimposed In the superimposed state, the entire landscape image is defocused.
  • step S250 when the content is superimposed on the wire frame corresponding to all the information superimposition appropriate frames in the pseudo 3D model by the processes of steps S241 to S249, the process proceeds to step S250.
  • step S250 the defocus processing unit 323 pastes and superimposes on the landscape image captured by the camera 271 in a state in which the content is superimposed on the wire frame corresponding to all the information superimposition appropriate frames in the pseudo 3D model. Do.
  • step S251 the defocus processing unit 323 subjects the entire landscape image to defocus processing in accordance with the degree of defocus. That is, here, according to the distance difference value from the user viewing position for each position of the whole landscape image in the pseudo 3D model as well as the area in which the content is superimposed on the wire frame corresponding to the information superimposition appropriate frame.
  • the defocusing process is performed with the degree of defocusing.
  • step S252 the defocusing processing unit 323 outputs the scenery image subjected to defocusing processing to the projection unit 106A composed of a non-transmissive display for display, and returns to step S5 in FIG. 36, and the subsequent processing is performed. To be done.
  • the display example of FIG. 51 shows an example in which the scenery displayed on the projection unit 106A on the premise of the transmission type display described with reference to FIG. 44 is displayed on the non-transmission type display 106A. There is.
  • FIG. 44 shows an example in which the projection unit 106A formed of a transmissive display is displayed. Therefore, according to the distance from the user viewpoint position 301, the respective star marks in the information superposing appropriate frames 292A, 294A, 295A. Defocusing is performed only on the content 292a, 294a, and 295a of
  • FIG. 51 shows an example in which the projection unit 106A, which is a non-transmission type display, displays the image, and therefore, buildings 292 'corresponding to the buildings 292 to 295 are displayed according to the distance from the user viewpoint 301.
  • Defocus processing is performed on the entire landscape image including the image 295 '. Therefore, defocusing processing is applied to each of the information superimposition appropriate frames 292A, 294A, and 295A in the same manner as the star content 292a, 294a, and 295a.
  • the defocusing process is also applied to the other configurations.
  • the defocusing process for the contents 292a, 294a, and 295a of the star marks is subjected to the same defocusing process whether the projection unit 106A is a transmissive display or a non-transmissive display.
  • FIG. 52 according to the viewpoint position (line of sight direction) of each of a plurality of users boarding a vehicle, defocusing is added to the content to be superimposed on the information superimposition appropriate frame so that appropriate viewing can be performed to each user It is a figure explaining an outline of a 3rd embodiment of vehicle control system 100 displayed on. In FIG. 52, the description of the configuration having the same function as the configuration in FIG. 42 will be omitted as appropriate.
  • FIG. 51 is different from FIG. 42 in that three users 273-1 to 273-3 are passengers, and three cameras 272-1 to 272-3 correspond to each other. That is, the display unit 351 is provided instead of the projection unit 106A.
  • the cameras 272-1 to 272-3 photograph the interior of the vehicle so as to photograph each of the users 273-1 to 273-3 who are passengers, and supply the photographed in-vehicle images to the output control unit 105.
  • the output control unit 105 specifies the user viewpoint position EP1 of the user 273-1 from the image captured by the camera 272-1 as in the case where there is one passenger, and the image is captured by the camera 272-2
  • the user viewpoint position EP2 of the user 273-2 is specified from the captured image
  • the user viewpoint position EP3 of the user 273-3 is specified from the image captured by the camera 272-3.
  • the camera 272 has a configuration of only one unit so that the entire inside of the vehicle can be photographed, thereby detecting a plurality of users from one image and detecting each of the user viewpoints EP1 to EP3. It is also good.
  • the output control unit 105 appropriately superimposes information naturally when each of the users 273-1 to 273-3 views according to the information of the user viewpoint positions EP1 to EP3 of the respective users 273-1 to 273-3.
  • the viewable landscape images are generated in a state where the content is superimposed on the frame, and they are integrated into one image in time series.
  • the output control unit 105 outputs the landscape image integrated into one in time series to the display unit 351 while changing in time series.
  • the display unit 351 is provided with a liquid crystal polarization shutter 361 in addition to the projection unit 106A described above, and the output control unit 105 uses the user 273-to display an image made into a landscape image in time series.
  • the polarization direction of the light transmitted by the liquid crystal polarization shutter 361 is switched at the timing when the image to be viewed by each of the users 1 to 273-3 is displayed.
  • landscape images are displayed in a state in which each of the users 273-1 to 273-3 can view only an appropriate image.
  • FIG. 53 shows a configuration in the case where the projection unit 106A constituting the display unit 351 is configured of, for example, a transmissive display, and is a top view when viewed from the upper vertical with respect to the display surface of the display unit 351. .
  • the users 273-1 to 273-3 in the lower part of the figure look at the scenery in the upper part in the drawing in the forward direction of travel over the projection unit 106A.
  • the users 273-1 to 273-3 in the lower part of the figure look at the scenery in the upper part in the drawing in the forward direction of travel over the projection unit 106A.
  • each of the users 273-1 to 273-3 has 3 images which are not suitable for viewing. It will be watched twice at a time.
  • the output control unit 105 provides the liquid crystal polarization shutter 361 at the front stage of the projection unit 106A, and controls the polarization direction according to the timing of displaying the integrated image.
  • the output control unit 105 causes the projection unit 106A to display an image for the user 273-1 at the timing of time t1, controls the liquid crystal polarization shutter 361 to be shown by a dotted line, and is shown by a dotted arrow. It is polarized in a direction that only the user 273-1 can view.
  • the output control unit 105 causes the projection unit 106A to display an image for the user 273-2 at the timing of time t2 and controls the liquid crystal polarization shutter 361 as indicated by a solid line, and is indicated by a solid arrow. It is polarized in a direction that only the user 273-2 can view.
  • the output control unit 105 causes the projection unit 106A to display the image for the user 273-3 at the timing of time t3 and controls the liquid crystal polarization shutter 361 as indicated by the alternate long and short dash line to As shown by the arrows, the light is polarized in a direction that only the user 273-3 can view.
  • the output control unit 105 repeats the same control to control the display unit 351 so that each of the users 273-1 to 273-3 can view only the image suitable for viewing.
  • the dotted line, solid line, and alternate long and short dash line in the liquid crystal polarization shutter 361 in FIG. 53 represent control states of the liquid crystal polarization shutter 361, and different shutters and the like do not exist.
  • FIG. 54 is a block diagram showing a configuration example of a vehicle control system 100 according to the third embodiment.
  • the components having the same functions as those of the vehicle control system 100 of FIG. 8 are denoted by the same reference numerals, and the description thereof will be appropriately omitted.
  • a point different from the vehicle control system 100 of FIG. 8 is that a display unit 351 is provided instead of the projection unit 106A.
  • the display unit 351 includes the projection unit 106A and the liquid crystal polarization shutter 361, as described with reference to FIG.
  • the liquid crystal polarization shutter 361 displays an image when the image in which the content is superimposed on the information superposition appropriate frame is displayed as one image in time series in a state suitable for each of the plurality of users 273 Depending on the timing, the polarization direction is switched so that only the user 273 suitable for viewing can view.
  • the projection unit 106A may be a transmissive display or a non-transmissive display, but, as described above in the second embodiment, a configuration and processing suitable for each of them are required. That is, when the projection unit 106A is a transmissive display, display processing as shown in the flowchart of FIG. 47 needs to be performed with the configuration of the display processing unit 254 as shown in FIG. When the projection unit 106A is a non-transmissive display, display processing as shown in the flowchart of FIG. 50 needs to be performed with the configuration of the display processing unit 254 as shown in FIG.
  • the difference between display processing unit 254 of FIG. 55 and display processing unit 254 of FIG. 46 is in buffer 371, combining unit 372, timing control unit 373, shutter control unit 374, and viewpoint position detection unit 324.
  • the point is that the number detection unit 324a for detecting the number of users is newly provided.
  • the buffer 371 superimposes the content on the information superimposition appropriate frame generated corresponding to each viewing of the plurality of users 273 by the configurations of the pseudo 3D model wire frame generation unit 321 to the defocus degree map storage unit 326, An image subjected to defocusing processing according to the user viewing position is buffered.
  • the combining unit 372 sets, in time series, an image in which the content is superimposed on the information superimposition appropriate frame suitable for each viewing of a plurality of users buffered in the buffer 371, and the defocusing processing according to the user viewing position is performed in time series They are integrated and synthesized and output to the timing control unit 373.
  • the combining unit 372 integrates and combines the images into a single image in time series, including information identifying at which timing the image displayed is an image suitable for viewing by which user 273.
  • the timing control unit 373 recognizes which image is suitable for viewing by the user 273 and causes the projection unit 106A to sequentially display the images.
  • the shutter control unit 374 is controlled to control the polarization direction of the liquid crystal polarization shutter 361 in the direction facing the corresponding user 273.
  • the number-of-people detection unit 324a detects how many users exist based on the in-vehicle image, for example, based on the number of face images detected by face detection or the like, and notifies the defocus processing unit 323. Therefore, the defocus processing unit 323 performs defocus processing on the image according to the number of supplied users.
  • FIG. 55 shows the configuration in the case where the projection unit 106A is a transmissive display
  • a defocusing processing unit as in the display processing unit 254 of FIG. 49 is shown.
  • Landscape images are input to H.323.
  • the defocus processing unit 323 applies the defocus processing to the entire landscape image after pasting the image in which the content is superimposed on the information superimposition appropriate frame on the landscape image.
  • the configuration diagram of the display processing unit 254 corresponding to the non-transmissive display is omitted.
  • step S291 the defocus processing unit 323 initializes a counter m of an identifier for identifying the user to one.
  • step S292 the number detection unit 324a detects the number M of the users who are passengers from the images taken by the cameras 272-1 to 272-3, sets the identifier m for each user, and detects The result is supplied to the defocus processing unit 323.
  • step S293 display processing of the user identified by the identifier m among the users 273 is executed.
  • the display processing of the user m is the processing of steps S201 to S210 in FIG. 47 corresponding to the viewing of the user 273-m
  • the projection unit 106A If it is a non-transmissive display, it is the processing of steps S241 to S251 in FIG. 50 corresponding to the viewing of the user m. That is, in this process, in a state in which the content is superimposed on the information superimposition appropriate frame corresponding to the viewing of the user 273-m, an image subjected to the defocusing process according to the user viewpoint position of the user 273-m is generated Ru.
  • step S 294 the defocus processing unit 323 causes the buffer 371 to buffer the image generated by the display processing of the user m in association with the identifier m.
  • step S295 the defocus processing unit 323 determines whether the counter m matches the number of people M, that is, whether or not images for all users have been generated.
  • step S295 if the counter m does not match M, that is, if images for all users have not been generated, the process proceeds to step S296.
  • step S296 the defocus processing unit 323 increments the counter m by one, and the process returns to step S293.
  • step S295 when images for all users are generated in step S295 and the counter m matches M, that is, when it is considered that display processing for all users is performed, the process proceeds to step S297.
  • step S 297 the composition unit 372 superimposes the content on the information superimposition appropriate frame for all users buffered in the buffer 371, and the defocus process according to the degree of defocus according to the user viewing position is performed. Images are integrated into a single image in time series.
  • step S 298 the timing control unit 373 sequentially supplies the integrated image to the projection unit 106 A for display, and at the corresponding timing, controls the shutter control unit 374 so that the user 273 who is the target of the image to be displayed.
  • the liquid crystal polarization shutter 361 is controlled to polarize in a direction in which the user can view and listen.
  • FIG. 57 is a diagram showing a configuration example of the display unit 351 in the modification.
  • the components provided with the same functions as those of the display unit 351 in FIG. 53 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the display 351 of FIG. 57 differs from the display 351 of FIG. 53 in that a lenticular lens 381 is provided instead of the liquid crystal polarization shutter 361.
  • the image Video_01 for the user 273-1, the image Video_02 for the user 273-2, and the image Video_03 for the user 273-3 are respectively pixels
  • an image combined as one image is displayed.
  • the lenticular lens 381 selectively transmits the image Video_01 in the direction in which the user 273-1 can view it among the images displayed on the projection unit 106A in this manner, and selects the direction in which the image Video_02 can be viewed in the user 273-2. , And selectively transmit the image Video.sub .-- 03 in a direction in which the user 273-3 can view and listen.
  • the display processing unit 254 in FIG. 58 differs from the display processing unit 254 in FIG. 55 in that a combining unit 391 is provided instead of the combining unit 372, the timing control unit 373 and the shutter control unit 374. It is.
  • the combining unit 391 divides an image suitable for viewing of each of a plurality of users buffered in the buffer 371 into regions in pixel order column units, combines them, and combines them into one image. It outputs to the projection unit 106A.
  • the projection unit 106 ⁇ / b> A projects an image in which the image is divided into regions in a pixel order row unit and images suitable for viewing by a plurality of users are integrated into one sheet. At 273, the image is projected in a state where it can be viewed properly.
  • the projection unit 106A may be a transmissive display or a non-transmissive display, but, as described above in the second embodiment, a configuration and processing suitable for each of them are required. That is, when the projection unit 106A is a transmissive display, display processing as shown in the flowchart of FIG. 47 needs to be performed with the configuration of the display processing unit 254 as shown in FIG. When the projection unit 106A is a non-transmissive display, display processing as shown in the flowchart of FIG. 50 needs to be performed with the configuration of the display processing unit 254 as shown in FIG.
  • steps S311 to S316 in the flowchart of FIG. 59 are the same as the processes of steps S291 to S296 in the flowchart of FIG.
  • step S317 display processing for all users is performed by the processing in steps S311 to S316, and the content is superimposed on the information superimposition appropriate frame for all users, and defocus processing is performed according to the distance from each user viewpoint position.
  • the applied image is generated and buffered in the buffer 371, the process proceeds to step S317.
  • step S 317 the composition unit 391 superimposes the content on the information superimposition appropriate frame for all users buffered in the buffer 371, and the defocus processing is performed with the defocus degree according to the distance from the user viewing position.
  • the obtained image is divided into regions in units of columns of a predetermined pixel order, and integrated and synthesized into one image as described with reference to FIG.
  • step S318 the combining unit 391 causes the projection unit 106A to project an image in which defocused images for a plurality of users are integrated into one sheet, and selectively polarizes and projects through the lenticular lens 381. By causing the user to view an image suitable for each of a plurality of users.
  • processing in the case where there is one user is referred to as single mode processing, and processing in the case where there are a plurality of users as in the third embodiment is described. It is called multi-mode processing.
  • the processing has been described focusing on displaying in a natural state so as to blend in with the landscape in the direction of travel, but it may be used for effects for promoting viewing of a specific object. .
  • control is performed so that all members can view the same image in accordance with the viewpoint position of a specific user. It is also good.
  • the content superimposed on the information superimposition appropriate frame is matched with the user viewpoint position of the bus guide as the specific user.
  • the defocused image may be viewed by all the passengers of the bus other than the specific user.
  • stage production when the line of sight is sent to a stage director who wants to see it in particular, the user's viewpoint position, particularly the one you want to have them watch, defocus so that you can view sharply. You can also use it for stage rendition, etc., by making it appear as if you defocused by making it bigger and defocused, so that all audiences on the stage can view it.
  • the degree of defocus by setting the degree of defocus smaller for what you want to view and listen to, it is possible to recognize as a sharp image with more focus, and conversely, for things that you do not want to view and listen to
  • the degree of defocus can be set to a large degree to allow the user to view more blurryly. As a result, it is possible to enhance the effects of stage production.
  • FIG. 60 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • the functions of the units including the automatic driving control unit 112 shown in FIGS. 8 and 54 are realized by execution of a predetermined program by the computer shown in FIG.
  • a central processing unit (CPU) 1001, a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard, a mouse and the like, and an output unit 1007 including a display, a speaker and the like.
  • a storage unit 1008 comprising a hard disk, a non-volatile memory, etc.
  • a communication unit 1009 comprising a network interface, etc.
  • a drive 1010 for driving the removable recording medium 1011.
  • the CPU 1001 loads, for example, the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the series of processes described above. Is done.
  • the program executed by the CPU 1001 is provided, for example, via a wired or wireless transmission medium, such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • a setting unit configured to set, in an area corresponding to the surface of the object, a frame to which content is to be superimposed, based on the movement situation of the user;
  • An information processing apparatus comprising: a display control unit that generates visual information for displaying the content in an area corresponding to the set frame.
  • the information processing apparatus according to (1) further including: a prediction unit that predicts the movement situation including the traveling route and traveling speed of the moving body on which the user rides.
  • a detection unit that analyzes an image obtained by capturing a landscape in a traveling direction and detects the object.
  • the setting unit sets the frame based on an angle toward the surface of the object at each of a first position on a movement path and a second position after a predetermined time has elapsed.
  • the information processing apparatus according to any one of 3).
  • the information processing apparatus according to any one of (1) to (4), wherein the setting unit sets the frame based on a facing angle of the surface of the object with respect to the traveling direction.
  • the setting unit sets the frame based on the exposed area of the surface of the object when the surface of the object is blocked by another object in the foreground, according to any one of (1) to (5).
  • Information processing equipment is any one of Information processing equipment.
  • the setting unit sets the frame based on a time in which the surface of the object is included in the field of view of the user obtained based on the movement condition.
  • Information processing device It further comprises a light state detection unit for detecting the state of light on the surface of the object, The information processing apparatus according to any one of (1) to (7), wherein the setting unit sets the frame based on a state of the light.
  • the information processing apparatus further comprises a calculation unit that calculates the degree of matching of each content with each of the frames based on the information on the specification required to display the content.
  • the display control unit generates the visual information for displaying each of the contents in an area corresponding to the frame selected based on the matching degree.
  • Information processor as described.
  • the calculation unit may set the relationship between the aspect ratio of the display range of the characters and the aspect ratio of the frame, the viewing time defined by the number of characters, and the frame within the field of view of the user.
  • the display control unit defocuses visual information for displaying the content, which is generated in an area corresponding to the set frame, based on the viewpoint position of the user who gets on the moving object (1)
  • the information processing apparatus according to any one of (13) to (13).
  • a photographing unit for photographing the user on the moving body A defocusing degree setting unit configured to set a defocusing degree according to the distance between the specified viewpoint position of the user and each position of the area corresponding to the frame based on the image photographed by the photographing unit; Further include The display control unit may set visual information for displaying the content, which is generated in an area corresponding to the set frame, based on the viewpoint position of the user who gets on the moving object, to the defocus degree.
  • the information processing apparatus according to (14), which performs defocus processing accordingly.
  • the defocus degree setting unit sets the degree of defocus smaller as the distance between the position of the area corresponding to the frame and the viewpoint position of the user is shorter, and the position of the area corresponding to the frame Setting the degree of defocus larger as the distance to the viewpoint position of the user is greater;
  • the display control unit is configured to generate the visual information for displaying the content, which is generated in an area corresponding to the set frame, based on the viewpoint position of the user who gets on the moving body,
  • the information processing device according to (15), wherein the smaller the value is, the more defocused the in-focus state is, and the larger the degree of defocus is the more out-of-focus state.
  • the setting unit sets, in an area corresponding to the surface of the object, the frame to which the content is to be superimposed, for each of the users based on the movement status of the users.
  • the display control unit performs defocus processing on visual information for displaying the content, which is generated in an area corresponding to the frame, which is set for each of the plurality of users.
  • the information processing apparatus according to any one of 16).
  • the information processing apparatus In the area corresponding to the surface of the object, set the frame on which the content is to be superimposed, based on the movement situation of the user, An information processing method, comprising: generating visual information for displaying the content in an area corresponding to the set frame.
  • a program for executing processing of generating visual information for displaying the content in an area corresponding to the set frame (20) A setting unit configured to set, in an area corresponding to the surface of the object, a frame to which content is to be superimposed, based on the movement situation of the user; A display control unit that generates visual information for displaying the content in an area corresponding to the set frame; An output unit that displays the visual information.
  • the system further comprises an adjustment unit that adjusts the contrast of the content based on the context of the frame;
  • the information processing apparatus according to any one of (1) to (13), wherein the display control unit generates the visual information for displaying the content whose contrast has been adjusted in an area corresponding to the frame.
  • the adjustment unit adjusts the contrast of the content by using, as the context, at least one of a state of sunshine, a state of illumination, a state of the atmosphere, and a distance to the frame.
  • Information processing device is provided by using, as the context, at least one of a state of sunshine, a state of illumination, a state of the atmosphere, and a distance to the frame.
  • Information processing device (23)
  • the image processing apparatus further includes an image processing unit that cuts out an area of another object captured in front of the frame from an image obtained by photographing.
  • the information processing apparatus according to (21) or (22), wherein the display control unit generates the visual information for displaying an image of the area of the other object, overlapping the content whose contrast has been
  • 105 output control unit 201 information superimposition appropriate view setting unit, 202 superposition target frame selection unit, 203 display control unit, 204 content acquisition unit, 211 image analysis unit, 212 light state mode setting unit, 213 object detection unit, 214 frame setting Unit, 215 appropriate view setting unit, 231 preliminary analysis unit, 232 fitness calculation unit, 233 superposition destination setting unit, 251 adaptive contrast calculation unit, 252 contrast adjustment unit, 253 mask processing unit, 254 display processing unit, 271, 272, 272-1 to 272-3 camera, 321 pseudo 3D model wire frame generation unit, 322 content superposition unit, 323 defocusing processing unit, 324 viewpoint position detection unit, 324a number of people detection unit, 32 Defocus degree setting unit, 326 a defocus level map storage unit, 361 a liquid crystal polarizing shutters, 371 buffer, 372 combining unit, 373 timing control unit, 374 a shutter control section, 381 a lenticular lens, 391 combining unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにする情報処理装置、情報処理方法、プログラム、および移動体に関する。 本技術の一側面の情報処理装置は、オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、設定したフレームに対応する領域にコンテンツを表示するための視覚情報を生成する。本技術は、コンテンツのAR表示を行う装置に適用することができる。

Description

情報処理装置、情報処理方法、プログラム、および移動体
　本技術は、情報処理装置、情報処理方法、プログラム、および移動体に関し、特に、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにした情報処理装置、情報処理方法、プログラム、および移動体に関する。
　運転者の視界内に含まれる施設などに関する情報をヘッドアップディスプレイを用いてフロントガラスに投影し、運転者に提示する技術がある。運転者は、自身の前方に広がる風景に重ねて、各種の情報を見ることになる。
　特許文献１には、施設に関するAR(Augmented Reality)画像を運転者が見ている実風景と対応付けて表示させる場合において、車速が速いときにはAR画像を遠方に表示させ、遅いときにはAR画像を近くに表示させる技術が開示されている。
特開２０１５－７７８７６号公報
　風景に溶け込んで見えるような形で情報を提示することが望ましい。風景に溶け込んで見せることにより、運転者は、運転に集中しながら、情報を見ることができる。
　本技術はこのような状況に鑑みてなされたものであり、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができるようにするものである。
　本技術の一側面の情報処理装置は、オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定する設定部と、設定された前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部とを備える。
　本技術の一側面においては、オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームが、ユーザの移動状況に基づいて設定され、設定された前記フレームに対応する領域に前記コンテンツを表示するための視覚情報が生成される。
　本技術によれば、ユーザが見ている風景に重ねて、コンテンツを適切に表示させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態に係る車両制御システムを搭載した車両の内装を示す図である。 コンテンツの見え方の例を示す図である。 図２に示す見え方を実現するためのコンテンツの表示例を示す図である。 コンテンツの表示を模式的に示す図である。 図２の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 図５の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 図６の状態から一定時間経過後のコンテンツの見え方の例を示す図である。 第１の実施の形態の車両制御システムの構成例を示すブロック図である。 図８の出力制御部の機能構成例を示すブロック図である。 図９の情報重畳適切視界設定部の構成例を示すブロック図である。 オブジェクトの３次元モデルの例を示す図である。 情報重畳可能フレームの設定の例を示す図である。 除外ルール１により除外される情報重畳可能フレームの例を示す図である。 除外ルール２により除外される情報重畳可能フレームの例を示す図である。 除外ルール３により除外される情報重畳可能フレームの例を示す図である。 除外ルール４により除外される情報重畳可能フレームの例を示す図である。 除外ルール５により除外される情報重畳可能フレームの例を示す図である。 除外ルール６により除外される情報重畳可能フレームの例を示す図である。 車両位置の推移の例を示す図である。 車両の方向変移の例を示す図である。 各車両位置における風景画像を示す図である。 ユーザ視界内角速度の例を示す図である。 車両進行方向に対する対面角度の例を示す図である。 露出面積比率の例を示す図である。 露出面積比率の例を示す図である。 ユーザ視界内の滞在時間の例を示す図である。 情報重畳適切視界の設定の例を示す図である。 図９の重畳対象フレーム選択部の構成例を示すブロック図である。 コンテンツ情報項目の例を示す図である。 適合度の例を示す図である。 重畳先の設定の例を示す図である。 重畳先の例を示す図である。 図９の表示制御部の構成例を示すブロック図である。 適応コントラストに基づくコントラストの調整の例を示す図である。 手前オブジェクトの表示の例を示す図である。 情報表示処理について説明するフローチャートである。 図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明するフローチャートである。 図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明する、図３７に続くフローチャートである。 図３６のステップＳ４において行われる重畳対象フレーム選択処理について説明するフローチャートである。 図３６のステップＳ５において行われる表示処理について説明するフローチャートである。 コンテンツの事前解析処理について説明するフローチャートである。 本技術の第２の実施の形態に係るユーザが１人である時のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示する例の概要を説明する図である。 情報重畳適切フレームが１枚の場合のデフォーカス度の設定例を説明する図である。 情報重畳適切フレームが複数の場合のデフォーカス度の設定例と、投影ユニットが透過型ディスプレイであるときの表示例を説明する図である。 本技術の第２の実施の形態に係る表示制御部の構成例を説明する図である。 図４５の表示処理部の構成例を説明する図である。 図４５の表示制御部による表示処理を説明するフローチャートである。 図４７のステップＳ２０２のデフォーカス度マップ生成処理を説明するフローチャートである。 本技術の第２の実施の形態の変形例である、投影ユニットが非透過型ディスプレイであるときの表示処理部の構成例を説明する図である。 図４９の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 情報重畳適切フレームが複数の場合のデフォーカス度の設定例と、投影ユニットが非透過型ディスプレイであるときの表示例を説明する図である。 本技術の第３の実施の形態に係るユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示する例の概要を説明する図である。 ユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示するときの、液晶偏光シャッタを用いた表示部の構成例を説明する図である。 第３の実施の形態の車両制御システムの構成例を示すブロック図である。 図５４の車両制御システムの出力制御部の表示制御部であって、表示部に液晶偏光シャッタを用いたときの表示処理部の構成例を示すブロック図である。 図５５の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 ユーザが複数である時の複数のユーザの視点位置に応じて情報重畳適切フレームにコンテンツを重畳し、デフォーカスして表示するときの、レンチキュラレンズを用いた表示部の構成例を説明する図である。 図５４の車両制御システムの出力制御部の表示制御部であって、表示部にレンチキュラレンズを用いたときの表示処理部の構成例を示すブロック図である。 図５８の表示処理部を適用した、図４５の表示制御部による表示処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態
　１－１．コンテンツの表示例
　１－２．車両制御システムの構成例
　１－３．車両制御システムの動作
　１－４．変形例
　２．第２の実施の形態
　２－１．第２の実施の形態の概要
　２－２．デフォーカス度の設定例
　２－３．複数の情報重畳適切フレームが存在する場合のデフォーカス度の設定例
　２－４．表示制御部の第２の実施の形態の構成例
　２－５．変形例
　３．第３の実施の形態
　３－１．第３の実施の形態の概要
　３－２．車両制御システムの構成例
　３－３．図５５の表示処理部による表示処理
　３－４．変形例
＜＜＜１．第１の実施の形態＞＞＞
＜＜１－１．コンテンツの表示例＞＞
　図１は、本技術の一実施形態に係る車両制御システムを搭載した車両の運転席近傍の内装を示す図である。
　図１に示すように、運転席に座るユーザ（運転者）から見てダッシュボードの先にはフロントガラスＧが設けられる。車両制御システムによるコンテンツの表示は、例えば、フロントガラスＧに画像を投影することによって行われる。ユーザは、フロントガラスＧ越しに見える風景に重ねてコンテンツを見ることになる。
　なお、以下においては、コンテンツを見る車両の搭乗者が運転者である場合について説明するが、コンテンツを見るユーザは、助手席や後部座席に座っている他のユーザであってもよい。
　コンテンツとして、娯楽情報、実用情報、広告などの各種の情報を表す画像が表示される。コンテンツとして表示される画像は、動画である場合もあるし、静止画である場合もある。画像中に文字が含まれるようにしてもよいし、含まれないようにしてもよい。
　このようなコンテンツのAR表示を実現する投影ユニットは、バックミラーの背面側やダッシュボードの上面などの所定の位置に設けられる。AR表示を実現するデバイスとして、投影ユニット以外の、虚像を投影する各種のデバイスが用いられるようにしてもよい。例えば、フロントガラスＧに貼り付けられた透過型のディスプレイが用いられるようにしてもよいし、ユーザが装着する透過型のHMD(Head Mounted Display)が用いられるようにしてもよい。
　車両制御システムによるコンテンツの表示は、風景内の最適な場所に、最適な表現で行われる。具体的には、風景内に実在する建物などのオブジェクトの壁面に設定されたフレームのうち、ユーザにとって見やすいと考えられるフレームが、最適な場所として移動状況に基づいて選択される。また、建物の壁面に実際に投影されているように見せるために、壁面の見え方に応じた画像処理を施した上でコンテンツの表示が行われる。
　図２は、コンテンツの見え方の例を示す図である。
　図２に示す横長長方形の範囲に示す風景は、運転席に座っているユーザが見ている風景の一部を表す。車両の前方には右に曲がるカーブが見えている。カーブの手前の右側には建物Ｂ１があり、カーブの先には建物Ｂ２がある。道路沿いの、建物Ｂ２のさらに先には建物Ｂ３がある。
　図２に示すように、建物Ｂ１の壁面には、壁面の向きに合わせて矩形を変形させたフレームが設定され、そこにコンテンツＣ１が表示されている。
　同様に、建物Ｂ２の壁面に設定されたフレームにはコンテンツＣ２が表示され、建物Ｂ３の壁面に設定されたフレームにはコンテンツＣ３が表示されている。近くにある建物の壁面にはコンテンツが大きく表示され、遠くにある建物の壁面にはコンテンツが小さく表示されている。
　左上には、車速が表示されている。このように、コンテンツ以外の各種の情報を表示することも可能である。
　図３は、図２に示すような風景の見え方を実現するためのコンテンツの表示例を示す図である。
　図３のＡは、ユーザの前方に見える実際の風景を示している。図３のＡに示すように、実際の風景には、車両の前方に右に曲がるカーブが見え、道路沿いに建物Ｂ１乃至Ｂ３が見えている。
　このような風景に対して、図３のＢに示すような形でコンテンツＣ１乃至Ｃ３が表示され、図３のＣに示す、図２と同じコンテンツの見え方が実現される。
　図４は、コンテンツの表示を模式的に示す図である。
　コンテンツの表示は、建物に設定されたフレームに対応するフロントガラスＧ上の領域に画像を表示させることによって行われる。ユーザの位置である位置Ｐを基準とすると、位置Ｐとフレーム（斜線部分）を結ぶ直線の内側の領域が、フレームに対応するフロントガラスＧ上の領域となる。図４の水平線は、ユーザと建物の間にある表示面としてのフロントガラスＧを示す。
　図４の例において、建物Ｂ１’に設定されたフレームに対応するフロントガラスＧ上の領域は領域Ｇ１であり、建物Ｂ２’に設定されたフレームに対応するフロントガラスＧ上の領域は領域Ｇ２である。領域Ｇ１と領域Ｇ２にコンテンツを表示させることによって、建物Ｂ１’と建物Ｂ２’の壁面にコンテンツが表示されているかのような見え方が実現される。
　ユーザは、フロントガラスＧ越しに見える建物Ｂ１’に重ねて、領域Ｇ１に表示されたコンテンツを見ることになる。また、ユーザは、フロントガラスＧ越しに見える建物Ｂ２’に重ねて、領域Ｇ２に表示されたコンテンツを見ることになる。これにより、ユーザは、あたかも建物の壁面に表示されているかのような状態で各種の情報を見ることができる。
　このように、建物の壁面に設定されたフレームに対するコンテンツの重畳は、フロントガラスＧに画像を表示させることによって実現される。
　表示内容は、車両の走行中、走行状況（移動状況）に応じてリアルタイムで更新される。運転席からの風景の見え方が変化することに伴って、コンテンツの見え方も変化する。
　図５は、図２の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
　図５の状態は、車両がカーブを曲がっている最中の状態である。右側に見えていた建物Ｂ１の大部分は視界から外れ、建物Ｂ１に重畳されていたコンテンツＣ１が見えなくなっている。
　また、建物Ｂ２が正面前方に迫っており、コンテンツＣ２が、図２の状態より大きく表示されている。コンテンツＣ２は、車両と建物Ｂ２の壁面との位置関係に基づいて、建物Ｂ２の壁面に表示されているかのような大きさ、形状で表示される。時間経過に伴って、コンテンツＣ２の表示内容も変化する。
　同様に、建物Ｂ３の見え方の変化に伴って、コンテンツＣ３の表示も変化している。
　また、図５の例では、図２の状態では見えなかった建物Ｂ４が、建物Ｂ３の先に新たに見えるようになっている。ユーザから見える建物Ｂ４の２つの壁面にもフレームがそれぞれ設定され、それぞれのフレームにコンテンツＣ４－１とコンテンツＣ４－２が重畳されている。
　図６は、図５の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
　図６の状態は、車両がカーブを曲がりきり、道路を直進している状態である。左側に見えていた建物Ｂ２の大部分は視界から外れ、建物Ｂ２に重畳されていたコンテンツＣ２が見えなくなっている。
　また、図５の状態ではほぼ見えていなかった建物Ｂ５の他に、建物Ｂ６，Ｂ７が前方に見えるようになっており、それぞれの壁面にコンテンツが重畳されている。
　図７は、図６の状態から一定時間経過後のコンテンツの見え方の例を示す図である。
　図７の状態は、建物Ｂ４の手前の位置を直進している状態である。建物Ｂ４乃至Ｂ７のそれぞれの建物に重畳されていたコンテンツの表示は、建物の見え方の変化に伴って変化している。また、図６の状態ではほぼ見えていなかった建物Ｂ８が右側に大きく見えるようになっており、建物Ｂ８の壁面にもコンテンツが重畳されている。
　なお、ここでは、フレームが建物の壁面に設定される場合について説明しているが、貯水タンク、高速道路の両脇に設置された防音壁などの各種の建造物にもフレームが設定され、コンテンツが重畳される。フレームが設定される対象は建造物に限られるものではなく、遠くに見える山の斜面、海面などの自然物であってもよい。道路自体にフレームが設定され、コンテンツが重畳されるようにしてもよい。
　すなわち、運転をしているユーザの視界内にある各種のオブジェクトにフレームを設定し、コンテンツを重畳させることが可能である。以下、主に、コンテンツの重畳先のオブジェクトが建物であるものとして説明する。
　このように、車両制御システムによるコンテンツの表示は、運転中に見える建物に重畳させることによって行われる。また、建物に重畳されたコンテンツは、ユーザの見え方の変化に伴って、形状、大きさを変えて表示される。
　後に詳述するように、実際には、建物が遠くにあり、霞んで見える場合にはコントラストを下げたり、建物に強い光が当たっており、明るく見える場合にはコントラストを下げたりするような画像処理が、コンテンツに対して施される。
　建物に表示されているかのような形でコンテンツが表示され、また、その表示が風景の見え方の変化に伴って変化するから、ユーザは、運転をしながら、自然な形でコンテンツを見ることができる。
　このようなコンテンツの表示を実現する車両制御システムの処理についてはフローチャートを参照して後述する。
＜＜１－２．車両制御システムの構成例＞＞
＜１－２－１．車両制御システムの全体構成＞
　図８は、車両制御システム１００の構成例を示すブロック図である。図８に示す車両制御システム１００が情報処理装置として機能する。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、適宜、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および自動運転制御部１１２は、通信ネットワーク１２１を介して相互に接続されている。
　通信ネットワーク１２１は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）、FlexRay（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。
　また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（IMU）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ToF（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、GNSS（Global Navigation Satellite System）衛星からの信号を受信するGNSS受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　データ取得部１０２を構成するカメラにより、車両の進行方向の風景が撮影される。カメラにより撮影された風景画像が解析されることによって、建物の有無、建物の明るさ、周囲の明るさなどが特定される。
　また、データ取得部１０２を構成する各種のセンサにより検出された結果に基づいて、進行方向、速度等の、車両の状況が特定される。特定された車両の状況は、車両の走行経路の予測などに用いられる。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）、WUSB（Wireless USB）等により車内機器１０４と無線通信を行う。また、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）、又は、MHL（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。
　風景に重畳されるコンテンツが、コンテンツを管理するサーバから取得されるようにしてもよい。この場合、通信部１０３は、サーバと通信を行うことによってコンテンツを取得する。通信部１０３により取得されたコンテンツは例えば記憶部１１１に供給され、記憶される。
　通信部１０３は、P2P（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、MTC（Machine Type Communication）端末）との通信を行う。また、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、および、歩車間（Vehicle to Pedestrian）通信等のV2X通信を行う。通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。
　具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、ランプ等を備える。
　また、出力部１０６は、投影ユニット１０６Ａを有する。投影ユニット１０６Ａは、HUD、透過型ディスプレイなどの、AR表示機能を有する表示デバイスである。投影ユニット１０６Ａは、上述したように、コンテンツ等の各種の情報をフロントガラスＧに投影する。
　駆動系制御部１０７は、各種の制御信号を駆動系システム１０８に供給し、駆動系システム１０８を制御する。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS（Antilock Brake System）、ESC（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、SSD（Solid State Drive）、HDD（Hard Disc Drive）等の記憶デバイスにより構成される。記憶部１１１は、車両制御システム１００の各部が用いるプログラムやデータ等を記憶する。
　例えば、記憶部１１１には、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データが記憶される。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。
　自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
　また、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置および姿勢等の推定処理を行う。
　また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、SLAM（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。
　自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、および、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無および内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜１－２－２．出力制御部の構成＞
　図９は、図８の出力制御部１０５の機能構成例を示すブロック図である。図９に示す機能部のうちの少なくとも一部は、所定のプログラムが実行されることによって実現される。
　出力制御部１０５は、情報重畳適切視界設定部２０１、重畳対象フレーム選択部２０２、表示制御部２０３、およびコンテンツ取得部２０４から構成される。
　情報重畳適切視界設定部２０１は、車両の進行方向の風景を撮影することによって得られた画像を解析する。情報重畳適切視界設定部２０１に対しては、例えば、データ取得部１０２を構成するカメラにより撮影された風景画像が供給される。
　情報重畳適切視界設定部２０１は、風景画像に写る建物の壁面に情報重畳可能フレームを設定する。情報重畳可能フレームは、建物などのオブジェクトの表面（表面に対応する領域）のうち、コンテンツの重畳が可能な領域である。
　また、情報重畳適切視界設定部２０１は、情報重畳可能フレームのうちの所定のフレームを、コンテンツを重畳するのに適したフレームである情報重畳適切フレームとして選択する。
　すなわち、全ての情報重畳可能フレームにコンテンツが重畳されるのではなく、コンテンツを重畳するのに適した情報重畳可能フレームが走行状況などに応じて選択される。情報重畳適切視界設定部２０１により設定された情報重畳適切フレームに関する情報は重畳対象フレーム選択部２０２に供給される。情報重畳適切視界設定部２０１から表示制御部２０３に対しては、風景画像の解析結果の情報が適宜供給される。
　重畳対象フレーム選択部２０２は、コンテンツ取得部２０４により取得されたコンテンツの重畳先を、情報重畳適切視界設定部２０１により設定された情報重畳適切フレームの中から選択する。コンテンツの重畳先として選択された情報重畳適切フレームに関する情報は表示制御部２０３に供給される。
　表示制御部２０３は、コンテンツに対して、重畳先として選択された情報重畳適切フレームの状況に応じた画像処理を施して見た目の調整を行う。このように、表示制御部２０３は、コンテンツを表示させるための視覚情報を生成する機能を有する。また、表示制御部２０３は、投影ユニット１０６Ａを制御し、画像処理を施したコンテンツを情報重畳適切フレームに重畳させる。表示制御部２０３は、情報重畳適切フレームに対応するフロントガラスＧ上の領域にコンテンツを投影することによって、コンテンツの表示を行うことになる。
　コンテンツ取得部２０４は、記憶部１１１から読み出すことによってコンテンツを取得する。例えば記憶部１１１には、図示せぬサーバから取得されたコンテンツが記憶されている。コンテンツ取得部２０４により取得されたコンテンツは、重畳対象フレーム選択部２０２と表示制御部２０３に供給される。
　このように、コンテンツの表示は、情報重畳適切視界設定部２０１による処理を第１段階の処理、重畳対象フレーム選択部２０２による処理を第２段階の処理、表示制御部２０３による処理を第３段階の処理として行われる。
　以下、各段階の処理の詳細について、情報重畳適切視界設定部２０１、重畳対象フレーム選択部２０２、および表示制御部２０３の各部の構成とあわせて説明する。
＜１－２－３．第１段階の処理（情報重畳適切視界の設定）＞
　図１０は、図９の情報重畳適切視界設定部２０１の構成例を示すブロック図である。
　情報重畳適切視界設定部２０１は、画像解析部２１１、光状態モード設定部２１２、オブジェクト検出部２１３、フレーム設定部２１４、および適切視界設定部２１５から構成される。
　画像解析部２１１は、撮影を行うことによって得られた風景画像を解析する。風景画像の解析により、建物のアウトラインが検出されるとともに、周囲の明るさ（輝度）が検出される。また、風景画像の解析を行うことにより、日照の状態、照明の状態、大気の状態なども検出される。画像解析部２１１による解析結果を表す情報は光状態モード設定部２１２とオブジェクト検出部２１３に供給されるとともに、表示制御部２０３にも供給される。
　光状態モード設定部２１２は、画像解析部２１１から供給された情報に基づいて光状態モードを設定する。例えば、光状態モードとして、「昼モード」、「薄暮モード」、「夜モード」のうちのいずれかが設定される。
　例えば、「昼モード」は、太陽が出ていて周囲が明るいときに設定される。「薄暮モード」は、夕方や明け方などのように、周囲が薄暗いときに設定される。「夜モード」は、太陽が沈んでいて周囲が暗いときに設定される。
　各モードには基準となる明るさの閾値が設定されている。光状態モード設定部２１２は、画像を解析することによって特定された周囲の明るさと、閾値となる明るさを比較することによって、現在の明るさの状況に応じた光状態モードを設定する。光状態モード設定部２１２により設定された光状態モードに関する情報はフレーム設定部２１４に供給される。
　光状態モード設定部２１２による光状態モードの設定が、風景画像の解析結果に基づいて行われるのではなく、データ取得部１０２を構成するセンサの検出結果に基づいて行われるようにしてもよい。また、光状態モードの設定が、現在時刻等を参照して行われるようにしてもよい。
　オブジェクト検出部２１３は、地図データを取得し、アウトラインが検出された建物を地図上にプロットすることによって、走行中の道路沿いにあって、ユーザの視界に含まれる建物の３次元モデルを生成する。
　例えば、走行中の道路は、データ取得部１０２を構成するGNSS受信機による測位結果に基づいて特定される。オブジェクト検出部２１３に供給される地図データは、記憶部１１１に記憶されているものであってもよいし、図示せぬサーバから取得されるものであってもよい。
　図１１は、道路沿いのオブジェクトの３次元モデルの例を示す図である。
　図１１の例においては、自車両が走行している直線状の道路の左右に建物が並んでいる。このような建物のアウトラインのデータを含む３次元モデルがオブジェクト検出部２１３により生成される。３次元モデルには、樹木や電柱などの、風景画像に含まれる建物以外のオブジェクトのアウトラインのデータも含まれる。
　オブジェクト検出部２１３に供給される地図データに、各建物の位置だけでなく、建物の高さなどに関する情報が含まれている場合、図１１に示すような３次元モデルが地図データに基づいて生成されるようにしてもよい。この場合、オブジェクト検出部２１３は、地図データ上の建物が実際に存在しているか否かを画像解析部２１１による風景画像の解析結果に基づいて判定し、実際に存在している建物について、その位置を確定する。
　例えば、地図データ上では存在する建物が取り壊されていることがある。オブジェクト検出部２１３は、地図データ上の建物と同じ建物が風景画像に写っていない場合、その建物については、コンテンツの重畳対象から除外する。
　このように、オブジェクトの存在を風景画像に基づいて確認することにより、実際にはなくなっていて、ユーザの視界にない建物にコンテンツが重畳されるのを防ぐことが可能になる。
　一般的に、地図データの更新は１年毎などの所定の期間毎に行われるため、地図データ上に存在する建物が、車両の走行時点でなくなっていることも起こりうる。車両の走行時点でなくなっている建物の壁面にコンテンツを重畳させた場合、コンテンツが浮いているように見えてしまうが、そのような不自然な見え方を防ぐことが可能になる。
　オブジェクト検出部２１３は、風景画像に実際に写っている建物の３次元モデルの情報をフレーム設定部２１４に出力する。
　フレーム設定部２１４は、オブジェクト検出部２１３から供給された３次元モデルに基づいて、ユーザの視界に含まれる建物の壁面に情報重畳可能フレームを設定する。例えば、閾値より広い面積を有する平面が情報重畳可能フレームとして設定される。
　図１２は、情報重畳可能フレームの設定の例を示す図である。
　図１２の例においては、カーブ手前の右側にある建物に情報重畳可能フレームF_01が設定されている。また、カーブに沿って左手に３つの建物があり、手前の建物から順に、情報重畳可能フレームF_02，F_03，F_04が設定されている。なお、図１２に示す風景は、後述する車両位置Ａにおける風景を示している。
　このように、自車両が走行する道路から見える建物の３次元モデルに基づいて、コンテンツの重畳先の候補としての情報重畳可能フレームが設定される。フレーム設定部２１４により設定された情報重畳可能フレームの中から、コンテンツの重畳先となるフレームが選択される。図１２においては、建物の１つの面に情報重畳可能フレームが１つ設定されているが、複数設定されるようにしてもよい。
　また、フレーム設定部２１４は、以上のようにして設定した情報重畳可能フレームのうち、コンテンツの重畳先として適切でない情報重畳可能フレームを除外する。情報重畳可能フレームの除外は、光状態モード設定部２１２により設定された光状態モードと、画像解析部２１１により解析された風景画像に写っている建物の各部分の明るさ等に基づいて行われる。
＜除外ルールに基づく判断＞
・除外ルール１
　フレーム設定部２１４は、「昼モード」、「薄暮モード」、「夜モード」の全ての場合において、大型モニタなどの強力な発光状態にある部分を、情報重畳可能フレームから除外する。例えば、閾値以上の輝度を有する建物の部分が、強力な発光状態にある部分として特定される。
　この場合、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
　図１３は、除外ルール１により除外される情報重畳可能フレームの例を示す図である。
　図１３に示すように、建物Ｂ１１を構成する面ｂ１１－１上方の領域Ａ１の部分と、建物Ｂ１２を構成する面ｂ１２－２上方の領域Ａ２の部分に大型モニタが設置されているものとする。この場合、領域Ａ１の部分と領域Ａ２の部分が情報重畳可能フレームから除外される。
　大型モニタなどの発光状態にある部分にコンテンツを重畳させた場合、コンテンツの周りから光が漏れるように見えてしまうことがある。除外ルール１に従って情報重畳可能フレームから除外することにより、そのような不自然な見え方を防ぐことが可能になる。
・除外ルール２
　フレーム設定部２１４は、「昼モード」の場合、太陽光によって強い影となって見える部分を、情報重畳可能フレームから除外する。例えば、太陽光が当たることによって高輝度になっている部分と、その部分と閾値以上の輝度差を有する部分がある場合、輝度の低い部分が、太陽光によって強い影となって見える部分として特定される。
　この場合、各部分の絶対的な輝度と、周囲との輝度差に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
　図１４は、除外ルール２により除外される情報重畳可能フレームの例を示す図である。
　図１４に示すように、建物Ｂ１１を構成する面ｂ１１－１に太陽光が当たり、他の面である面ｂ１１－２全体に影が生じることによって、それらの面の輝度差が閾値以上あるものとする。この場合、輝度の低い面ｂ１１－２の領域Ａ１１の部分が情報重畳可能フレームから除外される。
　同様に、建物Ｂ１２を構成する面ｂ１２－２の領域Ａ１２の部分と、建物Ｂ１３を構成する面ｂ１３－２の領域Ａ１３の部分が情報重畳可能フレームから除外される。建物Ｂ１２において、面ｂ１２－１の上方と面ｂ１２－２には閾値以上の輝度差があり、建物Ｂ１３において、面ｂ１３－１の上方と面ｂ１３－２には閾値以上の輝度差がある。
　非常に明るい部分が周りにある影の部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール２に従って情報重畳可能フレームを除外することにより、コンテンツの視認性を確保することが可能になる。
・除外ルール３
　フレーム設定部２１４は、「薄暮モード」の場合、各種理由によって特に暗く見える部分を、情報重畳可能フレームから除外する。例えば、輝度が閾値より低い部分が、特に暗く見える部分として特定される。
　この場合、除外ルール１と同様に、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
　図１５は、除外ルール３により除外される情報重畳可能フレームの例を示す図である。
　図１５に示すように、建物Ｂ２１を構成する面ｂ２１－１の輝度が閾値より低いものとする。また、建物Ｂ２１の陰になって、建物Ｂ２２を構成する面ｂ２２－１と面ｂ２２－２の輝度が閾値より低いものとする。この場合、面ｂ２１－１の領域Ａ２１－１，Ａ２１－２の部分、面ｂ２２－１の領域Ａ２２－１の部分、および、面ｂ２２－２の領域Ａ２２－２の部分が情報重畳可能フレームから除外される。
　特に暗い部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール３に従って情報重畳可能フレームを除外することによっても、コンテンツの視認性を確保することが可能になる。
　なお、図１５において、建物Ｂ２３の正面に見える面は、薄暗くなってはいるが、特に暗く見える部分ではないため、除外対象とはされていない。
・除外ルール４
　フレーム設定部２１４は、「夜モード」の場合、照明光によって強い影となって見える部分を、情報重畳可能フレームから除外する。例えば、照明光が当たることによって高輝度になっている部分と、その部分と閾値以上の輝度差を有する部分がある場合、輝度の低い部分が、照明光によって強い影となって見える部分として特定される。
　この場合、除外ルール２と同様に、各部分の絶対的な輝度と、周囲との輝度差に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
　図１６は、除外ルール４により除外される情報重畳可能フレームの例を示す図である。
　図１６に示すように、建物Ｂ３１を構成する面ｂ３１－１に街灯Ｌからの光が当たり、他の面である面ｂ３１－２全体に影が生じることによって、それらの面の輝度差が閾値以上あるものとする。この場合、輝度の低い面ｂ３１－２の領域Ａ３１の部分が情報重畳可能フレームから除外される。
　同様に、建物Ｂ３２を構成する面ｂ３２－１の一部に街灯Ｌからの光が当たり、他の部分に建物Ｂ３１の影が生じることによって、それらの部分の輝度差が閾値以上あるものとする。この場合、面３２－１のうちの、輝度の低い領域Ａ３２の部分が情報重畳可能フレームから除外される。
　非常に明るい部分が周りにある影の部分にコンテンツを重畳させた場合、コンテンツが見えづらくなってしまう。除外ルール４に従って情報重畳可能フレームを除外することによっても、コンテンツの視認性を確保することが可能になる。
・除外ルール５
　フレーム設定部２１４は、「夜モード」の場合、建物外壁の発光状態にある部分や内部照明などによって発光状態にある窓部分を、情報重畳可能フレームから除外する。例えば、閾値以上の輝度を有する建物の部分が、発光状態にある部分として特定される。
　この場合、各部分の絶対的な輝度に基づいて、情報重畳可能フレームから除外するか否かの判断が行われることになる。
　図１７は、除外ルール５により除外される情報重畳可能フレームの例を示す図である。
　図１７に示すように、建物Ｂ１１を構成する面ｂ１１－１の領域Ａ４１－１，Ａ４１－２の部分と、面ｂ１１－２の領域Ａ４１－３，Ａ４１－４の部分に窓があり、室内の照明によって、それらの部分が発光状態にあるものとする。この場合、領域Ａ４１－１乃至Ａ４１－４の部分が情報重畳可能フレームから除外される。
　同様に、建物Ｂ１２を構成する面ｂ１２－２の領域Ａ４２の部分と、建物Ｂ１３を構成する面ｂ１３－２の領域Ａ４３の部分が情報重畳可能フレームから除外される。これらの部分にも窓があり、室内の照明によって、それらの部分が発光状態にあるものとされている。
　周りが暗い場合において、室内からの光が漏れている窓の部分などにコンテンツを重畳させた場合、コンテンツの周りから光が漏れるように見えてしまうことがある。除外ルール５に従って情報重畳可能フレームを除外することにより、そのような不自然な見え方を防ぐことが可能になる。
・除外ルール６
　フレーム設定部２１４は、歴史的建造物、看板などの表示物、観光名所にある対象物など、コンテンツを重畳することが道義的あるいは慣習的に不適当とされる部分を、情報重畳可能フレームから除外する。除外ルール６は、「昼モード」、「薄暮モード」、「夜モード」の全ての場合において採用される。
　図１８は、除外ルール６により除外される情報重畳可能フレームの例を示す図である。
　図１８の領域Ａ５１，Ａ５２として示すように、例えば歴史的建造物である城の外壁は、情報重畳可能フレームから除外される。
　除外ルール６に基づく判断は、例えば、地図データに含まれる情報に基づいてフレーム設定部２１４により行われる。風景画像を解析することによって歴史的建造物などが検出され、情報重畳可能フレームから除外するか否かの判断が行われるようにしてもよい。
　フレーム設定部２１４は、以上のような各ルールに従って情報重畳可能フレームを除外し、残った（除外されなかった）情報重畳可能フレームの情報を適切視界設定部２１５に出力する。
＜情報重畳適切フレームの判断＞
　図１０の適切視界設定部２１５は、フレーム設定部２１４により設定され、除外ルールに基づく判断を経た情報重畳可能フレームが、次の条件１乃至４を満たすか否かを判断する。
　条件１：ユーザからの距離、車両進行方向に対する角度、および車両速度から算出されるユーザ視界内角速度が基準範囲内にあること
　条件２：車両進行方向に対する対面角度が最小基準値以上であること
　条件３：情報重畳可能フレームが樹木や電柱などの手前オブジェクト越しに見える場合、露出面積比率が基準値以上であること
　条件４：ユーザ視界内に滞在している時間が基準値以上であること
　これらの条件を満たすか否かの判断は、風景画像の解析結果、地図データに含まれる道路に関する情報、車両の進行方向、車両速度などを適宜用いて行われる。車両の進行方向、車両速度などの、現在の車両の状況に関する情報は、例えば、状況分析部１３３などから供給される情報に基づいて特定される。また、将来の車両の状況に関する情報は、例えば、動作計画部１６３などから供給される進行状況予測情報に基づいて特定される。
　適切視界設定部２１５は、条件１乃至４の全ての条件を満たす情報重畳可能フレームを、情報重畳適切フレームとして設定する。条件１乃至４のうちの少なくともいずれかの条件を満たさない情報重畳可能フレームは、情報重畳適切フレームとしては選択されない。
　条件１乃至４を満たすか否かの判断について説明するが、はじめに、前提とする車両の状況の具体例について説明する。
　図１９は、車両位置の推移の例を示す図である。
　図１９は、右に曲がるカーブを走行する車両の位置の推移を平面から見た状態を示している。道路上にある角丸の長方形は車両を表し、道路の両脇にある矩形は建物を表す。カーブの内側に１つの建物があり、その建物の道路側の面に情報重畳可能フレームF_01が設定されている。また、カーブの外側に３つの建物があり、手前の建物から順に、情報重畳可能フレームF_02，F_03，F_04が設定されている。図１９において、建物を表す矩形内の太線は情報重畳可能フレームを示す。
　各時刻における車両の位置を車両位置Ａ乃至Ｅとする。車両は、車両位置Ａ乃至Ｅを結ぶ軌跡上を順に走行することになる。
　例えば、車両位置Ａにおける車両の向きを基準とすると、図２０に示すように、車両位置Ｂにおける方向変移は22.5°で表され、車両位置Ｃにおける方向変移は45°で表される。車両位置Ｄにおける車両の方向変移は67.5°で表され、車両位置Ｅにおける車両の方向変移は90°で表される。
　車両位置を基準として示される扇形の内角が、車両が各位置にあるときのユーザの視界の範囲を表す。例えば、車両位置Ａにおける視界は扇形＃１で表され、車両位置Ｂにおける視界は扇形＃２で表される。車両位置Ｃにおける視界は扇形＃３で表される。このように、車両位置と車両の方向に応じてユーザが見る風景が変化する。
　このような各時刻の車両の状況が、現在の車両の進行状況と将来の進行状況に基づいて、各タイミングで生成される。図１９は、車両が車両位置Ａを走行しているタイミングで生成された車両位置の推移の状況を示している。車両位置Ｂ乃至Ｅにおける車両の状況は、将来の進行状況に基づいて予測される状況となる。このような将来の進行状況が、外部から入力される進行状況予測情報により表される。
　図２１は、各車両位置における風景画像を示す図である。
　説明の便宜上、カメラにより撮影される風景画像の範囲とユーザの視界の範囲が一致するものとする。ユーザが見ている風景全体が、カメラにより撮影されることになる。
　図２１のＡは、車両位置Ａの風景画像を示している。車両位置Ａの風景画像には、情報重畳可能フレームF_01乃至F_04が全て含まれる。図１９の扇形＃１に示すように、車両位置Ａを走行しているタイミングにおけるユーザの視界には、情報重畳可能フレームF_01乃至F_04が含まれる。
　図２１のＡの状態において、情報重畳可能フレームF_03が設定された建物の手前の位置と情報重畳可能フレームF_04が設定された建物の手前の位置には、それぞれの情報重畳可能フレームに一部重なる形で樹木が植えられている。なお、図２１のＡに示す風景は、図１２を参照して説明した風景と同じである。
　図２１のＢは、車両位置Ｂの風景画像を示している。現在の車両位置は車両位置Ａであるから、図２１のＢに示す風景画像は、一定時間経過後に見えることが予測される風景を表す。
　車両位置Ｂの風景画像には、情報重畳可能フレームF_03と情報重畳可能フレームF_04が含まれる。図１９の扇形＃２に示すように、車両位置Ｂを走行しているタイミングにおけるユーザの視界には、情報重畳可能フレームF_03と情報重畳可能フレームF_04が含まれる。
　図２１のＣは、車両位置Ｃの風景画像を示している。現在の車両位置は車両位置Ａであるから、図２１のＣに示す風景画像は、車両位置Ｂを走行しているタイミングよりもさらに一定時間経過後に見えることが予測される風景を表す。
　車両位置Ｃの風景画像には、情報重畳可能フレームF_04が含まれる。図１９の扇形＃３に示すように、車両位置Ｃを走行しているタイミングにおけるユーザの視界の左側には情報重畳可能フレームF_04が含まれる。
　車両位置Ｄ，Ｅを走行しているタイミングでは、情報重畳可能フレームF_01乃至F_04は、いずれもユーザの視界から外れることになる。
・条件１の判断
　適切視界設定部２１５は、ユーザからの距離、車両進行方向に対する角度、および車両速度から算出されるユーザ視界内角速度が基準範囲内にある場合に、条件１を満たすものとして判断する。ユーザ視界内角速度は、各情報重畳可能フレームの位置を基準としたときの、情報重畳可能フレームが、ユーザの視界に収まっている間の車両の角速度を表す。
　図２２は、ユーザ視界内角速度の例を示す図である。
　図２２の例においては、車両位置Ａから車両位置Ｂまでの移動中のユーザ視界内角速度を用いた判断が示されている。この場合、図２２に示すように、情報重畳可能フレームF_01のユーザ視界内角速度は41°/secとなり、情報重畳可能フレームF_02のユーザ視界内角速度は38°/secとなる。また、情報重畳可能フレームF_03のユーザ視界内角速度は3°/secとなり、情報重畳可能フレームF_04のユーザ視界内角速度は8°/secとなる。
　例えば、上限となるユーザ視界内角速度の基準値が30°/secである場合、基準値を超える情報重畳可能フレームF_01と情報重畳可能フレームF_02は、条件１を満たさず、コンテンツを重畳させるフレームとしては不適切であるとして判断される。
　一方、基準値の範囲内にある情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件１を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。ユーザ視界内角速度が基準値より小さいということは、ユーザの視界内における移動量が少ないことを表す。
　このように、コンテンツを重畳させるフレームとして適切であるか否かを条件１に基づいて判断することにより、ユーザの視界内における移動量が少ないフレーム、すなわち、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
　例えば、ユーザ視界内角速度が大きい情報重畳可能フレームにコンテンツを重畳させた場合、コンテンツが大きく移動して見えることになる。条件１に基づく判断により、視界内で大きく移動するような情報重畳可能フレームにコンテンツが重畳されるのを防ぐことが可能になる。
・条件２の判断
　適切視界設定部２１５は、車両進行方向に対する対面角度が最小基準値以上である場合に、条件２を満たすものとして判断する。
　図２３は、車両進行方向に対する対面角度の例を示す図である。
　図２３に示すように、情報重畳可能フレームF_03の設定面は破線Ｌ１で表され、情報重畳可能フレームF_04の設定面は破線Ｌ２で表される。条件１に基づく判断により情報重畳可能フレームF_01と情報重畳可能フレームF_02は不適切なフレームとして判断されているから、情報重畳可能フレームF_01と情報重畳可能フレームF_02についての、条件２に基づく判断は行われない。
　車両位置Ａにおける、車両進行方向に対する情報重畳可能フレームF_03の対面角度は扇形＃１１－１で表され、情報重畳可能フレームF_04の対面角度は扇形＃１１－２で表される。いずれの情報重畳可能フレームの対面角度も90°となる。
　この例においては、情報重畳可能フレームF_03と情報重畳可能フレームF_04が平行な面に設定されているために、同じ車両位置におけるそれぞれの対面角度が同じ角度になっているが、平行ではない面に設定されている場合、それぞれの対面角度は異なる角度になる。
　各車両位置における、車両進行方向に対する情報重畳可能フレームの対面角度が同様にして求められる。
　すなわち、車両位置Ｂにおける、車両進行方向に対する情報重畳可能フレームF_03の対面角度は扇形＃１２－１で表され、情報重畳可能フレームF_04の対面角度は扇形＃１２－２で表される。いずれの情報重畳可能フレームの対面角度も67.5°となる。
　車両位置Ｃにおける、車両進行方向に対する情報重畳可能フレームF_04の対面角度は扇形＃１３で表される。情報重畳可能フレームF_04の対面角度は45°となる。車両位置Ｃを走行しているタイミングでは、ユーザの視界から既に外れるため、情報重畳可能フレームF_03の対面角度を用いた判断は行われない。
　例えば、最小となる対面角度の基準値が30°である場合、車両位置Ａを走行しているタイミングでは、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの対面角度も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
　また、車両位置Ｂを走行しているタイミングでも、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの対面角度も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
　車両位置Ｃを走行しているタイミングでは、情報重畳可能フレームF_04の対面角度は基準値を超えることになる。情報重畳可能フレームF_04は、条件２を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
　１回のタイミングにおける対面角度が基準値を超えるだけでなく、複数のタイミングにおける対面角度が基準値を超える情報重畳可能フレームが、条件２を満たすとして判断されるようにしてもよい。
　車両進行方向に対する情報重畳可能フレームの対面角度が基準値以上であるということは、情報重畳可能フレームがユーザに対して正面に近い向きで設定されていることを表す。
　このように、コンテンツを重畳させるフレームとして適切であるか否かを条件２に基づいて判断することにより、ユーザに対して正面に近い向きで設定されているフレーム、すなわち、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
・条件３の判断
　適切視界設定部２１５は、情報重畳可能フレームが樹木や電柱などの手前オブジェクト越しに見える場合、露出面積比率が基準値以上である場合に、条件３を満たすものとして判断する。手前オブジェクトは、ユーザの位置から見たときに、情報重畳可能フレームの手前にあるオブジェクトである。
　なお、条件３に基づく判断が、手前オブジェクトと、その後方にある建物（情報重畳可能フレーム）との距離が閾値より近い場合に行われるようにしてもよい。手前のオブジェクトと建物との距離は、例えばオブジェクト検出部２１３により生成された、オブジェクトの３次元モデルに基づいて特定される。
　図２４および図２５は、露出面積比率の例を示す図である。
　図２４に示すように、例えば、車両位置Ａを走行しているタイミングでは、ユーザの視界に含まれる情報重畳可能フレームF_03の手前に樹木Ｔ１があり、情報重畳可能フレームF_04の手前に樹木Ｔ２がある。図２５に示すように、ユーザは、これらの情報重畳可能フレームを、樹木が一部覆い隠している状態で見ることになる。
　情報重畳可能フレームF_03の露出面積比率は、情報重畳可能フレームF_03全体の面積に対する、樹木Ｔ１によって隠されていない部分（図２５の斜線部分）の面積の比率として表される。それぞれの面積は、風景画像の解析結果に基づいて例えば適切視界設定部２１５により求められる。この例においては、情報重畳可能フレームF_03の露出面積比率は80％となる。
　同様に、情報重畳可能フレームF_04の露出面積比率は、情報重畳可能フレームF_04全体の面積に対する、樹木Ｔ２によって隠されていない部分の面積の比率として表される。この例においては、情報重畳可能フレームF_04の露出面積比率は95％となる。
　例えば、最低となる露出面積比率の基準値が60％である場合、車両位置Ａを走行しているタイミングでは、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの露出面積比率も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件３を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
　１回のタイミングにおける露出面積比率が基準値を超えるだけでなく、複数のタイミングにおける露出面積比率が基準値を超える情報重畳可能フレームが、条件３を満たすとして判断されるようにしてもよい。
　露出面積比率が基準値以上であるということは、手前にオブジェクトがある場合であっても、情報重畳可能フレームの広い範囲がユーザから見えていることを表す。
　このように、コンテンツを重畳させるフレームとして適切であるか否かを条件３に基づいて判断することにより、コンテンツを重畳させたときに見やすいフレームを選択することが可能になる。
・条件４の判断
　適切視界設定部２１５は、ユーザ視界内に滞在している時間が基準値以上である場合に、条件４を満たすものとして判断する。
　図２６は、ユーザ視界内の滞在時間の例を示す図である。
　図２６に示すように、車両位置Ａから車両位置Ｂまで走行するのにかかる時間が２秒であるものとする。車両位置Ｂから車両位置Ｃ、車両位置Ｃから車両位置Ｄ、車両位置Ｄから車両位置Ｅまで走行するのにかかる時間もそれぞれ２秒であるものとする。これらの時間は、車両位置間の距離と予測される走行速度に基づいて求められる。
　車両位置Ａを通過するタイミングを基準とした場合、情報重畳可能フレームF_03のユーザ視界内の滞在時間は、基準となるタイミングから、車両位置Ｃの手前の位置を走行するタイミングまでの時間として求められる。扇形＃３で表される車両位置Ｃにおけるユーザの視界には含まれていないが、その手前の位置までは、ユーザの視界に情報重畳可能フレームF_03が含まれ続ける。この例においては、情報重畳可能フレームF_03のユーザ視界内の滞在時間は3.5秒となる。
　同様に、情報重畳可能フレームF_04のユーザ視界内の滞在時間は、基準となるタイミングから、車両位置Ｄの手前の位置を走行するタイミングまでの時間として求められる。車両位置Ｄにおけるユーザの視界にはほとんど含まれていないが、その手前の位置までは、ユーザの視界に情報重畳可能フレームF_04が含まれ続ける。この例においては、情報重畳可能フレームF_04のユーザ視界内の滞在時間は5.5秒となる。
　例えば、最小となるユーザ視界内の滞在時間の基準値が3.0秒である場合、情報重畳可能フレームF_03と情報重畳可能フレームF_04のいずれの滞在時間も基準値を超えることになる。情報重畳可能フレームF_03と情報重畳可能フレームF_04は、条件４を満たし、コンテンツを重畳させるフレームとして適切であるとして判断される。
　滞在時間の基準値が、走行速度に応じて設定されるようにしてもよい。上述した3.0秒の基準値は、例えば走行速度が5ｍ/sec（18km/h）である場合に設定される。
　滞在時間が基準値以上であるということは、走行中のユーザの視界に、一定の時間、情報重畳可能フレームが収まり続けていることを表す。
　このように、コンテンツを重畳させるフレームとして適切であるか否かを条件４に基づいて判断することにより、コンテンツを重畳させたときに一定時間見続けることのできるフレームを選択することが可能になる。
　以上のような条件１乃至４に基づいて、コンテンツの重畳に適した情報重畳可能フレームであるか否かの判断が行われる。情報重畳可能フレームの面積が基準値以上であるか否かなどの、他の条件を用いて、コンテンツの重畳に適した情報重畳可能フレームであるか否かの判断が行われるようにしてもよい。
　図１０の説明に戻り、適切視界設定部２１５は、条件１乃至４の全ての条件を満たす情報重畳可能フレームを情報重畳適切フレームとして選択する。条件１乃至４の全ての条件ではなく、少なくともいずれか１つの条件を満たす情報重畳可能フレームが、情報重畳適切フレームとして選択されるようにしてもよい。
　適切視界設定部２１５は、情報重畳適切フレームに基づいて情報重畳適切視界を設定する。情報重畳適切視界は、ユーザの視界全体のうちの、コンテンツを重畳させるのに適した領域である。例えば、ユーザの視界全体のうち、全ての情報重畳適切フレームを含む矩形の内側の領域が、情報重畳適切視界として設定される。
　図２７は、情報重畳適切視界の設定の例を示す図である。
　太線Ｌ２１で囲んで示すように、情報重畳適切フレームとして選択された情報重畳可能フレームF_03と情報重畳可能フレームF_04を囲む最小矩形の内側の領域が、情報重畳適切視界として設定される。情報重畳適切視界に含まれる情報重畳可能フレームF_03と情報重畳可能フレームF_04が、コンテンツの重畳先として用いられる。
　なお、図２７の例においては、情報重畳適切視界に含まれる情報重畳可能フレームが、いずれも情報重畳適切フレームとして判断された情報重畳可能フレームF_03と情報重畳可能フレームF_04とされている。条件１乃至４に基づく判断によって情報重畳適切フレームとして判断されなかった情報重畳可能フレームについても、情報重畳適切視界に含まれる場合にはコンテンツの重畳先として用いられるようにしてもよい。
　また、適切視界設定部２１５は、図２７に示すように、情報重畳適切視界の外側の領域を、情報重畳不適視界として設定する。情報重畳不適視界はコンテンツの重畳には用いられず、各種のメッセージの表示、走行速度などの走行状態を表す情報の表示などに用いられる。図２等に示す左上の速度表示は、情報重畳不適視界を用いた表示である。
　適切視界設定部２１５は、情報重畳適切視界に含まれる全ての情報重畳適切フレームの情報を重畳対象フレーム選択部２０２に出力する。
＜１－２－４．第２段階の処理（重畳先とする情報重畳適切フレームの選択）＞
　次に、第２段階の処理として重畳対象フレーム選択部２０２により行われる重畳先の選択について説明する。
　図２８は、図９の重畳対象フレーム選択部２０２の構成例を示すブロック図である。
　重畳対象フレーム選択部２０２は、事前解析部２３１、適合度算出部２３２、および重畳先設定部２３３から構成される。事前解析部２３１に対しては、コンテンツ取得部２０４により取得されたコンテンツが表示予定のコンテンツとして入力される。また、適合度算出部２３２に対しては、情報重畳適切視界設定部２０１から出力された情報重畳適切フレームの情報が入力される。
　事前解析部２３１は、表示予定の全てのコンテンツについて、コンテンツ情報項目の事前解析を行い、表示位置判定要素(Positioning Factors)を設定する。
　コンテンツ情報項目は、コンテンツの特徴を表すメタデータであり、コンテンツの種別毎に異なる項目から構成される。一方、表示位置判定要素は、コンテンツの表示に要する仕様に関する情報であり、重畳先となる情報重畳適切フレームを選択するために用いられる。
　事前解析部２３１は、それぞれのコンテンツを、「動画」、「静止画」、「文字（テキスト）」のうちのいずれかのコンテンツ種別に分類する。コンテンツ種別の分類は、例えばコンテンツのファイルの拡張子に基づいて行われる。
　図２９は、コンテンツ情報項目の例を示す図である。重複する説明については適宜省略する。
　図２９のＡは、ファイル名が「File_01」である文字コンテンツのコンテンツ情報項目を示している。
　図２９のＡに示すように、事前解析部２３１は、文字コンテンツのコンテンツ情報項目として、「Type」、「Number of Letters」、「Time for Reading」、「Proportion」、および「Time for Viewing」の各項目を設定する。
　「Type」はコンテンツ種別を表す。
　「Number of Letters」はコンテンツに含まれる文字数を表す。
　「Time for Reading」は読解時間を表す。読解時間は、例えば文字数に応じて設定される。
　「Proportion」は、コンテンツの表示に要する領域の縦横サイズ比率を表す。
　「Time for Viewing」は閲覧所要時間を表す。文字コンテンツの場合、閲覧所要時間は読解時間と同じ時間として設定される。
　図２９のＡの例においては、「Number of Letters」は42として設定されている。また、「Time for Reading」は10秒として設定されている。「Proportion」は4:3として設定されている。「Time for Viewing」は、「Time for Reading」と同じ10秒として設定されている。
　この場合、事前解析部２３１は、「Proportion」の4:3と「Time for Viewing」の10秒を、「File_01」の文字コンテンツの表示位置判定要素として設定する。
　図２９のＢは、ファイル名が「File_02」である動画コンテンツのコンテンツ情報項目を示している。
　図２９のＢに示すように、事前解析部２３１は、動画コンテンツのコンテンツ情報項目として、「Type」、「Playback Duration」、「Proportion」、および「Time for Viewing」の各項目を設定する。
　「Playback Duration」は再生時間を表す。
　「Proportion」は、動画コンテンツを構成する各フレームの縦横サイズ比率を表す。
　「Time for Viewing」は閲覧所要時間を表す。動画コンテンツの場合、閲覧所要時間は再生時間と同じ時間として設定される。
　図２９のＢの例においては、「Playback Duration」は20秒として設定されている。また、「Proportion」は16:9として設定されている。「Time for Viewing」は、「Playback Duration」と同じ20秒として設定されている。
　この場合、事前解析部２３１は、「Proportion」の16:9と「Time for Viewing」の20秒を、「File_02」の動画コンテンツの表示位置判定要素として設定する。
　図２９のＣは、ファイル名が「File_03」である静止画コンテンツのコンテンツ情報項目を示し、図２９のＤは、ファイル名が「File_04」である静止画コンテンツのコンテンツ情報項目を示している。
　図２９のＣ，Ｄに示すように、事前解析部２３１は、静止画コンテンツのコンテンツ情報項目として、「Type」、「Text」、「Number of Letters」、「Time for Reading」、「Proportion」、および「Time for Viewing」の各項目を設定する。
　「Text」は、画像中に文字要素が含まれているか否かを表す。事前解析部２３１は、「静止画」のコンテンツについては、画像解析を行うことによって、文字要素ありの「静止画」であるか、文字要素無しの「静止画」であるかの識別を行う。文字要素ありの静止画コンテンツの他のコンテンツ情報項目は、文字コンテンツのコンテンツ情報項目と同じである。
　図２９のＣの例においては、「Text」は文字要素あり（Included）として設定されている。「File_03」の静止画コンテンツは、文字要素ありの静止画コンテンツである。また、「Number of Letters」は28として設定されている。「Time for Reading」は7秒として設定されている。「Proportion」は3:4として設定されている。「Time for Viewing」は、「Time for Reading」と同じ7秒として設定されている。
　この場合、事前解析部２３１は、「Proportion」の3:4と「Time for Viewing」の7秒を、「File_03」の静止画コンテンツの表示位置判定要素として設定する。
　一方、図２９のＤの例においては、「Text」は文字要素ありとして設定されている。「File_04」の静止画コンテンツも、文字要素ありの静止画コンテンツである。また、「Number of Letters」は18として設定されている。「Time for Reading」は5秒として設定されている。「Proportion」は1:1として設定されている。「Time for Viewing」は、「Time for Reading」と同じ5秒として設定されている。
　この場合、事前解析部２３１は、「Proportion」の1:1と「Time for Viewing」の5秒を、「File_04」の静止画コンテンツの表示位置判定要素として設定する。
　事前解析部２３１は、以上のようにして設定した各コンテンツの表示位置判定要素の情報を適合度算出部２３２に出力する。
　適合度算出部２３２は、事前解析部２３１により事前解析が行われたコンテンツと、情報重畳適切視界に含まれる情報重畳適切フレームの組み合わせ毎の適合度を算出する。すなわち、全てのコンテンツのそれぞれについて、情報重畳適切視界に含まれるそれぞれの情報重畳適切フレームとの適合度が算出される。
　例えば、適合度算出部２３２は、各情報重畳適切フレームの縦横サイズ比率とユーザ視界内の滞在時間を例えば情報重畳適切視界設定部２０１から供給された情報に基づいて特定する。
　適合度算出部２３２は、特定した縦横サイズ比率とユーザ視界内の滞在時間を、コンテンツの表示位置判定要素と比較することによって、コンテンツと情報重畳適切フレームの適合度を算出する。上述したように、表示位置判定要素として、縦横サイズ比率（「Proportion」）と閲覧所要時間（「Time for Viewing」）が設定されている。
　図３０は、適合度の例を示す図である。
　ここでは、情報重畳適切フレームF_11乃至F_14の４つの情報重畳適切フレームが情報重畳適切視界に含まれているものとする。図３０に示すFrame_11乃至Frame_14は、それぞれ、情報重畳適切フレームF_11乃至F_14を表す。情報重畳適切フレームF_11乃至F_14の縦横サイズ比率は、それぞれ、1:0.9、3:4.2、4:3.2、16:8であり、ユーザ視界内の滞在時間は、それぞれ、4秒、7秒、14秒、17秒であるものとする。
　図３０のＡは、「File_01」の文字コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_01」の文字コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の4:3と閲覧所要時間の10秒である。
　図３０のＡに示すように、事前解析部２３１は、文字コンテンツの縦横サイズ比率の4:3と情報重畳適切フレームF_11の縦横サイズ比率の1:0.9に基づいて、縦横サイズ比率の適合度を20として求める。例えば、両者の比率が近いほど、高い適合度が求められる。
　また、事前解析部２３１は、文字コンテンツの閲覧所要時間の10秒と情報重畳適切フレームF_11のユーザ視界内の滞在時間の4秒に基づいて、閲覧所要時間の適合度を10として求める。例えば、両者の時間が近いほど、高い適合度が求められる。
　事前解析部２３１は、縦横サイズ比率の適合度と閲覧所要時間の適合度を足し合わせることによって、「File_01」の文字コンテンツと情報重畳適切フレームF_11の全体の適合度を30として算出する。
　この例においては、縦横サイズ比率の適合度と閲覧所要時間の適合度を足し合わせることによって全体の適合度が求められているが、一方の適合度に重み付けをしてから足し合わせるなど、全体の適合度の求め方については任意である。
　事前解析部２３１は、情報重畳適切フレームF_12乃至F_14のそれぞれについて、「File_01」の文字コンテンツとの適合度を同様にして算出する。
　図３０のＡの例においては、「File_01」の文字コンテンツと情報重畳適切フレームF_12との全体の適合度は30であり、「File_01」の文字コンテンツと情報重畳適切フレームF_13との全体の適合度は90である。また、「File_01」の文字コンテンツと情報重畳適切フレームF_14との全体の適合度は70である。
　事前解析部２３１は、「File_02」の動画コンテンツ、「File_03」の静止画コンテンツ、「File_04」の静止画コンテンツのそれぞれの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を同様にして算出する。
　図３０のＢは、「File_02」の動画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_02」の動画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の16:9と閲覧所要時間の20秒である。
　図３０のＢの例においては、「File_02」の動画コンテンツと情報重畳適切フレームF_11との全体の適合度は0であり、「File_02」の動画コンテンツと情報重畳適切フレームF_12との全体の適合度は0である。また、「File_02」の動画コンテンツと情報重畳適切フレームF_13との全体の適合度は50であり、「File_02」の動画コンテンツと情報重畳適切フレームF_14との全体の適合度は80である。
　図３０のＣは、「File_03」の静止画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_03」の静止画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の3:4と閲覧所要時間の7秒である。
　図３０のＣの例においては、「File_03」の静止画コンテンツと情報重畳適切フレームF_11との全体の適合度は30であり、「File_03」の静止画コンテンツと情報重畳適切フレームF_12との全体の適合度は90である。また、「File_03」の静止画コンテンツと情報重畳適切フレームF_13との全体の適合度は60であり、「File_03」の静止画コンテンツと情報重畳適切フレームF_14との全体の適合度は50である。
　図３０のＤは、「File_04」の静止画コンテンツの、情報重畳適切フレームF_11乃至F_14のそれぞれとの適合度を示している。「File_04」の静止画コンテンツの表示位置判定要素は、上述したように、縦横サイズ比率の1:1と閲覧所要時間の5秒である。
　図３０のＤの例においては、「File_04」の静止画コンテンツと情報重畳適切フレームF_11との全体の適合度は70であり、「File_04」の静止画コンテンツと情報重畳適切フレームF_12との全体の適合度は70である。また、「File_04」の静止画コンテンツと情報重畳適切フレームF_13との全体の適合度は70であり、「File_04」の静止画コンテンツと情報重畳適切フレームF_14との全体の適合度は60である。
　適合度算出部２３２は、このようにして算出した適合度の情報を重畳先設定部２３３に出力する。
　重畳先設定部２３３は、適合度算出部２３２により算出された適合度に従って、各コンテンツの重畳先となる情報重畳適切フレームを設定する。例えば、重畳先設定部２３３は、適合度の高い情報重畳適切フレームを順に割り当てることによって、重畳先となる情報重畳適切フレームを設定する。
　図３１は、重畳先の設定の例を示す図である。
　図３１の左側は、上述したような適合度の算出例を示している。各適合度には、適宜、「Not Good」から「Very Good」の範囲でランク付けされる。
　白抜き矢印の先に示す表は、「File_01」の文字コンテンツ、「File_02」の動画コンテンツ、「File_03」の静止画コンテンツ、「File_04」の静止画コンテンツのそれぞれの、情報重畳適切フレームF_11乃至F_14のそれぞれとの全体の適合度を示す表である。
　楕円で囲んで示すように、重畳先設定部２３３は、「File_01」の文字コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_13を設定する。
　また、重畳先設定部２３３は、「File_02」の動画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_14を設定する。
　重畳先設定部２３３は、「File_03」の静止画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_12を設定する。
　重畳先設定部２３３は、「File_04」の静止画コンテンツの重畳先として、情報重畳適切フレームF_11乃至F_14の中で適合度が最も高い情報重畳適切フレームF_11を設定する。
　なお、「File_04」の静止画コンテンツと、情報重畳適切フレームF_11，F_12，F_13との適合度はいずれも70であるが、ここでは、いずれのコンテンツの重畳先としても設定されていない情報重畳適切フレームF_11が設定される。情報重畳適切フレームF_12は、70より高い適合度に基づいて「File_03」の静止画コンテンツの重畳先として既に設定され、情報重畳適切フレームF_13は、70より高い適合度に基づいて「File_01」の文字コンテンツの重畳先として既に設定されている。
　図３２は、以上のように設定された重畳先の例を示す図である。
　図３２に示す風景画像には、建物Ｂ１０１乃至Ｂ１０３が写っている。図３２の例において、上述した情報重畳適切フレームF_11と情報重畳適切フレームF_12は、左側にある建物Ｂ１０１に設定された情報重畳適切フレームである。情報重畳適切フレームF_13は、中央にある建物Ｂ１０２に設定された情報重畳適切フレームである。情報重畳適切フレームF_14は、右側にある建物Ｂ１０３に設定された情報重畳適切フレームである。
　重畳先となる情報重畳適切フレームの設定が以上のようにして行われた場合、情報重畳適切フレームF_11には、それとの適合度が70として算出された「File_04」の静止画コンテンツが重畳される。また、情報重畳適切フレームF_12には、それとの適合度が80として算出された「File_03」の静止画コンテンツが重畳される。
　情報重畳適切フレームF_13には、それとの適合度が90として算出された「File_01」の文字コンテンツが重畳される。情報重畳適切フレームF_14には、それとの適合度が80として算出された「File_02」の動画コンテンツが重畳される。
　重畳先設定部２３３は、このようにして設定した各コンテンツの重畳先の情報、すなわち、どのコンテンツを、どの情報重畳適切フレームに重畳させるのかを表す情報を表示制御部２０３に出力する。
　以上においては、コンテンツと情報重畳適切フレームとの適合度が、両者の縦横サイズ比率と時間に基づいて算出されるものとしたが、他の要素に基づいて算出されるようにしてもよい。例えば、縦横サイズ比率だけに基づいて算出されるようにしてもよいし、時間（閲覧所要時間と視界内の滞在時間）だけに基づいて算出されるようにしてもよい。
　すなわち、コンテンツと情報重畳適切フレームとの適合度が、上述した表示位置判定要素のうちの少なくともいずれかに基づいて算出されるようにすることが可能である。
　また、暗い場所にある情報重畳適切フレームには動画コンテンツを重畳させ、明るい場所にある情報重畳適切フレームには文字コンテンツを重畳させるといったように、他の要素に基づいて適合度の算出が行われるようにしてもよい。この場合、情報重畳適切フレームの輝度とコンテンツ種別に基づいて適合度の算出が行われることになる。
　遠くにある情報重畳適切フレームには動画コンテンツを重畳させ、近くにある情報重畳適切フレームには文字コンテンツを重畳させるように適合度の算出が行われるようにしてもよい。この場合、情報重畳適切フレームまでの距離とコンテンツ種別に基づいて適合度の算出が行われることになる。
　このように、各コンテンツと情報重畳適切フレームの適合度の算出方法については様々な方法を採用することが可能である。
　コンテンツ情報項目と表示位置判定要素の解析が車両制御システム１００において行われるものとしたが、コンテンツを管理するサーバ側で行われるようにしてもよい。サーバから車両制御システム１００に対しては、コンテンツ情報項目と表示位置判定要素の情報が、コンテンツと対応付けて提供される。
＜１－２－５．第３段階の処理（表示の実行）＞
　次に、第３段階の処理として表示制御部２０３により行われる表示処理について説明する。
　図３３は、図９の表示制御部２０３の構成例を示すブロック図である。
　表示制御部２０３は、適応コントラスト算出部２５１、コントラスト調整部２５２、マスク処理部２５３、および表示処理部２５４から構成される。
　適応コントラスト算出部２５１に対しては、情報重畳適切視界設定部２０１から出力された風景画像の解析結果と、重畳対象フレーム選択部２０２から出力された各コンテンツの重畳先となる情報重畳適切フレームの情報が入力される。コントラスト調整部２５２に対してはコンテンツ取得部２０４から出力されたコンテンツが入力され、マスク処理部２５３に対しては風景画像が入力される。
　適応コントラスト算出部２５１は、コンテンツの重畳先として設定された情報重畳適切フレームの存在箇所のコンテキストに基づいて、各情報重畳適切フレームの適応コントラスト(Fitting Contrast)を算出する。適応コントラストは、情報重畳適切フレームの存在箇所の実際の見え方と同じ見え方になるように、コンテンツのコントラストを調整するために用いられる。
　適応コントラスト算出部２５１は、例えば、日照の状態、照明の状態、大気の状態、および、車両位置からの距離のうちの少なくともいずれかに基づいて適応コントラストを算出する。この例においては、日照の状態、照明の状態、大気の状態、および、車両位置からの距離のうちの少なくともいずれかがコンテキストとして用いられているが、天候、気温などの他の状態がコンテキストとして用いられるようにしてもよい。
　例えば、日照の状態、照明の状態、大気の状態、および、車両位置からの距離は風景画像の解析結果に含まれる。車両位置から情報重畳適切フレームの存在箇所までの距離が、距離センサによる検出結果に基づいて取得されるようにしてもよい。
　適応コントラスト算出部２５１は、各情報重畳適切フレームの適応コントラストの情報をコントラスト調整部２５２に出力する。
　コントラスト調整部２５２は、重畳先が設定されたコンテンツのコントラストを、重畳先となる情報重畳適切フレームの適応コントラストに応じて調整する。コントラスト調整部２５２は、コントラスト調整後のコンテンツを表示処理部２５４に出力する。
　図３４は、適応コントラストに基づくコントラストの調整の例を示す図である。
　図３４に示す情報重畳適切フレームF_11乃至F_14は、図３２を参照して説明した情報重畳適切フレームと同じである。
　図３４の例においては、情報重畳適切フレームF_11は、近距離にある建物Ｂ１０１の壁面に設定されている。情報重畳適切フレームF_11の日照の状態は、情報重畳適切フレームF_11が設定された壁面に太陽光が当たることによって、日向の状態になっている。日照の状態は、例えば、情報重畳適切フレームF_11が設定されている壁面の輝度に基づいて特定される。
　この場合、図３４において引出線の先に示すように、適応コントラスト算出部２５１は、情報重畳適切フレームF_11が近距離にあり、日照の状態が日向の状態であることに基づいて、情報重畳適切フレームF_11の適応コントラストとして100％を算出する。
　適応コントラストが100％であるから、情報重畳適切フレームF_11を重畳先とする「File_04」の静止画コンテンツは、コントラストの調整が行われることなく、元のコントラストで情報重畳適切フレームF_11に重畳される。
　一方、近距離にある建物Ｂ１０１の壁面に設定されている情報重畳適切フレームF_12の日照の状態は、弱い日陰の状態になっている。
　この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_12が近距離にあり、日照の状態が弱い日陰の状態であることに基づいて、情報重畳適切フレームF_12の適応コントラストとして60％を算出する。
　適応コントラストが60％であるから、情報重畳適切フレームF_12を重畳先とする「File_03」の静止画コンテンツは、コントラストを60％に下げた状態で情報重畳適切フレームF_12に重畳される。
　情報重畳適切フレームF_11が設定されている壁面と情報重畳適切フレームF_12が設定されている壁面の実際の見え方を比べた場合、日陰になっているから、情報重畳適切フレームF_12が設定されている壁面の方が暗く、コントラストが低く見える。壁面の実際の見え方に応じてコントラストを下げることにより、「File_03」の静止画コンテンツを、それが重畳される壁面の見え方に溶け込んだ状態で表示させることが可能になる。
　情報重畳適切フレームF_13は、遠距離にある建物Ｂ１０２の壁面に設定されている。情報重畳適切フレームF_13の大気の状態は、霧が発生している状態になっている。霧が発生しているといった大気の状態は、例えば、情報重畳適切フレームF_13が設定されている壁面の輝度やコントラストに基づいて特定される。
　この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_13が遠距離にあり、大気の状態が霧が発生している状態であることに基づいて、情報重畳適切フレームF_13の適応コントラストとして10％を算出する。
　適応コントラストが10％であるから、情報重畳適切フレームF_13を重畳先とする「File_01」の文字コンテンツは、コントラストを10％に下げた状態で情報重畳適切フレームF_13に重畳される。
　情報重畳適切フレームF_11が設定されている壁面と情報重畳適切フレームF_13が設定されている壁面の実際の見え方を比べた場合、遠距離にあって霧で霞んで見えることから、情報重畳適切フレームF_13が設定されている壁面の方が、コントラストが低く見える。壁面の実際の見え方に応じてコントラストを下げることにより、「File_01」の文字コンテンツを、それが重畳される壁面の見え方に溶け込んだ状態で表示させることが可能になる。
　情報重畳適切フレームF_14は、近距離にある建物Ｂ１０３の壁面に設定されている。情報重畳適切フレームF_14の日照の状態は日向の状態になっている。
　この場合、適応コントラスト算出部２５１は、情報重畳適切フレームF_11の場合と同様に、情報重畳適切フレームF_14が近距離にあり、日照の状態が日向の状態であることに基づいて、情報重畳適切フレームF_14の適応コントラストとして100％を算出する。
　適応コントラストが100％であるから、情報重畳適切フレームF_14を重畳先とする「File_02」の動画コンテンツは、コントラストの調整が行われることなく、元のコントラストで情報重畳適切フレームF_14に重畳される。
　このように、各コンテンツに対しては、重畳先となる情報重畳適切フレームの存在箇所の実際の見え方に応じて算出される適応コントラストに基づいて、コントラストの調整が施される。これにより、コンテンツが、あたかも実際の建物の壁面に表示されているかのようにユーザに見せることが可能になる。
　図３３の説明に戻り、マスク処理部２５３は、樹木や電柱などの手前オブジェクトが情報重畳適切フレームを覆い隠している場合、マスク処理を行うことによって、手前オブジェクトの画像を風景画像から切り出す。
　マスク処理部２５３によるマスク処理は、情報重畳適切フレームに重なる手前オブジェクトがある場合に行われる。マスク処理部２５３は、マスク処理を行うことによって切り出した手前オブジェクトの画像を、部品画像として表示処理部２５４に出力する。
　表示処理部２５４は、投影ユニット１０６Ａを制御し、各コンテンツを、各コンテンツの重畳先として設定された情報重畳適切フレームに重畳させる。
　また、表示処理部２５４は、コンテンツに重ねて、マスク処理部２５３から供給された部品画像を表示させる。部品画像は、手前オブジェクトが実際に見える位置に重ねて表示される。表示処理部２５４によるコンテンツ等の表示は、車両の走行中、繰り返し行われる。
　図３５は、手前オブジェクトの表示の例を示す図である。
　図３５の左端に示すように、ある位置を走行しているタイミングにおいて、建物の手前にある樹木が、その建物の壁面に設定された情報重畳適切フレームを覆い隠しているものとする。図３５の左端において、破線で示す範囲が情報重畳適切フレームの範囲である。この場合、白抜き矢印＃３１の先に色を付して示す範囲が、手前オブジェクトと情報重畳適切フレームが重なる範囲となる。
　マスク処理部２５３は、手前オブジェクトの外形を検出し、矢印＃４１の先に示すようなマスク画像Ｍを生成する。また、マスク処理部２５３は、マスク画像Ｍを用いて風景画像にマスク処理を施すことによって、手前オブジェクトの部品画像Ｐを切り出す。
　白抜き矢印＃３２の先に示すように、表示処理部２５４は、情報重畳適切フレームにコンテンツを重畳させる。
　上述したように、コンテンツの表示は、フロントガラスＧ上にコンテンツを表示することによって行われるから、ユーザの見え方としては、白抜き矢印＃３２の先に示すように、手前オブジェクトに重ねてコンテンツが見えることになる。白抜き矢印＃３２の先に示す情報重畳適切フレーム全体に斜線を付していることは、手前オブジェクトに覆われることなく、コンテンツ全体が見えることを表す。
　表示処理部２５４は、部品画像Ｐを、手前オブジェクトの位置に重ねて表示させることによって、白抜き矢印＃３３の先に示すように、コンテンツが、手前オブジェクトの奥にある建物の壁面に表示されているかのような表示を実現する。
　仮に、部品画像Ｐを重ねて表示させないとした場合、白抜き矢印＃３２の先に示すように手前オブジェクトの手前にコンテンツが見えてしまうことになり、コンテンツが建物の壁面に表示されているようには見えない。部品画像Ｐをコンテンツに重ねて表示させることにより、実際の建物の壁面にコンテンツが表示されているかのような見え方を違和感なく実現することが可能になる。
＜＜１－３．車両制御システムの動作＞＞
　ここで、以上のような構成を有する車両制御システム１００の動作について説明する。
＜１－３－１．情報表示処理＞
　はじめに、図３６のフローチャートを参照して、全体の処理である情報表示処理について説明する。
　ステップＳ１において、自動運転制御部１１２は、データ取得部１０２を構成するカメラを制御し、車両の進行方向の風景の撮影を開始させる。撮影によって得られた風景画像は出力制御部１０５に供給される。
　ステップＳ２において、自動運転制御部１１２は、データ取得部１０２を構成するセンサを制御し、各種のセンサによる測定を開始させる。センサによる測定結果等に基づいて、車両の状態の予測などが行われる。車両の状況に関する情報は、進行状況予測情報として出力制御部１０５に供給される。
　ステップＳ３において、情報重畳適切視界設定部２０１は、第１段階の処理である情報重畳適切視界設定処理を行う。情報重畳適切視界設定処理により、コンテンツの重畳に適した情報重畳適切フレームが選択される。情報重畳適切視界設定処理の詳細については、図３７、図３８のフローチャートを参照して後述する。
　ステップＳ４において、重畳対象フレーム選択部２０２は、第２段階の処理である重畳対象フレーム選択処理を行う。重畳対象フレーム選択処理により、情報重畳適切視界に含まれる情報重畳適切フレームの中から、重畳先となる情報重畳適切フレームが設定される。重畳対象フレーム選択処理の詳細については、図３９のフローチャートを参照して後述する。
　ステップＳ５において、表示制御部２０３は、第３段階の処理である表示処理を行う。表示処理により、コンテンツの表示が実行される。表示処理の詳細については、図４０のフローチャートを参照して後述する。
　車両の走行中、ステップＳ３乃至Ｓ５の処理が繰り返し行われる。
＜１－３－２．情報重畳適切視界設定処理＞
　図３７、図３８のフローチャートを参照して、図３６のステップＳ３において行われる情報重畳適切視界設定処理について説明する。
　ステップＳ１１において、情報重畳適切視界設定部２０１の画像解析部２１１は、風景画像を解析する。例えば、風景画像に写っている建物のアウトラインが検出されるとともに、周囲の明るさが検出される。
　ステップＳ１２において、光状態モード設定部２１２は、周囲の明るさに基づいて、「昼モード」、「薄暮モード」、「夜モード」のうちのいずれかの光状態モードを設定する。
　ステップＳ１３において、オブジェクト検出部２１３は、各オブジェクトの位置を確定する。すなわち、オブジェクト検出部２１３は、アウトラインを検出した建物を地図上にプロットし、風景画像に写っている建物の位置を確定する。また、オブジェクト検出部２１３は、建物の他に、樹木などのオブジェクトの位置を確定する。オブジェクト検出部２１３は、位置を確定したオブジェクトの３次元モデルを生成する。
　ステップＳ１４において、フレーム設定部２１４は、オブジェクトの表面に情報重畳可能フレームを設定する。
　ステップＳ１５において、フレーム設定部２１４は、光状態モードに応じて、不適切な情報重畳可能フレームを除外する。ここでは、除外ルール１乃至４に基づいて、コンテンツを重畳させた場合に不自然な見え方になってしまう情報重畳可能フレームが上述したようにして除外される。除外されなかった情報重畳可能フレームの情報が適切視界設定部２１５に供給される。
　ステップＳ１６において、適切視界設定部２１５は、１つの情報重畳可能フレームに注目する。
　ステップＳ１７において、適切視界設定部２１５は、注目する情報重畳可能フレームのユーザ視界内角速度を算出する。
　ステップＳ１８において、適切視界設定部２１５は、算出したユーザ視界内角速度が基準範囲内にあるか否かを判定する。
　ユーザ視界内角速度が基準範囲内にあるとステップＳ１８において判定した場合、ステップＳ１９において、適切視界設定部２１５は、注目する情報重畳可能フレームの、車両進行方向に対する対面角度を算出する。
　ステップＳ２０において、適切視界設定部２１５は、算出した対面角度が最小基準値以上あるか否かを判定する。
　対面角度が最小基準値以上あるとステップＳ２０において判定した場合、ステップＳ２１において、適切視界設定部２１５は、注目する情報重畳可能フレームの露出面積比率を算出する。
　ステップＳ２２において、適切視界設定部２１５は、算出した露出面積比率が基準値以上あるか否かを判定する。
　露出面積比率が基準値以上あるとステップＳ２２において判定した場合、ステップＳ２３において、適切視界設定部２１５は、注目する情報重畳可能フレームの、ユーザの視界内の滞在時間を算出する。
　ステップＳ２４において、適切視界設定部２１５は、算出したユーザの視界内の滞在時間が基準値以上あるか否かを判定する。
　滞在時間が基準値以上あるとステップＳ２４において判定した場合、ステップＳ２５において、適切視界設定部２１５は、注目する情報重畳可能フレームを、情報重畳適切フレームとして設定する。
　一方、ステップＳ１８においてユーザ視界内角速度が基準範囲内にないと判定された場合、注目する情報重畳可能フレームについては、ステップＳ２６において、情報重畳が不適切なフレームとして設定される。ステップＳ２０において対面角度が最小基準値以上ないと判定された場合、ステップＳ２２において露出面積比率が基準値以上ないと判定された場合、または、ステップＳ２４においてユーザの視界内の滞在時間が基準値以上ないと判定された場合も同様である。
　ステップＳ２５またはステップＳ２６の処理の後、ステップＳ２７において、適切視界設定部２１５は、全ての情報重畳可能フレームに注目したか否かを判定する。
　まだ注目していない情報重畳可能フレームがあるとステップＳ２７において判定された場合、ステップＳ１６に戻り、他の情報重畳可能フレームに注目して、上述した処理が繰り返される。全ての情報重畳可能フレームに注目したとステップＳ２７において判定された場合、処理はステップＳ２８に進む。
　ステップＳ２８において、適切視界設定部２１５は、全ての情報重畳適切フレームを含む矩形の内側の領域を情報重畳適切視界として設定する。その後、図３６のステップＳ３に戻り、それ以降の処理が行われる。
＜１－３－３．重畳対象フレーム選択処理＞
　図３９のフローチャートを参照して、図３６のステップＳ４において行われる重畳対象フレーム選択処理について説明する。
　なお、図３６の処理と並行して、コンテンツの事前解析が事前解析部２３１により行われる。事前解析処理によって得られた表示位置判定要素は、事前解析部２３１から適合度算出部２３２に供給される。
　ステップＳ４１において、重畳対象フレーム選択部２０２の適合度算出部２３２は、表示予定の１つのコンテンツに注目する。
　ステップＳ４２において、適合度算出部２３２は、注目するコンテンツについて、情報重畳適切視界内にある全ての情報重畳適切フレームとの適合度を算出する。適合度の算出は、上述したように、例えば、表示位置判定要素に含まれる縦横サイズ比率と閲覧所要時間等を参照して行われる。
　ステップＳ４３において、適合度算出部２３２は、全てのコンテンツに注目したか否かを判定する。
　まだ注目していないコンテンツがあるとステップＳ４３において判定された場合、ステップＳ４１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。これにより、各コンテンツと、全ての情報重畳適切フレームのそれぞれとの適合度が算出される。
　全てのコンテンツに注目したとステップＳ４３において判定された場合、ステップＳ４４において、重畳先設定部２３３は、各コンテンツの重畳先となる情報重畳適切フレームを適合度に基づいて設定する。その後、図３６のステップＳ４に戻り、それ以降の処理が行われる。
＜１－３－４．表示処理＞
　図４０のフローチャートを参照して、図３６のステップＳ５において行われる表示処理について説明する。
　ステップＳ５１において、表示制御部２０３の適応コントラスト算出部２５１は、重畳先が設定された１つのコンテンツに注目する。
　ステップＳ５２において、適応コントラスト算出部２５１は、重畳先となる情報重畳適切フレームの存在箇所のコンテキストに基づいて適応コントラストを算出する。
　ステップＳ５３において、コントラスト調整部２５２は、注目するコンテンツのコントラストを、適応コントラストに基づいて調整する。
　ステップＳ５４において、マスク処理部２５３は、注目するコンテンツの重畳先となる情報重畳適切フレームに手前オブジェクトがある場合、マスク処理を行うことによって手前オブジェクトの画像を切り出す。
　ステップＳ５５において、表示処理部２５４は、情報重畳適切フレームにコンテンツを重畳させる。
　ステップＳ５６において、表示処理部２５４は、適宜、手前オブジェクトの画像をコンテンツに重ねて表示させる。
　ステップＳ５７において、表示制御部２０３は、全てのコンテンツに注目したか否かを判定する。
　まだ注目していないコンテンツがあるとステップＳ５７において判定された場合、ステップＳ５１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
　全てのコンテンツに注目したとステップＳ５７において判定された場合、図３６のステップＳ５に戻り、それ以降の処理が行われる。これにより、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに重畳された状態になる。
　以上の一連の処理により、風景内の最適な場所に、風景に溶け込んだ形でコンテンツを表示させることが可能になる。ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを見ることができる。
＜１－３－５．事前解析処理＞
　図４１のフローチャートを参照して、コンテンツの事前解析処理について説明する。事前解析処理は、図３６の処理と適宜並行して行われる。
　ステップＳ１０１において、重畳対象フレーム選択部２０２の事前解析部２３１は、コンテンツ取得部２０４から供給されたコンテンツのうち、表示予定の１つコンテンツに注目する。
　ステップＳ１０２において、事前解析部２３１は、ファイルの拡張子に基づいて、注目するコンテンツをコンテンツ種別に応じて分類する。
　注目するコンテンツのコンテンツ種別が「動画」である場合、ステップＳ１０３において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
　注目するコンテンツのコンテンツ種別が「静止画」である場合、ステップＳ１０４において、事前解析部２３１は、注目する静止画コンテンツを解析し、文字要素の有無を検出する。
　ステップＳ１０５において、事前解析部２３１は、文字要素が含まれているか否かを判定し、文字要素が含まれていないと判定した場合、ステップＳ１０６において、縦横サイズ比率を表示位置判定要素として設定する。
　一方、文字要素が含まれているとステップＳ１０５において判定した場合、ステップＳ１０７において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
　注目するコンテンツのコンテンツ種別が「文字」である場合、ステップＳ１０８において、事前解析部２３１は、縦横サイズ比率と閲覧所要時間を表示位置判定要素として設定する。
　ステップＳ１０３，Ｓ１０６，Ｓ１０７、またはステップＳ１０８において表示位置判定要素を設定した後、ステップＳ１０９において、事前解析部２３１は、全てのコンテンツに注目したか否かを判定する。
　まだ注目していないコンテンツがあるとステップＳ１０９において判定された場合、ステップＳ１０１に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
　全てのコンテンツに注目したとステップＳ１０９において判定された場合、事前解析処理は終了される。各コンテンツの表示位置判定要素に関する情報は、事前解析部２３１から適合度算出部２３２に供給され、適合度の算出に用いられる。
　なお、以上の各ステップの処理は、適宜、他の処理と並行して、または、他の処理と順番を代えて行われるようにしてもよい。
＜＜１－４．変形例＞＞
　ユーザが乗っている移動体が車であるものとしたが、自転車、バイク、電車、飛行機などの他の移動体であってもよい。オブジェクトとユーザとの間にコンテンツの表示面となるデバイスが用意されている移動体であれば、各種の移動体におけるコンテンツの表示に上述した技術を適用可能である。
　また、ユーザが透過型のHMDを装着し、徒歩で移動している場合のコンテンツの表示にも適用可能である。この場合、HMDにより、進行方向の風景に重ねてコンテンツが表示される。
　あるタイミングにおける風景に重畳されるコンテンツが複数である場合、それぞれ異なるコンテンツが重畳されるものとしたが、１種類のコンテンツが複数の情報重畳適切フレームに重畳されるようにしてもよい。
　情報重畳適切フレームの存在箇所のコンテキストに基づいてコンテンツに施される画像処理がコントラストの調整であるものとしたが、輝度の調整、色の調整などの他の処理が行われるようにしてもよい。
＜＜＜２．第２の実施の形態＞＞＞
＜＜２－１．第２の実施の形態の概要＞＞
　以上においては、データ取得部１０２を構成するカメラにより撮影される車両の進行方向の風景画像に基づいて、情報重畳適切フレームを設定し、設定した情報重畳適切フレームに対してコンテンツを重畳して表示する例について説明してきた。
　しかしながら、以上においては、カメラで撮影された風景画像が基準となっており、ユーザの視点が考慮されていないため、見え方が不自然になる可能性があった。
　すなわち、本来、ユーザの視線方向に存在するコンテンツは焦点が合った状態ではっきりと見えて、視線方向から外れたものは焦点が合っていない、ぼやけた状態で見えるはずである。しかしながら、以上の手法では、このような考慮がなされていないため、どのコンテンツも視線方向と無関係に全体がはっきりと見えるように表示されてしまい、不自然な見え方になる恐れがあった。
　そこで、車両に搭乗するユーザを撮影して、ユーザの視点位置を検出し、視点位置に応じて情報重畳適切フレームに重畳するコンテンツに、視点位置から遠い位置のコンテンツほど、ぼんやりと見えるようにデフォーカス処理を加えて表示するようにしてもよい。
　図４２は、車両に搭乗するユーザの視点位置ＥＰに応じて、情報重畳適切フレームに重畳するコンテンツにデフォーカス処理を加えて表示するようにした車両制御システム１００の第２の実施の形態の概要を説明する図である。
　すなわち、図４２の車両制御システム１００においては、車両の進行方向の風景画像を撮影するカメラ２７１および車内の搭乗者であるユーザ２７３を撮影するカメラ２７２が設けられている。
　そして、出力制御部１０５は、カメラ２７１により撮影された風景画像に基づいて、上述した一連の処理により情報重畳適切フレームに対してコンテンツを重畳させると共に、カメラ２７２により撮影された車内のユーザ２７３の投影ユニット１０６Ａ上の視点位置ＥＰからの距離に応じて、投影ユニット１０６Ａ上に表示されるコンテンツに対してデフォーカス処理を加える。
　ここで、デフォーカスとは、画像を表示するに当たって、ユーザにはぼんやりと見えるように、画像を焦点が合っていない状態に加工処理を加えることである。
　すなわち、本開示の第２の実施の形態においては、ユーザ２７３のユーザ視点位置からの距離に応じて、デフォーカス度（Deforcus_Range）が設定されて、デフォーカス度に応じた程度に焦点が合っていない状態に加工された状態でコンテンツが表示される。
　結果として、ユーザが視線を動かしても、視線の動きに合わせて、視点位置ＥＰに近い位置のコンテンツにおいてはデフォーカスの程度が小さく焦点のあった状態で表示され、視点位置ＥＰから離れた位置のコンテンツは、視点位置ＥＰからの距離の大きさ応じて、焦点が合っていない状態で表示されるので、ユーザの視線方向に応じた自然な視聴を実現することができる。
＜＜２－２．デフォーカス度の設定例＞＞
　次に、図４３を参照して、デフォーカス度の設定例について説明する。
　ユーザ２７３は、視線方向に存在する物体を視点位置として、視点位置に焦点を合わせて視聴しているので、視点位置から離れた位置に存在する物体には焦点が合っていない状態となっている。
　そこで、デフォーカス度は、コンテンツ上の位置と、ユーザ２７３の視点位置との距離の差分値である距離差分値に応じて設定される。
　例えば、図４３の右部に示されるように、建物２８１の側面に情報重畳適切フレーム２８１Ｆが設定されており、情報重畳適切フレーム２８１Ｆ上のユーザ２７３の視点位置からの距離に応じて、近い順に位置２８１Ａ，２８１Ｂ，２８１Ｃが設定されている場合について考える。
　ここで、図４３は、デフォーカス度の設定例を示しており、図中の右部においては、車両に搭乗するユーザ２７３の進行方向である前方の左右に建物２８１，２８２が存在する場合の風景の例が示されている。また、図４３の左部においては、図４３の右部の風景が見える場合の、ユーザ２７３と建物２８１，２８３とを上面からみたときの位置関係が示されている。
　図４３の左部で示されるように、ユーザ２７３が位置２８１Ｂへと視線を向けている場合について考える。以降において、ユーザ２７３が視線を向けている視点位置をユーザ視点位置と称する。したがって、図４３の左部に示されるように、点線の矢印がユーザ２７３の視線を示している場合、位置２８１Ｂが、ユーザ視点位置となる。
　このとき、情報重畳適切フレーム２８１Ｆ上の位置２８１Ｂがユーザ視点位置であるので、ユーザ２７３は、ユーザ視点位置である位置２８１Ｂに対して焦点を合わせて視聴していると考えることができる。
　逆に言えば、ユーザ２７３は、情報重畳適切フレーム２８１Ｆ上のユーザ視点位置ではない位置２８１Ａ，２８１Ｃにおいては、焦点が合っていない状態で視聴していると考えることができ、ユーザ視点位置から遠いほど焦点が合っていない状態であると考えることができる。
　そこで、図４３に示されるように、ユーザ視点位置である位置２８１Ｂにおいては、デフォーカス度（Deforcus_Range）が0%に設定される。また、ユーザ視点位置から離れた位置２８１Ａ，２８１Ｃにおいては、ユーザ視点位置から位置２８１Ａ，２８１Ｃのそれぞれまでの距離の値である距離差分値に応じて、デフォーカス度（Deforcus_Range）が0.1乃至0.5A%に設定される。
　すなわち、デフォーカス度は、ユーザ２７３のユーザ視点位置と、それぞれの位置との距離差分値が大きいほど大きな値に設定され、距離差分値が小さいほど小さく設定される。したがって、ユーザ視点位置である位置２８１Ｂにおいては距離差分値が０となるので、デフォーカス度も０に設定される。
　換言すれば、デフォーカス度は、ユーザ視点位置から近い位置ほど小さく設定され、遠い位置ほど大きな値に設定される。
　ここで、図４３のデフォーカス度の設定例における、Aは所定の係数であり、デフォーカス度と距離差分値に応じた重みとして任意に設定することができる。つまり、係数Aが小さい場合は、ユーザ視点位置からの位置との距離差分値が変化してもデフォーカス度は大きく変化せず、ユーザ視点位置の近傍の位置では、それほどぼんやりと見えるようにデフォーカス処理されない。これに対して、係数Aが大きい場合は、僅かな距離差分値の変化でもデフォーカス度が大きく変化するので、ユーザ視点位置の近傍の位置であっても、よりぼんやりと見えるようにデフォーカス処理される。
＜＜２－３．複数の情報重畳適切フレームが存在する場合のデフォーカス度の設定例＞＞
　以上においては、情報重畳適切フレームが１枚である場合のデフォーカス度の設定例について説明してきたが、デフォーカス度は、情報重畳適切フレームが複数に存在する場合においても同様に設定することができる。
　例えば、図４４に示されるように、投影ユニット１０６Ａ内において、複数の建物が存在し、複数の建物に情報重畳適切フレームが設定されるような場合について考える。
　図４４においては、車両の進行方向に、道路２９０が正面に存在し、道路２９０の左側に近い方から順に、建物２９１乃至２９３が配置され、道路２９０の右側に近い方から建物２９４，２９５が存在する風景が示されている。
　そして、図４４において、建物２９１のユーザが走行方向に対向する面には、情報重畳適切フレーム２９１Ａが設定されており、星印のコンテンツ２９１ａが重畳されて表示されている。ここで、ユーザ２７３のユーザ視点位置３０１が、コンテンツ２９１ａのほぼ中心であることを前提とする。このため、情報重畳適切フレーム２９１Ａのコンテンツ２９１ａに対しては、デフォーカス度（Deforcus_Range）が、0%に設定される。
　ここで、投影ユニット１０６Ａにより投影される情報重畳適切フレーム上の画像と、投影ユニット１０６Ａを通して進行方向前方に見える直視される建物２９１乃至２９５の、それぞれのユーザ視点位置３０１からの距離は、近い順に建物２９１，２９２，２９３，２９４，２９５の順序であるものとする。
　また、建物２９２における、ユーザの進行方向に対向する面には、情報重畳適切フレーム２９２Ａが設定されており、星印のコンテンツ２９２ａが重畳されて表示されている。建物２９２のユーザ視点位置３０１からの距離は、建物２９１よりも離れているので、情報重畳適切フレーム２９２Ａのコンテンツ２９２ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、1.0A乃至1.9A%に設定される。
　さらに、建物２９４における、道路２９０に対向する面には、情報重畳適切フレーム２９４Ａが設定されており、星印のコンテンツ２９４ａが重畳されて表示されている。建物２９４のユーザ視点位置３０１からの距離は、建物２９２よりも離れているので、情報重畳適切フレーム２９４Ａのコンテンツ２９４ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、コンテンツ２９２ａにおける値より大きな値である2.0A乃至2.9A%に設定される。
　また、建物２９５における、ユーザの進行方向に対向する面には、情報重畳適切フレーム２９５Ａが設定されており、星印のコンテンツ２９５ａが重畳されて表示されている。建物２９５のユーザ視点位置３０１からの距離は、建物２９４よりも遠いので、情報重畳適切フレーム２９５Ａのコンテンツ２９５ａに対しては、デフォーカス度（Deforcus_Range）が、例えば、コンテンツ２９４ａに対する値よりも大きな値である3.0A乃至3.9A%に設定される。
　すなわち、ユーザ視点位置３０１となるコンテンツ２９１ａのデフォーカス度が最小となる0%に設定される。
　また、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに最も近い距離となる情報重畳適切フレーム２９２Ａにおけるコンテンツ２９２ａのデフォーカス度が、例えば、1.0乃至1.9%に設定される。
　さらに、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに2番目に近い距離となる情報重畳適切フレーム２９４Ａにおけるコンテンツ２９４ａのデフォーカス度が、例えば、2.0乃至2.9%に設定される。
　また、ユーザ視点位置３０１となる情報重畳適切フレーム２９１Ａに3番目に近い距離となる情報重畳適切フレーム２９５Ａにおけるコンテンツ２９５ａのデフォーカス度が、例えば、3.0乃至3.9%に設定される。
　したがって、コンテンツ２９１ａは、焦点が合った状態で表示され、コンテンツ２９２ａは、デフォーカス度が1.0乃至1.9%に対応するように、焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９１ａよりも、ぼんやりと見えるように表示される。
　また、コンテンツ２９４ａは、デフォーカス度が2.0乃至2.9%に対応するように焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９２ａよりも、よりぼんやりと見えるように表示される。
　さらに、コンテンツ２９５ａは、デフォーカス度が3.0乃至3.9%に対応するように、焦点が合っていない状態で、ユーザ２７３には、コンテンツ２９４ａよりもぼんやりと見えるように表示される。
　すなわち、コンテンツ２９２ａ，２９４ａ，２９５ａの順序で焦点が合っていない程度が大きく、よりぼんやりとした状態で表示される。図４４においては、点線で表示される星印が、焦点の合っていない状態を表現している。尚、図４４においては、コンテンツ２９１ａは、実線でのみ星印として表示されており、焦点のずれがないことが示されている。また、コンテンツ２９２ａは、１本の実線と１本の点線で表示された星印として表示されており、コンテンツ２９１ａよりも焦点のずれが生じており、ぼんやりと見えていることが表現されている。
　さらに、コンテンツ２９４ａは、１本の実線と２本の点線で表示された星印として表示されており、コンテンツ２９２ａよりも焦点のずれが大きく生じており、よりぼんやりと見えていることが表現されている。
　さらに、コンテンツ２９５ａは、１本の実線と３本の点線で表示された星印として表示されており、コンテンツ２９４ａよりも焦点のずれが大きく生じており、さらにぼんやりと見えていることが表現されている。
　このような表示により、ユーザ視点位置３０１のコンテンツ２９１ａが、焦点が合っている状態で表示され、コンテンツ２９２ａ，２９４ａ，２９５ａは、ユーザ２７３のユーザ視点位置３０１とそれぞれの位置との距離差分値に応じて、焦点が合っていない、ぼんやりとした、ぼやけた状態で表示されることにより、視線に応じた自然な表示を実現することが可能となる。
＜＜２－４．表示制御部の第２の実施の形態の構成例＞＞
＜２－４－１．表示制御部の構成例＞
　次に、図４５を参照して、出力制御部１０５の第２の実施の形態の構成例について説明する。ただし、出力制御部１０５の第２の実施の形態の構成例において、第１の実施の形態の構成例と異なる点は、表示制御部２０３の構成であるので、表示制御部２０３の構成についてのみ説明する。
　また、図４５の表示制御部２０３においては、図３３の表示制御部２０３に対して、表示処理部２５４の処理が異なるので、表示処理部２５４の処理について説明する。
　図４５の表示制御部２０３は、車外を撮影するカメラ２７１により撮影された風景画像、記憶部１１１に記憶されている地図データ、または、図示せぬサーバから取得される地図データ、および情報重畳適切フレームの情報からメモリ空間上に擬似３Ｄモデルを構築し、その擬似３Ｄモデル内に、情報重畳適切フレームに対応するワイヤフレームを生成する。
　また、表示制御部２０３は、擬似３Ｄモデルの座標系の情報と、カメラ２７２により撮影された車内画像とから、擬似３Ｄモデル内のワイヤフレームに重畳される情報重畳適切フレーム上の各位置におけるデフォーカス度を求めて、デフォーカス度マップを生成する。
　そして、表示制御部２０３は、擬似３Ｄモデルにおけるワイヤフレーム上にコントラスト調整済みのコンテンツと部品画像とを重畳し、デフォーカス度マップより各位置のデフォーカス度を読み出して、対応するデフォーカス処理を施して、投影ユニット１０６Ａに出力して表示させる。
＜２－４－２．図４５の表示処理部の構成例＞
　次に、図４６を参照して、図４５の表示処理部２５４の詳細な構成例について説明する。
　図４５の表示処理部２５４は、擬似３Ｄモデルワイヤフレーム生成部３２１、コンテンツ重畳部３２２、デフォーカス処理部３２３、視点位置検出部３２４、デフォーカス度設定部３２５、およびデフォーカス度マップ記憶部３２６を備えている。
　擬似３Ｄモデルワイヤフレーム生成部３２１は、風景画像、地図データ、および情報重畳適切フレームの情報に基づいて、車両の進行方向の空間に対応する道路や建物などから、メモリ空間内に擬似３Ｄモデルを構築する。そして、擬似３Ｄモデルワイヤフレーム生成部３２１は、構築した擬似３Ｄモデル内に、情報重畳適切フレームが設けられる位置の情報に基づいて、対応するワイヤフレームを生成して、擬似３Ｄモデルワイヤフレーム情報として、コンテンツ重畳部３２２、視点位置検出部３２４、およびデフォーカス度設定部３２５に出力する。
　コンテンツ重畳部３２２は、コントラストが調整済みとされているコンテンツ、および部品画像を、擬似３Ｄモデルにおける情報重畳適切フレームに対応するワイヤフレーム上に重畳して、デフォーカス処理部３２３に出力する。
　デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６にアクセスし、コントラストが調整済みとされているコンテンツ、および部品画像が重畳された擬似３Ｄモデルにおける情報重畳適切フレームに対応するワイヤフレーム毎に、設定されているデフォーカス度群を読み出して、対応するデフォーカス度で画像に対してデフォーカス処理を施して出力する。
　視点位置検出部３２４は、カメラ２７２により撮影された車内画像よりユーザ視点位置を検索し、３Ｄモデルワイヤフレーム上の座標位置を求めて、デフォーカス度設定部３２５に出力する。より詳細には、視点位置検出部３２４は、カメラ２７２により撮影された車内画像よりユーザの顔画像を検出する。さらに、視点位置検出部３２４は、検出された顔画像から目の虹彩位置を特定し、虹彩の位置に基づいて、投影ユニット１０６Ａの投影面上の視点位置をユーザ視点位置として検出する。
　デフォーカス度設定部３２５は、擬似３Ｄモデルワイヤフレーム情報と、ユーザ視点位置の情報とに基づいて、擬似３Ｄモデル内の情報重畳適切フレームに対応するワイヤフレーム上の各位置にデフォーカス度を設定することで、ワイヤフレーム毎にデフォーカス度群を形成し、複数の情報重畳適切フレームについてのデフォーカス度マップとして、デフォーカス度マップ記憶部３２６に記憶させる。また、この際、デフォーカス度設定部３２５は、ワイヤフレーム以外の領域についても、デフォーカス度を設定する。すなわち、デフォーカス度設定部３２５は、擬似３Ｄモデル空間における全ての位置に対してデフォーカス度を設定し、デフォーカス度マップとしてデフォーカス度マップ記憶部３２６に記憶させる。
　デフォーカス度マップ記憶部３２６は、デフォーカス度マップを記憶し、デフォーカス処理部３２３が、コンテンツ重畳部３２２より供給される、コントラストが調整済みとされているコンテンツ、および部品画像が、擬似３Ｄモデル空間内における情報重畳適切フレームに対応するワイヤフレーム上に重畳されたコンテンツに対して、デフォーカス度に応じたデフォーカス処理を施して出力させる。
＜２－４－３．図４５の表示制御部による表示処理＞
　次に、図４７のフローチャートを参照して、図４５の表示制御部２０３による表示処理について説明する。
　ステップＳ２０１において、擬似３Ｄモデルワイヤフレーム生成部３２１は、風景画像、地図データ、および情報重畳適切フレームの情報に基づいて、道路や建物などの擬似３Ｄモデルをメモリ空間内に構築する。そして、擬似３Ｄモデルワイヤフレーム生成部３２１は、情報重畳適切フレームが設けられる位置の情報に基づいて、情報重畳適切フレームに対応するワイヤフレームを擬似３Ｄモデル内に設定し、擬似３Ｄモデルワイヤフレーム情報として、コンテンツ重畳部３２２、視点位置検出部３２４、およびデフォーカス度設定部３２５に出力する。
　ステップＳ２０２において、視点位置検出部３２４およびデフォーカス度設定部３２５は、デフォーカス度マップ生成処理を実行し、デフォーカス度マップを生成して、デフォーカス度マップ記憶部３２６に記憶させる。
＜２－４－４．図４５の表示制御部によるデフォーカス度マップ生成処理＞
　ここで、図４８のフローチャートを参照して、図４５の表示制御部２０３によるデフォーカス度マップ生成処理について説明する。
　ステップＳ２２１において、視点位置検出部３２４は、カメラ２７２により撮影された車内画像を取得し、搭乗者であるユーザの顔画像を検出し、さらに、虹彩位置を検出して、虹彩位置から視線方向を推定し、投影ユニット１０６Ａの表示面上のユーザ視線位置を特定する。
　ステップＳ２２２において、視点位置検出部３２４は、投影ユニット１０６Ａ上のユーザ視点位置に対する擬似３Ｄモデルにおける座標位置を特定し、ユーザ視点位置の座標位置をデフォーカス度設定部３２５に出力する。
　ステップＳ２２３において、デフォーカス度設定部３２５は、擬似３Ｄモデルにおける各点について、ユーザ視点位置からの距離差分値に応じたデフォーカス度を設定して、デフォーカス度マップを生成し、デフォーカス度マップ記憶部３２６に記憶させる。
　以上の処理により、３Ｄモデルの各点におけるデフォーカス度が設定され、デフォーカス度マップとしてデフォーカス度マップ記憶部３２６に記憶させる。この際、デフォーカス度マップにおいては、３Ｄモデルにおけるワイヤフレームにおいては、連続的なデフォーカス度が設定され、ワイヤフレーム単位でデフォーカス度群が形成された状態で、デフォーカス度マップに格納されることになる。
　ここで、図４７のフローチャートの説明に戻る。
　ステップＳ２０２において、デフォーカス度マップ生成処理により、デフォーカス度マップが生成されると、ステップＳ２０３において、表示制御部２０３の適応コントラスト算出部２５１は、重畳先が設定された１つのコンテンツに注目する。
　ステップＳ２０４において、適応コントラスト算出部２５１は、重畳先となる情報重畳適切フレームの存在箇所のコンテキストに基づいて適応コントラストを算出する。
　ステップＳ２０５において、コントラスト調整部２５２は、注目するコンテンツのコントラストを、適応コントラストに基づいて調整する。
　ステップＳ２０６において、マスク処理部２５３は、注目するコンテンツの重畳先となる情報重畳適切フレームに手前オブジェクトがある場合、マスク処理を行うことによって手前オブジェクトの画像を切り出す。
　ステップＳ２０７において、表示処理部２５４のコンテンツ重畳部３２２は、情報重畳適切フレームに対応する擬似３Ｄモデル空間におけるワイヤフレームに、コントラストが調整されたコンテンツを重畳させる。
　ステップＳ２０８において、コンテンツ重畳部３２２は、適宜、手前オブジェクトの画像をコンテンツに重ねて表示させて、デフォーカス処理部３２３に出力する。
　ステップＳ２０９において、デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６にアクセスし、デフォーカス度マップから、注目するコンテンツが重畳されるフレームに対応するデフォーカス度群を読み出し、フレーム上の各点におけるデフォーカス度に応じて、コンテンツが重畳された情報重畳適切フレームに対応する擬似３Ｄモデルのワイヤフレーム上の各点に対してデフォーカス処理を施して出力する。
　ステップＳ２１０において、表示制御部２０３は、全てのコンテンツに注目したか否かを判定する。
　まだ注目していないコンテンツがあるとステップＳ２１０において判定された場合、ステップＳ２０３に戻り、他のコンテンツに注目して、上述した処理が繰り返される。
　全てのコンテンツに注目したとステップＳ２１０において判定された場合、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに対応する擬似３Ｄモデルのワイヤフレーム上に重畳された状態になり、デフォーカス処理がなされると、処理は、ステップＳ２１１に進む。
　ステップＳ２１１において、デフォーカス処理部３２３は、全てのコンテンツが、重畳先として設定された情報重畳適切フレームに重畳された状態で、ユーザ視点位置からの距離に応じてデフォーカス処理された画像を出力して投影ユニット１０６Ａに出力して表示させ、図３６のステップＳ５に戻り、それ以降の処理が行われる。
　以上の一連の処理により、透過型ディスプレイからなる投影ユニット１０６Ａ上に、風景に馴染むように、情報重畳適切フレームにコンテンツが重畳されて表示される。この際、ユーザ視点位置に近い位置の情報重畳適切フレームのコンテンツほど焦点のあっていない程度が小さい画像（フォーカスがより合ったシャープでクリアな状態の画像）として表示され、ユーザ視点位置から遠い位置の情報重畳適切フレームのコンテンツほど焦点の合わない画像（フォーカスがより合っていないぼんやりとした状態の画像）として表示される。
　結果として、風景内の最適な場所に、より風景に溶け込んだ形でコンテンツを表示させることが可能となり、ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
　尚、以上においては、デフォーカス度マップ生成処理において、風景画像の全体に対応する３Ｄモデル内の各点のデフォーカス度が求められて、デフォーカス度マップが生成される例について説明してきたが、実際にデフォーカス処理がなされるのは、コンテンツが重畳される情報重畳適切フレームの領域のみであるので、デフォーカス度マップについても、情報重畳適切フレームの領域に対応する擬似３Ｄモデル内におけるワイヤフレームの領域のデフォーカス度群だけを求めて、デフォーカス度マップを形成するようにしてもよい。
＜＜２－５．変形例＞＞
＜２－５－１．投影ユニットが非透過型ディスプレイである場合の表示処理部の構成例＞
　以上においては、図４２における投影ユニット１０６Ａが透過型ディスプレイから構成される場合の例として説明を進めてきたが、投影ユニット１０６Ａは、非透過型ディスプレイから構成されるようにしてもよい。
　すなわち、以上においては、投影ユニット１０６Ａは透過型ディスプレイであるので、上述した情報重畳適切フレームとみなされた領域にコンテンツが重畳されるため、情報重畳適切フレームとみなされたコンテンツが重畳されている領域にのみデフォーカス処理を施して投影される。このため、ユーザは、情報重畳適切フレームとみなされた領域については、投影された画像を視聴し、情報重畳適切フレームとみなされた領域以外の領域については、前方に実在する物体を直視により視聴することで、風景に自然に溶け込むように表示されたコンテンツを視聴していた。
　しかしながら、非透過型ディスプレイの場合、ディスプレイ全体において、例えば、カメラ２７１により撮影された風景画像が表示され、表示される風景画像における情報重畳適切フレームの領域にコンテンツが重畳されて表示される。すなわち、非透過型ディスプレイで表示する場合については、ユーザは、ディスプレイ全体に表示された画像の一部にコンテンツが表示されている状態の画像を視聴することになる。このため、非透過型ディスプレイの場合については、ディスプレイの表示領域全体についてユーザ視点位置に応じたデフォーカス処理が必要となる。
　ここで、図４９を参照して、投影ユニットが非透過型ディスプレイである場合の表示処理部の構成例について説明する。
　図４９の表示処理部２５４において、図４６の表示処理部２５４と異なる構成は、デフォーカス処理部３２３において、風景画像の情報が供給されて、情報重畳適切フレームの情報が重畳された状態でデフォーカス処理がなされる点である。
　すなわち、投影ユニット１０６Ａが非透過型ディスプレイである場合、デフォーカス処理部３２３は、カメラ２７１により撮影された風景画像に、コンテンツが重畳された情報重畳適切フレームを重畳した状態で、風景画像全体にデフォーカス処理を施す。
　この際、デフォーカス処理部３２３は、デフォーカス度マップ記憶部３２６に記憶されている風景画像の全体に設定されたデフォーカス度の情報を全て利用して、コンテンツが重畳された情報重畳適切フレームを重畳した状態で、風景画像全体にデフォーカス処理を施す。
＜２－５－２．投影部が非透過型ディスプレイである場合の表示処理＞
　次に、図５０のフローチャートを参照して、投影ユニット１０６Ａが非透過型ディスプレイである場合の表示処理について説明する。尚、図４９のステップＳ２４１乃至Ｓ２４９の処理は、図４７のステップＳ２０１乃至Ｓ２０８，Ｓ２１０の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ２４１乃至Ｓ２４９の処理により、擬似３Ｄモデルにおける全ての、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳されると、処理は、ステップＳ２５０に進む。
　ステップＳ２５０において、デフォーカス処理部３２３は、擬似３Ｄモデルにおける全ての、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳された状態で、カメラ２７１により撮影された風景画像に貼り合わせて重畳する。
　ステップＳ２５１において、デフォーカス処理部３２３は、風景画像全体に対してデフォーカス度に応じてデフォーカス処理を施す。すなわち、ここでは、情報重畳適切フレームに対応するワイヤフレーム上にコンテンツが重畳された領域のみならず、擬似３Ｄモデルにおける風景画像全体の各位置に対して、ユーザ視聴位置からの距離差分値に応じたデフォーカス度でデフォーカス処理が施される。
　ステップＳ２５２において、デフォーカス処理部３２３は、デフォーカス処理された風景画像を、非透過型ディスプレイからなる投影ユニット１０６Ａに出力して、表示させ、図３６のステップＳ５に戻り、それ以降の処理が行われる。
　すなわち、図５１の表示例は、図４４を参照して説明した透過型ティスプレイを前提とした投影ユニット１０６Ａに表示される風景が、非透過型ディスプレイからなる１０６Ａで表示される例を示している。
　すなわち、図４４においては、透過型ディスプレイからなる投影ユニット１０６Ａにより表示される例であるので、ユーザ視点位置３０１からの距離に応じて、情報重畳適切フレーム２９２Ａ，２９４Ａ，２９５Ａ内のそれぞれの星印のコンテンツ２９２ａ，２９４ａ，２９５ａに対してのみデフォーカス処理が施されている。
　これに対して、図５１においては、非透過型ディスプレイからなる投影ユニット１０６Ａにより表示される例であるので、ユーザ視点位置３０１からの距離に応じて、建物２９２乃至２９５に対応する建物２９２’乃至２９５’を含めた風景画像全体についてデフォーカス処理が施されている。従って、情報重畳適切フレーム２９２Ａ，２９４Ａ，２９５Ａのそれぞれについても、星印のコンテンツ２９２ａ，２９４ａ，２９５ａと同様にデフォーカス処理が施されている。その他の構成についても、デフォーカス処理が施されている。尚、星印のコンテンツ２９２ａ，２９４ａ，２９５ａにおけるデフォーカス処理は、投影ユニット１０６Ａが透過型ディスプレイであっても、非透過型ディスプレイであっても同様のデフォーカス処理が施されている。
　結果として、風景内の最適な場所に、より風景に溶け込んだ形でコンテンツを表示させることが可能となり、ユーザは、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜＜３．第３の実施の形態＞＞＞
＜＜３－１．第３の実施の形態の概要＞＞
　以上においては、搭乗者であるユーザが１人である場合にユーザ視点位置からの距離差分値に応じて情報重畳適切フレーム上のコンテンツにデフォーカス処理を施す例について説明してきたが、搭乗者であるユーザが複数人数である場合に、それぞれのユーザ視聴位置に応じたデフォーカス処理を施して、ユーザそれぞれに最適なデフォーカス処理された画像を視聴できるようにしてもよい。
　図５２は、車両に搭乗する複数のユーザのそれぞれの視点位置（視線方向）に応じて、情報重畳適切フレームに重畳するコンテンツにデフォーカスを加えて、それぞれのユーザに対して適切に視聴できるように表示する車両制御システム１００の第３の実施の形態の概要を説明する図である。尚、図５２において、図４２における構成と、同一の機能を備えた構成については、適宜説明を省略する。
　すなわち、図５１において、図４２と異なる点は、搭乗者であるユーザがユーザ２７３－１乃至２７３－３の３人であり、対応してカメラ２７２がカメラ２７２－１乃至２７２－３の３台であり、投影ユニット１０６Ａに代えて、表示部３５１が設けられている点である。
　カメラ２７２－１乃至２７２－３は、搭乗者であるユーザ２７３－１乃至２７３－３のそれぞれを撮影するように車内を撮影し、撮影した車内画像を出力制御部１０５に供給する。この場合、出力制御部１０５は、搭乗者が１人であるときと同様に、カメラ２７２－１により撮影された画像からユーザ２７３－１のユーザ視点位置ＥＰ１を特定し、カメラ２７２－２により撮影された画像からユーザ２７３－２のユーザ視点位置ＥＰ２を特定し、カメラ２７２－３により撮影された画像からユーザ２７３－３のユーザ視点位置ＥＰ３を特定する。尚、カメラ２７２は、１台のみの構成とし、車内全体を撮影できるようにすることで、１枚の画像から複数のユーザを検出し、それぞれのユーザ視点位置ＥＰ１乃至ＥＰ３を検出するようにしてもよい。
　また、出力制御部１０５は、ユーザ２７３－１乃至２７３－３のそれぞれのユーザ視点位置ＥＰ１乃至ＥＰ３の情報に基づいて、ユーザ２７３－１乃至２７３－３のそれぞれが視聴に際して自然に、情報重畳適切フレーム上にコンテンツが重畳された状態で視聴可能な風景画像をそれぞれに生成し、それらを時系列に１本の画像に統合する。
　そして、出力制御部１０５は、時系列に一本に統合された風景画像を時系列に変化させながら表示部３５１に出力する。
　表示部３５１は、上述した投影ユニット１０６Ａに加えて、液晶偏光シャッタ３６１が設けられており、出力制御部１０５は、時系列に１本の風景画像にされた画像を表示する際、ユーザ２７３－１乃至２７３－３のそれぞれのユーザが視聴すべき画像が表示されるタイミングに合わせて、液晶偏光シャッタ３６１により透過する光の偏光方向を切り替えるようにする。これにより、ユーザ２７３－１乃至２７３－３のそれぞれが、それぞれに適切な画像のみを視聴できる状態の風景画像が表示される。
　ここで、図５３を参照して、表示部３５１の構成について説明する。図５３は、表示部３５１を構成する投影ユニット１０６Ａが、例えば、透過型ディスプレイから構成される場合の構成であって、表示部３５１の表示面に対して垂直上方からみるときの上面図となる。
　図５３の場合、図中下部のユーザ２７３－１乃至２７３－３は、進行方向前方となる図中上部の風景を、投影ユニット１０６Ａ越しに見ることになるので、投影ユニット１０６Ａ上の、情報重畳適切フレーム上にコンテンツが重畳された状態で、進行方向前方を視聴することで、自然に風景に溶け込むようにコンテンツを視聴することができる。
　ところで、複数の人数のそれぞれに生成された情報重畳適切フレーム上に、それぞれに適したコンテンツが重畳された画像が、時系列に１本に統合されると、図５３の上部で示されるように表示される。すなわち、例えば、時刻ｔ１において、Video_01で示されるユーザ２７３－１用の画像が表示され、時刻ｔ２において、Video_02で示されるユーザ２７３－２用の画像が表示され、時刻ｔ３において、Video_03で示されるユーザ２７３－３用の画像が表示されるといった表示が繰り返されることになる。
　このため、液晶偏光シャッタ３６１が設けられていない状態で、時系列に統合された１本の画像が表示されると、ユーザ２７３－１乃至２７３－３は、それぞれ視聴に適していない画像を3回に2回ずつ視聴することになる。
　そこで、出力制御部１０５は、液晶偏光シャッタ３６１を投影ユニット１０６Ａの前段に設け、統合した画像を表示するタイミングに合わせて制御して、偏光方向を切り替える。
　すなわち、出力制御部１０５は、時刻ｔ１のタイミングにおいて、ユーザ２７３－１用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を点線で示されるように制御して、点線の矢印で示されるように、ユーザ２７３－１のみが視聴できる方向に偏光させる。
　また、出力制御部１０５は、時刻ｔ２のタイミングにおいて、ユーザ２７３－２用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を実線で示されるように制御して、実線の矢印で示されるように、ユーザ２７３－２のみが視聴できる方向に偏光させる。
　さらに、出力制御部１０５は、時刻ｔ３のタイミングにおいて、ユーザ２７３－３用の画像を投影ユニット１０６Ａで表示させて、液晶偏光シャッタ３６１を一点鎖線で示されるように制御して、１点鎖線の矢印で示されるように、ユーザ２７３－３のみが視聴できる方向に偏光させる。
　以降、出力制御部１０５は、同様の制御を繰り返すことにより、ユーザ２７３－１乃至２７３－３のそれぞれに対して、それぞれの視聴に適した画像のみを視聴できるように表示部３５１を制御する。尚、図５３における液晶偏光シャッタ３６１内の点線、実線、および一点鎖線は、液晶偏光シャッタ３６１の制御状態を表現したものであり、それぞれ異なるシャッタ等が存在するわけではない。
　以上のような構成により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜３－２．車両制御システムの構成例＞＞
＜３－２－１．車両制御システムの全体構成＞
　図５４は、第３の実施の形態における車両制御システム１００の構成例を示すブロック図である。尚、図５４の車両制御システム１００において、図８の車両制御システム１００と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図５４の車両制御システム１００において、図８の車両制御システム１００と異なる点は、投影ユニット１０６Ａに代えて、表示部３５１が設けられている点である。
　表示部３５１は、図５３を参照して説明したように、投影ユニット１０６Ａおよび液晶偏光シャッタ３６１を備えている。
　液晶偏光シャッタ３６１は、複数のユーザ２７３のそれぞれに適した状態で情報重畳適切フレーム上にコンテンツが重畳されている画像が、時系列に１本の画像として表示されるとき、画像が表示されるタイミングに応じて、視聴に適したユーザ２７３のみが視聴可能となるように偏光方向を切り替える。
　尚、投影ユニット１０６Ａは、透過型ディスプレイでもよいし、非透過型ディスプレイでもよいが、第２の実施の形態において上述したように、それぞれに適した構成と処理が必要となる。すなわち、投影ユニット１０６Ａが透過型ディスプレイである場合には、図４６で示されるような表示処理部２５４の構成で、図４７のフローチャートで示されるような表示処理がなされる必要がある。また、投影ユニット１０６Ａが非透過型ディスプレイである場合には、図４９で示されるような表示処理部２５４の構成で、図５０のフローチャートで示されるような表示処理がなされる必要がある。
＜３－２－２．表示処理部の構成＞
　次に、図５５を参照して、図５４の車両制御システム１００の出力制御部１０５における表示処理部２５４の構成について説明する。尚、図５４の表示処理部２５４において、図４６の表示処理部２５４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図５５の表示処理部２５４において、図４６の表示処理部２５４と異なる点は、新たに、バッファ３７１、合成部３７２、タイミング制御部３７３、シャッタ制御部３７４、および視点位置検出部３２４において、ユーザの人数を検出する人数検出部３２４ａを新たに備えている点である。
　バッファ３７１は、擬似３Ｄモデルワイヤフレーム生成部３２１乃至デフォーカス度マップ記憶部３２６の構成により、複数のユーザ２７３のそれぞれの視聴に対応して生成される、情報重畳適切フレームにコンテンツが重畳され、ユーザ視聴位置に応じたデフォーカス処理がなされた画像をバッファリングする。
　合成部３７２は、バッファ３７１にバッファリングされた複数のユーザのそれぞれの視聴に適した、情報重畳適切フレームにコンテンツが重畳され、ユーザ視聴位置に応じたデフォーカス処理がなされた画像を時系列に統合して合成しタイミング制御部３７３に出力する。尚、合成部３７２は、どのタイミングで表示される画像が、どのユーザ２７３の視聴に適した画像であるかを識別する情報を含めて、時系列に１本の画像に統合して合成する。
　タイミング制御部３７３は、時系列に統合された画像が順次供給されてくるとき、いずれのユーザ２７３の視聴に適した画像であるかを認識して、その画像を順次投影ユニット１０６Ａにより表示させると共に、シャッタ制御部３７４を制御して、液晶偏光シャッタ３６１の偏光方向を対応するユーザ２７３に対向する方向に制御させる。
　人数検出部３２４ａは、車内画像より、例えば、顔検出等で検出される顔画像の数等に基づいて、ユーザが何人存在するのかを検出し、デフォーカス処理部３２３に通知する。このため、デフォーカス処理部３２３は、供給されたユーザの人数に応じて、画像に対するデフォーカス処理を施す。
　尚、図５５においては、投影ユニット１０６Ａが透過型ディスプレイである場合の構成れが示されているが、非透過型ディスプレイである場合は、図４９の表示処理部２５４のようにデフォーカス処理部３２３に対して、風景画像が入力される。そして、デフォーカス処理部３２３が、情報重畳適切フレームにコンテンツが重畳された画像を、風景画像に貼りつけた後に、風景画像全体にデフォーカス処理を施す。ここでは、非透過型ディスプレイに対応する表示処理部２５４の構成図は省略する。
＜＜３－３．図５５の表示処理部による表示処理＞＞
　次に、図５６のフローチャートを参照して、図５５の表示処理部２５４による表示処理について説明する。
　ステップＳ２９１において、デフォーカス処理部３２３は、ユーザを識別する識別子のカウンタｍを１に初期化する。
　ステップＳ２９２において、人数検出部３２４ａは、カメラ２７２－１乃至２７２－３により撮影された画像から搭乗者であるユーザの人数Ｍを検出して、それぞれのユーザに対して識別子ｍを設定し、検出結果をデフォーカス処理部３２３に供給する。
　ステップＳ２９３において、ユーザ２７３のうち識別子ｍで識別されるユーザの表示処理が実行される。
　ここで、ユーザｍの表示処理とは、例えば、投影ユニット１０６Ａが透過型ディスプレイである場合、ユーザ２７３－ｍの視聴に対応する図４７におけるステップＳ２０１乃至２１０までの処理であり、投影ユニット１０６Ａが非透過型ディスプレイであれば、ユーザｍの視聴に対応する図５０におけるステップＳ２４１乃至２５１までの処理である。すなわち、この処理においては、ユーザ２７３－ｍの視聴に対応する情報重畳適切フレームにコンテンツが重畳された状態で、ユーザ２７３－ｍのユーザ視点位置に応じたデフォーカス処理がなされた画像が生成される。
　ステップＳ２９４において、デフォーカス処理部３２３は、ユーザｍの表示処理により生成された画像を識別子ｍと対応付けてバッファ３７１にバッファリングさせる。
　ステップＳ２９５において、デフォーカス処理部３２３は、カウンタｍが人数Ｍと一致するか否か、すなわち、全ユーザ分の画像が生成されたか否かを判定する。
　ステップＳ２９５において、カウンタｍがＭと一致しない場合、すなわち、全ユーザ分の画像が生成されていない場合、処理は、ステップＳ２９６に進む。
　ステップＳ２９６において、デフォーカス処理部３２３は、カウンタｍを１インクリメントして、処理は、ステップＳ２９３に戻る。
　すなわち、全ユーザ分の表示処理がなされて、画像が生成され、バッファ３７１にバッファリングされるまで、ステップＳ２９３乃至Ｓ２９６の処理が繰り返される。
　そして、ステップＳ２９５において、全ユーザ分の画像が生成されて、カウンタｍがＭと一致した場合、すなわち、全ユーザ分の表示処理がなされたとみなされた場合、処理は、ステップＳ２９７に進む。
　ステップＳ２９７において、合成部３７２は、バッファ３７１にバッファリングされている全ユーザ分の情報重畳適切フレーム上にコンテンツが重畳されて、ユーザ視聴位置に応じたデフォーカス度に応じたデフォーカス処理がなされた画像を、時系列に１本の画像に統合する。
　ステップＳ２９８において、タイミング制御部３７３は、統合された画像を順次投影ユニット１０６Ａに供給して表示させると共に、対応するタイミングにおいて、シャッタ制御部３７４を制御して、表示する画像の対象となるユーザ２７３により視聴できる方向に偏光させるように液晶偏光シャッタ３６１を制御させる。
　以上の処理により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜＜３－４．変形例＞＞
　以上においては、投影ユニット１０６Ａに投影された画像を液晶偏光シャッタ３６１により偏光方向を切り替えるようにすることで、複数のユーザによる視聴を実現してきたが、液晶偏光シャッタ３６１に代えて、複数のユーザのそれぞれの視聴に適した画像をフレーム内において、ピクセルオーダで列分割して１枚の画像として合成し、レンチキュラレンズを介して表示することにより複数のユーザのそれぞれが視聴できるようにしてもよい。
　図５７は、変形例における表示部３５１の構成例を示す図である。尚、図５３における表示部３５１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図５７の表示部３５１において、図５３の表示部３５１と異なる点は、液晶偏光シャッタ３６１に代えて、レンチキュラレンズ３８１が設けられている点である。
　さらに、図５７の右上部で示されるように、投影ユニット１０６Ａにおいては、ユーザ２７３－１用の画像Video_01、ユーザ２７３－２用の画像Video_02、およびユーザ２７３－３用の画像Video_03が、それぞれピクセルオーダで形成される列単位で分割された領域Ｃ１，Ｃ２，Ｃ３のそれぞれに分割された状態で繰り返し配置されることにより、1枚の画像として合成された画像が表示される。
　レンチキュラレンズ３８１は、このように投影ユニット１０６Ａに表示される画像のうち、画像Video_01をユーザ２７３－１において視聴できる方向に選択的に透過させ、画像Video_02をユーザ２７３－２において視聴できる方向に選択的に透過させ、画像Video_03をユーザ２７３－３において視聴できる方向に選択的に透過させる。
　以上のような構成により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
＜３－４－１．表示処理部の構成＞
　次に、図５８を参照して、図５２の車両制御システム１００における出力制御部１０５における表示処理部２５４の構成について説明する。尚、図５７の表示処理部２５４において、図５５の表示処理部２５４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　すなわち、図５８の表示処理部２５４において、図５５の表示処理部２５４と異なる点は、合成部３７２、タイミング制御部３７３、およびシャッタ制御部３７４に代えて、合成部３９１が設けられている点である。
　合成部３９１は、バッファ３７１にバッファリングされた複数のユーザのそれぞれの視聴に適した画像をピクセルオーダの列単位で領域分割して合成して１枚の画像に統合して、表示部３５１の投影ユニット１０６Ａに出力する。
　投影ユニット１０６Ａは、ピクセルオーダの列単位で領域分割されて複数のユーザのそれぞれの視聴に適した画像が１枚に統合された画像を投影することで、レンチキュラレンズ３８１を介して、それぞれのユーザ２７３において適切に視聴可能な状態で画像を投影する。
　尚、投影ユニット１０６Ａは、透過型ディスプレイでもよいし、非透過型ディスプレイでもよいが、第２の実施の形態において上述したように、それぞれに適した構成と処理が必要となる。すなわち、投影ユニット１０６Ａが透過型ディスプレイである場合には、図４６で示されるような表示処理部２５４の構成で、図４７のフローチャートで示されるような表示処理がなされる必要がある。また、投影ユニット１０６Ａが非透過型ディスプレイである場合には、図４９で示されるような表示処理部２５４の構成で、図５０のフローチャートで示されるような表示処理がなされる必要がある。
＜３－４－２．図５７の表示処理部による表示処理＞
　次に、図５９のフローチャートを参照して、図５８の表示処理部２５４による表示処理について説明する。
　図５９のフローチャートにおけるステップＳ３１１乃至Ｓ３１６の処理は、図５６のフローチャートにおけるステップＳ２９１乃至Ｓ２９６の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ３１１乃至Ｓ３１６の処理により、全ユーザ分の表示処理がなされて、全ユーザ分の情報重畳適切フレームにコンテンツが重畳されて、それぞれのユーザ視点位置からの距離に応じてデフォーカス処理が施された画像が生成され、バッファ３７１にバッファリングされると、処理は、ステップＳ３１７に進む。
　ステップＳ３１７において、合成部３９１は、バッファ３７１にバッファリングされている全ユーザ分の情報重畳適切フレーム上にコンテンツが重畳されて、ユーザ視聴位置からの距離に応じたデフォーカス度でデフォーカス処理がなされた画像を、所定のピクセルオーダの列単位で領域分割し、図５７を参照して説明したように１枚の画像に統合して合成する。
　ステップＳ３１８において、合成部３９１は、投影ユニット１０６Ａに、複数のユーザ分のデフォーカス処理された画像が１枚に統合された画像を投影させ、レンチキュラレンズ３８１を介して選択的に偏光して投影させることにより、複数のユーザのそれぞれに適した画像を視聴させる。
　以上の処理により、複数のユーザが搭乗していても、ユーザのそれぞれに適した状態で、風景画像内の最適な場所に、より溶け込んだ形でコンテンツを表示させることが可能となり、各ユーザは、それぞれの位置で、通常の風景を見るのと同様の感覚で、コンテンツを視聴することが可能となる。
　尚、以降において、第２の実施の形態のように、ユーザが１人である場合の処理をシングルモード処理と称し、第３の実施の形態のように、ユーザが複数である場合の処理をマルチモード処理と称する。
　上述したように、車内画像を撮影するカメラ２７２は、１台であってもマルチモードを実現することができるため、１台のカメラ２７２を用いた状態で、シングルモード処理とマルチモード処理とを切り替えて使用できるようにしてもよい。
　また、以上においては、進行方向の風景に自然な状態で溶け込むように表示することを主眼とした処理について説明してきたが、特定の物体に対する視聴を促すための演出に使用するようにしてもよい。
　すなわち、複数のユーザが存在している状態で、マルチモード処理が実行されている状態であっても、特定のユーザの視点位置に合わせて、全員が同一の画像を視聴できるように制御してもよい。
　例えば、観光バスなどのバスガイドが、特定の旧所や名跡を案内するような場面で、特定のユーザとしてのバスガイドのユーザ視点位置に合わせて、情報重畳適切フレーム上に重畳されたコンテンツをデフォーカス処理した画像を、特定のユーザ以外のユーザであるバスの乗客全員で視聴できるようにしてもよい。
　このようにすることで、バスガイドが今案内している旧所や名跡へと自然に視線が向かうような演出が可能となり、バスガイドの案内を理解し易くすることが可能となる。
　また、舞台演出などにおいて、舞台演出家が特に見て欲しいものに視線を送ると、そのユーザ視点位置となる、特に視聴してもらいたいものについては、シャープに視聴できるようにデフォーカスし、その他のものについては、より大きくデフォーカスしてぼんやると見えるようにして、舞台の観衆全員が視聴できるよにすることで、舞台演出などに使用することもできる。
　すなわち、この場合、視聴させたいものに対しては、デフォーカス度は、小さく設定されることで、より焦点があったシャープな画像として認識することができ、逆に、視聴させたくないものについてはデフォーカス度が大きく設定されて、よりぼんやりと視聴させるようにすることができる。結果として、舞台演出の効果を高めることが可能となる。
　尚、以上においては、複数のユーザが３人である場合について説明してきたが、それ以外の人数であってもよい。
＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
　図６０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。図８，図５４に示す自動運転制御部１１２を含む各部の機能が、図６０に示すコンピュータにより所定のプログラムが実行されることによって実現される。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブル記録媒体１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブル記録媒体１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定する設定部と、
　設定された前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と
　を備える情報処理装置。
（２）
　前記ユーザが乗る移動体の走行経路と走行速度を含む前記移動状況を予測する予測部をさらに備える
　前記（１）に記載の情報処理装置。
（３）
　進行方向の風景を撮影することによって得られた画像を解析し、前記オブジェクトを検出する検出部をさらに備える
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記設定部は、移動経路上の第１の位置と所定時間経過後の第２の位置のそれぞれの位置における、前記オブジェクトの表面に向かう角度に基づいて前記フレームを設定する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記設定部は、前記オブジェクトの表面の、進行方向に対する対面角度に基づいて前記フレームを設定する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記設定部は、前記オブジェクトの表面が、手前にある他のオブジェクトによって遮られる場合、前記オブジェクトの表面の露出面積に基づいて前記フレームを設定する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記設定部は、前記オブジェクトの表面が、前記移動状況に基づいて求められる前記ユーザの視界内に含まれる時間に基づいて前記フレームを設定する
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記オブジェクトの表面の光の状態を検出する光状態検出部をさらに備え、
　前記設定部は、前記光の状態に基づいて前記フレームを設定する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記コンテンツの表示に要する仕様に関する情報に基づいて、前記コンテンツ毎の、それぞれの前記フレームとの適合度を算出する算出部をさらに備え、
　前記表示制御部は、それぞれの前記コンテンツを、前記適合度に基づいて選択された前記フレームに対応する領域に表示させるための前記視覚情報を生成する
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記算出部は、前記コンテンツの種別に応じて異なる要素を基準として前記適合度を算出する
　前記（９）に記載の情報処理装置。
（１１）
　前記算出部は、前記コンテンツが画像である場合、前記画像の縦横比と、前記フレームの縦横比との関係に基づいて前記適合度を算出する
　前記（１０）に記載の情報処理装置。
（１２）
　前記算出部は、前記コンテンツが動画である場合、さらに、前記動画の再生時間と、前記フレームが前記ユーザの視界内に含まれる時間との関係に基づいて前記適合度を算出する
　前記（１１）に記載の情報処理装置。
（１３）
　前記算出部は、前記コンテンツが文字を含む場合、前記文字の表示範囲の縦横比と前記フレームの縦横比との関係、および、文字数により規定される閲覧時間と前記フレームが前記ユーザの視界内に含まれる時間との関係のうちの少なくともいずれかに基づいて前記適合度を算出する
　前記（１０）に記載の情報処理装置。
（１４）
　前記表示制御部は、移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報をデフォーカス処理する
　（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記移動体に乗る前記ユーザを撮影する撮影部と、
　前記撮影部により撮影された画像に基づいて、特定された前記ユーザの視点位置と、前記フレームに対応する領域の各位置との距離に応じて、デフォーカス度を設定するデフォーカス度設定部とをさらに含み、
　前記表示制御部は、前記移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度に応じてデフォーカス処理する
　（１４）に記載の情報処理装置。
（１６）
　前記デフォーカス度設定部は、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が近い程、前記デフォーカス度を小さく設定し、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が遠い程、前記デフォーカス度を大きく設定し、
　前記表示制御部は、前記移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度が小さい程、よりフォーカスが合った状態にデフォーカス処理し、前記デフォーカス度が大きい程、よりフォーカスが合っていない状態にデフォーカス処理する
　（１５）に記載の情報処理装置。
（１７）
　前記設定部は、前記オブジェクトの表面に対応する領域に、前記コンテンツの重畳先となる前記フレームを、前記ユーザの移動状況に基づいて、前記ユーザのそれぞれに設定し、
　前記表示制御部は、前記複数のユーザのそれぞれに設定された、前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、それぞれにデフォーカス処理する
　（１４）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　情報処理装置が、
　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、
　設定した前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する
　情報処理方法。
（１９）
　コンピュータに、
　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、
　設定した前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する
　処理を実行させるためのプログラム。
（２０）
　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定する設定部と、
　設定された前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と、
　前記視覚情報を表示する出力部と
　を備える移動体。
（２１）
　前記フレームのコンテキストに基づいて、前記コンテンツのコントラストを調整する調整部をさらに備え、
　前記表示制御部は、前記フレームに対応する領域に、コントラストを調整した前記コンテンツを表示させるための前記視覚情報を生成する
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（２２）
　前記調整部は、日照の状態、照明の状態、大気の状態、および前記フレームまでの距離のうちの少なくともいずれかを前記コンテキストとして用いて、前記コンテンツのコントラストを調整する
　前記（２１）に記載の情報処理装置。
（２３）
　撮影することによって得られた画像から、前記フレームの前方に写る他のオブジェクトの領域を切り出す画像処理部をさらに備え、
　前記表示制御部は、コントラストを調整した前記コンテンツに重ねて、前記他のオブジェクトの領域の画像を表示させるための前記視覚情報を生成する
　前記（２１）または（２２）に記載の情報処理装置。
　１０５　出力制御部，　２０１　情報重畳適切視界設定部，　２０２　重畳対象フレーム選択部，　２０３　表示制御部，　２０４　コンテンツ取得部，　２１１　画像解析部，　２１２　光状態モード設定部，　２１３　オブジェクト検出部，　２１４　フレーム設定部，　２１５　適切視界設定部，　２３１　事前解析部，　２３２　適合度算出部，　２３３　重畳先設定部，　２５１　適応コントラスト算出部，　２５２　コントラスト調整部，　２５３　マスク処理部，　２５４　表示処理部，　２７１，２７２，２７２－１乃至２７２－３　カメラ，　３２１　擬似３Ｄモデルワイヤフレーム生成部，　３２２　コンテンツ重畳部，　３２３　デフォーカス処理部，　３２４　視点位置検出部，　３２４ａ　人数検出部，　３２５　デフォーカス度設定部，　３２６　デフォーカス度マップ記憶部，　３６１　液晶偏光シャッタ，　３７１　バッファ，　３７２　合成部，　３７３　タイミング制御部，　３７４　シャッタ制御部，　３８１　レンチキュラレンズ，　３９１　合成部

Claims (20)

  1. 　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定する設定部と、
    　設定された前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と
    　を備える情報処理装置。
  2. 　前記ユーザが乗る移動体の走行経路と走行速度を含む前記移動状況を予測する予測部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　進行方向の風景を撮影することによって得られた画像を解析し、前記オブジェクトを検出する検出部をさらに備える
    　請求項１に記載の情報処理装置。
  4. 　前記設定部は、移動経路上の第１の位置と所定時間経過後の第２の位置のそれぞれの位置における、前記オブジェクトの表面に向かう角度に基づいて前記フレームを設定する
    　請求項１に記載の情報処理装置。
  5. 　前記設定部は、前記オブジェクトの表面の、進行方向に対する対面角度に基づいて前記フレームを設定する
    　請求項１に記載の情報処理装置。
  6. 　前記設定部は、前記オブジェクトの表面が、手前にある他のオブジェクトによって遮られる場合、前記オブジェクトの表面の露出面積に基づいて前記フレームを設定する
    　請求項１に記載の情報処理装置。
  7. 　前記設定部は、前記オブジェクトの表面が、前記移動状況に基づいて求められる前記ユーザの視界内に含まれる時間に基づいて前記フレームを設定する
    　請求項１に記載の情報処理装置。
  8. 　前記オブジェクトの表面の光の状態を検出する光状態検出部をさらに備え、
    　前記設定部は、前記光の状態に基づいて前記フレームを設定する
    　請求項１に記載の情報処理装置。
  9. 　前記コンテンツの表示に要する仕様に関する情報に基づいて、前記コンテンツ毎の、それぞれの前記フレームとの適合度を算出する算出部をさらに備え、
    　前記表示制御部は、それぞれの前記コンテンツを、前記適合度に基づいて選択された前記フレームに対応する領域に表示させるための前記視覚情報を生成する
    　請求項１に記載の情報処理装置。
  10. 　前記算出部は、前記コンテンツの種別に応じて異なる要素を基準として前記適合度を算出する
    　請求項９に記載の情報処理装置。
  11. 　前記算出部は、前記コンテンツが画像である場合、前記画像の縦横比と、前記フレームの縦横比との関係に基づいて前記適合度を算出する
    　請求項１０に記載の情報処理装置。
  12. 　前記算出部は、前記コンテンツが動画である場合、さらに、前記動画の再生時間と、前記フレームが前記ユーザの視界内に含まれる時間との関係に基づいて前記適合度を算出する
    　請求項１１に記載の情報処理装置。
  13. 　前記算出部は、前記コンテンツが文字を含む場合、前記文字の表示範囲の縦横比と前記フレームの縦横比との関係、および、文字数により規定される閲覧時間と前記フレームが前記ユーザの視界内に含まれる時間との関係のうちの少なくともいずれかに基づいて前記適合度を算出する
    　請求項１０に記載の情報処理装置。
  14. 　前記表示制御部は、移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報をデフォーカス処理する
    　請求項１に記載の情報処理装置。
  15. 　前記移動体に乗る前記ユーザを撮影する撮影部と、
    　前記撮影部により撮影された画像に基づいて、特定された前記ユーザの視点位置と、前記フレームに対応する領域の各位置との距離に応じて、デフォーカス度を設定するデフォーカス度設定部とをさらに含み、
    　前記表示制御部は、前記移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度に応じてデフォーカス処理する
    　請求項１４に記載の情報処理装置。
  16. 　前記デフォーカス度設定部は、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が近い程、前記デフォーカス度を小さく設定し、前記フレームに対応する領域の各位置と、前記ユーザの視点位置との距離が遠い程、前記デフォーカス度を大きく設定し、
    　前記表示制御部は、前記移動体に乗る前記ユーザの視点位置に基づいて、設定された前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、前記デフォーカス度が小さい程、よりフォーカスが合った状態にデフォーカス処理し、前記デフォーカス度が大きい程、よりフォーカスが合っていない状態にデフォーカス処理する
    　請求項１５に記載の情報処理装置。
  17. 　前記設定部は、前記オブジェクトの表面に対応する領域に、前記コンテンツの重畳先となる前記フレームを、前記ユーザの移動状況に基づいて、複数の前記ユーザのそれぞれに設定し、
    　前記表示制御部は、複数の前記ユーザのそれぞれに設定された、前記フレームに対応する領域に生成された、前記コンテンツを表示させるための視覚情報を、それぞれにデフォーカス処理する
    　請求項１４に記載の情報処理装置。
  18. 　情報処理装置が、
    　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、
    　設定した前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する
    　情報処理方法。
  19. 　コンピュータに、
    　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定し、
    　設定した前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する
    　処理を実行させるためのプログラム。
  20. 　オブジェクトの表面に対応する領域に、コンテンツの重畳先となるフレームを、ユーザの移動状況に基づいて設定する設定部と、
    　設定された前記フレームに対応する領域に前記コンテンツを表示させるための視覚情報を生成する表示制御部と、
    　前記視覚情報を表示する出力部と
    　を備える移動体。
PCT/JP2018/030489 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体 WO2019044536A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/640,727 US11645840B2 (en) 2017-08-31 2018-08-17 Information processing apparatus, information processing method, program, and moving body
DE112018004847.0T DE112018004847B4 (de) 2017-08-31 2018-08-17 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
JP2019539362A JP7331696B2 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体
US18/189,273 US20230237799A1 (en) 2017-08-31 2023-03-24 Information processing apparatus, information processing method, program, and moving body
JP2023124515A JP7571829B2 (ja) 2017-08-31 2023-07-31 情報処理装置、情報処理方法、プログラム、および移動体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017166871 2017-08-31
JP2017-166871 2017-08-31
JP2018069055 2018-03-30
JP2018-069055 2018-03-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/640,727 A-371-Of-International US11645840B2 (en) 2017-08-31 2018-08-17 Information processing apparatus, information processing method, program, and moving body
US18/189,273 Continuation US20230237799A1 (en) 2017-08-31 2023-03-24 Information processing apparatus, information processing method, program, and moving body

Publications (1)

Publication Number Publication Date
WO2019044536A1 true WO2019044536A1 (ja) 2019-03-07

Family

ID=65527216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030489 WO2019044536A1 (ja) 2017-08-31 2018-08-17 情報処理装置、情報処理方法、プログラム、および移動体

Country Status (4)

Country Link
US (2) US11645840B2 (ja)
JP (1) JP7331696B2 (ja)
DE (1) DE112018004847B4 (ja)
WO (1) WO2019044536A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026125A (ja) * 2019-08-06 2021-02-22 株式会社日立製作所 表示制御装置、透過型表示装置
JP2021036367A (ja) * 2019-08-30 2021-03-04 ダイハツ工業株式会社 情報表示システム
WO2021079975A1 (ja) 2019-10-23 2021-04-29 ソニー株式会社 表示システム、表示装置、表示方法、及び、移動装置
WO2021256483A1 (ja) * 2020-06-19 2021-12-23 ソニーグループ株式会社 制御装置、投影システム、制御方法及びプログラム
US20220319122A1 (en) * 2019-09-10 2022-10-06 Audi Ag Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
WO2022269753A1 (ja) * 2021-06-22 2022-12-29 マクセル株式会社 情報処理システム、情報処理装置及び画像表示装置
JP7559808B2 (ja) 2022-07-13 2024-10-02 セイコーエプソン株式会社 プロジェクターの制御方法、プログラム、及びプロジェクター

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
WO2019097755A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
WO2020132484A1 (en) 2018-12-21 2020-06-25 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
JP7296406B2 (ja) * 2019-01-28 2023-06-22 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
JP2022542363A (ja) * 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US11410373B2 (en) * 2020-01-01 2022-08-09 Latham Pool Products, Inc. Visualizer for swimming pools
US20230304821A1 (en) * 2021-01-12 2023-09-28 Lg Electronics Inc. Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070231A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両における表示方法
JP2015504815A (ja) * 2012-01-05 2015-02-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 運転者通知方法および運転者通知装置
US20170116785A1 (en) * 2015-10-22 2017-04-27 Ford Motor Company Limited Head up display

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012674A1 (en) 2000-03-21 2014-01-09 Gregory A. Piccionielli Heads-up billboard
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
JP5987791B2 (ja) * 2013-06-28 2016-09-07 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP6107590B2 (ja) 2013-10-16 2017-04-05 株式会社デンソー ヘッドアップディスプレイ装置
JP6458998B2 (ja) 2015-05-13 2019-01-30 日本精機株式会社 ヘッドアップディスプレイ
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
CN109690634A (zh) * 2016-09-23 2019-04-26 苹果公司 增强现实显示器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070231A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両における表示方法
JP2015504815A (ja) * 2012-01-05 2015-02-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 運転者通知方法および運転者通知装置
US20170116785A1 (en) * 2015-10-22 2017-04-27 Ford Motor Company Limited Head up display

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026125A (ja) * 2019-08-06 2021-02-22 株式会社日立製作所 表示制御装置、透過型表示装置
JP7292144B2 (ja) 2019-08-06 2023-06-16 株式会社日立製作所 表示制御装置、透過型表示装置
JP2021036367A (ja) * 2019-08-30 2021-03-04 ダイハツ工業株式会社 情報表示システム
JP7344051B2 (ja) 2019-08-30 2023-09-13 ダイハツ工業株式会社 情報表示システム
US20220319122A1 (en) * 2019-09-10 2022-10-06 Audi Ag Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
US11922585B2 (en) * 2019-09-10 2024-03-05 Audi Ag Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
WO2021079975A1 (ja) 2019-10-23 2021-04-29 ソニー株式会社 表示システム、表示装置、表示方法、及び、移動装置
KR20220083675A (ko) 2019-10-23 2022-06-20 소니그룹주식회사 표시 시스템, 표시 장치, 표시 방법 및 이동 장치
WO2021256483A1 (ja) * 2020-06-19 2021-12-23 ソニーグループ株式会社 制御装置、投影システム、制御方法及びプログラム
WO2022269753A1 (ja) * 2021-06-22 2022-12-29 マクセル株式会社 情報処理システム、情報処理装置及び画像表示装置
JP7559808B2 (ja) 2022-07-13 2024-10-02 セイコーエプソン株式会社 プロジェクターの制御方法、プログラム、及びプロジェクター

Also Published As

Publication number Publication date
US11645840B2 (en) 2023-05-09
JP7331696B2 (ja) 2023-08-23
DE112018004847B4 (de) 2024-02-08
US20200184219A1 (en) 2020-06-11
JP2023159121A (ja) 2023-10-31
DE112018004847T5 (de) 2020-06-18
JPWO2019044536A1 (ja) 2020-11-19
US20230237799A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
JP7331696B2 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
JP7188397B2 (ja) 画像処理装置及び画像処理方法
EP3112810B1 (en) Advanced driver assistance apparatus, display apparatus for vehicle and vehicle
EP3106838B1 (en) Display apparatus for vehicle
JP7188394B2 (ja) 画像処理装置及び画像処理方法
WO2021006060A1 (ja) 表示制御装置および表示制御プログラム
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7113259B2 (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
JPWO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
US11525694B2 (en) Superimposed-image display device and computer program
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2018146961A1 (ja) 車両用表示制御装置
WO2020054240A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
WO2020031915A1 (ja) 車両用表示システム及び車両
JP7371629B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020116205A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7433146B2 (ja) 物体検出方法及び物体検出装置
JP2021049968A (ja) 表示制御装置および表示制御プログラム
JP7571829B2 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
US20230186651A1 (en) Control device, projection system, control method, and program
WO2020039855A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
JP2005067370A (ja) 車両用表示装置
JP2024097450A (ja) 情報処理装置及び情報処理方法
JP2022164079A (ja) 運転支援装置、運転支援方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18852477

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539362

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18852477

Country of ref document: EP

Kind code of ref document: A1