WO2021053365A1 - 車両用情報処理装置及び方法 - Google Patents

車両用情報処理装置及び方法 Download PDF

Info

Publication number
WO2021053365A1
WO2021053365A1 PCT/IB2019/001129 IB2019001129W WO2021053365A1 WO 2021053365 A1 WO2021053365 A1 WO 2021053365A1 IB 2019001129 W IB2019001129 W IB 2019001129W WO 2021053365 A1 WO2021053365 A1 WO 2021053365A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
occupant
data
preference
notification
Prior art date
Application number
PCT/IB2019/001129
Other languages
English (en)
French (fr)
Inventor
草柳佳紀
柳拓良
Original Assignee
日産自動車株式会社
ルノー エス． ア． エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス． ア． エス． filed Critical 日産自動車株式会社
Priority to PCT/IB2019/001129 priority Critical patent/WO2021053365A1/ja
Priority to CN201980100476.3A priority patent/CN114424025A/zh
Priority to US17/753,813 priority patent/US11893890B2/en
Priority to JP2021546490A priority patent/JP7371692B2/ja
Publication of WO2021053365A1 publication Critical patent/WO2021053365A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to an information processing device and a method for vehicles.
  • a driving support system has been proposed in which the character displayed on the in-vehicle display communicates with the driver to support driving. For example, in a driving support system that outputs character information in an expression mode determined based on the intimacy specified according to the driving state of the vehicle by the user, the intimacy is less than a predetermined threshold value.
  • a system is known in which character information is output from the first output unit and character information is output from the first output unit and the second output unit when the intimacy is equal to or higher than a predetermined threshold value (Patent Document 1).
  • the character information to be output is changed according to the intimacy determined by the mileage or the like.
  • the problem to be solved by the present invention is to provide an information processing device and method for a vehicle that can provide information that is even more interesting.
  • the present invention is based on the occupant's preference data associated with the identification data stored in the preference data storage unit and the object data determined to be recognizable by the occupant among the object data existing around the occupant in the vehicle.
  • the above problem is solved by generating notification data for the occupants in the vehicle.
  • the present invention since the occupant's preference data and the occupant can see the object data, it is possible to provide the occupant of the vehicle with more interesting information.
  • FIG. 1 is a flowchart (No. 1) showing an information processing procedure executed by the vehicle information processing apparatus of FIG. 1B.
  • FIG. 2 is a flowchart (No. 2) showing an information processing procedure executed by the vehicle information processing apparatus of FIG. 1B.
  • FIG. 1A is a hardware configuration diagram showing an embodiment of a vehicle to which the vehicle information processing device 1 according to the present invention is applied
  • FIG. 1B is a functional block diagram showing an embodiment of the vehicle information processing device 1 as well.
  • the vehicle information processing device 1 of the present embodiment refers to a driver and a passenger (hereinafter, these driver and the passenger are also referred to as a vehicle occupant or simply a occupant) with respect to voice, an image, an operation of a character robot, and these. It is a device that provides information or talks with an occupant through the medium of the combination of.
  • the vehicle 100 to which the vehicle information processing device 1 according to the present invention is applied includes a sensor group 110, a surrounding detection device 120, a navigation device 130, an external information acquisition device 140, and a drive device 150.
  • the indoor camera 160, the indoor microphone 170, the speaker 180, and the controller 190 are provided. These devices are connected by a CAN (Control Area Network) or other in-vehicle LAN in order to exchange information with each other.
  • the vehicle 100 according to this embodiment includes a controller 190.
  • Examples of the vehicle 100 of the present embodiment include an electric vehicle having an electric motor as a drive source, an engine vehicle having an internal combustion engine as a drive source, and a hybrid vehicle having both an electric motor and an internal combustion engine as drive sources.
  • the electric vehicle or hybrid vehicle using an electric motor as a drive source includes a type in which a secondary battery is used as a power source for the electric motor and a type in which a fuel cell is used as a power source for the electric motor.
  • the sensor group 110 is composed of a device that detects the running state of the vehicle.
  • the sensor group 110 of the present embodiment includes a vehicle speed sensor 111, an engine speed sensor 112, an accelerator opening sensor 113, a brake opening sensor 114, a steering angle sensor 115, and a shift lever sensor 116.
  • the surroundings detection device 120 detects an object existing around the vehicle 100.
  • the ambient detection device 120 include an in-vehicle camera 121 and a radar 122.
  • the in-vehicle camera 121 images the periphery of the vehicle 100.
  • the in-vehicle camera 121 includes, for example, a front camera that images the front of the vehicle 100, a rear camera that images the rear of the vehicle 100, and a side camera that images the side of the vehicle 100.
  • the radar 122 detects obstacles existing around the vehicle 100.
  • the radar 122 is, for example, a front radar that detects an obstacle existing in front of the vehicle 100, a rear radar that detects an obstacle existing behind the vehicle 100, and a side that detects an obstacle existing on the side of the vehicle 100. It consists of a one-way radar.
  • the radar 122 detects the distance from the vehicle 100 to the obstacle and the direction in which the obstacle exists.
  • Objects detected by the surrounding detection device 120 include pedestrians, bicycles, motorcycles, automobiles, road obstacles, traffic lights, road markings, and pedestrian crossings.
  • the surrounding detection device 120 may be configured to use any one of the above-mentioned in-vehicle camera 121 and radar 122, or may be configured to combine two or more types.
  • the ambient detection device 120 outputs the captured information and the detection result to the controller 190 as peripheral information.
  • the navigation device 130 guides the driver by indicating the route from the current position of the vehicle 100 to the destination based on the position information of the vehicle 100 detected by the GPS 131.
  • the navigation device 130 has map information, and calculates a traveling route of the vehicle 100 from the position information of the vehicle 100 and the position information of the destination.
  • the navigation device 130 outputs the position information of the vehicle 100 and the travel route information of the vehicle 100 to the controller 190.
  • the travel route of the vehicle 100 includes a route that the vehicle 100 has actually traveled and a route that the vehicle 100 will travel from now on.
  • the external information acquisition device 140 connects to a network existing outside the vehicle 100 and acquires information on the external environment of the vehicle 100.
  • Examples of the external information acquisition device 140 include a device that acquires various information from a network outside the vehicle at a predetermined cycle via a communication line.
  • the external information acquisition device 140 acquires road congestion information, road construction information, and accident information from the VICS (registered trademark) system.
  • the external information acquisition device 140 acquires weather information from an external server.
  • the external information acquisition device 140 outputs the information acquired from outside the vehicle to the controller 190.
  • the external information acquisition device 140 is not limited to acquiring information from an external server, but can search for necessary information on the network and access a server that manages the information according to the search result.
  • the external information acquisition device 140 is not limited to a device that acquires information on the external environment via a communication line.
  • an outside air temperature sensor that detects an outside air temperature
  • a humidity sensor that detects humidity
  • a raindrop sensor that detects raindrops. It may be.
  • the outside air temperature sensor outputs the outside air temperature information to the controller 190 as a detection result.
  • the humidity sensor outputs humidity information to the controller 190 as a detection result.
  • the raindrop sensor outputs raindrop information to the controller 190 as a detection result.
  • the drive device 150 includes a drive mechanism for the vehicle 100.
  • the drive mechanism includes an electric motor and / or an internal combustion engine which is a traveling drive source of the vehicle 100 described above, a power transmission device including a drive shaft and an automatic transmission for transmitting the output from these traveling drive sources to the drive wheels, and wheels.
  • a braking device (not shown) for braking the wheel is included.
  • the drive device 150 generates each control signal of these drive mechanisms based on an input signal by the driver's accelerator operation and brake operation, and a control signal acquired from a vehicle controller (not shown) or a travel control device (not shown). Performs driving control including acceleration / deceleration of the vehicle. By sending command information to the drive device 150, traveling control including acceleration / deceleration of the vehicle can be automatically performed.
  • the torque distribution output to each of the electric motor and the internal combustion engine according to the traveling state of the vehicle is also sent to the drive device 150.
  • the main body that drives the vehicle 100 of the present embodiment is the main body that controls the drive device 150, and is the driver of the vehicle 100 or the vehicle controller.
  • the vehicle 100 travels by the driving operation of the driver or by the autonomous driving operation by the vehicle controller.
  • the vehicle 100 is provided with a device (for example, a button-shaped switch) for switching the main body of the driving operation. By switching this switch, the driver can manually switch the driving operation or the vehicle controller to switch the driving operation.
  • the driving operation by the vehicle controller is a so-called autonomous driving driving operation, which is a driving operation capable of autonomously driving the vehicle.
  • the autonomous driving technique the technique known at the time of filing the application of the present application can be appropriately used.
  • the drive device 150 outputs the information of the driving subject who is driving the vehicle 100 to the controller 190 as the driving subject information.
  • the indoor camera 160 is provided at a position where the occupant of the vehicle 100 can be imaged, and images the occupant. In the present embodiment, the indoor camera 160 captures the driver of the occupants of the vehicle 100. The indoor camera 160 is preferably provided at a position where the facial expression of the driver including the line of sight of the driver and the driving operation by the driver can be captured. The indoor camera 160 outputs the information of the captured image of the driver to the controller 190.
  • the indoor microphone 170 acquires voice information of the occupants of the vehicle 100 and stores it at least temporarily. In the present embodiment, the indoor microphone 170 acquires voice information of the driver among the occupants of the vehicle 100.
  • the installation position of the indoor camera 160 is not particularly limited, but it is preferably installed near the seat of the occupant.
  • the speaker 180 outputs voice information to the occupants of the vehicle 100.
  • the speaker 180 outputs voice information to the driver among the occupants of the vehicle 100.
  • the installation position of the speaker 180 is not particularly limited, but it is preferable to install the speaker 180 near the seat of the occupant.
  • the controller 190 uses a ROM (Read Only Memory) that stores a program that executes a dialogue process with the occupant by using a dialogue program according to the load of the occupant of the vehicle 100, and a CPU that executes the program stored in the ROM. It is composed of a (Central Processing Unit) and a RAM (Random Access Memory) that functions as an accessible storage device. As the operation circuit, MPU (Micro Processing Unit), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), FPGA (Field Program), etc. can be used instead of or in combination with the CPU. ..
  • the controller 190 executes various control functions by executing the program stored in the ROM by the CPU.
  • the vehicle information processing device 1 of the present embodiment is constructed as a part of the controller 190 of FIG. 1A.
  • the vehicle information processing device 1 of the present embodiment functions as a vehicle information processing device 1 by executing a ROM in which a program for executing various processes is stored and a program stored in the ROM. It is composed of a computer including a CPU as a circuit and a RAM that functions as an accessible storage device.
  • the vehicle information processing device 1 has an identification data input unit 11, a preference data storage unit 12, and an object acquisition, as shown in FIG. 1B, when viewed from the functional configuration exhibited by executing the information processing program.
  • a unit 13, a usage record detection unit 14, a determination unit 15, a notification data generation unit 16, and a vehicle information acquisition unit 17, if necessary, are provided.
  • FIG. 1B the configuration of the vehicle information processing apparatus 1 of the present embodiment will be described with reference to FIG. 1B.
  • the identification data input unit 11 is an interface for inputting identification data for identifying the occupant of the vehicle to which the vehicle information processing device 1 of this example is applied. Then, when the occupant carries a terminal device (portable computer such as a smartphone) that stores his / her identification data and gets on the vehicle, the occupant's identification data is transmitted to a short-range radio such as Bluetooth (registered trademark).
  • a terminal device portable computer such as a smartphone
  • Bluetooth registered trademark
  • the occupant's identification data can be automatically or semi-automatically read via the communication network, or manually input by the occupant using the input button (not shown) set as the identification data input unit 11. Entered.
  • the wireless key of the vehicle stores the identification data of the occupant, and when the vehicle is unlocked or started by using the wireless key, the identification data of the occupant is transmitted to the identification data input unit 11 for short-distance wireless communication. It may be read automatically or semi-automatically via a net.
  • the preference data storage unit 12 is a storage device such as a database that stores preference data related to the preferences of each person who can be a occupant in association with identification data.
  • the preference data is hobby and other matter data that each occupant is interested in, and is organized by genre, for example. For example, Mr. X is interested in sports, meals, and fashion, and he likes baseball in sports, and ramen in meals.
  • the occupant may manually input his / her own preference data, or the preference data may be analyzed from the usage record of the vehicle.
  • the number of times the occupant browses the WEB site using a computer is counted on a daily basis, and the products purchased using a credit card are counted by genre.
  • the preference data may be obtained. For example, if Mr. X has accumulated in the preference data storage unit 12 that the number of views of WEB sites belonging to the sports, meal, and fashion genres is higher than that of other genres on a daily basis, Mr. X's Preference data is sports, diet, and fashion.
  • Mr. X's preference data can be stored in sports. Suppose you especially like baseball.
  • the object acquisition unit 13 acquires object data existing in the vicinity of the occupant who boarded the vehicle.
  • the object acquisition unit 13 executes an image analysis process for recognizing a specific object (object) from image data around the vehicle captured by an in-vehicle imaging device such as a camera included in the vehicle sensors 2. Further, the object acquisition unit 13 extracts a specific object from the own vehicle position detection device such as a GPS receiver included in the vehicle sensors 2 and the map data stored in the map database 3.
  • the object specified by the object acquisition unit 13 is not particularly limited, but includes buildings, stores, vehicles, pedestrians, roads, intersections, and the like.
  • buildings include landmarks such as Yokohama Stadium (registered trademark), Yokohama Cosmo World (registered trademark), and Yokohama Red Brick Warehouse (registered trademark), and stores include restaurants and apparel stores.
  • stores include restaurants and apparel stores.
  • Roads include the Metropolitan Expressway Yokohama Line.
  • the usage record detection unit 14 detects the record of the occupant using the vehicle information processing device 1. What is detected by the usage record detection unit 14 is not particularly limited, but the occupant is specified based on the identification data input to the identification data input unit 11, and the occupant uses the vehicle information processing device 1. Calculate the actual usage value according to the time and / or frequency. The usage record value calculated by the usage record detection unit 14 is output to the notification data generation unit 16, and the notification data to be generated is determined according to the magnitude of the usage record value. The details will be described later. The usage record detection unit 14 may be omitted if necessary.
  • the determination unit 15 determines whether or not the object included in the object data acquired by the object acquisition unit 13 can be recognized visually or audibly by the occupant in the vehicle.
  • the object acquisition unit 13 extracts an object from the image data around the vehicle captured by the vehicle-mounted image pickup device, and stores the object in the own vehicle position detection device such as the GPS receiver included in the vehicle sensors 2 and the map database 3. Extract a specific object from the map data. Therefore, even if the extracted object exists in the vicinity of the vehicle, it is often in a positional relationship or other environmental relationship that cannot be visually or audibly recognized by the occupant. Even if the occupant notifies the occupant of information about an object that cannot be visually or audibly recognized even if it exists in the vicinity of the vehicle, the occupant may feel stress on the contrary. It is determined whether or not the object acquired in is recognizable by the occupant, and the result is output to the notification data generation unit 16.
  • the determination unit 15 determines that the object can be recognized by the occupant because it can be visually recognized by the vehicle-mounted image pickup device.
  • the in-vehicle image pickup device is used.
  • an example of determining whether or not the image can be recognized visually or audibly is shown, but the present invention is not limited to this. For example, it can be determined that vibrations that can be felt by the body, accelerations and accelerations and gravity corresponding to shaking and vehicle movements can be recognized.
  • the notification data generation unit 16 is based on the preference data of the occupant associated with the identification data stored in the preference data storage unit 12 and the object determined by the determination unit 15 to be recognizable by the occupant. Generate notification data for.
  • the notification data generated by the notification data generation unit 16 is a voice, an image, an operation of a character robot, or a combination thereof, which is output from the notification device 6 described later. For example, when generating notification data by voice or text image for users whose preference data includes "baseball", "Yokohama won 8 to 7 in the Yokohama-Hanshin game last night. As a result, Yokohama won. We are close to the top giant by one game.
  • the notification data may include information regarding the relative position or distance from the vehicle on which the occupant is aboard, when the notification data is generated as an object determined to be recognizable to the occupant. For example, when a user whose preference data includes “bread” detects “bakery” as an object related to "bread” included in a predetermined distance (for example, 50 m) from the vehicle, the notification data generation unit " There is a bakery 50m away. "
  • the notification data generation unit 16 of the present embodiment determines whether or not the preference data of the occupant is stored in the preference data storage unit 12, or the preference data stored in the preference data storage unit 12 is predetermined.
  • the notification data to be generated is determined according to whether or not the condition is satisfied and whether or not there is an object that is determined by the determination unit 15 to be recognizable by the occupant.
  • the fact that the preference data stored in the preference data storage unit 12 satisfies a predetermined condition means that the preference data storage unit 12 stores reliable preference data to the extent that the preference of the occupant is sufficiently reflected. It means that.
  • the notification data generation unit 16 preferentially generates information on the recognizable object as notification data. To do. Further, the notification data generation unit 16 indicates that the preference data of the occupant boarding the vehicle is not stored in the preference data storage unit 12, or the preference data stored in the preference data storage unit 12 does not satisfy a predetermined condition. , Information about recognizable objects is generated as notification data without using preference data as notification data.
  • the notification data generation unit 16 determines the determination unit 15. Among the objects determined to be recognizable by the occupant, the object related to the occupant's preference data is generated as notification data.
  • the notification data generation unit 16 generates notification data as follows according to the magnitude of the usage record value detected by the usage record detection unit 14. First, when the usage record value of the occupant who boarded the vehicle detected by the usage record detection unit 14 is less than a predetermined value, the notification data generation unit 16 does not use the occupant's preference data as notification data. Generate information about recognizable objects as notification data. This is because if the actual usage value of the vehicle information processing device 1 is small, it cannot be said that the preference data of the occupant is sufficiently reliable.
  • the notification data generation unit 16 can recognize it as the preference data of the occupant. Notification data is generated based on the object determined to be.
  • the vehicle sensors 2 include a radar device that detects obstacles around the vehicle, a vehicle position detection device that includes a GPS receiver, a steering angle sensor that detects the steering angle of the vehicle, and a vehicle. It includes acceleration / deceleration sensors that detect acceleration / deceleration, indoor cameras that capture the interior of the vehicle, and so on.
  • the detection signal detected by the vehicle sensors 2 is output to the object acquisition unit 13 and the vehicle information acquisition unit 17.
  • the map database 3 is a memory that stores, for example, three-dimensional high-precision map information including location information of various facilities and specific points, and is accessible from the object acquisition unit 13 and the vehicle information acquisition unit 17.
  • the three-dimensional high-precision map information stored in the map database 3 is three-dimensional map information based on the road shape detected when driving on an actual road using a data acquisition vehicle, and is a curved road together with the map information.
  • detailed and highly accurate position information such as the size of the curve (for example, curvature or radius of curvature), road confluence, branch point, tollgate, lane reduction position, service area / parking area, etc. are three-dimensional information.
  • the map information associated with is the map information associated with.
  • the notification device 6 includes at least one of a speaker, a display, and a character robot, outputs voice notification data from the speaker into the vehicle, displays notification data in an image including characters on the display, and displays the notification data in the operation of the character robot.
  • the character robot is an anthropomorphic three-dimensional in-vehicle robot that expresses notification data by the movement of a face or a hand together with a voice or a character image. A two-dimensional image may be displayed on a display.
  • the preference data of the occupant in the preference data storage unit 12 when storing the preference data of the occupant in the preference data storage unit 12, the number of times the occupant browses the WEB site using a computer is counted on a daily basis, or the purchase is made using a credit card. By counting the products by genre, accumulating the personal data of the occupants in the preference data storage unit 12, and analyzing this, the preference data may be obtained.
  • information from an external WEB site or other external server 4 is collected via a telecommunication network 5 such as the Internet and a communication unit 8 of the vehicle 100.
  • 2A and 2B are flowcharts showing an information processing procedure executed by the vehicle information processing device 1 of FIG. 1B.
  • the identification data of the occupant is input to the identification data input unit 11 in step S1.
  • the identification data input unit 11 acquires the preference data and other attributes of the occupant from the preference data storage unit 12 together with the identification data, and outputs the identification data together with the notification data generation unit 16.
  • step S2 the vehicle information acquisition unit 17 acquires information about the vehicle from the vehicle sensors 2 and the map database 3 and outputs the information to the notification data generation unit 16.
  • the information about the vehicle includes constant vehicle condition information, vehicle failure information, transportation accident information, and other safety-related information.
  • step S3 the notification data generation unit 16 determines whether or not the vehicle information acquired by the vehicle information acquisition unit 17 includes information that requires notification in relation to safety, and notification is required. If there is any information related to safety, the process proceeds to step S4, and the notification device 6 is used to give priority to notification. After the notification, the process is temporarily terminated.
  • step S3 if there is no safety-related information that needs to be notified, the process proceeds to step S5, and it is determined whether or not the topic provision flag is ON. If the topic provision flag is ON, the process proceeds to step S6, and if the topic provision flag is OFF, the process returns to step S1.
  • the topic provision flag provides information to the driver and passengers via the medium of voice, image, character robot operation, and a combination thereof by using the vehicle information processing device 1 of the present embodiment. This is a flag for setting whether or not to execute a routine for talking with an occupant. It may be always ON, but it may be possible to set ON / OFF by a predetermined input button according to the wishes of the occupant.
  • step S7 the notification data generation unit 16 determines whether or not the usage record value detected by the usage record detection unit 14 is equal to or greater than the predetermined value, and if it is equal to or greater than the predetermined value, proceeds to step S8. If it is less than the predetermined value, the process proceeds to step S11.
  • step S8 the notification data generation unit 16 determines whether or not the occupant's preference data stored in association with the identification data is stored in the preference data storage unit 12 and the preference data satisfies a predetermined condition. If the predetermined condition is satisfied, the process proceeds to step S9, and if the predetermined condition is not satisfied, the process proceeds to step S11.
  • the fact that the preference data stored in the preference data storage unit 12 satisfies a predetermined condition means that the preference data storage unit 12 stores reliable preference data that sufficiently reflects the preference of the occupant. It means that it is.
  • step S9 the notification data generation unit 16 determines whether or not one or more objects acquired by the object acquisition unit 13 match the preference data determined in step S8, and if there is a matching object. Goes to step 10, and if there is no matching object, goes to step S11.
  • step S10 the notification data generation unit 16 determines whether or not there is an object that can be visually or audibly recognized by the occupant among the objects that match the preference data determined in step S9, and if so, step. The process proceeds to S12, and if not, the process proceeds to step S13.
  • step S12 the actual usage value is equal to or higher than a predetermined value, the preference data of the occupant stored in the preference data storage unit 12 is sufficiently reliable, and an object matching the preference data is around the occupant. Since the condition that the object exists in the above and the object can be recognized visually or audibly is satisfied, the information about the recognizable object is preferentially output to the notification device 6 and notified to the occupant.
  • FIG. 3 is a diagram showing an example of the situation when the step S12 is reached, where reference numeral 6 indicates a character robot type notification device, reference numeral X indicates an occupant, and reference numeral 7 indicates an occupant imaged by an in-vehicle imaging device.
  • Mr. X is interested in sports, meals, and fashion, and the preference data that he likes baseball in sports and ramen in meals is sufficient to satisfy the predetermined conditions.
  • the preference data storage unit 12 stores the data with reliability.
  • the object data 7 existing around the occupant imaged by the in-vehicle imaging device observes the arcade town in front of the station while currently traveling, and the ramen shop 8 is visually recognized in the arcade town. ..
  • the notification data generation unit 16 gives priority to the information about the visually recognizable "ramen shop” that is an object that suits the occupant's taste and notifies the occupant.
  • the notification device 6 of the character robot says, "The ramen shop” XXX "that you can see in front is a shop that offers Hakata ramen, which is famous all over the country, and the tonkotsu-flavored" special XXX ramen "is recommended.
  • the parking lot has 5 spaces next to the store. ] Is output by voice notification data.
  • information about the object to be notified may be searched from the external server 4 via the telecommunication network 5. Also, in order to have an interactive format with Crew X, "You can see the ramen shop” XXX "in front of you. Do you want to know the details of this shop? , You may search for the store information (business hours, regular holidays, menus, prices, etc.), or gradually detail the information and output it.
  • step S13 the actual usage value is equal to or higher than a predetermined value, the preference data of the occupant stored in the preference data storage unit 12 is sufficiently reliable, and an object matching the preference data is around the occupant. However, since the condition that the object is not visually or audibly recognizable is satisfied, information about an object that suits the taste, not an unrecognizable object, is output to the notification device 6 and notified to the occupant. ..
  • FIG. 4 is a diagram showing an example of the situation when the step S13 is reached, where reference numeral 6 indicates a character robot type notification device, reference numeral X indicates an occupant, and reference numeral 7 indicates an occupant imaged by an in-vehicle imaging device.
  • Mr. X is interested in sports, meals, and fashion, and the preference data that he likes baseball in sports and ramen in meals is sufficient to satisfy the predetermined conditions.
  • the preference data storage unit 12 stores the data with reliability.
  • the object data 7 existing around the occupant imaged by the in-vehicle imaging device is currently traveling on the expressway, and only the expressway is observed in front of the object data 7.
  • the object acquired from the object data 7 existing around the occupant imaged by the in-vehicle imaging device has a weak relationship with the occupant's preference data, so that the notification data generation unit 16 has the occupant's preference.
  • baseball sports genre
  • the notification device 6 of the character robot said, "Yokohama won 8 to 7 in the Yokohama-Hanshin game last night.
  • Yokohama is behind the leading giant by one game.
  • information on baseball which is the preference data to be notified, may be searched from the external server 4 via the telecommunication network 5. Also, in order to have a dialogue with Crew X, first, "Do you want to know the result of last night's Yokohama-Hanshin game? ], Then you can search for the information of the match (scoring result, winning / losing pitcher, home run, change in ranking, etc.), or you may output the information in detail gradually.
  • step S7 If the actual usage value is less than the predetermined value in step S7, or if the preference data satisfying the predetermined condition in step S8 is not stored in the preference data storage unit 12, there is no object that matches the preference data in step S9. In any of these cases, the process proceeds to step S11, and the notification data generation unit 16 determines whether or not a visually or audibly recognizable object exists in the object data, and if so, proceeds to step S14. If it does not exist, the process proceeds to step S15.
  • step S14 the actual usage value is less than a predetermined value, or the preference data of the occupant stored in the preference data storage unit 12 is not sufficiently reliable, or an object that matches the preference data. Is not present in the vicinity of the occupant, and the condition that the object is visually or audibly recognizable is satisfied. Therefore, the information about the recognizable object is preferentially output to the notification device 6 and the occupant. Notify to.
  • FIG. 5 is a diagram showing an example of the situation when the step S14 is reached, where reference numeral 6 indicates a character robot type notification device, reference numeral X indicates an occupant, and reference numeral 7 indicates an occupant imaged by an in-vehicle imaging device. Indicates the object data that exists in the surrounding area.
  • the preference data of Mr. X is not stored in the preference data storage unit 12 with sufficient reliability to satisfy a predetermined condition.
  • the Yokohama Cosmoworld registered trademark
  • the Ferris wheel is visually recognized in the object data 7. It shall be.
  • the occupant's preference data recorded in the preference data storage unit 12 is unreliable to be used for generating notification data, so that the notification data generation unit 16 is imaged by the in-vehicle imaging device.
  • the occupant is notified of information about an object that is acquired from the object data 7 existing around the occupant and can be recognized.
  • the notification device 6 of the character robot says, "The Ferris wheel that can be seen in front is the world's largest Ferris wheel called" Cosmo Clock 21 "that has a face as a symbol of Yokohama installed in Yokohama Cosmo World. ] Is output by voice notification data.
  • information on the Ferris wheel which is a visible object to be notified, may be searched from the external server 4 via the telecommunication network 5. Also, in order to have an interactive format with Crew X, first, "Do you want to know the contents of the Ferris wheel?" ], Then you may search for the information on the Ferris wheel, or gradually refine the information and output it.
  • step S15 the actual usage value is less than a predetermined value, or the occupant's preference data stored in the preference data storage unit 12 is not sufficiently reliable, or an object that matches the preference data. Is not present in the vicinity of the occupant, and the condition that the object is not visually or audibly recognizable is satisfied. Therefore, general contents regarding the attributes of the occupant are output to the notification device 6 to notify the occupant. To do.
  • FIG. 6 is a diagram showing an example of the situation when the step S15 is reached, where reference numeral 6 indicates a character robot type notification device, reference numeral X indicates an occupant, and reference numeral 7 indicates an occupant imaged by an in-vehicle imaging device. Indicates the object data that exists in the surrounding area.
  • the preference data of Mr. X is not stored in the preference data storage unit 12 with sufficient reliability to satisfy a predetermined condition.
  • the object data 7 existing around the occupant imaged by the in-vehicle imaging device is currently traveling on the expressway, and only the expressway is observed in front of the object data 7.
  • the occupant's preference data recorded in the preference data storage unit 12 is unreliable for use in generating notification data, but exists in the vicinity of the occupant imaged by the in-vehicle imaging device. Since it is not known whether the object acquired from the object data 7 is of interest to the occupant, the notification data generation unit 16 is acquired from the object data 7 existing in the vicinity of the occupant imaged by the in-vehicle imaging device, and is generally used. Notify the occupant of information about the object. For example, the notification device 6 of the character robot outputs voice notification data such as "There is a delicious shumai shop just outside the next IC".
  • information about the Shumai store which is an invisible object to be notified, may be searched from the external server 4 via the telecommunication network 5. Also, in order to have an interactive format with Crew X, first, "Do you want to know the contents of the Shumai store? ], Then you may search for the information of the Shumai store, or gradually detail the information and output it.
  • the occupant recognizes the occupant's preference data associated with the identification data stored in the preference data storage unit 12 and the determination unit 15.
  • Notification data for occupants in the vehicle is generated based on the objects determined to be possible.
  • the content of the notification data is determined according to the ratio between the reliability of the occupant's preference data and the existence of recognizable objects, so that the content of the notification data is determined according to the individual occupant's preference and the surrounding environment while the vehicle is running. It is possible to provide content suitable for the occupants, and it is possible to provide information that is even more interesting.
  • the vehicle information processing device 1 and the method of the present embodiment whether or not the preference data of the occupants in the vehicle is stored in the preference data storage unit 12 or stored in the preference data storage unit 12.
  • the notification data to be generated is determined according to whether or not the preference data satisfies a predetermined condition and whether or not there is an object determined by the determination unit 15 to be recognizable by the occupant. That is, since the notification data to be generated is determined according to the reliability of the preference data and the recognizability of the object, there is a high possibility that the content suitable for the occupant can be provided.
  • the vehicle information processing device 1 and the method of the present embodiment when there is an object determined to be recognizable by the occupant by the determination unit 15, information on the recognizable object is preferentially used as notification data. Since it is generated, it can provide at least visible and interesting information.
  • the preference data of the occupants who boarded the vehicle is not stored in the preference data storage unit 12, or is stored in the preference data storage unit 12.
  • the preference data does not satisfy the predetermined condition, the information about the recognizable object is generated as the notification data without using the preference data as the notification data, so that at least visible and interesting information can be provided.
  • the preference data storage unit 12 stores the preference data of the occupant who has boarded the vehicle, and the determination unit 15 determines that the occupant can recognize the occupant.
  • the object related to the occupant's preference data is generated as notification data, so that the information that the occupant is most interested in is provided. be able to.
  • the notification data to be generated is determined according to the magnitude of the actual usage value of the occupant, so that the preference data at the time of past use can be used. , Can provide information that is even more interesting.
  • the vehicle information processing device 1 and the method of the present embodiment when the usage record value of the occupant on the vehicle is less than a predetermined value, the preference data of the occupant can be recognized without using the notification data. Since information on various objects is generated as notification data, it is possible to exclude information on usage records that have no utility value.
  • the vehicle information processing device 1 and the method of the present embodiment when the actual usage value of the occupant on the vehicle is larger than the predetermined value, the object is determined to be recognizable as the preference data of the occupant. Since the notification data is generated based on the above, it is possible to use the preference data at the time of past use, and it is possible to provide information that is even more interesting.
  • the notification data generated as an object determined to be recognizable includes information on the relative position or distance from the vehicle on which the occupant is boarding. Therefore, it is possible to provide more useful content.
  • Vehicle information processing device 11 Identification data input unit 12 ... Preference data storage unit 13 ... Object acquisition unit 14 ... Usage record detection unit 15 ... Judgment unit 16 ... Notification data generation unit 17 ... Vehicle information acquisition unit 2 ... Vehicle sensor Type 3 ... Map database 4 ... External server 5 ... Telecommunications network 6 ... Notification device 7 ... Object data existing around the occupant 8 ... Communication unit X ... Crew

Abstract

車両の乗員を識別するための識別データを入力する識別データ入力部（１１）と、 前記乗員の嗜好に関する嗜好データを前記識別データと関連付けて記憶する嗜好デー タ記憶部（１２）と、前記車両に搭乗した乗員の周辺に存在するオブジェクトデータ を取得するオブジェクト取得部（１３）と、前記オブジェクトデータに含まれるオブ ジェクトが、前記車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定す る判定部（１５）と、前記嗜好データ記憶部に記憶された、前記識別データに関連付 けられた乗員の嗜好データと、前記判定部により乗員が認識可能と判定されたオブジ ェクトとに基づいて、前記車両に搭乗した乗員に対する通知データを生成する通知デ ータ生成部（１６）と、を備える。

Description

車両用情報処理装置及び方法
　本発明は、車両用情報処理装置及び方法に関するものである。
　車載ディスプレイに表示されたキャラクタが、運転者とのコミュニケーションを図ることにより、運転を支援する運転支援システムが提案されている。たとえば、ユーザによる車両の運転状態に応じて特定される親密度に基づいて決定された表現態様で、キャラクタ情報を出力する運転支援システムであって、親密度が所定の閾値未満である場合には、キャラクタ情報を第１出力部から出力し、親密度が所定の閾値以上である場合、第１出力部および第２出力部からキャラクタ情報を出力するシステムが知られている（特許文献１）。
特許第５９６６１２１号公報
　上記従来技術は、走行距離などにより定まる親密度に応じて、出力するキャラクタ情報が変更される。しかしながら、上記従来技術では、個々のユーザの嗜好やユーザの周辺環境の観点から、ユーザに適したコンテンツを提供することはできない。そのため、より一層興味が湧く情報を提供することができないという問題がある。
　本発明が解決しようとする課題は、より一層興味が湧く情報を提供することができる車両用情報処理装置及び方法を提供することである。
　本発明は、嗜好データ記憶部に記憶された、識別データに関連付けられた乗員の嗜好データと、車両に搭乗した乗員の周辺に存在するオブジェクトデータのうち乗員が認識可能と判定されたオブジェクトに基づいて、車両に搭乗した乗員に対する通知データを生成することによって、上記課題を解決する。
　本発明によれば、乗員の嗜好データと乗員は視認可能なオブジェクトデータとに基づくので、車両の乗員に対し、より一層興味が湧く情報を提供することができる。
本発明に係る車両用情報処理装置を適用した車両の実施形態を示すハードウェア構成図である。 本発明に係る車両用情報処理装置の実施形態を示す機能ブロック図である。 図１Ｂの車両用情報処理装置にて実行される情報処理手順を示すフローチャート（その１）である。 図１Ｂの車両用情報処理装置にて実行される情報処理手順を示すフローチャート（その２）である。 図２ＢのステップＳ１２に至った際の状況の一例を示す図である。 図２ＢのステップＳ１３に至った際の状況の一例を示す図である。 図２ＢのステップＳ１４に至った際の状況の一例を示す図である。 図２ＢのステップＳ１５にった際の状況の一例を示す図である。
　以下、本発明の実施形態を図面に基づいて説明する。図１Ａは、本発明に係る車両用情報処理装置１を適用した車両の実施形態を示すハードウェア構成図、図１Ｂは、同じく車両用情報処理装置１の実施形態を示す機能ブロック図である。本実施形態の車両用情報処理装置１は、運転者及び同乗者（以下、これら運転者及び同乗者を車両の乗員又は単に乗員とも称する。）に対し、音声，画像，キャラクタロボットの動作及びこれらの組み合わせの媒体を介して、情報を提供し、又は乗員との間で会話する装置である。
　本発明に係る車両用情報処理装置１を適用した車両１００は、図１Ａに示すように、センサ群１１０と、周囲検出装置１２０と、ナビゲーション装置１３０と、外部情報取得装置１４０と、駆動装置１５０と、室内カメラ１６０と、室内マイク１７０と、スピーカ１８０と、コントローラ１９０と、を備える。これらの装置は、相互に情報の授受を行うためにＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）その他の車載ＬＡＮによって接続されている。なお、本実施形態に係る車両１００は、コントローラ１９０を備える。
　本実施形態の車両１００としては、電動モータを駆動源として備える電気自動車、内燃機関を駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。
　センサ群１１０は、車両の走行状態を検出する装置で構成されている。具体的には、本実施形態のセンサ群１１０は、車速センサ１１１、エンジン回転数センサ１１２、アクセル開度センサ１１３、ブレーキ開度センサ１１４、操舵角センサ１１５、シフトレバーセンサ１１６を含む。
　周囲検出装置１２０は、車両１００の周辺に存在する対象物を検出する。周囲検出装置１２０としては、車載カメラ１２１、レーダ１２２が挙げられる。車載カメラ１２１は、車両１００の周辺を撮像する。車載カメラ１２１は、例えば、車両１００の前方を撮像する前方カメラ、車両１００の後方を撮像する後方カメラ、車両１００の側方を撮像する側方カメラで構成される。レーダ１２２は、車両１００の周辺に存在する障害物を検出する。レーダ１２２は、例えば、車両１００の前方に存在する障害物を検出する前方レーダ、車両１００の後方に存在する障害物を検出する後方レーダ、車両１００の側方に存在する障害物を検出する側方レーダで構成される。レーダ１２２は、車両１００から障害物までの距離及び障害物が存在する方向を検出する。
　周囲検出装置１２０が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置１２０として、上述した車載カメラ１２１、レーダ１２２のうちいずれか１つを用いる構成としてもよいし、２種類以上を組み合わせる構成としてもよい。周囲検出装置１２０は、撮像した情報や検出結果を、周辺情報としてコントローラ１９０に出力する。
　ナビゲーション装置１３０は、ＧＰＳ１３１により検出された車両１００の位置情報に基づいて、車両１００の現在位置から目的地までの経路を示して運転者を誘導する。ナビゲーション装置１３０は、地図情報を有しており、車両１００の位置情報と目的地の位置情報から、車両１００の走行経路を算出する。ナビゲーション装置１３０は、車両１００の位置情報及び車両１００の走行経路の情報をコントローラ１９０に出力する。車両１００の走行経路には、実際に車両１００が走行した経路及びこれから車両１００が走行する予定の経路が含まれる。
　外部情報取得装置１４０は、車両１００の外部に存在するネットワークと接続し、車両１００の外部環境の情報を取得する。外部情報取得装置１４０としては、通信回線を介して、所定の周期で、車外のネットワークから各種情報を取得する装置が挙げられる。例えば、外部情報取得装置１４０は、ＶＩＣＳ（登録商標）システムから、道路渋滞情報、道路工事情報、事故情報を取得する。また、例えば、外部情報取得装置１４０は、外部サーバから天気情報を取得する。外部情報取得装置１４０は、車外から取得した情報をコントローラ１９０に出力する。なお、外部情報取得装置１４０は、外部サーバから情報を取得することに限られず、ネットワーク上で必要な情報を検索し、検索結果に応じて、情報を管理するサーバにアクセスすることができる。
　また、外部情報取得装置１４０は、通信回線を介して外部環境の情報を取得する装置に限られず、例えば、外気温を検出する外気温センサ、湿度を検出する湿度センサ、雨滴を検出する雨滴センサであってもよい。外気温センサは、検出結果として外気温の情報をコントローラ１９０に出力する。湿度センサは、検出結果として湿度の情報をコントローラ１９０に出力する。雨滴センサは、検出結果として雨滴の情報をコントローラ１９０に出力する。
　駆動装置１５０は、車両１００の駆動機構を備える。駆動機構には、上述した車両１００の走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置（不図示）などが含まれる。駆動装置１５０は、運転者のアクセル操作及びブレーキ操作による入力信号、車両コントローラ（不図示）又は走行制御装置（不図示）から取得した制御信号に基づいてこれら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置１５０に指令情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。なお、ハイブリッド自動車の場合には、車両の走行状態に応じた電動モータと内燃機関とのそれぞれに出力するトルク配分も駆動装置１５０に送出される。
　本実施形態の車両１００を運転する主体は、駆動装置１５０を制御する主体であり、車両１００の運転者、又は車両コントローラである。車両１００は、運転者の運転操作により、又は車両コントローラよる自律的な運転操作により走行する。例えば、図１Ａには図示されていないが、車両１００には、運転操作の主体を切り替えるための機器（例えば、ボタン形状のスイッチなど）が設置されている。運転者は、このスイッチを切り替えることで、手動による運転操作、又は車両コントローラによる運転操作の切り替えを行うことができる。車両コントローラによる運転操作とは、いわゆる自律運転による運転操作と呼ばれ、自律的に車両を走行させることができる運転操作である。自律運転の技術は、本願出願時に知られた技術を適宜用いることができる。駆動装置１５０は、車両１００を運転している運転主体の情報を、運転主体情報としてコントローラ１９０に出力する。
　室内カメラ１６０は、車両１００の乗員を撮像可能な位置に設けられ、乗員を撮像する。本実施形態では、室内カメラ１６０は、車両１００の乗員のうち運転者を撮像する。室内カメラ１６０は、運転者の視線を含む運転者の表情や、運転者による運転操作を撮像できる位置に設けるのが好ましい。室内カメラ１６０は、運転者の撮像画像の情報をコントローラ１９０に出力する。
　室内マイク１７０は、車両１００の乗員の音声情報を取得し、少なくとも一時的に記憶する。本実施形態では、室内マイク１７０は、車両１００の乗員のうち運転者の音声情報を取得する。室内カメラ１６０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
　スピーカ１８０は、車両１００の乗員に音声情報を出力する。本実施形態では、スピーカ１８０は、車両１００の乗員のうち運転者に対して音声情報を出力する。スピーカ１８０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
　コントローラ１９０は、車両１００の乗員の負荷に応じた対話プログラムを用いて、乗員との対話処理を実行するプログラムを格納したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）から構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などを用いることができる。コントローラ１９０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、各種の制御機能を実行する。
　本実施形態の車両用情報処理装置１は、図１Ａのコントローラ１９０の一部として構築されたものである。本実施形態の車両用情報処理装置１は、各種処理を実行するためのプログラムが格納されたＲＯＭと、このＲＯＭに格納されたプログラムを実行することで、車両用情報処理装置１として機能する動作回路としてのＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとを備えたコンピュータで構成されている。そして、車両用情報処理装置１は、情報処理プログラムを実行することで発揮される機能構成から見ると、図１Ｂに示すように、識別データ入力部１１と、嗜好データ記憶部１２と、オブジェクト取得部１３と、利用実績検知部１４と、判定部１５と、通知データ生成部１６と、必要に応じて車両情報取得部１７と、を備える。以下、図１Ｂを参照しながら、本実施形態の車両用情報処理装置１の構成を説明する。
　識別データ入力部１１は、本例の車両用情報処理装置１が適用される車両の乗員を識別するための識別データを入力するインターフェースである。そして、その乗員が、自分の識別データを記憶した端末装置（スマートフォンなどの携帯型コンピュータ）を携帯してその車両に乗ると、その乗員の識別データが、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線通信網を介して自動的又は半自動的に読み取られたり、あるいは識別データ入力部１１として設定された入力ボタン（不図示）を用いて乗員がマニュアル入力したりすることで、その乗員の識別データが入力される。また、その車両の無線キーにその乗員の識別データを記憶させ、その無線キーを用いて車両を解錠または始動した際に、その乗員の識別データを識別データ入力部１１に、短距離無線通信網を介して自動的又は半自動的に読み取ってもよい。
　嗜好データ記憶部１２は、乗員となり得る各人の嗜好に関する嗜好データを識別データと関連付けて記憶するデータベースなどの記憶装置である。嗜好データとは、各乗員が興味を示す趣味その他の事柄データであり、これをたとえばジャンル別に整理したものである。たとえば、Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが記憶されている。こうした嗜好データは、その乗員が自己の嗜好データをマニュアル入力してもよいし、その車両の利用実績から嗜好データを解析してもよい。
　これに代えて又はこれに加えて、その乗員がコンピュータを用いて閲覧するＷＥＢサイトの閲覧回数を日常的にカウントしたり、クレジットカードを用いて購入した商品をジャンル別にカウントしたりして、その乗員の個人データを嗜好データ記憶部１２に蓄積し、これを解析することで、嗜好データとしてもよい。たとえば、上記Ｘ氏は、日常的にスポーツ、食事、ファッションのジャンルに属するＷＥＢサイトの閲覧回数が、他のジャンルに比べて多いことが嗜好データ記憶部１２に蓄積された場合は、Ｘ氏の嗜好データをスポーツ、食事、ファッションとする。また、Ｘ氏が、クレジットカードを用いて月に２回、野球の観戦チケットを購入していることが嗜好データ記憶部１２に蓄積された場合には、Ｘ氏の嗜好データを、スポーツの中でも特に野球が好きであるとする。
　オブジェクト取得部１３は、車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得するものである。オブジェクト取得部１３は、車両センサ類２に含まれる、カメラなどの車載撮像装置で撮像した車両周囲の画像データから、特定のオブジェクト（物体）を認識する画像解析処理を実行する。またオブジェクト取得部１３は、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出する。オブジェクト取得部１３で特定されるオブジェクトとしては、特に限定されないが、建築物、店舗、車両、歩行者、道路、交差点などが含まれる。また、建築物には、横浜スタジアム（登録商標）、よこはまコスモワールド（登録商標）、横浜赤レンガ倉庫（登録商標）などのランドマークが含まれ、店舗には、飲食店、アパレル店などが含まれ、道路には、首都高速道路横羽線などが含まれる。
　利用実績検知部１４は、乗員が当該車両用情報処理装置１を利用した実績を検知するものである。利用実績検知部１４で検知されるものとしては、特に限定はされないが、識別データ入力部１１に入力された識別データに基づいて乗員を特定し、その乗員が当該車両用情報処理装置１を利用した時間及び／又は頻度に応じた利用実績値を演算する。利用実績検知部１４で演算された利用実績値は、通知データ生成部１６へ出力され、利用実績値の大小に応じて、生成する通知データが決定される。この詳細は後述する。なお、必要に応じて利用実績検知部１４を省略してもよい。
　判定部１５は、オブジェクト取得部１３で取得された、オブジェクトデータに含まれるオブジェクトが、車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定する。オブジェクト取得部１３は、車載撮像装置で撮像した車両周辺の画像データからオブジェクトを抽出するほか、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出する。そのため、抽出されたオブジェクトが、車両の周辺に存在していても、乗員から視覚又は聴覚により認識できない位置関係その他の環境関係にあることも少なくない。車両の周辺に存在していても、乗員から視覚又は聴覚により認識できないオブジェクトに関する情報を乗員に通知しても、却って乗員がストレスを覚えることもあり得るので、判定部１５は、オブジェクト取得部１３で取得されたオブジェクトが、乗員により認識可能か否かを判定し、その結果を通知データ生成部１６へ出力する。
　判定部１５は、車載撮像装置で撮像した車両周辺の画像データからオブジェクトを抽出した場合には、車載撮像装置により視認できるため、当該オブジェクトは乗員により認識可能と判定する。これに対して、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出した場合には、車載撮像装置で撮像した車両周辺の画像データと照合することで、オブジェクト取得部１３で取得されたオブジェクトが、乗員により認識可能か否かを判定する。なお、上述の例においては、視覚又は聴覚により認識可能か否かを判定する例を示したが、これに限定されない。例えば、体で感じることができる振動、揺れや車両の動きに応じた加速度や加速度重力なども認識可能として判断することができる。
　通知データ生成部１６は、嗜好データ記憶部１２に記憶された、識別データに関連付けられたその乗員の嗜好データと、判定部１５により乗員が認識可能と判定されたオブジェクトとに基づいて、その乗員に対する通知データを生成する。通知データ生成部１６で生成される通知データとは、後述する通知装置６から出力される音声、画像、キャラクタロボットの動作又はこれらの組み合わせである。例えば、嗜好データに「野球」が含まれるユーザに対して音声や文字画像による通知データを生成する場合、「昨夜の横浜・阪神戦は、８対７で横浜が勝ちました。その結果、横浜は首位の巨人に１ゲーム差に迫りました。」と通知する。また、通知データは、乗員に対し、認識可能と判定されたオブジェクトとして生成される場合、乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含んでもよい。たとえば、嗜好データに「パン」が含まれるユーザに対して、車両から所定距離（例えば５０ｍ）に含まれる「パン」に関連するオブジェクトとして「ベーカリー」を検知した場合、通知データ生成部は、「５０ｍ先にベーカリーがあります」と通知データを生成して通知する。
　本実施形態の通知データ生成部１６は、まず第１に、その乗員の嗜好データが嗜好データ記憶部１２に記憶されているか否か、もしくは嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすか否かと、判定部１５によりその乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する。嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすというのは、嗜好データ記憶部１２に、その乗員の嗜好を十分に反映する程度の信頼性のある嗜好データが蓄積されているという意味である。
　より具体的には、通知データ生成部１６は、判定部１５により乗員が認識可能と判定されたオブジェクトが車両の周辺に存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして優先的に生成する。また、通知データ生成部１６は、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されていない場合、又は、嗜好データ記憶部１２に記憶された嗜好データが所定条件を満たさない場合、嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成する。
　また、通知データ生成部１６は、嗜好データ記憶部１２に車両に搭乗した乗員の嗜好データが記憶され、かつ、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、判定部１５により乗員が認識可能と判定されたオブジェクトのうち、乗員の嗜好データと関連のあるオブジェクトを通知データとして生成する。
　さらに、通知データ生成部１６は、利用実績検知部１４で検知された利用実績値の大小に応じて、以下のように通知データを生成する。まず、通知データ生成部１６は、利用実績検知部１４により検知された、その車両に搭乗した乗員の利用実績値が、所定値未満の場合、この乗員の嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成する。その車両用情報処理装置１の利用実績値が小さいと、その乗員の嗜好データも十分信頼性があるとは言えないからである。
　これに対して、通知データ生成部１６は、利用実績検知部１４により検知された、その車両に搭乗した乗員の利用実績値が、所定値よりも大きい場合、当該乗員の嗜好データと、認識可能と判定されたオブジェクトとに基づいて、通知データを生成する。
　車両センサ類２は、上述した車載撮像装置のほか、車両の周辺の障害物を検出するレーダ装置、ＧＰＳ受信機を含む自車位置検出装置、車両の操舵角を検出する舵角センサ、車両の加速・減速を検出する加減速センサ、車両の室内を撮像する室内カメラなどが含まれる。車両センサ類２で検出した検出信号は、オブジェクト取得部１３と車両情報取得部１７へ出力される。
　地図データベース３は、たとえば各種施設や特定の地点の位置情報を含む三次元高精度地図情報を格納し、オブジェクト取得部１３及び車両情報取得部１７からアクセス可能とされたメモリである。地図データベース３に格納された三次元高精度地図情報は、データ取得用車両を用いて実際の道路を走行した際に検出された道路形状に基づく三次元地図情報であり、地図情報とともに、カーブ路及びそのカーブの大きさ（たとえば曲率又は曲率半径）、道路の合流地点、分岐地点、料金所、車線数の減少位置、サービスエリア／パーキングエリアなどの詳細かつ高精度の位置情報が、三次元情報として関連付けられた地図情報である。
　通知装置６は、スピーカ、ディスプレイ又はキャラクタロボットの少なくともいずれかを含み、音声による通知データをスピーカから車内に出力し、文字を含む画像による通知データをディスプレイに表示し、通知データをキャラクタロボットの動作により表現する。なお、キャラクタロボットとは、擬人化された三次元車載ロボットであって、音声又は文字画像とともに顔や手の動作により通知データを表現するものである。二次元の画像をディスプレイに表示したものであってもよい。
　上述したように、乗員の嗜好データを嗜好データ記憶部１２に記憶する際に、その乗員がコンピュータを用いて閲覧するＷＥＢサイトの閲覧回数を日常的にカウントしたり、クレジットカードを用いて購入した商品をジャンル別にカウントしたりして、その乗員の個人データを嗜好データ記憶部１２に蓄積し、これを解析することで、嗜好データとしてもよい。このような方法で嗜好データを収集する場合には、外部のＷＥＢサイトその他の外部サーバ４からの情報を、インターネットなどの電気通信回線網５及び車両１００の通信部８を介して収集する。
　次に、本実施形態の車両用情報処理装置１の情報処理手順を説明する。図２Ａ及び図２Ｂは、図１Ｂの車両用情報処理装置１にて実行される情報処理手順を示すフローチャートである。まず、乗員が車両に乗ると、ステップＳ１において、識別データ入力部１１にその乗員の識別データが入力される。識別データ入力部１１は、この識別データとともに、嗜好データ記憶部１２から、その乗員の嗜好データその他の属性を取得し、識別データとともに通知データ生成部１６へ出力する。
　ステップＳ２において、車両情報取得部１７は、車両センサ類２及び地図データベース３から車両に関する情報を取得し、通知データ生成部１６へ出力する。この車両に関する情報には、定常的な車両の状態情報のほか、車両の故障情報や交通機関の事故情報その他の安全に関わる情報も含まれる。そして、ステップＳ３において、通知データ生成部１６は、車両情報取得部１７で取得した車両情報の中に、安全性に関わって通知を必要とする情報があるか否かを判定し、通知が必要な安全性に関わる情報がある場合はステップＳ４へ進み、通知装置６を用いて優先的に通知する。通知後は、一旦処理を終了する。
　ステップＳ３において、通知が必要な安全性に関わる情報がない場合はステップＳ５へ進み、話題提供フラグがＯＮであるか否かを判定する。話題提供フラグがＯＮである場合はステップＳ６へ進み、話題提供フラグがＯＦＦの場合はステップＳ１へ戻る。この話題提供フラグとは、本実施形態の車両用情報処理装置１を用いて、運転者及び同乗者に対し、音声、画像、キャラクタロボットの動作及びこれらの組み合わせの媒体を介して、情報を提供し、又は乗員との間で会話するルーチンを実行するか否かを設定するためのフラグである。常時ＯＮとしてもよいが、乗員の希望に応じて所定の入力ボタンによりＯＮ／ＯＦＦの設定を可能としてもよい。
　話題提供フラグがＯＮである場合、ステップＳ６~Ｓ１５の話題提供ルーチンを実行する。まずステップＳ７において、通知データ生成部１６は、利用実績検知部１４により検知された利用実績値が、所定値以上であるか否かを判定し、所定値以上である場合はステップＳ８へ進み、所定値未満である場合はステップＳ１１へ進む。
　ステップＳ８において、通知データ生成部１６は、識別データに関連付けて記憶されたその乗員の嗜好データが嗜好データ記憶部１２に記憶され、且つその嗜好データが所定の条件を満たすか否かを判定し、所定の条件を満たしている場合はステップＳ９へ進み、所定の条件を満たしていない場合はステップＳ１１へ進む。なお、嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすというのは、嗜好データ記憶部１２に、その乗員の嗜好を十分に反映する程度の信頼性のある嗜好データが蓄積されているという意味である。
　ステップＳ９において、通知データ生成部１６は、オブジェクト取得部１３で取得された１又は複数のオブジェクトが、ステップＳ８で判定された嗜好データに適合するか否かを判定し、適合するオブジェクトがある場合はステップ１０へ進み、適合するオブジェクトがない場合はステップＳ１１へ進む。
　ステップＳ１０において、通知データ生成部１６は、ステップＳ９にて判定した嗜好データに適合するオブジェクトの中に、乗員が視覚又は聴覚により認識可能なオブジェクトがあるか否かを判定し、ある場合はステップＳ１２へ進み、ない場合はステップＳ１３へ進む。
　ステップＳ１２において、利用実績値が所定値以上であり、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものであり、この嗜好データに適合するオブジェクトが乗員の周辺に存在し、且つそのオブジェクトが視覚又は聴覚により認識可能であるという条件が成立するので、その認識可能なオブジェクトに関する情報を優先的に通知装置６へ出力し、乗員に通知する。
　図３は、ステップＳ１２に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されているものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在走行中の前方に駅前アーケード街が観察され、その中にラーメン屋８が目視可能に認識されているものとする。
　このような状況において、通知データ生成部１６は、乗員の嗜好に適合するオブジェクトであって視覚により認識可能な「ラーメン屋」に関する情報を優先して乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『前方に見えるラーメン屋「ＸＸＸ」は、全国で有名な博多ラーメンを提供するお店で、とんこつ味の「特製ＸＸＸラーメン」がお勧めです。駐車場は、お店の向う隣りに５台のスペースがあります。』といった音声による通知データを出力する。
　この通知に際しては、通知対象となるオブジェクトに関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『前方にラーメン屋「ＸＸＸ」が見えますが、このお店の詳細を知りたいですか？』と聞いてから、そのお店の情報（営業時間、定休日、メニュー、価格など）を検索したり、情報を徐々に詳細にして出力したりしてもよい。
　ステップＳ１３において、利用実績値が所定値以上であり、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものであり、この嗜好データに適合するオブジェクトが乗員の周辺に存在するが、そのオブジェクトが視覚又は聴覚により認識可能ではないという条件が成立するので、認識不可能なオブジェクトではなく、嗜好に適合するオブジェクトに関する情報を通知装置６へ出力し、乗員に通知する。
　図４は、ステップＳ１３に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されているものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在、高速道路を走行中であり、その前方には高速道路のみが観察されているものとする。
　このような状況において、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得されるオブジェクトは、その乗員の嗜好データと関係が希薄なため、通知データ生成部１６は、乗員の嗜好に適合するオブジェクトである野球（スポーツジャンル）に関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『昨夜の横浜・阪神戦は、８対７で横浜が勝ちました。その結果、横浜は首位の巨人に１ゲーム差に迫りました。』といった音声による通知データを出力する。
　この通知に際しては、通知対象となる嗜好データである野球に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『昨夜の横浜・阪神戦の結果を知りたいですか？』と聞いてから、その試合の情報（得点結果、勝利・敗戦投手、ホームラン、順位の変動など）を検索したり、情報を徐々に詳細にして出力したりしてもよい。
　さて、ステップＳ７において利用実績値が所定値未満である場合、ステップＳ８において所定の条件を満たす嗜好データが嗜好データ記憶部１２に記憶されていない場合、ステップＳ９において嗜好データに適合するオブジェクトがない場合、これらいずれの場合もステップＳ１１へ進み、通知データ生成部１６は、視覚又は聴覚にて認識可能なオブジェクトがオブジェクトデータに存在するか否かを判定し、存在する場合はステップＳ１４へ進み、存在しない場合はステップＳ１５へ進む。
　ステップＳ１４において、利用実績値が所定値未満であり、又は、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものではなく、又は、この嗜好データに適合するオブジェクトが乗員の周辺に存在しない場合であって、且つそのオブジェクトが視覚又は聴覚により認識可能であるという条件が成立するので、その認識可能なオブジェクトに関する情報を優先的に通知装置６へ出力し、乗員に通知する。
　図５は、ステップＳ１４に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏の嗜好データは、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されていないものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在走行中の前方によこはまコスモワールド（登録商標）が観察され、その中に観覧車が目視可能に認識されているものとする。
　このような状況において、嗜好データ記憶部１２に記録されているその乗員の嗜好データは、通知データの生成に使用するには信頼性が低いため、通知データ生成部１６は、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得され、且つ認識可能なオブジェクトに関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『前方に見える観覧車は、よこはまコスモワールドに設置された、横浜のシンボルとしての顔を持つ「コスモクロック２１」と呼ばれる世界最大の大観覧車です。』といった音声による通知データを出力する。
　この通知に際しては、通知対象となる視認可能なオブジェクトである観覧車に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『観覧車の内容を知りたいですか？』と聞いてから、その観覧車の情報を検索したり、情報を徐々に詳細にして出力したりしてもよい。
　ステップＳ１５において、利用実績値が所定値未満であり、又は、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものではなく、又は、この嗜好データに適合するオブジェクトが乗員の周辺に存在しない場合であって、且つそのオブジェクトが視覚又は聴覚により認識可能でないという条件が成立するので、その乗員の属性に関する一般的なコンテンツを通知装置６へ出力し、乗員に通知する。
　図６は、ステップＳ１５に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏の嗜好データは、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されていないものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在、高速道路を走行中であり、その前方には高速道路のみが観察されているものとする。
　このような状況において、嗜好データ記憶部１２に記録されているその乗員の嗜好データは、通知データの生成に使用するには信頼性が低い一方、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得されるオブジェクトも、乗員の興味が湧くものかわからないため、通知データ生成部１６は、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得され、且つ一般的なオブジェクトに関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『次のＩＣを出たところに、美味しいシュウマイのお店があります』といった音声による通知データを出力する。
　この通知に際しては、通知対象となる視認不可能なオブジェクトであるシュウマイ店に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『シュウマイ店の内容を知りたいですか？』と聞いてから、そのシュウマイ店の情報を検索したり、情報を徐々に詳細にして出力したりしてもよい。
　以上のように、本実施形態の車両用情報処理装置１及び方法によれば、嗜好データ記憶部１２に記憶された、識別データに関連付けられた乗員の嗜好データと、判定部１５により乗員が認識可能と判定されたオブジェクトとに基づいて、車両に搭乗した乗員に対する通知データを生成する。換言すれば、乗員の嗜好データの信頼性と認識可能なオブジェクトの存在との比率に応じて通知データの内容を決定するので、個々の乗員の嗜好や車両走行中の周辺環境に応じて、その乗員に適したコンテンツを提供することができ、より一層興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されているか否か、もしくは嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすか否かと、判定部１５により乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する。すなわち、嗜好データの信頼性とオブジェクトの認識可能性とに応じて生成する通知データを決定するので、その乗員に適したコンテンツを提供できる可能性が高くなる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして優先的に生成するので、少なくとも視認可能な興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されていない場合、又は、嗜好データ記憶部１２に記憶された嗜好データが所定条件を満たさない場合、嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成するので、少なくとも視認可能な興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、嗜好データ記憶部１２に車両に搭乗した乗員の嗜好データが記憶され、かつ、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、判定部１５により乗員が認識可能と判定されたオブジェクトのうち、乗員の嗜好データと関連のあるオブジェクトを通知データとして生成するので、その乗員が最も興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、乗員の利用実績値の大小に応じて、生成する通知データを決定するので、過去の利用時における嗜好データを用いることができ、より一層興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の利用実績値が、所定値未満の場合、当該乗員の嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成するので、利用価値のない利用実績に関する情報を排除することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の利用実績値が、所定値よりも大きい場合、当該乗員の嗜好データと認識可能と判定されたオブジェクトとに基づいて、前記通知データを生成するので、過去の利用時における嗜好データを用いることができ、より一層興味が湧く情報を提供することができる。
　また、本実施形態の車両用情報処理装置１及び方法によれば、認識可能と判定されたオブジェクトとして生成される通知データは、乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含むので、より利用価値のあるコンテンツを提供することができる。
１…車両用情報処理装置
　１１…識別データ入力部
　１２…嗜好データ記憶部
　１３…オブジェクト取得部
　１４…利用実績検知部
　１５…判定部
　１６…通知データ生成部
　１７…車両情報取得部
２…車両センサ類
３…地図データベース
４…外部サーバ
５…電気通信回線網
６…通知装置
７…乗員の周辺に存在するオブジェクトデータ
８…通信部
Ｘ…乗員

Claims (11)

  1. 　車両の乗員を識別するための識別データを入力する識別データ入力部と、
    　前記乗員の嗜好に関する嗜好データを前記識別データと関連付けて記憶する嗜好データ記憶部と、
    　前記車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得するオブジェクト取得部と、
    　前記オブジェクトデータに含まれるオブジェクトが、前記車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定する判定部と、
    　前記嗜好データ記憶部に記憶された、前記識別データに関連付けられた乗員の嗜好データと、前記判定部により乗員が認識可能と判定されたオブジェクトとに基づいて、前記車両に搭乗した乗員に対する通知データを生成する通知データ生成部と、を備える車両用情報処理装置。
  2. 　前記通知データ生成部は、
    　前記車両に搭乗した乗員の嗜好データが前記嗜好データ記憶部に記憶されているか否か、もしくは前記嗜好データ記憶部に記憶された嗜好データが所定の条件を満たすか否かと、
    　前記判定部により乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する請求項１に記載の車両用情報処理装置。
  3. 　前記通知データ生成部は、
    　前記判定部により乗員が認識可能と判定されたオブジェクトが存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして優先的に生成する請求項２に記載の車両用情報処理装置。
  4. 　前記通知データ生成部は、
    　前記車両に搭乗した乗員の嗜好データが前記嗜好データ記憶部に記憶されていない場合、又は、前記嗜好データ記憶部に記憶された嗜好データが所定条件を満たさない場合、前記嗜好データを通知データとすることなく、前記認識可能なオブジェクトに関する情報を通知データとして生成する請求項２に記載の車両用情報処理装置。
  5. 　前記通知データ生成部は、
    　前記嗜好データ記憶部に前記車両に搭乗した乗員の嗜好データが記憶され、かつ、前記判定部により乗員が認識可能と判定されたオブジェクトが存在する場合、前記判定部により乗員が認識可能と判定されたオブジェクトのうち、前記乗員の嗜好データと関連のあるオブジェクトを通知データとして生成する請求項２に記載の車両用情報処理装置。
  6. 　前記乗員が当該車両用情報処理装置を利用した実績を検知する利用実績検知部をさらに備え、
    　前記利用実績検知部は、前記乗員が当該車両用情報処理装置を利用した時間又は頻度に応じた利用実績値を演算し、
    　前記通知データ生成部は、前記乗員の利用実績値の大小に応じて、生成する通知データを決定する請求項１~５のいずれか一項に記載の車両用情報処理装置。
  7. 　前記通知データ生成部は、
    　前記利用実績検知部により検知された、前記車両に搭乗した乗員の利用実績値が、所定値未満の場合、当該乗員の嗜好データを通知データとすることなく、前記認識可能なオブジェクトに関する情報を通知データとして生成する請求項６に記載の車両用情報処理装置。
  8. 　前記通知データ生成部は、
    　前記利用実績検知部により検知された、前記車両に搭乗した乗員の利用実績値が、所定値よりも大きい場合、当該乗員の嗜好データと前記認識可能と判定されたオブジェクトとに基づいて、前記通知データを生成する請求項６又は７に記載の車両用情報処理装置。
  9. 　前記オブジェクトデータに含まれるオブジェクトは、車載撮像装置により撮像された車外の画像データに基づいて特定された、建築物、店舗、車両、歩行者、交差点のいずれかである請求項１~８のいずれか一項に記載の車両用情報処理装置。
  10. 　前記車両に搭乗した乗員に対し、前記認識可能と判定されたオブジェクトとして生成される通知データは、前記乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含む請求項１~９のいずれか一項に記載の車両用情報処理装置。
  11. 　プログラムにより動作するコンピュータを用いて車両用情報を処理する方法であって、
    　前記コンピュータは、
    　車両の乗員を識別するための識別データを入力し、
    　前記乗員の嗜好に関する嗜好データを前記識別データと関連付けて記憶し、
    　前記車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得し、
    　前記オブジェクトデータに含まれるオブジェクトが、前記車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定し、
    　前記記憶された、前記識別データに関連付けられた乗員の嗜好データと、前記乗員が認識可能と判定されたオブジェクトとに基づいて、前記車両に搭乗した乗員に対する通知データを生成する車両用情報処理方法。
PCT/IB2019/001129 2019-09-16 2019-09-16 車両用情報処理装置及び方法 WO2021053365A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/IB2019/001129 WO2021053365A1 (ja) 2019-09-16 2019-09-16 車両用情報処理装置及び方法
CN201980100476.3A CN114424025A (zh) 2019-09-16 2019-09-16 车辆用信息处理装置及方法
US17/753,813 US11893890B2 (en) 2019-09-16 2019-09-16 Information processing device and method for vehicle
JP2021546490A JP7371692B2 (ja) 2019-09-16 2019-09-16 車両用情報処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2019/001129 WO2021053365A1 (ja) 2019-09-16 2019-09-16 車両用情報処理装置及び方法

Publications (1)

Publication Number Publication Date
WO2021053365A1 true WO2021053365A1 (ja) 2021-03-25

Family

ID=74884584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2019/001129 WO2021053365A1 (ja) 2019-09-16 2019-09-16 車両用情報処理装置及び方法

Country Status (4)

Country Link
US (1) US11893890B2 (ja)
JP (1) JP7371692B2 (ja)
CN (1) CN114424025A (ja)
WO (1) WO2021053365A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003097967A (ja) * 2001-09-20 2003-04-03 Toshiba Corp サービス情報提供システム及びその方法
JP2005077381A (ja) * 2003-09-03 2005-03-24 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム及び記録媒体
DE102008021183A1 (de) * 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
JP2010049349A (ja) * 2008-08-19 2010-03-04 Honda Motor Co Ltd 車両の視覚支援装置
JP2010204070A (ja) * 2009-03-06 2010-09-16 Toyota Motor Corp 情報端末装置
JP2017515101A (ja) * 2014-05-08 2017-06-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ ビデオ画像ストリーム中に含まれている車両の車両周辺部のオブジェクトに関する情報データを提供するための装置、並びに、方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966121B2 (ja) 2011-10-03 2016-08-10 株式会社ユピテル 運転支援システムおよび運転支援プログラム
US8660735B2 (en) * 2011-12-14 2014-02-25 General Motors Llc Method of providing information to a vehicle
US20180012197A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US10783558B2 (en) * 2017-08-07 2020-09-22 Harman International Industries, Incorporated System and method for motion onset consumer focus suggestion
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
US10737557B2 (en) * 2018-07-02 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic shading systems
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003097967A (ja) * 2001-09-20 2003-04-03 Toshiba Corp サービス情報提供システム及びその方法
JP2005077381A (ja) * 2003-09-03 2005-03-24 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム及び記録媒体
DE102008021183A1 (de) * 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
JP2010049349A (ja) * 2008-08-19 2010-03-04 Honda Motor Co Ltd 車両の視覚支援装置
JP2010204070A (ja) * 2009-03-06 2010-09-16 Toyota Motor Corp 情報端末装置
JP2017515101A (ja) * 2014-05-08 2017-06-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ ビデオ画像ストリーム中に含まれている車両の車両周辺部のオブジェクトに関する情報データを提供するための装置、並びに、方法

Also Published As

Publication number Publication date
US11893890B2 (en) 2024-02-06
US20220343765A1 (en) 2022-10-27
JPWO2021053365A1 (ja) 2021-03-25
CN114424025A (zh) 2022-04-29
JP7371692B2 (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
US10726360B2 (en) Vehicle control system, vehicle control method, and vehicle control program
US11287817B1 (en) System and method of providing recommendations to users of vehicles
KR102315335B1 (ko) 자율 차량들에 대해 할당된 승객들의 인식
JP7234169B2 (ja) 運行スケジュール決定装置、自動運転車両、運行スケジュール決定方法、およびプログラム
US20200309548A1 (en) Control apparatus, control method, and non-transitory computer-readable storage medium storing program
US9644967B2 (en) Recommendation information provision system
US7711485B2 (en) Merge support system
CN112449690B (zh) 用于自动驾驶车辆的乘客上车和下车的不方便
CN108153299A (zh) 车辆控制系统、服务器装置、车辆控制方法及存储车辆控制程序的介质
CN110239538A (zh) 车辆控制装置、车辆控制方法及存储介质
US11027651B2 (en) Vehicle control device, vehicle control system, vehicle control method, and storage medium
CN111310062A (zh) 匹配方法、匹配服务器、匹配系统以及存储介质
CN114115204A (zh) 管理装置、管理系统、管理方法及存储介质
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
CN111033596A (zh) 车辆控制系统、车辆控制方法及程序
JP2020149233A (ja) 車両制御システム、車両制御方法、及びプログラム
US20210188325A1 (en) Control device and control method
JP6888474B2 (ja) デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
JP2013003887A (ja) 車両操作診断装置、車両操作診断方法及びコンピュータプログラム
JP2019096124A (ja) 駐停車場所提案システム
JP2019032681A (ja) デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
JP2003329464A (ja) 走行情報記録再生装置およびその方法
WO2021053365A1 (ja) 車両用情報処理装置及び方法
KR20230068439A (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
JP2019121211A (ja) 駐車支援システム及び駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945729

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021546490

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945729

Country of ref document: EP

Kind code of ref document: A1