WO2016133060A1 - 情報処理システム、車載装置、及び、端末装置 - Google Patents

情報処理システム、車載装置、及び、端末装置 Download PDF

Info

Publication number
WO2016133060A1
WO2016133060A1 PCT/JP2016/054364 JP2016054364W WO2016133060A1 WO 2016133060 A1 WO2016133060 A1 WO 2016133060A1 JP 2016054364 W JP2016054364 W JP 2016054364W WO 2016133060 A1 WO2016133060 A1 WO 2016133060A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
notification
display
application
driver
Prior art date
Application number
PCT/JP2016/054364
Other languages
English (en)
French (fr)
Inventor
雅史 赤地
陽樹 小林
静恵 加藤
古郡 弘滋
昌史 古賀
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP16752446.1A priority Critical patent/EP3260816B1/en
Priority to US15/533,526 priority patent/US10569652B2/en
Priority to CN201680010688.9A priority patent/CN107250729B/zh
Publication of WO2016133060A1 publication Critical patent/WO2016133060A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1876Displaying information according to relevancy according to vehicle situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/195Blocking or enabling display functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to an information processing system, an in-vehicle device, and a terminal device.
  • the center has a travel caution location DB that stores the environment information in which the vehicle is driven and the travel caution location information that the vehicle needs to travel with caution.
  • the vehicle location information and environment information are acquired and transmitted to the center, which identifies the location information and the travel caution location information corresponding to the environment information received from the in-vehicle device from the travel caution location DB and distributes them to the in-vehicle device.
  • the vehicle-mounted device notifies the driver by displaying the driving caution location information distributed from the center on the display or outputting a reading voice from the speaker.
  • an object of the present invention is to provide an information processing system, an in-vehicle device, and a terminal device that perform display on a display device according to information to be notified.
  • an information processing system includes an in-vehicle device mounted on a vehicle, a terminal device capable of communicating with the in-vehicle device, and an information processing device capable of communicating with the terminal device.
  • the vehicle-mounted device is connected to a head-up display that is a display device that can visually recognize the information displayed by the driver, and the information displayed by the driver and passengers other than the driver is visually recognized.
  • a display panel that is a possible display device, the terminal device receives notification information for notifying predetermined information, transmits the notification information to the in-vehicle device, and also provides notification related information related to the notification information
  • the information processing device displays information based on the notification information in the in-vehicle device based on the notification related information received from the terminal device.
  • a display device to be determined, and display location information indicating the determined display device is directly transmitted to the in-vehicle device or transmitted to the in-vehicle device via the terminal device, and the in-vehicle device is transmitted from the terminal device to the in-vehicle device.
  • the notification information is received, the display location information is received from the information processing device, and information based on the notification information is displayed on the display device indicated by the received display location information.
  • the present invention it is possible to display on the display device according to the information to be notified.
  • FIG. 1 is a diagram illustrating a configuration of an information processing system according to the first embodiment.
  • FIG. 2 is a functional block diagram of the information processing system.
  • FIG. 3 is a diagram schematically illustrating a relationship between the notification application and the notification aggregation application.
  • FIG. 4 is a flowchart showing the operation of the information processing system.
  • FIG. 5 is a diagram illustrating a flow of data performed between applications installed in each device of the information processing system.
  • FIG. 6 is a flowchart showing the operation of the control server.
  • FIG. 7 is a diagram illustrating an example of the notification information display table.
  • FIG. 8 is a flowchart showing the operation of the navigation device.
  • FIG. 9 is a diagram illustrating an example of the display screen of the head-up display and the display panel.
  • FIG. 10 is a diagram illustrating a configuration of an information processing system according to the second embodiment.
  • FIG. 11 is a diagram illustrating a configuration of an information processing system according to the third embodiment.
  • FIG. 1 is a diagram illustrating a configuration of an information processing system 1 according to the first embodiment.
  • an information processing system 1 includes a navigation device 3 (on-vehicle device) mounted on a vehicle 2 and a mobile terminal 5 (terminal) connected to a network 6 including the Internet, a telephone network, and the like. Device) and a control server 7 (information processing device) connected to the network 6.
  • the notification server 8 is connected to the network 6.
  • the notification server 8 is a server that provides a notification system that notifies the mobile terminal 5 of predetermined information.
  • the portable terminal 5 is a portable terminal owned by a driver mounted on the vehicle 2, and is, for example, a smartphone or a tablet terminal.
  • the portable terminal 5 is connected to the navigation device 3 by near field communication such as Bluetooth (registered trademark).
  • the mobile terminal 5 can be connected to the network 6.
  • a notification application that is an application for using the notification system provided by the notification server 8 is installed in the mobile terminal 5.
  • the control server 7 is a server device that uses the mobile terminal 5 as a client.
  • the control server 7 communicates with the mobile terminal 5, executes a predetermined process in response to a request from the mobile terminal 5 as a client, and transmits a processing result to the mobile terminal 5.
  • the navigation device 3 is a device that executes functions such as map display, route search to a destination, route guidance, and the like in accordance with operations of the driver and passengers other than the driver.
  • the navigation device 3 includes a display panel 33a, which will be described later, and displays various types of information on the display panel 33a.
  • the display panel 33a is provided at a position where a driver such as a center console and a passenger boarding the vehicle 2 other than the driver can visually recognize the information displayed on the display panel 33a.
  • the head-up display 4 is connected to the navigation device 3.
  • the head-up display 4 is a display device that displays information that assists the driver's driving based on the road and traffic information on the road in front of the driver's seat viewed through the windshield.
  • the head-up display 4 is a combiner-type display device that includes a translucent screen called a “combiner” on the windshield side of the vehicle 2 and displays information using the combiner.
  • the head-up display 4 projects an image through the combiner so that a virtual image is formed at the focal point of the line of sight of the person sitting on the driver's seat. Therefore, only the driver can visually recognize the information displayed on the head-up display 4.
  • FIG. 2 is a functional block diagram of the information processing system 1 according to the present embodiment.
  • the navigation device 3 includes a control unit 31, a storage unit 32, a touch panel 33, a short-range wireless communication unit 34, a pressure sensor 35, a camera 36, an audio output unit 37, Is provided.
  • the control unit 31 includes a CPU, a ROM, a RAM, other control circuits, and the like, and controls each unit of the navigation device 3.
  • the storage unit 32 includes a hard disk, a nonvolatile memory such as an EEPROM, and stores data in a rewritable manner.
  • the storage unit 32 stores a plurality of applications to be described later.
  • the storage unit 32 stores map data.
  • the map data includes information on nodes indicating intersections and other connection points on the road network, information on links indicating road sections between nodes, names of administrative divisions on the map, roads, facilities, intersections, etc. Information about.
  • the storage unit 32 also stores drawing data for displaying information on the head-up display 4 connected to the control unit 31 and a display panel 33a described later.
  • the touch panel 33 includes a display panel 33a and a touch sensor 33b.
  • the display panel 33 a includes a panel such as a liquid crystal display or an EL (Electro Luminescent) display, and displays various information on the display panel 33 a under the control of the control unit 31.
  • the touch sensor 33b is disposed so as to overlap the display panel 33a, detects a user's touch operation, and outputs a signal indicating the touch operation to the control unit 31.
  • the touch panel 33 is provided at a position where a passenger who rides on the vehicle 2 other than the driver, such as a center console, can visually recognize the information displayed on the display panel 33a.
  • a communication link is established with the portable terminal 5 in accordance with a communication standard related to short-range wireless communication such as Bluetooth, and the portable terminal 5 is communicated.
  • the pressure sensor 35 is provided in each seat in the vehicle, and outputs a different signal to the control unit 31 depending on whether or not a passenger is sitting in each seat.
  • the control unit 31 detects the presence or absence of a passenger in each seat provided in the vehicle 2 based on a signal input from each pressure sensor 35 by a function of the in-vehicle situation monitoring application KA described later.
  • the camera 36 is a photographing device provided at a position where at least the inside of the vehicle 2 can be photographed.
  • the camera 36 performs imaging at a predetermined cycle (for example, every 100 ms) under the control of the control unit 31, generates captured image data based on the imaging result, and outputs the captured image data to the control unit 31.
  • the control unit 31 acquires and analyzes the captured image data by the function of the in-vehicle situation monitoring application KA described later.
  • the audio output unit 37 includes a speaker (not shown), and outputs audio based on the audio signal input from the control unit 31 from the speaker.
  • the head-up display 4 is connected to the navigation device 3 and displays information for assisting the driver's driving based on the running road and traffic information under the control of the control unit 31.
  • the portable terminal 5 includes a terminal control unit 51, a terminal storage unit 52, a terminal touch panel 53, a short-range wireless communication unit 54, and a network communication unit 55.
  • the terminal control unit 51 includes a CPU, a ROM, a RAM, other peripheral circuits, and the like, and controls each unit of the mobile terminal 5.
  • the terminal storage unit 52 includes a nonvolatile memory and stores various data.
  • the terminal storage unit 52 stores the notification aggregation application TA.
  • the notification aggregation application TA will be described later.
  • the terminal storage unit 52 stores an application other than the notification aggregation application TA as a notification application.
  • the notification application will be described later.
  • the terminal touch panel 53 displays various types of information under the control of the terminal control unit 51, detects a touch operation by the user, and outputs it to the terminal control unit 51.
  • the short-range wireless communication unit 54 establishes a communication link with the navigation device 3 according to a predetermined communication standard related to short-range wireless communication, and the navigation device 3 according to the communication standard. Communicate with.
  • the network communication unit 55 communicates with devices connected to the network 6 according to a predetermined communication standard under the control of the terminal control unit 51.
  • control server 7 includes a server control unit 71, a server storage unit 72, and a server communication unit 73.
  • the server control unit 71 includes a CPU, ROM, RAM, and other peripheral circuits, and controls each unit of the control server 7.
  • the server storage unit 72 stores a control program executed by the server control unit 71 and data processed by the server control unit 71.
  • the server storage unit 72 stores a plurality of applications to be described later.
  • the server storage unit 72 stores a plurality of notification information display tables T corresponding to passenger information described later.
  • the notification information display table T will be described later.
  • the server communication unit 73 communicates with devices connected to the network 6 according to a predetermined communication standard under the control of the server control unit 71.
  • the portable terminal 5 in the information processing system 1 of this embodiment receives the notification information which notifies predetermined information from the notification server 8, and performs the operation
  • FIG. . This operation is enabled by the function of the notification aggregation application TA stored in the terminal storage unit 52.
  • the notification aggregation application TA is an application for processing notification information received by the notification application, and is installed in the mobile terminal 5 in advance.
  • the notification application installed in the mobile terminal 5 according to the present embodiment will be specifically described, and notification information received by each notification application and the notification contents of the notification information will be described.
  • FIG. 3 is a diagram schematically showing the relationship between the notification application installed in the mobile terminal 5 and the notification aggregation application TA.
  • the agent application EA is installed in the mobile terminal 5.
  • the agent application EA is an application provided by the carrier of the mobile terminal 5, for example, and is an application for using a system provided by the agent server.
  • the agent server is a server that provides a system that notifies, for example, information useful for a user who owns the mobile terminal 5 as notification information.
  • the agent application EA By installing the agent application EA on the mobile terminal 5, the user can acquire information useful to the user as notification information by push notification from the agent server.
  • examples of the notification contents of the notification information acquired by the agent application EA include traffic information, heavy rain / flood information, earthquake information, toll information, and weekend outing information.
  • Traffic information is information related to traffic such as traffic jams, lane restrictions, traffic closures, and traffic restrictions. Since the traffic information is information related to the traveling of the vehicle 2, it is desirable that the driver who drives the vehicle 2 obtains it regardless of the presence or absence of a passenger other than the driver.
  • the heavy rain / flood information is information related to the weather such as a preset region or a region where the vehicle 2 is traveling.
  • the heavy rain / flood information is information related to local weather when the vehicle 2 travels, and includes information related to travel of the vehicle 2. Therefore, the heavy rain / flood information is information that is preferably acquired by the driver regardless of the presence or absence of a passenger other than the driver.
  • the earthquake information is information on the epicenter of the earthquake that occurred, an earthquake warning, traffic regulation due to the earthquake, and information related to the travel of the vehicle 2. Therefore, the earthquake information is information that is desirably acquired by the driver regardless of the presence or absence of a passenger other than the driver.
  • the charge information is information related to the charge for using the mobile terminal 5 owned by the driver. Since the charge information is not information related to the traveling of the vehicle 2, it is information that the driver does not need to obtain.
  • the weekend outing information is information on local events that are held around the destination on weekends, and is not information related to the traveling of the vehicle 2, and thus information that the driver does not need to obtain. However, since the outing information on the weekend includes useful information about the destination, it is desirable that at least passengers other than the driver obtain it.
  • the SNS application SA is installed in the mobile terminal 5.
  • the SNS application SA is an application for using the SNS provided by the SNS server as the notification server 8.
  • the SNS server is a server that provides an SNS capable of posting text, for example.
  • a user who owns the mobile terminal 5 can acquire his / her own post or another user's post using the SNS application SA by installing the SNS application SA in the mobile terminal 5. Further, the user can acquire notification information from the SNS server by push notification.
  • update information and update information are examples of notification contents of notification information acquired by the SNS application SA.
  • Update information is information related to version upgrade of the SNS application SA.
  • the update information is information that does not need to be acquired immediately since the driver cannot update the application while driving the vehicle 2.
  • the update information is information that needs to be acquired by a driver and a passenger other than the driver.
  • the update information is information for notifying the posting when a person who communicates with the driver using SNS posts a photograph or text.
  • the post may include information related to the driver's private, and the update information is information that is desired to be acquired only by the driver.
  • a display area such as a photograph or a long text.
  • the contents displayed on the display panel 33a can be seen by passengers other than the driver, in this case, it is necessary to consider the state of the passengers other than the driver.
  • the update information is displayed on the head-up display 4 so that only the driver can be acquired when there is a passenger other than the driver, and the notification content can be reliably acquired when the passenger other than the driver is sleeping.
  • the notification content can be acquired with certainty.
  • a messenger application MA is installed in the mobile terminal 5.
  • the messenger application MA is an application for using a system provided by the messenger server as the notification server 8.
  • the messenger server is a server that provides a system for exchanging messages with a predetermined user in a chat format, for example.
  • a user who owns the mobile terminal 5 can exchange messages with a predetermined user in a chat format by installing the messenger application MA on the mobile terminal 5.
  • the user can acquire notification information from the messenger server by push notification.
  • update information and message information are examples of the notification contents of the notification information acquired by the messenger application MA.
  • the update information is information related to the version upgrade of the messenger application MA, and is information that is less necessary for passengers including the driver.
  • Message information is information about the message.
  • the message information is addressed to the driver and is private information. That is, the message information is information that is preferably acquired only by the driver.
  • the message information there are pictograms in addition to text as the mode of the message. That is, the message based on the message information is preferably displayed on the display panel 33a for reasons such as display area and resolution.
  • the contents displayed on the display panel 33a can be seen by passengers other than the driver, in this case, it is necessary to consider the state of the passengers other than the driver.
  • the message based on the message information is displayed on the head-up display 4 so that only the driver can be acquired when there is a passenger other than the driver, and the notification content is surely ensured when the passenger other than the driver is sleeping.
  • the display panel 33a When it is displayed on the display panel 33a so that it can be acquired and there is no passenger other than the driver, it is output together with the display by voice so that the notification content can be acquired reliably.
  • the mail application MAA is installed in the mobile terminal 5.
  • the mail application MAA is an application for using a system provided from a mail server as the notification server 8.
  • the mail server is a server that provides a system for sending and receiving mail.
  • a user who owns the mobile terminal 5 can acquire notification information by push notification from the mail server by installing the messenger application MA in the mobile terminal 5.
  • update information and mail information are examples of the notification contents of the notification information acquired by the mail application MAA.
  • Update information is information related to version upgrade of the mail application MAA, and is information that is less necessary for passengers including the driver.
  • Email information is information about email.
  • the email information is mainly private information addressed to the driver, but may include information useful for passengers other than the driver, such as advertisements. Therefore, e-mail information is mainly information that should be obtained by the driver, but if there is a passenger other than the driver, it is displayed so that the passenger including the driver can obtain notification that the e-mail information has been notified.
  • the notification contents are displayed on the display panel 33a so that the notification contents can be reliably acquired.
  • the notification contents are displayed and voiced so that the notification contents can be reliably acquired. Is output.
  • the music application MUA is installed in the mobile terminal 5.
  • the music application MUA is an application for using a system provided by the music server as the notification server 8.
  • a music server is a server that provides a system for playing music distributed by itself.
  • the user who owns the mobile terminal 5 can play back music delivered from, for example, a music server by installing the music application MUA. Further, the user can acquire notification information from the music application MUA by push notification.
  • update information and music information are given as examples of the notification contents of the notification information acquired by the music application MUA.
  • the update information is not information related to the traveling of the vehicle 2, and thus is less necessary for the driver. However, new music can be reproduced by updating the music application MUA based on the update information. Under this point of view, the update information is useful information for at least passengers other than the driver.
  • Music information is information such as the name of the music being played and the name of the artist.
  • the music information is information that can be acquired by operating the mobile terminal 5. Therefore, the music information is information that is desirably acquired only by a driver who is difficult to operate the mobile terminal 5 when the music application MUA receives the music information.
  • the news application NA is installed in the mobile terminal 5.
  • the news application NA is an application for using a system provided by the news server as the notification server 8.
  • the news server is a server that provides a system for transmitting information related to news, for example.
  • a user who owns the mobile terminal 5 can acquire notification information by installing a news application NA by push notification from a news server.
  • update information and news update information can be cited as examples of notification contents of notification information acquired by the news application NA.
  • the update information is information related to the upgrade of the news application NA, and is information that is less necessary for the driver and passengers other than the driver.
  • News update information is information on the latest events such as society and politics.
  • the news update information is information that is less necessary for the driver because it is not information related to the traveling of the vehicle 2, but information that is desirable for passengers including the driver to acquire because it includes useful information such as the latest events. It is.
  • the notification aggregation application TA uses the API (Application Programming Interface) having a function of exchanging information with other applications, and processes the notification information received by the notification application.
  • the notification aggregation application TA acquires the notification information
  • the notification aggregation application TA transmits notification-related information regarding the notification information to the control server 7.
  • the notification related information includes application information indicating the application that acquired the notification information, and notification content information indicating the notification content of the notification information.
  • the notification aggregation application TA acquires the notification information from the notification aggregation application TA by a predetermined API function. Next, the notification aggregation application TA generates notification related information including identification information for uniquely identifying the agent application EA (hereinafter referred to as “application ID”) as application information, and notification content information indicating traffic information. And transmitted to the control server 7.
  • application ID identification information for uniquely identifying the agent application EA
  • each device of the information processing system 1 performs the following operation using the notification server 8 as a trigger when the notification information is transmitted to the mobile terminal 5.
  • FIG. 4 is a flowchart showing the operation of the information processing system 1 according to the present embodiment.
  • 4A shows the operation of the notification server 8
  • FIG. 4B shows the operation of the mobile terminal 5
  • FIG. 4C shows the operation of the navigation device 3
  • FIG. 4D shows the control server. 7 shows the operation.
  • the operation of the information processing system 1 shown in FIG. 4 can be executed by the function of an application installed in each device.
  • FIG. 5 is a diagram showing an application installed in each device of the information processing system 1 and a data flow performed between the applications.
  • the notification aggregation application TA is installed in the mobile terminal 5.
  • the control server 7 is installed with a notification aggregation reception application TZA, a notification transmission application TSA, and an in-vehicle situation monitoring reception application KJA.
  • the navigation device 3 is installed with a notification receiving application TJA, an in-vehicle situation monitoring application KA, an audio output control application OSA, a notification display control application THA, and a display panel drawing application HBA.
  • the control unit 31 of the navigation device 3 generates passenger information indicating the conditions of passengers other than the driver in the vehicle 2 based on the detection signal and the captured image data acquired from the pressure sensor 35 and the camera 36. It is assumed that the data is transmitted to the control server 7. Specifically, the control unit 31 generates passenger information by the function of the in-vehicle situation monitoring application KA and transmits the passenger information to the control server 7 via the portable terminal 5.
  • the in-vehicle situation monitoring application KA includes information on the presence / absence of a passenger other than the driver in the vehicle 2 based on photographed image data based on a photographing result photographed by the function of the camera application CA and a detection signal from the pressure sensor 35.
  • the camera application CA is an application for controlling the camera 36.
  • Passenger information includes information on the presence or absence of a passenger other than the driver in the vehicle 2 and information on whether or not the passenger is sleeping when there is a passenger as the passenger status information.
  • Information on the presence / absence of a passenger other than the driver is generated based on, for example, a detection signal detected by the pressure sensor 35 by the function of the in-vehicle situation monitoring application KA.
  • the control unit 31 detects that there is a passenger other than the driver, and indicates that there is a passenger. Is generated.
  • Information on whether or not the passenger is sleeping is generated based on the photographed image data based on the photographing result of the camera 36, for example, by the function of the in-vehicle situation monitoring application KA.
  • the control unit 31 analyzes the acquired captured image data by the function of the in-vehicle situation monitoring application KA, and detects and detects a face area indicating the face position of a passenger other than the driver reflected in the captured image data. An eye region indicating the position of the eyes of a passenger other than the driver is detected from the face region. For the detection of the face area and the eye area, existing techniques such as pattern matching using a template representing the face and eyes can be used.
  • control unit 31 analyzes the image data corresponding to the detected eye area by the function of the in-vehicle situation monitoring application KA, and determines whether or not a passenger other than the driver is sleeping. For example, the control unit 31 detects that a passenger other than the driver is closing his / her eyes by pattern matching using a template with his / her eyes closed, detection of a white eye portion by white detection, and the like. The region is tracked, and when the passengers other than the driver close their eyes exceed a predetermined period, it is determined that the passengers other than the driver are sleeping. Then, the control unit 31 detects, based on the determination, that the boarding situation is a situation where the boarding person is sleeping by the function of the in-vehicle situation monitoring application KA.
  • the method for detecting the passenger's situation is not limited to that described above.
  • the notification server 8 transmits notification information for notifying the mobile terminal 5 of predetermined information (step SA1).
  • the terminal control unit 51 of the mobile terminal 5 receives the notification information by the function of the notification application stored in the terminal storage unit 52 (step SB1).
  • the terminal control unit 51 transmits notification related information related to the notification information received by the function of the notification application to the control server 7 by the function of the notification aggregation application TA (step SB2).
  • the terminal control unit 51 displays a message by the function of the messenger application MA.
  • Process notification information The terminal control unit 51 acquires the notification information received by the messenger application MA by the function of the notification aggregation application TA together with the processing of the notification information.
  • the terminal control unit 51 uses the function of the notification aggregation application TA, based on the acquired notification information, an application ID for identifying the messenger application MA as application information, and a notification indicating that the notification content is message information Generate content information.
  • the terminal control unit 51 transmits the application ID and the notification content information to the control server 7 by the function of the notification aggregation application TA.
  • the server control unit 71 of the control server 7 receives the notification related information by the function of the notification aggregation receiving application TZA (step SD1).
  • the server control unit 71 uses the functions of the notification transmission application TSA and the in-vehicle situation monitoring reception application KJA, and the notification information display table T stored in the server storage unit 72 and the notification related received by the function of the notification aggregation reception application TZA. Based on the information, information output related processing is executed (step SD2).
  • FIG. 6 is a flowchart showing the operation of the control server 7 in the information output related process.
  • the server control unit 71 of the control server 7 receives the passenger information by the function of the in-vehicle situation monitoring reception application KJA.
  • the server control unit 71 detects the conditions of passengers other than the driver based on the received passenger information by the function of the in-vehicle condition monitoring reception application KJA, and the notification information display table T corresponding to the detected passenger conditions Is specified (step SE1).
  • the server storage unit 72 stores a plurality of notification information display tables T according to the passenger's situation.
  • the server storage unit 72 includes a situation in which a passenger other than the driver is in the vehicle 2, a situation in which a passenger other than the driver is sleeping, and a passenger other than the driver in the vehicle 2.
  • the notification information display table T corresponding to the three situations, that is, the situation where there is no person, is stored.
  • FIG. 7 is a diagram illustrating an example of the notification information display table T.
  • FIG. 7A shows a notification information display table T1 when there is a passenger other than the driver on the vehicle 2
  • FIG. 7B shows a notification information display table T2 when the passenger other than the driver is sleeping.
  • FIG. 7C shows a notification information display table T3 in a situation where there is no passenger other than the driver in the vehicle 2.
  • Each notification information display table T shown in FIG. 7 has a notification information field F1, a display destination field F2, and an audio output field F3.
  • the notification information field F1 has an application ID field F11 and a notification content field F12.
  • the application ID field F11 stores the application ID of each application installed in the mobile terminal 5.
  • the notification content field F12 stores the notification content of the notification information received by each application. For example, since the agent application EA receives notification information having five different notification contents, five records are stored in the record of the agent application EA.
  • the display destination field F2 has a head-up display field F21 and a display panel field F22.
  • the head-up display field F21 stores information on whether or not information based on the notification information is displayed on the head-up display 4. “ ⁇ ” indicates display, and “ ⁇ ” indicates non-display.
  • the display panel field F22 stores information on whether or not information based on the notification information is displayed on the display panel 33a. As in the head-up display field F21, “ ⁇ ” indicates display and “ ⁇ ” indicates non-display.
  • the audio output field F3 has a reception notification field F31 and a text field F32.
  • the reception notification field F31 stores information on whether or not the notification application corresponding to the application ID outputs the notification information (hereinafter referred to as reception notification) by voice. “ ⁇ ” indicates output, and “ ⁇ ” indicates no output.
  • the text field F32 stores information on whether or not information based on the notification information is output by voice. “ ⁇ ” indicates output, and “ ⁇ ” indicates no output.
  • the server control unit 71 detects the passenger's situation based on the passenger information transmitted from the navigation device 3 by the function of the in-vehicle situation monitoring reception application KJA. And the server control part 71 specifies the notification information display table T corresponding to the detected passenger's situation from the three notification information display tables T stored in the server storage part 72 by the function of the in-vehicle situation monitoring reception application KJA. To do. As described above, the server control unit 71 is based on passenger information when there is a passenger other than the driver, when a passenger other than the driver is sleeping, and when there is no passenger other than the driver. One of the three situations is detected.
  • the server control unit 71 detects, based on the passenger information, that the passenger's situation is a situation where there is a passenger other than the driver, the server control unit 71 stores a notification stored in the server storage unit 72.
  • the notification information display table T1 is specified from the information display table T (step SE1).
  • the server control unit 71 refers to the notification information display table T1 by the function of the notification transmission application TSA, and determines whether or not the information indicated by the notification related information received from the mobile terminal 5 is stored (step SE2). ). More specifically, the server control unit 71 determines whether or not the information indicated by the application information included in the notification related information and the notification content information is stored in the notification information display table T1 by the function of the notification transmission application TSA. . That is, the server control unit 71 determines whether or not the application ID indicated by the application information and the notification content indicated by the notification content information are stored in the notification information display table T1.
  • the server control unit 71 uses the function of the notification aggregation reception application TZA to An application ID and notification content information in which the notification content indicates message information are received.
  • the server control unit 71 refers to the notification information display table T1 specified by the function of the in-vehicle situation monitoring reception application KJA, and determines whether the application ID of the messenger application MA and the notification content are stored. In this case, as illustrated in FIG. 6, the server control unit 71 determines that the application ID and the notification content are stored.
  • step SE6 the server control unit 71 performs the process of step SE6 by the function of the notification transmission application TSA. I do. The process of step SE6 will be described later.
  • the server control unit 71 specifies a record based on the determination by the function of the notification transmission application TSA.
  • the server control unit 71 specifies the record R1.
  • the server control unit 71 refers to the head-up display field F21 and the display panel field F22 associated with the specified record by the function of the notification transmission application TSA, and based on the information on whether or not the head-up display 4 is stored. Or / and the presence / absence of display on the display panel 33a is determined (step SE3). In the case of the record R1, the server control unit 71 determines that the message based on the message information is displayed on the head-up display 4 but not displayed on the display panel 33a.
  • the server control unit 71 sets the reception notification field F31 and the text field F32 by the function of the notification transmission application TSA. With reference to the presence / absence information stored, the presence / absence of voice output of the reception notification and the information based on the notification information is determined (step SE4). In the case of the record R1, the server control unit 71 determines that the message based on the reception notification and the message information is not output by voice.
  • the server control unit 71 outputs, with the function of the notification transmission application TSA, display location information indicating a display device that displays information based on the notification information and voice based on the determination results of step SE3 and step SE4.
  • Voice discrimination information indicating the discrimination result is generated. For example, in the case of the record R1, the server control unit 71 displays a message based on the message information on the head-up display 4 while displaying the display location information indicating that the message is not displayed on the display panel 33a, the message based on the reception notification, and the message information. Voice discrimination information indicating that no voice output is performed.
  • step SE3 determines whether the image is not displayed on the head-up display 4 and / or the display panel 33a. If it is determined in step SE3 that the image is not displayed on the head-up display 4 and / or the display panel 33a (step SE3: NO), the server control unit 71 does not generate display location information described later (step SE6). Since the server control unit 71 does not generate the display location information, the server control unit 71 does not transmit the display location information to the mobile terminal 5 in the process described later. Therefore, the information based on the notification information is not output including display by the head-up display 4 and / or the display panel 33a.
  • the server control unit 71 detects that the passenger's situation is a situation where a passenger other than the driver is sleeping based on the passenger information received by the function of the in-vehicle situation monitoring reception application KJA, the server storage unit 72
  • the notification information display table T2 is specified from the stored notification information display table T.
  • the server control unit 71 refers to the notification information display table T2 by the function of the notification transmission application TSA, and determines whether or not the information indicated by the notification related information received from the mobile terminal 5 is stored (step SE2). ).
  • step SE2 when it is determined that the application information and the notification content information are not stored (step SE2: NO), the server control unit 71 performs the process of step SE6 by the function of the notification transmission application TSA.
  • the server control unit 71 specifies the record by the application information and the notification content information by the function of the notification transmission application TSA.
  • the server control unit 71 specifies the record R3.
  • the server control unit 71 refers to the head-up display field F21 and the display panel field F22 associated with the specified record by the function of the notification transmission application TSA, and based on the information on whether or not the head-up display 4 is stored. Or / and the presence / absence of display on the display panel 33a is determined (step SE3). In the case of the record R3, the server control unit 71 determines that the news based on the news update information is displayed on the display panel 33a but not displayed on the head-up display 4.
  • the server control unit 71 When it is determined that the data is displayed on the head-up display 4 and / or the display panel 33a (step SE3: YES), the server control unit 71 refers to the reception notification field F31 and the text field F32 by the function of the notification transmission application TSA. Then, based on the stored information, the presence / absence of voice output of the received information and the news based on the news update information is determined (step SE4). In the case of the record R3, the server control unit 71 determines that no audio output is performed.
  • the server control unit 71 uses the function of the notification transmission application TSA to display display location information indicating a display device that displays information based on the notification information, reception notification, and notification information based on the determination results of step SE3 and step SE4.
  • Voice discrimination information indicating a discrimination result as to whether or not to output information based on the voice is generated. For example, in the case of the record R3, the server control unit 71 displays the news based on the news information on the display panel 33a, while displaying the display location information indicating that the news is not displayed on the head-up display 4, the news based on the reception notification and the news information. And voice discrimination information indicating that no voice output is performed.
  • step SE6 the server control unit 71 does not generate display location information.
  • the server control unit 71 detects that the passenger's situation is a situation in which there is no passenger other than the driver based on the passenger information received by the function of the in-vehicle situation monitoring reception application KJA, the server storage unit 72 stores it.
  • the notification information display table T3 is specified from the notification information display table T.
  • the server control unit 71 refers to the notification information display table T3 by the function of the notification transmission application TSA, and determines whether or not the information indicated by the notification related information received from the mobile terminal 5 is stored (step SE2). ).
  • step SE2 when it is determined that the application information and the notification content information are not stored (step SE2: NO), the server control unit 71 performs the process of step SE6 by the function of the notification transmission application TSA.
  • the server control unit 71 identifies the record by the application information and the notification content information by the function of the notification transmission application TSA. For example, when the messenger application MA receives message information notification information from the messenger server, the server control unit 71 specifies the record R4.
  • the server control unit 71 refers to the head-up display field F21 and the display panel field F22 associated with the specified record by the function of the notification transmission application TSA, and displays the head-up display 4 and / or the display panel 33a.
  • the presence or absence of display is determined (step SE3).
  • the server control unit 71 determines that a message based on the message information is displayed on the head-up display 4 and the display panel 33a.
  • the server control unit 71 determines that both output by voice.
  • the server control unit 71 outputs, with the function of the notification transmission application TSA, display location information indicating a display device that displays information based on the notification information and voice based on the determination results of step SE3 and step SE4.
  • Voice discrimination information indicating the discrimination result is generated.
  • the server control unit 71 uses display location information indicating that a message based on the message information is displayed on the head-up display 4 and the display panel 33a, and a voice based on the reception notification and the message based on the message information. Voice discrimination information indicating that output is performed is generated.
  • step SE6 the server control unit 71 does not generate display location information.
  • the server control unit 71 uses the function of the notification transmission application TSA to display the display location information generated in the output related process.
  • the voice discrimination information is transmitted to the portable terminal 5 (step SD3).
  • the terminal control unit 51 of the mobile terminal 5 receives the display location information and the voice discrimination information by the function of the notification aggregation application TA (step SB3).
  • the terminal control unit 51 transmits notification information, display location information, and voice discrimination information to the navigation device 3 by the function of the notification aggregation application TA (step SB4).
  • the control unit 31 of the navigation device 3 receives the notification information, the display location information, and the voice discrimination information by the function of the notification receiving application TJA (step SC1).
  • the notification reception application TJA is an application for communicating with the notification transmission application TSA and receiving predetermined information from the notification transmission application TSA.
  • the control unit 31 is an information output process that outputs information based on the notification information based on the notification information, the display location information, and the voice discrimination information by the functions of the notification display control application THA and the voice output control application OSA.
  • the notification display control application THA is an application for controlling the head-up display 4 that is a display device connected to the navigation device 3 and the display panel 33a included in the navigation device 3.
  • the audio output control application OSA is an application for controlling the speaker.
  • FIG. 8 is a flowchart showing the operation of the navigation device 3 in the information output process.
  • the control unit 31 determines whether to display information based on the notification information on the head-up display 4 and the display panel 33a based on the display location information by the function of the notification display control application THA (step SF1).
  • the control unit 31 uses the functions of the notification display control application THA and the sound output control application OSA based on the sound discrimination information. Along with the audio output, information based on the notification information is displayed on the head-up display 4 and the display panel 33a (step SF4).
  • the control unit 31 causes the display panel drawing application HBA to display information on the display panel 33a based on the notification information in a predetermined manner, and the function of the head-up display drawing application HUA.
  • the display panel drawing application HBA is an application for drawing predetermined information on the display panel 33a in a predetermined manner.
  • the head-up display drawing application HUA is an application for drawing predetermined information on the head-up display 4 in a predetermined manner.
  • FIG. 9 is a diagram showing an example of the display screen.
  • FIG. 9A shows the display screen 100 of the head-up display 4, and
  • FIG. 9B shows the display screen 104 of the display panel 33a.
  • the display screen 100 of the head-up display 4 shown in the example of FIG. 9A includes an information display screen 101 that displays information for assisting the driver's driving based on road information and traffic information, and information based on notification information.
  • a notification information display screen 102 for displaying The information display screen 101 displays information on guidance for the route searched by the navigation device 3, information indicating the speed of the vehicle 2, information indicating a warning to the driver, and the like in a predetermined mode by the function of the head-up display drawing application HUA. Is displayed. For example, guidance information for a route is displayed by an arrow image G1 as shown in FIG.
  • the notification information display screen 102 displays a display image Ga indicating a logo of the notification application that has received the notification information and text indicating information based on the notification information by the function of the head-up display drawing application HUA. For example, when the messenger application MA receives the message information, the notification information display screen 102 displays the messenger application MA logo image, the name of the message sender, and a message based on the message information. Only a predetermined number of characters are displayed from the beginning of the message.
  • the display screen 104 of the display panel 33a shown in the example of FIG. 9B displays a wide-area map based on map data on the substantially right half and a narrow-area map on the substantially left half by the function of the display panel drawing application HBA. To do.
  • Information based on the notification information is displayed so that a display image Ga indicating the logo of the notification application and text indicating information based on the notification information are superimposed on the map by the function of the display panel drawing application HBA.
  • the text is displayed in the text area A together with the text area A that displays the text.
  • a display image Ga indicating the logo of the news application NA and a text indicating that the news information has been received are displayed.
  • the structure which displays the content of news as a text may be sufficient.
  • step SF1 the control unit 31 uses the function of the notification display control application THA to send information based on the notification information to the head-up display 4 and the display panel 33a based on the display location information. If it is determined not to display (step SF1: NO), it is determined whether or not the information is displayed only on the head-up display 4 (step SF2).
  • step SF2 When it is determined that the information based on the notification information is displayed only on the head-up display 4 (step SF2: YES), the control unit 31 performs the sound output based on the sound determination information by the functions of the notification display control application THA and the sound output control application OSA. At the same time, information based on the notification information is displayed on the head-up display 4 (step SF5).
  • step SF2 when determining that the information based on the notification information is not displayed on the head-up display 4 (step SF2: NO), the control unit 31 displays the information only on the display panel 33a by the function of the notification display control application THA. It is determined whether or not (step SF3).
  • the control unit 31 uses the functions of the notification display control application THA and the sound output control application OSA together with the sound output based on the sound determination information.
  • Information based on the notification information is displayed on the display panel 33a (step SF6).
  • the record R1 is a record specified when the messenger application MA receives notification information of message information when a passenger other than the driver is present in the vehicle 2.
  • the control unit 31 of the navigation device 3 displays information based on the notification information on the head-up display 4, but does not display it on the display panel 33a.
  • the voice discrimination information in the record R1 is information indicating that the voice notification and the message based on the message information are not output. Therefore, the control unit 31 displays a message based on the message information on the display device, but does not output by voice.
  • the message information is notification information of private notification contents, and is information that is desired to be acquired only by drivers other than the driver.
  • the message information is information that cannot be shared with passengers other than the driver. Therefore, as in the information output process based on the record R1, the control unit 31 does not display non-sharable information on the display panel 33a and does not output by voice. It is never acquired by a passenger. Therefore, the control unit 31 can prevent private information relating to the driver from being shared by passengers other than the driver. Moreover, since it is not output with an audio
  • the record R2 is a record that is specified when the news application NA receives the notification information of the news update information when there is a passenger other than the driver in the vehicle 2.
  • the control unit 31 of the navigation device 3 displays information based on the notification information on the display panel 33a, but does not display it on the head-up display 4.
  • the voice discrimination information in the record R2 indicates that the reception notification and the news based on the news update information are output by voice. Therefore, the control unit 31 outputs the news based on the news update information by voice together with the display on the display device.
  • the news update information is information that is less necessary for the driver because it is not information related to the traveling of the vehicle 2, but since it includes useful information such as the latest events, It is desirable information to acquire. That is, the news update information is information that can be shared by passengers including the driver, unlike message information. Therefore, as in the information output process based on the record R2, the control unit 31 displays sharable information on the display panel 33a and outputs it by voice, so that the passengers including the driver can share the information. be able to. In addition, since information other than information related to traveling of the vehicle 2 is not displayed on the head-up display 4, it is possible to suppress distraction of the driver's attention to the vehicle 2.
  • the record R3 is a record specified when the news application NA receives the notification information of the news update information when a passenger other than the driver is sleeping on the vehicle 2.
  • the control unit 31 of the navigation device 3 displays the news based on the news update information on the display panel 33a, but does not display it on the head-up display 4.
  • the voice discrimination information in the record R3 indicates that the reception notification and the news based on the news update information are not output by voice. Therefore, the control unit 31 displays the news based on the news update information on the display panel 33a, but does not output by voice.
  • news information is information that can be shared by passengers including the driver, unlike message information.
  • the control unit 31 displays even sharable information on the display panel 33a, but does not output by sound. Therefore, the control part 31 can suppress the disturbance of sleep of passengers other than the driver.
  • the record R4 is a record specified when the messenger application MA receives the notification information of the message information when there is no passenger other than the driver in the vehicle 2.
  • the control unit 31 of the navigation device 3 displays a message based on the message information on the head-up display 4 and the display panel 33a.
  • the voice discrimination information in the record R4 is information indicating that the reception notification and the message based on the message information are output by voice. Accordingly, the control unit 31 displays a message based on the message information on the head-up display 4 and the display panel 33a and outputs the message by voice.
  • the record R4 is a record that is specified when the messenger application MA receives the message information, like the record R1, but is stored in the notification information display table T different from the record R1. That is, the record R4 is stored in the notification information display table T3 in which the passenger's situation is that there is no passenger other than the driver.
  • the control unit 31 displays a message based on the message information on the head-up display 4 and the display panel 33a and outputs it by voice. In other words, the control unit 31 displays the information on the head-up display 4 and the display panel 33a and makes it sound by voice so as to surely notify the driver of the information even if the information is private notification content such as message information.
  • the information processing system 1 includes the navigation device 3 (on-vehicle device) mounted on the vehicle 2, the portable terminal 5 (terminal device) that can communicate with the navigation device 3, and the portable terminal. 5 and a control server 7 (information processing device) that can communicate with the computer.
  • the navigation device 3 is connected to a head-up display 4 which is a display device that can visually recognize the information displayed by the driver, and the information displayed by the driver and passengers other than the driver can be visually recognized.
  • a display panel 33a which is a display device.
  • the mobile terminal 5 receives notification information for notifying predetermined information, transmits the notification information to the navigation device 3, and transmits notification-related information regarding the notification information to the control server 7.
  • the server control unit 71 determines a display device that displays information based on the notification information in the navigation device 3, and displays display location information indicating the determined display device in the navigation device 3. Directly transmitted or transmitted to the navigation device 3 via the portable terminal 5.
  • the navigation device 3 receives the notification information from the mobile terminal 5, receives display location information from the mobile terminal 5 or the control server 7, and displays information based on the notification information on the display device indicated by the received display location information. To do.
  • the information processing system 1 can display on the display device according to the notification information.
  • the navigation device 3 in the information processing system 1 of the present embodiment directly transmits passenger information indicating the conditions of passengers other than the driver in the vehicle 2 to the control server 7 or navigates via the mobile terminal 5. Transmit to device 3.
  • the control server 7 receives passenger information from the navigation device 3 and determines a display device based on the received notification related information and passenger information. In particular, the control server 7 determines a display device based on information indicating the presence or absence of a passenger other than the driver in the vehicle 2 and the notification related information.
  • the information processing system 1 can determine the display device that displays information based on the notification information in the control server 7 in consideration of the conditions of passengers other than the driver in the vehicle 2.
  • a display device that displays information based on the notification information is determined based on information on whether or not a passenger other than the driver is on board. For this reason, it is possible to display on a display device according to the ride of a passenger other than the driver, and the convenience for the user is improved.
  • the control server 7 determines whether or not to output information based on the notification information by voice based on the notification related information received from the mobile terminal 5 and the passenger information, and determines the determination result.
  • the voice discrimination information shown is directly transmitted to the navigation device 3 together with the display location information, or is transmitted to the navigation device 3 via the portable terminal 5.
  • the navigation device 3 receives the notification information from the portable terminal 5 and also receives the display location information and the voice discrimination information from the portable terminal 5 or the control server 7, and sends the notification information to the display device indicated by the received display location information.
  • the voice discrimination information is output by voice when the voice discrimination information indicates that the voice is output.
  • the information processing system 1 can display the information indicated by the notification information on the display device and output it by voice in the navigation device 3.
  • control server 7 determines a display device based on information indicating whether a passenger other than the driver is sleeping.
  • the information processing system 1 can output information based on the notification information without disturbing the passenger's sleep in the navigation device 3.
  • the portable terminal 5 memorize
  • the information processing system 1 can output information based on the notification information based on the notification content of the notification information processed by the notification application.
  • the notification information of news information is information that is desired to be acquired by the driver and passengers other than the driver.
  • the notification information of the message information is information related to the private, and is information that only the driver wants to acquire. That is, the information processing system 1 of the present embodiment can display information that can be shared on the display device so that the driver and a passenger other than the driver can acquire the information. On the other hand, the information processing system 1 can display information that cannot be shared on the display device so that only the driver can acquire the information. Therefore, the information processing system 1 prevents a passenger other than the driver from acquiring information related to the private.
  • FIG. 10 is a diagram illustrating a configuration of the information processing system 1 according to the second embodiment.
  • the same components as those of the information processing system 1 according to the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the storage unit 32 of the navigation device 3 stores the notification information display table T. That is, in the information processing system 1 according to the second embodiment, the control unit 31 of the navigation device 3 executes the output-related processing described above. In this case, the control unit 31 receives predetermined information from the notification aggregation application TA by the function of the notification reception application TJA. Moreover, the control part 31 produces
  • the terminal control unit 51 of the mobile terminal 5 transmits the notification information received from the notification server 8 by the function of the notification application to the navigation device 3 by the function of the notification aggregation application TA.
  • the navigation device 3 receives the notification information and the notification related information by the function of the notification receiving application TJA.
  • the control part 31 of the navigation apparatus 3 specifies the notification information display table T which the memory
  • the control unit 31 specifies a record stored in the specified notification information display table T based on the notification related information by the function of the notification receiving application TJA, and based on the record, the display location information, the voice discrimination information, Is generated.
  • the navigation device 3 outputs information based on the notification information based on the notification information, the display location information, and the voice discrimination information by the functions of the notification display control application THA and the voice output control application OSA.
  • the navigation device 3 of the information processing system 1 can be connected to the mobile terminal 5 that is mounted on the vehicle 2 and receives notification information for notifying predetermined information, and driving.
  • a display panel that is connected to a head-up display 4 that is a display device that can visually display information displayed by hand and that can display the information displayed by the driver and passengers other than the driver. 33a, receiving notification information from the mobile terminal 5, determining a display device that displays information based on the notification information, and displaying information based on the notification information on the determined display device.
  • the information processing system 1 according to the present embodiment has the above configuration, the same effects as those of the information processing system 1 according to the first embodiment can be obtained. Further, the information processing system 1 according to the second embodiment can simplify the operation as a system without using the control server 7 as compared with the information processing system 1 according to the first embodiment.
  • FIG. 11 is a diagram showing a configuration of the information processing system 1 according to the third embodiment.
  • the same components as those of the information processing system 1 according to the first embodiment and the second embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the terminal storage unit 52 of the mobile terminal 5 stores the notification information display table T. That is, in the information processing system 1 according to the third embodiment, the terminal control unit 51 of the mobile terminal 5 executes the output-related processing described above. In this case, the terminal control unit 51 receives passenger information from the navigation device 3 by the function of the notification aggregation application TA, and generates display location information and voice discrimination information.
  • the terminal control unit 51 of the mobile terminal 5 receives notification information from the notification server 8 by the function of the notification application.
  • the terminal control unit 51 receives passenger information from the navigation device 3 by the function of the notification aggregation application TA.
  • the terminal control unit 51 specifies the notification information display table T corresponding to the passenger's situation based on the passenger information by the function of the notification aggregation application TA.
  • the terminal control unit 51 identifies the record stored in the identified notification information display table T based on the notification related information by the function of the notification aggregation application TA, and based on the record, the display location information and the voice discrimination information And generate Next, the terminal control unit 51 transmits notification information, display location information, and voice discrimination information to the navigation device 3 by the function of the notification aggregation application TA.
  • the navigation device 3 receives notification information, display location information, and voice discrimination information by the function of the notification reception application TJA, and notification information, display location information by the functions of the notification display control application THA and the voice output control application OSA. Based on the voice discrimination information, information based on the notification information is output.
  • the mobile terminal 5 of the information processing system 1 is connected to the head-up display 4 which is a display device that can visually display the information displayed by the driver. It can be connected to an in-vehicle device provided with a display panel 33a, which is a display device that can visually recognize display of information displayed by the driver and passengers other than the driver, receives notification information for notifying predetermined information, and navigation
  • the display device that displays information based on the notification information is determined in the device 3, and the display location information indicating the determined display device and the notification information are transmitted to the navigation device 3.
  • the information processing system 1 according to the present embodiment has the above-described configuration, the same effects as those of the information processing system 1 according to the first embodiment and the second embodiment can be obtained.
  • the above-described head-up display 4 is exemplified by the combiner-type head-up display 4, but is not limited thereto.
  • a windshield type head-up display 4 that projects an image on the windshield of the vehicle 2 may be used.
  • the passenger information described above is a detection signal from the pressure sensor 35 and photographed image data from the camera 36.
  • the present invention is not limited thereto, and sound collected by a microphone or the like may be used as passenger information.
  • a device such as a microphone that collects sound is connected to the navigation device 3.
  • the above-described notification aggregation application TA uses the API and receives notification information from the notification application, but is not limited thereto.
  • the notification aggregation application TA may acquire notification information from an operating system (hereinafter referred to as OS).
  • OS serves as an interface between hardware and applications and between applications. That is, in this case, the OS mediates delivery of notification information from the notification application to the notification aggregation application TA.
  • FIG. 5 is a schematic diagram in which the functional configuration of the information processing system 1 is classified by application according to the main processing contents in order to facilitate understanding of the present invention. Depending on the processing content, it can be classified into more components. Moreover, it can also classify
  • the processing units in the flowcharts of FIGS. 4, 6, and 8 are mainly processed in order to facilitate understanding of the processing of the information processing system 1, the control server 7, and the navigation device 3. It is divided accordingly.
  • the present invention is not limited by the way of dividing the processing unit or the name.
  • the processing of the information processing system 1, the control server 7, and the navigation device 3 can be divided into more processing units according to the processing content. Moreover, it can also divide

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 通知する情報に応じた表示装置への表示ができる。 情報処理システム1は、ナビゲーション装置3と、携帯端末5と、制御サーバ7とを備え、ナビゲーション装置3は、運転手により視認可能なヘッドアップディスプレイ4に接続され、運転手及び運転手以外の同乗者により視認可能な表示パネル33aを備え、携帯端末5は、通知情報をナビゲーション装置3に送信し、また、通知情報に関する通知関連情報を制御サーバ7に送信し、制御サーバ7は、携帯端末5から受信した通知関連情報に基づき、ナビゲーション装置3において通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報をナビゲーション装置3に送信し、ナビゲーション装置3は、受信した表示場所情報が示す表示装置に、通知情報に基づく情報を表示する。

Description

情報処理システム、車載装置、及び、端末装置
 本発明は、情報処理システム、車載装置、及び、端末装置に関する。
 本技術分野の背景技術として、特開2010-238209号公報(特許文献1)がある。この公報には、「センターは、車両が運転される環境情報と、車両が注意して走行する必要がある走行注意場所情報とを対応付けて記憶する走行注意場所DBを有する。車載装置は、車両の位置情報と環境情報を取得してセンターに送信する。センターは、車載装置から受信した位置情報と環境情報に対応する走行注意場所情報を走行注意場所DBから特定し、車載装置に配信する。車載装置は、センターから配信された走行注意場所情報をディスプレイに表示したり、スピーカーから読み上げ音声を出力したりして、運転者に通知する。」と記載されている。
特開2010-238209号公報
 ところで、車両には、表示装置として、ナビゲーション装置に接続されるヘッドアップディスプレイと、当該ナビゲーション装置が備える表示パネルとが搭載される場合がある。これら表示装置は、表示することによって、情報を運転手を含む同乗者に通知するが、特許文献1では、通知する情報に応じた表示装置への表示について考慮されていない。
 そこで、本発明は、通知する情報に応じた表示装置への表示をする情報処理システム、車載装置、及び、端末装置を提供することを目的とする。
 上記目的を達成するために、情報処理システムは、車両に搭載される車載装置と、前記車載装置と通信可能な端末装置と、前記端末装置と通信可能な情報処理装置とを備える情報処理システムであって、前記車載装置は、運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイに接続され、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネルを備え、前記端末装置は、所定の情報を通知する通知情報を受信し、前記通知情報を前記車載装置に送信し、また、前記通知情報に関する通知関連情報を前記情報処理装置に送信し、前記情報処理装置は、前記端末装置から受信した前記通知関連情報に基づき、前記車載装置において前記通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報を前記車載装置に直接送信し、又は、前記端末装置を介して前記車載装置に送信し、前記車載装置は、前記端末装置から前記通知情報を受信し、また、前記情報処理装置から前記表示場所情報を受信し、受信した前記表示場所情報が示す表示装置に、前記通知情報に基づく情報を表示することを特徴とする。
 本発明によれば、通知する情報に応じた表示装置への表示ができる。
図1は、第1実施形態に係る情報処理システムの構成を示す図である。 図2は、情報処理システムの機能ブロック図である。 図3は、通知アプリと通知集約アプリとの関係を模式的に示す図である。 図4は、情報処理システムの動作を示すフローチャートである。 図5は、情報処理システムの各装置にインストールされた各アプリケーション間で行われるデータの流れを示す図である。 図6は、制御サーバの動作を示すフローチャートである。 図7は、通知情報表示テーブルの一例を示す図である。 図8は、ナビゲーション装置の動作を示すフローチャートである。 図9は、ヘッドアップディスプレイ及び表示パネルの表示画面の一例を示す図である。 図10は、第2実施形態に係る情報処理システムの構成を示す図である。 図11は、第3実施形態に係る情報処理システムの構成を示す図である。
<第1実施形態>
 図1は、第1実施形態に係る情報処理システム1の構成を示す図である。
 図1に示すように、情報処理システム1は、車両2に搭載されたナビゲーション装置3(車載装置)と、インターネットや電話網等を含んで構成されたネットワーク6に接続された携帯端末5(端末装置)と、ネットワーク6に接続された制御サーバ7(情報処理装置)と、を備える。
 ネットワーク6には、通知サーバ8が接続される。通知サーバ8は、携帯端末5に所定の情報を通知する通知システムを提供するサーバである。
 携帯端末5は、車両2に搭載する運転手が所有する携帯型の端末であり、例えばスマートフォンやタブレット型端末等である。携帯端末5は、ナビゲーション装置3とブルートゥース(Bluetooth:登録商標)等の近距離無線通信によって接続される。また、携帯端末5は、ネットワーク6と接続可能である。携帯端末5には、通知サーバ8が提供する通知システムを利用するためのアプリケーションである通知アプリがインストールされる。
 制御サーバ7は、携帯端末5、をクライアントとするサーバ装置である。制御サーバ7は、携帯端末5と通信し、クライアントとしての携帯端末5からの要求に応じて所定の処理を実行し、処理結果を携帯端末5に送信する。
 ナビゲーション装置3は、運転手及び運転手以外の同乗者の操作に従って、地図の表示や、目的地までの経路探索、経路案内等の機能を実行する装置である。ナビゲーション装置3は、後述する表示パネル33aを備え、表示パネル33aに各種情報を表示する。
 表示パネル33aは、センターコンソール等の、運転手、及び、運転手以外の車両2に搭乗する同乗者が、表示パネル33aに表示された情報を視認可能な位置に設けられる。
 ナビゲーション装置3には、ヘッドアップディスプレイ4が接続される。ヘッドアップディスプレイ4は、運転席からフロントガラス越しで見た前方の景色に、走行中の道路や交通情報に基づき運転手の運転を支援する情報を重ね合わせるように表示する表示装置である。ヘッドアップディスプレイ4は、車両2のフロントガラス側に「コンバイナー」と呼ばれる半透明のスクリーンを備え、当該コンバイナーを利用して情報を表示するコンバイナータイプの表示装置である。ヘッドアップディスプレイ4は、コンバイナーを介して、運転座席に座る者の視線の焦点に虚像が結像するように、像を投影する。従って、ヘッドアップディスプレイ4が表示する情報は運転手のみが視認できる。
 図2は、本実施形態に係る情報処理システム1の機能ブロック図である。
 図2に示すように、ナビゲーション装置3は、制御部31と、記憶部32と、タッチパネル33と、近距離無線通信部34と、加圧センサー35と、カメラ36と、音声出力部37と、を備える。
 制御部31は、CPUや、ROM、RAM、その他の制御回路等を備え、ナビゲーション装置3の各部を制御する。
 記憶部32は、ハードディスクや、EEPROM等の不揮発性メモリーを備え、データを書き換え可能に記憶する。また、記憶部32は、後述する複数のアプリケーションを記憶する。また、記憶部32は、地図データを記憶する。当該地図データは、交差点やその他の道路網上の結線点を示すノードに関する情報や、ノードとノードとの道路区間を示すリンクに関する情報、地図上の行政区画や、道路、施設、交差点等の名称に関する情報、を有する。また、記憶部32は、制御部31に接続されたヘッドアップディスプレイ4、及び、後述する表示パネル33aに情報を表示するための描画データを記憶する。
 タッチパネル33は、表示パネル33aと、タッチセンサー33bとを備える。表示パネル33aは、液晶ディスプレイやEL(Electro Luminescent)ディスプレイ等のパネルを有し、制御部31の制御の下、各種情報を表示パネル33aに表示する。タッチセンサー33bは、表示パネル33aに重ねて配置され、ユーザのタッチ操作を検出し、タッチ操作を示す信号を制御部31に出力する。タッチパネル33は、センターコンソール等の、運転手以外の車両2に搭乗する同乗者が、表示パネル33aに表示された情報を視認可能な位置に設けられる。
 近距離無線通信部34、制御部31の制御の下、ブルートゥース等の近距離無線通信に係る通信規格に従って、携帯端末5と通信リンクを確立し、携帯端末5と通信する。
 加圧センサー35は、車内の各座席に設けられ、各座席において搭乗者が座っているか否に応じて、異なる信号を制御部31に出力する。制御部31は、後述する車内状況監視アプリKAの機能により、各加圧センサー35から入力された信号に基づいて、車両2に設けられた各座席における搭乗者の有無を検出する。
 カメラ36は、少なくとも車両2内を撮影可能な位置に設けられた撮影装置である。カメラ36は、制御部31の制御に従って、所定の周期(例えば、100ms毎)で撮影を実行し、撮影結果に基づいて撮影画像データを生成し、制御部31に出力する。制御部31は、後述する車内状況監視アプリKAの機能によって、当該撮影画像データを取得し、分析する。
 音声出力部37は、図示せぬスピーカーを備え、制御部31から入力される音声信号に基づく音声をスピーカーから出力する。
 図2に示すように、ヘッドアップディスプレイ4は、ナビゲーション装置3に接続され、制御部31の制御の下、走行中の道路や交通情報に基づき運転手の運転を支援する情報を表示する。
 図2に示すように、携帯端末5は、端末制御部51と、端末記憶部52と、端末タッチパネル53と、近距離無線通信部54と、ネットワーク通信部55と、を備える。
 端末制御部51は、CPUや、ROM、RAM、その他の周辺回路等を備え、携帯端末5の各部を制御する。
 端末記憶部52は、不揮発性メモリーを備え、各種データを記憶する。端末記憶部52は、通知集約アプリTAを記憶する。通知集約アプリTAについては、後述する。また、端末記憶部52は、通知アプリとして、通知集約アプリTA以外のアプリケーションを記憶する。通知アプリについては、後述する。
 端末タッチパネル53は、端末制御部51の制御で各種情報を表示し、また、ユーザによるタッチ操作を検出して端末制御部51に出力する。
 近距離無線通信部54は、端末制御部51の制御の下、所定の近距離無線通信に係る通信規格に従って、ナビゲーション装置3との間で通信リンクを確立し、当該通信規格に従って、ナビゲーション装置3と通信する。
 ネットワーク通信部55は、端末制御部51の制御の下、所定の通信規格に従って、ネットワーク6に接続された機器と通信する。
 図2に示すように、制御サーバ7は、サーバ制御部71と、サーバ記憶部72と、サーバ通信部73と、を備える。
 サーバ制御部71は、CPUや、ROM、RAM、その他の周辺回路等を備え、制御サーバ7の各部を制御する。
 サーバ記憶部72は、サーバ制御部71が実行する制御プログラムや、サーバ制御部71が処理するデータを記憶する。また、サーバ記憶部72は、後述する複数のアプリを記憶する。また、サーバ記憶部72は、後述する同乗者情報に応じた複数の通知情報表示テーブルTを記憶する。通知情報表示テーブルTについては、後述する。
 サーバ通信部73は、サーバ制御部71の制御の下、所定の通信規格に従って、ネットワーク6に接続された機器と通信する。
 ところで、本実施形態の情報処理システム1における携帯端末5は、通知サーバ8から所定の情報を通知する通知情報を受信し、当該通知情報に関する通知関連情報を制御サーバ7に送信する動作を実行する。当該動作は、端末記憶部52が記憶する通知集約アプリTAの機能によって可能となる。
 通知集約アプリTAは、通知アプリが受信する通知情報を、処理するためのアプリケーションであり、携帯端末5に予めインストールされる。
 以下、本実施形態に係る携帯端末5にインストールされる通知アプリについて具体的に説明して、各通知アプリが受信する通知情報と、通知情報の通知内容について説明する。
 図3は、携帯端末5にインストールされた通知アプリと、通知集約アプリTAとの関係を模式的に示す図である。
 以下の図3を用いた説明では、アプリケーションが各種処理を実行する主体であるものとして、各種アプリケーションの機能を説明する。
 図3に示すように、携帯端末5には、エージェントアプリEAがインストールされる。エージェントアプリEAとは、例えば携帯端末5のキャリアが提供するアプリケーションであり、エージェントサーバが提供するシステムを利用するためのアプリケーションである。エージェントサーバとは、例えば携帯端末5を所有するユーザにとって有益な情報を通知情報として通知するシステムを提供するサーバである。ユーザは、携帯端末5にエージェントアプリEAをインストールすることによって、エージェントサーバからプッシュ通知により、ユーザに有益な情報を通知情報として取得することができる。ここで、エージェントアプリEAが取得する通知情報の通知内容の一例として、交通情報と、大雨・洪水情報と、地震情報と、料金情報と、週末お出かけ情報とが挙げられる。
 交通情報は、渋滞や、車線規制、通行止め、交通規制等の交通に関する情報である。交通情報は、車両2の走行に係る情報であるため、運転手以外の同乗者の有無に係らず、車両2を運転する運転手が取得することが望ましい情報である。
 大雨・洪水情報は、予め設定された地域や、車両2が走行している地域等の気象に関する情報である。大雨・洪水情報は、車両2が走行して地域の気象に関する情報であり、車両2の走行に係る情報を含む。そのため、大雨・洪水情報は、運転手以外の同乗者の有無に係らず、運転手が取得することが望ましい情報である。
 地震情報は、発生した地震の震源地や、地震警告、地震による交通規制の情報であり、車両2の走行に関する情報を含む。そのため、地震情報は、運転手以外の同乗者の有無に係らず、運転手が取得することが望ましい情報である。
 料金情報は、運転手が所有する携帯端末5の使用料金に関する情報である。料金情報は、車両2の走行に関する情報でないため、運転手が取得しなくてもよい情報である。
 週末お出かけ情報は、目的地周辺にて週末に開催される地域のイベント等の情報であり、車両2の走行に関する情報でないため、運転手が取得しなくてもよい情報である。しかしながら、週末お出かけ情報は、目的地についての有益な情報を含むため、少なくとも運転手以外の同乗者が取得することが望ましい情報である。
 また、図3に示すように、携帯端末5にはSNSアプリSAがインストールされる。SNSアプリSAとは、通知サーバ8としてSNSサーバが提供するSNSを利用するためのアプリケーションである。SNSサーバは、例えばテキストの投稿が可能なSNSを提供するサーバである。携帯端末5を所有するユーザは、携帯端末5にSNSアプリSAをインストールすることにより、自身の投稿やSNSアプリSAを利用する他のユーザの投稿を取得することができる。また、ユーザは、SNSサーバからプッシュ通知により、通知情報を取得することができる。ここで、SNSアプリSAが取得する通知情報の通知内容の一例として、アップデート情報と、更新情報とが挙げられる。
 アップデート情報は、SNSアプリSAのバージョンアップに関する情報である。アップデート情報は、車両2の運転中において、運転手がアプリケーションのアップデート作業が行えないため、即時に取得する必要のない情報である。以上の観点の下、アップデート情報は、運転手及び運転手以外の同乗者が取得することの必要性が低い情報である。
 更新情報は、SNSを利用し、運転手とコミュニケーションをとる人が、写真やテキスト等を投稿した際に、当該投稿を通知する情報である。投稿には、運転手のプライベートに係る情報も含まれる場合があり、更新情報は、運転手のみ取得することが望まれる情報である。ところで、投稿によっては、写真や長文のテキスト等により、表示領域等の理由から、確実に通知内容が取得できるよう表示パネル33aに表示されることが好ましい場合がある。しかしながら、表示パネル33aに表示される内容は、運転手以外の同乗者も視認できるため、この場合、運転手以外の同乗者の状態を考慮する必要がある。したがって、更新情報は、運転手以外の同乗者がいる場合、運転手のみ取得できるようヘッドアップディスプレイ4に表示され、運転手以外の同乗者が寝ている場合、通知内容が確実に取得できるよう表示パネル33aに表示され、運転手以外の同乗者がいない場合、通知内容が確実に取得できるよう、音声によって出力される。
 また、図3に示すように、携帯端末5にはメッセンジャーアプリMAがインストールされる。メッセンジャーアプリMAとは、通知サーバ8としてメッセンジャーサーバが提供するシステムを利用するためのアプリケーションである。メッセンジャーサーバは、例えば所定のユーザとメッセージのやりとりをチャット形式で行うためのシステムを提供するサーバである。携帯端末5を所有するユーザは、携帯端末5にメッセンジャーアプリMAをインストールすることにより、所定のユーザとメッセージのやりとりをチャット形式で行うことができる。また、ユーザは、メッセンジャーサーバからプッシュ通知により、通知情報を取得することができる。ここで、メッセンジャーアプリMAが取得する通知情報の通知内容の一例として、アップデート情報と、メッセージ情報とが挙げられる。
 アップデート情報は、メッセンジャーアプリMAのバージョンアップに関する情報であり、運転手を含む同乗者にとって取得することの必要性が低い情報である。
 メッセージ情報は、メッセージに関する情報である。メッセージ情報は、運転手に宛てたものであり、プライベートな情報である。すなわち、メッセージ情報は、運転手にのみ取得することが望ましい情報である。ところで、メッセージ情報には、メッセージの態様としてテキスト以外に絵文字がある。つまり、メッセージ情報に基づくメッセージは、表示領域や解像度等の理由から、表示パネル33aに表示されるのが好ましい。しかしながら、表示パネル33aに表示される内容は、運転手以外の同乗者も視認できるため、この場合、運転手以外の同乗者の状態を考慮する必要がある。したがって、メッセージ情報に基づくメッセージは、運転手以外の同乗者がいる場合、運転手のみ取得できるようヘッドアップディスプレイ4に表示され、運転手以外の同乗者が寝ている場合、通知内容が確実に取得できるよう表示パネル33aに表示され、運転手以外の同乗者がいない場合、通知内容が確実に取得できるよう、表示とともに音声によって出力される。
 また、図3に示すように、携帯端末5にはメールアプリMAAがインストールされる。メールアプリMAAとは、通知サーバ8としてメールサーバから提供されるシステムを利用するためのアプリケーションである。メールサーバは、メールの送受信を行うためのシステムを提供するサーバである。携帯端末5を所有するユーザは、携帯端末5にメッセンジャーアプリMAをインストールすることにより、メールサーバからプッシュ通知により、通知情報を取得できる。ここで、メールアプリMAAが取得する通知情報の通知内容の一例として、アップデート情報と、メール情報とが挙げられる。
 アップデート情報は、メールアプリMAAのバージョンアップに関する情報であり、運転手を含む同乗者にとって必要性の低い情報である。
 メール情報は、メールに関する情報である。メール情報は、主に運転手に宛てたプライベートな情報であるが、広告等のように運転手以外の同乗者にとって有益な情報を含む場合がある。したがって、メール情報は、主に運転手が取得することが望ましい情報であるが、運転手以外の同乗者がいる場合、メール情報を通知した旨を運転手を含む同乗者が取得できるよう表示され、運転手以外の同乗者が寝ている場合、通知内容が確実に取得できるよう表示パネル33aに表示され、運転手以外の同乗者がいない場合、通知内容が確実に取得できるよう表示と共に音声によって出力される。
 また、図3に示すように、携帯端末5にはミュージックアプリMUAがインストールされる。ミュージックアプリMUAとは、通知サーバ8としてミュージックサーバが提供するシステムを利用するためのアプリケーションである。ミュージックサーバとは、自身が配信する楽曲を再生するためのシステムを提供するサーバである。携帯端末5を所有するユーザは、ミュージックアプリMUAをインストールすることにより、例えばミュージックサーバから配信される楽曲を再生できる。また、ユーザは、ミュージックアプリMUAからプッシュ通知により、通知情報を取得できる。ここで、ミュージックアプリMUAが取得す通知情報の通知内容の一例として、アップデート情報と、楽曲情報とが挙げられる。
 アップデート情報は、車両2の走行に関する情報でないため、運転手にとっては必要性の低い情報である。しかしながら、アップデート情報に基づき、ミュージックアプリMUAをアップデートすることによって、新たな楽曲を再生することができる。この観点の下で、アップデート情報は、少なくとも運転手以外の同乗者には有益な情報である。
 楽曲情報は、再生している楽曲の曲名や、アーティスト名等の情報である。楽曲情報は、携帯端末5を操作することによって取得できる情報である。そのため、楽曲情報は、ミュージックアプリMUAが楽曲情報を受信した場合、携帯端末5の操作が困難な運転手のみに取得されることが望ましい情報である。
 また、図3に示すように、携帯端末5にはニュースアプリNAがインストールされる。ニュースアプリNAとは、通知サーバ8としてニュースサーバが提供するシステムを利用するためのアプリケーションである。ニュースサーバは、例えばニュースに係る情報を送信するシステムを提供するサーバである。携帯端末5を所有するユーザは、ニュースアプリNAをインストールすることにより、ニュースサーバからプッシュ通知により、通知情報を取得できる。ここで、ニュースアプリNAが取得する通知情報の通知内容の一例として、アップデート情報と、ニュース更新情報とが挙げられる。
 アップデート情報は、ニュースアプリNAのバージョンアップに関する情報であり、運転手及び運転手以外の同乗者にとって必要性の低い情報である。
 ニュース更新情報は、社会や、政治等の最新の出来事に関する情報である。ニュース更新情報は、車両2の走行に関する情報でないため運転手にとって必要性の低い情報であるが、最新の出来事等の有益な情報を含むため、運転手を含む同乗者が取得することが望ましい情報である。
 図3に示すように、通知集約アプリTAは、他のアプリケーションと情報の受け渡しを行う機能を有するAPI(Application Programing Interface)を利用し、通知アプリが受信した通知情報を処理する。通知集約アプリTAは、通知情報を取得すると、通知情報に関する通知関連情報を制御サーバ7に送信する。通知関連情報は、通知情報を取得したアプリケーションを示すアプリケーション情報と、通知情報の通知内容を示す通知内容情報を含む。
 例えば、エージェントアプリEAが、通知内容として交通情報の通知情報を受信し処理した場合、通知集約アプリTAは、所定のAPIの機能により、通知集約アプリTAから、通知情報を取得する。次いで、通知集約アプリTAは、アプリケーション情報としてエージェントアプリEAを一意に識別する識別情報(以下、「アプリID」と表現する。)、及び、交通情報を示す通知内容情報を含む通知関連情報を生成し、制御サーバ7送信する。
 以上の構成の下、本実施形態に係る情報処理システム1の各装置は、通知サーバ8が携帯端末5に通知情報を送信したことをトリガーとして、以下の動作を実行する。
 図4は、本実施形態に係る情報処理システム1の動作を示すフローチャートである。図4(A)は通知サーバ8の動作を示し、図4(B)は携帯端末5の動作を示し、図4(C)はナビゲーション装置3の動作を示し、図4(D)は制御サーバ7の動作を示す。
 図4に示す情報処理システム1の動作は、各装置にインストールされるアプリケーションの機能によって実行可能である。
 図5は、情報処理システム1の各装置にインストールされたアプリケーションを示すと共に、各アプリケーション間で行われるデータの流れを示す図である。
 図5に示すように、携帯端末5には、通知集約アプリTAがインストールされる。また、制御サーバ7には、通知集約受信アプリTZA、通知送信アプリTSA、及び、車内状況監視受信アプリKJAがインストールされる。また、ナビゲーション装置3は、通知受信アプリTJA、車内状況監視アプリKA、音声出力制御アプリOSA、通知表示制御アプリTHA、及び、表示パネル描画アプリHBAがインストールされる。
 以下、適宜、図5を参照し、各装置にインストールされたアプリケーションの機能について説明しつつ、図4のフローチャートを用いて、情報処理システム1の各装置の動作を説明する。
 ここで、以下のことを前提とする。すなわち、ナビゲーション装置3の制御部31は、加圧センサー35及びカメラ36から取得した、検出信号及び撮影画像データに基づいて、車両2における運転手以外の同乗者の状況を示す同乗者情報を生成し、制御サーバ7に送信することを前提とする。具体的に説明すると、制御部31は、車内状況監視アプリKAの機能により、同乗者情報を生成し、携帯端末5を介して制御サーバ7に送信する。車内状況監視アプリKAは、カメラアプリCAの機能によって撮影した撮影結果に基づく撮影画像データと、加圧センサー35による検出信号とに基づき、車両2における運転手以外の同乗者の有無の情報を含む同乗者情報を生成し、制御サーバ7にインストールされる後述する車内状況監視受信アプリKJAに送信するためのアプリケーションである。ここで、カメラアプリCAは、カメラ36を制御するためのアプリケーションである。
 同乗者情報は、同乗者の状況の情報として、車両2において運転手以外の同乗者の有無の情報と、同乗者がいる場合に、同乗者が寝ているか否かの情報とを含む。運転手以外の同乗者の有無の情報は、車内状況監視アプリKAの機能により、例えば加圧センサー35が検出した検出信号に基づいて生成される。この場合、制御部31は、車内状況監視アプリKAの機能により、運転席以外の座席の検出信号を取得した場合、運転手以外の同乗者がいると検出し、同乗者がいることを示す情報を生成する。
 同乗者が寝ているか否かの情報は、車内状況監視アプリKAの機能により、例えばカメラ36の撮影結果に基づく撮影画像データに基づき生成される。制御部31は、車内状況監視アプリKAの機能により、取得した撮影画像データを分析し、当該撮影画像データに写る運転手以外の同乗者の顔の位置を示す顔領域を検出するとともに、検出した顔領域から運転手以外の同乗者の眼の位置を示す眼領域を検出する。顔領域、及び、眼領域の検出は、顔や眼を表すテンプレートを用いたパターンマッチング等の既存の技術を用いることができる。さらに、制御部31は、車内状況監視アプリKAの機能により、検出した眼領域に対応する画像データを分析し、運転手以外の同乗者が寝ているか否かを判別する。例えば、制御部31は、眼を閉じた状態のテンプレートを用いたパターンマッチングや、白色検出による白目部分の検出などにより、運転手以外の同乗者が眼を閉じていることを検出するとともに、眼領域を追跡し、運転手以外の同乗者が眼を閉じている時間が所定の期間を超えた場合、運転手以外の同乗者が寝ていると判別する。そして、制御部31は、車内状況監視アプリKAの機能により、当該判別に基づき、同乗車の状況が、同乗車が寝ている状況であると検出する。
 なお、同乗者の状況を検出する方法については、上述したものに限れない。
 図4のフローチャートの説明に戻り、図4(A)において、通知サーバ8は、携帯端末5に所定の情報を通知する通知情報を送信する(ステップSA1)。
 次いで、図4(B)において、携帯端末5の端末制御部51は、端末記憶部52が記憶する通知アプリの機能によって、通知情報を受信する(ステップSB1)。次いで、端末制御部51は、通知集約アプリTAの機能によって、通知アプリの機能によって受信した通知情報に関する通知関連情報を、制御サーバ7に送信する(ステップSB2)。
 例えば、通知サーバ8がメッセンジャーサーバであり、メッセンジャーアプリMAがメッセンジャーサーバから通知内容がメッセージ情報の通知情報を受信した場合、端末制御部51は、メッセンジャーアプリMAの機能により、メッセージを表示する処理等の通知情報を処理する。端末制御部51は、通知情報の処理と共に、通知集約アプリTAの機能によって、メッセンジャーアプリMAが受信した通知情報を取得する。次いで、端末制御部51は、通知集約アプリTAの機能により、取得した通知情報に基づいて、アプリケーション情報としてメッセンジャーアプリMAを識別するためのアプリIDと、通知内容がメッセージ情報であることを示す通知内容情報とを生成する。次いで、端末制御部51は、通知集約アプリTAの機能によって、アプリIDと通知内容情報とを制御サーバ7に送信する。
 図4(D)において、制御サーバ7のサーバ制御部71は、通知集約受信アプリTZAの機能により、通知関連情報を受信する(ステップSD1)。
 次いで、サーバ制御部71は、通知送信アプリTSA及び車内状況監視受信アプリKJAの機能により、サーバ記憶部72に記憶された通知情報表示テーブルTと、通知集約受信アプリTZAの機能によって受信した通知関連情報とに基づいて、情報出力関連処理を実行する(ステップSD2)。
 ここで、情報出力関連処理について詳述する。
 図6は、情報出力関連処理における制御サーバ7の動作を示すフローチャートである。
 制御サーバ7のサーバ制御部71は、車内状況監視受信アプリKJAの機能によって、同乗者情報を受信する。サーバ制御部71は、車内状況監視受信アプリKJAの機能によって、受信した同乗者情報に基づいて運転手以外の同乗者の状況を検出し、検出した同乗者の状況に対応する通知情報表示テーブルTを特定する(ステップSE1)。前述した通り、サーバ記憶部72は、同乗者の状況に応じた複数の通知情報表示テーブルTを記憶する。本例におけるサーバ記憶部72は、同乗者の状況として、車両2に運転手以外の同乗者がいる状況と、運転手以外の同乗者が寝ている状況と、車両2に運転手以外の同乗者がいない状況と、の3つの状況に対応する通知情報表示テーブルTを記憶する。
 図7は、通知情報表示テーブルTの一例を示す図である。図7(A)は車両2に運転手以外の同乗者がいる状況の通知情報表示テーブルT1を示し、図7(B)は運転手以外の同乗者が寝ている状況の通知情報表示テーブルT2を示し、図7(C)は車両2に運転手以外の同乗者がいない状況の通知情報表示テーブルT3を示す。
 図7に示す各通知情報表示テーブルTの1件のレコードには、通知情報フィールドF1と、表示先フィールドF2と、音声出力フィールドF3とを有する。
 通知情報フィールドF1は、アプリIDフィールドF11と、通知内容フィールドF12とを有する。アプリIDフィールドF11には、携帯端末5にインストールされる各アプリケーションのアプリIDが格納される。通知内容フィールドF12は、各アプリケーションが受信する通知情報の通知内容を格納する。例えば、エージェントアプリEAは5つの通知内容が異なる通知情報を受信するため、エージェントアプリEAのレコードには、5つのレコードが格納される。
 表示先フィールドF2は、ヘッドアップディスプレイフィールドF21と、表示パネルフィールドF22とを有する。ヘッドアップディスプレイフィールドF21は、通知情報に基づく情報をヘッドアップディスプレイ4に表示するかの有無の情報を格納する。「○」は表示を示し、「×」は非表示を示す。表示パネルフィールドF22は、通知情報に基づく情報を表示パネル33aに表示するかの有無の情報を格納する。ヘッドアップディスプレイフィールドF21と同様、「○」は表示を示し、「×」は非表示を示す。
 音声出力フィールドF3は、受信通知フィールドF31と、本文フィールドF32とを有する。受信通知フィールドF31は、アプリIDに対応する通知アプリが、通知情報を受信したことの旨(以下、受信通知と表現する。)を音声によって出力するかの有無の情報を格納する。「○」は出力を示し、「×」は出力しないことを示す。本文フィールドF32は、通知情報に基づく情報を音声によって出力するかの有無の情報を格納する。「○」は出力を示し、「×」は出力しないことを示す。
 図6のフローチャートの説明に戻り、サーバ制御部71は、車内状況監視受信アプリKJAの機能により、ナビゲーション装置3から送信される同乗者情報に基づき同乗者の状況を検出する。そして、サーバ制御部71は、車内状況監視受信アプリKJAの機能により、サーバ記憶部72が記憶する3つの通知情報表示テーブルTから、検出した同乗者の状況に対応する通知情報表示テーブルTを特定する。上述の通り、サーバ制御部71は、同乗者情報に基づき、運転手以外の同乗者がいる場合、運転手以外の同乗者が寝ている場合、及び、運転手以外の同乗者がいない場合の3つの状況のうち、いずれかの状況を検出する。
 ここで、上述した3つの場合において、情報出力関連処理について説明する。
<運転手以外の同乗者がいる場合>
 サーバ制御部71は、車内状況監視受信アプリKJAの機能により、同乗者情報に基づき、同乗者の状況が運転手以外の同乗者がいる状況であると検出すると、サーバ記憶部72が記憶する通知情報表示テーブルTから通知情報表示テーブルT1を特定する(ステップSE1)。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、通知情報表示テーブルT1を参照し、携帯端末5から受信した通知関連情報が示す情報が格納されているか否かを判別する(ステップSE2)。詳述すると、サーバ制御部71は、通知送信アプリTSAの機能により、通知関連情報が含むアプリケーション情報と通知内容情報とが示すそれぞれの情報が通知情報表示テーブルT1に格納されているか否か判別する。つまり、サーバ制御部71は、通知情報表示テーブルT1にアプリケーション情報が示すアプリIDと、通知内容情報が示す通知内容とが格納されているか否かを判別する。
 例えば、通知サーバ8がメッセンジャーサーバであり、メッセンジャーアプリMAがメッセンジャーサーバから通知内容がメッセージ情報の通知情報を受信した場合、サーバ制御部71は、通知集約受信アプリTZAの機能によって、メッセンジャーアプリMAのアプリIDと、通知内容がメッセージ情報を示す通知内容情報を受信する。次いで、サーバ制御部71は、車内状況監視受信アプリKJAの機能によって特定した通知情報表示テーブルT1を参照し、メッセンジャーアプリMAのアプリIDと、通知内容とが格納されているか判別する。この場合、図6に示す通り、サーバ制御部71は、アプリIDと通知内容とが格納されていると判別する。
 図6の説明に戻り、アプリケーション情報及び通知内容情報が示す情報が格納していないと判別する(ステップSE2:NO)と、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE6の処理を行う。ステップSE6の処理については後述する。
 一方、アプリケーション情報及び通知内容情報が示す情報が格納していると判別する(ステップSE2:YES)と、サーバ制御部71は、通知送信アプリTSAの機能により、当該判別に基づくレコードを特定する。メッセンジャーアプリMAがメッセンジャーサーバから通知内容がメッセー情報の通知情報を受信した場合、サーバ制御部71は、レコードR1を特定する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、特定したレコードに対応付くヘッドアップディスプレイフィールドF21と表示パネルフィールドF22を参照し、格納される有無の情報に基づいて、ヘッドアップディスプレイ4、又は/及び、表示パネル33aへの表示の有無を判別する(ステップSE3)。レコードR1の場合、サーバ制御部71は、メッセージ情報に基づくメッセージを、ヘッドアップディスプレイ4に表示する一方、表示パネル33aに表示しないと判別する。
 ヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示すると判別する(ステップSE3:YES)と、サーバ制御部71は、通知送信アプリTSAの機能により、受信通知フィールドF31と、本文フィールドF32とを参照し、格納される有無の情報に基づき、受信通知と通知情報に基づく情報との音声による出力の有無を判別する(ステップSE4)。レコードR1の場合、サーバ制御部71は、受信通知とメッセージ情報に基づくメッセージの音声による出力を行わないと判別する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE3及びステップSE4の判別結果に基づいて、通知情報に基づく情報を表示する表示装置を示す表示場所情報、及び、音声によって出力する否かの判別結果を示す音声判別情報を生成する。例えば、レコードR1の場合、サーバ制御部71は、メッセージ情報に基づくメッセージをヘッドアップディスプレイ4に表示する一方、表示パネル33aに表示しないことを示す表示場所情報と、受信通知とメッセージ情報に基づくメッセージの音声による出力を行わないことを示す音声判別情報とを生成する。
 一方で、ステップSE3においてヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示しないと判別すると(ステップSE3:NO)、サーバ制御部71は、後述する表示場所情報を生成しない(ステップSE6)。サーバ制御部71は、表示場所情報を生成しないため、後述する処理において、携帯端末5に表示場所情報を送信しない。そのため、通知情報に基づく情報は、ヘッドアップディスプレイ4、又は/及び、表示パネル33aによる表示を含めた出力は行われない。
<運転手以外の同乗者が寝ている場合>
 次に、運転手以外の同乗者が寝ている場合について説明する。
 サーバ制御部71は、車内状況監視受信アプリKJAの機能により受信した同乗者情報に基づき、同乗者の状況が運転手以外の同乗者が寝ている状況であると検出すると、サーバ記憶部72が記憶する通知情報表示テーブルTから通知情報表示テーブルT2を特定する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、通知情報表示テーブルT2を参照し、携帯端末5から受信した通知関連情報が示す情報が格納されているか否かを判別する(ステップSE2)。
 次いで、アプリケーション情報及び通知内容情報が格納されていないと判別すると(ステップSE2:NO)、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE6の処理を行う。
 一方で、アプリケーション情報及び通知内容情報が格納していると判別する(ステップSE2:YES)と、サーバ制御部71は、通知送信アプリTSAの機能により、アプリケーション情報及び通知内容情報によってレコードを特定する。例えば、ニュースアプリNAが、ニュースサーバからニュース更新情報を示す通知情報を受信した場合、サーバ制御部71は、レコードR3を特定する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、特定したレコードに対応付くヘッドアップディスプレイフィールドF21と表示パネルフィールドF22を参照し、格納される有無の情報に基づいて、ヘッドアップディスプレイ4、又は/及び、表示パネル33aへの表示の有無を判別する(ステップSE3)。レコードR3の場合、サーバ制御部71は、ニュース更新情報に基づくニュースを、表示パネル33aに表示する一方、ヘッドアップディスプレイ4に表示しないと判別する。
 ヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示すると判別する(ステップSE3:YES)と、サーバ制御部71は、通知送信アプリTSAの機能により、受信通知フィールドF31と本文フィールドF32とを参照し、格納される有無の情報に基づいて、受信情報とニュース更新情報に基づくニュースとの音声による出力の有無を判別する(ステップSE4)。レコードR3の場合、サーバ制御部71は、音声による出力を行わないと判別する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE3及びステップSE4の判別結果に基づいて、通知情報に基づく情報を表示する表示装置を示す表示場所情報と、受信通知と通知情報に基づく情報とを音声によって出力する否かの判別結果を示す音声判別情報を生成する。例えば、レコードR3の場合、サーバ制御部71は、ニュース情報に基づくニュースを表示パネル33aに表示する一方、ヘッドアップディスプレイ4に表示しないことを示す表示場所情報と、受信通知とニュース情報に基づくニュースとの音声による出力を行わないことを示す音声判別情報を生成する。
 一方で、ヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示しないと判別した場合(ステップSE3:NO)、サーバ制御部71は、表示場所情報を生成しない(ステップSE6)。
<運転手以外の同乗者がいない場合>
 次に、運転手以外の同乗者がいる場合について説明する。
 サーバ制御部71は、車内状況監視受信アプリKJAの機能により受信した同乗者情報に基づき、同乗者の状況が運転手以外の同乗者がいない状況であると検出すると、サーバ記憶部72が記憶する通知情報表示テーブルTから通知情報表示テーブルT3を特定する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、通知情報表示テーブルT3を参照し、携帯端末5から受信した通知関連情報が示す情報が格納されているか否かを判別する(ステップSE2)。
 次いで、アプリケーション情報及び通知内容情報が格納されていないと判別すると(ステップSE2:NO)、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE6の処理を行う。
 一方、アプリケーション情報及び通知内容情報が格納していると判別する(ステップSE2:YES)と、サーバ制御部71は、通知送信アプリTSAの機能により、アプリケーション情報及び通知内容情報によってレコードを特定する。例えば、メッセンジャーアプリMAが、メッセンジャーサーバからメッセージ情報の通知情報を受信した場合、サーバ制御部71は、レコードR4を特定する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、特定したレコードに対応付くヘッドアップディスプレイフィールドF21と表示パネルフィールドF22を参照し、ヘッドアップディスプレイ4、又は/及び、表示パネル33aへの表示の有無を判別する(ステップSE3)。レコードR3の場合、サーバ制御部71は、メッセージ情報に基づくメッセージを、ヘッドアップディスプレイ4及び表示パネル33aに表示すると判別する。
 ヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示すると判別すると(ステップSE3:YES)、サーバ制御部71は、通知送信アプリTSAの機能により、受信通知フィールドF31と本文フィールドF32とを参照し、格納される有無の情報に基づいて、受信通知と通知情報に基づく情報との音声による出力の有無を判別する(ステップSE4)。レコードR4の場合、サーバ制御部71は、両者とも音声による出力を行うと判別する。
 次いで、サーバ制御部71は、通知送信アプリTSAの機能により、ステップSE3及びステップSE4の判別結果に基づいて、通知情報に基づく情報を表示する表示装置を示す表示場所情報、及び、音声によって出力する否かの判別結果を示す音声判別情報を生成する。例えば、レコードR4の場合、サーバ制御部71は、メッセージ情報に基づくメッセージをヘッドアップディスプレイ4及び表示パネル33aに表示することを示す表示場所情報と、受信通知とメッセージ情報に基づくメッセージとの音声による出力を行うことを示す音声判別情報を生成する。
 一方で、ヘッドアップディスプレイ4、又は/及び、表示パネル33aに表示しないと判別した場合(ステップSE3:NO)、サーバ制御部71は、表示場所情報を生成しない(ステップSE6)。
 図4のフローチャートの説明に戻り、図4(D)のステップSD2で示す出力関連処理を行うと、サーバ制御部71は、通知送信アプリTSAの機能により、出力関連処理で生成した表示場所情報と音声判別情報とを携帯端末5に送信する(ステップSD3)。
 図4(B)において、携帯端末5の端末制御部51は、通知集約アプリTAの機能により、表示場所情報と音声判別情報とを受信する(ステップSB3)。次いで、端末制御部51は、通知集約アプリTAの機能により、通知情報と表示場所情報と音声判別情報とをナビゲーション装置3に送信する(ステップSB4)。
 図4(C)において、ナビゲーション装置3の制御部31は、通知受信アプリTJAの機能により、通知情報と表示場所情報と音声判別情報とを受信する(ステップSC1)。ここで、通知受信アプリTJAとは、通知送信アプリTSAと通信し、通知送信アプリTSAから所定の情報を受信するためのアプリケーションである。
 次いで、制御部31は、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能によって、通知情報と表示場所情報と音声判別情報とに基づき、通知情報に基づく情報を出力する処理である情報出力処理を実行する。ここで、通知表示制御アプリTHAとは、ナビゲーション装置3に接続される表示装置であるヘッドアップディスプレイ4と、ナビゲーション装置3が備える表示パネル33aとを制御するためのアプリケーションである。また、音声出力制御アプリOSAとは、スピーカーを制御するためのアプリケーションである。
 図8は、情報出力処理におけるナビゲーション装置3の動作を示すフローチャートである。
 制御部31は、通知表示制御アプリTHAの機能により、表示場所情報に基づいて、通知情報に基づく情報をヘッドアップディスプレイ4及び表示パネル33aに表示するか否かを判別する(ステップSF1)。
 通知情報に基づく情報をヘッドアップディスプレイ4及び表示パネル33aに表示する場合(ステップSF1:YES)、制御部31は、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能によって、音声判別情報に基づく音声出力と共に、通知情報に基づく情報をヘッドアップディスプレイ4及び表示パネル33aに表示する(ステップSF4)。なお、通知情報に基づく情報の表示において、制御部31は、表示パネル描画アプリHBAの機能によって、所定の態様で通知情報に基づき情報を表示パネル33aに表示させ、ヘッドアップディスプレイ描画アプリHUAの機能によって、所定の態様で通知情報に基づき情報をヘッドアップディスプレイ4に表示させる。表示パネル描画アプリHBAは、表示パネル33aに所定の情報を所定の態様で描画するためのアプリケーションである。また、ヘッドアップディスプレイ描画アプリHUAは、ヘッドアップディスプレイ4に所定の情報を所定の態様で描画するためのアプリケーションである。
 図9は、表示画面の一例を示す図である。図9(A)はヘッドアップディスプレイ4の表示画面100を示し、図9(B)は表示パネル33aの表示画面104を示す。
 図9(A)の一例に示すヘッドアップディスプレイ4の表示画面100は、走行中の道路や交通情報に基づき運転手の運転を支援する情報を表示する情報表示画面101と、通知情報に基づく情報を表示する通知情報表示画面102と、を備える。情報表示画面101は、ヘッドアップディスプレイ描画アプリHUAの機能により、ナビゲーション装置3が探索した経路に対する誘導の情報や、車両2の速度を示す情報、運転手への警告を示す情報等を所定の態様で表示する。例えば、経路に対する誘導の情報は、図9(A)に示すように矢印画像G1によって表示される。通知情報表示画面102は、ヘッドアップディスプレイ描画アプリHUAの機能により、通知情報を受信した通知アプリのロゴを示す表示画像Gaと、通知情報に基づく情報を示すテキストが表示される。例えば、メッセンジャーアプリMAがメッセージ情報を受信した場合、通知情報表示画面102には、メッセンジャーアプリMAのロゴの画像と、メッセージの差出人の名前と、メッセージ情報に基づくメッセージが表示される。メッセージは、冒頭から所定の文字数のみ表示される。
 図9(B)の一例に示す表示パネル33aの表示画面104は、表示パネル描画アプリHBAの機能により、略右半分に地図データに基づく広域の地図と、略左半分に狭域の地図を表示する。通知情報に基づく情報は、表示パネル描画アプリHBAの機能により、通知アプリのロゴを示す表示画像Gaと、通知情報に基づく情報を示すテキストとが、地図に重畳されるよう表示される。テキストは、テキストを表示するテキスト領域Aと共に、テキスト領域A内に表示される。例えば、ニュースアプリNAがニュース情報を受信した場合、ニュースアプリNAのロゴを示す表示画像Gaと、ニュース情報を受信した旨を示すテキストが表示される。なお、ニュースの内容をテキストで表示する構成であってもよい。
 図8のフローチャートの説明に戻り、ステップSF1において、制御部31は、通知表示制御アプリTHAの機能により、表示場所情報に基づいて、通知情報に基づく情報を、ヘッドアップディスプレイ4及び表示パネル33aに表示しないと判別すると(ステップSF1:NO)、ヘッドアップディスプレイ4のみに、当該情報を表示するか否かを判別する(ステップSF2)。
 制御部31は、通知情報に基づく情報をヘッドアップディスプレイ4のみに表示すると判別すると(ステップSF2:YES)、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能により、音声判別情報に基づく音声出力と共に、通知情報に基づく情報をヘッドアップディスプレイ4に表示する(ステップSF5)。
 一方で、制御部31は、通知情報に基づく情報をヘッドアップディスプレイ4に表示しないと判別すると(ステップSF2:NO)、通知表示制御アプリTHAの機能により、当該情報を表示パネル33aのみに表示する否かを判別する(ステップSF3)。
 制御部31は、通知情報に基づく情報を表示パネル33aに表示すると判別すると(ステップSF3:YES)、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能により、音声判別情報に基づく音声出力と共に、通知情報に基づく情報を表示パネル33aに表示する(ステップSF6)。
 ここで、図6に示すレコードR1、レコードR2、レコードR3、及び、レコードR4に基づいて生成された表示場所情報、及び、音声判別情報に基づく各場合の情報出力処理を例示する。
<レコードR1>
 レコードR1は、車両2に運転手以外の同乗者がいる場合に、メッセンジャーアプリMAがメッセージ情報の通知情報を受信した際に特定されるレコードである。レコードR1に基づいて表示場所情報と音声判別情報とを生成した場合、ナビゲーション装置3の制御部31は、通知情報に基づく情報をヘッドアップディスプレイ4に表示する一方、表示パネル33aには表示しない。また、レコードR1における音声判別情報は、受信通知とメッセージ情報に基づくメッセージとの音声による出力は行わないことを示す情報である。したがって、制御部31は、メッセージ情報に基づくメッセージを表示装置に表示するが、音声による出力は行わない。
 ところで、前述の通り、メッセージ情報は、プライベートな通知内容の通知情報であり、運転手以外のみ取得することが望まれる情報である。換言すると、メッセージ情報は、運転手以外に同乗者と共有不可能な情報である。したがって、レコードR1に基づく情報出力処理のように、制御部31は、共有不可能な情報を、表示パネル33aへの表示、及び、音声による出力を行わないため、当該情報が、運転手以外の同乗者に取得されることがない。そのため、制御部31は、運転手に係るプライベートな情報が運転手以外の同乗者に共有されることを防止できる。また、音声によって出力されないため、制御部31は、運転手が運転手以外の同乗者と会話中であっても、会話の妨げることを抑制できる。
<レコードR2>
 レコードR2は、車両2に運転手以外の同乗者がいる場合に、ニュースアプリNAがニュース更新情報の通知情報を受信した際に特定されるレコードである。レコードR2に基づいて表示場所情報と音声判別情報とを生成した場合、ナビゲーション装置3の制御部31は、通知情報に基づく情報を表示パネル33aに表示する一方、ヘッドアップディスプレイ4には表示しない。また、レコードR2における音声判別情報は、受信通知とニュース更新情報に基づくニュースとの音声による出力を行うことを示す。したがって、制御部31は、ニュース更新情報に基づくニュースを表示装置への表示と共に音声による出力を行う。
 ところで、前述の通り、ニュース更新情報は、車両2の走行に関する情報でないため運転手にとって必要性の低い情報であるが、最新の出来事等の有益な情報を含むため、運転手を含む同乗者が取得することが望ましい情報である。すなわち、ニュース更新情報は、メッセージ情報と異なり、運転手を含む同乗者で共有可能な情報である。したがって、レコードR2に基づく情報出力処理のように、制御部31は、共有可能な情報を、表示パネル33aへ表示すると共に音声による出力を行うため、当該情報を運転手を含む同乗者に共有させることができる。また、車両2の走行に関する情報以外の情報が、ヘッドアップディスプレイ4へ表示されることがないため、運転手の車両2に対する運転の注意を散漫することを抑制できる。
<レコードR3>
 レコードR3は、車両2に運転手以外の同乗者が寝ている場合に、ニュースアプリNAがニュース更新情報の通知情報を受信した際に特定されるレコードである。レコードR3に基づいて表示場所情報と音声判別情報とを生成した場合、ナビゲーション装置3の制御部31は、ニュース更新情報に基づくニュースを表示パネル33aに表示する一方、ヘッドアップディスプレイ4には表示しない。特に、レコードR3における音声判別情報は、受信通知とニュース更新情報に基づくニュースとの音声による出力を行わないことを示す。したがって、制御部31は、ニュース更新情報に基づくニュースを表示パネル33aに表示するが、音声による出力を行わない。
 前述の通り、ニュース情報は、メッセージ情報と異なり、運転手を含む同乗者で共有可能な情報である。しかしながら、レコードR3に基づく情報出力処理のように、制御部31は、共有可能な情報であっても、表示パネル33aに表示する一方、音声による出力を行わない。そのため、制御部31は、運転手以外の同乗者の睡眠の妨げを抑制することできる。
<レコードR4>
 レコードR4は、車両2に運転手以外の同乗者がいない場合に、メッセンジャーアプリMAがメッセージ情報の通知情報を受信した際に特定されるレコードである。レコードR4に基づいて表示場所情報と音声判別情報とを生成した場合、ナビゲーション装置3の制御部31は、メッセージ情報に基づくメッセージをヘッドアップディスプレイ4及び表示パネル33aに表示する。また、レコードR4における音声判別情報は、受信通知とメッセージ情報に基づくメッセージとの音声による出力を行うことを示す情報である。したがって、制御部31は、メッセージ情報に基づくメッセージをヘッドアップディスプレイ4及び表示パネル33aに表示と共に音声による出力を行う。
 ところで、レコードR4は、レコードR1と同様、メッセンジャーアプリMAがメッセージ情報を受信した場合に、特定されるレコードであるが、レコードR1とは異なる通知情報表示テーブルTに格納される。すなわち、レコードR4は、同乗者の状況が、運転手以外の同乗者がいない状況の通知情報表示テーブルT3に格納されている。レコードR4に基づいて表示場所情報と音声判別情報とを生成した場合、制御部31は、メッセージ情報に基づくメッセージをヘッドアップディスプレイ4及び表示パネル33aに表示すると共に音声によって出力する。つまり、制御部31は、メッセージ情報のようにプライベートな通知内容の情報であっても、確実に情報を運転手に通知するよう、情報をヘッドアップディスプレイ4及び表示パネル33aに表示すると共に音声によって出力する。しかしながら、この場合、情報は、車両2に運転手以外の同乗者が乗車していないため、他の同乗者に共有されることがない。このように、例えばメッセンジャーアプリMAがメッセージ情報を受信した場合でも、同乗者の状況に応じて、通知情報に基づく情報の出力が異なる。これは、サーバ記憶部72が記憶する通知情報表示テーブルTが同乗者の状況に応じて異なるからである。このように、通知情報表示テーブルTを同乗者の状況に応じて異ならせており、また、常に、車内状況監視アプリKAの機能によって、制御部31が、制御サーバ7に同乗者情報を送信しているため、例えば、運転手のみ車両2に乗車している状況で運転手以外の同乗者が乗車した後、メッセージ情報を受信する場合であっても、特別な設定等をする必要もなく、プレイベートな情報が運転手以外の同乗者に共有されることを防止することができる。
 以上、説明したように、本実施形態の情報処理システム1は、車両2に搭載されるナビゲーション装置3(車載装置)と、ナビゲーション装置3と通信可能な携帯端末5(端末装置)と、携帯端末5と通信可能な制御サーバ7(情報処理装置)とを備える。ナビゲーション装置3は、運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイ4に接続され、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネル33aと、を備える。携帯端末5は、所定の情報を通知する通知情報を受信し、通知情報をナビゲーション装置3に送信し、また、通知情報に関する通知関連情報を制御サーバ7に送信する。サーバ制御部71は、携帯端末5から受信した通知関連情報に基づき、ナビゲーション装置3において通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報をナビゲーション装置3に直接送信し、又は、携帯端末5を介してナビゲーション装置3に送信する。ナビゲーション装置3は、携帯端末5から通知情報を受信し、また、携帯端末5又は制御サーバ7から表示場所情報を受信し、受信した表示場所情報が示す表示装置に、通知情報に基づく情報を表示する。
 これにより、情報処理システム1は、通知情報に応じた表示装置への表示ができる。
 また、本実施形態の情報処理システム1におけるナビゲーション装置3は、車両2における運転手以外の同乗者の状況を示す同乗者情報を制御サーバ7に直接送信し、又は、携帯端末5を介してナビゲーション装置3に送信する。制御サーバ7は、ナビゲーション装置3から同乗者情報を受信し、受信した通知関連情報と同乗者情報とに基づいて表示装置を決定する。
 特に、制御サーバ7は、車両2における運転手以外の同乗者の有無を示す情報と、通知関連情報とに基づいて表示装置を決定する。
 これにより、情報処理システム1は、制御サーバ7において、車両2における運転手以外の同乗者の状況を加味して、通知情報に基づく情報を表示する表示装置を決定することができる。特に、運転手以外の同乗者が乗車しているか否かの情報に基づき、通知情報に基づく情報を表示する表示装置を決定する。そのため、運転手以外の同乗者の乗車に応じた表示装置への表示が可能となり、ユーザの利便性を向上する。
 また、本実施形態において、制御サーバ7は、携帯端末5から受信した通知関連情報、及び、同乗者情報に基づき、通知情報に基づく情報を音声によって出力するか否かを判別し、判別結果を示す音声判別情報を、表示場所情報と共にナビゲーション装置3に直接送信し、又は、携帯端末5を介してナビゲーション装置3に送信する。ナビゲーション装置3は、携帯端末5から通知情報を受信し、また、携帯端末5又は制御サーバ7から表示場所情報及び音声判別情報を受信し、受信した表示場所情報が示す表示装置に、通知情報に基づく情報を表示すると共に、音声判別情報が音声による出力を行うことを示す場合、音声によって出力する。
 これにより、音声判別情報が音声による出力を示す場合、情報処理システム1は、ナビゲーション装置3において、通知情報が示す情報を、表示装置に表示すると共に、音声によって出力することができる。
 また、本実施形態において、制御サーバ7は、運転手以外の同乗者が寝ているか否かを示す情報に基づいて、表示装置を決定する。
 これにより、情報処理システム1は、ナビゲーション装置3において、同乗者の睡眠を妨げることなく、通知情報に基づく情報を出力することができる。
 また、本実施形態において、携帯端末5は、通知情報を処理する通知アプリを記憶し、通知情報を受信した場合、受信した通知情報を処理する通知アプリを示すアプリケーション情報と、通知情報の通知内容を示す通知内容情報とを含む通知関連情報を前記情報処理装置に送信する。
 これにより、情報処理システム1は、通知アプリが処理する通知情報の通知内容に基づいて、通知情報に基づく情報を出力することができる。前述の通り、例えば、ニュース情報の通知情報は、運転手及び運転手以外の同乗者が取得することが望まれる情報である。一方、例えば、メッセージ情報の通知情報は、プレイベートに係る情報であり、運転手のみが取得することが望まれる情報である。つまり、本実施形態の情報処理システム1は、共有可能な情報を運転手及び運転手以外の同乗者が取得できるよう、表示装置に表示することができる。一方、情報処理システム1は、共有不可能な情報を運転手のみ取得できるよう、表示装置に表示することができる。そのため、情報処理システム1は、プレイベートに係る情報を運転手以外の同乗者が取得することを防止する。
<第2実施形態>
 次に、第2実施形態について説明する。
 図10は、第2実施形態に係る情報処理システム1の構成を示す図である。以下の説明で、第1実施形態に係る情報処理システム1の構成要素と同様の構成要素については、同一の符号を付し、その詳細な説明は省略する。
 図2と、図10との比較によって明らかな通り、第2実施形態に係る情報処理システム1は、ナビゲーション装置3の記憶部32が、通知情報表示テーブルTを記憶する。つまり、第2実施形態の情報処理システム1は、ナビゲーション装置3の制御部31において、上述した出力関連処理を実行する。この場合、制御部31は、通知受信アプリTJAの機能によって、通知集約アプリTAから所定の情報を受信する。また、制御部31は、通知受信アプリTJAの機能によって、表示場所情報と音声判別情報とを生成する。
 ここで、第2実施形態に係る情報処理システム1の動作について説明する。
 携帯端末5の端末制御部51は、通知アプリの機能によって通知サーバ8から受信した通知情報を、通知集約アプリTAの機能によって、通知情報と通知関連情報とをナビゲーション装置3に送信する。ナビゲーション装置3は、通知受信アプリTJAの機能によって、通知情報と通知関連情報とを受信する。次いで、ナビゲーション装置3の制御部31は、車内状況監視アプリKAの機能により、取得した同乗者情報に基づき、記憶部32が記憶する通知情報表示テーブルTを特定する。次いで、制御部31は、通知受信アプリTJAの機能によって、通知関連情報に基づき、特定した通知情報表示テーブルTに格納されるレコードを特定し、当該レコードに基づき、表示場所情報と音声判別情報とを生成する。次いで、ナビゲーション装置3は、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能により、通知情報、表示場所情報、及び、音声判別情報に基づき、通知情報に基づく情報を出力する。
 以上、説明したように、第2実施形態に係る情報処理システム1のナビゲーション装置3は、車両2に搭載され、所定の情報を通知する通知情報を受信する携帯端末5に接続可能であり、運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイ4に接続され、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネル33aを備え、携帯端末5から通知情報を受信し、通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置に、通知情報に基づく情報を表示する。
 これにより、本実施形態に係る情報処理システム1が以上の構成であっても、第1実施形態に係る情報処理システム1と同様の効果を奏することができる。また、第2実施形態に係る情報処理システム1は、第1実施形態に係る情報処理システム1と比べ、制御サーバ7を介すことがなく、システムとしての動作を簡易にすることできる。
<第3実施形態>
 次に、第3実施形態について説明する。
 図11は、第3実施形態に係る情報処理システム1の構成を示す図である。以下の説明で、第1実施形態及び第2実施形態に係る情報処理システム1の構成要素と同様の構成要素については、同一の符号を付し、その詳細な説明は省略する。
 図2と、図10と、図11との比較によって明らかな通り、第3実施形態に係る情報処理システム1は、携帯端末5の端末記憶部52が、通知情報表示テーブルTを記憶する。つまり、第3実施形態の情報処理システム1は、携帯端末5の端末制御部51において、上述した出力関連処理を実行する。この場合、端末制御部51は、通知集約アプリTAの機能によって、ナビゲーション装置3から同乗者情報を受信し、表示場所情報、及び、音声判別情報を生成する。
 ここで、第3実施形態に係る情報処理システム1の動作について説明する。
 携帯端末5の端末制御部51は、通知アプリの機能によって通知サーバ8から通知情報を受信する。端末制御部51は、通知集約アプリTAの機能によって、同乗者情報をナビゲーション装置3から受信する。次いで、端末制御部51は、通知集約アプリTAの機能によって、同乗者情報に基づく同乗者の状況に対応する通知情報表示テーブルTを特定する。次いで、端末制御部51は、通知集約アプリTAの機能により、通知関連情報に基づき、特定した通知情報表示テーブルTに格納されるレコードを特定し、当該レコードに基づき、表示場所情報と音声判別情報とを生成する。次いで、端末制御部51は、通知集約アプリTAの機能により、通知情報、表示場所情報、及び、音声判別情報をナビゲーション装置3に送信する。ナビゲーション装置3は、通知受信アプリTJAの機能により、通知情報、表示場所情報、及び、音声判別情報を受信し、通知表示制御アプリTHA及び音声出力制御アプリOSAの機能により、通知情報、表示場所情報、及び、音声判別情報に基づき、通知情報に基づく情報を出力する。
 以上、説明したように、第2実施形態に係る情報処理システム1の携帯端末5は、運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイ4に接続され、また、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネル33aを備える車載装置に接続可能であり、所定の情報を通知する通知情報を受信し、ナビゲーション装置3において通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報、及び、通知情報をナビゲーション装置3に送信する。
 これにより、本実施形態に係る情報処理システム1が以上の構成であっても、第1実施形態及び第2実施形態に係る情報処理システム1と同様の効果を奏することができる。
 上述した各実施形態は、あくまでも本発明の一例を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び、応用が可能である。
 例えば、上述したヘッドアップディスプレイ4は、コンバイナータイプのヘッドアップディスプレイ4を例示したが、これに限られない。例えば、車両2のフロントガラスに画像を投影するフロントガラスタイプのヘッドアップディスプレイ4でもよい。
 また、例えば、上述した同乗者情報は、加圧センサー35による検出信号、及び、カメラ36による撮影画像データとしたが、これに限られず、マイク等によって収音した音声も同乗者情報としてよい。この場合、ナビゲーション装置3に、マイク等の音声を収音する装置が接続される。
 また、例えば、上述した通知集約アプリTAは、APIを利用し、通知アプリから通知情報を受信する場合を例示したが、これに限られない。通知集約アプリTAは、オペレーティングシステム(以下、OSと表現する。)から通知情報を取得してもよい。OSは、ハードウェアとアプリケーションとの間、そしてアプリケーション間のインターフェイスの役割をする。つまり、この場合、OSは、通知アプリから通知集約アプリTAへの通知情報の受け渡しを仲介する。
 また、例えば、図5は、本発明を理解容易にするために、情報処理システム1の機能構成を主な処理内容に応じ、アプリケーションによって分類した概略図であり、情報処理システム1の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素が多くの処理を実行するように分類することもできる。
 また、例えば、図4、図6、及び、図8のフローチャートの処理単位は、情報処理システム1、制御サーバ7、及び、ナビゲーション装置3の処理を理解容易にするために、主に処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。情報処理システム1、制御サーバ7、及び、ナビゲーション装置3の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
 1 情報処理システム
 2 車両
 3 ナビゲーション装置(車載装置)
 4 ヘッドアップディスプレイ
 5 携帯端末(端末装置)
 7 制御サーバ(情報処置装置)
 33a 表示パネル

Claims (8)

  1.  車両に搭載される車載装置と、前記車載装置と通信可能な端末装置と、前記端末装置と通信可能な情報処理装置とを備える情報処理システムであって、
     前記車載装置は、
     運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイに接続され、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネルを備え、
     前記端末装置は、
     所定の情報を通知する通知情報を受信し、前記通知情報を前記車載装置に送信し、また、前記通知情報に関する通知関連情報を前記情報処理装置に送信し、
     前記情報処理装置は、
     前記端末装置から受信した前記通知関連情報に基づき、前記車載装置において前記通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報を前記車載装置に直接送信し、又は、前記端末装置を介して前記車載装置に送信し、
     前記車載装置は、
     前記端末装置から前記通知情報を受信し、また、前記端末装置又は前記情報処理装置から前記表示場所情報を受信し、受信した前記表示場所情報が示す表示装置に、前記通知情報に基づく情報を表示する
     ことを特徴とする情報処理システム。
  2.  前記車載装置は、
     前記車両における運転手以外の同乗者の状況を示す同乗者情報を前記情報処理装置に直接送信し、又は、前記端末装置を介して前記情報処理装置に送信し、
     前記情報処理装置は、
     前記車載装置から前記同乗者情報を受信し、受信した前記同乗者情報と前記通知関連情報とに基づいて表示装置を決定する
     ことを特徴とする請求項1に記載の情報処理システム。
  3.  前記同乗者情報は、同乗者の有無を示す情報を含むことを特徴とする請求項2に記載の情報処理システム。
  4.  前記情報処理装置は、
     前記通知関連情報、及び、前記同乗者情報に基づき、前記通知情報に基づく情報を音声によって出力するか否かを判別し、判別結果を示す音声判別情報を、前記表示場所情報と共に前記車載装置に直接送信し、又は、前記端末装置を介して前記車載装置に送信し、
     前記車載装置は、
     前記端末装置から前記通知情報を受信し、また、前記端末装置又は前記情報処理装置から前記表示場所情報及び前記音声判別情報を受信し、受信した前記表示場所情報が示す表示装置に、前記通知情報に基づく情報を表示すると共に、前記音声判別情報が音声による出力を行うことを示す場合、音声によって出力する
     ことを特徴とする請求項2又は3に記載の情報処理システム。
  5.  前記同乗者情報は、同乗者が寝ているか否かを示す情報を含むことを特徴とする請求項4に記載の情報処理システム。
  6.  前記端末装置は、
     前記通知情報を処理するアプリケーションを記憶し、
     前記通知情報を受信した場合、受信した前記通知情報を処理する前記アプリケーションを示すアプリケーション情報と、前記通知情報の通知内容を示す通知内容情報とを含む前記通知関連情報を前記情報処理装置に送信する
     こと特徴とする請求項1又は2に記載の情報処理システム。
  7.  車両に搭載され、所定の情報を通知する通知情報を受信する端末装置に接続可能な車載装置において、
     運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイに接続され、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネルを備え、
     前記端末装置から前記通知情報を受信し、前記通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置に、前記通知情報に基づく情報を表示する
     ことを特徴とする車載装置。
  8.  運転手により表示された情報の表示が視認可能な表示装置であるヘッドアップディスプレイに接続され、また、運転手及び運転手以外の同乗者により表示された情報の表示が視認可能な表示装置である表示パネルを備える車載装置に接続可能な端末装置において、
     所定の情報を通知する通知情報を受信し、前記車載装置において前記通知情報に基づく情報を表示する表示装置を決定し、決定した表示装置を示す表示場所情報、及び、前記通知情報を前記車載装置に送信する
     ことを特徴とする端末装置。
PCT/JP2016/054364 2015-02-19 2016-02-16 情報処理システム、車載装置、及び、端末装置 WO2016133060A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16752446.1A EP3260816B1 (en) 2015-02-19 2016-02-16 Information processing system, on-vehicle device, and terminal device
US15/533,526 US10569652B2 (en) 2015-02-19 2016-02-16 Information processing system, on-vehicle device, and terminal device for privacy management
CN201680010688.9A CN107250729B (zh) 2015-02-19 2016-02-16 信息处理系统、车载装置、及终端装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015030705A JP6559437B2 (ja) 2015-02-19 2015-02-19 情報処理システム、車載装置、及び、端末装置
JP2015-030705 2015-02-19

Publications (1)

Publication Number Publication Date
WO2016133060A1 true WO2016133060A1 (ja) 2016-08-25

Family

ID=56688897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054364 WO2016133060A1 (ja) 2015-02-19 2016-02-16 情報処理システム、車載装置、及び、端末装置

Country Status (5)

Country Link
US (1) US10569652B2 (ja)
EP (1) EP3260816B1 (ja)
JP (1) JP6559437B2 (ja)
CN (1) CN107250729B (ja)
WO (1) WO2016133060A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106274490A (zh) * 2016-09-08 2017-01-04 深圳华汽车科技有限公司 一种可编辑场景的汽车仪表ui显示方法
CN107920099A (zh) * 2016-10-09 2018-04-17 北京嘀嘀无限科技发展有限公司 一种播报消息处理方法及服务器
JP2018101321A (ja) * 2016-12-21 2018-06-28 パイオニア株式会社 報知装置
US10971157B2 (en) * 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
CN115454372A (zh) * 2017-04-05 2022-12-09 北京嘀嘀无限科技发展有限公司 语音信息的播报管理方法及装置
CN107719122A (zh) * 2017-09-14 2018-02-23 中国第汽车股份有限公司 一种应用于汽车的抬头操控装置及方法
US10498685B2 (en) * 2017-11-20 2019-12-03 Google Llc Systems, methods, and apparatus for controlling provisioning of notifications based on sources of the notifications
JP6947004B2 (ja) * 2017-12-20 2021-10-13 トヨタ自動車株式会社 車載音声出力装置、音声出力装置、音声出力方法、及び音声出力プログラム
JP7063098B2 (ja) * 2018-05-08 2022-05-09 トヨタ自動車株式会社 車両用情報提供装置
JP7015748B2 (ja) * 2018-08-03 2022-02-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報収集方法、情報収集システム、及び情報収集プログラム
JP7053440B2 (ja) * 2018-11-29 2022-04-12 本田技研工業株式会社 生成装置、生成装置の制御方法及びプログラム
JP7161971B2 (ja) * 2019-04-22 2022-10-27 本田技研工業株式会社 ソフトウェア更新装置、ソフトウェア更新システム、及びソフトウェア更新方法
US20210132963A1 (en) * 2019-11-05 2021-05-06 Varjo Technologies Oy System and method for presenting notifications on head-mounted display device and external computing device
JP2021086376A (ja) * 2019-11-27 2021-06-03 パイオニア株式会社 メッセージ処理システム、移動体外装置及び移動体装置並びにメッセージ処理方法及びメッセージ処理用プログラム
WO2022053862A1 (ja) * 2020-09-10 2022-03-17 日産自動車株式会社 情報出力装置及び情報出力方法
US20220324458A1 (en) * 2021-04-13 2022-10-13 Ford Global Technologies, Llc Systems and methods for enhancing in-cabin sleep experience in vehicle
KR20220158908A (ko) * 2021-05-24 2022-12-02 삼성전자주식회사 프라이버시에 기반한 오디오 운용 방법 및 장치
WO2024038817A1 (ja) * 2022-08-15 2024-02-22 株式会社デンソー 情報通知システム、車両制御装置、プログラム、及び情報通知方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133006A (ja) * 2004-11-04 2006-05-25 Alpine Electronics Inc 車載用コンテンツ再生装置
JP2013154713A (ja) * 2012-01-27 2013-08-15 Denso Corp 表示制御装置
JP2014035613A (ja) * 2012-08-08 2014-02-24 Fujitsu Ten Ltd 情報表示システム、情報表示装置、情報表示方法及びナビゲーション装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824186B2 (ja) 1997-01-24 2006-09-20 カルソニックカンセイ株式会社 自動車電話システム
JP4260383B2 (ja) * 2001-07-06 2009-04-30 アルパイン株式会社 車載用表示装置
JP2007132678A (ja) * 2005-11-08 2007-05-31 Xanavi Informatics Corp ナビゲーション装置
JP2007265221A (ja) * 2006-03-29 2007-10-11 Sanyo Electric Co Ltd 複数画像表示装置及び車載ナビゲーションシステム
FR2914080A1 (fr) * 2007-03-23 2008-09-26 Renault Sas Systeme et procede de gestion de donnees en provenance et a destination d'un vehicule automobile.
US20100188204A1 (en) * 2007-10-15 2010-07-29 Reiko Okada Display device for vehicle
JP2009103521A (ja) * 2007-10-22 2009-05-14 Fujitsu Ten Ltd ナビゲーションシステム、携帯端末装置および車載装置
JP2010238209A (ja) 2009-03-31 2010-10-21 Fujitsu Ten Ltd 車載システム
KR101649643B1 (ko) 2010-02-01 2016-08-19 엘지전자 주식회사 정보 표시 장치
DE102010011306A1 (de) * 2010-03-13 2011-09-15 Volkswagen Ag Verfahren und Vorrichtung zur Einstellung von mindestens einem Parameter mindestens einer Lichtquelle
US8781838B2 (en) * 2010-08-09 2014-07-15 General Motors, Llc In-vehicle text messaging experience engine
CN103134509A (zh) * 2012-12-25 2013-06-05 上海博泰悦臻电子设备制造有限公司 车载导航方法和车载导航装置
JP6433641B2 (ja) 2013-04-02 2018-12-05 クラリオン株式会社 情報表示装置および情報表示方法
JP2015096413A (ja) * 2013-10-11 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 処理方法、プログラム、処理装置および検出システム
US9787812B2 (en) * 2014-08-28 2017-10-10 Honda Motor Co., Ltd. Privacy management
EP3048805B1 (en) * 2015-01-21 2020-09-16 LG Electronics Inc. Ear set device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133006A (ja) * 2004-11-04 2006-05-25 Alpine Electronics Inc 車載用コンテンツ再生装置
JP2013154713A (ja) * 2012-01-27 2013-08-15 Denso Corp 表示制御装置
JP2014035613A (ja) * 2012-08-08 2014-02-24 Fujitsu Ten Ltd 情報表示システム、情報表示装置、情報表示方法及びナビゲーション装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3260816A4 *

Also Published As

Publication number Publication date
CN107250729B (zh) 2020-10-30
EP3260816A1 (en) 2017-12-27
CN107250729A (zh) 2017-10-13
EP3260816B1 (en) 2021-12-15
US20180264943A1 (en) 2018-09-20
US10569652B2 (en) 2020-02-25
JP6559437B2 (ja) 2019-08-14
EP3260816A4 (en) 2018-08-08
JP2016151555A (ja) 2016-08-22

Similar Documents

Publication Publication Date Title
JP6559437B2 (ja) 情報処理システム、車載装置、及び、端末装置
US10015299B2 (en) Information display apparatus and information display method
US20160076897A1 (en) Method, apparatus and computer program product for collaborative presentation of travel route information
CN103116399A (zh) 基于推断的交通工具状态提供用户接口体验的方法和装置
US20170219356A1 (en) Warning notification system, warning notification method, and computer readable medium
US20150151689A1 (en) Vehicular video control apparatus
JP6037923B2 (ja) 表示情報生成装置および表示情報生成方法
TW201508706A (zh) 監測車輛行徑的行動裝置及其方法與電腦可讀取紀錄媒體
CN103063224A (zh) 用于操作导航系统的方法
JP2008299528A (ja) 電子メール受信装置及び電子メール送受信システム
CN111247393A (zh) 免提助手请求的通信的系统和方法
US20170219375A1 (en) Warning notification system, warning notification method, and computer readable medium
JP2008026653A (ja) 車載用ナビゲーション装置
JP6295360B1 (ja) メッセージ表示用プログラム、メッセージ表示装置、及びメッセージ表示方法
WO2015063879A1 (ja) 情報処理装置、情報端末、情報通信中継装置、情報通信システムおよび情報処理方法
JP2019109706A (ja) サーバ装置、情報処理方法、データ構造および危険情報提供方法
JP2010085203A (ja) ナビゲーション装置及び案内誘導方法
JP2010170371A (ja) 車載システム
CN109564727A (zh) 用于对车辆警告错误行驶状况的方法、设备和系统
JP2017049489A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2017019349A (ja) 車載機器、情報システムおよび出力制御方法
WO2022176111A1 (ja) 改善項目検出装置、改善項目検出方法、及びプログラム
JP2020118473A (ja) 経路案内制御装置、経路案内制御方法、およびプログラム
KR101667731B1 (ko) 차량 내 영상표시장치 및 그것의 제어 방법
US10514878B2 (en) Display controller, display system, and display control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752446

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15533526

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016752446

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE