WO2021149593A1 - 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体 - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2021149593A1
WO2021149593A1 PCT/JP2021/001125 JP2021001125W WO2021149593A1 WO 2021149593 A1 WO2021149593 A1 WO 2021149593A1 JP 2021001125 W JP2021001125 W JP 2021001125W WO 2021149593 A1 WO2021149593 A1 WO 2021149593A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
posture
information processing
information
vehicle
Prior art date
Application number
PCT/JP2021/001125
Other languages
English (en)
French (fr)
Inventor
智也 大石
翔吾 藤江
祥子 佐藤
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2021573115A priority Critical patent/JPWO2021149593A1/ja
Priority to US17/791,813 priority patent/US20230054224A1/en
Priority to EP21744609.5A priority patent/EP4095823A4/en
Publication of WO2021149593A1 publication Critical patent/WO2021149593A1/ja
Priority to JP2023201226A priority patent/JP2024041746A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to an information processing device, an information processing method, an information processing program, and a storage medium.
  • a smart speaker having a voice assistant function that recognizes a voice input from a microphone by AI (Artificial Intelligence) on a network and responds to the input voice is known (see, for example, Patent Document 1). ).
  • the voice assistant function is activated in response to a specific word (hereinafter referred to as a wake word) uttered by the user.
  • Patent Document 1 it is necessary to make a user who wants to receive a service using the voice assistant function perform the work of issuing a wake word, and the convenience cannot be improved. Is given as an example.
  • the present invention has been made in view of the above, and an object of the present invention is to provide, for example, an information processing device, an information processing method, an information processing program, and a storage medium that can improve convenience.
  • the information processing device has a posture detection unit that detects a posture taken by an occupant in a moving body unconsciously, and enables a plurality of types of services to be executed for the occupant. It is characterized by including a service execution unit that executes at least one of a plurality of types of services.
  • the information processing method according to claim 5 is an information processing method executed by an information processing apparatus, which is based on a posture detection step of detecting a posture taken by an occupant in a moving body unconsciously and the posture. It is characterized by including a service execution step of executing at least one of a plurality of types of services to the occupant.
  • the information processing program according to claim 6 includes a posture detection step of detecting a posture unconsciously taken by an occupant in a moving body, and at least one of a plurality of types of services for the occupant based on the posture. It is an information processing program for causing a computer to execute a service execution step for executing one service.
  • the storage medium according to claim 7 includes a posture detection step of detecting a posture taken by an occupant in a moving body unconsciously, and at least one of a plurality of types of services for the occupant based on the posture. It is characterized by storing an information processing program for causing a computer to execute a service execution step for executing a service.
  • FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment.
  • FIG. 2 is a block diagram showing a configuration of an in-vehicle terminal.
  • FIG. 3 is a block diagram showing a configuration of an information processing device.
  • FIG. 4 is a flowchart showing an information processing method.
  • FIG. 5 is a diagram illustrating an information processing method.
  • FIG. 1 is a block diagram showing a configuration of an information processing system 1 according to an embodiment.
  • the information processing system 1 is a system that executes a service according to the attitude of the occupant PA to the occupant PA (see FIG. 5) of the vehicle VE (FIG. 1) which is a moving body.
  • the information processing system 1 includes an in-vehicle terminal 2 and an information processing device 3. Then, these in-vehicle terminals 2 and the information processing device 3 communicate with each other via the network NE (FIG. 1) which is a wireless communication network.
  • FIG. 1 is a block diagram showing a configuration of an information processing system 1 according to an embodiment.
  • the information processing system 1 is a system that executes a service according to the attitude of the occupant PA to the occupant PA (see FIG. 5) of the vehicle VE (FIG. 1) which is a moving body.
  • the information processing system 1 includes an in-vehicle terminal 2 and an information processing device 3. Then, these in-vehicle terminal
  • a plurality of in-vehicle terminals 2 mounted on a plurality of vehicles may be used. Further, in order to execute the service to each of a plurality of occupants in one vehicle, a plurality of in-vehicle terminals 2 may be mounted in one vehicle.
  • FIG. 2 is a block diagram showing the configuration of the in-vehicle terminal 2.
  • the in-vehicle terminal 2 is, for example, a stationary navigation device or a drive recorder installed in the vehicle VE.
  • the in-vehicle terminal 2 is not limited to the navigation device or the drive recorder, and a portable terminal such as a smartphone used by the occupant PA of the vehicle VE may be adopted.
  • the in-vehicle terminal 2 includes a voice input unit 21, a voice output unit 22, an imaging unit 23, a display unit 24, a sensor unit 25, and a terminal body 26.
  • the voice input unit 21 includes a microphone 211 (see FIG. 5) that inputs voice and converts it into an electric signal, and generates voice information by performing A / D (Analog / Digital) conversion or the like on the electric signal.
  • the voice information generated by the voice input unit 21 is a digital signal.
  • the voice input unit 21 outputs the voice information to the terminal body 26.
  • the audio output unit 22 includes a speaker 221 (see FIG. 5), converts a digital audio signal input from the terminal body 26 into an analog audio signal by D / A (Digital / Analog) conversion, and the speaker 221 is used to convert the digital audio signal into an analog audio signal. Outputs audio according to the analog audio signal.
  • the imaging unit 23 photographs the occupant PA of the vehicle VE to generate a captured image. Then, the imaging unit 23 outputs the generated captured image to the terminal body 26.
  • the display unit 24 is composed of a display using liquid crystal, organic EL (Electro Luminescence), or the like, and displays various images under the control of the terminal body 26.
  • the sensor unit 25 includes a GNSS (Global Navigation Satellite System) sensor 251, a vehicle speed sensor 252, an acceleration sensor 253, a steering angle sensor 254, and a biological sensor 255.
  • the GNSS sensor 251 uses GNSS to receive radio waves including positioning data transmitted from a navigation satellite. The positioning data is used to detect the absolute position of the vehicle VE from latitude and longitude information and the like.
  • the GNSS used may be, for example, GPS (Global Positioning System) or another system.
  • the vehicle speed sensor 252 detects the speed of the vehicle VE and generates vehicle speed data corresponding to the speed.
  • the acceleration sensor 253 detects, for example, vertical acceleration in the vehicle VE, and generates vibration data according to the acceleration.
  • the vibration data is data according to the vertical acceleration applied to the vehicle VE when the vehicle VE passes over unevenness, holes, or obstacles on the road. That is, the vibration data corresponds to the route state information according to the present embodiment regarding the state of the traveling route of the vehicle VE.
  • the steering angle sensor 254 detects the steering angle of the vehicle VE and generates steering angle data corresponding to the steering angle.
  • the biosensor 255 is built into the seat on which the occupant PA of the vehicle VE sits, and is installed in a wearable device worn by the occupant PA of the vehicle VE or around the occupant PA of the vehicle VE. It detects biological information such as pulse waves, respiration, body movements, and brain waves, and generates biological data according to the biological information. Then, the sensor unit 25 outputs output data such as the above-mentioned positioning data, vehicle speed data, vibration data, steering angle data, and biological data to the terminal body 26.
  • the terminal body 26 includes a communication unit 261, a control unit 262, and a storage unit 263.
  • the communication unit 261 transmits and receives information to and from the information processing device 3 via the network NE under the control of the control unit 262.
  • the control unit 262 is realized by executing various programs stored in the storage unit 263 by a controller such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and controls the operation of the entire vehicle-mounted terminal 2. ..
  • the control unit 262 is not limited to the CPU and MPU, and may be configured by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the storage unit 263 stores various programs executed by the control unit 262, data necessary for the control unit 262 to perform processing, and the like.
  • FIG. 3 is a block diagram showing the configuration of the information processing device 3.
  • the information processing device 3 is, for example, a server device. As shown in FIG. 3, the information processing device 3 includes a communication unit 31, a control unit 32, and a storage unit 33.
  • the communication unit 31 transmits and receives information to and from the vehicle-mounted terminal 2 (communication unit 261) and the like via the network NE under the control of the control unit 32.
  • the control unit 32 is realized by executing various programs (including the information processing program according to the present embodiment) stored in the storage unit 33 by a controller such as a CPU or MPU, and the entire information processing device 3 is realized. Control the operation.
  • the control unit 32 is not limited to the CPU and MPU, and may be configured by an integrated circuit such as an ASIC or FPGA. As shown in FIG. 3, the control unit 32 includes an image acquisition unit 321, a posture detection unit 322, an information acquisition unit 323, and a service execution unit 324.
  • the image acquisition unit 321 acquires the captured image generated by the image pickup unit 23 from the vehicle-mounted terminal 2 via the communication unit 31.
  • the attitude detection unit 322 detects the attitude of the occupant PA of the vehicle VE.
  • the posture of the occupant PA includes a posture taken by the occupant unconsciously.
  • the posture detection unit 322 detects the posture by so-called skeleton detection. More specifically, the posture detection unit 322 includes the vehicle VE included as a subject in the captured image acquired by the image acquisition unit 321 by image recognition (image recognition using AI) using the learning model shown below.
  • the posture of the occupant PA is detected by detecting the skeleton of the occupant PA.
  • the learning model uses an image in which the position of the joint point of the person is labeled in advance with respect to the photographed image of the person as a teacher image, and machine-learns the position of the joint point based on the teacher image (for example, deep layer). It is a model obtained by learning (learning, etc.).
  • the information acquisition unit 323 acquires various types of information such as output data, road traffic information, road data, facility information, boarding time information, and tempo information shown below.
  • the output data is the output data of the sensor unit 25 acquired from the vehicle-mounted terminal 2 via the communication unit 31.
  • the road traffic information is road traffic information such as traffic congestion information and traffic information acquired from the VICS (registered trademark, Vehicle Information Communication System) center via the communication unit 31, and is the above-mentioned output data (GNSS sensor 251). This is road traffic information corresponding to the current position of the vehicle VE estimated from the received positioning data).
  • the road data is road data stored in the storage unit 33, and the vehicle VE corresponding to the current position of the vehicle VE estimated from the above-mentioned output data (positioning data received by the GNSS sensor 251) is It is road data showing the road on which the vehicle is traveling. That is, the road data corresponds to the travel route information according to the present embodiment regarding the travel route of the vehicle VE.
  • the facility information is facility information stored in the storage unit 33, and indicates facility information around the current position of the vehicle VE estimated from the above-mentioned output data (positioning data received by the GNSS sensor 251). Is.
  • the storage location of the road data and facility information described above is not limited to the configuration stored in the storage unit 33, and may be another location, for example, the storage unit 263.
  • the boarding time information is information acquired from the in-vehicle terminal 2 via the communication unit 31, and is the driving time during which the vehicle VE is continuously operated (for example, the engine of the vehicle VE is continuously turned on). Information about (time spent). The operation time is measured by, for example, the control unit 262.
  • the tempo information is information acquired from the vehicle-mounted terminal 2 via the communication unit 31, and is information related to the tempo (BPM (Beats Per Minute)) of the music being played on the vehicle-mounted terminal 2.
  • the tempo information is, for example, information generated by the control unit 262 analyzing the music data of the music by a well-known analysis method, or information about BPM included in the tag data inside the music data. be.
  • the service execution unit 324 enables a plurality of types of services to be executed for the occupant PA of the vehicle VE. Then, the service execution unit 324 has at least one of the plurality of types of services based on the posture of the occupant PA detected by the posture detection unit 322 and various information acquired by the information acquisition unit 323. Run one service. As shown in FIG. 3, the service execution unit 324 includes an agent activation unit 3241 and a plurality of service agents 32421 to 3242N. In the following, when it is not necessary to distinguish a plurality of service agents 32421 to 3242N, the service agents 3242 are simply referred to as service agents 3242.
  • the plurality of service agents 32421 to 3242N execute different services to the occupant PA of the vehicle VE.
  • the service agent 3242 is composed of at least one application program that executes at least one task (function). That is, "execution of the service” according to the present embodiment means executing the at least one task (function).
  • the agent activation unit 3241 activates the service agent 3242 based on the attitude of the occupant PA of the vehicle VE detected by the attitude detection unit 322 and various information acquired by the information acquisition unit 323. To judge. Further, when the agent activation unit 3241 determines that the service agent 3242 is to be activated, the agent activation unit 3241 selects and activates at least one service agent 3242 according to the attitude and various information among the plurality of service agents 32421 to 3242N. .. Then, at least one service agent 3242 that has been started executes the service.
  • the storage unit 33 stores various programs (information processing programs according to the present embodiment) executed by the control unit 32, as well as data and the like necessary for the control unit 32 to perform processing.
  • the storage unit 33 includes a learning model DB (database) 331 and a map DB 332.
  • the learning model DB331 stores the above-mentioned learning model.
  • the map DB 332 stores the map data.
  • the map data includes road data represented by a link corresponding to a road and a node corresponding to a connection portion (intersection) of the road, and each facility and the position of each facility (hereinafter referred to as facility position). Includes associated facility information, etc.
  • FIG. 4 is a flowchart showing an information processing method.
  • FIG. 5 is a diagram illustrating an information processing method. Specifically, FIG. 5 is a diagram showing a captured image IM generated by the imaging unit 23 and acquired in step S1.
  • FIG. 5 illustrates a case where the image pickup unit 23 is installed in the vehicle VE so as to photograph the occupant (driver) PA sitting in the driver's seat of the vehicle VE from the side.
  • the installation position of the imaging unit 23 is not limited to the above-mentioned installation position.
  • the imaging unit 23 may be installed in the vehicle VE so as to photograph the occupant PA from the front.
  • the occupants of the vehicle include not only the occupants sitting in the driver's seat of the vehicle VE but also the occupants sitting in the passenger seat and the rear seat.
  • the number of the imaging units 23 installed in the vehicle VE is not limited to one, and may be a plurality. That is, a configuration may be adopted in which one occupant PA is photographed by a plurality of imaging units 23 and the posture of the occupant PA is detected from a plurality of viewpoints.
  • the image acquisition unit 321 acquires the captured image IM generated by the image pickup unit 23 from the vehicle-mounted terminal 2 via the communication unit 31 (step S1).
  • the posture detection unit 322 detects the skeleton of the occupant PA of the vehicle VE included as a subject in the captured image IM by image recognition using the learning model stored in the learning model DB 331.
  • the posture of PA is detected (step S2: posture detection step).
  • the information acquisition unit 323 acquires various information (step S3).
  • the agent activation unit 3241 determines whether or not to activate the service agent 3242 based on the posture of the occupant PA detected in step S2 and various information acquired in the step S3. (Step S4). If it is determined not to start the service agent 3242 (step S4: No), the control unit 32 returns to step S1. On the other hand, when it is determined that the service agent 3242 is to be activated (step S4: Yes), the agent activation unit 3241 has the posture of the occupant PA detected in step S2 and the attitude of step S3 among the plurality of service agents 32421 to 3242N. At least one service agent 3242 according to various information acquired in the above is selected and started (step S5).
  • step S5 corresponds to the service execution step according to the present embodiment.
  • the details of steps S4 and S5 will be described in "Specific Examples of Service Agents" described later.
  • service agent 3242 As the service agent 3242 described above, the first to tenth service agents shown below can be exemplified.
  • the first service agent is a service agent 3242 that executes the first and second tasks (functions) shown below.
  • the first task (function) is a task of interacting with the occupant PA of the vehicle VE. More specifically, the first service agent executes the first task (function) to input the words (voice) uttered by the occupant PA from the in-vehicle terminal 2 via the communication unit 31 into the voice input unit. 21 takes in and acquires voice information generated by the voice input unit 21 based on the voice. Further, the first service agent recognizes the acquired voice information and transmits voice information in response to the voice indicated by the voice information to the vehicle-mounted terminal 2 via the communication unit 31. As a result, the voice corresponding to the voice information is output from the voice output unit 22, and a dialogue is performed between the occupant PA and the first service agent.
  • the first task (function) is different from the third, fourth, sixth, eighth, tenth, and twelfth tasks (functions) described later in the following points.
  • the first service agent is the vehicle VE estimated from the output data (positioning data received by the GNSS sensor 251) acquired in step S3 during the execution of the first task (function).
  • the first service agent proposes food and drink that can be received by the occupant PA to the occupant PA while having a dialogue with the occupant PA of the vehicle VE.
  • the second task (function) is a task that is executed when the occupant PA of the vehicle VE desires the food and drink while proposing food and drink in the first task (function) described above. More specifically, the first service agent accesses the external management server that accepts the order and delivery of the food and drink via the communication unit 31 by executing the second task (function). Request the order and delivery of the food and drink.
  • the agent activation unit 3241 will perform the first step in steps S4 and S5. Select 1 service agent.
  • the agent activation unit 3241 considers the following information among various information acquired in step S3 in addition to the posture of the occupant PA.
  • the information is at least one of the boarding time information and the output data of the sensor unit 25 (biological data generated by the biosensor 255).
  • the agent activation unit 3241 selects the first service agent when the posture of the occupant PA is the first posture and at least one of the following first and second cases.
  • the first case is a case where the operating time of the occupant PA indicated by the boarding time information is equal to or greater than a specific threshold value.
  • the second case is a case where the state of the occupant PA is estimated to be a fatigued state from the heartbeat and the like of the occupant PA indicated by the biological data.
  • the first service agent is activated when the occupant PA of the vehicle VE is in a tired state and needs to eat and drink.
  • the second service agent is a service agent 3242 that executes a third task (function).
  • the third task (function) is a task that interacts with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the second service agent is currently executing the third task (function), and the current vehicle VE estimated from the output data (positioning data received by the GNSS sensor 251) acquired in step S3.
  • the second service agent while having a dialogue with the occupant PA of the vehicle VE, proposes a rest place such as a service area or a convenience store near the current position to the occupant PA, and urges the occupant PA to take a break.
  • the agent activation unit 3241 will perform the second step in steps S4 and S5. Select a service agent.
  • the agent activation unit 3241 considers the following information among various information acquired in step S3 in addition to the posture of the occupant PA.
  • the information is at least one of boarding time information, road traffic information, and output data of the sensor unit 25 (biological data generated by the biosensor 255).
  • the agent activation unit 3241 selects the second service agent when the posture of the occupant PA is the second posture and at least one of the following third to sixth cases.
  • the third case is a case where the operating time of the occupant PA indicated by the boarding time information is equal to or greater than a specific threshold value.
  • the fourth case is a case where the wake-up time of the occupant PA estimated from the biometric data is earlier than the specific time.
  • the fifth case is a case where the road on which the vehicle VE is traveling, which is indicated by the road traffic information, is congested.
  • the sixth case is a case where the state of the occupant PA is estimated to be drowsy from the heartbeat and the like of the occupant PA indicated by the biological data.
  • the second service agent is activated when the occupant PA of the vehicle VE is in a drowsy state and needs a break.
  • the third service agent is a service agent 3242 that executes the fourth and fifth tasks (functions) shown below.
  • the fourth task (function) is a task that interacts with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the third service agent gives a quiz to the occupant PA while interacting with the occupant PA of the vehicle VE by executing the fourth task (function).
  • the fifth task (function) is a task of causing the in-vehicle terminal 2 to play specific music data and play specific music.
  • the third service agent transmits specific music data to the in-vehicle terminal 2 via the communication unit 31 by executing the fifth task (function). As a result, the in-vehicle terminal 2 reproduces the music data.
  • the agent activation unit 3241 proceeds in steps S4 and S5. , Select a third service agent.
  • the agent activation unit 3241 considers the following information among various information acquired in step S3 in addition to the posture of the occupant PA.
  • the information is at least one of boarding time information, road data, road traffic information, and output data of the sensor unit 25 (vibration data generated by the acceleration sensor 253, biometric data generated by the biosensor 255). be.
  • the agent activation unit 3241 selects the third service agent when the posture of the occupant PA is the third posture and at least one of the following seventh to eleventh cases.
  • the seventh case is a case where the operating time of the occupant PA indicated by the boarding time information is equal to or greater than a specific threshold value.
  • the eighth case is a case where the road on which the vehicle VE is traveling indicated by the road data is a monotonous road (for example, a road in which a straight line continues).
  • it is estimated from the vertical acceleration of the vehicle VE indicated by the vibration data that the road on which the vehicle VE is traveling is a monotonous road (for example, a smooth road).
  • the tenth case is a case where the traffic volume of the road on which the vehicle VE is traveling, which is indicated by the road traffic information, is equal to or less than a specific threshold value.
  • the eleventh case is a case where the state of the occupant PA is estimated to be a state without fatigue from the heartbeat and the like of the occupant PA indicated by the biological data.
  • the third service agent is activated when, for example, the vehicle VE is traveling on a monotonous road and the occupant PA of the vehicle VE is bored.
  • the fourth service agent is a service agent 3242 that executes the sixth and seventh tasks (functions) shown below.
  • the sixth task (function) is a task that interacts with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the seventh task (function) is a task of recognizing an object (for example, a building) outside the vehicle VE when the occupant PA of the vehicle VE points the finger at the object. More specifically, the fourth service agent acquires the captured image IM from the in-vehicle terminal 2 via the communication unit 31 by executing the seventh task (function).
  • the photographed image IM the object recognized in the direction of the finger of the occupant PA included in the photographed image IM as a subject is recognized.
  • the object information (for example, the name of the object) explaining the recognized object is output to the occupant PA by voice by executing the sixth task (function) described above, for example.
  • the agent activation unit 3241 proceeds in steps S4 and S5. , Select a fourth service agent.
  • the agent activation unit 3241 considers the facility information among the various information acquired in step S3 in addition to the posture of the occupant PA. Specifically, the agent activation unit 3241 estimates that the posture of the occupant PA is the fourth posture, and that the vehicle VE is traveling in a tourist spot from the facilities around the current position of the vehicle VE indicated by the facility information. If so, select a fourth service agent.
  • the fourth service agent is activated when, for example, the vehicle VE is traveling in a tourist spot and the occupant PA of the vehicle VE points to the outside of the vehicle VE.
  • the fifth service agent is a service agent 3242 that executes the eighth task (function) shown below.
  • the eighth task (function) is a task that interacts with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the fifth service agent by executing the eighth task (function), holds the handle with both hands for the safety of the occupant PA while interacting with the occupant PA of the vehicle VE. Encourage you to drive.
  • the agent activation unit 3241 proceeds in steps S4 and S5. , Select a fifth service agent.
  • the agent activation unit 3241 considers the following information among various information acquired in step S3 in addition to the posture of the occupant PA.
  • the information is at least one of road data and output data of the sensor unit 25 (vibration data generated by the acceleration sensor 253).
  • the agent activation unit 3241 selects the fifth service agent when the posture of the occupant PA is the fifth posture and at least one of the following twelfth and thirteenth cases.
  • the road on which the vehicle VE is traveling indicated by the road data is a mountain road having continuous corners.
  • it is estimated from the vertical acceleration of the vehicle VE indicated by the vibration data that the road on which the vehicle VE is traveling is a mountain road having continuous corners.
  • the fifth service agent is activated when, for example, the vehicle VE is traveling on a mountain road with continuous corners and the occupant PA of the vehicle VE is driving dangerously (holding the steering wheel with one hand). ..
  • the sixth service agent is a service agent 3242 that executes the ninth task (function) shown below.
  • the ninth task (function) is a task of selecting the music to be listened to and adding a DJ effect to the music so that the music played on the in-vehicle terminal 2 can be enjoyed and listened to.
  • the agent activation unit 3241 will perform steps S4 and S4. In S5, the sixth service agent is selected.
  • the agent activation unit 3241 considers the tempo information among the various information acquired in step S3 in addition to the posture of the occupant PA. Specifically, the agent activation unit 3241 is reproduced on the vehicle-mounted terminal 2 in which the posture of the occupant PA is the fourth posture, the constant rhythm swaying to the left and right indicated by the fourth posture, and the tempo information.
  • the sixth service agent is selected when the tempo of the music is substantially the same. As described above, the sixth service agent is activated when the occupant PA of the vehicle VE is in rhythm at the tempo of the music being played on the in-vehicle terminal 2.
  • the seventh service agent is a service agent 3242 that executes the tenth task (function) shown below.
  • the tenth task (function) is a task of interacting with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the seventh service agent executes the tenth task (function) to show the heartbeat of the occupant PA indicated by the captured image IM acquired in step S1 and the biological data acquired in step S3. Interact with the occupant PA according to the emotions of the occupant PA estimated from the above.
  • the agent activation unit 3241 in steps S4 and S5. Select a seventh service agent.
  • the seventh service agent is activated when the occupant PA of the vehicle VE is looking at a book or a smartphone.
  • the eighth service agent is a service agent 3242 that executes the eleventh task (function) shown below.
  • the eleventh task (function) is a task of controlling the operation of the vehicle VE via the communication unit 31 and the in-vehicle terminal 2 and automatically stopping the vehicle VE on the road shoulder in an emergency.
  • the eighth service agent controls the operation of the vehicle VE during the execution of the eleventh task (function), and the road data acquired in step S3 and the output data of the sensor unit 25 (vehicle speed sensor 252).
  • vehicle speed data generated in the above and the steering angle data generated by the steering angle sensor 254) are referred to.
  • the agent activation unit 3241 continues in steps S4 and S4.
  • the eighth service agent is selected.
  • the posture other than the normal driving posture can be exemplified as a posture in which the head has fallen forward or backward, or the body has fallen in a state where the front cannot be seen.
  • the agent activation unit 3241 selects the eighth service agent, the output data of the sensor unit 25 (to the biological sensor 255) among various information acquired in step S3 in addition to the posture of the occupant PA The biometric data generated by the above is also taken into consideration.
  • the agent activation unit 3241 it is estimated that the occupant PA continues the eighth posture for a certain period of time, and the state of the occupant PA is unconscious from the heartbeat of the occupant PA indicated by the biological data. If so, select the eighth service agent. As described above, the eighth service agent is activated when the occupant PA of the vehicle VE is in an unconscious state.
  • the ninth service agent is a service agent 3242 that executes the twelfth task (function) shown below.
  • the twelfth task (function) is a task of interacting with the occupant PA of the vehicle VE, similarly to the first task (function) described above.
  • the agent activation unit 3241 continues when the posture of the occupant PA detected in step S2 is "a posture in which both hands are placed behind the heads (hereinafter referred to as a ninth posture)" for a certain period of time.
  • the ninth service agent is selected. As described above, the ninth service agent is activated when the occupant PA of the vehicle VE is thinking about something.
  • the tenth service agent is a service agent 3242 that executes the thirteenth task (function) shown below.
  • the thirteenth task (function) is a task of adjusting the air conditioner, adjusting the volume, seat reclining, etc. of the vehicle VE via the communication unit 31 and the in-vehicle terminal 2 to promote a good sleep of the occupant PA of the vehicle VE.
  • the agent activation unit 3241 proceeds in steps S4 and S5. , Select the tenth service agent.
  • the agent activation unit 3241 selects the tenth service agent, the output data of the sensor unit 25 (to the biological sensor 255) among various information acquired in step S3 in addition to the posture of the occupant PA The biometric data generated by the above is also taken into consideration.
  • the agent activation unit 3241 when the occupant PA continues the tenth posture for a certain period of time and the state of the occupant PA is designated as a sleeping state from the heartbeat of the occupant PA indicated by the biological data. Select the tenth service agent. As described above, the tenth service agent is activated when the occupant PA of the vehicle VE is sleeping.
  • step S4 No corresponds to, for example, the case where none of the above-mentioned first to tenth service agents is selected.
  • the information processing device 3 detects a posture unconsciously taken by the occupant PA of the vehicle VE, and executes at least one of a plurality of types of services based on the posture. In other words, at least one of the plurality of service agents 32421 to 3242N is activated based on the attitude. That is, the occupant PA of the vehicle VE does not need to issue a wake word as in the conventional case in order to activate at least one of the plurality of service agents 32421 to 3242N. Therefore, convenience can be improved.
  • At least one of the plurality of service agents 32421 to 3242N is actively activated according to the posture of the occupant PA of the vehicle VE. Therefore, it is possible to execute an appropriate service at an appropriate timing for the occupant PA.
  • the information processing device 3 detects the posture of the occupant PA of the vehicle VE by so-called skeleton detection. Therefore, the posture can be detected with high accuracy, and an appropriate service agent 3242 can be started.
  • the information processing device 3 uses at least one piece of information such as the attitude taken by the occupant PA of the vehicle VE unconsciously, the boarding time information, the biometric data of the occupant PA, and the traffic congestion information of the road while the vehicle VE is traveling. Based on this, at least one of a plurality of service agents 32421 to 3242N is started. Therefore, the state of the occupant PA, which cannot be known only from the posture, can be clarified by the at least one piece of information. Then, an appropriate service can be executed for the occupant PA according to the clarified state (for example, if the occupant PA is in a fatigued state, the first service agent can be started, etc.).
  • the information processing device 3 sets at least one of the plurality of service agents 32421 to 3242N based on the attitude unconsciously taken by the occupant PA of the vehicle VE and at least one of the road data and the vibration data. to start. Therefore, it is possible to execute a service required for the occupant PA, which cannot be determined only by the posture (for example, to start a fifth service agent (safety agent)).
  • a fifth service agent safety agent
  • the present invention should not be limited only to the above-described embodiments.
  • all the configurations of the information processing device 3 may be provided in the in-vehicle terminal 2.
  • the in-vehicle terminal 2 corresponds to the information processing device according to the present embodiment.
  • a part of the functions of the control unit 32 in the information processing device 3 may be provided in the in-vehicle terminal 2.
  • the entire information processing system 1 corresponds to the information processing device according to the present embodiment.

Abstract

情報処理装置３は、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出部３２２と、乗員に対して複数種類のサービスを実行可能とし、乗員の姿勢に基づいて、当該複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行部３２４とを備える。

Description

情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
　本発明は、情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体に関する。
　従来、マイクロフォンから入力された音声をネットワーク上のＡＩ（Artificial　Intelligence：人工知能）で認識し、入力された音声に応答する音声アシスタント機能を有するスマートスピーカが知られている（例えば、特許文献１参照）。当該音声アシスタント機能は、ユーザが発した特定の言葉（以下、ウェイクワードと記載）に応じて起動する。
特開２０１９－１８４８０９号公報
　特許文献１に記載の技術では、音声アシスタント機能を利用したサービスの提供を受けることを望むユーザに対して、ウェイクワードを発するという作業を行わせる必要があり、利便性を向上させることができない、という問題が一例として挙げられる。
　本発明は、上記に鑑みてなされたものであって、例えば利便性を向上させることができる情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体を提供することを目的とする。
　請求項１に記載の情報処理装置は、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出部と、前記乗員に対して複数種類のサービスを実行可能とし、前記姿勢に基づいて、前記複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行部とを備えることを特徴とする。
　また、請求項５に記載の情報処理方法は、情報処理装置が実行する情報処理方法であって、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップとを含むことを特徴とする。
　また、請求項６に記載の情報処理プログラムは、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップとをコンピュータに実行させるための情報処理プログラムである。
　また、請求項７に記載の記憶媒体は、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップとをコンピュータに実行させるための情報処理プログラムを記憶したことを特徴とする。
図１は、実施の形態に係る情報処理システムの構成を示すブロック図である。 図２は、車載端末の構成を示すブロック図である。 図３は、情報処理装置の構成を示すブロック図である。 図４は、情報処理方法を示すフローチャートである。 図５は、情報処理方法を説明する図である。
　以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
　〔情報処理システムの概略構成〕
　図１は、実施の形態に係る情報処理システム１の構成を示すブロック図である。
　情報処理システム１は、移動体である車両ＶＥ（図１）の乗員ＰＡ（図５参照）に対して、当該乗員ＰＡの姿勢に応じたサービスを実行するシステムである。この情報処理システム１は、図１に示すように、車載端末２と、情報処理装置３とを備える。そして、これら車載端末２及び情報処理装置３は、無線通信網であるネットワークＮＥ（図１）を介して、通信を行う。
　なお、情報処理装置３と通信を行う車載端末２としては、図１では１台である場合を例示しているが、複数の車両にそれぞれ搭載された複数台であっても構わない。また、１台の車両に乗車している複数の乗員に対してそれぞれサービスを実行するために、１台の車両に車載端末２が複数台、搭載されていても構わない。
　〔車載端末の構成〕
　図２は、車載端末２の構成を示すブロック図である。
　車載端末２は、例えば、車両ＶＥに設置される据え置き型のナビゲーション装置またはドライブレコーダーである。なお、車載端末２としては、ナビゲーション装置またはドライブレコーダーに限らず、車両ＶＥの乗員ＰＡが利用するスマートフォン等の携帯型端末を採用しても構わない。この車載端末２は、図２に示すように、音声入力部２１と、音声出力部２２と、撮像部２３と、表示部２４と、センサ部２５と、端末本体２６とを備える。
　音声入力部２１は、音声を入力して電気信号に変換するマイクロフォン２１１（図５参照）を含み、当該電気信号にＡ／Ｄ（Analog／Digital）変換等を行うことにより音声情報を生成する。本実施の形態において、音声入力部２１にて生成された音声情報は、デジタル信号である。そして、音声入力部２１は、当該音声情報を端末本体２６に出力する。
　音声出力部２２は、スピーカ２２１（図５参照）を含み、端末本体２６から入力したデジタルの音声信号をＤ／Ａ（Digital／Analog）変換によってアナログの音声信号に変換し、当該スピーカ２２１から当該アナログの音声信号に応じた音声を出力する。
　撮像部２３は、端末本体２６による制御の下、車両ＶＥの乗員ＰＡを撮影して撮影画像を生成する。そして、撮像部２３は、生成した撮影画像を端末本体２６に出力する。
　表示部２４は、液晶または有機ＥＬ（Electro　Luminescence）等を用いた表示ディスプレイで構成され、端末本体２６による制御の下、各種の画像を表示する。
　センサ部２５は、図２に示すように、ＧＮＳＳ（Global　Navigation　Satellite　System）センサ２５１と、車速センサ２５２と、加速度センサ２５３と、舵角センサ２５４と、生体センサ２５５とを備える。
　ＧＮＳＳセンサ２５１は、ＧＮＳＳを利用して、航法衛星から送信された測位用データを含む電波を受信する。当該測位用データは、緯度及び経度情報等から車両ＶＥの絶対的な位置を検出するために用いられる。なお、利用されるＧＮＳＳは、例えば、ＧＰＳ（Global　Positioning　System）であってもよいし、他のシステムであっても構わない。
　車速センサ２５２は、車両ＶＥの速度を検出し、当該速度に応じた車速データを生成する。
　加速度センサ２５３は、車両ＶＥにおける例えば鉛直方向の加速度を検出し、当該加速度に応じた振動データを生成する。当該振動データは、車両ＶＥが道路の凹凸、穴、または障害物の上を通った際に当該車両ＶＥに加わる鉛直方向の加速度に応じたデータである。すなわち、当該振動データは、車両ＶＥの走行経路の状態に関する本実施の形態に係る経路状態情報に相当する。
　舵角センサ２５４は、車両ＶＥにおけるハンドル舵角を検出し、当該ハンドル舵角に応じた舵角データを生成する。
　生体センサ２５５は、車両ＶＥの乗員ＰＡが座る座席に内蔵、車両ＶＥの乗員ＰＡが身に着けるウェアラブル機器、あるいは、車両ＶＥの乗員ＰＡ周辺に設置されるものであり、当該乗員ＰＡにおける心拍、脈波、呼吸、体動、及び脳波等の生体情報を検出し、当該生体情報に応じた生体データを生成する。
　そして、センサ部２５は、上述した測位用データ、車速データ、振動データ、舵角データ、及び生体データ等の出力データを端末本体２６に出力する。
　端末本体２６は、図２に示すように、通信部２６１と、制御部２６２と、記憶部２６３とを備える。
　通信部２６１は、制御部２６２による制御の下、ネットワークＮＥを介して情報処理装置３との間で情報の送受信を行う。
　制御部２６２は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等のコントローラによって、記憶部２６３に記憶された各種プログラムが実行されることにより実現され、車載端末２全体の動作を制御する。なお、制御部２６２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路によって構成されても構わない。
　記憶部２６３は、制御部２６２が実行する各種のプログラムや、当該制御部２６２が処理を行うときに必要なデータ等を記憶する。
　〔情報処理装置の構成〕
　図３は、情報処理装置３の構成を示すブロック図である。
　情報処理装置３は、例えば、サーバ装置である。この情報処理装置３は、図３に示すように、通信部３１と、制御部３２と、記憶部３３とを備える。
　通信部３１は、制御部３２による制御の下、ネットワークＮＥを介して車載端末２（通信部２６１）等との間で情報の送受信を行う。
　制御部３２は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部３３に記憶された各種プログラム（本実施の形態に係る情報処理プログラムを含む）が実行されることにより実現され、情報処理装置３全体の動作を制御する。なお、制御部３２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって構成されても構わない。この制御部３２は、図３に示すように、画像取得部３２１と、姿勢検出部３２２と、情報取得部３２３と、サービス実行部３２４とを備える。
　画像取得部３２１は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像を取得する。
　姿勢検出部３２２は、車両ＶＥの乗員ＰＡの姿勢を検出する。当該乗員ＰＡの姿勢は、当該乗員が無意識にとった姿勢を含む。本実施の形態では、姿勢検出部３２２は、所謂、骨格検知により当該姿勢を検出する。より具体的に、姿勢検出部３２２は、以下に示す学習モデルを用いた画像認識（ＡＩを用いた画像認識）により、画像取得部３２１にて取得された撮影画像内に被写体として含まれる車両ＶＥの乗員ＰＡの骨格を検知することで当該乗員ＰＡの姿勢を検出する。
　当該学習モデルは、人が撮影された撮影画像に対して当該人の関節点の位置が予めラベリングされた画像を教師画像とし、当該教師画像に基づいて当該関節点の位置を機械学習（例えば深層学習等）することにより得られたモデルである。
　情報取得部３２３は、以下に示す出力データ、道路交通情報、道路データ、施設情報、乗車時間情報、テンポ情報等の各種の情報を取得する。
　当該出力データは、通信部３１を介して車載端末２から取得されるセンサ部２５の出力データである。
　当該道路交通情報は、通信部３１を介してＶＩＣＳ（登録商標、Vehicle　Information　Communication　System）センタから取得する渋滞情報や交通情報等の道路交通情報であって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置に対応した道路交通情報である。
　当該道路データは、記憶部３３に記憶された道路データであって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置に対応した当該車両ＶＥが走行している道路を示す道路データである。すなわち、当該道路データは、車両ＶＥの走行経路に関する本実施の形態に係る走行経路情報に相当する。
　当該施設情報は、記憶部３３に記憶された施設情報であって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置周辺の施設を示す施設情報である。
　なお、上述した道路データや施設情報の記憶場所は、記憶部３３に記憶された構成に限らず、その他の場所、例えば記憶部２６３としても構わない。
　当該乗車時間情報は、通信部３１を介して車載端末２から取得される情報であって、車両ＶＥが連続して運転されている運転時間（例えば車両ＶＥのエンジンが連続してＯＮとなっている時間）に関する情報である。当該運転時間は、例えば、制御部２６２にて計測される。
　当該テンポ情報は、通信部３１を介して車載端末２から取得される情報であって、当該車載端末２において再生されている楽曲のテンポ（ＢＰＭ（Beats　Per　Minute））に関する情報である。当該テンポ情報は、例えば、当該楽曲の楽曲データについて周知の解析方法により制御部２６２が解析することで生成された情報、あるいは、当該楽曲データ内部のタグデータ等に含まれているＢＰＭに関する情報である。
　サービス実行部３２４は、車両ＶＥの乗員ＰＡに対して複数種類のサービスを実行可能とする。そして、サービス実行部３２４は、姿勢検出部３２２にて検出された当該乗員ＰＡの姿勢と、情報取得部３２３にて取得された各種の情報とに基づいて、当該複数種類のサービスのうち少なくとも一つのサービスを実行する。このサービス実行部３２４は、図３に示すように、エージェント起動部３２４１と、複数のサービスエージェント３２４２１～３２４２Ｎとを備える。
　以下では、複数のサービスエージェント３２４２１～３２４２Ｎを特に区別する必要のないときは、単にサービスエージェント３２４２と記載する。
　複数のサービスエージェント３２４２１～３２４２Ｎは、車両ＶＥの乗員ＰＡに対して、互いに異なるサービスをそれぞれ実行する。このサービスエージェント３２４２は、少なくとも一つのタスク（機能）を実行する少なくとも一つのアプリケーションプログラムによって構成されている。すなわち、本実施の形態に係る「サービスを実行する」とは、当該少なくとも一つのタスク（機能）を実行することを意味する。
　エージェント起動部３２４１は、姿勢検出部３２２にて検出された車両ＶＥの乗員ＰＡの姿勢と、情報取得部３２３にて取得された各種の情報とに基づいて、サービスエージェント３２４２を起動するか否かを判定する。また、エージェント起動部３２４１は、サービスエージェント３２４２を起動すると判定した場合に、複数のサービスエージェント３２４２１～３２４２Ｎのうち、当該姿勢及び当該各種の情報に応じた少なくとも一つのサービスエージェント３２４２を選択し起動する。そして、当該起動した少なくとも一つのサービスエージェント３２４２は、サービスを実行する。
　記憶部３３は、制御部３２が実行する各種のプログラム（本実施の形態に係る情報処理プログラム）の他、制御部３２が処理を行うときに必要なデータ等を記憶する。この記憶部３３は、図３に示すように、学習モデルＤＢ（データベース）３３１と、地図ＤＢ３３２とを備える。
　学習モデルＤＢ３３１は、上述した学習モデルを記憶する。
　地図ＤＢ３３２は、地図データを記憶する。当該地図データは、道路に相当するリンクと道路の接続部分（交差点）に相当するノードとにより表された道路データや、各施設と当該各施設の位置（以下、施設位置と記載）とがそれぞれ対応付けられた施設情報等を含む。
　〔情報処理方法〕
　次に、情報処理装置３（制御部３２）が実行する情報処理方法について説明する。
　図４は、情報処理方法を示すフローチャートである。図５は、情報処理方法を説明する図である。具体的に、図５は、撮像部２３にて生成され、ステップＳ１にて取得される撮影画像ＩＭを示す図である。ここで、図５では、車両ＶＥの運転席に座った乗員（運転手）ＰＡを側方から撮影するように当該車両ＶＥ内に撮像部２３を設置した場合を例示している。
　なお、撮像部２３の設置位置としては、上述した設置位置に限らない。例えば、乗員ＰＡを前方から撮影するように当該車両ＶＥ内に撮像部２３を設置しても構わない。また、本実施の形態に係る車両の乗員としては、車両ＶＥの運転席に座った乗員に限らず、助手席や後部座席に座った乗員等を含むものである。
　また、車両ＶＥ内に設置される撮像部２３の数としては、一つに限らず、複数としても構わない。すなわち、一人の乗員ＰＡを複数の撮像部２３により撮影して、複数の視点から当該乗員ＰＡの姿勢を検出する構成を採用しても構わない。
　先ず、画像取得部３２１は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像ＩＭを取得する（ステップＳ１）。
　ステップＳ１の後、姿勢検出部３２２は、学習モデルＤＢ３３１に記憶された学習モデルを用いた画像認識により、撮影画像ＩＭ内に被写体として含まれる車両ＶＥの乗員ＰＡの骨格を検知することで当該乗員ＰＡの姿勢を検出する（ステップＳ２：姿勢検出ステップ）。
　ステップＳ２の後、情報取得部３２３は、各種の情報を取得する（ステップＳ３）。
　ステップＳ３の後、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢と当該ステップＳ３にて取得された各種の情報とに基づいて、サービスエージェント３２４２を起動するか否かを判定する（ステップＳ４）。
　サービスエージェント３２４２を起動しないと判定された場合（ステップＳ４：Ｎｏ）には、制御部３２は、ステップＳ１に戻る。
　一方、サービスエージェント３２４２を起動すると判定した場合（ステップＳ４：Ｙｅｓ）には、エージェント起動部３２４１は、複数のサービスエージェント３２４２１～３２４２Ｎのうち、ステップＳ２にて検出された乗員ＰＡの姿勢とステップＳ３にて取得された各種の情報とに応じた少なくとも一つのサービスエージェント３２４２を選択し起動する（ステップＳ５）。これにより、当該起動した少なくとも一つのサービスエージェント３２４２は、サービスを実行する。すなわち、ステップＳ５は、本実施の形態に係るサービス実行ステップに相当する。
　なお、ステップＳ４，Ｓ５の詳細については、後述する「サービスエージェントの具体例」において説明する。
　〔サービスエージェントの具体例〕
　上述したサービスエージェント３２４２としては、以下に示す第１～第１０のサービスエージェントを例示することができる。
　〔第１のサービスエージェント（フードオーダーエージェント）〕
　第１のサービスエージェントは、以下に示す第１，第２のタスク（機能）を実行するサービスエージェント３２４２である。
　第１のタスク（機能）は、車両ＶＥの乗員ＰＡと対話するタスクである。より具体的に、第１のサービスエージェントは、第１のタスク（機能）を実行することにより、通信部３１を介して車載端末２から、当該乗員ＰＡが発した言葉（音声）を音声入力部２１が取り込み、当該音声に基づいて当該音声入力部２１にて生成された音声情報を取得する。また、第１のサービスエージェントは、当該取得した音声情報を認識し、当該音声情報が示す音声に返答する音声情報を、通信部３１を介して車載端末２に送信する。これにより、当該音声情報に応じた音声が音声出力部２２から出力され、当該乗員ＰＡと第１のサービスエージェントとの間で対話が行われる。
　ここで、第１のタスク（機能）は、後述する第３，第４，第６，第８，第１０，第１２のタスク（機能）と以下の点で異なる。
　具体的に、第１のサービスエージェントは、第１のタスク（機能）の実行中、ステップＳ３にて取得された出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置や当該車両ＶＥの目的地までのルート等を考慮する。そして、第１のサービスエージェントは、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡが受け取ることができる飲食物を当該乗員ＰＡに対して提案する。
　第２のタスク（機能）は、上述した第１のタスク（機能）において、飲食物を提案するとともに、車両ＶＥの乗員ＰＡが当該飲食物を望んだ場合に実行されるタスクである。より具体的に、第１のサービスエージェントは、第２のタスク（機能）を実行することにより、当該飲食物のオーダーや配送を受け付ける外部の管理サーバに対して通信部３１を介してアクセスし、当該飲食物のオーダーや配送を依頼する。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「ハンドルに寄り掛かった姿勢（以下、第１の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第１のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第１のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報及びセンサ部２５の出力データ（生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第１の姿勢であり、かつ、以下の第１，第２の場合の少なくとも一つの場合に、第１のサービスエージェントを選択する。
　すなわち、第１の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第２の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が疲労のある状態であると推定される場合である。
　以上のように、第１のサービスエージェントは、車両ＶＥの乗員ＰＡが疲労のある状態であって飲食を必要とする場合に起動する。
　〔第２のサービスエージェント（休憩提案エージェント）〕
　第２のサービスエージェントは、第３のタスク（機能）を実行するサービスエージェント３２４２である。
　第３のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　ここで、第２のサービスエージェントは、第３のタスク（機能）の実行中、ステップＳ３にて取得された出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置や当該車両ＶＥの目的地までのルート等を考慮する。そして、第２のサービスエージェントは、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対して現在位置付近のサービスエリアやコンビニエンスストア等の休憩場所を提案し、休憩を促す。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「あくびをした姿勢（以下、第２の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第２のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第２のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報、道路交通情報、及びセンサ部２５の出力データ（生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第２の姿勢であり、かつ、以下の第３～第６の場合の少なくとも一つの場合に、第２のサービスエージェントを選択する。
　すなわち、第３の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第４の場合は、生体データから推定される乗員ＰＡの起床時間が特定の時間よりも早い時間である場合である。第５の場合は、道路交通情報が示す車両ＶＥの走行中の道路が渋滞中である場合である。第６の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が眠気のある状態であると推定される場合である。
　以上のように、第２のサービスエージェントは、車両ＶＥの乗員ＰＡが眠気のある状態であって休憩を必要とする場合に起動する。
　〔第３のサービスエージェント（エンターテイメントエージェント）〕
　第３のサービスエージェントは、以下に示す第４，第５のタスク（機能）を実行するサービスエージェント３２４２である。
　第４のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　ここで、第３のサービスエージェントは、第４のタスク（機能）を実行することにより、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対してクイズを出す。
　第５のタスク（機能）は、車載端末２に特定の楽曲データを再生させ、特定の音楽をかけるタスクである。具体的に、第３のサービスエージェントは、第５のタスク（機能）を実行することにより、通信部３１を介して車載端末２に特定の楽曲データを送信する。これにより、車載端末２は、当該楽曲データを再生する。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「窓等に肘をかけた姿勢（以下、第３の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第３のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第３のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報、道路データ、道路交通情報、及びセンサ部２５の出力データ（加速度センサ２５３にて生成された振動データ、生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第３の姿勢であり、かつ、以下の第７～第１１の場合の少なくとも一つの場合に、第３のサービスエージェントを選択する。
　すなわち、第７の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第８の場合は、道路データが示す車両ＶＥの走行中の道路が単調な道路（例えば、直線が続いている道路等）である場合である。第９の場合は、振動データが示す車両ＶＥにおける鉛直方向の加速度から車両ＶＥの走行中の道路が単調な道路（例えば、平滑な道路等）であると推定される場合である。第１０の場合は、道路交通情報が示す車両ＶＥの走行中の道路の交通量が特定の閾値以下である場合である。第１１の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が疲労のない状態であると推定される場合である。
　以上のように、第３のサービスエージェントは、例えば車両ＶＥが単調な道路を走行中で、当該車両ＶＥの乗員ＰＡが退屈している場合に起動する。
　〔第４のサービスエージェント（観光インフォエージェント）〕
　第４のサービスエージェントは、以下に示す第６，第７のタスク（機能）を実行するサービスエージェント３２４２である。
　第６のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　第７のタスク（機能）は、車両ＶＥの乗員ＰＡが当該車両ＶＥ外の物体（例えば、建物）に対して指を差した場合に、当該物体を認識するタスクである。より具体的に、第４のサービスエージェントは、第７のタスク（機能）を実行することにより、通信部３１を介して車載端末２から撮影画像ＩＭを取得する。また、第４のサービスエージェント、当該撮影画像ＩＭに基づいて、当該撮影画像ＩＭに被写体として含まれる乗員ＰＡの指の方向に位置する物体を認識する。当該認識された物体を説明する物体情報（例えば当該物体の名称等）は、例えば、上述した第６のタスク（機能）を実行することによって、乗員ＰＡに対して音声出力される。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「車両ＶＥ外を指差した姿勢（以下、第４の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第４のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第４のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、施設情報も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第４の姿勢であり、かつ、施設情報が示す車両ＶＥの現在位置周辺の施設から当該車両ＶＥが観光地を走行中であると推定される場合に、第４のサービスエージェントを選択する。
　以上のように、第４のサービスエージェントは、例えば車両ＶＥが観光地を走行中で、当該車両ＶＥの乗員ＰＡが当該車両ＶＥ外を指差した場合に起動する。
　〔第５のサービスエージェント（セイフティエージェント）〕
　第５のサービスエージェントは、以下に示す第８のタスク（機能）を実行するサービスエージェント３２４２である。
　第８のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　ここで、第５のサービスエージェントは、第８のタスク（機能）を実行することにより、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対して安全のために両手でハンドルを持って運転することを促す。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「片手でハンドルを持っている姿勢（以下、第５の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第５のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第５のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、道路データ、及びセンサ部２５の出力データ（加速度センサ２５３にて生成された振動データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第５の姿勢であり、かつ、以下の第１２，第１３の場合の少なくとも一つの場合に、第５のサービスエージェントを選択する。
　すなわち、第１２の場合は、道路データが示す車両ＶＥの走行中の道路がコーナーの続く山道である場合である。第１３の場合は、振動データが示す車両ＶＥにおける鉛直方向の加速度から車両ＶＥの走行中の道路がコーナーの続く山道であると推定される場合である。
　以上のように、第５のサービスエージェントは、例えば車両ＶＥがコーナーの続く山道を走行中で、当該車両ＶＥの乗員ＰＡが危険な運転（片手でハンドルを持つ）をしている場合に起動する。
　〔第６のサービスエージェント（ＤＪ（Disk　Jockey）エージェント）〕
　第６のサービスエージェントは、以下に示す第９のタスク（機能）を実行するサービスエージェント３２４２である。
　第９のタスク（機能）は、車載端末２でかけられている音楽を楽しんで聞いてもらうように、当該聞いてもらう音楽を選曲したり、当該音楽にＤＪのエフェクトを入れたりするタスクである。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「一定のリズムで左右に揺れている姿勢（以下、第６の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第６のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第６のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、テンポ情報も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第４の姿勢であり、かつ当該第４の姿勢が示す左右に揺れている一定のリズムと、テンポ情報が示す車載端末２において再生されている楽曲のテンポとが略一致している場合に、第６のサービスエージェントを選択する。
　以上のように、第６のサービスエージェントは、車載端末２において再生されている楽曲のテンポで車両ＶＥの乗員ＰＡがリズムをとっている場合に起動する。
　〔第７のサービスエージェント（友達エージェント）〕
　第７のサービスエージェントは、以下に示す第１０のタスク（機能）を実行するサービスエージェント３２４２である。
　第１０のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　ここで、第７のサービスエージェントは、第１０のタスク（機能）を実行することにより、ステップＳ１にて取得された撮影画像ＩＭや、ステップＳ３にて取得された生体データが示す乗員ＰＡの心拍等から推定される当該乗員ＰＡの感情に応じて当該乗員ＰＡと対話する。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「本やスマートフォンを見ている姿勢（以下、第７の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第７のサービスエージェントを選択する。
　以上のように、第７のサービスエージェントは、車両ＶＥの乗員ＰＡが本やスマートフォンを見ている場合に起動する。
　〔第８のサービスエージェント（エマージェンシーエージェント）〕
　第８のサービスエージェントは、以下に示す第１１のタスク（機能）を実行するサービスエージェント３２４２である。
　第１１のタスク（機能）は、通信部３１及び車載端末２を介して車両ＶＥの動作を制御し、車両ＶＥを自動で路肩に緊急停止させるタスクである。ここで、第８のサービスエージェントは、第１１のタスク（機能）の実行中、車両ＶＥの動作を制御するにあたって、ステップＳ３にて取得された道路データ及びセンサ部２５の出力データ（車速センサ２５２にて生成された車速データ、及び舵角センサ２５４にて生成された舵角データ）を参照する。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「通常の運転姿勢でない姿勢（以下、第８の姿勢と記載）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第８のサービスエージェントを選択する。当該通常の運転姿勢でない姿勢とは、頭が前や後等に倒れてしまっている、あるいは、前を見ることができない状態で体が倒れてしまっている姿勢等を例示することができる。
　ここで、エージェント起動部３２４１は、第８のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、センサ部２５の出力データ（生体センサ２５５にて生成された生体データ）も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡが第８の姿勢を一定時間、継続し、生体データが示す当該乗員ＰＡの心拍等から当該乗員ＰＡの状態が意識のない状態であると推定される場合に、第８のサービスエージェントを選択する。
　以上のように、第８のサービスエージェントは、車両ＶＥの乗員ＰＡが意識のない状態である場合に起動する。
　〔第９のサービスエージェント（対話エージェント）〕
　第９のサービスエージェントは、以下に示す第１２のタスク（機能）を実行するサービスエージェント３２４２である。
　第１２のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「両手を頭の後ろに置いた姿勢（以下、第９の姿勢と記載）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第９のサービスエージェントを選択する。
　以上のように、第９のサービスエージェントは、車両ＶＥの乗員ＰＡが何か考え事をしている場合に起動する。
　〔第１０のサービスエージェント（車内環境コントロールエージェント）〕
　第１０のサービスエージェントは、以下に示す第１３のタスク（機能）を実行するサービスエージェント３２４２である。
　第１３のタスク（機能）は、通信部３１及び車載端末２を介して、車両ＶＥのエアコン調整、音量調整、シートリクライニング等を行い、当該車両ＶＥの乗員ＰＡの快眠を促すタスクである。
　そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「シートに寄り掛かった姿勢（以下、第１０の姿勢）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第１０のサービスエージェントを選択する。
　ここで、エージェント起動部３２４１は、第１０のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、センサ部２５の出力データ（生体センサ２５５にて生成された生体データ）も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡが第１０の姿勢を一定時間、継続し、生体データが示す当該乗員ＰＡの心拍等から当該乗員ＰＡの状態が睡眠状態であると指定される場合に、第１０のサービスエージェントを選択する。
　以上のように、第１０のサービスエージェントは、車両ＶＥの乗員ＰＡが眠っている場合に起動する。
　なお、サービスエージェント３２４２を起動しないと判定する場合（ステップＳ４：Ｎｏ）とは、例えば、上述した第１～第１０のサービスエージェントのいずれも選択しない場合に相当する。
　以上説明した本実施の形態によれば、以下の効果を奏する。
　本実施の形態１に係る情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢を検出し、当該姿勢に基づいて、複数種類のサービスのうち少なくとも一つのサービスを実行する。言い換えれば、当該姿勢に基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つが起動する。
　すなわち、車両ＶＥの乗員ＰＡは、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動させるために、従来のようにウェイクワードを発する必要がない。したがって、利便性を向上させることができる。
　特に、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つは、車両ＶＥの乗員ＰＡの姿勢に応じて能動的に起動する。このため、当該乗員ＰＡにとって適切なタイミングで適切なサービスを実行することができる。
　また、情報処理装置３は、所謂、骨格検知により車両ＶＥの乗員ＰＡの姿勢を検出する。このため、当該姿勢を高精度に検出することができ、適切なサービスエージェント３２４２を起動することができる。
　また、情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢と、乗車時間情報、当該乗員ＰＡの生体データ、及び車両ＶＥの走行中の道路の渋滞情報の少なくとも一つの情報とに基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動する。このため、姿勢だけでは分からない乗員ＰＡの状態を当該少なくとも一つの情報により明確化することができる。そして、当該乗員ＰＡに対して当該明確化した状態に応じた適切なサービスを実行する（例えば乗員ＰＡが疲労のある状態であれば第１のサービスエージェントを起動する等）ことができる。
　また、情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢と、道路データ及び振動データのうち少なくとも一つの情報とに基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動する。このため、姿勢だけでは分からない乗員ＰＡに必要なサービスを実行する（例えば第５のサービスエージェント（セイフティエージェント）を起動する等）ことができる。
（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
　上述した実施の形態において、情報処理装置３の全ての構成を車載端末２に設けても構わない。この場合には、当該車載端末２は、本実施の形態に係る情報処理装置に相当する。また、情報処理装置３における制御部３２の一部の機能を車載端末２に設けても構わない。この場合には、情報処理システム１全体が本実施の形態に係る情報処理装置に相当する。
　上述した実施の形態において、「サービスエージェントの具体例」において説明したように、一つのサービスエージェント３２４２のみが起動する構成としてもよく、あるいは、複数のサービスエージェント３２４２が略同時に起動する構成としても構わない。
　上述した実施の形態では、サービスエージェント３２４２を起動するにあたって、車両ＶＥの乗員ＰＡの姿勢の他、情報取得部３２３にて取得される各種の情報を考慮していたが、これに限らず、当該乗員ＰＡの姿勢のみを考慮する構成を採用しても構わない。
　３　情報処理装置
　３２１　画像取得部
　３２２　姿勢検出部
　３２３　情報取得部
　３２４　サービス実行部

Claims (7)

  1. 　移動体内における乗員が無意識にとった姿勢を検出する姿勢検出部と、
    　前記乗員に対して複数種類のサービスを実行可能とし、前記姿勢に基づいて、前記複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行部とを備える
    　ことを特徴とする情報処理装置。
  2. 　前記乗員を撮影した撮影画像を取得する画像取得部をさらに備え、
    　前記姿勢検出部は、
    　前記撮影画像に基づいて、前記乗員の骨格を検知することで前記姿勢を検出する
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記移動体における前記乗員の乗車時間に関する乗車時間情報と、前記乗員の生体情報と、前記移動体の走行経路の渋滞情報とのうち少なくとも一つの情報を取得する情報取得部をさらに備え、
    　前記サービス実行部は、
    　前記姿勢と、前記少なくとも一つの情報とに基づいて、前記複数種類のサービスのうち少なくとも一つのサービスを実行する
    　ことを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記移動体の走行経路に関する走行経路情報と、前記走行経路の状態に関する経路状態情報とのうち少なくとも一つの情報を取得する情報取得部をさらに備え、
    　前記サービス実行部は、
    　前記姿勢と、前記少なくとも一つの情報とに基づいて、前記複数種類のサービスのうち少なくとも一つのサービスを実行する
    　ことを特徴とする請求項１～３のいずれか一つに記載の情報処理装置。
  5. 　情報処理装置が実行する情報処理方法であって、
    　移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、
    　前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップとを含む
    　ことを特徴とする情報処理方法。
  6. 　移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、
    　前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップと
    　をコンピュータに実行させるための情報処理プログラム。
  7. 　移動体内における乗員が無意識にとった姿勢を検出する姿勢検出ステップと、
    　前記姿勢に基づいて、前記乗員に対して複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行ステップとをコンピュータに実行させるための情報処理プログラムを記憶した
    　ことを特徴とする記憶媒体。
PCT/JP2021/001125 2020-01-21 2021-01-14 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体 WO2021149593A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021573115A JPWO2021149593A1 (ja) 2020-01-21 2021-01-14
US17/791,813 US20230054224A1 (en) 2020-01-21 2021-01-14 Information processing device, information processing method, and non-transitory computer readable storage medium
EP21744609.5A EP4095823A4 (en) 2020-01-21 2021-01-14 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND STORAGE MEDIUM
JP2023201226A JP2024041746A (ja) 2020-01-21 2023-11-29 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020007865 2020-01-21
JP2020-007865 2020-01-21

Publications (1)

Publication Number Publication Date
WO2021149593A1 true WO2021149593A1 (ja) 2021-07-29

Family

ID=76992739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001125 WO2021149593A1 (ja) 2020-01-21 2021-01-14 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体

Country Status (4)

Country Link
US (1) US20230054224A1 (ja)
EP (1) EP4095823A4 (ja)
JP (2) JPWO2021149593A1 (ja)
WO (1) WO2021149593A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7347342B2 (ja) * 2020-06-16 2023-09-20 トヨタ自動車株式会社 情報処理装置、提案システム、プログラム、及び提案方法
JP2023080878A (ja) * 2021-11-30 2023-06-09 本田技研工業株式会社 通信システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015021912A (ja) * 2013-07-23 2015-02-02 日産自動車株式会社 運転支援装置および運転支援方法
JP2015156877A (ja) * 2012-05-18 2015-09-03 日産自動車株式会社 運転者身体状態適合装置、道路地図情報構築方法
JP2017138762A (ja) * 2016-02-03 2017-08-10 トヨタ自動車株式会社 運転者の感情推定装置
JP2018132996A (ja) * 2017-02-16 2018-08-23 パナソニックＩｐマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム
JP2019006151A (ja) * 2017-06-20 2019-01-17 テイ・エス テック株式会社 乗物用シート
JP2019184809A (ja) 2018-04-10 2019-10-24 シャープ株式会社 音声認識装置、音声認識方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3444774A4 (en) * 2016-04-14 2019-08-28 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND MOBILE BODY

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156877A (ja) * 2012-05-18 2015-09-03 日産自動車株式会社 運転者身体状態適合装置、道路地図情報構築方法
JP2015021912A (ja) * 2013-07-23 2015-02-02 日産自動車株式会社 運転支援装置および運転支援方法
JP2017138762A (ja) * 2016-02-03 2017-08-10 トヨタ自動車株式会社 運転者の感情推定装置
JP2018132996A (ja) * 2017-02-16 2018-08-23 パナソニックＩｐマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム
JP2019006151A (ja) * 2017-06-20 2019-01-17 テイ・エス テック株式会社 乗物用シート
JP2019184809A (ja) 2018-04-10 2019-10-24 シャープ株式会社 音声認識装置、音声認識方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI, P. ET AL.: "A Novel Spatial-Temporal Graph for Skeleton-based Driver Action Recognition", 2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE, 2019, pages 3243 - 3248, XP033668303, DOI: 10.1109/ITSC.2019.8916929 *
MARTIN, M. ET AL.: "Body Pose and Context Information for Driver Secondary Task Detection", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2018, pages 2015 - 2021, XP033423422, DOI: 10.1109/IVS.2018.8500523 *
See also references of EP4095823A4
WEYERS, P. ET AL.: "Action and Object Interaction Recognition for Driver Activity Classification", 2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE, 2019, pages 4336 - 4341, XP033668469, DOI: 10.1109/ITSC.2019.8917139 *

Also Published As

Publication number Publication date
EP4095823A4 (en) 2024-01-24
US20230054224A1 (en) 2023-02-23
JP2024041746A (ja) 2024-03-27
EP4095823A1 (en) 2022-11-30
JPWO2021149593A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
JP6513069B2 (ja) 運転支援装置および運転支援方法
US20180040093A1 (en) Vehicle request using wearable earpiece
JP7092116B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2024041746A (ja) 情報処理装置
JP2018060192A (ja) 発話装置およびコミュニケーション装置
JP5045302B2 (ja) 自動車用情報提供装置
JP6612707B2 (ja) 情報提供装置
JP6382273B2 (ja) 施設満足度算出装置
JP2007122579A (ja) 車両制御装置
JP2018180983A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4936094B2 (ja) エージェント装置
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
WO2018123055A1 (ja) 情報提供システム
JP6037130B2 (ja) 運転状態改善装置
JP6552548B2 (ja) 地点提案装置及び地点提案方法
WO2007032278A1 (ja) 経路探索装置、経路探索方法、経路探索プログラムおよびコンピュータに読み取り可能な記録媒体
JP3907509B2 (ja) 緊急通報装置
JP6419134B2 (ja) 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
JPWO2008038374A1 (ja) 疑似感情出力装置、疑似感情出力方法、疑似感情出力プログラムおよびコンピュータに読み取り可能な記録媒体
US20200265252A1 (en) Information processing apparatus and information processing method
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
WO2021192527A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
US20230131693A1 (en) Motion sickness reduction system and information processor for motion sickness reduction
JP7157188B2 (ja) 情報処理方法、情報処理システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21744609

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021573115

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021744609

Country of ref document: EP

Effective date: 20220822