WO2022270234A1 - 移動体用装置及び移動体用制御方法 - Google Patents

移動体用装置及び移動体用制御方法 Download PDF

Info

Publication number
WO2022270234A1
WO2022270234A1 PCT/JP2022/021886 JP2022021886W WO2022270234A1 WO 2022270234 A1 WO2022270234 A1 WO 2022270234A1 JP 2022021886 W JP2022021886 W JP 2022021886W WO 2022270234 A1 WO2022270234 A1 WO 2022270234A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
information
request
unit
occupants
Prior art date
Application number
PCT/JP2022/021886
Other languages
English (en)
French (fr)
Inventor
昊舟 李
雅史 野原
夏子 宮崎
圭司 岡本
太郎 小林
あす郁 坂井
一博 松井
晋海 崔
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202280044906.6A priority Critical patent/CN117580732A/zh
Priority to DE112022003245.6T priority patent/DE112022003245T5/de
Publication of WO2022270234A1 publication Critical patent/WO2022270234A1/ja
Priority to US18/389,773 priority patent/US20240157897A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present disclosure relates to a mobile device and a mobile control method.
  • Patent Literature 1 discloses a technique for acquiring personal information corresponding to passengers on board a vehicle from a personal information database and providing provision information based on the acquired personal information to passengers who board the vehicle again.
  • the demands of passengers change depending on the relationship and state of multiple passengers. Therefore, it has been difficult to accurately estimate a passenger's request using only the passenger's personal information. Also, it has been difficult to accurately estimate the needs of the occupants, making it difficult to provide a comfortable in-vehicle experience that meets the needs of the occupants.
  • One object of this disclosure is to provide a comfortable indoor experience that better matches the needs of the passengers by more accurately estimating the needs of the passengers in the presence of multiple passengers. and to provide a mobile object control method.
  • a device for a mobile body is a device for a mobile body that can be used in a mobile body, wherein information about an occupant of the mobile body detected by a sensor used in the mobile body is used.
  • an occupant information identifying unit that distinguishes and identifies individual occupants of a mobile object from certain occupant information; and a demand estimating unit for estimating the demand of the occupant according to the combination.
  • a mobile body control method of the present disclosure is a mobile body control method that can be used in a mobile body, comprising: a passenger information specifying step of distinguishing and specifying each passenger of the mobile body from the passenger information, which is information about the passengers of the mobile body detected in the above; It also includes a request estimation step of estimating a request of a passenger according to a combination of passenger information of a plurality of passengers.
  • the request of the occupant is estimated according to the combination of the occupant information of the plurality of occupants.
  • This makes it possible to more accurately estimate occupant demands that change depending on the relationship between multiple occupants and their conditions.
  • the occupant information is information about the occupant of the mobile object detected by the sensor used in the mobile object, it is possible to more accurately estimate the occupant's request that matches the actual situation. As a result, more accurate estimation of occupant needs in the presence of multiple occupants can provide a comfortable interior experience that better meets occupant needs.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a vehicle system 1;
  • FIG. It is a figure which shows an example of a schematic structure of HCU20.
  • 4 is a flowchart showing an example of the flow of provision-related processing in HCU 20.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a vehicle system 1;
  • FIG. It is a figure which shows an example of a schematic structure of HCU20.
  • 4 is a flowchart showing an example of the flow of provision-related processing in HCU 20.
  • a vehicle system 1 shown in FIG. 1 will be described as being used, for example, in an automobile (hereinafter simply referred to as a vehicle).
  • the vehicle system 1 includes an HMI (Human Machine Interface) system 2 , an air conditioning system 3 , a near field communication module (hereinafter NFCM) 4 , a wide area communication module (hereinafter WACM) 5 and a seat ECU 6 .
  • the HMI system 2, the air conditioning system 3, the NFCM 4, the WACM 5, and the seat ECU 6 are assumed to be connected to, for example, an in-vehicle LAN.
  • a vehicle equipped with the vehicle system 1 is hereinafter referred to as a vehicle.
  • the air conditioning system 3 is a vehicle cooling and heating system.
  • the air-conditioning system 3 acquires air-conditioning request information including setting values related to air-conditioning set by the user of the own vehicle from the HCU 20, which will be described later. Then, according to the acquired air-conditioning request information, the temperature, airflow, fragrance, etc. in the vehicle interior of the own vehicle are adjusted.
  • the air conditioning system 3 includes an air conditioning control ECU 30 , an air conditioning unit 31 and an aroma unit 32 .
  • the air conditioner unit 31 generates warm air and cold air (hereinafter referred to as conditioned air).
  • the conditioned air is supplied into the passenger compartment from an air outlet provided in, for example, an instrument panel of the vehicle.
  • the aroma unit 32 has beads or the like impregnated with aroma oil such as essential oil containing aromatic components (hereinafter referred to as impregnated matter). Then, airflow generated by the air conditioner unit 31 is passed around the impregnated matter, thereby supplying the fragrance to the interior of the vehicle.
  • the aroma unit 32 may atomize the aroma oil.
  • the aromatic component atomized by the aroma unit 32 may be mixed with the airflow generated by the air conditioner unit 31 and supplied into the passenger compartment.
  • the air-conditioning unit 31 provides the occupants of the own vehicle with wind stimulation. Also, the air conditioner unit 31 gives warm and cold stimuli to the occupants of the own vehicle according to the difference in the temperature of the conditioned air. In other words, the air conditioner unit 31 provides tactile stimulation.
  • the aroma unit 32 stimulates the occupants of the own vehicle with the aroma. That is, the aroma unit 32 provides olfactory stimulation. Both the air conditioner unit 31 and the aroma unit 32 are presentation devices that present stimuli.
  • the air conditioning control ECU 30 is an electronic control device that controls the operations of the air conditioning unit 31 and the aroma unit 32 .
  • the air conditioning control ECU 30 is connected to the air conditioning unit 31 and the aroma unit 32 .
  • NFCM4 is a communication module for performing short-range wireless communication.
  • the NFCM 4 performs short-range wireless communication with the portable terminal of the occupant of the own vehicle when communication connection is established with the portable terminal.
  • Near-field wireless communication is, for example, wireless communication whose communication range is at most several tens of meters.
  • wireless communication conforming to Bluetooth (registered trademark) Low Energy may be used.
  • Mobile terminals include, for example, multifunctional mobile phones and wearable devices.
  • the WACM 5 transmits and receives information to and from a center outside the own vehicle via wireless communication. That is, wide area communication is performed.
  • the seat ECU 6 is an electronic control unit that executes various processes related to controlling the seat environment, such as adjusting the seat position of the seat of the vehicle.
  • the seat of the own vehicle is an electric seat whose slide position and reclining position can be electrically changed. If the seat of the vehicle is not an electric seat, the seat ECU 6 may be omitted.
  • Seats include a driver's seat, a passenger's seat, and a rear seat.
  • the electric seat may be only part of the driver's seat, front passenger's seat, and rear seat.
  • the slide position is the position of the seat in the longitudinal direction of the vehicle.
  • the recline position is the angle of the seat backrest.
  • the backrest of the seat can also be called a seat back.
  • the HMI system 2 acquires occupant information and presents stimuli to the occupants. Stimulation here also includes the provision of information. Details of the HMI system 2 are provided below.
  • the HMI system 2 includes an HCU (Human Machine Interface Control Unit) 20 , an indoor camera 21 , a microphone 22 , a lighting device 23 , a display device 24 and an audio output device 25 .
  • HCU Human Machine Interface Control Unit
  • the interior camera 21 captures an image of a predetermined range inside the interior of the vehicle.
  • the indoor camera 21 images the range including the driver's seat, the passenger's seat, and the rear seats of the own vehicle.
  • a plurality of cameras may be used as the indoor camera 21, and the imaging range may be shared by the plurality of cameras.
  • the indoor camera 21 is composed of, for example, a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the indoor camera 21 captures an image of the occupant irradiated with near-infrared light by the near-infrared light source.
  • An image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit detects the occupant's wakefulness, facial orientation, line-of-sight direction, posture, etc., based on the occupant's feature amount extracted by image analysis of the captured image.
  • the degree of arousal may be detected by, for example, the degree of opening and closing of the eyelids.
  • the microphone 22 collects the voice uttered by the occupant of the vehicle, converts it into an electrical voice signal, and outputs it to the HCU 20 .
  • the microphone 22 is provided for each seat so that it is possible to distinguish and collect the voices of the passengers in each seat.
  • the microphone 22 does not have to be provided for each seat.
  • a zoom microphone with a narrowed directivity may be used as the microphone 22 provided for each seat.
  • the lighting device 23 is provided at a position that can be visually recognized by the occupant, and stimulates the occupant with light emission. In other words, it provides a visual stimulus.
  • the illumination device 23 is a presentation device that presents stimuli.
  • a light-emitting device such as an LED may be used as the lighting device 23 . It is preferable that the illumination device 23 be capable of switching the color of the emitted light. Light emission of the illumination device 23 is controlled by the HCU 20 .
  • the display device 24 displays information.
  • the display device 24 is provided at a position that can be visually recognized by the occupant, and provides the occupant with display stimulation. In other words, it provides a visual stimulus.
  • the display device 24 is a presentation device that presents stimuli.
  • the display device 24 preferably displays at least an image.
  • the display device 24 may display text or the like in addition to images.
  • the display of the display device 24 is controlled by the HCU 20 .
  • a meter MID Multi Information Display
  • CID Center Information Display
  • a rear seat display a transparent display, or a transparent skin display can be used.
  • the meter MID is a display device installed in front of the driver's seat inside the vehicle. As an example, the meter MID may be configured to be provided on the meter panel.
  • CID is a display device arranged in the center of the instrument panel of the vehicle.
  • the rear seat display is a display device for passengers in the rear seats of the own vehicle.
  • the rear-seat display may be provided on the seatbacks of the driver's seat and passenger's seat, on the ceiling, or the like, with the display surface facing the rear of the vehicle.
  • a transparent display is a transmissive display device. Examples of transparent displays include OLED (Organic Electro-Luminescence).
  • the transparent display may be configured to be provided on the window of the vehicle.
  • a transmissive skin display is a display device that displays through a transmissive skin. The transmissive skin display may be provided on the door trim, seat back, floor roof, or the like of the vehicle.
  • the audio output device 25 provides sound stimulation to the occupants. In other words, auditory stimulation is provided.
  • the audio output device 25 is a presentation device that presents stimuli. Sounds output from the audio output device 25 include music, environmental sounds, and the like. Music may include BGM. An environmental sound may be a sound that reproduces a specific environment. As the audio output device 25, for example, an audio speaker that outputs audio may be used.
  • the HCU 20 is mainly composed of a microcomputer equipped with a processor, memory, I/O, and a bus connecting them.
  • the HCU 20 executes a control program stored in the memory to execute various types of processing such as processing related to provision of the indoor environment of the own vehicle (hereinafter referred to as provision related processing).
  • This HCU 20 corresponds to a mobile device.
  • Memory as used herein, is a non-transitory tangible storage medium for non-transitory storage of computer-readable programs and data.
  • a non-transitional physical storage medium is implemented by a semiconductor memory, a magnetic disk, or the like.
  • a schematic configuration of the HCU 20 will be described below.
  • the HCU 20 includes, as shown in FIG. An estimation unit 208 and an indoor environment identification unit 209 are provided as functional blocks. Execution of the processing of these functional blocks by the computer corresponds to execution of the control method for a moving object. A part or all of the functions executed by the HCU 20 may be configured as hardware using one or a plurality of ICs or the like. Also, some or all of the functional blocks provided by the HCU 20 may be implemented by a combination of software executed by a processor and hardware members.
  • the occupant authentication unit 201 authenticates regular occupants of the own vehicle.
  • the authentication may be performed by matching with the information of the authorized passenger registered in the authentication DB 202 in advance.
  • a non-volatile memory may be used as the authentication DB 202 .
  • the authentication DB 202 may be provided in a center that can communicate via the WACM 5 . It is preferable to use various authentication methods for authentication. For example, it is preferable to use authentication using a sensor of the own vehicle and authentication by cooperation with the portable terminal of the passenger of the own vehicle.
  • Authentication by cooperation with the portable terminal of the occupant of the own vehicle includes code collation using the identification information of each occupant held in the portable terminal.
  • the occupant authentication unit may acquire this identification information from the mobile terminal via the NFCM4.
  • the occupant authentication unit 201 may specify whether the occupant is a driver or a fellow passenger based on the occupant's boarding position.
  • the boarding position may be detected by a seat sensor, or may be estimated from a door whose opening/closing is detected. Alternatively, individual occupants may be identified from identification information held by the mobile terminal.
  • the occupant authentication unit 201 may use a plurality of authentication methods, for example, to improve the accuracy of authentication.
  • the condition for establishment of authentication may be the establishment of authentication by a plurality of authentication methods.
  • the occupant authentication unit 201 may use a plurality of authentication methods, for example, for quick authentication.
  • the provision processing unit 203 provides various indoor environments by controlling various presentation devices of the own vehicle. For example, when the passenger authentication unit 201 has successfully authenticated the passenger, the provision processing unit 203 may provide an indoor environment in which hospitality is produced. Examples of indoor environments with hospitality effects include seat position adjustment for each passenger, image display related to hospitality effects, lighting related to hospitality effects, and audio output related to hospitality effects.
  • the adjustment of the seat position for each occupant may be realized by instructing the seat ECU 6 .
  • the identification of the seat position for each passenger may be realized by storing in advance the identification information of the portable terminal and the seat position for each passenger in association with each other. Lighting may be realized by controlling the lighting device 23 .
  • Image display may be realized by controlling the display device 24 .
  • Audio output may be realized by controlling the audio output device 25 .
  • the voice recognition unit 204 performs voice recognition on the voice collected by the microphone 22, and recognizes the content of the utterance of the passenger.
  • the speech recognition unit 204 may distinguish and specify the utterance content of each passenger based on the difference in the microphone 22 that collects the sound.
  • the personal DB 205 pre-stores information about each passenger.
  • a non-volatile memory may be used as the personal DB 205 .
  • Information about each passenger includes information for identifying each passenger (hereinafter referred to as passenger identification information).
  • the information on each passenger includes at least one of information on individual passenger's preferences and information on past action history (hereinafter referred to as auxiliary information).
  • auxiliary information information on past action history
  • personal DB 205 may be provided in a center capable of communication via WACM 5 .
  • each occupant may be associated with attributes of the occupant, biological information of the occupant, identification information of the mobile terminal of the occupant, and the like.
  • the attributes of the occupant referred to here may be a relationship with a predetermined person as a reference.
  • the predetermined person will be described as the person himself below.
  • the attributes of the crew include the person himself/herself, wife, grandfather, grandmother, son over a certain age (hereinafter referred to as son), daughter over a certain age (hereinafter referred to as daughter), infant under a certain age (hereinafter referred to as infant), friend of the person. , wife's friend, son's friend, daughter's friend, etc.
  • the attributes of the occupant may be attributes other than those described here, or may be attributes more subdivided than the attributes described here. For example, if there are multiple grandfathers, grandmothers, sons, daughters, toddlers, and friends, they can be distinguished. For example, friend A, friend B, friend C, and so on.
  • the biometric information of the occupant referred to here includes a feature amount extracted from a face image, a voiceprint, and the like.
  • preference information information of the preference of the passenger
  • action history information information of the past action history
  • the occupant information identifying unit 206 identifies information about the occupants of the own vehicle detected by the sensors used in the own vehicle (hereinafter referred to as occupant information) by distinguishing between individual occupants of the own vehicle.
  • the processing in the occupant information specifying section 206 corresponds to the occupant information specifying step.
  • the sensors referred to here include the indoor camera 21 and the microphone 22 .
  • As the occupant information there is speech content recognized by the speech recognition unit 204 .
  • the occupant information includes information derived from an image of the occupant detected by the indoor camera 21 (hereinafter referred to as image-derived information).
  • image-derived information includes at least one of the occupant's facial image detected by the indoor camera 21, the feature amount extracted from the facial image, and the behavior and posture of the occupant detected by the indoor camera 21.
  • the occupant state includes the occupant's arousal level, the occupant's facial orientation, the occupant's line of sight direction, and the occupant's posture.
  • the occupant information specifying unit 206 may specify the utterance content of which occupant by referring to the attribute specifying information stored in the personal DB 205 based on the voiceprint.
  • the occupant information specifying unit 206 refers to the attribute specifying information stored in the personal DB 205 based on the feature amount extracted from the face image for the image-derived information, and identifies which occupant the image-derived information is. Just do it. Also, the passenger's boarding position may be specified using the one specified by the passenger authentication unit 201 . In addition, if a microphone 22 is provided for each seat, it is possible to specify the utterance content of the occupant at which boarding position based on the utterance content recognized from the sound collected by which microphone 22. good. It should be noted that the method of distinguishing individual occupants and specifying the utterance content and image origin information is not limited to the above.
  • the interior camera 21 detects the occupant's arousal level, face orientation, line-of-sight direction, and posture as the occupant state, but this is not necessarily the case.
  • the psychological state of the occupant may be estimated as the occupant state based on the feature amount of the facial image of the occupant by the indoor camera 21 .
  • the occupant information identifying unit 206 detects the occupant's arousal level, face direction, line-of-sight direction, posture, and psychological state. It may be configured to have the function of
  • the auxiliary information acquisition unit 207 acquires the aforementioned auxiliary information.
  • the auxiliary information acquisition unit 207 may acquire auxiliary information from the personal DB 205 . If the personal DB 205 is provided at a center outside the vehicle, the auxiliary information acquisition unit 207 may acquire auxiliary information from this center via the WACM 5 .
  • the request estimation unit 208 estimates the occupant's request according to the combination of the occupant information of the multiple occupants.
  • the processing in this request estimating unit 208 corresponds to the request estimating step.
  • the request estimating unit 208 may estimate requests for all of the multiple occupants of the own vehicle, or may estimate requests for some of the occupants.
  • the request estimating unit 208 may use a machine-learning device to estimate a passenger's request according to a combination of the passenger information of the plurality of passengers based on the passenger information of the plurality of passengers.
  • the learning device a learning device obtained by machine learning that receives a combination of passenger information of a plurality of passengers as an input and outputs the request of the passenger according to this combination may be used.
  • the request estimating unit 208 may estimate the occupant's request based on the correspondence relationship between the combination of occupant information of a plurality of occupants and the occupant's request estimated from the combination. This correspondence relationship may be obtained by interviewing a plurality of subjects.
  • the request estimating unit 208 uses the learning device described above to estimate the occupant's request, as an example.
  • the request estimating unit 208 may estimate the occupant's request according to the combination of the utterance contents of the multiple occupants based on the utterance contents of the multiple occupants of the own vehicle identified by the occupant information identifying unit 206 .
  • a learner that performs machine learning to estimate the passenger's request according to the conversation content, which is the flow of the utterance content of the plurality of passengers, by inputting the order of the utterance content as an input. preferable.
  • this learning device even if the content of speech has not been learned, it is possible to estimate the request of the passenger according to the combination of the content of speech of a plurality of passengers based on the similarity of the elements of the speech content.
  • the request estimating unit 208 estimates the background of the conversation based on the conversation content, which is the flow of the utterances of the plurality of occupants of the own vehicle, identified by the occupant information identifying unit 206. is preferably estimated. In this case, estimation may be performed step by step, such as estimating the background from the content of the conversation and estimating the request to the passenger from the estimated background. As a result, it is possible to more accurately estimate requests from crew members that are difficult to estimate only by understanding the content of utterances of multiple crew members. Background here can be translated as context. In other words, the background referred to here can also be read as context, context, circumstance, or the like.
  • the request estimating unit 208 determines the requests of the occupants of the own vehicle. Estimates are preferred.
  • the learning device by inputting the auxiliary information, it is possible to use a machine that performs machine learning for estimating the request of the passenger according to the auxiliary information as well. According to this, it is possible to estimate the passenger's request with higher accuracy by responding to the passenger's preference and past behavior history.
  • the request estimation unit 208 estimates that the wife in the front passenger seat is talking to her son and daughter in the backseat from the order of the utterances and the content of the utterances. It should be noted that it may be estimated that the wife is talking to the son and daughter in the backseat not only from the content of the speech, but also from the facial orientation of the wife identified by the occupant information identification unit 206 . In addition, from the character strings "can't see the firefly" and "sorry”, it can be inferred that the wife feels regret and that the reason is that she cannot see the firefly. In addition, the son's "It's true” and the daughter's "Yeah!
  • Another example is the B case below. It is assumed that the multiple occupants who made the utterances are the wife of the driver and the friend of the wife of the passenger.
  • the utterance order is the wife, the wife's friend, and the wife.
  • the content of the wife's first utterance is "The apple pie shop that has recently opened at ZZ Mall is very delicious. I made my family eat it recently and it was very popular.”
  • the utterance content of the wife's friend is "Hey! I'm curious! I love apple pie. I want to try it! What is the name of the store?"
  • the contents of the wife's second utterance are "Well, what is the name? I forgot. I think it was a fairly long English name.”
  • the request estimating unit 208 infers that the wife and her friend are having a conversation from the order of utterances and the content of the utterances.
  • the wife's character string "The newly opened apple pie shop at ZZ Mall is really delicious.” It is presumed that you want to eat pie.
  • the background is presumed that the wife should remember the name of the apple pie shop in ZZ mall. Then, from this estimated result, the passenger's request to know the name of the apple pie store in ZZ Mall is estimated.
  • Another example is the following C case.
  • the multiple occupants who made the utterances are assumed to be the person in the driver's seat and his wife in the passenger's seat.
  • the utterance order is the wife, then the person himself/herself.
  • the content of the wife's utterance is assumed to be "It's almost noon.”
  • the contents of the utterance of the person himself/herself are assumed to be "every shop is crowded after noon.”
  • the request estimation unit 208 estimates that the wife and the person are having a conversation from the order of utterances and the content of the utterances.
  • the background of wanting to quickly find a restaurant can be inferred from the wife's character string "It's noon.” Based on this estimated result, the passenger's request to eat at a restaurant near the current position is estimated.
  • the passenger's preference information among the auxiliary information acquired by the auxiliary information acquisition unit 207 is also used, the following may be done. For example, when it is possible to acquire preference information that both the wife and the driver themselves like ramen, it is possible to estimate the passenger's request to eat at a ramen restaurant near the current position.
  • the request estimating unit 208 may estimate the occupant's request according to a combination of the occupant states of the plurality of occupants based on the aforementioned occupant states of the occupants of the own vehicle identified by the occupant information identifying unit 206. . According to this, it is possible to more accurately estimate the request of the passenger even in a situation where conversation does not occur.
  • the request estimating unit 208 estimates the background of the occupant state based on the occupant states of the plurality of occupants of the own vehicle identified by the occupant information identifying unit 206, and estimates the occupant's request that matches the background. is preferred.
  • the background may be estimated from a combination of the occupant states of a plurality of occupants, and the request to the occupant may be estimated from the estimated background. According to this, it becomes possible to estimate the passenger's request with higher accuracy.
  • the occupant information used by the request estimating unit 208 to estimate the occupant's request may be a combination of the utterance content and the occupant state.
  • a plurality of occupants whose occupant states are identified are the wife in the driver's seat and the infant in the rear seat.
  • the occupant state of the infant is assumed to be a state of low arousal.
  • a state of low wakefulness may be a state of being asleep, or a state of drowsiness above a certain level.
  • the wife's occupant state is assumed to be facing toward the rear.
  • the request estimator 208 infers from the combination of these occupant states the background that the wife is concerned about whether the infant is asleep or unwell. Based on this presumed background, it is presumed that the wife's request is to clearly confirm the condition of the infant.
  • Another example is the E case below.
  • a plurality of occupants whose occupant states are identified are the wife in the driver's seat and the infant in the rear seat.
  • the occupant state of the infant is assumed to be a state of low arousal.
  • the wife's occupant state is her line of sight to the rear-view mirror and her confused state of mind.
  • the request estimation unit 208 estimates that the wife is concerned about whether the infant is asleep or sick, but the interior is dark and cannot be confirmed with the rear-view mirror. be done. Based on this presumed background, it is presumed that the wife's request is to clearly confirm the condition of the infant.
  • a plurality of occupants whose occupant states are identified are the wife in the driver's seat and the infant in the rear seat.
  • the occupant state of the infant is assumed to be a state in which the infant is not asleep but has a low wakefulness. It is assumed that the wife's occupant state is her line of sight to the rearview mirror and silence. Silence may be identified from the presence or absence of utterance content, or may be identified from the open/closed state of the mouth in the face image.
  • the request estimation unit 208 estimates the background of the wife's desire to put the infant to sleep from the combination of these occupant states. Based on this presumed background, the wife's desire to create an environment in the car where it is easy for the infant to fall asleep is presumed.
  • the passenger's preference information among the auxiliary information acquired by the auxiliary information acquisition unit 207 is also used, the following may be done. For example, if it is possible to obtain preference information about a song that is always played when an infant goes to bed, it is sufficient to estimate the wife's request to play this song in the car.
  • the indoor environment specifying unit 209 specifies the indoor environment of the own vehicle that is estimated to satisfy the occupant's request estimated by the request estimation unit 208 . Then, the provision processing unit 203 causes the indoor environment specified by the indoor environment specifying unit 209 to be provided.
  • the provision processing unit 203 provides the indoor environment specified by the indoor environment specifying unit 209 by providing visual content, auditory content, lighting, in-vehicle air conditioning, fragrance, conversation with the in-vehicle AI, etc. singly or in combination. Let it be.
  • the provision processing unit 203 may cause the display device 24 to provide the visual content.
  • the provision processing unit 203 may cause the audio output device 25 to provide audio content and conversation with the in-vehicle AI.
  • the provision processing unit 203 may cause the lighting device 23 to provide lighting.
  • the provision processing unit 203 may cause the air conditioning unit 31 to provide the in-vehicle air conditioning via the air conditioning control ECU 30 .
  • the provision processing unit 203 may cause the aroma unit 32 to provide the scent via the air conditioning control ECU 30 .
  • the indoor environment specifying unit 209 uses a learner that performs machine learning to determine the indoor environment of the vehicle that satisfies the occupant's request estimated by the request estimating unit 208 based on the occupant's request estimated by the request estimating unit 208. should be estimated.
  • the learner may be a learner obtained by machine learning in which the request of the passenger is input and the in-vehicle environment that satisfies the request is output.
  • the indoor environment specifying unit 209 may estimate an in-vehicle environment that satisfies the occupant's request based on the correspondence relationship between the occupant's request and the in-vehicle environment that satisfies the request. This correspondence relationship may be obtained by interviewing a plurality of subjects.
  • the indoor environment specifying unit 209 may estimate the indoor environment in which the firefly image is displayed. Furthermore, the indoor environment specifying unit 209 may estimate an indoor environment that provides the atmosphere of seeing fireflies last year. Then, the provision processing unit 203 may display a firefly image, or provide the atmosphere when the firefly was seen last year.
  • the provision processing unit 203 may cause the display device 24 to display the firefly image.
  • the provision processing unit 203 may acquire a firefly image from the center via the WACM 5 and cause the display device 24 to display the acquired firefly image.
  • the provision processing unit 203 may output the audio from the audio output device 25 .
  • the provision processing unit 203 may control the air-conditioning temperature of the air-conditioning unit 31 via the air-conditioning control ECU 30 so that the room temperature matches the temperature of the firefly colony.
  • the provision processing unit 203 may adjust the light in the passenger compartment so that the brightness matches the time when fireflies were seen last year. Dimming may be realized by controlling the lighting device 23 or controlling the room light.
  • the indoor environment identifying unit 209 may estimate an indoor environment in which a voice asking the name of the apple pie store in ZZ Mall is output.
  • the provision processing unit 203 may output a voice asking the name of the apple pie store in ZZ Mall.
  • the provision processing unit 203 may specify XX, which is the name of the apple pie store in ZZ Mall, by searching the Internet via WACM5.
  • voice output the provision processing unit 203 outputs a voice such as "Is the store you were talking about earlier possibly XX?" It should be output.
  • the provision processing unit 203 may cause the display device 24 such as CID to display information on the apple pie shop in ZZ Mall. In this way, when the passengers are conversing with each other, the conversation between the passengers may be assisted.
  • the indoor environment specifying unit 209 may estimate an indoor environment in which a voice proposing a restaurant near the current position is output. Then, the provision processing unit 203 may output a voice proposing a restaurant near the current position. The provision processing unit 203 may specify restaurants near the current position by searching the Internet via the WACM 5 . As an example of voice output, if the provision processing unit 203 causes the voice output device 25 to output a voice such as "There is a restaurant called YY 100 meters away" from the voice output device 25 at the timing of the gap between the person and his wife. good. In addition, the provision processing unit 203 may cause the display device 24 such as a CID to display information on the proposed restaurant or display map information indicating the location of the restaurant.
  • the display device 24 such as a CID to display information on the proposed restaurant or display map information indicating the location of the restaurant.
  • the indoor environment specifying unit 209 may estimate an indoor environment in which the child's appearance is displayed on the display device 24 that is easy for the wife to see.
  • the provision processing unit 203 displays the infant's condition on the display device 24 which is easy for the wife to see.
  • the provision processing unit 203 may cause the display device 24 such as the CID and the meter MID to display the image of the infant captured by the indoor camera 21 .
  • the audio output device 25 outputs a low-volume sound indicating that the infant has fallen asleep in conjunction with the display of the image of the infant. You can output.
  • the low volume referred to here may be a volume that is estimated not to disturb the sleep of the infant.
  • Case F it is presumed that the wife wants to create an environment in the car where the infant can easily fall asleep.
  • the indoor environment specifying unit 209 may estimate an indoor environment in which the infant can easily sleep.
  • the provision processing unit 203 may provide an indoor environment in which the infant can easily sleep. If there is a song that the infant always plays when sleeping, the provision processing unit 203 may output the song from the audio output device 25 at a reduced volume. If there is no music that the infant always plays when sleeping, the volume of the music output from the audio output device 25 can be lowered.
  • the air conditioning unit 31 may be controlled via the air conditioning control ECU 30 to adjust the room temperature and the air volume so that the infant can relax.
  • a seat heater may be used to adjust the temperature. The same may be done when the subject requesting sleep or requesting sleep is a fellow passenger other than an infant. In this case, the indoor area in which the driver is present is not provided with an indoor environment that facilitates sleep.
  • the provision processing unit 203 may provide an indoor environment that is easy for the passenger to enjoy. For example, the provision processing unit 203 may search for music that the passenger likes based on the preference information in the personal DB 205 and cause the audio output device 25 to output the music. In this case, in order not to offend the passenger, it is preferable to ask the passenger for permission to play the music before the music is output.
  • the provision processing unit 203 may provide an indoor environment that easily awakens the occupant's drowsiness.
  • the provision processing unit 203 may control the air conditioning unit 31 via the air conditioning control ECU 30 to blow cool air.
  • the provision processing unit 203 may control the aroma unit 32 via the air conditioning control ECU 30 to emit a scent that has an awakening effect.
  • the provision processing unit 203 may cause the audio output device 25 to output up-tempo music.
  • the provision processing unit 203 may also cause the audio output device 25 to output a sound for calling attention.
  • Provision-related processing in HCU 20 Next, an example of the flow of provision-related processing in the HCU 20 will be described using the flowchart of FIG. 3 may be configured to be started when, for example, the passenger authentication unit 201 authenticates a regular passenger of the own vehicle.
  • step S1 the provision processing unit 203 provides an indoor environment with hospitality.
  • step S2 the occupant information identifying unit 206 identifies each occupant of the own vehicle according to the occupant information detected by the sensors used in the own vehicle.
  • step S3 if there is auxiliary information for the occupant identified in S2 (YES in S3), the process proceeds to step S4. On the other hand, if there is no auxiliary information for the occupant identified in S2 (NO in S3), the process proceeds to step S5. In step S4, the auxiliary information acquisition unit 207 acquires auxiliary information about the occupant identified in S2, and the process proceeds to step S5.
  • step S5 the request estimating unit 208, based on the occupant information of the multiple occupants of the own vehicle specified by the occupant information specifying unit 206, estimates the occupant's request according to the combination of the occupant information of the multiple occupants.
  • step S6 if the passenger's request can be estimated (YES in S6), the process proceeds to step S7. On the other hand, if the occupant's request could not be estimated (NO in S6), the process proceeds to step S9.
  • step S7 the indoor environment specifying unit 209 specifies the indoor environment of the own vehicle that is estimated to satisfy the passenger's request estimated in S5.
  • step S8 the provision processing unit 203 causes the indoor environment specified in S7 to be provided.
  • step S9 if it is time to end the provision-related processing (YES in S9), the provision-related processing is ended. On the other hand, if it is not the end timing of the provision related process (NO in S9), the process returns to S2 and repeats the process.
  • An example of the end timing of the provision-related processing is when the power switch of the own vehicle is turned off.
  • the occupant's request is made according to the combination of the occupant information of the plurality of occupants. Since the estimation is made, it is possible to more accurately estimate the relationship between a plurality of occupants and the occupant's request that changes depending on the state.
  • the occupant information is information about the occupants of the own vehicle detected by the sensors used in the own vehicle, it is possible to more accurately estimate the occupant's request that matches the actual situation. As a result, more accurate estimation of occupant needs in the presence of multiple occupants can provide a comfortable interior experience that better meets occupant needs.
  • the occupant information may be either the contents of the utterance or the occupant state, but the configuration is not necessarily limited to this.
  • the occupant information only one of the utterance content and the occupant state may be used.
  • the vehicle system 1 may be configured to be applied to a vehicle other than an automobile as long as it is a mobile body capable of accommodating a plurality of passengers.
  • vehicle system 1 may be configured to be used in moving bodies such as railway vehicles, aircraft, and ships.
  • controller and techniques described in this disclosure may also be implemented by a special purpose computer comprising a processor programmed to perform one or more functions embodied by a computer program.
  • the apparatus and techniques described in this disclosure may be implemented by dedicated hardware logic circuitry.
  • the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured by a combination of a processor executing a computer program and one or more hardware logic circuits.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Seats For Vehicles (AREA)
  • Passenger Equipment (AREA)

Abstract

車両で用いることが可能なＨＣＵ（２０）であって、自車で用いられるセンサで検出した自車の乗員についての情報である乗員情報を、自車の個々の乗員を区別して特定する乗員情報特定部（２０６）と、乗員情報特定部（２０６）で特定した自車の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定する要求推定部（２０８）とを備える。

Description

移動体用装置及び移動体用制御方法 関連出願の相互参照
　この出願は、２０２１年６月２５日に日本に出願された特許出願第２０２１－１０６０９０号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
　本開示は、移動体用装置及び移動体用制御方法に関するものである。
　特許文献１には、車両に乗車している乗員に対応する個人情報を個人情報データベースから取得し、取得した個人情報の基づいた提供情報を再度乗車した乗員に提供する技術が開示されている。
特開２０１８－１５５７０号公報
　例えば、複数の乗員の関係性，状態によって乗員の要求も変化する。よって、乗員の個人情報だけでは、乗員の要求を精度良く推定することは難しかった。また、乗員の要求を精度良く推定することが難しかったので、乗員の要求に合った快適な車内経験を提供することが難しかった。
　この開示のひとつの目的は、複数の乗員の存在下での乗員の要求をより精度良く推定することで、乗員の要求により合った快適な室内経験を提供することを可能にする移動体用装置及び移動体用制御方法を提供することにある。
　上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
　上記目的を達成するために、本開示の移動体用装置は、移動体で用いることが可能な移動体用装置であって、移動体で用いられるセンサで検出した移動体の乗員についての情報である乗員情報を、移動体の個々の乗員を区別して特定する乗員情報特定部と、乗員情報特定部で特定した移動体の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定する要求推定部とを備える。
　上記目的を達成するために、本開示の移動体用制御方法は、移動体で用いることが可能な移動体用制御方法であって、少なくとも１つのプロセッサにより実行される、移動体で用いられるセンサで検出した移動体の乗員についての情報である乗員情報を、移動体の個々の乗員を区別して特定する乗員情報特定工程と、乗員情報特定工程で特定した移動体の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定する要求推定工程とを含む。
　これらによれば、移動体の個々の乗員を区別して特定した、移動体の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定するので、複数の乗員の関係性，状態によって変化する乗員の要求をより精度良く推定することが可能になる。また、乗員情報は、移動体で用いられるセンサで検出した移動体の乗員についての情報であるので、実際の状況に合った乗員の要求をより精度良く推定することが可能になる。その結果、複数の乗員の存在下での乗員の要求をより精度良く推定することで、乗員の要求により合った快適な室内経験を提供することが可能になる。
車両用システム１の概略的な構成の一例を示す図である。 ＨＣＵ２０の概略的な構成の一例を示す図である。 ＨＣＵ２０での提供関連処理の流れの一例について示すフローチャートである。
　図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
　（実施形態１）
　＜車両用システム１の概略構成＞
　以下、本実施形態について図面を用いて説明する。図１に示す車両用システム１は、例えば自動車（以下、単に車両）で用いられるものとして説明する。車両用システム１は、ＨＭＩ（Human Machine Interface）システム２、空調システム３、近距離通信モジュール（以下、ＮＦＣＭ）４、広域通信モジュール（以下、ＷＡＣＭ）５、及びシートＥＣＵ６を含んでいる。ＨＭＩシステム２、空調システム３、ＮＦＣＭ４、ＷＡＣＭ５、及びシートＥＣＵ６は、例えば車内ＬＡＮに接続されているものとする。車両用システム１を搭載している車両を以降では自車と呼ぶ。
　空調システム３は、車両用の冷暖房システムである。空調システム３は、自車のユーザによって設定された空調関連の設定値等を含む空調要求情報を後述するＨＣＵ２０から取得する。そして、取得した空調要求情報に従い、自車の車室内の温度、気流、及び香り等を調整する。空調システム３は、空調制御ＥＣＵ３０、エアコンユニット３１、及びアロマユニット３２を備えている。
　エアコンユニット３１は、温風及び冷風（以下、空調風）を生成する。空調風は、自車の例えばインストルメントパネルに設けられた吹出口から車室内に供給される。アロマユニット３２は、芳香成分を含むエッセンシャルオイル等のアロマオイルを含侵させたビーズ等（以下、含侵物）を有する。そして、エアコンユニット３１によって生成された気流を、この含侵物の周りに通過させることで、芳香を車室内に供給する。他にも、アロマユニット３２は、アロマオイルを霧状にするものであってもよい。この場合、アロマユニット３２によって霧状にされた芳香成分は、エアコンユニット３１によって生成された気流と混ぜられて車室内へと供給される構成とすればよい。エアコンユニット３１は、自車の乗員に風による刺激を与える。また、エアコンユニット３１は、空調風の温度の違いによって、自車の乗員に温冷刺激を与える。つまり、エアコンユニット３１は、触覚による刺激を与える。アロマユニット３２は、自車の乗員に芳香による刺激を与える。つまり、アロマユニット３２は、嗅覚による刺激を与える。エアコンユニット３１及びアロマユニット３２のいずれも、刺激を提示する提示装置である。空調制御ＥＣＵ３０は、エアコンユニット３１及びアロマユニット３２の作動を制御する電子制御装置である。空調制御ＥＣＵ３０は、エアコンユニット３１及びアロマユニット３２と接続されている。
　ＮＦＣＭ４は、近距離無線通信を行うための通信モジュールである。ＮＦＣＭ４は、自車の乗員の携帯端末との間で通信接続が確立した場合に、その携帯端末との間で近距離無線通信を行う。近距離無線通信とは、例えば通信範囲が最大でも数十メートル程度におさまる無線通信とする。近距離無線通信としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙに準拠した無線通信を用いればよい。携帯端末としては、例えば多機能携帯電話機，ウェアラブルデバイス等が挙げられる。ＷＡＣＭ５は、自車の外部のセンタとの間で、無線通信を介して情報の送受信を行う。つまり、広域通信を行う。
　シートＥＣＵ６は、自車のシートのシート位置の調整といったシート環境についての制御に関する各種の処理を実行する電子制御装置である。ここでは、自車のシートが、スライド位置及びリクライニング位置を電動で変化可能な電動シートであるものとして説明を行う。自車のシートが電動シートでない場合には、シートＥＣＵ６を省略してもよい。シートとしては、運転席，助手席，後部座席が挙げられる。電動シートは、運転席，助手席，後部座席のうちの一部のみであってもよい。スライド位置とは、自車の前後方向についてのシートの位置である。リクライニング位置とは、シートの背もたれの角度である。シートの背もたれは、シートバックと言い換えることもできる。
　ＨＭＩシステム２は、乗員の情報を取得したり、乗員に向けて刺激を提示したりする。ここでの刺激には、情報の提供も含まれる。ＨＭＩシステム２の詳細については、以下で述べる。
　＜ＨＭＩシステム２の概略構成＞
　ＨＭＩシステム２は、ＨＣＵ（Human Machine Interface Control Unit）２０、室内カメラ２１、マイク２２、照明装置２３、表示装置２４、及び音声出力装置２５を備えている。
　室内カメラ２１は、自車の車室内の所定範囲を撮像する。室内カメラ２１は、自車の運転席、助手席、及び後部座席を含む範囲を撮像する。室内カメラ２１としては、複数台のカメラを用い、複数台のカメラで撮像範囲を分担してもよい。室内カメラ２１は、例えば近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成される。室内カメラ２１は、近赤外光源によって近赤外光を照射された乗員を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、撮像画像を画像解析して抽出した乗員の特徴量をもとに、乗員の覚醒度、顔向き、視線方向、姿勢等を検出する。覚醒度の検出は、例えば瞼の開閉の度合いによって検出すればよい。
　マイク２２は、自車の乗員が発話した音声を集音し、電気的な音声信号に変換して、ＨＣＵ２０に出力する。マイク２２は、座席別の乗員の音声を区別して集音可能なように、座席ごとに設けられることが好ましい。なお、後述する音声認識によって個々の乗員を区別して特定する構成を採用する場合には、マイク２２を座席ごとに設けなくてもよい。座席ごとに設けられるマイク２２としては、指向性が絞られたズームマイクを用いればよい。
　照明装置２３は、乗員が視認可能な位置に設けられて、乗員に発光による刺激を与える。つまり、視覚による刺激を与える。照明装置２３は、刺激を提示する提示装置である。照明装置２３としては、ＬＥＤ等の発光装置を用いればよい。照明装置２３は、発光の色を切り替えることが可能であることが好ましい。照明装置２３は、ＨＣＵ２０によって発光が制御される。
　表示装置２４は、情報を表示する。表示装置２４は、乗員が視認可能な位置に設けられて、乗員に表示による刺激を与える。つまり、視覚による刺激を与える。表示装置２４は、刺激を提示する提示装置である。表示装置２４は、少なくとも画像を表示することが好ましい。表示装置２４は、画像の他にテキスト等を表示してもよい。表示装置２４は、ＨＣＵ２０によって、表示が制御される。表示装置２４としては、例えばメータＭＩＤ（Multi Information Display），ＣＩＤ（Center Information Display），後席ディスプレイ，透明ディスプレイ，透過表皮ディスプレイを用いることができる。
　メータＭＩＤは、車室内のうちの運転席の正面に設けられる表示装置である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。ＣＩＤは、自車のインストルメントパネルの中央に配置される表示装置である。後席ディスプレイは、自車の後部座席の乗員向けの表示装置である。後席ディスプレイは、運転席，助手席のシートバック，天井等に、表示面を自車の後方に向けて設けられる構成とすればよい。透明ディスプレイは、透過型の表示装置である。透明ディスプレイとしては、ＯＬＥＤ（Organic Electro-Luminescence）等が挙げられる。透明ディスプレイは、自車の窓に設けられる構成とすればよい。透過表皮ディスプレイは、透過表皮を通して表示を行う表示装置である。透過表皮ディスプレイは、自車のドアトリム，シートバック，フロアルーフ等に設けられる構成とすればよい。
　音声出力装置２５は、乗員に音による刺激を与える。つまり、聴覚による刺激を与える。音声出力装置２５は、刺激を提示する提示装置である。音声出力装置２５から出力する音としては、音楽，環境音等が挙げられる。音楽には、ＢＧＭを含んでもよい。環境音とは、特定の環境を再現する音とすればよい。音声出力装置２５としては、例えば音声を出力するオーディオスピーカ等を用いればよい。
　ＨＣＵ２０は、プロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備えるマイクロコンピュータを主体として構成される。ＨＣＵ２０は、メモリに記憶された制御プログラムを実行することで自車の室内環境の提供に関する処理（以下、提供関連処理）等の各種の処理を実行する。このＨＣＵ２０が移動体用装置に相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non- transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。なお、ＨＣＵ２０の概略構成については以下で述べる。
　＜ＨＣＵ２０の概略構成＞
　続いて、図２を用いて、ＨＣＵ２０の概略構成について説明を行う。ＨＣＵ２０は、図２に示すように、乗員認証部２０１、認証データベース（以下、ＤＢ）２０２、提供処理部２０３、音声認識部２０４、個人ＤＢ２０５、乗員情報特定部２０６、補助情報取得部２０７、要求推定部２０８、及び室内環境特定部２０９を機能ブロックとして備える。また、コンピュータによってこれらの機能ブロックの処理が実行されることが、移動体用制御方法が実行されることに相当する。なお、ＨＣＵ２０が実行する機能の一部又は全部を、１つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ２０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
　乗員認証部２０１は、自車の正規の乗員の認証を行う。認証は、認証ＤＢ２０２に予め登録しておいた正規の乗員の情報との照合によって行えばよい。認証ＤＢ２０２としては、不揮発性メモリを用いればよい。なお、認証ＤＢ２０２は、ＷＡＣＭ５を介して通信可能なセンタに設けられたものを用いてもよい。認証には、多様な認証方法を用いることが好ましい。例えば、自車のセンサを利用した認証と、自車の乗員の携帯端末との連携による認証とを用いることが好ましい。
　一例として、自車のセンサを利用した認証としては、室内カメラ２１での撮像画像から検出する乗員の顔の特徴量を用いた顔認証が挙げられる。他にも、この撮像画像から検出する乗員の虹彩の特徴量を用いた虹彩認証が挙げられる。また、自車のドアハンドルに指紋センサが設けられている場合には、この指紋センサで検出した指紋を用いた指紋認証も挙げられる。自車の乗員の携帯端末との連携による認証としては、携帯端末で保持している乗員個々の識別情報を用いたコード照合が挙げられる。乗員認証部は、この識別情報を、ＮＦＣＭ４を介して携帯端末から取得すればよい。乗員認証部２０１は、認証に加え、乗員の乗車位置により、運転者なのか同乗者なのかを特定してもよい。乗車位置については、着座センサによって検出してもよいし、開閉を検出したドアから推定してもよい。他にも、携帯端末で保持している識別情報から、個々の乗員を特定してもよい。
　乗員認証部２０１は、複数の認証方法を、例えば認証の精度を高めるために用いればよい。具体例としては、複数の認証方法での認証が成立することを、認証の成立の条件とすればよい。他にも、乗員認証部２０１は、複数の認証方法を、例えば素早い認証のために用いればよい。具体例としては、乗員の乗車前に、乗員の携帯端末との連携による認証によって、乗員別のシート位置の調整，空調の作動開始等を可能にしてもよい。
　提供処理部２０３は、自車の種々の提示装置を制御することで、種々の室内環境を提供させる。提供処理部２０３は、例えば乗員認証部２０１で乗員の認証が成立した場合に、おもてなし演出された室内環境を提供すればよい。おもてなし演出された室内環境の例としては、乗員別のシート位置の調整，おもてなし演出に関する画像の表示，おもてなし演出に関する照明，おもてなし演出に関する音声出力が挙げられる。乗員別のシート位置の調整は、シートＥＣＵ６への指示によって実現すればよい。乗員別のシート位置の特定については、予め乗員別に、携帯端末の識別情報と乗員別のシート位置とを紐付けて記憶しておくことで実現可能とすればよい。照明については、照明装置２３を制御して実現すればよい。画像の表示については、表示装置２４を制御して実現すればよい。音声出力については、音声出力装置２５を制御して実現すればよい。
　音声認識部２０４は、マイク２２が集音した音声に対して音声認識を実施し、乗員の発話内容を認識する。また、音声認識部２０４は、座席ごとにマイク２２が設けられる場合には、集音したマイク２２の違いをもとに、個々の乗員の発話内容を区別して特定すればよい。他にも、座席ごとにマイク２２が設けられない場合であっても、個々の乗員の発話内容を区別して特定すればよい。
　個人ＤＢ２０５は、個々の乗員についての情報が予め格納されている。個人ＤＢ２０５としては、不揮発性メモリを用いればよい。個々の乗員についての情報としては、個々の乗員を特定するための情報（以下、乗員特定用情報）がある。他にも、個々の乗員についての情報としては、個々の乗員の嗜好の情報及び過去の行動履歴の情報の少なくともいずれかの情報（以下、補助情報）もある。なお、個人ＤＢ２０５は、ＷＡＣＭ５を介して通信可能なセンタに設けられたものを用いてもよい。
　乗員特定用情報としては、例えば個々の乗員別に、その乗員の属性，その乗員の生体情報，その乗員の携帯端末の識別情報等が紐付けられていればよい。ここで言うところの乗員の属性とは、所定の人物を基準とした続柄とすればよい。所定の人物を以下では本人として説明する。乗員の属性としては、本人，妻，祖父，祖母，一定年齢以上の息子（以下、息子），一定年齢以上の娘（以下、娘），一定年齢未満の幼児（以下、幼児），本人の友人，妻の友人，息子の友人，娘の友人等が挙げられる。なお、乗員の属性は、ここで説明した以外の属性であってもよいし、ここで説明した属性よりも細分化した属性であってもよい。例えば、祖父，祖母，息子，娘，幼児，友人が複数存在する場合には、それらを区別すればよい。例えば、友人Ａ，友人Ｂ，友人Ｃ等とすればよい。また、ここで言うところの乗員の生体情報としては、顔画像から抽出される特徴量，声紋等が挙げられる。補助情報としては、例えば個々の乗員別に、その乗員の嗜好の情報（以下、嗜好情報）及び過去の行動履歴の情報（以下、行動履歴情報）の少なくともいずれかが紐付けられていればよい。
　乗員情報特定部２０６は、自車で用いられるセンサで検出した自車の乗員についての情報（以下、乗員情報）を、自車の個々の乗員を区別して特定する。この乗員情報特定部２０６での処理が乗員情報特定工程に相当する。自車の個々の乗員を区別して特定する際には、個々の乗員の属性も特定することが好ましい。これにより、後述する要求推定部２０８での推定精度がより向上する。ここで言うところのセンサとしては、室内カメラ２１，マイク２２が挙げられる。乗員情報としては、音声認識部２０４で認識した発話内容がある。乗員情報としては、室内カメラ２１で検出した乗員の画像に由来する情報（以下、画像由来情報）がある。画像由来情報としては、室内カメラ２１で検出した乗員の顔画像，その顔画像から抽出した特徴量、及び室内カメラ２１で検出した乗員の行動及び姿勢の少なくともいずれかの乗員状態がある。乗員状態としては、乗員の覚醒度，乗員の顔向き，乗員の視線方向，乗員の姿勢が挙げられる。乗員情報特定部２０６は、発話内容については、声紋をもとに個人ＤＢ２０５に格納されている属性特定用情報を参照して、どの乗員の発話内容かを特定すればよい。乗員情報特定部２０６は、画像由来情報については、顔画像から抽出した特徴量をもとに個人ＤＢ２０５に格納されている属性特定用情報を参照して、どの乗員の画像由来情報かを特定すればよい。また、乗員の乗車位置については、乗員認証部２０１で特定したものを利用して特定すればよい。他にも、発話内容については、座席ごとにマイク２２が設けられる場合には、どのマイク２２で集音した音声から認識した発話内容かによって、どの乗車位置の乗員の発話内容かを特定すればよい。なお、個々の乗員を区別して発話内容，画像由来情報を特定する方法は、上述したものに限らない。
　本実施形態では、室内カメラ２１で乗員状態として乗員の覚醒度，顔向き，視線方向，姿勢を検出する構成を示したが、必ずしもこれに限らない。例えば、室内カメラ２１で乗員の顔画像の特徴量をもとに、乗員状態として乗員の心理状態を推定してもよい。また、室内カメラ２１で乗員の覚醒度，顔向き，視線方向，姿勢，心理状態を検出する代わりに、乗員情報特定部２０６で乗員の覚醒度，顔向き，視線方向，姿勢，心理状態を検出する機能を担う構成としてもよい。
　補助情報取得部２０７は、前述した補助情報を取得する。補助情報取得部２０７は、個人ＤＢ２０５から補助情報を取得すればよい。補助情報取得部２０７は、個人ＤＢ２０５が自車の外部のセンタに設けられている場合には、ＷＡＣＭ５を介してこのセンタから補助情報を取得すればよい。
　要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定する。この要求推定部２０８での処理が要求推定工程に相当する。要求推定部２０８は、自車の複数の乗員の全てについての要求を推定してもよいし、一部の乗員についての要求を推定してもよい。要求推定部２０８は、機械学習を行った学習器を用いて、複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定すればよい。この場合、学習器としては、複数の乗員の乗員情報の組み合わせを入力とし、この組み合わせに応じた乗員の要求を出力とする機械学習によって得られた学習器を用いればよい。なお、要求推定部２０８は、複数の乗員の乗員情報の組み合わせと、その組み合わせから推定される乗員の要求との対応関係をもとに、乗員の要求を推定してもよい。この対応関係については、複数の被験者からの聞き取り等によって求めればよい。以降では、要求推定部２０８は、上述の学習器によって乗員の要求を推定する場合を例に挙げて説明を続ける。
　要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の発話内容をもとに、複数の乗員の発話内容の組み合わせに応じた乗員の要求を推定すればよい。この場合、学習器としては、発話内容の順番も入力とすることで、複数の乗員の発話内容の流れである会話内容に応じた乗員の要求を推定する機械学習を行ったものを用いることが好ましい。この学習器では、学習済みでない発話内容であっても、発話内容の要素の類似性等から、複数の乗員の発話内容の組み合わせに応じた乗員の要求を推定するものとすればよい。要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の発話内容の流れである会話内容をもとに、その会話内容の背景を推定しつつ、その背景に合った乗員の要求を推定することが好ましい。この場合、会話内容から背景を推定し、推定した背景から乗員に要求を推定するといったように、段階的に推定を行えばよい。これにより、複数の乗員の発話内容を理解しただけでは推定することが困難な乗員の要求であっても、より精度良く推定することが可能になる。ここで言うところの背景は、コンテキストと言い換えることができる。つまり、ここで言うところの背景は、文脈、脈絡、事情等と読み替えることもできる。
　また、要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の乗員情報に加え、補助情報取得部２０７で取得した補助情報をもとに、自車の乗員の要求を推定することが好ましい。この場合、学習器としては、補助情報も入力とすることで、補助情報にも応じた乗員の要求を推定する機械学習を行ったものを用いればよい。これによれば、乗員の嗜好，過去の行動履歴にも応じることで、乗員の要求をより精度良く推定することが可能になる。
　ここで、複数の乗員の発話内容の組み合わせに応じた乗員の要求の推定例について説明する。以下をＡケースとする。発話を行った複数の乗員は、助手席の妻，後部座席の息子，後部座席の娘の３人とする。発話順は、妻，息子，娘の順とする。妻の発話内容は、「今年は蛍が見られなくて残念ね。」とする。息子の発話内容は、「そうか！ここら辺だったんだ！本当だよね。去年は凄く綺麗だったね。」とする。娘の発話内容は、「そうね！もう一回見たい。」とする。妻，息子，娘の発話内容は、乗員情報特定部２０６によって誰の発話内容であるか区別して特定されているものとする。
　要求推定部２０８では、発話の順番及び発話内容から、助手席の妻が後部座席の息子及び娘に話しかけていることが推定される。なお、発話内容だけでなく、乗員情報特定部２０６で特定した妻の顔向きから、妻が後部座席の息子及び娘に話しかけていることを推定してもよい。また、「蛍が見られなくて」及び「残念」との文字列から、妻が残念な気持ちであること、及びその理由が蛍を見ることができないためであることが推定される。さらに、息子の「本当だよね」，娘の「そうね！もう一回見たい」との文字列から、三人全員が残念な気持ちであること、及びその背景には蛍を見ることができないという理由があることが推定される。そして、推定したこの結果から、蛍を見たいという乗員の要求が推定される。Ａケースでは、蛍を見たいという乗員の要求が推定される。
　なお、息子の「ここら辺だったんだ！」という文字列から、現在位置周辺が蛍の生息地であることを推定してもよい。そして、この推定結果をもとに、妻の行動履歴のうちから、去年の現在位置周辺で写真を撮影していた行動履歴を抽出するとともに、蛍が映っている写真を抽出する等してもよい。また、去年の現在位置周辺で蛍が映っている写真を撮影していたという行動履歴から、蛍を見たいという乗員の要求の推定を補強すればよい。
　他の例としては、以下のＢケースが挙げられる。発話を行った複数の乗員は、運転席の妻，助手席の妻の友人とする。発話順は、妻，妻の友人，妻の順とする。妻の１回目の発話内容は、「最近ＺＺモールで新しくオープンしたアップルパイの店が凄く美味しい。この間家族に食べさせたら大好評だった。」とする。妻の友人の発話内容は、「へぇ！気になる！私はアップルパイ大好き。食べてみたい！店は何という名前？」とする。２回目の妻の発話内容は、「えっと、何ていう名前なんだろう。忘れた。結構長い英語の名前だった気がする。」とする。
　要求推定部２０８では、発話の順番及び発話内容から、妻と妻の友人が会話していることを推定する。ここで、妻の「最近ＺＺモールで新しくオープンしたアップルパイの店が凄く美味しい。」という文字例、及び妻の友人の「食べてみたい！」という文字列から、妻の友人がＺＺモールのアップルパイを食べたいことが推定される。さらに、この推定結果と、妻の友人の「店は何という名前？」及び妻の「何ていう名前なんだろう。忘れた。結構長い英語の名前だった気がする。」との文字列から、妻がＺＺモールのアップルパイの店の名前を思い出すべきである背景が推定される。そして、推定したこの結果から、ＺＺモールのアップルパイの店の名前を知りたいという乗員の要求が推定される。
　他の例としては、以下のＣケースが挙げられる。発話を行った複数の乗員は、運転席の本人，助手席の妻とする。発話順は、妻，本人の順とする。妻の発話内容は、「もうすぐお昼だね。」とする。本人の発話内容は、「お昼を過ぎるとどこの店も混むしな。」とする。
　要求推定部２０８では、発話の順番及び発話内容から、妻と本人が会話していることを推定する。ここで、妻の「お昼だね。」という文字例、及び本人の「お昼を過ぎるとどこの店も混むしな。」という文字列から、手早く飲食店を見つけたい背景が推定される。そして、推定したこの結果から、現在位置近辺の飲食店で食事したいという乗員の要求が推定される。なお、補助情報取得部２０７で取得した補助情報のうちの乗員の嗜好情報も用いる場合は、以下のようにすればよい。例えば、妻も本人もラーメンが好みという嗜好情報が取得できる場合に、現在位置近辺のラーメン店で食事したいという乗員の要求を推定すればよい。
　要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の前述した乗員状態をもとに、複数の乗員の乗員状態の組み合わせに応じた乗員の要求を推定してもよい。これによれば、会話が発生しない状況であっても、乗員の要求をより精度良く推定することが可能になる。要求推定部２０８は、乗員情報特定部２０６で特定した自車の複数の乗員の乗員状態をもとに、その乗員状態の背景を推定しつつ、その背景に合った乗員の要求を推定することが好ましい。この場合、複数の乗員の乗員状態の組み合わせから背景を推定し、推定した背景から乗員に要求を推定するといったように、段階的に推定を行えばよい。これによれば、乗員の要求をより精度良く推定することが可能になる。なお、要求推定部２０８で乗員の要求の推定に用いる乗員情報は、発話内容と乗員状態とを組み合わせたものであってもよい。
　ここで、複数の乗員の乗員状態の組み合わせに応じた乗員の要求の推定例について説明する。以下をＤケースとする。乗員状態が特定される複数の乗員は、運転席の妻，後部座席の幼児の２人とする。幼児の乗員状態は、覚醒度が低い状態とする。覚醒度が低い状態とは、眠っている状態，眠気が一定のレベル以上の状態とすればよい。妻の乗員状態は、後部への振り向きとする。要求推定部２０８では、これらの乗員状態の組み合わせから、幼児が眠っているのか具合が悪いのかのいずれであるか妻が気にしているという背景が推定される。そして、推定したこの背景から、幼児の様子をはっきり確認したいという妻の要求が推定される。
　他の例としては、以下のＥケースが挙げられる。乗員状態が特定される複数の乗員は、運転席の妻，後部座席の幼児の２人とする。幼児の乗員状態は、覚醒度が低い状態とする。妻の乗員状態は、ルームミラーへの視線と、困惑の心理状態とであるものとする。要求推定部２０８では、これらの乗員状態の組み合わせから、幼児が眠っているのか具合が悪いのかのいずれであるか妻が気にしているが、室内が暗くてルームミラーでは確認できないという背景が推定される。そして、推定したこの背景から、幼児の様子をはっきり確認したいという妻の要求が推定される。
　他の例としては、以下のＦケースが挙げられる。乗員状態が特定される複数の乗員は、運転席の妻，後部座席の幼児の２人とする。幼児の乗員状態は、眠っていないが覚醒度が低い状態とする。妻の乗員状態は、ルームミラーへの視線と、無言とであるものとする。無言については、発話内容の有無から特定してもよいし、顔画像のうちの口の開閉状態から特定してもよい。要求推定部２０８では、これらの乗員状態の組み合わせから、妻が幼児を寝かせたい背景が推定される。そして、推定したこの背景から、幼児が眠りにつきやすい車内環境にしたいという妻の要求が推定される。なお、補助情報取得部２０７で取得した補助情報のうちの乗員の嗜好情報も用いる場合は、以下のようにすればよい。例えば、幼児が寝るときにいつもかける曲という嗜好情報が取得できる場合に、この曲を車内でかけたいという妻の要求を推定すればよい。
　室内環境特定部２０９は、要求推定部２０８で推定した乗員の要求を満たすと推定される自車の室内環境を特定する。そして、提供処理部２０３は、この室内環境特定部２０９で特定した室内環境を提供させる。提供処理部２０３では、視覚コンテンツ，聴覚コンテンツ，照明，車内空調，香り，車載ＡＩとの会話等を、単独若しくは複数の組み合わせで提供することで、室内環境特定部２０９で特定した室内環境を提供させればよい。提供処理部２０３は、視覚コンテンツについては、表示装置２４によって提供させればよい。提供処理部２０３は、聴覚コンテンツ，車載ＡＩとの会話については、音声出力装置２５によって提供させればよい。提供処理部２０３は、照明については、照明装置２３によって提供させればよい。提供処理部２０３は、車内空調については、空調制御ＥＣＵ３０を介してエアコンユニット３１によって提供させればよい。提供処理部２０３は、香りについては、空調制御ＥＣＵ３０を介してアロマユニット３２によって提供させればよい。
　室内環境特定部２０９は、機械学習を行った学習器を用いて、要求推定部２０８で推定した乗員の要求をもとに、要求推定部２０８で推定した乗員の要求を満たす自車の室内環境を推定すればよい。この場合、学習器としては、乗員の要求を入力とし、この要求を満たす車内環境を出力とする機械学習によって得られた学習器を用いればよい。なお、室内環境特定部２０９は、乗員の要求と、その要求を満たす車内環境との対応関係をもとに、乗員の要求を満たす車内環境を推定してもよい。この対応関係については、複数の被験者からの聞き取り等によって求めればよい。
　以下では、要求推定部２０８で推定される乗員の要求に応じて推定される車内環境と、その車内環境の提供との例を説明する。例えば、前述のＡケースの場合、以下のようにすればよい。Ａケースでは、蛍を見たいという乗員の要求が推定される。この要求に対して、室内環境特定部２０９は、蛍の映像が表示される車内環境を推定すればよい。さらに、室内環境特定部２０９は、去年に蛍を見た際の雰囲気を提供する車内環境を推定してもよい。そして、提供処理部２０３が、蛍の映像を表示させたり、去年に蛍を見た際の雰囲気を提供させたりすればよい。提供処理部２０３は、蛍の映像については、個人ＤＢ２０５の行動履歴情報に、去年に撮影した蛍の映像が含まれる場合には、この蛍の映像を表示装置２４に表示させればよい。他にも、提供処理部２０３は、ＷＡＣＭ５を介してセンタから蛍の映像を取得し、取得したこの蛍の映像を表示装置２４に表示させてもよい。また、提供処理部２０３は、映像に対応する音声も存在する場合には、その音声を音声出力装置２５から出力させればよい。去年に蛍を見た際の雰囲気の提供については、以下のようにすればよい。提供処理部２０３は、空調制御ＥＣＵ３０を介して、蛍の群生地の温度に合わせた室温になるようにエアコンユニット３１の空調温度を制御させればよい。他にも、提供処理部２０３は、去年に蛍を見た時間に合わせた明るさになるように、車室内を調光すればよい。調光については、照明装置２３を制御したり、ルームライトを制御したりすることで実現すればよい。
　例えば、前述のＢケースの場合、以下のようにすればよい。Ｂケースでは、ＺＺモールのアップルパイの店の名前を知りたいという乗員の要求が推定される。この要求に対して、室内環境特定部２０９は、ＺＺモールのアップルパイの店の名前を問いかける音声が出力される室内環境を推定すればよい。そして、提供処理部２０３が、ＺＺモールのアップルパイの店の名前を問いかける音声を出力させればよい。提供処理部２０３は、ＺＺモールのアップルパイの店の名前であるＸＸを、ＷＡＣＭ５を介してインターネットから検索することで特定すればよい。音声の出力の例としては、「先ほど仰っていた店は、もしかしたらＸＸですか」といった音声を、提供処理部２０３が、妻と妻の友人との会話の隙間のタイミングで音声出力装置２５から出力させればよい。また、提供処理部２０３は、併せて、ＣＩＤといった表示装置２４に、ＺＺモールのアップルパイの店の情報を表示させてもよい。これにより、乗員同士が会話している際に、乗員同士の会話を助けることをすればよい。
　例えば、前述のＣケースの場合、以下のようにすればよい。Ｃケースでは、現在位置近辺の飲食店で食事したいという乗員の要求が推定される。この要求に対して、室内環境特定部２０９は、現在位置近辺の飲食店を提案する音声が出力される室内環境を推定すればよい。そして、提供処理部２０３が、現在位置近辺の飲食店を提案する音声を出力させればよい。提供処理部２０３は、現在位置近辺の飲食店を、ＷＡＣＭ５を介してインターネットから検索することで特定すればよい。音声の出力の例としては、「この先、１００ｍにＹＹという飲食店があります」といった音声を、提供処理部２０３が、本人と妻との会話の隙間のタイミングで音声出力装置２５から出力させればよい。また、提供処理部２０３は、併せて、ＣＩＤといった表示装置２４に、提案する飲食店の情報を表示させたり、その飲食店の位置を示す地図情報を表示させたりしてもよい。
　例えば、前述のＤ，Ｅケースの場合、以下のようにすればよい。Ｄ，Ｅケースでは、幼児の様子をはっきり確認したいという妻の要求が推定される。この要求に対して、室内環境特定部２０９は、妻から見やすい表示装置２４に、幼児の様子が表示される室内環境を推定すればよい。そして、提供処理部２０３が、妻から見やすい表示装置２４に、幼児の様子を表示させればよい。提供処理部２０３は、ＣＩＤ，メータＭＩＤといった表示装置２４に、室内カメラ２１で撮像した幼児の画像を表示させればよい。また、乗員情報特定部２０６で幼児が眠っていることを特定していた場合には、幼児の画像の表示に併せて、音声出力装置２５から、幼児が眠ったことを知らせる音声を低音量で出力させてもよい。ここで言うところの低音量とは、幼児の睡眠を妨げないと推定される音量とすればよい。
　例えば、前述のＦケースの場合、以下のようにすればよい。Ｆケースでは、幼児が眠りにつきやすい車内環境にしたいという妻の要求が推定される。この要求に対して、室内環境特定部２０９は、幼児が眠りやすい室内環境を推定すればよい。そして、提供処理部２０３が、幼児が眠りやすい室内環境を提供させればよい。提供処理部２０３は、幼児が寝るときにいつもかける曲が存在する場合には、その曲を音声出力装置２５から音量を抑えて出力させればよい。幼児が寝るときにいつもかける曲が存在しない場合には、音声出力装置２５から出力させている音楽の音量を下げればよい。音声出力装置２５として嗜好性スピーカを用いている場合には、幼児のいる室内エリアに音が届きにくくなるようにすればよい。他にも、空調制御ＥＣＵ３０を介してエアコンユニット３１を制御し、幼児がリラックスできる室温，風量に調整させればよい。温度の調整については、シートヒータを用いて行ってもよい。眠らせたい要求、若しくは眠りたい要求のある対象が幼児以外の同乗者の場合に同様とすればよい。この場合、運転者のいる室内エリアについては、眠りやすい室内環境を提供しないようにする。
　また、要求推定部２０８で乗員の楽しみたい要求を推定した場合には、提供処理部２０３は、乗員が楽しみやすい室内環境を提供させればよい。例えば、提供処理部２０３は、個人ＤＢ２０５の嗜好情報をもとに、乗員が好む音楽を探し、音声出力装置２５から出力させればよい。この場合、乗員の気分を損ねないために、音楽を出力させる前に、乗員に問い合わせて再生の許可を得ることが好ましい。
　他にも、要求推定部２０８で乗員の眠気を覚ましたい要求を推定した場合には、提供処理部２０３は、乗員の眠気を覚ましやすい室内環境を提供させればよい。例えば、提供処理部２０３は、空調制御ＥＣＵ３０を介してエアコンユニット３１を制御し、冷風を吹き出させればよい。また、提供処理部２０３は、空調制御ＥＣＵ３０を介してアロマユニット３２を制御し、覚醒効果のある香りを吹き出させてもよい。他にも、提供処理部２０３は、音声出力装置２５からアップテンポの音楽を出力させてもよい。なお、提供処理部２０３は、乗員が運転者の場合には、併せて、音声出力装置２５から注意喚起を行う音声を出力させればよい。
　＜ＨＣＵ２０での提供関連処理＞
　続いて、図３のフローチャートを用いて、ＨＣＵ２０での提供関連処理の流れの一例について説明を行う。図３のフローチャートは、例えば、乗員認証部２０１で自車の正規の乗員の認証が行われた場合に開始する構成とすればよい。
　まず、ステップＳ１では、提供処理部２０３が、おもてなし演出された室内環境を提供する。ステップＳ２では、乗員情報特定部２０６が、自車で用いられるセンサで検出した乗員情報を、自車の個々の乗員を区別して特定する。
　ステップＳ３では、Ｓ２で特定した乗員について、補助情報が存在する場合（Ｓ３でＹＥＳ）には、ステップＳ４に移る。一方、Ｓ２で特定した乗員について、補助情報が存在しない場合（Ｓ３でＮＯ）には、ステップＳ５に移る。ステップＳ４では、補助情報取得部２０７が、Ｓ２で特定した乗員についての補助情報を取得し、ステップＳ５に移る。
　ステップＳ５では、要求推定部２０８が、乗員情報特定部２０６で特定した自車の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定する。ステップＳ６では、乗員の要求が推定できた場合（Ｓ６でＹＥＳ）には、ステップＳ７に移る。一方、乗員の要求が推定できなかった場合（Ｓ６でＮＯ）には、ステップＳ９に移る。
　ステップＳ７では、室内環境特定部２０９が、Ｓ５で推定した乗員の要求を満たすと推定される自車の室内環境を特定する。ステップＳ８では、提供処理部２０３が、Ｓ７で特定した室内環境を提供させる。
　ステップＳ９では、提供関連処理の終了タイミングであった場合（Ｓ９でＹＥＳ）には、提供関連処理を終了する。一方、提供関連処理の終了タイミングでなかった場合（Ｓ９でＮＯ）には、Ｓ２に戻って処理を繰り返す。提供関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになったこと等がある。
　＜実施形態１のまとめ＞
　実施形態１の構成によれば、自車の個々の乗員を区別して特定した、自車の複数の乗員の乗員情報をもとに、複数の乗員の乗員情報の組み合わせに応じた乗員の要求を推定するので、複数の乗員の関係性，状態によって変化する乗員の要求をより精度良く推定することが可能になる。また、乗員情報は、自車で用いられるセンサで検出した自車の乗員についての情報であるので、実際の状況に合った乗員の要求をより精度良く推定することが可能になる。その結果、複数の乗員の存在下での乗員の要求をより精度良く推定することで、乗員の要求により合った快適な室内経験を提供することが可能になる。
　（実施形態２）
　前述の実施形態では、自車の正規の乗員の認証をＨＣＵ２０で行う構成を示したが、必ずしもこれに限らない。例えば、乗員認証部２０１及び認証ＤＢ２０２の機能については、ＨＣＵ２０以外の電子制御装置が担う構成としてもよい。
　（実施形態３）
　前述の実施形態では、乗員情報として、発話内容及び乗員状態のいずれを用いてもよい構成を示したが、必ずしもこれに限らない。例えば、乗員情報として、発話内容及び乗員状態のうちのいずれかのみを用いる構成としてもよい。
　（実施形態４）
　前述の実施形態では、車両用システム１が自動車で用いられる構成を示したが、必ずしもこれに限らない。車両用システム１は、複数の乗員が収容可能な移動体であれば、自動車以外に適用する構成としてもよい。例えば、鉄道車両，航空機，船舶等の移動体で用いる構成としてもよい。
　なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (7)

  1. 　移動体で用いることが可能な移動体用装置であって、
    　前記移動体で用いられるセンサで検出した前記移動体の乗員についての情報である乗員情報を、前記移動体の個々の乗員を区別して特定する乗員情報特定部（２０６）と、
    　前記乗員情報特定部で特定した前記移動体の複数の乗員の前記乗員情報をもとに、複数の乗員の前記乗員情報の組み合わせに応じた前記乗員の要求を推定する要求推定部（２０８）とを備える移動体用装置。
  2. 　請求項１に記載の移動体用装置であって、
    　前記要求推定部で推定した前記乗員の要求を満たすと推定される前記移動体の室内環境を特定する室内環境特定部（２０９）と、
    　前記室内環境特定部で特定した前記室内環境を提供させる提供処理部（２０３）とを備える移動体用装置。
  3. 　請求項１又は２に記載の移動体用装置であって、
    　前記乗員情報特定部は、少なくとも前記乗員情報として、前記移動体の室内の音声を検出する前記センサで検出した前記乗員の発話内容を、前記移動体の個々の乗員を区別して特定し、
    　前記要求推定部は、前記乗員情報特定部で特定した前記移動体の複数の乗員の前記発話内容をもとに、複数の乗員の前記発話内容の組み合わせに応じた前記乗員の要求を推定する移動体用装置。
  4. 　請求項３に記載の移動体用装置であって、
    　前記要求推定部は、前記乗員情報特定部で特定した前記移動体の複数の乗員の前記発話内容の流れである会話内容をもとに、その会話内容の背景を推定しつつ、その背景に合った前記乗員の要求を推定する移動体用装置。
  5. 　請求項１～４のいずれか１項に記載の移動体用装置であって、
    　前記乗員情報特定部は、少なくとも前記乗員情報として、前記移動体の室内を撮像する前記センサで検出した前記乗員の行動及び姿勢の少なくともいずれかの乗員状態を、前記移動体の個々の乗員を区別して特定し、
    　前記要求推定部は、前記乗員情報特定部で特定した前記移動体の複数の乗員の前記乗員状態をもとに、複数の乗員の前記乗員状態の組み合わせに応じた前記乗員の要求を推定する移動体用装置。
  6. 　請求項１～５のいずれか１項に記載の移動体用装置であって、
    　前記乗員の嗜好の情報及び過去の行動履歴の情報の少なくともいずれかである補助情報を取得する補助情報取得部（２０７）を備え、
    　前記要求推定部は、前記乗員情報特定部で特定した前記移動体の複数の乗員の前記乗員情報に加え、前記補助情報取得部で取得した前記補助情報をもとに、前記要求を推定する移動体用装置。
  7. 　移動体で用いることが可能な移動体用制御方法であって、
    　少なくとも１つのプロセッサにより実行される、
    　前記移動体で用いられるセンサで検出した前記移動体の乗員についての情報である乗員情報を、前記移動体の個々の乗員を区別して特定する乗員情報特定工程と、
    　前記乗員情報特定工程で特定した前記移動体の複数の乗員の前記乗員情報をもとに、複数の乗員の前記乗員情報の組み合わせに応じた前記乗員の要求を推定する要求推定工程とを含む移動体用制御方法。
PCT/JP2022/021886 2021-06-25 2022-05-30 移動体用装置及び移動体用制御方法 WO2022270234A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280044906.6A CN117580732A (zh) 2021-06-25 2022-05-30 移动体用装置以及移动体用控制方法
DE112022003245.6T DE112022003245T5 (de) 2021-06-25 2022-05-30 Vorrichtung für mobiles objekt und steuerungsverfahren für mobiles objekt
US18/389,773 US20240157897A1 (en) 2021-06-25 2023-12-19 Device for mobile object and control method for mobile object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-106090 2021-06-25
JP2021106090A JP2023004437A (ja) 2021-06-25 2021-06-25 移動体用装置及び移動体用制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/389,773 Continuation US20240157897A1 (en) 2021-06-25 2023-12-19 Device for mobile object and control method for mobile object

Publications (1)

Publication Number Publication Date
WO2022270234A1 true WO2022270234A1 (ja) 2022-12-29

Family

ID=84544521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021886 WO2022270234A1 (ja) 2021-06-25 2022-05-30 移動体用装置及び移動体用制御方法

Country Status (5)

Country Link
US (1) US20240157897A1 (ja)
JP (1) JP2023004437A (ja)
CN (1) CN117580732A (ja)
DE (1) DE112022003245T5 (ja)
WO (1) WO2022270234A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126766A (ja) * 2006-11-17 2008-06-05 Fuji Heavy Ind Ltd 車両の運動制御装置
JP2012133530A (ja) * 2010-12-21 2012-07-12 Denso Corp 車載装置
JP2018133696A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 車載装置、コンテンツ提供システムおよびコンテンツ提供方法
JP2020157944A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両機器制御装置、車両機器制御方法、およびプログラム
JP2021032698A (ja) * 2019-08-23 2021-03-01 株式会社デンソーテン 車載装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869570B1 (ja) 2019-12-26 2021-05-12 株式会社トライサウンド 電子撥弦楽器用プラグ及び電子撥弦楽器用プラグ付きケーブル

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126766A (ja) * 2006-11-17 2008-06-05 Fuji Heavy Ind Ltd 車両の運動制御装置
JP2012133530A (ja) * 2010-12-21 2012-07-12 Denso Corp 車載装置
JP2018133696A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 車載装置、コンテンツ提供システムおよびコンテンツ提供方法
JP2020157944A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両機器制御装置、車両機器制御方法、およびプログラム
JP2021032698A (ja) * 2019-08-23 2021-03-01 株式会社デンソーテン 車載装置

Also Published As

Publication number Publication date
JP2023004437A (ja) 2023-01-17
DE112022003245T5 (de) 2024-04-18
CN117580732A (zh) 2024-02-20
US20240157897A1 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
JP4332813B2 (ja) 自動車用ユーザーもてなしシステム
US20180345909A1 (en) Vehicle with wearable for identifying one or more vehicle occupants
US10155524B2 (en) Vehicle with wearable for identifying role of one or more users and adjustment of user settings
US20170151918A1 (en) Vehicle with wearable to provide intelligent user settings
JP4525925B2 (ja) 自動車用ユーザーもてなしシステム
JP2009208727A (ja) 自動車用ユーザーもてなしシステム
JP2018537332A (ja) 人物の顔認証に基づく車両制御システム
JP4793085B2 (ja) 車両用居眠り防止装置
JP6466385B2 (ja) サービス提供装置、サービス提供方法およびサービス提供プログラム
JP4525926B2 (ja) 自動車用ユーザーもてなしシステム
CN110774996B (zh) 车内环境的调节方法、装置和系统
US10189434B1 (en) Augmented safety restraint
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
JP2019158975A (ja) 発話システム
KR20190074506A (ko) 스마트 차량 시스템
JP2018027731A (ja) 車載装置、車載装置の制御方法およびコンテンツ提供システム
WO2022270234A1 (ja) 移動体用装置及び移動体用制御方法
JP2020103462A (ja) 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム
JP4968532B2 (ja) 自動車用ユーザーもてなしシステム
JP7286368B2 (ja) 車両機器制御装置、車両機器制御方法、およびプログラム
CN114734912A (zh) 座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质
CN114194122A (zh) 一种安全提示系统及汽车
JP2008230280A (ja) 車載制御装置
WO2022202031A1 (ja) 覚醒システム、覚醒制御装置および覚醒方法
WO2023021872A1 (ja) 個人情報システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828153

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280044906.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022003245

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828153

Country of ref document: EP

Kind code of ref document: A1