WO2019097674A1 - 車両用操作支援装置 - Google Patents

車両用操作支援装置 Download PDF

Info

Publication number
WO2019097674A1
WO2019097674A1 PCT/JP2017/041460 JP2017041460W WO2019097674A1 WO 2019097674 A1 WO2019097674 A1 WO 2019097674A1 JP 2017041460 W JP2017041460 W JP 2017041460W WO 2019097674 A1 WO2019097674 A1 WO 2019097674A1
Authority
WO
WIPO (PCT)
Prior art keywords
human
human relationship
vehicle
relationship
speech
Prior art date
Application number
PCT/JP2017/041460
Other languages
English (en)
French (fr)
Inventor
乘 西山
井上　裕史
剛仁 寺口
純 河西
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to BR112020009783-7A priority Critical patent/BR112020009783A2/pt
Priority to JP2019554145A priority patent/JP7024799B2/ja
Priority to MX2020004484A priority patent/MX2020004484A/es
Priority to CA3084696A priority patent/CA3084696C/en
Priority to RU2020117547A priority patent/RU2768509C2/ru
Priority to US16/764,705 priority patent/US20210174790A1/en
Priority to CN201780096439.0A priority patent/CN111801667B/zh
Priority to EP17932260.7A priority patent/EP3712887B1/en
Priority to PCT/JP2017/041460 priority patent/WO2019097674A1/ja
Priority to KR1020207014105A priority patent/KR20200074168A/ko
Publication of WO2019097674A1 publication Critical patent/WO2019097674A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Definitions

  • the present invention relates to a vehicle operation support device for obtaining recommendation information suitable for an occupant configuration including human relationships and providing support for various vehicle operations performed by the occupant.
  • the voice in the car is collected, the seat position of the occupant is specified, the speaker among the occupants present in the car is estimated based on the collected voice and the identified seating position, and the content of the conversation based on the collected voice
  • Estimate the occupant's composition based on the estimated seating position, the estimated speaker, and the estimated conversation content, and estimate the occupant's action purpose based on the estimated conversation content and the estimated occupant configuration There is known an on-vehicle apparatus that determines a recommended service to be recommended based on the occupant configuration and the estimated action purpose (Patent Document 1).
  • an individual is identified from the voiceprint pattern of the collected voice, and the owner is identified from the sitting position and the boarding frequency for each identified individual, and the individual who can be identified from the collected voice using the conversation keyword Is specified and registered as speaker pattern data, and the occupant configuration is estimated using the registered speaker pattern data.
  • the problem to be solved by the present invention is to provide a vehicle operation support device for obtaining, in a short time, recommendation information suitable for an occupant configuration including human relationships, and providing support for various vehicle operations performed by the occupant.
  • the present invention acquires conversation voice data of a plurality of persons in advance, identifies a speaker, analyzes the acquired conversation voice data for each identified speaker, extracts a predetermined keyword, and identifies each speaker.
  • the wording for each speaker is specified based on the keyword
  • the conversation content is specified based on the speech sound data of a plurality of people
  • the specified wording and the specified conversation content direct the communication between the plurality of persons.
  • Human resources relationships are quantified and determined. Then, when a plurality of people get on, the above problem is solved by determining the support information of the vehicle operation determined to be recommended from the human and the quantified human relationship.
  • the present invention since information on the human relationship obtained before getting on the vehicle is used, it is possible to obtain recommended information suitable for the occupant configuration including the human relationship in a short time. We can provide timely support.
  • FIG.2A It is a block diagram showing one embodiment of the operation support device for vehicles concerning the present invention. It is a flowchart which shows the process sequence performed by the conversation group estimation part of FIG. It is a planar map for demonstrating the combination extraction process by the utterance position of FIG.2A S22. It is a time chart for demonstrating the combination extraction process by the speech period of FIG.2A step S23. It is a flowchart which shows the process sequence performed by the direct human-relations analysis part of FIG. It is a figure which shows a part of category dictionary used for the analysis process of the category of the content of utterance of FIG.3A step S33.
  • the vehicle operation support device 1 of the present embodiment obtains recommendation information suitable for an occupant configuration including a human relationship, and provides support for various vehicle operations performed by the occupant.
  • an example is an occupant A and an occupant B constituting an occupant of the vehicle VH1, and when both are in a human relationship of a fishing friend, an in-vehicle navigation device
  • the destination suitable for the fishing place is displayed as an option or automatically set as the destination, or the radio of the fishing program is displayed as an option for the on-vehicle audio device, or it is automatically sent. It is a thing.
  • a destination such as a business trip site or a restaurant for lunch with respect to the in-vehicle navigation device Is displayed as an option or automatically set as a destination, or a radio of an economic program is displayed as an option or automatically sent to a car audio system.
  • Human relationship means the relationship between a specific person and a specific person, which is determined by experiences in current or past social life, and is not particularly limited, but an example is given to facilitate understanding of the present invention. And family members such as parents, children, husbands and wife, relatives such as cousins and cousins, these family members, relatives and other relationships, bosses, subordinates, colleagues, classmates, seniors and juniors in organizations such as companies and schools It can be classified into relationship of status, friends of hobbies and entertainment, boyfriends, girlfriends, lovers and other friends, and others. In the present embodiment, the vehicle occupant configuration means including such human relationships.
  • vehicle operation is not particularly limited, but an example of the operation of the vehicle according to the present invention is travel operation of the vehicle (accelerator operation, brake operation, transmission lever operation, steering wheel operation, etc.)
  • the operation of the navigation apparatus, the operation of the audio apparatus, the operation of the car air conditioner, the operation of adjusting the seat position, and the like include various operations of the vehicle performed by the occupant including the driver.
  • the “recommended information suitable for the occupant configuration” is instruction information for a vehicle or an on-vehicle apparatus for realizing a highly probable or preferable operation which is considered from the human relationship of the occupant in the operation of the vehicle performed by the occupant described above. is there.
  • the invention is not particularly limited.
  • as the recommended information when the occupant A and the occupant B constituting the occupant are in a human relationship of fishing friend can illustrate instruction information on setting operation of the destination of the in-vehicle navigation device, instruction information on tuning operation of the audio device, and the like.
  • the “support” of the vehicle operation includes not only presenting the option to the occupant when the occupant manually operates, but also automatically operating the vehicle operation support device 1 without the occupant manually operating.
  • the vehicle operation support device 1 automatically operates the vehicle based on the recommendation information
  • the vehicle operation that the occupant should perform can be reduced when the occupant has a favorable feeling with respect to the recommendation information.
  • crew can cancel automatic vehicle operation if it carries out different manual operation with respect to the automatic vehicle operation.
  • the vehicle operation support device 1 obtains the recommended information suitable for the occupant configuration including the human relationship, and provides the assistance of various vehicle operations performed by the occupant, but before getting on the vehicle
  • the human relationship is analyzed or estimated and obtained in advance, and when the user gets on the vehicle, recommended information is obtained in a short time using the human relationship, and provided to support the vehicle operation.
  • the vehicle operation support device 1 of the present embodiment includes a human relationship analysis unit 1A, a human relationship storage unit 1B, a support information determination unit 1C, and a vehicle information learning unit 1D. And an operation tendency storage unit 1E.
  • the human relationship analysis unit 1A includes the voice acquisition unit 11, the conversation group estimation unit 12, the direct human relationship analysis unit 13, and the indirect human relationship estimation unit 14, and the human relationship storage unit 1B includes the human relationship database 15.
  • the support information determination unit 1C includes the support information determination unit 16, the vehicle information learning unit 1D includes the vehicle information learning unit 17, and the operation tendency storage unit 1E includes the operation tendency database 18.
  • the vehicle operation support device 1 of the present invention omits the vehicle information learning unit 1D and the operation tendency storage unit 1E as needed, and the human relationship analysis unit 1A, the human relationship storage unit 1B and the support information determination unit 1C. It may consist of
  • the vehicle operation support device 1 of the present embodiment is configured by a computer provided with hardware and software, a ROM (Read Only Memory) storing a program, and a CPU (Central Processing) that executes the program stored in the ROM. Unit) and a random access memory (RAM) functioning as an accessible storage device.
  • a micro processing unit MPU
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the human relationship analysis unit 1A, the human relationship storage unit 1B, the support information determination unit 1C, the vehicle information learning unit 1D, and the operation tendency storage unit 1E are described later by software established in the ROM. To achieve each function.
  • terminal TD1 As a premise of the vehicle operation support device 1 according to the present embodiment, a plurality of persons who can serve as occupants have terminal devices TD1, TD2, TD3... Each owns.
  • This type of terminal TD includes a smartphone, a mobile phone, a removable in-vehicle device, a remote control key of a vehicle (intelligent key (registered trademark), etc.), a voice recognition user interface (Amazon Echo Dot (registered trademark), etc.) It can be used.
  • the terminal TD of the present embodiment has a computer function, and transmits a microphone for inputting conversational voice data and the inputted conversational voice data to the human relationship analysis unit 1A of the vehicle operation support device 1 of the present embodiment.
  • each terminal TD transmits its own ID, the current position, and the collected conversational speech data to the speech acquisition unit 11 of the human relationship analysis unit 1A via a wireless communication network such as the Internet.
  • a wireless communication network such as the Internet.
  • the human relationship analysis unit 1A includes a voice acquisition unit 11, a conversation group estimation unit 12, a direct human relationship analysis unit 13, and an indirect human relationship estimation unit 14.
  • the voice acquisition unit 11 executes transmission and reception of information with the plurality of terminals TD described above via a wireless communication network such as the Internet, and in particular, conversation voice data collected from the ID and current position of each terminal TD. And (step S21 of FIG. 2A).
  • the conversation group estimation unit 12 receives the conversation voice data input to a specific terminal TD based on the ID, the current position, and the collected conversation voice data of each terminal TD input to the voice acquisition unit 11. With respect to who and who are talking, we estimate the group of people who are talking. At this time, the voiceprint data of the owner of each terminal TD registered in advance (or a specific person may be the same, the same applies hereinafter) is collated to identify which speech data is who's voice.
  • FIG. 2B is a planar map (latitude-longitude) for explaining the combination extraction process according to the utterance position in step S22 of FIG. 2A. As shown in FIG.
  • the voice relation data of the owner of each terminal TD is used as an ID in the human relationship database 15 of the vehicle operation support device 1
  • the voice communication data collected in the terminal TD1 is collated with voiceprint data to identify the ID of the voice of the owner of the terminal TD.
  • conversation voice data of a person having nothing to do with conversation is input to the conversation voice data collected by the terminal TD.
  • the conversation group estimation unit 12 executes combination extraction processing based on position information of the terminal TD and combination extraction processing based on the speech period, so that the conversation speech data actually input to the terminal TD is actually received. Estimate the people in the group you are talking to.
  • the combination extraction process based on the position information of the terminal TD is performed by the terminal TD at the same time based on the ID, the current position, and the collected conversation voice data of each terminal TD input to the voice acquisition unit 11
  • a temporary conversation group is estimated based on the position information of the terminal TD by extracting a combination in which the collected position information approaches a threshold or more with respect to a plurality of pieces of speech sound data collected in the (Step S22 of FIG. 2A).
  • the terminal TD1 picking up the speech data is at the position P, and is located within a radius r from the position P (the three terminals TD2, TD3,. Since TD4 is likely to be a talk group because the distance is short, these are estimated as a tentative talk group. On the other hand, since the terminal TD (terminal indicated by four triangles in the figure) located at a position beyond the radius r from the position P of the terminal TD1 which has picked up the conversation voice data, the distance is far Because it is unlikely to be a conversation group, remove it from the tentative conversation group.
  • the combination extraction process according to the speech period is a period during which one or more conversational speech data estimated to belong to the same group extracted by the combination extraction process according to the position information (step S22 in FIG. 2A) Conversation speech data whose overlap rate or overlap time from the speech start to the speech end is less than a predetermined threshold value is extracted, and it is estimated that these are speech groups actually talking (FIG. 2A) Step S23).
  • FIG. 2C is a time chart for explaining the combination extraction process by the utterance period in step S23 of FIG. 2A.
  • the human speech period of the terminal TD2 when the speech period of the conversational voice data of the four terminals TD1, TD2, TD3, TD4 is indicated by a solid line, the human speech period of the terminal TD2 with respect to the human speech period of the terminal TD1.
  • the human utterance periods of the terminals TD3 and TD4 have a large overlapping ratio with respect to the human utterance period of the terminal TD1.
  • the overlapping period of human utterance periods of the terminal devices TD3 and TD4 is large.
  • the conversation group estimation unit 12 specifies the conversational speech data of the same conversation group estimated in this way, and outputs it to the direct human relationship analysis unit 13 together with the IDs of the terminals TD1 and TD2.
  • the direct human relationship analysis unit 13 analyzes the acquired conversational speech data for each identified speaker, extracts a predetermined keyword, and specifies the wording for each speaker based on the keyword for each speaker. Identify the conversation content based on the conversation voice data of multiple people, analyze the direct human relationship between multiple people from the identified wording and the identified conversation content, and quantify and obtain the function I will manage. This analysis is performed based on the speech data belonging to the same speech group estimated by the speech group estimation unit 12 described above (step S31 in FIG. 3A).
  • the direct human relationship analysis unit 13 of this embodiment performs keyword extraction processing (step S32 in FIG. 3A), analysis processing of categories of conversation content (step S33 in FIG. 3A), and analysis processing of words (step S34 in FIG. 3A). And the combining process (step S35 of FIG. 3A).
  • the keyword extraction process is a process of extracting a plurality of pre-registered keywords (predetermined words) from speech voice data belonging to the same speech group by a known speech detection process, and the analysis process of the category of speech contents is
  • the keywords extracted by the keyword extraction process are classified into categories to which the keywords belong.
  • the extraction process of these keywords and the analysis process of the category of the conversation content are performed by referring to the category dictionary stored in the human relationship database 15.
  • FIG. 3B is a view showing a part of the category dictionary used for the analysis processing of the category of the utterance content in step S33 of FIG. 3A.
  • one conversation content category is associated with a plurality of keywords, for example, if the speech sound data includes "Marathon", the conversation classified as "sports” is a line It has been shown that In the process of analyzing the category of conversation content, the occurrence frequency of the category of conversation content associated with the extracted keyword is calculated as shown in FIG. 3C.
  • FIG. 3C is a graph showing an example of an analysis result obtained by the analysis processing of the category of the utterance content in step S33 of FIG. 3A.
  • the category of conversation content having a high occurrence frequency shown in the figure is specified, and is used in the combination process of step S35 in FIG. 3A.
  • the wording analysis process is a process of classifying a keyword extracted by the keyword extraction process into the wording to which the keyword belongs. This process is performed by referring to the wording dictionary stored in the human relationship database 15.
  • FIG. 3D is a diagram showing a part of the wording dictionary used in the wording analysis process of step S34 of FIG. 3A.
  • the keyword extracted in the analysis process of wording is extracted in step S32 of FIG. 3A, a keyword different from the keyword used in the analysis process of the category of the conversation content in step S33 is used.
  • one wording category is associated with a plurality of keywords, and for example, when speech voice data includes " ⁇ ", it is classified as "veritage or polite language". It is indicated that a conversation is taking place.
  • wording is the usage of words and the way of saying, and as shown in FIG. 3D, it is possible to exemplify, for example, honorific or polite language, youth language, dialect, ordinary language, abbreviation, etc. it can.
  • FIG. 3E is a graph showing an example of an analysis result obtained by the analysis of wording in step S34 of FIG. 3A.
  • the categories of the wording having a high occurrence frequency shown in the figure are respectively identified, and are used in the combination processing of step S35 of FIG. 3A.
  • the combination process quantifies the human relationship between target humans by combining numerical value of the occurrence frequency calculated by analysis processing of the category of conversation content and the analysis processing of wording, and this is a direct human It stores in the human relationship database 15 as a relationship.
  • "human relationship” means, as described above, the relationship between a specific person and a specific person, which is determined by experiences in current or past social life, and is not particularly limited, but the understanding of the present invention is not limited.
  • the family such as a parent, a child, a husband, a wife, relatives, such as a cousin, a cousin, these family, relatives, other relationships, superiors, subordinates, colleagues in an organization such as a company or a school. It can be classified into relationships of status within the organization such as classmates, seniors and juniors, friends of hobbies and entertainment, boyfriends, girlfriends, lovers and other friends, and others.
  • Such direct human relationship quantification is performed by combining the numerical value of the occurrence frequency calculated by the analysis processing of the category of the conversation content and the analysis processing of the wording.
  • the analysis result of the category of the conversation content is high in the frequency of occurrence of the conversation content classified as “work”, and the analysis result of the wording is one as shown in the left and right of FIG. Since the frequency of occurrence where human wording is "normal” is high and the frequency of occurrence where the other human wording is "honorific word” is high, the probability of the relationship between superiors and subordinates in a company organization is 70%, etc.
  • quantification is performed using probability values and the like.
  • the quantified direct human relationships are accumulated in the human relationship database 15.
  • the indirect human relationship estimation unit 14 estimates an indirect human relationship between unanalyzed humans among the humans stored in the human relationship database 15 based on the quantified direct human relationship. Quantify.
  • the above-mentioned direct human relationship is called “direct” human relationship because it is analyzed and quantified based on the actually performed speech data, while the indirect human relationship estimator What is estimated at 14 is estimation of the quantification of human relationships between people who have never actually talked, based on the quantified direct relationship data. In that sense, it is called "indirect" human relationship.
  • the indirect human relationship estimation unit 14 performs direct human relationship reading processing (step S41 in FIG. 4A), direct human relationship statistical processing (step S42 in FIG. 4A), and unanalyzed human combination extraction processing (step S42 in FIG. 4A).
  • Step S43) of FIG. 4A and calculation processing of the indirect human relationship estimated value (step S44 of FIG. 4A) are executed, and the obtained indirect human relationship estimated value is stored in the human relationship database 15. (Step S45 of FIG. 4A).
  • the direct human relationship statistical processing is quantified by the direct human relationship analysis unit 13 and calculated by considering the interrelation of the values stored in the human relationship database 15. Specifically, the human relationship database 15 extracts a combination of three persons whose direct human relationship values are known, and two values of three human relationship values among the extracted three people are extracted. Record the one remaining value you assumed. By statistically processing this process with respect to a large number of combinations stored in the human relationship database 15, the probability value P (V3
  • FIG. 4B is a diagram showing the human relationship for explaining the statistical processing of the analysis value of the direct human relationship in step S42 of FIG. 4A
  • FIG. 4C is an analysis value of the direct human relationship in step S42 of FIG. 4A. It is a graph which shows an example of the result obtained by statistical processing of.
  • the value V1 of the direct human relationship between two humans A and B the value V2 of the direct human relationship between two humans B and C
  • This probability is a value V3 of the direct human relationship between human C and human A, a value V1 of direct human relationship between human A and human B, and a direct human relationship between human B and human C If the value V2 of is known, it means that it can be calculated by statistical establishment as shown in FIG. 4C.
  • FIG. 4D is a diagram showing a human relationship for explaining the calculation process of the indirect human relationship estimated value in step S44 of FIG. 4A.
  • one or more persons whose direct human relationships have been quantified for each of the extracted two persons Z and X are extracted as presumed relayers.
  • human Y is extracted.
  • the human Y has a known value V1 of the direct human relationship with the human X, and the value V2 of the direct human relationship with the human Z is also known.
  • the values V1 and V2 of the direct human relationship between two humans Z and X extracted by the unanalyzed human combination extraction processing and the presumed relay person are human Reference is made from the relational database 15. Then, the value Vn of human-human relationship between humans when assuming the values V1 and V2 of the two human relationships referred to is the value that maximizes the probability value V3 obtained by the statistical processing in step S42 of FIG. 4A. Is calculated as an indirect human relationship. In addition, when a plurality of estimated relayers are extracted, it may be determined by the product of the probability value V3 or the majority of the probability value V3 indicating the maximum probability value. The value Vn calculated as the indirect human relationship estimation value is accumulated in the human relationship database 15.
  • the human relationship storage unit 1B includes the human relationship database 15, and as described above, the human relationship database 15 includes voiceprint data associated with the ID of the owner of each terminal TD, the category dictionary shown in FIG. 3B, A wording dictionary shown in 3D, a human relationship quantification map used in direct human relationship quantification processing by direct human relationship analysis unit 13, direct human relationship quantified by direct human relationship analysis unit 13 The probability value P (V3
  • the vehicle information learning unit 1D includes a vehicle information learning unit 17.
  • an occupant information acquisition process step S51 in FIG. 5
  • a human relationship reference process step S52 in FIG. 5
  • vehicle information Acquisition processing step S53 in FIG. 5
  • combining processing step S54 in FIG. 5
  • the operation tendency information based on the obtained human relationship is stored in the operation tendency database 18 (step S55 in FIG. 5) .
  • the passenger information acquisition process is a process for acquiring who is on the vehicle. For example, an occupant can be identified by connecting the terminal TD to any device mounted on the vehicle, or an occupant can be identified by detecting that the position information of the terminal TD and the position information of the vehicle are close to each other. The occupant can be identified by face recognition with an image acquired from a camera mounted on the vehicle.
  • the human relationship reference process is a process of obtaining the value of the human relationship between the occupants with reference to the human relationship database 15 with respect to the occupant acquired by the occupant information acquisition process.
  • Acquisition processing of vehicle information is the acquisition of control information of the vehicle, vehicle state and other vehicle information.
  • vehicle information such as the destination set by the navigation device, the operation of the audio device, the operation of the car air conditioner, the current position of the vehicle, the movement locus of the vehicle, the current date and time, and the elapsed time after getting on is acquired.
  • the combining process is a process of combining the vehicle information acquired by the acquisition process of the vehicle information and the reference process of the human relationship, and storing the combined information in the operation tendency database 18 as operation information on the human relationship.
  • the human A and the human B direct human relationship or indirect human relationship is V1
  • the destination set by the navigation device is a specific fishing spot
  • the human The relationship V1 and the destination are stored in the operation tendency database 18 together with the frequency of occurrence.
  • humans A, B, C, etc. may be stored.
  • the operation tendency storage unit 1E includes the operation tendency database 18, associates the human relationship obtained by the vehicle information learning unit 17 with the operation information, and stores them.
  • the support information determination unit 1C includes a support information determination unit 16, identifies a plurality of occupants who got on the vehicle, and determines a plurality of occupants based on the direct human relationship and the indirect human relationship stored in the human relationship database 15.
  • the vehicle operation support information determined to be recommended in accordance with the human relationship between the crew members of the vehicle is determined.
  • an occupant information acquisition process step S61 in FIG. 6
  • a human relationship reference process step S62 in FIG. 6
  • a vehicle information acquisition process step S63 in FIG. 6
  • the reference process (step S64 in FIG. 6) and the determination / output process of the support information step S65 in FIG. 6) are performed.
  • the occupant information acquisition process is a process similar to the occupant information acquisition process (step S51 of FIG. 5) of the vehicle information learning unit 17, that is, a process of acquiring who is in the vehicle.
  • an occupant can be identified by connecting the terminal TD to any device mounted on the vehicle, or an occupant can be identified by detecting that the position information of the terminal TD and the position information of the vehicle are close to each other.
  • the occupant can be identified by face recognition with an image acquired from a camera mounted on the vehicle.
  • the human relationship reference process is the same process as the human relationship reference process (step S52 in FIG. 5) of the vehicle information learning unit 17, that is, the human relationship database 15 is referred to the occupant acquired by the occupant information acquisition process. And the value of the human relationship between the crew members.
  • the acquisition process of the vehicle information is the same process as the acquisition process (step S53 of FIG. 5) of the vehicle information of the vehicle information learning unit 17, that is, the control information of the vehicle, the condition of the vehicle and other vehicle information
  • the vehicle information of the vehicle information learning unit 17 that is, the control information of the vehicle, the condition of the vehicle and other vehicle information
  • traveling operation of the vehicle performed by the passenger acceleration operation, brake operation, transmission lever operation, steering wheel operation, etc.
  • destination set by navigation device operation of audio device, operation of car air conditioner, current position of vehicle
  • vehicle Obtain vehicle information such as the movement trajectory of the vehicle, the current date and time, and the elapsed time after getting on the vehicle.
  • the determination and output process of the support information determines the support information of the vehicle operation determined to be recommended according to the human relationship between a plurality of occupants.
  • the "recommended information suitable for the occupant configuration” means, as described above, an instruction to the vehicle or the on-vehicle apparatus for realizing a highly probable or preferable operation which can be considered from the human relationship of the occupant in the operation of the vehicle performed by the occupant. It is information. For example, as recommended information when the crew members A and B who constitute the crew are in a human relationship of a fishing friend, instruction information on the setting operation of the destination of the in-vehicle navigation device or the tuning of the audio device The instruction information about the operation can be illustrated.
  • the human relationship between a specific human and a specific human is analyzed using terminals TD1, TD2 and TD3 possessed by a plurality of persons who can be crew members, and the human relationship analysis unit 1A. It quantifies and accumulates in the human relationship database 15.
  • the voice acquisition unit 11 performs transmission and reception of information with a plurality of terminals TD via a wireless communication network such as the Internet, and in particular, the ID of each terminal TD And the current position and the collected speech data (step S21 in FIG. 2A).
  • the conversation group estimation unit 12 determines a specific terminal TD based on the ID, the current position, and the collected conversation voice data of each terminal TD input to the voice acquisition unit 11. With regard to the speech data input to the user, it is estimated who is talking with whom, and a group (group) of people talking. At this time, the conversation group estimation unit 12 is collected at the same time by the terminal TD based on the ID, the current position, and the collected conversational voice data of each terminal TD input to the speech acquisition unit 11. A temporary conversation group is estimated based on the position information of the terminal TD by extracting a combination in which collected position information approaches a threshold or more with respect to a plurality of pieces of speech sound data.
  • step S23 of FIG. 2A the conversation group estimation unit 12 utters one or more pieces of conversational speech data estimated to belong to the same group extracted by the combination extraction process based on the position information in step S22. Conversational speech data whose overlap rate or overlap time during the period is equal to or less than a predetermined threshold value is extracted, and it is estimated that these are speech groups in which conversation is actually conducted. Then, in step S24, the conversation group estimation unit 12 specifies the conversation speech data of the same conversation group estimated in this way, and outputs it to the direct human relationship analysis unit 13 together with the IDs of the terminals TD1 and TD2.
  • the direct human relationship analysis unit 13 analyzes the acquired conversational speech data of the same group for each identified utterer, and extracts a predetermined keyword.
  • the wording for each speaker is specified based on the keyword for each speaker, the conversation contents are specified based on the speech sound data of a plurality of persons, and the specified wording and the specified conversation contents are plural. Analyze and quantify the direct human relationships between human beings. This quantified direct human relationship is stored in the human relationship database 15 in step S36.
  • the indirect human relationship estimation unit 14 executes the direct human relationship reading process in step S41 of FIG. 4A, and performs the direct human relationship statistical process in step S42, and the process proceeds to step S43.
  • a combination extraction process of unanalyzed human beings is executed, and a calculation process of an indirect human relationship estimated value is executed at step S44, and the indirect human relationship estimated value obtained at step S45 is a human relationship It accumulates in the database 15.
  • the vehicle information learning unit 1D accumulates the information of what kind of operation of the vehicle is actually performed by the occupant configuration including the human relationship, and serves to determine the support information of the vehicle operation. That is, as shown in FIG. 5, the vehicle information learning unit 17 executes an occupant information acquisition process in step S51, and executes a human relationship reference process accumulated in the human relationship database 15 in step S52. In step S53, acquisition processing of vehicle information is executed, and in step S54, coupling processing is executed, and in step S55, the operation tendency information based on the obtained human relationship is stored in the operation tendency database 18.
  • the support information determination unit 1C identifies the plurality of occupants who got on the vehicle, and based on the direct human relationship and the indirect human relationship stored in the human relationship database 15, the human relationship between the plurality of crew members. Determine the support information of the vehicle operation determined to be recommended according to.
  • the support information determination unit 16 executes occupant information acquisition processing in step S61 of FIG. 6, performs human-related reference processing in step S62, and acquires vehicle information in step S63. Is executed, reference processing of operation tendency information is executed in step S64, and determination / output processing of support information is executed in step S65.
  • the direct human relationships of a plurality of persons who can serve as occupants are accumulated in advance, and when a plurality of persons get on the vehicle, Support for vehicle operation determined to be recommended according to the human relationship between multiple crew members based on the direct human relationship and the indirect human relationship stored in the human relationship database 15 Since the information is determined, it is possible to provide support information for appropriate vehicle operation in a short time after boarding.
  • the vehicle operation support device 1 of the present embodiment since the human relationship between people who are not actually talking is quantified and estimated from the human relationship between people who actually talk, it is possible to combine the crew It is possible to avoid an error such as loss of support information for vehicle operation. Further, in the case of this indirect human relationship estimation, the data of the direct human relationship between the persons who actually talked with each other can be statistically processed to obtain the accuracy thereof.
  • the vehicle operation actually performed is stored in association with the human relationship at that time, and this is reflected in the support information of the vehicle operation.
  • the support information of the vehicle operation determined to be recommended according to can be brought closer to a more realistic operation.
  • a speaker of a conversation voice data group whose utterance position is equal to or less than a predetermined distance among a plurality of conversation voice data is extracted to extract the same conversation group.
  • a speaker of a conversation voice data group whose utterance period does not overlap for a predetermined time or more among a plurality of conversation voice data to extract the same conversation group As a result, it is possible to improve the accuracy of the identification of the conversation group and the analysis of the human relationship.
  • the vehicle operation support device 1 of the present embodiment since the terminal capable of collecting sound other than when a human gets on the vehicle is used to detect conversational voice data of a plurality of persons who can be passengers. It is possible to pick up speech data of a plurality of people on a daily basis.
  • the human relationship analysis unit 1A includes the indirect human relationship estimation unit 14, this may be omitted as necessary.
  • the above-described vehicle operation support device 1 is configured to include the vehicle information learning unit 1D and the operation tendency storage unit 1E, and also supports the vehicle operation using the operation tendency information in steps S64 to S65 of FIG. Although the information is determined, the vehicle information learning unit 1D and the operation tendency storage unit 1E may be omitted as needed, and the vehicle operation support information may be determined only by the human relationship stored in the human relationship database 15.
  • the voice acquisition unit 11, the conversation group estimation unit 12, the direct human relationship analysis unit 13, and the indirect human relationship estimation unit 14 correspond to a human relationship analysis unit according to the present invention
  • the human relationship database 15 is
  • the support information determination unit 16 corresponds to a support information determination unit according to the present invention
  • the vehicle information learning unit 17 corresponds to a vehicle information learning unit according to the present invention
  • the operation tendency database 18 corresponds to an operation tendency storage unit according to the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

人間関係解析ユニット（１Ａ）と、人間関係記憶ユニット（１Ｂ）と、支援情報決定ユニット（１Ｃ）と、を備え、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う車両操作の支援に供する車両用操作支援装置（１）において、前記人間関係解析ユニットは、前記乗員となり得る複数の人間の会話音声データを取得して発話者を特定し、取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎の前記キーワードに基づいて当該発話者毎の言葉遣いを特定し、前記複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、前記複数の人間同士の直接的な人間関係を解析して定量化し、前記人間関係記憶ユニットは、前記乗員となり得る複数の人間の前記直接的な人間関係を予め蓄積し、前記支援情報決定ユニットは、車両に搭乗した複数の乗員を特定し、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。

Description

車両用操作支援装置
　本発明は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供する車両用操作支援装置に関するものである。
　車内の音声を収集するとともに乗員の座席位置を特定し、収集した音声と特定した着座位置に基づいて、車内に存在する乗員のうち発話者を推定するとともに、収集した音声に基づいて会話の内容を推定し、特定した着座位置、推定した発話者および推定した会話内容に基づいて、乗員の構成を推定し、推定した会話内容および推定した乗員構成に基づいて乗員の行動目的を推定し、推定した乗員構成および推定した行動目的に基づいて、推奨するレコメンドサービスを決定する車載装置が知られている（特許文献１）。具体的には、収集した音声の声紋パターンから個人を識別し、さらに識別できた個人ごとに着座位置と乗車頻度から所有者を特定し、収集した音声から会話キーワードを用いて識別できた個人との関係を特定して発話者パターンデータとして登録しておき、登録した発話者パターンデータを用いて乗員構成を推定する。
特開２０１２－１３３５３０号公報
　しかしながら、上記従来技術では、精度の高い発話者パターンデータを作成するには、それ相当の回数のデータを収集する必要があり、乗員に対して最適なレコメンドサービス（以下、推奨情報ともいう。）を提供するまで相当の時間がかかるという問題がある。
　本発明が解決しようとする課題は、人間関係を含む乗員構成に適した推奨情報を短時間で求め、乗員が行う各種車両操作の支援に供する車両用操作支援装置を提供することである。
　本発明は、予め、複数の人間の会話音声データを取得して発話者を特定し、取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎のキーワードに基づいて当該発話者毎の言葉遣いを特定し、複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、複数の人間同士の直接的な人間関係を定量化して求めておく。そして、複数の人間が乗車したら、その人間と定量化された人間関係とから、推奨されるべく定められた車両操作の支援情報を決定することによって上記課題を解決する。
　本発明によれば、乗車前に求めておいた人間関係に関する情報を用いているので、人間関係を含む乗員構成に適した推奨情報を短時間で求めることができ、乗員が行う各種車両操作の支援にタイムリーに供することができる。
本発明に係る車両用操作支援装置の一実施の形態を示すブロック図である。 図１の会話グループ推定部にて実行される処理手順を示すフローチャートである。 図２ＡのステップＳ２２の発話位置による組み合わせ抽出処理を説明するための平面地図である。 図２ＡのステップＳ２３の発話期間による組み合わせ抽出処理を説明するためのタイムチャートである。 図１の直接的人間関係解析部にて実行される処理手順を示すフローチャートである。 図３ＡのステップＳ３３の発話内容のカテゴリの解析処理に用いられるカテゴリ辞書の一部を示す図である。 図３ＡのステップＳ３３の発話内容のカテゴリの解析処理により得られる解析結果の一例を示すグラフである。 図３ＡのステップＳ３４の言葉遣いの解析処理に用いられる言葉遣い辞書の一部を示す図である。 図３ＡのステップＳ３４の言葉遣いの解析処理により得られる解析結果の一例を示すグラフである。 図１の間接的人間関係推定部にて実行される処理手順を示すフローチャートである。 図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理を説明するための人間関係を示す図である。 図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理により得られる結果の一例を示すグラフである。 図４ＡのステップＳ４４の間接的な人間関係の推定値の算出処理を説明するための人間関係を示す図である。 図１の車両情報学習部にて実行される処理手順を示すフローチャートである。 図１の支援情報決定部にて実行される処理手順を示すフローチャートである。
　以下、本発明の一実施の形態を図面に基づいて説明する。本実施形態の車両用操作支援装置１は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供するものである。特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、車両ＶＨ１の乗員を構成する乗員Ａと乗員Ｂであり、両者が、魚釣り友達という人間関係にある場合、車載ナビゲーション装置に対して、魚釣り場所に適した目的地を選択肢として表示したり自動で目的地に設定したり、または車載オーディオ装置に対して、魚釣番組のラジオを選択肢として表示したり自動で流したりするものである。また、車両ＶＨ２の乗員を構成する乗員Ｃと乗員Ｄであり、両者が、同じ会社の上司と部下という人間関係にある場合、車載ナビゲーション装置に対して、出張地や昼食用レストランなどの目的地を選択肢として表示したり自動で目的地に設定したり、または車載オーディオ装置に対して、経済番組のラジオを選択肢として表示したり自動で流したりするものである。
　「人間関係」とは、現在または過去の社会生活における経験により定まる、特定の人間と特定の人間との関係を意味し、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、親・子・夫・妻などの家族、従兄弟・従姉妹などの親戚、これら家族や親戚その他の続柄、会社や学校などの組織における上司・部下・同僚・同級生・先輩・後輩といった組織内の地位の関係、趣味や娯楽の仲間、ボーイフレンド・ガールフレンド・恋人その他の友人、及び他人などに分類することができる。本実施形態において、車両の乗員構成というのは、こうした人間関係を含むことを意味する。
　「車両操作」とは、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置の操作、オーディオ装置の操作、カーエアコンの操作、座席ポジションの調節操作など、ドライバを含む乗員が行う車両の各種操作が含まれる。
　「乗員構成に適した推奨情報」とは、上述した乗員が行う車両の操作上、乗員の人間関係から考えられる、可能性の高い又は好ましい操作を実現するための車両又は車載装置に対する指示情報である。特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、上述した例でいえば、乗員を構成する乗員Ａと乗員Ｂが、魚釣り友達という人間関係にある場合の推奨情報としては、車載ナビゲーション装置の目的地の設定操作についての指示情報や、オーディオ装置の選局操作についての指示情報などを例示することができる。
　車両操作の「支援」には、乗員が手動操作する際にその選択肢を乗員に提示するほか、乗員が手動操作することなく車両用操作支援装置１が自動的に操作することも含まれる。車両用操作支援装置１が推奨情報に基づいて自動的に車両操作した場合に、その推奨情報に対して乗員が好感度をもったときは、乗員が行うべき車両操作を少なくすることができる。なお、ネガティブな好感度をもったときは、当該乗員は、その自動的な車両操作に対して異なる手動操作をすれば自動的な車両操作は解除できる。
　このように、本実施形態の車両用操作支援装置１は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供するものであるが、乗車する前に人間関係を解析又は推定して予め求めておき、乗車したら当該人間関係を用いて推奨情報を短時間で求め、車両操作の支援に供することを特徴とする。
　このため、図１に示すように、本実施形態の車両用操作支援装置１は、人間関係解析ユニット１Ａと、人間関係記憶ユニット１Ｂと、支援情報決定ユニット１Ｃと、車両情報学習ユニット１Ｄと、操作傾向記憶ユニット１Ｅと、を備える。そして、人間関係解析ユニット１Ａは、音声取得部１１、会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４を含み、人間関係記憶ユニット１Ｂは、人間関係データベース15を含み、支援情報決定ユニット１Ｃは、支援情報決定部１６を含み、車両情報学習ユニット１Ｄは、車両情報学習部１７を含み、操作傾向記憶ユニット１Ｅは、操作傾向データベース１８を含む。なお、本発明の車両用操作支援装置１は、必要に応じて、車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを省略し、人間関係解析ユニット１Ａ、人間関係記憶ユニット１Ｂ及び支援情報決定ユニット１Ｃで構成してもよい。
　本実施形態の車両用操作支援装置１は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。そして、上述した人間関係解析ユニット１Ａと、人間関係記憶ユニット１Ｂと、支援情報決定ユニット１Ｃと、車両情報学習ユニット１Ｄと、操作傾向記憶ユニット１Ｅと、は、ＲＯＭに確立されたソフトウェアによって、後述する各機能を実現する。
　まず、本実施形態の車両用操作支援装置１の前提として、乗員となり得る複数の人間は、日常的に携帯又は使用する端末機ＴＤ１，ＴＤ２，ＴＤ３…（以下、総称してＴＤともいう）をそれぞれ所有する。この種の端末機ＴＤとしては、スマートフォン、携帯電話機、着脱可能な車載機器、車両のリモートコントロールキー（インテリジェントキー（登録商標）など）、音声認識ユーザインターフェース（Amazon Echo Dot（登録商標）など）を用いることができる。本実施形態の端末機ＴＤは、コンピュータ機能を備え、会話音声データを入力するためのマイクと、入力した会話音声データを本実施形態の車両用操作支援装置１の人間関係解析ユニット１Ａに送信するための通信機能と、端末機ＴＤの現在位置を検出するＧＰＳ受信機などの位置検出機能と、を備える。そして、各端末機ＴＤは、自己のＩＤと、現在位置と、収音した会話音声データとを、インターネットなどの無線通信回線網を介して人間関係解析ユニット１Ａの音声取得部１１に送信する。
　人間関係解析ユニット１Ａは、図１に示すように、音声取得部１１、会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４を含む。
　音声取得部１１は、インターネットなどの無線通信回線網を介して、上述した複数の端末機ＴＤと情報の送受信を実行し、特に各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとを入力する（図２ＡのステップＳ２１）。
　会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、ある特定の端末機ＴＤに入力された会話音声データに関し、誰と誰とが会話しているのか、会話している人間のグループ（集団）を推定する。この際に、予め登録されている各端末機ＴＤの所有者（又は特定の人間でもよい。以下同じ。）の声紋データと照合し、どの会話音声データが誰の音声かも特定する。たとえば、図２Ｂは、図２ＡのステップＳ２２の発話位置による組み合わせ抽出処理を説明するための平面地図（緯度－経度）である。図２Ｂに示すように、発話音声データを端末機ＴＤ１にて収音されたとした場合に、車両用操作支援装置１の人間関係データベース１５に、各端末機ＴＤの所有者の声紋データをＩＤに関連付けて登録しておき、端末機ＴＤ１にて収音された会話音声データを声紋データと照合し、どのＩＤの端末機ＴＤの所有者の音声かを特定する。
　端末機ＴＤにて収音される会話音声データには、実際に会話している複数の人間の会話音声データ以外にも、会話とは関係のない人間の会話音声データが入力される。このため、会話グループ推定部１２は、端末機ＴＤの位置情報による組み合わせ抽出処理と、発話期間による組み合わせ抽出処理を実行することで、その端末機ＴＤに入力された会話音声データの中で実際に会話しているグループの人間を推定する。すなわち、端末機ＴＤの位置情報による組み合わせ抽出処理は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、端末機ＴＤによって同時刻に集音された複数の会話音声データに対し、集音された位置情報が閾値以上に接近している組み合わせを抽出することで、端末機ＴＤの位置情報に基づく仮の会話グループの推定を実行する（図２ＡのステップＳ２２）。
　たとえば、図２Ｂに示すように、会話音声データを収音した端末機ＴＤ１が位置Ｐにあり、この位置Ｐから半径ｒ以内に存在する端末機ＴＤ（同図では３つの端末機ＴＤ２，ＴＤ３，ＴＤ４）は、距離が近いことから会話グループである可能性が高いので、これらを仮の会話グループとして推定する。これに対して、会話音声データを収音した端末機ＴＤ１の位置Ｐから半径ｒを超える位置に存在する端末機ＴＤ（同図では４つの三角印で示す端末機）は、距離が遠いことから、会話グループである可能性が低いので、仮の会話グループから除外する。
　発話期間による組み合わせ抽出処理は、上述した位置情報による組み合わせ抽出処理（図２ＡのステップＳ２２）によって抽出された同一グループに属すると推定された1つ以上の会話音声データに対し、発話された期間（発話開始から発話終了まで時間間隔）の重複率又は重複時間が、所定の閾値以下である会話音声データ同士を抽出し、これらが実際に会話を行っている会話グループであると推定する（図２ＡのステップＳ２３）。
　たとえば、図２Ｃは、図２ＡのステップＳ２３の発話期間による組み合わせ抽出処理を説明するためのタイムチャートである。図２Ｃに示すように、４つの端末機ＴＤ１，ＴＤ２，ＴＤ３，ＴＤ４の会話音声データの発話期間を実線で示すと、端末機ＴＤ１の人間の発話期間に対し、端末機ＴＤ２の人間の発話期間は殆んど重複していないが、端末機ＴＤ１の人間の発話期間に対し、端末機ＴＤ３及びＴＤ４の人間の発話期間は、重複している割合が大きい。また、端末機ＴＤ２の人間の発話期間に対しても、端末機ＴＤ３及びＴＤ４の人間の発話期間は、重複している割合が大きい。このように、人間同士が会話している場合、発話期間が重複している割合が大きいということは、会話が成立していないと推定するのが合理的であるため、端末機ＴＤ３及びＴＤ４の人間は、端末機ＴＤ１及びＴＤ２の人間と同一の会話グループを構成していないと推定する一方、端末機ＴＤ１及びＴＤ２の人間の発話期間は殆んど重複していないため（所定の閾値以下）、これらが同一の会話グループであると推定する。会話グループ推定部１２は、このように推定した同一の会話グループの会話音声データを特定し、端末機ＴＤ１，ＴＤ２のＩＤとともに直接的人間関係解析部１３へ出力する。
　直接的人間関係解析部１３は、取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎のキーワードに基づいて当該発話者毎の言葉遣いを特定し、複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、複数の人間同士の直接的な人間関係を解析し、定量化して求める機能を司る。この解析は、上述した会話グループ推定部１２により推定された同一の会話グループに属する会話音声データに基づいて実行される（図３ＡのステップＳ３１）。本実施形態の直接的人間関係解析部１３は、キーワード抽出処理（図３ＡのステップＳ３２）、会話内容のカテゴリの解析処理（図３ＡのステップＳ３３）、言葉遣いの解析処理（図３ＡのステップＳ３４）及び結合処理（図３ＡのステップＳ３５）によって実行される。
　キーワード抽出処理は、同一の会話グループに属する会話音声データから、予め登録された複数のキーワード（所定の単語）を公知の音声検出処理によって抽出する処理であり、会話内容のカテゴリの解析処理は、キーワード抽出処理によって抽出されたキーワードに対して、キーワードが属するカテゴリに分類する処理である。これらキーワードの抽出処理と会話内容のカテゴリの解析処理は、人間関係データベース１５に記憶されたカテゴリ辞書を参照することで行われる。図３Ｂは、図３ＡのステップＳ３３の発話内容のカテゴリの解析処理に用いられるカテゴリ辞書の一部を示す図である。同図に示すように、複数のキーワードに対して一つの会話内容のカテゴリが関連付けられて、たとえば会話音声データに「マラソン」が含まれている場合には「スポーツ」に分類される会話が行われていることが示されている。会話内容のカテゴリの解析処理においては、抽出されたキーワードに対して関連付けられた会話内容のカテゴリの発生頻度を図３Ｃに示すように算出する。図３Ｃは、図３ＡのステップＳ３３の発話内容のカテゴリの解析処理により得られる解析結果の一例を示すグラフである。会話内容のカテゴリの解析処理においては、同図に示す発生頻度が大きい会話内容のカテゴリを特定し、図３ＡのステップＳ３５の結合処理に用いる。
　言葉遣いの解析処理は、キーワード抽出処理によって抽出されたキーワードに対して、キーワードが属する言葉遣いに分類する処理である。この処理は、人間関係データベース１５に記憶された言葉遣い辞書を参照することで行われる。図３Ｄは、図３ＡのステップＳ３４の言葉遣いの解析処理に用いられる言葉遣い辞書の一部を示す図である。言葉遣いの解析処理にて抽出されるキーワードは、図３ＡのステップＳ３２にて抽出されるが、ステップＳ３３の会話内容のカテゴリの解析処理で用いられるキーワードとは異なるキーワードが用いられる。同図に示すように、複数のキーワードに対して一つの言葉遣いのカテゴリが関連付けられて、たとえば会話音声データに「～様」が含まれている場合には「敬語又は丁寧語」に分類される会話が行われていることが示されている。ここで、「言葉遣い」とは、言葉の使い方、ものの言い方であって、図３Ｄに示すように、たとえば敬語又は丁寧語、若者言葉、方言、普通の言葉遣い、略語などを例示することができる。
　言葉遣いの解析処理では、一方の人間と他方の人間とで言葉遣いが異なることがあり得ることから、抽出されたキーワードに対して関連付けられた言葉遣いのカテゴリの発生頻度を図３Ｅに示すように、一方の人間（たとえば同図の左のグラフ）と、他方の人間（たっとえば同図の右のグラフ）のようにそれぞれ算出する。図３Ｅは、図３ＡのステップＳ３４の言葉遣いの解析処理により得られる解析結果の一例を示すグラフである。故音羽使いの解析処理においては、同図に示す発生頻度が大きい言葉遣いのカテゴリをそれぞれ特定し、図３ＡのステップＳ３５の結合処理に用いる。
　結合処理は、会話内容のカテゴリの解析処理と、言葉遣いの解析処理とによって算出された発生頻度に関する数値を組み合わせることによって、対象となる人間同士の人間関係を定量化し、これを直接的な人間関係として人間関係データベース１５に記憶する。ここでいう「人間関係」とは、既述したように、現在または過去の社会生活における経験により定まる、特定の人間と特定の人間との関係を意味し、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、親・子・夫・妻などの家族、従兄弟・従姉妹などの親戚、これら家族や親戚その他の続柄、会社や学校などの組織における上司・部下・同僚・同級生・先輩・後輩といった組織内の地位の関係、趣味や娯楽の仲間、ボーイフレンド・ガールフレンド・恋人その他の友人、及び他人などに分類することができる。
　こうした直接的な人間関係の定量化は、会話内容のカテゴリの解析処理と、言葉遣いの解析処理とによって算出された発生頻度に関する数値を組み合わせることによって行われる。特に限定されないが、たとえば、会話内容のカテゴリの解析結果が図３Ｃに示すとおり「仕事」に分類される会話内容の発生頻度が高く、言葉遣いの解析結果が図３Ｅの左右のとおり、一方の人間の言葉遣いが「普通」である発生頻度が高く、他方の人間の言葉遣いが「敬語」である発生頻度の高いので、会社組織における上司と部下の関係である確率が７０％というように、予め人間関係データベース１５に記憶された人間関係定量化マップに基づいて確率値などを用いて定量化する。この定量化された直接的な人間関係は、人間関係データベース１５に蓄積される。
　間接的人間関係推定部１４は、定量化された直接的な人間関係に基づいて、人間関係データベース１５に記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化する。上述した直接的な人間関係は、実際に行われた会話音声データに基づいて解析されて定量化されるため「直接的な」人間関係と称するが、これに対して、間接的人間関係推定部１４にて推定されるのは、実際には会話したことがない人間同士の人間関係の定量化を、定量化された直接的な人間関係のデータに基づいて推定するものである。その意味で「間接的な」人間関係と称する。
　間接的人間関係推定部１４では、直接的な人間関係の読み込み処理（図４ＡのステップＳ４１）、直接的な人間関係の統計処理（図４ＡのステップＳ４２）、未解析の人間の組み合わせ抽出処理（図４ＡのステップＳ４３）及び間接的な人間関係の推定値の算出処理（図４ＡのステップＳ４４）が実行され、求められた間接的な人間関係の推定値は、人間関係データベース１５に蓄積される（図４ＡのステップＳ４５）。
　直接的な人間関係の統計処理は、直接的人間関係解析部１３によって定量化され、人間関係データベース１５に蓄積された値の相互関係を考察することで算出される。具体的には、人間関係データベース１５から、直接的な人間関係の値が既知の３名の組み合わせを抽出し、抽出された３名の間の３つの人間関係の値のうち、２つの値を前提とした残り１つの値を記録する。この処理を、人間関係データベース１５に蓄積された多数の組み合わせについて統計処理することにより、２つの人間関係Ｖ１，Ｖ２の場合に残り1つの人間関係Ｖ３が得られる確率値Ｐ（Ｖ３｜Ｖ１，Ｖ２)を算出することができ、これを人間関係データベース１５に記録する。
　図４Ｂは、図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理を説明するための人間関係を示す図、図４Ｃは、図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理により得られる結果の一例を示すグラフである。図４Ｂに示すように、２人の人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、２人の人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２と、２人の人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３とが、複数の３者の組み合わせについて既に求められ、人間関係データベース１５に蓄積されているものとする。このとき、これらの複数のデータから、人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２とを前提とした場合に、残りの人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、どのような関係を示すのかを、図４Ｃのように発生頻度で解析する。たとえば、図４Ｃに示す例でいえば、人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、「会社組織の上司と部下」である確率が最も高いという結果が得られる。この発生頻度を確立Ｐ（Ｖ３｜Ｖ１，Ｖ２)にて算出する。この確率は、人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２とが既知であれば、図４Ｃのように統計的確立により算出できることを意味する。
　未解析の人間の組み合わせ抽出処理は、上述したように、実際には直接会話をしたことがなく、したがって直接的な人間関係の定量化した値Ｖｎが人間関係データベース１５に記憶されていない人間２名の組み合わせを抽出する。たとえば、図４Ｄに示すように、人間Ｚと人間Ｘとする。図４Ｄは、図４ＡのステップＳ４４の間接的な人間関係の推定値の算出処理を説明するための人間関係を示す図である。これに加えて、抽出された２名の人間Ｚ，Ｘそれぞれに対して直接的な人間関係が定量化された人間を推定中継者として１名以上抽出する。図４Ｄに示す例でいえば、人間Ｙを抽出する。人間Ｙは、人間Ｘとの直接的な人間関係の値Ｖ１が既知であり、人間Ｚとの直接的な人間関係の値Ｖ２も既知である。
　間接的な人間関係の算出処理では、未解析の人間の組み合わせ抽出処理によって抽出された２名の人間Ｚ，Ｘと、推定中継者との間の直接的な人間関係の値Ｖ１，Ｖ２を人間関係データベース１５から参照する。そして、参照された２つの人間関係の値Ｖ１，Ｖ２を前提とした場合の人間同士の人間関係の値Ｖｎを、図４ＡのステップＳ４２の統計処理によって得られた確率値Ｖ３を最大とする値を、間接的な人間関係として算出する。また、複数の推定中継者が抽出された場合には、確率値Ｖ３の積、又は確率値Ｖ３のうち最大確率値を示す値の多数決によって決定してもよい。間接的な人間関係の推定値として算出された値Ｖｎは、人間関係データベース１５に蓄積される。
　人間関係記憶ユニット１Ｂは、人間関係データベース15を含み、上述したように、人間関係データベース１５には、各端末機ＴＤの所有者のＩＤに関連付けられた声紋データ、図３Ｂに示すカテゴリ辞書、図３Ｄに示す言葉遣い辞書、直接的人間関係解析部１３の直接的な人間関係の定量化処理で用いられる人間関係定量化マップ、直接的人間関係解析部１３で定量化された直接的な人間関係、間接的人間関係推定部１４で統計処理された２つの人間関係Ｖ１，Ｖ２の場合における残り1つの人間関係Ｖ３の確率値Ｐ（Ｖ３｜Ｖ１，Ｖ２)、間接的人間関係推定部１４で推定された間接的な人間関係の推定値などが記憶される。
　車両情報学習ユニット１Ｄは、車両情報学習部１７を含み、車両情報学習部１７では、乗員情報の取得処理（図５のステップＳ５１）、人間関係の参照処理（図５のステップＳ５２）、車両情報の取得処理（図５のステップＳ５３）及び結合処理（図５のステップＳ５４）が実行され、求められた人間関係による操作傾向情報は、操作傾向データベース１８に蓄積される（図５のステップＳ５５）。
　乗員情報の取得処理は、車両に誰が乗車しているかを取得する処理である。たとえば、端末機ＴＤを車両に搭載された何らかの機器に接続することで乗員を特定したり、端末機ＴＤの位置情報と車両の位置情報とが近接することを検出することで乗員を特定したり、車両に搭載されているカメラから取得される画像対する顔認識によって乗員を特定したりすることができる。人間関係の参照処理は、乗員情報取得処理によって取得された乗員に対して、人間関係データベース１５を参照して、その乗員同士の人間関係の値を取得する処理である。
　車両情報の取得処理は、車両の制御情報、車両の状態その他の車両情報を取得するしょりであり、たとえば、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置で設定した目的地、オーディオ装置の操作、カーエアコンの操作、車両の現在位置、車両の移動軌跡、現在の日時、乗車後の経過時間などの車両情報を取得する。
　結合処理は、車両情報の取得処理によって取得された車両情報と、人間関係の参照処理とを結合し、人間関係についての操作情報として操作傾向データベース１８に記憶する処理である。たとえば、人間Ａと人間Ｂ（直接的な人間関係又は間接的な人間関係がＶ１）とが搭乗している場合に、ナビゲーション装置で設定した目的地が特定の魚釣り場であった場合に、人間関係Ｖ１と目的地とをその発生頻度とともに操作傾向データベース１８に記憶する。なお、人間関係に加えて人間Ａ，Ｂ，Ｃ等を記憶してもよい。
　操作傾向記憶ユニット１Ｅは、操作傾向データベース１８を含み、車両情報学習部１７で求められた人間関係と操作情報とを関連付けて蓄積する。
　支援情報決定ユニット１Ｃは、支援情報決定部１６を含み、車両に搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。支援情報決定部１６では、乗員情報の取得処理（図６のステップＳ６１）、人間関係の参照処理（図６のステップＳ６２）、車両情報の取得処理（図６のステップＳ６３）、操作傾向情報の参照処理（図６のステップＳ６４）及び支援情報の決定・出力処理（図６のステップＳ６５）が実行される。
　乗員情報の取得処理は、車両情報学習部１７の乗員情報の取得処理（図５のステップＳ５１）と同様の処理、すなわち車両に誰が乗車しているかを取得する処理である。たとえば、端末機ＴＤを車両に搭載された何らかの機器に接続することで乗員を特定したり、端末機ＴＤの位置情報と車両の位置情報とが近接することを検出することで乗員を特定したり、車両に搭載されているカメラから取得される画像対する顔認識によって乗員を特定したりすることができる。人間関係の参照処理は、車両情報学習部１７の人間関係の参照処理（図５のステップＳ５２）と同様の処理、すなわち乗員情報取得処理によって取得された乗員に対して、人間関係データベース１５を参照して、その乗員同士の人間関係の値を取得する処理である。
　車両情報の取得処理は、車両情報学習部１７の車両情報の取得処理（図５のステップＳ５３）と同様の処理、すなわち車両の制御情報、車両の状態その他の車両情報を取得するしょりであり、たとえば、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置で設定した目的地、オーディオ装置の操作、カーエアコンの操作、車両の現在位置、車両の移動軌跡、現在の日時、乗車後の経過時間などの車両情報を取得する。
　操作傾向の参照処理は、車両情報学習部１７によって蓄積された操作傾向データベース１８から、乗員の人間関係の値が類似するか、又は乗員の人間関係の値と現在までの車両情報が類似する場合の、その後に行った操作情報を取得する処理である。たとえば、人間Ａと人間Ｂ（直接的な人間関係又は間接的な人間関係がＶ１）とが搭乗している場合に、ナビゲーション装置で設定した目的地が特定の魚釣り場であるという操作傾向情報が操作傾向データベース１８に蓄積されている場合に、人間関係がＶ１又はこれに類似する値であるときは、ナビゲーション装置の目的地を特定の釣り場に設定するという操作傾向情報を参照する。
　支援情報の決定・出力処理は、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。「乗員構成に適した推奨情報」とは、上述したとおり、乗員が行う車両の操作上、乗員の人間関係から考えられる、可能性の高い又は好ましい操作を実現するための車両又は車載装置に対する指示情報である。一例を挙げると、乗員を構成する乗員Ａと乗員Ｂが、魚釣り友達という人間関係にある場合の推奨情報としては、車載ナビゲーション装置の目的地の設定操作についての指示情報や、オーディオ装置の選局操作についての指示情報などを例示することができる。なお、車両操作の「支援」には、乗員が手動操作する際にその選択肢を乗員にディスプレイやスピーカーなどを用いて提示するほか、乗員が手動操作することなく車両用操作支援装置１が自動的に操作することも含まれる。
　次に本実施形態の情報処理の流れについて説明する。
　まずは日常的に、乗員となり得る複数の人間が所持する端末機ＴＤ１，ＴＤ２，ＴＤ３と、人間関係解析ユニット１Ａとを用いて、特定の人間と特定の人間との人間関係を解析し、これを定量化して人間関係データベース１５に蓄積する。具体的には、図２Ａに示すように、音声取得部１１は、インターネットなどの無線通信回線網を介して、複数の端末機ＴＤと情報の送受信を実行し、特に各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとを入力する（図２ＡのステップＳ２１）。次いで、ステップＳ２２にて、会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、ある特定の端末機ＴＤに入力された会話音声データに関し、誰と誰とが会話しているのか、会話している人間のグループ（集団）を推定する。このとき、会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、端末機ＴＤによって同時刻に集音された複数の会話音声データに対し、集音された位置情報が閾値以上に接近している組み合わせを抽出することで、端末機ＴＤの位置情報に基づく仮の会話グループの推定を実行する。
　次いで、図２ＡのステップＳ２３では、会話グループ推定部１２は、ステップＳ２２における位置情報による組み合わせ抽出処理によって抽出された、同一グループに属すると推定された1つ以上の会話音声データに対し、発話された期間の重複率又は重複時間が、所定の閾値以下である会話音声データ同士を抽出し、これらが実際に会話を行っている会話グループであると推定する。そして、ステップＳ２４にて、会話グループ推定部１２は、このように推定した同一の会話グループの会話音声データを特定し、端末機ＴＤ１，ＴＤ２のＩＤとともに直接的人間関係解析部１３へ出力する。
　次いで、図３Ａに示すように、直接的人間関係解析部１３は、ステップＳ３１～Ｓ３６にて、取得した同一グループの会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎のキーワードに基づいて当該発話者毎の言葉遣いを特定し、複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、複数の人間同士の直接的な人間関係を解析し、定量化して求める。この定量化された直接的な人間関係は、ステップＳ３６にて、人間関係データベース１５に蓄積される。
　ステップＳ３６までの処理により、人間関係データベース１５には、実際に会話を行った人間同士の人間関係の定量化された値が蓄積されるが、解析されていない人間同士の人間関係も存在する。そのため、間接的人間関係推定部１４は、図４ＡのステップＳ４１にて直接的な人間関係の読み込み処理を実行し、ステップＳ４２にて直接的な人間関係の統計処理を実行し、ステップＳ４３にて未解析の人間の組み合わせ抽出処理を実行し、ステップＳ４４にて間接的な人間関係の推定値の算出処理を実行し、ステップＳ４５にて、求められた間接的な人間関係の推定値を人間関係データベース１５に蓄積する。
　一方において、車両情報学習ユニット１Ｄは、人間関係を含む乗員構成によってどのような車両の操作が実際に行われるかの情報を蓄積し、車両操作の支援情報を決定するのに供する。すなわち、図５に示すように、車両情報学習部１７は、ステップＳ５１にて乗員情報の取得処理を実行し、ステップＳ５２にて人間関係データベース１５に蓄積された人間関係の参照処理を実行し、ステップＳ５３にて車両情報の取得処理を実行し、ステップＳ５４にて結合処理を実行し、ステップＳ５５にて、求められた人間関係による操作傾向情報を操作傾向データベース１８に蓄積する。
　次いで、支援情報決定ユニット１Ｃは、車両に搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。具体的には、支援情報決定部１６は、図６のステップＳ６１にて乗員情報の取得処理を実行し、ステップＳ６２にて人間関係の参照処理を実行し、ステップＳ６３にて車両情報の取得処理を実行し、ステップＳ６４にて操作傾向情報の参照処理を実行し、ステップＳ６５にて支援情報の決定・出力処理を実行する。
　以上のとおり、本実施形態の車両用操作支援装置１によれば、乗員となり得る複数の人間の前記直接的な人間関係を予め蓄積しておき、車両に複数の人間が搭乗したら、搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定するので、搭乗してから短時間で適切な車両操作の支援情報を提供することができる。
　また本実施形態の車両用操作支援装置１によれば、実際に会話した人間同士の人間関係から、実際には会話していない人間同士の人間関係を定量化して推定するので、乗員の組み合わせによって車両操作の支援情報が欠落するといったエラーを回避することができる。また、この間接的な人間関係の推定に際しては、実際に会話を行った人間同士の直接的な人間関係のデータを統計処理して求めるので、その正確性を高めることができる。
　また本実施形態の車両用操作支援装置１によれば、実際に行われた車両操作をその時の人間関係と関連付けて記憶し、これを車両操作の支援情報に反映するので、乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報をより現実的な操作に近づけることができる。
　また本実施形態の車両用操作支援装置１によれば、同一の会話グループを抽出するのに、複数の会話音声データのうち発話位置が所定距離以下である会話音声データ群の発話者を会話グループとするので、会話グループの特定、ひいては人間関係の解析の精度が向上する。
　また本実施形態の車両用操作支援装置１によれば、同一の会話グループを抽出するのに、複数の会話音声データのうち発話期間が所定時間以上重複しない会話音声データ群の発話者を会話グループとして推定するので、会話グループの特定、ひいては人間関係の解析の精度が向上する。
　また本実施形態の車両用操作支援装置１によれば、人間が車両に搭乗する場合以外にも収音可能な端末機を用いて、乗員となり得る複数の人間の会話音声データを検出するので、日常的に複数の人間の会話音声データを収音することができる。
　なお、上述した車両用操作支援装置１では、人間関係解析ユニット１Ａに間接的人間関係推定部１４を含むように構成したが、必要に応じてこれを省略してもよい。また、上述した車両用操作支援装置１では、車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを含むように構成し、図６のステップＳ６４～Ｓ６５にて操作傾向情報をも用いて車両操作の支援情報を決定したが、必要に応じて車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを省略し、人間関係データベース１５に蓄積された人間関係のみにより車両操作の支援情報を決定してもよい。
　上記音声取得部１１、上記会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４は、本発明に係る人間関係解析ユニットに相当し、上記人間関係データベース１５は、本発明に係る人間関係記憶ユニットに相当し、上記支援情報決定部１６は、本発明に係る支援情報決定ユニットに相当し、上記車両情報学習部１７は、本発明に係る車両情報学習ユニットに相当し、上記操作傾向データベース１８は、本発明に係る操作傾向記憶ユニットに相当する。
１…車両用操作支援装置
　１Ａ…人間関係解析ユニット
　１１…音声取得部
　１２…会話グループ推定部
　１３…直接的人間関係解析部
　１４…間接的人間関係推定部
　１Ｂ…人間関係記憶ユニット
　１５…人間関係データベース
　１Ｃ…支援情報決定ユニット
　１６…支援情報決定部
　１Ｄ…車両情報学習ユニット
　１７…車両情報学習部
　１Ｅ…操作傾向記憶ユニット
　１８…操作傾向データベース
ＴＤ１，ＴＤ２，ＴＤ３…端末機
ＶＨ１，ＶＨ２…車両
Ａ，Ｂ，Ｃ，Ｘ，Ｙ，Ｚ…人間（乗員）
Ｖ１，Ｖ２，Ｖ３…人間関係の解析値

Claims (7)

  1. 　人間関係解析ユニットと、人間関係記憶ユニットと、支援情報決定ユニットと、を備え、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う車両操作の支援に供する車両用操作支援装置において、
    　前記人間関係解析ユニットは、
    　　前記乗員となり得る複数の人間の会話音声データを取得して発話者を特定し、
    　　取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、
    　　発話者毎の前記キーワードに基づいて当該発話者毎の言葉遣いを特定し、
    　　前記複数の人間の会話音声データに基づいて会話内容を特定し、
    　　特定した言葉遣いと、特定した会話内容とから、前記複数の人間同士の直接的な人間関係を解析して定量化し、
    　前記人間関係記憶ユニットは、前記乗員となり得る複数の人間の前記直接的な人間関係を予め蓄積し、
    　前記支援情報決定ユニットは、車両に搭乗した複数の乗員を特定し、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する、車両用操作支援装置。
  2. 　前記人間関係解析ユニットは、定量化された前記直接的な人間関係に基づいて、前記人間関係記憶ユニットに記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化し、
    　前記人間関係記憶ユニットは、前記間接的な人間関係をも蓄積し、
    　前記支援情報決定ユニットは、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係及び前記間接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する請求項１に記載の車両用操作支援装置。
  3. 　前記人間関係解析ユニットは、定量化された前記直接的な人間関係に基づいて、前記人間関係記憶ユニットに記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化する場合、
    　既に定量化された第１の人間と第２の人間との直接的な人間関係Ｖ１と、既に定量化された前記第２の人間と第３の人間との直接的な人間関係Ｖ２と、既に定量化された前記第３の人間と前記第１の人間との直接的な人間関係Ｖ３とを用いて複数の人間関係Ｖ１，Ｖ２，Ｖ３の関係を統計処理し、
    　解析されていない人間関係Ｖ３´を、既に定量化された残りの人間関係Ｖ１，Ｖ２と前記統計処理された人間関係Ｖ１，Ｖ２，Ｖ３の関係から推定する請求項２に記載の車両用操作支援装置。
  4. 　車両情報学習ユニットと、操作傾向記憶ユニットとをさらに備え、
    　前記車両情報学習ユニットは、
    　　車両に搭乗した複数の乗員を特定し、
    　　前記人間関係記憶ユニットから前記複数の乗員に関する人間関係を抽出し、
    　　前記車両の操作に関する操作情報を検出し、
    　　抽出された人間関係と検出された操作情報とを関連付け、
    　前記操作傾向記憶ユニットは、前記関連付けられた人間関係及び操作情報を蓄積し、
    　前記支援情報決定ユニットは、前記操作傾向記憶ユニットに蓄積された人間関係に関連する操作情報を、前記推奨されるべく定められた車両操作の支援情報として決定する請求項1～３のいずれか一項に記載の車両用操作支援装置。
  5. 　前記人間関係解析ユニットは、複数の人間の会話音声データを取得して発話者を特定する場合に、
    　複数の会話音声データの発話位置を検出し、
    　複数の会話音声データのうち、前記発話位置が所定距離以下である会話音声データ群を抽出し、これらの会話音声データ群の発話者を会話グループとし、当該会話グループに属する発話者を特定する請求項１～４のいずれか一項に記載の車両用操作支援装置。
  6. 　前記人間関係解析ユニットは、複数の人間の会話音声データを取得して発話者を特定する場合に、
    　複数の会話音声データの発話期間を検出し、
    　複数の会話音声データのうち、前記発話期間が所定時間以上重複しない会話音声データ群を抽出し、これらの会話音声データ群の発話者を会話グループとして推定し、当該会話グループに属する発話者を特定する請求項１～５のいずれか一項に記載の車両用操作支援装置。
  7. 　前記乗員となり得る複数の人間の会話音声データは、前記人間が車両に搭乗する場合以外にも収音可能な端末機により検出し、
    　検出した会話音声データを前記人間関係解析ユニットに送信する請求項１～６のいずれか一項に記載の車両用操作支援装置。
PCT/JP2017/041460 2017-11-17 2017-11-17 車両用操作支援装置 WO2019097674A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
BR112020009783-7A BR112020009783A2 (pt) 2017-11-17 2017-11-17 dispositivo de assistência à operação do veículo
JP2019554145A JP7024799B2 (ja) 2017-11-17 2017-11-17 車両用操作支援装置
MX2020004484A MX2020004484A (es) 2017-11-17 2017-11-17 Dispositivo de asistencia a la operacion para vehiculos.
CA3084696A CA3084696C (en) 2017-11-17 2017-11-17 Vehicle operation assistance device
RU2020117547A RU2768509C2 (ru) 2017-11-17 2017-11-17 Устройство помощи в управлении транспортным средством
US16/764,705 US20210174790A1 (en) 2017-11-17 2017-11-17 Vehicle operation assistance device
CN201780096439.0A CN111801667B (zh) 2017-11-17 2017-11-17 车辆用操作辅助装置和车辆用操作辅助方法
EP17932260.7A EP3712887B1 (en) 2017-11-17 2017-11-17 Vehicle operation assistance device
PCT/JP2017/041460 WO2019097674A1 (ja) 2017-11-17 2017-11-17 車両用操作支援装置
KR1020207014105A KR20200074168A (ko) 2017-11-17 2017-11-17 차량용 조작 지원 장치 및 조작 지원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041460 WO2019097674A1 (ja) 2017-11-17 2017-11-17 車両用操作支援装置

Publications (1)

Publication Number Publication Date
WO2019097674A1 true WO2019097674A1 (ja) 2019-05-23

Family

ID=66538941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041460 WO2019097674A1 (ja) 2017-11-17 2017-11-17 車両用操作支援装置

Country Status (10)

Country Link
US (1) US20210174790A1 (ja)
EP (1) EP3712887B1 (ja)
JP (1) JP7024799B2 (ja)
KR (1) KR20200074168A (ja)
CN (1) CN111801667B (ja)
BR (1) BR112020009783A2 (ja)
CA (1) CA3084696C (ja)
MX (1) MX2020004484A (ja)
RU (1) RU2768509C2 (ja)
WO (1) WO2019097674A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020240730A1 (ja) * 2019-05-29 2021-09-30 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム
WO2022244178A1 (ja) * 2021-05-20 2022-11-24 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム
JP7574927B2 (ja) 2020-12-25 2024-10-29 日本電気株式会社 話者識別装置、方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249784B1 (ko) * 2020-01-06 2021-05-10 주식회사 파우미 소형 용기의 내부 코팅용 상방향 노즐
CN115376522B (zh) * 2021-05-21 2024-10-01 佛山市顺德区美的电子科技有限公司 空调器的声纹控制方法、空调器及可读存储介质
CN115878070B (zh) * 2023-03-01 2023-06-02 上海励驰半导体有限公司 一种车载音频播放方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099195A (ja) * 2004-09-28 2006-04-13 Sony Corp 視聴コンテンツ提供システム及び視聴コンテンツ提供方法
WO2007105436A1 (ja) * 2006-02-28 2007-09-20 Matsushita Electric Industrial Co., Ltd. ウェアラブル端末
JP2009232415A (ja) * 2008-03-25 2009-10-08 Denso Corp 自動車用情報提供システム
JP2012133530A (ja) 2010-12-21 2012-07-12 Denso Corp 車載装置
JP2013182560A (ja) * 2012-03-05 2013-09-12 Nomura Research Institute Ltd 人間関係推定システム
WO2016121174A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 情報処理システムおよび制御方法
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2229398C1 (ru) * 2003-09-12 2004-05-27 Общество с ограниченной ответственностью "Альтоника" Охранно-навигационная система для транспортного средства
JP4670438B2 (ja) * 2005-04-01 2011-04-13 ソニー株式会社 コンテンツおよびそのプレイリストの提供方法
US20100042498A1 (en) * 2008-08-15 2010-02-18 Atx Group, Inc. Criteria-Based Audio Messaging in Vehicles
JP2010190743A (ja) * 2009-02-18 2010-09-02 Equos Research Co Ltd ナビゲーションシステム及びナビゲーション装置
JP2011081763A (ja) * 2009-09-09 2011-04-21 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
US20120239400A1 (en) * 2009-11-25 2012-09-20 Nrc Corporation Speech data analysis device, speech data analysis method and speech data analysis program
US11070661B2 (en) * 2010-09-21 2021-07-20 Cellepathy Inc. Restricting mobile device usage
JP5740575B2 (ja) * 2010-09-28 2015-06-24 パナソニックＩｐマネジメント株式会社 音声処理装置および音声処理方法
US8775059B2 (en) * 2011-10-26 2014-07-08 Right There Ware LLC Method and system for fleet navigation, dispatching and multi-vehicle, multi-destination routing
US9008906B2 (en) * 2011-11-16 2015-04-14 Flextronics Ap, Llc Occupant sharing of displayed content in vehicles
US10169464B2 (en) * 2012-05-14 2019-01-01 Ramesh Sivarajan System and method for a bidirectional search engine and its applications
US20150193888A1 (en) * 2014-01-06 2015-07-09 Linkedln Corporation Techniques for determining relationship information
CN105701123B (zh) * 2014-11-27 2019-07-16 阿里巴巴集团控股有限公司 人车关系的识别方法及装置
CN104933201A (zh) * 2015-07-15 2015-09-23 蔡宏铭 基于同行信息的内容推荐方法及系统
US11170451B2 (en) * 2015-10-02 2021-11-09 Not So Forgetful, LLC Apparatus and method for providing gift recommendations and social engagement reminders, storing personal information, and facilitating gift and social engagement recommendations for calendar-based social engagements through an interconnected social network
US10298690B2 (en) * 2017-01-10 2019-05-21 International Business Machines Corporation Method of proactive object transferring management

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099195A (ja) * 2004-09-28 2006-04-13 Sony Corp 視聴コンテンツ提供システム及び視聴コンテンツ提供方法
WO2007105436A1 (ja) * 2006-02-28 2007-09-20 Matsushita Electric Industrial Co., Ltd. ウェアラブル端末
JP2009232415A (ja) * 2008-03-25 2009-10-08 Denso Corp 自動車用情報提供システム
JP2012133530A (ja) 2010-12-21 2012-07-12 Denso Corp 車載装置
JP2013182560A (ja) * 2012-03-05 2013-09-12 Nomura Research Institute Ltd 人間関係推定システム
WO2016121174A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 情報処理システムおよび制御方法
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3712887A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020240730A1 (ja) * 2019-05-29 2021-09-30 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム
JP7574927B2 (ja) 2020-12-25 2024-10-29 日本電気株式会社 話者識別装置、方法およびプログラム
WO2022244178A1 (ja) * 2021-05-20 2022-11-24 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム
JPWO2022244178A1 (ja) * 2021-05-20 2022-11-24
JP7309095B2 (ja) 2021-05-20 2023-07-14 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム

Also Published As

Publication number Publication date
RU2020117547A (ru) 2021-12-17
JP7024799B2 (ja) 2022-02-24
RU2768509C2 (ru) 2022-03-24
EP3712887B1 (en) 2021-09-29
EP3712887A1 (en) 2020-09-23
US20210174790A1 (en) 2021-06-10
CA3084696C (en) 2023-06-13
CA3084696A1 (en) 2019-05-23
JPWO2019097674A1 (ja) 2020-12-03
RU2020117547A3 (ja) 2021-12-17
BR112020009783A2 (pt) 2020-11-03
EP3712887A4 (en) 2021-03-10
KR20200074168A (ko) 2020-06-24
MX2020004484A (es) 2020-08-03
CN111801667A (zh) 2020-10-20
CN111801667B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
WO2019097674A1 (ja) 車両用操作支援装置
CN110741433B (zh) 使用多个计算设备的对讲式通信
CN103038818B (zh) 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
US9691047B2 (en) Observation platform for using structured communications
CN103918247B (zh) 基于背景环境的智能手机传感器逻辑
DE102018125966A1 (de) System und verfahren zur erfassung von stichworten in einer unterhaltung
US9959885B2 (en) Method for user context recognition using sound signatures
US20130060568A1 (en) Observation platform for performing structured communications
CN108847225B (zh) 一种机场多人语音服务的机器人及其方法
JP6820664B2 (ja) 受付システムおよび受付方法
JP2010217318A (ja) 同乗者検索装置および同乗者検索プログラム
US20220035840A1 (en) Data management device, data management method, and program
CN112086098B (zh) 一种驾乘人员分析方法、装置及计算机可读存储介质
CN105869631B (zh) 语音预测的方法和装置
Fink et al. The Autonomous Vehicle Assistant (AVA): Emerging technology design supporting blind and visually impaired travelers in autonomous transportation
JP2019124976A (ja) リコメンド装置、リコメンド方法、及びリコメンドプログラム
US20220036381A1 (en) Data disclosure device, data disclosure method, and program
JP2018055155A (ja) 音声対話装置および音声対話方法
JP7448378B2 (ja) 車両乗合支援システム及び車両乗合支援方法
JP2019105966A (ja) 情報処理方法及び情報処理装置
US10866781B2 (en) Information processor
JP7123581B2 (ja) 情報処理方法及び情報処理装置
JP2019190940A (ja) 情報提供装置
Suhandi et al. Smart Cane: Public Transportation Code Detection and Identification System for Visually Impaired
US12131732B2 (en) Information processing apparatus, information processing system, and information processing method

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019554145

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3084696

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20207014105

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017932260

Country of ref document: EP

Effective date: 20200617

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020009783

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112020009783

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200515