WO2020054517A1 - 適合度判定装置および適合度判定方法 - Google Patents

適合度判定装置および適合度判定方法 Download PDF

Info

Publication number
WO2020054517A1
WO2020054517A1 PCT/JP2019/034627 JP2019034627W WO2020054517A1 WO 2020054517 A1 WO2020054517 A1 WO 2020054517A1 JP 2019034627 W JP2019034627 W JP 2019034627W WO 2020054517 A1 WO2020054517 A1 WO 2020054517A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
image
vehicle
attribute
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/034627
Other languages
English (en)
French (fr)
Inventor
晴香 谷口
一希 笠井
知柔 今林
慎 江上
佐久間　淳
栄造 北村
加藤　重之
泰秀 與茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2020054517A1 publication Critical patent/WO2020054517A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Definitions

  • the present invention relates to a fitness determination device and a fitness determination method used in a car sharing system for providing a car sharing vehicle.
  • Patent Literature 1 discloses a fellow passenger search device that can search for a partner who shares a vehicle based on the attribute of a person.
  • the passenger search device searches for another user who can ride in the vehicle in response to a request from one user.
  • This device includes a plurality of elements relating to the movement of a user, and stores movement information including a departure point and a destination as elements and attribute information including a plurality of elements relating to a user's personal attribute in association with the user.
  • User information storage means search request acquisition means for acquiring a search request transmitted from a user, movement information and attribute information corresponding to the user who transmitted the search request, and movement corresponding to another user
  • a fitness calculating unit configured to calculate a fitness between the user who transmitted the search request and another user using the information and the attribute information; and information indicating a candidate of the fellow passenger based on the calculated fitness.
  • information providing means for generating candidate information and presenting the candidate information to the user who transmitted the search request.
  • Patent Document 2 discloses a vehicle sharer search system capable of searching for a sharer with less resistance.
  • This carpool search system includes a customer terminal that accepts an input operation by a customer A driving a vehicle and a customer B sharing a vehicle of the customer A, and a customer server connected to each customer terminal via a network.
  • the customer server stores a customer database storing data relating to the basic attributes of each customer, data relating to purchasing behavior, and data relating to geographical conditions, and a customer A who visits the store by vehicle with reference to the customer database. It has a customer data search unit for selecting a plurality of customers B having customer data having a high degree of matching with the customer data. Then, the customer data about the selected customer B is transmitted to the customer terminal of the customer A. Therefore, the customer A can search for the customer B that is compatible with the customer A.
  • Patent Literature 3 discloses a person attribute identification device that accurately identifies attributes such as a person's gender and age group from an input face image. This person attribute identification device groups a large number of learning face images into genders and age groups, and stores an attribute storage unit storing the grouped learning face images in association with each group.
  • a subspace generation unit that expands a set of learning face image vectors into a group-specific subspace to generate eigenvectors for each group, and outputs an eigenvector for each group generated by the subspace generation unit to an unknown input face image
  • a determination storage unit for storing as data for performing group determination of a group, and determining the similarity between an unknown input face image and each group with reference to the data of the determination storage unit, and storing the determined group and attribute.
  • a similarity determination unit for identifying the attribute of the input face image from the content stored in the unit.
  • Patent Document 4 discloses a group attribute estimation method for estimating a group attribute of a group formed by a plurality of persons from a scene image in which a plurality of persons are captured.
  • This group attribute estimation method performs a person extraction process of extracting a customer imaged in a scene image from a scene image imaged in a store, and uses the scene image data to extract the same group from a plurality of extracted customers. Is performed for estimating a plurality of customers forming the group.
  • this group attribute estimating method performs a person attribute estimating process of estimating a person attribute of each customer estimated to form the same group using a scene image, and a person attribute estimated for each customer.
  • a group attribute estimating process for estimating the group attribute is performed.
  • Patent Document 5 discloses a method for measuring the state of biological activity such as a respiratory rate and a heart rate from a captured image of a subject's face.
  • An activity measurement device is disclosed.
  • This life activity measurement device includes a specific region detection unit that detects three-dimensional coordinates of a specific region of the face from a face image captured by an imaging device, a luminance acquisition unit that calculates an average luminance of the specific region, and a specific region.
  • a face orientation / position detection unit that detects the subject's face orientation and the position of the specific area as a body motion component, and a body motion component detected by the face orientation / position detection unit
  • a brightness correction unit that normalizes and corrects the average brightness of the specific area calculated by the brightness acquisition unit to the brightness corresponding to the frontal face.
  • Patent Document 6 discloses a highly accurate facial expression recognition device that measures minute movements of muscles over the entire face, patterns its temporal change, and recognizes facial expressions representing emotions based on the pattern.
  • This facial expression recognition device uses an optical flow calculator as a module for measuring the movement of the epidermis, converts the temporal change pattern of the movement of the epidermis into first and second moments, determines a feature vector in the standard facial expression image, It is configured to be used in the recognition mode.
  • the present invention has been devised in view of the above circumstances, and in a carpooling system that provides a carpooling vehicle, provides a fitness determination device and a fitness determination method that enable a customer who wants to ride comfortably to move. .
  • an applicability determination device that determines the compatibility between customers sharing the carpooling, and an image including a face of the customer.
  • An attribute estimating unit for estimating the attribute of the customer based on the image acquired by the image acquiring unit, and a fitness determination for determining the fitness of the customers based on the attribute estimated by the attribute estimating unit.
  • a unit for determining the degree of conformity comprising: According to this, in a carpooling system that provides a carpooling vehicle, it is possible to provide a suitability determination device that enables a customer to move comfortably by determining the suitability of customers who share a car.
  • the attribute estimating unit may estimate the mental state of the customer from the image, and the suitability determining unit may determine the suitability of the customers based on the mental state. According to this, it is possible to move in accordance with the mental state at the time of sharing by determining the degree of conformity based on the mental state of the customer.
  • the attribute estimating unit estimates the group attribute of the customer group appearing in the image based on the plurality of faces included in the image, and the matching degree determining unit determines the matching degree between the customers based on the group attribute. It may be characterized. According to this, by determining the degree of conformity based on the group attribute of the customer group, it is possible to move in accordance with the group at the time of sharing.
  • the attribute estimating unit estimates the number of customers appearing in the image based on the plurality of faces included in the image
  • the suitability determining unit determines the suitability of the customers based on the number of people. It may be. According to this, by determining the degree of conformity based on the number of customers in the customer group, it is possible to move according to the number of groups at the time of sharing.
  • the vehicle further includes a vehicle state acquisition unit that acquires vehicle state information of the shared vehicle, the image acquisition unit acquires an image of the customer transmitted from the shared vehicle, and the attribute estimating unit extracts biological information from the image.
  • the driving preference of the customer may be estimated from the biological information and the vehicle state information, and the matching degree determination unit may determine the matching degree between the customers based on the driving preference. According to this, the degree of conformity is determined based on the customer's driving preference estimated from the customer's biometric information and the vehicle state information of the shared vehicle, so that the customer with the suitable driving preference can ride comfortably because he / she rides on the passenger.
  • the vehicle further includes a vehicle state obtaining unit that obtains vehicle state information of the shared vehicle, the image obtaining unit obtains an image of the customer transmitted from the shared vehicle, and the attribute estimating unit estimates a mental state from the image. Then, the driving preference of the customer may be estimated from the mental state and the vehicle state information, and the matching degree determination unit may determine the matching degree between the customers based on the driving preference. According to this, the degree of conformity is determined based on the customer's driving preference estimated from the customer's mental state and the vehicle state information of the shared vehicle, so that the customer with the suitable driving preference can ride comfortably because they ride together. .
  • the image acquisition unit may be characterized in that the customer acquires a face image that is captured when registering the carpool system. According to this, it is possible to easily use the shared vehicle by estimating the attribute of the customer based on the face image at the time of registration of the shared system.
  • the image acquisition unit may acquire a face image transmitted when the customer uses the sharing system. According to this, by estimating the attribute of the customer based on the face image when using the shared vehicle, it is possible to determine the degree of conformity based on the attribute at the time of shared vehicle.
  • a suitability determination method for determining the suitability of customers sharing the carpooling wherein the image including the face of the customer is provided. Is obtained, the attribute of the customer is estimated on the basis of the image, and the fitness determination method for determining the fitness of the customers based on the attribute is provided.
  • the carpooling system that provides the carpooling vehicle it is possible to provide a matching degree determination method that enables the customer to move comfortably by determining the degree of matching between the sharing customers.
  • a carpooling system for providing a carpooling vehicle it is possible to provide a fitness determination apparatus and a fitness determination method that enable a customer who wants to ride comfortably to move.
  • FIG. 1 is an overall block configuration diagram of a carpooling system according to a first embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a suitability determination apparatus according to a first embodiment of the present invention.
  • 4 is a flowchart of a process performed by the suitability determination apparatus of the first embodiment according to the present invention.
  • 9 is a flowchart of an attribute estimating process of an attribute estimating unit according to the first embodiment of the present invention.
  • FIG. 2 is a sequence diagram (passenger and passenger) of the carpool system of the first embodiment according to the present invention.
  • FIG. 2 is a sequence diagram (driver and passenger) of the carpooling system according to the first embodiment of the present invention.
  • FIG. 2 is an overall block configuration diagram of a carpool system according to a second embodiment of the present invention.
  • FIG. 4 is a block diagram of a fitness degree determination device according to a second embodiment of the present invention.
  • FIG. 3 is a block diagram of a vehicle according to a second embodiment of the present invention.
  • 9 is a flowchart of a process performed by the suitability determination apparatus according to the second embodiment of the present invention.
  • 9 is a flowchart of an attribute estimating process of an attribute estimating unit according to a second embodiment of the present invention.
  • 13 is a flowchart of an attribute estimation process of an attribute estimation unit according to a modification of the second embodiment according to the present invention.
  • the suitability determination device 100 is used in the carpool system 1 that provides a carpool service.
  • the sharing service is a service for providing the sharing vehicle CR to customers (passengers and drivers) who want to share the vehicle.
  • the carpooling system 1 is used when a driver recruits passengers of a carpooling partner or when a passenger individually desires to use a carpooling vehicle (including an unmanned self-driving vehicle that performs automatic driving). Finds matching passengers and assists in dispatching vehicles.
  • the carpooling system 1 determines a carpooling vehicle, a carpooling partner, an operation schedule, and the like based on a carpooling request from the passengers 1 to 3 and a driver.
  • the carpool system 1 includes a dispatch server 200 including a suitability determination device 100, a member data input device 300 for inputting member information to the dispatch server 200, and a shared vehicle 1 to 1 connected to the dispatch server 200 via a wireless network. 2 and passengers 1-3, and portable terminals 1-4 possessed by the driver.
  • the dispatch server 200 includes a conformity determination device 100, a server control unit 210 that exchanges information with the conformity determination device 100 and performs overall control of the dispatch server 200, mobile terminals 1-4, and shared vehicles 1-2.
  • Server communication device 220 that communicates with member server, member database 230 that stores member information input from member data input device 300, vehicle database 250 that stores information on shared vehicles such as shared vehicles 1-2, and a shared service service.
  • the vehicle includes a map database 260 including a provision area, an operation plan device 240 for creating an operation plan based on the vehicle database 250 and the map database 260, and a fee calculation device 270 for calculating a fee for a shared service.
  • the server communication device 220 communicates with the mobile terminals 1 to 3 held by the passengers 1 to 3 as customers and the mobile terminal 4 held by the driver, and transmits the received information to the server control unit 210.
  • the server communication device 220 receives an application for sharing with the mobile terminals 1 to 4 together with the customer's ID (identification number or the like) and transmits information on dispatch to the application.
  • the server control unit 210 When the server control unit 210 receives the IDs of the passengers 1 to 3 who are the customers received by the server communication device 220 and the application for sharing, the server control unit 210 checks the ID with the member data input device 300 and determines whether the member is a regular member of the sharing system 1. Check whether or not. When the passengers 1 to 3 are regular members, the server control unit 210 determines what attribute the customer who has applied for to the suitability determination apparatus 100 has and what attribute the customer has. Inquire about whether the carpool with the customer is suitable.
  • the server control unit 210 determines the suitability of the passenger 1 and the passenger 2 to be shared. If it is determined that there is compatibility, the server control unit 210 inquires of the operation planning device 240 whether or not the desired application can be approved from the viewpoint of the place of use and the date and time of use.
  • the operation planning device 240 refers to the vehicle database 250 to determine whether or not there is a shared vehicle 1-2 that can be dispatched according to the use location and use date and time, and refers to the map database 260 to determine a problem in the use route of the passenger 1 and the passenger 2. It is determined whether or not there is any, and an operation plan for the shared vehicles 1-2 is created.
  • the operation planning device 240 causes the fare calculation device 270 to calculate the fares for the passenger 1 and the passenger 2 in such an operation plan.
  • the server control unit 210 transmits the operation plan and the fee to the portable terminals 1 and 2 of the passenger 1 and the passenger 2 respectively.
  • the server control unit 210 includes a known processing unit and memory, general-purpose software, an application for the vehicle allocation server 200, and the like.
  • the server communication device 220 has a function of a known network interface that can be connected to the Internet or the like.
  • the member database 230, the vehicle database 250, and the map database 260 are composed of large-capacity memories and storage devices.
  • the member data input device 300 includes a well-known arithmetic processing device and memory, general-purpose software, an application for the member data input device 300, and preferably has a camera 310.
  • Member data input device 300 may be a smartphone, a tablet terminal, or the like.
  • the mobile terminals 1 to 3 are smartphones, tablet terminals, and the like, and have functions that a smartphone typically has, such as an arithmetic processing function, a communication function, an input / output function, an imaging function, and a position detection function.
  • the driver's portable terminal 4 may be a driver's smartphone, or may be an in-vehicle device installed in the shared vehicle 1 and having a function equivalent to a smartphone.
  • the shared vehicles 1 and 2 will be described later.
  • the suitability determination device 100 includes an image acquisition unit 10 that acquires image data on the passengers 1 to 3 from the server control unit 210, and passengers 1 to 3 based on the images acquired by the image acquisition unit 10.
  • Attribute estimating unit 20 for estimating the attribute of each of the customers
  • an attribute storage unit for each customer 40 for storing the attribute estimated by the attribute estimating unit 20 and the information on the IDs of the passengers 1 to 3 in association with each other, and the attribute estimated by the attribute estimating unit 20
  • a judgment result output unit 50 that outputs the judgment result of the suitability judgment unit 30.
  • the image acquiring unit 10 acquires an image in which a face in which the attributes of the passengers 1 to 3 appear most often is captured.
  • the image acquisition unit 10 may acquire face images captured by the passengers 1 to 3 stored in the member data input device 300 at the time of registration of the sharing system 1. This eliminates the need for the passengers 1 to 3 to provide images at the time of application for use, so that the shared vehicle can be used easily.
  • the image acquisition unit 10 may acquire an image including a face that is captured when the carpool system 1 is used (use application) and transmitted to the vehicle allocation server 200. According to this, by estimating the attribute of the customer based on the face image when using the shared vehicle, it is possible to determine the degree of conformity based on the attribute at the time of shared vehicle or the attribute near the time of shared vehicle.
  • the attribute estimation unit 20 detects a human face from an image, and estimates gender, age, facial expression, and the like from the face.
  • the attribute estimating unit 20 includes: a face recognizing unit 21 for recognizing a face in an image; a feature extracting unit 22 for extracting a feature in the image; an attribute-specific feature storing unit 23 for storing a feature for each attribute; And a feature amount comparing unit 24 for comparing the feature amounts.
  • the face recognizing unit 21 recognizes a human face using the positions and contours of the eyes, nose and mouth.
  • the feature amount extraction unit 22 extracts a feature amount of a face part or a physical feature other than the face.
  • the feature amount extraction unit 22 extracts, from the face image, end points and contour points of eyebrows and eyes, and feature points around the nose and mouth, and calculates the distance between the feature points and the area surrounded by these feature points. Analyze the distribution of pixel features and analyze the attributes of passengers.
  • the attribute not only represents gender, age, etc., but also includes a psychological state (mental state), preferences, characteristics, and the like, and can be regarded as a classification standard for classifying people. good.
  • the psychological state refers to anxiety, anger, sadness, fear, surprise, disgust, joy, and the like.
  • the preference is a preference for the state of the vehicle and a manner of driving, and is a preference for a degree of acceleration / deceleration, a traveling speed, a method of turning a steering wheel, and the like.
  • Psychological states such as comfort / discomfort and relaxation / tension such as passengers 1 to 3 are related to similarity / heterogeneity of tastes and may be factors that cause these emotions and states.
  • the attribute-specific feature storage unit 23 stores a typical feature for such an attribute as a template. For example, it is known that the feature amount of the face part differs depending on gender and age. For example, gender can be determined based on the following feature amounts. In addition, you may judge comprehensively combining these several. ⁇ Based on the ratio of “Length of inner and outer corners” to “Width of face” ⁇ Based on the ratio of “Length of inner and outer corners” and “Eye height” ⁇ Average face by gender / age ⁇ Compare distances and shape ratios of points such as organs (eyes, nose, mouth) and facial contours ⁇ Gabor wavelet transform results
  • the attribute-specific feature storage unit 23 may learn expressions of the passengers 1 to 3 individually by using a deep learning technique so that attributes can be classified in more detail.
  • the feature amount comparison unit 24 compares the feature amount of the image extracted by the feature amount extraction unit 22 with the feature amount stored by the attribute-based feature amount storage unit 23, and the image is most similar to the feature amount stored. And by comparing the threshold values, the gender, age, facial expression, etc. of the passengers 1 to 3 are estimated.
  • the attribute may be an attribute of not only an individual but also a group that is a set of a plurality of persons.
  • the group attribute indicates a relationship, such as a couple, a friend, a couple, a family with children, etc., as an indicator of a mental state, a falling group, a group, etc., indicating a driving preference. , Sporty driving, sloppy safe driving, overtaking, etc., and the number of members belonging to the group.
  • the group attribute estimates a relationship based on parameters such as an attribute of an individual to which the user belongs, age, age difference, distance between faces, distance between bodies, and the like. For example, the group attribute is determined by combining the following criteria.
  • the customer-specific attribute storage unit 40 stores the attributes estimated by the attribute estimating unit 20 and the information on the IDs of the passengers 1 to 3 received from the server control unit 210 in association with each other.
  • the suitability determination unit 30 reads the attributes of the passengers 1 to 3 who have applied for use, stored in the customer-specific attribute storage unit 40, and determines the suitability for the passengers 1 to 3 to ride on the shared vehicles 1-2. to decide.
  • the matching degree determination unit 30 may calculate the degree of the matching degree by, for example, scoring the similarity or difference between the attributes.
  • a high degree of conformity means that it is less likely to be uncomfortable or uncomfortable to ride in the same vehicle, and indicates a good relationship.
  • same-sex, same-age, same mental state depressed, high tension, etc.
  • same sensibility similarity of hairstyle, make-up, etc.
  • group of similar relationship A couple, a friend, a couple, a family with children, and the like
  • a similar feeling to the driving state of the vehicle Preferred driving sloppy, liking driving, etc.
  • the matching degree determination unit 30 may assign a priority to each attribute item. For example, when the first priority is “same sex” and the second priority is “same age”, the matching degree determination unit 30 first searches for same-sex partners, and further narrows down when a plurality of same-sex partners are found. In order to search for someone who is close to age. In this manner, by determining the degree of conformity based on the group attribute of the customer group, it is possible to move in accordance with the group at the time of sharing. Further, by determining the degree of conformity based on the number of customers in the customer group, it is possible to move in accordance with the number of groups when sharing the vehicle.
  • the determination result output unit 50 outputs the determination result performed by the suitability determination unit 30 to the server control unit 210.
  • the server control unit 210 Upon receiving the determination result, the server control unit 210 transmits to the mobile terminals 1 to 4 via the server communication device 220 that there is no shared vehicle available via the server communication device 220 when the adaptability is low. If the adaptability is high, the vehicle allocation information created by the operation planning device 240 is transmitted to the mobile terminals 1 to 4.
  • S in the flowchart means a step.
  • the adaptability determination apparatus 100 receives the image data including the face image and the customer ID via the server control unit 210.
  • the attribute estimating unit 20 of the suitability determination apparatus 100 estimates a customer attribute included in the image data based on the image data.
  • FIG. 4 shows processing of the attribute estimating unit 20.
  • the face recognizing unit 21 of the attribute estimating unit 20 recognizes a human face using the positions of the eyes, nose and mouth.
  • the face recognition unit 21 counts the number of human faces included in the image data, and checks whether the number is one or more.
  • the feature amount extraction unit 22 extracts the feature amount from the face image or the body image of the one person in S204.
  • the feature amount comparison unit 24 compares the extracted feature amount with the template of the attribute feature amount stored in the attribute-specific feature amount storage unit 23, and determines which attribute the person in the image is, for example, Select the attributes that are most similar for gender and age.
  • the feature amount comparison unit 24 compares the extracted feature amount with the template of the feature amount of the facial expression stored in the attribute-specific feature amount storage unit 23, and finds out what kind of psychology the person in the image has. The most similar expression is selected as to whether the person is in a state, for example, an uneasy expression or a happy expression.
  • the attribute estimating unit 20 estimates from the above-described comparison result that the person appearing in the image has such an attribute, for example, a man in the 20s or so, who looks cheerful.
  • the feature amount extraction unit 22 extracts feature amounts from a plurality of face images and body images of the group in S212.
  • the feature amount comparison unit 24 compares the extracted feature amount of the group with the template of the feature amount of the group stored in the attribute-specific feature amount storage unit 23. For example, an attribute that is the closest to the number of groups and the relationship is selected. Then, as in the case of a single person, the attribute estimating unit 20 executes S208 and S210 also for the group, and based on the comparison result, determines whether the group shown in the image has such an attribute, Estimate that a couple looks happy.
  • the customer-specific attribute storage unit 40 stores the attribute estimated based on the image data and the customer ID received simultaneously with the image data in S104.
  • the suitability determination apparatus 100 confirms whether there is any other image data from the server control unit 210 based on the status of the customer's use application, and whether all the image data has been distributed. If there is still image data to be estimated, S100 to S104 are repeated. If all the members have already been settled, the suitability determining unit 30 calculates the suitability of the customers among the customers stored in the customer-specific attribute storage unit 40 in S108.
  • the matching degree determination unit 30 determines that the customers with the calculated high matching degrees are suitable for the sharing, and determines the customers as the sharing candidates.
  • the determination result output unit 50 outputs the result of the determination made to the sharing candidate customer via the server control unit 210.
  • step S300 the passenger 2 makes an application for a shared ride from the mobile terminal 2 to the dispatch server 200.
  • the passenger 1 makes an application for a shared ride from the mobile terminal 1 to the dispatch server 200 at about the same time.
  • Each request application includes travel information indicating the desired departure location / time and arrival location / time, and face images of one's own or the entire group.
  • the vehicle allocation server 200 checks whether or not there is a use application having movement information close to the movement information of the passenger 1, and performs matching with the passenger 2. It is to be noted that the movement information is close when the desired departure location / time is close and the arrival location / time is close, or when one departure / arrival route includes the other departure / arrival route, one departure / arrival time and the other Various cases can be considered, such as when the departure / arrival time of is appropriate on the route. If the passenger 1 and the passenger 2 match from the viewpoint of the movement information, the dispatch server 200 estimates the respective attributes from the face images of the passenger 1 and the passenger 2 in S306. After estimating the attribute, in S308, the dispatch server 200 calculates the degree of suitability from the viewpoint of the attributes of the passenger 1 and the passenger 2, and determines whether or not both are suitable for sharing.
  • the dispatch server 200 creates an operation plan in S310, and replies dispatch information to the passenger 1 and the passenger 2 in S312. Passenger 2 receiving the answer makes an answer to the dispatch information in S314, and passenger 1 makes an answer to the dispatch information in S316.
  • the vehicle allocation server 200 gives an answer as to whether or not the sharing of both vehicles has been established based on the responses of both vehicles.
  • the example of this drawing can be applied to a case where the shared vehicle is an unmanned automatic driving vehicle that performs automatic driving.
  • step S400 the driver makes an application for a passenger recruitment to the shared vehicle to be driven by the driver to the vehicle allocation server 200 from the mobile terminal 4 of the driver or the vehicle-mounted device in the case of the driver's own vehicle.
  • the passenger 1 makes an application for a shared ride from the mobile terminal 1 to the dispatch server 200 almost at the same time.
  • the dispatch server 200 checks whether or not there is a recruitment of passengers having movement information close to the movement information of the passenger 1, and performs matching with the driver. In addition, since there may be a plurality of driver recruitment of drivers, a passenger recruitment including the closest movement information is selected.
  • the dispatch server 200 estimates the respective attributes from the face images of the passenger 1 and the driver in S406. After estimating the attributes, in S408, the dispatch server 200 calculates the degree of suitability from the viewpoint of the attributes of the passenger 1 and the driver, and determines whether or not both are suitable for sharing. When the degree of conformity is high, the dispatch server 200 creates an operation plan in S410, and returns dispatch information to the passenger 1 and the driver in S412. The driver receiving the answer makes an answer to the dispatch information in S414, and the passenger 1 makes an answer to the dispatch information in S416. In S418, the vehicle allocation server 200 gives an answer as to whether or not the sharing of both vehicles has been established based on the responses of both vehicles.
  • the suitability determination device 100 that enables the customer to move comfortably by determining the compatibility between the customers who share the vehicle or between the customer and the driver. Can be provided.
  • This matching degree determination method is a method of acquiring an image including a face of a customer, estimating a customer attribute shown in the image based on the acquired image, and determining a matching degree between the customers based on the estimated attribute. is there. According to this, in the carpooling system 1 that provides the carpooling vehicle CR, it is possible to provide a matching degree determination method that enables a customer to move comfortably.
  • the suitability determination device 100A is used in a carpooling system 1A that provides a carpooling service.
  • the sharing system 1A includes a vehicle allocation server 200A including a suitability determination device 100A, a member data input device 300 for inputting member information to the vehicle allocation server 200A, and a sharing vehicle 1 to 1 connected to the vehicle allocation server 200A via a wireless network. 2 and passengers 1-3, and portable terminals 1-4 possessed by the driver.
  • the dispatch server 200A includes a conformity determination device 100A, a server control unit 210A that exchanges information with the conformity determination device 100A and performs overall control of the dispatch server 200A, the portable terminals 1-4 and the shared vehicles 1-2.
  • Server communication device 220A that communicates with member server, member database 230 that stores member information input from member data input device 300, vehicle database 250 that stores information on shared vehicles such as shared vehicles 1-2, and a shared service service.
  • the vehicle includes a map database 260 including a provision area, an operation plan device 240 for creating an operation plan based on the vehicle database 250 and the map database 260, and a fee calculation device 270 for calculating a fee for a shared service.
  • the server communication device 220A communicates with the portable terminals 1 to 3 owned by the passengers 1 to 3 as the customers, the portable terminal 4 owned by the driver, and the shared vehicles 1 to 2 and transmits the received information to the server control unit 210A. To communicate.
  • the server communication device 220A receives an application for sharing with the customer and the mobile terminal 1 to 4 together with the customer's ID, and transmits information on dispatch to the application.
  • the server communication device 220A receives, with the shared vehicles 1 and 2, images including the faces of the passengers 1 to 3 while riding, and information (vehicle state information) on the states and running of the shared vehicles 1 and 2.
  • the server control unit 210A When the server control unit 210A receives the IDs of the passengers 1 to 3 received by the server communication device 220A and the request for sharing, the customer who has applied for the request to the conformity determination device 100A has what attributes. Inquire about what attributes are suitable for carpooling with other customers. If it is determined that the passenger 1 and the passenger 2 are compatible, the server control unit 210A causes the operation planning device 240 to create an operation plan of the shared vehicle CR on which the passenger 1 and the passenger 2 ride. The operation plan device 240 causes the fare calculation device 270 to calculate the fares for the passenger 1 and the passenger 2 in such an operation plan. The server control section 210A transmits the operation plan and the fare to the portable terminals 1 and 2 of the passenger 1 and the passenger 2 respectively.
  • the server control unit 210A includes a known processing unit and memory, general-purpose software, an application for the vehicle allocation server 200A, and the like.
  • the server communication device 220A has a function of a known network interface that can be connected to the Internet or the like.
  • the shared vehicles 1 and 2 include various ECUs (Electronic Control Units) and sensor groups (ECUs 1 to 3 and vehicle sensors 1 to 3 in this drawing), and CAN (Car Area Network) and the like. And a vehicle data transmission device CRS connected by a communication bus.
  • the sensor group includes, for example, an acceleration sensor, a vehicle speed sensor, a steering angle sensor, a steering torque sensor, a vibration sensor, a yaw rate sensor, a gyroscope, an inter-vehicle distance sensor, a camera, a LIDAR, a position sensor (GPS: Global Positioning System), and a road sign sensor.
  • an acceleration sensor for example, an acceleration sensor, a vehicle speed sensor, a steering angle sensor, a steering torque sensor, a vibration sensor, a yaw rate sensor, a gyroscope, an inter-vehicle distance sensor, a camera, a LIDAR, a position sensor (GPS: Global Positioning System), and a road sign sensor.
  • GPS Global Positioning System
  • the ECU includes, for example, an auto cruise ECU, an engine control ECU, a steering control ECU, a brake control ECU, and the like as those related to the main control system.
  • Each ECU is provided with an actuator (actuators 1 to 3 in this figure) corresponding to a motor, a solenoid, and the like, which generates an operation.
  • the engine control ECU corresponds to the engine
  • the steering control ECU corresponds to the steering
  • the brake control ECU corresponds to the brake.
  • the steering control ECU controls steering as an actuator in accordance with a steering angle detected by a steering angle sensor that is one of vehicle sensors.
  • an automatic driving ECU is provided.
  • the automatic driving ECUs cooperate to realize automatic driving by instructing the other ECUs on various control amounts and the like.
  • the vehicle data transmission device CRS communicates with an ECU or the like via a communication bus and controls the whole, and an infrared camera that captures images of the faces of the passengers 1 and 2 under the control of the control unit CR1.
  • the vehicle includes a CR2, a camera CR3, and a transmission unit CR4 that transmits image data captured via a network and vehicle state data obtained from various ECUs / sensors to the vehicle allocation server 200A.
  • the infrared cameras CR2 and CR3 capture an image of a customer or a group of passengers in the shared vehicles 1-2 in order to acquire information on the respective biological signals.
  • the biological signal includes at least a vital sign.
  • Vital signs are evidence of living as an organism, such as blood pressure, pulse rate, respiratory rate, body temperature, sweating, pupil reflex (light reflex), and brain waves.
  • the biological information is obtained from an image captured by the dispatch server 200A as described later.
  • the measuring device for measuring these may be provided on a seat surface of a seat where a passenger sits, a backrest, a headrest, an armrest, or the like, and may directly or indirectly measure them.In this embodiment, an infrared camera is used.
  • the CR2 and the camera CR3 irradiate electromagnetic waves of visible light / invisible light wavelength to a customer under natural light or a passenger, and capture a biological signal by imaging the reflected light.
  • the adaptability determination device 100A includes an image acquisition unit 10 that acquires image data, and an attribute estimation unit 20A that estimates attributes of the passengers 1 to 3 based on the images acquired by the image acquisition unit 10.
  • a customer-specific attribute storage unit 40 that stores the attributes estimated by the attribute estimating unit 20A and the information on the IDs of the passengers 1 and 2 in association with each other, and determines the degree of conformity between customers based on the attributes estimated by the attribute estimating unit 20A.
  • the vehicle includes a determination unit for determining the degree of conformity 30, a determination result output unit 50 that outputs the determination result of the degree of determination unit 30, and a vehicle state acquisition unit 60 that acquires vehicle state data from the server control unit 210 ⁇ / b> A.
  • the image acquisition unit 10 acquires a face image captured by the infrared camera CR2 or the camera CR3 while actually using the shared vehicle CR.
  • the vehicle state acquisition unit 60 acquires vehicle state data (vehicle state information) obtained from various ECUs / sensors of the shared vehicle CR via the server control unit 210A.
  • the vehicle state acquisition unit 60 acquires vehicle state data while the passenger 1 and the passenger 2 are actually using the shared vehicle CR.
  • the attribute estimation unit 20A detects a human face from an image, and estimates gender, age, facial expression, driving preference, and the like from the face.
  • the attribute estimating unit 20A includes: a face recognizing unit 21 for recognizing a face in an image; a heart rate measuring unit 25 for measuring a heart rate based on the face image; a facial expression analyzing unit 26 for analyzing a facial expression based on the face image; A mental state estimating section 27 for estimating a mental state based on the results of the number measuring section 25 and the facial expression analyzing section 26, and a vehicle state data acquired by the vehicle state acquiring section 60 and a mental state estimated by the mental state estimating section 27. It has a driving preference determining unit 28 that determines the driving preference of the passenger 1 and the passenger 2 based on the driving preference.
  • the heart rate measurement unit 25 measures each heart rate as biological information based on a cycle obtained from a temporal change in luminance in a specific area of each face of the passenger 1 and the passenger 2 extracted from the image.
  • the facial expression analyzing unit 26 compares the acquired facial image with the feature amount of the facial expression obtained in advance, and analyzes whether the passenger 1 and the passenger 2 have an uneasy facial expression or a happy facial expression. .
  • the mental state estimating unit 27 determines whether the mental state of the passenger 1 and the passenger 2 at that time is nervous. Or whether they are in a relaxed state.
  • the mental state estimating unit 27 estimates that, for example, the heart rate is rapidly increased and the person is in a nervous state when a fear expression is given.
  • the driving preference determination unit 28 comprehensively determines the driving preference such as what kind of driving method the passengers 1 and 2 prefer based on the vehicle state data and the biological information such as heart rate and the mental state. For example, based on the result of the expression analysis of the face image during the ride performed by the expression analysis unit 26, the result of the heart rate performed by the heart rate measurement unit 25, and the inter-vehicle distance and the traveling speed acquired as the vehicle state data, the information is comprehensively obtained. Determine your driving preferences. For example, when a passenger has a short inter-vehicle distance, his face image can always read a nervous expression, and when his heart rate is fast, the passenger is stressed by the short inter-vehicle distance. It is determined that the driver has the driving preference to feel.
  • the driving preference determination unit 28 may be a person who easily appears in facial expressions or a person who hardly appears in facial expressions depending on the passenger, and the determination method is preferably performed according to the passenger, and may be determined by causal relationship analysis. It may be one that gradually adapts, for example, by learning using artificial intelligence.
  • the customer-specific attribute storage unit 40 stores such driving preferences as attributes for each customer, and is used when determining the degree of suitability for the next use application.
  • the suitability determination unit 30 determines the suitability between the customers including the driving preference. In this way, by determining the degree of conformity based on the customer's driving preference estimated from the customer's biological information and mental state and the vehicle state information of the riding vehicle, the customer with the driving preference matches, I can move comfortably.
  • the suitability determination device 100A receives the image data including the face image, the customer ID, and the vehicle state data via the server control unit 210A.
  • the attribute estimating unit 20A of the suitability determination apparatus 100A estimates a customer attribute included in the image data based on the image data.
  • FIG. 11 shows the processing of the attribute estimating unit 20A.
  • the face recognizing unit 21 of the attribute estimating unit 20A recognizes an organ such as an eye, a nose and a mouth using the feature amount extracted from the image, and recognizes a human face using an AI such as a multilayer neural network.
  • the heart rate measurement unit 25 measures a heart rate from the image data.
  • the driving preference determination unit 28 When the heart rate is equal to or higher than the allowable state, that is, when it is estimated that the heart rate is considerably nervous, the driving preference determination unit 28 generates a nervous state from the vehicle state data at the same time or a little before in S606. Estimate the factors. For example, when the passenger is in a nervous state, such as the inter-vehicle distance obtained from the inter-vehicle distance sensor, the traveling speed obtained from the speed sensor, the degree of acceleration / deceleration obtained from the acceleration sensor, and the handling obtained from the steering torque sensor. Select factors with high correlation.
  • the driving preference determination unit 28 determines, among the factors having a high correlation, the permissible value of each factor, that is, the preferred vehicle state (driving preference) that makes the passenger calm. For example, for a passenger who becomes nervous when the inter-vehicle distance is 5 meters or less, the allowable value of the inter-vehicle distance is set to 10 m or more, and for a passenger who becomes tensed when the traveling speed becomes 50 Km / hour or more, And the allowable value of the traveling speed is set to 40 km / h or less.
  • the attribute estimating unit 20A determines which type of the predetermined driving preference the allowable value of the factor belongs to, as described above, and determines the attribute of the passenger.
  • the allowable value of the traveling speed is 40 Km / hour and the allowable value of the inter-vehicle distance is 10 meters, it belongs to the safe driving type, and conversely, the allowable value of the inter-vehicle speed is 70 km / h or more and the allowable value of the inter-vehicle distance is 5 meters. , Belonging to a sports driving type.
  • the customer-specific attribute storage unit 40 associates and stores the driving attribute, which is the estimated attribute, with the ID of the customer whose attribute is estimated in S504.
  • the suitability determination apparatus 100A confirms whether or not there is another image data from the server control unit 210A based on the status of the customer's use application, and whether or not all the image data has been distributed. If there is still image data to be estimated, S500 to S504 are repeated. In this way, the driving preferences for all the customers on board are stored in the customer-specific attribute storage unit 40. Based on the stored driving preferences, the next time the customer desires to share a vehicle, the degree of matching between the customers is calculated from the customers stored in the customer-specific attribute storage unit 40.
  • the driving preference is estimated based on the heartbeat data as the biological information.
  • the driving preference may be determined based on the facial expression or emotion.
  • the face recognizing unit 21 of the attribute estimating unit 20A recognizes an organ such as an eye, a nose and a mouth using the feature amount extracted from the image, and recognizes a human face using an AI such as a multilayer neural network.
  • the facial expression analysis unit 26 analyzes the passenger's facial expression and emotion from the image data. It is checked whether the passenger is in a nervous state from the expression and emotion (S704). If not, S700 to S702 are repeated.
  • Steps S708 to S710 are the same as steps S608 to S610 described above, and a description thereof will be omitted.
  • the passenger 2 makes an application for a shared ride to the dispatch server 200A in S800.
  • Passenger 1 makes an application for a shared ride to vehicle allocation server 200A in S802.
  • Each request application includes travel information indicating the desired departure location / time and arrival location / time, and face images of one's own or the entire group.
  • step S804 when accepting the use application of the passenger 1, the vehicle allocation server 200A checks whether or not there is a use application having movement information close to the movement information of the passenger 1, and performs matching with the passenger 2. If the passengers 1 and 2 match from the viewpoint of the movement information, the dispatch server 200A determines in step S806 that the passengers 1 and 2 obtained in the previous use and stored in the customer-specific attribute storage unit 40. The attribute of the driving preference is read. When the respective driving preferences are read, the dispatch server 200A calculates the degree of conformity from the viewpoint of the driving preferences of the passenger 1 and the passenger 2 in S808, and determines whether or not both are suitable for the carpool.
  • the dispatch server 200A creates an operation plan in S810, and answers dispatch information to the passenger 1 and the passenger 2 in S812. Passenger 2 receiving the answer makes an answer to the dispatch information in S814, and passenger 1 makes an answer to the dispatch information in S816.
  • the vehicle allocation server 200A makes an answer as to whether or not the carpooling has been established or not based on the answer of both. In this way, by determining the degree of conformity based on the customer's driving preference estimated from the customer's biological information and mental state and the vehicle state information of the riding vehicle, the customer with the driving preference matches, I can move comfortably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

相乗りを希望する顧客が快適に移動できるようにする。 相乗りを希望する顧客に相乗り車両を提供する相乗りシステム１において、相乗り車両ＣＲに同乗する顧客同士の適合度を判定する適合度判定装置１００を提供する。適合度判定装置１００は、顧客の顔を含む画像を取得する画像取得部１０と、画像取得部が取得した画像に基づき、顧客の属性を推定する属性推定部２０と、属性推定部が推定した属性に基づき、顧客同士の適合度を判定する適合度判定部３０とを備える。

Description

適合度判定装置および適合度判定方法
　本発明は、相乗り車両を提供する相乗りシステムに用いられる適合度判定装置および適合度判定方法に関する。
　従来から、同乗者の属性などから自分に適合する相乗り相手を検索する技術が提案されている。例えば、特許文献１は、相乗りを行う相手を、人物の属性に基づいて検索することができる同乗者検索装置を開示する。この同乗者検索装置は、一の利用者からの要求に応じて、車両に同乗できる他の利用者を検索する。この装置は、利用者の移動に関する複数の要素からなり、出発地および目的地を要素として含む移動情報と、利用者の人物属性に関する複数の要素からなる属性情報を、当該利用者と関連付けて記憶する利用者情報記憶手段と、利用者から送信された検索要求を取得する検索要求取得手段と、検索要求を送信した利用者に対応する移動情報および属性情報と、他の利用者に対応する移動情報および属性情報を用いて、検索要求を送信した利用者と他の利用者との間の適合度を算出する適合度算出手段と、算出した適合度に基づいて、同乗者の候補を表す情報である候補情報を生成し、検索要求を送信した利用者に提示する情報提供手段と、を有する。
　また、特許文献２は、抵抗感の少ない相乗り者を検索することが可能な車両の相乗り者検索システムを開示する。この相乗り者検索システムは、車両を運転する顧客Ａ、及び顧客Ａの車両に相乗りする顧客Ｂによる入力操作を受け付ける顧客用端末と、各顧客用端末とネットワークを介して接続された顧客サーバを備える。顧客サーバは、各顧客の基本属性に関するデータ、購買行動に関するデータ、及び地理条件に関するデータを記憶する顧客データベースと、店舗に車両で来店する顧客Ａに対し、顧客データベースを参照してこの顧客Ａの顧客データと合致度が高い顧客データを有する複数の顧客Ｂを選出する顧客データ検索部を有する。そして、選出した顧客Ｂについての顧客データを顧客Ａの顧客用端末に送信する。従って、顧客Ａは自身と相性の良い顧客Ｂを検索することが可能となる。
　また、顔などが写った画像に基づいて、その人物やグループの属性、生体情報や表情を抽出したり、判定したりする技術が提案されている。たとえば、特許文献３は、入力顔画像からその人の性別や年齢層などの属性を正確に識別する人物属性識別装置を開示する。この人物属性識別装置は、多数の学習用顔画像を性別及び年齢層にグループ化し、このグループ化した学習用顔画像を各グループと対応させて記憶した属性記憶部と、属性毎にグループ化された学習用顔画像ベクトルの集合をグループ固有の部分空間に展開し各グループ毎の固有ベクトルを生成する部分空間生成部と、この部分空間生成部が生成した各グループ毎の固有ベクトルを未知の入力顔画像のグループ判定を行うためのデータとして記憶する判定用記憶部と、この判定用記憶部のデータを参照して未知の入力顔画像と各グループとの類似度を判定するとともに判定したグループと属性記憶部に記憶した内容から入力顔画像の属性を識別する類似度判定部とからなる。
　また、特許文献４は、複数の人物が撮像された場面画像から、複数の人物によって形成されるグループのグループ属性を推定するグループ属性推定方法を開示する。このグループ属性推定方法は、店舗内が撮像された場面画像から、その場面画像に撮像された顧客を抽出する人物抽出処理を行い、場面画像データを用い、抽出された複数の顧客から同一のグループを形成する複数の顧客を推定するグループ推定処理を行う。次に、このグループ属性推定方法は、場面画像を用いて、同一のグループを形成すると推定された顧客毎に、その人物属性を推定する人物属性推定処理を行い、顧客毎に推定された人物属性に基づき、グループ属性を推定するグループ属性推定処理を行う。
　また、特許文献５は、被験者の顔の撮像画像から呼吸数や心拍数等の生体活動の状態を計測する方法において、被験者の移動や体動の影響を排除して精度よく計測するための生体活動計測装置を開示する。この生体活動計測装置は、撮像装置で撮像された顔画像から顔面の特定領域の三次元座標を検出する特定領域検出部と、特定領域の平均輝度を算出する輝度取得部と、特定領域を構成する各特徴点の三次元座標に基づき、被験者の顔向きと特定領域の位置とを体動成分として検出する顔向き・位置検出部と、顔向き・位置検出部で検出した体動成分に基づき、輝度取得部で算出した特定領域の平均輝度を正面顔に相当する輝度に正規化補正する輝度補正部と、を備える。これにより、処理対象の顔画像から検出した特定領域の輝度における体動成分の影響を除外する。
　また、特許文献６は、顔面全体にわたって筋肉の微小な動きを計測し、その時間的変化をパターン化し、そのパターンに基づいて、感情を表す表情の認識をおこない精度の良い表情認識装置を開示する。この表情認識装置は、表皮の動きを測定するモジュールとしてオプティカルフロー計算器を用い、表皮の動きの時間的変化のパターンを１次および２次モーメントへ変換し、標準表情画像における特徴ベクトルを定め、認識モードにおいて利用するように構成する。
特開２０１４－１４６２６１号公報 特開２０１５－０７６０２８号公報 特開平１１－１７５７２４号公報 特開２００４－０５４３７６号公報 特開２０１１－１３０９９６号公報 特開平０４－３４２０７８号公報
　近年、自動運転や運転支援のシステムが車両に採用されてきており、今後益々増加するものと考えられる。さらに、そのようなシステムにより運転される車両に複数人で乗り合い乗車するケースも増加していくものと推測されている。このような複数の人が一緒に乗り合わす車両などにおいては、様々な属性の人やグループが同じ車両に同乗することになるため、必ずしも快適ではない状況が生じ得る。
　本発明は、かかる事情を鑑みて考案されたものであり、相乗り車両を提供する相乗りシステムにおいて、相乗りを希望する顧客が快適に移動できるようにする適合度判定装置および適合度判定方法を提供する。
　上記課題を解決するために、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、顧客の顔を含む画像を取得する画像取得部と、画像取得部が取得した画像に基づき、顧客の属性を推定する属性推定部と、属性推定部が推定した属性に基づき、顧客同士の適合度を判定する適合度判定部と、を備える適合度判定装置が提供される。
　これによれば、相乗り車両を提供する相乗りシステムにおいて、相乗りする顧客同士の適合度を判定することで、顧客が快適に移動できるようにする適合度判定装置を提供することができる。
　さらに、属性推定部は、画像から顧客の心的状態を推定し、適合度判定部は、心的状態に基づき、顧客同士の適合度を判定することを特徴としてもよい。
　これによれば、顧客の心的状態に基づき適合度を判定することで、相乗り時の心理状態に合った移動が可能となる。
　さらに、属性推定部は、画像に含まれている複数の顔に基づき、画像に写る顧客グループのグループ属性を推定し、適合度判定部は、グループ属性に基づき、顧客同士の適合度を判定することを特徴としてもよい。
　これによれば、顧客グループのグループ属性に基づき適合度を判定することで、相乗り時のグループに合った移動が可能となる。
　さらに、属性推定部は、画像に含まれている複数の顔に基づき、画像に写る顧客の人数を推定し、適合度判定部は、人数に基づき、顧客同士の適合度を判定することを特徴としてもよい。
　これによれば、顧客グループの人数に基づき適合度を判定することで、相乗り時のグループ人数に合った移動が可能となる。
　さらに、相乗り車両の車両状態情報を取得する車両状態取得部をさらに備え、画像取得部は、相乗り車両から送信された顧客の画像を取得し、属性推定部は、その画像から生体情報を抽出し、生体情報と車両状態情報とから顧客の運転嗜好を推定し、適合度判定部は、運転嗜好に基づいて、顧客同士の適合度を判定することを特徴としてもよい。
　これによれば、顧客の生体情報と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため快適に移動できる。
　さらに、相乗り車両の車両状態情報を取得する車両状態取得部をさらに備え、画像取得部は、相乗り車両から送信された顧客の画像を取得し、属性推定部は、その画像から心的状態を推定し、心的状態と車両状態情報とから顧客の運転嗜好を推定し、適合度判定部は、運転嗜好に基づいて、顧客同士の適合度を判定することを特徴としてもよい。
　これによれば、顧客の心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため快適に移動できる。
　さらに、画像取得部は、顧客が相乗りシステムの登録時に撮像される顔画像を取得することを特徴としてもよい。
　これによれば、相乗りシステムの登録時の顔画像に基づき顧客の属性を推定することで、相乗り車両を簡便に利用できる。
　さらに、画像取得部は、顧客が相乗りシステムを利用する時に送信される顔画像を取得することを特徴としてもよい。
　これによれば、相乗り車両を利用する時の顔画像に基づき顧客の属性を推定することで、相乗り時の属性に基づき適合度を判定することができる。
　上記課題を解決するために、相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、顧客の顔を含む画像を取得し、画像に基づき、顧客の属性を推定し、属性に基づき、顧客同士の適合度を判定する適合度判定方法が提供される。
　これによれば、相乗り車両を提供する相乗りシステムにおいて、相乗りする顧客同士の適合度を判定することで、顧客が快適に移動できるようにする適合度判定方法を提供することができる。
　以上説明したように、本発明によれば、相乗り車両を提供する相乗りシステムにおいて、相乗りを希望する顧客が快適に移動できるようにする適合度判定装置および適合度判定方法を提供することができる。
本発明に係る第一実施例の相乗りシステムの全体のブロック構成図。 本発明に係る第一実施例の適合度判定装置のブロック構成図。 本発明に係る第一実施例の適合度判定装置の処理のフローチャート。 本発明に係る第一実施例の属性推定部の属性推定処理のフローチャート。 本発明に係る第一実施例の相乗りシステムのシーケンス図（乗客と乗客）。 本発明に係る第一実施例の相乗りシステムのシーケンス図（運転者と乗客）。 本発明に係る第二実施例の相乗りシステムの全体のブロック構成図。 本発明に係る第二実施例の適合度判定装置のブロック構成図。 本発明に係る第二実施例の車両のブロック構成図。 本発明に係る第二実施例の適合度判定装置の処理のフローチャート。 本発明に係る第二実施例の属性推定部の属性推定処理のフローチャート。 本発明に係る第二実施例の変形例の属性推定部の属性推定処理のフローチャート。 本発明に係る第二実施例の相乗りシステムのシーケンス図（乗客と乗客）。
　以下では、図面を参照しながら、本発明に係る各実施例について説明する。
＜第一実施例＞
　図１および図２を参照し、本実施例における適合度判定装置１００を説明する。適合度判定装置１００は、相乗りサービスを提供する相乗りシステム１に使用される。相乗りサービスは、相乗りを希望する顧客（乗客および運転者）に相乗り車両ＣＲを提供するサービスである。相乗りシステム１は、運転者が相乗り相手の乗客を募集したり、乗客が個別に相乗り車両（自動運転を行う無人の自動運転車両なども含む）の利用を希望したりした場合に、運行情報などが合致する乗客を探して、配車を支援する。相乗りシステム１は、乗客１～３や運転者からの相乗り希望に基づいて、相乗り車両・相乗り相手・運行スケジュール等を決定する。
　相乗りシステム１は、適合度判定装置１００を含む配車サーバ２００と、配車サーバ２００に会員の情報を入力する会員データ入力装置３００と、配車サーバ２００と無線ネットワークを介して接続される相乗り車両１～２および乗客１～３や運転者が有する携帯端末１～４とから構成される。
　配車サーバ２００は、適合度判定装置１００と、適合度判定装置１００と情報をやり取りすると共に配車サーバ２００の全体的な制御を行うサーバ制御部２１０と、携帯端末１～４ならびに相乗り車両１～２と通信を行うサーバ通信装置２２０と、会員データ入力装置３００から入力される会員情報を格納する会員データベース２３０と、相乗り車両１～２などの相乗り車両の情報を格納する車両データベース２５０および相乗りサービスの提供領域を含む地図データベース２６０と、車両データベース２５０および地図データベース２６０に基づいて運行計画を作成する運行計画装置２４０と、相乗りサービスの料金算定を行う料金算定装置２７０とを備える。
　サーバ通信装置２２０は、顧客である乗客１～３がそれぞれ保有する携帯端末１～３や運転者が保有する携帯端末４と通信を行い、受信した情報をサーバ制御部２１０に伝達する。サーバ通信装置２２０は、携帯端末１～４との間では、顧客のＩＤ（識別番号など）と共に相乗り希望の申請を受信し、その申請に対する配車に関する情報を送信する。
　サーバ制御部２１０は、サーバ通信装置２２０が受信した顧客である乗客１～３のＩＤと相乗り希望の申請を受け付けると、会員データ入力装置３００に照合し、相乗りシステム１の正規の会員であるか否かを確認する。乗客１～３が正規の会員であった場合、サーバ制御部２１０は、適合度判定装置１００に対して希望申請のあった顧客がどのような属性を有し、どのような属性を有する他の顧客との相乗りが適合するかについて問い合わせる。
　たとえば、サーバ制御部２１０は、乗客１と乗客２の希望申請を受け付けた場合、乗客１と乗客２が相乗りする適合性について判断する。適合性があると判断した場合、サーバ制御部２１０は、運行計画装置２４０に対して、利用場所や利用日時など観点から希望申請を認めてよいか否かを問い合わせる。運行計画装置２４０は、車両データベース２５０を参照し、その利用場所や利用日時で配車できる相乗り車両１～２があるか否か、また地図データベース２６０を参照し乗客１と乗客２の利用経路において問題がないかなどを判定し、相乗り車両１～２の運行計画を作成する。
　たとえば、乗客１と乗客２の相乗り区間が総走行距離の相当割合あるか、一方の乗客が他方の乗客に対して極端な遠回りになることがないような運行計画を作成する。また、運行計画装置２４０は、料金算定装置２７０に対してそのような運行計画における乗客１と乗客２の料金を算定させる。サーバ制御部２１０は、その運行計画と料金を乗客１と乗客２のそれぞれの携帯端末１～２に送信する。
　サーバ制御部２１０は、公知の演算処理装置やメモリ、汎用のソフトウェアや配車サーバ２００用のアプリケーションなどから構成される。サーバ通信装置２２０は、インターネットなどに接続できる公知のネットワークインターフェースの機能を有する。会員データベース２３０、車両データベース２５０および地図データベース２６０は、大容量のメモリやストレージ装置から構成される。会員データ入力装置３００は、公知の演算処理装置やメモリ、汎用のソフトウェアや会員データ入力装置３００用のアプリケーションなどから構成され、さらにカメラ３１０を有することが好ましい。会員データ入力装置３００は、スマートフォンやタブレット端末などであってもよい。携帯端末１～３は、スマートフォンやタブレット端末などであり、演算処理機能、通信機能、入出力機能、撮像機能、位置検出機能などスマートフォンなどが典型的に有する機能を有する。運転者用の携帯端末４は、運転者のスマートフォンであってもよいし、相乗り車両１に設置され、スマートフォンと同等の機能を備える車載器であってもよい。相乗り車両１～２については、後述する。
　適合度判定装置１００は、図２に示すように、サーバ制御部２１０から乗客１～３に関する画像データを取得する画像取得部１０と、画像取得部１０が取得した画像に基づいて乗客１～３の属性を推定する属性推定部２０と、属性推定部２０が推定した属性と乗客１～３のＩＤに関する情報とを関連付けて記憶する顧客別属性記憶部４０と、属性推定部２０が推定した属性に基づいて顧客同士の適合度を判定する適合度判定部３０と、適合度判定部３０の判定結果を出力する判定結果出力部５０と、を備える。
　画像取得部１０は、乗客１～３の属性が最も表れる顔が写った画像を取得することが好ましい。画像取得部１０は、会員データ入力装置３００に格納されている乗客１～３が相乗りシステム１の登録時に撮像された顔画像を取得してもよい。これにより、乗客１～３は利用申請時に画像を提供する必要がないので、相乗り車両を簡便に利用できる。また、画像取得部１０は、相乗りシステム１を利用する時（利用申請時）に撮像されて、配車サーバ２００に送信された顔を含む画像を取得してもよい。これによれば、相乗り車両を利用する時の顔画像に基づき顧客の属性を推定することで、相乗り時の属性または相乗り時に近い時期の属性に基づき適合度を判定することができる。
　属性推定部２０は、画像から人間の顔を検出し、その顔から性別、年齢、表情などを推定する。属性推定部２０は、画像中の顔を認識する顔認識部２１と、画像中の特徴量を抽出する特徴量抽出部２２と、属性別に特徴量を記憶する属性別特徴量記憶部２３と、特徴量を比較する特徴量比較部２４とを有する。顔認識部２１は、目鼻口の位置や輪郭を利用して人間の顔を認識する。特徴量抽出部２２は、顔の部分や顔以外の身体的特徴における特徴量を抽出する。たとえば、特徴量抽出部２２は、顔画像から眉や目の端点や輪郭点、鼻と口の周囲の特徴点を抽出し、特徴点の間の距離や、これら特徴点で包囲される領域の画素の特徴の分布を解析し、乗客の属性を解析する。
　なお、本明細書では、属性とは、性別や年齢などを表すだけでなく、心理状態（心的状態）・嗜好・特徴なども含めるものとし、人を分類するときの分類基準とみなしても良い。心理状態とは、不安、怒り、悲しみ、恐れ、驚き、嫌悪、喜びなどをいう。嗜好は、車両の状態や運転の仕方に対する嗜好であり、加速／減速の程度、走行速度、ハンドルの切り方などに対する嗜好である。乗客１～３などの快／不快、リラックス／緊張などの心理状態は、嗜好の類似性／異質性と関連し、これらの感情や状態を引き起こす要因となる場合がある。
　属性別特徴量記憶部２３は、このような属性に対する典型的な特徴量をテンプレートとして記憶する。たとえば、性別や年代により顔部分の特徴量は異なることが知られている。たとえば、性別に関して以下のような特徴量により判定できる。なお、これらの複数を組み合わせて総合的に判断してもよい。
　　・「目頭と目尻の長さ」と「顔の横幅」との比率に基づく
　　・「目頭と目尻の長さ」と「目の高さ」との比率に基づく
　　・性別／年齢別の平均顔との比較
　　・器官（目・鼻・口）や顔輪郭などのポイントの各距離や形状比率などを比較
　　・ガボールウェーブレット変換の結果
　また、心理状態により、顔の眉や口などの形や位置関係などの特徴量が異なることも知られており、これらの特徴量に基づき推定される心理状態により属性を判定してもよい。このように、顧客の心的状態に基づき適合度を判定することで、相乗り時の心理状態に合った移動が可能となる。また、属性別特徴量記憶部２３は、深層学習の技術により乗客１～３個別の表情を学習させて、属性をより詳細に分類できるようにしてもよい。特徴量比較部２４は、特徴量抽出部２２が抽出した画像の特徴量と、属性別特徴量記憶部２３が記憶する特徴量とを比較し、その画像が記憶した特徴量に最も類似したり、閾値を比較したりすることにより選定し、乗客１～３の性別、年齢、表情などを推定する。
　また、属性は、個人だけでなく、複数人の集合であるグループの属性であってもよい。たとえば、グループ属性とは、関係性を示すものとして、カップル、友達、夫婦、子連れファミリなど、心的状態を示すものとして、落ちつているグループ、はしゃいでいるグループなど、運転の嗜好を示すものとして、スポーティな走り、ノロノロとした安全運転、追越は余りしないなど、そして、グループに属する人数などを言う。グループ属性は、属する個人の属性、年齢、年齢差、互いの顔の距離、互いの体の距離などのパラメータに基づいて、関係性を推定する。たとえば、グループ属性は、以下の判定基準を組合せて判定される。
　　　人数：　　　　２人＝友達、カップル、夫婦のいずれか
　　　関係：　　　　同性同士＝友達、異性＝夫婦またはカップル
　　　年齢：　　　　１８才以下＝カップル
　　　年齢差：　　　１０才以上＝夫婦
　　　顔の距離：　　近い＝カップル、普通以上＝夫婦
　　　体の距離：　　近い＝カップル、普通以上＝夫婦
　　　笑顔の度合：　微笑み以下＝夫婦
　顧客別属性記憶部４０は、属性推定部２０が推定した属性とサーバ制御部２１０から受け付ける乗客１～３のＩＤに関する情報とを関連付けて記憶する。
　適合度判定部３０は、顧客別属性記憶部４０に記憶された、利用申請している乗客１～３の属性を読み取り、乗客１～３が相乗り車両１～２に乗り合わせるための適合度を判断する。適合度判定部３０は、属性の類似性や相違性を点数化するなどして、適合度の高低を算出してもよい。高い適合度とは、同じ乗り合い車両に同乗しても不愉快や不快になりにくいという意味であり、相性が良い関係性を言う。不快にならない相手とは、属性が同じ／類似している関係を有することが多い。たとえば、同性である、同年代である、同じ心的状態（落ち込んでいる、テンション高い等）である、同じような感性である（髪型、メークなどの類似性）、同じような関係のグループである（カップル、友達、夫婦、子連れファミリなど）、車両の運転状態に対して同じような感覚である（ノロノロ運転好み、キビキビ運転好みなど）、などが挙げられる。
　また、属性が異なっても、たとえば、老夫婦と若いカップル、老夫婦と子供などの組合せは、適合度が高いと考えてもよい。適合度判定部３０は、属性の各項目で優先順位を付けてもよい。たとえば、適合度判定部３０は、第１優先が「同性」、第２優先が「同年代」などの場合、まず同性の相手を探索し、複数の同性の相手が見つかった場合には、さらに絞り込むために年齢が近い相手を探索する。このように、顧客グループのグループ属性に基づき適合度を判定することで、相乗り時のグループに合った移動が可能となる。さらに、顧客グループの人数に基づき適合度を判定することで、相乗り時のグループ人数に合った移動が可能となる。
　判定結果出力部５０は、適合度判定部３０が行った判定結果をサーバ制御部２１０に出力する。その判定結果を受信したサーバ制御部２１０は、サーバ通信装置２２０を介して、適合度が低い場合にはサーバ通信装置２２０を介して利用できる相乗り車両が無い旨を携帯端末１～４に送信し、適合度が高い場合には、運行計画装置２４０により作成された配車情報を携帯端末１～４に送信する。
　図３および図４を参照し、適合度判定装置１００における処理を説明する。なお、フローチャートにおけるＳはステップを意味する。適合度判定装置１００は、Ｓ１００において、サーバ制御部２１０を介して顔画像を含む画像データと顧客のＩＤを受信する。適合度判定装置１００の属性推定部２０は、Ｓ１０２において、画像データに基づき画像データに含まれる顧客の属性を推定する。図４は、属性推定部２０の処理を示す。属性推定部２０の顔認識部２１は、Ｓ２００において、目鼻口の位置などを利用して人間の顔を認識する。顔認識部２１は、Ｓ２０２において、画像データに含まれる人間の顔の数を計測し、１人か複数人かを確認する。
　１人である場合、特徴量抽出部２２は、Ｓ２０４において、その１人の顔画像や身体の画像から特徴量を抽出する。特徴量比較部２４は、Ｓ２０６において、抽出した特徴量と属性別特徴量記憶部２３に記憶された属性の特徴量のテンプレートとを比較し、画像に写った人が、どの属性なのか、たとえば性別や年齢について最も近似する属性を選び出す。また、特徴量比較部２４は、Ｓ２０８において、抽出した特徴量と属性別特徴量記憶部２３に記憶された表情の特徴量のテンプレートとを比較し、画像に写った人が、どのような心理状態なのか、たとえば不安な表情をしているのか、喜んだ表情をしているのかなどについて最も近似する表情を選び出す。属性推定部２０は、Ｓ２１０において、上述した比較結果から、画像に写った人がそのような属性か、たとえば２０歳台の男性で元気そうな表情しているといったことを推定する。
　画像データに含まれるのが複数人すなわちグループである場合、特徴量抽出部２２は、Ｓ２１２において、そのグループの複数の顔画像や身体の画像から特徴量を抽出する。特徴量比較部２４は、Ｓ２１２において、抽出したグループの特徴量と属性別特徴量記憶部２３に記憶されたグループの特徴量のテンプレートとを比較し、画像に写ったグループが、どのような属性なのか、たとえばグループの人数や関係性について最も近似する属性を選び出す。そして、属性推定部２０は、１人である場合と同様、グループにおいても、Ｓ２０８とＳ２１０を実行し、これらの比較結果から、画像に写ったグループがそのような属性か、たとえば１０歳台のカップルで楽しそうな表情しているといったことを推定する。
　属性推定部２０の処理が終わると、顧客別属性記憶部４０は、Ｓ１０４において、画像データに基づき推定した属性とその画像データと同時に受信した顧客のＩＤとを記憶する。適合度判定装置１００は、Ｓ１０６において、顧客の利用申請の状況に基づくサーバ制御部２１０からの画像データが他にあるか否か、全員分済んだかを確認する。まだ推定すべき画像データがある場合には、Ｓ１００～Ｓ１０４を繰り返す。もう全員分済んだ場合には、適合度判定部３０は、Ｓ１０８において、顧客別属性記憶部４０に記憶した顧客の中から顧客同士の適合度を算出する。適合度判定部３０は、Ｓ１１０において、算出した適合度の高い顧客同士を、相乗りに適していると判定し、相乗り候補として決定する。判定結果出力部５０は、Ｓ１１２において、サーバ制御部２１０を介して、相乗り候補者の顧客に対して判定した結果を出力する。
　図５を参照し、顧客である乗客１と、乗客１の利用申請における移動情報に近い移動情報を含む利用申請を行った乗客２との適合度の判定の例を説明する。乗客２は、Ｓ３００において、自己の携帯端末２から配車サーバ２００に相乗りの希望申請を行う。乗客１は、Ｓ３０２において、ほぼ同時期に自己の携帯端末１から配車サーバ２００に相乗りの希望申請を行う。それぞれの希望申請には、希望する出発場所／時間および到着場所／時間を示す移動情報と、自分のまたは自分のグループ全員の顔画像とが含まれている。
　配車サーバ２００は、Ｓ３０４において、乗客１の利用申請を受け付けると乗客１の移動情報に近い移動情報を有する利用申請の有無を確認し、乗客２とのマッチングを行う。なお、移動情報が近いとは、希望する出発場所／時間が近くかつ到着場所／時間が近い場合や、一方の出発到着経路内に他方の出発到着経路が含まれ、一方の出発到着時間と他方の出発到着時間が経路上で適切である場合など、様々な場合が考えられる。移動情報の観点から乗客１と乗客２が適合している場合には、配車サーバ２００は、Ｓ３０６において、乗客１と乗客２の顔画像からそれぞれの属性を推定する。属性を推定すると、配車サーバ２００は、Ｓ３０８において、乗客１と乗客２の属性の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。
　適合度が高い場合には、配車サーバ２００は、Ｓ３１０において運行計画を作成し、Ｓ３１２において配車情報を乗客１と乗客２へ回答する。その回答を受けた乗客２は、Ｓ３１４においてその配車情報に対する回答を行い、乗客１は、Ｓ３１６においてその配車情報に対する回答を行う。配車サーバ２００は、Ｓ３１８において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。本図の例は、相乗り車両が、自動運転を行う無人の自動運転車両の場合に適用され得る。
　図６を参照し、顧客である乗客１の利用申請の移動情報と、運転者の乗客募集の申請における移動情報が近い場合の適合度の判定の例を説明する。運転者は、Ｓ４００において自己の携帯端末４または自己の車両の場合は車載器から、配車サーバ２００に自分が運転する相乗り車両への乗客募集の申請を行う。乗客１は、Ｓ４０２において、ほぼ同時期に自己の携帯端末１から配車サーバ２００に相乗りの希望申請を行う。配車サーバ２００は、Ｓ４０４において、乗客１の利用申請を受け付けると乗客１の移動情報に近い移動情報を有する乗客募集の有無を確認し、運転者とのマッチングを行う。なお、運転者の乗客募集は複数の場合もあり得るので、最も近い移動情報を含む乗客募集を選び出す。
　移動情報の観点から乗客１と運転者が適合している場合には、配車サーバ２００は、Ｓ４０６において、乗客１と運転者の顔画像からそれぞれの属性を推定する。属性を推定すると、配車サーバ２００は、Ｓ４０８において、乗客１と運転者の属性の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。適合度が高い場合には、配車サーバ２００は、Ｓ４１０において運行計画を作成し、Ｓ４１２において配車情報を乗客１と運転者へ回答する。その回答を受けた運転者は、Ｓ４１４においてその配車情報に対する回答を行い、乗客１は、Ｓ４１６においてその配車情報に対する回答を行う。配車サーバ２００は、Ｓ４１８において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。
　上述したように、相乗り車両ＣＲを提供する相乗りシステム１において、相乗りする顧客同士や顧客と運転者との適合度を判定することで、顧客が快適に移動できるようにする適合度判定装置１００を提供することができる。
　また、上述したことは、相乗りを希望する顧客に相乗り車両ＣＲを提供する相乗りシステム１において、相乗り車両ＣＲに同乗する顧客同士の適合度を判定する適合度判定方法でもある。この適合度判定方法は、顧客の顔を含む画像を取得し、取得した画像に基づき、画像に写った顧客の属性を推定し、推定した属性に基づき、顧客同士の適合度を判定する方法である。これによれば、相乗り車両ＣＲを提供する相乗りシステム１において、顧客が快適に移動できるようにする適合度判定方法を提供することができる。
＜第二実施例＞
　図７乃至図９を参照し、本実施例における適合度判定装置１００Ａを説明する。なお、重複記載を避けるため、上記実施例と同じ構成要素には同じ符号を付して説明を省略し、異なる点を中心に説明する。適合度判定装置１００Ａは、相乗りサービスを提供する相乗りシステム１Ａに使用される。相乗りシステム１Ａは、適合度判定装置１００Ａを含む配車サーバ２００Ａと、配車サーバ２００Ａに会員の情報を入力する会員データ入力装置３００と、配車サーバ２００Ａと無線ネットワークを介して接続される相乗り車両１～２および乗客１～３や運転者が有する携帯端末１～４とから構成される。
　配車サーバ２００Ａは、適合度判定装置１００Ａと、適合度判定装置１００Ａと情報をやり取りすると共に配車サーバ２００Ａの全体的な制御を行うサーバ制御部２１０Ａと、携帯端末１～４ならびに相乗り車両１～２と通信を行うサーバ通信装置２２０Ａと、会員データ入力装置３００から入力される会員情報を格納する会員データベース２３０と、相乗り車両１～２などの相乗り車両の情報を格納する車両データベース２５０および相乗りサービスの提供領域を含む地図データベース２６０と、車両データベース２５０および地図データベース２６０に基づいて運行計画を作成する運行計画装置２４０と、相乗りサービスの料金算定を行う料金算定装置２７０とを備える。
　サーバ通信装置２２０Ａは、顧客である乗客１～３がそれぞれ保有する携帯端末１～３や運転者が保有する携帯端末４ならびに相乗り車両１～２と通信を行い、受信した情報をサーバ制御部２１０Ａに伝達する。サーバ通信装置２２０Ａは、携帯端末１～４との間では、顧客のＩＤと共に相乗り希望の申請を受信し、その申請に対する配車に関する情報を送信する。サーバ通信装置２２０Ａは、相乗り車両１～２との間では、乗客１～３の乗車中の顔を含む画像や相乗り車両１～２の状態や走行に関する情報（車両状態情報）を受信する。
　サーバ制御部２１０Ａは、サーバ通信装置２２０Ａが受信した乗客１～３のＩＤと相乗り希望の申請を受け付けると、適合度判定装置１００Ａに対して希望申請のあった顧客がどのような属性を有し、どのような属性を有する他の顧客との相乗りが適合するかについて問い合わせる。乗客１と乗客２において適合性があると判断した場合、サーバ制御部２１０Ａは、運行計画装置２４０に対して、乗客１と乗客２が乗車する相乗り車両ＣＲの運行計画を作成させる。運行計画装置２４０は、料金算定装置２７０に対してそのような運行計画における乗客１と乗客２の料金を算定させる。サーバ制御部２１０Ａは、その運行計画と料金を乗客１と乗客２のそれぞれの携帯端末１～２に送信する。
　サーバ制御部２１０Ａは、公知の演算処理装置やメモリ、汎用のソフトウェアや配車サーバ２００Ａ用のアプリケーションなどから構成される。サーバ通信装置２２０Ａは、インターネットなどに接続できる公知のネットワークインターフェースの機能を有する。相乗り車両１～２は、図９に示すように、様々なＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）やセンサ群（本図ではＥＣＵ１～３および車両センサ１～３）と、これらとＣＡＮ（Ｃａｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信バスで接続された車両データ送信装置ＣＲＳとを備える。センサ群は、たとえば、加速度センサ、車速センサ、操舵角センサ、ステアリングトルクセンサ、振動センサ、ヨーレートセンサ、ジャイロスコープ、車間距離センサ、カメラ、ＬＩＤＡＲ、位置センサ（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、道路標識センサ、車載ネットワークなどであり、多数の情報源から目的とする物理量などの情報を取得する。
　ＥＣＵは、たとえば、主制御系統に関連するものとして、オートクルーズＥＣＵ、エンジン制御ＥＣＵ、ステアリング制御ＥＣＵ、ブレーキ制御ＥＣＵなどがある。それぞれのＥＣＵには、モータやソレノイドなどから構成され、動作を発生させるアクチュエータ（本図ではアクチュエータ１～３）が対応して備えられている。たとえば、エンジン制御ＥＣＵにはエンジン、ステアリング制御ＥＣＵにはステアリング、ブレーキ制御ＥＣＵにはブレーキが対応している。たとえば、ステアリング制御ＥＣＵは、車両センサの一つである操舵角センサが検出した操舵角などに応じて、アクチュエータとしてのステアリングを制御する。相乗り車両１～２が自動運転を行う車両である場合、自動運転ＥＣＵが備えられる。自動運転ＥＣＵは、その他のＥＣＵに対して各制御量などを指令することによって、協働して自動運転を実現する。
　車両データ送信装置ＣＲＳは、通信バスを介してＥＣＵなどと通信を行うと共に全体を制御する制御部ＣＲ１と、制御部ＣＲ１の制御の下乗客１と乗客２の顔などの画像を撮像する赤外線カメラＣＲ２およびカメラＣＲ３と、ネットワークを介して撮像した画像データや各種ＥＣＵ／センサから得られる車両状態データを配車サーバ２００Ａに送信する送信部ＣＲ４とを備える。赤外線カメラＣＲ２およびカメラＣＲ３は、それぞれの生体信号の情報を取得するため相乗り車両１～２に乗車している顧客やそのグループを撮像する。
　なお、生体信号は、バイタルサインを少なくとも含むものとする。バイタルサインとは、生物として生きている証拠であり、たとえば血圧、脈拍数、呼吸速度、体温、発汗、瞳孔反射（対光反射）、脳波などである。生体情報は、後述するように、配車サーバ２００Ａで撮像した画像から得られる。これらを測る測定器は、乗客が座る座席の座面、背もたれ、ヘッドレスト、肘掛けなどに設けられ、直接的または間接的にこれらを測定できるものであってもよいが、本実施例では、赤外線カメラＣＲ２とカメラＣＲ３が自然光の下または乗車する顧客に可視光／非可視光の波長の電磁波を照射し、その反射光を撮像することにより生体信号を取得する。
　適合度判定装置１００Ａは、図８に示すように、画像データを取得する画像取得部１０と、画像取得部１０が取得した画像に基づいて乗客１～３の属性を推定する属性推定部２０Ａと、属性推定部２０Ａが推定した属性と乗客１と乗客２のＩＤに関する情報とを関連付けて記憶する顧客別属性記憶部４０と、属性推定部２０Ａが推定した属性に基づいて顧客同士の適合度を判定する適合度判定部３０と、適合度判定部３０の判定結果を出力する判定結果出力部５０と、サーバ制御部２１０Ａから車両状態データを取得する車両状態取得部６０と、を備える。
　画像取得部１０は、実際に相乗り車両ＣＲを利用している最中に赤外線カメラＣＲ２やカメラＣＲ３が撮像した顔画像を取得する。車両状態取得部６０は、サーバ制御部２１０Ａを介して、相乗り車両ＣＲの各種ＥＣＵ／センサから得られる車両状態データ（車両状態情報）を取得する。車両状態取得部６０は、乗客１と乗客２が実際に相乗り車両ＣＲを利用している最中車両状態データを取得する。
　属性推定部２０Ａは、画像から人間の顔を検出し、その顔から性別、年齢、表情、運転嗜好などを推定する。属性推定部２０Ａは、画像中の顔を認識する顔認識部２１と、顔画像に基づき心拍数を計測する心拍数計測部２５と、顔画像に基づき表情を分析する表情分析部２６と、心拍数計測部２５と表情分析部２６の結果に基づき心理状態を推定する心的状態推定部２７と、車両状態取得部６０が取得した車両状態データと心的状態推定部２７が推定した心理状態に基づき乗客１と乗客２の運転嗜好を決定する運転嗜好決定部２８とを有する。
　心拍数計測部２５は、画像から抽出した乗客１と乗客２のそれぞれの顔の特定領域における輝度の時間的変化から得られる周期に基づいて、生体情報としてそれぞれの心拍数を計測する。表情分析部２６は、取得した顔画像と事前に得た表情の特徴量を比較し、乗客１と乗客２が不安な表情をしているのか、喜んだ表情をしているのかなどについて分析する。心的状態推定部２７は、心拍数計測部２５が計測した心拍数と表情分析部２６が分析した結果の表情に基づき、乗客１と乗客２のその時の心理状態が如何なるものか、緊張状態なのか、リラックスしている状態なのかなどについて推定する。心的状態推定部２７は、たとえば、心拍数が急増し、恐怖の表情の時には緊張状態にあると推定する。
　運転嗜好決定部２８は、車両状態データと心拍などの生体情報や心理状態に基づき、乗客１と乗客２がどのような運転の仕方が好きなのかなどの運転嗜好を総合的に決定する。たとえば、表情分析部２６が行った乗車中の顔画像の表情分析の結果、心拍数計測部２５が行った心拍数の結果、および車両状態データとして取得した車間距離や走行速度などから総合的に運転嗜好を決定する。たとえば、ある乗客は、車間距離が短いときに、その顔画像からはいつも緊張している表情が読み取れ、心拍が速くなっているような場合には、その乗客は車間距離が短いことにストレスを感じる運転嗜好を有していると決定する。また、ある乗客は、走行速度が比較的速いときに、その顔画像からはいつも楽しそうな表情が読み取れる場合には、その乗客は走行速度が速いことに喜びを感じる運転嗜好を有していると決定する。運転嗜好決定部２８は、乗客によっては表情に表れやすい人、表情に表れにくい人である場合もあり、その決定方法は、その乗客に合わせて行うことが好ましく、因果関係分析で決定してもよいし、人工知能による学習などで徐々に適合していくものであってよい。
　顧客別属性記憶部４０は、顧客ごとにこのような運転嗜好を属性として記憶し、次回の利用申請時の適合度を判定する際に活用される。適合度判定部３０は、利用申請を受け付けて適合度を判定する際、かかる運転嗜好も含めて顧客同士の適合度を判定する。このように、顧客の生体情報や心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため顧客は快適に移動できる。
　図１０乃至図１２を参照し、適合度判定装置１００Ａにおける処理を説明する。適合度判定装置１００Ａは、Ｓ５００において、サーバ制御部２１０Ａを介して顔画像を含む画像データと顧客のＩＤ、および車両状態データを受信する。適合度判定装置１００Ａの属性推定部２０Ａは、Ｓ５０２において、画像データに基づき画像データに含まれる顧客の属性を推定する。図１１は、属性推定部２０Ａの処理を示す。属性推定部２０Ａの顔認識部２１は、Ｓ６００において、画像から抽出した特徴量を用いて目鼻口などの器官を認識したり、多層ニューラルネットワークなどのＡＩを用いて人間の顔を認識する。心拍数計測部２５は、Ｓ６０２において、画像データから心拍数を計測する。
　心拍数が許容状態か否かを検査し（Ｓ６０４）、心拍数が許容状態以上でない場合、Ｓ６００～Ｓ６０２を繰り返し、心拍数を計測し続ける。心拍数が許容状態以上である場合、すなわち心拍数が相当多く緊張状態であると推測される場合、運転嗜好決定部２８は、Ｓ６０６において、同じ時刻や少し前の車両状態データから緊張状態を引き起こした要因を推定する。たとえば、車間距離センサから得た車間距離、速度センサから得た走行速度、加速度センサから得た加速・減速の程度、ステアリングトルクセンサから得たハンドリングなど、その乗客が緊張状態となっている時と相関関係の高い要因を選び出す。
　運転嗜好決定部２８は、Ｓ６０８において、相関関係の高い要因の中で、各要因の許容値すなわちその乗客にとって平静状態となる好みの車両状態（運転嗜好）を決定する。たとえば、車間距離が５メートル以下になると緊張状態となる乗客に対しては、車間距離の許容値を１０メートル以上としたり、走行速度が５０Ｋｍ／時以上になると緊張状態となる乗客に対しては、走行速度の許容値を４０Ｋｍ／時以下としたりする。属性推定部２０Ａは、Ｓ６１０において、上述したように要因の許容値が予め定めた運転嗜好のどのタイプに属するのかを決定し、その乗客の属性を決定する。たとえば、走行速度の許容値が４０Ｋｍ／時で車間距離の許容値が１０メートルは、安全運転タイプに属し、逆に走行速度の許容値が７０Ｋｍ／時以上で車間距離の許容値が５メートルは、スポーツ運転タイプに属するなどである。
　属性推定部２０Ａの処理が終わると、顧客別属性記憶部４０は、Ｓ５０４において、推定した属性である運転嗜好と属性を推測された顧客のＩＤとを関連付けて記憶する。適合度判定装置１００Ａは、Ｓ５０６において、顧客の利用申請の状況に基づくサーバ制御部２１０Ａからの画像データが他にあるか否か、全員分済んだかを確認する。まだ推定すべき画像データがある場合には、Ｓ５００～Ｓ５０４を繰り返す。このようにして、乗車している顧客全員分の運転嗜好が顧客別属性記憶部４０に記憶される。この記憶された運転嗜好は、顧客が次回、相乗りを希望する時において、顧客別属性記憶部４０に記憶した顧客の中から顧客同士の適合度を算出する。
　なお、Ｓ５０２における属性推定部２０Ａの処理は、生体情報である心拍データに基づき運転嗜好を推定したが、図１２で示すように、表情や感情により運転嗜好を決定してもよい。属性推定部２０Ａの顔認識部２１は、Ｓ７００において、画像から抽出した特徴量を用いて目鼻口などの器官を認識したり、多層ニューラルネットワークなどのＡＩを用いて人間の顔を認識する。表情分析部２６は、Ｓ７０２において、画像データから乗客の表情や感情を分析する。表情や感情から乗客が緊張状態か否かを検査し（Ｓ７０４）、緊張状態でない場合は、Ｓ７００～Ｓ７０２を繰り返す。緊張状態である場合、運転嗜好決定部２８は、Ｓ７０６において、同じ時刻や少し前の車両状態データから緊張状態を引き起こした要因を推定する。以降Ｓ７０８～７１０は、上述したＳ６０８～Ｓ６１０と同じなので説明を省略する。
　図１３を参照し、顧客である乗客１と乗客２の運転嗜好の適合度の判定の例を説明する。乗客２は、Ｓ８００において配車サーバ２００Ａに相乗りの希望申請を行う。乗客１は、Ｓ８０２において配車サーバ２００Ａに相乗りの希望申請を行う。それぞれの希望申請には、希望する出発場所／時間および到着場所／時間を示す移動情報と、自分のまたは自分のグループ全員の顔画像とが含まれている。
　配車サーバ２００Ａは、Ｓ８０４において、乗客１の利用申請を受け付けると乗客１の移動情報に近い移動情報を有する利用申請の有無を確認し、乗客２とのマッチングを行う。移動情報の観点から乗客１と乗客２が適合している場合には、配車サーバ２００Ａは、Ｓ８０６において、以前の利用時に得られて顧客別属性記憶部４０が記憶している乗客１と乗客２の運転嗜好の属性を読み出す。それぞれの運転嗜好を読み出すと、配車サーバ２００Ａは、Ｓ８０８において、乗客１と乗客２の運転嗜好の観点から適合度の高低を算出し、両者が相乗りに適合しているか否かを判定する。
　適合度が高い場合には、配車サーバ２００Ａは、Ｓ８１０において運行計画を作成し、Ｓ８１２において配車情報を乗客１と乗客２へ回答する。その回答を受けた乗客２は、Ｓ８１４においてその配車情報に対する回答を行い、乗客１は、Ｓ８１６においてその配車情報に対する回答を行う。配車サーバ２００Ａは、Ｓ８１８において、両者の回答に基づき両者の相乗りが成立したか不成立したかの回答を行う。このように、顧客の生体情報や心的状態と乗合い車両の車両状態情報とから推定した顧客の運転嗜好に基づき適合度を判定することで、運転嗜好の合った顧客が同乗するため顧客は快適に移動できる。
　なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
　１　　　　相乗りシステム
　１００　　適合度判定装置
　１０　　　画像取得部
　２０　　　属性推定部
　２１　　　顔認識部
　２２　　　特徴量抽出部
　２３　　　属性別特徴量記憶部
　２４　　　特徴量比較部
　２５　　　心拍数計測部
　２６　　　表情分析部
　２７　　　心的状態推定部
　２８　　　運転嗜好決定部
　３０　　　適合度判定部
　４０　　　顧客別属性記憶部
　５０　　　判定結果出力部
　６０　　　車両状態取得部
　２００　　配車サーバ
　２１０　　サーバ制御部
　２２０　　サーバ通信装置
　２３０　　会員データベース
　２４０　　運行計画装置
　２５０　　車両データベース
　２６０　　地図データベース
　２７０　　料金算定装置
　３００　　会員データ入力装置
　３１０　　カメラ
　ＣＲ　　　相乗り車両
　ＣＲＳ　　車両データ送信装置
　ＣＲ１　　車両データ送信装置制御部
　ＣＲ２　　車両データ送信装置赤外線カメラ
　ＣＲ３　　車両データ送信装置カメラ
　ＣＲ４　　車両データ送信装置送信部

Claims (9)

  1. 　相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定装置であって、
    　前記顧客の顔を含む画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に基づき、前記顧客の属性を推定する属性推定部と、
    　前記属性推定部が推定した前記属性に基づき、顧客同士の適合度を判定する適合度判定部と、
    　を備える適合度判定装置。
  2. 　前記属性推定部は、前記画像から前記顧客の心的状態を推定し、
    　前記適合度判定部は、前記心的状態に基づき、顧客同士の適合度を判定する、
    　ことを特徴とする請求項１に記載の適合度判定装置。
  3. 　前記属性推定部は、前記画像に含まれている複数の顔に基づき、前記画像に写る顧客グループのグループ属性を推定し、
    　前記適合度判定部は、前記グループ属性に基づき、顧客同士の適合度を判定する、
    　ことを特徴とする請求項１に記載の適合度判定装置。
  4. 　前記属性推定部は、前記画像に含まれている複数の顔に基づき、前記画像に写る顧客の人数を推定し、
    　前記適合度判定部は、前記人数に基づき、顧客同士の適合度を判定する、
    　ことを特徴とする請求項１に記載の適合度判定装置。
  5. 　前記相乗り車両の車両状態情報を取得する車両状態取得部をさらに備え、
    　前記画像取得部は、前記相乗り車両から送信された前記顧客の画像を取得し、
    　前記属性推定部は、該画像から生体情報を抽出し、前記生体情報と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    　前記適合度判定部は、前記運転嗜好に基づいて、顧客同士の適合度を判定する、
    　ことを特徴とする請求項１に記載の適合度判定装置。
  6. 　前記相乗り車両の車両状態情報を取得する車両状態取得部をさらに備え、
    　前記画像取得部は、前記相乗り車両から送信された前記顧客の画像を取得し、
    　前記属性推定部は、該画像から心的状態を推定し、前記心的状態と前記車両状態情報とから前記顧客の運転嗜好を推定し、
    　前記適合度判定部は、前記運転嗜好に基づいて、顧客同士の適合度を判定する、
    　ことを特徴とする請求項１に記載の適合度判定装置。
  7. 　前記画像取得部は、前記顧客が前記相乗りシステムの登録時に撮像される顔画像を取得することを特徴とする請求項１に記載の適合度判定装置。
  8. 　前記画像取得部は、前記顧客が前記相乗りシステムを利用する時に送信される顔画像を取得することを特徴とする請求項１に記載の適合度判定装置。
  9. 　相乗りを希望する顧客に相乗り車両を提供する相乗りシステムにおいて、前記相乗り車両に同乗する顧客同士の適合度を判定する適合度判定方法であって、
    　前記顧客の顔を含む画像を取得し、
    　前記画像に基づき、前記顧客の属性を推定し、
    　前記属性に基づき、顧客同士の適合度を判定する適合度判定方法。
PCT/JP2019/034627 2018-09-10 2019-09-03 適合度判定装置および適合度判定方法 Ceased WO2020054517A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-168837 2018-09-10
JP2018168837A JP6673415B2 (ja) 2018-09-10 2018-09-10 適合度判定装置および適合度判定方法

Publications (1)

Publication Number Publication Date
WO2020054517A1 true WO2020054517A1 (ja) 2020-03-19

Family

ID=69777617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034627 Ceased WO2020054517A1 (ja) 2018-09-10 2019-09-03 適合度判定装置および適合度判定方法

Country Status (2)

Country Link
JP (1) JP6673415B2 (ja)
WO (1) WO2020054517A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210302179A1 (en) * 2020-03-30 2021-09-30 Toyota Jidosha Kabushiki Kaisha Server device, control device, program, vehicle, and operation method of information processing system
CN113553497A (zh) * 2020-04-24 2021-10-26 丰田自动车株式会社 信息处理装置、非暂时性计算机可读记录介质和信息处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7430599B2 (ja) * 2020-08-21 2024-02-13 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2022091230A1 (ja) * 2020-10-27 2022-05-05
WO2022162713A1 (ja) * 2021-01-26 2022-08-04 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
US12586430B2 (en) 2021-03-24 2026-03-24 Nec Corporation Operation management system, operation management apparatus, operation management method, and non-transitory storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2015076028A (ja) * 2013-10-11 2015-04-20 日産自動車株式会社 車両の相乗り者検索システム
JP2015165354A (ja) * 2014-03-03 2015-09-17 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2018073351A (ja) * 2016-11-04 2018-05-10 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2015076028A (ja) * 2013-10-11 2015-04-20 日産自動車株式会社 車両の相乗り者検索システム
JP2015165354A (ja) * 2014-03-03 2015-09-17 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2018073351A (ja) * 2016-11-04 2018-05-10 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210302179A1 (en) * 2020-03-30 2021-09-30 Toyota Jidosha Kabushiki Kaisha Server device, control device, program, vehicle, and operation method of information processing system
CN113553497A (zh) * 2020-04-24 2021-10-26 丰田自动车株式会社 信息处理装置、非暂时性计算机可读记录介质和信息处理方法

Also Published As

Publication number Publication date
JP2020042491A (ja) 2020-03-19
JP6673415B2 (ja) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6673415B2 (ja) 適合度判定装置および適合度判定方法
JP6577642B2 (ja) 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
US20250054337A1 (en) Training set sufficiency for image analysis
US10302444B2 (en) Information processing system and control method
US10592757B2 (en) Vehicular cognitive data collection using multiple devices
US9355368B2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US20170068994A1 (en) System and Method for Personalized Preference Optimization
KR20190049555A (ko) 인공지능 기술을 이용해 광고 및 상품 구매에 관한 서비스를 제공하는 장치, 시스템, 및 방법
JP7116540B2 (ja) 運転アドバイス装置及び運転アドバイス方法
CN113260547A (zh) 信息处理设备、移动设备、方法和程序
CN116194342A (zh) 用于分析车辆内部的计算机实现的方法
US20230129746A1 (en) Cognitive load predictor and decision aid
Nakano et al. Real-time distraction detection from driving data based personal driving model using deep learning
EP4121969A1 (en) Technique for providing a user-adapted service to a user
JP7068156B2 (ja) 情報処理装置及びプログラム
CN110803170B (zh) 智能用户接口的驾驶辅助系统
CN113320537A (zh) 一种车辆控制方法和系统
CN120588914A (zh) 控制方法、装置和车辆
CN108932290A (zh) 地点提案装置及地点提案方法
US20240220011A1 (en) Electronic device, method for controlling electronic device, and program
CN120381274A (zh) 确定车辆乘员的情绪状态
JP2024119466A (ja) 経路情報提供システム
US20240199032A1 (en) Electronic device, method for controlling electronic device, and program
CN112631418A (zh) 车辆、信息处理系统、非暂时性计算机可读取介质及控制方法
JP7462022B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860646

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19860646

Country of ref document: EP

Kind code of ref document: A1