WO2019224905A1 - 車載機器の制御装置及び制御方法 - Google Patents

車載機器の制御装置及び制御方法 Download PDF

Info

Publication number
WO2019224905A1
WO2019224905A1 PCT/JP2018/019639 JP2018019639W WO2019224905A1 WO 2019224905 A1 WO2019224905 A1 WO 2019224905A1 JP 2018019639 W JP2018019639 W JP 2018019639W WO 2019224905 A1 WO2019224905 A1 WO 2019224905A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
information
vehicle device
vehicle
unit
Prior art date
Application number
PCT/JP2018/019639
Other languages
English (en)
French (fr)
Inventor
乘 西山
井上 裕史
剛仁 寺口
雄宇 志小田
翔太 大久保
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to PCT/JP2018/019639 priority Critical patent/WO2019224905A1/ja
Priority to JP2020520898A priority patent/JP7111156B2/ja
Priority to US17/057,395 priority patent/US20210206384A1/en
Priority to CN201880093683.6A priority patent/CN112203903A/zh
Priority to EP18919660.3A priority patent/EP3798059B1/en
Publication of WO2019224905A1 publication Critical patent/WO2019224905A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle

Definitions

  • the present invention relates to a control device and control method for in-vehicle devices.
  • vehicle function control device that permits the use of vehicle functions by performing biometric authentication of the occupant, when a plurality of people get on, the occupant combination is grasped by biometric authentication of each occupant, and the past related to the combination It is known to search for vehicle function setting information (seat position, air conditioning temperature, mirror angle, volume, mode (DVD mode or CD mode), etc.) and set the vehicle function based on the extracted setting information.
  • vehicle function setting information sleep position, air conditioning temperature, mirror angle, volume, mode (DVD mode or CD mode), etc.
  • the operation of the in-vehicle device is not set only by a combination of a plurality of occupants, and is often caused by the occupant's actions and thoughts according to various scenes. For example, when occupant A is in the rear seat, when occupant A tries to read a book, the rear seat illumination is turned on, or when occupant A's legs are crossed, Move the seat position forward.
  • the conventional vehicle function control device has a problem that it is not possible to automate the setting of the in-vehicle device corresponding to the movement of the passenger.
  • the problem to be solved by the present invention is to provide a control device and a control method for an in-vehicle device that can control the operation of the in-vehicle device based on the movement of the occupant.
  • the present invention acquires operation information related to the operation of an occupant, acquires operation information related to an input operation on the in-vehicle device accompanying the operation of the occupant, stores the operation information and the operation information in association with each other, and However, when it is detected that the operation related to the stored operation information has been performed, the operation information stored in association with the operation information is referred to, and the instruction information related to the operation instruction to the in-vehicle device is output. To solve the above problem.
  • the instruction information to the in-vehicle device based on the detected occupant motion is output with reference to the occupant operation information and operation information stored in advance, the in-vehicle device suitable for various scenes is output.
  • the operation can be controlled.
  • FIG. 1 It is a block diagram which shows one Embodiment of the control apparatus of the vehicle equipment which concerns on this invention. It is a flowchart which shows an example of the process performed in the control part of the control apparatus of the vehicle equipment of FIG.
  • A) shows an example of occupant image data acquired by a non-contact sensor such as a camera
  • B) shows an example of occupant posture information extracted from the image data of FIG. It is.
  • FIG. 1 is a block diagram showing an embodiment of a control device for an in-vehicle device according to the present invention, and is also a control device for an in-vehicle device using an embodiment of a control method for an in-vehicle device according to the present invention.
  • the control device and the control method for the in-vehicle device of the present embodiment are not particularly limited.
  • the operation is detected to turn on the illumination for the rear seat,
  • the operation is detected to turn on the illumination for the rear seat,
  • the operation is detected to turn on the illumination for the rear seat,
  • the operation is detected to turn on the illumination for the rear seat,
  • the rear seat tries to cross his feet, if the occupant tries to move the front seat position forward, or removes his jacket or opens a window
  • the air conditioner is detected and the occupant takes out the portable music playback device
  • the operation is detected and the music data of the portable music playback device is read to play music from the in-vehicle audio playback device.
  • the movement of the vehicle is detected and controlled to be suppressed.
  • the control device 1 for the in-vehicle device acquires the first information acquisition unit 11 that acquires the operation information related to the occupant's operation, and the operation information related to the input operation for the predetermined in-vehicle device 2 that accompanies the occupant's operation.
  • storage part 13, and the control part 15 may be mounted in the specific vehicle, and is constructed
  • the data stored in the storage unit 13 is transmitted to the server via the network. May be shared with data acquired by other vehicles, and a learning model may be generated from them.
  • storage part 13, and the control part 15 are constructed
  • the in-vehicle device 2 to be controlled by the in-vehicle device control device 1 of the present embodiment is not particularly limited, but includes at least lighting equipment such as room lights, audio reproduction equipment, or air conditioning equipment.
  • a seat position adjusting device, a window glass opening / closing device, an angle adjusting device for a rearview mirror or a rearview mirror, a navigation device, an automatic operation control device (including a speed control device or a steering control device), and the like may be controlled.
  • the control content for these in-vehicle devices 2 includes at least a power-on operation or a power-off operation for the in-vehicle device 2 as an input operation.
  • a lighting device illuminance adjustment or angle adjustment
  • audio reproduction device If there is volume adjustment, music selection adjustment, channel selection or reading of data from other devices, if it is an air conditioner, temperature adjustment, selection of inside / outside air intake, selection of air conditioner ON / OFF or blowing mode, seat position adjustment device If necessary, adjust the longitudinal position of a specific seat or adjust the angle of the seat back, open and close the window glass if it is a window glass opening and closing device, adjust the angle if it is a mirror angle adjustment device, turn ON / OFF the anti-fog heater or anti-glare ON / OFF of mirror, change of set travel route if navigation device, automatic operation control device
  • Such speed selection may include.
  • the motion detection unit 14 includes a camera or a distance sensor or other non-contact sensor that captures an image of the interior of the vehicle, and an electronic circuit in which a program for analyzing a detection signal detected by the sensor is installed, and detects the motion of the occupant To do.
  • a camera when a camera is used as the motion detection unit 14, a camera that captures an occupant in the front seat of the vehicle is disposed in the vicinity of the rearview mirror, and a camera that captures the occupant in the rear seat is mounted on the ceiling or the seat back of the front seat.
  • the image data captured by these cameras is subjected to image processing to detect the movement of the occupant.
  • FIG. 3A shows an example of occupant image data acquired by a non-contact sensor such as a camera, and FIG.
  • FIG. 3B shows occupant posture information extracted from the image data of FIG. It is a figure which shows an example.
  • An image of the occupant at a certain time is acquired by a non-contact sensor such as a camera (FIG. 3A), image processing is performed, and as shown in FIG.
  • the position and direction of elbows, knees, legs, hips, chest, and face (including eyes) are extracted, and the posture of the occupant at that time is specified.
  • the occupant face data and the occupant ID for identifying the individual are stored in the storage unit 13 in association with each other, and stored in the storage unit 13 based on the face image extracted from the occupant image data acquired from the camera.
  • the occupant included in the face image is identified by referring to the face data, and the identified occupant ID is stored in the storage unit 13.
  • the occupant's motion detected by the motion detection unit 14 is temporally continuous information of the occupant's posture specified as shown in FIG. That is, from an image data recorded in time series by a non-contact sensor such as a camera, an occupant's organ part (eg, hand, elbow, knee, foot, waist, chest) including at least the occupant's hand, leg, head, or line of sight. , The position and direction of the face (including eyes) are extracted, and the movement of the occupant is detected from the change in the posture information of the occupant that is continuous over time. For example, when the occupant's legs change to a posture in which one leg overlaps the other leg, it is detected that the occupant has performed the action of assembling the legs. In addition, when the position and direction of the occupant's hand, elbow, or face change from the book to the posture information for reading the book, the occupant detects that the book has been read.
  • a non-contact sensor such as a camera
  • an occupant's organ part eg, hand
  • movement detection part 14 is the operation
  • at least one of the operations before and after the occupant performs an input operation on the in-vehicle device 2. For example, if the passenger in the rear seat of the passenger seat tries to assemble a leg, operate the passenger seat position adjustment device to move the passenger seat forward and then assemble the leg or assemble the leg. The passenger seat position adjustment device is operated to move the passenger seat forward, or the passenger seat seat position adjustment device is operated while the legs are assembled to move the passenger seat forward.
  • the motion of the occupant by the motion detection unit 14 is the operation before the occupant performs an input operation on the in-vehicle device 2 such as the seat position adjusting device and the lighting device, and after the occupant performs the input operation on the in-vehicle device 2. It is desirable to include at least one of the above operations and the operations before and after the occupant performs an input operation on the in-vehicle device 2.
  • the first information acquisition unit 11 acquires operation information related to the occupant's motion detected by the motion detection unit 14 described above, and outputs it to the control unit 15.
  • the second information acquisition unit 12 acquires operation information related to an input operation on a predetermined in-vehicle device 2 from the in-vehicle device 2 according to the movement of the occupant detected by the above-described operation detection unit 14 and outputs the operation information to the control unit 15. To do.
  • the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 are recognized in association by the control unit 15.
  • the control unit 15 associates the operation information by the first information acquisition unit 11 with the operation information by the second information acquisition unit 12 and stores this in the storage unit 13. However, when the user does not permit registration in the storage unit 13 by the notification unit 16 described later, the notification unit 16 may not store the information.
  • the storage unit 18 stores the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 in association with each on-vehicle device 2.
  • the operation learning unit 17 executes a predetermined learning algorithm based on the in-vehicle device 2, the input operation with respect to the in-vehicle device 2, and the operation of the occupant, and generates a learning model of the input operation of the in-vehicle device 2 with respect to the occupant's operation. . That is, the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 that are stored in the storage unit 13 by the control unit 15 and associated with each vehicle-mounted device 2 are used as input values (features). By applying a predetermined learning algorithm, a learning model of the input operation of the in-vehicle device 2 for the movement of the occupant is generated.
  • the operation learning part 17 may be comprised as a part of the memory
  • the control unit 15 detects the occupant's motion detected by the motion detection unit 14. Is stored in the storage unit 13, the operation information stored in association with the operation information is referred to, and the instruction information regarding the operation instruction to the in-vehicle device 2 is output.
  • the motion information related to the passenger's motion detected by the motion detection unit 14 is stored in the storage unit 13
  • the motion information detected by the motion detection unit 14 and the motion stored in the storage unit 13 This includes not only the case where the information is the same, but also cases where the information is similar within a predetermined threshold.
  • the movement of crossing legs, reading a book, and other occupant movements vary slightly from person to person. It is desirable to set a similar range.
  • the notification unit 16 includes devices such as a display and a speaker, and functions as a communication unit and a command unit between the control device 1 of the in-vehicle device and the user. That is, the notification unit 16 causes the control unit 15 to store the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 associated with each vehicle-mounted device 2 in the storage unit 13. The user is notified whether or not these pieces of information may be stored in the storage unit 13. If the user's response to the notification is not possible, the notification unit 16 outputs a message to that effect to the control unit 15, and the control unit 15 does not store it in the storage unit 13 according to the user's response.
  • the notification unit 16 causes the control unit 15 to store the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 associated with each vehicle-mounted device 2 in the storage unit 13. The user is notified whether or not these pieces of information may be stored in the storage unit 13. If the user's response to the notification is not possible, the notification unit 16 outputs a
  • the notification unit 16 refers to the operation information stored in association with the operation information by the control unit 15, and issues an operation instruction to the in-vehicle device 2 when outputting the instruction information regarding the operation instruction to the in-vehicle device 2. Whether or not. If the user's response to the notification is not possible, the notification unit 16 outputs a message to that effect to the control unit 15, and the control unit 15 does not execute the operation command to the in-vehicle device 2 according to the user's response. . In addition, you may abbreviate
  • the operation information by the first information acquisition unit 11 and the operation information by the second information acquisition unit 12 associated with each vehicle-mounted device 2 are set as input values (features), and a predetermined learning algorithm is used.
  • the vehicle information may be added as an input value when the learning model of the input operation of the in-vehicle device 2 with respect to the occupant's motion is generated. Examples of this type of vehicle information include the occupant ID, the number of occupants, the seating position of the occupant, the current date and time, the weather, the temperature, the vehicle speed, and the elapsed time after boarding.
  • the occupant ID is detected by face recognition by a camera used as the motion detection unit 14, and the number of occupants and the seating position of the occupant are detected by image processing by the camera also used as the motion detection unit 14, and the current date and time and
  • the elapsed time can be detected by an in-vehicle clock
  • the weather can be acquired from a weather information providing server via a network
  • the temperature and vehicle speed can be detected by an in-vehicle sensor.
  • FIG. 4 is a data sheet showing an example when a learning model is generated in the operation learning unit 17.
  • the learning model number is a unit of data in which vehicle information, operating device information, and information detected for each operation are associated with each other.
  • the learning model number 1 includes the occupant A (face-recognized occupant), the number of occupants 2 people, seating position is rear seat # 2 (after passenger seat), date and time is December 8 AM 8:00, average vehicle speed is 40km / h, temperature is 5 ° C, weather is cloudy under vehicle information, Lighting device # 2 is turned ON, and the movement of the line of sight of the passenger A, the movement of the hand, the movement of the head, and the input operation (input to input) before the input operation (between a predetermined time and the input) at that time
  • the movement of the occupant A to take out the book from the bag is detected from the movement of the line of sight of the occupant A, the movement of the hand, and the movement of the head before the input operation. It is assumed that the movement of the occupant A opening a book and starting reading is detected from the movement.
  • the data of learning model number 2 in FIG. 4 includes occupant A (face-recognized occupant), the number of occupants is 2, the seating position is rear seat # 3 (after the driver's seat), and the date and time is August 9 Under the vehicle information that PM 12:00, average vehicle speed is 40 km / h, temperature is 30 ° C., weather is sunny, the rear seat air conditioner # 2 is turned ON, and before that input operation (predetermined time before input) The movement of the line of sight of the occupant A, the movement of the hand, the movement of the head, and the movement of the line of sight of the occupant A, the movement of the hand, It is the data that acquired the movement.
  • the movement of the occupant A taking off his / her jacket is detected from the movement of the line of sight of the occupant A, the movement of the hand, and the movement of the head before the input operation, and the movement of the line of sight, the movement of the hand, the movement of the head of the occupant A after the input operation Therefore, it is assumed that the movement of the passenger A with his / her hand is detected.
  • FIG. 2 is a flowchart showing an example of processing executed by the control unit 15 of the control device 1 of the in-vehicle device shown in FIG.
  • sensor information such as image information from the camera
  • step S2 the motion of the occupant is detected from the time-series image data.
  • step S3 vehicle information is acquired from various sensors.
  • step S4 the learning model generated in the operation learning unit 17 of the storage unit 13 is referred to based on the occupant motion detected in step S2 and the vehicle information detected in step S3.
  • step S5 It is determined whether or not the same or similar scene data exists. For example, in step S2, an operation in which the occupant takes out a book from the bag is detected, and vehicle information at that time is occupant A (face-recognized occupant) as in learning model number 1 in FIG.
  • step S11 Stores the same or similar data as the vehicle information that the seating position is the rear seat # 2 (after the passenger seat), the date and time is December 8 AM 8:00, the average vehicle speed is 40 km / h, the temperature is 5 ° C, and the weather is cloudy If YES in step S11, the flow advances to step S11. If not stored, the flow advances to step S6.
  • the similar range of the vehicle information any one of the passenger ID, the number of passengers, the seating position of the passenger, the current date and time, the weather, the temperature, the vehicle speed, and the elapsed time after boarding may be the same.
  • step S5 it is determined that the same or similar scene data as the occupant motion detected in step S2 and the vehicle information detected in step S3 is not stored in the operation learning unit 17 of the storage unit 13.
  • step S6 the occupant's manual operation on the in-vehicle device 2 is input to the control unit 15 via the second information acquisition unit 12.
  • step S7 it is determined whether or not an operation on the in-vehicle device 2 has occurred. If an operation has occurred, the process proceeds to step S8, and the operation content for the in-vehicle device 2 is notified to the notification unit 16.
  • the notification content to the notification unit 16 is, for example, “Your air conditioner has been turned on now.
  • step S9 if the user's answer to the notification in step S8 means approval, for example, if “Yes”, the process proceeds to step S10, and the occupant motion detected in step S2 and detected in step S3.
  • the vehicle information, the in-vehicle device 2 detected in step S6, and the operation content thereof are stored in the storage unit 13.
  • step S7 If no manual operation is performed on the in-vehicle device 2 in step S7, the operation of the occupant detected in step S2 is assumed to be an operation unrelated to the operation on the in-vehicle device 2, and the process proceeds to step S16. Similarly, if a manual operation on the in-vehicle device 2 occurs in step S7 but the user does not approve (eg, “No”) in step S9, the occupant's motion detected in step S2 is in step S6. Assuming that the operation is unrelated to the detected manual operation on the in-vehicle device 2, the process proceeds to step S16.
  • step S5 it is determined that the same or similar scene data as the occupant motion detected in step S2 and the vehicle information detected in step S3 is stored in the operation learning unit 17 of the storage unit 13. If YES in step S11, the flow advances to step S11, the target in-vehicle device 2 stored in the operation learning unit 17 of the storage unit 13 and the operation content thereof are referred to, and the operation content is notified to the notification unit 16 in step S12. .
  • the notification content to the notification unit 16 is, for example, “Is the air conditioner turned on? Are you sure?”. Along with this notification, “Yes” and “No” buttons are displayed on the notification unit 16 to prompt the user to answer.
  • step S13 when the user's answer to the notification in step S12 means approval, for example, if “Yes”, the process proceeds to step S14, and the operation (in the above example, the air conditioner ON operation) is executed. .
  • the operation content for the in-vehicle device 2 extracted in step S11 is not intended by the user, and the process proceeds to step S15.
  • the occupant operation and vehicle information, the in-vehicle device 2 and the operation content stored in the operation learning unit 17 of the storage unit 13 are deleted.
  • step S16 it is determined whether or not the vehicle power supply is OFF. If ON is continued, the process returns to step S1, and if OFF, the process is terminated.
  • step S3 is omitted, and the above steps S4 to S16 are also described above based on information excluding the vehicle information. Processing may be executed. Further, as described above, the notification unit 16 can be omitted as necessary. When the notification unit 16 is omitted, the operation contents extracted in step S11 can be obtained by omitting steps S12 and S13. You may perform directly in step S14. Similarly, when the notification unit 16 is omitted, the manual operation content detected in step S6 may be directly added in step S10 by omitting steps S8 and S9.
  • the in-vehicle device 2 based on the detected occupant motion is referred to with reference to the occupant motion information and operation information stored in advance. Since the instruction information is output, the operation of the in-vehicle device 2 suitable for various scenes can be controlled. In particular, such operation control is not uniquely determined by the occupant ID or a combination of a plurality of occupants, but is caused by the occupant's movements and thoughts regardless of the occupant ID and the like.
  • the motion information is information related to at least the movement of the hand, leg, head, or line of sight of the occupant recorded in time series. Is particularly strongly related to the operation of the in-vehicle device 2, so that the relationship between the operation information and the operation information becomes even stronger.
  • the in-vehicle device 2 includes at least a lighting device, an audio reproduction device, or an air conditioner, and an input operation to the in-vehicle device 2 is performed on at least the in-vehicle device 2. Since the vehicle-mounted device 2 and its power-on operation, including the power-on operation, are particularly strongly related to the operation of the occupant, the relationship between the operation information and the operation information becomes even stronger.
  • the occupant's operation is at least the operation before the occupant performs the input operation, the operation after the occupant performs the input operation, or the occupant performs the input operation. Therefore, it is possible to cope with the operation of the occupant in any period before and after the operation on the in-vehicle device 2.
  • the control device 1 further includes a notification unit 16 that notifies whether or not to give an operation instruction to the in-vehicle device 2, and the instruction information output from the control unit 15 is notified. Since the notification is made to the unit 17, malfunction can be avoided.
  • control unit 15 outputs the instruction information to the in-vehicle device 2, so that the in-vehicle device does not go through complicated procedures such as an answer by the notification unit 16.
  • the operation on the device 2 can be automated.
  • a predetermined learning algorithm is executed based on the input operation with respect to the in-vehicle device 2 and the occupant's motion, and the input operation of the in-vehicle device 2 with respect to the occupant's motion. Therefore, in addition to the default learning model, a personal learning model suitable for the actual use situation can be generated.
  • the control unit 15 stops the content of the instruction information from the occupant within a predetermined period after outputting the instruction information to the in-vehicle device 2.
  • registration to the learning model is not performed or correction of the learning model is performed. Therefore, registration to the learning model is avoided or corrected for an inappropriate operation proposal, and as a result, it is not appropriate again. Proposal of operation is suppressed.
  • control unit 15 inquires the occupant as to whether or not the learning model can be added or changed, so that the addition or change of an inappropriate learning model can be suppressed. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

乗員の動作に関する動作情報を取得する第1情報取得部(11)と、前記乗員の動作にともなう、所定の車載機器(2)に対する入力操作に関する操作情報を取得する第2情報取得部(12)と、前記動作情報と前記操作情報とを関連付けて記憶する記憶部(13)と、乗員の動作を検出する動作検出部(14)と、前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部(15)と、を備える。

Description

車載機器の制御装置及び制御方法
 本発明は、車載機器の制御装置及び制御方法に関するものである。
 乗員の生体認証を実行することで車両機能の使用を許可する車両機能制御装置において、複数人が乗車した場合には、各乗員の生体認証により乗員の組み合わせを把握し、当該組み合わせに係る過去の車両機能の設定情報(シート位置、空調温度、ミラー角度、音量、モード(DVDモード又はCDモード)など)を検索し、抽出された設定情報に基づいて車両機能を設定するものが知られている(特許文献1)。
特開2006-131031号公報
 しかしながら、車載機器の操作は、複数の乗員の組み合わせだけで設定される訳ではなく、各種シーンに応じた乗員の動作や思考に起因することが少なくない。たとえば、後部座席に乗員Aが乗車している場合に、乗員Aが本を読もうとしたときは、後部座席用照明を点灯させたり、乗員A足を組もうとしたときは、前席のシート位置を前方に移動させたりする。上記従来の車両機能制御装置では、こうした乗員の動作に対応した車載機器の設定を自動化できないという問題がある。
 本発明が解決しようとする課題は、乗員の動作に基づいて車載機器の操作を制御できる車載機器の制御装置及び制御方法を提供することである。
 本発明は、乗員の動作に関する動作情報を取得し、前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、前記動作情報と前記操作情報とを関連付けて記憶し、前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力することによって上記課題を解決する。
 本発明によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器への指示情報を出力するので、各種シーンに適した車載機器の操作を制御することができる。
本発明に係る車載機器の制御装置の一実施の形態を示すブロック図である。 図1の車載機器の制御装置の制御部にて実行される処理の一例を示すフローチャートである。 (A)は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、(B)は、図3(A)の画像データから抽出された乗員の姿勢情報の一例を示す図である。 図1の車載機器の制御装置1の操作学習部17において学習モデルを生成する場合の一例を示すデータシートである。
 以下、本発明の実施形態を図面に基づいて説明する。図1は、本発明に係る車載機器の制御装置の一実施の形態を示すブロック図であり、本発明に係る車載機器の制御方法の一実施の形態を使用した車載機器の制御装置でもある。本実施形態の車載機器の制御装置及び制御方法は、特に限定されないが、たとえば、後部座席の乗員が本を読もうとしたときは、その動作を検出して後部座席用照明を点灯させたり、後部座席の乗員が足を組もうとしたときは、その動作を検出して前席のシート位置を前方に移動させたり、乗員が上着を脱いだり又は窓を開けようとしたら、その動作を検出して空調機器をONしたり、乗員が携帯用音楽再生装置を取り出したら、その動作を検出してその携帯用音楽再生装置の楽曲データを読み込み、車載オーディオ再生機器から音楽を流したり、乗員が本を読んでいるときやコーヒーなどを飲んでいるときは、その動作を検出して車両の走行速度を抑制制御したりする。
 そのため、本実施形態の車載機器の制御装置1は、乗員の動作に関する動作情報を取得する第1情報取得部11と、乗員の動作にともなう、所定の車載機器2に対する入力操作に関する操作情報を取得する第2情報取得部12と、動作情報と操作情報とを関連付けて記憶する記憶部13と、乗員の動作を検出する動作検出部14と、制御部15と、乗員に対して、車載機器への操作指示を行うか否を通知する通知部16と、操作学習部17と、を備える。なお、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15は、特定の車両に車載されていてもよいし、インターネットなどのネットワークを介してサーバに構築されていてもよい。また、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15が特定の車両に車載されている場合に、記憶部13に蓄積されたデータを、ネットワークを介してサーバに送信し、他の車両により取得されたデータと共用し、これらから学習モデルを生成してもよい。また、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15がサーバに構築されている場合に、複数の車両からのデータを読み込み、これらを後述する操作学習部17にて学習してもよい。
 本実施形態の車載機器の制御装置1の制御対象となる車載機器2としては、特に限定はされないが、少なくとも、室内灯などの照明機器、オーディオ再生機器又は空調機器を含み、これ以外にも、シート位置調整装置、ウィンドガラス開閉装置、バックミラー又はルームミラーの角度調整装置、ナビゲーション装置、自動運転制御装置(速度制御装置又は操舵制御装置を含む)などを制御してもよい。これらの車載機器2に対する制御内容は、その入力操作として、少なくとも車載機器2に対する電源オン操作又は電源オフ操作を含み、これ以外にも、照明機器であれば照度調整又は角度調整、オーディオ再生機器であれば音量調整、選曲調整、チャンネル選択又は他の機器からのデータの読み込み、空調装置であれば温度調節、内外気取入口の選択、エアコンON/OFF又は吹出モードの選択、シート位置調整装置であれば特定のシートの前後方向位置調整又はシートバックの角度調整、ウィンドガラス開閉装置であればウィンドガラスの開閉、ミラーの角度調整装置であれば角度調整、曇り止めヒータのON/OFF又は防眩ミラーのON/OFF、ナビゲーション装置であれば設定された走行ルートの変更、自動運転制御装置であれば速度選択などを含んでもよい。
 動作検出部14は、車室内を撮像するカメラ又は距離センサその他の非接触センサと、当該センサにより検出された検出信号を解析するプログラムがインストールされた電子回路とから構成され、乗員の動作を検出する。たとえば、動作検出部14としてカメラを用いる場合には、車両の前席の乗員を撮像するカメラをルームミラーの近傍に配置し、後席の乗員を撮像するカメラを天井又は前席のシートバックなどに配置し、これらのカメラで撮像した画像データを画像処理して、乗員の動作を検出する。図3(A)は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、図3(B)は、図3(A)の画像データから抽出された乗員の姿勢情報の一例を示す図である。カメラなどの非接触センサにより、ある時刻における乗員の画像を取得し(図3(A))、画像処理を施して、図3(B)に示すように、乗員の器官部位(例えば,手,肘,膝,足,腰,胸,顔(目を含む)など)の位置や方向を抽出し、その時刻における乗員の姿勢を特定する。また、記憶部13に乗員の顔データと個人を特定する乗員IDとを関連付けて記憶しておき、カメラより取得した乗員の画像データから抽出された顔画像を基に、記憶部13に記憶された顔データを参照することによって、顔画像に含まれる乗員を特定し、特定された乗員IDを記憶部13に記憶する。
 動作検出部14により検出される乗員の動作は、図3(B)のように特定された乗員の姿勢の時間的な連続情報である。すなわち、カメラなどの非接触センサにより時系列で記録された画像データから、少なくとも乗員の手、脚、頭又は視線を含む、乗員の器官部位(例えば,手,肘,膝,足,腰,胸,顔(目を含む)など)の位置や方向を抽出し、時間的に連続する乗員の姿勢情報の変化から乗員の動作を検出する。たとえば、乗員の脚が揃った状態から、一方の脚が他方の脚に重なる姿勢に変化した場合には、その乗員は脚を組む動作を行ったと検出する。また、乗員の手、肘又は顔の位置及び方向がカバンから本を取り出して当該本を読む姿勢情報に変化した場合などには、その乗員は本を読む動作を行ったと検出する。
 そして、このようにして動作検出部14により検出される乗員の動作は、少なくとも、車載機器2に対して乗員が入力操作をする前の動作、車載機器2に対して乗員が入力操作をした後の動作、又は車載機器2に対して乗員が入力操作をした前後の動作の少なくとも何れかを含む。たとえば、助手席の後部座席の乗員が脚を組もうとする場合には、助手席のシート位置調整装置を操作して助手席を前方に移動させたのち脚を組んだり、脚を組んでから助手席のシート位置調整装置を操作して助手席を前方に移動させたり、又は脚を組みながら助手席のシート位置調整装置を操作して助手席を前方に移動させたりする。また、乗員がカバンから本を取り出して読もうとする場合も、照明装置をONしてからカバンから本を取り出して開いたり、カバンから本を取り出して開いたのちに照明装置をONしたり、カバンから本を取り出してから照明装置をONし、本を開いたりする。したがって、動作検出部14による乗員の動作は、シート位置調節装置や照明装置などの車載機器2に対して乗員が入力操作をする前の動作、車載機器2に対して乗員が入力操作をした後の動作、又は車載機器2に対して乗員が入力操作をした前後の動作の少なくとも何れかを含むことが望ましい。
 第1情報取得部11は、上述した動作検出部14により検出された乗員の動作に関する動作情報を取得し、制御部15へ出力する。また、第2情報取得部12は、上述した動作検出部14により検出された乗員の動作にともなう、所定の車載機器2に対する入力操作に関する操作情報を車載機器2から取得し、制御部15へ出力する。これら第1情報取得部11による動作情報と、第2情報取得部12による操作情報は、制御部15にて関連付けて認識される。たとえば、乗員が脚を組んで助手席シートの位置を前方に移動させた場合には、乗員の動作情報として脚を組むという情報が第1情報取得部11から制御部15へ出力されるとともに、操作情報として助手席シート位置の前方への移動の情報が第2情報取得部12から制御部15へ出力される。同様に、乗員がカバンから本を取り出し、照明装置をONして読もうとする場合には、乗員の動作情報としてカバンから本を取り出して読むという情報が第1情報取得部11から制御部15へ出力されるとともに、操作情報として照明装置をONする情報が第2情報取得部12から制御部15へ出力される。
 制御部15は、第1情報取得部11による動作情報と、第2情報取得部12による操作情報とを関連付け、これを記憶部13に記憶する。ただし、後述する通知部16によりユーザが記憶部13への登録を許可しない場合は記憶しないようにしてもよい。記憶部18は、車載機器2ごとに、第1情報取得部11による動作情報と、第2情報取得部12による操作情報とを関連付けて記憶する。
 操作学習部17は、車載機器2と、車載機器2に対する入力操作と、乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する。すなわち、制御部15により記憶部13に蓄積される、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを入力値(特徴量)とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する。上述したように、複数の車両に関して、車載機器2、車載機器2に対する入力操作及び乗員の動作のデータが収集される場合には、これらのビッグデータを用いた乗員の動作に対する車載機器2の入力操作の学習モデルが得られることになる。なお、操作学習部17は、記憶部13の一部として構成してもよいし、別のコンポーネントとして構成してもよい。
 操作学習部17を含む記憶部13に、乗員の動作に対する車載機器2の入力操作の学習モデルが生成及び記憶されている状態において、制御部15は、動作検出部14により検出された乗員の動作に関する動作情報が、記憶部13に記憶されている場合には、動作情報に関連付けて記憶された操作情報を参照し、車載機器2への操作指示に関する指示情報を出力する。ここで、動作検出部14により検出された乗員の動作に関する動作情報が、記憶部13に記憶されている場合とは、動作検出部14により検出された動作情報と記憶部13に記憶された動作情報とが同一の場合のみならず、所定の閾値以内で類似する場合も含まれる。脚を組む動作や本を読む動作その他の乗員の動作は、多少なりとも個人差があるため、こうした個人差による動作情報の誤差を吸収して、同じ動作として認識するために所定の閾値以内の類似範囲を設定することが望ましい。
 通知部16は、ディスプレイやスピーカなどの装置を有し、車載機器の制御装置1とユーザとの間の連絡手段及び指令手段として機能する。すなわち、通知部16は、制御部15により、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを記憶部13に記憶する際に、これらの情報を記憶部13に記憶してもよいか否かをユーザに通知する。そして、通知部16は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部15に出力し、制御部15は、ユーザの回答にしたがって記憶部13への記憶をしない。
 また通知部16は、制御部15により、動作情報に関連付けて記憶された操作情報を参照し、車載機器2への操作指示に関する指示情報を出力する際に、車載機器2への操作指示を行うか否を通知する。そして、通知部16は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部15に出力し、制御部15は、ユーザの回答にしたがって車載機器2への操作指令を実行しない。なお、通知部16は、必要に応じて省略してもよい。
 ちなみに、操作学習部17において、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを入力値(特徴量)とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器2の入力操作の学習モデルを生成するにあたり、入力値として車両情報を加えてもよい。この種の車両情報としては、たとえば、乗員ID、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間などが挙げられる。乗員IDは、動作検出部14として用いられるカメラによる顔認識により検出し、乗員人数や乗員の着座位置は、同じく動作検出部14として用いられるカメラによる画像処理により検出し、現在日時や乗車後の経過時間は車載時計により検出し、天気はネットワークを介して天気情報提供サーバから取得し、気温や車速は車載センサから検出することができる。乗員の動作に車両情報を加えることで、同じ乗員の動作であっても車両情報の相違による操作情報の違いをも学習できるので、より細かい車載機器の制御が実現できる。
 図4は、操作学習部17において学習モデルを生成する場合の一例を示すデータシートである。学習モデル番号は、車両情報、操作機器情報及び動作ごとに検出した情報を互いに関連付けた1単位のデータであり、たとえば学習モデル番号1のデータは、乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#2(助手席の後)、日時が12月8日AM8:00、平均車速が40km/h、気温が5℃、天気は曇りという車両情報の下で、照明装置#2がON操作され、そのときの入力操作前(入力から所定時間前~入力の間)の乗員Aの視線の動き、手の動き、頭の動きと、入力操作後(入力~入力から所定時間後の間)の乗員Aの視線の動き、手の動き、頭の動きと、を取得したデータである。入力操作前の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aがカバンから本を取り出す動作が検出され、入力操作後の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが本を開いて読み始める動作が検出されたものとする。
 同様に、図4の学習モデル番号2のデータは、乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#3(運転席の後)、日時が8月9日PM12:00、平均車速が40km/h、気温が30℃、天気は晴れという車両情報の下で、後部座席用空調装置#2がON操作され、そのときの入力操作前(入力から所定時間前~入力の間)の乗員Aの視線の動き、手の動き、頭の動きと、入力操作後(入力~入力から所定時間後の間)の乗員Aの視線の動き、手の動き、頭の動きとを取得したデータである。入力操作前の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが上着を脱ぐ動作が検出され、入力操作後の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが手で顔を扇ぐ動作が検出されたものとする。
 次に図2を参照して、本実施形態の車載機器の制御装置1の動作を説明する。図2は、図1の車載機器の制御装置1の制御部15にて実行される処理の一例を示すフローチャートである。ステップS1では、動作検出部14である非接触センサからのセンサ情報(カメラによる画像情報など)を取得し、ステップS2において時系列画像データから乗員の動作を検出する。一方、ステップS3では各種センサ類から車両情報を取得する。
 ステップS4では、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報に基づいて、記憶部13の操作学習部17にて生成された学習モデルを参照し、ステップS5において同一又は類似のシーンデータが存在するか否かを判定する。たとえば、ステップS2において乗員がカバンから本を取り出す動作が検出され、その際の車両情報が、図4の学習モデル番号1のように乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#2(助手席の後)、日時が12月8日AM8:00、平均車速が40km/h、気温が5℃、天気は曇りという車両情報と同一又は類似のデータが記憶されている場合には、ステップS11へ進み、記憶されていない場合はステップS6へ進む。ここで、車両情報の類似範囲としては、乗員ID、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間のうちの、いずれかが同一であるとしてもよい。
 ステップS5において、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と同一又は類似のシーンデータが、記憶部13の操作学習部17に記憶されていないと判断された場合は、ステップS6にて、車載機器2に対する乗員の手動操作を、第2情報取得部12を介して制御部15へ入力する。そして、ステップS7にて車載機器2に対する操作が発生したか否かを判定し、操作が発生した場合はステップS8へ進み、その車載機器2に対する操作内容を通知部16へ通知する。この通知部16への通知内容としては、たとえば「只今、空調装置のON操作がされましたが、これを登録してもよろしいですか?」である。そして、この通知とともに、通知部16に「Yes」と「No」のボタンを表示してユーザの回答を促す。ステップS9では、ステップS8の通知に対するユーザの回答が承認を意味する場合、たとえば「Yes」である場合には、ステップS10へ進み、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と、ステップS6にて検出された車載機器2及びその操作内容を記憶部13に記憶させる。
 なお、ステップS7において車載機器2に対する手動操作が何も発生していない場合は、ステップS2で検出された乗員の動作は車載機器2に対する操作とは無関係の動作であるとして、ステップS16へ進む。同様に、ステップS7において車載機器2に対する手動操作は発生したものの、ステップS9にてユーザが承認しない(たとえば「No」)である場合は、ステップS2で検出された乗員の動作は、ステップS6で検出された車載機器2に対する手動操作とは無関係の動作であるとして、ステップS16へ進む。
 ステップS5へ戻り、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と同一又は類似のシーンデータが、記憶部13の操作学習部17に記憶されていると判断された場合は、ステップS11へ進み、記憶部13の操作学習部17に記憶された対象となる車載機器2とその操作内容を参照し、ステップS12にて、その操作内容を通知部16へ通知する。この通知部16への通知内容としては、たとえば「空調装置をONしますが、よろしいですか?」である。そして、この通知とともに、通知部16に「Yes」と「No」のボタンを表示してユーザの回答を促す。ステップS13では、ステップS12の通知に対するユーザの回答が承認を意味する場合、たとえば「Yes」である場合には、ステップS14へ進み、その操作(上記の例では空調装置のON操作)を実行する。これに対して、ステップS13においてユーザが承認しない(たとえば「No」)である場合は、ステップS11で抽出された車載機器2に対する操作内容は、ユーザが意図したものではないとして、ステップS15へ進み、記憶部13の操作学習部17に記憶された乗員の動作及び車両情報と車載機器2及びその操作内容を削除する。
 ステップS16では、車両電源がOFFか否かを判定し、ONが継続している場合はステップS1へ戻り、OFFの場合は処理を終了する。
 なお、上述したとおり、ステップS3において取得する車両情報は必ずしも必須の構成ではないことから、このステップS3を省略し、続くステップS4~S16までの処理においても車両情報を除く情報に基づいて上述した処理を実行してもよい。また、上述したとおり、通知部16は必要に応じて省略することができ、通知部16を省略した場合には、ステップS12及びS13を省略することで、ステップS11にて抽出された操作内容をステップS14にて直接実行してもよい。同様に、通知部16を省略した場合には、ステップS8及びS9を省略することで、ステップS6にて検出された手動操作内容をステップS10にて直接追加してもよい。
 以上のとおり、本実施形態の車載機器の制御装置1及び制御方法によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器2への指示情報を出力するので、各種シーンに適した車載機器2の操作を制御することができる。特にこうした操作制御は、乗員IDや複数の乗員の組み合わせで一義的に決まるのではなく、乗員IDなどに拘わらず乗員の動作や思考に起因するので、各種シーンにより一層適した操作制御となる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報であり、これらの各要素は車載機器2の操作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2として、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、車載機器2への入力操作は、少なくとも車載機器2に対する電源オン操作を含み、これらの車載機器2及びその電源ON操作は、乗員の動作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、乗員の動作は、少なくとも、乗員が入力操作をする前の動作、乗員が入力操作をした後の動作、又は乗員が入力操作をした前後の動作を含むので、車載機器2に対する操作の前後のいずれの期間において、乗員の動作が行われても対応することができる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2への操作指示を行うか否を通知する通知部16をさらに備え、制御部15から出力される指示情報は通知部17へ通知されるので、誤動作を回避することができる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15は車載機器2に対して指示情報を出力するので、通知部16による回答といった煩雑な手続きを経ることなく、車載機器2に対する操作を自動化することができる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2に対する入力操作と乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する操作学習部17を備えるので、既定の学習モデルに加えて実際の利用状況に適した個人的な学習モデルを生成することができる。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15が、車載機器2に対して指示情報を出力してから所定期間内に、乗員から指示情報の内容を停止する指示を受け付けた場合には、学習モデルへの登録をしない又は学習モデルの修正を実行するので、適当でない操作の提案に対して学習モデルへの登録が回避又は修正され、この結果、再び適当でない操作の提案をすることが抑制される。
 また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15は学習モデルの追加又は変更の可否を乗員へ問い合わせるので、適切でない学習モデルの追加または変更を抑制することができる。
1…車載機器の制御装置
 11…第1情報取得部
 12…第2情報取得部
 13…記憶部
 14…動作検出部
 15…制御部
 16…通知部
 17…操作学習部
2…車載機器

Claims (10)

  1.  乗員の動作に関する動作情報を取得する第1情報取得部と、
     前記乗員の動作にともなう、所定の車載機器に対する入力操作に関する操作情報を取得する第2情報取得部と、
     前記動作情報と前記操作情報とを関連付けて記憶する記憶部と、
     乗員の動作を検出する動作検出部と、
     前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部と、を備える車載機器の制御装置。
  2.  前記動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報である請求項1に記載の車載機器の制御装置。
  3.  前記所定の車載機器は、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、
     前記入力操作は、少なくとも前記車載機器に対する電源オン操作を含む請求項1又は2に記載の車載機器の制御装置。
  4.  前記乗員の動作は、少なくとも、前記乗員が前記入力操作をする前の動作、前記乗員が前記入力操作をした後の動作、又は前記乗員が前記入力操作をした前後の動作を含む請求項1~3のいずれか一項に記載の車載機器の御装置。
  5.  前記乗員に対して、前記車載機器への操作指示を行うか否を通知する通知部をさらに備え、
     前記制御部から出力される前記指示情報は、前記通知部への通知である請求項1~4のいずれか一項に記載の車載機器の制御装置。
  6.  前記制御部は、前記車載機器に対して前記指示情報を出力する請求項1~4のいずれか一項に記載の車載機器の制御装置。
  7.  前記車載機器と、前記車載機器に対する入力操作と、前記乗員の動作とに基づいて所定の学習アルゴリズムを実行し、前記乗員の動作に対する前記車載機器の入力操作の学習モデルを生成する操作学習部をさらに備える請求項1~6のいずれか一項に記載の車載機器の制御装置。
  8.  前記制御部が、前記車載機器に対して前記指示情報を出力してから所定期間内に、前記乗員から前記指示情報の内容を停止する指示を受け付けた場合には、前記学習モデルへの登録をしない、又は前記学習モデルの修正を実行する請求項7に記載の車載機器の制御装置。
  9.  前記制御部は、前記学習モデルの追加又は変更の可否を乗員へ問い合わせる請求項7に記載の車載機器の制御装置。
  10.  コントローラを用いて所定の車載機器に対する入力操作を制御する車載機器の制御方法において、
     前記コントローラは、
     乗員の動作に関する動作情報を取得し、
     前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、
     前記動作情報と前記操作情報とを関連付けて記憶し、
     前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する車載機器の制御方法。
PCT/JP2018/019639 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法 WO2019224905A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/019639 WO2019224905A1 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法
JP2020520898A JP7111156B2 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法
US17/057,395 US20210206384A1 (en) 2018-05-22 2018-05-22 Control device and control method for vehicle-mounted equipment
CN201880093683.6A CN112203903A (zh) 2018-05-22 2018-05-22 车载设备的控制装置和控制方法
EP18919660.3A EP3798059B1 (en) 2018-05-22 2018-05-22 Control device and control method for vehicle-mounted equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/019639 WO2019224905A1 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法

Publications (1)

Publication Number Publication Date
WO2019224905A1 true WO2019224905A1 (ja) 2019-11-28

Family

ID=68616877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/019639 WO2019224905A1 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法

Country Status (5)

Country Link
US (1) US20210206384A1 (ja)
EP (1) EP3798059B1 (ja)
JP (1) JP7111156B2 (ja)
CN (1) CN112203903A (ja)
WO (1) WO2019224905A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006131031A (ja) 2004-11-04 2006-05-25 Toyota Motor Corp 車両機能制御装置
JP2007170898A (ja) * 2005-12-20 2007-07-05 Toyota Motor Corp サービス提供システム
JP2007307992A (ja) * 2006-05-17 2007-11-29 Toyota Motor Corp ワイパ制御装置
JP2008287626A (ja) * 2007-05-21 2008-11-27 Sony Corp 学習制御装置および方法、並びにプログラム
JP2009101927A (ja) * 2007-10-24 2009-05-14 Toyota Motor Corp 車両制御装置
JP2017182531A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018016248A1 (ja) * 2016-07-22 2018-01-25 パナソニックIpマネジメント株式会社 情報推定システム、情報推定方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404390B2 (ja) 1998-10-26 2010-01-27 株式会社東海理化電機製作所 自動車用付帯装置の自動制御システム
JP2014078124A (ja) * 2012-10-10 2014-05-01 Mitsubishi Electric Corp ジェスチャー入力装置および表示システム
US9348793B2 (en) * 2013-02-27 2016-05-24 GM Global Technology Operations LLC Method and system for adjusting performance based on vehicle occupants
US20140316607A1 (en) * 2013-04-18 2014-10-23 Ford Global Technologeis, Llc Occupant presence detection and identification
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9690387B2 (en) * 2014-06-13 2017-06-27 Ford Global Technologies, Llc Vehicle computing system in communication with a wearable device
JP2017200786A (ja) * 2016-05-02 2017-11-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN107122053A (zh) * 2017-04-27 2017-09-01 奥英光电(苏州)有限公司 一种显示器的控制方法、装置及显示器
CN107741781A (zh) * 2017-09-01 2018-02-27 中国科学院深圳先进技术研究院 无人机的飞行控制方法、装置、无人机及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006131031A (ja) 2004-11-04 2006-05-25 Toyota Motor Corp 車両機能制御装置
JP2007170898A (ja) * 2005-12-20 2007-07-05 Toyota Motor Corp サービス提供システム
JP2007307992A (ja) * 2006-05-17 2007-11-29 Toyota Motor Corp ワイパ制御装置
JP2008287626A (ja) * 2007-05-21 2008-11-27 Sony Corp 学習制御装置および方法、並びにプログラム
JP2009101927A (ja) * 2007-10-24 2009-05-14 Toyota Motor Corp 車両制御装置
JP2017182531A (ja) * 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018016248A1 (ja) * 2016-07-22 2018-01-25 パナソニックIpマネジメント株式会社 情報推定システム、情報推定方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3798059A4

Also Published As

Publication number Publication date
EP3798059A1 (en) 2021-03-31
JPWO2019224905A1 (ja) 2021-07-01
JP7111156B2 (ja) 2022-08-02
CN112203903A (zh) 2021-01-08
EP3798059A4 (en) 2021-04-28
US20210206384A1 (en) 2021-07-08
EP3798059B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
US20230356721A1 (en) Personalization system and method for a vehicle based on spatial locations of occupants' body portions
US20170352267A1 (en) Systems for providing proactive infotainment at autonomous-driving vehicles
JP4670803B2 (ja) 操作推定装置およびプログラム
US20180208204A1 (en) System and method for identifying a vehicle driver by a pattern of movement
CN111048171B (zh) 解决晕动病的方法和装置
US10220854B2 (en) System and method for identifying at least one passenger of a vehicle by a pattern of movement
CN107357194A (zh) 自主驾驶车辆中的热监测
JP4561703B2 (ja) 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
CN107415938A (zh) 基于乘员位置和注意力控制自主车辆功能和输出
US20160147233A1 (en) System and method for remote virtual reality control of movable vehicle partitions
JP7403546B2 (ja) 遺留対象検出
US20230334879A1 (en) Vehicular driver monitoring system with customized outputs
JPH11250395A (ja) エージェント装置
JP2017220097A (ja) 運転支援装置
JP2006044420A (ja) 車両機器制御装置
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
CN112109647A (zh) 一种车辆及车辆情景模式的实现方法、装置
WO2019224905A1 (ja) 車載機器の制御装置及び制御方法
KR20180003134A (ko) 운전자의 상황 정보를 이용한 차량의 실내 환경 제어장치 및 방법
WO2019102525A1 (ja) 異常検知装置及び異常検知方法
US20100158316A1 (en) Action estimating apparatus, method for updating estimation model, and program
JP6785889B2 (ja) サービス提供装置
CN112297842A (zh) 具有多种显示模式的自动驾驶车辆
JP2000203465A (ja) 情報記録装置
CN115610349B (zh) 一种基于多模融合的智能交互方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919660

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020520898

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018919660

Country of ref document: EP

Effective date: 20201222