WO2017212901A1 - 車載装置 - Google Patents

車載装置 Download PDF

Info

Publication number
WO2017212901A1
WO2017212901A1 PCT/JP2017/019016 JP2017019016W WO2017212901A1 WO 2017212901 A1 WO2017212901 A1 WO 2017212901A1 JP 2017019016 W JP2017019016 W JP 2017019016W WO 2017212901 A1 WO2017212901 A1 WO 2017212901A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
wearable device
vehicle
unit
wearable
Prior art date
Application number
PCT/JP2017/019016
Other languages
English (en)
French (fr)
Inventor
隆文 岡安
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2017212901A1 publication Critical patent/WO2017212901A1/ja
Priority to US16/211,300 priority Critical patent/US10936890B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Definitions

  • This disclosure relates to an in-vehicle device that communicates with a wearable device possessed by a person who has boarded a vehicle.
  • multiple wearable devices may be brought into the vehicle, and the driver's wearable device is identified from the multiple wearable devices brought into the vehicle.
  • the technology to do is demanded.
  • an operator's face image is registered in a mobile terminal (that is, equivalent to a wearable device), and the driver's face image captured by an in-vehicle camera is stored in the mobile terminal.
  • the face image is compared and it is determined that the matched mobile terminal is the driver's mobile terminal.
  • a plurality of seat positions of a vehicle and a plurality of portable terminals are stored in association with each other, and when the driver sits in the driver's seat, the seat position of the driver seat is set. It is determined that the associated portable terminal is the driver's portable terminal.
  • JP 2011-172195 A Japanese Patent Application Laid-Open No. 2014-4860
  • Patent Document 1 Since the face image of the operator is not registered in a normal wearable device, the configuration of Patent Document 1 cannot be used for communication with the wearable device. Further, in the case of the configuration of Patent Document 2, when another person who is different from the usual driver sits in the driver's seat, the association between the seat position and the portable terminal changes, and thus the association is not updated. There was a possibility of misjudgment.
  • An object of the present disclosure is to provide an in-vehicle device capable of determining a wearable device possessed by a driver when a plurality of wearable devices are brought into a vehicle.
  • an image processing unit that receives image data transmitted from an in-vehicle camera that photographs a driver, analyzes the received image data, and detects a driver's heart rate, and a vehicle
  • a wireless communication unit that wirelessly communicates with one or more wearable devices possessed by one or more people on board, biometric information transmitted from the one or more wearable devices, and a heartbeat of the driver detected by the image processing unit
  • the vehicle-mounted device includes a wearable device specifying unit that compares the number and specifies the wearable device possessed by the driver.
  • FIG. 1 is a block diagram of an in-vehicle system showing the first embodiment.
  • FIG. 2 is a block diagram of the wearable device.
  • FIG. 3 is a flowchart of wearable device connection control
  • FIG. 4 is a flowchart of the pegging control.
  • FIG. 5 is a diagram showing changes in heart rate detected by the wearable device
  • FIG. 6 is a diagram showing a change in heart rate detected by another wearable device
  • FIG. 7A is a diagram showing a change in heart rate detected based on the driver's face image
  • FIG. 7B is a diagram showing a change in emotion determined based on the driver's face image.
  • FIG. 8 is a diagram illustrating an example of display contents displayed on the display unit during the association process.
  • the in-vehicle system 1 of the present embodiment includes a vehicle interior camera 2, a wearable device 4 possessed by a driver 3, a wearable device 6 possessed by a passenger 5, and an in-vehicle device. 7.
  • the vehicle interior camera 2 is a camera that captures the face of the driver 3 sitting in the driver's seat, and is a 2D camera (for example, an RGB camera), a 3D camera (for example, an infrared camera), or both a 2D camera and a 3D camera.
  • the camera is equipped with.
  • the image data of the driver 3 photographed by the vehicle interior camera 2 is transmitted to the in-vehicle device 7 using a video transmission technique such as LVDS (Low Voltage Voltage Differential).
  • LVDS Low Voltage Voltage Differential
  • the wearable device 4 of the driver 3 includes a wristband type (including a watch), a glasses type, a clothing type, and the like, and is worn on the driver 3.
  • the wearable device 4 has a sensor that detects biological information such as heart rate, body temperature, pulse, blood pressure, etc. of the driver 3, and the detected biological information data is wirelessly communicated (for example, Bluetooth (registered trademark) wireless standard). Transmit to the in-vehicle device 7.
  • the wearable device 4 includes a sensor unit 8, a storage unit 9, a wireless communication unit 10, and a control unit 11, as shown in FIG.
  • the sensor unit 8 includes a heart rate sensor 8a, a body temperature sensor 8b, a pulse sensor 8c, and a blood pressure sensor 8d.
  • the storage unit 9 includes a RAM, a ROM, a flash memory, and the like.
  • the storage unit 9 stores the identification ID 12 of the wearable device 4 and is detected by various control data and the sensor unit 8. Various biological information data and the like are temporarily stored.
  • the wireless communication unit 10 has a function of performing wireless communication with the in-vehicle device 7 according to the BLE wireless standard.
  • the control unit 11 has a function of controlling the entire wearable device 4.
  • each passenger 5 can have the wearable device 6. Therefore, a plurality of wearable devices 6 may be brought into the vehicle.
  • the specific configuration of the wearable device 6 is almost the same as the configuration of the wearable device 4 shown in FIG. 2, and each wearable device 4, 6 has a unique identification ID 12 that can be distinguished from each other.
  • the in-vehicle device 7 is composed of, for example, a car navigation device, and includes a wireless communication unit 13, a video processing unit 14, a display unit 15, a storage unit 16, and a control unit 17.
  • the in-vehicle device 7 includes each configuration provided as a normal car navigation device, specifically, a position detection unit, a destination input unit, a route calculation unit, a route guide unit, and a map data input unit (all of which (Not shown).
  • the wireless communication unit 13 wirelessly communicates with each wearable device 4, 6 brought into the vehicle separately according to, for example, the BLE wireless standard, and various biological information data detected by the sensor unit 8 of each wearable device 4, 6. It has the function to receive.
  • the various received biometric information data and the like are configured to be stored and accumulated in the storage unit 16 for each wearable device 4 and 6.
  • the video processing unit 14 receives the face image data of the driver 3 photographed by the in-vehicle camera 2 and analyzes the received face image data of the driver 3, thereby identifying the driver 3 individually, 3 has a function of performing emotion determination of 3, detecting the heart rate of the driver 3, and detecting the line of sight of the driver 3.
  • the video processing unit 14 has a function of an image processing unit.
  • the process of personally identifying the driver 3 based on the face image data of the driver 3 is a kind of biometric authentication process.
  • the shape and position of the plurality of feature points for example, contour, eyes, nose, and mouth, are analyzed, and the data of the shapes and positions of the analyzed feature points are stored as personal data of the driver 3 in the storage unit 16.
  • the received face image data of the driver 3 is analyzed, and the shapes and positions of the plurality of feature points are analyzed.
  • the vehicle interior camera 2D camera may be used, and if a 3D camera (that is, an infrared camera) is used, the three-dimensional information of the face can be analyzed and compared. Can be improved.
  • the process of detecting (that is, grasping) the heart rate of the driver 3 based on the face image data of the driver 3 it is preferable to use, for example, the technique of Xbox One Kinect (registered trademark).
  • the skin of the driver 3 can be photographed with the 2D camera and the 3D camera of the vehicle interior camera 2, and the heart rate, the pulse rate, and the like can be read based on subtle changes due to the blood flow.
  • a technique for measuring the pulse rate in real time based on a face image developed by Fujitsu Limited may be used as appropriate.
  • the display unit 15 is composed of a liquid crystal display, for example, and displays various messages, images, maps, routes, and the like.
  • the storage unit 16 includes a RAM, a ROM, a flash memory, and the like.
  • the personal data of the driver 3, device information of the in-vehicle device 7, face image data of the driver 3, biological information data of the driver 3, passengers 5 biological information data, various application programs, various control data, and the like are stored.
  • the control unit 17 has a function of controlling the entire in-vehicle device 7.
  • the control unit 17 has functions of a wearable device identification unit, an activation unit, a determination unit, and a driver seat determination unit.
  • step S10 of FIG. 3 the user turns on the ignition switch (ie, IGON), turns on the accessory switch (ie, ACCON), or opens the door (ie, opens the door).
  • the wake-up signal is received by CAN (Controller Area Network) communication, the power of the in-vehicle device 7 is turned on and the in-vehicle device 7 is activated.
  • CAN Controller Area Network
  • step S20 the vehicle equipment 7 carries out wireless connection with the wearable apparatus 4 and 6 brought in in the vehicle.
  • step S30 the control part 17 of the vehicle-mounted apparatus 7 judges whether the wearable apparatus 4 linked
  • the association process between the driver 3 and the wearable device 4 will be described later.
  • step S30 when there is a wearable device 4 associated with the driver 3 (YES), the process proceeds to step S40, and the control unit 17 of the in-vehicle device 7 is based on the driver's face image from the vehicle interior camera 2. Then, it is determined whether or not a person (that is, the driver 3) associated with the wearable device 4 is sitting on the driver's seat.
  • the process proceeds to step S50, and the in-vehicle device 7 determines, for example, the heart rate and body temperature of the driver 3 from the wearable device 4 of the driver 3. Biometric information such as pulse and blood pressure is acquired and stored in the storage unit 16.
  • step S60 the control unit 17 of the in-vehicle device 7 starts an application program that executes a predetermined process using the biological information of the driver 3.
  • this application program it is preferable to execute an application program that urges attention to safe driving using, for example, the heart rate of the driver 3 or the like. Thereby, this control is complete
  • step S40 when the driver 3 associated with the wearable device 4 is not sitting in the driver's seat, the process proceeds to “NO”, and the control is terminated without starting the application program.
  • step S30 when there is no wearable device 4 linked to the driver 3 (NO), the process proceeds to step S70, and processing for linking the driver 3 and the wearable device 4 (that is, control) is executed. .
  • step S110 of FIG. 4 the wireless communication unit 13 of the in-vehicle device 7 determines, for example, the heart rate, body temperature, and pulse of the person wearing each wearable device 4, 6 from all the wearable devices 4, 6 in the vehicle. Biometric information such as blood pressure is acquired and stored in the storage unit 16.
  • step S120 the video processing part 14 of the vehicle-mounted apparatus 7 image
  • information on the heart rate of the driver 3, information on emotion determination of the driver 3, and the like are acquired and stored in the storage unit 16.
  • step S130 the control part 17 of the vehicle-mounted apparatus 7 is biometric information (for example, heart rate etc.) acquired from the wearable apparatuses 4 and 6, and the biometric information (for example, acquired from the face image image
  • the heart rate detection data acquired from the wearable device 4 changes as shown in FIG. 5
  • the heart rate detection data acquired from the wearable device 6 changes as shown in FIG.
  • the time for which the wearable devices 4 and 5 detect the heart rate data is, for example, a time of about 1 minute to several minutes, and the set time (for example, 1 second, 2 seconds, 3 seconds, etc.) is within this time. It is configured to detect a large number of times at intervals of a certain time).
  • heart rate data acquired from a face image (for example, a face image continuously taken at a set time interval of about 1 minute to several minutes) taken by the vehicle interior camera 2 is shown in FIG. ).
  • a face image for example, a face image continuously taken at a set time interval of about 1 minute to several minutes
  • 7 (a) is determined to match.
  • FIG. 7A showing the change of the heart rate of the driver 3 acquired based on the face image taken by the vehicle interior camera 2, when the intersections of the heart rate graph and the threshold A are C1, C2,
  • B1 substantially coincides with C1
  • B2 substantially coincides with C2. Therefore, comparing FIG. 5, FIG. 6, and FIG. 7B, the portion where the heart rate exceeds the predetermined threshold A, that is, the portion of “Anger” as emotion determination exists, as shown in FIG. 7 (b), it is determined that FIG. 5 and FIG. 7 (b) match.
  • step S130 when there is a wearable device 4 with matching biometric information (YES), the process proceeds to step S140, and the control unit 17 of the in-vehicle device 7 moves the wearable device 4 with matching biometric information to the driver. 3 wearable device 4. Then, it progresses to step S150 and the control part 17 of the vehicle equipment 7 performs the process which links
  • the above-described plurality of feature points in the face image photographed by the vehicle interior camera 2 are analyzed, and data of each shape and position of the analyzed plurality of feature points is stored as personal data of the driver 3. 16 is stored. Then, the identification data of the identified wearable device 4 is associated with (ie, associated with) the personal data of the driver 3 and registered in the storage unit 16.
  • step S160 the control part 17 of the vehicle equipment 7 starts the application program which performs a predetermined
  • this application program it is preferable to execute an application program that urges attention to safe driving using, for example, the heart rate of the driver 3 or the like. Thereby, this control is complete
  • step S130 If there is no wearable device 4 having the same biometric information in step S130, the process proceeds to “NO”, and this control is terminated without starting the application program.
  • the control unit 17 of the in-vehicle device 7 when the execution of the association process between the driver 3 and the wearable device 4 shown in FIG. 4 is started, the control unit 17 of the in-vehicle device 7 is as shown in FIG.
  • the message “Driver (ie, driver 3) is associated with wearable device (ie, wearable device 4)” is displayed on display unit 15.
  • the control unit 17 of the in-vehicle device 7 indicates that “the association between the driver and the wearable device is completed” as shown in FIG. “The application is started.” Is displayed on the display unit 15.
  • the control unit 17 of the in-vehicle device 7 displays the information shown in FIG. ), A message “Could not associate driver and wearable device. Exit application.” Is displayed on display unit 15.
  • the image processing unit 14 of the in-vehicle device 7 receives the image data transmitted from the vehicle interior camera 2 that captures the image of the driver 3, analyzes the received image data, The heart rate of the person 3 is detected, and the biological information transmitted from the one or more wearable devices 4 and 6 possessed by one or more people who have boarded the vehicle by the control unit 17 of the in-vehicle device 7 and the video processing unit 14
  • the wearable device 4 possessed by the driver 3 is specified by comparing the heart rate of the driver 3 detected by the above. According to this configuration, when a plurality of wearable devices 4 and 6 are brought into the vehicle, the wearable device 4 possessed by the driver 3 can be accurately determined.
  • operator 3 and the wearable apparatus 4 are linked
  • the wearable device 4 possessed by the driver 3 can be quickly determined based on the associated information (for example, the identification ID of the wearable device 4). And since the said application program is started automatically, the predetermined
  • the string is attached to the wearable device 4. It is determined whether or not the attached driver 3 is sitting in the driver's seat, and when the associated driver 3 is sitting in the driver's seat, predetermined processing is performed using the biological information of the driver 3
  • the application program that executes is configured to start. According to this configuration, when a plurality of wearable devices 4, 6 are brought into the vehicle, the wearable device 4 possessed by the driver 3 can be determined accurately and quickly. An application program that executes predetermined processing using information can be automatically started.
  • the face image of the driver 3 photographed by the vehicle interior camera 2 is transmitted from the vehicle interior camera 2 to the in-vehicle device 7, and the analysis of the face image of the driver 3 is executed on the in-vehicle device 7 side.
  • the present invention is not limited to this, and analysis of the face image of the driver 3 photographed on the in-vehicle camera side is performed, information on the analysis result, that is, information on the heart rate of the driver 3, You may comprise so that the information of a driver
  • the vehicle-mounted apparatus 7 was comprised, for example with the car navigation apparatus, it is not restricted to this, You may comprise with another vehicle-mounted apparatus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Traffic Control Systems (AREA)

Abstract

車載装置は、運転者（３）を撮影する車室内カメラ（２）から送信された画像データを受信し、受信した画像データを解析し、運転者（３）の心拍数を検出する画像処理部（１４）と、車両に乗車した１人以上の人が所持する１以上のウエアラブル機器（４、６）と無線通信する無線通信部（１３）と、前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により検出された運転者（３）の心拍数とを比較して、運転者（３）が所持するウエアラブル機器４を特定するウエアラブル機器特定部（１７）とを備えたものである。

Description

車載装置 関連出願の相互参照
　本出願は、２０１６年６月９日に出願された日本出願番号２０１６－１１５３１０号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両に乗車した人が所持するウエアラブル機器と通信する車載装置に関する。
　車両には、複数の人が乗車可能であることから、複数のウエアラブル機器が車両内に持ち込まれる可能性があり、車両内に持ち込まれた複数のウエアラブル機器の中から運転者のウエアラブル機器を特定する技術が要請されている。
　例えば特許文献１に記載された装置では、携帯端末（即ち、ウエアラブル機器に相当）内に操作者の顔画像を登録しておき、車載カメラで撮影した運転者の顔画像と、携帯端末内の顔画像とを比較し、一致した携帯端末が運転者の携帯端末であると判定している。
　また、特許文献２に記載された装置では、車両の複数の座席位置と複数の携帯端末とを対応付けて記憶しておき、運転席に運転者が座ったときに、運転席の座席位置に対応付けられた携帯端末を運転者の携帯端末であると判定している。
特開２０１１－１７２１９５号公報 特開２０１４－４８６０号公報
　通常のウェアラブル機器には、操作者の顔写真が登録されていないので、特許文献１の構成をウェアラブル機器との通信に用いることができない。また、特許文献２の構成の場合、運転席にいつもの運転者とは異なる別の人が座ったときには、座席位置と携帯端末との対応付けが変わるため、上記対応付けが更新されていないと、誤判定する可能性があった。
　本開示の目的は、車両内に複数のウエアラブル機器が持ち込まれた場合に、運転者が所持するウエアラブル機器を判定することができる車載装置を提供することにある。
　本開示の第一の態様は、運転者を撮影する車室内カメラから送信された画像データを受信し、受信した画像データを解析し、運転者の心拍数を検出する画像処理部と、車両に乗車した１人以上の人が所持する１以上のウエアラブル機器と無線通信する無線通信部と、前記１以上のウエアラブル機器から送信された生体情報と、前記画像処理部により検出された運転者の心拍数とを比較して、運転者が所持するウエアラブル機器を特定するウエアラブル機器特定部とを備えた車載装置である。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態を示す車載システムのブロック図であり、 図２は、ウエアラブル機器のブロック図であり、 図３は、ウエアラブル機器接続制御のフローチャートであり、 図４は、紐付け制御のフローチャートであり、 図５は、ウエアラブル機器により検出した心拍数の変化を示す図であり、 図６は、他のウエアラブル機器により検出した心拍数の変化を示す図であり、 図７（ａ）は、運転者の顔画像に基づいて検出した心拍数の変化を示す図であり、図７は（ｂ）は運転者の顔画像に基づいて判定した感情の変化を示す図であり、 図８は、紐付け処理時に表示部に表示される表示内容の例を示す図である。
　（第１実施形態）
　以下、第１実施形態について、図１ないし図８を参照して説明する。本実施形態の車載システム１は、図１に示すように、車室内カメラ２と、運転者３が所持しているウエアラブル機器４と、同乗者５が所持しているウエアラブル機器６と、車載装置７とを備えて構成されている。
　車室内カメラ２は、運転席に座っている運転者３の顔を撮影するカメラであり、２Ｄカメラ（例えばＲＧＢカメラ）、または、３Ｄカメラ（例えば赤外線カメラ）、または、２Ｄカメラ及び３Ｄカメラ両方を備えたカメラで構成されている。車室内カメラ２により撮影された運転者３の画像データは、例えばＬＶＤＳ（Low Voltage Differential Signaling）等の映像伝送技術を用いて車載装置７へ送信される。
　運転者３のウエアラブル機器４は、リストバンド型（時計を含む）や、眼鏡型や、衣類型等で構成されており、運転者３の身に付けられている。ウエアラブル機器４は、運転者３の例えば心拍数、体温、脈拍、血圧等の生体情報を検出するセンサを有し、検出した生体情報データを無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）の無線規格）で車載装置７へ送信する。尚、本実施形態では、上記Ｂｌｕｅｔｏｏｔｈの無線規格の中でも、例えばＢＬＥ（Bluetooth Low Energy）を用いることが好ましい。また、他の無線ＬＡＮ等の無線規格で通信しても良い。
　ウエアラブル機器４は、図２に示すように、センサ部８と、記憶部９と、無線通信部１０と、制御部１１とを備えている。センサ部８は、心拍数センサ８ａ、体温センサ８ｂ、脈拍センサ８ｃ及び血圧センサ８ｄを有する。記憶部９は、ＲＡＭやＲＯＭやフラッシュメモリ等で構成されており、記憶部９には、ウエアラブル機器４の識別ＩＤ１２が記憶されていると共に、制御用の種々のデータやセンサ部８により検出した各種の生体情報データ等が一時的に記憶されている。無線通信部１０は、ＢＬＥの無線規格で車載装置７と無線通信する機能を有する。制御部１１は、ウエアラブル機器４全体を制御する機能を有する。
　同乗者５としては、複数人が乗車可能であり、更に各同乗者５がウエアラブル機器６を所持可能であることから、ウエアラブル機器６は車両内に複数持ち込まれることがあり、複数のウエアラブル機器６は各別に車載装置７と無線通信可能な構成となっている。ウエアラブル機器６の具体的構成は、図２に示すウエアラブル機器４の構成とほぼ同じであり、各ウエアラブル機器４、６はそれぞれ互いに識別可能な固有の識別ＩＤ１２を有している。
　車載装置７は、例えばカーナビゲーション装置で構成されており、無線通信部１３と、映像処理部１４と、表示部１５と、記憶部１６と、制御部１７とを備えている。この他に、車載装置７は、通常のカーナビゲーション装置として備えている各構成、具体的には、位置検出部、目的地入力部、経路計算部、経路案内部及び地図データ入力部（いずれも図示しない）等を備えている。
　無線通信部１３は、車両内に持ち込まれた各ウエアラブル機器４、６と例えばＢＬＥの無線規格で各別に無線通信し、各ウエアラブル機器４、６のセンサ部８により検出した各種の生体情報データ等を受信する機能を有する。受信した各種の生体情報データ等は、各ウエアラブル機器４、６毎に、記憶部１６内に記憶して蓄積されるように構成されている。
　映像処理部１４は、車室内カメラ２により撮影した運転者３の顔画像データを受信し、受信した運転者３の顔画像データを解析することにより、運転者３を個人特定したり、運転者３の感情判定を行なったり、運転者３の心拍数を検出したり、運転者３の視線を検出したりする機能を有する。映像処理部１４は、画像処理部の機能を有する。
　この構成の場合、運転者３の顔画像データに基づいて運転者３を個人特定する処理は、生体認証処理の一種であり、予め、運転者３の顔を撮影し、撮影した顔画像の中の複数の特徴点、例えば輪郭、目、鼻及び口等について各形状や位置を解析し、解析した複数の特徴点の各形状や位置のデータを、運転者３のパーソナルデータとして、記憶部１６内に記憶しておく。そして、上記受信した運転者３の顔画像データに基づいて運転者３を個人特定する際には、受信した運転者３の顔画像データを解析し、上記複数の特徴点の各形状や位置のデータについて、記憶部１６内に記憶されているパーソナルデータと比較することにより、運転者３個人を特定することができる。尚、車室内カメラ２としては、２Ｄカメラを用いても良いし、３Ｄカメラ（即ち、赤外線カメラ）を用いると、顔の立体情報を解析して比較することができるので、個人特定の精度を向上させることができる。
　また、運転者３の顔画像データに基づいて運転者３の感情を判定する処理については、特開２０１５－１６９９８０号公報に記載されている技術を適宜用いることが好ましい。この公報記載の技術により、運転者３の顔の中の例えば眉の動き、口の動き、頭の動き、目の動き等をとらえることによって、例えば「怒っている」、「怖がっている」、「楽しんでいる」、「悲しんでいる」、「驚いている」、「冷静」などの運転者３の感情を判定することができる。
　また、運転者３の顔画像データに基づいて運転者３の心拍数を検出（即ち、把握）する処理については、例えばＸｂｏｘＯｎｅ　ｋｉｎｅｃｔ（商標登録）の技術を用いることが好ましい。この技術により、車室内カメラ２の２Ｄカメラと３Ｄカメラで運転者３の肌を撮影して、血液の流れによる微妙な変化に基づいて心拍数や脈拍数等を読み取ることができる。また、富士通（株）が開発した顔の画像に基づいてリアルタイムに脈拍数を計測する技術を適宜用いるように構成しても良い。
　表示部１５は、例えば液晶ディスプレイ等で構成されており、種々のメッセージ、画像、地図、経路等が表示される。記憶部１６は、ＲＡＭやＲＯＭやフラッシュメモリ等で構成されており、運転者３のパーソナルデータ、車載装置７のデバイス情報、運転者３の顔画像データ、運転者３の生体情報データ、同乗者５の生体情報データ、各種のアプリケーションプログラム、種々の制御データ等が記憶されている。制御部１７は、車載装置７全体を制御する機能を有する。制御部１７は、ウエアラブル機器特定部、起動部、判断部、及び、運転席判断部の各機能を有する。
　次に、上記構成の動作について、図３ないし図１０を参照して説明する。図３及び図４のフローチャートは、車載装置７の制御の内容を示す。まず、図３のステップＳ１０においては、ユーザによりイグニッションスイッチがオン（即ち、ＩＧＯＮ）される、または、アクセサリスイッチがオン（即ち、ＡＣＣＯＮ）される、または、ドアが開放（即ち、ドア開）されてＣＡＮ（Controller Area Network）通信によりウエイクアップ信号を受信すると、車載装置７の電源がオンされ、車載装置７が起動される。
　続いて、ステップＳ２０へ進み、車載装置７は、車両内に持ち込まれたウエアラブル機器４、６と無線接続する。そして、ステップＳ３０へ進み、車載装置７の制御部１７は、無線接続したウエアラブル機器４、６の中に運転者３と紐付け済みのウエアラブル機器４があるか否かを判断する。尚、運転者３とウエアラブル機器４との紐付け処理については、後述する。
　上記ステップＳ３０において、運転者３と紐付け済みのウエアラブル機器４があるときには（ＹＥＳ）、ステップＳ４０へ進み、車載装置７の制御部１７は、車室内カメラ２からの運転者の顔画像に基づいて、上記ウエアラブル機器４に紐付けられている人（即ち、運転者３）が運転席に座っているか否かを判断する。ここで、紐付けられている運転者３が運転席に座っているときには（ＹＥＳ）、ステップＳ５０へ進み、車載装置７は、運転者３のウエアラブル機器４から運転者３の例えば心拍数、体温、脈拍、血圧等の生体情報を取得し、記憶部１６内に記憶する。
　次いで、ステップＳ６０へ進み、車載装置７の制御部１７は、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する。このアプリケーションプログラムとしては、例えば運転者３の心拍数等を使用して安全運転への注意喚起を促したりするアプリケーションプログラムを実行することが好ましい。これにより、本制御を終了する。また、上記ステップＳ４０において、ウエアラブル機器４に紐付けられている運転者３が運転席に座っていないときには、「ＮＯ」へ進み、上記アプリケーションプログラムを起動しないで、本制御を終了する。
　また、上記ステップＳ３０において、運転者３と紐付け済みのウエアラブル機器４が無いときには（ＮＯ）、ステップＳ７０へ進み、運転者３とウエアラブル機器４とを紐付ける処理（即ち、制御）を実行する。
　この運転者３とウエアラブル機器４との紐付け処理については、図４のフローチャートを参照して説明する。まず、図４のステップＳ１１０においては、車載装置７の無線通信部１３は、車両内の全てのウエアラブル機器４、６から、各ウエアラブル機器４、６を装着した人の例えば心拍数、体温、脈拍、血圧等の生体情報を取得し、記憶部１６内に記憶する。
　続いて、ステップＳ１２０へ進み、車載装置７の映像処理部１４は、車室内カメラ２により運転者３の顔を撮影し、撮影した運転者３の顔画像を受信し、受信した運転者３の顔画像を解析することにより、運転者３の心拍数の情報や運転者３の感情判定の情報等を取得し、記憶部１６内に記憶する。
　そして、ステップＳ１３０へ進み、車載装置７の制御部１７は、ウエアラブル機器４、６から取得した生体情報（例えば心拍数等）と、車室内カメラ２により撮影した顔画像から取得した生体情報（例えば心拍数数等）とが一致するか否かを判断する。この場合、例えば、ウエアラブル機器４から取得された心拍数の検出データが、図５に示すように変化し、ウエアラブル機器６から取得された心拍数の検出データが、図６に示すように変化したとする。尚、ウエアラブル機器４、５が心拍数のデータを検出する時間は、例えば１分ないし数分程度の長さの時間であり、この時間内に設定時間（例えば１秒、２秒または３秒等程度の時間）間隔で多数回検出するように構成されている。
　これに対して、車室内カメラ２により撮影した顔画像（例えば１分ないし数分程度の時間、設定時間間隔で連続的に撮影した顔画像）から取得した心拍数のデータが、図７（ａ）に示すように変化したとする。図５、図６、図７（ａ）を比較すると、心拍数が所定の閾値Ａを越えている部分が存在するのは、図５と図７（ａ）であることから、図５と図７（ａ）は一致していると判定する。
　また、車室内カメラ２により撮影した顔画像に基づいて取得された運転者３の感情判定の情報を、ウエアラブル機器４、６から取得した心拍数の情報と比較する場合には、次のようにして比較する。まず、車室内カメラ２により撮影した顔画像（例えば１分ないし数分程度の時間、設定時間（例えば１秒、２秒または３秒等程度の時間）間隔で連続的に撮影した顔画像）から取得した感情判定のデータが、図７（ｂ）に示すように変化したとする。この場合、図７（ｂ）において、「Ｃａｌｍ」と「Ａｎｇｅｒ」との境界をＢ１とし、「Ａｎｇｅｒ」と「Ｃａｌｍ」との境界をＢ２とする。また、車室内カメラ２により撮影した顔画像に基づいて取得された運転者３の心拍数の変化を示す図７（ａ）において、心拍数のグラフと閾値Ａの交点をＣ１、Ｃ２とすると、Ｂ１がＣ１にほぼ一致し、Ｂ２がＣ２にほぼ一致する関係がある。従って、図５、図６、図７（ｂ）を比較すると、心拍数が所定の閾値Ａを越えている部分、即ち、感情判定として「Ａｎｇｅｒ」の部分が存在するのは、図５と図７（ｂ）であることから、図５と図７（ｂ）は一致していると判定する。
　さて、上記ステップＳ１３０において、生体情報が一致するウエアラブル機器４があったときには（ＹＥＳ）、ステップＳ１４０へ進み、車載装置７の制御部１７は、上記生体情報が一致したウエアラブル機器４を、運転者３のウエアラブル機器４として特定する。続いて、ステップＳ１５０へ進み、車載装置７の制御部１７は、上記特定したウエアラブル機器４と運転者３とを紐付ける処理を実行する。この場合、車室内カメラ２により撮影した顔画像の中の前記した複数の特徴点を解析し、解析した複数の特徴点の各形状や位置のデータを、運転者３のパーソナルデータとして、記憶部１６内に記憶する。そして、上記運転者３のパーソナルデータに、上記特定したウエアラブル機器４の識別ＩＤのデータを紐付けて（即ち、対応付けて）記憶部１６内に登録する。
　続いて、ステップＳ１６０へ進み、車載装置７の制御部１７は、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する。このアプリケーションプログラムとしては、例えば運転者３の心拍数等を使用して安全運転への注意喚起を促したりするアプリケーションプログラムを実行することが好ましい。これにより、本制御を終了する。
　また、上記ステップＳ１３０において、生体情報が一致するウエアラブル機器４が１つもなかったときには、「ＮＯ」へ進み、アプリケーションプログラムを起動しないで、本制御を終了する。
　また、本実施形態においては、図４に示す運転者３とウエアラブル機器４との紐付け処理を実行開始するときに、車載装置７の制御部１７は、図８（ａ）に示すように、「ドライバ（即ち、運転者３）とウエアラブルデバイス（即ち、ウエアラブル機器４）の関連付け処理をしています。」というメッセージを表示部１５に表示する。そして、この後、上記紐付け処理が成功し、ステップＳ１５０の処理が完了すると、車載装置７の制御部１７は、図８（ｂ）に示すように、「ドライバとウエアラブルデバイスの関連付けが完了しました。アプリケーションを起動します。」というメッセージを表示部１５に表示する。尚、上記紐付け処理が失敗したとき、即ち、ステップＳ１３０の判断で、生体情報が一致するウエアラブル機器４が１つもなかったときには（ＮＯ）、車載装置７の制御部１７は、図８（ｃ）に示すように、「ドライバとウエアラブルデバイスの関連付けができませんでした。アプリケーションを終了します。」というメッセージを表示部１５に表示する。
　このような構成の本実施形態においては、車載装置７の映像処理部１４によって、運転者３を撮影する車室内カメラ２から送信された画像データを受信し、受信した画像データを解析し、運転者３の心拍数を検出し、車載装置７の制御部１７によって、車両に乗車した１人以上の人が所持する１以上のウエアラブル機器４、６から送信された生体情報と、映像処理部１４により検出された運転者３の心拍数とを比較して、運転者３が所持するウエアラブル機器４を特定するように構成した。この構成によれば、車両内に複数のウエアラブル機器４、６が持ち込まれた場合に、運転者３が所持するウエアラブル機器４を正確に判定することができる。
　そして、上記実施形態では、運転者３が所持するウエアラブル機器４を特定した後、運転者３とウエアラブル機器４とを紐付け、紐付けた情報（例えば運転者３のパーソナルデータ、個人特定情報及びウエアラブル機器４の識別ＩＤの情報等）を記憶部１６に登録し、更に、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成した。この構成によれば、紐付けた情報の登録後は、紐付けた情報（例えばウエアラブル機器４の識別ＩＤ）に基づいて運転者３が所持するウエアラブル機器４を速やかに判定することができる。そして、上記アプリケーションプログラムが自動的に起動されるので、運転者３の生体情報を利用する所定の処理が自動的に実行されるようになる。
　また、上記実施形態では、車両内に持ち込まれたウエアラブル機器４，６と無線接続し、その中に、運転者３と紐付けられたウエアラブル機器４があったときに、そのウエアラブル機器４に紐付けられた運転者３が運転席に座っているか否かを判断し、上記紐付けられた運転者３が運転席に座っているときに、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成した。この構成によれば、車両内に複数のウエアラブル機器４、６が持ち込まれた場合に、運転者３が所持するウエアラブル機器４を正確且つ迅速に判定することができ、更に、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを自動的に起動することができる。
　尚、上記実施形態では、車室内カメラ２により撮影した運転者３の顔画像を、車室内カメラ２から車載装置７へ送信し、車載装置７側で運転者３の顔画像の解析を実行するように構成したが、これに限られるものではなく、車室内カメラ側において撮影した運転者３の顔画像の解析を実行し、解析結果の情報、即ち、運転者３の心拍数の情報や、運転者３の感情判定の情報や、運転者３のパーソナルデータの情報等を車載装置７へ送信するように構成しても良い。また、上記実施形態では、車載装置７を、例えばカーナビゲーション装置で構成したが、これに限られるものではなく、他の車載機器で構成しても良い。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (6)

  1. 　運転者（３）を撮影する車室内カメラ（２）から送信された画像データを受信し、受信した画像データを解析し、運転者（３）の心拍数を検出する画像処理部（１４）と、
    　車両に乗車した１人以上の人が所持する１以上のウエアラブル機器（４、６）と無線通信する無線通信部（１３）と、
    　前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により検出された運転者（３）の心拍数とを比較して、運転者（３）が所持するウエアラブル機器４を特定するウエアラブル機器特定部（１７）と、
    を備えた車載装置。
  2. 　前記画像処理部（１４）は、受信した画像データを解析し、運転者（３）の感情を判定するように構成され、
    　前記ウエアラブル機器特定部（１７）は、前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により判定された運転者（３）の感情判定結果とを比較して、運転者（３）が所持するウエアラブル機器（４）を特定するように構成されている請求項１記載の車載装置。
  3. 　前記ウエアラブル機器特定部（１７）により運転者（３）が所持するウエアラブル機器（４）が特定されたときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する起動部（１７）を備えた請求項１または２記載の車載装置。
  4. 　前記ウエアラブル機器特定部（１７）は、運転者（３）が所持するウエアラブル機器（４）を特定したときに、運転者（３）とウエアラブル機器（４）を紐付けて記憶部（１６）に登録するように構成されている請求項１から３のいずれか一項記載の車載装置。
  5. 　前記１以上のウエアラブル機器（４、６）と通信し、前記１以上のウエアラブル機器（４、６）の中に運転者（３）と紐付けられたウエアラブル機器（４）があるか否かを判断する判断部（１７）を備え、
    　前記起動部（１７）は、運転者（３）と紐付けられたウエアラブル機器（４）があったときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成されている請求項４記載の車載装置。
  6. 　前記１以上のウエアラブル機器（４、６）と通信し、前記１以上のウエアラブル機器（４、６）の中に運転者（３）と紐付けられたウエアラブル機器（４）があるか否かを判断する判断部（１７）と、
    　前記紐付けられた運転者（３）が運転席に座っているか否かを判断する運転席判断部（１７）とを備え、
    　前記起動部（１７）は、運転者（３）と紐付けられたウエアラブル機器（４）があり、更に、前記紐付けられた運転者（３）が運転席に座っているときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成されている請求項４記載の車載装置。
PCT/JP2017/019016 2016-06-09 2017-05-22 車載装置 WO2017212901A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/211,300 US10936890B2 (en) 2016-06-09 2018-12-06 Vehicle device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016115310A JP6665696B2 (ja) 2016-06-09 2016-06-09 車載装置
JP2016-115310 2016-06-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/211,300 Continuation US10936890B2 (en) 2016-06-09 2018-12-06 Vehicle device

Publications (1)

Publication Number Publication Date
WO2017212901A1 true WO2017212901A1 (ja) 2017-12-14

Family

ID=60578528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019016 WO2017212901A1 (ja) 2016-06-09 2017-05-22 車載装置

Country Status (3)

Country Link
US (1) US10936890B2 (ja)
JP (1) JP6665696B2 (ja)
WO (1) WO2017212901A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152472A1 (en) * 2018-01-30 2019-08-08 Madden Donald Face concealment detection

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10836403B2 (en) * 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
DE102017129787A1 (de) * 2017-12-13 2019-06-13 HELLA GmbH & Co. KGaA Fahrzeug mit einer Kamera zur Erfassung eines Körperteils eines Benutzers und Verfahren für den Betrieb des Fahrzeugs
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11743719B2 (en) 2019-10-07 2023-08-29 Denso Corporation System and method for authenticating an occupant of a vehicle
DE102020108064A1 (de) * 2019-12-02 2021-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Farb- und Intensitätsveränderungen bei Objekten
WO2021172038A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339681A (ja) * 2002-05-27 2003-12-02 Denso Corp 車両用表示装置
JP2011172195A (ja) * 2010-02-22 2011-09-01 Fujitsu Ltd 車載機、携帯機器、および制御プログラム
JP2014200681A (ja) * 2013-04-06 2014-10-27 本田技研工業株式会社 車両内でのバイオメトリック識別を実行するシステム及び方法
JP2015089808A (ja) * 2013-11-06 2015-05-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド ウェアラブルデバイスに基づく車両システムの適合

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005169980A (ja) 2003-12-15 2005-06-30 Seikoh Giken Co Ltd 射出成形方法とその成型用金型
JP4980737B2 (ja) * 2007-01-30 2012-07-18 株式会社デンソー 車両用情報提示装置
JP4235843B2 (ja) 2007-02-27 2009-03-11 クオリティ株式会社 車両用施錠装置、車両用施錠システムおよび車両用施錠プログラム
JP5835124B2 (ja) 2012-06-21 2015-12-24 トヨタ自動車株式会社 車載端末および通信方法
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
JP6052027B2 (ja) * 2013-03-29 2016-12-27 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法
EP2817170A4 (en) * 2013-04-15 2015-11-04 ACCESS TO USER PROFILES STORED IN THE FORM OF MODELS AND PORTABILITY OF THESE USER PROFILES
JP6142664B2 (ja) 2013-05-14 2017-06-07 富士通株式会社 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
US9037125B1 (en) * 2014-04-07 2015-05-19 Google Inc. Detecting driving with a wearable computing device
JP2016018474A (ja) 2014-07-10 2016-02-01 大日本印刷株式会社 車両制御システム、車両制御プログラム及び車両情報提供サーバ
JP7159047B2 (ja) * 2015-12-23 2022-10-24 コーニンクレッカ フィリップス エヌ ヴェ 人のバイタルサインを決定する装置、システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339681A (ja) * 2002-05-27 2003-12-02 Denso Corp 車両用表示装置
JP2011172195A (ja) * 2010-02-22 2011-09-01 Fujitsu Ltd 車載機、携帯機器、および制御プログラム
JP2014200681A (ja) * 2013-04-06 2014-10-27 本田技研工業株式会社 車両内でのバイオメトリック識別を実行するシステム及び方法
JP2015089808A (ja) * 2013-11-06 2015-05-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド ウェアラブルデバイスに基づく車両システムの適合

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152472A1 (en) * 2018-01-30 2019-08-08 Madden Donald Face concealment detection
US10963681B2 (en) 2018-01-30 2021-03-30 Alarm.Com Incorporated Face concealment detection
US11978256B2 (en) 2018-01-30 2024-05-07 Alarm.Com Incorporated Face concealment detection

Also Published As

Publication number Publication date
JP6665696B2 (ja) 2020-03-13
US20190108407A1 (en) 2019-04-11
US10936890B2 (en) 2021-03-02
JP2017220094A (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
WO2017212901A1 (ja) 車載装置
US10572746B2 (en) Apparatus detecting driving incapability state of driver
US20210268902A1 (en) Driving assistance apparatus and driving assistance method
US10040423B2 (en) Vehicle with wearable for identifying one or more vehicle occupants
CN108327722B (zh) 用于通过移动模式来识别车辆驾驶员的系统和方法
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
CN106965674B (zh) 当乘员经历潜在病症时用于操作车辆的方法和系统
JP5549721B2 (ja) ドライバモニタ装置
US10220854B2 (en) System and method for identifying at least one passenger of a vehicle by a pattern of movement
US20200247422A1 (en) Inattentive driving suppression system
JP2006293909A (ja) 運転者の視線方向検出装置
CN109421733A (zh) 驾驶者状态掌握装置、驾驶者状态掌握系统及方法
JP7091983B2 (ja) 機器制御装置
JP2017045242A (ja) 情報表示装置
JP2006034576A (ja) 乗り物酔い対策装置および乗り物酔い対策方法
JP6834578B2 (ja) 車両用健康診断装置
JP6199715B2 (ja) 精神負担評価装置、及びプログラム
US20220144302A1 (en) Driving assistance apparatus, driving assistance method, and medium
JP2021174058A (ja) 制御装置、情報処理システム、および制御方法
JP6841713B2 (ja) 眠気判定装置
JP2020062157A (ja) 疲労部位検出システムおよび疲労部位検出方法
JP6947131B2 (ja) 乗員状態認識装置
JP2017214021A (ja) 運転支援装置及びコンピュータプログラム
JP2017045241A (ja) 情報表示装置
CN117836188A (zh) 用于确定机动车驾驶员的驾驶能力的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810082

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17810082

Country of ref document: EP

Kind code of ref document: A1