WO2023112073A1 - 基準値作成装置、覚醒度推定装置、および、基準値作成方法 - Google Patents

基準値作成装置、覚醒度推定装置、および、基準値作成方法 Download PDF

Info

Publication number
WO2023112073A1
WO2023112073A1 PCT/JP2021/045728 JP2021045728W WO2023112073A1 WO 2023112073 A1 WO2023112073 A1 WO 2023112073A1 JP 2021045728 W JP2021045728 W JP 2021045728W WO 2023112073 A1 WO2023112073 A1 WO 2023112073A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference value
feature amount
road
vehicle
unit
Prior art date
Application number
PCT/JP2021/045728
Other languages
English (en)
French (fr)
Inventor
高貴 上野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/045728 priority Critical patent/WO2023112073A1/ja
Priority to JP2023567272A priority patent/JPWO2023112073A1/ja
Publication of WO2023112073A1 publication Critical patent/WO2023112073A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • the present disclosure relates to a reference value creation device, an arousal level estimation device, and a reference value creation method for creating a reference value for estimating an occupant's arousal level.
  • the reference value creation unit 14 can determine from the road information output from the road determination unit 12 that the road type of the road on which the vehicle 10 is traveling has changed. For example, the reference value creation unit 14 determines whether or not the vehicle 10 is powered on and the vehicle 10 starts running, or determines whether or not the vehicle 10 starts running, or determines the reference value of the feature amount for a certain road type. has not yet been created, it can be determined from the information about the reference value (hereinafter referred to as "reference value information") stored in the storage unit 15 .
  • the reference value information is information in which information that can specify a road type and reference values are associated with each other.
  • the reference value creating unit 14 creates the reference value information when creating the reference value, and stores the reference value information in the storage unit 15 .
  • the reference value creation unit 14 causes the storage unit 15 to store reference value information regarding the created reference value.
  • the reference value creation unit 14 creates reference value information by associating information that can identify the type of road on which the vehicle 10 is traveling, determined by the road determination unit 12, with the created reference value, and stores the reference value information. stored in the unit 15;
  • the reference value of the first feature amount corresponding to the road type A is s11
  • the reference value of the second feature amount is s12
  • the reference value of the third feature amount is s13
  • the reference value of the fourth feature amount is s13
  • the reference value of the quantity is s14
  • the reference value of the fifth feature quantity is s15
  • the reference value of the first feature amount corresponding to the road type B is s21
  • the reference value of the second feature amount is s22
  • the reference value of the third feature amount is s23
  • the reference value of the fourth feature amount is The reference value is s24
  • the reference value of the fifth feature amount is s25 .
  • the wakefulness estimating unit 25 may estimate the wakefulness of the occupant based on preset conditions (hereinafter referred to as "wakefulness estimation conditions") without being limited to the method using the machine learning model.
  • the following conditions are set in advance as the wakefulness estimation conditions.
  • An example of the conditions for estimating arousal level below is an example of a condition for estimating arousal level in the case where the arousal level is expressed in five stages, and the higher the arousal level is, the more aroused the person is.
  • ⁇ Conditions for Arousal Level Estimation> If the difference from the reference value is equal to or less than a preset threshold for all the feature values, the awakening level is set to "5".
  • FIG. 3 is a flow chart for explaining the operation of the reference value generating device 1 according to the first embodiment.
  • the reference value generating device 1 repeats the operation shown in the flowchart of FIG. 3 until the power of the vehicle 10 is turned off.
  • step ST41 When it is determined in step ST41 that the reference value information is stored in the storage unit 15 (“YES” in step ST41), the reference value generation unit 14 determines whether the road determination unit 12 in step ST2 of FIG. Based on the road information output from , it is determined whether or not the road type of the road on which the vehicle 10 is traveling has changed (step ST42).
  • step ST42 If it is determined in step ST42 that the road type has changed ("YES" in step ST42), the reference value creation unit 14 refers to the storage unit 15 to determine whether the reference value corresponding to the changed road type is It is determined whether or not it has not been created yet (step ST43).
  • the reference value creation unit 14 determines whether the (first condition) of the reference value creation conditions is satisfied. In other words, the reference value generator 14 determines whether the power of the vehicle 10 is turned on and the vehicle 10 starts running in the determination of step ST41 described above. In addition, in the determinations of steps ST42 and ST43 described above, the reference value generation unit 14 determines whether the (second condition) of the reference value generation conditions is satisfied.
  • the reference value generation unit 14 needs to generate a reference value.
  • the feature amount associated with the captured image in the feature amount information is the same as that of the vehicle running on the road after the road type has changed.
  • the reference value is created.
  • the feature amount calculation unit 23 of the awakening level estimation device 2 calculates the feature amount based on the captured images after the state detection for the number of frames for feature amount calculation.
  • the reference value creating unit 14 creates the reference value from the feature amount included in the feature amount information corresponding to the captured images corresponding to the number of frames for reference value creation.
  • the reference value creation unit 14 does not create reference values while the feature amount information for the number of frames for feature amount calculation is output from the feature amount acquisition unit 13. stand by. This is because the feature amount included in the feature amount information may be the feature amount calculated before the road type is changed.
  • the reference value generation unit 14 converts the captured image for the reference value generation frames acquired from the feature amount acquisition unit 13 after the feature amount information for the feature amount calculation frames is output from the feature amount acquisition unit 13 .
  • a reference value is created from the feature amount included in the corresponding feature amount information.
  • the feature amount calculation unit 23 of the awakening level estimation device 2 calculates the feature amount based on the captured image after state detection acquired during the feature amount calculation target period. It is also assumed that the reference value creation unit 14 creates a reference value from the feature amount included in the feature amount information acquired during the reference value creation target period. In this case, the reference value creation unit 14 waits without creating the reference value until the feature amount calculation target period elapses. Then, after the feature amount calculation target period has passed, the reference value creation unit 14 calculates the reference create a value. If the feature amount is not a feature amount that needs to be determined based on the history of the past occupant state, the reference value creation unit 14 creates the reference value without waiting after determining that the road type has changed. good too.
  • the reference value creation unit 14 creates a reference value corresponding to the road type of the road on which the vehicle 10 is running once when the power of the vehicle 10 is turned on. Only once when the type of road on which the vehicle is traveling is changed, a reference value corresponding to the changed road type is created.
  • the reference value may be lower than the reference value that should be created.
  • the reference value is lower than the reference value that should be created, it becomes difficult to clearly differentiate between the reference value and the feature amount when the arousal level of the occupant is lowered.
  • the road type affects the feature quantity, it is necessary to review the reference value when the road type changes. This is because, depending on the feature amount, the change depending on the road type is large, and even if the arousal level of the passenger does not change, the difference from the reference value increases due to the change of the road type.
  • the arousal level estimating unit 25 stores one The arousal level of the occupant is estimated using the reference value corresponding to the previous road type, in other words, the reference value used until the road type changed.
  • the arousal level estimation unit 25 stores the road information acquired from the road information acquisition unit 24 for a certain period of time, and determines whether the road type has changed from the stored road information. . Further, when the reference value information is not stored in the storage unit 15, the awakening level estimation unit 25 does not estimate the awakening level of the passenger until the reference value information is stored.
  • FIG. 6A and 6B are diagrams showing an example of the hardware configuration of the reference value generating device 1 according to Embodiment 1.
  • the processing circuit 51 implements the functions of the vehicle-related information acquisition unit 11 , the road determination unit 12 , the feature amount acquisition unit 13 , and the reference value creation unit 14 . That is, the reference value creation device 1 includes a processing circuit 51 for creating a reference value of the feature quantity used for estimating the wakefulness of the occupant based on the vehicle-related information and the feature quantity information.
  • the processing circuitry 51 may be dedicated hardware, as shown in FIG. 6A, or a processor 54 that executes a program stored in memory, as shown in FIG. 6B.
  • the processing circuit 51 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the program stored in the memory 55 causes the computer to execute the procedures or methods of the processing of the vehicle-related information acquisition unit 11, the road determination unit 12, the feature amount acquisition unit 13, and the reference value generation unit 14. I can say.
  • the memory 55 is a non-volatile or Volatile A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the processing circuit 51 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the functions of the image acquisition unit 21, the state detection unit 22, the feature amount calculation unit 23, the road information acquisition unit 24, and the arousal level estimation unit 25 are software, firmware, or software. and firmware.
  • Software or firmware is written as a program and stored in memory 55 .
  • the processor 54 reads and executes the programs stored in the memory 55 to obtain the image acquisition unit 21, the state detection unit 22, the feature value calculation unit 23, the road information acquisition unit 24, and the wakefulness estimation unit 25. perform the functions of That is, the wakefulness estimation device 2 includes a memory 55 for storing a program that, when executed by the processor 54, results in execution of steps ST11 to ST15 in FIG.
  • the program stored in the memory 55 is configured to perform the processing procedures or methods of the image acquisition unit 21, the state detection unit 22, the feature amount calculation unit 23, the road information acquisition unit 24, and the wakefulness estimation unit 25. It can also be said to be executed by
  • the memory 55 is a non-volatile or Volatile A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the functions of the image acquisition unit 21, the state detection unit 22, the feature amount calculation unit 23, the road information acquisition unit 24, and the arousal level estimation unit 25 are partly realized by dedicated hardware, and partly may be realized by software or firmware.
  • the functions of the image acquisition unit 21 and the road information acquisition unit 24 are realized by a processing circuit 51 as dedicated hardware, and the state detection unit 22, the feature amount calculation unit 23, and the arousal level estimation unit 25 are The function can be realized by the processor 54 reading and executing the program stored in the memory 55 .
  • the awakening level estimation device 2 also includes devices such as the reference value generation device 1, the imaging device 4, or a driving support device, and an input interface device 52 and an output interface device 53 that perform wired or wireless communication.
  • the reference value creation condition may include, for example, "that reference value information corresponding to the occupant is stored in the storage unit 15 (third condition)." set.
  • the reference value creation unit 14 determines whether or not the storage unit 15 stores reference value information corresponding to the passenger.
  • the reference value information stored in the storage unit 15 by the reference value creation unit 14 is associated with information that can identify the occupant.
  • the state detection unit 22 detects the state of the occupant, personal authentication is performed, and the result of the authentication is included in the feature amount information.
  • the reference value creation unit 14 acquires the authentication result via the feature amount acquisition unit 13 and stores it in the storage unit 15 in association with the reference value information.
  • the passenger operates an input device (not shown) mounted on the vehicle 10 when boarding the vehicle 10 to input personal information. It may be stored in the storage unit 15 in association with the value information.
  • the input device is assumed to be, for example, a touch panel display mounted on the vehicle 10 .
  • the significance of deleting the reference value information stored in the storage unit 15 when the power of the vehicle 10 is turned off is that, for example, a passenger who is driving the vehicle 10 for the first time can be deleted without specifying the passenger.
  • the reference value generating device 1 can operate effectively.
  • the reference value is generated for the first time in the reference value generating device 1, and the storage unit 15 stores the reference value information.
  • the wakefulness estimating unit 25 of the wakefulness estimating device 2 does not estimate the wakefulness of the occupant, this is only an example.
  • the storage unit 15 stores a general reference value that is used only until the reference value creation unit 14 stores the reference value information in the reference value creation device 1, and the awakening level estimation unit 25 stores the reference value information.
  • a common reference value may be used to estimate the arousal of the occupant.
  • the reference value generating unit 14 notifies the wakefulness level estimating unit 25 when storing the reference value information in the storage unit 15 for the first time.
  • the wakefulness estimation unit 25 stops using the general reference value.
  • the reference value generating device 1 and the awakening degree estimating device 2 are assumed to be separate devices and mounted on the vehicle 10, respectively, but this is merely an example.
  • the awakening level estimation device 2 may be mounted with the reference value generation device 1
  • the reference value generation device 1 may be mounted with the awakening level estimation device 2 .
  • the image acquisition unit 21, the state detection unit 22, and the feature amount calculation unit 23 are included in the wakefulness estimation device 2, but this is merely an example.
  • the image acquisition unit 21, the state detection unit 22, and the feature amount calculation unit 23 may be included in the reference value generation device 1, or may be included in other functions that the awakening level estimation device 2 and the reference value generation device 1 can refer to. may be provided at the location of
  • selection information information defining a feature amount to be a target feature amount when the road type changes is created in advance and stored in the selection unit 16 .
  • the selection unit 16 selects the target feature quantity according to the selection information. For example, if the first feature value is the degree of opening, the second feature value is the movement of the corners of the mouth, the third feature value is the face direction, the fourth feature value is the gaze direction, and the fifth feature value is the blink speed, the degree of opening and the angle of the mouth are and blinking speed are relatively insensitive to changes in road type (here, whether it is a general road or a highway).
  • the orientation of the face and the orientation of the line of sight are likely to be affected by changes in the road type. For example, it is difficult to imagine that the speed of the occupant opening his/her mouth or blinking will suddenly increase on a general road or on an expressway. However, on general roads where there are many signals or the possibility of jumping out, the occupants often look up or check their surroundings, and on expressways, compared to general roads, the occupants' faces and Little eye movement.
  • the selection unit 16 determines whether the estimated occupant's wakefulness tends to decrease during a preset period (hereinafter referred to as "change determination period") before the road type changes. For example, in the wakefulness estimation device 2, the wakefulness estimating unit 25 assigns the time when the estimation was performed to the information on the estimated wakefulness of the occupant and stores it in the storage unit 15, and the selecting unit 16 performs change determination. The arousal level of the occupant estimated during the period of use may be obtained from the storage unit 15 . If the occupant's wakefulness estimated during the period for change determination does not tend to decrease, the selection unit 16 selects all the feature amounts as the target feature amount, and the occupant's arousal tends to decrease.
  • change determination period a preset period
  • the selection unit 16 selects the first feature amount, the second feature amount, the third feature amount, A quantity, a fourth feature quantity, and a fifth feature quantity are selected as target features. If the estimated occupant's wakefulness tends to decrease during the change determination period retroactive to the time when the road type changed, the selection unit 16 selects the third feature amount and the fourth feature amount as the target feature amount. .
  • the selection unit 16 It is determined that the tendency of changes in feature values due to changes in the occupant's state toward "drowsy" has a greater effect on the estimation of wakefulness than the tendency of changes in feature values due to changes in road types. and selects the third feature amount and the fourth feature amount as target feature amounts. That is, the selection unit 16 reduces the target feature amount. In the above example, the selection unit 16 selects all the feature amounts as the target feature amount when the arousal level of the occupant does not tend to decrease, but this is only an example.
  • the reference value creation unit 14a determines that the target feature amount is a feature value calculated based on the captured image captured by the vehicle 10 traveling on the road after the road type has changed. A reference value is created based on the feature amount information regarding the quantity. For feature quantities other than the target feature quantity, the reference value generation unit 14a sets a reference value corresponding to the road type of the road on which the vehicle 10 was traveling before the road type changed, more specifically, immediately before the road type changed. The same value as is used as the reference value.
  • the reference value corresponding to the road type of the road on which the vehicle 10 was traveling immediately before the road type changed is the reference value used for estimating the awakening level of the occupant in the awakening level estimation device 2 immediately before the road type changed. is.
  • Embodiment 1 when the reference value generation unit 14 determines that the reference value corresponding to the changed road type should be generated due to the change in the road type of the road on which the vehicle 10 is traveling, Based on the feature amount information, reference values are created for all the feature amounts of the first feature amount, the second feature amount, the third feature amount, the fourth feature amount, and the fifth feature amount.
  • the reference value generation unit 14a determines that the reference value corresponding to the changed road type should be generated due to the change in the road type of the road on which the vehicle 10 is traveling. For the target feature value among the first feature value, the second feature value, the third feature value, the fourth feature value, and the fifth feature value, a reference value is created again based on the feature value information, and the target feature value is As for the reference value of the feature quantity other than the quantity, the reference value that has been used in the wakefulness estimation device 2 for estimating the wakefulness of the occupant is used.
  • the reference value creation unit 14a causes the storage unit 15 to store the created reference value information.
  • the road discrimination section 12 discriminates the road type of the road on which the vehicle 10 is traveling based on the vehicle-related information acquired by the vehicle-related information acquisition section 11 in step ST21 (step ST22).
  • the specific operation of step ST22 is the same as the specific operation of step ST2 in FIG.
  • the road determination unit 12 outputs the road information to the selection unit 16, the reference value generation unit 14a, and the wakefulness estimation device 2.
  • the reference value generating device 1a performs the processing in the order of steps ST21, ST22, and ST23, but the processing order of steps ST21 to ST23 is not limited to this.
  • the reference value generating device 1a may perform the process of step ST23 before performing the process of step ST24.
  • the reference value generating device 1a performs the processing of step ST24 before step ST25, but this is only an example.
  • the selection unit 16 selects the target feature amount in response to the result of determination by the reference value generation unit 14a that the road type of the road on which the vehicle 10 is traveling has changed, the processing in step ST24 is replaced with step ST25. (after step ST253 in FIG. 9 to be described later).
  • FIG. 9 is a flow chart for explaining the specific operation of step ST25 in FIG.
  • the specific operations of steps ST251 to ST253 in FIG. 9 are the same as the specific operations of steps ST41 to ST43 already explained in the first embodiment, and redundant explanations will be omitted.
  • step ST253 If it is determined in step ST253 that the reference value corresponding to the new road type has not yet been created ("YES” in step ST253), or if the reference value information is stored in the storage unit 15 in step ST251, If it is determined that it is not stored (“NO” in step ST251), the reference value creation unit 14a calculates the value for each feature amount based on the feature amount information acquired by the feature amount acquisition unit 13 in step ST23 of FIG. (step ST254).
  • the reference value generation unit 14a determines that the road type determined by the road determination unit 12 has changed and the reference value corresponding to the changed road type should be generated, that is, step If it is determined in ST253 that the reference value corresponding to the road type after the change has not been created ("YES" in step ST253), the selection unit in step ST24 of FIG.
  • the target feature quantity selected by 16 a reference value is created based on the feature quantity information output from the feature quantity acquisition unit 13, and for the feature quantity other than the target feature quantity, the same value as the previously created reference value. is the reference value. Then, the reference value creating unit 14 causes the storage unit 15 to store the reference value information.
  • the reference value used for estimating the awakening level of the passenger is preferably created immediately after the start of driving, which is assumed to be in an awakened state.
  • the reference value creation device 1 determines that the reference value corresponding to the changed road type should be created due to the change in the road type of the road on which the vehicle 10 is traveling.
  • reference values are created for all the first, second, third, fourth, and fifth feature amounts based on the feature amount information.
  • not all the feature amounts are feature amounts that change greatly depending on the road type.
  • the reference value generating apparatus 1a is designed so that when the road type of the road on which the vehicle 10 is traveling changes, individual differences in the tendency of change in the feature amount depending on the road type occur. Only for features that are easy to obtain, new reference values are created. Specifically, in the reference value generation device 1a, the reference value generation unit 14a should generate a reference value corresponding to the changed road type due to the change in the road type of the road on which the vehicle 10 is traveling.
  • the processing circuit 51 reads out and executes a program stored in the memory 55 to obtain the vehicle-related information acquisition unit 11, the road determination unit 12, the feature amount acquisition unit 13, the reference value generation unit 14a, and the selection unit. Performs 16 functions. That is, the reference value generating device 1a includes a memory 55 for storing a program that, when executed by the processing circuit 51, results in execution of steps ST21 to ST25 in FIG. In addition, the program stored in the memory 55 can be used to perform the procedures or methods of the processing of the vehicle-related information acquisition unit 11, the road determination unit 12, the feature amount acquisition unit 13, the reference value generation unit 14a, and the selection unit 16. It can also be said to be executed by The reference value generating device 1a includes devices such as the wakefulness estimation device 2 or the vehicle-related information acquisition device 3, and an input interface device 52 and an output interface device 53 that perform wired or wireless communication.
  • the storage unit 15 stores a general reference value that is used only until the reference value generation unit 14a stores the reference value information, and the awakening level estimation unit 25 , the general reference value may be used to estimate the wakefulness of the occupant.
  • the reference value generating unit 14a notifies the wakefulness level estimating unit 25 to that effect when causing the storage unit 15 to store the reference value information for the first time.
  • the wakefulness estimation unit 25 stops using the general reference value.
  • the vehicle-related information acquisition unit 11, the road determination unit 12, the feature amount acquisition unit 13, the reference value generation unit 14a, the selection unit 16, the image acquisition unit 21, the state Some of the detection unit 22, the feature value calculation unit 23, the road information acquisition unit 24, and the wakefulness estimation unit 25 are provided in the in-vehicle device of the vehicle, and the others are connected to the in-vehicle device via a network. server.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両（１０）に関連する車両関連情報を取得する車両関連情報取得部（１１）と、車両関連情報取得部（１１）が取得した車両関連情報に基づき、車両（１０）が走行している道路の道路種別を判別する道路判別部（１２）と、車両（１０）の乗員の少なくとも顔が存在する範囲が撮像された撮像画像に基づき算出された乗員の特徴量に関する特徴量情報を取得する特徴量取得部（１３）と、特徴量取得部（１３）が取得した特徴量情報に基づき乗員の覚醒度を推定するための特徴量の基準値を作成し、道路判別部（１２）が判別した道路種別が変わった場合、変わった後の道路種別の道路を走行中の車両（１０）にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて、変わった後の道路種別に対応する特徴量の基準値を作成する基準値作成部（１４，１４ａ）とを備えた。

Description

基準値作成装置、覚醒度推定装置、および、基準値作成方法
　本開示は、乗員の覚醒度を推定するための基準値を作成する基準値作成装置、覚醒度推定装置、および、基準値作成方法に関するものである。
　従来、車両の乗員を撮像した撮像画像等、乗員に関する情報から、乗員の顔向き等、乗員の状態を示す特徴量を算出し、算出した特徴量と、乗員毎に設定された特徴量の基準値との比較によって、個人差を考慮した乗員の覚醒度の推定を行う技術がある。ここで、特徴量は、車両が走行している道路の種別（以下「道路種別」という。）によって、その変化の傾向が異なる。例えば、特徴量を乗員の顔向きとすると、一般道では、高速道路に比べて、信号での停止または交差点での右左折が多く発生するため、乗員の顔向きが変化することが多くなる。そこで、車両が走行している道路種別によって、特徴量の基準値を補正する技術が知られている。例えば、特許文献１には、道路種別に基づいて眠気基準心拍数を補正する眠気算出装置が開示されている。
特開２０１６－１８２２４２号公報
　道路種別による特徴量の変化の傾向にも個人差がある。しかし、特許文献１に開示されているような従来技術は、道路種別に応じて、予め設定されている値で一律に眠気基準心拍数を補正する。このように、従来技術では、車両の乗員の覚醒度を推定するための基準値を作成するにあたり、道路種別による特徴量の変化の傾向の個人差が考慮できていないという課題があった。その結果、従来技術では、乗員の覚醒度推定の精度が低い可能性があった。
　本開示は上記のような課題を解決するためになされたもので、道路種別による特徴量の変化の傾向の個人差を考慮して、乗員の覚醒度を推定するための基準値を作成することが可能な基準値作成装置を提供することを目的とする。
　本開示に係る基準値作成装置は、車両に関連する車両関連情報を取得する車両関連情報取得部と、車両関連情報取得部が取得した車両関連情報に基づき、車両が走行している道路の道路種別を判別する道路判別部と、車両の乗員の少なくとも顔が存在する範囲が撮像された撮像画像に基づき算出された乗員の特徴量に関する特徴量情報を取得する特徴量取得部と、特徴量取得部が取得した特徴量情報に基づき乗員の覚醒度を推定するための特徴量の基準値を作成し、道路判別部が判別した道路種別が変わった場合、変わった後の道路種別の道路を走行中の車両にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて、変わった後の道路種別に対応する特徴量の基準値を作成する基準値作成部とを備えたものである。
　本開示によれば、道路種別による特徴量の変化の傾向の個人差を考慮して、乗員の覚醒度を推定するための基準値を作成することができる。
実施の形態１に係る基準値作成装置および覚醒度推定装置の構成例を示す図である。 実施の形態１において、基準値作成部が記憶部に記憶させる基準値情報の内容の一例を示す図である。 実施の形態１に係る基準値作成装置の動作について説明するためのフローチャートである。 図３のステップＳＴ４の具体的な動作を説明するためのフローチャートである。 実施の形態１に係る覚醒度推定装置の動作について説明するためのフローチャートである。 図６Ａ，図６Ｂは、実施の形態１に係る基準値作成装置および覚醒度推定装置のハードウェア構成の一例を示す図である。 実施の形態２に係る基準値作成装置および覚醒度推定装置の構成例を示す図である。 実施の形態２に係る基準値作成装置の動作について説明するためのフローチャートである。 図８のステップＳＴ２５の具体的な動作を説明するためのフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る基準値作成装置は、車両の乗員の覚醒度を推定するための特徴量の基準値を作成する。以下の実施の形態１では、車両の乗員の覚醒度を推定するための特徴量の基準値を、単に「基準値」ともいう。
　乗員の覚醒度は、乗員の少なくとも顔を撮像した撮像画像に基づいて抽出された１つ以上の特徴量に基づいて推定される。なお、乗員の覚醒度の推定に用いられる１つ以上の特徴量は、予め決められている。実施の形態１において、乗員の覚醒度の推定に用いられる特徴量は、５つの異なる種類の特徴量（第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量）とする。基準値作成装置は、上記撮像画像と車両に関連する情報（以下「車両関連情報」という。）に基づき、車両が走行している道路の道路種別に応じた、各特徴量の基準値を作成する。基準値作成装置が作成した基準値は覚醒度推定装置に出力され、覚醒度推定装置が、車両が走行している道路の道路種別に対応する基準値と上記撮像画像とに基づいて、乗員の覚醒度を推定する。実施の形態１において、覚醒度を推定する対象となる乗員は、例えば、車両のドライバを想定している。
　覚醒度推定装置が推定した乗員の覚醒度は、例えば、運転支援装置に出力され、運転支援装置が、覚醒度に基づいて乗員への警告等の運転支援を行う。
　以下の実施の形態１において、複数の特徴量、詳細には、上記５つの特徴量を、まとめて単に「特徴量」ともいう。
　図１は、実施の形態１に係る基準値作成装置１および覚醒度推定装置２の構成例を示す図である。
　基準値作成装置１は、覚醒度推定装置２および車両関連情報取得装置３と接続される。
　覚醒度推定装置２は、基準値作成装置１および撮像装置４と接続される。
　基準値作成装置１、覚醒度推定装置２、車両関連情報取得装置３、および、撮像装置４は、車両１０に搭載される。
　まず、車両関連情報取得装置３について説明する。
　車両関連情報取得装置３は、車両関連情報を取得する。車両関連情報取得装置３は、例えば、車速を検出する車速センサ、ハンドル舵角を検出する舵角センサ、アクセル開度を検出するアクセルポジションセンサ、地図情報を格納する地図データベース、および、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を含む。車両関連情報取得装置３が取得する車両関連情報は、車両１０の車速、車両１０のハンドル舵角、車両１０のアクセル開度、地図情報、および、車両１０の現在位置情報を含む。
　車両関連情報取得装置３は、車両関連情報を基準値作成装置１に出力する。
　次に、基準値作成装置１について説明する。
　基準値作成装置１は、車両関連情報取得部１１、道路判別部１２、特徴量取得部１３、基準値作成部１４、および、記憶部１５を備える。
　車両関連情報取得部１１は、車両関連情報取得装置３から出力された車両関連情報を取得する。
　車両関連情報取得部１１は、取得した車両関連情報を道路判別部１２に出力する。
　道路判別部１２は、車両関連情報取得部１１が取得した車両関連情報に基づき、車両１０が走行している道路の道路種別を判別する。道路判別部１２が判別する道路種別は、予め定義されている。実施の形態１では、一例として、道路種別は、「一般道」と「高速道路」の２種類とする。実施の形態１において、「高速道路」は自動車専用道路も含む。なお、これは一例に過ぎず、道路種別には、例えば、「狭い道」、または、「山道」が定義されていてもよい。「狭い道」とする道路の道幅は予め設定される。また、道路種別には、人通りの多い「市街地の道路」、または、人通りの少ない「郊外の道路」が定義されていてもよい。道路種別は、車両関連情報取得装置３が取得する車両関連情報から判定可能な種別であれば、適宜の種別とすることができる。
　道路判別部１２は、例えば、車両関連情報に含まれている車速、ハンドル舵角、または、アクセル開度に基づいて道路種別、ここでは「一般道」か「高速道路」か、を判別する。道路判別部１２は、例えば、車速、ハンドル舵角、または、アクセル開度と、道路種別を判別するための条件（以下「道路判別条件」という。）とに基づいて、道路種別を判別する。道路判別条件には、例えば、以下のような内容の条件が設定されている。道路判別部１２は、例えば、以下の道路判別条件を満たす場合、車両１０が走行している道路は「高速道路」であると判別し、以下の道路判別条件を満たさない場合、車両１０が走行している道路は「一般道」であると判別する。なお、道路判別部１２は、取得した車両関連情報を、例えば１分以上の所定期間記憶し、記憶している車両関連情報に基づいて、過去１分間のハンドル舵角の回転範囲を判定すればよい。

＜道路判別条件＞
　車速が予め設定されている閾値（以下「車速判定用閾値」という。）以上であり、かつ、過去１分間のハンドル舵角の回転範囲が予め設定されている範囲（以下「舵角判定用範囲」という。）以内であれば、高速道路
　なお、例えば、道路種別として「狭い道」、「山道」、「市街地の道路」、または、「郊外の道路」が定義されている場合、道路判別部１２は、例えば、車両関連情報に含まれている地図情報と車両１０の現在位置情報とに基づき、道路種別を判別すればよい。地図情報には、道路の道幅に関する情報、および、市街地であるか郊外であるかに関する情報が含まれているものとする。
　道路判別部１２は、判別した道路種別に関する情報（以下「道路情報」という。）を、基準値作成部１４および覚醒度推定装置２に出力する。
　特徴量取得部１３は、覚醒度推定装置２から、乗員の特徴量に関する情報（以下「特徴量情報」という。）を取得する。
　特徴量情報は、撮像装置４が撮像した撮像画像に、乗員の特徴量が対応付けられた情報である。乗員の特徴量は、例えば、乗員の目の開き具合を示す開瞼度、乗員の口の開き具合を示す開口度、乗員の顔向き、乗員の頭位置、乗員の視線の向き、乗員のＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔ　ｏｆ　ｔｈｅ　ｔｉｍｅ　ｅｙｅｌｉｄｓ　ａｒｅ　ｃｌｏｓｅｄ。単位時間あたりの閉眼時間割合）、口角の動き、乗員の瞬き回数、または、乗員の瞬き速度を含む。これらの特徴量は、覚醒度推定装置２において、撮像装置４が撮像した撮像画像から算出される。覚醒度推定装置２および撮像装置４の詳細については、後述する。なお、覚醒度推定装置２は、撮像画像のフレーム毎に特徴量を算出する。特徴量取得部１３は、撮像画像のフレーム毎に特徴量が対応付けられた特徴量情報を、フレーム単位で取得する。
　特徴量取得部１３は、取得した特徴量情報を、基準値作成部１４に出力する。
　基準値作成部１４は、特徴量取得部１３が取得した特徴量情報に基づき、基準値を作成する。基準値作成部１４は、特徴量毎に基準値を作成する。
　基準値作成部１４は、予め設定されている、基準値を作成するための条件（以下「基準値作成条件」という。）を満たす場合に、基準値を作成する。
　実施の形態１において、基準値作成条件には、「車両１０の電源がオンにされ車両１０が走行を開始したときであること（第１条件）」、および、「車両１０が走行している道路の道路種別が変わったときであり、かつ、その道路種別での特徴量の基準値が未作成であること（第２条件）」が設定されている。（第１条件）は、基準値作成部１４が、車両１０の電源がオンにされた以降、はじめて基準値を作成するタイミングであることを判定するための条件である。（第２条件）は、車両１０が走行している道路の道路種別が変わることにより基準値の見直しが必要な、詳細には、変わった後の道路種別に対応する基準値を作成すべきタイミングであることを判定するための条件である。
　基準値作成部１４は、例えば、車両１０が走行している道路の道路種別が変わったことを、道路判別部１２から出力される道路情報から判定できる。また、基準値作成部１４は、例えば、車両１０の電源がオンにされ車両１０が走行を開始したときであるか否か、または、ある道路種別について、当該道路種別での特徴量の基準値が未作成であるか否かを、記憶部１５に記憶されている基準値に関する情報（以下「基準値情報」という。）から判定できる。基準値情報は、道路種別を特定可能な情報と基準値とが対応付けられた情報である。基準値作成部１４は、基準値を作成した際に、当該基準値情報を作成し、記憶部１５に記憶させる。実施の形態１において、記憶部１５に記憶された基準値情報は、例えば、制御部（図示省略）によって、車両１０の電源がオフにされたときに削除される。例えば、基準値作成部１４は、記憶部１５に基準値情報が記憶されていなければ、車両１０の電源がオンにされ車両１０が走行を開始したときであると判定できる。また、例えば、基準値作成部１４は、記憶部１５に記憶されている基準値情報を参照すれば、ある道路種別について、当該道路種別での特徴量の基準値が未作成であるか否かを判定できる。基準値作成部１４が基準値および当該基準値情報を作成する詳細については後述する。
　基準値作成部１４は、（第１条件）または（第２条件）を満たす場合、基準値作成条件を満たすとして、基準値を作成する。すなわち、基準値作成部１４は、車両１０が走行している道路の道路種別に応じて、基準値を作成することになる。詳細には、基準値作成部１４は、車両１０の電源がオンにされ車両１０が走行を開始すると、まず、基準値を作成する。以降、例えば、車両１０の電源がオフされるまで、基準値作成部１４は、車両１０が走行している道路の道路種別が変わる毎に、基準値を作成する。
　基準値作成部１４による、具体的な基準値の作成方法について説明する。
　基準値作成部１４は、例えば、取得した特徴量情報のうち、予め設定されたフレーム数（以下「基準値作成用フレーム数」という。）分の撮像画像に対応する特徴量情報、に含まれている特徴量の中央値を基準値とする。基準値作成部１４は、例えば、基準値作成用フレーム数分の撮像画像に対応する特徴量情報に含まれている特徴量の平均値を基準値としてもよいし、特徴量の最頻値を基準値としてもよい。
　また、例えば、基準値作成部１４は、予め設定された期間（以下「基準値作成対象期間」という。）に取得した特徴量情報に含まれている特徴量の中央値、平均値、または、最頻値を、基準値としてもよい。
　基準値作成部１４は、作成した基準値に関する基準値情報を、記憶部１５に記憶させる。基準値作成部１４は、道路判別部１２が判別した、車両１０が走行している道路の道路種別を特定可能な情報と、作成した基準値とを対応付けて基準値情報を作成し、記憶部１５に記憶させる。
　記憶部１５は、基準値情報を記憶する。
　なお、図１では、記憶部１５は基準値作成装置１に備えられているが、これは一例に過ぎない。記憶部１５は、基準値作成装置１の外部の、基準値作成装置１が参照可能な場所に備えられてもよい。
　ここで、図２は、実施の形態１において、基準値作成部１４が記憶部１５に記憶させる基準値情報の内容の一例を示す図である。
　図２に示すように、基準値情報は、道路種別を特定可能な情報と、各特徴量（第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量）の基準値とが対応付けられた情報である。
　図２は、道路種別Ａ、道路種別Ｂ、および、道路種別Ｃの、３つの道路種別について、それぞれ各特徴量の基準値が対応付けられた基準値情報を示している。例えば、道路種別Ａに対応する第１特徴量の基準値はｓ１１であり、第２特徴量の基準値はｓ１２であり、第３特徴量の基準値はｓ１３であり、第４特徴量の基準値はｓ１４であり、第５特徴量の基準値はｓ１５である。道路種別Ｂに対応する第１特徴量の基準値はｓ２１であり、第２特徴量の基準値はｓ２２であり、第３特徴量の基準値はｓ２３であり、第４特徴量の基準値はｓ２４であり、第５特徴量の基準値はｓ２５である。道路種別Ｃに対応する第１特徴量の基準値はｓ３１であり、第２特徴量の基準値はｓ３２であり、第３特徴量の基準値はｓ３３であり、第４特徴量の基準値はｓ３４であり、第５特徴量の基準値はｓ３５である。
　次に、撮像装置４について説明する。
　撮像装置４は、車両１０の乗員の少なくとも顔が存在すべき範囲を撮像する。撮像装置４は、可視光カメラ、または、赤外線カメラである。撮像装置４が赤外線カメラである場合、撮像装置４には、乗員の顔が存在すべき範囲に対して撮像用の赤外線を照射する光源（図示省略）が設けられている。
　撮像装置４は、撮像した撮像画像を、覚醒度推定装置２に出力する。
　次に、覚醒度推定装置２について説明する。
　覚醒度推定装置２は、画像取得部２１、状態検出部２２、特徴量算出部２３、道路情報取得部２４、および、覚醒度推定部２５を備える。
　画像取得部２１は、撮像装置４から撮像画像を取得する。
　画像取得部２１は、取得した撮像画像を状態検出部２２に出力する。
　状態検出部２２は、画像取得部２１から出力された撮像画像に基づき、乗員の状態を検出する。
　実施の形態１において、状態検出部２２が検出する乗員の状態は、乗員の覚醒度の推定に用いられる特徴量を算出するための乗員の状態である。具体的には、状態検出部２２が検出する乗員の状態は、乗員の開瞼度、乗員の開口度、乗員の顔向き、乗員の頭位置、または、乗員の視線の方向等である。状態検出部２２は、既知の画像認識技術を用いて、乗員の状態を検出すればよい。
　状態検出部２２は、撮像画像に、検出した乗員の状態に関する情報を対応付けて、特徴量算出部２３に出力する。状態検出部２２が出力する、乗員の状態に関する情報が対応付けられた撮像画像を、「状態検出後撮像画像」ともいう。当該状態検出部２２の機能は、後述する特徴量算出部２３が有していてもよい。
　特徴量算出部２３は、状態検出部２２から出力された状態検出後撮像画像に基づき、乗員の特徴量を算出する。
　特徴量算出部２３は、状態検出部２２から出力された状態検出後撮像画像のフレーム毎に、乗員の特徴量を算出する。なお、特徴量が、ＰＥＲＣＬＯＳ、瞬き回数、または、瞬き速度等、過去の乗員の状態の経緯から判定する必要がある特徴量である場合、特徴量算出部２３は、例えば、状態検出部２２から出力された状態検出後撮像画像を記憶しておき、記憶しておいた、過去の予め設定されたフレーム数（以下「特徴量算出用フレーム数」という。）分の状態検出後撮像画像に基づき、特徴量を算出する。特徴量算出部２３は、例えば、記憶しておいた、過去の予め設定された期間（以下「特徴量算出対象期間」という。）に取得した状態検出後撮像画像に基づき、特徴量を算出してもよい。
　例えば、特徴量が乗員の開瞼度、乗員の開口度、乗員の顔向き、または、乗員の視線の向きである等、状態検出部２２から出力された１フレームの状態検出後撮像画像に対応付けられている乗員の状態に関する情報をそのまま乗員の特徴量とできる場合、特徴量算出部２３は、当該乗員の状態に関する情報を、特徴量とすればよい。
　特徴量算出部２３は、撮像画像に算出した特徴量を対応付けた特徴量情報を、覚醒度推定部２５および基準値作成装置１に出力する。
　道路情報取得部２４は、基準値作成装置１から出力される道路情報を取得する。
　道路情報取得部２４は、取得した道路情報を覚醒度推定部２５に出力する。
　覚醒度推定部２５は、道路情報取得部２４から出力された道路情報と、基準値作成装置１が作成した特徴量の基準値と、特徴量算出部２３から出力された特徴量情報に含まれている特徴量とに基づき、乗員の覚醒度を推定する。基準値作成装置１が作成した特徴量の基準値は、記憶部１５に基準値情報として記憶されている。
　具体的には、覚醒度推定部２５は、まず、記憶部１５を参照し、道路情報取得部２４から出力された道路情報で示されている道路種別に対応する基準値を取得する。そして、覚醒度推定部２５は、以下の式（１）に従い、特徴量情報に含まれている特徴量と取得した基準値との差分を算出する。当該差分は、すなわち、個人差を吸収した特徴量である。
　
　個人差を吸収した特徴量　＝　特徴量　－　基準値　　・・・（１）

　なお、特徴量算出部２３から出力された特徴量情報に含まれている特徴量は、最新のフレーム（現フレーム）の撮像画像に基づいて算出された特徴量である。
　覚醒度推定部２５は、各特徴量について、当該各特徴量に対応する基準値との差分を算出する。
　そして、覚醒度推定部２５は、算出した差分と、学習済みのモデル（以下「機械学習モデル」という。）とに基づき、乗員の覚醒度を推定する。
　機械学習モデルは、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ランダムフォレスト、ＬｉｇｈｔＧＢＭ（Ｌｉｇｈｔ　Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｍａｃｈｉｎｅ）、または、畳み込みニューラルネットワーク等の機械学習モデルである。機械学習モデルは、特徴量と当該特徴量の基準値との差分を入力とし、覚醒度に関する情報を出力する。機械学習モデルは、管理者等によって予め作成され、覚醒度推定部２５が参照可能な場所に記憶されている。
　例えば、覚醒度が５段階であらわされ、覚醒度が大きいほど覚醒しているとする。この場合、覚醒度推定部２５は、機械学習モデルに算出した差分を入力し、「１」～「５」の覚醒度を得る。
　覚醒度推定部２５は、機械学習モデルを用いる方法に限らず、予め設定された条件（以下「覚醒度推定用条件」という。）に基づき、乗員の覚醒度を推定してもよい。
　覚醒度推定用条件には、例えば、以下のような条件が予め設定されている。なお、以下の覚醒度推定用条件の一例は、覚醒度が５段階であらわされ、覚醒度が大きいほど覚醒しているとする場合の覚醒度推定用条件の一例としている。

＜覚醒度推定用条件＞
　・全ての特徴量において、基準値との差分が、予め設定された閾値以下である場合、覚醒度「５」とする。
　・全ての特徴量のうち、基準値との差分が予め設定された閾値以下となる特徴量の割合が２割以下である場合、覚醒度「１」とする。
　・全ての特徴量のうち、基準値との差分が予め設定された閾値以下となる特徴量の割合が２割より大きく４割以下である場合、覚醒度「２」とする。
　・全ての特徴量のうち、基準値との差分が予め設定された閾値以下となる特徴量の割合が４割より大きく６割以下である場合、覚醒度「３」とする。
　・全ての特徴量のうち、基準値との差分が予め設定された閾値以下となる特徴量の割合が６割より大きく８割以下である場合、覚醒度「４」とする。
　・全ての特徴量のうち、基準値との差分が予め設定された閾値以下となる特徴量の割合が８割より大きい場合、覚醒度「５」とする。
　なお、上述の例では、覚醒度は５段階であらわされていたが、これは一例に過ぎない。例えば、覚醒度は、「高い」または「低い」であらわされてもよい。この場合、機械学習モデルは、特徴量と当該特徴量の基準値との差分を入力とし、「高い」または「低い」を示す情報を出力する。また、覚醒度推定用条件には、特徴量と当該特徴量の基準値との差分に基づいて、覚醒度が「高い」または「低い」と推定可能な条件が設定される。
　覚醒度推定部２５は、推定した乗員の覚醒度に関する情報（以下「覚醒度情報」という。）を、例えば、運転支援装置（図示省略）に出力する。覚醒度情報は、少なくとも、覚醒度を含む。覚醒度情報は、例えば、乗員の座席位置、または、特徴量情報に含まれている撮像画像を含んでもよい。乗員の座席位置に関する情報は、撮像画像に付与されているものとする。例えば、状態検出部２２が、乗員の状態を検出する際、乗員の座席位置をあわせて検出し、撮像画像に付与する。
　運転支援装置は、覚醒度情報に基づき、例えば、乗員の覚醒度が予め設定されている閾値以下である場合、車両１０に搭載されている出力装置（図示省略）から、警告音を出力する。
　実施の形態１に係る基準値作成装置１の動作について説明する。
　図３は、実施の形態１に係る基準値作成装置１の動作について説明するためのフローチャートである。
　なお、基準値作成装置１は、車両１０の電源がオンにされると、車両１０の電源がオフにされるまで、図３のフローチャートで示す動作を繰り返す。
　車両関連情報取得部１１は、車両関連情報取得装置３から出力された車両関連情報を取得する（ステップＳＴ１）。
　車両関連情報取得部１１は、取得した車両関連情報を道路判別部１２に出力する。
　道路判別部１２は、ステップＳＴ１にて車両関連情報取得部１１が取得した車両関連情報に基づき、車両１０が走行している道路の道路種別を判別する（ステップＳＴ２）。
　道路判別部１２は、道路情報を、基準値作成部１４および覚醒度推定装置２に出力する。
　特徴量取得部１３は、覚醒度推定装置２から特徴量情報を取得する（ステップＳＴ３）。
　特徴量取得部１３は、取得した特徴量情報を、基準値作成部１４に出力する。
　基準値作成部１４は、ステップＳＴ２にて道路判別部１２が判別した道路種別と、ステップＳＴ３にて特徴量取得部１３が取得した特徴量情報に基づき、特徴量毎に基準値を作成するための「基準値作成処理」を行う（ステップＳＴ４）。
　基準値作成部１４は、「基準値作成処理」にて基準値を作成した場合、基準値情報を、記憶部１５に記憶させる。
　なお、図３に示すフローチャートでは、基準値作成装置１は、ステップＳＴ１、ステップＳＴ２、ステップＳＴ３の順に処理を行うものとしているが、ステップＳＴ１～ステップＳＴ３の処理の順番はこれに限らない。基準値作成装置１は、ステップＳＴ４の処理を行うまでに、ステップＳＴ３の処理を行えばよい。
　図４は、図３のステップＳＴ４の具体的な動作を説明するためのフローチャートである。
　基準値作成部１４は、記憶部１５に基準値情報が記憶されているか否かを判定する（ステップＳＴ４１）。
　ステップＳＴ４１にて、記憶部１５に基準値情報が記憶されていると判定した場合（ステップＳＴ４１の“ＹＥＳ”の場合）、基準値作成部１４は、図３のステップＳＴ２にて道路判別部１２から出力された道路情報に基づき、車両１０が走行している道路の道路種別が変わったか否かを判定する（ステップＳＴ４２）。
　ステップＳＴ４２にて、道路種別が変わったと判定した場合（ステップＳＴ４２の“ＹＥＳ”の場合）、基準値作成部１４は、記憶部１５を参照し、変わった後の道路種別に対応する基準値が未作成であるか否かを判定する（ステップＳＴ４３）。
　ステップＳＴ４３にて、変わった後の道路種別に対応する基準値が未作成であると判定した場合（ステップＳＴ４３の“ＹＥＳ”の場合）、または、ステップＳＴ４１にて記憶部１５に基準値情報が記憶されていないと判定した場合（ステップＳＴ４１の“ＮＯ”の場合）、基準値作成部１４は、図３のステップＳＴ３にて特徴量取得部１３が取得した特徴量情報に基づき、特徴量毎に基準値を作成する（ステップＳＴ４４）。そして、基準値作成部１４は、基準値情報を、記憶部１５に記憶させる。
　ステップＳＴ４２にて道路種別が変わっていないと判定した場合（ステップＳＴ４２の“ＮＯ”の場合）、または、ステップＳＴ４３にて、変わった後の道路種別に対応する基準値が作成済みであると判定した場合（ステップＳＴ４３の“ＮＯ”の場合）、基準値作成装置１は、図４のフローチャートで示す処理を終了する。
　上述のステップＳＴ４１の判定にて、基準値作成部１４は、上記基準値作成条件の（第１条件）を満たすかを判定する。言い換えれば、基準値作成部１４は、上述のステップＳＴ４１の判定にて、車両１０の電源がオンにされ車両１０が走行を開始したときであるかを判定する。
　また、上述のステップＳＴ４２～ステップＳＴ４３の判定にて、基準値作成部１４は、上記基準値作成条件の（第２条件）を満たすかを判定する。
　なお、実施の形態１では、基準値作成部１４は、記憶部１５に基準値情報が記憶されているか否かによって、上記（第１条件）、すなわち、車両１０の電源がオンにされ車両１０が走行を開始したときであるか否かを判定するようにしたが（上述のステップＳＴ４１参照）、これは一例に過ぎない。例えば、基準値作成部１４は、車両１０の電源がオンにされ車両１０が走行を開始したときであることを、例えば、走行開始フラグで判定してもよい。走行開始フラグは、基準値作成部１４が参照可能な場所に記憶される。基準値作成部１４は、基準値を作成した際に、走行開始フラグに「１」を設定する。当該走行開始フラグは、車両１０の電源がオフされた際に初期化され「０」となる。基準値作成部１４は、走行開始フラグが「０」のとき、車両１０の電源がオンにされ車両１０が走行を開始したとき、すなわち、車両１０の電源がオンにされて以降、まだ一度も基準値が作成されていない状態であると判定する。
　このように、基準値作成部１４が、例えば、車両１０の電源がオンにされ車両１０が走行を開始したときであることを、走行開始フラグで判定する場合、記憶部１５に記憶されている基準値情報は、車両１０の電源がオフにされたときに削除されることを必須としない。
　また、基準値作成部１４は、車両１０が走行している道路の道路種別が変わり、当該道路種別での基準値が未作成であることにより基準値を作成することになった場合、すなわち、変わった後の道路種別に対応する基準値を作成すべきタイミングになった場合、特徴量情報にて撮像画像に対応付けられている特徴量が、道路種別が変わった後の道路を走行中の車両１０にて撮像された撮像画像に基づき算出された特徴量になってから、基準値の作成を行う。具体例を挙げて説明すると、例えば、覚醒度推定装置２の特徴量算出部２３は、特徴量算出用フレーム数分の状態検出後撮像画像に基づき特徴量を算出するとする。また、基準値作成部１４は、基準値作成用フレーム数分の撮像画像に対応する特徴量情報、に含まれている特徴量から、基準値を作成するとする。この場合、基準値作成部１４は、道路種別が変わったと判定した後、特徴量取得部１３から特徴量算出用フレーム数分の特徴量情報が出力される間は、基準値の作成を行わず待機する。当該特徴量情報に含まれる特徴量は、道路種別が変わる前に算出された特徴量である可能性があるためである。そして、基準値作成部１４は、特徴量取得部１３から特徴量算出用フレーム数分の特徴量情報が出力された後に特徴量取得部１３から取得した基準値作成用フレーム数分の撮像画像に対応する特徴量情報に含まれている特徴量から、基準値を作成する。
　また、例えば、覚醒度推定装置２の特徴量算出部２３は、特徴量算出対象期間に取得した状態検出後撮像画像に基づき特徴量を算出するとする。また、基準値作成部１４は、基準値作成対象期間に取得した特徴量情報に含まれている特徴量から基準値を作成するとする。この場合、基準値作成部１４は、特徴量算出対象期間が経過するまで基準値の作成を行わず待機する。そして、基準値作成部１４は、特徴量算出対象期間経過後、特徴量取得部１３から取得した基準値作成対象期間分の撮像画像に対応する特徴量情報に含まれている特徴量から、基準値を作成する。
　なお、特徴量が、過去の乗員の状態の経緯から判定する必要がある特徴量ではない場合、基準値作成部１４は、道路種別が変わったと判定後、待機することなく基準値を作成してもよい。
　図３および図４を用いて説明した基準値作成装置１の動作について、車両１０の走行状況の一例を挙げて説明する。
　例えば、乗員が車両１０に乗り込み、車両１０の電源をオンにし、一般道にて走行を開始したとする。この段階では、基準値作成装置１は、まだ一度も基準値を作成していないため、「一般道」に対応する基準値を作成する（図４のステップＳＴ４１の“ＮＯ”の場合、ステップＳＴ４４参照）。そして、基準値作成装置１は、「一般道」を特定可能な情報と作成した基準値とを対応付けた基準値情報を記憶する。
　その後、しばらく車両１０は一般道を走行するとする。この間、基準値作成装置１は、基準値の作成は行わない（図４のステップＳＴ４１の“ＹＥＳ”の場合、ステップＳＴ４２の“ＮＯ”の場合参照）。
　しばらく一般道を走行した後、車両１０は、高速道路に入ったとする。そうすると、基準値作成装置１は、道路種別が変わったと判定する。ここで、高速道路の走行時には、まだ基準値の作成は行われていない。したがって、基準値作成装置１は、「高速道路」に対応する基準値を作成する（図４のステップＳＴ４１の“ＹＥＳ”の場合、ステップＳＴ４２の“ＹＥＳ”の場合、ステップＳＴ４３の“ＹＥＳ”の場合参照）。そして、基準値作成装置１は、「高速道路」を特定可能な情報と作成した基準値とを対応付けた基準値情報を記憶する。
　しばらく高速道路を走行した後、車両１０は、高速道路を降り、再び一般道に入ったとする。そうすると、基準値作成装置１は、道路種別が変わったと判定する。ここで、一般道の走行時には、既に基準値の作成が行われている。したがって、基準値作成装置１は、基準値を作成しない（図４のステップＳＴ４１の“ＹＥＳ”の場合、ステップＳＴ４２の“ＹＥＳ”の場合、ステップＳＴ４３の“ＮＯ”の場合参照）。
　このように、基準値作成装置１において、基準値作成部１４は、車両１０が走行している道路の道路種別が変わったときであっても、変わった後の道路種別での基準値を作成済みであれば、（第２条件）を満たさないと判定し、基準値の作成は行わない。言い換えれば、基準値作成部１４は、道路種別が変わった場合、変わった後の道路種別と基準値とが対応付けられた基準値情報が記憶部１５に記憶されている場合、基準値の作成は行わない。すなわち、基準値作成部１４は、車両１０の電源がオンにされて以降、過去に同じ道路種別で基準値の作成を実施済みであれば、作成済みの基準値の更新は行わない。
　また、基準値作成部１４は、車両１０の電源がオンにされた際に１度、車両１０が走行している道路の道路種別に対応する基準値の作成を行い、以降は、車両１０が走行している道路種別が変わった際に１度のみ、変わった後の道路種別に対応する基準値の作成を行う。
　例えば、乗員が車両１０を運転するとき、当該乗員は、運転を開始した直後は覚醒している状態であるが、同じ道路種別の道路での運転が継続すると、疲労または慣れ等により次第に覚醒度が低くなっていくことが想定される。したがって、乗員の覚醒度の推定に用いられる基準値は、覚醒している状態であると想定される、運転を開始した直後に作成されていることが好ましい。運転を開始した直後の乗員の状態に基づく特徴量から基準値が作成されると、当該基準値と乗員の覚醒度が低下した際の特徴量との差分がよりわかりやすく生じ、乗員の覚醒度が高精度に検知可能と考えられるためである。覚醒度が低くなっている状態で基準値が作成されると、当該基準値は、本来作成されるべき基準値よりも低くなる可能性がある。基準値が本来作成されるべき基準値よりも低くなると、当該基準値と乗員の覚醒度が低下した際の特徴量との差分がはっきりとは生じにくくなる。
　ただし、道路種別は特徴量に影響するため、道路種別が変わった際には、基準値の見直しが必要である。特徴量によっては、道路種別による変化が大きく、乗員の覚醒度が変化していなくても、道路種別が変化することによって、基準値からの差分が大きくなるためである。道路種別による特徴量の変化を考慮せずに基準値が作成され、当該基準値と、道路種別が変化した際の特徴量との比較が行われると、例えば、乗員の覚醒度は低下していないにもかかわらず当該基準値と特徴量との差分が大きくなり、乗員の覚醒度の誤検知が発生する。
　そこで、基準値作成装置１は、車両１０の電源がオンにされた際に１度、および、道路種別が変わり基準値の見直しが必要と判定した場合に１度、基準値の作成を行う。その際、基準値作成装置１は、変わった後の道路種別の道路を走行中の車両１０にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて、変わった後の道路種別に対応する基準値を作成する。これにより、基準値作成装置１は、道路種別による特徴量の変化の傾向の個人差を考慮して、乗員の覚醒度を推定するための基準値を作成することが可能となる。
　実施の形態１に係る覚醒度推定装置２の動作について説明する。
　図５は、実施の形態１に係る覚醒度推定装置２の動作について説明するためのフローチャートである。
　画像取得部２１は、撮像装置４から撮像画像を取得する（ステップＳＴ１１）。
　画像取得部２１は、取得した撮像画像を状態検出部２２に出力する。
　状態検出部２２は、ステップＳＴ１１にて画像取得部２１から出力された撮像画像に基づき、乗員の状態を検出する（ステップＳＴ１２）。
　状態検出部２２は、状態検出後撮像画像を特徴量算出部２３に出力する。
　特徴量算出部２３は、ステップＳＴ１２にて状態検出部２２から出力された状態検出後撮像画像に基づき、乗員の特徴量を算出する（ステップＳＴ１３）。
　特徴量算出部２３は、特徴量情報を、覚醒度推定部２５および基準値作成装置１に出力する。
　道路情報取得部２４は、基準値作成装置１から出力される道路情報を取得する（ステップＳＴ１４）。
　道路情報取得部２４は、取得した道路情報を覚醒度推定部２５に出力する。
　覚醒度推定部２５は、ステップＳＴ１４にて道路情報取得部２４から出力された道路情報と、基準値作成装置１が作成した基準値と、ステップＳＴ１３にて特徴量算出部２３から出力された特徴量情報に含まれている特徴量とに基づき、乗員の覚醒度を推定する（ステップＳＴ１５）。基準値作成装置１が作成した基準値は、記憶部１５に基準値情報として記憶されている。覚醒度推定部２５は、ステップＳＴ１４にて道路情報取得部２４が取得した道路情報と記憶部１５に記憶されている基準値情報とをつきあわせ、基準値作成装置１にて判別された道路種別に対応する基準値を記憶部１５から取得する。そして、覚醒度推定部２５は、取得した基準値を用いて、乗員の覚醒度を推定する。
　具体的には、覚醒度推定部２５は、特徴量算出部２３が算出した特徴量と当該特徴量の基準値との差分と、機械学習モデルとに基づいて、乗員の覚醒度を推定する。または、覚醒度推定部２５は、特徴量算出部２３が算出した特徴量と当該特徴量の基準値との差分と、覚醒度推定用条件とに基づき、乗員の覚醒度を推定する。
　なお、覚醒度推定部２５は、道路種別が変わった場合であって、変わった後の道路種別に対応する基準値を含む基準値情報がまだ記憶部１５に記憶されていない場合は、一つ前の道路種別に対応する基準値、言い換えれば、道路種別が変わるまで使用していた基準値を用いて、乗員の覚醒度を推定する。覚醒度推定部２５は、例えば、道路情報取得部２４から取得した道路情報を一定期間記憶しておくようにし、記憶しておいた道路情報から、道路種別が変わったか否かを判定すればよい。
　また、覚醒度推定部２５は、記憶部１５に基準値情報が記憶されていない場合は、当該基準値情報が記憶されるまで、乗員の覚醒度を推定しない。記憶部１５に基準値情報が記憶されていない場合とは、例えば、車両１０の電源がオンにされた後、基準値作成装置１にてはじめて基準値が作成され、記憶部１５に基準値情報が記憶されるまでの間を想定している。
　覚醒度推定部２５は、覚醒度情報を、例えば、運転支援装置に出力する。
　図６Ａ，図６Ｂは、実施の形態１に係る基準値作成装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４の機能は、処理回路５１により実現される。すなわち、基準値作成装置１は、車両関連情報と特徴量情報とに基づき、乗員の覚醒度の推定に用いる特徴量の基準値を作成するための処理回路５１を備える。
　処理回路５１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ５４であってもよい。
　処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ５４の場合、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ５５に記憶される。プロセッサ５４は、メモリ５５に記憶されたプログラムを読み出して実行することにより、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４の機能を実行する。すなわち、基準値作成装置１は、プロセッサ５４により実行されるときに、上述の図３のステップＳＴ１～ステップＳＴ５が結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、メモリ５５に記憶されたプログラムは、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４の処理の手順または方法をコンピュータに実行させるものともいえる。ここで、メモリ５５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、車両関連情報取得部１１と特徴量取得部１３については専用のハードウェアとしての処理回路５１でその機能を実現し、道路判別部１２と基準値作成部１４についてはプロセッサ５４がメモリ５５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、基準値作成装置１は、覚醒度推定装置２または車両関連情報取得装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置５２および出力インタフェース装置５３を備える。
　また、記憶部１５は、メモリ５５を使用する。なお、これは一例であって、記憶部１５は、ＨＤＤ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されてもよい。
　実施の形態１に係る覚醒度推定装置２のハードウェア構成の一例を示す図は、基準値作成装置１のハードウェア構成の一例を示す図６Ａ，図６Ｂと同様である。
　実施の形態１において、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５の機能は、処理回路５１により実現される。すなわち、覚醒度推定装置２は、撮像画像に基づき、乗員の覚醒度を推定するための処理回路５１を備える。
　処理回路５１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ５４であってもよい。
　処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ５４の場合、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ５５に記憶される。プロセッサ５４は、メモリ５５に記憶されたプログラムを読み出して実行することにより、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５の機能を実行する。すなわち、覚醒度推定装置２は、プロセッサ５４により実行されるときに、上述の図４のステップＳＴ１１～ステップＳＴ１５が結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、メモリ５５に記憶されたプログラムは、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５の処理の手順または方法をコンピュータに実行させるものともいえる。ここで、メモリ５５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部２１と道路情報取得部２４については専用のハードウェアとしての処理回路５１でその機能を実現し、状態検出部２２と、特徴量算出部２３と、覚醒度推定部２５についてはプロセッサ５４がメモリ５５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、覚醒度推定装置２は、基準値作成装置１、撮像装置４、または、運転支援装置等の装置と、有線通信または無線通信を行う入力インタフェース装置５２および出力インタフェース装置５３を備える。
　なお、以上の実施の形態１では、車両１０の電源がオフにされると、記憶部１５に記憶されていた基準値情報は削除されるものとした。しかし、これは一例に過ぎず、記憶部１５に記憶されている基準値情報は、削除されなくてもよい。この場合、基準値作成条件には、上述したような（第１条件）に代えて、例えば、「記憶部１５に乗員に対応する基準値情報が記憶されていること（第３条件）」が設定される。図４のステップＳＴ４１では、基準値作成部１４は、記憶部１５に乗員に対応する基準値情報が記憶されているか否かを判定する。
　基準値作成部１４が記憶部１５に記憶させる基準値情報は、乗員を特定可能な情報と対応付けられているようにする。例えば、状態検出部２２が乗員の状態を検出する際、個人認証を行い、特徴量情報に、認証結果を含めるようにする。基準値作成部１４は、特徴量取得部１３を介して認証結果を取得し、基準値情報と対応付けて記憶部１５に記憶させる。また、例えば、乗員が、乗車時に、車両１０に搭載されている入力装置（図示省略）を操作して、個人情報を入力し、基準値作成部１４は、入力された個人情報を受け付け、基準値情報と対応付けて記憶部１５に記憶させてもよい。入力装置は、例えば、車両１０に搭載されているタッチパネル式ディスプレイを想定している。
　なお、車両１０の電源がオフにされたときに記憶部１５に記憶されている基準値情報を削除する意義として、例えば、その車両１０を初めて運転する乗員も含めて、乗員を特定することなく基準値作成装置１が有効に動作できることが挙げられる。
　また、以上の実施の形態１では、車両１０の電源がオンにされた後、基準値作成装置１にてはじめて基準値が作成され、記憶部１５に基準値情報が記憶されるまでの間は、覚醒度推定装置２の覚醒度推定部２５は乗員の覚醒度を推定しないものとしたが、これは一例に過ぎない。例えば、基準値作成装置１において基準値作成部１４が基準値情報を記憶させるまでの間のみ使用する、一般的な基準値が記憶部１５に記憶されており、覚醒度推定部２５は、当該一般的な基準値を用いて、乗員の覚醒度を推定してもよい。基準値作成装置１において、基準値作成部１４は、はじめて記憶部１５に基準値情報を記憶させる際に、その旨を、覚醒度推定部２５に通知する。覚醒度推定部２５は、基準値作成部１４から通知を受けると、当該一般的な基準値の使用をやめる。
　また、以上の実施の形態１では、基準値作成装置１と覚醒度推定装置２は、別個の装置とし、それぞれ、車両１０に搭載されるものとしたが、これは一例に過ぎない。例えば、覚醒度推定装置２に基準値作成装置１が搭載されてもよいし、基準値作成装置１に覚醒度推定装置２が搭載されてもよい。また、以上の実施の形態１では、画像取得部２１、状態検出部２２、および、特徴量算出部２３は覚醒度推定装置２に備えられるものとしたが、これは一例に過ぎない。例えば、画像取得部２１、状態検出部２２、および、特徴量算出部２３は、基準値作成装置１に備えられてもよいし、覚醒度推定装置２および基準値作成装置１が参照可能なその他の場所に備えられてもよい。
　また、以上の実施の形態１では、基準値作成装置１および覚醒度推定装置２は、車両１０に搭載される車載装置とし、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４と、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５とは、車載装置に備えられているものとした。これに限らず、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４と、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５のうち、一部が車両の車載装置に備えられるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられてもよい。
　また、以上の実施の形態１では、覚醒度を推定する対象となる乗員はドライバとしたが、これは一例に過ぎない。覚醒度を推定する対象となる乗員は、助手席乗員、または、後部座席乗員を含む。また、覚醒度を推定する対象となる乗員は、複数であってもよい。この場合、基準値作成装置１は、乗員毎に基準値を作成し、記憶部１５に、乗員毎の基準値情報を記憶させる。また、覚醒度推定装置２は、乗員および車両１０が走行している道路の道路種別に対応する基準値に基づいて、乗員毎に、覚醒度を推定する。
　以上のように、実施の形態１によれば、基準値作成装置１は、車両１０に関連する車両関連情報を取得する車両関連情報取得部１１と、車両関連情報取得部１１が取得した車両関連情報に基づき、車両１０が走行している道路の道路種別を判別する道路判別部１２と、車両１０の乗員の少なくとも顔が存在する範囲が撮像された撮像画像に基づき算出された乗員の特徴量に関する特徴量情報を取得する特徴量取得部１３と、特徴量取得部１３が取得した特徴量情報に基づき乗員の覚醒度を推定するための特徴量の基準値を作成し、道路判別部１２が判別した道路種別が変わった場合、変わった後の道路種別の道路を走行中の車両１０にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて、変わった後の道路種別に対応する特徴量の基準値を作成する基準値作成部１４とを備える。そのため、基準値作成装置１は、道路種別による特徴量の変化の傾向の個人差を考慮して、乗員の覚醒度を推定するための基準値を作成することができる。
　また、実施の形態１によれば、覚醒度推定装置２は、基準値作成装置１が判別した道路種別に関する道路情報を取得する道路情報取得部２４と、基準値作成装置１が作成した、道路情報取得部２４が取得した道路情報で示されている道路種別に対応する特徴量の基準値と特徴量とに基づき、乗員の覚醒度を推定する覚醒度推定部２５とを備える。覚醒度推定装置２は、道路種別による特徴量の変化の傾向の個人差を考慮して作成された基準値を用いて乗員の覚醒度を推定するため、基準値が道路種別による特徴量の変化の傾向の個人差を考慮して作成されたものではない場合と比べ、精度よく乗員の覚醒度を推定することができる。
実施の形態２．
　実施の形態１では、基準値作成装置は、車両が走行中の道路の道路種別が変わり、変わった後の道路種別に対応する基準値を作成すべきタイミングであると判定すると、全ての特徴量に対して基準値の作成を行っていた。
　実施の形態２では、基準値作成装置が、変わった後の道路種別に対応する基準値を作成すべきタイミングであると判定した場合、改めて作成すべき特徴量を選択し、選択した特徴量についてのみ、基準値の作成を行う実施の形態について説明する。
　図７は、実施の形態２に係る基準値作成装置１ａおよび覚醒度推定装置２の構成例を示す図である。
　実施の形態２に係る基準値作成装置１ａの構成例について、実施の形態１にて図１を用いて説明した基準値作成装置１と同様の構成例には、同じ符号を付して重複した説明を省略する。実施の形態２に係る基準値作成装置１ａは、実施の形態１に係る基準値作成装置１とは、選択部１６を備えるようにした点が異なる。また、実施の形態２では、基準値作成装置１ａの基準値作成部１４ａの具体的な動作が、実施の形態１に係る基準値作成装置１の基準値作成部１４の具体的な動作とは異なる。
　実施の形態２に係る覚醒度推定装置２の構成例は、実施の形態１に係る覚醒度推定装置２の構成例と同様であるため、同じ符号を付して重複した説明を省略する。
　選択部１６は、特徴量取得部１３が取得した特徴量情報に含まれている特徴量（第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量）の中から、道路判別部１２が判別した、車両１０が走行している道路の道路種別が変わった場合に、変わった後の道路種別に対応する基準値の作成を行うべき特徴量（以下「対象特徴量」という。）を選択する。
　なお、実施の形態２では、道路判別部１２は、道路情報を、選択部１６、基準値作成部１４ａ、および、覚醒度推定装置２に出力する。また、実施の形態２では、特徴量取得部１３は、特徴量情報を、選択部１６および基準値作成部１４ａに出力する。
　選択部１６が対象特徴量を選択する具体的な方法の一例について説明する。
＜具体例１＞
　例えば、予め、道路種別が変わったときに対象特徴量とする特徴量が定義された情報（以下「選択用情報」という。）が作成され、選択部１６に記憶されている。選択部１６は、選択用情報に従って、対象特徴量を選択する。例えば、第１特徴量を開口度、第２特徴量を口角の動き、第３特徴量を顔向き、第４特徴量を視線の向き、第５特徴量を瞬き速度とすると、開口度、口角の動き、および、瞬き速度は、比較的、道路種別の変化（ここでは、一般道か高速道路か）の影響を受けにくい。一方、顔向き、および、視線の向きは、道路種別の変化の影響を受けやすい。例えば、乗員が口を開ける動作、または、瞬きの速度は、一般道で急激に増える、または、高速道路で急激に増えることは想定しづらい。しかし、信号が多い、または、飛び出し等の可能性がある一般道では、乗員が、上を向くこと、または、周りを確認することが多く、高速道路では、一般道に比べ、乗員の顔および視線の動きは少ない。つまり、開口度、口角の動き、顔向き、視線の向き、および、瞬き速度のうち、顔向きと視線の向きは、道路種別が変わったことによる影響を受けやすく、道路種別による特徴量の変化の傾向の個人差も、より出やすいといえる。
　選択用情報では、例えば、顔向きと視線の向きを対象特徴量とするよう定義されている。選択部１６は、選択用情報に従い、顔向きである第３特徴量と、視線の向きである第４特徴量を、対象特徴量として選択する。
　なお、道路種別によっては、その種別だからこその影響を受ける特徴量が存在することも考えられる。そこで、例えば、選択用情報は、変わった後の道路種別を特定可能な情報と、対象特徴量とする特徴量が対応付けられた情報としてもよい。選択部１６は、変わった後の道路種別と選択用情報の道路種別とをつき合わせて、対象特徴量を特定する。
＜具体例２＞
　例えば、選択部１６は、道路種別が変わる以前の、予め設定された期間（以下「変化判定用期間」という。）に推定された乗員の覚醒度が低下する傾向にあったか否かを判定する。例えば、覚醒度推定装置２において、覚醒度推定部２５は、推定した乗員の覚醒度の情報に推定を行った時刻を付与して記憶部１５に記憶させるようにし、選択部１６は、変化判定用期間に推定された乗員の覚醒度を記憶部１５から取得すればよい。選択部１６は、変化判定用期間に推定された乗員の覚醒度が低下する傾向になかった場合は、全ての特徴量を対象特徴量として選択し、乗員の覚醒度が低下する傾向にあった場合は、道路種別が変わったことによる影響を受けやすい特徴量のみを対象特徴量として選択する。選択部１６は、道路種別が変わったことによる影響を受けやすい特徴量を、例えば、上述の選択用情報から特定すればよい。
　例えば、第１特徴量を開口度、第２特徴量を口角の動き、第３特徴量を顔向き、第４特徴量を視線の向き、第５特徴量を瞬き速度とする。そして、車両１０が走行している道路が一般道から高速道路に変わったとする。ここで、道路種別が変わった時点から遡った変化判定用期間に推定された乗員の覚醒度が低下する傾向になければ、選択部１６は、第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量を対象特徴量として選択する。道路種別が変わった時点から遡った変化判定用期間に推定された乗員の覚醒度が低下する傾向にあれば、選択部１６は、第３特徴量および第４特徴量を対象特徴量として選択する。例えば、道路種別が変わった時点から遡った変化判定用期間に、乗員の状態は「眠い」方向（覚醒度が低下する方向）に変化していると推定されていた場合、選択部１６は、乗員の状態は「眠い」方向に変化していることによる特徴量の変化の傾向のほうが、道路種別が変わったことによる特徴量の変化の傾向よりも、覚醒度推定への影響が大きいと判定し、第３特徴量および第４特徴量を対象特徴量として選択する。すなわち、選択部１６は、対象特徴量を少なくする。
　上述の例では、選択部１６は、乗員の覚醒度が低下する傾向になかった場合は全ての特徴量を対象特徴量として選択するようにしたが、これは一例に過ぎない。例えば、選択部１６は、乗員の覚醒度が低下する傾向になかった場合は、全ての特徴量のうちの、道路種別が変わったことによる影響を受けやすい特徴量を含む、いくつかの特徴量（例えば、第３特徴量、第４特徴量、および、第５特徴量）を対象特徴量として選択してもよい。選択部１６は、乗員の覚醒度が低下する傾向になかった場合は、乗員の覚醒度が低下する傾向にあった場合よりも、対象特徴量を増やす。
　選択部１６は、対象特徴量に関する情報（以下「対象特徴量情報」という。）を、基準値作成部１４ａに出力する。
　基準値作成部１４ａは、特徴量取得部１３が取得した特徴量情報に基づき、基準値を作成する。基準値作成部１４ａは、特徴量毎に基準値を作成する。基準値作成部１４は、基準値作成条件を満たす場合に、基準値を作成する。基準値作成条件については、実施の形態１にて説明済みであるため、詳細な説明を省略する。
　また、基準値作成部１４ａが基準値を作成する際の具体的な作成方法は、実施の形態１にて説明済みの、基準値作成部１４が基準値を作成する際の具体的な作成方法と同様であるため、詳細な説明を省略する。
　ただし、実施の形態２では、基準値作成部１４ａは、道路判別部１２が判別した道路種別が変わった場合であって、変わった後の道路種別に対応する基準値を作成すべきであると判定した場合、特徴量のうちの対象特徴量については、特徴量取得部１３から出力された特徴量情報に基づき基準値を作成し、対象特徴量以外の特徴量については、基準値を、直前に作成済みの基準値と同じ値とする。基準値作成部１４ａは、選択部１６から出力される対象特徴量情報に基づいて対象特徴量を判定できる。詳細には、基準値作成部１４ａは、作成する基準値に関し、対象特徴量については、道路種別が変わった後の道路を走行中の車両１０にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて基準値を作成する。基準値作成部１４ａは、対象特徴量以外の特徴量については、道路種別が変わる前、より詳細には、道路種別が変わる直前に車両１０が走行していた道路の道路種別に対応する基準値と同じ値を、基準値とする。道路種別が変わる直前に車両１０が走行していた道路の道路種別に対応する基準値とは、道路種別が変わる直前に覚醒度推定装置２において乗員の覚醒度の推定に使用されていた基準値である。
　実施の形態１では、基準値作成部１４は、車両１０が走行している道路の道路種別が変わったことにより、変わった後の道路種別に対応する基準値を作成すべきと判定した場合、特徴量情報に基づき、第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量の全ての特徴量について、基準値の作成を行っていた。
　実施の形態２では、基準値作成部１４ａは、車両１０が走行している道路の道路種別が変わったことにより、変わった後の道路種別に対応する基準値を作成すべきと判定した場合、第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量のうちの対象特徴量については、改めて特徴量情報に基づく基準値の作成を行い、対象特徴量以外の特徴量の基準値については、それまで覚醒度推定装置２において乗員の覚醒度の推定に使用されていた基準値を流用する。
　なお、基準値作成部１４ａは、車両１０の電源がオンにされた以降、はじめて基準値を作成するタイミングである場合は、全ての特徴量について基準値を作成する。
　基準値作成部１４ａは、作成した基準値情報を記憶部１５に記憶させる。
　実施の形態２に係る基準値作成装置１ａの動作について説明する。
　図８は、実施の形態２に係る基準値作成装置１ａの動作について説明するためのフローチャートである。
　なお、基準値作成装置１ａは、車両１０の電源がオンにされると、車両１０の電源がオフにされるまで、図８のフローチャートで示す動作を繰り返す。
　車両関連情報取得部１１は、車両関連情報取得装置３から出力された車両関連情報を取得する（ステップＳＴ２１）。当該ステップＳＴ２１の具体的な動作は、実施の形態１にて説明済みの、基準値作成装置１による図３のステップＳＴ１の具体的な動作と同様である。
　車両関連情報取得部１１は、取得した車両関連情報を道路判別部１２に出力する。
　道路判別部１２は、ステップＳＴ２１にて車両関連情報取得部１１が取得した車両関連情報に基づき、車両１０が走行している道路の道路種別を判別する（ステップＳＴ２２）。当該ステップＳＴ２２の具体的な動作は、実施の形態１にて説明済みの、基準値作成装置１による図３のステップＳＴ２の具体的な動作と同様である。
　道路判別部１２は、道路情報を、選択部１６、基準値作成部１４ａ、および、覚醒度推定装置２に出力する。
　特徴量取得部１３は、覚醒度推定装置２から特徴量情報を取得する（ステップＳＴ２３）。当該ステップＳＴ２３の具体的な動作は、実施の形態１にて説明済みの、基準値作成装置１による図３のステップＳＴ３の具体的な動作と同様である。
　特徴量取得部１３は、取得した特徴量情報を、基準値作成部１４ａおよび選択部１６に出力する。
　選択部１６は、ステップＳＴ２２にて道路判別部１２が判別した道路種別が変わった場合の対象特徴量を選択する（ステップＳＴ２４）。
　選択部１６は、対象特徴量情報を、基準値作成部１４ａに出力する。
　基準値作成部１４ａは、ステップＳＴ２２にて道路判別部１２が判別した道路種別と、ステップＳＴ２３にて特徴量取得部１３が取得した特徴量情報と、ステップＳＴ２４にて選択部１６から出力された対象特徴量情報とに基づき、特徴量毎に基準値を作成するための「基準値作成処理」を行う（ステップＳＴ２５）。
　基準値作成部１４ａは、「基準値作成処理」にて基準値を作成した場合、基準値情報を、記憶部１５に記憶させる。
　なお、図８に示すフローチャートでは、基準値作成装置１ａは、ステップＳＴ２１、ステップＳＴ２２、ステップＳＴ２３の順に処理を行うものとしているが、ステップＳＴ２１～ステップＳＴ２３の処理の順番はこれに限らない。基準値作成装置１ａは、ステップＳＴ２４の処理を行うまでに、ステップＳＴ２３の処理を行えばよい。
　また、図８に示すフローチャートでは、基準値作成装置１ａは、ステップＳＴ２５よりも前にステップＳＴ２４の処理を行うものとしているが、これは一例に過ぎない。例えば、選択部１６が、基準値作成部１４ａによる、車両１０が走行している道路の道路種別が変わったとの判定結果を受けて対象特徴量を選択する場合、ステップＳＴ２４の処理は、ステップＳＴ２５の基準値作成処理の中（後述の図９のステップＳＴ２５３の後）で行われる。
　図９は、図８のステップＳＴ２５の具体的な動作を説明するためのフローチャートである。
　図９のステップＳＴ２５１～ステップＳＴ２５３の具体的な動作は、それぞれ、実施の形態１において説明済みの、ステップＳＴ４１～ステップＳＴ４３の具体的な動作と同様であるため、重複した説明を省略する。
　ステップＳＴ２５３にて、変わった後の道路種別に対応する基準値が未作成であると判定した場合（ステップＳＴ２５３の“ＹＥＳ”の場合）、または、ステップＳＴ２５１にて記憶部１５に基準値情報が記憶されていないと判定した場合（ステップＳＴ２５１の“ＮＯ”の場合）、基準値作成部１４ａは、図８のステップＳＴ２３にて特徴量取得部１３が取得した特徴量情報に基づき、特徴量毎に基準値を作成する（ステップＳＴ２５４）。
　ここで、基準値作成部１４ａは、道路判別部１２が判別した道路種別が変わった場合であって、変わった後の道路種別に対応する基準値を作成すべきと判定した場合、すなわち、ステップＳＴ２５３にて、変わった後の道路種別に対応する基準値が未作成であると判定した場合（ステップＳＴ２５３の“ＹＥＳ”の場合）、特徴量のうちの、図８のステップＳＴ２４にて選択部１６が選択した対象特徴量については、特徴量取得部１３から出力された特徴量情報に基づき基準値を作成し、対象特徴量以外の特徴量については、直前に作成済みの基準値と同じ値を基準値とする。
　そして、基準値作成部１４は、基準値情報を、記憶部１５に記憶させる。
　このように、基準値作成装置１ａは、車両１０が走行している道路の道路種別が変わった場合に、特徴量を、基準値を改めて作成する特徴量（対象特徴量）と、それまで乗員の覚醒度の推定に使用していた基準値を流用する特徴量とに分けることで、道路種別による特徴量の変化の傾向の個人差が出やすい特徴量のみ、基準値を改めて作成することができる。その結果、覚醒度推定装置２は、基準値作成装置１ａが作成した基準値を用いて、個人差を考慮した、精度の高い乗員の覚醒度推定を行うことができる。
　上述のとおり、乗員の覚醒度の推定に用いられる基準値は、覚醒している状態であると想定される、運転を開始した直後に作成されていることが好ましい。ただし、道路種別は特徴量に影響するため、道路種別が変わった際には、基準値の見直しが必要である。
　したがって、実施の形態１では、基準値作成装置１は、車両１０が走行している道路の道路種別が変わったことにより、変わった後の道路種別に対応する基準値を作成すべきと判定した場合、特徴量情報に基づき、第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量の全ての特徴量について、基準値の作成を行っていた。
　ここで、全ての特徴量が、道路種別による変化が大きい特徴量であるとは限らない。実施の形態２に係る基準値作成装置１ａは、この点を考慮し、車両１０が走行している道路の道路種別が変わった場合に、道路種別による特徴量の変化の傾向の個人差が出やすい特徴量のみ、基準値を改めて作成する。詳細には、基準値作成装置１ａにおいて、基準値作成部１４ａは、車両１０が走行している道路の道路種別が変わったことにより、変わった後の道路種別に対応する基準値を作成すべきと判定した場合、例えば、第１特徴量、第２特徴量、第３特徴量、第４特徴量、および、第５特徴量のうちの対象特徴量については、改めて特徴量情報に基づく基準値の作成を行い、対象特徴量以外の特徴量の基準値については、それまで覚醒度推定装置２において乗員の覚醒度の推定に使用されていた基準値を流用する。
　基準値作成装置１ａは、道路種別による特徴量の変化の傾向の個人差が出やすくないと想定される特徴量の基準値については、車両１０が変わった後の道路種別の道路を走行時に得られた特徴量から作成した基準値ではなく、道路種別が変わる前の道路を走行時に使用されていた基準値、言い換えれば、現在よりも運転開始直後に近い時点（乗員が覚醒している状態により近いと想定される時点）の特徴量に基づき作成された基準値とする。これにより、基準値作成装置１ａは、道路種別が変化することによって基準値と特徴量との差分が大きくなり乗員の覚醒度の誤検知が発生することを防ぎつつ、乗員の覚醒度低下が検知されにくくなることを防ぎ、より精度の高い乗員の覚醒度推定を実現することができる。
　実施の形態２に係る基準値作成装置１ａのハードウェア構成は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した基準値作成装置１のハードウェア構成と同様である。
　実施の形態２において、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４ａと、選択部１６の機能は、処理回路５１により実現される。すなわち、基準値作成装置１ａは、車両関連情報と特徴量情報とに基づき、乗員の覚醒度の推定に用いる特徴量の基準値を作成するための処理回路５１を備える。
　処理回路５１は、メモリ５５に記憶されたプログラムを読み出して実行することにより、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４ａと、選択部１６の機能を実行する。すなわち、基準値作成装置１ａは、処理回路５１により実行されるときに、上述の図８のステップＳＴ２１～ステップＳＴ２５が結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、メモリ５５に記憶されたプログラムは、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４ａと、選択部１６の処理の手順または方法をコンピュータに実行させるものともいえる。
　基準値作成装置１ａは、覚醒度推定装置２または車両関連情報取得装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置５２および出力インタフェース装置５３を備える。
　なお、以上の実施の形態２でも、記憶部１５に記憶されている基準値情報は、削除されなくてもよい。この場合、基準値作成条件には、上述したような（第１条件）に代えて、例えば、「記憶部１５に乗員に対応する基準値情報が記憶されていること（第３条件）」が設定される。図９のステップＳＴ２５１では、基準値作成部１４ａは、記憶部１５に、乗員に対応する基準値情報が記憶されているか否かを判定する。
　また、以上の実施の形態２において、基準値作成部１４ａが基準値情報を記憶させるまでの間のみ使用する、一般的な基準値が記憶部１５に記憶されており、覚醒度推定部２５は、当該一般的な基準値を用いて、乗員の覚醒度を推定してもよい。基準値作成装置１ａにおいて、基準値作成部１４ａは、はじめて記憶部１５に基準値情報を記憶させる際に、その旨を、覚醒度推定部２５に通知する。覚醒度推定部２５は、基準値作成部１４ａから通知を受けると、当該一般的な基準値の使用をやめる。
　また、以上の実施の形態２において、例えば、覚醒度推定装置２に基準値作成装置１ａが搭載されてもよいし、基準値作成装置１ａに覚醒度推定装置２が搭載されてもよい。また、以上の実施の形態２において、例えば、画像取得部２１、状態検出部２２、および、特徴量算出部２３が、基準値作成装置１ａに備えられてもよいし、覚醒度推定装置２および基準値作成装置１ａが参照可能なその他の場所に備えられてもよい。
　また、以上の実施の形態２において、車両関連情報取得部１１と、道路判別部１２と、特徴量取得部１３と、基準値作成部１４ａと、選択部１６と、画像取得部２１と、状態検出部２２と、特徴量算出部２３と、道路情報取得部２４と、覚醒度推定部２５のうち、一部が車両の車載装置に備えられ、その他が当該車載装置とネットワークを介して接続されるサーバに備えられてもよい。
　また、以上の実施の形態２において、覚醒度を推定する対象となる乗員は、ドライバに限らず、助手席乗員、または、後部座席乗員を含む。また、覚醒度を推定する対象となる乗員は、複数であってもよい。この場合、基準値作成装置１ａは、乗員毎に基準値を作成し、記憶部１５に、乗員毎の基準値情報を記憶させる。
　以上のように、実施の形態２によれば、基準値作成装置１ａは、複数種類の特徴量の中から、車両１０が走行している道路の道路種別が変わった場合に変わった後の道路種別に対応する基準値の作成を行うべき対象特徴量を選択する選択部１６を備え、基準値作成部１４ａは、道路判別部１２が判別した道路種別が変わった場合、変わった後の道路種別に対応する特徴量の基準値に関し、対象特徴量ついては、道路種別が変わった後の道路を走行中の車両１０にて撮像された撮像画像に基づき算出された特徴量に関する特徴量情報に基づいて基準値を作成し、対象特徴量以外の特徴量については、道路種別が変わる前に車両１０が走行していた道路の道路種別に対応する基準値と同じ値を基準値とするようにした。そのため、基準値作成装置１ａは、車両１０が走行している道路の道路種別が変わった場合に、特徴量のうち、基準値を改めて作成する特徴量（対象特徴量）と、それまで乗員の覚醒度の推定に使用していた基準値を流用する特徴量とに分けることで、道路種別による特徴量の変化の傾向の個人差が出やすい特徴量のみ、基準値を見直すことができる。
　なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る基準値作成装置は、道路種別による特徴量の変化の傾向の個人差を考慮して、乗員の覚醒度を推定するための基準値を作成することができる。
１，１ａ　基準値作成装置、１１　車両関連情報取得部、１２　道路判別部、１３　特徴量取得部、１４，１４ａ　基準値作成部、１５　記憶部、１６　選択部、２　覚醒度推定装置、２１　画像取得部、２２　状態検出部、２３　特徴量算出部、２４　道路情報取得部、２５　覚醒度推定部、３　車両関連情報取得装置、４　撮像装置、１０　車両、５１　処理回路、５２　入力インタフェース装置、５３　出力インタフェース装置、５４　プロセッサ、５５　メモリ。

Claims (9)

  1. 　車両に関連する車両関連情報を取得する車両関連情報取得部と、
    　前記車両関連情報取得部が取得した前記車両関連情報に基づき、前記車両が走行している道路の道路種別を判別する道路判別部と、
    　前記車両の乗員の少なくとも顔が存在する範囲が撮像された撮像画像に基づき算出された前記乗員の特徴量に関する特徴量情報を取得する特徴量取得部と、
    　前記特徴量取得部が取得した前記特徴量情報に基づき前記乗員の覚醒度を推定するための前記特徴量の基準値を作成し、前記道路判別部が判別した前記道路種別が変わった場合、変わった後の前記道路種別の前記道路を走行中の前記車両にて撮像された前記撮像画像に基づき算出された前記特徴量に関する前記特徴量情報に基づいて、変わった後の前記道路種別に対応する前記特徴量の前記基準値を作成する基準値作成部
    　とを備えた基準値作成装置。
  2. 　前記基準値作成部は、基準値作成対象期間に取得した前記特徴量情報、または、基準値作成用フレーム数分の前記撮像画像に対応する前記特徴量情報に基づいて、前記特徴量の前記基準値を作成する
    　ことを特徴とする請求項１記載の基準値作成装置。
  3. 　前記特徴量は複数種類あり、
    　前記複数種類の前記特徴量の中から、前記車両が走行している前記道路の前記道路種別が変わった場合に変わった後の前記道路種別に対応する前記基準値の作成を行うべき対象特徴量を選択する選択部を備え、
    　前記基準値作成部は、前記道路判別部が判別した前記道路種別が変わった場合、変わった後の前記道路種別に対応する前記特徴量の前記基準値に関し、前記対象特徴量ついては、前記道路種別が変わった後の前記道路を走行中の前記車両にて撮像された前記撮像画像に基づき算出された前記特徴量に関する前記特徴量情報に基づいて前記基準値を作成し、前記対象特徴量以外の前記特徴量については、前記道路種別が変わる前に前記車両が走行していた前記道路の前記道路種別に対応する前記基準値と同じ値を前記基準値とする
    　ことを特徴とする請求項１記載の基準値作成装置。
  4. 　前記選択部は、前記道路種別が変わる前の設定された期間に前記特徴量の前記基準値と前記特徴量とに基づき推定された前記乗員の前記覚醒度に関する情報を取得し、前記乗員の前記覚醒度が低下している場合、前記道路種別によって変化しやすいと想定される前記特徴量を前記対象特徴量として選択する
    　ことを特徴とする請求項３記載の基準値作成装置。
  5. 　前記道路種別は、一般道、自動車専用道路、または、高速道路を含む
    　ことを特徴とする請求項１記載の基準値作成装置。
  6. 　請求項１から請求項５のうちのいずれか１項記載の基準値作成装置が判別した前記道路種別に関する道路情報を取得する道路情報取得部と、
    　前記基準値作成装置が作成した、前記道路情報取得部が取得した前記道路情報で示されている前記道路種別に対応する前記特徴量の前記基準値と前記特徴量とに基づき、前記乗員の前記覚醒度を推定する覚醒度推定部
    　を備えた覚醒度推定装置。
  7. 　前記覚醒度推定部は、前記特徴量と前記特徴量の前記基準値との差分と、前記特徴量と前記特徴量の前記基準値との差分を入力とし前記覚醒度に関する情報を出力する機械学習モデルとに基づいて、前記乗員の前記覚醒度を推定する
    　ことを特徴とする請求項６記載の覚醒度推定装置。
  8. 　前記覚醒度推定部は、前記特徴量と前記特徴量の前記基準値との差分と、設定された覚醒度推定用条件とに基づき、前記乗員の前記覚醒度を推定する
    　ことを特徴とする請求項６記載の覚醒度推定装置。
  9. 　車両関連情報取得部が、車両に関連する車両関連情報を取得するステップと、
    　道路判別部が、前記車両関連情報取得部が取得した前記車両関連情報に基づき、前記車両が走行している道路の道路種別を判別するステップと、
    　特徴量取得部が、前記車両の乗員の少なくとも顔が存在する範囲が撮像された撮像画像に基づき算出された前記乗員の特徴量に関する特徴量情報を取得するステップと、
    　基準値作成部が、前記特徴量取得部が取得した前記特徴量情報に基づき前記乗員の覚醒度を推定するための前記特徴量の基準値を作成し、前記道路判別部が判別した前記道路種別が変わった場合、変わった後の前記道路種別の前記道路を走行中の前記車両にて撮像された前記撮像画像に基づき算出された前記特徴量に関する前記特徴量情報に基づいて、変わった後の前記道路種別に対応する前記特徴量の前記基準値を作成するステップ
    　とを備えた基準値作成方法。
PCT/JP2021/045728 2021-12-13 2021-12-13 基準値作成装置、覚醒度推定装置、および、基準値作成方法 WO2023112073A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/045728 WO2023112073A1 (ja) 2021-12-13 2021-12-13 基準値作成装置、覚醒度推定装置、および、基準値作成方法
JP2023567272A JPWO2023112073A1 (ja) 2021-12-13 2021-12-13

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045728 WO2023112073A1 (ja) 2021-12-13 2021-12-13 基準値作成装置、覚醒度推定装置、および、基準値作成方法

Publications (1)

Publication Number Publication Date
WO2023112073A1 true WO2023112073A1 (ja) 2023-06-22

Family

ID=86773989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045728 WO2023112073A1 (ja) 2021-12-13 2021-12-13 基準値作成装置、覚醒度推定装置、および、基準値作成方法

Country Status (2)

Country Link
JP (1) JPWO2023112073A1 (ja)
WO (1) WO2023112073A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147582A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 居眠り警報装置
JP2007233475A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 居眠り判定装置および居眠り運転警告装置
US20190366844A1 (en) * 2019-07-26 2019-12-05 Lg Electronics Inc. Method, system, and vehicle for preventing drowsy driving
JP6727465B1 (ja) * 2019-07-25 2020-07-22 三菱電機株式会社 運転者状態判断装置および運転者状態判断方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147582A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 居眠り警報装置
JP2007233475A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 居眠り判定装置および居眠り運転警告装置
JP6727465B1 (ja) * 2019-07-25 2020-07-22 三菱電機株式会社 運転者状態判断装置および運転者状態判断方法
US20190366844A1 (en) * 2019-07-26 2019-12-05 Lg Electronics Inc. Method, system, and vehicle for preventing drowsy driving

Also Published As

Publication number Publication date
JPWO2023112073A1 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
US11485284B2 (en) System and method for driver distraction determination
US20220286811A1 (en) Method for smartphone-based accident detection
JP5311793B2 (ja) 脇見状態判定装置
US9007198B2 (en) Adaptive Actuator interface for active driver warning
JP4803490B2 (ja) 運転者状態推定装置及び運転支援装置
JP4702100B2 (ja) 居眠り判定装置および居眠り運転警告装置
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6288653B2 (ja) 運転者注意力検出方法および装置
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
JP2016103249A (ja) 運転支援装置および運転支援方法
JP2017220097A (ja) 運転支援装置
JP2018149941A (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP4830594B2 (ja) 物体検出装置
JP2017129973A (ja) 運転支援装置および運転支援方法
JP4952545B2 (ja) 車両環境情報通知システム及び車両環境情報通知方法
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
WO2023112073A1 (ja) 基準値作成装置、覚醒度推定装置、および、基準値作成方法
JP7018852B2 (ja) 判定装置、判定方法および判定プログラム
KR20220014943A (ko) 주행 환경 연동 운전자 감정 판단 방법 및 시스템
JP2009132307A (ja) 運転支援システム、運転支援方法及び運転支援プログラム
Kashevnik et al. Dangerous situation prediction and driving statistics accumulation using smartphone
JP2016053821A (ja) 車載システム
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
KR101763389B1 (ko) 운전 부주의 경고 방법 및 시스템
JP4719605B2 (ja) 対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967996

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023567272

Country of ref document: JP