WO2021075348A1 - 行動認識装置、行動認識方法、及び情報生成装置 - Google Patents

行動認識装置、行動認識方法、及び情報生成装置 Download PDF

Info

Publication number
WO2021075348A1
WO2021075348A1 PCT/JP2020/038149 JP2020038149W WO2021075348A1 WO 2021075348 A1 WO2021075348 A1 WO 2021075348A1 JP 2020038149 W JP2020038149 W JP 2020038149W WO 2021075348 A1 WO2021075348 A1 WO 2021075348A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
driver
recognition device
behavior
state
Prior art date
Application number
PCT/JP2020/038149
Other languages
English (en)
French (fr)
Inventor
正樹 増田
要 小川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2021075348A1 publication Critical patent/WO2021075348A1/ja
Priority to US17/717,484 priority Critical patent/US20220242418A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • This disclosure relates to a technology for recognizing driving behavior from the state of a driver.
  • Non-Patent Document 1 by collecting and analyzing time-series data representing the movement of the driver's line of sight, an average model is generated in advance for each driving behavior to be recognized and detected during driving. A technique for recognizing driving behavior by comparing time series data with a model is described.
  • a plurality of regions gaze by the driver are set as visual regions, and each element has characteristics such as the time ratio and frequency of viewing each visual region within a predetermined time, the maximum gaze time, and the frequency of movement between visual regions. It is represented by the associated feature vector.
  • the time-series data to be analyzed is also subjected to filtering processing such as noise removal.
  • Non-Patent Document 1 As a result of detailed examination by the inventor, the following problems have been found in the prior art described in Non-Patent Document 1.
  • One aspect of the present disclosure is to provide a technique for easily configuring a device that recognizes driving behavior from a driver state at high speed and with high accuracy without requiring a high degree of specialization.
  • One aspect of the present disclosure is an action recognition device, which includes an information acquisition unit, an information conversion unit, an extraction unit, an update unit, and a recognition unit.
  • the information acquisition unit repeatedly acquires one or more primary information including at least one of the state of the vehicle, the state of the driver driving the vehicle, and the state of the surroundings of the vehicle.
  • the information conversion unit indicates whether or not each of the one or more target states extracted from the primary information corresponds to the target state for each primary information acquired by the information acquisition unit, and can perform addition / subtraction calculations. Generates secondary information represented by two values.
  • the extraction unit extracts a determination information group from a time series of a plurality of secondary information generated by the information conversion unit using a time window.
  • the update unit gives the initial value of the action vector using the vector in which each element is associated with the driving behavior of the driver as the action vector, and sets the action vector by the correction amount of the action vector calculated using the judgment information group.
  • Update The recognition unit recognizes the driving behavior of the driver by using the action vector updated by the update unit.
  • One aspect of the present disclosure is an action recognition method for recognizing a driver's driving behavior, which includes an information acquisition step, an information conversion step, an extraction step, an update step, and a recognition step.
  • the information acquisition step, the information conversion step, the extraction step, the update step, and the recognition step the same operations as those in the information acquisition unit, the information conversion unit, the extraction unit, the update unit, and the recognition unit are executed, respectively.
  • the driving behavior of the driver can be recognized without using a model generated based on the specialized knowledge about the driving behavior of the driver.
  • the device can be easily configured without requiring specialized knowledge about the driving behavior of the driver. Since the driver can recognize the driving behavior to be executed, it is possible to start presenting information on the recognized driving behavior and system control for supporting the driving behavior at an early stage.
  • One aspect of the present disclosure is an information generation device, which includes an information acquisition unit and an information conversion unit.
  • the information acquisition unit repeatedly acquires one or more primary information including at least one of the state of the vehicle, the state of the driver driving the vehicle, and the state of the surroundings of the vehicle.
  • the information conversion unit indicates whether or not each of the one or more target states extracted from the primary information corresponds to the target state for each primary information acquired by the information acquisition unit, and can perform addition / subtraction calculations. Generates secondary information represented by two values. As a result, a time series of a plurality of secondary information is generated.
  • the processing load can be reduced by using the result of the addition / subtraction calculation for calculating the correction amount used for updating the action vector.
  • the behavior recognition device 1 shown in FIG. 1 is mounted on the vehicle and recognizes the driving behavior that the driver is trying to execute from various information acquired in the vehicle.
  • the action recognition device 1 includes a camera 10 and an image processing unit 20.
  • the action recognition device 1 may include a communication unit 30.
  • the camera 10 for example, a CCD image sensor, a CMOS image sensor, or the like can be used.
  • the camera 10 is arranged so that, for example, the face of the driver seated in the driver's seat of the vehicle is included in the imaging range.
  • the camera 10 periodically executes imaging and outputs the captured image data to the image processing unit 20.
  • the communication unit 30 acquires various information by communicating with electronic control units provided in each part of the vehicle via an in-vehicle communication network.
  • CAN is used for the in-vehicle communication network.
  • CAN is a registered trademark.
  • the information acquired by the image processing unit 20 via the communication unit 30 may include vehicle information and peripheral information.
  • Vehicle information is state information that represents the state of the vehicle.
  • the vehicle information may include, for example, vehicle speed, steering angle, yaw rate, acceleration, accelerator pedal operation amount, brake pressure, and the like. That is, the vehicle information may include not only information representing the behavior of the vehicle but also information affecting the behavior of the vehicle.
  • Peripheral information is state information that represents the situation around the vehicle.
  • Peripheral information includes images from cameras that capture the surroundings of the vehicle, detection results from millimeter-wave radars, riders, ultrasonic sensors, etc. that detect objects around the vehicle, as well as these images and detection results. Information obtained by analysis may be included.
  • the image processing unit 20 includes a microcomputer having a CPU 20a and, for example, a semiconductor memory such as RAM or ROM (hereinafter, memory 20b).
  • the image processing unit 20 includes an information generation unit 21, an action recognition unit 22, and a learning unit 23 as functional blocks corresponding to the functions realized by the processing executed by the image processing unit 20.
  • the image processing unit 20 including the information generation unit 21 corresponds to the information generation device.
  • the image processing unit 20 acquires an image from the camera 10.
  • the face detection process is a process of detecting a face region, which is a region in which a face is captured, from the image acquired in S1.
  • a face region which is a region in which a face is captured
  • pattern matching can be used, but the face detection process is not limited to pattern matching.
  • the face detection process for example, the portion indicated by the frame W in FIG. 3 is detected as a face region.
  • the feature point detection process is a process of detecting a plurality of facial feature points necessary for identifying the imaged face orientation and eye condition using the image of the face region extracted in S2.
  • characteristic parts in at least one contour of the eyes, nose, mouth, ears, and face are used.
  • a plurality of face feature points indicated by circles in FIG. 3 are detected.
  • the image processing unit 20 executes the information acquisition process.
  • the information acquisition process is a process of generating driver state information indicating the driver state by using the peripheral image of the eyes detected from the image of the face area based on the plurality of face feature points detected in S3.
  • This driver status information corresponds to the primary information.
  • the driver status information has a plurality of signal levels, and each signal level includes the driver's gaze direction, the driver's eye open / closed state (for example, the driver's eye closed state), the driver's face facing state, and the like. Is associated. That is, each of the signal levels indicated by the driver state information represents one target state, and the driver state information is multi-valued information indicating which target state the driver state corresponds to.
  • the gaze direction of the driver is expressed by dividing the range visible to the driver during driving into a plurality of regions (hereinafter, visual regions) and observing which visual region.
  • the viewing region includes a left side mirror (hereinafter, left mirror) E1, a front E2, a room mirror E3, a meter E4, and a right side mirror (hereinafter, right mirror) E5.
  • the method of dividing the visual region is not limited to the above-mentioned E1 to E5, and a finer divided visual region may be used, or a visual region divided according to an angle or the like viewed from the driver may be used. Good.
  • the driver's eye closed state means that the driver is not looking at any visual area due to the closed eyes.
  • the face orientation state of the driver represents a state in which the face orientation is separated from the front direction by a predetermined angle or more. That is, it represents a state of looking away where the driver is gazing at a region other than the above-mentioned visual region.
  • the image processing unit 20 executes the information conversion process and ends the process.
  • the information conversion process converts each of the plurality of signal levels indicated by the driver state information generated in S4 into individual state information represented by two values, which are 1 when the signal level is applicable and 0 when the signal level is not applicable. This is a process of converting and storing the conversion result in the memory 20b. This individual state information corresponds to the secondary information.
  • the individual state information regarding the gaze direction of the driver is represented by a binary value of 1 when it is determined that the driver is gaze at the corresponding gaze area, and 0 in other cases.
  • the individual state information regarding the driver's eye closed state is represented by a binary value of 1 when the driver is closed and 0 in other cases.
  • the individual state information regarding the face-facing state of the driver is represented by a binary value of 1 when the face-facing angle is equal to or greater than a predetermined angle with respect to the front direction, and 0 in other cases.
  • the plurality of individual state information generated from the driver state information one of them is selectively set to 1 at an arbitrary time point, and the other is set to 0.
  • S4 corresponds to an information acquisition unit
  • S5 corresponds to an information conversion unit.
  • the time series of individual state information is accumulated in the memory 20b for each target state (that is, the signal level of the driver state information).
  • Driving behavior recognition [3-1. Overview] A method used in the action recognition process, that is, a method of recognizing the driving action that the driver is trying to execute from a time series of a plurality of individual state information generated by the information generation unit 21 will be described.
  • the action recognition process is a process executed by the image processing unit 20 in order to realize the function as the action recognition unit 22.
  • the driving behavior to be recognized includes, for example, “straight ahead”, “left lane change”, “right lane change”, “left turn”, “right turn”, “left branch”, “right branch”, “merging”, “stop”, etc. May be good.
  • the determination information group IE cut out from the time series of a plurality of individual state information using the time window T is used.
  • the time window T is set to a time width equal to or longer than the length from the timing at which the driving behavior to be recognized is desired to be detected to the timing at which the driving behavior is actually started.
  • FIG. 5 is an example of the determination information group IE cut out by the time window T.
  • the determination information group IE is continuously extracted using a so-called sliding window in which the time window T is applied while shifting the time by one or several frames of the image.
  • the action recognition process is executed for each of the plurality of determination information groups IE extracted in this way.
  • a vector having D elements a 1 to a D which is the same number as the driving behavior to be recognized, is called a score vector A.
  • the score vector A is represented by the equation (1), and each element a 1 to a D is associated with any of the driving behaviors.
  • the score vector A takes a one-hot format in which the value of the element corresponding to the corresponding driving behavior is large and the value of the element corresponding to the non-corresponding driving behavior is small, and finally becomes the element having the largest value.
  • the associated driving behavior is the recognition result.
  • the score vector A corresponds to the action vector.
  • the initial value A (0) of the score vector is given, and the score vector A is corrected by the correction amount R to represent the driving action that the driver is trying to perform.
  • the score vector A is calculated.
  • the correction amount R acts on the correction function F K by using the initial value A (0) of the score vector and the judgment information group IE cut out by the time window T as input information. Obtained by letting.
  • the modification function F K is a function to which an additive model of a regression function using gradient boosting is applied. Such regression functions include, for example, “One Millisecond Face Alignment with an Ensemble of Regression Trees” Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR, 2014,1867-1874 (hereinafter, Reference 1), and “Greedy”. Function Approximation: A gradient boosting machine ”Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001), 1189-1232 (hereinafter referred to as Reference 2), etc.
  • the modification function F K is a function whose value is recursively determined using K regression trees RT 1 to RT K prepared in advance, and is defined by Eq. (4).
  • Regression trees RT 1 to RT K are a set of weak hypotheses that have a tree structure.
  • F 0 is the initial value of the correction function F K
  • G k is the regression function whose value is determined by the regression tree RT k identified by k
  • k 1, 2, ... K.
  • ⁇ is a learning rate and is set to 0 ⁇ ⁇ 1. By reducing the value of ⁇ , overfitting is suppressed.
  • the K regression trees RT 1 to RT K all have the same structure.
  • the regression tree RT k a binary tree that sequentially branches the nodes into two is used.
  • the node that becomes the branch point of the branch of the regression tree RT k is called the normal node 41
  • the node that becomes the leaf of the regression tree RT k is called the terminal node 42.
  • the comparison data pair (P e0 , P e1 ) and the threshold TH e are associated with the e-th normal node 41.
  • Specific values r k1 to r k8 of the regression amount G k are associated with each of the terminal nodes 42.
  • the two data belonging to the comparison data pair (P e0 , P e1 ) are defined by the type of individual state information and the extraction time represented by the relative time based on the start time of the time domain cut by the time window. Will be done.
  • the types of individual state information may be different or the same between the two data.
  • the extraction time may be different or the same between the two data. However, if the type of individual state information is the same between the two data, it is necessary to make the extraction time different. Conversely, if the extraction time is the same between the two data, it is necessary to make the type of individual state information different. Both ends of the bold dashed arrow shown in FIG. 9 correspond to the two data extracted as the comparison data pair (P e0 , P e1).
  • the difference value of the comparison data pair (P e0 , P e1 ), that is, P e0- P e1 is lower than the threshold THE e , depending on whether or not the normal node 41 of the next layer is normal. Which branch to select the node 41 or the terminal node 42 is determined. Since the values of the individual data constituting the comparison data pair (P e0 , P e1 ) are all 0 or 1, the difference value is either -1, 0, or 1. That is, the threshold The is set to -1 ⁇ The ⁇ 1.
  • the difference value of the comparison data pair (P e0 , P e1 ) corresponds to the feature extracted from the judgment information group IE.
  • the same processing is performed while tracing the branch of the regression tree RT k.
  • the regression amount r kj associated with the reached end node 42 becomes the value of the regression function G k , and eventually becomes a part of the output value of the correction function F K.
  • j 1, 2, ... 8.
  • the initial value A (0) of the score vector A, the initial value F 0 of the correction function F K , and each parameter defining the regression tree RT k need to be prepared in advance. There is.
  • the initial value A (0) of the score vector A, the initial value F 0 of the correction function F K , and each parameter defining the regression tree RT k are collectively referred to as action recognition parameters.
  • the action recognition parameter is generated when the image processing unit 20 executes the learning process.
  • the learning process does not necessarily have to be executed by the image processing unit 20, and may be executed by a device other than the image processing unit 20.
  • the learning process for setting the action recognition parameters will be described with reference to the flowchart of FIG.
  • the learning process is a process executed by the image processing unit 20 in order to realize the function as the learning unit 23.
  • the individual state information for learning is stored in the memory 20b.
  • the individual state information for learning is given a correct label of the driver's driving behavior in advance for each frame of the image.
  • the image processing unit 20 for each learning information, correct values of the score vector A (hereinafter, teacher data) to generate the A 1 ⁇ A N.
  • the learning information is a large number (for example, N) of individual state information groups cut out from the individual state information for learning stored in the memory 20b using a time window.
  • the teacher data Ai is generated with reference to the correct answer label given for each frame of the image included in the learning information. For example, if "straight ahead" is assigned as a correct answer label to all frames of the image included in the learning information, the element associated with "straight ahead” of the score vector A is set to 1, and the other elements are set to 0. Generate teacher data Ai. If the frame of the image included in the learning information includes the start point of the left lane change, the element associated with the "left lane change" of the score vector A is set to 1, and the other elements are set to 0. Generate the teacher data Ai.
  • the image processing unit 20 calculates the initial value A (0) of the score vector.
  • the initial value A of the score vector (0) may be, for example, using the average value of the teacher data A 1 ⁇ A N generated by S11.
  • the image processing unit 20 calculates the modified residual ⁇ A i , which is the difference between the teacher data A i and the initial value A (0) of the score vector, for each learning information according to the equation (5).
  • the image processing unit 20 calculates the initial value F 0 of the correction function F K used for calculating the correction amount R by using the equation (6).
  • Equation (6) minimizes the total value when the distance between the modified residual ⁇ Ai in each learning information and an arbitrary vector V having the same dimension as the score vector A is summed for all the learning information. It means that the vector V is set to the initial value F 0 of the correction function F K.
  • the image processing unit 20 initializes the regression tree index k used for identifying the regression trees RT 1 to RT K to 1.
  • the image processing unit 20 calculates the remaining correction amount kk for each learning information using the equation (7).
  • the image processing unit 20 selects the comparison data pair (P e0 , P e1 ) to be used for generating the regression tree RT k by using the learning information.
  • the method described in Section 2.3.2 of Reference 1 described above may be used.
  • the selection of comparative data pairs (P e0 , P e1 ) may be random or brute force.
  • comparison data pair (P e0 , P e1 ) by such learning is a comparison in which the features having a high contribution rate in the recognition of driving behavior are associated with the features illustrated below. It means that the data pair (P e0 , P e1 ) is automatically selected.
  • the image processing unit 20 uses the difference value of the comparison data pair (P e0 , P e1 ) selected in S17 as an index when classifying the learning information , and sets the remaining correction amount kk in all the learning information. Generate a regression tree RT k that gives close values. That is, to produce a regression function G k implemented by regression tree RT k.
  • the image processing unit 20 updates the correction function F k by the equation (8) using the regression function G k generated in S18.
  • the image processing unit 20 increases the regression tree index k by 1.
  • the image processing unit 20 determines whether or not k> K. If a negative determination is made in S21, the process is returned to S16 in order to create a new regression tree, and if an affirmative determination is made in S21, the process is terminated.
  • K regression functions G k that is, regression tree RT k ) are generated for one modification function F K.
  • the action recognition process executed by the image processing unit 20 will be described with reference to the flowchart of FIG.
  • the action recognition process may be performed every time an image is acquired in S1, that is, every frame, or every plurality of frames.
  • the image processing unit 20 cuts out information for the past and time windows from the present time using the time window T from the time series of the plurality of individual state information accumulated in S5, so that the determination information group I Get E.
  • the image processing unit 20 initializes the regression tree index k to 1.
  • the image processing unit 20 uses the regression tree RT k identified by the regression tree index k, the determination information group IE acquired in S31, and the action determination parameter calculated in the learning process.
  • the value of the regression function G k is acquired, and the correction function F k is updated using Eq. (8).
  • the image processing unit 20 increases the regression tree index k by 1.
  • the image processing unit 20 determines whether or not k> K. That is, it is determined whether or not all of the K regression trees RT 1 to RT K are used in the calculation of the correction function F K. If a negative determination is made in S35, the process is returned to S33, and if an affirmative determination is made in S35, the process proceeds to S36.
  • the correction function F K shown in Eq. (4) is finally calculated, and as shown in Eq. (3) , the value obtained by this correction function F K is the initial score vector. It is the correction amount R for the value A (0).
  • the image processing unit 20 generates the corrected score vector A using the equation (2).
  • the image processing unit 20 extracts the element having the maximum score SC from the modified score vector A.
  • the image processing unit 20 determines whether or not SC> THs.
  • THs is a threshold value for determining the reliability of the determination result. If an affirmative determination is made in S38, the process proceeds to S39, and if a negative determination is made in S38, the process proceeds to S40.
  • the image processing unit 20 outputs the driving behavior associated with the element having the maximum score SC as the recognition result of the driving behavior that the driver is trying to execute, and ends the processing.
  • the image processing unit 20 invalidates the estimation result and ends the process, assuming that the estimation result shown in the score vector A is unreliable.
  • the regression tree RT k learned by the gradient boosting is used for calculating the correction amount R of the score vector A in the behavior recognition process.
  • the difference value of the comparison data pair (P e0 , P e1 ) is used as the parameter used for the conditional branching of the regression tree RT k. That is, simple parameters are used in recursive processing. Therefore, according to the present embodiment, the processing amount of the action recognition process can be reduced, and high-speed operation can be realized.
  • a regression function G k corresponding to the driver is generated using the regression tree RT k obtained by machine learning a large amount of data, and the correction value R obtained by this regression function G k.
  • the recognition result is obtained using the score vector A modified by. Therefore, it is possible to obtain highly robust recognition results for various drivers as compared with the conventional technique in which recognition results are obtained by comparison with an average model.
  • the comparison data pair (P e0 , P e1 ) which is the input information to the regression tree RT k is extracted from a plurality of individual state information generated from the driver state information. Disclosure is not limited to this.
  • vehicle information and peripheral information acquired via the communication unit 30 may be used as primary information, and a plurality of individual state information, which is secondary information, may be extracted from each of the primary information. Further, when the acquired primary information is binarized information, the primary information may be used as it is as the secondary information.
  • a "driver's face-facing state” indicating a state in which the face direction is separated from the front direction by a predetermined angle or more, that is, a state of looking away is used.
  • this disclosure is not limited to this.
  • the driver's face orientation may be divided into “rightward”, “leftward”, “upward”, “downward”, etc., and each of them may be used as separate individual state information.
  • the image processing unit 20 and its method described in the present disclosure are provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may be realized by a dedicated computer. Alternatively, the image processing unit 20 and its method described in the present disclosure may be realized by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits. Alternatively, the image processing unit 20 and its method described in the present disclosure include a processor and memory programmed to execute one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers configured by a combination.
  • the computer program may also be stored on a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
  • the method for realizing the functions of each unit included in the image processing unit 20 does not necessarily include software, and all the functions may be realized by using one or a plurality of hardware.
  • a plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. In addition, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment.
  • the present disclosure can also be realized in various forms.
  • it may be realized as a program for operating a computer as an image processing unit constituting a system including an action recognition device or an information generation device, an action recognition device, or an information generation device.
  • it may be realized as a non-transitional actual recording medium such as a semiconductor memory in which this program is recorded, an action recognition method, an information generation method, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像処理部は、情報変換部（Ｓ５）では、情報取得部（Ｓ４）にて取得された一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて二次情報を生成する。二次情報は、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現される。更に、画像処理部は、複数の二次情報の時系列から、時間窓を用いて抽出された判定用情報群を用いて行動ベクトルを更新し、更新された前記行動ベクトルを用いて、ドライバの運転行動を認識する。

Description

行動認識装置、行動認識方法、及び情報生成装置 関連出願の相互参照
　本国際出願は、２０１９年１０月１６日に日本国特許庁に出願された日本国特許出願第２０１９－１８９６３２号及び２０２０年１月１０日に日本国特許庁に出願された日本国特許出願第２０２０－００３１３４号に基づく優先権を主張するものであり、日本国特許出願第２０１９－１８９６３２号及び日本国特許出願第２０２０－００３１３４号の全内容を本国際出願に参照により援用する。
　本開示は、ドライバの状態から運転行動を認識する技術に関する。
　下記非特許文献１には、ドライバの視線の動きを表す時系列データを集めて分析することで、認識対象となる運転行動毎に、平均的なモデルを予め生成し、運転中に検出される時系列データとモデルとを比較することで、運転行動を認識する技術が記載されている。
　モデルは、ドライバによって注視される複数の領域を視領域として、所定時間内で各視領域を見た時間割合や頻度、最大注視時間、及び視領域間の移動頻度等の特徴に、各要素が対応づけられた特徴ベクトルで表される。また、分析の対象となる時系列データには、ノイズ除去などのフィルタリング処理も施される。
Sujitha Martin, Mohan M. Trivedi "Gaze Fixation and Dynamics for Behavior Modeling and Prediction of On-road Driving Maneuvers" 2017 IEEE Intelligent Vehicles Symposium (IV) June 11-14, 2017, Redondo Beach, CA, USA
　しかしながら、発明者の詳細な検討の結果、非特許文献１に記載の従来技術には以下の課題が見出された。
　すなわち、従来技術では、特徴ベクトルの要素となる特徴の選定には、収集した時系列データから、どの特徴がドライバの行動に影響を与えているのかを判定できる高度な専門性が必要となる。また、従来技術では、特徴の選定され方によって、認識性能が大きく変動する。このため、判定に使用する特徴の選定が難しいという課題が見出された。
　また、従来技術では、運転行動毎に、個別に特徴を選定して、個別にモデルを生成する必要があり、モデルの生成に手間を要するという課題も見出された。
　本開示の一つの局面は、ドライバ状態から運転行動を高速かつ高精度に認識する装置を、高度な専門性を必要とすることなく簡易に構成する技術を提供する。
　本開示の一態様は、行動認識装置であって、情報取得部と、情報変換部と、抽出部と、更新部と、認識部と、を備える。
　情報取得部は、車両の状態、車両を運転するドライバの状態、及び車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する。情報変換部は、情報取得部が取得した一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する。抽出部は、情報変換部で生成される複数の二次情報の時系列から、時間窓を用いて判定用情報群を抽出する。更新部は、各要素がドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、行動ベクトルの初期値を与え、判定用情報群を用いて算出される行動ベクトルの修正量によって、行動ベクトルを更新する。認識部は、更新部にて更新された行動ベクトルを用いて、ドライバの運転行動を認識する。
　本開示の一態様は、ドライバの運転行動を認識する行動認識方法であって、情報取得ステップと、情報変換ステップと、抽出ステップと、更新ステップと、認識ステップと、を備える。情報取得ステップ、情報変換ステップ、抽出ステップ、更新ステップ、及び認識ステップでは、それぞれ、情報取得部、情報変換部、抽出部、更新部、及び認識部での動作と同様の動作が実行される。
　このような構成によれば、ドライバの運転行動に関する専門的な知識に基づいて生成されるモデルを用いることなく、ドライバの運転行動を認識することができる。その結果、ドライバの運転行動に関する専門的な知識を必要とすることなく、当該装置を簡易に構成することができる。ドライバが実行しようとしている運転行動を認識できるため、認識された運転行動に関する情報の提示やその運転行動を支援するためのシステム制御を、早目に開始できる。
　本開示の一態様は、情報生成装置であって、情報取得部と、情報変換部と、を備える。情報取得部は、車両の状態、車両を運転するドライバの状態、及び車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する。情報変換部は、情報取得部が取得した一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する。その結果、複数の二次情報の時系列が生成される。
　このような構成によれば、複数の二次情報の任意時点での信号レベルを加減演算した結果によって演算対象となった二次情報間の関係を表現することができる。また、加減演算した結果は、行動ベクトルの更新に用いる修正量の算出等に使用することで、処理負荷を軽減できる。
行動認識装置の構成を示すブロック図である。 情報生成処理のフローチャートである。 取得画像と、顔検出及び顔特徴点検出の結果とを示す説明図である。 視領域を表す説明図である。 ドライバ状態とドライバ状態情報及び個別状態情報の時系列データとを例示する説明図である。 時間窓の設定に関する説明図である。 学習データの切り出しに関する説明図である。 回帰木を説明する説明図である。 回帰木にて使用される比較データペアに関する説明図である。 行動認識用パラメータを生成する学習処理のフローチャートである。 行動認識処理のフローチャートである。 学習データに加える車両情報に関する説明図である。 ドライバ状態とドライバ状態情報の時系列データとを例示する説明図である。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　［１．構成］
　図１に示す行動認識装置１は、車両に搭載され、車両において取得される様々な情報からドライバが実行しようとしている運転行動を認識する。行動認識装置１は、カメラ１０と、画像処理部２０とを備える。行動認識装置１は、通信部３０を備えてもよい。
　カメラ１０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。カメラ１０は、例えば、車両の運転席に着座したドライバの顔が撮像範囲に含まれるように配置される。カメラ１０は、周期的に撮像を実行し、撮像画像のデータを画像処理部２０に出力する。
　通信部３０は、車載通信ネットワークを介して車両各部に設けられた電子制御ユニットと通信することで様々な情報を取得する。車載通信ネットワークは、例えばＣＡＮが用いられる。ＣＡＮは登録商標である。画像処理部２０が通信部３０を介して取得する情報には、車両情報と周辺情報とが含まれてもよい。
　車両情報は、車両の状態を表す状態情報である。車両情報には、例えば、車速、操舵角、ヨーレート、加速度、アクセルペダル操作量、ブレーキ圧等が含まれてもよい。つまり、車両情報には、車両の挙動を表す情報だけでなく、車両の挙動に影響を与える情報が含まれていてもよい。
　周辺情報は、車両周囲の状況を表す状態情報である。周辺情報には、車両の周囲を撮像するカメラからの画像、及び車両の周囲に存在する物体を検出するミリ波レーダ、ライダー、超音波センサ等での検出結果の他、これら画像及び検出結果を解析することで得られる情報が含まれてもよい。
　画像処理部２０は、ＣＰＵ２０ａと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２０ｂ）と、を有するマイクロコンピュータを備える。画像処理部２０が実行する処理によって実現される機能に対応した機能ブロックとして、画像処理部２０は、情報生成部２１と、行動認識部２２と、学習部２３とを備える。なお、情報生成部２１を備える画像処理部２０が情報生成装置に相当する。
　［２．情報生成処理］
　情報生成部２１としての機能を実現するために、画像処理部２０が実行する情報生成処理について、図２のフローチャートを用いて説明する。情報生成処理は、予め設定された周期で繰り返し起動される。
　Ｓ１では、画像処理部２０は、カメラ１０から画像を取得する。
　続くＳ２では、画像処理部２０は、顔検出処理を実行する。顔検出処理は、Ｓ１で取得した画像から、顔が撮像された領域である顔領域を検出する処理である。顔検出処理では、例えば、パターンマッチングを用いることができるが、パターンマッチングに限定されるものではない。顔検出処理の結果、例えば、図３中の枠Ｗで示す部分が顔領域として検出される。
　続くＳ３では、画像処理部２０は、特徴点検出処理を実行する。特徴点検出処理は、Ｓ２で抽出された顔領域の画像を用いて、撮像された顔の向きと目の状態とを特定するのに必要な複数の顔特徴点を検出する処理である。顔特徴点には、目、鼻、口、耳、及び顔のうち少なくとも一つの輪郭における特徴的な部位が用いられる。特徴点検出処理の結果、例えば、図３中の丸印で示す複数の顔特徴点が検出される。
　続くＳ４では、画像処理部２０は、情報取得処理を実行する。情報取得処理は、Ｓ３で検出された複数の顔特徴点に基づき、顔領域の画像から検出される目の周辺画像を用いて、ドライバの状態を表すドライバ状態情報を生成する処理である。このドライバ状態情報が一次情報に相当する。ドライバ状態情報は、図１３に示すように、複数の信号レベルを有し、各信号レベルに、ドライバの注視方向、ドライバの眼の開閉状態（例えば、閉眼状態）、及びドライバの顔向き状態等が対応づけられる。つまり、ドライバ状態情報が示す信号レベルのそれぞれが、一つの対象状態を表し、ドライバ状態情報は、ドライバの状態がどの対象状態に該当するかを表す多値情報である。
　ドライバの注視方向は、運転時にドライバに視認される範囲を複数の領域（以下、視領域）に分割して、どの視領域を注視しているかによって表す。図４に示すように、視領域には、左サイドミラー（以下、左ミラー）Ｅ１、正面Ｅ２、ルームミラーＥ３、メータＥ４、右サイドミラー（以下、右ミラー）Ｅ５が含まれる。但し、視領域の分割方法は、前述のＥ１～Ｅ５に限定されるものではなく、より細かく分割した視領域を用いてもよいし、ドライバから見た角度等によって分割した視領域を用いてもよい。
　ドライバの閉眼状態は、眼が閉じられることによって、どの視領域も見ていない状態を表す。ドライバの顔向き状態は、顔の向きが正面方向から所定角度以上離れている状態を表す。つまり、ドライバが、上記視領域以外を注視しているよそ見の状態を表す。
　続くＳ５では、画像処理部２０は、情報変換処理を実行して処理を終了する。情報変換処理は、Ｓ４で生成されたドライバ状態情報が示す複数の信号レベルのそれぞれについて、信号レベルに該当するときは１、該当しないときは０となる二つの値で表現された個別状態情報に変換し、その変換結果をメモリ２０ｂに蓄積する処理である。この個別状態情報が二次情報に相当する。
　図５に示すように、ドライバの注視方向に関する個別状態情報は、いずれも、該当する視領域を注視していると判定された場合に１、それ以外の場合に０となる２値で表される。ドライバの閉眼状態に関する個別状態情報は、閉眼の場合に１、それ以外の場合に０となる２値で表される。ドライバの顔向き状態に関する個別状態情報は、顔向き角度が正面方向に対して所定角度以上である場合に１、それ以外の場合に０となる２値で表される。ドライバ状態情報から生成される複数の個別状態情報は、任意の時点で択一的にいずれか一つが１となり、他は全て０となる。
　なお、Ｓ３及びＳ４の処理では、例えば、本願出願人が特願２０１９－１０８０２８号にて提案した、回帰関数を用いて特徴点の検出や注視方向を検出する方法を用いることができる。また、Ｓ４が情報取得部、Ｓ５が情報変換部に相当する。
　情報生成処理が繰り返されることにより、メモリ２０ｂには、対象状態（すなわち、ドライバ状態情報の信号レベル）毎に個別状態情報の時系列が蓄積される。
　［３．運転行動認識］
　［３－１．概要］
　行動認識処理で使用される方法、すなわち、情報生成部２１が生成する複数の個別状態情報の時系列からドライバが実施しようとしている運転行動を認識する方法について説明する。行動認識処理は、画像処理部２０が行動認識部２２としての機能を実現するために実行する処理である。
　認識の対象となる運転行動には、例えば、「直進」「左車線変更」「右車線変更」「左折」「右折」「左分岐」「右分岐」「合流」「停止」等が含まれてもよい。
　行動認識処理では、複数の個別状態情報の時系列から時間窓Ｔを用いて切り出される判定用情報群ＩＥが用いられる。時間窓Ｔは、図６に示すように、認識対象となる運転行動を検出したいタイミングから、その運転行動が実際に開始されるタイミングまでの長さ以上の時間幅に設定される。図５は、時間窓Ｔによって切り出された判定用情報群ＩＥの一例である。
　判定用情報群ＩＥは、図７に示すように、時間窓Ｔを画像の１又は数フレーム分ずつ時間をずらしながら適用する、いわゆるスライディングウインドを用いて、連続的に抽出される。行動認識処理は、このようにして抽出される複数の判定用情報群ＩＥのそれぞれに対して実行される。
　ここで、認識対象となる運転行動と同数であるＤ個の要素ａ１～ａＤを持つベクトルを、スコアベクトルＡという。スコアベクトルＡは、（１）式で表され、各要素ａ１～ａＤは、各運転行動のいずれかに対応づけられる。スコアベクトルＡは、該当する運転行動に対応する要素の値が大きく、該当しない運転行動に対応する要素の値が小さくなるようなワンホット形式をとり、最終的に一番大きな値を有する要素に対応づけられた運転行動が認識結果となる。スコアベクトルＡが行動ベクトルに相当する。
Figure JPOXMLDOC01-appb-M000001
　行動認識処理では、（２）式に示すように、スコアベクトルの初期値Ａ(0)を与え、修正量Ｒによって、スコアベクトルＡを修正することで、ドライバが実施しようとしている運転行動を表したスコアベクトルＡを算出する。
Figure JPOXMLDOC01-appb-M000002
　修正量Ｒは、（３）式に示すように、スコアベクトルの初期値Ａ(0)と、時間窓Ｔによって切り出された判定用情報群ＩＥとを入力情報として、修正関数ＦＫに作用させることで得られる。修正関数ＦＫは、勾配ブースティングを用いた回帰関数の加法モデルを適用した関数である。このような回帰関数は、例えば、“One Millisecond Face Alignment with an Ensemble of Regression Trees” Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR,2014,1867-1874（以下、参考文献１）、及び、“Greedy Function Approximation : A gradient boosting machine” Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001),1189-1232（以下、参考文献２）等に示される。
Figure JPOXMLDOC01-appb-M000003
　修正関数ＦKは、予め用意されたＫ個の回帰木ＲＴ１～ＲＴＫを用いて回帰的に値が決定される関数であり、（４）式で定義される。回帰木ＲＴ１～ＲＴＫは、木構造をとる弱仮説の集合である。Ｆ０は修正関数ＦKの初期値、Ｇｋはｋで識別される回帰木ＲＴｋによって値が決定される回帰関数であり、ｋ＝１，２，…Ｋである。また、γは学習率であり、０＜γ＜１に設定される。γの値を小さくすることで、過学習となることを抑制する。
Figure JPOXMLDOC01-appb-M000004
　Ｋ個の回帰木ＲＴ１～ＲＴＫは、いずれも同様の構造を有する。例えば、図８に示すように、回帰木ＲＴｋとして、ノードを順次二つに分岐させる二分木が用いられる。回帰木ＲＴｋの枝の分岐点となるノードを通常ノード４１、回帰木ＲＴｋの葉となるノードを末端ノード４２という。通常ノード４１を識別するノードインデックスをｅとすると、ｅ番目の通常ノード４１には、比較データペア（Ｐe0，Ｐe1）とスレッショルドＴＨｅとが対応づけられる。末端ノード４２のそれぞれには回帰量Ｇｋの具体的な値ｒk1～ｒk8が対応づけられる。
　比較データペア（Ｐe0，Ｐe1）に属する二つのデータは、個別状態情報の種類と、時間窓によって切り取られた時間領域の開始時間を基点とする相対時間で表された抽出時間とで定義される。図９に示すように、個別状態情報の種類は、二つのデータ間で異なっていてもよいし同じであってもよい。また、抽出時間も、二つのデータ間で異なっていてもよいし同じであってもよい。但し、二つのデータ間で、個別状態情報の種類が同じである場合は、抽出時間を異ならせる必要がある。逆に言えば、二つのデータ間で、抽出時間が同じである場合は、個別状態情報の種類を異ならせる必要がある。図９中に示した太字破線の矢印の両端が、比較データペア（Ｐe0，Ｐe1）として抽出される二つのデータに対応する。
　回帰木ＲＴｋの各通常ノード４１では、比較データペア（Ｐe0，Ｐe1）の差分値、すなわちＰe0－Ｐe1が、スレッショルドＴＨｅよりも低いか否かに応じて、次階層の通常ノード４１又は末端ノード４２に至るいずれの枝を選択するかが決定される。比較データペア（Ｐe0，Ｐe1）を構成する個々のデータの値は、いずれも０又は１であるため、差分値は－１，０，１のいずれかとなる。つまり、スレッショルドＴＨｅは、－１＜ＴＨｅ≦１に設定される。なお、比較データペア（Ｐe0，Ｐe1）の差分値が、判定用情報群ＩＥから抽出される特徴に相当する。
　回帰木ＲＴｋの通常ノード４１に対応づけられた比較データペア（Ｐe0，Ｐe1）の差分値と、スレッショルドＴＨｅとの比較結果に従って、回帰木ＲＴｋの枝を辿りながら同様の処理を繰り返すことで複数ある末端ノード４２のいずれかに到達する。到達した末端ノード４２に対応付けられた回帰量ｒkjが回帰関数Ｇｋの値となり、ひいては修正関数ＦＫの出力値の一部となる。図８では、ｊ＝１，２，…８である。
　このように、行動認識処理では、スコアベクトルＡの初期値Ａ(0)と、修正関数ＦＫの初期値Ｆ０と、回帰木ＲＴｋを定義する各パラメータとが事前に用意されている必要がある。以下では、スコアベクトルＡの初期値Ａ(0)と、修正関数ＦＫの初期値Ｆ０と、回帰木ＲＴｋを定義する各パラメータとを総称して行動認識用パラメータという。
　行動認識用パラメータは、画像処理部２０が学習処理を実行することで生成される。但し、学習処理は、必ずしも画像処理部２０で実行される必要は無く、画像処理部２０以外の装置にて実行されてもよい。
　［３－２．学習］
　行動認識用パラメータを設定するための学習処理について、図１０のフローチャートを用いて説明する。学習処理は、画像処理部２０が学習部２３としての機能を実現するために実行する処理である。学習処理を実行する際には、メモリ２０ｂに学習用の個別状態情報が記憶される。学習用の個別状態情報には、画像の１フレーム単位で、ドライバの運転行動の正解ラベルが予め付与される。
　Ｓ１１では、画像処理部２０は、学習情報毎に、スコアベクトルＡの正解値（以下、教師データ）Ａ１～ＡＮを生成する。学習情報は、メモリ２０ｂに記憶された学習用の個別状態情報から、時間窓を用いて切り出された多数（例えば、Ｎ個）の個別状態情報群である。
　具体的には、図７に示すように、学習情報に含まれる画像のフレーム毎に付与された正解ラベルを参照して、教師データＡｉを生成する。例えば、学習情報に含まれる画像のすべてのフレームに正解ラベルとして「直進」が付与されていれば、スコアベクトルＡの「直進」に対応づけられた要素を１、その他の要素を０に設定した教師データＡｉを生成する。また、学習情報に含まれる画像のフレームに、左車線変更の開始点が含まれていれば、スコアベクトルＡの「左車線変更」に対応づけられた要素を１、その他の要素を０に設定した教師データＡｉを生成する。
　続くＳ１２では、画像処理部２０は、スコアベクトルの初期値Ａ(0)を算出する。スコアベクトルの初期値Ａ(0)は、例えば、Ｓ１１で生成された教師データＡ１～ＡＮの平均値を用いてもよい。
　続くＳ１３では、画像処理部２０は、（５）式に従って、学習情報毎に、教師データＡｉとスコアベクトルの初期値Ａ(0)との差分である修正残差ΔＡｉを算出する。
Figure JPOXMLDOC01-appb-M000005
　続くＳ１４では、画像処理部２０は、修正量Ｒの算出に用いる修正関数ＦＫの初期値Ｆ0を、（６）式を用いて算出する。
Figure JPOXMLDOC01-appb-M000006
　（６）式は、各学習情報における修正残差ΔＡｉと、スコアベクトルＡと同じ次元を有する任意のベクトルＶとの距離を、全ての学習情報について合計したときに、その合計値を最小にするベクトルＶを修正関数ＦＫの初期値Ｆ０とすることを意味する。
　続くＳ１５では、画像処理部２０は、回帰木ＲＴ１～ＲＴＫの識別に用いる回帰木インデックスｋを１に初期化する。
　続くＳ１６では、画像処理部２０は、学習情報毎に、残り修正量ｃｋを（７）式を用いて算出する。
Figure JPOXMLDOC01-appb-M000007
　続くＳ１７では、画像処理部２０は、学習情報を用いて、回帰木ＲＴｋの生成に用いる比較データペア（Ｐe0，Ｐe1）を選択する。なお、比較データペア（Ｐe0，Ｐe1）の選択及び回帰木ＲＴｋの生成には、例えば、上述した参考文献１の２．３．２項に記載される方法を用いてもよい。特に、比較データペア（Ｐe0，Ｐe1）の選択は、ランダム及び総当たりのいずれでもよい。
　なお、比較データペア（Ｐe0，Ｐe1）を、このような学習によって選択することは、以下に例示するような特徴の中から、運転行動の認識において寄与率の高い特徴に対応づけられる比較データペア（Ｐe0，Ｐe1）を、自動的に選択することを意味する。
　・各視領域Ｅ１～Ｅ５が注視されている時間又は注視されていない時間の合計。
　・注視される視領域が変化するタイミング。
　・ある視領域が注視されてから他の視領域が注視されるまでの時間間隔。
　・同一視領域、且つ時刻が異なる２点間の状態変化。
　・異なる視領域、且つ時刻が異なる２点間の状態変化。
　続くＳ１８では、画像処理部２０は、Ｓ１７で選択した比較データペア（Ｐe0，Ｐe1）の差分値を、学習情報を分類する際の指標とし、すべての学習情報において残り修正量ｃｋに近い値が得られるような回帰木ＲＴｋを生成する。すなわち、回帰木ＲＴｋによって実現される回帰関数Ｇkを生成する。
　続くＳ１９では、画像処理部２０は、Ｓ１８で生成された回帰関数Ｇｋを用いて、（８）式により、修正関数Ｆｋを更新する。
Figure JPOXMLDOC01-appb-M000008
　続くＳ２０では、画像処理部２０は、回帰木インデックスｋを１増加させる。
　続くＳ２１では、画像処理部２０は、ｋ＞Ｋであるか否かを判定する。Ｓ２１において否定判定された場合は、新たな回帰木を作成するために処理をＳ１６に戻し、Ｓ２１において肯定判定された場合は、処理を終了させる。
　学習処理では、一つの修正関数ＦＫのためにＫ個の回帰関数Ｇｋ（すなわち、回帰木ＲＴｋ）が生成される。
　［３－３．行動認識処理］
　画像処理部２０が実行する行動認識処理について、図１１のフローチャートを用いて説明する。行動認識処理では、上述の学習処理によって生成された行動認識用パラメータが用いられる。行動認識処理は、Ｓ１にて画像が取得される毎、すなわち１フレーム毎に行ってもよいし、複数フレーム毎に行ってもよい。
　まずＳ３１では、画像処理部２０は、Ｓ５にて蓄積された複数の個別状態情報の時系列から時間窓Ｔを用いて現時点から過去、時間窓分の情報を切り出すことで、判定用情報群ＩＥを取得する。
　続くＳ３２では、画像処理部２０は、回帰木インデックスｋを１に初期化する。
　続くＳ３３では、画像処理部２０は、回帰木インデックスｋで識別される回帰木ＲＴｋと、Ｓ３１で取得された判定用情報群ＩＥと、学習処理で算出された行動判定用パラメータとを用いて回帰関数Ｇｋの値を取得し、（８）式を用いて修正関数Ｆｋを更新する。
　続くＳ３４では、画像処理部２０は、回帰木インデックスｋを１増加させる。
　続くＳ３５では、画像処理部２０は、ｋ＞Ｋであるか否かを判定する。つまり、Ｋ個の回帰木ＲＴ１～ＲＴＫの全てが修正関数ＦＫの算出に用いられたか否かを判定する。Ｓ３５において否定判定された場合は処理をＳ３３に戻し、Ｓ３５において肯定判定された場合は処理をＳ３６に進める。Ｓ３３～Ｓ３５の処理により、最終的に（４）式に示された修正関数ＦＫが算出され、（３）式に示すように、この修正関数ＦＫによって得られる値が、スコアベクトルの初期値Ａ(0)に対する修正量Ｒとなる。
　Ｓ３６では、画像処理部２０は、（２）式を用いて修正されたスコアベクトルＡを生成する。
　続くＳ３７では、画像処理部２０は、修正されたスコアベクトルＡのうち、最大スコアＳＣを有する要素を抽出する。
　続くＳ３８では、画像処理部２０は、ＳＣ＞ＴＨｓであるか否かを判定する。ＴＨｓは、判定結果の信頼性を判定するための閾値である。Ｓ３８において肯定判定された場合は処理をＳ３９に進め、Ｓ３８において否定判定された場合は処理をＳ４０に進める。
　Ｓ３９では、画像処理部２０は、最大スコアＳＣを有する要素に対応づけられた運転行動を、ドライバが実施しようとしている運転行動の認識結果として出力して、処理を終了する。
　Ｓ４０では、画像処理部２０は、スコアベクトルＡに示された推定結果の信頼性が低いものとして、推定結果を無効化して、処理を終了する。
　［４．効果］
　以上詳述した実施形態によれば、以下の効果を奏する。
　（４ａ）本実施形態では、行動認識処理におけるスコアベクトルＡの修正量Ｒの算出に勾配ブースティングにより学習された回帰木ＲＴｋを用いる。しかも、回帰木ＲＴｋの条件分岐に用いるパラメータとして、比較データペア（Ｐe0，Ｐe1）の差分値を用いる。つまり、回帰的な処理において単純なパラメータを利用する。このため、本実施形態によれば、行動認識処理の処理量が削減され、高速動作を実現できる。
　（４ｂ）本実施形態によれば、機械学習によって自動的に学習及び認識がいずれも実行されるため、ドライバの運転行動に対する専門的な知識を必要とすることなく、運転行動の認識に必要なパラメータを生成することができる。
　（４ｃ）本実施形態では、状態情報に対してフィルタリング等の前処理を行う必要がないため、前処理を実行することによる誤差の蓄積や、前処理の性能による検出精度の劣化を避けることができ、ドライバの運転行動の認識精度を向上させることができる。
　（４ｄ）本実施形態では、大量のデータを機械学習することで得られた回帰木ＲＴｋを用いてドライバに応じた回帰関数Ｇｋを生成し、この回帰関数Ｇｋによって得られる修正値Ｒによって修正されたスコアベクトルＡを用いて認識結果を得る。このため、平均的なモデルとの比較によって認識結果を得る従来技術と比較して、多様なドライバに対するロバスト性の高い認識結果を得ることができる。
　（４ｅ）本実施形態によれば、個別状態情報として２値で表現される情報を用いるため、個別状態情報の蓄積に必要なメモリ容量を削減できる。
　（４ｆ）本実施形態によれば、ドライバが実施しようとしている運転行動を認識するため、認識された運転行動に関わる情報の提示や、その運転行動を支援するためのシステム制御を早目に開始できる。
　［５．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（５ａ）上記実施形態では、回帰木ＲＴｋへの入力情報となる比較データペア（Ｐe0，Ｐe1）を、ドライバ状態情報から生成される複数の個別状態情報から抽出しているが、本開示はこれに限定されるものではない。例えば、通信部３０を介して取得される車両情報や周辺情報を一次情報として、一次情報のそれぞれから、二次情報である複数の個別状態情報を抽出してもよい。また、取得される一次情報が２値化された情報である場合、一次情報をそのまま二次情報として用いてもよい。
　図１２に示すように、車両情報として、車速、操舵角、ヨーレート、加速度等の検出結果であるアナログ信号を用いる場合、ある時点の値を、他の情報の値と比較（例えば、値の加減算等）しても、意味のある結果を得ることができない。このため、比較データペア（Ｐe0，Ｐe1）を生成する際に、状態情報の種類として車両情報を選択した場合には、同一情報かつ異なる時刻で定義される２点を選択する必要がある。但し、車両情報を、複数に区分けされた値域毎に、その値域内の値であるか否かを表す２値化された複数の情報（すなわち、二次情報）に変換して用いる場合には他の状態情報と組み合わせて比較データペア（Ｐe0，Ｐe1）を生成してもよい。
　（５ｂ）上記実施形態では、回帰木ＲＴｋを用いて回帰関数Ｇｋを取得する方法を例示したが、本開示は、これに限定されるものではなく、公知の別の手法を用いて回帰関数を取得してもよい。
　（５ｃ）上記実施形態では、個別状態情報の一つとして、顔の向きが正面方向から所定角度以上離れている状態、すなわち、よそ見している状態を表す「ドライバの顔向き状態」を用いているが、本開示はこれに限定されるものではない。例えば、認識対象の運転行動によっては、ドライバの顔向きを、「右向き」「左向き」「上向き」「下向き」等に分けて、それぞれを別の個別状態情報としてもよい。
　（５ｄ）本開示に記載の画像処理部２０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理部２０及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理部２０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理部２０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
　（５ｅ）上記実施形態における一つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、一つの構成要素が有する一つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、一つの構成要素によって実現したり、複数の構成要素によって実現される一つの機能を、一つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（５ｆ）上述した行動認識装置及び情報生成装置の他、種々の形態で本開示を実現することもできる。例えば、行動認識装置又は情報生成装置を構成要素とするシステム、行動認識装置又は情報生成装置を構成する画像処理部としてコンピュータを機能させるためのプログラムとして実現されてもよい。更に、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、行動認識方法、及び情報生成方法などとして実現されてもよい。
 

Claims (12)

  1. 　車両の状態、前記車両を運転するドライバの状態、及び前記車両の周辺の状態のうち、
    少なくとも一つを含む１以上の一次情報を繰り返し取得するように構成された情報取得部（２０：Ｓ４）と、
    　前記情報取得部が取得した前記一次情報毎に、前記一次情報から抽出される１以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成するように構成された情報変換部（２０：Ｓ５）と、
    　前記情報変換部で生成される複数の前記二次情報の時系列から、時間窓を用いて判定用情報群を抽出するように構成された抽出部（２０：Ｓ３１）と、
    　各要素が前記ドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、前記行動ベクトルの初期値を与え、前記判定用情報群を用いて算出される前記行動ベクトルの修正量によって、前記行動ベクトルを更新するように構成された更新部（２０：Ｓ３２～Ｓ３６）と、
    　前記更新部にて更新された前記行動ベクトルを用いて、前記ドライバの運転行動を認識するように構成された認識部（２０：Ｓ３７～Ｓ４０）と、
    　を備える、行動認識装置。
  2. 　請求項１に記載の行動認識装置であって、
    　前記更新部は、前記判定用情報群から算出される特徴量と、前記行動ベクトルに対する修正量との関係を表す回帰関数を用いて、前記行動ベクトルの修正量を算出する、
    　行動認識装置。
  3. 　請求項２に記載の行動認識装置であって、
    　前記更新部にて使用される前記回帰関数は、勾配ブースティングによって学習される回帰木であって、木構造をとる弱仮説の集合として実現される
    　行動認識装置。
  4. 　請求項２又は請求項３に記載の行動認識装置であって、
    　前記更新部は、前記特徴量として、前記判定用情報群から抽出される二つのデータである比較データペアの差分値を用いる、
    　行動認識装置。
  5. 　請求項４に記載の行動認識装置であって、
    　前記比較データペアは、同一の前記二次情報から抽出される
    　行動認識装置。
  6. 　請求項４に記載の行動認識装置であって、
    　前記比較データペアは、異なる前記二次情報から抽出される
    　行動認識装置。
  7. 　請求項１から請求項６までのいずれか１項に記載の行動認識装置であって、
    　前記行動ベクトルの各要素に対応づけられる前記ドライバの運転行動には、直進、左車線変更、及び右車線変更のうち、少なくとも一つが含まれる
    　行動認識装置。
  8. 　請求項１から請求項７までのいずれか１項に記載の行動認識装置であって、
    　前記一次情報には、前記ドライバの状態を表す情報が含まれ、
    　前記二次情報には、前記ドライバが注視する領域である視領域を表す情報、前記ドライバの眼の開閉状態を表す情報、及び前記ドライバの顔向きを表す情報のうち、少なくとも一つが含まれる
    　行動認識装置。
  9. 　ドライバの運転行動を認識する行動認識方法であって、
    　車両の状態、前記車両を運転する前記ドライバの状態、及び前記車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する情報取得ステップ（Ｓ４）と、
    　前記情報取得ステップにて取得された前記一次情報毎に、前記一次情報から抽出される一つ以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する情報変換ステップ（Ｓ５）と、
    　前記情報変換ステップで生成される複数の前記二次情報の時系列から、時間窓を用いて判定用情報群を抽出する抽出ステップ（Ｓ３１）と、
    　各要素が前記ドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、前記行動ベクトルの初期値を与え、前記判定用情報群を用いて算出される前記行動ベクトルの修正量によって、前記行動ベクトルを更新する更新ステップ（Ｓ３２～Ｓ３６）と、
    　前記更新ステップにて更新された前記行動ベクトルを用いて、前記ドライバの運転行動を認識する認識ステップ（Ｓ３７～Ｓ４０）と、
    　を備える、行動認識方法。
  10. 　車両の状態、前記車両を運転するドライバの状態、及び前記車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得するように構成された情報取得部（２０：Ｓ４）と、
    　前記情報取得部が取得した前記一次情報毎に、前記一次情報から抽出される１以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成するように構成された情報変換部（２０：Ｓ５）と、
    　を備える情報生成装置。
  11. 　請求項１０に記載の情報生成装置であって、
    　前記一次情報には、前記ドライバの状態の一つとして前記ドライバの注視方向が含まれ、
    　前記二次情報には、前記ドライバが注視する領域である視領域を、前記ドライバが前記視領域を注視している状態を前記対象状態とする
    　情報生成装置。
  12. 　請求項１０又は請求項１１に記載の情報生成装置であって、
    　一つの前記一次情報から前記二次情報が複数生成され、任意の時点でいずれか一つの前記二次情報が、択一的に前記対象状態に該当するように設定された
    　情報生成装置。
PCT/JP2020/038149 2019-10-16 2020-10-08 行動認識装置、行動認識方法、及び情報生成装置 WO2021075348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/717,484 US20220242418A1 (en) 2019-10-16 2022-04-11 Behavior recognition apparatus and behavior recognition method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-189632 2019-10-16
JP2019189632 2019-10-16
JP2020-003134 2020-01-10
JP2020003134A JP7120258B2 (ja) 2019-10-16 2020-01-10 行動認識装置、及び行動認識方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/717,484 Continuation US20220242418A1 (en) 2019-10-16 2022-04-11 Behavior recognition apparatus and behavior recognition method

Publications (1)

Publication Number Publication Date
WO2021075348A1 true WO2021075348A1 (ja) 2021-04-22

Family

ID=75486381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038149 WO2021075348A1 (ja) 2019-10-16 2020-10-08 行動認識装置、行動認識方法、及び情報生成装置

Country Status (3)

Country Link
US (1) US20220242418A1 (ja)
JP (1) JP7120258B2 (ja)
WO (1) WO2021075348A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403171B (zh) * 2023-06-08 2023-09-01 松立控股集团股份有限公司 一种车辆重识别方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204984A (ja) * 2009-03-04 2010-09-16 Nissan Motor Co Ltd 運転支援装置
JP2018520444A (ja) * 2015-09-21 2018-07-26 三菱電機株式会社 顔の位置合わせのための方法
JP2019113925A (ja) * 2017-12-21 2019-07-11 株式会社デンソー 居眠り警報装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204984A (ja) * 2009-03-04 2010-09-16 Nissan Motor Co Ltd 運転支援装置
JP2018520444A (ja) * 2015-09-21 2018-07-26 三菱電機株式会社 顔の位置合わせのための方法
JP2019113925A (ja) * 2017-12-21 2019-07-11 株式会社デンソー 居眠り警報装置

Also Published As

Publication number Publication date
US20220242418A1 (en) 2022-08-04
JP2021064343A (ja) 2021-04-22
JP7120258B2 (ja) 2022-08-17

Similar Documents

Publication Publication Date Title
CN107292386B (zh) 使用深度学习的基于视觉的雨水检测
CN108062562B (zh) 一种物体重识别方法及装置
EP3561727A1 (en) A device and a method for extracting dynamic information on a scene using a convolutional neural network
US11900646B2 (en) Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
US20160140422A1 (en) Image processing apparatus, image processing method and program
US11113576B2 (en) Information processing apparatus for training neural network for recognition task and method thereof
CN112560827B (zh) 模型训练方法、装置、预测方法、电子设备及介质
CN110827265B (zh) 基于深度学习的图片异常检测方法
CN111310850A (zh) 车牌检测模型的构建方法及系统、车牌检测方法及系统
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
US9058748B2 (en) Classifying training method and apparatus using training samples selected at random and categories
WO2021075348A1 (ja) 行動認識装置、行動認識方法、及び情報生成装置
CN111611944A (zh) 身份识别方法及装置、电子设备、存储介质
CN110046701B (zh) 在连接网络中处理和生成图像数据的方法
JP5360143B2 (ja) 走行場面認識モデル生成装置、運転支援装置、及びプログラム
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
US20230196715A1 (en) Image processing apparatus, learning method, and storage medium
US20220284718A1 (en) Driving analysis device and driving analysis method
JP7013722B2 (ja) 運転支援装置
Palazzi et al. Where should you attend while driving?
CN114863570A (zh) 视频动作识别模型的训练、识别方法、装置以及介质
KR102426591B1 (ko) 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
JP2018036870A (ja) 画像処理装置及びプログラム
EP3553695A1 (en) Method and system for displaying image data from at least one night vision camera of a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877108

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877108

Country of ref document: EP

Kind code of ref document: A1