WO2022118900A1 - 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法 - Google Patents

電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法 Download PDF

Info

Publication number
WO2022118900A1
WO2022118900A1 PCT/JP2021/044157 JP2021044157W WO2022118900A1 WO 2022118900 A1 WO2022118900 A1 WO 2022118900A1 JP 2021044157 W JP2021044157 W JP 2021044157W WO 2022118900 A1 WO2022118900 A1 WO 2022118900A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
concentration
line
sight
reliability
Prior art date
Application number
PCT/JP2021/044157
Other languages
English (en)
French (fr)
Inventor
教志 篠▲崎▼
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN202180081394.6A priority Critical patent/CN116547709A/zh
Priority to US18/255,564 priority patent/US20240005677A1/en
Priority to EP21900651.7A priority patent/EP4258242A4/en
Publication of WO2022118900A1 publication Critical patent/WO2022118900A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • This disclosure relates to electronic devices, information processing devices, concentration calculation programs, and concentration calculation methods.
  • the driver's attention is required for safe driving of moving objects. Therefore, it is considered to observe the driver's attention and issue a warning to the driver or provide driving support when the driver's attention is reduced.
  • the cumulative visibility which is the cumulative value of the degree of overlap of the line of sight with an object such as an oncoming vehicle around the own vehicle, and compare it with the reference value (see Patent Document 1). ).
  • the electronic device is the electronic device according to the first aspect.
  • An image pickup unit that generates an image corresponding to the scene by imaging
  • a line-of-sight detection unit that detects the line of sight of the target person with respect to the scene
  • a control unit that determines the reliability of the image as an estimation source of the concentration of the subject based on the image, and estimates the concentration of the subject based on the reliability, the image, and the line of sight. , Equipped with.
  • the information processing device from the second viewpoint is An image corresponding to the scene, an acquisition unit for acquiring the target person's line of sight to the scene, and an acquisition unit.
  • a control unit that determines the reliability of the image as an estimation source of the concentration of the subject based on the image, and estimates the concentration of the subject based on the reliability, the image, and the line of sight. , It includes an output unit that outputs the degree of concentration.
  • the concentration calculation program from the third viewpoint is Computer, An image pickup unit that generates an image corresponding to the scene by imaging, A line-of-sight detection unit that detects the line of sight of the target person with respect to the scene, A control unit that determines the reliability of the image as an estimation source of the concentration of the subject based on the image, and estimates the concentration of the subject based on the reliability, the image, and the line of sight. , And make it work.
  • the method of calculating the concentration level from the fourth viewpoint is An imaging process that generates an image corresponding to the scene by imaging, A line-of-sight detection process for detecting the line of sight of the target person with respect to the scene, and A determination step of determining the reliability of the image as an estimation source of the concentration of the subject based on the image, and It comprises an estimation step of estimating the concentration of the subject based on the reliability, the image, and the line of sight.
  • the electronic device is provided, for example, in a moving body.
  • the moving object may include, for example, a vehicle, a ship, an aircraft, and the like.
  • Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, living vehicles, fixed-wing aircraft traveling on runways, and the like.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts, golf carts and the like.
  • Industrial vehicles for agriculture may include, for example, tractors, tillers, porting machines, binders, combines, lawnmowers and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, dump trucks, road rollers and the like.
  • the vehicle may include a vehicle that travels manually.
  • the classification of vehicles is not limited to the above examples.
  • an automobile may include an industrial vehicle capable of traveling on a road.
  • the same vehicle may be included in multiple categories.
  • Vessels may include, for example, marine jets, boats, tankers and the like.
  • Aircraft may include, for example, fixed-wing aircraft, rotorcraft, and the like.
  • the electronic device 10 includes an image pickup unit 11, a line-of-sight detection unit 12, a memory 13, and a control unit 14.
  • the image pickup unit 11 is provided on the moving body so that, for example, a scene in the forward direction of the moving body can be imaged.
  • the image pickup unit 11 is, for example, a camera capable of taking an image at a speed of 30 fps.
  • the image pickup unit 11 generates an image corresponding to the scene by imaging.
  • the line-of-sight detection unit 12 is provided on the moving body, for example, so as to be able to detect the line of sight of the target person sitting in the driver's seat of the moving body.
  • the line-of-sight detection unit 12 is, for example, either a contact-type eye tracker or a non-contact-type eye tracker, and detects the line of sight of the subject with respect to the scene.
  • the line-of-sight LS is shown, for example, as the direction of the line-of-sight LS corresponding to the position PE in the same coordinate system as the image IM generated by the image pickup unit 11.
  • the line-of-sight detection unit 12 may detect the line-of-sight data of the time-series line-of-sight LS as the line-of-sight data. More specifically, the line-of-sight detection unit 12 may detect the position PE of the line-of-sight LS on the image IM every time and output the position PE of the line-of-sight LS in a series of time series as line-of-sight data.
  • the line-of-sight detection unit 12 detects the line-of-sight LS at a higher speed than that of the image pickup unit 11, in other words, with a high frequency, and integrates the position PE of the series of time-series line-of-sight LS as the path of the line-of-sight LS of one image IM. And output.
  • the memory 13 includes an arbitrary storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 13 stores various programs for functioning the control unit 14 and various information used by the control unit 14.
  • the control unit 14 includes one or more processors and a memory.
  • the processor may include a general-purpose processor that loads a specific program and performs a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD; Programmable Logic Device).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 14 may be either a System (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).
  • the control unit 14 controls the operation of each component of the electronic device 10.
  • the control unit 14 causes the image pickup unit 11 to continuously perform image pickup at a speed of, for example, 30 fps, and continuously acquires the image IM as information.
  • the control unit 14 causes the line-of-sight detection unit 12 to detect the line-of-sight LS of the target person at the time of performing the image pickup in the image pickup unit 11, and acquires the line-of-sight LS at substantially the same time as the time of image capture of the image IM as information.
  • the time substantially the same as the time of imaging of the image IM may include a single detection time, and may include a plurality of detection times from the time of the previous image of the latest image of the image IM to the time of the latest image. May include.
  • the time substantially the same as the time of imaging of the image IM is not the exact simultaneous point when including a single detection time of the line-of-sight LS, but the detection time at the time closest to the time of imaging in the line-of-sight detection having the same cycle as the image acquisition. May include.
  • the control unit 14 stores the image IM in the memory 13 in association with the line-of-sight LS detected at substantially the same time as the time of imaging of the image IM.
  • the control unit 14 may perform image processing on the image IM to be acquired.
  • the control unit 14 performs the predetermined image processing on the image IM to be acquired and stores the image IM in association with the line-of-sight LS in the memory 13. .
  • the predetermined image processing may be, for example, a processing for generating a semantic segmentation image based on the acquired image IM.
  • a semantic segmentation image is an image in which labels or categories are associated with all pixels in the image IM.
  • the control unit 14 determines the reliability of the image IM based on the image IM.
  • the degree of concentration is estimated based on the line-of-sight LS for any image IM.
  • the estimation accuracy of the degree of concentration may be influenced by the elements included in the image and the like.
  • the reliability of the image IM is an index showing the suitability of the image IM as an estimation source of the degree of concentration.
  • the control unit 14 may determine the reliability by calculating the reliability based on the type and number of elements included in the image IM detected by image recognition and at least one of the positions in the image IM.
  • the element includes, for example, at least one of a vehicle, a pedestrian, a road shape, a sign, and a signal.
  • the element may include at least one of vehicle, pedestrian, road shape, sign, and signal optical flow, in other words movement, in a configuration that calculates reliability based on a plurality of image IMs.
  • the reliability may be calculated, for example, to increase as the number of detected elements increases.
  • the reliability may be calculated so that the type of detected element is high when the type of the detected element is a target that requires the driver's attention for its behavior such as a vehicle, a pedestrian, or the like.
  • the reliability is calculated so that, for example, the type of detected element is fixed to the ground surface such as a sign, a signal, etc., so that the behavior is lower than that of a vehicle, etc. when it is an object that does not require attention. May be done.
  • the reliability may be calculated so that the position of the detected element becomes higher as it gets closer to the moving path of the moving body and the moving body.
  • the reliability may be calculated so that the more complicated the shape of the detected road, the higher the reliability.
  • control unit 14 may determine the reliability by functioning as a reliability estimation unit that calculates the reliability based on the image IM.
  • the reliability estimation unit may be constructed by learning data in which the relationship between the learning image and the information regarding the reliability is machine-learned.
  • the information regarding the reliability may be the concentration calculated by the above-mentioned rule based on the elements included in the learning image.
  • the control unit 14 estimates the concentration level of the target person based on the determined reliability, the image IM generated by the image pickup unit 11, and the line-of-sight detection unit 12. In the first embodiment, the control unit 14 determines whether or not the concentration degree can be estimated based on the reliability.
  • the control unit 14 stops the estimation of the concentration degree when the reliability is equal to or less than the reliability threshold value.
  • the control unit 14 may lower the reliability threshold value as the time for stopping the estimation of the concentration degree becomes longer. After executing the estimation of the concentration degree, the control unit 14 may return the lowered reliability threshold value to the initial value.
  • the control unit 14 estimates the degree of concentration when the reliability exceeds the reliability threshold.
  • the control unit 14 estimates the concentration of the subject based on the image IM and the line-of-sight LS at which the imaging time and the detection time are substantially the same.
  • the control unit 14 may estimate the degree of concentration by functioning as an estimation unit constructed from machine-learned learning data.
  • the estimation unit may be constructed by a multi-layered neural network.
  • the estimation unit may directly estimate the degree of concentration based on, for example, the image IM and the line-of-sight LS of the subject.
  • the estimation unit uses a plurality of sets of the learning image, the actual line of sight of the learning target person with respect to the scene corresponding to the learning image, and the degree of concentration of the learning target person, and the learning image, the actual line of sight, And the relationship of biometric information regarding the degree of concentration may be constructed by learning data obtained by machine learning.
  • the estimation unit may estimate the line-of-sight prediction map based on, for example, the image IM, and estimate the concentration degree based on the line-of-sight prediction map and the line-of-sight LS of the subject.
  • the line-of-sight prediction map MP constitutes an image IM corresponding to a general target person's gaze at each position with respect to a specific scene, that is, the probability of overlapping with the line-of-sight LS. It is a two-dimensional map shown at each position.
  • the estimation unit includes a first estimation unit that estimates the line-of-sight prediction map MP based on the image IM, and a second estimation unit that estimates the concentration degree based on the line-of-sight prediction map MP and the target person's line-of-sight LS. good.
  • the first estimation unit is constructed by learning data obtained by machine learning the relationship between the learning image and the actual line of sight using a plurality of sets of the actual line of sight of the learning target person with respect to the scene corresponding to the learning image. May be done.
  • the second estimation unit includes a learning line-of-sight prediction map estimated by the first estimation unit based on the learning image, the actual line-of-sight of the learning target person for the scene corresponding to the learning image, and the learning. It may be constructed by learning data obtained by machine learning the relationship between the line-of-sight prediction map for learning, the actual line of sight, and the degree of concentration using a plurality of sets of the degree of concentration of the subject.
  • the estimation unit may estimate the line-of-sight prediction map of the target person with a concentration within a predetermined range based on, for example, the image IM.
  • the control unit 14 may calculate the concentration degree of the target person based on the estimated line-of-sight prediction map and the line-of-sight LS of the target person.
  • the control unit 14 may specify, for example, the position of the line-of-sight prediction map corresponding to the line-of-sight LS of the target person, or the area including the position.
  • the control unit 14 may further calculate the degree of concentration according to the probability at the position of the line-of-sight prediction map, the average value of the probabilities in the region, the weighted average value, or the like.
  • the control unit 14 may calculate the concentration ratio by, for example, using a function or a table so that the higher the probability, the lower the concentration. For example, the control unit 14 may calculate the concentration degree so that the concentration degree of the target person approaches a specific value such as an average value, a maximum value, or a minimum value within a predetermined range as the probability increases.
  • the estimation unit uses learning data obtained by machine learning the relationship between the learning image and the actual line of sight of the learning target when the concentration of the learning target on the learning image is within the predetermined range. May be built.
  • the estimation unit may estimate a low-concentration heat map for each of a plurality of load factors when a load of a specific load factor is applied, for example, based on the image IM.
  • a low-concentration heat map is an image corresponding to a general subject who gazes at each position with respect to a specific scene when a load of a specific load factor is applied, that is, the probability of overlapping with the line of sight. It is a two-dimensional map shown at each position constituting IM.
  • Load factors are various factors that put a load on the general subject's concentration on behavior such as driving. For example, conversation with a passenger, hands-free conversation, listening to radio voice, contemplation, drowsiness, fatigue, etc. Is.
  • the estimation unit may estimate a highly concentrated heat map when all the specific load factors on the target person are removed or the load is reduced, for example, based on the image IM.
  • a highly concentrated heat map is the probability that a general subject will gaze at each position for a specific scene when all of the above specific load factors are unloaded or the load is reduced, that is, the probability of overlapping with the line of sight. Is a two-dimensional map showing at each position constituting the image IM corresponding to the scene.
  • the control unit 14 may read the probability of the position PE corresponding to the line-of-sight LS of the subject in all the low-concentration heat maps and the high-concentration heat maps.
  • the control unit 14 may select the heat map having the maximum read probability from the low-concentration heat map group and the high-concentration heat map.
  • the control unit 14 may calculate the degree of concentration based on the reference value determined for the selected heat map. For example, for all low-concentration heat maps, a reference value may be set within a concentration range of 0% or more and less than 50%. For example, for a highly concentrated heat map, a reference value may be set within a range of concentration of 50% or more and 100% or less.
  • the control unit 14 concentrates the target person on the reference value set for the low-concentration heat map. It may be calculated as a degree.
  • the control unit 14 calculates the reference value set for the highly concentrated heat map as the degree of concentration of the subject. You can do it.
  • the control unit 14 may calculate the degree of concentration based not only on the type of the selected heat map but also on the probability of the position PE corresponding to the line-of-sight LS in the heat map. For example, a function or table may be defined so that the higher the probability is, the smaller the concentration is calculated for the low concentration heat map. Further, for example, a function or a table may be defined so that the higher the probability is, the larger the concentration is calculated for a highly concentrated heat map.
  • the control unit 14 may calculate the degree of concentration using a function or table defined for the selected heat map based on the probability of the position PE corresponding to the line-of-sight LS.
  • the estimation unit may include a fourth estimation unit that estimates the low-concentration heat map for each of a plurality of load factors, and a fifth estimation unit that estimates the high-concentration heat map.
  • the fourth estimation unit is constructed from learning data in which the relationship between the learning image and the line of sight to the learning image when a load that reduces concentration is applied to the learning subject is machine-learned for each load factor. good.
  • the fifth estimation unit may be constructed by learning data obtained by machine learning the relationship between the learning image and the line of sight to the learning image when the load on the learning target person is removed.
  • the control unit 14 may estimate the degree of concentration based on a plurality of continuously captured image IMs and the line-of-sight LS corresponding to each image IM.
  • the control unit 14 may estimate the degree of concentration based on, for example, an image IM of a frame within a range retroactively from the latest image IM at a predetermined time interval.
  • the control unit 14 may estimate the degree of concentration by excluding the image IM in which the moving speed of the line-of-sight LS is equal to or higher than the speed threshold value among the plurality of image IMs continuously captured.
  • the control unit 14 detects the line-of-sight LS at the time of the arbitrary detection.
  • the associated image IM may be excluded.
  • the control unit 14 may exclude the information in the saccade.
  • the reason for excluding it is that the saccade is an operation in the middle of moving to the next gaze point, and the position PE of the line of sight LS during the saccade has no meaning as the gaze point.
  • the control unit 14 may determine whether or not the saccade is in progress based on the moving speed of the position PE of the line-of-sight LS or the like.
  • the control unit 14 may output the calculated concentration ratio to the external device 15.
  • the external device 15 is a device that performs a predetermined operation based on the degree of concentration.
  • the external device 15 is, for example, a warning device that issues a warning to the target person when the concentration level is equal to or less than the warning threshold value, a driving assist device that assists the operation of the moving body based on the concentration level, and a moving body based on the concentration level. It is a driving device that performs the operation of.
  • the estimation process is started every time the control unit 14 acquires the image IM and the line-of-sight LS of one frame.
  • step S100 the control unit 14 calculates the movement speed of the acquired line-of-sight LS by comparing it with the position PE of the line-of-sight LS acquired immediately before. After the calculation, the process proceeds to step S101.
  • step S101 the control unit 14 determines whether or not the moving speed calculated in step S101 is equal to or higher than the speed threshold value. If it is equal to or higher than the speed threshold value, the estimation process ends. If not greater than or equal to the speed threshold, the process proceeds to step S102.
  • step S102 the control unit 14 determines the reliability threshold value based on the time when the estimation of the concentration degree is stopped. After the determination, the process proceeds to step S103.
  • step S103 the control unit 14 determines the reliability based on the image IM acquired at the start of the estimation process. After the determination, the process proceeds to step S104.
  • step S104 the control unit 14 determines whether or not the reliability determined in step S103 is equal to or less than the reliability threshold determined in step S102. If it is equal to or less than the reliability threshold, the estimation process ends. If it is not less than or equal to the confidence threshold, the process proceeds to step S105.
  • step S105 the control unit 14 estimates the degree of concentration based on the image IM acquired at the start of the estimation process and the line-of-sight LS. After the estimation, the process proceeds to step S106.
  • step S106 the control unit 14 outputs the degree of concentration calculated in step S105 to the external device 15. After the output, the estimation process ends.
  • the reliability of the image IM is determined based on the image IM
  • the concentration of the subject is determined based on the reliability, the image IM, and the line-of-sight LS.
  • the movement of the line of sight becomes monotonous regardless of the concentration of the subject, so the concentration is estimated. It is difficult to improve the accuracy.
  • the electronic device 10 estimates the concentration degree based on the reliability of the image IM of various scenes, so that the concentration degree can be estimated with high accuracy. Since human attention is affected by the degree of concentration, the electronic device 10 can improve the estimation accuracy of the subject's attention in various situations.
  • the electronic device 10 of the first embodiment stops the estimation of the concentration degree when the reliability is equal to or less than the reliability threshold value.
  • the electronic device 10 has a concentration with a reliable estimation accuracy. Only degrees can be estimated.
  • the reliability threshold value is lowered as the time for stopping the estimation of the concentration degree becomes longer.
  • the electronic device 10 can prevent the period during which the concentration ratio is not estimated from being prolonged.
  • the electronic device 10 according to the second embodiment of the present disclosure will be described.
  • the method of calculating the degree of concentration is different from that of the first embodiment.
  • the second embodiment will be described with a focus on the differences from the first embodiment.
  • the same reference numerals are given to the parts having the same configuration as that of the first embodiment.
  • the electronic device 10 includes an image pickup unit 11, a line-of-sight detection unit 12, a memory 13, and a control unit 14.
  • the configurations and functions of the image pickup unit 11, the line-of-sight detection unit 12, and the memory 13 in the second embodiment are the same as those in the first embodiment.
  • the configuration of the control unit 14 in the second embodiment is the same as that in the first embodiment.
  • the control unit 14 determines the reliability of the image IM based on the image IM, as in the first embodiment.
  • the control unit 14 estimates the concentration of the subject based on the continuously captured image IM of many frames as the reliability becomes lower. ..
  • the control unit 14 uses, for example, an image IM of frames in a range that goes back at a longer time interval as the reliability decreases from the latest image IM, or an image IM of a larger number of frames as the reliability decreases. You may estimate.
  • control unit 14 excludes the image IM in which the moving speed of the line-of-sight LS is equal to or higher than the threshold value among the plurality of continuously captured image IMs, similar to the first embodiment. Then, the degree of concentration may be estimated.
  • control unit 14 may output the calculated concentration ratio to the external device 15 as in the first embodiment.
  • the estimation process is started every time the control unit 14 acquires the image IM and the line-of-sight LS of one frame.
  • step S200 the control unit 14 calculates the movement speed of the acquired line-of-sight LS by comparing it with the position PE of the line-of-sight LS acquired immediately before. After the calculation, the process proceeds to step S201.
  • step S201 the control unit 14 determines whether or not the moving speed calculated in step S200 is equal to or higher than the speed threshold value. If not greater than or equal to the speed threshold, the process proceeds to step S202. If it is greater than or equal to the speed threshold, the process proceeds to step S203.
  • step S202 the control unit 14 stores the image IM and the line-of-sight LS acquired at the start of the estimation process in the memory 13. After storage, the process proceeds to step S203.
  • step S203 the control unit 14 determines the reliability based on the image IM acquired at the start of the estimation process. After the determination, the process proceeds to step S204.
  • step S204 the control unit 14 determines the number of frames of the image IM used for estimating the concentration degree based on the reliability determined in step S203. After the decision, the process proceeds to step S205. For example, the control unit 14 may increase the number of frames of the image IM used for estimating the concentration degree as the reliability determined in step S203 becomes smaller. For example, when the reliability determined in step S203 is equal to or less than the first threshold value, the control unit 14 may set the number of frames of the image IM used for estimating the concentration to N1. When the reliability determined in step S203 is larger than the first threshold value, the control unit 14 may set the number of frames of the image IM used for estimating the concentration to N2 (N2 ⁇ N1). Further, not only the first threshold value but also a plurality of threshold values and the reliability may be compared to determine the number of frames of the image IM used for estimating the concentration degree stepwise.
  • step S205 the control unit 14 reads the image IM retroactively from the past for the number of frames obtained by subtracting one frame from the number of frames determined in step S204 from the memory 13 together with the corresponding line-of-sight LS. After reading, the process proceeds to step S206.
  • step S206 the degree of concentration is estimated based on the image IM and the line-of-sight LS acquired at the start of the estimation process, and the image IM and the line-of-sight LS read in step S205. After the estimation, the process proceeds to step S207.
  • step S206 the control unit 14 outputs the degree of concentration calculated in step S206 to the external device 15. After the output, the estimation process ends.
  • the electronic device 10 of the second embodiment having the above configuration, the lower the reliability, the more the concentration of the subject is estimated based on the continuously captured image IM of many frames.
  • the electronic device 10 increases the combination of the image IM and the line-of-sight LS used for estimating the concentration when the reliability is low, so that the concentration maintains high estimation accuracy regardless of the difference in reliability.
  • the degree can be estimated.
  • the electronic device 10 may reduce the combination of the image IM and the line-of-sight LS used for estimating the concentration degree, so that the calculation processing load of the control unit can be reduced.
  • each functional unit, each means, each step, etc. are added to other embodiments so as not to be logically inconsistent, or each functional unit, each means, each step, etc. of another embodiment, etc. Can be replaced with.
  • each of the above-described embodiments of the present disclosure is not limited to faithful implementation of each of the embodiments described above, and each of the features may be combined or partially omitted as appropriate. You can also do it.
  • the electronic device 10 includes an image pickup unit 11 and a line-of-sight detection unit 12, and the control unit 14 acquires an image IM and a line-of-sight LS used for estimating the degree of concentration.
  • an information processing device 16 such as a cloud server may estimate the degree of concentration based on the image IM and the line-of-sight LS, similar to the electronic device 10.
  • the information processing apparatus 16 may acquire the image IM and the line-of-sight LS as information from the moving body 17 on which the image pickup unit 11 and the line-of-sight detection unit 12 are mounted, via the acquisition unit 18.
  • the information processing apparatus 16 may output the degree of concentration estimated via the output unit 19 to the external device 15 in the moving body 17.
  • Computer systems and other hardware include, for example, general-purpose computers, PCs (personal computers), dedicated computers, workstations, PCS (Personal Communications System, personal mobile communication systems), mobile (cellular) telephones, and data processing functions. Includes mobile phones, RFID receivers, game consoles, electronic notepads, laptop computers, GPS (Global Positioning System) receivers or other programmable data processing equipment.
  • the various operations are performed by a dedicated circuit implemented in program instructions (software) (eg, individual logic gates interconnected to perform a particular function) or by one or more processors. Note that it is executed by logic blocks, program modules, etc.
  • processors that execute logic blocks, program modules, etc. include, for example, one or more microprocessors, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processor), and a PLD (Programmable). Includes Logical Devices), FPGAs (Field Programmable Gate Arrays), processors, controllers, microprocessors, microprocessors, electronic devices, other devices designed to perform the functions described herein, and / or combinations thereof. Is done.
  • the embodiments shown herein are implemented, for example, by hardware, software, firmware, middleware, microcode, or a combination thereof.
  • the instruction may be program code or a code segment to perform the required task.
  • a code segment may represent any combination of procedures, functions, subprograms, programs, routines, subroutines, modules, software packages, classes or instructions, data structures or program statements.
  • a code segment sends and / or receives information, data arguments, variables or stored content with other code segments or hardware circuits, thereby connecting the code segments to other code segments or hardware circuits. ..
  • the machine-readable non-temporary storage medium can further be configured as a computer-readable tangible carrier (medium) composed of the categories of solid state memory, magnetic disks and optical disks.
  • An appropriate set of computer instructions such as a program module for causing a processor to execute the technology disclosed here, and a data structure are stored.
  • Computer-readable media include electrical connections with one or more wires, magnetic disc storage media, magnetic cassettes, magnetic tapes, and other magnetic and optical storage devices (eg, CDs (Compact Disk), laser discs, etc.).
  • Rewritable and programmable ROM or information such as DVD (Digital Any Disc), floppy disk and Blu-ray disk, portable computer disk, RAM (Random Access Memory), ROM (Read-Only Memory), EPROM, EEPROM or flash memory. Includes other tangible storage media capable of storing or a combination of any of these.
  • Memory can be provided inside and / or outside the processor / processing unit, as used herein, referred to as "memory.”
  • the term means any kind of long-term storage, short-term storage, volatile, non-volatile or other memory, without limitation on a particular type, number of memories or type of medium in which the storage is stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

電子機器１０は撮像部１１と視線検知部１２と制御部１４とを有する。撮像部１１は撮像により光景に対応する画像を生成する。視線検知部１２は光景に対する対象者の視線を検知する。制御部１４は対象者の集中度の推定源としての画像の信頼度を当該画像に基づいて決定する。制御部１４は信頼度と画像と視線とに基づいて対象者の集中度を推定する。

Description

電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法 関連出願の相互参照
　本出願は、２０２０年１２月３日に日本国に特許出願された特願２０２０－２０１１１４の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法に関するものである。
　移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている（特許文献１参照）。
国際公開２００８－０２９８０２号
　本開示の第１の観点による第１の観点による電子機器は、
　撮像により光景に対応する画像を生成する撮像部と、
　前記光景に対する対象者の視線を検知する視線検知部と、
　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、を備える。
　第２の観点による情報処理装置は、
　光景に対応する画像、及び前記光景に対する対象者の視線を取得する取得部と、
　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、
　前記集中度を出力する出力部と、を備える。
　第３の観点による集中度算出プログラムは、
　コンピュータを、
　撮像により光景に対応する画像を生成する撮像部と、
　前記光景に対する対象者の視線を検知する視線検知部と、
　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、して機能させる。
　第４の観点による集中度算出方法は、
　撮像により光景に対応する画像を生成する撮像工程と、
　前記光景に対する対象者の視線を検知する視線検知工程と、
　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定する決定工程と、
　該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する推定工程と、を備える。
第１の実施形態に係る電子機器の概略構成を示すブロック図である。 視線検知部が検知する視線と画像との関係を説明するための図である。 画像に対して推定される視線予測マップの具体例を示す図である。 第１の実施形態において図１の制御部が実行する推定処理を説明するためのフローチャートである。 第２の実施形態において図１の制御部が実行する推定処理を説明するためのフローチャートである。 第１の実施形態及び第２の実施形態の変形例である情報処理装置の概略構成を示すブロック図である。
　以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した情報処理装置、集中度算出プログラム、及び集中度算出方法の説明を兼ねる。
　本開示の第１の実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。
　図１に示すように、本開示の第１の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、及び制御部１４を含んで構成される。
　撮像部１１は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部１１は、例えば、３０ｆｐｓの速度で撮像可能なカメラである。撮像部１１は、撮像により光景に対応する画像を生成する。
　視線検知部１２は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられている。視線検知部１２は、例えば、接触型のアイトラッカー及び非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。図２に示すように、視線ＬＳは、例えば、撮像部１１が撮像により生成する画像ＩＭと同じ座標系における位置ＰＥに相当する視線ＬＳの方向として示される。
　視線検知部１２は、視線データとして時系列の視線ＬＳの視線データを検知してもよい。さらに具体的には、視線検知部１２は、時間ごとに視線ＬＳの位置ＰＥを画像ＩＭ上に検知して、その一連の時系列の視線ＬＳの位置ＰＥを視線データとして出力してもよい。視線検知部１２は、撮像部１１より高速、言換えると高頻度で視線ＬＳを検知してよく検知したその一連の時系列の視線ＬＳの位置ＰＥを１つの画像ＩＭの視線ＬＳの経路として積算して出力してもよい。
　メモリ１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１３は、制御部１４を機能させる多様なプログラム、及び制御部１４が用いる多様な情報を記憶する。
　制御部１４は、１以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１４は、電子機器１０の各構成要素の動作を制御する。
　制御部１４は、通常時に、例えば、３０ｆｐｓなどの速度で連続的な撮像を撮像部１１に実行させ、連続的に画像ＩＭを情報として取得する。制御部１４は、撮像部１１における撮像の実行時の対象者の視線ＬＳを視線検知部１２に検知させ、画像ＩＭの撮像時点と実質的に同じ時期における視線ＬＳを情報として取得する。画像ＩＭの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像ＩＭの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像ＩＭの撮像時点と実質的に同じ時期は、視線ＬＳの単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。制御部１４は、画像ＩＭと、当該画像ＩＭの撮像時点と実質的に同じ時期に検知される視線ＬＳとを関連付けてメモリ１３に格納する。
　制御部１４は、取得する画像ＩＭに画像処理を施してよい。後述する、推定部の学習を所定の画像処理を施した画像ＩＭで行う構成において、制御部１４は取得する画像ＩＭに当該所定の画像処理を施して、視線ＬＳと関連付けてメモリ１３に格納する。所定の画像処理は、例えば、取得する画像ＩＭに基づく、セマンティックセグメンテーション画像の生成処理であってよい。セマンティックセグメンテーション画像は、画像ＩＭ内の全画素に、ラベルまたはカテゴリを関連付けた画像である。
　制御部１４は、画像ＩＭの信頼度を当該画像ＩＭに基づいて決定する。後述するように、本実施形態では、任意の画像ＩＭに対する視線ＬＳに基づく集中度の推定が行われる。集中度の推定精度は、画像に含まれる要素等によって左右され得る。画像ＩＭの信頼度は、集中度の推定源としての画像ＩＭの適格性を示す指標である。
　制御部１４は、画像認識により検出される画像ＩＭに含まれる要素の種類、数、及び画像ＩＭ内の位置の少なくとも１つに基づいて、信頼度を算出することにより決定してよい。要素は、例えば、車両、歩行者、道路の形状、標識、及び信号の少なくとも１つを含む。要素は、複数の画像ＩＭに基づいて信頼度を算出する構成においては、車両、歩行者、道路の形状、標識、及び信号のオプティカルフロー、言換えると動きの少なくとも１つを含んでよい。信頼度は、例えば、検出される要素の数が増えるほど高くなるように、算出されてよい。信頼度は、検出される要素の種類が車両、歩行者等のように挙動に運転者の注意が必要な対象である場合高くなるように、算出されてよい。信頼度は、例えば、検出される要素の種類が標識、信号等のように、地表に対して固定されるため挙動の注意は不要な対象である場合車両等に比べて低くなるように、算出されてよい。信頼度は、検出される要素の位置が、移動体の移動経路及び移動体に近くなるほど高くなるように、算出されてよい。信頼度は、検出される道路の形状が複雑になるほど高くなるように、算出されてよい。
　又は、制御部１４は、画像ＩＭに基づいて信頼度を算出する信頼度推定部として機能することにより、信頼度を決定してよい。信頼度推定部は、学習用画像と、信頼度に関する情報との関係が機械学習された学習データによって構築されてよい。信頼度に関する情報は、学習用画像に含まれる要素に基づいて上述の法則により算出した集中度であってよい。
　制御部１４は、決定した信頼度、撮像部１１が生成した画像ＩＭ、及び視線検知部１２に基づいて、対象者の集中度を推定する。第１の実施形態において、制御部１４は、信頼度に基づいて、集中度の推定の可否を判別する。
　制御部１４は、信頼度が信頼度閾値以下である場合、集中度の推定を停止する。制御部１４は、集中度の推定を停止する時間が長くなるほど、信頼度閾値を低下させてよい。制御部１４は、集中度の推定を実行後に、低下させた信頼度閾値を初期値に戻してよい。
　制御部１４は、信頼度が信頼度閾値を超える場合、集中度の推定を行う。制御部１４は、撮像時点と検知時期とが実質的に同じである画像ＩＭ及び視線ＬＳに基づいて、対象者の集中度を推定する。制御部１４は、機械学習された学習データにより構築される推定部として機能することにより、集中度を推定してよい。推定部は、多層構造のニューラルネットワークにより構築されてよい。
　推定部は、例えば、画像ＩＭ及び対象者の視線ＬＳに基づいて、直接、集中度を推定してよい。推定部は、学習用画像、学習用画像に相当する光景に対する学習用対象者の実際の視線、及び当該学習用対象者の集中度の複数の組を用いて、学習用画像、実際の視線、及び集中度に関する生体情報の関係を機械学習させた学習データにより構築されてよい。
　または、推定部は、例えば、画像ＩＭに基づいて視線予測マップを推定し、当該視線予測マップ及び対象者の視線ＬＳに基づいて集中度を推定してよい。図３に示すように、視線予測マップＭＰとは、一般的な対象者が特定の光景に対してそれぞれの位置を注視する、すなわち視線ＬＳと重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。推定部は、画像ＩＭに基づいて視線予測マップＭＰを推定する第１の推定部、並びに当該視線予測マップＭＰ及び対象者の視線ＬＳに基づいて集中度を推定する第２の推定部を含んでよい。第１の推定部は、及び学習用画像に相当する光景に対する学習用対象者の実際の視線の複数の組を用いて、学習用画像及び実際の視線の関係を機械学習させた学習データにより構築されてよい。第２の推定部は、第１の推定部に学習用画像に基づいて推定させた学習用視線予測マップ、当該学習用画像に相当する光景に対する学習用対象者の実際の視線、及び当該学習用対象者の集中度の複数の組を用いて、学習用視線予測マップ、実際の視線、及び集中度の関係を機械学習させた学習データにより構築されてよい。
　または、推定部は、例えば、画像ＩＭに基づいて所定の範囲内の集中度の対象者の視線予測マップを推定してよい。制御部１４は、推定した視線予測マップおよび対象者の視線ＬＳに基づいて、対象者の集中度を算出してよい。制御部１４は、例えば、対象者の視線ＬＳに対応する視線予測マップの位置、または当該位置を含む領域を特定してよい。制御部１４は、さらに、視線予測マップの位置における確率、または領域における確率の平均値もしくは重付け平均値などに応じた集中度を算出してよい。制御部１４は、例えば、関数またはテーブルにより、確率が大きくなるほど、低くなるように集中度を算出してよい。制御部１４は、例えば、確率が大きくなるほど、対象者の集中度が所定の範囲内の平均値、最大値、最小値などの特定の値に近づくように集中度を算出してもよい。推定部は、学習用画像と当該学習用画像に対する学習用対象者の集中度が当該所定の範囲内である場合の当該学習用対象者の実際の視線との関係を機械学習させた学習データにより構築されてよい。
　または、推定部は、例えば、画像ＩＭに基づいて、特定の負荷要因の負荷がかかる場合の低集中ヒートマップを複数の負荷要因別に推定してよい。低集中ヒートマップとは、一般的な対象者に特定の負荷要因の負荷をかけた場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線と重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。負荷要因は、一般的な対象者の運転などの行動に対する集中に負荷をかける多様な要因であって、例えば、同乗者との会話、ハンズフリー会話、ラジオ音声の傾聴、熟考、眠気、疲労等である。更に、推定部は、例えば、画像ＩＭに基づいて、対象者への特定の負荷要因すべてを外した場合若しくは負荷を軽減した場合の高集中ヒートマップを推定してよい。高集中ヒートマップは、一般的な対象者に上記の特定の負荷要因すべての負荷を外した場合若しくは負荷を軽減した場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線と重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。制御部１４は、すべての低集中ヒートマップ及び高集中ヒートマップにおける対象者の視線ＬＳに対応する位置ＰＥの確率を読出してよい。制御部１４は、読出した確率が最大であるヒートマップを、低集中ヒートマップ群及び高集中ヒートマップの中から選択してよい。制御部１４は、選択されたヒートマップに対して定められた基準値に基づいて、集中度を算出してよい。例えば、すべての低集中ヒートマップに対して、０％以上５０％未満の集中度の範囲内で基準値が定められてよい。例えば、高集中ヒートマップに対して、５０％以上１００％以下の集中度の範囲内で基準値が定められてよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率が最大であるヒートマップがいずれかの低集中ヒートマップである場合、低集中ヒートマップに対して定められた基準値を、対象者の集中度として算出してよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率が最大であるヒートマップが高集中ヒートマップである場合、高集中ヒートマップに対して定められた基準値を、対象者の集中度として算出してよい。制御部１４は、選択されたヒートマップの種類だけでなく、当該ヒートマップにおける視線ＬＳに対応する位置ＰＥの確率にも基づいて、集中度を算出してよい。例えば、低集中ヒートマップに対しては確率が大きくなるほど、集中度が小さな値に算出されるように、関数又はテーブルが定められてよい。また、例えば、高集中ヒートマップに対しては確率が大きくなるほど、集中度が大きな値に算出されるように、関数又はテーブルが定められてよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率に基づいて、選択されたヒートマップに対して定められた関数又はテーブルを用いて、集中度を算出してよい。推定部は、低集中ヒートマップを複数の負荷要因別に推定する第４の推定部、及び高集中ヒートマップを推定する第５の推定部を含んでよい。第４の推定部は、学習用画像と、集中力を低下させる負荷を学習用対象者にかけた場合の当該学習用画像に対する視線との関係を負荷要因別に機械学習させた学習データにより構築されてよい。第５の推定部は、学習用画像と、学習用対象者への負荷を外した場合の当該学習用画像に対する視線との関係を機械学習させた学習データにより構築されてよい。
　制御部１４は、連続的に撮像される複数の画像ＩＭ及び各画像ＩＭに対応する視線ＬＳに基づいて、集中度を推定してよい。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭに基づいて、集中度を推定してよい。制御部１４は、連続的に撮像される複数の画像ＩＭの中で、視線ＬＳの移動速度が速度閾値以上である画像ＩＭを除外して、集中度を推定してよい。より具体的には、制御部１４は、任意の検知時における視線ＬＳの、直前の検知時における視線ＬＳからの移動量が移動量閾値を超える場合、当該任意の検知時における視線ＬＳの検知時に関連付けられている画像ＩＭを、除外してよい。言換えると、制御部１４は、サッカード中の情報を除外してもよい。除外する理由は、サッカードは次の注視点に移っている途中の動作であって、サッカード中の視線ＬＳの位置ＰＥは注視点としての意味を持たないためである。制御部１４は、サッカード中か否かを視線ＬＳの位置ＰＥの移動速度などで判定してもよい。
　制御部１４は、算出した集中度を外部機器１５に出力してよい。外部機器１５は、集中度に基づいて所定の動作を行う装置である。外部機器１５は、例えば、集中度が警告閾値以下である場合に対象者に警告を発する警告装置、集中度に基づいて移動体の運転補助を行う運転補助装置、及び集中度に基づいて移動体の運転を行う運転装置などである。
　次に、第１の実施形態において制御部１４が実行する、推定処理について、図４のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭ及び視線ＬＳを制御部１４が取得するたびに開始する。
　ステップＳ１００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、制御部１４は、ステップＳ１０１において算出した移動速度が速度閾値以上であるか否かを判別する。速度閾値以上である場合、推定処理は終了する。速度閾値以上でない場合、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、制御部１４は、集中度の推定を停止している時間に基づいて信頼度閾値を決定する。決定後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭに基づいて信頼度を決定する。決定後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、制御部１４は、ステップＳ１０３において決定した信頼度がステップＳ１０２において決定した信頼度閾値以下であるか否かを判別する。信頼度閾値以下である場合、推定処理は終了する。信頼度閾値以下でない場合、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、制御部１４は、推定処理の開始時に取得した画像ＩＭと視線ＬＳとに基づいて、集中度を推定する。推定後、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、制御部１４は、ステップＳ１０５において算出した集中度を外部機器１５に出力する。出力後、推定処理は終了する。
　以上のような構成の第１の実施形態の電子機器１０は、画像ＩＭの信頼度を当該画像ＩＭに基づいて決定し、当該信頼度、画像ＩＭ、及び視線ＬＳに基づいて対象者の集中度を推定する。例えば、高速道路、市街地、郊外、住宅地等の多様な光景に対して、注視する対象及び方向などは変わることが一般的である。ただし、それゆえ、単に視線ＬＳの動きのみの検知では、集中度の推定精度を向上させることが難しい。また、多様な光景においても、車両及び歩行者の少なく状況、交差点及びカーブ等が無い直線状の道路等では、対象者の集中度に関わらず視線の動きが単調になるため、集中度の推定精度を向上させることが難しい。一方で、前述のような構成により、電子機器１０は、多様な光景の画像ＩＭに対する信頼度に基づいて集中度を推定するので、精度の高い集中度を推定し得る。人間の注意力は集中度に影響を受けるので、電子機器１０は、多様な状況における対象者の注意力の推定精度を向上させ得る。
　また、第１の実施形態の電子機器１０は、信頼度が信頼度閾値以下である場合、集中度の推定を停止する、このような構成により、電子機器１０は、信頼できる推定精度である集中度のみを推定し得る。
　また、第１の実施形態の電子機器１０は、集中度の推定を停止する時間が長くなるほど信頼度閾値を低下させる。このような構成により、電子機器１０は、集中度が推定されない期間の長期化を防ぎ得る。
　次に、本開示の第２の実施形態に係る電子機器１０について説明する。第２の実施形態では、集中度の算出方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　図１に示すように、第２の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、及び制御部１４を含んで構成される。第２の実施形態における撮像部１１、視線検知部１２、及びメモリ１３の構成及び機能は、第１の実施形態と同じである。第２の実施形態における制御部１４の構成は、第１の実施形態と同じである。
　第２の実施形態において、制御部１４は、第１の実施形態と同じく、画像ＩＭの信頼度を当該画像ＩＭに基づいて決定する。第２の実施形態において、制御部１４は、第１の実施形態と異なり、信頼度が低くなるほど、多くのフレームの、連続的に撮像される画像ＩＭに基づいて対象者の集中度を推定する。制御部１４は、例えば、最新の画像ＩＭから、信頼度が低くなるほど長い時間間隔で遡った範囲のフレームの画像ＩＭ、又は信頼度が低くなるほど多くのフレーム数の画像ＩＭを用いて集中度を推定してよい。
　第２の実施形態において、制御部１４は、第１の実施形態に類似して、連続的に撮像される複数の画像ＩＭの中で、視線ＬＳの移動速度が閾値以上である画像ＩＭを除外して、集中度を推定してよい。
　第２の実施形態において、制御部１４は、第１の実施形態と同じく、算出した集中度を外部機器１５に出力してよい。
　次に、第２の実施形態において制御部１４が実行する、推定処理について、図５のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭ及び視線ＬＳを制御部１４が取得するたびに開始する。
　ステップＳ２００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ２０１に進む。
　ステップＳ２０１では、制御部１４は、ステップＳ２００において算出した移動速度が速度閾値以上であるか否かを判別する。速度閾値以上でない場合、プロセスはステップＳ２０２に進む。速度閾値以上である場合、プロセスはステップＳ２０３に進む。
　ステップＳ２０２では、制御部１４は、推定処理の開始時に取得した画像ＩＭ及び視線ＬＳをメモリ１３に格納する。格納後、プロセスはステップＳ２０３に進む。
　ステップＳ２０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭに基づいて、信頼度を決定する。決定後、プロセスはステップＳ２０４に進む。
　ステップＳ２０４では、制御部１４は、ステップＳ２０３において決定した信頼度に基づいて、集中度の推定に用いる画像ＩＭのフレーム数を決定する。決定後、プロセスはステップＳ２０５に進む。例えば、制御部１４は、ステップＳ２０３において決定した信頼度が少ないほど、集中度の推定に用いる画像ＩＭのフレーム数を増やしてもよい。例えば、制御部１４は、ステップＳ２０３において決定した信頼度が第１の閾値以下の場合、集中度の推定に用いる画像ＩＭのフレーム数をＮ１としてよい。制御部１４は、ステップＳ２０３において決定した信頼度が第１の閾値より大きい場合、集中度の推定に用いる画像ＩＭのフレーム数をＮ２（Ｎ２＜Ｎ１）としてもよい。また、上記第１の閾値とだけではなく、複数の閾値と信頼度を比較して、集中度の推定に用いる画像ＩＭのフレーム数を段階的に定めてもよい。
　ステップＳ２０５では、制御部１４は、ステップＳ２０４において決定したフレーム数から１フレーム減じたフレーム数分の、過去に遡った画像ＩＭを対応する視線ＬＳとともにメモリ１３から読出す。読出し後、プロセスはステップＳ２０６に進む。
　ステップＳ２０６では、推定処理の開始時に取得した画像ＩＭ及び視線ＬＳ、並びにステップＳ２０５において読出した画像ＩＭ及び視線ＬＳに基づいて、集中度を推定する。推定後、プロセスはステップＳ２０７に進む。
　ステップＳ２０６では、制御部１４は、ステップＳ２０６において算出した集中度を外部機器１５に出力する。出力後、推定処理は終了する。
　以上のような構成の第２の実施形態の電子機器１０は、信頼度が低くなるほど、多くのフレームの、連続的に撮像される画像ＩＭに基づいて対象者の集中度を推定する。このような構成により、電子機器１０は、信頼度が低い場合に、集中度の推定に用いる画像ＩＭ及び視線ＬＳの組合せを増やすので、信頼度の違いに関わらず、推定精度を高く維持した集中度を推定し得る。また、電子機器１０は、信頼度が高い場合に、集中度の推定に用いる画像ＩＭ及び視線ＬＳの組合せを減少させてもよいので、制御部の計算処理負荷を減少させ得る。
　本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
　例えば、第１実施形態及び第２の実施形態において、電子機器１０が撮像部１１及び視線検知部１２を備え、集中度の推定に用いる画像ＩＭ及び視線ＬＳを制御部１４が取得する構成であるが、このような構成に限定されない。図６に示すように、例えば、クラウドサーバなどの情報処理装置１６が、電子機器１０と類似して、画像ＩＭ及び視線ＬＳに基づいて、集中度を推定しよい。このような構成においては、情報処理装置１６は、撮像部１１及び視線検知部１２を搭載する移動体１７から、取得部１８を介して画像ＩＭ及び視線ＬＳを情報として取得してよい。情報処理装置１６は、出力部１９を介して推定した集中度を、当該移動体１７における外部機器１５に出力してもよい。
　本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、たとえば、汎用コンピュータ、ＰＣ(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍ、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作は、プログラム命令（ソフトウェア）で実装された専用回路（たとえば、特定機能を実行するために相互接続された個別の論理ゲート）や、一以上のプロセッサにより実行される論理ブロックやプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、たとえば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置及び／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、たとえば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信及び/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
　機械読取り可能な非一時的記憶媒体は、さらに、ソリッドステートメモリ、磁気ディスク及び光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができ、かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュールなどのコンピュータ命令の適宜なセットや、データ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気及び光学記憶装置（例えば、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ）、レーザーディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、フロッピーディスク及びブルーレイディスク、可搬型コンピュータディスク、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ、ＥＥＰＲＯＭもしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサ/プロセッシングユニットの内部及び／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性その他のメモリを意味し、特定の種類やメモリの数または記憶が格納される媒体の種類は限定されない。
　なお、ここでは、特定の機能を実行する種々のモジュール及び／またはユニットを有するものとしてのシステムを開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び／またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び／またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び／もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力／出力もしくはＩ／Ｏデバイスまたはユーザインターフェースは、システムに直接にまたは介在するＩ／Ｏコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。
　１０　電子機器
　１１　撮像部
　１２　視線検知部
　１３　メモリ
　１４　制御部
　１５　外部機器
　１６　情報処理装置
　１７　移動体
　１８　取得部
　１９　出力部
　ＩＭ　画像
　ＬＳ　視線
　ＭＰ　視線予測マップ
　ＰＥ　視線の方向に相当する位置
 

Claims (10)

  1. 　撮像により光景に対応する画像を生成する撮像部と、
    　前記光景に対する対象者の視線を検知する視線検知部と、
    　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、を備える
    　電子機器。
  2. 　請求項１に記載の電子機器において、
    　前記制御部は、前記信頼度が信頼度閾値以下である場合、前記集中度の推定を停止する
    　電子機器。
  3. 　請求項２に記載の電子機器において、
    　前記制御部は、前記集中度の推定を停止する時間が長くなるほど、前記信頼度閾値を低下させる
    　電子機器。
  4. 　請求項１に記載の電子機器において、
    　前記制御部は、前記信頼度が低くなるほど、多くのフレームの、連続的に撮像される前記画像に基づいて前記対象者の集中度を推定する
    　電子機器。
  5. 　請求項１から４のいずれか１項に記載の電子機器において、
    　前記制御部は、前記画像に含まれる要素の種類、数、及び位置の少なくとも１つに基づいて前記信頼度を算出することにより、決定する
    　電子機器。
  6. 　請求項５に記載の電子機器において、
    　前記要素は、車両、歩行者、道路の形状、標識、信号、及びオプティカルフローの少なくとも１つを含む
    　電子機器。
  7. 　請求項１から４のいずれか１項に記載の電子機器において、
    　前記制御部は、学習用画像と信頼度に関する情報との関係が機械学習された学習データにより構築され、前記画像に基づいて前記信頼度を推定することにより、決定する
    　電子機器。
  8. 　光景に対応する画像、及び前記光景に対する対象者の視線を取得する取得部と、
    　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、
    　前記集中度を出力する出力部と、を備える
    　情報処理装置。
  9. 　コンピュータを、
    　撮像により光景に対応する画像を生成する撮像部と、
    　前記光景に対する対象者の視線を検知する視線検知部と、
    　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定し、該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する制御部と、して機能させる
    　集中度算出プログラム。
  10. 　撮像により光景に対応する画像を生成する撮像工程と、
    　前記光景に対する対象者の視線を検知する視線検知工程と、
    　前記対象者の集中度の推定源としての前記画像の信頼度を該画像に基づいて決定する決定工程と、
    　該信頼度、前記画像、及び前記視線に基づいて前記対象者の集中度を推定する推定工程と、を備える
    　集中度算出方法。
    　
PCT/JP2021/044157 2020-12-03 2021-12-01 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法 WO2022118900A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180081394.6A CN116547709A (zh) 2020-12-03 2021-12-01 电子设备、信息处理装置、专注度计算程序及专注度计算方法
US18/255,564 US20240005677A1 (en) 2020-12-03 2021-12-01 Electronic device, information processing apparatus, degree-of-concentration calculation program, and degree-of-concentration calculation method
EP21900651.7A EP4258242A4 (en) 2020-12-03 2021-12-01 ELECTRONIC DEVICE, INFORMATION PROCESSING DEVICE, CONCENTRATION CALCULATION PROGRAM AND CONCENTRATION CALCULATION METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020201114A JP2022088962A (ja) 2020-12-03 2020-12-03 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
JP2020-201114 2020-12-03

Publications (1)

Publication Number Publication Date
WO2022118900A1 true WO2022118900A1 (ja) 2022-06-09

Family

ID=81853926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044157 WO2022118900A1 (ja) 2020-12-03 2021-12-01 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法

Country Status (5)

Country Link
US (1) US20240005677A1 (ja)
EP (1) EP4258242A4 (ja)
JP (1) JP2022088962A (ja)
CN (1) CN116547709A (ja)
WO (1) WO2022118900A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2010142410A (ja) * 2008-12-18 2010-07-01 Toyota Motor Corp 覚醒度判定装置
JP2016130959A (ja) * 2015-01-14 2016-07-21 株式会社デンソーアイティーラボラトリ 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法
JP2017204177A (ja) * 2016-05-12 2017-11-16 株式会社デンソー ドライバ状態判定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3970060A1 (en) * 2019-06-10 2022-03-23 Huawei Technologies Co., Ltd. Driver attention detection using heat maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2010142410A (ja) * 2008-12-18 2010-07-01 Toyota Motor Corp 覚醒度判定装置
JP2016130959A (ja) * 2015-01-14 2016-07-21 株式会社デンソーアイティーラボラトリ 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法
JP2017204177A (ja) * 2016-05-12 2017-11-16 株式会社デンソー ドライバ状態判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4258242A4

Also Published As

Publication number Publication date
JP2022088962A (ja) 2022-06-15
EP4258242A4 (en) 2024-06-19
EP4258242A1 (en) 2023-10-11
CN116547709A (zh) 2023-08-04
US20240005677A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US11034294B2 (en) Driving notification method and driving notification system
US11586856B2 (en) Object recognition device, object recognition method, and object recognition program
JP6428928B2 (ja) オクルージョン制御装置
CN110386146B (zh) 用于处理驾驶员注意力数据的方法和系统
JP2015061776A (ja) 予測的な先進運転支援システムの一貫性のある挙動生成
Tideman et al. A review of lateral driver support systems
CN112046481B (zh) 自动驾驶装置和方法
JP2016190575A (ja) 駐車支援装置、及び駐車支援システム
WO2022118900A1 (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
US20230365133A1 (en) Lane keeping based on lane position unawareness
WO2022014354A1 (ja) 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
WO2022118899A1 (ja) 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
WO2022014353A1 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
US11983896B2 (en) Line-of-sight detection apparatus and line-of-sight detection method
WO2022014352A1 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
CN113307192A (zh) 处理装置、处理方法、通报系统及存储介质
WO2020261898A1 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
US11645861B2 (en) Methods and system for occupancy class prediction and occlusion value determination
GB2624461A (en) Maintaining adaptive cruise control
JP2022129699A (ja) 運転支援装置、運転支援方法、およびプログラム
JP2019137396A (ja) 駐車支援装置、及び駐車支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900651

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18255564

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180081394.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021900651

Country of ref document: EP

Effective date: 20230703