WO2018158950A1 - 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム - Google Patents

作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム Download PDF

Info

Publication number
WO2018158950A1
WO2018158950A1 PCT/JP2017/008591 JP2017008591W WO2018158950A1 WO 2018158950 A1 WO2018158950 A1 WO 2018158950A1 JP 2017008591 W JP2017008591 W JP 2017008591W WO 2018158950 A1 WO2018158950 A1 WO 2018158950A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
work
space
perceptual
perceive
Prior art date
Application number
PCT/JP2017/008591
Other languages
English (en)
French (fr)
Inventor
淳平 羽藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019502419A priority Critical patent/JP6548850B2/ja
Priority to US16/469,315 priority patent/US20200000391A1/en
Priority to PCT/JP2017/008591 priority patent/WO2018158950A1/ja
Priority to DE112017006982.3T priority patent/DE112017006982T5/de
Priority to CN201780087211.5A priority patent/CN110352037A/zh
Publication of WO2018158950A1 publication Critical patent/WO2018158950A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the present invention relates to a work suitability determination device, a work suitability determination method, and a work suitability determination program for determining a work suitability level indicating how appropriate a user is to perform a work to be performed.
  • Non-Patent Document 1 detects a driver's drowsiness based on a heart rate using a dedicated app for smartphones that implements a drowsiness detection algorithm and a wearable heart rate meter that measures the heart rate of the driver.
  • a system has been proposed in which a warning is notified to the driver and a warning is sent to the driver's manager by e-mail.
  • Patent Document 1 specifies an object to be visually recognized and whether or not the driver is visually recognizing an object to be visually recognized based on the driver's line of sight detected from the driver's face image. It proposes a technique to detect and determine the work suitability of the driver.
  • the objects to be visually recognized are moving objects such as signs, traffic lights, vehicles, obstacles, and passers-by.
  • Non-Patent Document 1 the driver needs to pay attention not to forget to wear the wearable heart rate monitor, and the driver feels troublesome to wear the wearable heart rate monitor.
  • the wearable heart rate monitor may get in the way after being worn. For this reason, there exists a subject of giving a burden to a driver
  • Patent Document 1 has the following problems.
  • users who are workers [Action 1] Collect necessary information from the surrounding environment to perform the scheduled work properly (ie, recognize the necessary information)
  • Action 2 Based on the collected information, think about what action should be taken to properly perform the work (ie, judge), [Action 3] According to the content of the idea (that is, the result of the judgment), the work is executed (that is, the action is controlled). Perform scheduled tasks by repeating activities including Therefore, if the user is in a state where [Behavior 1] to [Behavior 3] can be appropriately executed, it can be determined that the user can appropriately perform the work.
  • cognition-based aptitude judgment method In the method of adopting “recognition of necessary information” shown in [Action 1] as a judgment material (referred to as “recognition-based aptitude judgment method”), it is necessary to obtain confirmation that the user has recognized the necessary information. .
  • cognition is an internal activity of the user, and measurement of cognition is difficult. For example, even if the behavior of the user's sensory organ is observed, the result of the sensory device's behavior reflexively reacting to the perceived object (that is, the object to be perceived) (that is, the reflex behavior that has not been recognized) It is difficult to accurately distinguish whether there is a result or a result obtained based on perception of a perceived object (that is, an action performed based on perception).
  • the present invention has been made to solve the above-mentioned problems, and the work suitability level indicating how appropriate the user is to perform the scheduled work can be accurately determined without imposing a burden on the user. It is an object of the present invention to provide a work aptitude determination apparatus and a work aptitude determination method that can be determined in an automatic manner, and a work aptitude determination program that enables execution of the work aptitude determination method.
  • a work suitability determination device is a device that determines a work suitability level indicating how appropriate a user is to perform a work that is scheduled to be performed.
  • a work aptitude determination method is a method for determining a work aptitude level indicating how appropriate a user is to perform a work to be performed. Perceiving a perceptual target, which is a target that the user should perceive when the user performs the scheduled work, from the peripheral object information acquired from a peripheral object detection device that detects a peripheral object existing in the vicinity.
  • Detecting a difficult-to-perceive space which is a difficult-to-perceive space
  • user action information acquired from a user action detecting device that detects the user action of the user when the user tries to perceive the perceptual object
  • the user's work aptitude degree is calculated from the step of detecting a user perceptual motion, which is a motion, and the detected perceptually difficult space and the detected user perceived motion. Characterized by comprising the steps that.
  • FIG. 7 is a sequence diagram showing in detail internal processing of main loop processing in the work aptitude determination device according to Embodiment 1; It is a figure which shows the concrete perception difficult space detection process with respect to perception by vision.
  • FIG. 11 is a diagram illustrating a situation in which a perceptually difficult space caused by a peripheral object exists with a user's viewpoint position as a base point when the peripheral object in FIG. 10 is another vehicle.
  • FIG. 11 is a diagram illustrating a situation in which a perceptually difficult space caused by a peripheral object exists with a user's viewpoint position as a base point when the peripheral object in FIG. 10 is another vehicle.
  • FIG. 13 is a diagram illustrating an example of perceptual importance for each position on a plane including a line segment passing through two points on a peripheral object in the situation of FIG. 12.
  • FIG. 10 is a sequence diagram showing in detail internal processing of main loop processing in the work aptitude determination device according to Embodiment 2. It is a figure for demonstrating the perceptual target detection process of FIG. It is a figure for demonstrating the user perception target determination processing of FIG.
  • FIG. 1 schematically shows a configuration of a work suitability determination apparatus 130 according to the first embodiment.
  • the work aptitude determination apparatus 130 is an apparatus that can perform the work aptitude determination method according to the first embodiment.
  • the work suitability determination method can be executed by a work suitability determination program as software stored in a work suitability determination apparatus or a server.
  • the work aptitude determination device 130 is a device that determines the work aptitude level indicating how appropriate the user is to perform the work to be performed.
  • the work aptitude determination device 130 acquires peripheral object information obtained by detecting an object around the user (around or near the user) from the peripheral object detection device 110, and detects the user's motion from the user motion detection device 120. The user operation information obtained in this way is acquired.
  • the work suitability determination device 130 calculates the work suitability level of the user using the acquired peripheral object information and user action information, and provides the calculated work suitability degree to the information presentation unit 140.
  • the information presenting unit 140 can notify the user of how appropriate the current state is to perform the scheduled work or how inappropriate it is.
  • the work aptitude determination device 130 includes a user perceptual motion detection unit 131, a difficult to perceive space detection unit 132, and a work aptitude degree calculation unit 133.
  • the perceptual difficulty space detection unit 132 may use the peripheral object information acquired from the peripheral object detection device 110 to perceive a perceptual target that is a target that the user should perceive when performing a scheduled work. Detect difficult space, which is difficult space.
  • the user perceptual motion detection unit 131 uses the user motion information acquired from the user motion detection device 120 to detect a user perceptual motion that is a user's motion when the user tries to perceive a perceptual target.
  • the work aptitude level calculation unit 133 calculates the work aptitude level of the user from the perceptual difficulty space detected by the difficult perception space detection unit 132 and the user perception motion detected by the user perception motion detection unit 131.
  • the perceptually difficult space is different from the perceptual object and is not an object having high saliency.
  • the user's motion when the user tries to perceive the hard-to-perceive space that is, the user's perceptual motion for the hard-to-perceive space is a reflexive action due to the high saliency of the perceived object. It is more likely that the action is based on the perception of the difficult space.
  • the [behavior 1] described in the background art is an action performed based on cognition (that is, when it is not a reflexive action)
  • a user perceptual action is detected. To do.
  • the work aptitude determination apparatus 130 according to Embodiment 1 the work suitability can be accurately determined, and the reliability of the work aptitude can be increased.
  • the work aptitude determination device 130 includes a perceptual target detection unit 134 that detects a perceptual target using the peripheral object information acquired from the peripheral object detection device 110 and a user perception to further improve the reliability of the work suitability.
  • An object determination processing unit 135 may be further provided. In the first embodiment, a form that does not include the perceptual target detection unit 134 and the user perceptual target determination processing unit 135 will be described, and a mode that includes these will be described in the second embodiment.
  • the work suitability determination device 130 is a device that can determine (calculate) the work suitability level for a user as a driver who operates a car (vehicle).
  • [Second Process] A process for detecting a user perceptual action in which the user tries to perceive a perceived object (a user perceived action detecting operation);
  • [Third Process] Using the detected perceptually difficult space and the detected user perception action, indicates how appropriate the user is to perform the scheduled work (that is, the degree of appropriateness).
  • a process for calculating the work suitability (operation for calculating the work suitability) is performed.
  • ⁇ Perception target> There are a wide variety of perceived objects (ie, perceivable objects) that are peripheral objects that can be perceived by the user during driving, such as moving vehicles such as surrounding vehicles, bicycles, bikes, pedestrians, animals, and the like.
  • Road components such as roadside bands, road white lines, pedestrian crossings, separators, signs, traffic lights, etc., and fixed objects such as buildings, street trees, signboards, and the like.
  • the user repeats the line-of-sight movement intermittently in order to timely confirm the state of the perceived object that is determined to be important. At this time, the user obtains necessary information from the perceptual object by directly viewing the perceptual object.
  • the user perceptual motion is a general motion of the user who tries to acquire information necessary for the user to perform the work through the five senses.
  • the visual user perception includes the user's eye movement, the user's line of sight (the direction and movement of the line of sight), the user's gaze position (range), and the like.
  • the visual user perception includes a range of an effective visual field estimated from the movement of the sensory sensation itself, a peripheral visual field range that is a visual field around the effective visual field, a change in the effective visual field or the peripheral visual field range, and the like.
  • the user perception operation by hearing includes, for example, an operation of taking a posture in which peripheral sounds are easily collected, such as an operation of turning an ear in a sounding direction and an operation of placing a hand on the ear.
  • Other user perception operations include an operation for increasing perceptual sensitivity or an operation for suppressing unnecessary operations.
  • the user perception action closes the face or closes the ear by turning off or changing the posture, such as the action of blocking sensory organs other than those that want to increase the perceptual sensitivity, such as closing the eyes or closing the ears It also includes macro actions such as the action of bringing a sensory organ that wants to increase perceptual sensitivity close to the target.
  • a detection method a detection method based on the positional relationship between the eye and the iris, or a position of the infrared corneal reflection generated by irradiating the user's eyes with infrared light output from an infrared LED (Light Emitting Diode) and the pupil
  • a range such as an effective visual field
  • the user perception operation accompanied by the macro operation of the user can be detected by using a technology in a field generically referred to as activity recognition.
  • the real world is a three-dimensional space, it is not always possible to perceive an important perceptible object (that is, an object to be perceived) that is important in the work.
  • an important perceptible object that is, an object to be perceived
  • the perceived object to be perceived includes a child who is about to run on the road from the shadow of a vehicle parked on the roadside.
  • the perceived object to be perceived is not completely hidden behind the shadow of the object.
  • the perceptual objects to be perceived include a child who is hiding a part other than the top of the head in a vehicle parked on the side of the road, or a bicycle that is visible only through a gap in the roadside tree.
  • the user can not perceive the perceived object to be perceived at all (that is, the range where partial perception cannot be performed) or can be perceived (partially cannot be perceived). )
  • the perceptually difficult space related to vision means a space generally called a blind spot space. Anticipating the existence of a perceptual object hidden in a difficult-to-perceive space, and appropriately focusing on the perceptual object that may emerge from the perceptually difficult space is essential for performing many tasks properly. It is.
  • ⁇ Inhibition resistance perception> In general, when a user perceives a risk that exists in a hard-to-perceive space and tries to perceive a perceptual object lurking in the hard-to-perceive space, the user counters the perception inhibition that is the cause of the hard-to-perceive space, In order to perceive, a user perception operation different from a normal user perception operation is performed.
  • Normal user perception action is to direct the attention of the sensory organs that are disturbed to the perceptually difficult space caused by the perception inhibition.
  • a specific example is a user who directs his / her eyes to the blind spot space when there is a blind spot space that is a hard to perceive space caused by an obstacle and the tip of the blind spot space (the space part of the shadow of the obstacle) is anxious.
  • Perceptual movement On the other hand, in order to perceive the tip of the blind spot space (space part of the shadow of the obstacle) more than the current situation, change the direction of the face, change the posture, look closely, create a blind spot space if possible. There may be a case where a user perceived motion accompanied by a body movement such as moving an obstacle is generated. On the contrary, since attention concentrates on a specific sensory organ, a user perception operation accompanied by a decrease in body movement may occur.
  • the visual response to other objects or blind spot space may be delayed or unresponsive, which may cause a decrease in sensory sensitivity. is there. In terms of vision, this corresponds to a narrow effective field of view or peripheral field of view. Such a decrease in the perceptual sensitivity of the sensory sensation does not occur only in the sensory sensation of the perceived sensor, but may occur in other sensory organs. For example, since visual attention concentrates in the blind spot space, there is a case where the response to sound decreases, that is, the perceptual sensitivity of hearing decreases.
  • perceptual movement characteristic user perception actions such as body movements that appear as a result of actively perceiving a difficult-to-perceive space or a decrease in perceptual sensitivity of sensory organs other than the current perceptual object are counteracted. This is called perceptual movement.
  • FIG. 2 schematically shows a hardware configuration of work suitability determination apparatus 130 according to the first embodiment.
  • FIG. 2 shows a work suitability determination device 130 incorporated in the vehicle 100.
  • the vehicle 100 includes a surrounding object detection device 110, a user motion detection device 120, a work suitability determination device 130, an information presentation unit 140, an operation unit 150, and a vehicle control unit 160. Including.
  • the user driving the vehicle 100 in which the work suitability determination device 130 is incorporated is called “work”, and the state of the user who can perform the work without an accident is “appropriate for performing work”.
  • State " that is, a state of high work aptitude. In general, it is said that about 80% of the information required for driving can be obtained visually.
  • the present invention is not limited to vision, and work suitability can be determined using a sense other than vision.
  • the user is a driver who is a vehicle user who drives the vehicle 100.
  • the user of the present invention is not limited to the driver.
  • the user does not drive during normal times.
  • the user may include a passenger sitting in the passenger seat or the rear seat acting on behalf of driving.
  • the passenger sitting in the driver's seat is not a driver, but the passenger sitting in the driver's seat may perform a part of the driving operation, and thus is included in the user.
  • the peripheral object detection device 110 shown in FIG. 2 is composed of various devices for collecting data necessary to detect an object existing around the vehicle 100 (for example, the vicinity in front of the traveling direction). .
  • the radar 111 measures the distance or direction of an object existing around the vehicle 100 by irradiating a radio wave around the vehicle and measuring the reflected wave at that time.
  • the camera 112 acquires video information by photographing the periphery of the vehicle 100 by measuring light emitted (reflected) from the periphery of the vehicle 100.
  • the three-dimensional (3D) scanner 113 measures the distance or direction of an object existing around the vehicle 100 by irradiating the periphery of the vehicle 100 with laser light or the like and measuring the reflected light.
  • the sensor 118 is various sensors for detecting various signals transmitted from an object existing around the vehicle 100.
  • the sensor 118 may include, for example, a microphone for collecting sound, a contact sensor for measuring a contact state, a temperature sensor for collecting ambient temperature data, an infrared thermography, and the like.
  • the radar 111, the camera 112, the 3D scanner 113, and the sensor 118 are not necessarily all mounted, but the vehicle 100 is mounted with an appropriate detector for detecting an object existing in the vicinity.
  • the radar 111, the camera 112, the 3D scanner 113, and the sensor 118 are for detecting an object existing around the vehicle 100, but the measurement range is limited to the periphery of the vehicle.
  • the inside of the vehicle 100 may be the measurement target.
  • the communication device 114 communicates with the server 171 via the network, and receives data necessary for detecting an object existing outside the vehicle 100 or additional data such as the type and attribute of the detected object. Used to obtain. In addition, data measured by the radar 111, the camera 112, the 3D scanner 113, the sensor 118, and the like are transmitted to the server 171 to perform object detection processing or additional data search processing such as the type and attribute of the detected object. The communication device 114 may be used to request the server 171 and receive the result.
  • the server 171 is not limited to a server machine that is a computer (information processing apparatus) for providing a service or a function, and is an apparatus that can communicate with the communication apparatus 114 and can store data, or an information processing If it is an apparatus provided with an apparatus, it will not specifically limit.
  • the server 171 may be, for example, an information processing device mounted on a surrounding vehicle or another information processing device.
  • a GPS (Global Positioning System) 115 is used to receive a signal from the GPS satellite 172 and know the current position of the vehicle 100.
  • the current position is transmitted to the server 171 by the communication device 114, and can be used to obtain information on objects having high durability such as buildings, signs, roads, and the like existing around the current position.
  • map data 117 is stored in the storage device of the vehicle 100 or provided from the server 171 and used to extract map data around the current position using the current position as a key.
  • the map data 117 is obtained by converting the geographical state of the whole or part of the earth's surface into data, and is mainly one of information sources regarding objects having high durability such as surrounding buildings, signs, roads, and the like. Can be used as
  • the past data 116 is stored in the storage device of the vehicle 100 or provided from the server 171, and data relating to an object detected when the vehicle 100 has traveled in the past or the radar 111, the camera 112, the 3D scanner 113, and the sensor 118 output data can be included.
  • Data related to highly permanent objects such as buildings, signs, roads, etc., detected in the past can be recorded together with position data, which can reduce the processing load for detecting objects outside the vehicle. Become.
  • the output data can be recorded together with the position data to obtain the same effect.
  • the radar 111, the camera 112, the 3D scanner 113, and the sensor 118 detect surrounding objects by measuring the surroundings of the vehicle 100 in real time, the moving state of a moving body such as a surrounding vehicle, a pedestrian, or a bicycle is detected. It is mainly used to measure etc.
  • the communication device 114, the past data 116, and the map data 117 are information sources that provide data created based on the results measured in the past, and detect highly permanent buildings, signs, roads, and the like. Used to do.
  • the server 171 with which the communication device 114 communicates may be a mobile body measured by a vehicle around the vehicle 100. In this case, data transmitted from the surrounding vehicle can be received in real time. it can.
  • FIG. 3 is a diagram illustrating an example of data collected by the peripheral object detection device 110.
  • the example of FIG. 3 is a simplification of a still image acquired by the camera 112 photographing the front from the vehicle 100 at a certain time.
  • the still image in FIG. 3 includes a road 401, a white line 402 drawn on the road, a sidewalk 403, a sidewalk 408, a forward vehicle 404, a pedestrian 405, and buildings 406 and 407. It is out.
  • the still image is transferred from the communication device 114 to the server 171, the image recognition process of the server 171 is performed, and the communication device 114 receives the recognition result. Also good.
  • the information processing apparatus 181 of the work suitability determination apparatus 130 may perform image recognition processing for extracting an object from a still image. Moreover, you may employ
  • FIG. 4 is a diagram illustrating another example of data collected by the peripheral object detection device 110.
  • the example of FIG. 4 schematically shows 3D data acquired by the radar 111 or the 3D scanner 113 or the sensor 118 detecting an object existing around the vehicle from the vehicle 100 at a certain time.
  • the 3D data in FIG. 4 represents the height data of an object existing in the vicinity with contour lines.
  • the data in FIG. 4 is data obtained at the same time when the still image in FIG. 3 was taken.
  • the road 401 in FIG. 3 corresponds to the plane of the data 501 in FIG.
  • the data 502, 503, 504, 505, and 506 in FIG. 4 correspond to the sidewalk 408, the forward vehicle 404, the pedestrian 405, and the buildings 406 and 407 in FIG. 3, respectively.
  • the white line 402 in FIG. 3 is almost the same height as the road 401 and the step 403 in the sidewalk is almost the same as the sidewalk 408, the detection accuracy is low as shown in FIG. Are not distinguished.
  • the height data of an object existing around the vehicle 100 is obtained, for example, the forward vehicle 404, the pedestrian 405, and the building in FIG. 3 corresponding to the data 503, 504, 505, and 506 in FIG. Due to the presence of the objects 406 and 407, it is possible to derive a range in which the situation in the back (the situation of the shaded portion) cannot be visually recognized, and such a range becomes a perceptually difficult space.
  • the user motion detection device 120 shown in FIG. 2 includes various devices for collecting data necessary for detecting a user motion in the vehicle 100.
  • the user motion detection device 120 includes, for example, a user camera 121 and a user sensor 122.
  • the user camera 121 captures the user and acquires the user's video data in order to detect a user action. By analyzing the user's video data, the user's body movement and the like can be detected.
  • the user sensor 122 is a variety of sensors used to detect user actions other than the camera. By using the user sensor 122, it is possible to obtain data that cannot be obtained by the user camera 121, and it is possible to detect a more detailed and accurate user action.
  • the user motion detection device 120 may include only one of the user camera 121 and the user sensor 122.
  • the user motion detection device 120 may include a plurality of user cameras 121 or a plurality of user sensors 122.
  • the work suitability determination device 130 illustrated in FIGS. 1 and 2 includes an information processing device 181 that performs work suitability determination of a user based on various measurement data measured by the surrounding object detection device 110 and the user motion detection device 120, A storage device 182.
  • the information processing apparatus 181 determines the work suitability of the user based on the measurement data.
  • the information processing apparatus 181 includes a processor such as a CPU (Central Processing Units), a GPGPU (General-Purpose computing on Graphics Processing Units), or an FPGA (Field-Programmable Gate Array).
  • the storage device 182 includes a RAM (Random Access Memory) that temporarily stores data necessary for determining the work suitability of the user, a memory that stores a work suitability determination program executed by the information processing device 181, and the like. .
  • the work aptitude determination program may be stored in the server 171.
  • the information presentation unit 140 shown in FIG. 2 is a device used to present some information to the user or passengers.
  • the information presentation unit 140 is a device that presents some information by stimulating the human senses.
  • a typical example of the information presentation unit 140 is a display device such as a liquid crystal display that presents video information.
  • the information presentation unit 140 includes a HUD (Head-Up Display), a speaker that presents sound information, a tactile display that stimulates the human tactile sense using various actuators, and an olfactory display that emits a scent to stimulate the human olfactory sense Etc. can be included.
  • HUD Head-Up Display
  • the operation unit 150 illustrated in FIG. 2 is an operation device that performs an operation for a user or a passenger to input a user instruction.
  • the operation unit 150 is a device for operating the vehicle 100 and various devices mounted on the vehicle 100.
  • the operation unit 150 can include, for example, a driving operation unit that is used for a user to perform an operation of driving the vehicle, such as a steering wheel, a brake pedal, and an accelerator pedal, and is necessary for driving control.
  • the driving operation unit sends out a control instruction to the vehicle control unit 160 described later.
  • the operation unit 150 may include an information input operation unit such as a touch panel or a remote controller.
  • the information input operation unit can send control instructions to the information presentation unit 140 or various information processing apparatuses 181.
  • a vehicle control unit 160 shown in FIG. 2 is a control device for controlling the entire vehicle in order to operate the vehicle 100.
  • the vehicle control unit 160 controls the operation of the vehicle 100 based on the content of the operation performed by the user via the operation unit 150.
  • FIG. 5 shows a sequence indicating basic processing performed by the work suitability determination device 130.
  • the work suitability determination device 130 executes an initialization process 201.
  • the initialization process 201 is a process required for the work aptitude determination apparatus 130 to appropriately execute an operation.
  • the main loop process 202 is an internal process that is repeated until the operation of the vehicle 100 ends.
  • an interruption request for the main loop process 202 is generated, and using the interruption request as a trigger, the work suitability determination device 130 interrupts the main loop process 202 and ends the process 203. Execute.
  • the work suitability determination device 130 returns the work suitability determination device 130 to a state in which it can be initialized in preparation for the next start of the vehicle 100 in the end process.
  • FIG. 6 is a sequence diagram showing in detail the internal processing of the main loop processing 202 in the first embodiment.
  • a measurement data standby process 301 is first performed.
  • the work aptitude determination device 130 requests the surrounding object detection device 110 and the user motion detection device 120 to provide each measurement data, and the measurement data is provided. stand by.
  • the measurement data provision request is executed only once for the first time, and thereafter, the peripheral object detection device 110 and the user motion detection device 120 send the measurement data to a predetermined area on the storage device 182 by stream processing. The event may be notified to the work suitability determination device 130 by writing.
  • ⁇ User perception motion detection processing 305 When user motion measurement data is provided from the user motion detection device 120, the work suitability determination device 130 performs a user motion measurement data acquisition process 304 and acquires user motion measurement data. Thereafter, the user perceptual motion detection process 305 detects what kind of user perceived motion the user is performing. The first embodiment exemplifies a case where a user perceived motion is detected visually.
  • a gaze detection sensor is implemented as the user sensor 122 of the user motion detection device 120
  • the work suitability determination device 130 determines the user's viewpoint position, gaze direction, The focal position of the eye can be acquired.
  • the work aptitude determination device 130 can acquire an image in which the user's posture at the time of measurement is changed from the user camera 121 of the user motion detection device 120.
  • the work aptitude determination device 130 can perform a user perceptual motion detection process 305 from these acquired data, and can acquire a situation of an instantaneous user perception motion such as a user's viewpoint position, line-of-sight direction, focal position,
  • the gaze direction and the visual field range can be derived from the time series data, and the user's attention and interest situation within a certain time window can be derived.
  • the detection result of the user perceptual motion detection processing 305 may be stored in the storage device 182 and can be referred to in other processing steps. Similarly, for other processing, the processing result may be stored in the storage device 182 so that it can be referred to in other processing steps.
  • the user perception motion B detected by the user perception motion detection processing 305 is such that “l” and “m” are positive integers and “*” is a positive integer equal to or less than 1 or m.
  • the peripheral object measurement data acquisition processing 302 is performed, and the work suitability determination device 130 acquires the measurement data. Thereafter, in the perceptual space detection process 303, a perceptually difficult space that is difficult for the user to perceive is detected.
  • FIG. 7 is a diagram illustrating specific perceptually difficult space detection processing for visual perception.
  • FIG. 7 shows a situation in which a user's 601 viewpoint position 602 is derived by performing the user perceptual motion detection process 305 for the user 601 and the peripheral object 603 is detected by the peripheral object detection device 110.
  • the space beyond the outer periphery of the visible peripheral object 603 that is visible may be a difficult-to-perceive space 606 caused by the peripheral object 603.
  • FIG. 7 is represented in two dimensions for ease of explanation. Although the real-world space is three-dimensional, the description of FIG.
  • FIG. 7 is applicable to three-dimensional. Further, even in a situation where there are a plurality of surrounding objects, it is possible to derive a perceptually difficult space by performing the same processing on each surrounding object.
  • FIG. 7 describes with respect to vision, the present invention is not limited to vision and is not limited to a single sensory organ. For example, a hard-to-perceive space may be obtained for hearing rather than vision, or a hard-to-perceive space may be found for vision and hearing.
  • ⁇ Importance judgment process for difficult-to-perceive space> In the difficult-to-perceive space detection process 303 shown in FIG. 6, in addition to detecting the difficult-to-perceive space, it is also possible to determine the importance of the detected difficult-to-perceive space (dead angle space). As a measure of importance, there is “the size of a difficult space for perception”. The size of the difficult-to-perceive space can be regarded as an index indicating how easily the perceived object is hidden in the difficult-to-perceive space. Here, the greater the difficulty of perception, the higher the importance. Another measure of importance is “distance between perceptually difficult space and user or vehicle”.
  • This distance can be regarded as, for example, an index representing a grace period for avoiding contact with a perceptual object when a perceptual object hidden in the perceptually difficult space appears.
  • the shorter the distance the higher the importance.
  • Another measure of importance is “the amount of change in the size of the hard to perceive space”. If this amount of change is large, it can be regarded as an index that expands the range in which perception becomes difficult over time.
  • the greater the amount of change in the size of the perceptually difficult space the higher the importance.
  • “Moving speed” or “moving direction” or “moving acceleration” can be regarded as an index representing a delay in avoidance when a perceptual object hidden in the perceptually difficult space appears.
  • the importance increases as the moving speed increases and the moving rate increases.
  • the degree of difficulty in perception is low, finding a hidden perceptual object can be handled with little effort, but if the degree is high, the effort increases in proportion. For example, a perceived space created by the perception being blocked by a roadside tree can be seen through the space between the roadside trees, so that the shadow space of the roadside tree can be heard. The difficulty is less than if you can't see the shadow space of the truck at all.
  • the more difficult it is to perceive in the difficult-to-perceive space the higher the importance.
  • the degree of importance of the hard-to-perceive space may be determined in advance depending on the type of the object that obstructs perception, and the presence or absence of gap, transparency, or saliency is determined from the measurement data of the object measured by the peripheral object detection device 110. However, it may be calculated dynamically using these values.
  • the importance level of the hard-to-perceive space is calculated using the characteristics of the hard-to-perceive space itself and the characteristics derived from the relationship between the hard-to-perceive space and other elements such as the user or the vehicle.
  • the importance of the hard-to-perceive space is not calculated using only one scale, but using multiple scales (by combining two or more of the above scales of importance), each multiplied by a weighting factor You may calculate using.
  • the work in the first embodiment is driving of a vehicle, and it is necessary to recognize a surrounding object that may collide with a traveling vehicle.
  • a peripheral object that has a possibility of collision is an object that stops or moves on a plane having the same height as the road on which the vehicle 100 is traveling, and for an object that exists at a certain height or higher, The risk of a collision between the vehicle itself and the vehicle is low, and it is unlikely that a general traffic object is hidden in a difficult space perceived by the object.
  • the position of the vehicle 100 is different from the position of the vehicle 100 with respect to the hard-to-perceive space generated by an object located at a certain distance or more from the position of the vehicle 100 or the hard-to-perceive space generated by an object existing within a certain distance. Even for a space that is more than a certain distance away, there is a sufficient distance to avoid a potential object that emerges from it, so the risk of collision is low.
  • FIG. 8 is a diagram illustrating an example of a method for determining the importance of the perceptually difficult space.
  • a peripheral object 703 exists around the vehicle.
  • the peripheral object 703 causes a difficult-to-perceive space 710.
  • the shortest distance 711 between the viewpoint position 702 and the surrounding object 703 is used as a parameter used for calculating the importance of the perceptual difficulty space 710.
  • the importance of the perceptual difficulty space 710 is inversely proportional to the shortest distance 711 or has a negative correlation with the shortest distance 711. That is, the closer the user 701 is to the peripheral object 703, the shorter the shortest distance 711, and thus the importance of the perceptually difficult space 710 increases.
  • the size of the difficult-to-perceive space 710 there is the size of the difficult-to-perceive space 710.
  • the measure of the size of the hard-to-perceive space 710 is, for example, constant from the user 701 from the surface area 712 of the hard-to-perceive space 710 closest to the user 701 or from the surface of the hard-to-perceive space 710 closest to the user 701. This is the volume of the portion 709 of the hard to perceive space 710 included between the distance 707 and the distant surface (the volume of the shaded area in FIG. 9).
  • the importance of the difficult-to-perceive space 710 is calculated using these values, the importance is proportional to the area 712 or the volume of the shaded area in FIG. 9 or has a positive correlation.
  • FIG. 9 is a diagram illustrating another example of a method for determining the importance of the perceptually difficult space 710.
  • a peripheral object 801 and a traffic light 802 are added to FIG.
  • FIG. 9 considers the work contents of the user 701, and the portion (thin shaded area) that exists above the height 803 in the hard-to-perceive space 710 has a low importance, and the hard-to-perceive space 710. Of these, the part farther than the distance 707 (the area not shaded) shows a case where it is ignored.
  • the peripheral object 801 and the traffic light 802 are located farther than the distance 707, and thus the perceptually difficult space caused by them is ignored.
  • the peripheral object 703 exists at a position closer than the distance 707, it is determined that there is a perceptually difficult space caused by the peripheral object 703.
  • the hard-to-perceive space is divided into two types of space parts, that is, a space part (a hard-to-perceive space) 805 existing in the range of the height 803 or lower and a range higher than the height 803. It is divided into existing space portions (spaces that are difficult to perceive) 804.
  • the difficulty level of the perceptually difficult space 804 is lower than that of the perceptually difficult space 805.
  • the traffic light 802 causes a perceptually difficult space.
  • the importance of the hard-to-perceive space in the range higher than the height 803 is set low, and the hard-to-perceive space existing at a position farther than the distance 707 is set to be ignored.
  • the condition that restricts the size of the hard to perceive space may be another condition that considers the work content.
  • the process of determining the perceptual difficulty space and the importance level determination considering the work content is performed by first detecting the difficult perceptual space without considering the work content, and then setting the conditions specified from the work content. This can be realized by filtering or assigning importance to the perceptually difficult space detected based on whether or not it is satisfied.
  • the conditions specified from the contents of the work at this time are not limited to the height from the road surface, the distance from the vehicle, and the presence or absence of an object that obstructs the appearance of the object in the hard-to-perceive space. May be used.
  • the importance levels of the hard-to-perceive space detected in the hard-to-perceive space detection process 303 (FIG. 6) described above can be summarized as follows.
  • hard-to-perceive space X such as the shape and size of the hard-to-perceive space X itself, the distance between the hard-to-perceive space X and the vehicle that the user drives, and the amount of change in time series
  • the weight based on the characteristic g Xi of the space X itself is expressed as w (g Xi ) (i is a positive integer)
  • the weight based on the perceptual characteristic p Xi of the object that causes factors such as the ratio of the transparency or gap that is the influence of the object that causes the perception inhibition, the saliency of the object that causes the perception inhibition, etc.
  • each weight w (g Xi), w ( p Xi), w (c Xi) is expressed the importance W X by the total value on the assumption that it is independent of each other, of importance W X
  • the calculation is not limited to Equation 1.
  • the importance W X may be calculated using the above-described characteristics.
  • the condition c * i considering the contents of the work performed by the user is rejected when the certain perceptible space is satisfied.
  • the threshold for the condition c * i is TC * i , it can be expressed by the following formulas 2 and 3, for example.
  • ⁇ Work aptitude degree calculation process 306> In the work aptitude degree calculation process 306 in FIG. 6, based on the perceptual difficulty space detected by the perceptual difficulty space detection process 303 and its importance level, and the user perception action detected by the user perception action detection process 305, The work aptitude degree indicating how well the user can perform the work is calculated.
  • Embodiment 1 exemplifies whether or not a perceptible object hidden in a visually difficult space can be expected as a measure of work suitability.
  • Correlation CR X for a perceived difficulty space X has a characteristic G X of the perceptual difficulties space X, with a user perceptual operation B, and can be expressed as the following equation 4.
  • f i () is a function for calculating a value expressing a relationship such as a correlation according to a certain reference i between the hard-to-perceive space X and the user perceptual action B, and ⁇ i Is a weight for the reference i.
  • the user perception operation B may be not only the user perception operation at a specific time but also the user perception operation B as time series data in a certain time series window range. The same applies to the characteristic G X perceptual difficulties space X.
  • the magnitude of the value of CR X can be regarded as a measure representing how much the user perceives the perceptually difficult space X to perceive. For example, it can be interpreted that if the value is large, the work suitability determined by the perceptually difficult space X is high, and if the value is small, the work suitability is low.
  • the average value of the correlation CR X all perceptual difficulties space at that time is expressed by the following equation 5.
  • N is the number (positive integer) of the hard to perceive spaces detected at that time.
  • Previously CR described X or working suitability calculation process 306 the CR is calculated as one of the working suitability.
  • a user work suitability determination process 307 for determining the user work suitability level is performed using at least the calculation result, and the user work suitability at that time is judged. After the user work aptitude determination process 307 is completed, the process returns to the measurement data standby process 301 again, and the process is repeated. Further, when the end process of the vehicle 100 is started, the main loop process 202 can be interrupted by promptly performing the interrupt process regardless of which process in FIG. 6 is performed.
  • the user perception operation includes an inhibition counter perception operation that actively attempts to perceive a difficult space, and it is possible to calculate the work aptitude degree in consideration of the characteristics.
  • the data acquired in the user motion measurement data acquisition process 304 data related to body movement is acquired in addition to the data related to vision, and the increase / decrease in body movement from the data related to body movement is detected in the user perceptual motion detection process 305.
  • the inhibition counter perception action is being performed is determined.
  • the degree BC of the anti-perception action related to the body movement is detected by the user perception action detection process 305, and the degree BC of the anti-perception action is added as a combination with the detected user perception action B. It passes to degree calculation processing 306.
  • changes in the sensitivity of response to sensory organs include the perceptually difficult space other than the perceptually difficult space that the user is currently paying attention to, or the surrounding environment, and the response time of each sensory device to those changes.
  • the degree of decrease in perceptual sensitivity of the sensory organ can be calculated.
  • Degree of inhibition counter-perception action accompanied by change in response sensitivity to sensory organs SC is detected by user perception action detection processing 305 and detected together with user perception action B or degree of inhibition counter-perception action accompanied by body movement change. As a set with BC, it passes to the work aptitude degree calculation processing 306.
  • SC and BC are combinations with the user perceptual motion B at that time, and it is possible to determine which perceptually difficult perception motion X is directed against the perceptually difficult space X than the user perceptual motion B. For example, it is determined by a line-of-sight vector if visual, or by a frequency range if auditory. More generally, the target of the inhibition counter-perception action can be expressed as a probability value CP X in which the perceptual difficult space X is the target of the inhibition counter-perception action.
  • Correlation CR X for a perceived difficulty space X can be expressed by the following equation 7.
  • CW (B, SC, BC, G X) and CC (B, SC, BC, G X) the degree of inhibition against perceived operation each correlation ⁇ i ⁇ i f i (G X, B) to Are the weights and intercepts.
  • the weight or intercept becomes a large value if the inhibition perception action is directed to the hard-to-perceive space X, and the weight or intercept becomes a small value if not, on the contrary, in some cases, Negative value.
  • the weights or intercepts need not be applied at the same time, only one of them may be applied, or neither of them may be applied.
  • weights or intercepts may be determined based on a predetermined table, or may be calculated on a model basis every time a model is constructed. Also, considerations of inhibition against perceived operation, without performing at all times, and calculates the correlation CR X consider when perception difficult space is present at least one or more, may be performed to reduce the processing load.
  • FIG. 10 is a diagram illustrating a situation in which a perceptual difficulty space 606 generated by the peripheral object 603 exists with the viewpoint position 602 of the user 601 as a base point.
  • a person or the like who passes through the peripheral object 603 appears as a perception target from a plane including a line segment connecting the points 611 and 612.
  • there is a high possibility that a person to be perceived will appear via the point 611 or the vicinity of the point 612.
  • the degree of perception to be perceived in the perceptually difficult space is not uniform, and deviation occurs depending on the content of the work.
  • FIG. 11 is a diagram illustrating an example of perceptual importance for each position on a plane including a line segment from the point 612 to the point 611 on the peripheral object 603.
  • the vicinity of the point 611 is the closest and has the highest importance, and then the vicinity of the point 612 has the highest importance.
  • the work suitability higher when the line of sight is near the point 611 or near the point 612 than when the line of sight is between the points 611 and 612 the content of the work is calculated. It is possible to calculate work aptitude degree in consideration. This may be regarded as one of the criteria i in calculating the correlation CR X.
  • FIG. 12 is a diagram illustrating a situation in which a perceptually difficult space 606 generated by the peripheral object 603 exists with the viewpoint position 602 of the user 601 as a base point when the peripheral object 603 in FIG. 10 is another vehicle.
  • Information for discriminating other vehicles that are attributes of the peripheral object 603 can be realized by performing data clustering using data such as machine learning from data acquired from the peripheral object detection device 110.
  • the other vehicle 603 has doors 621 and 622 on the side surfaces, and a passenger may come out from the other vehicle 603. Therefore, unlike the situation of FIG.
  • the line segment connecting the points 623 and 624 projected to the line segment connecting the line points 611 and 612 from the door 621 and 622 as well as the line of sight near the points 611 and 612, the point 625, The line of sight should also be directed near the line connecting 626.
  • FIG. 13 is a diagram showing an example of perceptual importance for each position on a plane including a line segment from the point 612 to the point 611 on the peripheral object 603 in the situation of FIG.
  • the perceptual importance is high in the line segment connecting the points 623 and 624 corresponding to the doors 621 and 622 and the line segment connecting the points 625 and 626.
  • both of them are monotonically decreasing from the points 626 and 624 closer to the user 601 toward the points 625 and 623 farther from the user 601, but this is because the other vehicle 603 faces the user 601. Since the doors 621 and 622 are configured to open on the side close to the user because they are parked in the same direction, the points 626 and 624 corresponding thereto have higher perceived importance.
  • ⁇ 1-4 Effect
  • the perception necessary for performing the work is hindered. It is determined whether the user is in an appropriate situation to carry out the work at that point of time, based on the relationship with the user's perceptual behavior to the extent that the user is conscious of the perceptually difficult space It becomes possible to do. Whether the perceived space is a reflex response due to its own saliency or a result of cognitive outcomes such as risk prediction for perceived difficulty because it cannot perceive itself Is easy to distinguish. For this reason, it is possible to accurately determine the work aptitude indicating how appropriate the user is to perform the work without imposing a burden on the user.
  • FIG. 14 is a sequence diagram showing in detail another internal process of the main loop process 202 of FIG. 14, the same processes as those in FIG. 6 are denoted by the same reference numerals.
  • the second embodiment will be described with a focus on differences from the first embodiment.
  • the internal processing shown in FIG. 14 differs from the internal processing shown in FIG. 6 (Embodiment 1) in that a perceptual target detection process 311 and a user perceptual target determination process 312 are added.
  • the work suitability determination apparatus according to the second embodiment includes a perceptual target detection unit 134 (FIG. 1) that executes the perceptual target detection process 311 and a user perceptual target determination processing unit 135 (FIG.
  • FIG. 15 is a diagram for explaining the perceptual object detection process 311 of FIG.
  • Objects around the user 701 include a road 901, a white line 902, a step 903 on a sidewalk, a vehicle 904 traveling in front, a pedestrian 905 walking on the sidewalk, and the sky, clouds, birds, airplanes There are various surrounding objects.
  • the peripheral object detection device 110 acquires the data of these peripheral objects as a series of data without distinguishing them.
  • the user 701 does not need to recognize all of the peripheral objects, and may recognize some of the peripheral objects.
  • the peripheral objects that should be recognized by the driver as the user 701 are, for example, a white line 902, a step 903 on the sidewalk, a vehicle 904 traveling in front, and a pedestrian 905.
  • information on peripheral objects that do not need to be recognized, such as the road 901 is removed by filtering.
  • This filtering can be executed by using an object recognition technique based on a known algorithm such as machine learning from the detection data of the peripheral object acquired from the peripheral object detection device 110.
  • the attribute information change amount may be extracted by acquiring the attribute information of the detected object in time series and comparing the attribute information with different detection times.
  • the attribute information list of the object to be perceived which is the detection result of the perceptual object detection process 311, and the user perceptual action information detected by the user perceptual action detection process 305 are used. Originally, the probability that the object to be perceived is perceived by the user is determined.
  • FIG. 16 is a diagram for explaining the user perception target determination process 312 of FIG.
  • FIG. 16 is a diagram in which movement time series data 911 of the position of the line of sight detected by the perceptual object detection processing 311 (position on the object) is superimposed on FIG.
  • the movement time-series data 911 of the position of the line of sight indicates the position of the line of sight where the change point of the line segment (where the line segment is bent) is detected next, starting from the point 912, and the point 913 is It is the position ahead of the latest line of sight.
  • the white line 902 the visual attention moves to the step 903 on the sidewalk, the white line 902, the step 903 on the sidewalk, the pedestrian 905, and the step 903 on the sidewalk.
  • the white line 902, the step 903 on the sidewalk, and the pedestrian 905 can be interpreted as being recognized by the user, while the forward traveling vehicle 904 can be interpreted as not being recognized by the user.
  • a weighting factor that takes into consideration the maintenance time of the line of sight, the elapsed time after the line of sight has left, or both. Specifically, such as the number of times that the line of sight is directed to a certain perceptual target Y, the maintenance time that the line of sight is directed, the elapsed time since the line of sight was left, or some combination of these when representing the weight of each parameter when the parameters related to perceived user behavior was z i as W (z i), or a measure P perceptual interest Y user is aware (Y), the following It can be expressed by Equation 8.
  • an example of calculating a measure of whether the user perceives each perceptual object in FIG. 16 is as follows: become.
  • P (white line 902) 4
  • P (sidewalk step 903) 4
  • P (front running vehicle 904) 0
  • P (pedestrian 905) 4
  • the parameters related to the user's perceptual behavior are not limited to the above parameters, and other parameters may be defined.
  • the work aptitude degree calculation process 306 is performed using the outputs of the user perceptual object determination process 312, the difficult to perceive space detection process 303, and the user perceptual movement detection process 305.
  • the correlation CR X perceptual difficulties space X and user perception operation illustrating an example of calculating the working suitability of these did.
  • an index for calculating the work suitability is calculated by further using the output of the user perception target determination process 312. In the user perception target determination process 312, a value based on a measure of how much the user recognizes the peripheral object is output for each peripheral object.
  • the sum V sigma U P of P (U) (U) is, which user for all objects present in the periphery at that time It is a value that represents the degree of recognition, and can be interpreted.
  • This total value V is an example of work suitability.
  • This calculation example is only an example, and other calculation methods may be employed.
  • the scale P (U) may be weighted according to characteristics other than the type of the object U or the type of the object U, and the weighted total value may be used as the work suitability level.
  • the object U when the object U exists in the vicinity (near the vicinity) of a certain perceptible space, the object U may be partially hidden in the perceptually difficult space. Further, there is a case where another object Y has appeared from the vicinity of a certain perceptually difficult space that did not exist until immediately before. Thus, an object distributed in the vicinity of a difficult-to-perceive space can be interpreted as a perceptual target that is prioritized over other objects. In this case, the weight of the scale P (U) is increased, It is also possible to use the weighted total value as the work suitability.
  • the work suitability determination apparatus As described above, in the work suitability determination apparatus, the work suitability determination method, and the work suitability determination program according to the second embodiment, the work suitability indicating how appropriate the user is to perform the work.
  • the degree can be determined more accurately without imposing a burden on the user.
  • the vehicle driven by the user may be other than the automobile.
  • the vehicle may be a moving body such as a bicycle, a motorcycle, or a train.
  • the work to which the present invention is applicable is not limited to the operation of the moving body, but may be a work other than the operation of the moving body, for example, the operation of equipment or a machine.
  • the shaving is the perceived object
  • the shattering area of the fine shavings is the perceptually difficult space
  • the shaving is performed as the importance parameter of the perceptually difficult space.
  • the material or size of the dregs it is possible to assign the material or size of the dregs.
  • the visual confirmation as a counteracting perception action before the user touches the machine tool or its surroundings in order to counter the difficulty of seeing due to the fineness.
  • the maintenance time or a combination thereof as the degree of the perception action against the inhibition.
  • perception used in the present invention is not limited to visual perception, It can also be applied to other senses such as hearing, touch, and taste.
  • a machine work using a machine tool is a work to be performed by the user
  • abnormal sounds of the machine operated by the user are perceived
  • other sounds for example, an operation sound during normal operation of the machine
  • the sound produced by the machine to be used and other sounds are regarded as difficult to perceive space, and the importance of the difficult to perceive space is defined as the similarity or volume with the abnormal sound of the machine, the direction of the sound source, or a combination thereof. Is possible.
  • a counter-perception action it is possible to stop the user's work operation or visually check the machine tool and its surroundings as a counter-perception action in correlation with the importance of the hard-to-perceive space.
  • the number of operations, frequency, maintenance time, and the like can be set as the degree of inhibition counter-perception operation.

Abstract

作業適性判定装置（１３０）は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する装置であって、ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置（１１０）から取得した周辺物体情報から、ユーザが、予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する知覚困難空間検出部（１３２）と、ユーザの動作を検出するユーザ動作検出装置（１２０）から取得したユーザ動作情報から、ユーザが前記知覚対象を知覚しようと試みるときのユーザの動作であるユーザ知覚動作を検出するユーザ知覚動作検出部（１３１）と、知覚困難空間とユーザ知覚動作とから、ユーザの作業適性度を算出する作業適性度算出部（１３３）とを備える。

Description

作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
　本発明は、ユーザが、遂行すべき作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定するための作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムに関する。
　従来、自動車のユーザ（作業者）である運転者が、遂行すべき作業としての自動車の運転にどの程度適切な状態であるのかを判定する種々の技術が提案されている。
　例えば、非特許文献１は、眠気検知アルゴリズムを実装したスマートフォン向け専用アプリと運転者の心拍数を計測する着用型心拍計とを用いて、心拍数に基づいて運転者の眠気を検知し、運転者に警告を通知すると共に、運転者の管理者に対してメールで警告を通知するシステムを提案している。
　また、特許文献１は、視認すべき対象物を特定すると共に、運転者の顔画像から検出された運転者の視線に基づいて、運転者が視認すべき対象物を視認しているか否かを検出し、運転者の作業適性度を判定する技術を提案している。ここで、視認すべき対象物は、例えば、標識、信号機、車両、障害物、及び通行人などの移動物である。
株式会社ＮＴＴデータＭＳＥ、国立大学法人京都大学、国立大学法人熊本大学、株式会社ＮＴＴドコモ、報道発表資料「ｈｉｔｏｅを活用したドライバー向け眠気検知システムの実証実験を開始」、[online]、２０１６年５月１０日、インターネット<URL:https://www.nttdocomo.co.jp/info/news_release/2016/05/10_00.html> 森島圭祐、外５名、「眼球・頭部非固定における自動車運転時の有効視野計測」、日本機械学会論文集（Ｃ編）、２０１３年１０月、７９巻８０６号、ｐ．２７２－２８４（ｐ．３５６１－３５７３）
特開２００９－６９８８５号公報
　しかしながら、非特許文献１が提案する技術では、運転者は着用型心拍計を着用し忘れないように注意を払う必要があり、また、運転者は着用型心拍計の着用を面倒に感じたり、着用した後に着用型心拍計を邪魔に感じたりすることがある。このため、運転者に負担を与えるという課題がある。
　また、特許文献１が提案する技術では、以下のような課題がある。一般に、作業者であるユーザは、
　〔行動１〕予定の作業を適切に遂行するために必要な情報を周辺環境などから収集し（すなわち、必要な情報を認知し）、
　〔行動２〕収集された情報をもとに、どのような動作を起こせば作業を適切に遂行できるかを考え（すなわち、判断し）、
　〔行動３〕その考えの内容（すなわち、判断の結果）に従って作業を実行に移す（すなわち、行動を制御する）、
を含む活動を繰り返すことによって、予定の作業を遂行する。したがって、ユーザが〔行動１〕～〔行動３〕を適切に実行できる状態にあれば、ユーザが作業を適切に遂行可能であると判定することができる。
　〔行動１〕に示される「必要な情報の認知」を判断材料として採用する方式（「認知ベース適性判断方式」と称される）では、ユーザが必要な情報を認識した確証を得る必要がある。しかし、認知はユーザの内面の活動であり、認知の計測は困難である。例えば、ユーザの感覚器の挙動を観察したとしても、感覚器の挙動が知覚対象（すなわち、知覚すべき対象物）に反射的に反応した結果（すなわち、認知に至っていない反射的な行動）であるのか、知覚対象の認知に基づいて得られた結果（すなわち、認知に基づいて行われた行動）であるのか、を正確に区別することは困難である。このため、特許文献１に記載の技術で採用されているユーザの挙動である視線の移動が、視線の先の知覚対象が持つ高い顕著性による反射的な行動であるのか、認知に基づいて行われた行動であるのか、を正確に区別することは困難である。このため、作業適性度を正確に判定することができないという課題がある。
　本発明は、上記課題を解決するためになされたものであり、ユーザが予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができる作業適性判定装置及び作業適性判定方法、並びに、作業適性判定方法を実行可能にする作業適性判定プログラムを提供することを目的とする。
　本発明の一態様に係る作業適性判定装置は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する装置であって、ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する知覚困難空間検出部と、前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出するユーザ知覚動作検出部と、前記知覚困難空間検出部によって検出された前記知覚困難空間と前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出する作業適性度算出部とを備えたことを特徴とする。
　本発明の他の態様に係る作業適性判定方法は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する方法であって、ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出するステップと、前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出するステップと、検出された前記知覚困難空間と検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出するステップとを備えたことを特徴とする。
　本発明によれば、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができるという効果が得られる。
本発明の実施の形態１及び２に係る作業適性判定装置の構成を概略的に示すブロック図である。 実施の形態１及び２に係る作業適性判定装置のハードウェア構成を概略的に示す図である。 周辺物体検出装置によって収集されたデータの一例を示す図である。 周辺物体検出装置によって収集されたデータの他の例を示す図である。 実施の形態１及び２に係る作業適性判定装置が行う基本処理を示すシーケンス図である。 実施の形態１に係る作業適性判定装置におけるメインループ処理の内部処理を詳細に示すシーケンス図である。 視覚による知覚に対する具体的な知覚困難空間検出処理を示す図である。 知覚困難空間の重要度の判定方法の一例を示す図である。 知覚困難空間の重要度の判定方法の他の例を示す図である。 ユーザの視点位置を基点として、周辺物体によって生じる知覚困難空間が存在している状況を示す図である。 周辺物体上の２点を通る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。 図１０における周辺物体が他車両である場合に、ユーザの視点位置を基点として、周辺物体によって生じる知覚困難空間が存在している状況を示す図である。 図１２の状況において、周辺物体上の２点を通る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。 実施の形態２に係る作業適性判定装置におけるメインループ処理の内部処理を詳細に示すシーケンス図である。 図１４の知覚対象検出処理を説明するための図である。 図１４のユーザ知覚対象判定処理を説明するための図である。
　以下に、本発明の実施の形態に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムを、添付図面を参照しながら説明する。実施の形態１及び２では、主に、作業が自動車の運転であり、作業を行うユーザが自動車の運転者である場合を説明する。ただし、以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》実施の形態１
《１－１》概要
　図１には、実施の形態１に係る作業適性判定装置１３０の構成が概略的に示される。作業適性判定装置１３０は、実施の形態１に係る作業適性判定方法を実施することができる装置である。また、作業適性判定方法は、作業適性判定装置又はサーバに格納されたソフトウェアとしての作業適性判定プログラムによって実行されることができる。
　作業適性判定装置１３０は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する装置である。作業適性判定装置１３０は、周辺物体検出装置１１０からユーザの周辺（ユーザの周囲又は近傍）の物体を検出して得られた周辺物体情報を取得し、ユーザ動作検出装置１２０からユーザの動作を検出して得られたユーザ動作情報を取得する。作業適性判定装置１３０は、取得した周辺物体情報及びユーザ動作情報を用いて、ユーザの作業適性度を算出し、算出された作業適性度を情報提示部１４０に提供する。情報提示部１４０は、ユーザに対し、現在の状態が予定の作業を行うのにどの程度適切な状態であるのか、或いは、どの程度適切ではない状態にあるのかを通知することができる。
　図１に示されるように、作業適性判定装置１３０は、ユーザ知覚動作検出部１３１と、知覚困難空間検出部１３２と、作業適性度算出部１３３とを備えている。知覚困難空間検出部１３２は、周辺物体検出装置１１０から取得した周辺物体情報を用いて、ユーザが、予定の作業を行う際にユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する。ユーザ知覚動作検出部１３１は、ユーザ動作検出装置１２０から取得したユーザ動作情報を用いて、ユーザが知覚対象を知覚しようと試みるときのユーザの動作であるユーザ知覚動作を検出する。作業適性度算出部１３３は、知覚困難空間検出部１３２によって検出された知覚困難空間とユーザ知覚動作検出部１３１によって検出されたユーザ知覚動作とから、ユーザの作業適性度を算出する。
　このように、実施の形態１においては、知覚困難空間が、知覚対象とは異なり高い顕著性を持つ対象物ではない点を利用している。つまり、知覚困難空間が存在するときに、ユーザが知覚困難空間を知覚しようと試みるときのユーザの動作、すなわち、知覚困難空間についてのユーザ知覚動作は、知覚対象の高い顕著性による反射的な行動ではなく、知覚困難空間の認知に基づいて行われた行動である可能性が高い。言い換えれば、実施の形態１によれば、背景技術において説明した上記〔行動１〕が認知に基づいて行われた行動であるとき（すなわち、反射的な行動ではないとき）にユーザ知覚動作を検出する。このため、実施の形態１に係る作業適性判定装置１３０によれば、作業適性度を正確に判定することができ、作業適性度の信頼性を高めることができる。
　また、作業適性判定装置１３０は、作業適性度の信頼度をさらに向上させるために、周辺物体検出装置１１０から取得した周辺物体情報を用いて、知覚対象を検出する知覚対象検出部１３４とユーザ知覚対象判定処理部１３５とをさらに備えてもよい。実施の形態１においては、知覚対象検出部１３４とユーザ知覚対象判定処理部１３５とを備えない形態を説明し、これらとを備える形態は、実施の形態２で説明する。
《１－２》構成
〈作業適性判定〉
　実施の形態１に係る作業適性判定装置１３０は、自動車（車両）の運転を作業とする運転者としてのユーザに対する作業適性度を判定（算出）することができる装置である。作業適性判定では、
　〔第１の処理〕ユーザが予定された作業を行う際に、ユーザが知覚すべき知覚対象を、ユーザが知覚することが困難な空間である知覚困難空間を検出する処理（知覚困難空間の検出動作）と、
　〔第２の処理〕ユーザが知覚対象を知覚しようとするユーザ知覚動作を検出する処理（ユーザ知覚動作の検出動作）と、
　〔第３の処理〕検出された知覚困難空間と検出されたユーザ知覚動作とを用いて、ユーザが予定された作業を行うのにどの程度適切であるのか（すなわち、適切さの度合い）を示す作業適性度を算出する処理（作業適性度の算出動作）と、が行われる。
〈知覚対象〉
　運転中にユーザによって知覚され得る周辺物体である知覚対象（すなわち、知覚可能な対象物）は、多種多様であり、例えば、周辺車両、自転車、バイク、歩行者、動物などのような移動体と、路側帯、道路の白線、横断歩道、分離帯、標識、信号機などのような道路構成要素と、建物、街路樹、看板などのような固定物とを含む。ユーザは、重要と判断される知覚対象の状況を適時確認するために、断続的に視線移動を繰り返す。このとき、ユーザは、知覚対象を直接見ることで、知覚対象から必要な情報を入手する。
〈ユーザ知覚動作〉
　ユーザ知覚動作は、ユーザが、作業を実施するに当たり必要な情報を、五感を介して取得しようとするユーザの動作全般である。例えば、視覚によるユーザ知覚動作は、ユーザの目の動き、ユーザの視線（視線の向き及び動き）、ユーザの注視の位置（範囲）などを含む。また、視覚によるユーザ知覚動作は、感覚器そのものの動きから推定される有効視野の範囲、有効視野の周辺の視野である周辺視野の範囲、有効視野若しくは周辺視野の範囲の変化なども含む。聴覚によるユーザ知覚動作は、例えば、音のする方向に耳を向ける動作、耳に手を当てる動作などのような周辺の音を集音しやすい姿勢をとる動作を含む。他のユーザ知覚動作は、知覚感度を高めるための動作又は無駄な動作を抑える動作を含む。例えば、ユーザ知覚動作は、目をつぶる又は耳を塞ぐなどのような知覚感度を高めたい感覚器以外の感覚器を遮断する行動、振り向いたり体勢を変えたりすることで顔を近づける又は耳を近づけるなどのような、知覚感度を高めたい感覚器を対象に近づける行動など、マクロな動作も含む。
　ユーザの視線又はユーザの注視の位置の検出方法としては、様々な手法が開発されている。例えば、この検出方法として、目頭と虹彩の位置関係から検出する方法、又は、赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）から出力された赤外線をユーザの目に照射して発生する赤外線の角膜反射の位置と瞳孔の位置との関係から検出する方法などが知られている。また、有効視野などのような範囲の計測は、ステアケース法又はプロビット法で計測可能であり、また、非特許文献２に記載された方法でも計測可能である。また、ユーザのマクロな動作を伴うユーザ知覚動作は、行動認識（Ａｃｔｉｖｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ）と総称される分野の技術を用いることで検出可能である。
〈知覚困難空間〉
　現実世界は３次元空間であるため、必ずしも、作業において重要な知覚すべき知覚対象（すなわち、知覚すべき対象物）が知覚できる状況にあるとは限らない。具体的には、ある物体の影に隠れてユーザから見えない位置に、知覚すべき知覚対象が存在する場合がある。例えば、知覚すべき知覚対象は、道路脇に駐車している車両の影から車道に走り出そうとしている子供などを含む。また、知覚すべき知覚対象が、物体の影に完全に隠れていない状況もある。この場合、知覚すべき知覚対象は、道路脇に駐車している車両に、頭の頂部以外の部分を隠している子供、又は、街路樹の隙間を通してのみ視認可能な自転車などを含む。このように、ユーザが、知覚すべき知覚対象を全く知覚することができない範囲（すなわち、部分的な知覚もできない範囲）又は部分的に知覚することができるが（一部分を知覚することができないない）範囲又はこれらの両方の範囲を知覚困難空間と定義する。視覚に関する知覚困難空間は、一般的に死角空間と呼ばれる空間を意味する。知覚困難空間に隠れた知覚対象の存在を予期し、適切に知覚困難空間から出現する可能性のある知覚対象に意識を向けることは、多くの作業を適切に遂行するために必要不可欠なユーザ行動である。
〈阻害対抗知覚動作〉
　一般に、ユーザが知覚困難空間に存在するリスクを認知し、その知覚困難空間に潜む知覚対象を知覚しようとする場合、ユーザは、その知覚困難空間が生じる要因である知覚阻害に対抗し、現状以上に知覚するために、通常のユーザ知覚動作とは異なるユーザ知覚動作を行う。
　通常のユーザ知覚動作は、知覚阻害によって生じた知覚困難空間に対して、阻害されている感覚器の注意を向けることである。具体的な例は、障害物によって生じた知覚困難空間である死角空間が存在し、その死角空間の先（障害物の影の空間部分）が気になる場合に、死角空間に視線を向けるユーザ知覚動作である。一方、現状以上にその死角空間の先（障害物の影の空間部分）を知覚するためには、顔の向きを変える、姿勢を変える、目を凝らす、可能であれば死角空間を生じさせている障害物を移動させる、などのような体動を伴うユーザ知覚動作が発生する場合がある。逆に、特定の感覚器に注意が集中するため、体動の減少を伴うユーザ知覚動作が発生する場合もある。
　上記以外に、ある死角空間に視覚の注意が集中するため、それ以外の物体又は死角空間への視覚的な反応が遅延又は無反応になるなど、感覚器の知覚感度の低下が発生する場合がある。これは、視覚について言えば、有効視野又は周辺視野が狭くなることに相当する。このような感覚器の知覚感度の低下は、阻害されている知覚の感覚器にだけ発生するものではなく、他の感覚器に発生する場合もある。例えば、死角空間に視覚の注意が集中するため、音への反応の低下、つまり聴覚の知覚感度の低下が発生する場合がある。
　以上のように、知覚困難空間に対して積極的に知覚しようとした結果現れる体動又は現時点の知覚対象以外に対する感覚器の知覚感度の低下などのような特徴的なユーザ知覚動作を、阻害対抗知覚動作と言う。
〈作業適性判定装置１３０のシステム構成〉
　図２には、実施の形態１に係る作業適性判定装置１３０のハードウェア構成が概略的に示される。図２は、車両１００に組み込まれた作業適性判定装置１３０を示している。図２に示されるように、車両１００は、周辺物体検出装置１１０と、ユーザ動作検出装置１２０と、作業適性判定装置１３０と、情報提示部１４０と、操作部１５０と、車両制御部１６０とを含む。
　図２の例では、作業適性判定装置１３０が組み込まれた車両１００をユーザが運転することを「作業」と言い、事故なく作業を遂行することができるユーザの状態を「作業を行うのに適切な状態」、すなわち、作業適性度が高い状態と言う。一般に、運転に必要な情報のおよそ８０％は、視覚から得られると言われている。実施の形態１では、説明を簡単にするために、ユーザ知覚動作が視覚による動作である場合を中心に説明する。ただし、本発明は、視覚に限定されるものではなく、視覚以外の感覚を用いても作業適性判定が可能である。
　また、実施の形態１では、ユーザは、車両１００の運転を行う車両利用者である運転者としているが、本発明のユーザは運転者に限定されず、例えば、通常時は、運転を行わないが、例外的な状況においては運転を代行する助手席又は後部座席に座る同乗者がユーザに含まれる場合もある。また、車両１００が自動運転車両である場合は、運転席に座る搭乗者は運転者ではないが、運転席に座る搭乗者は運転操作の一部を行う場合があるので、ユーザに含まれる。
〈周辺物体検出装置１１０〉
　図２に示される周辺物体検出装置１１０は、車両１００の周辺（例えば、進行方向の前方の近傍）に存在する物体を検出するために必要なデータを収集するための各種装置で構成されている。レーダ１１１は、車両周辺に電波を照射し、そのときの反射波を測定することにより、車両１００の周辺に存在する物体の距離又は方向を測る。カメラ１１２は、車両１００の周辺から照射（反射）される光を計測することにより、車両１００の周辺を撮影することで映像情報を取得する。３次元（３Ｄ）スキャナ１１３は、車両１００の周辺にレーザー光などを照射し、その反射光を測定することにより、車両１００の周辺に存在する物体の距離又は方向を測る。センサ１１８は、車両１００の周辺に存在する物体から発信される各種信号を検出するための各種センサである。センサ１１８は、例えば、音を収集するためのマイク、接触状態を計測するための接触センサ、周辺の温度データを収集するための温度センサ、及び赤外線サーモグラフィなどを含むことができる。
　レーダ１１１、カメラ１１２、３Ｄスキャナ１１３、及びセンサ１１８は、必ずしも全て実装されている必要はないが、車両１００には、周辺に存在する物体を検出するために適切な検出器が実装される。
　また、実施の形態１では、レーダ１１１、カメラ１１２、３Ｄスキャナ１１３、及びセンサ１１８は、車両１００の周辺に存在する物体を検出するためのものとしているが、その計測範囲は車両の周辺に限定されず、例えば、ユーザの周辺、例えば、車両１００の内部に関する情報も周辺物体として扱う必要がある場合は、車両１００の内部も計測対象としてもよい。
　通信装置１１４は、ネットワークを経由してサーバ１７１と通信を行い、車両１００の外に存在する物体を検出するために必要なデータ、又は、検出した物体の種別及び属性などのような付加データを入手するために用いられる。また、レーダ１１１、カメラ１１２、３Ｄスキャナ１１３、及びセンサ１１８などで計測したデータをサーバ１７１に送信し、物体の検出処理又は検出した物体の種別及び属性などのような付加データの検索処理などをサーバ１７１に依頼し、その結果を受け取るために通信装置１１４を用いてもよい。また、サーバ１７１は、サービス又は機能を提供するためのコンピュータ（情報処理装置）であるサーバマシンに限定されず、通信装置１１４と通信可能でかつデータを保存することができる装置、又は、情報処理装置を備える機器であれば、特に限定されない。サーバ１７１は、例えば、周辺車両に搭載された情報処理装置、又は、他の情報処理装置であってもよい。
　ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）１１５は、ＧＰＳ衛星１７２からの信号を受信し、車両１００の現在位置を知るために用いられる。現在位置は、通信装置１１４でサーバ１７１に対して送信され、現在位置周辺に存在する建物、標識、道路などのような永続性の高い物体に関する情報を入手するために用いることができる。
　また、地図データ１１７は、車両１００の記憶装置に記憶されており又はサーバ１７１から提供され、現在位置をキーとして、現在位置周辺の地図データを抽出するために用いられる。地図データ１１７は、地球の表面の全体又は一部についての地理的状況をデータ化したものであり、主に周辺の建物、標識、道路などのような永続性の高い物体に関する情報源の１つとして使用することができる。
　過去データ１１６は、車両１００の記憶装置に記憶されており又はサーバ１７１から提供され、車両１００が過去に走行した際に検出された物体に関するデータ又はレーダ１１１、カメラ１１２、３Ｄスキャナ１１３、及びセンサ１１８の出力データなどを含むことができる。過去に検出された物体のうち建物、標識、道路などのような永続性の高い物体に関するデータは、位置データと共に記録されることで、車外の物体を検出する処理負荷を削減することが可能となる。また、出力データについても、同様に、位置データと共に記録しておくことで、同様の効果が得られる。
　レーダ１１１、カメラ１１２、３Ｄスキャナ１１３、及びセンサ１１８は、車両１００の周辺をリアルタイムに計測することで周辺の物体を検出するため、周辺車両、歩行者、自転車などのような移動体の移動状況などを計測するために主に用いられる。一方、通信装置１１４、過去データ１１６、及び地図データ１１７は、過去に計測された結果をもとに作成されたデータを提供する情報源であり、永続性の高い建物、標識、道路などを検出するために用いられる。ただし、通信装置１１４が通信するサーバ１７１は、車両１００の周辺の車両で計測された移動体であってもよく、この場合には、周辺の車両から送信されたデータをリアルタイムに受信することができる。
〈データの具体例〉
　図３は、周辺物体検出装置１１０によって収集されたデータの一例を示す図である。図３の例は、カメラ１１２が、ある時点において車両１００から前方を撮影することで取得された静止画を単純化したものである。図３の静止画は、道路４０１と、道路上に描かれている白線４０２と、歩道の段差４０３と、歩道４０８と、前方車両４０４と、歩行者４０５と、建築物４０６，４０７とを含んでいる。静止画中に、写っている物体の抽出処理を行うために、通信装置１１４からサーバ１７１にこの静止画を転送し、サーバ１７１が持つ画像認識処理を行い、通信装置１１４が認識結果を受け取ってもよい。また、他の方法として、作業適性判定装置１３０の情報処理装置１８１で、静止画から物体を抽出するための画像認識処理を行ってもよい。また、ＧＰＳ１１５から得られる位置データと、地図データ１１７とを用いて、周辺に存在する施設データなどとマッチングをとることで、建築物４０６，４０７などを判定する方法を採用してもよい。なお、カメラ１１２で得られるデータは、静止画データに限定されず、動画データであってもよい。
　図４は、周辺物体検出装置１１０によって収集されたデータの他の例を示す図である。図４の例は、レーダ１１１又は３Ｄスキャナ１１３又はセンサ１１８が、ある時点において車両１００から車両周辺に存在する物体を検出することで取得された３Ｄデータを模式的に示したものである。図４の３Ｄデータは、周辺に存在する物体の高さデータを等高線で表現している。図４のデータは、図３の静止画が撮影されたときと同時に得られたデータである。図３の道路４０１には、図３のデータ５０１の平面が対応する。また、図３の歩道４０８、前方車両４０４、歩行者４０５、建築物４０６，４０７には、図４のデータ５０２，５０３，５０４，５０５，５０６がそれぞれ対応する。また、図３の白線４０２は、道路４０１と高さがほぼ同じであり、歩道の段差４０３は、歩道４０８と高さがほぼ同じであるため、検出精度が低い場合には、図４のように区別されない。以上のように、車両１００の周辺に存在する物体の高さデータが得られると、例えば、図４のデータ５０３，５０４，５０５，５０６に対応する図３の前方車両４０４、歩行者４０５、建築物４０６，４０７が存在することによって、これらの奥の状況（陰になっている部分の状況）が視認できない範囲を導出することが可能であり、このような範囲が知覚困難空間となる。
〈ユーザ動作検出装置１２０〉
　図２に示されるユーザ動作検出装置１２０は、車両１００内のユーザの動作を検出するために必要なデータを収集するための各種装置で構成される。ユーザ動作検出装置１２０は、例えば、ユーザカメラ１２１とユーザセンサ１２２とを含む。ユーザカメラ１２１は、ユーザ動作を検出するために、ユーザを撮影して、ユーザの映像データを取得する。ユーザの映像データを解析することによって、ユーザの体動などが検出可能となる。また、ユーザセンサ１２２は、カメラ以外のユーザ動作を検出するために用いる各種センサである。ユーザセンサ１２２を用いることで、ユーザカメラ１２１では得られないデータを入手することが可能であり、より詳細で正確なユーザ動作を検出することができる。例えば、ユーザセンサ１２２として視線検出センサを用いることで、ユーザの視線、ユーザが注視する方向、を検出可能である。また、ユーザセンサ１２２として着座している座席面に面圧センサを備えることで、ユーザの体動又は心拍を検出することが可能である。また、ユーザセンサ１２２として赤外線サーモグラフィを用いることで、ユーザの表面温度又はその変化を検出可能である。なお、ユーザ動作検出装置１２０は、ユーザカメラ１２１とユーザセンサ１２２の一方だけを含んでもよい。また、ユーザ動作検出装置１２０は、複数のユーザカメラ１２１を備えてもよいし、複数のユーザセンサ１２２を備えてもよい。
〈作業適性判定装置１３０〉
　図１及び図２に示される作業適性判定装置１３０は、周辺物体検出装置１１０及びユーザ動作検出装置１２０で計測した各種計測データをもとに、ユーザの作業適性判定を行う情報処理装置１８１と、記憶装置１８２とを有する。情報処理装置１８１は、計測データをもとにユーザの作業適性判定を行う。具体的には、情報処理装置１８１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ）又はＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのプロセッサを含む。また、記憶装置１８２は、ユーザの作業適性判定を行うために必要なデータを一時的に保存するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及び情報処理装置１８１が実行する作業適性判定プログラムを格納するメモリなどを含む。
　実施の形態１では、説明を簡単にするために、作業適性判定を行うための情報処理は、作業適性判定装置１３０内で行う場合を説明するが、周辺物体検出装置１１０で説明した通り、全ての作業適性判定に関連する処理を作業適性判定装置１３０内で行う必要はなく、必要に応じて通信装置１１４を経由してサーバ１７１で処理を行う分散処理の形態をとってもよい。したがって、作業適性判定プログラムは、サーバ１７１に格納されてもよい。
〈情報提示部１４０〉
　図２に示される情報提示部１４０は、ユーザ又は同乗者に対して何らかの情報を提示するために用いられる装置である。情報提示部１４０は、人間の五感に刺激を与えることで何らかの情報を提示する装置である。情報提示部１４０の代表例は、映像情報を提示する液晶ディスプレイなどのような表示装置である。情報提示部１４０は、ＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）、音情報を提示するスピーカ、各種アクチュエーターを用いて人間の触覚に刺激を与える触覚ディスプレイ、香りを放出して人間の嗅覚に刺激を与える嗅覚ディスプレイなどを含むことができる。
〈操作部１５０〉
　図２に示される操作部１５０は、ユーザ又は同乗者がユーザ指示を入力するための操作を行う操作装置である。操作部１５０は、車両１００及び車両１００に実装されている各種装置の操作を行うための装置である。操作部１５０は、例えば、ハンドル、ブレーキペダル、アクセルペダルなどのようなユーザが車両を運転する作業を実施するために用いられ運転制御に必要な運転操作部を含むことができる。運転操作部は、後述する車両制御部１６０への制御指示を送出する。また、操作部１５０は、タッチパネル又はリモートコントローラなどのような情報入力操作部を含むことができる。情報入力操作部は、情報提示部１４０又は各種の情報処理装置１８１への制御指示を送出することができる。
〈車両制御部１６０〉
　図２に示される車両制御部１６０は、車両１００を動作させるために、車両の全体の制御を行うための制御装置である。車両制御部１６０は、ユーザが操作部１５０を介して行った操作の内容に基づいて、車両１００の動作を制御する。
《１－３》動作
〈アルゴリズム〉
　図５には、作業適性判定装置１３０が行う基本処理を示すシーケンスが示されている。車両１００が起動されると、作業適性判定装置１３０は、初期化処理２０１を実行する。初期化処理２０１は、作業適性判定装置１３０が適切に動作を実行するために要求される処理である。
　初期化処理２０１を完了すると、作業適性判定装置１３０は、メインループ処理２０２を実行する。メインループ処理２０２は、車両１００の動作が終了するまで繰り返される内部処理である。
　車両１００の動作の終了のための処理が開始すると、メインループ処理２０２の中断要求が発生し、この中断要求をトリガとして、作業適性判定装置１３０は、メインループ処理２０２を中断し、終了処理２０３を実行する。作業適性判定装置１３０は、終了処理において、次回の車両１００の起動に備えて、作業適性判定装置１３０を初期化可能な状態に戻す。
〈計測データ待機処理３０１〉
　図６は、実施の形態１におけるメインループ処理２０２の内部処理を詳細に示すシーケンス図である。メインループ処理２０２では、先ず、計測データ待機処理３０１が行われる。計測データ待機処理３０１では、作業適性判定装置１３０は、周辺物体検出装置１１０とユーザ動作検出装置１２０に対して、それぞれの計測データを提供するように要求し、その計測データが提供されるのを待機する。ただし、計測データの提供要求は、初回の１回のみ実行し、その後は、ストリーム処理で、記憶装置１８２上の定められた領域に、周辺物体検出装置１１０とユーザ動作検出装置１２０が計測データを書込むことで、イベントを作業適性判定装置１３０に通知してもよい。
〈ユーザ知覚動作検出処理３０５〉
　ユーザ動作検出装置１２０からユーザ動作計測データが提供された場合、作業適性判定装置１３０は、ユーザ動作計測データ取得処理３０４を行い、ユーザ動作計測データを取得する。その後、ユーザ知覚動作検出処理３０５でユーザがどのようなユーザ知覚動作を行っているのかを検出する。実施の形態１では、視覚によるユーザ知覚動作を検出する場合を例示する。ユーザ動作検出装置１２０のユーザセンサ１２２として、視線検出センサを実装している場合には、ユーザ動作計測データ取得処理３０４では、作業適性判定装置１３０は、計測時点のユーザの視点位置、視線方向、目の焦点位置などを取得することができる。また、作業適性判定装置１３０は、ユーザ動作検出装置１２０のユーザカメラ１２１から計測時点におけるユーザの姿勢が移った映像を取得することができる。作業適性判定装置１３０は、これらの取得データからユーザ知覚動作検出処理３０５を行い、ユーザの視点位置、視線方向、焦点位置などのような瞬間的なユーザ知覚動作の状況を取得することができ、これの時系列データから注視方向及び視野範囲を導出し、ある時間窓内におけるユーザの注意及び関心状況を導出することができる。
　ユーザ知覚動作検出処理３０５の検出結果は、記憶装置１８２に保存され、他の処理過程において、参照可能としてもよい。他の処理についても、同様に、処理結果を記憶装置１８２に保存し、他の処理過程において参照可能としてもよい。
　一般的に、ユーザ知覚動作検出処理３０５で検出したユーザ知覚動作Ｂは、「ｌ」と「ｍ」を正の整数とし、「＊」をｌ又はｍ以下の正の整数としたときに、
ユーザ動作計測データ取得処理３０４で取得されたデータＤｐ＊の集合
｛Ｄｐ１，Ｄｐ２，…，Ｄｐｌ｝と、
ユーザ知覚動作検出処理３０５で検出された結果Ｂｐ＊の集合
｛Ｂｐ１，Ｂｐ２，…，Ｂｐｍ｝との積集合、すなわち、
｛Ｄｐ１，Ｄｐ２，…，Ｄｐｌ｝∩｛Ｂｐ１，Ｂｐ２，…，Ｂｐｍ｝
で表現可能である。以降、表現を簡単化するため、Ｄｐ＊を、便宜上Ｂｐ＊として表現し
Ｂ＝｛Ｂｐ１，Ｂｐ２，…，Ｂｐｍ｝
と表現する。
　計測データ待機処理３０１で周辺物体検出装置１１０からの計測データが提供された場合、周辺物体計測データ取得処理３０２が行われ、作業適性判定装置１３０は、計測データを取得する。その後、知覚困難空間検出処理３０３で、ユーザが知覚することが困難な知覚困難空間が検出される。
〈知覚困難空間の基本判定処理〉
　図７は、視覚による知覚に対する具体的な知覚困難空間検出処理を示す図である。図７は、ユーザ６０１に対するユーザ知覚動作検出処理３０５を行うことによって、ユーザ６０１の視点位置６０２が導出され、周辺物体検出装置１１０によって周辺物体６０３が検出された状況を示している。このとき、ユーザの視点位置６０２を基準として、見える周辺物体６０３の外周から先の空間（周辺物体の影にかくれている空間）は、周辺物体６０３が要因となる知覚困難空間６０６であることが、導出可能である。図７は、説明を簡単化するために、２次元で表現されている。現実世界の空間は、３次元であるが、図７の説明は、３次元にも適用可能である。また、複数個の周辺物体が存在している状況であっても、各周辺物体に対して同様の処理を行えば、知覚困難空間を導出可能である。また、図７では、視覚に関して記述しているが、本発明は、視覚に限定されるものではなく、また、単一感覚器に限定されるものでもない。例えば、視覚ではなく聴覚に関して知覚困難空間を求めてもよく、また、視覚と聴覚に関して知覚困難空間を求めてもよい。
〈知覚困難空間の重要度判定処理〉
　図６に示される知覚困難空間検出処理３０３において、知覚困難空間の検出に加えて、検出された知覚困難空間（死角空間）の重要度を判定することも可能である。
　重要度の尺度として、「知覚困難空間の大きさ」がある。知覚困難空間の大きさは、その知覚困難空間に知覚対象がどれだけ隠れやすいのかを示す指標であるとみなすことができる。ここでは、知覚困難空間が大きいほど、重要度が高くなる。
　重要度の他の尺度として、「知覚困難空間とユーザ又は車両との距離」がある。この距離は、その知覚困難空間に隠れた知覚対象が表出したときに、例えば、知覚対象との接触を回避するための猶予を表す指標とみなすことができる。ここでは、距離が短いほど、重要度が高くなる。
　重要度の他の尺度として、「知覚困難空間の大きさの変化量」がある。この大きさの変化量が大きければ、時間経過と共に知覚困難となる範囲が広がる指標とみなすことができる。ここでは、知覚困難空間が大きさの変化量が多きいほど、重要度が高くなる。
　重要度の他の尺度として、「知覚困難空間の移動速度」又は「移動方向」又は「移動加速度」がある。「移動速度」又は「移動方向」又は「移動加速度」は、その知覚困難空間に隠れた知覚対象が表出したときの回避猶予を表す指標とみなすことができる。ここでは、知覚困難空間が接近する方向の移動である場合には、移動速度が速い及び移動速度の増加率が大きいほど、重要度が高くなる。
　また、重要度の他の尺度として、知覚困難空間内の知覚の困難さの度合いがある。知覚の困難さの度合いが低ければ、隠れる知覚対象を見つけることは、少ない労力で対応できるが、度合が高ければその労力は、比例して多くなるためである。例えば、街路樹によって知覚が阻害されることによって生じた知覚困難空間は、街路樹の隙間から、街路樹の影の空間を伺い知ることができるため、トラックによって生じた知覚困難空間のように、トラックの影の空間を全く伺い知ることができない場合より、困難さは低い。ここでは、知覚困難空間内の知覚がし難いほど、重要度が高くなる。
　また、知覚困難空間の知覚を阻害する要因となる物体の顕著性が平均より低い場合、ユーザが反射的に要因となる物体を見る確率は低いので、その先（要因となる物体の影の領域）に存在する知覚困難空間に気が付く可能性も低くなる。そのため、このような場合は、知覚困難空間の重要性は高くなると解釈することができる。
　知覚困難空間の重要度の度合いは、知覚を阻害する物体の種別によって予め定めてもよいし、周辺物体検出装置１１０によって計測された物体の計測データから隙間又は透過性、顕著性の有無を判定し、これらの値を用いて動的に算出してもよい。
　以上のように、知覚困難空間自身の特性、知覚困難空間とユーザ又は車両などのような他要素との関係から導かれる特性を用いて、知覚困難空間の重要度が算出される。また、知覚困難空間の重要度を、唯一の尺度だけで算出するのではなく、複数の尺度を用いて（上記重要度の尺度の２つ以上の組み合わせによって）、それぞれに重み係数を掛けた値を用いて算出してもよい。
〈知覚困難空間との作業との関連を考慮した重要度判定処理〉
　さらに、知覚困難空間の判定処理、及び重要度判定処理において、ユーザが現在遂行すべき作業の内容を考慮した判定処理を行うことも可能である。例えば、実施の形態１における作業は、車両の運転であり、走行中の車両と衝突する可能性のある周辺物体を認知する必要がある。一般的に、衝突の可能性のある周辺物体は、車両１００が走行中の道路と同等の高さの平面に停止又は移動する物体であり、ある一定以上の高さに存在する物体については、それ自身と車両との衝突の危険性が低く、かつその物体によって生じた知覚困難空間に一般的な交通上の物体が隠れている可能性は低い。
　また、同様に、車両１００の位置から一定の距離以上離れた位置の物体によって生じる知覚困難空間、又は、一定の距離内に存在する物体によって生じた知覚困難空間に対して、車両１００の位置から一定以上の距離離れている空間についても、そこから出現する潜在的な物体との回避には、十分な距離的な猶予があるため、衝突の危険性が低い。
　さらに、前述の高さ及び距離の範囲内に存在する知覚困難空間であっても、知覚困難空間と車両１００の間に物体の移動を妨げる物体が存在している場合、その知覚困難空間の内に潜在する（隠れている）物体が車両に向かって移動する可能性は低い。具体的な状況を例示すると、切れ目のない塀によって生じた知覚困難空間は、その塀によってその先に隠れている人又は車両が塀を通過して移動する可能性は低い。逆に、道路脇に連続して駐車中の車両の列には、一般的に、人が通過できる程度の隙間が生じるため、その車両列は、切れ目があるため、その車両列によって生じる知覚困難空間に隠れている物体が車両１００に向かって移動する可能性は高い。
　図８は、知覚困難空間の重要度の判定方法の一例を示す図である。ここでは、ユーザ７０１が、視点位置７０２を基準として、車両を運転中である場合を説明する。車両の周辺には、周辺物体７０３が存在する。周辺物体７０３が要因となって知覚困難空間７１０が生じる。知覚困難空間７１０の重要度を算出するために用いられるパラメータとして、視点位置７０２と周辺物体７０３との間の最短距離７１１を用いる。知覚困難空間７１０の重要度は、最短距離７１１と反比例する、又は、最短距離７１１と負の相関を持つ。つまり、ユーザ７０１が周辺物体７０３に近づくほど、最短距離７１１は短くなるため、知覚困難空間７１０の重要度は高くなる。
　また、知覚困難空間７１０の重要度を算出するために用いられる他のパラメータとして、知覚困難空間７１０の大きさがある。知覚困難空間７１０の大きさの尺度は、例えば、知覚困難空間７１０の最もユーザ７０１に近い側の表面の面積７１２、又は、知覚困難空間７１０の最もユーザ７０１に近い側の表面からユーザ７０１から一定距離７０７、離れた面までの間に含まれる知覚困難空間７１０の部分７０９の体積（図９における網掛け領域の体積）である。これらの値を用いて、知覚困難空間７１０の重要度を算出した場合、この重要度は、面積７１２又は図９における網掛け領域の体積に比例するか又は正の相関を持つ。
　図９は、知覚困難空間７１０の重要度の判定方法の他の例を示す図である。図９では、図８に対して周辺物体８０１及び信号機８０２が追加されている。図９は、ユーザ７０１の作業の内容を考慮し、知覚困難空間７１０のうちの高さ８０３より上に存在する部分（薄い網掛け領域）は、重要度を低くし、また、知覚困難空間７１０のうちの距離７０７より遠くにある部分（網掛けしていない領域）は、無視する場合を示している。
　先ず、距離７０７について考慮して知覚困難空間を考えた場合、周辺物体８０１及び信号機８０２は、距離７０７よりも遠い位置に存在しているため、それらが要因となり生じる知覚困難空間は、無視される。一方、周辺物体７０３は、距離７０７より近い位置に存在しているため、周辺物体７０３が要因となって生じる知覚困難空間は存在していると判定される。さらに、高さ８０３に関する条件を考慮すると、知覚困難空間は、２種類の空間部分、すなわち、高さ８０３以下の範囲に存在する空間部分（知覚困難空間）８０５と、高さ８０３より高い範囲に存在する空間部分（知覚困難空間）８０４に分割される。このとき、知覚困難空間８０４は、知覚困難空間８０５よりも重要度は、低い値と判定される。ユーザ７０１が前進し、距離７０７の範囲に信号機８０２が入ると、信号機８０２が要因となり知覚困難空間が発生する。
　図９の例では、高さ８０３より高い範囲の知覚困難空間の重要度を低く設定し、距離７０７より遠い位置に存在する知覚困難空間は、無視する条件を設定しているが、本発明は、このような条件に限定されるものではない。知覚困難空間の大きさを制限する条件は、作業の内容を考慮した他の条件であってもよい。
　以上のように、知覚困難空間が存在していたとしても、作業の内容を考慮した場合、作業にとって支障又は危険性がない又は殆どないと判断して、知覚困難空間の一部の存在を無視する、又は、知覚困難空間の一部の重要度を低くすることが妥当な場合がある。逆に、知覚困難空間の一部が作業にとっての支障が大きい場合又は危険性が高い場合、知覚困難空間の一部の重要度を高くすることが妥当な場合もある。
　よって、作業の内容を考慮する知覚困難空間の判定及び重要度判定の処理は、最初に作業の内容は、考慮せずに、知覚困難空間を検出した後に、作業の内容から規定された条件を満たすか否かで検出した知覚困難空間のフィルタリング又は重要度付けを行うことで実現可能となる。このときの作業の内容から規定された条件は、道路面からの高さ、車両からの距離、知覚困難空間内の物体の出現を阻害する物体の有無に限らず、作業の内容から他の条件を用いてもよい。
　以上に説明した知覚困難空間検出処理３０３（図６）で検出された知覚困難空間の重要度は、以下のようにまとめることができる。
　ある知覚困難空間Ｘに対して、知覚困難空間Ｘ自身の形状及び大きさ、知覚困難空間Ｘとユーザが運転する車両との間の距離、それらの時系列変化となる変化量などの、知覚困難空間Ｘ自身が持つ特性ｇＸｉに基づく重みをｗ（ｇＸｉ）と表記し（ｉは、正の整数）、
　知覚阻害の要因となる物体の影響である透過度又は隙間の割合、その知覚阻害の要因となる物体の持つ顕著性などのような要因となる物体の知覚的特性ｐＸｉに基づく重みをｗ（ｐＸｉ）と表記し、
　ユーザが遂行する作業の内容を考慮した条件ｃＸｉに基づく重みをｗ（ｃＸｉ）と表記したときに、
　知覚困難空間Ｘの重要度ＷＸは、次式で表現される。
Figure JPOXMLDOC01-appb-M000001
 　また、このときの知覚困難空間Ｘは、自身が持つ特性の集合
ＧＸ＝｛ｇＸ１，ｇＸ２，…，ｇＸｎ｝
として表現可能である。
　ここでは、各重みｗ（ｇＸｉ）、ｗ（ｐＸｉ）、ｗ（ｃＸｉ）は、互いに独立であることを前提とした合計値で重要度ＷＸを表現したが、重要度ＷＸの算出は式１に限定されるものではない。重要度ＷＸは、上述の各特性などを用いて算出されてもよい。例えば、ユーザが遂行する作業の内容を考慮した条件ｃ＊ｉは、ある一定の条件を満たした場合、その知覚困難空間は、棄却すると前述した。その場合は、例えば、条件ｃ＊ｉに対する閾値をＴＣ＊ｉとした場合、例えば、以下の式２及び３で表現可能である。
Figure JPOXMLDOC01-appb-M000002
〈作業適性度算出処理３０６〉
　図６の作業適性度算出処理３０６では、知覚困難空間検出処理３０３で検出された知覚困難空間及びその重要度、ユーザ知覚動作検出処理３０５で検出されたユーザ知覚動作をもとに、その時点のユーザが作業をどの程度適切に遂行できるかを示す作業適性度を算出する。
　実施の形態１では、視覚的な知覚困難空間に隠れている知覚対象を予期できているかを作業適性の尺度として例示する。
〈基本的な作業適性度算出処理の例〉
　上述の知覚対象の予期が適切に起きている場合は、その知覚困難空間とユーザ知覚動作との間に相関が発生する。具体的には、知覚困難空間とユーザの視線ベクトルが交わる、知覚困難空間の移動ベクトルとユーザの視線移動ベクトルが類似する、知覚困難空間の持つ特性のうち１つ以上の特性で急激な変化が発生した際に、ユーザの視線ベクトルがその知覚困難空間に交わるように変化する、などがある。
　なお、知覚困難空間に対して視線移動の回数又は頻度、視線の滞留時間の増減をもとに相関を求めるなど、他の方法を用いてもよい。
　このような相関は、対象となるデータを時系列データとして、相関係数などを用いることで算術的に導出可能である。ある知覚困難空間Ｘに対する相関ＣＲＸは、その知覚困難空間Ｘの特性ＧＸと、ユーザ知覚動作Ｂを用いて、次式４のように表現可能である。
Figure JPOXMLDOC01-appb-M000003
 ここで、「ｆｉ（）」は、前述の知覚困難空間Ｘとユーザ知覚動作Ｂの間のある基準ｉに従った相関などのような関係を表現する値を算出する関数であり、αｉは、基準ｉに対する重みである。また、ユーザ知覚動作Ｂは、ある特定の時点のユーザ知覚動作だけではなく、ある時系列窓の範囲の時系列データとして、ユーザ知覚動作Ｂとしてもよい。知覚困難空間Ｘの特性ＧＸについても同様である。
　ＣＲＸの値の大小は、ユーザが知覚困難空間Ｘをどの程度、知覚しようと意識しているかを表している尺度とみなすことができる。例えば、大きい値であればその知覚困難空間Ｘによって判断される作業適性度は高く、小さい値であれば作業適性度は低い、と解釈できる。また、その時点の全ての知覚困難空間の相関ＣＲＸの平均値は次式５のようになる。
Figure JPOXMLDOC01-appb-M000004
 これは、その時点での網羅的にユーザ知覚困難空間を知覚しようと意識しているかを表す尺度である。ここでＮは、その時点で検出された知覚困難空間の個数（正の整数）である。
〈知覚困難空間の重要度を用いた作業適性度算出処理の例〉
　また、知覚困難空間から算出した各知覚困難空間の重要度を考慮してＣＲＸを求めることもでき、次式６のように定式化可能である。
Figure JPOXMLDOC01-appb-M000005
　これまでに説明したＣＲＸ又は、ＣＲを作業適性度算出処理３０６は、作業適性度の１つとして算出する。その算出結果を少なくとも用いて、ユーザの作業適性度を判定するユーザ作業適性判定処理３０７が行われ、その時点でのユーザの作業適性が判定される。ユーザ作業適性判定処理３０７が完了後、再び計測データ待機処理３０１に戻り、処理を繰り返す。また、車両１００の終了処理が開始すると、図６のどの処理が行われていたとしても、速やかに中断処理を行い、メインループ処理２０２を中断可能である。
〈阻害対抗知覚動作を含む場合〉
　これまでに説明した方法は、ある通常のユーザ知覚動作に限定するものではない。前述の通りユーザ知覚動作には、知覚困難空間へ積極的に知覚を試みる阻害対抗知覚動作があり、その特性を考慮した作業適性度算出も可能である。その場合、ユーザ動作計測データ取得処理３０４で取得されたデータとして、視覚に関するデータ以外にも体動に関するデータも含めて取得し、ユーザ知覚動作検出処理３０５で体動に関するデータから体動の増減と通常のユーザ知覚動作との相関関係より阻害対抗知覚動作を行っているか否か、行っている場合のその程度を判定する。体動に関連した阻害対抗知覚動作の程度ＢＣは、ユーザ知覚動作検出処理３０５で検出し、合わせて検出されたユーザ知覚動作Ｂと組みとして、阻害対抗知覚動作の程度ＢＣを付加して作業適性度算出処理３０６に渡す。
　また、感覚器への反応感度の変化については、現在ユーザが注意を向けている知覚困難空間以外の知覚困難空間又は他の周辺環境、及びそれらの変化に対する各感覚器での反応時間などでその感覚器の知覚感度の低下の程度を算出することができる。感覚器への反応感度の変化を伴う阻害対抗知覚動作の程度ＳＣは、ユーザ知覚動作検出処理３０５で検出し、合わせて検出されたユーザ知覚動作Ｂ又は体動変化を伴う阻害対抗知覚動作の程度ＢＣと組みとして、作業適性度算出処理３０６に渡す。
　作業適性度算出処理３０６でのＳＣ及びＢＣを用いた作業適性度の算出方法について説明する。ＳＣ及びＢＣについては、そのときのユーザ知覚動作Ｂとの組みであり、ユーザ知覚動作Ｂよりどの知覚困難空間Ｘに対して向けられた阻害対抗知覚動作であるのかが判別可能である。例えば、視覚であれば視線ベクトル、聴覚であれば周波数範囲などで判別する。阻害対抗知覚動作の対象は、より一般的に表現すると、確率的表現、知覚困難空間Ｘが阻害対抗知覚動作の対象である確率値ＣＰＸとして表現可能である。
　ある知覚困難空間Ｘに対する相関ＣＲＸは、次式７で表現可能である。
Figure JPOXMLDOC01-appb-M000006
 ここでＣＷ（Ｂ，ＳＣ，ＢＣ，ＧＸ）及びＣＣ（Ｂ，ＳＣ，ＢＣ，ＧＸ）は、それぞれ阻害対抗知覚動作の程度が相関Σｉαｉｆｉ（ＧＸ，Ｂ）に対して影響を与えた場合の重みと切片である。具体的には、知覚困難空間Ｘに対してその阻害対抗知覚動作が向いていれば、重み又は切片は、大きい値となり、逆に向いていなければ重み又は切片は、小さい値となり場合によっては、負の値となる。また、重み又は切片は、同時に適用する必要はなく、一方だけを適用してもよいし、どちらも適用しなくてもよい。これら重み又は切片は、ある定められたテーブルをもとに決定してもよいし、あるモデルを構築し、毎回モデルベースで算出してもよい。また、阻害対抗知覚動作の考慮は、常時行わなくとも、知覚困難空間が少なくとも１つ以上存在する場合に考慮して相関ＣＲＸを算出して、処理負荷の削減を行ってもよい。
〈作業を考慮した場合〉
　更なる作業適性度算出の方法を説明する。ユーザが遂行すべき作業の内容によっては、知覚困難空間に対する知覚の意識が偏る場合があり得る。実施の形態１の車両の運転においては、死角空間からの飛び出しに意識を持つべきであるということを考慮すると、知覚困難空間を万遍なく知覚する必要はなく、知覚困難空間に限って言えばその境界線の周辺に知覚を偏重させるべきである。
　図１０を用いて、作業の内容を考慮した作業適性度算出の方法を説明する。図１０は、ユーザ６０１の視点位置６０２を基点として、周辺物体６０３によって生じる知覚困難空間６０６が存在している状況を示す図である。このとき、一般的に周辺物体６０３は、物体の通過が困難であるため、その周辺物体６０３を通過して知覚対象となる人などが点６１１、点６１２を結ぶ線分を含む平面から出現する可能性は低い。一方、点６１１又は、点６１２付近を経由して知覚対象となる人などが出現する可能性は高い。つまり、知覚困難空間に対して知覚を意識すべき程度（知覚重要度）は、均一ではなく、その作業の内容によって偏りが生じる。
　図１１は、周辺物体６０３上の点６１２から点６１１に至る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。この例では、点６１１付近が最も近く重要度が高く、その次に、点６１２付近が高い重要度となっている。この場合、点６１１又は点６１２付近に視線が向いている場合の方が、点６１１から点６１２の間に視線が向いている場合よりも作業適性度を高く算出することによって、作業の内容を考慮した作業適性度算出が可能となる。これは、相関ＣＲＸを算出する際の基準ｉの一つとみなすことが可能である。
　図１２を用いて、更なる作業の内容を考慮した作業適性度算出の方法を説明する。図１２は、図１０における周辺物体６０３が他車両である場合に、ユーザ６０１の視点位置６０２を基点として、周辺物体６０３によって生じる知覚困難空間６０６が存在している状況を示す図である。周辺物体６０３の属性である他車両を判別するための情報は、周辺物体検出装置１１０から取得されるデータから機械学習などのようなアルゴリズムを用いて、データのクラスタリングを行うことで実現可能である。他車両６０３は、側面にドア６２１，６２２があり、他車両６０３内部から搭乗者が出てくる可能性がある。そのため図１０の状況とは異なり、点６１１，６１２付近に視線を向けるだけでなくドア６２１，６２２から線点６１１，６１２を結ぶ線分に射影した点６２３，６２４を結ぶ線分、点６２５，６２６を結ぶ線分付近にも視線を向けるべきである。
　図１３は、図１２の状況において周辺物体６０３上の点６１２から点６１１に至る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。この例では、ドア６２１，６２２に相当する点６２３，６２４を結ぶ線分と点６２５，６２６を結ぶ線分で知覚重要度が高くなっている。この例では、どちらもユーザ６０１に近い側の点６２６，６２４から遠い側の点６２５，６２３に向かって単調減少する例を示しているが、これは、他車両６０３がユーザ６０１の向く向きと同じ方向を向いて駐車しているため、ドア６２１，６２２は、ユーザに近い側が開く構造となっているため、それに対応する点６２６，６２４の方が知覚重要度は高くなっている。
《１－４》効果
　以上に説明したように、実施の形態１に係る作業適性判定装置１３０、作業適性判定方法、及び作業適性判定プログラムにおいては、作業を遂行するために必要な知覚を阻害された空間である知覚困難空間に対し、ユーザがどの程度意識しているのかをユーザの知覚行動との関係性によって、ユーザがその時点においてその作業を遂行するために適切な状況にあるのかを判定することが可能となる。そのとき、知覚困難空間は、それ自身を知覚できないが故に、それ自身の顕著性による反射的な反応か、知覚困難に対する危険予知などのような作業遂行上の認知の結果の反応であるのかどうかの区別が容易となっている。このため、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができる。
《２》実施の形態２
　図１４は、図５のメインループ処理２０２の他の内部処理を詳細に示すシーケンス図である。図１４において、図６と同じ処理には同じ符号を付す。実施の形態２においては、実施の形態１と異なる点を中心に説明する。図１４に示される内部処理は、知覚対象検出処理３１１とユーザ知覚対象判定処理３１２とが追加されている点において、図６（実施の形態１）に示される内部処理と異なる。また、実施の形態２の作業適性判定装置は、知覚対象検出処理３１１を実行する知覚対象検出部１３４（図１）とユーザ知覚対象判定処理３１２を行うユーザ知覚対象判定処理部１３５（図１）とを有する点において、実施の形態１のものと異なる。これらの処理を追加することによって、実施の形態２に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムにおいては、ユーザの周辺に存在する知覚対象を検出し、検出された知覚対象のうちのいずれの対象物がユーザに知覚されているかの判定を行い、知覚されている対象物についての情報（判定の結果）を用いてユーザの作業適性判定を行う。この点を除いて、実施の形態１は、実施の形態２と同様である。なお、実施の形態２の説明に際しては、図１及び図２をも参照する。
　図１４に示される知覚対象検出処理３１１では、周辺物体計測データ取得処理３０２で取得された周辺物体に関する情報をもとに、ユーザが作業を行うに当たり知覚すべき対象物が検出される。
　図１５は、図１４の知覚対象検出処理３１１を説明するための図である。ユーザ７０１の周辺の対象物としては、道路９０１、白線９０２、歩道の段差９０３、前方を走行中の車両９０４、歩道を歩行中の歩行者９０５が存在し、その他に空、雲、鳥、飛行機など多様な周辺物体が存在する。周辺物体検出装置１１０は、これら周辺の対象物のデータを区別することなく、一連のデータとして取得する。
　通常、ユーザ７０１が作業を遂行するに際には、ユーザ７０１は、周辺物体の全てを認識する必要はなく、多数の周辺物体のうちの一部の周辺物体を認識すればよい。ユーザ７０１としての運転者が認識すべき周辺物体は、例えば、白線９０２、歩道の段差９０３、前方を走行中の車両９０４、歩行者９０５である。このため、図１４の知覚対象検出処理３１１では、道路９０１などのような認識する必要のない周辺物体の情報をフィルタリングすることで除去する。このフィルタリングは、周辺物体検出装置１１０から取得される周辺物体の検出データから、機械学習などのような既知のアルゴリズムに基づく物体認識技術などを用いることによって実行することができる。このフィルタリングの結果として、フィルタリングの時点において認識（知覚）すべき対象物の種類、形状、位置、サイズなどのような対象物の属性情報を抽出することができる。また、検出された対象物の属性情報を時系列に取得し、検出時刻の異なる属性情報を比較することで、属性情報の変化量を抽出してもよい。
　図１４におけるユーザ知覚対象判定処理３１２では、知覚対象検出処理３１１の検出結果である知覚すべき対象物の属性情報のリストと、ユーザ知覚動作検出処理３０５で検出されたユーザ知覚動作の情報とをもとに、知覚すべき対象物が、ユーザに知覚されている確率を判定する。
　図１６は、図１４のユーザ知覚対象判定処理３１２を説明するための図である。図１６は、図１５に対して知覚対象検出処理３１１で検出された視線の先の位置（対象物上の位置）の移動時系列データ９１１を重畳して表示した図である。視線の先の位置の移動時系列データ９１１は、点９１２を起点として、線分の変化点（線分の曲がっている箇所）が次に検出された視線の先の位置を示し、点９１３が最新の視線の先の位置である。この場合には、白線９０２から順に、歩道の段差９０３、白線９０２、歩道の段差９０３、歩行者９０５、歩道の段差９０３と視覚的な注意が移動していることを示す。このような場合、例えば、白線９０２、歩道の段差９０３、歩行者９０５は、ユーザに認知されていると解釈できる一方、前方走行車両９０４は、ユーザに認知されていないと解釈できる。
　また、認知の度合いとして、視線の維持時間、又は視線が離れてからの経過時間、又はこれらの両方を考慮した重み付け係数を用いることが可能である。具体的には、ある知覚対象Ｙに対して視線が向いた回数、又は視線が向いている維持時間、又は視線が離れてからの経過時間、又はこれらの内の幾つかの組み合わせなどのような、ユーザの知覚行動に関連するパラメータをｚｉとした場合の各パラメータの重みをＷ（ｚｉ）として表現した場合、知覚対象Ｙをユーザが認知しているかの尺度Ｐ（Ｙ）は、次式８で表現することが可能である。
Figure JPOXMLDOC01-appb-M000007
　ユーザの知覚対象に関連するパラメータとして、ユーザの視線が知覚対象に向いた回数を用いて図１６における各知覚対象をユーザが認知しているかの尺度を算出する例は、以下のようになる。
　Ｐ（白線９０２）＝５
　Ｐ（歩道の段差９０３）＝６
　Ｐ（前方走行車両９０４）＝０
　Ｐ（歩行者９０５）＝４
この場合には、歩道の段差９０３が最も知覚の程度が高い対象（すなわち、認知の尺度が大きい）と判断される。
　他のパラメータとして、例えば、連続して視線が向いている回数の最大値をパラメータとした場合に、図１６における各知覚対象をユーザが認知しているかの尺度を算出する例は、以下のようになる。
　Ｐ（白線９０２）＝４
　Ｐ（歩道の段差９０３）＝４
　Ｐ（前方走行車両９０４）＝０
　Ｐ（歩行者９０５）＝４
この場合は、前方走行車両９０４以外は、知覚の程度が同じレベルである（すなわち、認知の尺度が同じ程度である）と判断される。
　ユーザの知覚行動に関するパラメータは、上記パラメータに限定されず、それ以外のパラメータを定義してもよい。
　実施の形態２においては、ユーザ知覚対象判定処理３１２、知覚困難空間検出処理３０３、ユーザ知覚動作検出処理３０５の出力を用いて、作業適性度算出処理３０６を行う。上記実施の形態１では、知覚困難空間検出処理３０３とユーザ知覚動作検出処理３０５を用いて、知覚困難空間Ｘとユーザ知覚動作の相関ＣＲＸを求め、これらから作業適性度を算出する例を説明した。これに対し、実施の形態２では、ユーザ知覚対象判定処理３１２の出力をさらに用いて、作業適性度を求める指標を算出する。ユーザ知覚対象判定処理３１２では、周辺物体毎に、ユーザが周辺物体をどの程度認知しているかの尺度に基づいた値が出力される。
　例えば、物体Ｕについての尺度をＰ（Ｕ）と表現したとき、Ｐ（Ｕ）の合計値Ｖ＝ΣＵＰ（Ｕ）は、その時点で周辺に存在するすべての物体に対してユーザがどの程度認知しているかを表す値である、解釈可能である。この合計値Ｖを、作業適性度の一例である。この算出例は、一例にすぎず、他の算出方法を採用してもよい。例えば、物体Ｕの種別又は物体Ｕの種別以外の特性に応じて、尺度Ｐ（Ｕ）に重み付けして、重み付けされた合計値を作業適性度とすることも可能である。
　また、物体Ｕがある知覚困難空間の周辺（近傍）に存在する場合、その物体Ｕは、物体Ｕの一部が当該知覚困難空間に隠ぺいされている場合がある。また、他の物体Ｙが直前まで存在していなかったがある知覚困難空間の周辺から出現した場合がある。このように、知覚困難空間の周辺に分布する物体については、それ以外の物体よりも優先される知覚対象であると解釈でき、その場合には、尺度Ｐ（Ｕ）の重み付けを大きくして、重み付けされた合計値を作業適性度とすることも可能である。
　以上に説明したように、実施の形態２に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムにおいては、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、より一層正確に判定することができる。
《３》変形例
　上記実施の形態１及び２では、ユーザが自動車の運転者である場合を説明したが、ユーザが運転する車両は、自動車以外のものであってもよい。車両は、例えば、自転車、バイク、電車などの移動体であってもよい。また、本発明が適用可能な作業は、移動体の操作に限定されず、移動体の操作以外の作業、例えば、設備又は機械の操作などであってもよい。例えば、工作機械を用いた工作作業をユーザが行うべき作業とした場合、削りかすを知覚対象とし、微細な削りかすの飛散領域を知覚困難空間として、知覚困難空間の重要度のパラメータとして、削りかすの素材又はサイズを割り当てることが可能である。この場合、例えば、微細さによる見え辛さに対抗するため工作機械又はその周辺に対してユーザが触る前に目視確認を阻害対抗知覚動作とみなすことが可能であり、その動作の回数、頻度、維持時間、又はこれらの組み合わせなどを阻害対抗知覚動作の程度とすることが可能である。
　また、上記実施の形態１及び２では、視覚によって知覚する知覚対象、視覚による知覚が困難な知覚困難空間を用いた例を説明したが、本発明で利用される知覚は視覚に限定されず、聴覚、触覚、味覚などの他の感覚に対しても適用可能である。例えば、工作機械を用いた工作作業をユーザが行うべき作業とした場合、ユーザが操作する機械の異常音を知覚対象、それ以外の音、例えば、機械正常動作時の動作音、他作業員が用いる機械が発する音、それ以外の音などを知覚困難空間として、知覚困難空間の重要度を機械の異常音との類似度又は音量、音の発生源の方向、又はこれらの組み合わせなどとすることが可能である。この場合、例えば、阻害対抗知覚動作として、知覚困難空間の重要度に相関して、ユーザの作業動作の停止又は、工作機械及びその周辺への目視確認などを阻害対抗知覚動作とすることが可能であり、その動作の回数、頻度、維持時間などを阻害対抗知覚動作の程度とすることが可能である。
　１００　車両、　１１０　周辺物体検出装置、　１２０　ユーザ動作検出装置、　１３０　作業適性判定装置、　１３１　ユーザ知覚動作検出部、　１３２　知覚困難空間検出部、　１３３　作業適性度算出部、　１３４　知覚対象検出部、　１４０　情報提示部、　１８１　情報処理装置、　１８２　記憶装置、　６０１，７０１　ユーザ、　６０３，７０３　周辺物体。

Claims (15)

  1. 　ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定装置であって、
    　ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する知覚困難空間検出部と、
    　前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出するユーザ知覚動作検出部と、
    　前記知覚困難空間検出部によって検出された前記知覚困難空間と前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出する作業適性度算出部と
    　を備えたことを特徴とする作業適性判定装置。
  2. 　前記知覚対象を検出する知覚対象検出部をさらに備え、
    　前記作業適性度算出部は、前記知覚対象検出部によって検出された前記知覚対象と、前記知覚困難空間検出部によって検出された前記知覚困難空間と、前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出する
    　ことを特徴とする請求項１に記載の作業適性判定装置。
  3. 　前記ユーザ知覚動作検出部は、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とをさらに検出し、
    　前記知覚困難空間検出部は、前記知覚困難空間の重要度をさらに判定し、
    　前記作業適性度算出部は、前記阻害対抗知覚動作、前記阻害対抗知覚動作の程度、及び前記知覚困難空間の重要度に応じて前記作業適性度を変更する
    　ことを特徴とする請求項１又は２に記載の作業適性判定装置。
  4. 　前記知覚困難空間検出部は、前記予定の作業の内容を示す情報を取得し、前記予定の作業の内容に基づいて前記知覚困難空間を決定することを特徴とする請求項１から３のいずれか１項に記載の作業適性判定装置。
  5. 　前記知覚対象検出部は、前記予定の作業の内容を示す情報を取得し、前記予定の作業の内容に基づいて前記知覚対象を決定することを特徴とする請求項２に記載の作業適性判定装置。
  6. 　前記知覚困難空間検出部は、前記ユーザの位置から直接見ることができない死角空間を前記知覚困難空間と判定することを特徴とする請求項１から５のいずれか１項に記載の作業適性判定装置。
  7. 　前記知覚対象検出部は、前記ユーザの位置から直接見ることができる空間に存在する対象物を前記知覚対象と判定することを特徴とする請求項２又は５に記載の作業適性判定装置。
  8. 　前記ユーザ知覚動作検出部は、前記ユーザの視線の動きを前記ユーザ知覚動作として検出することを特徴とする請求項１から７のいずれか１項に記載の作業適性判定装置。
  9. 　前記ユーザ知覚動作検出部は、前記知覚困難空間と前記知覚困難空間の周辺と含む領域に前記ユーザの視線が向けられるユーザ視線移動の回数、前記ユーザ視線移動の頻度、及び前記ユーザの視線が向けられている維持時間の内の１つ以上に基づいて、前記作業適性度を変更することを特徴とする請求項１から８のいずれか１項に記載の作業適性判定装置。
  10. 　前記ユーザ知覚動作検出部は、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出し、
    　前記作業適性度算出部は、前記阻害対抗知覚動作と前記阻害対抗知覚動作の程度の少なくとも一方に基づいて、前記作業適性度を変更する
    　ことを特徴とする請求項１から９のいずれか１項に記載の作業適性判定装置。
  11. 　前記知覚困難空間検出部は、
    　前記ユーザの位置から直接見ることができない死角空間を前記知覚困難空間と判定し、
    　前記知覚困難空間の重要度を、前記死角空間の大きさ、前記死角空間の位置、前記ユーザから前記死角空間までの距離、前記死角空間の移動速度、前記死角空間の移動加速度のうちの１つ以上に基づいて決定する
    　ことを特徴とする請求項３に記載の作業適性判定装置。
  12. 　前記阻害対抗知覚動作の程度は、前記知覚困難空間の前記ユーザに近い側の周辺へ前記ユーザの視線が向けられるユーザ視線移動の回数、前記ユーザ視線移動の頻度、及び前記ユーザの視線が向けられている維持時間の内の少なくとも１つに基づいて、変更されることを特徴とする請求項１０に記載の作業適性判定装置。
  13. 　前記知覚困難空間検出部は、前記ユーザから予め定められた範囲内において検出された前記知覚困難空間を検出し、前記予め定められた範囲外において前記知覚困難空間を検出しないことを特徴とする請求項１から１２のいずれか１項に記載の作業適性判定装置。
  14. 　ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定方法であって、
    　ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出するステップと、
    　前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出するステップと、
    　検出された前記知覚困難空間と検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出するステップと
    　を備えたことを特徴とする作業適性判定方法。
  15. 　コンピュータに、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定方法を実行させる作業適性判定プログラムであって、
    　前記コンピュータに、
    　ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を知覚困難空間検出部に検出させる処理と、
    　前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作をユーザ知覚動作検出部に検出させる処理と、
    　検出された前記知覚困難空間と検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出する処理と
    　を実行させることを特徴とする作業適性判定プログラム。
PCT/JP2017/008591 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム WO2018158950A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019502419A JP6548850B2 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
US16/469,315 US20200000391A1 (en) 2017-03-03 2017-03-03 Operation aptitude judgment device and operation aptitude judgment method
PCT/JP2017/008591 WO2018158950A1 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
DE112017006982.3T DE112017006982T5 (de) 2017-03-03 2017-03-03 Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
CN201780087211.5A CN110352037A (zh) 2017-03-03 2017-03-03 作业适应性判定装置、作业适应性判定方法和作业适应性判定程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008591 WO2018158950A1 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム

Publications (1)

Publication Number Publication Date
WO2018158950A1 true WO2018158950A1 (ja) 2018-09-07

Family

ID=63369872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008591 WO2018158950A1 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム

Country Status (5)

Country Link
US (1) US20200000391A1 (ja)
JP (1) JP6548850B2 (ja)
CN (1) CN110352037A (ja)
DE (1) DE112017006982T5 (ja)
WO (1) WO2018158950A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023035618A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 異常検知装置および異常検知方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6638701B2 (ja) 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
DE102020003018A1 (de) * 2020-05-19 2021-11-25 Daimler Ag Verfahren zur Ermittlung einer Reaktionsfähigkeit

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245597A (ja) * 2001-02-19 2002-08-30 Nissan Motor Co Ltd 車輌用情報出力装置
JP2009069885A (ja) * 2007-09-10 2009-04-02 Denso Corp 状態判定装置およびプログラム
JP2013254409A (ja) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc 漫然運転検出装置及びプログラム
US20160152233A1 (en) * 2011-02-18 2016-06-02 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2016181260A (ja) * 2015-03-23 2016-10-13 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 適応型運転者支援

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245597A (ja) * 2001-02-19 2002-08-30 Nissan Motor Co Ltd 車輌用情報出力装置
JP2009069885A (ja) * 2007-09-10 2009-04-02 Denso Corp 状態判定装置およびプログラム
US20160152233A1 (en) * 2011-02-18 2016-06-02 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2013254409A (ja) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc 漫然運転検出装置及びプログラム
JP2016181260A (ja) * 2015-03-23 2016-10-13 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 適応型運転者支援

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023035618A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 異常検知装置および異常検知方法

Also Published As

Publication number Publication date
CN110352037A (zh) 2019-10-18
US20200000391A1 (en) 2020-01-02
JPWO2018158950A1 (ja) 2019-11-07
DE112017006982T5 (de) 2019-10-31
JP6548850B2 (ja) 2019-07-24

Similar Documents

Publication Publication Date Title
EP3735365B1 (en) Primary preview region and gaze based driver distraction detection
US9007198B2 (en) Adaptive Actuator interface for active driver warning
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
JP6343808B2 (ja) 視野算出装置および視野算出方法
EP3540711B1 (en) Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles
US11630522B2 (en) Techniques for detecting acknowledgment from a driver of a vehicle
JP6666892B2 (ja) 運転支援装置及び運転支援方法
CN113056390A (zh) 情境驾驶员监控系统
JPWO2020100539A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2018144537A1 (en) Machine learning based driver assistance
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2019043496A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
KR20210151802A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN109849788B (zh) 信息提供方法、装置及系统
CN113260547A (zh) 信息处理设备、移动设备、方法和程序
WO2018158950A1 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
CN114340970A (zh) 信息处理设备、移动设备、信息处理系统、方法和程序
KR102452636B1 (ko) 차량의 주행을 보조하는 장치 및 방법
JP6739681B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP2021130389A (ja) 運転者状態推定装置
WO2021085414A1 (ja) 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
JP7363377B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
CN117533326A (zh) 车辆控制方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899020

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019502419

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 17899020

Country of ref document: EP

Kind code of ref document: A1