WO2018235356A1 - 操縦支援装置、操縦支援方法、プログラム - Google Patents

操縦支援装置、操縦支援方法、プログラム Download PDF

Info

Publication number
WO2018235356A1
WO2018235356A1 PCT/JP2018/010248 JP2018010248W WO2018235356A1 WO 2018235356 A1 WO2018235356 A1 WO 2018235356A1 JP 2018010248 W JP2018010248 W JP 2018010248W WO 2018235356 A1 WO2018235356 A1 WO 2018235356A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
degree
operation panel
pilot
control unit
Prior art date
Application number
PCT/JP2018/010248
Other languages
English (en)
French (fr)
Inventor
和樹 稲垣
秀樹 雨宮
憲正 田村
一気 尾形
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/623,892 priority Critical patent/US11427206B2/en
Publication of WO2018235356A1 publication Critical patent/WO2018235356A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Definitions

  • the present invention relates to a maneuver support device, a maneuver support method, and a program.
  • Patent Document 1 discloses a technique for determining the operation or state of a driver (pilot) who drives a car using the face direction or the line of sight of the driver.
  • each function such as a mounting device mounted on a mobile body such as a car is improved by the technology as disclosed in Patent Document 1, with the improvement of each function such as a mounting device, the pilot's steering of the mobile body is further performed.
  • a technology that can support is desired.
  • this invention aims at providing the steering assistance apparatus which solves the above-mentioned subject, the steering assistance method, and a program.
  • the maneuver support device determines the sight line range, which includes the sight line range of the operator of the mobile body, which of the operation panel range and the external world confirmation range.
  • a determination unit an awareness degree calculation unit that calculates an awakening degree and concentration degree of the pilot based on at least a movement of a gaze of the pilot, at least one of the awakening degree and the concentration degree, and the recognition range
  • a control unit that performs control on the mounting device of the mobile unit based on the above.
  • the maneuvering support method determines whether the recognition range including the sight range of the operator of the mobile body is either the operation panel range of the operation target or the external world confirmation range,
  • the awakening degree and concentration degree of the driver are calculated based on the movement of the driver's line of sight, and the mobile unit is mounted based on at least one of the awakening degree and the concentration degree and the recognition range. Control the device.
  • the program determines whether the recognition range including the sight range of the operator of the mobile object is either the operation panel range of the operation target or the external world confirmation range. And determining the awakening degree and concentration degree of the pilot based on at least the movement of the sight line of the pilot, and based on at least one of the awakening degree and the concentration degree and the recognition range.
  • a process is performed to control the loading device of the mobile unit.
  • the pilot's maneuvering of the moving body can be assisted at a higher level.
  • FIG. 1 is a schematic view of a maneuver support system provided with a maneuver support device. It is a block diagram of a device which constitutes a maneuvering support system. It is a figure which shows the hardware constitutions of a steering assistance apparatus. It is a functional block diagram of a steering assistance device. It is a figure which shows the processing flow of a steering assistance apparatus. It is a figure which shows the minimum structure of a steering assistance apparatus.
  • FIG. 1 is a schematic view of a steering assistance system 100 provided with a steering assistance device 1 according to the same embodiment.
  • the steering assistance system 100 is provided, for example, in a car.
  • the steering assistance device 1 and the monitoring device 2 are connected by a communication cable.
  • the steering assist device 1 performs processing for assisting the pilot's steering.
  • the monitoring device 2 comprises a camera 21.
  • the monitoring device 2 uses the camera 21 to capture the pilot's face.
  • the steering assist device 1 acquires a pilot's face image from the monitoring device 2.
  • the steering assist device 1 specifies the gaze position based on the direction and the line of sight of the face of the operator appearing in the face image.
  • the maneuvering assistance device 1 uses the identified gaze position to determine whether the recognition range including the sight line range of the operator is either the operation panel range 6 of the operation target or the external world confirmation range 7.
  • the steering assist device 1 controls the on-board device mounted on the vehicle based on the recognition range and at least one of the awakening degree and the concentration degree of the pilot.
  • the mounting device is, for example, a driving assistance device such as various instruments provided in the operation panel range, a display device, a brake device, an acceleration control device, an audio device, and the like.
  • the operation panel range 6 is a range in which each operator is provided for the driver to operate the vehicle.
  • a plurality of areas such as an indicator area 61 and an audio operation area 62 are set.
  • the steering assist device 1 stores coordinates representing the operation panel range 6, the indicator area 61, and the audio operation area 62 when the virtual space coordinates corresponding to the inside of the car are converted into plane coordinates.
  • the outside world confirmation range 7 is a range for the pilot to confirm the outside world of the vehicle.
  • the range of the window glass, such as the front window, the side window, and the back window, is the outside confirmation range 7.
  • a plurality of areas such as a first area 71, a second area 72, and a third area 73 are set.
  • the maneuvering support device 1 stores coordinates representing the first area 71, the second area 72, and the third area 73 when the virtual space coordinates corresponding to the inside of the vehicle are converted into plane coordinates.
  • FIG. 1 shows a state in which the outside world confirmation range 7 corresponds to the area of the entire front glass.
  • the outside world confirmation range 7 may include a right and left door glass, a back glass, and the like that the operator visually checks when checking the outside of the vehicle.
  • a camera for photographing the outside world may be provided in a car, and a range of a monitor that displays an image of the outside world of the car photographed by the camera may be defined as the outside world confirmation range 7.
  • FIG. 2 is a block diagram of an apparatus which constitutes a steering assistance system. As shown in FIG. 2, in the steering assistance system 100, the steering assistance device 1 and the monitoring device 2 are communicably connected, and the steering assistance device 1 is communicably connected to the mounting device 3 and the database 4. Communication connection is realized by an in-vehicle LAN or the like.
  • FIG. 3 is a diagram showing a hardware configuration of the steering assist device.
  • the maneuver support device 1 includes a central processing unit (CPU) 11, an interface (IF) 12, a communication module 13, a read only memory (ROM) 14, a random access memory (RAM) 15, and a hard disk drive (HDD). It is a computer provided with a configuration such as Disk Drive 16.
  • the communication module 13 is hardware that controls communication connection with another device.
  • the communication module 13 may perform wireless communication with another device, may perform wired communication, and may have these two functions.
  • the monitoring device 2 and the mounting device 3 other than the steering assistance device 1 may have the same hardware configuration.
  • FIG. 4 is a functional block diagram of the steering assist device.
  • the CPU 11 of the maneuver support device 1 includes a control unit 101, a feature calculation unit 102, a line-of-sight range determination unit 103, and an awareness degree calculation unit 104 by executing a stored maneuver support program.
  • the control unit 101 controls other functional units provided in the steering assistance device 1 and the mounting device 3.
  • the feature calculation unit 102 calculates the vector of the face direction of the driver of the car, the vector of the line-of-sight direction, the number of blinks per unit time, and the like.
  • the line-of-sight range determination unit 103 determines which of the operation panel range 6 and the outside world confirmation range 7 is the recognition range of the line-of-sight range of the driver of the car.
  • the awareness degree calculation unit 104 calculates at least one of the awakening degree and the concentration degree of the driver based on the movement of the driver's line of sight.
  • the control unit 101 controls the vehicle mounting device 3 based on at least one of the awakening degree and the concentration degree, and the recognition range of the operator.
  • FIG. 5 is a diagram showing a processing flow of the steering assist device.
  • the monitoring device 2 shoots the face of the pilot with the camera 21.
  • the monitoring device 2 outputs image data obtained by capturing the face of the pilot to the maneuvering support device 1 at short intervals such as several or several dozen pieces per second.
  • the monitoring device 2 may output the image data of each still image constituting the moving image to the maneuver support device 1.
  • the feature calculation unit 102 of the steering assistance device 1 uses the face feature of the operator and the eye feature that appear in the image indicated by the input image data, and the vector of the face direction of the driver and the vector of the sight direction And are calculated (step S101).
  • a known technique may be used to calculate the face direction and the gaze direction.
  • the feature calculation unit 102 detects features such as the nose, eyes, and ears of the face, and calculates the horizontal angle and the vertical direction of the face based on the positional relationship in the image of the features. Also, the feature calculation unit 102 detects an eye area, and calculates a vector of a gaze direction based on a face direction vector based on the position of the eyeball in the eye area.
  • the feature calculation unit 102 may calculate a face direction vector based on a reference direction vector in a virtual space area in a car and a gaze vector.
  • the reference direction vector is, for example, a vector that coincides with the vector in the forward straight direction when the driver looks straight ahead.
  • the feature calculation unit 102 also calculates the number of blinks per unit time (step S102).
  • the feature calculation unit 102 may analyze a change in the area of the eye of the user in the image data, and calculate whether or not the blink has occurred based on the change in the size of the area. Note that the camera 21 has the ability to capture several tens of image data per second in order to detect blinks.
  • the feature calculation unit 102 outputs the face direction vector and the gaze direction vector to the gaze range determination unit 103 and the awareness degree calculation unit 104. Further, the feature calculation unit 102 outputs the number of blinks in unit time to the awareness degree calculation unit 104.
  • the awareness degree calculation unit 104 calculates at least one of the driver's awakening degree and the concentration degree using at least one of face characteristic information, a face direction vector, a gaze direction vector, and the number of blinks per unit time. (Step S103).
  • the awareness degree calculation unit 104 calculates the awakening degree and the concentration degree of the driver based on the movement of the driver such as the movement of the sight line. For example, the awareness degree calculation unit 104 determines that the degree of concentration is low when a state where the degree of difference between the face direction vector and the vector in the gaze direction is equal to or more than a predetermined angle appears a predetermined number of times or more per unit time. .
  • the awareness degree calculation unit 104 determines that the awakening degree is low when a state in which the vector in the gaze direction does not change for a predetermined time or more appears a predetermined number of times or more per unit time. In addition, when the number of blinks per unit time is equal to or more than a predetermined number, the awareness degree calculation unit 104 determines that the awakening degree is low. Further, the awareness degree calculation unit 104 may determine whether the awakening degree or the concentration degree is high or low based on the number of blinks per unit time.
  • the awareness degree calculation unit 104 inputs values such as feature information, a face direction vector, a gaze direction vector, and the number of blinks per unit time into the awakening degree calculation formula and the concentration degree calculation formula. Then, the awareness degree calculation unit 104 compares the value calculated by the calculation formula with the threshold value and determines whether the alertness level or concentration degree is high based on whether it is equal to or higher than the upper threshold or lower threshold. It may be determined whether it is low or normal. For example, each threshold of alertness level and each threshold of concentration level are provided. In addition, each threshold value of the alertness level and each threshold value of the concentration level may be the same threshold value.
  • the awareness degree calculation unit 104 outputs information indicating whether the awakening degree is high, low, normal, high, low, or normal to the control unit 101.
  • the gaze range determination unit 103 calculates a gaze position in a plane region obtained by converting virtual space coordinates in the car into plane coordinates using the face direction vector and the gaze direction vector (step S104).
  • the gaze range determination unit 103 determines which of the operation panel range 6 and the external world confirmation range 7 the gaze position is in (step S105). That is, the line-of-sight range determination unit 103 determines whether the recognition range including the line-of-sight range of the driver of the car is either the operation panel range 6 or the outside world confirmation range 7.
  • the gaze range determination unit 103 determines whether the gaze position is included in any small area of the indicator area 61 and the audio operation area 62 included in the operation panel area 6. Determine
  • the gaze range determination unit 103 determines that the gaze position is smaller than any of the first area 71, the second area 72, and the third area 73 included in the external world confirmation range 7. Determine if it is included in the area.
  • the line-of-sight range determination unit 103 controls the control unit 101 to use information indicating which of the operation panel range 6 or the external world confirmation range 7 includes the gaze position, and identification information indicating small areas in each range including the gaze position.
  • the control unit 101 determines whether at least one of the awakening degree and the concentration degree is lower than a threshold (step S106). If at least one of the awakening degree and the concentration degree is lower than the threshold (YES in step S106), the control unit 101 outputs warning information to the mounting device 3 (step S107).
  • the mounting device 3 in this case is, for example, an audio device or a monitor.
  • the warning information may be emitted by voice from the audio device, or may be displayed on the monitor.
  • the control unit 101 causes the warning information to be issued to any one of the plurality of mounting devices 3 according to the recognition range. Give an output instruction.
  • the output instruction of the warning information is performed based on the combination of the awakening degree or the concentration degree and the driver's recognition range. This can provide more appropriate assistance for maneuvering.
  • the control unit 101 controls the mounting device 3 according to the gaze position (step S108).
  • the control unit 101 may not control the mounting device 3 in particular regardless of the gaze position.
  • the control unit 101 may instruct the speed limit device which is one of the mounting devices 3 to release the speed limit value of the vehicle.
  • the first region 71 includes a gaze position based on a vector of the line-of-sight direction
  • the line-of-sight direction substantially matches the direction in which the vehicle travels straight.
  • the control unit 101 can instruct the speed limiting device which is the mounting device 3 to release or increase the speed limit value.
  • the control unit 101 may output an instruction signal to blink the left direction indicator to the indicator control device.
  • the recognition range including the sight line range of the pilot is the outside world confirmation range 7
  • the control unit 101 corresponds to the gaze position of the operator in the outside world confirmation range 7 among the plurality of mounting devices 3. Control of any one of the mounting devices 3 is performed.
  • the control unit 101 determines whether the awakening degree and the concentration degree are higher than the threshold (step S109). For example, the control unit 101 determines whether the awakening degree and the concentration degree are higher than a threshold. When the awakening degree and the concentration degree are high (YES in step S109), the control unit 101 controls the mounting device 3 according to the gaze position (step S110). When the awakening degree and the concentration degree are higher than the threshold, the control unit 101 may not control the mounting device 3 in particular regardless of the gaze position. As described above, when the recognition range including the sight line range of the operator is the operation panel range 6, the control unit 101 responds to the gaze position of the operator in the operation panel range 6 among the plurality of mounting devices 3.
  • control of any one of the mounting devices 3 is performed.
  • the control unit 101 outputs warning information to the mounting device 3 (step S111).
  • the control unit 101 outputs warning information to the mounting device 3 when at least one of the awakening degree and the concentration degree is lower than the threshold.
  • the mounting device 3 in this case is, for example, an audio device or a monitor.
  • the warning information may be emitted by voice from the audio device, or may be displayed on the monitor.
  • the control unit 101 When the gaze position is the indicator area 61 provided in the operation panel range 6, the control unit 101 further specifies an instrument in the indicator area 61 that matches the gaze position of the operator.
  • a monitor is provided on the operation panel, and each meter such as the speed in the indicator, the engine speed, and the engine temperature is displayed by an image.
  • the mounting device 3 detects an instrument that matches the gaze position of the operator, and outputs a signal instructing the monitor to expand the display area of the instrument.
  • the signal output from the mounting device 3 to the monitor includes the gaze position of the driver.
  • the monitor identifies the instrument corresponding to the gaze position and magnifies the image of the scope of the instrument.
  • the control unit 101 corresponds to the gaze position of the operator in the mounting device 3 operated by any of the plurality of operators provided on the operation panel.
  • An instruction signal including information indicating an operator to be processed and information indicating a request to expand the display of the object is output. According to such a process, even when the pilot becomes older and the eye function declines, the displayed instrument can be enlarged and can contribute to the driver's driving support.
  • the gaze position is the audio operation area 62 provided in the operation panel range 6, the control unit 101 similarly identifies the operator corresponding to the gaze position in the audio operation area 62, and the operator It may be controlled automatically.
  • control unit 101 responds to the driver's gaze position on the mounting device 3 operated by any of the plurality of operators provided on the operation panel. Output the operation instruction. This can further assist the pilot in maneuvering the mobile unit.
  • control unit 101 is operated by any of a plurality of operators provided on the operation panel. An operation instruction according to the gaze position of the operator is output to the loading device 3.
  • the control unit 101 outputs an operation instruction based on the combination of the degree of awakening or concentration and the gaze position of the operator. This makes it possible to avoid malfunction and provide advanced assistance in maneuvering.
  • the control unit 101 may detect the blink of the operator and may determine that the wink is being performed if the blink is only one side of the eye. In this case, the control unit 101 controls an operator watching at the audio operation area 62 based on winking.
  • the control unit 101 determines whether to end the process (step S112). If the control unit 101 does not end the process (NO in step S112), the control unit 101 performs control to repeat the process from step S101.
  • the steering assist device 1 controls the mobile device loading device 3 based on at least one of the calculated awakening degree and the concentration degree and the recognition range including the sight line range of the operator. Do.
  • the steering assistance device 1 can control the on-board device for assisting the pilot based on the range of the gaze position based on the direction of the face and the line of sight of the pilot and the degree of alertness and the degree of concentration. . As a result, it is possible to further assist the pilot who steers the mobile body such as a car.
  • FIG. 6 is a view showing the minimum configuration of the steering assist device.
  • the maneuver assistance device 1 may have at least the functions of the control unit 101, the sight line range determination unit 103, and the awareness degree calculation unit 104.
  • the line-of-sight range determination unit 103 determines whether the line-of-sight range of the operator of the mobile object is in the recognition range of the operation panel range of the operation target or the external world confirmation range.
  • the awareness degree calculation unit 104 calculates the awakening degree and the concentration degree of the driver based on at least the movement of the driver's line of sight.
  • the control unit 101 controls the mobile device mounting device based on at least one of the awakening degree and the concentration degree and the recognition range.
  • the mobile is not limited to a car, and may be an aircraft, a ship or the like.
  • Each device described above has a computer system inside. Then, a program for causing each device to perform each process described above is stored in a computer-readable recording medium of the device, and the computer of the device reads out and executes the program to execute the process.
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory and the like.
  • the computer program may be distributed to a computer through a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the functions of each processing unit described above. Furthermore, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
  • difference file difference program
  • the pilot's maneuvering of the moving body can be assisted at a higher level.
  • Reference Signs List 1 ⁇ ⁇ ⁇ Assisting support device 2 ⁇ ⁇ ⁇ Monitoring device 3 ⁇ ⁇ ⁇ Mounting device 4 ⁇ ⁇ ⁇ Database 101 ⁇ ⁇ ⁇ control unit 102 ⁇ ⁇ ⁇ feature calculation unit 103 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ eye range determination unit 104 Degree calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定する視線範囲判定部と、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出部と、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御部と、を備える操縦支援装置。

Description

操縦支援装置、操縦支援方法、プログラム
　本発明は、操縦支援装置、操縦支援方法、プログラムに関する。
　車を運転する運転手（操縦者）の顔の向きや視線方向などを用いてその運転手の動作や状態を判定する技術が特許文献１に開示されている。
国際公開第２００７／１０５７９２号
　ところで特許文献１のような技術において車などの移動体に搭載された搭載装置等の各機能が向上しているが、搭載装置等の各機能の向上と共に、操縦者の移動体の操縦をさらに支援することのできる技術が望まれている。
　そこでこの発明は、上述の課題を解決する操縦支援装置、操縦支援方法、プログラムを提供することを目的としている。
　本発明の第１の態様によれば、操縦支援装置は、移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定する視線範囲判定部と、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出部と、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御部と、を備える。
　本発明の第２の態様によれば、操縦支援方法は、移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定し、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う。
　本発明の第３の態様によれば、プログラムは、操縦支援装置のコンピュータに、移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定し、少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う、処理を実行させる。
　本発明によれば、操縦者の移動体の操縦をさらに高度に支援することができる。
操縦支援装置を備えた操縦支援システムの概略図である。 操縦支援システムを構成する装置のブロック図である。 操縦支援装置のハードウェア構成を示す図である。 操縦支援装置の機能ブロック図である。 操縦支援装置の処理フローを示す図である。 操縦支援装置の最小構成を示す図である。
　以下、一実施形態による操縦支援装置を図面を参照して説明する。
　図１は同実施形態による操縦支援装置１を備えた操縦支援システム１００の概略図である。
　操縦支援システム１００は例えば車に備えられる。操縦支援システム１００では、少なくとも操縦支援装置１と監視装置２とが通信ケーブルで接続されている。操縦支援装置１は操縦者の操縦を支援する処理を行う。監視装置２はカメラ２１を備える。監視装置２はカメラ２１を用いて操縦者の顔を撮影する。
　操縦支援装置１は監視装置２から操縦者の顔画像を取得する。操縦支援装置１は顔画像に映る操縦者の顔の向きや視線方向に基づいて注視位置を特定する。操縦支援装置１は、特定した注視位置を用いて、操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲６と外界確認範囲７の何れであるかを判定する。操縦支援装置１はその認識範囲と、操縦者の覚醒度と集中度の少なくとも一方とに基づいて、車に搭載される搭載装置に対する制御を行う。
　搭載装置は例えば操作パネル範囲に設けられた各種計器類などの運転補助装置や表示装置、ブレーキ装置、加速度制御装置、オーディオ装置などである。
　操作パネル範囲６は操縦者が車の操作を行うための各操作子が設けられている範囲である。操作パネル範囲６には、インジケータ領域６１、オーディオ操作領域６２など複数の領域が設定されている。操縦支援装置１は車内に対応する仮想空間座標を平面座標に変換した場合の、操作パネル範囲６、インジケータ領域６１、オーディオ操作領域６２を表す座標を記憶している。
　外界確認範囲７は操縦者が車の外界を確認するための範囲である。本実施形態においてはフロントウィンドウ、サイドウィンドウ、バックウィンドウなど窓ガラスの範囲が外界確認範囲７である。外界確認範囲７には、第一領域７１、第二領域７２、第三領域７３など複数の領域が設定される。操縦支援装置１は車内に対応する仮想空間座標を平面座標に変換した場合の、第一領域７１、第二領域７２、第三領域７３を表す座標を記憶している。
　図１では外界確認範囲７がフロントガラス全面の領域に対応している状態を示している。外界確認範囲７には左右のドアガラス、バックガラスなど、操縦者が車の外界を確認する際に目視する範囲が含まれてもよい。また外界を撮影するカメラが車に備わりそのカメラで撮影した車の外界の画像を映すモニタの範囲についても外界確認範囲７と定義されてもよい。
　図２は操縦支援システムを構成する装置のブロック図である。
　操縦支援システム１００は図２で示すように、操縦支援装置１と監視装置２とが通信接続され、また操縦支援装置１が搭載装置３、データベース４と通信接続される。通信接続は車内ＬＡＮなどにより実現される。
　図３は操縦支援装置のハードウェア構成を示す図である。
　操縦支援装置１は、図３で示すように、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は他装置と通信接続を制御するハードウェアである。通信モジュール１３は、他装置と無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
　なお操縦支援装置１以外の監視装置２や搭載装置３も同様のハードウェア構成を有していてよい。
　図４は操縦支援装置の機能ブロック図である。
　操縦支援装置１のＣＰＵ１１は記憶する操縦支援プログラムを実行することにより、制御部１０１、特徴算出部１０２、視線範囲判定部１０３、意識度合算出部１０４を備える。
　制御部１０１は操縦支援装置１に備わる他の機能部や搭載装置３を制御する。
　特徴算出部１０２は、車の操縦者の顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数などを算出する。
　視線範囲判定部１０３は、車の操縦者の視線範囲が操作パネル範囲６と外界確認範囲７の何れの認識範囲にあるかを判定する。
　意識度合算出部１０４は、操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度の少なくとも一方を算出する。
　制御部１０１は、覚醒度と集中度との少なくとも一方と、操縦者の認識範囲とに基づいて車の搭載装置３に対する制御を行う。
　図５は操縦支援装置の処理フローを示す図である。
　まず監視装置２はカメラ２１で操縦者の顔の撮影を行う。監視装置２は操縦者の顔を撮影した画像データを、１秒間に数枚、数十枚などの短い間隔で操縦支援装置１へ出力する。監視装置２は動画像を構成する各静止画像の画像データを操縦支援装置１へ出力してもよい。
　操縦支援装置１の特徴算出部１０２は入力された画像データが示す画像内に映る操縦者の顔の特徴と、眼の特徴とを用いて、操縦者の顔の向きのベクトルと視線方向のベクトルとを算出する（ステップＳ１０１）。顔の向きや視線方向の算出は公知の技術が利用されてよい。特徴算出部１０２は、例えば顔の鼻、眼、耳などの特徴を検出し、それら特徴の画像中の位置関係に基づいて顔の左右方向の角度、上下方向の角度を算出する。また特徴算出部１０２は目の領域を検出し、その目の領域における眼球の位置に基づいて、顔の向きのベクトルを基準とした視線方向のベクトルを算出する。特徴算出部１０２は車内の仮想空間領域における基準方向ベクトルを基準とした顔の向きのベクトルと、視線ベクトルとをそれぞれ算出するようにしてもよい。基準方向ベクトルは例えば操縦者が真っ直ぐ前を直視した際の前方直進方向のベクトルに一致するベクトルである。
　特徴算出部１０２はまた単位時間当たりの瞬きの回数を算出する（ステップＳ１０２）。特徴算出部１０２は画像データにおけるユーザの目の領域の変化を解析し、その面積の大きさの変動に基づいて瞬きをしたかどうかを算出するようにしてもよい。なお瞬きを検出するためにカメラ２１は１秒間に数十枚の画像データを撮影する能力を有する。特徴算出部１０２は顔の向きベクトル、視線方向のベクトルを視線範囲判定部１０３および意識度合算出部１０４へ出力する。また特徴算出部１０２は単位時間における瞬き回数を意識度合算出部１０４へ出力する。
　意識度合算出部１０４は顔の特徴情報や、顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数の少なくとも一つを用いて、操縦者の覚醒度と集中度の少なくとも一方を算出する（ステップＳ１０３）。意識度合算出部１０４は、視線の動き等の操縦者の動きに基づいて、当該操縦者の覚醒度と集中度とを算出する。
　例えば、意識度合算出部１０４は、顔の向きベクトルと、視線方向のベクトルとの相違度合が所定の角度以上である状態が単位時間当たりに所定回数以上出現する場合、集中度が低いと判定する。また、意識度合算出部１０４は視線方向のベクトルが所定時間以上変化の無い状態が、単位時間当たりに所定回数以上出現する場合には、覚醒度が低いと判定する。また、意識度合算出部１０４は単位時間当たりの瞬き回数が所定の数以上である場合には覚醒度が低いと判定する。また、意識度合算出部１０４は単位時間当たりの瞬きの回数に基づいて覚醒度や集中度が高いか低いかを判定するようにしてもよい。
　意識度合算出部１０４は特徴情報や、顔の向きのベクトル、視線方向のベクトル、単位時間当たりの瞬き回数等の値を覚醒度算出式や、集中度算出式に入力する。そして、意識度合算出部１０４は、それらの算出式で算出された値と閾値とを比較して、上限閾値、下限閾値の閾値以上か閾値未満かに基づいて覚醒度や集中度が高いか、低いか、通常か、を判定するようにしてもよい。例えば、覚醒度の各閾値、集中度の各閾値がそれぞれ、設けられる。なお、覚醒度の各閾値および集中度の各閾値は同一の閾値であってもよい。意識度合算出部１０４は覚醒度が高いか、低いか、通常か、集中度が高いか、低いか、通常かを示す情報を制御部１０１へ出力する。
　視線範囲判定部１０３は顔の向きのベクトルと、視線方向のベクトルとを用いて、車内の仮想空間座標を平面座標に変換した平面領域における注視位置を算出する（ステップＳ１０４）。視線範囲判定部１０３はその注視位置が、操作パネル範囲６と外界確認範囲７の何れの認識範囲にあるかを判定する（ステップＳ１０５）。すなわち、視線範囲判定部１０３は、車の操縦者の視線範囲が含まれる認識範囲が操作パネル範囲６と外界確認範囲７の何れであるかを判定する。また視線範囲判定部１０３は注視位置が操作パネル範囲６である場合には、その注視位置が、操作パネル範囲６に含まれるインジケータ領域６１やオーディオ操作領域６２の何れかの小領域に含まれるかを判定する。
　視線範囲判定部１０３は注視位置が外界確認範囲７である場合には、その注視位置が、外界確認範囲７に含まれる第一領域７１、第二領域７２、第三領域７３の何れかの小領域に含まれるかを判定する。
　視線範囲判定部１０３は、操作パネル範囲６または外界確認範囲７のいずれに注視位置が含まれるかを示す情報と、注視位置が含まれる各範囲内の小領域を示す識別情報とを制御部１０１へ出力する。
　制御部１０１は注視位置が外界確認範囲７にある場合には、覚醒度または集中度の少なくとも一方が閾値よりも低いか否かを判定する（ステップＳ１０６）。制御部１０１は覚醒度または集中度の少なくとも一方が閾値よりも低い場合には（ステップＳ１０６のＹＥＳ）、警告情報を搭載装置３へ出力する（ステップＳ１０７）。この場合の搭載装置３は例えばオーディオ装置やモニタなどである。警告情報はオーディオ装置から音声で発せられてもよいし、モニタに警告情報が表示されてもよい。
　このように、覚醒度と集中度との少なくとも一方の度合が閾値より低い場合に、制御部１０１は、複数の搭載装置３のうち、認識範囲に応じた何れかの搭載装置３に対する警告情報の出力指示を行う。このように、覚醒度または集中度と、操縦者の認識範囲との組み合わせに基づいて、警告情報の出力指示を行う。これにより、操縦のより適切な支援を提供することができる。
　一方、制御部１０１は覚醒度および集中度が閾値よりも高い場合には（ステップＳ１０６のＮＯ）、注視位置に応じた搭載装置３の制御を行う（ステップＳ１０８）。制御部１０１は覚醒度および集中度が閾値よりも高い場合には、注視位置によらず特に搭載装置３を何も制御しなくともよい。
　搭載装置３の制御を行う場合の例としては、次の例が挙げられる。制御部１０１は注視位置が外界確認範囲７に設けられた第一領域７１である場合、車の速度制限値を解除する操作を搭載装置３の一つである速度制限装置に指示してよい。第一領域７１に視線方向のベクトルに基づく注視位置が含まれる場合には視線方向と車の直進方向とがほぼ一致する。そのような状況において操縦者の覚醒度と集中度が高い場合には、操縦者は直進方向に危険が存在することとなった場合の回避行動が早い可能性が高い。したがって制御部１０１は搭載装置３である速度制限装置に速度制限値の解除や、増加を指示することができる。
　また注視位置が外界確認範囲７にある場合の搭載装置３の制御を行う場合の例としては、次の例が挙げられる。操縦者の注視位置が車の左側面のウィンドウである場合には制御部１０１は左方向の方向指示器を点滅させる指示信号を指示器制御装置に出力するようにしてもよい。
　このように、制御部１０１は、操縦者の視線範囲が含まれる認識範囲が外界確認範囲７である場合に、複数の搭載装置３のうち、外界確認範囲７における操縦者の注視位置に応じた何れかの搭載装置３に対する制御を行う。
　一方、制御部１０１は注視位置が操作パネル範囲６にある場合には、覚醒度と集中度が閾値よりも高いか否かを判定する（ステップＳ１０９）。例えば、制御部１０１は、覚醒度および集中度が閾値よりも高いか否かを判定する。制御部１０１は覚醒度と集中度が高い場合には（ステップＳ１０９のＹＥＳ）、注視位置に応じた搭載装置３の制御を行う（ステップＳ１１０）。制御部１０１は覚醒度および集中度が閾値よりも高い場合には、注視位置によらず特に搭載装置３を何も制御しなくともよい。
　このように、制御部１０１は、操縦者の視線範囲が含まれる認識範囲が操作パネル範囲６である場合に、複数の搭載装置３のうち、操作パネル範囲６における操縦者の注視位置に応じた何れかの搭載装置３に対する制御を行う。
　一方、制御部１０１は覚醒度と集中度が低い場合には（ステップＳ１０９のＮＯ）、警告情報を搭載装置３へ出力する（ステップＳ１１１）。例えば、制御部１０１は、覚醒度または集中度の少なくとも一方が閾値よりも低い場合に、警告情報を搭載装置３へ出力する。この場合の搭載装置３は例えばオーディオ装置やモニタなどである。警告情報はオーディオ装置から音声で発せられてもよいし、モニタに警告情報が表示されてもよい。
　ステップＳ１１０における搭載装置３の制御を行う場合の例としては、次の例が挙げられる。制御部１０１は注視位置が操作パネル範囲６に設けられたインジケータ領域６１である場合、さらにインジケータ領域６１における操作子のうち操縦者の注視位置に一致する計器を特定する。ここで操作パネルにモニタが設けられており、インジケータ内の速度、エンジン回転数、エンジン温度などの各計器が画像により表示されているとする。搭載装置３は操縦者の注視位置に一致する計器を検出し、この計器の表示領域を拡大するよう指示する信号をモニタに出力する。搭載装置３がモニタに出力する信号には操縦者の注視位置が含まれる。モニタは注視位置に対応する計器を特定し、その計器の範囲の画像を拡大表示する。
　このように、制御部１０１は、認識範囲が操作パネル範囲６である場合に、操作パネルに設けられた複数の操作子の何れかによって操作される搭載装置３に、操縦者の注視位置に対応する対象の操作子を示す情報と、対象の操作子の表示を拡大する要求を示す情報とを含む指示信号を出力する。このような処理によれば操縦者が高齢になり目の機能が衰えた場合でも注視した計器が拡大表示されるので操縦者の運転の支援に貢献することができる。
　制御部１０１は注視位置が操作パネル範囲６に設けられたオーディオ操作領域６２である場合、制御部１０１は同様にオーディオ操作領域６２内の注視位置に対応する操作子を特定し、その操作子を自動的に制御するようにしてもよい。
　このように、制御部１０１は、認識範囲が操作パネル範囲６である場合に、操作パネルに設けられた複数の操作子の何れかによって操作される搭載装置３に、操縦者の注視位置に応じた操作指示を出力する。これにより、操縦者の移動体の操縦をさらに高度に支援することができる。
　また、制御部１０１は、認識範囲が操作パネル範囲６であって、覚醒度の度合及び集中度の度合が閾値より高い場合に、操作パネルに設けられた複数の操作子の何れかによって操作される搭載装置３に、操縦者の注視位置に応じた操作指示を出力する。このように、制御部１０１は、覚醒度または集中度と、操縦者の注視位置との組み合わせに基づいて、操作指示を出力する。これにより、誤動作を回避するとともに、操縦の高度な支援を提供することができる。
　制御部１０１は操縦者の瞬きを検出し、この瞬きが目の片側のみである場合にウィンクを行っている判定してもよい。この場合、制御部１０１は、ウィンクしていることに基づいてオーディオ操作領域６２において注視している操作子を制御する。
　制御部１０１は処理を終了するかどうかを判定する（ステップＳ１１２）。制御部１０１は処理を終了しない場合には（ステップＳ１１２のＮＯ）、ステップＳ１０１からの処理を繰り返す制御を行う。
　以上の処理によれば、操縦支援装置１は、算出した覚醒度と集中度との少なくとも一方と、操縦者の視線範囲が含まれる認識範囲とに基づいて、移動体の搭載装置３に対する制御を行う。操縦支援装置１は、操縦者の顔の向きや視線の向きに基づく注視位置の範囲と、覚醒度や集中度とに基づいて、操縦者を支援するための搭載装置の制御を行うことができる。これにより更に車などの移動体の操縦を行う操縦者の支援を行うことができる。
　図６は操縦支援装置の最小構成を示す図である。
　操縦支援装置１は少なくとも制御部１０１、視線範囲判定部１０３、意識度合算出部１０４の機能を備えればよい。
　視線範囲判定部１０３は、移動体の操縦者の視線範囲が操作対象の操作パネル範囲と外界確認範囲の何れの認識範囲にあるかを判定する。
　意識度合算出部１０４は、少なくとも操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する。
　制御部１０１は、覚醒度と集中度との少なくとも一方と認識範囲とに基づいて移動体の搭載装置に対する制御を行う。
　上述の処理では移動体が車の場合について説明したが、移動体は車に限らず、航空機、船舶などであってもよい。
　なお上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、当該装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを当該装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　この出願は、２０１７年６月２１日に日本出願された特願２０１７－１２１６４３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、操縦者の移動体の操縦をさらに高度に支援することができる。
１・・・操縦支援装置
２・・・監視装置
３・・・搭載装置
４・・・データベース
１０１・・・制御部
１０２・・・特徴算出部
１０３・・・視線範囲判定部
１０４・・・意識度合算出部

Claims (9)

  1. 　移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定する視線範囲判定部と、
    　少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出する意識度合算出部と、
    　前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う制御部と、
    　を備える操縦支援装置。
  2. 　前記制御部は、前記認識範囲が前記外界確認範囲である場合に、複数の前記搭載装置のうち、前記外界確認範囲における注視位置に応じた何れかの前記搭載装置に対する制御を行う
    　請求項１に記載の操縦支援装置。
  3. 　前記制御部は、前記認識範囲が前記操作パネル範囲である場合に、複数の前記搭載装置のうち、前記操作パネル範囲における注視位置に応じた何れかの前記搭載装置に対する制御を行う
    　請求項１または請求項２に記載の操縦支援装置。
  4. 　前記制御部は、
    　前記覚醒度と前記集中度との少なくとも一方の度合が閾値より低い場合に、複数の前記搭載装置のうち、前記認識範囲に応じた何れかの前記搭載装置に対する警告情報の出力指示を行う
    　請求項１から請求項３の何れか一項に記載の操縦支援装置。
  5. 　前記制御部は、
    　前記認識範囲が前記操作パネル範囲である場合に、操作パネルに設けられた複数の操作子の何れかによって操作される前記搭載装置に、前記操縦者の注視位置に応じた操作指示を出力する
    　請求項１から請求項４の何れか一項に記載の操縦支援装置。
  6. 　前記制御部は、
    　前記認識範囲が前記操作パネル範囲であって、前記覚醒度の度合及び前記集中度の度合が閾値より高い場合に、前記操作パネルに設けられた複数の操作子の何れかによって操作される前記搭載装置に、前記操縦者の注視位置に応じた操作指示を出力する
    　請求項５に記載の操縦支援装置。
  7. 　前記制御部は、前記認識範囲が前記操作パネル範囲である場合に、前記操作パネルに設けられた複数の操作子の何れかによって操作される前記搭載装置に、前記操縦者の注視位置に対応する対象の操作子を示す情報と、前記対象の操作子の表示を拡大する要求を示す情報とを含む指示信号を出力する
    　請求項５または請求項６に記載の操縦支援装置。
  8. 　移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定し、
    　少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、
    　前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う
    　操縦支援方法。
  9. 　操縦支援装置のコンピュータに、
    　移動体の操縦者の視線範囲が含まれる認識範囲が操作対象の操作パネル範囲と外界確認範囲の何れであるかを判定し、
    　少なくとも前記操縦者の視線の動きに基づいて当該操縦者の覚醒度と集中度とを算出し、
    　前記覚醒度と前記集中度との少なくとも一方と、前記認識範囲とに基づいて、前記移動体の搭載装置に対する制御を行う、
    　処理を実行させるプログラム。
PCT/JP2018/010248 2017-06-21 2018-03-15 操縦支援装置、操縦支援方法、プログラム WO2018235356A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/623,892 US11427206B2 (en) 2017-06-21 2018-03-15 Vehicle operation assistance device, vehicle operation assistance method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-121643 2017-06-21
JP2017121643A JP6822325B2 (ja) 2017-06-21 2017-06-21 操縦支援装置、操縦支援方法、プログラム

Publications (1)

Publication Number Publication Date
WO2018235356A1 true WO2018235356A1 (ja) 2018-12-27

Family

ID=64737725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010248 WO2018235356A1 (ja) 2017-06-21 2018-03-15 操縦支援装置、操縦支援方法、プログラム

Country Status (3)

Country Link
US (1) US11427206B2 (ja)
JP (1) JP6822325B2 (ja)
WO (1) WO2018235356A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220032942A1 (en) * 2018-10-16 2022-02-03 Mitsubishi Electric Corporation Information providing device and information providing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
JP2020154994A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009018625A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 走行制御装置
JP2012104070A (ja) * 2010-11-15 2012-05-31 Osamu Shichinohe 情報装置、情報処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体
GB2532457A (en) * 2014-11-19 2016-05-25 Jaguar Land Rover Ltd Dynamic control apparatus and related method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214219B2 (ja) * 1994-04-08 2001-10-02 日産自動車株式会社 車両用メータ装置
JP3119076B2 (ja) * 1994-06-02 2000-12-18 日産自動車株式会社 車両用警報表示装置
WO2007105792A1 (ja) 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
US9975483B1 (en) * 2013-02-08 2018-05-22 Amazon Technologies, Inc. Driver assist using smart mobile devices
CN106163858B (zh) * 2014-04-02 2018-10-12 日产自动车株式会社 车辆用信息呈现装置
CN109243204A (zh) * 2014-04-30 2019-01-18 三菱电机株式会社 周边监视装置、周边监视系统以及周边监视方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009018625A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 走行制御装置
JP2012104070A (ja) * 2010-11-15 2012-05-31 Osamu Shichinohe 情報装置、情報処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体
GB2532457A (en) * 2014-11-19 2016-05-25 Jaguar Land Rover Ltd Dynamic control apparatus and related method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220032942A1 (en) * 2018-10-16 2022-02-03 Mitsubishi Electric Corporation Information providing device and information providing method

Also Published As

Publication number Publication date
JP2019006183A (ja) 2019-01-17
JP6822325B2 (ja) 2021-01-27
US20210146934A1 (en) 2021-05-20
US11427206B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7299840B2 (ja) 情報処理装置および情報処理方法
US10392027B2 (en) Driving assistance control apparatus
CN106274480B (zh) 用于在半自主驾驶期间能够完成次要任务的方法和设备
JP6353383B2 (ja) ドライバ支援システムの制御方法
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
US10207640B2 (en) Method and system for a warning message in a vehicle
US20190004513A1 (en) Driving assistance control apparatus
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
CN112965502A (zh) 视觉跟踪确认方法、装置、设备及存储介质
US20230054024A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
WO2015019542A1 (ja) 視野算出装置および視野算出方法
US20150229885A1 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
CN109426255A (zh) 基于无人机的无人驾驶车辆控制方法、装置及存储介质
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
WO2018235356A1 (ja) 操縦支援装置、操縦支援方法、プログラム
US20220212685A1 (en) Information processing apparatus, moving apparatus, and method, as well as program
JP2020142652A (ja) 車両の運転制御システム
JP2009269551A (ja) 車両用表示装置
US20220289250A1 (en) Information processing device, mobile device, information processing system, method, and program
US10185392B2 (en) Method for transmitting information to a driver of a motor vehicle, and adaptive driver assistance system
KR20120055011A (ko) 운전자 시선 거리 추적 방법
EP3674979A1 (en) System and method for adjusting reaction time of a driver
US20230001948A1 (en) Information presentation control device and function control device
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
US10632910B2 (en) Driving support device, driving situation information acquiring system, driving support method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18821538

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18821538

Country of ref document: EP

Kind code of ref document: A1