JP6548850B2 - 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム - Google Patents

作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム Download PDF

Info

Publication number
JP6548850B2
JP6548850B2 JP2019502419A JP2019502419A JP6548850B2 JP 6548850 B2 JP6548850 B2 JP 6548850B2 JP 2019502419 A JP2019502419 A JP 2019502419A JP 2019502419 A JP2019502419 A JP 2019502419A JP 6548850 B2 JP6548850 B2 JP 6548850B2
Authority
JP
Japan
Prior art keywords
user
perceptual
space
work
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019502419A
Other languages
English (en)
Other versions
JPWO2018158950A1 (ja
Inventor
淳平 羽藤
淳平 羽藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6548850B2 publication Critical patent/JP6548850B2/ja
Publication of JPWO2018158950A1 publication Critical patent/JPWO2018158950A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01552Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0863Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、ユーザが、遂行すべき作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定するための作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムに関する。
従来、自動車のユーザ(作業者)である運転者が、遂行すべき作業としての自動車の運転にどの程度適切な状態であるのかを判定する種々の技術が提案されている。
例えば、非特許文献1は、眠気検知アルゴリズムを実装したスマートフォン向け専用アプリと運転者の心拍数を計測する着用型心拍計とを用いて、心拍数に基づいて運転者の眠気を検知し、運転者に警告を通知すると共に、運転者の管理者に対してメールで警告を通知するシステムを提案している。
また、特許文献1は、視認すべき対象物を特定すると共に、運転者の顔画像から検出された運転者の視線に基づいて、運転者が視認すべき対象物を視認しているか否かを検出し、運転者の作業適性度を判定する技術を提案している。ここで、視認すべき対象物は、例えば、標識、信号機、車両、障害物、及び通行人などの移動物である。
株式会社NTTデータMSE、国立大学法人京都大学、国立大学法人熊本大学、株式会社NTTドコモ、報道発表資料「hitoeを活用したドライバー向け眠気検知システムの実証実験を開始」、[online]、2016年5月10日、インターネット<URL:https://www.nttdocomo.co.jp/info/news_release/2016/05/10_00.html> 森島圭祐、外5名、「眼球・頭部非固定における自動車運転時の有効視野計測」、日本機械学会論文集(C編)、2013年10月、79巻806号、p.272−284(p.3561−3573)
特開2009−69885号公報
しかしながら、非特許文献1が提案する技術では、運転者は着用型心拍計を着用し忘れないように注意を払う必要があり、また、運転者は着用型心拍計の着用を面倒に感じたり、着用した後に着用型心拍計を邪魔に感じたりすることがある。このため、運転者に負担を与えるという課題がある。
また、特許文献1が提案する技術では、以下のような課題がある。一般に、作業者であるユーザは、
〔行動1〕予定の作業を適切に遂行するために必要な情報を周辺環境などから収集し(すなわち、必要な情報を認知し)、
〔行動2〕収集された情報をもとに、どのような動作を起こせば作業を適切に遂行できるかを考え(すなわち、判断し)、
〔行動3〕その考えの内容(すなわち、判断の結果)に従って作業を実行に移す(すなわち、行動を制御する)、
を含む活動を繰り返すことによって、予定の作業を遂行する。したがって、ユーザが〔行動1〕〜〔行動3〕を適切に実行できる状態にあれば、ユーザが作業を適切に遂行可能であると判定することができる。
〔行動1〕に示される「必要な情報の認知」を判断材料として採用する方式(「認知ベース適性判断方式」と称される)では、ユーザが必要な情報を認識した確証を得る必要がある。しかし、認知はユーザの内面の活動であり、認知の計測は困難である。例えば、ユーザの感覚器の挙動を観察したとしても、感覚器の挙動が知覚対象(すなわち、知覚すべき対象物)に反射的に反応した結果(すなわち、認知に至っていない反射的な行動)であるのか、知覚対象の認知に基づいて得られた結果(すなわち、認知に基づいて行われた行動)であるのか、を正確に区別することは困難である。このため、特許文献1に記載の技術で採用されているユーザの挙動である視線の移動が、視線の先の知覚対象が持つ高い顕著性による反射的な行動であるのか、認知に基づいて行われた行動であるのか、を正確に区別することは困難である。このため、作業適性度を正確に判定することができないという課題がある。
本発明は、上記課題を解決するためになされたものであり、ユーザが予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができる作業適性判定装置及び作業適性判定方法、並びに、作業適性判定方法を実行可能にする作業適性判定プログラムを提供することを目的とする。
本発明の一態様に係る作業適性判定装置は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する装置であって、ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出し、前記知覚困難空間の重要度を判定する知覚困難空間検出部と、前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出し、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出するユーザ知覚動作検出部と、前記知覚困難空間検出部によって検出された前記知覚困難空間と、前記知覚困難空間の重要度と、前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出する作業適性度算出部とを備えたことを特徴とする。
本発明の他の態様に係る作業適性判定方法は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する定方法であって、ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出し、前記知覚困難空間の重要度を判定するステップと、前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出し、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出するステップと、検出された前記知覚困難空間と、前記知覚困難空間の重要度と、前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出するステップとを備えたことを特徴とする。
本発明によれば、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができるという効果が得られる。
本発明の実施の形態1及び2に係る作業適性判定装置の構成を概略的に示すブロック図である。 実施の形態1及び2に係る作業適性判定装置のハードウェア構成を概略的に示す図である。 周辺物体検出装置によって収集されたデータの一例を示す図である。 周辺物体検出装置によって収集されたデータの他の例を示す図である。 実施の形態1及び2に係る作業適性判定装置が行う基本処理を示すシーケンス図である。 実施の形態1に係る作業適性判定装置におけるメインループ処理の内部処理を詳細に示すシーケンス図である。 視覚による知覚に対する具体的な知覚困難空間検出処理を示す図である。 知覚困難空間の重要度の判定方法の一例を示す図である。 知覚困難空間の重要度の判定方法の他の例を示す図である。 ユーザの視点位置を基点として、周辺物体によって生じる知覚困難空間が存在している状況を示す図である。 周辺物体上の2点を通る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。 図10における周辺物体が他車両である場合に、ユーザの視点位置を基点として、周辺物体によって生じる知覚困難空間が存在している状況を示す図である。 図12の状況において、周辺物体上の2点を通る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。 実施の形態2に係る作業適性判定装置におけるメインループ処理の内部処理を詳細に示すシーケンス図である。 図14の知覚対象検出処理を説明するための図である。 図14のユーザ知覚対象判定処理を説明するための図である。
以下に、本発明の実施の形態に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムを、添付図面を参照しながら説明する。実施の形態1及び2では、主に、作業が自動車の運転であり、作業を行うユーザが自動車の運転者である場合を説明する。ただし、以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1
《1−1》概要
図1には、実施の形態1に係る作業適性判定装置130の構成が概略的に示される。作業適性判定装置130は、実施の形態1に係る作業適性判定方法を実施することができる装置である。また、作業適性判定方法は、作業適性判定装置又はサーバに格納されたソフトウェアとしての作業適性判定プログラムによって実行されることができる。
作業適性判定装置130は、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する装置である。作業適性判定装置130は、周辺物体検出装置110からユーザの周辺(ユーザの周囲又は近傍)の物体を検出して得られた周辺物体情報を取得し、ユーザ動作検出装置120からユーザの動作を検出して得られたユーザ動作情報を取得する。作業適性判定装置130は、取得した周辺物体情報及びユーザ動作情報を用いて、ユーザの作業適性度を算出し、算出された作業適性度を情報提示部140に提供する。情報提示部140は、ユーザに対し、現在の状態が予定の作業を行うのにどの程度適切な状態であるのか、或いは、どの程度適切ではない状態にあるのかを通知することができる。
図1に示されるように、作業適性判定装置130は、ユーザ知覚動作検出部131と、知覚困難空間検出部132と、作業適性度算出部133とを備えている。知覚困難空間検出部132は、周辺物体検出装置110から取得した周辺物体情報を用いて、ユーザが、予定の作業を行う際にユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する。ユーザ知覚動作検出部131は、ユーザ動作検出装置120から取得したユーザ動作情報を用いて、ユーザが知覚対象を知覚しようと試みるときのユーザの動作であるユーザ知覚動作を検出する。作業適性度算出部133は、知覚困難空間検出部132によって検出された知覚困難空間とユーザ知覚動作検出部131によって検出されたユーザ知覚動作とから、ユーザの作業適性度を算出する。
このように、実施の形態1においては、知覚困難空間が、知覚対象とは異なり高い顕著性を持つ対象物ではない点を利用している。つまり、知覚困難空間が存在するときに、ユーザが知覚困難空間を知覚しようと試みるときのユーザの動作、すなわち、知覚困難空間についてのユーザ知覚動作は、知覚対象の高い顕著性による反射的な行動ではなく、知覚困難空間の認知に基づいて行われた行動である可能性が高い。言い換えれば、実施の形態1によれば、背景技術において説明した上記〔行動1〕が認知に基づいて行われた行動であるとき(すなわち、反射的な行動ではないとき)にユーザ知覚動作を検出する。このため、実施の形態1に係る作業適性判定装置130によれば、作業適性度を正確に判定することができ、作業適性度の信頼性を高めることができる。
また、作業適性判定装置130は、作業適性度の信頼度をさらに向上させるために、周辺物体検出装置110から取得した周辺物体情報を用いて、知覚対象を検出する知覚対象検出部134とユーザ知覚対象判定処理部135とをさらに備えてもよい。実施の形態1においては、知覚対象検出部134とユーザ知覚対象判定処理部135とを備えない形態を説明し、これらとを備える形態は、実施の形態2で説明する。
《1−2》構成
〈作業適性判定〉
実施の形態1に係る作業適性判定装置130は、自動車(車両)の運転を作業とする運転者としてのユーザに対する作業適性度を判定(算出)することができる装置である。作業適性判定では、
〔第1の処理〕ユーザが予定された作業を行う際に、ユーザが知覚すべき知覚対象を、ユーザが知覚することが困難な空間である知覚困難空間を検出する処理(知覚困難空間の検出動作)と、
〔第2の処理〕ユーザが知覚対象を知覚しようとするユーザ知覚動作を検出する処理(ユーザ知覚動作の検出動作)と、
〔第3の処理〕検出された知覚困難空間と検出されたユーザ知覚動作とを用いて、ユーザが予定された作業を行うのにどの程度適切であるのか(すなわち、適切さの度合い)を示す作業適性度を算出する処理(作業適性度の算出動作)と、が行われる。
〈知覚対象〉
運転中にユーザによって知覚され得る周辺物体である知覚対象(すなわち、知覚可能な対象物)は、多種多様であり、例えば、周辺車両、自転車、バイク、歩行者、動物などのような移動体と、路側帯、道路の白線、横断歩道、分離帯、標識、信号機などのような道路構成要素と、建物、街路樹、看板などのような固定物とを含む。ユーザは、重要と判断される知覚対象の状況を適時確認するために、断続的に視線移動を繰り返す。このとき、ユーザは、知覚対象を直接見ることで、知覚対象から必要な情報を入手する。
〈ユーザ知覚動作〉
ユーザ知覚動作は、ユーザが、作業を実施するに当たり必要な情報を、五感を介して取得しようとするユーザの動作全般である。例えば、視覚によるユーザ知覚動作は、ユーザの目の動き、ユーザの視線(視線の向き及び動き)、ユーザの注視の位置(範囲)などを含む。また、視覚によるユーザ知覚動作は、感覚器そのものの動きから推定される有効視野の範囲、有効視野の周辺の視野である周辺視野の範囲、有効視野若しくは周辺視野の範囲の変化なども含む。聴覚によるユーザ知覚動作は、例えば、音のする方向に耳を向ける動作、耳に手を当てる動作などのような周辺の音を集音しやすい姿勢をとる動作を含む。他のユーザ知覚動作は、知覚感度を高めるための動作又は無駄な動作を抑える動作を含む。例えば、ユーザ知覚動作は、目をつぶる又は耳を塞ぐなどのような知覚感度を高めたい感覚器以外の感覚器を遮断する行動、振り向いたり体勢を変えたりすることで顔を近づける又は耳を近づけるなどのような、知覚感度を高めたい感覚器を対象に近づける行動など、マクロな動作も含む。
ユーザの視線又はユーザの注視の位置の検出方法としては、様々な手法が開発されている。例えば、この検出方法として、目頭と虹彩の位置関係から検出する方法、又は、赤外線LED(Light Emitting Diode)から出力された赤外線をユーザの目に照射して発生する赤外線の角膜反射の位置と瞳孔の位置との関係から検出する方法などが知られている。また、有効視野などのような範囲の計測は、ステアケース法又はプロビット法で計測可能であり、また、非特許文献2に記載された方法でも計測可能である。また、ユーザのマクロな動作を伴うユーザ知覚動作は、行動認識(Activity Recognition)と総称される分野の技術を用いることで検出可能である。
〈知覚困難空間〉
現実世界は3次元空間であるため、必ずしも、作業において重要な知覚すべき知覚対象(すなわち、知覚すべき対象物)が知覚できる状況にあるとは限らない。具体的には、ある物体の影に隠れてユーザから見えない位置に、知覚すべき知覚対象が存在する場合がある。例えば、知覚すべき知覚対象は、道路脇に駐車している車両の影から車道に走り出そうとしている子供などを含む。また、知覚すべき知覚対象が、物体の影に完全に隠れていない状況もある。この場合、知覚すべき知覚対象は、道路脇に駐車している車両に、頭の頂部以外の部分を隠している子供、又は、街路樹の隙間を通してのみ視認可能な自転車などを含む。このように、ユーザが、知覚すべき知覚対象を全く知覚することができない範囲(すなわち、部分的な知覚もできない範囲)又は部分的に知覚することができるが(一部分を知覚することができないない)範囲又はこれらの両方の範囲を知覚困難空間と定義する。視覚に関する知覚困難空間は、一般的に死角空間と呼ばれる空間を意味する。知覚困難空間に隠れた知覚対象の存在を予期し、適切に知覚困難空間から出現する可能性のある知覚対象に意識を向けることは、多くの作業を適切に遂行するために必要不可欠なユーザ行動である。
〈阻害対抗知覚動作〉
一般に、ユーザが知覚困難空間に存在するリスクを認知し、その知覚困難空間に潜む知覚対象を知覚しようとする場合、ユーザは、その知覚困難空間が生じる要因である知覚阻害に対抗し、現状以上に知覚するために、通常のユーザ知覚動作とは異なるユーザ知覚動作を行う。
通常のユーザ知覚動作は、知覚阻害によって生じた知覚困難空間に対して、阻害されている感覚器の注意を向けることである。具体的な例は、障害物によって生じた知覚困難空間である死角空間が存在し、その死角空間の先(障害物の影の空間部分)が気になる場合に、死角空間に視線を向けるユーザ知覚動作である。一方、現状以上にその死角空間の先(障害物の影の空間部分)を知覚するためには、顔の向きを変える、姿勢を変える、目を凝らす、可能であれば死角空間を生じさせている障害物を移動させる、などのような体動を伴うユーザ知覚動作が発生する場合がある。逆に、特定の感覚器に注意が集中するため、体動の減少を伴うユーザ知覚動作が発生する場合もある。
上記以外に、ある死角空間に視覚の注意が集中するため、それ以外の物体又は死角空間への視覚的な反応が遅延又は無反応になるなど、感覚器の知覚感度の低下が発生する場合がある。これは、視覚について言えば、有効視野又は周辺視野が狭くなることに相当する。このような感覚器の知覚感度の低下は、阻害されている知覚の感覚器にだけ発生するものではなく、他の感覚器に発生する場合もある。例えば、死角空間に視覚の注意が集中するため、音への反応の低下、つまり聴覚の知覚感度の低下が発生する場合がある。
以上のように、知覚困難空間に対して積極的に知覚しようとした結果現れる体動又は現時点の知覚対象以外に対する感覚器の知覚感度の低下などのような特徴的なユーザ知覚動作を、阻害対抗知覚動作と言う。
〈作業適性判定装置130のシステム構成〉
図2には、実施の形態1に係る作業適性判定装置130のハードウェア構成が概略的に示される。図2は、車両100に組み込まれた作業適性判定装置130を示している。図2に示されるように、車両100は、周辺物体検出装置110と、ユーザ動作検出装置120と、作業適性判定装置130と、情報提示部140と、操作部150と、車両制御部160とを含む。
図2の例では、作業適性判定装置130が組み込まれた車両100をユーザが運転することを「作業」と言い、事故なく作業を遂行することができるユーザの状態を「作業を行うのに適切な状態」、すなわち、作業適性度が高い状態と言う。一般に、運転に必要な情報のおよそ80%は、視覚から得られると言われている。実施の形態1では、説明を簡単にするために、ユーザ知覚動作が視覚による動作である場合を中心に説明する。ただし、本発明は、視覚に限定されるものではなく、視覚以外の感覚を用いても作業適性判定が可能である。
また、実施の形態1では、ユーザは、車両100の運転を行う車両利用者である運転者としているが、本発明のユーザは運転者に限定されず、例えば、通常時は、運転を行わないが、例外的な状況においては運転を代行する助手席又は後部座席に座る同乗者がユーザに含まれる場合もある。また、車両100が自動運転車両である場合は、運転席に座る搭乗者は運転者ではないが、運転席に座る搭乗者は運転操作の一部を行う場合があるので、ユーザに含まれる。
〈周辺物体検出装置110〉
図2に示される周辺物体検出装置110は、車両100の周辺(例えば、進行方向の前方の近傍)に存在する物体を検出するために必要なデータを収集するための各種装置で構成されている。レーダ111は、車両周辺に電波を照射し、そのときの反射波を測定することにより、車両100の周辺に存在する物体の距離又は方向を測る。カメラ112は、車両100の周辺から照射(反射)される光を計測することにより、車両100の周辺を撮影することで映像情報を取得する。3次元(3D)スキャナ113は、車両100の周辺にレーザー光などを照射し、その反射光を測定することにより、車両100の周辺に存在する物体の距離又は方向を測る。センサ118は、車両100の周辺に存在する物体から発信される各種信号を検出するための各種センサである。センサ118は、例えば、音を収集するためのマイク、接触状態を計測するための接触センサ、周辺の温度データを収集するための温度センサ、及び赤外線サーモグラフィなどを含むことができる。
レーダ111、カメラ112、3Dスキャナ113、及びセンサ118は、必ずしも全て実装されている必要はないが、車両100には、周辺に存在する物体を検出するために適切な検出器が実装される。
また、実施の形態1では、レーダ111、カメラ112、3Dスキャナ113、及びセンサ118は、車両100の周辺に存在する物体を検出するためのものとしているが、その計測範囲は車両の周辺に限定されず、例えば、ユーザの周辺、例えば、車両100の内部に関する情報も周辺物体として扱う必要がある場合は、車両100の内部も計測対象としてもよい。
通信装置114は、ネットワークを経由してサーバ171と通信を行い、車両100の外に存在する物体を検出するために必要なデータ、又は、検出した物体の種別及び属性などのような付加データを入手するために用いられる。また、レーダ111、カメラ112、3Dスキャナ113、及びセンサ118などで計測したデータをサーバ171に送信し、物体の検出処理又は検出した物体の種別及び属性などのような付加データの検索処理などをサーバ171に依頼し、その結果を受け取るために通信装置114を用いてもよい。また、サーバ171は、サービス又は機能を提供するためのコンピュータ(情報処理装置)であるサーバマシンに限定されず、通信装置114と通信可能でかつデータを保存することができる装置、又は、情報処理装置を備える機器であれば、特に限定されない。サーバ171は、例えば、周辺車両に搭載された情報処理装置、又は、他の情報処理装置であってもよい。
GPS(Global Positioning System)115は、GPS衛星172からの信号を受信し、車両100の現在位置を知るために用いられる。現在位置は、通信装置114でサーバ171に対して送信され、現在位置周辺に存在する建物、標識、道路などのような永続性の高い物体に関する情報を入手するために用いることができる。
また、地図データ117は、車両100の記憶装置に記憶されており又はサーバ171から提供され、現在位置をキーとして、現在位置周辺の地図データを抽出するために用いられる。地図データ117は、地球の表面の全体又は一部についての地理的状況をデータ化したものであり、主に周辺の建物、標識、道路などのような永続性の高い物体に関する情報源の1つとして使用することができる。
過去データ116は、車両100の記憶装置に記憶されており又はサーバ171から提供され、車両100が過去に走行した際に検出された物体に関するデータ又はレーダ111、カメラ112、3Dスキャナ113、及びセンサ118の出力データなどを含むことができる。過去に検出された物体のうち建物、標識、道路などのような永続性の高い物体に関するデータは、位置データと共に記録されることで、車外の物体を検出する処理負荷を削減することが可能となる。また、出力データについても、同様に、位置データと共に記録しておくことで、同様の効果が得られる。
レーダ111、カメラ112、3Dスキャナ113、及びセンサ118は、車両100の周辺をリアルタイムに計測することで周辺の物体を検出するため、周辺車両、歩行者、自転車などのような移動体の移動状況などを計測するために主に用いられる。一方、通信装置114、過去データ116、及び地図データ117は、過去に計測された結果をもとに作成されたデータを提供する情報源であり、永続性の高い建物、標識、道路などを検出するために用いられる。ただし、通信装置114が通信するサーバ171は、車両100の周辺の車両で計測された移動体であってもよく、この場合には、周辺の車両から送信されたデータをリアルタイムに受信することができる。
〈データの具体例〉
図3は、周辺物体検出装置110によって収集されたデータの一例を示す図である。図3の例は、カメラ112が、ある時点において車両100から前方を撮影することで取得された静止画を単純化したものである。図3の静止画は、道路401と、道路上に描かれている白線402と、歩道の段差403と、歩道408と、前方車両404と、歩行者405と、建築物406,407とを含んでいる。静止画中に、写っている物体の抽出処理を行うために、通信装置114からサーバ171にこの静止画を転送し、サーバ171が持つ画像認識処理を行い、通信装置114が認識結果を受け取ってもよい。また、他の方法として、作業適性判定装置130の情報処理装置181で、静止画から物体を抽出するための画像認識処理を行ってもよい。また、GPS115から得られる位置データと、地図データ117とを用いて、周辺に存在する施設データなどとマッチングをとることで、建築物406,407などを判定する方法を採用してもよい。なお、カメラ112で得られるデータは、静止画データに限定されず、動画データであってもよい。
図4は、周辺物体検出装置110によって収集されたデータの他の例を示す図である。図4の例は、レーダ111又は3Dスキャナ113又はセンサ118が、ある時点において車両100から車両周辺に存在する物体を検出することで取得された3Dデータを模式的に示したものである。図4の3Dデータは、周辺に存在する物体の高さデータを等高線で表現している。図4のデータは、図3の静止画が撮影されたときと同時に得られたデータである。図3の道路401には、図3のデータ501の平面が対応する。また、図3の歩道408、前方車両404、歩行者405、建築物406,407には、図4のデータ502,503,504,505,506がそれぞれ対応する。また、図3の白線402は、道路401と高さがほぼ同じであり、歩道の段差403は、歩道408と高さがほぼ同じであるため、検出精度が低い場合には、図4のように区別されない。以上のように、車両100の周辺に存在する物体の高さデータが得られると、例えば、図4のデータ503,504,505,506に対応する図3の前方車両404、歩行者405、建築物406,407が存在することによって、これらの奥の状況(陰になっている部分の状況)が視認できない範囲を導出することが可能であり、このような範囲が知覚困難空間となる。
〈ユーザ動作検出装置120〉
図2に示されるユーザ動作検出装置120は、車両100内のユーザの動作を検出するために必要なデータを収集するための各種装置で構成される。ユーザ動作検出装置120は、例えば、ユーザカメラ121とユーザセンサ122とを含む。ユーザカメラ121は、ユーザ動作を検出するために、ユーザを撮影して、ユーザの映像データを取得する。ユーザの映像データを解析することによって、ユーザの体動などが検出可能となる。また、ユーザセンサ122は、カメラ以外のユーザ動作を検出するために用いる各種センサである。ユーザセンサ122を用いることで、ユーザカメラ121では得られないデータを入手することが可能であり、より詳細で正確なユーザ動作を検出することができる。例えば、ユーザセンサ122として視線検出センサを用いることで、ユーザの視線、ユーザが注視する方向、を検出可能である。また、ユーザセンサ122として着座している座席面に面圧センサを備えることで、ユーザの体動又は心拍を検出することが可能である。また、ユーザセンサ122として赤外線サーモグラフィを用いることで、ユーザの表面温度又はその変化を検出可能である。なお、ユーザ動作検出装置120は、ユーザカメラ121とユーザセンサ122の一方だけを含んでもよい。また、ユーザ動作検出装置120は、複数のユーザカメラ121を備えてもよいし、複数のユーザセンサ122を備えてもよい。
〈作業適性判定装置130〉
図1及び図2に示される作業適性判定装置130は、周辺物体検出装置110及びユーザ動作検出装置120で計測した各種計測データをもとに、ユーザの作業適性判定を行う情報処理装置181と、記憶装置182とを有する。情報処理装置181は、計測データをもとにユーザの作業適性判定を行う。具体的には、情報処理装置181は、CPU(Central Processing Units)又はGPGPU(General−Purpose computing on Graphics Processing Units)、FPGA(Field−Programmable Gate Array)などのプロセッサを含む。また、記憶装置182は、ユーザの作業適性判定を行うために必要なデータを一時的に保存するRAM(Random Access Memory)及び情報処理装置181が実行する作業適性判定プログラムを格納するメモリなどを含む。
実施の形態1では、説明を簡単にするために、作業適性判定を行うための情報処理は、作業適性判定装置130内で行う場合を説明するが、周辺物体検出装置110で説明した通り、全ての作業適性判定に関連する処理を作業適性判定装置130内で行う必要はなく、必要に応じて通信装置114を経由してサーバ171で処理を行う分散処理の形態をとってもよい。したがって、作業適性判定プログラムは、サーバ171に格納されてもよい。
〈情報提示部140〉
図2に示される情報提示部140は、ユーザ又は同乗者に対して何らかの情報を提示するために用いられる装置である。情報提示部140は、人間の五感に刺激を与えることで何らかの情報を提示する装置である。情報提示部140の代表例は、映像情報を提示する液晶ディスプレイなどのような表示装置である。情報提示部140は、HUD(Head−Up Display)、音情報を提示するスピーカ、各種アクチュエーターを用いて人間の触覚に刺激を与える触覚ディスプレイ、香りを放出して人間の嗅覚に刺激を与える嗅覚ディスプレイなどを含むことができる。
〈操作部150〉
図2に示される操作部150は、ユーザ又は同乗者がユーザ指示を入力するための操作を行う操作装置である。操作部150は、車両100及び車両100に実装されている各種装置の操作を行うための装置である。操作部150は、例えば、ハンドル、ブレーキペダル、アクセルペダルなどのようなユーザが車両を運転する作業を実施するために用いられ運転制御に必要な運転操作部を含むことができる。運転操作部は、後述する車両制御部160への制御指示を送出する。また、操作部150は、タッチパネル又はリモートコントローラなどのような情報入力操作部を含むことができる。情報入力操作部は、情報提示部140又は各種の情報処理装置181への制御指示を送出することができる。
〈車両制御部160〉
図2に示される車両制御部160は、車両100を動作させるために、車両の全体の制御を行うための制御装置である。車両制御部160は、ユーザが操作部150を介して行った操作の内容に基づいて、車両100の動作を制御する。
《1−3》動作
〈アルゴリズム〉
図5には、作業適性判定装置130が行う基本処理を示すシーケンスが示されている。車両100が起動されると、作業適性判定装置130は、初期化処理201を実行する。初期化処理201は、作業適性判定装置130が適切に動作を実行するために要求される処理である。
初期化処理201を完了すると、作業適性判定装置130は、メインループ処理202を実行する。メインループ処理202は、車両100の動作が終了するまで繰り返される内部処理である。
車両100の動作の終了のための処理が開始すると、メインループ処理202の中断要求が発生し、この中断要求をトリガとして、作業適性判定装置130は、メインループ処理202を中断し、終了処理203を実行する。作業適性判定装置130は、終了処理において、次回の車両100の起動に備えて、作業適性判定装置130を初期化可能な状態に戻す。
〈計測データ待機処理301〉
図6は、実施の形態1におけるメインループ処理202の内部処理を詳細に示すシーケンス図である。メインループ処理202では、先ず、計測データ待機処理301が行われる。計測データ待機処理301では、作業適性判定装置130は、周辺物体検出装置110とユーザ動作検出装置120に対して、それぞれの計測データを提供するように要求し、その計測データが提供されるのを待機する。ただし、計測データの提供要求は、初回の1回のみ実行し、その後は、ストリーム処理で、記憶装置182上の定められた領域に、周辺物体検出装置110とユーザ動作検出装置120が計測データを書込むことで、イベントを作業適性判定装置130に通知してもよい。
〈ユーザ知覚動作検出処理305〉
ユーザ動作検出装置120からユーザ動作計測データが提供された場合、作業適性判定装置130は、ユーザ動作計測データ取得処理304を行い、ユーザ動作計測データを取得する。その後、ユーザ知覚動作検出処理305でユーザがどのようなユーザ知覚動作を行っているのかを検出する。実施の形態1では、視覚によるユーザ知覚動作を検出する場合を例示する。ユーザ動作検出装置120のユーザセンサ122として、視線検出センサを実装している場合には、ユーザ動作計測データ取得処理304では、作業適性判定装置130は、計測時点のユーザの視点位置、視線方向、目の焦点位置などを取得することができる。また、作業適性判定装置130は、ユーザ動作検出装置120のユーザカメラ121から計測時点におけるユーザの姿勢が移った映像を取得することができる。作業適性判定装置130は、これらの取得データからユーザ知覚動作検出処理305を行い、ユーザの視点位置、視線方向、焦点位置などのような瞬間的なユーザ知覚動作の状況を取得することができ、これの時系列データから注視方向及び視野範囲を導出し、ある時間窓内におけるユーザの注意及び関心状況を導出することができる。
ユーザ知覚動作検出処理305の検出結果は、記憶装置182に保存され、他の処理過程において、参照可能としてもよい。他の処理についても、同様に、処理結果を記憶装置182に保存し、他の処理過程において参照可能としてもよい。
一般的に、ユーザ知覚動作検出処理305で検出したユーザ知覚動作Bは、「l」と「m」を正の整数とし、「*」をl又はm以下の正の整数としたときに、
ユーザ動作計測データ取得処理304で取得されたデータDp*の集合
{Dp1,Dp2,…,Dpl}と、
ユーザ知覚動作検出処理305で検出された結果Bp*の集合
{Bp1,Bp2,…,Bpm}との積集合、すなわち、
{Dp1,Dp2,…,Dpl}∩{Bp1,Bp2,…,Bpm
で表現可能である。以降、表現を簡単化するため、Dp*を、便宜上Bp*として表現し
B={Bp1,Bp2,…,Bpm
と表現する。
計測データ待機処理301で周辺物体検出装置110からの計測データが提供された場合、周辺物体計測データ取得処理302が行われ、作業適性判定装置130は、計測データを取得する。その後、知覚困難空間検出処理303で、ユーザが知覚することが困難な知覚困難空間が検出される。
〈知覚困難空間の基本判定処理〉
図7は、視覚による知覚に対する具体的な知覚困難空間検出処理を示す図である。図7は、ユーザ601に対するユーザ知覚動作検出処理305を行うことによって、ユーザ601の視点位置602が導出され、周辺物体検出装置110によって周辺物体603が検出された状況を示している。このとき、ユーザの視点位置602を基準として、見える周辺物体603の外周から先の空間(周辺物体の影にかくれている空間)は、周辺物体603が要因となる知覚困難空間606であることが、導出可能である。図7は、説明を簡単化するために、2次元で表現されている。現実世界の空間は、3次元であるが、図7の説明は、3次元にも適用可能である。また、複数個の周辺物体が存在している状況であっても、各周辺物体に対して同様の処理を行えば、知覚困難空間を導出可能である。また、図7では、視覚に関して記述しているが、本発明は、視覚に限定されるものではなく、また、単一感覚器に限定されるものでもない。例えば、視覚ではなく聴覚に関して知覚困難空間を求めてもよく、また、視覚と聴覚に関して知覚困難空間を求めてもよい。
〈知覚困難空間の重要度判定処理〉
図6に示される知覚困難空間検出処理303において、知覚困難空間の検出に加えて、検出された知覚困難空間(死角空間)の重要度を判定することも可能である。
重要度の尺度として、「知覚困難空間の大きさ」がある。知覚困難空間の大きさは、その知覚困難空間に知覚対象がどれだけ隠れやすいのかを示す指標であるとみなすことができる。ここでは、知覚困難空間が大きいほど、重要度が高くなる。
重要度の他の尺度として、「知覚困難空間とユーザ又は車両との距離」がある。この距離は、その知覚困難空間に隠れた知覚対象が表出したときに、例えば、知覚対象との接触を回避するための猶予を表す指標とみなすことができる。ここでは、距離が短いほど、重要度が高くなる。
重要度の他の尺度として、「知覚困難空間の大きさの変化量」がある。この大きさの変化量が大きければ、時間経過と共に知覚困難となる範囲が広がる指標とみなすことができる。ここでは、知覚困難空間が大きさの変化量が多きいほど、重要度が高くなる。
重要度の他の尺度として、「知覚困難空間の移動速度」又は「移動方向」又は「移動加速度」がある。「移動速度」又は「移動方向」又は「移動加速度」は、その知覚困難空間に隠れた知覚対象が表出したときの回避猶予を表す指標とみなすことができる。ここでは、知覚困難空間が接近する方向の移動である場合には、移動速度が速い及び移動速度の増加率が大きいほど、重要度が高くなる。
また、重要度の他の尺度として、知覚困難空間内の知覚の困難さの度合いがある。知覚の困難さの度合いが低ければ、隠れる知覚対象を見つけることは、少ない労力で対応できるが、度合が高ければその労力は、比例して多くなるためである。例えば、街路樹によって知覚が阻害されることによって生じた知覚困難空間は、街路樹の隙間から、街路樹の影の空間を伺い知ることができるため、トラックによって生じた知覚困難空間のように、トラックの影の空間を全く伺い知ることができない場合より、困難さは低い。ここでは、知覚困難空間内の知覚がし難いほど、重要度が高くなる。
また、知覚困難空間の知覚を阻害する要因となる物体の顕著性が平均より低い場合、ユーザが反射的に要因となる物体を見る確率は低いので、その先(要因となる物体の影の領域)に存在する知覚困難空間に気が付く可能性も低くなる。そのため、このような場合は、知覚困難空間の重要性は高くなると解釈することができる。
知覚困難空間の重要度の度合いは、知覚を阻害する物体の種別によって予め定めてもよいし、周辺物体検出装置110によって計測された物体の計測データから隙間又は透過性、顕著性の有無を判定し、これらの値を用いて動的に算出してもよい。
以上のように、知覚困難空間自身の特性、知覚困難空間とユーザ又は車両などのような他要素との関係から導かれる特性を用いて、知覚困難空間の重要度が算出される。また、知覚困難空間の重要度を、唯一の尺度だけで算出するのではなく、複数の尺度を用いて(上記重要度の尺度の2つ以上の組み合わせによって)、それぞれに重み係数を掛けた値を用いて算出してもよい。
〈知覚困難空間との作業との関連を考慮した重要度判定処理〉
さらに、知覚困難空間の判定処理、及び重要度判定処理において、ユーザが現在遂行すべき作業の内容を考慮した判定処理を行うことも可能である。例えば、実施の形態1における作業は、車両の運転であり、走行中の車両と衝突する可能性のある周辺物体を認知する必要がある。一般的に、衝突の可能性のある周辺物体は、車両100が走行中の道路と同等の高さの平面に停止又は移動する物体であり、ある一定以上の高さに存在する物体については、それ自身と車両との衝突の危険性が低く、かつその物体によって生じた知覚困難空間に一般的な交通上の物体が隠れている可能性は低い。
また、同様に、車両100の位置から一定の距離以上離れた位置の物体によって生じる知覚困難空間、又は、一定の距離内に存在する物体によって生じた知覚困難空間に対して、車両100の位置から一定以上の距離離れている空間についても、そこから出現する潜在的な物体との回避には、十分な距離的な猶予があるため、衝突の危険性が低い。
さらに、前述の高さ及び距離の範囲内に存在する知覚困難空間であっても、知覚困難空間と車両100の間に物体の移動を妨げる物体が存在している場合、その知覚困難空間の内に潜在する(隠れている)物体が車両に向かって移動する可能性は低い。具体的な状況を例示すると、切れ目のない塀によって生じた知覚困難空間は、その塀によってその先に隠れている人又は車両が塀を通過して移動する可能性は低い。逆に、道路脇に連続して駐車中の車両の列には、一般的に、人が通過できる程度の隙間が生じるため、その車両列は、切れ目があるため、その車両列によって生じる知覚困難空間に隠れている物体が車両100に向かって移動する可能性は高い。
図8は、知覚困難空間の重要度の判定方法の一例を示す図である。ここでは、ユーザ701が、視点位置702を基準として、車両を運転中である場合を説明する。車両の周辺には、周辺物体703が存在する。周辺物体703が要因となって知覚困難空間710が生じる。知覚困難空間710の重要度を算出するために用いられるパラメータとして、視点位置702と周辺物体703との間の最短距離711を用いる。知覚困難空間710の重要度は、最短距離711と反比例する、又は、最短距離711と負の相関を持つ。つまり、ユーザ701が周辺物体703に近づくほど、最短距離711は短くなるため、知覚困難空間710の重要度は高くなる。
また、知覚困難空間710の重要度を算出するために用いられる他のパラメータとして、知覚困難空間710の大きさがある。知覚困難空間710の大きさの尺度は、例えば、知覚困難空間710の最もユーザ701に近い側の表面の面積712、又は、知覚困難空間710の最もユーザ701に近い側の表面からユーザ701から一定距離707、離れた面までの間に含まれる知覚困難空間710の部分709の体積(図9における網掛け領域の体積)である。これらの値を用いて、知覚困難空間710の重要度を算出した場合、この重要度は、面積712又は図9における網掛け領域の体積に比例するか又は正の相関を持つ。
図9は、知覚困難空間710の重要度の判定方法の他の例を示す図である。図9では、図8に対して周辺物体801及び信号機802が追加されている。図9は、ユーザ701の作業の内容を考慮し、知覚困難空間710のうちの高さ803より上に存在する部分(薄い網掛け領域)は、重要度を低くし、また、知覚困難空間710のうちの距離707より遠くにある部分(網掛けしていない領域)は、無視する場合を示している。
先ず、距離707について考慮して知覚困難空間を考えた場合、周辺物体801及び信号機802は、距離707よりも遠い位置に存在しているため、それらが要因となり生じる知覚困難空間は、無視される。一方、周辺物体703は、距離707より近い位置に存在しているため、周辺物体703が要因となって生じる知覚困難空間は存在していると判定される。さらに、高さ803に関する条件を考慮すると、知覚困難空間は、2種類の空間部分、すなわち、高さ803以下の範囲に存在する空間部分(知覚困難空間)805と、高さ803より高い範囲に存在する空間部分(知覚困難空間)804に分割される。このとき、知覚困難空間804は、知覚困難空間805よりも重要度は、低い値と判定される。ユーザ701が前進し、距離707の範囲に信号機802が入ると、信号機802が要因となり知覚困難空間が発生する。
図9の例では、高さ803より高い範囲の知覚困難空間の重要度を低く設定し、距離707より遠い位置に存在する知覚困難空間は、無視する条件を設定しているが、本発明は、このような条件に限定されるものではない。知覚困難空間の大きさを制限する条件は、作業の内容を考慮した他の条件であってもよい。
以上のように、知覚困難空間が存在していたとしても、作業の内容を考慮した場合、作業にとって支障又は危険性がない又は殆どないと判断して、知覚困難空間の一部の存在を無視する、又は、知覚困難空間の一部の重要度を低くすることが妥当な場合がある。逆に、知覚困難空間の一部が作業にとっての支障が大きい場合又は危険性が高い場合、知覚困難空間の一部の重要度を高くすることが妥当な場合もある。
よって、作業の内容を考慮する知覚困難空間の判定及び重要度判定の処理は、最初に作業の内容は、考慮せずに、知覚困難空間を検出した後に、作業の内容から規定された条件を満たすか否かで検出した知覚困難空間のフィルタリング又は重要度付けを行うことで実現可能となる。このときの作業の内容から規定された条件は、道路面からの高さ、車両からの距離、知覚困難空間内の物体の出現を阻害する物体の有無に限らず、作業の内容から他の条件を用いてもよい。
以上に説明した知覚困難空間検出処理303(図6)で検出された知覚困難空間の重要度は、以下のようにまとめることができる。
ある知覚困難空間Xに対して、知覚困難空間X自身の形状及び大きさ、知覚困難空間Xとユーザが運転する車両との間の距離、それらの時系列変化となる変化量などの、知覚困難空間X自身が持つ特性gXiに基づく重みをw(gXi)と表記し(iは、正の整数)、
知覚阻害の要因となる物体の影響である透過度又は隙間の割合、その知覚阻害の要因となる物体の持つ顕著性などのような要因となる物体の知覚的特性pXiに基づく重みをw(pXi)と表記し、
ユーザが遂行する作業の内容を考慮した条件cXiに基づく重みをw(cXi)と表記したときに、
知覚困難空間Xの重要度Wは、次式で表現される。
Figure 0006548850
また、このときの知覚困難空間Xは、自身が持つ特性の集合
={gX1,gX2,…,gXn
として表現可能である。
ここでは、各重みw(gXi)、w(pXi)、w(cXi)は、互いに独立であることを前提とした合計値で重要度Wを表現したが、重要度Wの算出は式1に限定されるものではない。重要度Wは、上述の各特性などを用いて算出されてもよい。例えば、ユーザが遂行する作業の内容を考慮した条件c*iは、ある一定の条件を満たした場合、その知覚困難空間は、棄却すると前述した。その場合は、例えば、条件c*iに対する閾値をTC*iとした場合、例えば、以下の式2及び3で表現可能である。
Figure 0006548850
〈作業適性度算出処理306〉
図6の作業適性度算出処理306では、知覚困難空間検出処理303で検出された知覚困難空間及びその重要度、ユーザ知覚動作検出処理305で検出されたユーザ知覚動作をもとに、その時点のユーザが作業をどの程度適切に遂行できるかを示す作業適性度を算出する。
実施の形態1では、視覚的な知覚困難空間に隠れている知覚対象を予期できているかを作業適性の尺度として例示する。
〈基本的な作業適性度算出処理の例〉
上述の知覚対象の予期が適切に起きている場合は、その知覚困難空間とユーザ知覚動作との間に相関が発生する。具体的には、知覚困難空間とユーザの視線ベクトルが交わる、知覚困難空間の移動ベクトルとユーザの視線移動ベクトルが類似する、知覚困難空間の持つ特性のうち1つ以上の特性で急激な変化が発生した際に、ユーザの視線ベクトルがその知覚困難空間に交わるように変化する、などがある。
なお、知覚困難空間に対して視線移動の回数又は頻度、視線の滞留時間の増減をもとに相関を求めるなど、他の方法を用いてもよい。
このような相関は、対象となるデータを時系列データとして、相関係数などを用いることで算術的に導出可能である。ある知覚困難空間Xに対する相関CRは、その知覚困難空間Xの特性Gと、ユーザ知覚動作Bを用いて、次式4のように表現可能である。
Figure 0006548850
ここで、「f()」は、前述の知覚困難空間Xとユーザ知覚動作Bの間のある基準iに従った相関などのような関係を表現する値を算出する関数であり、αは、基準iに対する重みである。また、ユーザ知覚動作Bは、ある特定の時点のユーザ知覚動作だけではなく、ある時系列窓の範囲の時系列データとして、ユーザ知覚動作Bとしてもよい。知覚困難空間Xの特性Gについても同様である。
CRの値の大小は、ユーザが知覚困難空間Xをどの程度、知覚しようと意識しているかを表している尺度とみなすことができる。例えば、大きい値であればその知覚困難空間Xによって判断される作業適性度は高く、小さい値であれば作業適性度は低い、と解釈できる。また、その時点の全ての知覚困難空間の相関CRの平均値は次式5のようになる。
Figure 0006548850
これは、その時点での網羅的にユーザ知覚困難空間を知覚しようと意識しているかを表す尺度である。ここでNは、その時点で検出された知覚困難空間の個数(正の整数)である。
〈知覚困難空間の重要度を用いた作業適性度算出処理の例〉
また、知覚困難空間から算出した各知覚困難空間の重要度を考慮してCRを求めることもでき、次式6のように定式化可能である。
Figure 0006548850
これまでに説明したCR又は、CRを作業適性度算出処理306は、作業適性度の1つとして算出する。その算出結果を少なくとも用いて、ユーザの作業適性度を判定するユーザ作業適性判定処理307が行われ、その時点でのユーザの作業適性が判定される。ユーザ作業適性判定処理307が完了後、再び計測データ待機処理301に戻り、処理を繰り返す。また、車両100の終了処理が開始すると、図6のどの処理が行われていたとしても、速やかに中断処理を行い、メインループ処理202を中断可能である。
〈阻害対抗知覚動作を含む場合〉
これまでに説明した方法は、ある通常のユーザ知覚動作に限定するものではない。前述の通りユーザ知覚動作には、知覚困難空間へ積極的に知覚を試みる阻害対抗知覚動作があり、その特性を考慮した作業適性度算出も可能である。その場合、ユーザ動作計測データ取得処理304で取得されたデータとして、視覚に関するデータ以外にも体動に関するデータも含めて取得し、ユーザ知覚動作検出処理305で体動に関するデータから体動の増減と通常のユーザ知覚動作との相関関係より阻害対抗知覚動作を行っているか否か、行っている場合のその程度を判定する。体動に関連した阻害対抗知覚動作の程度BCは、ユーザ知覚動作検出処理305で検出し、合わせて検出されたユーザ知覚動作Bと組みとして、阻害対抗知覚動作の程度BCを付加して作業適性度算出処理306に渡す。
また、感覚器への反応感度の変化については、現在ユーザが注意を向けている知覚困難空間以外の知覚困難空間又は他の周辺環境、及びそれらの変化に対する各感覚器での反応時間などでその感覚器の知覚感度の低下の程度を算出することができる。感覚器への反応感度の変化を伴う阻害対抗知覚動作の程度SCは、ユーザ知覚動作検出処理305で検出し、合わせて検出されたユーザ知覚動作B又は体動変化を伴う阻害対抗知覚動作の程度BCと組みとして、作業適性度算出処理306に渡す。
作業適性度算出処理306でのSC及びBCを用いた作業適性度の算出方法について説明する。SC及びBCについては、そのときのユーザ知覚動作Bとの組みであり、ユーザ知覚動作Bよりどの知覚困難空間Xに対して向けられた阻害対抗知覚動作であるのかが判別可能である。例えば、視覚であれば視線ベクトル、聴覚であれば周波数範囲などで判別する。阻害対抗知覚動作の対象は、より一般的に表現すると、確率的表現、知覚困難空間Xが阻害対抗知覚動作の対象である確率値CPとして表現可能である。
ある知覚困難空間Xに対する相関CRは、次式7で表現可能である。
Figure 0006548850
ここでCW(B,SC,BC,G)及びCC(B,SC,BC,G)は、それぞれ阻害対抗知覚動作の程度が相関Σα(G,B)に対して影響を与えた場合の重みと切片である。具体的には、知覚困難空間Xに対してその阻害対抗知覚動作が向いていれば、重み又は切片は、大きい値となり、逆に向いていなければ重み又は切片は、小さい値となり場合によっては、負の値となる。また、重み又は切片は、同時に適用する必要はなく、一方だけを適用してもよいし、どちらも適用しなくてもよい。これら重み又は切片は、ある定められたテーブルをもとに決定してもよいし、あるモデルを構築し、毎回モデルベースで算出してもよい。また、阻害対抗知覚動作の考慮は、常時行わなくとも、知覚困難空間が少なくとも1つ以上存在する場合に考慮して相関CRを算出して、処理負荷の削減を行ってもよい。
〈作業を考慮した場合〉
更なる作業適性度算出の方法を説明する。ユーザが遂行すべき作業の内容によっては、知覚困難空間に対する知覚の意識が偏る場合があり得る。実施の形態1の車両の運転においては、死角空間からの飛び出しに意識を持つべきであるということを考慮すると、知覚困難空間を万遍なく知覚する必要はなく、知覚困難空間に限って言えばその境界線の周辺に知覚を偏重させるべきである。
図10を用いて、作業の内容を考慮した作業適性度算出の方法を説明する。図10は、ユーザ601の視点位置602を基点として、周辺物体603によって生じる知覚困難空間606が存在している状況を示す図である。このとき、一般的に周辺物体603は、物体の通過が困難であるため、その周辺物体603を通過して知覚対象となる人などが点611、点612を結ぶ線分を含む平面から出現する可能性は低い。一方、点611又は、点612付近を経由して知覚対象となる人などが出現する可能性は高い。つまり、知覚困難空間に対して知覚を意識すべき程度(知覚重要度)は、均一ではなく、その作業の内容によって偏りが生じる。
図11は、周辺物体603上の点612から点611に至る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。この例では、点611付近が最も近く重要度が高く、その次に、点612付近が高い重要度となっている。この場合、点611又は点612付近に視線が向いている場合の方が、点611から点612の間に視線が向いている場合よりも作業適性度を高く算出することによって、作業の内容を考慮した作業適性度算出が可能となる。これは、相関CRを算出する際の基準iの一つとみなすことが可能である。
図12を用いて、更なる作業の内容を考慮した作業適性度算出の方法を説明する。図12は、図10における周辺物体603が他車両である場合に、ユーザ601の視点位置602を基点として、周辺物体603によって生じる知覚困難空間606が存在している状況を示す図である。周辺物体603の属性である他車両を判別するための情報は、周辺物体検出装置110から取得されるデータから機械学習などのようなアルゴリズムを用いて、データのクラスタリングを行うことで実現可能である。他車両603は、側面にドア621,622があり、他車両603内部から搭乗者が出てくる可能性がある。そのため図10の状況とは異なり、点611,612付近に視線を向けるだけでなくドア621,622から線点611,612を結ぶ線分に射影した点623,624を結ぶ線分、点625,626を結ぶ線分付近にも視線を向けるべきである。
図13は、図12の状況において周辺物体603上の点612から点611に至る線分を含む平面における各位置に対する知覚重要度の一例を示す図である。この例では、ドア621,622に相当する点623,624を結ぶ線分と点625,626を結ぶ線分で知覚重要度が高くなっている。この例では、どちらもユーザ601に近い側の点626,624から遠い側の点625,623に向かって単調減少する例を示しているが、これは、他車両603がユーザ601の向く向きと同じ方向を向いて駐車しているため、ドア621,622は、ユーザに近い側が開く構造となっているため、それに対応する点626,624の方が知覚重要度は高くなっている。
《1−4》効果
以上に説明したように、実施の形態1に係る作業適性判定装置130、作業適性判定方法、及び作業適性判定プログラムにおいては、作業を遂行するために必要な知覚を阻害された空間である知覚困難空間に対し、ユーザがどの程度意識しているのかをユーザの知覚行動との関係性によって、ユーザがその時点においてその作業を遂行するために適切な状況にあるのかを判定することが可能となる。そのとき、知覚困難空間は、それ自身を知覚できないが故に、それ自身の顕著性による反射的な反応か、知覚困難に対する危険予知などのような作業遂行上の認知の結果の反応であるのかどうかの区別が容易となっている。このため、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、正確に判定することができる。
《2》実施の形態2
図14は、図5のメインループ処理202の他の内部処理を詳細に示すシーケンス図である。図14において、図6と同じ処理には同じ符号を付す。実施の形態2においては、実施の形態1と異なる点を中心に説明する。図14に示される内部処理は、知覚対象検出処理311とユーザ知覚対象判定処理312とが追加されている点において、図6(実施の形態1)に示される内部処理と異なる。また、実施の形態2の作業適性判定装置は、知覚対象検出処理311を実行する知覚対象検出部134(図1)とユーザ知覚対象判定処理312を行うユーザ知覚対象判定処理部135(図1)とを有する点において、実施の形態1のものと異なる。これらの処理を追加することによって、実施の形態2に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムにおいては、ユーザの周辺に存在する知覚対象を検出し、検出された知覚対象のうちのいずれの対象物がユーザに知覚されているかの判定を行い、知覚されている対象物についての情報(判定の結果)を用いてユーザの作業適性判定を行う。この点を除いて、実施の形態1は、実施の形態2と同様である。なお、実施の形態2の説明に際しては、図1及び図2をも参照する。
図14に示される知覚対象検出処理311では、周辺物体計測データ取得処理302で取得された周辺物体に関する情報をもとに、ユーザが作業を行うに当たり知覚すべき対象物が検出される。
図15は、図14の知覚対象検出処理311を説明するための図である。ユーザ701の周辺の対象物としては、道路901、白線902、歩道の段差903、前方を走行中の車両904、歩道を歩行中の歩行者905が存在し、その他に空、雲、鳥、飛行機など多様な周辺物体が存在する。周辺物体検出装置110は、これら周辺の対象物のデータを区別することなく、一連のデータとして取得する。
通常、ユーザ701が作業を遂行するに際には、ユーザ701は、周辺物体の全てを認識する必要はなく、多数の周辺物体のうちの一部の周辺物体を認識すればよい。ユーザ701としての運転者が認識すべき周辺物体は、例えば、白線902、歩道の段差903、前方を走行中の車両904、歩行者905である。このため、図14の知覚対象検出処理311では、道路901などのような認識する必要のない周辺物体の情報をフィルタリングすることで除去する。このフィルタリングは、周辺物体検出装置110から取得される周辺物体の検出データから、機械学習などのような既知のアルゴリズムに基づく物体認識技術などを用いることによって実行することができる。このフィルタリングの結果として、フィルタリングの時点において認識(知覚)すべき対象物の種類、形状、位置、サイズなどのような対象物の属性情報を抽出することができる。また、検出された対象物の属性情報を時系列に取得し、検出時刻の異なる属性情報を比較することで、属性情報の変化量を抽出してもよい。
図14におけるユーザ知覚対象判定処理312では、知覚対象検出処理311の検出結果である知覚すべき対象物の属性情報のリストと、ユーザ知覚動作検出処理305で検出されたユーザ知覚動作の情報とをもとに、知覚すべき対象物が、ユーザに知覚されている確率を判定する。
図16は、図14のユーザ知覚対象判定処理312を説明するための図である。図16は、図15に対して知覚対象検出処理311で検出された視線の先の位置(対象物上の位置)の移動時系列データ911を重畳して表示した図である。視線の先の位置の移動時系列データ911は、点912を起点として、線分の変化点(線分の曲がっている箇所)が次に検出された視線の先の位置を示し、点913が最新の視線の先の位置である。この場合には、白線902から順に、歩道の段差903、白線902、歩道の段差903、歩行者905、歩道の段差903と視覚的な注意が移動していることを示す。このような場合、例えば、白線902、歩道の段差903、歩行者905は、ユーザに認知されていると解釈できる一方、前方走行車両904は、ユーザに認知されていないと解釈できる。
また、認知の度合いとして、視線の維持時間、又は視線が離れてからの経過時間、又はこれらの両方を考慮した重み付け係数を用いることが可能である。具体的には、ある知覚対象Yに対して視線が向いた回数、又は視線が向いている維持時間、又は視線が離れてからの経過時間、又はこれらの内の幾つかの組み合わせなどのような、ユーザの知覚行動に関連するパラメータをzとした場合の各パラメータの重みをW(z)として表現した場合、知覚対象Yをユーザが認知しているかの尺度P(Y)は、次式8で表現することが可能である。
Figure 0006548850
ユーザの知覚対象に関連するパラメータとして、ユーザの視線が知覚対象に向いた回数を用いて図16における各知覚対象をユーザが認知しているかの尺度を算出する例は、以下のようになる。
P(白線902)=5
P(歩道の段差903)=6
P(前方走行車両904)=0
P(歩行者905)=4
この場合には、歩道の段差903が最も知覚の程度が高い対象(すなわち、認知の尺度が大きい)と判断される。
他のパラメータとして、例えば、連続して視線が向いている回数の最大値をパラメータとした場合に、図16における各知覚対象をユーザが認知しているかの尺度を算出する例は、以下のようになる。
P(白線902)=4
P(歩道の段差903)=4
P(前方走行車両904)=0
P(歩行者905)=4
この場合は、前方走行車両904以外は、知覚の程度が同じレベルである(すなわち、認知の尺度が同じ程度である)と判断される。
ユーザの知覚行動に関するパラメータは、上記パラメータに限定されず、それ以外のパラメータを定義してもよい。
実施の形態2においては、ユーザ知覚対象判定処理312、知覚困難空間検出処理303、ユーザ知覚動作検出処理305の出力を用いて、作業適性度算出処理306を行う。上記実施の形態1では、知覚困難空間検出処理303とユーザ知覚動作検出処理305を用いて、知覚困難空間Xとユーザ知覚動作の相関CRを求め、これらから作業適性度を算出する例を説明した。これに対し、実施の形態2では、ユーザ知覚対象判定処理312の出力をさらに用いて、作業適性度を求める指標を算出する。ユーザ知覚対象判定処理312では、周辺物体毎に、ユーザが周辺物体をどの程度認知しているかの尺度に基づいた値が出力される。
例えば、物体Uについての尺度をP(U)と表現したとき、P(U)の合計値V=ΣP(U)は、その時点で周辺に存在するすべての物体に対してユーザがどの程度認知しているかを表す値である、解釈可能である。この合計値Vを、作業適性度の一例である。この算出例は、一例にすぎず、他の算出方法を採用してもよい。例えば、物体Uの種別又は物体Uの種別以外の特性に応じて、尺度P(U)に重み付けして、重み付けされた合計値を作業適性度とすることも可能である。
また、物体Uがある知覚困難空間の周辺(近傍)に存在する場合、その物体Uは、物体Uの一部が当該知覚困難空間に隠ぺいされている場合がある。また、他の物体Yが直前まで存在していなかったがある知覚困難空間の周辺から出現した場合がある。このように、知覚困難空間の周辺に分布する物体については、それ以外の物体よりも優先される知覚対象であると解釈でき、その場合には、尺度P(U)の重み付けを大きくして、重み付けされた合計値を作業適性度とすることも可能である。
以上に説明したように、実施の形態2に係る作業適性判定装置、作業適性判定方法、及び作業適性判定プログラムにおいては、ユーザが作業を行うのにどの程度適切な状態であるのかを示す作業適性度を、ユーザに負担を与えることなく、より一層正確に判定することができる。
《3》変形例
上記実施の形態1及び2では、ユーザが自動車の運転者である場合を説明したが、ユーザが運転する車両は、自動車以外のものであってもよい。車両は、例えば、自転車、バイク、電車などの移動体であってもよい。また、本発明が適用可能な作業は、移動体の操作に限定されず、移動体の操作以外の作業、例えば、設備又は機械の操作などであってもよい。例えば、工作機械を用いた工作作業をユーザが行うべき作業とした場合、削りかすを知覚対象とし、微細な削りかすの飛散領域を知覚困難空間として、知覚困難空間の重要度のパラメータとして、削りかすの素材又はサイズを割り当てることが可能である。この場合、例えば、微細さによる見え辛さに対抗するため工作機械又はその周辺に対してユーザが触る前に目視確認を阻害対抗知覚動作とみなすことが可能であり、その動作の回数、頻度、維持時間、又はこれらの組み合わせなどを阻害対抗知覚動作の程度とすることが可能である。
また、上記実施の形態1及び2では、視覚によって知覚する知覚対象、視覚による知覚が困難な知覚困難空間を用いた例を説明したが、本発明で利用される知覚は視覚に限定されず、聴覚、触覚、味覚などの他の感覚に対しても適用可能である。例えば、工作機械を用いた工作作業をユーザが行うべき作業とした場合、ユーザが操作する機械の異常音を知覚対象、それ以外の音、例えば、機械正常動作時の動作音、他作業員が用いる機械が発する音、それ以外の音などを知覚困難空間として、知覚困難空間の重要度を機械の異常音との類似度又は音量、音の発生源の方向、又はこれらの組み合わせなどとすることが可能である。この場合、例えば、阻害対抗知覚動作として、知覚困難空間の重要度に相関して、ユーザの作業動作の停止又は、工作機械及びその周辺への目視確認などを阻害対抗知覚動作とすることが可能であり、その動作の回数、頻度、維持時間などを阻害対抗知覚動作の程度とすることが可能である。
100 車両、 110 周辺物体検出装置、 120 ユーザ動作検出装置、 130 作業適性判定装置、 131 ユーザ知覚動作検出部、 132 知覚困難空間検出部、 133 作業適性度算出部、 134 知覚対象検出部、 140 情報提示部、 181 情報処理装置、 182 記憶装置、 601,701 ユーザ、 603,703 周辺物体。

Claims (14)

  1. ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定装置であって、
    ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出し、前記知覚困難空間の重要度を判定する知覚困難空間検出部と、
    前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出し、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出するユーザ知覚動作検出部と、
    前記知覚困難空間検出部によって検出された前記知覚困難空間と、前記知覚困難空間の重要度と、前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出する作業適性度算出部と
    を備えたことを特徴とする作業適性判定装置。
  2. 前記知覚対象を検出する知覚対象検出部をさらに備え、
    前記作業適性度算出部は、前記知覚対象検出部によって検出された前記知覚対象と、前記知覚困難空間検出部によって検出された前記知覚困難空間と、前記知覚困難空間の重要度と、前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出する
    ことを特徴とする請求項1に記載の作業適性判定装置。
  3. 前記知覚困難空間検出部は、前記予定の作業の内容を示す情報を取得し、前記予定の作業の内容に基づいて前記知覚困難空間を決定することを特徴とする請求項1又は2に記載の作業適性判定装置。
  4. 前記知覚対象検出部は、前記予定の作業の内容を示す情報を取得し、前記予定の作業の内容に基づいて前記知覚対象を決定することを特徴とする請求項2に記載の作業適性判定装置。
  5. 前記知覚困難空間検出部は、前記ユーザの位置から直接見ることができない死角空間を前記知覚困難空間と判定することを特徴とする請求項1からのいずれか1項に記載の作業適性判定装置。
  6. 前記知覚対象検出部は、前記ユーザの位置から直接見ることができる空間に存在する対象物を前記知覚対象と判定することを特徴とする請求項2又はに記載の作業適性判定装置。
  7. 前記ユーザ知覚動作検出部は、前記ユーザの視線の動きを前記ユーザ知覚動作として検出することを特徴とする請求項1からのいずれか1項に記載の作業適性判定装置。
  8. 前記ユーザ知覚動作検出部は、前記知覚困難空間と前記知覚困難空間の周辺と含む領域に前記ユーザの視線が向けられるユーザ視線移動の回数、前記ユーザ視線移動の頻度、及び前記ユーザの視線が向けられている維持時間の内の1つ以上に基づいて、前記作業適性度を変更することを特徴とする請求項1からのいずれか1項に記載の作業適性判定装置。
  9. ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定装置であって、
    ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出する知覚困難空間検出部と、
    前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出するユーザ知覚動作検出部と、
    前記知覚困難空間検出部によって検出された前記知覚困難空間と前記ユーザ知覚動作検出部によって検出された前記ユーザ知覚動作とから、前記ユーザの前記作業適性度を算出する作業適性度算出部と
    を備え、
    前記ユーザ知覚動作検出部は、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出し、
    前記作業適性度算出部は、前記阻害対抗知覚動作と前記阻害対抗知覚動作の程度の少なくとも一方に基づいて、前記作業適性度を変更する
    ことを特徴とする作業適性判定装置。
  10. 前記知覚困難空間検出部は、
    前記ユーザの位置から直接見ることができない死角空間を前記知覚困難空間と判定し、
    前記知覚困難空間の重要度を、前記死角空間の大きさ、前記死角空間の位置、前記ユーザから前記死角空間までの距離、前記死角空間の移動速度、前記死角空間の移動加速度のうちの1つ以上に基づいて決定する
    ことを特徴とする請求項に記載の作業適性判定装置。
  11. 前記阻害対抗知覚動作の程度は、前記知覚困難空間の前記ユーザに近い側の周辺へ前記ユーザの視線が向けられるユーザ視線移動の回数、前記ユーザ視線移動の頻度、及び前記ユーザの視線が向けられている維持時間の内の少なくとも1つに基づいて、変更されることを特徴とする請求項に記載の作業適性判定装置。
  12. 前記知覚困難空間検出部は、前記ユーザから予め定められた範囲内において検出された前記知覚困難空間を検出し、前記予め定められた範囲外において前記知覚困難空間を検出しないことを特徴とする請求項1から11のいずれか1項に記載の作業適性判定装置。
  13. ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定方法であって、
    ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出し、前記知覚困難空間の重要度を判定するステップと、
    前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出し、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出するステップと、
    検出された前記知覚困難空間と、前記知覚困難空間の重要度と、前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出するステップと
    を備えたことを特徴とする作業適性判定方法。
  14. コンピュータに、ユーザが、遂行すべき予定の作業を行うのにどの程度適切な状態であるのかを示す作業適性度を判定する作業適性判定方法を実行させる作業適性判定プログラムであって、
    前記コンピュータに、
    ユーザの周辺に存在する周辺物体を検出する周辺物体検出装置から取得した周辺物体情報から、前記ユーザが、前記予定の作業を行う際に前記ユーザが知覚すべき対象物である知覚対象を、知覚することが困難な空間である知覚困難空間を検出し、前記知覚困難空間の重要度を判定する処理と、
    前記ユーザの動作を検出するユーザ動作検出装置から取得したユーザ動作情報から、前記ユーザが前記知覚対象を知覚しようと試みるときの前記ユーザの動作であるユーザ知覚動作を検出し、前記知覚困難空間内に存在し得る知覚対象である潜在的知覚対象の知覚を試みるときのユーザ知覚動作である阻害対抗知覚動作と前記阻害対抗知覚動作の程度とを検出する処理と、
    検出された前記知覚困難空間と、前記知覚困難空間の重要度と前記ユーザ知覚動作と、前記阻害対抗知覚動作と、前記阻害対抗知覚動作の程度とから、前記ユーザの前記作業適性度を算出する処理と
    を実行させることを特徴とする作業適性判定プログラム。
JP2019502419A 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム Expired - Fee Related JP6548850B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008591 WO2018158950A1 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム

Publications (2)

Publication Number Publication Date
JP6548850B2 true JP6548850B2 (ja) 2019-07-24
JPWO2018158950A1 JPWO2018158950A1 (ja) 2019-11-07

Family

ID=63369872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502419A Expired - Fee Related JP6548850B2 (ja) 2017-03-03 2017-03-03 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム

Country Status (5)

Country Link
US (1) US20200000391A1 (ja)
JP (1) JP6548850B2 (ja)
CN (1) CN110352037A (ja)
DE (1) DE112017006982T5 (ja)
WO (1) WO2018158950A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6638701B2 (ja) 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
DE102020003018A1 (de) * 2020-05-19 2021-11-25 Daimler Ag Verfahren zur Ermittlung einer Reaktionsfähigkeit
JP7535484B2 (ja) * 2021-09-01 2024-08-16 ダイハツ工業株式会社 異常検知装置および異常検知方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882153B2 (ja) * 2001-02-19 2012-02-22 日産自動車株式会社 車輌用情報出力装置
JP4935589B2 (ja) * 2007-09-10 2012-05-23 株式会社デンソー 状態判定装置およびプログラム
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP5966640B2 (ja) * 2012-06-08 2016-08-10 株式会社豊田中央研究所 漫然運転検出装置及びプログラム
JP2016181260A (ja) * 2015-03-23 2016-10-13 コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. 適応型運転者支援

Also Published As

Publication number Publication date
CN110352037A (zh) 2019-10-18
JPWO2018158950A1 (ja) 2019-11-07
US20200000391A1 (en) 2020-01-02
WO2018158950A1 (ja) 2018-09-07
DE112017006982T5 (de) 2019-10-31

Similar Documents

Publication Publication Date Title
US11993293B2 (en) Information processing apparatus, moving apparatus, and method, and program
JP6548850B2 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
KR102669020B1 (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
CN102712317B (zh) 使驾驶员与环境感测结合的车辆安全性系统
US9007198B2 (en) Adaptive Actuator interface for active driver warning
EP3882884A1 (en) Information processing device, information processing method, and program
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP6343808B2 (ja) 視野算出装置および視野算出方法
US11603104B2 (en) Driver abnormality determination system, method and computer program
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
JP2019043496A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
KR102452636B1 (ko) 차량의 주행을 보조하는 장치 및 방법
CN110641468A (zh) 基于乘客行为控制自主车辆
CN113260547A (zh) 信息处理设备、移动设备、方法和程序
CN114930422B (zh) 信息处理设备、移动装置、信息处理系统、信息处理方法和程序
US20210316737A1 (en) Driver abnormality determination apparatus, method and computer program
CN114340970A (zh) 信息处理设备、移动设备、信息处理系统、方法和程序
JP7331728B2 (ja) 運転者状態推定装置
Matviienko et al. QuantiBike: quantifying perceived cyclists' safety via head movements in virtual reality and outdoors
JP7331729B2 (ja) 運転者状態推定装置
US20210316736A1 (en) Driver abnormality determination apparatus, method and computer program
Phan Estimation of driver awareness of pedestrian for an augmented reality advanced driving assistance system
WO2021085414A1 (ja) 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
Alomari Human-centric detection and mitigation approach for various levels of cell phone-based driver distractions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190328

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190625

R150 Certificate of patent or registration of utility model

Ref document number: 6548850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees