TW202404532A - 認知力推測裝置及記錄媒體 - Google Patents

認知力推測裝置及記錄媒體 Download PDF

Info

Publication number
TW202404532A
TW202404532A TW112114349A TW112114349A TW202404532A TW 202404532 A TW202404532 A TW 202404532A TW 112114349 A TW112114349 A TW 112114349A TW 112114349 A TW112114349 A TW 112114349A TW 202404532 A TW202404532 A TW 202404532A
Authority
TW
Taiwan
Prior art keywords
cognitive ability
state
information
aforementioned
driver
Prior art date
Application number
TW112114349A
Other languages
English (en)
Inventor
篠崎幸男
Original Assignee
篠崎幸男
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 篠崎幸男 filed Critical 篠崎幸男
Publication of TW202404532A publication Critical patent/TW202404532A/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本發明提供一種認知力推測裝置,具備:生物資訊取得手段,其取得生物資訊,前述生物資訊可至少辨明進行移動體的駕駛或操縱的對象者的心跳;影像資訊取得手段,其取得前述對象者的影像資訊;狀態推測手段,其基於自前述生物資訊所辨明的心跳,推測前述對象者的自律神經的狀態;及認知力推測手段,其基於來自前述狀態推測手段的前述自律神經的狀態之推測結果及前述影像資訊,推測前述對象者的認知力。

Description

認知力推測裝置及記錄媒體
本發明關於認知力推測裝置及記錄媒體。
作為人所駕駛或操縱的移動體,存在有多種移動體。這樣的移動體重量沉重,因不適當的駕駛或操縱而造成意外時的被害也容易變得相當大。因此,例如在汽車中亦會進行將駕駛員作為對象者而推測駕駛員的認知力,並自該推測結果根據需要進行對於駕駛員的刺激等,藉此支援安全駕駛(例如參照專利文獻1)。此處,在說明上為了方便,分別將移動體記載為汽車,將對象者記載為駕駛員,將用來使移動體移動的操作記載為駕駛。
駕駛員的認知力的推測,能夠使用來自用於對坐在駕駛座的駕駛員進行拍攝的攝影機的影像資料來進行(例如參照專利文獻1)。其中,駕駛員的視覺上可確認的特徵量,例如眨眼頻率、視線的移動範圍、該移動速度等的變化,是作為產生睡意的結果而表現出來。因此,從實際產生睡意至確認到特徵量的變化為止有著時間差。因為存在這樣的時間差,亦進行根據自律神經的狀態來推測睡意(例如參照專利文獻2)。
[先前技術文獻] (專利文獻) 專利文獻1:日本特開2019-200544號公報 專利文獻2:日本特開2009-039167號公報 專利文獻3:日本特開2008-125801號公報
(發明所欲解決的問題) 先前針對被推測為有睡意的駕駛員亦會進行利用車載的機器來施加某些刺激,以改善睡意(清醒度)。關於刺激,例如有利用空調機器的送風及利用聲音的警告等。 注意到本身的睡意的駕駛員,一般會有自覺地改善睡意。藉由該自覺,有時即便有著睡意也會使交感神經的活動量亢奮。也就是說,有時會成為如交感神經及副交感神經皆亢奮的異常狀態(例如參照專利文獻3)。
駕駛員因為必須要安全駕駛汽車,被認為自律神經較容易成為異常狀態。因為也有這樣的情形,駕駛員的睡意也就是認知力的推測並不一定能夠根據自律神經的狀態而高精準度地進行。因此,認為能夠更高精準度地進行認知力的推測是重要的。
本發明的目的是要提供一種認知力推測裝置,其可更高精準度地推測駕駛或操縱移動體的對象者的認知力。
(用於解決問題的手段) 本揭示的一態樣的認知力推測裝置,具備:生物資訊取得手段,其取得生物資訊,該生物資訊可至少辨明進行移動體的駕駛或操縱的對象者的心跳;影像資訊取得手段,其取得對象者的影像資訊;狀態推測手段,其基於自生物資訊所辨明的心跳,推測對象者的自律神經的狀態;及認知力推測手段,其基於來自狀態推測手段的自律神經的狀態之推測結果及影像資訊,推測對象者的認知力。
(發明的功效) 根據本發明,能夠更高精準度地推測駕駛或操縱移動體的對象者的認知力。
以下,針對用以實施本發明的型態,一邊參照圖式一邊加以說明。此外,以下所說明的實施型態為一例,本發明的技術性範圍並不限於該實施型態。本發明的技術性範圍中,亦包包各種變化例。
第1圖是說明以下例子的圖:本發明的一實施型態之認知力推測裝置推測對象者的認知力的機制之例,以及對應於被推測的認知力而進行的控制之例。 認知力推測裝置1推測認知力的對象者,是駕駛或操縱移動體的人。因此,移動體是搭載有引擎等使移動成為可能的動力源者。
第1圖中,將汽車設想為移動體,將坐在駕駛座2駕駛該汽車的駕駛員3設想為對象者。藉此,此處只要沒有特別告知,便是將汽車設想為移動體且將駕駛員3設想為對象者來加以說明。此外,移動體亦可為電車、船舶或飛機等。對象者亦可為操縱者等。
本實施型態中,針對駕駛員3的認知力的推測使用生物資訊、影像資訊及狀態資訊。該等資訊中,能夠省略狀態資訊。 生物資訊是表現駕駛員3的心跳的資訊,或是可辨明該心跳的資訊。第1圖中,作為產生生物資訊的裝置之例,表示了設有脈博感測器的方向盤5及配戴在駕駛員3的手腕上的智慧錶6。
脈博感測器,例如是靜電電容式、光學式或電波式,對用於感測的感測器所輸出的訊號進行處理,並根據血流的脈動辨明心跳。該辨明結果作為生物資訊而自脈博感測器發送出。該生物資訊,例如經由ECU(Electronic Control Unit,電子控制單元)等而輸入至認知力推測裝置1。此外,脈博感測器亦可設於駕駛座2而非方向盤5。只要是能夠辨明心跳者,感測器的種類、設置場所等並未特別限定。
智慧錶6,例如是搭載有光學式脈博感測器者。智慧錶6,能夠將藉由該脈博感測器確認到的駕駛員3的血流脈動檢測為心跳,並將該檢測結果作為生物資訊加以發送。自智慧錶6以無線方式發送的生物資訊,例如直接由認知力推測裝置1所接收。
攝影機4是為了以坐在駕駛座2的駕駛員3的臉作為中心進行攝影而設置於汽車的車內者。藉由該攝影所得到的影像資訊,與設於方向盤5的脈博感測器同樣經由ECU而被發送至認知力推測裝置1。 自影像資訊亦可辨明駕駛員3的心跳數,亦可辨明呼吸。因此,影像資訊亦可定位為生物資訊。
攝影機7及雷達8,是用於產生狀態資訊的裝置,或是用於產生狀態資訊之資訊的產生用裝置。該狀態資訊是表示移動體也就是汽車的狀態之資訊。 攝影機7,例如用於汽車的行進方向的攝影。藉由該攝影得到的影像資訊,例如用於汽車的行進方向上的道路狀態的確認。所謂要確認的道路狀態,具體而言有道路的彎曲方式、道路上是否有劃線、有無障礙物、障礙物的種類等。該等皆可藉由使用影像資訊的影像解析來加以辨明。因此,攝影機7是狀態資訊的產生用裝置。
雷達8,是用於量測與存在於行進方向上的物體之間的距離的裝置,例如將表示被量測到的距離之距離資訊作為狀態資訊而加以產生並輸出。因此,雷達8,是可產生狀態資訊的裝置。 此外,狀態資訊不限定於可藉由攝影機7或雷達8產生的資訊。經定位後的位置資訊、汽車的行駛速度資訊及方向盤5的轉向角等亦能夠用來作為狀態資訊。使用的狀態資訊,對應移動體的種類或用途等而決定即可。
自雷達8輸出的距離資訊及自攝影機7輸出的影像資訊,由對應的ECU 9加以處理。ECU 9,根據影像資訊進行例如道路上是否有劃線、線的種類、有無存在於行駛方向上的物體、物體的種類等的識別。自這樣的識別結果,進行車體的搖晃、車體是否有超出線外的判定等。又,亦與距離資訊組合而進行與行駛於前方的其他車體的車間距離是否適當、是否存在障礙物、距離是否可避開障礙物等的判定。藉此,ECU 9例如將影像資訊、各識別結果及各判定結果作為狀態資訊而輸出至認知力推測裝置1。雷達8產生的狀態資訊(距離資訊),成為被轉換成使用該等資訊的處理結果的形式。
被接收至認知力推測裝置1的影像資訊及狀態資訊,使用於步驟S1的影像解析處理。該影像解析處理,是用於對可用於認知力的推測的複數個指標加以評價的處理。複數個指標的種類及其組合並未特別加以限定,但至少必須採用睡意。這是因為,睡意對認知力的影響程度非常大。作為其他指標,例如亦可與專利文獻1同樣採用疲勞及注意力。此處,複數個指標設想為睡意、疲勞、注意力的這三個。
作為各指標的評價方法,能夠採用周知的方法。具體而言,例如亦可採用專利文獻1所述的方法。因為這樣,此處省略詳細的說明。此外,作為駕駛員3的睡意,特別是著眼於眼睛的動向來加以推測的方法可說是一般性的方法,眼睛的動向具體而言有眨眼頻率及眼球運動等。根據眼球運動能夠確認視線的移動速度及視線的移動範圍等。
汽車的行駛速度越快,則駕駛員3的視線的移動範圍有越窄的傾向。又,想要避開前方障礙物的駕駛員3,為了確認應該要使汽車行進的方向,有時會使視線在視覺上大幅移動。要使汽車左轉或右轉時,駕駛員3通常會使視線比較大幅移動。因為這樣,要更高精準度進行駕駛員3的認知力的推測時,狀態資訊是有用的。
被接收至認知力推測裝置1的生物資訊,使用於步驟S2的自律神經的狀態解析處理。該狀態解析處理評價自律神經的狀態,也就是交感神經及副交感神經的各活動位準,並使用該評價結果推測睡意及壓力的各位準。
已知在對心跳間隔進行頻率解析而得到的頻譜中,會有一個峰值結構。藉由比較交感神經在0.05-0.15Hz的範圍的功率,以及副交感神經在0.15-0.45Hz的範圍的功率,能夠對活動位準進行相對評價。睡意及壓力能夠自該等相對的活動位準來加以評價。因此,表示心跳或可辨明心跳的生物資訊,能夠利用於自律神經也就是睡意及壓力的各推測。因此,本實施型態中,將生物資訊作為推測自律神經的狀態時必須的資訊。關於自心跳推測自律神經的狀態之方法,亦可採用周知的方法,因此省略更詳細的說明。
此外,存在於0.05-0.15Hz的範圍中的結構被稱為血壓性變動成分(NWSA:Myer Wave Sinus Arrhythmia),存在於0.15-0.45Hz的範圍中的結構被稱為呼吸性變動成分(RSA:Respiratory Sinus Arrhythmia)。自心跳漂移的頻譜,亦能夠得到關於呼吸的資訊及關於血壓變化的資訊。
根據自律神經也就是交感神經及副交感神經的各活動位準推測的駕駛員3的狀態,大致區分成以下四種(例如參照專利文獻3)。 (1) 交感神經處於優勢的狀態 (2) 副交感神經處於優勢的狀態 (3) 交感神經及副交感神經的各活動位準皆亢奮中的狀態 (4) 交感神經及副交感神經的各活動位準皆降低中的狀態
(1)是推測為駕駛員3沒有感覺到睡意的狀態。壓力位準高的狀態,也就是駕駛員3正在興奮中的狀態也包含於(1)中。此處接下來標記為第一狀態。 (2)是推測為駕駛員3感受到睡意或疲勞的狀態。駕駛員3非常放鬆的情況也有可能被推測為此態。此處接下來標記為第二狀態。 (3)是駕駛員3想要戰勝睡意時出現的狀態。這是通常狀態下不會出現的異常狀態。查覺到睡意的駕駛員3的意識想要至少壓抑住該睡意。此被設想為比較容易是因為該意識而在駕駛員3上出現的狀態。此處接下來標記為第三狀態。 (4)是憂鬱狀態的駕駛員3容易被推測到的狀態。能夠推測為自律神經的狀態不穩定。此處接下來標記為第四狀態。
即便如此將自律神經大致區分成四種狀態,也不能推測到各狀態的位準。又,不一定能夠高精準度地推測認知力的位準。 在第一狀態中,認為駕駛員3的認知力是較高的。當駕駛員3感受到強烈壓力時,可能會因該壓力而使注意力降低。所謂注意力降低,是指因沒把心思放在駕駛中或是看向旁邊等而造成實際的認知力較低的狀態。然而,考慮到即便感受到壓力,也有可能控制住自身而保持高認知力。因為這樣,認知力的位準並不一定能夠適當加以正確推測。
在第二狀態中,認為駕駛員3很可能因為睡意或疲勞等而使認知力降低。然而,根據汽車行駛的道路或當時的狀況等,也有可能單純只是正在放鬆。因為這樣,即便在第二狀態下,駕駛員3也有可能能夠進行汽車的安全駕駛。 第三狀態如上述,是在駕駛員3想要戰勝睡意時可觀察到的狀態。因為駕駛員3一邊意識到本身的睡意,一邊有自覺要戰勝該睡意,所以認知力本身可能並沒有什麼降低。 第四狀態中,也認為駕駛員3有在適當識別狀況。因此,不一定能夠高精準度地推測認知力的位準。
著眼於自律神經的狀態的情況下,認知力的位準的變化有可能在比影像解析更早的時序中推測到(例如專利文獻3)。然而,也有可能無法根據自律神經的狀態而高精準度推測認知力的位準。因此,本實施型態中,彼此互補地使用自影像資訊評價的各指標及根據自律神經的狀態解析得到的結果,來高精準度地推測駕駛員3的認知力。為了互補性的認知力推測,利用認知力推測裝置1來執行步驟S3的實際睡意位準解析處理及步驟S4的壓力影響解析處理。
第二狀態中產生於駕駛員3的睡意,會對認知力的降低造成最重大的影響。這不僅是因為睡意是使認知力降低的最大原因,還因為睡意一般會持續較長的期間。也就是說,因為睡意很可能會使認知力非常低的狀態持續一段長期間。因此,本實施型態中,藉由步驟S3的實際睡意位準解析處理,將根據自律神經的狀態推測出的睡意的實際位準作為實際睡意位準來加以評價。成為該評價的對象之駕駛員3,成為被推測為自律神經處於第二狀態的駕駛員3。該實際睡意位準解析處理中,使用影像資訊及狀態資訊。
想要戰勝睡意的駕駛員3,例如會在不對安全駕駛造成妨礙的範圍內刻意移動身體且對身體施加刺激。作為這樣的身體動作之例能夠舉出以下方式:刻意移動頭或肩等來對身體施加刺激、刻意移動眼睛(眨眼等)、操作空調機器等而使身體成為更容易接收來自風或聲音之刺激的狀態、打開窗戶而使外部空氣進入車內等。進行這樣的動作的駕駛員3,即便有感受到睡意也能夠推測認知力的位準降低是較小的。也就是說,實際睡意位準較低,能夠推測維持著足夠的認知力位準。
然而,在不能確認或不太能確認到這樣的動作的情況下,會成為例如即便有自覺要戰勝睡意,也就是能夠確認到交感神經的亢奮,但並未採取用以使睡意清醒的行動。因此,駕駛員3的實際睡意位準較高,能夠推測沒有足夠的認知力位準。
如上述,駕駛員3的動作會受到汽車的狀態的影響。又,駕駛員3的動作會對汽車的狀態造成影響。例如在行駛於劃有標線的道路中時,駕駛員3若沒有適當操作方向盤5,就有車體超出線外的擔憂。也有以大幅超過限速的行駛速度來使汽車行駛的擔憂。這樣的情形也能夠作為狀態資訊而用於駕駛員3的實際睡意位準的推測。道路上有無劃線、其種類及車體超出線外的情形,皆能夠利用來自攝影機7的影像資訊來加以確認。在藉由攝影機7拍攝到表示限速的號誌等的情況下,能夠自影像資訊來確認限速。
又,作為指標而評價的注意力與睡意之間具有關聯性。例如,因視線在比較大的範圍中頻繁移動而被推測為注意力降低的駕駛員3,難以認為其有感受到睡意。這是因為,認為若沒有大腦的運作不會展現出這樣的動作。因為這樣,在實際睡意位準解析處理中,使用影像資訊及狀態資訊。
上述說明中,為了方便而以高及低的二個階段來區分實際睡意位準。然而,實際上該等各階段的實際睡意位準皆能夠更區分成二個階段以上。 在高實際睡意位準中,也就是推測為駕駛員3感受到強烈睡意的狀況中,考慮到安全性而亦可不區分成多個階段。也就是說,作為表示實際睡意位準的數值,可設定表示無法期待安全駕駛的數值,並以二個以上的數值來表示能夠期待安全駕駛的位準。此處,為了說明方便,設想為將表示無法期待安全駕駛的數值設為3,且以0~3之間的整數來表示實際睡意位準的推測結果。值越小,表示實際睡意位準越低,也就是駕駛員3未感受到睡意。
在步驟S4的壓力影響解析處理中,評價駕駛員3感受到的壓力對自己本身的影響。為了該影響的評價,使用影像資訊及狀態資訊。自律神經的狀態解析處理的結果,用於判定是否有需要進行該影響的評價。藉此,成為進行影響的評價的對象之駕駛員3,僅有被推測為第一狀態的駕駛員3。更具體而言,僅有在步驟S2的自律神經的狀態解析處理中所評價的壓力位準在設定值以上,也就是被推測為感受到會對安全駕駛造成不良影響的壓力位準以上之壓力的駕駛員3。
在壓力影響解析處理中,主要評價壓力對注意力的影響。藉此,駕駛員3移動手腕、上半身或頭部等的動作,只要未達對眼睛所應視認的方向之視認或駕駛操作造成不良影響的位準,便不加以重視。這是因為,若未達該位準,則認為事實上壓力並未對注意力的降低造成影響,或是其影響程度較小。若影響程度在較小的範圍內,則能夠推測駕駛員3是處於能夠進行安全駕駛的狀態。
另一方面,在激烈或大幅移動手腕、上半身或頭部等的情況下,駕駛員3便會難以將視線適當地朝向應該視認的方向、適當識別進入眼中的影像或是立即適當進行應該進行的駕駛操作等。這樣的動作被認為可能是壓力的影響成為駕駛員3的身體動作而顯現的結果。當能夠反覆確認到這樣的動作時,駕駛員3的注意力能夠評價為較低的狀態,而認為駕駛員3無法控制壓力的可能性非常高。因此,駕駛員3越是處於無法進行安全駕駛的狀態,便能夠推測為壓力造成了越大的影響。
影響程度亦例如以多階段來加以評價。影響程度的評價中,如上述亦進行能否安全駕駛的判定。藉此,針對影響程度例如亦可設定表示無法期待安全駕駛的數值。此時,能夠期待安全駕駛的位準,例如可利用二個以上的數值來表現。此處,為了說明方便,設想為將表示無法期待安全駕駛的數值設為3,且以0~3之間的整數來表示影響程度的評價結果。值越小,表示影響程度越低,也就是駕駛員3事實上未受到壓力影響。
如上述,駕駛員3的動作會受到汽車狀態的影響。例如在汽車停止中的狀況下,針對駕駛員3的動作不存在安全駕駛上的限制。駕駛員3能夠進行任意動作。即便在汽車行駛中,能夠容許的駕駛員3的動作會根據行駛速度而變化。因為這樣,在壓力影響解析處理中亦使用影像資訊及狀態資訊。
該壓力影響解析處理及實際睡意位準解析處理的各結果,分別遞交給步驟S5的認知力推測處理及步驟S6的機器控制處理。 認知力推測處理,是用於一併推測駕駛員3的認知力與認知力的變化之處理。認知力的推測,使用實際睡意位準、除睡意外的各指標的評價結果、壓力的影響程度。此處,為了說明方便,設想為以0~3的四階段來評價認知力,且將表示最差狀態的數值設為3。在這樣的設想下,數值越小表示認知力越高。因為是以數值來推測認知力,此後推測的對象亦記載為「認知力位準」。
如上述,以四階段評價實際睡意位準及影響程度,並且將安全駕駛上表示最差狀態的數值設為3的情況下,若實際睡意位準或影響程度的值是3,則例如將認知力位準亦設為3。在實際睡意位準及影響程度皆不為3的情況下,認知力位準考慮例如藉由將實際睡意位準及除睡意以外的各指標的評價結果分別作為變數的計算式來計算出。針對各變數,考慮乘上例如對應於影響安全駕駛的程度而決定的係數。
認知力的變化,例如以實際睡意位準、影響程度、壓力位準及除睡意以外的各指標的各者來加以評價。該等各者在構成機器群20的一個以上的機器的控制中加以考慮。因此,該等各者在此後總稱為「控制指標」而與上述指標加以區別。
第1圖中,作為構成機器群20的機器而僅表示空調機器控制裝置21及轉向控制裝置22。 空調機器控制裝置21,是控制可吹送暖風及冷風的空調機器的裝置,亦可控制風的溫度及送風的方向。藉由該控制裝置21的控制,能夠對駕駛員3施加風的送風所造成的刺激。控制裝置21因為是用於空調機器的控制所必須的裝置,所以表示於機器群20。
轉向控制裝置22,是進行控制以發生使方向盤5能夠更輕鬆旋轉的驅動力的裝置,並且也是用於可進行自動駕駛的裝置的一部分。 控制裝置22,可利用該驅動力而對握住方向盤5的手發生振動等。藉由控制該控制裝置22而使方向盤5發生振動等,能夠對駕駛員3施加刺激。控制裝置22亦與控制裝置21同樣是用於方向盤5造成的刺激所必須的裝置,所以表示於機器群20。
此外,作為控制對象的機器,不限定於第1圖所示的機器。藉由顯示及語音進行導航的導航裝置、車內照明、電動窗等亦可作為控制對象。導航裝置,能夠用於語音輸出或訊息顯示。第1圖中表示為,認知力推測裝置1直接對機器群20進行指示。然而,實際上是成為針對對應的ECU委託控制的形式。第1圖中表示ECU 9是因為ECU9產生狀態資訊。
本實施型態中,對駕駛員3適時施加認為是所期望的刺激,以進行安全駕駛。對駕駛員3而言認為是所期望的刺激,有時對應於該駕駛員3的狀態而有所不同。應該提供給駕駛員3的資訊之內容,也對應於該駕駛員3的狀態而有所不同。例如針對注意力較低的駕駛員3,可使其查覺到注意力較低的情形。因此,可考慮以語音等來傳達注意力較低的情形。然而,針對感受到睡意或疲勞的駕駛員3,認為僅根據這樣的語音等的資訊提供是不夠的。認為需要對駕駛員3施加用以舒緩感受到的睡意或疲勞的程度之刺激。
此外,在藉由語音等進行資訊提供的情況下,也會對同一車輛的同乘者進行資訊提供。藉此,能夠期待由同乘者對駕駛員3加以提醒。因為這樣,較佳為以使駕駛員3以外的人能夠輕易識別的方式進行資訊提供。
如此,對駕駛員3提供的資訊的內容及施加的刺激,較佳為考慮駕駛員3的狀態來加以選擇。然而,即便對駕駛員3施加認為是所期望的資訊及刺激,也不一定可確實改善駕駛員3的狀態。因此,本實施型態中,針對每個控制指標,評價其變化並將該評價結果反映至機器群20的控制,以更確實改善駕駛員3的狀態。在認知力推測處理中,判定有無進行機器群20的控制的必要性,若判定有必要性,便在機器群20中選擇應該要控制的機器,並且亦決定所選擇的機器的控制內容等。
步驟S6的機器控制處理,是用於控制機器群20中應該要控制的機器的處理。針對機器控制處理,遞交了實際睡意位準解析處理、壓力影響解析處理及認知力推測處理的各處理結果。 在機器控制處理中,藉由遞交了實際睡意位準解析處理及壓力影響解析處理的各處理結果,而對應了實際睡意位準或影響程度成為3的情況。開始用於使睡意清醒或控制壓力的機器的控制。在控制開始後,以及實際睡意位準及影響程度皆不為3的狀況下,機器控制處理遵照作為認知力推測處理的處理結果而遞交過來的指示內容來控制機器。機器的控制中亦包含機器的控制的結束。
在認知力推測處理中,若對駕駛員3施加刺激仍無法確認到狀態的改善,便階段性施加更強的刺激。因此,在實際睡意位準或影響程度成為3且機器的控制開始後,進行遵照認知力推測處理所遞交過來的指示內容之機器的控制。
本實施型態中,自影像資訊確認由自律神經推測的駕駛員3的狀態,而推測駕駛員3的實際狀態。因此,能夠更高精準度地推測駕駛員3的實際狀態。針對個人差也能夠更適當加以對應。自車輛得到的狀態資訊,因為可提高推測精準度,所以可進行更適當的對應。結果,針對駕駛員3可適時且更適當地進行與狀態對應的資訊提供以及進一步的針對身體的刺激等。藉由施加刺激等,能夠期待改善駕駛員3的狀態。因為這樣,針對駕駛員3的支援亦可更適當地進行,以能夠對汽車進行安全駕駛。
第2圖是表示本發明的一實施型態之認知力推測裝置的硬體構成之一例的區塊圖。第2圖中一併表示與認知力推測裝置1有關的各種感測器及構成機器群20的各機器。此外,該構成例為一例,認知力推測裝置1及可使用來作為該推測裝置1的資訊處理裝置的硬體構成不限定於此例。
認知力推測裝置1如第2圖所示,例如具備:CPU(Central Processing Unit,中央處理單元)11、ROM(Read Only Memory,唯讀記憶體)12、RAM(Random Access Memory,隨機存取記憶體)13、SSD(Solid State Drive,固態硬碟)14、IFC(Interface Controller,介面控制器)15及通訊部16。該等連接至匯流排。
CPU 11,例如執行記錄於ROM 12中的程式或/及記錄於SSD 14中的程式,以實現各種處理。任一程式皆被載入至RAM 13而被執行。自SSD 14載入至RAM 13的程式中,例如包含OS(Operating System,作業系統)及在該OS上運作的各種應用程式。在各種應用程式中,包含用於使資訊處理裝置作為認知力推測裝置1而發揮功能而開發出的一個以上的應用程式。之後,將該開發出的應用程式標記為「開發應用程式」。
開發應用程式,可記錄於可移除媒體而發佈,亦可經由網際網路等的網路而發佈。因此,作為記錄開發應用程式的記錄媒體,可為搭載或安裝於直接或間接連接至網路的資訊處理裝置者,或是搭載或安裝於外部的可存取裝置者。
IFC群15,可與各種外部裝置的進行連接。在IFC群15中,可包含語音輸出用及影像輸出用的IFC。亦可包含用於直接連接車載機器的IFC。亦可包含可接收生物資訊或影像資訊的IFC。 在RAM 13中,適當記憶有CPU 11執行各種處理上所須的資料等。該資料中,亦包含CPU 11執行的各種程式中使用的資料。影像資訊、生物資訊及狀態資訊亦包含在該資料中。
在包含ECU 9的各ECU連接至車載LAN(Local Area Network,區域網路)的情況下,通訊部16可經由該車載LAN與各ECU的通訊。在對應於來自智慧錶6的生物資訊的接收的情況下,通訊部16亦可進行無線通訊。
第2圖中,作為可取得生物資訊的感測器群30而表示攝影機4及脈博感測器31。脈博感測器31,例如設於方向盤5。該脈博感測器31,亦可設於駕駛座2而非方向盤5。 作為感測器群,其他作為狀態資訊的取得用而在第2圖中表示二個感測器群40及50。感測器群40特別是用於確認車輛的狀態,感測器群50是用於確認車輛所處的環境。如上述,在ECU中存在有ECU 9,其處理感測器群40及50中分別包含的一個以上的感測器所輸出的資訊,產生狀態資訊並加以輸出。第2圖中,省略該ECU 9。
作為感測器群40,表示有轉向角感測器41、煞車及油門感測器42、G感測器43及速度計44。 轉向角感測器41,將方向盤5旋轉的角度作為轉向角而加以檢測。煞車及油門感測器42,分別檢測未圖示的油門踏板及煞車踏板的各操作量。G感測器43,是加速度感測器,並檢測產生於車輛的加速度。速度計44,量測車輛的行駛速度。該等檢測結果全部作為車體的狀態資訊而加以運用。車體的狀態資訊之後標記為「車輛資訊」。
作為感測器群5,在攝影機7及雷達8之外還表示有定位器51。 定位器51輸出位置資訊,該位置資訊表示藉由測位而辨明的車輛位置。藉由該位置資訊,能夠確認車輛行駛的道路、行駛方向中有無道路的彎道、該彎道的程度(半徑)等。 來自攝影機7的影像資訊、根據該影像資訊與來自雷達8的距離資訊而由ECU 9所產生的狀態資訊、以及來自定位器51的位置資訊在之後標記為「環境資訊」。 構成各感測器群30~50的感測器的種類、數量及組合,並未特別限定。第2圖所示的為一例。
作為機器群20,在空調機器控制裝置21及轉向控制裝置22之外,還表示有訊息輸出控制裝置23及自動駕駛裝置24。 訊息輸出控制裝置23,可藉由語音輸出而對駕駛員3進行資訊提供。該控制裝置23,亦可搭載於導航裝置上。 自動駕駛裝置24,可進行車輛的自動駕駛。該自動駕駛裝置24,在即便施加刺激仍無法確認到駕駛員狀態的改善時,具體而言是因睡意或因壓力而視為無法期待進行安全駕駛時,向自動駕駛裝置24委託切換成自動駕駛。
第3圖是表示本發明的一實施型態之認知力推測裝置上所實現的功能性構成之一例的功能區塊圖。接下來一邊參照第3圖,一邊針對認知力推測裝置1上所實現的功能性構成的例加以詳細說明。
在認知力推測裝置1的CPU 11上,作為功能性構成而如第3圖所示實現有:生物資訊取得部111、車輛資訊取得部112、環境資訊取得部113、自律神經狀態解析部114、影像資訊解析部115、指標評價部116、實際睡意位準評價部117、壓力影響評價部118、認知力推測部119及機器控制處理部120。該CPU 11,能夠經由通訊部16在與包含ECU 9的各ECU群60之間進行資訊(資料)的發送與接收。
感測器群30~50所含的各感測器,連接至構成ECU群60的任一ECU。構成機器群20的各機器也是一樣。因此,藉由各感測器得到的資訊的接收及各機器的控制,是經由任一ECU而進行。
CPU 11上的功能性構成要素,是由CPU 11執行包含開發應用程式的各種程式而實現。作為其結果,在SSD 14中作為資訊存放用區域而確保有:生物資訊存放部141、狀態資訊存放部142、狀態解析結果存放部143、指標評價結果存放部144、位準評價結果存放部145、影響評價結果存放部146、認知力推測結果存放部147、狀態評價資訊存放部148、指標評價資訊存放部149、位準評價資訊存放部150、影響評價資訊存放部151、推測資訊存放部152及機器控制資訊存放部153。
此外,只要暫時儲存就好的資訊,有時不儲存於SSD 14而是儲存於RAM 13。儲存於SSD 14的各種資訊,在記憶於RAM 13後再轉送至SSD 14並加以儲存。此處,為了方便,無視儲存資訊的處理並且僅將SSD 14設想為資訊的儲存目的地。
生物資訊取得部111,對應於自律神經的狀態解析所需的生物資訊的取得。此處的生物資訊中,在藉由脈博感測器31得到的資訊外,還包含藉由攝影機4得到的影像資訊。藉由生物資訊取得部111取得到的生物資訊,被存放至SSD 14中所確保的生物資訊存放部141。
車輛資訊取得部112及環境資訊取得部113,分別對應於車輛資訊及環境資訊的取得。已取得的車輛資訊及環境資訊,皆被存放至SSD 14中所確保的狀態資訊存放部142。 此外,生物資訊取得部111、車輛資訊取得部112及環境資訊取得部113所進行的資訊取得,是在預定的時序,例如以預定的時間間隔來進行。這是因為,脈博等不容易在短時間內反復發生急促的變化。
自律神經狀態解析部114,藉由使用存放於生物資訊存放部141中的生物資訊的解析,來推測自律神經的狀態。藉由該解析,評價交感神經及副交感神經的各活動位準,並使用該評價結果推測睡意及壓力的各位準。該推測結果,作為狀態解析結果而被存放至SSD 14中所確保的狀態解析結果存放部143。第1圖中表示為步驟S2的自律神經的狀態解析處理,是由自律神經狀態解析部114所執行。
SSD 14中所確保的狀態評價資訊存放部148中,作為狀態評價資訊而存放有用於推測自律神經的狀態之資訊。該評價資訊,例如是用於如上述根據對心跳間隔進行頻率解析而得到的頻譜來評價交感神經及副交感神經的各活動位準,並自該評價結果進一步評價睡意及壓力的各位準的資訊。自律神經狀態解析部114,參照該評價資訊而推測自律神經的狀態。
影像資訊解析部115,例如藉由使用作為生物資訊而存放於生物資訊存放部141的影像資訊之解析,而產生表示駕駛員3的動作之特徵的動作特徵資訊。 指標評價部116,藉由使用已產生的動作特徵資訊及存放於狀態資訊存放部142的狀態資訊之解析,來評價各指標。各指標的評價結果,被存放至SSD 14中所確保的指標評價結果存放部144。
SSD 14中所確保的指標評價資訊存放部149中,針對每個指標,作為指標評價資訊而存放有用於評價該指標的資訊。該評價資訊,例如是針對狀態資訊所表示的狀態之各個區分而加以準備。區分,例如是考慮是否包含高速公路的道路種類、行駛地區及行駛速度等而將車輛的狀態加以分別。指標評價部116,自狀態資訊辨明應參照的評價資訊,並使用動作特徵資訊來參照已辨明出的評價資訊,藉此評價各指標。 因為這樣,第1圖中表示為步驟S1的影像解析處理,是由影像資訊解析部115及指標評價部116所實現。
實際睡意位準評價部117,對實際睡意位準加以評價。該評價例如是使用以下要素來進行:存放於狀態解析結果存放部143中的狀態解析結果、存放於狀態資訊存放部142中的狀態資訊、存放於指標評價結果存放部144中的除了睡意以外的各指標的評價結果、存放於位準評價資訊存放部150中的實際睡意位準評價資訊。
實際睡意位準評價資訊,是用於評價實際睡意位準的資訊。該評價資訊,例如與指標評價資訊同樣是針對狀態資訊所表示的狀態之各個區分而加以準備。藉此,狀態資訊用於辨明位準評價資訊存放部150中所存放的實際睡意位準評價資訊中應參照的資訊。各實際睡意位準評價資訊,是表示除了睡意以外的各指標也就是疲勞及注意力的各評價結果與實際睡意位準之間的對應關係之資訊。參照這樣的實際睡意位準評價資訊而評價出的實際睡意位準,被存放於SSD 14中所確保的位準評價結果存放部145。第1圖中表示為步驟S3的實際睡意位準解析處理,是由實際睡意位準評價部117所實現。
壓力影響評價部118,對壓力的實際影響程度加以評價。該評價是使用以下要素來進行:作為解析結果而存放於狀態解析結果存放部143中的壓力位準、存放於狀態資訊存放部142中的狀態資訊及存放於影響評價資訊存放部151中的壓力影響評價資訊。
壓力影響評價資訊,是用於評價壓力的影響程度的資訊。對壓力的耐受性較低的人,例如即便是較低的壓力位準,壓力的影響可能也會強烈表現在實際行動中。因為有這樣的情形,認為針對壓力造成的影響有較大的個人差。因此,本實施型態中,影響程度定位為實際表現在駕駛員3的行動中的壓力位準,且是參照壓力影響評價資訊來評價影響程度。
即便有個人差,認為若推測出之所感受到的壓力是較小的位準,該壓力對駕駛員3的行動造成的影響也會較小。因此,對象者可例如僅為推測出的壓力位準在2以上的駕駛員3。這點在實際睡意位準評價部117也是一樣的。
例如壓力影響評價資訊亦與指標評價資訊同樣是針對狀態資訊所表示的狀態之各個區分而準備。藉此,狀態資訊也同樣是用於辨明影響評價資訊存放部151中所存放的壓力影響評價資訊中應參照的資訊。
壓力的影響有時出現在不影響或不易影響注意力的行動上。作為該行動的例子,能夠舉出上半身、手腕或頭部等的較小的持續動作。也有出現在憤怒或悲傷的表情中的情況。因為有這樣的情形,影響程度在與注意力等不同的視點中也加以評價。各壓力影響評價資訊,可進行這樣的評價。參照這樣的壓力影響評價資訊而評價出的影響程度,被存放於SSD 14中所確保的影響評價結果存放部146。第1圖中表示為步驟S4的壓力影響解析處理,是由壓力影響評價部118所實現。
認知力推測部119,自控制指標也就是實際睡意位準、除了睡意以外的各指標的評價結果、壓力的影響程度,推測駕駛員3的認知力位準,並對應該推測結果判定是否有控制機器群20的必要性。 認知力推測部119,確認各控制指標的變化,在構成機器群20的各機器中選擇應該要控制的機器,並決定其控制內容。因此,參照被存放於SSD 14中所確保的推測資訊存放部152中所存放的認知力推測資訊。
認知力推測資訊,是例如根據各個控制指標、該控制指標所表示的各個位準以及該控制指標的各個位準變化的內容,而分別定義應該控制的機器種類及其控制內容的資訊。因此,認知力推測部119藉由使用各控制指標參照認知力推測資訊,將應該控制的機器種類及其控制內容作為認知力的推測結果而輸出。該推測結果被存放於SSD 14中所確保的認知力推測結果存放部147。第1圖中表示為步驟S5的認知力推測處理,是由認知力推測部119所實現。
機器控制處理部120,遵照作為推測結果而存放於認知力推測結果存放部147中的應該控制的機器種類及其控制內容,進行用於控制機器群20的處理。第1圖中表示為步驟S6的機器控制處理,是由機器控制處理部120所實現。
構成機器群20的各機器的控制,實際上是由對應的ECU所進行。因此,機器控制處理部120,對應於應該控制的機器種類及其控制內容,將包含控制資訊的控制要求發送至對應的ECU,該控制資訊表示要指定的機器及實際的控制內容等。該控制資訊,是參照SSD 14中所確保的機器控制資訊存放部153中所存放的機器控制資訊而決定。因此,機器控制資訊,例如針對每個機器及每個控制內容而定義應該發送的控制資訊。包含控制資訊的控制要求,由機器控制處理部120經由通訊部16而加以發送。此外,機器群20的控制是根據需要而進行,機器群20並未被常時控制。
上述各部111~120,在汽車成為可行駛的狀態的期間運作。例如每次經過規定的時間間隔便運作。藉此,能夠適時進行支援以使駕駛員3能夠進行安全駕駛。該時間間隔可根據狀況而變化,例如根據在駕駛員3上推測的實際睡意位準而變化。
第4圖及第5圖是表示安全駕駛支援處理的例子的流程圖。該安全駕駛支援處理,是執行來用於根據以影像資訊的解析、使用生物資訊的自律神經的狀態解析為前提的認知力推測,控制必要的機器而支援駕駛員3的安全駕駛之處理。例如每次經過規定的時間間隔便執行。各部114~120,是藉由該處理的執行而實現。接下來參照第4圖及第5圖針對安全駕駛支援處理詳細加以說明。執行處理的主體是CPU 11。
首先,在步驟S11中,CPU 11進行使用生物資訊之自律神經的狀態解析。接著在第步驟S12中,CPU 11根據使用影像資訊的影像解析進行各指標的評價。然後,遷移至步驟S13。 在步驟S13中,CPU 11判定自律神經的狀態解析的結果或評價出的各指標中的任一者中是否存在有損及安全駕駛的擔憂之異常結果。例如,若根據自律神經的狀態解析而推測到睡意或壓力,或是根據影像解析而認定有睡意、疲勞、注意力降低中的任一者,則認為有異常,步驟S13的判定成為「是」且遷移至S16。另一方面,若非如此,則認為無異常,步驟S13的判定成為「否」且遷移至S14。
在步驟S14中,CPU 11判定現在是否在機器的控制中。若機器在控制中,步驟S14的判定成為「是」且遷移至S15。若機器不在控制中,也就是駕駛員3維持著能夠進行安全駕駛的狀態,步驟S14的判定成為「否」且在此結束安全駕駛支援處理。
在步驟S15中,CPU 11使控制中的機器控制結束。該控制結束,是藉由向對應的ECU發送要求而實現。發送該要求後,結束安全駕駛支援處理。此外,此處成為對象的機器中,不包含自動駕駛裝置24。
在步驟S16中,CPU 11判定現在是否在自動駕駛中。若在自動駕駛中,步驟S16的判定成為「是」且在此結束安全駕駛支援處理。若不在自動駕駛中,也就是在手動駕駛中,步驟S16的判定成為「否」且遷移至S17。
在步驟S17中,CPU 11根據自律神經的狀態解析判定是否有檢測出睡意。若有檢測出也就是推測出睡意,步驟S17的判定成為「是」且遷移至S18。若沒有檢測出睡意,步驟S17的判定成為「否」且遷移至第5圖的S31。
在步驟S18中,CPU 11進行使用影像解析結果的實際睡意位準的評價。接著在步驟S19中,CPU 11判定實際睡意位準的評價結果是否在設定以上。若評價結果在設定以上,例如實際睡意位準在2以上,步驟S19的判定成為「是」且遷移至S20。若評價結果未滿設定,步驟S19的判定成為「否」且遷移至第5圖的S31。
在步驟S20中,CPU 11判定是否在除了自動駕駛裝置24以外的機器的控制中。若在任一者的機器的控制中,步驟S20的判定成為「是」且遷移至S22。若未控制任一機器,步驟S20的判定成為「否」且遷移至S21。
在步驟S21中,CPU 11對應於實際睡意位準而控制選擇的機器。然後,結束安全駕駛支援處理。此外,此處被選擇的機器用於對駕駛員3施加較小的刺激。若實際睡意位準未改善,則對駕駛員3施加更強的刺激。
在步驟S22中,CPU 11判定是否確認到實際睡意位準改善的功效。若確認到該功效,步驟S22的判定成為「是」且遷移至S21。藉此,以與到目前為止同樣的方式持續對駕駛員3施加刺激。另一方面,若未確認到該功效,步驟S22的判定成為「否」且遷移至S23。此外,在駕駛員3上出現功效需要耗費某種程度的時間,因此在是否確認到功效的判定中要考慮該時間。這點在後述的步驟S38中也是一樣的。
在步驟S23中,CPU 11判定是否有機器的控制中的其他選項。其他選項,是對駕駛員3施加更強刺激的機器或是控制內容的選項。若存在其他選項,步驟S23的判定成為「是」且遷移至S24。若不存在其他選項,步驟S23的判定成為「否」且遷移至S25。
在步驟S24中,CPU 11選擇其他選項中的一個。此處所選擇的例如是其他選項中施加的刺激最小的一個。該選擇後遷移至步驟S21。藉此,機器被以選擇結果來加以控制。 另一方面,在步驟S25中,CPU 11對自動駕駛裝置24委託切換至自動駕駛。如此,自手動駕駛遷移至自動駕駛。然後,結束安全駕駛支援處理。因為這樣,自動駕駛是作為應該在最後選擇的選項而與其他選項分開來運用。
第5圖的步驟S31中,CPU 11根據自律神經的狀態解析,判定是否有檢測到壓力。若有檢測到壓力,步驟S31的判定成為「是」且遷移至S32。若未檢測到壓力,步驟S31的判定成為「否」且遷移至S34。
在步驟S32中,CPU 11對壓力的影響程度加以評價。接著在步驟S33中,CPU 11判定所評價的影響程度是否在設定以上。若所評價的影響程度在設定以上,例如影響程度在2以上,步驟S33的判定成為「是」且遷移至S36。若影響程度未滿設定,步驟S33的判定成為「否」且遷移至S34。
在步驟S34中,CPU 11進行認知力的推測,對應該推測結果判定是否有機器的控制的必要性,若判定有必要控制機器,則決定應該控制的機器與其控制內容。接著在步驟S35中,CPU 11進行與是否有必要性的判定結果、應該控制的機器與其控制內容對應的處理。然後,結束安全駕駛支援處理。 此外,在遷移至步驟S34的情況中,認為自律神經的狀態對駕駛員3的駕駛造成的影響是較小的。因此,在步驟S34中,可進行僅使用各指標的評價結果之認知力的推測。
在步驟S36中,CPU 11判定是否在除了自動駕駛裝置24以外的機器的控制中。若在任一者的機器的控制中,步驟S36的判定成為「是」且遷移至S38。若未控制任一機器,步驟S36的判定成為「否」且遷移至S37。
在步驟S37中,CPU 11對應於影響程度而控制選擇的機器。然後,結束安全駕駛支援處理。此外,此處被選擇的機器用於對駕駛員3施加較小的刺激以抑制壓力的影響。若影響程度未改善,則對駕駛員3施加更強的刺激。
在步驟S38中,CPU 11判定是否確認到影響程度改善的功效。若確認到該功效,步驟S38的判定成為「是」且遷移至S37。藉此,以與到目前為止同樣的方式持續對駕駛員3施加刺激。另一方面,若未確認到該功效,步驟S38的判定成為「否」且遷移至S39。
在步驟S39中,CPU 11判定是否有機器的控制中的其他選項。其他選項,是對駕駛員3施加更強刺激以抑制壓力的影響的機器或是控制內容的選項。若存在其他選項,步驟S39的判定成為「是」且遷移至S40。若不存在其他選項,步驟S39的判定成為「否」且在此結束安全駕駛支援處理。結果,以與到目前為止同樣的方式持續對駕駛員3施加刺激。
在步驟S40中,CPU 11選擇其他選項中的一個。此處所選擇的例如是其他選項中施加的刺激最小的一個。該選擇後遷移至步驟S37。藉此,機器被以選擇結果來加以控制。
如此,在本實施型態中,對被推測為在進行安全駕駛上不被期望的狀態之駕駛員3施加刺激,且若施加刺激仍然未確認到狀態改善,則階段性地施加更強的刺激。若駕駛員3的睡意強到施加刺激仍看不到改善,則強制遷移至自動駕駛。此外,在刺激中包含根據語音輸出的資訊提供。若根據語音輸出的資訊提供無法藉此確認到改善,則一併進行語音輸出以外之對身體的刺激。作成階段性地施加更強的刺激之處理流程的理由是,認為成為不適當的控制指標變化的可能性較低。例如在駕駛員3感受到強烈睡意的情況中,認為會在較短的期間中變成感受到強烈壓力的可能性較低。
在第4圖中表示出例子的功能構成中,生物資訊取得部111相當於生物資訊取得手段及影像資訊取得手段。自律神經狀態解析部114相當於狀態推測手段。影像資訊解析部115、指標評價部116、實際睡意位準評價部117、壓力影響評價部118及認知力推測部119相當於認知力推測手段。 此外,車輛資訊取得部112及環境資訊取得部113相當於狀態資訊取得手段。機器控制處理部120相當於控制處理手段。
此外,在本實施型態中,是將移動機器設想為汽車,但移動機器不限定於汽車。移動機器亦可為電車、飛機或直升機等可飛行的移動體或是船舶等。 在這樣的移動體中,不僅是移動體的特性,對象者要駕駛或操縱時的限制等也有所不同。例如在電車中,只能行駛在軌道上。又,通常不需要考慮障礙物等的存在。因為這樣,需要對應移動體的種類而決定各指標的評價方法及認知力的推測方法。然而,即便是汽車以外的移動體,也能夠應用本實施型態。
又,在本實施型態中,如上述彼此互補地使用自影像資訊評價的各指標及根據自律神經的狀態解析得到的結果。然而,睡意等的推測是自律神經的狀態解析能夠更迅速地進行。因此,可區分成使用根據自律神經的狀態解析之推測結果的控制,與使用該推測結果及使用影像資訊的評價結果雙方的控制。藉此可作成以下的方式:例如在根據自律神經的狀態解析而推測有睡意的情況中,藉由語音輸出進行警告,且進一步在使用影像資訊的評價也推測有睡意的情況中,一併施加根據機器的控制所造成的物理性刺激。包含這樣的情形在內,可進行各種變化。
1:認知力推測裝置 2:駕駛座 3:駕駛員(對象者) 4:攝影機 5:方向盤 6:智慧錶 7:攝影機 8:雷達 9:ECU 11:CPU 12:ROM 13:RAM 14:SSD 15:IFC 16:通訊部 20:機器群 21:空調機器控制裝置 22:轉向控制裝置 23:訊息輸出控制裝置 24:自動駕駛裝置 30:感測器群 31:脈博感測器 40:感測器群 41:轉向角感測器 42:煞車及油門感測器 43:G感測器 44:速度計 50:感測器群 51:定位器 60:ECU群 111:生物資訊取得部 112:車輛資訊取得部 113:環境資訊取得部 114:自律神經狀態解析部 115:影像資訊解析部 116:指標評價部 117:實際睡意位準評價部 118:壓力影響評價部 119:認知力推測部 120:機器控制處理部 141:生物資訊存放部 142:狀態資訊存放部 143:狀態解析結果存放部 144:指標評價結果存放部 145:位準評價結果存放部 146:影響評價結果存放部 147:認知力推測結果存放部 148:狀態評價資訊存放部 149:指標評價資訊存放部 150:位準評價資訊存放部 151:影響評價資訊存放部 152:推測資訊存放部 153:機器控制資訊存放部
第1圖是說明以下例子的圖:本發明的一實施型態之認知力推測裝置推測對象者的認知力的機制之例,以及對應於被推測的認知力而進行的控制之例。 第2圖是表示本發明的一實施型態之認知力推測裝置的硬體構成之一例的區塊圖。 第3圖是表示本發明的一實施型態之認知力推測裝置上所實現的功能性構成之一例的功能區塊圖。 第4圖是表示安全駕駛支援處理之例的流程圖。 第5圖是表示安全駕駛支援處理之例的流程圖(接續上圖)。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
1:認知力推測裝置
2:駕駛座
3:駕駛員
4:攝影機
5:方向盤
6:智慧錶
7:攝影機
8:雷達
9:ECU
20:機器群
21:空調機器控制裝置
22:轉向控制裝置

Claims (9)

  1. 一種認知力推測裝置,具備: 生物資訊取得手段,其取得生物資訊,前述生物資訊可至少辨明進行移動體的駕駛或操縱的對象者的心跳; 影像資訊取得手段,其取得前述對象者的影像資訊; 狀態推測手段,其基於自前述生物資訊所辨明的心跳,推測前述對象者的自律神經的狀態;及 認知力推測手段,其基於來自前述狀態推測手段的前述自律神經的狀態之推測結果及前述影像資訊,推測前述對象者的認知力。
  2. 如請求項1所述之認知力推測裝置,其中: 前述認知力推測手段基於前述影像資訊,以包含睡意的複數個指標評價前述對象者的狀態,並使用各指標的評價結果及前述自律神經的狀態之推測結果所表示的前述對象者的睡意位準,來推測前述認知力。
  3. 如請求項2所述之認知力推測裝置,其中: 前述認知力推測手段使用前述自律神經的狀態之推測結果所表示的前述對象者的睡意位準及前述複數個指標的評價結果,來評價前述對象者的實際上的睡意位準也就是實際睡意位準。
  4. 如請求項1所述之認知力推測裝置,其中: 前述認知力推測手段基於前述影像資訊,以一個以上的指標來評價前述對象者的狀態,並使用各指標的評價結果及前述自律神經的狀態之推測結果所表示的前述對象者的壓力位準,來推測前述壓力位準的壓力對前述複數個指標的各評價結果造成影響的程度。
  5. 如請求項1所述之認知力推測裝置,更具備: 狀態資訊取得手段,其可取得表示前述移動體的狀態之狀態資訊;並且, 前述認知力推測手段,基於來自前述狀態推測手段的前述自律神經的狀態之推測結果、前述影像資訊及前述狀態資訊,來推測前述對象者的認知力。
  6. 如請求項1所述之認知力推測裝置,更具備: 控制處理手段,其基於來自前述認知力推測手段的前述認知力的推測結果,進行用於控制第一機器的處理,前述第一機器可對前述對象者施加用於提高前述認知力的刺激。
  7. 如請求項6所述之認知力推測裝置,其中: 前述控制處理手段,進行用於控制第二機器的處理,前述第二機器可進行對前述對象者以外的人的通知。
  8. 如請求項6或7所述之認知力推測裝置,其中: 前述控制處理手段,在前述移動體中搭載有自動駕駛功能的情況下,基於控制前述機器後的來自前述認知力推測手段之前述認知力的推測結果,進行用於由前述自動駕駛功能所行使的前述移動體的自動駕駛之處理。
  9. 一種記錄媒體,其記錄有程式,該程式使資訊處理裝置執行以下處理: 取得生物資訊,前述生物資訊可至少辨明進行移動體的駕駛或操縱的對象者的心跳; 取得前述對象者的影像資訊; 基於自前述生物資訊所辨明的心跳,推測前述對象者的自律神經的狀態;及 基於前述自律神經的狀態之推測結果及前述影像資訊,推測前述對象者的認知力。
TW112114349A 2022-04-18 2023-04-18 認知力推測裝置及記錄媒體 TW202404532A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-068549 2022-04-18
JP2022068549 2022-04-18

Publications (1)

Publication Number Publication Date
TW202404532A true TW202404532A (zh) 2024-02-01

Family

ID=88419798

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112114349A TW202404532A (zh) 2022-04-18 2023-04-18 認知力推測裝置及記錄媒體

Country Status (2)

Country Link
TW (1) TW202404532A (zh)
WO (1) WO2023204218A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックIpマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
JP6803299B2 (ja) * 2017-06-20 2020-12-23 株式会社東芝 システム及び方法
JP2019111092A (ja) * 2017-12-22 2019-07-11 オムロン株式会社 生体状態推定装置、方法およびプログラム
US11810373B2 (en) * 2019-09-19 2023-11-07 Mitsubishi Electric Corporation Cognitive function estimation device, learning device, and cognitive function estimation method
JP7342636B2 (ja) * 2019-11-11 2023-09-12 マツダ株式会社 車両制御装置および運転者状態判定方法

Also Published As

Publication number Publication date
WO2023204218A1 (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
CN112041910B (zh) 信息处理装置、移动设备、方法和程序
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN106462027B (zh) 控制机动车辆中的车辆系统的方法
JP5288045B2 (ja) 車両の緊急退避装置
JP5527411B2 (ja) 車両の緊急退避装置
Aghaei et al. Smart driver monitoring: when signal processing meets human factors: in the driver's seat
US9292471B2 (en) Coordinated vehicle response system and method for driver behavior
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN115151469A (zh) 基于预测和抢先控制的乘用车乘客状态调制系统
JP7357006B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
MX2013009434A (es) Sistema y método de respuesta al comportamiento del conductor.
JP2018180983A (ja) 情報処理装置、情報処理方法、及び、プログラム
US11751784B2 (en) Systems and methods for detecting drowsiness in a driver of a vehicle
US20200247425A1 (en) Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same
JP7226197B2 (ja) 車両制御装置
JP6350977B2 (ja) 運転支援装置
TW202404532A (zh) 認知力推測裝置及記錄媒體
WO2020039994A1 (ja) カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法
JP6394674B2 (ja) 運転支援装置
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
US20230074207A1 (en) Method for determining kinetosis
WO2022172724A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Wang Analysis and modeling of driver behavior with integrated feedback of visual and haptic information under shared control