JP6854855B2 - ロボットの共同作業環境におけるオンラインの利用者に負担をかけない疲労状態検出のための方法およびシステム - Google Patents

ロボットの共同作業環境におけるオンラインの利用者に負担をかけない疲労状態検出のための方法およびシステム Download PDF

Info

Publication number
JP6854855B2
JP6854855B2 JP2019127341A JP2019127341A JP6854855B2 JP 6854855 B2 JP6854855 B2 JP 6854855B2 JP 2019127341 A JP2019127341 A JP 2019127341A JP 2019127341 A JP2019127341 A JP 2019127341A JP 6854855 B2 JP6854855 B2 JP 6854855B2
Authority
JP
Japan
Prior art keywords
fatigue
fatigue state
current
window
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019127341A
Other languages
English (en)
Other versions
JP2020015162A (ja
Inventor
チャヤン サーカー
チャヤン サーカー
プラディップ プラマニック
プラディップ プラマニック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of JP2020015162A publication Critical patent/JP2020015162A/ja
Application granted granted Critical
Publication of JP6854855B2 publication Critical patent/JP6854855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • A61B5/227Measuring muscular strength of constricting muscles, i.e. sphincters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Manipulator (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

優先権の主張
この出願は、2018年7月10日にインドに出願した出願番号201821025682の優先権を主張し、参照することによりその全体が本明細書に組み込まれる。
この開示は、一般に疲労状態検出に関し、特にロボットの共同作業環境における疲労状態検出に関する。
ロボットシステムまたはロボットは、参入型の(penetrated)作業環境を有し、タスク完了のための人手を効率的に低減または削除する。しかしながら、ロボットに内蔵されたインテリジェンスのレベルでは、現時点では、ロボットは、ロボットと人間の間で仕事場を共有するのみならず、アクティブに協働する。したがって、日々の環境、たとえば、家庭、学校、オフィス、病院、工場等のような国内環境および商業環境において、ロボットを友(companion)として見ることがしばしばである。しかしながら、ロボットまたはロボットシステムが真の共同居住者になるための主たる課題の1つは、ロボットと対象者との間の限られたレベルの相互作用である。ロボットの共同作業環境のシナリオでは、ロボットと対象者が協働作業者(co-worker)として働き、ロボットと対象者との間の暗黙でタイムリーな相互作用が非常に重要である。特に、対象者とロボットが重い物体を一緒に運ぶ共同作業環境では、対象者がおそらく疲労状態に移行する時点をロボットが先を見越して検出することができるなら、協働作業は効果的である。ロボットの先を見越した行動は、ときとして致命傷になり得る任意の可能性のある損傷を回避するために重要な意味を持つ。
いくつかの既存のアプローチは、筋肉疲労を識別することができる解決法を提供するが、それらは、対象がセンサーを身に着ける必要があり利用者に負担をかける。この利用者に負担をかける技術は、対象者が肉体作業を実行している環境のような作業環境では、実現可能で便利なアプローチではないかもしれない。その他のいくつかの既存のアプローチにおいて、ビデオベースの利用者に負担をかけない技術は、全体の疲労状態を識別して特に対象者の眠気に焦点を当てるのに利用される。しかしながら、重い荷物を持ち上げるような仕事に関する協働作業環境では、全体の疲労検出は、疲労検出のための適切なアプローチではないかもしれず、むしろ有効なアプローチは実際に動かしている筋肉に関する局部的な筋肉疲労を検出することである。したがって、望ましくない事故を回避するように安全を確実なものとし防止手段を適用するために、局部的な筋肉疲労の先を見越した検出が必要である。
本開示の実施形態は、汎用システムにおいて発明者達により認識された上述の技術的問題点の1つまたは複数への解決法としての技術的改良を提供する。たとえば、一実施形態において、協働作業環境における利用者に負担をかけない疲労状態検出のための、代替的にロボットシステムと呼ばれるシステムが開示される。ロボットシステムは、プロセッサ(単数または複数)、入出力(I/O)インターフェース、メモリを備え、メモリはロボットシステムのロボット器官上に取り付けられたセンサーと、筋肉疲労検出モジュールに関連づけられたセンサーモジュールを備える。プロセッサ(単数または複数)により実行されると筋肉疲労検出モジュールは、協働作業環境におけるロボットシステムを用いた仕事を一緒に行いながら、センサーにより検出された、対象者の局部筋肉による印加される力に対応する信号をセンサーモジュールから受信するように構成される。さらに、筋肉疲労検出モジュールは、受信された信号のゼロ値からノンゼロ値への遷移を検出するように構成され、遷移におけるノンゼロ値は、対象者の非疲労状態に対応する。さらに、筋肉疲労検出モジュールは、ノンゼロ値への受信信号の遷移を検出すると、複数の疲労状態のうちで対象者の現在の疲労状態を決定するように構成される。現在の疲労状態は、非疲労状態に関連付けられた初期平均力(FI)に基づいて決定され、複数の疲労状態は非疲労状態、複数の中間疲労状態およびクリティカル(critical)な疲労状態を含む。さらに、筋肉疲労検出モジュールは、現在の疲労状態がクリティカルな疲労状態であると決定された場合、仕事を中断するための警告を発生するように構成される。
さらに他の実施形態において、協働作業環境における利用者に負担をかけない疲労状態検出のための方法が開示される。方法は、協働作業環境においてロボットシステムを有した仕事を一緒に行いながら、センサーにより検出された、対象者の局部筋肉により印加された力に対応する信号をセンサーモジュールから受信することを備える。さらに、方法は、受信した信号のゼロ値からノンゼロ値への遷移を検出することを備え、遷移におけるノンゼロ値は対象者の非疲労状態に対応する。さらに、方法は、受信した信号のノンゼロ値への遷移を検出すると、複数の疲労状態のうち対象者の現在の疲労状態を決定することを備え、現在の疲労状態の決定は非疲労状態に関連付けられた初期平均力(F)に基づき、複数の疲労状態は非疲労状態、複数の中間疲労状態およびクリティカルな疲労状態を含む。さらに、方法は、現在の疲労状態がクリティカルな疲労状態であると決定された場合、仕事を中断する警告を発生することを備える。
さらに、他の態様において、1つまたは複数の非一時的な機械読み出し可能な情報記憶媒体は、1つまたは複数のハードウエアプロセッサにより実行されると、協働作業環境においてロボットシステムを有する仕事を一緒に行いながら、センサーにより検出された、対象者の局部的な筋肉により印加された力に対応する信号をセンサーモジュールから受信させる1つまたは複数の命令を備える。さらに、受信した信号のゼロ値からノンゼロ値への遷移を検出させ、遷移におけるノンゼロ値は、対象者の非疲労状態に対応する。さらに、受信した信号のノンゼロ値への遷移を検出すると、複数の疲労状態の中で現在の疲労状態を決定させ、現在の疲労状態の決定は、非疲労状態に関連付けられた初期平均力(F)に基づき、複数の疲労状態は非疲労状態、複数の中間疲労状態およびクリティカルな疲労状態を備える。さらに、現在の疲労状態がクリティカルな疲労状態であると決定された場合、仕事を中断するための警告を発生させる。
上述した一般的な記載および以下の詳細な記載の両方は、例示および説明に過ぎずクレームされた発明を限定するものではないことが理解される。
組み込まれこの開示の一部を構成する添付図面は、例示実施形態を説明し記述と併せて開示された原理を説明するのに役立つ。
図1は、この開示のいくつかの実施形態に従う、システムと協働作業する対象者のオンラインの利用者に負担をかけない疲労状態検出のための、代替的にロボットシステムとも呼ばれるシステムをインプリメント(implement)する例示ロボット協働作業環境を例示する。 図2は、この開示のいくつかの実施形態に従う、図1のシステムの機能ブロック図を例示する。 図3aは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図3bは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図3cは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図3dは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図3eは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図3fは、この開示のいくつかの実施形態に従う、図2に機能的に記載された図1のシステムの種々の態様のグラフ解析のためのグラフを描写する。 図4は、この開示のいくつかの実施形態に従う、対象者のオンラインの利用者に負担をかけない疲労状態検出のための方法を説明するフロー図である。
添付図面を参照して例示実施形態が記載される。図において、参照符号の最も左の桁(単数または複数)は、参照符号が最初に現れる図を特定する。便宜的であれば、図面全体を通して同一または同様の部分を参照するのに同じ参照符号が用いられる。開示された原理の例と特徴がここに記載されるけれども、開示された実施形態の精神と範囲を逸脱することなく変更、脚色(adaptation)およびインプリメンテーション(implementation)が可能である。以下の詳細な記述は例示に過ぎないと考えるべきであり、真の範囲と精神は以下のクレームにより示されることが意図される。
本明細書の実施形態は利用者に負担をかけないアプローチを用いて協働作業環境において対象者の局部的な疲労の状態(疲労状態)をオンラインで検出するための、相互交換可能にロボットシステムと呼ばれるシステムと方法を提供する。利用者に負担をかけないアプローチはロボットシステムのロボット器官に取り付けられた力センサー(単数または複数)を利用する。開示された利用者に負担をかけないアプローチは、利用者に負担をかける汎用的なアプローチとは異なり、対象者が自分の自然な動きに制限を加えることなく作業を自由に行うことを可能にする。力センサー(単数または複数)がロボット器官に取り付けられ対象者と一緒に作業を行うことに積極的に関与する。力センサー(単数または複数)は、対象者の局部筋肉により印加される実際に使われている力(effective force)を検出して捕らえる。局部筋肉は、重い荷物を持ち上げるという作業を行っている間に関与した手の筋肉のような、作業をしている間に直接的にまたは積極的に関与した、対象者の1つまたは複数の筋肉を指す。センサーによりそのようにとらえた局部筋肉の力は、作業をしている間、ロボットシステムによりオンラインで解析される。対象者の局部筋肉の現在の疲労状態はオンライン解析を行うことに基づいて検出される。局部筋肉が著しく活動中である重い荷物を持ち上げる等のような作業において、局部筋肉疲労検出は全体疲労検出よりもクリティカルである。開示された方法とシステムは局部筋肉疲労検出をターゲットにする。実用的なシナリオでは、疲労状態を示すことについての決定は2値決定ではなく、特に筋肉疲労に関してはそうである。むしろ、筋肉疲労は、作業に積極的に関与する1つまたは複数の筋肉が応力(stress)を受ける間の乳酸の継続的な蓄積である。二人の人間が協働するとき、彼らはしばしば明示的なコミュニケーションが無くても他方の人の疲労状態(定量的ではないかもしれない)を理解する。一人の人が完全にその仕事を続けることができないとき一般にはフラッグが上げられる。そのときまで仕事は協働作業者の間で協力して続く。しかしながら、協働作業者の一人がロボットの場合、瞬間瞬間の疲労状態を評価して(assess)、仕事(job)(作業(task))を続けるか否かを決定することが必須である。開示されたロボットシステムは対象者ごとに著しく変化する未知の体力の任意の対象者の疲労状態を検出することを可能にする。対象者の疲労状態を検出可能にするために、システムは、筋肉疲労状態を定量化し、定量化は人に依存しない(people agnostic)。この分野で知られているように、筋肉疲労に到達するまでの時間は、一般的には、しばしば累積的に体力と呼ばれる年齢、身長、体重、性別、身体的健康等のような対象者のいくつかの身体的特性に依存する。さらに、同じ対象者(相互互換的に人と呼ばれる)の体力の一時的変化もあり、これは、既存の方法の場合、局部筋肉疲労検出問題をより困難にせさる。しかしながら、開示されたシステムは、以下の図1乃至4と共に記載された人に依存しないアプローチを提供する。
図を参照すると、特に図1乃至図4を参照すると、図全体を通して一貫して類似の参照符号が対応する特徴を示し、好適実施形態が示され、これらの実施形態は以下の例示システムおよび/または方法の観点から記載される。
図1は、この開示のいくつかの実施形態に従って、システム102と協働作業する対象者104の利用者に負担をかけないオンラインの疲労状態検出に関して、代替的にロボットシステムと呼ばれるシステムをインプリメントする例示ロボット協働環境100を説明する。
図示されるようにこの例では、ヒューマノイドロボットのシステム102および対象者104は荷物106を持ち上げる作業を一緒に実行する。ロボットアーム(ヒューマノイドロボットまたはロボットシステム102の器官)上に載置された力センサー108(代替的にセンサー108と呼ばれる)は、荷物106(代替的に物体とよばれる)を持ち上げる間対象者104により印加される力を検出する。システム102は、力センサー108からの印加された力に対応する信号を受信するように構成される。さらに、システム102は、受信した信号を解析して対象者の現在の疲労状態を検出し将来の疲労状態を予測するように構成される。開示されたシステムは、監察下にある任意の対象者の現在の疲労状態を、ロボットシステム102によりあらかじめ定義された複数の疲労状態の中の1つに定量化する。複数の疲労状態は、非疲労状態および増加する疲労レベルを有する3つ以上のレベルの疲労状態を含む。対象者104は、現在の疲労レベルの変化を追跡するためにシームレスにモニターされる。対象者104に関して検出された疲労レベルの変化の解析は、可能性のある将来の疲労状態を予測するために用いられる。この開示された先を見越したアプローチは、ロボットシステム102が自己の可能性のある将来の疲労状態について対象者104に警告を出すことを可能にする。将来の疲労状態があらかじめ定義した疲労しきい値を超えた状態(クリティカル疲労状態とも呼ぶ)である場合、ロボットシステム102は、任意の可能性のある事故を防止するために作業の中断を示す警告を対象者に出すことができる。したがって、提案された方法およびシステムは、対象者が極度の疲労状態になると恐らく破綻状態になるので、害を及ぼすかもしれない任意の来るべき極度の疲労状態という対象者の疲労状態を検出可能にする。したがって、開示されたシステム102は、より安全な共同作業環境を保証する。さらに、開示されたシステム102は、利用者に負担をかけることなくユーザーに依存しない。したがって、それはいかなるユーザー固有のトレーニングまたは適応を必要としない。さらに、検出はリアルタイムである。すべてのテストケースにわたって、開示されたシステム102は最先端のアプローチに比べて非常に低い検出誤り/過度検出(mis-detection/over detection)を示す。さらに、システム102は誤り検出(false positives)に比べて著しく少ない数の検出漏れ(false negative)を提供する。
対象者104により印加された力を検出するのに使用される例示力センサー108が記載される。力センサー108は、印加された力の増加に応じて抵抗値の減少を示す堅固なポリマー厚膜(PTF)を備える。しかしながら、抵抗値の変化は(非常に)小さく正確な測定に適さないので、分圧器を用いて抵抗値出力をより大きなスケールを有する電圧出力に変換する。従って、力センサー108の電圧出力は、力が増加するにつれ増加する。力センサー108は、タイムスタンプとともに印加に対応する信号(データ)を取得する。使用される典型的な力センサーは、0.2N乃至20Nの感度を有するFSR−402である。それは直径12mmの円形の検出領域であり、ヒューマノイドロボットの手(ロボットシステム102のロボット器官)に載置されるのに適している。しかしながら、正確な出力を与えるために、検出領域の外部リングを超えると、検出領域より大きい任意の物体(荷物)を阻止する保護層がある。また、検出領域は保護層よりも多少低い高さに存在する。したがって、センサより大きい、平台(flat base)を有した硬い(rigid)ボックスの場合、重みが検出領域に完全にかからない。この課題を解決するために小さな基部と大きな上部を有した小型のプラスチックの3D印刷されたシリンダーが用いられる。力センサー108がシステム102に載置される態様は、物体または荷物106の重みがシリンダーのより大きなフラットトップ(flat top)上にかかる。たとえ、ボックス(荷物106)の合計重量が力センサー108出力により反映されなくても、力センサー108の力の変化は測定可能であり、システム102はこの獲得されたデータまたは信号を利用する。
システム102は、対象者104の局部筋肉疲労検出のための図2の機能モジュールおよび図4のフロー図とともにさらに詳細に説明される。一実施形態において、システム102はヒューマノイドロボット、ロボットハンドアセンブリー等のような任意のロボットシステムであり得る。
図2はこの開示のいくつかの実施形態に従う図1のシステム102の機能ブロック図を説明する。システム102は、プロセッサ(単数または複数)202、メモリ204のような少なくとも1つのメモリ、およびI/Oインターフェース206のような1つ以上のハードウエアプロセッサを含むかまたはそうでなければ通信する。プロセッサ202(ハードウエアプロセッサ)、メモリ204およびI/Oインターフェース(単数または複数)206は、システムバス208のようなシステムバスまたは類似の機構により結合されることができる。メモリ204は、さらにモジュール210を含むことができる。一実施形態において、モジュール210は、システム102の機能をインプリメントするための、他のモジュール(図示せず)と共にセンサーモジュール212、筋肉疲労検出モジュール214を含む。一実施形態において、モジュール210は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)を用いてインプリメントされた、メモリ204外部にある、集積回路(IC)(図示せず)であり得る。ここで参照されるモジュール210内の機能ブロックのモジュールの名前(または表記または用語)は、説明のために使用され限定(単数または複数)であると解釈されない。さらに、メモリ204はまたレポジトリー(repository)216も含むことができる。一例示実施形態において、データは、関心のある対象者(単数または複数)または物体(単数または複数)に取り付けられた力センサー108からモニターされた、又は取得された複数の信号に関連づけられたセンサーデータまたはセンサー信号であり得る。次に、力センサーデータは処理され、対象者104の現在の筋肉疲労状態を識別するために処理される。
対象者104の現在の筋肉疲労状態を検出するために、筋肉疲労検出モジュール214は、協働作業環境100においてロボットシステム102との作業を一緒に行っている間、センサーモジュールから対象者の局部筋肉により印加された力に対応する信号を受信するように構成される。さらに、筋肉疲労検出モジュール214は、受信された信号を解析することにより複数の疲労状態の中から対象者の現在の疲労状態を決定するように構成される。受信された信号の解析は、受信された信号がノンゼロ値を反映しているとトリガされる。複数の疲労状態は初期疲労状態、複数の中間疲労状態およびクリティカル(または進行した)疲労状態を含む。この分野で行われた研究に基づく複数の疲労状態は以下の表1に定義されるようなになり得る。図3aは対象者間で3つの疲労状態(状態1、状態2、状態3)に到達する時間の変化を示す。複数の疲労状態(状態1乃至状態4)は開示されたシステム102を説明するために考えられた例示疲労状態である。しかしながら、システム102は明瞭に定義可能である任意の数の疲労レベルに関してインプリメントされることができる。
Figure 0006854855
上記表1に4つの疲労状態があるけれども、システム102は、疲労状態の検出をクリティカル疲労状態(例えば、上記表1で考えられる疲労状態の場合状態3)に制限する。その論理的理由は、極度の疲労状態に陥った場合いかなる対象者も事故に遭うかもしれないからである。したがって、疲労の3つの状態(疲労状態)を非常に高精度で効率的に検出し分類するために、実験中のデータ収集の観察に基づいていくつかの仮定がなされる。
1.ロボットシステム102と協働作業をしている間、対象者104(ここでは、例示説明として人間)により印加された力により初期時間ウインドウT期間のセンサー108の平均力出力をFとする。筋肉疲労検出モジュール212は、初期時間ウインドウT期間中、人間は非疲労状態にあるとみなすように構成される。したがって、Fは非疲労状態の期間に対象者104の手の筋肉によって行使される力を反映する。雑音と異常値の影響を避けるために、堅固な統計値、すなわち中央値(median)を用いてFを計算する。Tで収集されたn個のセンサーサンプルのセット(正規のサンプリングインスタントにおける複数のサンプル)をDとする。Dをd1<d2<d3・・・,dn−1<dnのように再順序付けし、初期ウインドウの各サンプルに対応する現時点の力を平均化し対象者104の非疲労状態に関連付けられた初期平均力を決定する統計的中央値アプローチを適用する下記式1aによりFが与えられる。
Figure 0006854855
2.最初の疲労状態に到達する時間をδTで示し、これは作業の開始時間と第1の疲労状態になる時間との間の時間差を示す。その後、疲労の次の状態がδT/2時間単位の後に生じる可能性がある。この仮定は、実験の期間中、疲労の次の状態は図3aに示すようにほぼ次のδT時間単位に起こるがδT/2以前には決して起こらないという事実に基づいている。
3.非疲労状態から疲労状態への遷移は瞬時ではなく、むしろ短い時間期間の間に起こる。そこで疲労状態のオンライン検出のためにセンサーモジュール212から受信される、センサー108のセンサーデータの傾向を解析するのにタイムウインドウが必要である。タイムウインドウTc(プリセットタイムインターバル)の期間に観察された現在の平均力をFcとする。次に、初期平均力(F)からの力の正規化された減少は、統計的平均アプローチを用いて下記式1bのように示される。
Figure 0006854855
4.一実施形態において、(δF>)10%を超える力の正規化された減少は、有意な変化を示し、したがって、「潜在的な」疲労の機会を示すとみなされる。このδFはさらなる解析が成される力センサーデータ内の関心のあるウインドウを見つけるためのカットオフ(cut-off)しきい値である。δFの値は誤り検出(false-positive)を低減するように選択される。このしきい値は実験に基づいて適切であると識別され、実験データセットからのすべてのマークされた疲労状態は、10%を超える力の減少を有する。しかしながら、δFのしきい値は、安全を精度とトレードオフするために変更可能である。
さらに、上で述べた仮定に基づいてオンライン疲労検出のための筋肉疲労検出モジュール214に続くステップは、図4の方法400と共に説明される如くである。方法の例示方法ステップは、人間−ロボット協調作業のはじめに開始し、ノンゼロセンサーの読み取り値によりトリガされる。例示方法は、作業の終了/中断を示す、センサー読み取り値がゼロのとき終了する。例示方法の疑似コードは、以下に記載される。
Figure 0006854855
正規化された力変化(δF)がカットオフしきい値を超えると、関心のあるウインドウ(WOI)が開く。このWOI内の力データの勾配が、疲労状態遷移が生じたか否かを決定する。WOI期間における力の減少傾向は、疲労の明瞭な表示を提供する。WOI内のデータ点が線として表される場合、そのラインの正の勾配は力の減少傾向を示す。これは、WOIが正規化された変化δFで満たされ、δFは力が減少したとき正になるからである。しかしながら、アルドゥイーノ(Arduino)のような組み込みシステムのように、局部筋肉疲労検出のための開示された方法400をインプリメントする例示システムの場合、ラインの勾配は以下に記載される計算上簡単な方法により決定される。
Figure 0006854855
評価と実験結果
ここに開示されたシステム102は、先を見越した測定値がリアルタイムに取得できるように作業中(on-the-go)の疲労状態遷移を検出する。瞬時性(timeliness)に連動した筋肉疲労検出の精度はシステム102により提供される。図3bは、サンプル力センサー(センサー108)出力および対応する、正規化された力の変化をそれぞれ示す。対応する正規化された力の変化を示す図3bは、また破線ラインのウインドウにより示されるように開示されたシステム102により検出された疲労状態も示す。これらのラインは、潜在疲労が正とマークされるWOIの開始点と終了点を示す。垂直方向の実線ラインは対象者により提供される地上検証データ(ground truth)を示す。対応する正規化された力の変化を描く図3bはまた、地上検証データが推定された遷移のウインドウ内(またはその近接近内)の範囲に入るので疲労状態遷移が正確にシステム102により示されることを描画している。システム102で試験された複数の対象者に関する要約された結果は、誤り検出(false positives)と検出漏れ(false negatives)の観点から以下の表2に提供される。
Figure 0006854855
対象者により報告された地上検証データがそこになくても検出アルゴリズムによりWOIに肯定的な疲労(positive fatigue)が与えられたとき誤り検出がマークされる。一方、システムが状態遷移を逃す(miss)と、検出漏れ(false-negative)がマークされる。18人の対象者から収集されたデータに基づいてアルゴリズムの全体的精度を報告するために、以下の式が利用される。
A={[S−(FP+FN)]/S}×100% (2)
ただし、S、FPおよびFNはそれぞれ疲労状態、誤り検出、検出漏れの合計数である。18人の対象者の場合、検出される疲労状態の合計数は18×3=54である。
従って全体の精度はA={[54−(6+2)/54]}×100%=85.18%
さらに、システム102の結果は力センサーデータにおける有意な平均変化を検出するために累積合計制御チャート(CUSUM)を使用することを利用する既存のアプローチにより記載される技法と比較される。ここでの比較のためにたとえ、CUSUMがオフラインで作動しても、CUSUMはオンラインで変化を検出するように変換される。変更されたCUSUM変化検出アプローチはシステム102の筋肉疲労検出モジュール214により使用されるウインドウと同じサイズのタイムウインドウにデータをバッファする。CUSUMは図3bに示される同じ対象者に関して図3c(CUSUM)で描画されるように、摂動に非常に敏感であり、このためシステム102よりも多くの誤り検出を報告することが確認された。CUSUMの貧弱な性能は雑音の多いデータには応じないという事実に起因する。ドライバーの疲労検出の場合、ハンドグリップ力データはより少ない雑音を含み、異なる対象者間で高い類似性がある。同様に、ロボットの協働作業者シナリオでは、センサーデータは手の動きからの雑音を内蔵し異なる対象者に関して著しく変化する。瞬時のイベントではない疲労では、別の状態遷移として疲労状態遷移のアフターエフェクト(after-effects)を誤って検出する機会がある。図3c(CUSUM)に示されるように、CUSUMによる検出された疲労状態は互いに非常に近接しており、それらのいくつかは実際には従前の疲労状態遷移のアフターエフェクトである。システム102により開示されるように、アフターエフェクトの誤り検出を回避するために、システム102は次の疲労状態をチェックする前にδT/2時間単位待たなければならない。したがって、システム102はCUSUMに待機機構を導入し、それは誤り検出のレートを著しく低減する。システム102に合わせた変更はSKIP CUSUMと呼ばれる。同じ対象者のサンプル比較は図3c(SKIP CUSUM)に示される。18人の対象者全員に関する3つの方法の詳細な比較は図3dに示される。平均変化に対する高い感度によりCUSUMとSKIP CUSUMは共にゼロの検出漏れを報告する。しかしながら、CUSUMはより大きな数の誤り検出を報告する。SKIP CUSUMはCUSUMよりも優れた性能を発揮するが、システム102は対象者毎の精度に関して両方とも性能がすぐれている。SKIP CUSUMは全データセットに関して合計33の誤り検出を報告し、その結果、式2を用いて38.89%の精度を生じる。システム102に関して18人の対象者に行った実験の場合、疲労は生理学的および心理学的状態の両方であり、対象者は、実際に起こった通りの疲労を報告しない可能性がある。地上検証データおよび力センサーデータの傾向を視覚的に解析することにより、対象者は、時々実際に起こった数秒後の疲労を報告することがわかった。そこで、報告された地上検証データは、正確にはシステム102の実際の(positive)WOI内に正確に入らない可能性がある。しかしながら、時々、それはウインドウに近接して追従する。したがって、誤り検出および検出漏れの数の観点から精度を報告することとは別に、地上検証データと実際のWOIとの間の時間差に関しても精度が評価される。システム102による疲労を報告するエラーが図3eに示される。「エラーF1」は地上検証データから第1の疲労状態の検出されたウインドウの偏移を示し、「エラーF2」は第2の疲労状態に関し、以下同様である。地上検証データが検出されたウインドウ内に入ると、偏移はゼロであり、したがって対応するエラーは、図3eには図示されない。初期タイムウインドウ(TI)のサイズ、カットオフしきい値、WOIのサイズ等のような種々のパラメーターは安全を最大限にするための観察に基づいて選択される。これらのパラメーターは、作業完了にかかる時間、一緒に操作される物体の形状と重さはどのくらいかのように、作業の性質に相互に関連づけられる。しかしながら、作業に関する少量のデータを収集することにより、ロボットシステム102は相関関係を学習し、それゆえしきい値を動的に調整することができることを前提としている。表2に示される結果の場合、20kgの重さの箱が用いられ、初期タイムウインドウは10s、カットオフしきい値は10%およびWOIのサイズは5sとして選択される。パラメーターを変えることによりシステム102の検出精度は下記表3に示される。
Figure 0006854855
表3に示すように、WOIのサイズを固定しつつカットオフしきい値を増加させると誤り検出の数が少なくなる。これは、より大きなカットオフしきい値の場合システム102は力の変化に対して感度が弱くなるためである。システム102は、力に著しく大きな変化があるときのみ状態遷移を検出し、それはもちろん疲労状態遷移から生じる。しかしながら、より大きなカットオフしきい値の場合、検出漏れの数もまた増加しはじめる。より大きなカットオフ手段では力の変化がより少ない肉体的に強靭な人の疲労状態を見逃す機会がある。同様に、より大きなWOIは明らかに力の減少傾向をとらえるのでWOIのサイズを増加することは誤り検出の数を減少させる。しかしながら、より大きなWOI手段を持つと、開示された方法は警告を出す前に長時間待たなければならず、これは望ましくない。はじめに、データを収集することにより、ロボットシステム102は表3のような表を生成することができ、選択された作業に最適な行を選択する。ロボットシステム102が学習すればするほど、より正確にパラメーターを微調整することができる。しかしながら、最も高い精度を有する行を選択するだけではこれに適さないかもしれない。
安全を考慮すると、検出漏れは誤り検出よりもさらに望ましくない。このため、誤り検出と検出漏れの最小に重みづけされた平均値を有する行が選択され、この場合検出漏れの重みはさらに大きく、安全要件に基づいて選択することができる。実際、誤り検出の伝統的概念は、ここでは適用することができない。ここに開示される筋肉疲労検出のオンラインアプローチは、地上検証データに対する任意の一般に言われている誤り検出が、実際には初期警告としてマークされるように設計される。図3eのサンプル検出プロットにみられるように、非疲労の2番目と3番目の状態間に、誤り検出が存在する。しかしながら、開示されたオンラインアプローチは、次の疲労(この場合次の3番目疲労状態)として誤り検出ウインドウをマークする。合計データを見ることにより、誤り検出のマーキングは、3番目の疲労状態の初期マーキングになることがわかる。これはセットアップの生産性を低減するけれども、システムの安全性を損なうことにはならない。初期マークした疲労状態と地上検証データとの間の時間差はもうひとつの精度測定である。さらに、システム102はまた、この時間偏差測定に基づいて評価される。疲労状態に到達する時間は、対象者が異なると変化するので時間偏差により測定された精度は正規化しなければならない。たとえば、比較的より早く疲労に到達する対象者にとってより小さな偏差はクリティカルであるかもしれず、一方同じ偏差でも疲労に到達するのにかなりの時間がかかる対象者にとってはクリティカルでないかもれしれない。そこで、正規化するためにすべての対象者に対して以下の式を用いて精度が計算され、次に全体の精度として平均をとる。
第1、第2、および第3の疲労状態をそれぞれF1;F2;およびF3とし、Et1;Et2;およびEt3をそれぞれシステム102による時間偏差を示すものとする。この結果、個々の対象者に対する時間精度は以下の式により与えられる。
A'={[(F1+F2+F3)-(Et1+Et2+Et3)]/(F1+F2+F3)}×100% (3)
下記表4は地上検証データからの検出ウインドウの(秒における)偏差の観点からシステム102の精度を提供する。
Figure 0006854855
表4の精度に基づいて、すべての対象者の平均精度は88.83%であると計算される。
図3fは誤り検出を有する検出された疲労を描画し、ここでは疲労検出は(垂直の破線によりマークされる)ウインドウにより示され、実際の疲労状態遷移(地上検証データ)は垂直の実線で示される。
図2に描画されるように、ハードウエアプロセッサ(単数または複数)は1つまたは複数のマルチコアプロセッサ、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタルシグナルプロセッサ、中央処理装置、ステートマシン、論理回路、および/または演算命令に基づいてデータを操作する任意のデバイスとしてインプリメントすることができる。他の機能の中で、ハードウエアプロセッサ202は、モジュール210によりインプリメントされる機能の実行をトリガするために、メモリ204に記憶されたコンピュータ読み取り可能命令をフェッチして実行し、メモリ204内部または外部のモジュール210と通信するように構成される。
システム102内のI/Oインターフェース(単数または複数)206は、例えば、ウエブインターフェース、グラフィカルユーザインターフェース等の種々のソフトウエアおよびハードウエアインターフェースを含むことができる。インターフェース(単数または複数)206は、例えば、キーボード、マウス、外部メモリ、複数のセンサー(108)およびディスプレイのような周辺デバイス(単数または複数)の複数のインターフェースである種々のソフトウエアおよびハードウエアインターフェースを含むことができる。インターフェース(単数または複数)206は、システム102が他のデバイス、ウエブサーバーおよび外部と通信することを可能にする。インターフェース(単数または複数)206は、有線ネットワーク、たとえば、ローカルエリアネットワーク(LAN)、ケーブル等およびワイヤレスLAN(WLAN)、セルラーまたはサテライトのようなワイヤレスネットワークを含む多種多様なネットワークおよびプロトコルタイプ内の複数の通信を容易にすることができる。このため、インターフェース(単数または複数)206は、多数のコンピューティングシステムを互いに接続するまたは他のサーバーコンピュータに接続するための1つ以上のポートを含むことができる。I/Oインターフェース(単数または複数)206は多数のデバイスを互いにまたは他のサーバーに接続するための1つまたは複数のポートを含むことができる。メモリ204は、例えば、スタティックランダムアクセスメモリ(SRAM)およびダイナミックランダムアクセスメモリ(DRAM)のような揮発性メモリおよび/またはリードオンリーメモリ(ROM)、イレーザブルプログラマブルROM、フラッシュメモリー、ハードディスク、光ディスクおよび磁気テープのような不揮発性メモリを含む、技術的に知られた任意のコンピュータ読み取り可能媒体を含むことができる。さらに、モジュール210は、特定のタスクを実行する、または特定のアブストラクトデータタイプをインプリメントする、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むことができる。モジュール210はシステム102により実行されるアプリケーションまたは機能を補足するコンピュータ読み取り可能な命令を含むことができる。レポジトリー216はモジュール(単数または複数)210内の1つまたは複数のモジュールの実行の結果として処理され、受信され、発生されたデータを記憶することができる。
さらに、ここでは、説明の簡便のために機能ビルディングブロックの境界は任意に定義されている。指定した機能と関係が適切に実行されている限り代替境界を定義することができる。(ここに記載されたこれらの、均等物、拡張、変形、逸脱等を含む)代替はここに含まれる開示に基づいて当業者に明らかである。そのような代替は開示された実施形態の範囲と精神の範囲内である。
図4はこの発明のいくつかの実施形態に従ってシステム102と協働する対象者104のオンラインの利用者に負担をかけない疲労状態検出に関する方法400を説明するフロー図である。
一実施形態において、代替的にロボットシステム102と呼ばれるシステム102は、1つまたは複数のプロセッサ202に動作可能に結合され(筋肉疲労検出モジュール214を備える)、1つまたは複数のプロセッサ202により方法400のステップを実行するように構成された複数の命令を記憶するように構成された、1つまたは複数のデータストレージデバイスまたはメモリ204を含む。方法200のステップは、図1のシステム100のコンポーネントを参照して説明される。方法400は、図2に提供されるようにシステム102に関する記述に関連してさらに理解することができ簡便のために反復されない。一実施形態において、ステップ402において、方法400は、筋肉疲労検出モジュール214が、対象者(104)の局部筋肉により印加された力に対応する信号をセンサーモジュールから受信することを可能にすることを含む。力信号は、対象者104が協働環境100においてロボットシステム(102)と一緒に作業を行いながらセンサー108により検出される。ステップ404において、方法400は、筋肉疲労検出214が、受信信号の、ゼロ値からノンゼロ値への遷移を検出することを可能にすることを含む。遷移においてノンゼロ値は、対象者(104)の非疲労状態に対応する。受信された信号のノンゼロ値への遷移を検出すると、ステップ406において、方法400は、筋肉疲労検出214が複数の疲労状態の中で対象者(104)の現在の疲労状態を決定することを可能にすることを含む。現在の疲労状態の決定は、非疲労に関連づけられた初期平均力(F)に基づく。複数の疲労状態は、表1に示すように、非疲労状態、複数の中間疲労状態およびクリティカル疲労状態を含む。ステップ408において、方法400は、現在の疲労状態がクリティカル疲労状態として決定される場合、筋肉疲労検出214が作業を中断するための警告を発生することを可能にすることを含む。
ステップ406において現在の疲労状態を決定することは、初期ウインドウを現在のウインドウとして選択するために、プリセットされたウインドウインターバル(Tc)のウインドウで、受信された信号をウインドウ化することを備える。互換可能にウインドウインターバルと呼ばれる、初期ウインドウに関するプリセットウインドウインターバルは、受信された信号の起源(origin)から始まる。さらに、決定することは、規則的なサンプリングインスタントで初期ウインドウを複数のサンプルにサンプリングすることを備える。複数のサンプルからの各サンプルは、サンプリングインスタントから対応するサンプリングインスタントで対象者に印加された現在の力に対応する。さらに、方法400は、対象者(104)の非疲労状態に関連付けられた初期平均力(FI)を決定するために、初期ウインドウの各サンプルに対応する現在の力を平均化する式1aの統計的中間アプローチを適用することを備える。現在の疲労状態は初期ウインドウの解析の間初期疲労状態としてマークされる。さらに、方法400は、受信された信号に対して所定のスライディングインターバルだけウインドウをスライドして初期ウインドウの次の連続するウインドウを選択することを備え、この場合、スライディング後、次のウインドウが現在ウインドウである。方法400はさらに、連続するウインドウの各サンプルに対応する現在の力を平均化する統計的平均アプローチに基づいて、連続するウインドウに関する現在の平均力(Fc)を決定することを備える。方法はさらに、現在の平均力および初期平均力に基づいて対象者の力の正規化された減少(δF)を計算することをさらに備える。さらに、方法400は、正規化された力の減少(δF)が所定の力しきい値を超えているか否かを検出する。例えば、図2に示されるように10%。さらに、方法は、正規化された力の減少が所定の力しきい値を超えている場合現在のウインドウをWOIとしてマーキングし、WOIの後に選択された複数の連続するウインドウに対して所定のタイムスロット(TWOI)の期間、正規化された力の減少の計算を反復することを備える。さらに、方法400は、所定のタイムスロットの期間複数の連続するウインドウに対して計算された正規化された力の減少の勾配が正であり、現在の疲労状態が非疲労状態から複数の疲労状態の中の次の疲労状態へ増加するか否かを決定することを備える。現在の状態は、対象者に示され、近づいている筋肉疲労を気づかせる。さらに、方法400は、非疲労状態と次の疲労状態との間の時間インターバル(δT)を決定し(δT)の1/2の停止期間後に現在の疲労状態から次の疲労状態へ増加させることを反復することを備える。この反復は、現在の疲労状態がクリティカル疲労状態に到達するまで続く。さらに、方法400は、現在の疲労状態がクリティカル疲労状態に到達すると、作業を中断するための警告を発生することを備える。
方法400の説明されるステップは、示した例示実施形態説明するために詳しく記載したものであり、現在進行中の技術的発展は、特定の機能が実行される態様を変える可能性があることが予期されなければならない。これらの例は説明する目的のために提示され、限定するものではない。ここに開示された方法400は、利用者に負担をかけないアプローチを有した、オンライン検出、簡便性、順応性、およびロバスト性(robustness)を提供する。オンライン検出:実際には、システム102のような任意の疲労検出システムは、現在の疲労状態を確立するためにセンサーからの将来データのストリームを待つことができない。たとえ、全時系列データが時間領域において疲労状態変化を正確に分類できるとしても事故の可能性を回避するには遅すぎるかもしれない。したがって、必要なことは、先を見越した行動を取って任意の事故を回避するように疲労状態のタイムリーな検出を提供することである。開示されたオンライン検出は不可欠である。さらに、システム102は、ローカルに実行されるセンサーデータ処理を用いて、時間の境界を示す態様で現在の疲労状態を検出することを可能にする、システムに取り付けられた力センサーのためのシステム102上で動作する簡単検出ロジックを用いた、実施が簡単な解法を提供する。システム102は、依然としてセミリアルタイムで出力を提供する低コストのロボットシステムであり得る。局部筋肉疲労検出のためのオンラインリアルタイム処理を提供するシステム102のオンボード計算アプローチと異なり、任意の計算上複雑なアプローチは、サーバー上で実行するために取り外す(offload)必要があり、そのようなアプローチの信頼性は、ネットワークの待ち時間と非接続により低減する可能性がある。システム102は異なる人の身体的強度の著しい変化を処理するのに適しており堅固である。さらに、システム102は、人間の作業者(対象者)はある方法で物体を常に保持することを想定していない。むしろ、それは個人の無活動状態(holding pattern)および無活動状態により誘発される関連づけられた雑音に依存しない。個人のロジックをカスタマイズするかわりに、開示された方法とシステムは、その人の体力、無活動状態等にかかわらず任意の人間協働作業者に適応する。システム102は利用者に負担をかけない。さらに、開示されたシステム102は人に依存しないので、一方の協働作業者が疲労し、他方がその作業者と交代する場合、システムは、対象者の変更に対して任意のパラメーターをリセットする必要がなく、新しい対象者の疲労をモニターし続けることができる。交代した協働作業者が、その作業に関する疲労した作業者と交代する前に、センサーを身に着ける必要がある、利用者に負担をかけるアプローチとは異なり、開示された方法とシステムは使用が容易である。
本明細書は当業者が実施形態を制作および使用することを可能にするための主題を記載する。主題の実施形態の範囲は特許請求の範囲により定義され、当業者に生じる他の変形例を含むことができる。そのような他の変形例は、特許請求の範囲の文言と異ならない類似のエレメントを有する場合、または特許請求の範囲の文言とわずかに異なる均等物を有する場合、特許請求の範囲内であることが意図される。
保護の範囲はそのようなプログラムに、さらにその中にメッセージを有するコンピュータ読み取り可能手段に拡張される。そのようなコンピュータ読み取り可能記憶手段は、プログラムがサーバー上またはモバイルデバイスまたは任意の適切なプログラマブルデバイス上で実行されるとき、方法の1つまたは複数のステップを実施するためのプログラムコード手段を含む。ハードウエアデバイスは、例えば、サーバー又はパーソナルコンピュータ等のような任意の種類のコンピュータまたはそれらの任意の組み合わせを含む、プログラム可能な任意の種類のデバイスであり得る。デバイスはまた、例えば、特定用途集積回路、フィールドプログラマブルゲートアレイ(FPGA)のようなハードウエア手段、または例えば、ASICとFPGAのようなハードウエア手段とソフトエア手段の組み合わせまたは少なくとも1つのマイクロプロセッサおよびその中に位置するソフトウエアモジュールを備えた少なくとも1つのメモリであり得る手段を含むことができる。従って、この手段はハードウエア手段とソフトウエア手段の両方を含むことができる。ここに記載された方法の実施形態はハードウエアおよびソフトウエアで実施されることができる。デバイスはまたソフトウエア手段を含むことができる。代替的に、実施形態は異なるハードウエアデバイス、たとえば複数のCPUsを用いて実施することができる。
ここでは実施形態はハードウエアエレメントおよびソフトウエアエレメントを備えることができる。ソフトエアで実施される実施形態はこれらに限定されるものではないが、ファームウエア、レジデントソフトウエア、マイクロコード等を含む。ここに記載された種々のモジュールにより実行される機能は、他のモジュールまたは他のモジュールの組み合わせで実施されることができる。この記述のために、コンピュータ使用可能なまたはコンピュータ読み取り可能な媒体は、命令実行システムによりまたは命令実行システムと組み合わせて使用するために備える、記憶する、通信する、伝搬する、または転送することができる任意の装置であり得る。
これらの例は、説明する目的で提示され限定されるものではない。さらに、機能ビルディングブロックの境界は、記載の簡便さのためにここでは任意に定義された。指定された機能およびその関係性が適切に実行される限り代替境界が定義され得る。(ここに記載されたこれらの均等物、拡張、変形、逸脱等を含む)代替は本明細書に含まれる教示に基づいて当業者には明らかである。そのような代替は開示された実施形態の範囲と精神内である。また、「備える」、「有する」、「包含する(containing)」、および「含む(including)」および他の類似の様式は意味において等価であることが意図され、これらの用語のいずれか1つに続く1つのアイテムまたは複数のアイテムはそのような1つのアイテムまたは複数のアイテムの総記(exhaustive listing)であることを意味しないかまたは記された1つのアイテムまたは複数のアイテムにのみに限定されることを意味するという点において変更可能(open ended)である。また、本明細書および添付された特許請求の範囲に使用されるように、単数形でのエレメントの言及はコンテキストが明瞭にそうでないことを指示しない限り複数形の言及を含むことに留意しなければならない。
さらに、1つまたは複数のコンピュータ読み取り可能記憶媒体は、この開示に一致する実施形態を実施するのに利用されることができる。コンピュータ読み取り可能記憶媒体は、プロセッサにより読み取り可能な情報またはデータが記憶可能な任意のタイプの物理メモリに言及する。したがって、コンピュータ読み取り可能記憶媒体は、プロセッサに、ここに記載された実施形態に一致するステップまたはステージを実行させる複数の命令を含む、1つまたは複数のプロセッサによる実行のための複数の命令を記憶することが可能である。「コンピュータ読み取り可能媒体」という用語は、有形の(tangible)アイテムを含み、搬送波および過度信号を排除する、すなわち非一時的であることが理解されるべきである。例はランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、揮発性メモリ、不揮発性メモリ、ハードドライブ、ROMs、DVDs、フラッシュドライブ、ディスク、および任意の他の既知の物理記憶媒体を含む。
この開示と例は例示に過ぎないと考察されるべきであり、開示された実施形態の真の範囲と精神は以下の特許請求の範囲により示されることが意図される。

Claims (7)

  1. 協働作業環境(100)において利用者に負担をかけない疲労状態検出のためのロボットシステムにおいて、前記ロボットシステムは、
    1つまたは複数のプロセッサ(202)と、
    入出力(I/O)インターフェース(206)と、
    メモリ(204)と、を備え、前記メモリ(204)は、
    前記ロボットシステム(102)のロボット器官に取り付けられたセンサー(108)に関連づけられたセンサーモジュール(212)と、
    筋肉疲労検出モジュール(214)と、
    を備え、
    前記筋肉疲労検出モジュールは、前記1つまたは複数のプロセッサ(202)により実行されると、
    前記協働作業環境(100)において前記ロボットシステム(102)と一緒に作業を行っている間、前記センサー108により検出された、対象者(104)の局部筋肉により印加された力に対応する信号を前記センサーモジュール(212)から受信し、
    前記受信された信号のゼロ値からノンゼロ値への遷移を検出し、前記遷移における前記ノンゼロ値は、前記対象者(104)の非疲労状態に対応し、
    前記受信された信号の前記ノンゼロ値への遷移を検出すると、複数の疲労状態の中の前記対象者の現在の疲労状態を決定し、前記現在の疲労状態は、前記非疲労状態に関連づけられた初期平均力(FI)に基づいて決定され、前記複数の疲労状態は、非疲労状態、複数の中間疲労状態およびクリティカル疲労状態を含み、
    前記現在の疲労状態が、前記クリティカル疲労状態であると決定される場合、前記作業を中断するための警告を発生する、
    ように構成されるロボットシステム。
  2. 前記筋肉疲労検出モジュール(214)は、
    前記受信された信号を、プリセットされたウインドウ間隔(Tc)のウインドウでウインドウ化して初期ウインドウをカレントウインドウとして選択し、前記初期ウインドウのための前記プリセットされたウインドウは、前記受信された信号の起源から開始し、
    前記初期ウインドウを規則的なサンプリングインスタントで複数のサンプルにサンプリングし、前記複数のサンプルからの各サンプルが前記サンプリングインスタントからの対応するサンプリングインスタントにおける前記対象者により印加された現在の力に対応し、
    前記初期ウインドウの各サンプルに対応する現在の力に統計的中央値アプローチを適用し、前記対象者(104)の前記非疲労状態に関連づけられた前記初期平均力(FI)を決定し、前記現在の疲労状態は、前記初期ウインドウの解析の期間、初期疲労状態としてマークされ、
    所定のスライディングインターバルだけ、前記受信された信号に対して前記ウインドウをスライドし、前記初期ウインドウの次の連続ウインドウを選択し、スライディング後、前記連続ウインドウが現在のウインドウであり、
    前記連続ウインドウの各サンプルに対応する現在の力を平均化する統計的平均アプローチに基づいて、前記連続ウインドウに関する現在の平均力(Fc)を決定し、
    現在の平均力および初期平均力に基づいて前記対象者の力の正規化された減少(δF)を計算する、
    ことにより現在の疲労状態を決定するように構成される、請求項1に記載のロボットシステム(102)。
  3. 前記筋肉疲労検出モジュール(214)はさらに、
    前記正規化された力の減少(δF)が所定の力しきい値を超えるか否かを検出し、
    前記正規化された力の減少が前記所定の力しきい値を超える場合、前記現在のウインドウを関心のあるウインドウ(WOI)としてマークし、
    前記WOIの後に選択された複数の連続ウインドウに関して所定のタイムスロット(TWOI)の期間正規化された力の減少の計算を反復し、
    前記所定のタイムスロットに関する前記複数の連続ウインドウに関して計算された正規化された力の減少の勾配が、正であるか否かを決定し、
    前記現在の疲労状態を、前記非疲労状態から前記複数の疲労状態の中の次の疲労状態へ増加し、前記現在の疲労状態を前記対象者に示し、
    前記疲労状態と次の中間疲労状態との間のタイムインターバル(δT)を決定し、
    前記タイムインターバル(δT)の1/2の保持期間の後で前記現在の疲労状態から次の疲労状態への増加を反復し、前記反復は前記現在の疲労状態が前記クリティカル疲労状態に到達するまで継続し、
    前記現在の疲労状態が前記クリティカル疲労状態に到達すると、前記作業を中断するための警告を発生する、
    ことにより前記現在の疲労状態を決定するようにさらに構成される、請求項2に記載のロボットシステム(102)。
  4. 協働作業環境において利用者に負担をかけない疲労状態検出のための方法において、前記方法は、
    プロセッサ(202)により、協働作業環境においてロボットシステム(102)と作業を一緒に行っている間、センサー108により検出された、対象者(104)の局部筋肉により印加された力に対応する信号を受信するステップ(402)であって、前記センサ(108)は、前記ロボットシステム(102)に取り付けられ、前記ロボットシステム(102)と作業を一緒に行っている前記対象者の前記局部筋肉により印加された前記力を捕捉する、ステップ(402)と、
    前記プロセッサ(202)により、前記受信された信号のゼロ値からノンゼロ値への遷移を検出するステップ(404)であって、前記遷移における前記ノンゼロ値が前記対象者(104)の非疲労状態に対応するステップと、
    前記プロセッサ(202)により、前記受信された信号の前記ノンゼロ値への遷移を検出すると、複数の疲労状態の中の前記対象者(104)の現在の疲労状態を決定するステップ(406)であって、前記現在の疲労状態は、前記非疲労状態に関連づけられた初期平均力(FI)に基づいて決定され、前記複数の疲労状態は、非疲労状態、複数の中間疲労状態、およびクリティカル疲労状態を備える、ステップと、
    前記プロセッサ(202)により、前記現在の疲労状態が前記クリティカル疲労状態として決定される場合、前記作業を中断するための警告を発生するステップ(408)と、
    を備えた方法。
  5. 前記現在の疲労状態を決定するステップは、
    前記受信された信号をプリセットされたウインドウ間隔(Tc)のウインドウでウインドウ化し、初期ウインドウを現在のウインドウとして選択するステップであって、前記初期ウインドウに対して前記プリセットされたウインドウインターバルは、前記受信された信号の起源から開始するステップと、
    前記初期ウインドウを規則的なサンプリングインスタントで複数のサンプルにサンプリングするステップであって、前記複数のサンプルからの各サンプルは、前記複数のサンプリングインスタントからの対応するサンプリングインスタントにおける、前記対象者により印加された現在の力に対応するステップと、
    前記初期ウインドウの各サンプルに対応する現在の力に統計的中間アプローチを印加し、前記対象者(104)の前記非疲労状態に関連づけられた前記初期平均力(FI)を決定するステップであって、前記現在の疲労状態は、前記初期ウインドウの解析の期間、前記初期疲労状態としてマークされる、ステップと、
    所定のスライディングインターバルだけ、前記受信された信号に対して、前記ウインドウをスライドして前記初期ウインドウの次の連続するウインドウを選択するステップであって、スライディングの後、前記連続ウインドウが前記現在のウインドウである、ステップと、
    前記連続ウインドウの各サンプルに対応する現在の力を平均化する統計的平均アプローチに基づいて、前記連続ウインドウに関する現在の平均力(Fc)を決定するステップと、
    前記現在の平均力および前記初期平均力に基づいて、前記対象者の正規化された力の減少(δF)を計算するステップと、
    を備えた、請求項4の方法。
  6. 前記現在の疲労状態を決定するステップは、
    前記正規化された力の減少(δF)が、所定の力しきい値を超えるか否かを検出するステップと、
    前記正規化された力の減少が、前記所定の力しきい値を超える場合、前記現在のウインドウを関心のあるウインドウ(WOI)としてマークするステップと、
    前記WOIの後に選択された複数の連続ウインドウに関する所定のタイムスロット(TWOI)に関して、正規化された力の減少の計算を反復するステップと、
    前記所定のタイムスロットに関して、前記複数の連続ウインドウに対して計算された正規化された力の減少の勾配が、正であるか否かを決定するステップと、
    前記現在の疲労状態を、前記非疲労状態から前記複数の疲労状態のうちの次の疲労状態へ増加させ、前記現在の疲労状態を前記対象者に表示するステップと、
    前記非疲労状態と次の中間疲労状態との間のタイムインターバル(δT)を決定するステップと、
    前記タイムインターバル(δT)の1/2の保持期間の後、前記現在の疲労状態から次の疲労状態への増加を反復するステップであって、前記反復は、前記現在の疲労状態が、前記クリティカルな疲労状態へ到達するまで継続する、ステップと、
    前記現在の疲労状態が前記クリティカルな疲労状態に到達すると、前記作業を中断するための警告を発生するステップと、
    をさらに備えた、請求項5に記載の方法。
  7. 実行されると、1つまたは複数のハードウエアプロセッサに、
    協働作業環境においてロボットシステム(102)と作業を一緒に行っている間、センサー108により検出された、対象者(104)の局部筋肉により印加された力に対応する信号を、受信させることであって、前記センサ(108)は、前記ロボットシステム(102)に取り付けられ、前記ロボットシステム(102)と作業を一緒に行っている前記対象者の前記局部筋肉により印加された前記力を捕捉する、受信させることと、
    前記受信された信号のゼロ値からノンゼロ値への遷移を検出させることであって、前記遷移において前記ノンゼロ値が前記対象者(104)の非疲労状態に対応する、させることと、
    前記受信された信号の前記ノンゼロ値への遷移を検出すると、複数の疲労状態の中で対象者(104)の現在の疲労状態を決定させることであって、前記現在の疲労状態は、前記非疲労状態に関連付けられた初期平均力(FI)に基づいて決定され、前記複数の疲労状態は、非疲労状態、複数の中間疲労状態、およびクリティカルな疲労状態を備える、させることと
    前記現在の疲労状態が、前記クリティカルな疲労状態として決定される場合、前記作業を中断するための警告を発生させることと、
    を行わせる1つまたは複数の命令を備えた、1つまたは複数の非一時的機械読み取り可能情報記憶媒体。
JP2019127341A 2018-07-10 2019-07-09 ロボットの共同作業環境におけるオンラインの利用者に負担をかけない疲労状態検出のための方法およびシステム Active JP6854855B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201821025682 2018-07-10
IN201821025682 2018-07-10

Publications (2)

Publication Number Publication Date
JP2020015162A JP2020015162A (ja) 2020-01-30
JP6854855B2 true JP6854855B2 (ja) 2021-04-07

Family

ID=65268877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019127341A Active JP6854855B2 (ja) 2018-07-10 2019-07-09 ロボットの共同作業環境におけるオンラインの利用者に負担をかけない疲労状態検出のための方法およびシステム

Country Status (3)

Country Link
US (1) US10588579B2 (ja)
EP (1) EP3593959B1 (ja)
JP (1) JP6854855B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370035A (zh) * 2020-10-15 2021-02-19 同济大学 一种基于数字孪生平台的人机协作疲劳检测系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876883B2 (en) * 2002-08-26 2005-04-05 Arthur F. Hurtado Method for applying variable electro-muscle stimulation and system therefor
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
JP4832914B2 (ja) 2006-02-08 2011-12-07 株式会社デルタツーリング 筋疲労評価装置
US7967728B2 (en) * 2008-11-16 2011-06-28 Vyacheslav Zavadsky Wireless game controller for strength training and physiotherapy
JP2012205826A (ja) * 2011-03-30 2012-10-25 Equos Research Co Ltd 歩行支援装置、及び歩行支援プログラム
US9120220B2 (en) * 2012-02-29 2015-09-01 GM Global Technology Operations LLC Control of a glove-based grasp assist device
GB2519987B (en) * 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9782104B2 (en) * 2014-03-26 2017-10-10 GestureLogic Inc. Systems, methods and devices for acquiring and processing physiological signals
KR101637643B1 (ko) * 2014-04-04 2016-07-07 현대자동차주식회사 보행자의 보행 감지 장치
US10206598B2 (en) * 2014-12-03 2019-02-19 Panasonic Intellectual Property Management Co., Ltd. Muscular fatigue determination apparatus, method for determining muscular fatigue, and recording medium
US11071494B2 (en) * 2015-05-27 2021-07-27 Georgia Tech Research Corporation Wearable technologies for joint health assessment
JP6599927B2 (ja) * 2017-05-30 2019-10-30 ファナック株式会社 ワーク供給システム
US11161236B2 (en) * 2017-09-14 2021-11-02 Sony Interactive Entertainment Inc. Robot as personal trainer

Also Published As

Publication number Publication date
EP3593959B1 (en) 2022-09-28
US10588579B2 (en) 2020-03-17
EP3593959A1 (en) 2020-01-15
JP2020015162A (ja) 2020-01-30
US20200015761A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6609050B2 (ja) 時間的因果グラフにおける異常フュージョン
US20190050747A1 (en) Analysis apparatus, analysis method, and analysis program
Bronevetsky et al. Automatic fault characterization via abnormality-enhanced classification
AU2016201088A1 (en) Anomaly detection system and method
CN110032490A (zh) 用于检测系统异常的方法及其装置
CN104063747A (zh) 一种分布式系统中的性能异常预测方法及系统
EP3579084B1 (en) Method and system for activity recognition and behaviour analysis
Greenwood-Hickman et al. The CNN Hip Accelerometer Posture (CHAP) method for classifying sitting patterns from hip accelerometers: A validation study
US10582038B2 (en) Calibration of grab detection
Wray et al. Using smartphone survey data and machine learning to identify situational and contextual risk factors for HIV risk behavior among men who have sex with men who are not on PrEP
Koc et al. Comparison of linear correlation and a statistical dependency measure for inferring spatial relation of temperature sensors in buildings
EP3020251B1 (en) Multi-sensor hand detection
JP6854855B2 (ja) ロボットの共同作業環境におけるオンラインの利用者に負担をかけない疲労状態検出のための方法およびシステム
JP2019162408A (ja) 対象者における軽度認知障害の検出のためのシステム及び方法
Kanzler et al. Reliability and validity of digital health metrics for assessing arm and hand impairments in an ataxic disorder
Kausar et al. Fall detection in the elderly using different machine learning algorithms with optimal window size
CN112804741B (zh) 功率控制的方法和装置
Khowaja et al. AN EFFECTIVE THRESHOLD BASED MEASUREMENT TECHNIQUE FOR FALL DETECTION USING SMART DEVICES.
US9536145B2 (en) System and method for selecting features for identifying human activities in a human-computer interacting environment
EP3019931B1 (en) Isolating mobile device electrode
CN109298798A (zh) 触控板的操作控制方法、设备以及智能终端
Khan et al. Personal productivity monitoring through smartphones
JP7359009B2 (ja) データ分析装置、プログラム及び方法
WO2024009362A1 (ja) 異常検知装置、異常検知方法および異常検知プログラム
Chen et al. LightSeg: An Online and Low-Latency Activity Segmentation Method for Wi-Fi Sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210316

R150 Certificate of patent or registration of utility model

Ref document number: 6854855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250