JP6873344B2

JP6873344B2 - 疲労判定装置、疲労判定方法、および疲労判定プログラム

Info

Publication number: JP6873344B2
Application number: JP2020571735A
Authority: JP
Inventors: 西川　博文; 博文西川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-02-18
Filing date: 2019-02-18
Publication date: 2021-05-19
Anticipated expiration: 2039-02-18
Also published as: GB202110628D0; GB2597378B; GB2597378A; US20210338109A1; WO2020170299A1; JPWO2020170299A1

Description

本発明は、疲労判定装置、疲労判定方法、および疲労判定プログラムに関する。

従来技術として、ユーザの体調あるいは疲労を検出する疲労判定装置がある。
特許文献１の体調検出装置では、ユーザの歩行解析結果を記録しておく。特許文献１の体調検出装置は、各画素の深度が計測可能な深度カメラにより検知対象のユーザを撮影し、各画素の深度に基づきユーザの歩行解析を行い、記録された歩行解析結果と比較する。そして、特許文献１の体調検出装置は、条件を満たす変化の発生を判定することでユーザの体調を特定する。

また、特許文献２には、深度カメラを使わずに、人物にマーカを装着し、通常のカメラといったトラッカーによりマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録する方式が開示されている。あるいは、赤外線センサを用いて、センサから人物までの距離を計測し、人物の大きさおよび骨格といった様々な動きを検出する方法が開示されている。

特開２０１７−２０５１３４号公報特開２０１４−１５５６９３号公報

従来では、歩行解析あるいは人の動きを検出するために、深度カメラあるいは人物に装着されるマーカといった高コストで特殊な機材が必要であるという課題があった。また、従来、疲労判定の条件として、歩幅の左右比および腕振り角度といった特徴情報が列挙されているのみである。具体的にどのような変化が疲労判定に有効かは示されておらず、検出の実効性が低いという課題があった。

この発明は、導入が低コストであるとともに容易であり、かつ、的確に疲労の判定が可能となる疲労判定装置を提供することを目的とする。

本発明に係る疲労判定装置は、
人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出する骨格抽出部と、
前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する歩行解析部と、
前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する判定部とを備えた。

本発明に係る疲労判定装置では、骨格抽出部が、人物の歩行動作を撮像した２次元の映像データから人物の骨格の動きを時系列に表した骨格情報を抽出する。歩行解析部が、骨格情報を用いて、人物の歩行時の腕振りの状態を表す腕振り情報と、人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する。そして、判定部が、腕振り情報の閾値と足運び情報の閾値とを含む判定閾値と人物の歩行解析データとを比較し、比較した結果を用いて人物の疲労度を判定する。よって、本発明に係る疲労判定装置によれば、導入が低コストであるとともに容易であり、かつ、的確に疲労の判定が可能となる疲労判定装置を実現できる。

実施の形態１に係る疲労判定装置の適用例。実施の形態１に係る疲労判定装置の構成図。実施の形態１に係る疲労判定装置の動作を示すフロー図。実施の形態１に係る時系列の骨格情報の軌跡を示した図。実施の形態１に係る歩行解析処理の一例を示す図。実施の形態１に係る歩行解析処理の別例を示す図。実施の形態１に係る進行方向に対する足のブレ幅および両足の幅の変化量の算出例。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。また、実施の形態の説明において、上、下、左、右、前、後、表、裏といった向きあるいは位置が示されている場合がある。これらの表記は、説明の便宜上の記載であり、装置、器具、あるいは部品等の配置、方向および向きを限定するものではない。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る疲労判定装置１００の適用例を示した図である。
図１は、本実施の形態に係る疲労判定装置１００を人物２０１の歩行路２０２の途中に設置した際の一例である。
映像カメラ１０１は、歩行路２０２を歩行する人物２０１を撮影することが可能な位置に設置されている。映像カメラ１０１は、人物２０１が歩行路２０２を歩行した際に人物２０１の歩行映像を取得する。映像カメラ１０１により取得された歩行映像は、疲労判定装置１００に入力される。
疲労判定装置１００は、歩行映像を用いて人物２０１の疲労判定を行う。判定結果は人物２０１の所有するスマートフォンあるいはタブレットといった携帯端末装置に通知される。あるいは、人物２０１の所属機関の健康保険組合といった組織に通知してもよい。このように、疲労判定装置１００により判定された人物２０１の疲労状態は、幅広く活用可能である。

なお、映像カメラ１０１が設置されていることは人物２０１が知っている必要はない。これは、疲労判定において、人物２０１に対する協力要請といった制限が一切ないことを意味している。つまり、普段の生活の中でカメラ設置箇所があれば、いつでも疲労判定を実施できる。さらに、映像取得に使用する映像カメラ１０１は深度カメラのような特殊なカメラではなく、既に社会に存在する監視カメラといったカメラを利用できる。
なお、映像カメラ１０１は、人物２０１が撮影できれば任意の位置に配置が可能である。また、映像カメラ１０１と疲労判定装置１００は有線で接続されていても無線で接続されていても良い。リアルタイム性を求めないのであれば映像カメラ１０１で取得された映像を記録メディアに蓄積し、オフラインで疲労判定装置１００に入力してもよい。したがって、疲労判定装置１００は映像カメラ１０１から遠く離れた場所に設置されていてもよい。

図２を用いて、本実施の形態に係る疲労判定装置１００の構成を説明する。
疲労判定装置１００は、コンピュータである。疲労判定装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

疲労判定装置１００は、機能要素として、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、判定部１５０、および記憶部１６０を備える。記憶部１６０には、映像データ１６１、骨格情報１６２、歩行解析データ３１、歩行蓄積情報１６３、判定閾値１６４、および疲労判定結果１６５が記憶されている。

映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能は、ソフトウェアにより実現される。記憶部１６０は、メモリ９２１に備えられる。

プロセッサ９１０は、疲労判定プログラムを実行する装置である。疲労判定プログラムは、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、あるいはＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬の記憶媒体であってもよい。なお、ＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略語である。ＳＤ（登録商標）は、ＳｅｃｕｒｅＤｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋの略語である。

入力インタフェース９３０は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。入力インタフェース９３０は、具体的には、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）と接続されるポートであってもよい。疲労判定装置１００は、入力インタフェース９３０を介して、映像カメラ１０１と接続される。

出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である。

通信装置９５０は、レシーバとトランスミッタを有する。通信装置９５０は、無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）である。

疲労判定プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、疲労判定プログラムだけでなく、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、疲労判定プログラムを実行する。疲労判定プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されている疲労判定プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、疲労判定プログラムの一部または全部がＯＳに組み込まれていてもよい。

疲労判定装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、疲労判定プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、疲労判定プログラムを実行する装置である。

疲労判定プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。また、映像取得処理、骨格抽出処理、歩行解析処理、閾値生成処理、および判定処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記録媒体」に読み替えてもよい。
疲労判定プログラムは、上記の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、疲労判定方法は、疲労判定装置１００が疲労判定プログラムを実行することにより行われる方法である。
疲労判定プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、疲労判定プログラムは、プログラムプロダクトとして提供されてもよい。

なお、図２の疲労判定装置１００のハードウェア構成は、一例であり、実施の形態によっては追加、削除、あるいは置換されることがある。例えば、映像カメラ１０１が疲労判定装置１００に内蔵される場合、入力インタフェース９３０が存在しなくても良い。例えば、疲労判定結果１６５を表示する表示器を疲労判定装置１００内に持つ場合、出力インタフェース９４０が存在しなくても良い。例えば、疲労判定プログラムおよび歩行蓄積情報１６３といった情報を記憶する補助記憶装置９２２が疲労判定装置１００の外に存在し、入出力インタフェース経由で接続されていても良い。例えば、疲労判定装置１００に複数の映像カメラを繋げるための複数入力をもつ入力インタフェースを有していても良い。

＊＊＊動作の説明＊＊＊
図３を用いて、本実施の形態に係る疲労判定装置１００の動作について説明する。

＜画像取得処理＞
ステップＳ１０１において、映像取得部１１０は、入力インタフェース９３０を介して、映像カメラ１０１により撮像された映像データ１６１を取得する。映像カメラ１０１は、人物２０１を撮影する位置に設置されている。映像データ１６１は、人物２０１の歩行動作を撮像した２次元の映像データである。映像カメラ１０１は、具体的には、すでに世の中に多く設置されている監視カメラといったカメラで良い。また、映像データ１６１は、具体的には、２次元のカラー映像である。映像データ１６１は、骨格抽出部１２０に出力される。

＜骨格抽出処理＞
ステップＳ１０２において、骨格抽出部１２０は、人物２０１の歩行動作を撮像した２次元の映像データ１６１から、人物２０１の骨格の動きを時系列に表した骨格情報１６２を抽出する。骨格抽出部１２０は、映像データ１６１から３次元の骨格情報１６２を抽出する。骨格情報１６２は、近年の高度なコンピュータビジョン技術の進化に伴い、奥行き情報が無い２次元の映像データからの抽出が可能である。骨格抽出部１２０は、映像データ１６１に映る人物２０１を抽出し、高度なコンピュータビジョン技術により、抽出した人物の時系列の骨格情報１６２を抽出する。

図４は、本実施の形態に係る時系列の骨格情報１６２の軌跡を示した図である。
具体的には、骨格抽出部１２０は、ＯｐｅｎＰｏｓｅあるいはＤｅｐｔｈＰｏｓｅといった技術を用いて、骨格情報１６２を抽出する。ＯｐｅｎＰｏｓｅあるいはＤｅｐｔｈＰｏｓｅといった技術は、映像から骨格情報を抽出する深層学習アルゴリズムである。骨格抽出部１２０は、このような深層学習アルゴリズムとそのモデルを用いて、映像データ１６１に含まれる人物の映像に対する処理を実行し、処理結果として骨格情報１６２を得る。現状では、骨格情報を抽出するアルゴリズムはＯｐｅｎＰｏｓｅおよびＤｅｐｔｈＰｏｓｅが有名である。しかし、骨格抽出部１２０は、今後開発される新たな骨格抽出アルゴリズムを導入することも可能である。
骨格情報１６２は必ずしも３次元情報である必要はなく、３次元の骨格情報を平面に投影した２次元の骨格情報であっても良い。骨格情報１６２は歩行解析部１３０に出力される。

＜歩行解析処理＞
ここで、歩行解析部１３０の動作の概要について説明する。
歩行解析部１３０は、骨格情報１６２を用いて、腕振り情報６１１と足運び情報６１２とを含む歩行解析データ３１を算出する。腕振り情報６１１は、人物２０１の歩行時の腕振りの状態を表す。足運び情報６１２は、人物２０１の歩行時の足の運びの状態を表す。
歩行解析部１３０は、腕振り情報６１１として、進行方向に対する人物２０１の腕振りの角度と人物の腕振りの大きさとを算出する。なお、進行方向に対する人物２０１の腕振りの角度は、左右方向の腕振りの角度として表してもよい。また、人物２０１の腕振りの大きさは、前後方向の腕振りの角度として表してもよい。
また、歩行解析部１３０は、足運び情報６１２として、進行方向に対する人物の足のブレの大きさと人物の両足の幅の変化量とを算出する。

ステップＳ１０３において、歩行解析部１３０は、骨格情報１６２に基づき人物２０１の歩行動作を解析する。歩行解析部１３０は、解析した結果を、歩行解析データ３１として出力する。歩行解析データ３１には、具体的には、腰の位置情報を用いて位置補正を行った骨格情報、腕振り情報６１１、および足運び情報６１２といった情報が含まれる。

図５および図６は、本実施の形態に係る歩行解析部１３０の処理の例を示す図である。
歩行解析部１３０は、時系列の骨格情報１６２を入力として、腕の振り方の前後方向の角度あるいは大きさ、および、左右方向の角度あるいは大きさを解析する。また、歩行解析部１３０は、時系列の骨格情報１６２を入力として、足の運び方の進行方向に対する左右のブレあるいは両足の幅の変化といった歩行動作を解析する。

図５は、骨格情報１６２の３歩行周期分を頭の上から見た模式図である。ここで、図５の手の軌跡および足の軌跡の情報は、進行方向に対し、角度の情報と長さの情報として表現できる。疲労発生により人物の歩行は不安定となり、疲労なしの歩行と比べ、歩行の安定性を補うため手の振れが両側に広がり、また大きく手を振る傾向が見られる。よって、進行方向に対する腕振りの角度θと腕振りの大きさＬを含む腕振り情報６１１は、人物の疲労をより直接的に表現する情報となる。なお、腕振りの大きさＬは、前後方向の腕振りの角度で表してもよい。進行方向に対する腕振りの角度θは、左右方向の腕振りの角度で表してもよい。

図６は、骨格情報１６２の３歩行周期分を進行方向側から見た模式図である。ここで、図５および図６の足の軌跡の情報は、進行方向に進む際の足の位置のブレの大きさと、両足の広がり情報として表現できる。疲労発生は人物の歩行を不安定にさせ、進行方向に対してまっすぐ歩くことが困難になり、蛇行したり、安定性を確保するために足歩幅を広げることで安定性を確保する傾向が見られる。よって、進行方向に進む際の、進行方向に対する足のブレ幅Ｐ、および、両足の幅の変化量Ｒを含む足運び情報６１２は、人物の疲労をより直接的に表現する情報となる。
歩行解析部１３０は、上述した疲労時の歩行動作の特性を活用し、疲労をより直接的に表現する情報として歩行解析データ３１を算出する。

図７を用いて、進行方向に対する足のブレ幅Ｐ、および、両足の幅の変化量Ｒの算出例について説明する。
図７では、図４の前から見た図の足部分の情報を用いて、進行方向に対する足のブレ幅Ｐ、および、両足の幅の変化量Ｒを算出する例について説明する。
進行方向に対する足のブレ幅Ｐは、Ｐ＝√（Ｐ_Ｌ ^２＋Ｐ_Ｒ ^２）のようにＬ２ノルムで求めてもよい。ここで、Ｐ_Ｌは、図に向かって左側の足のブレ幅の分散（Ｐ_Ｘ）である。また、Ｐ_Ｒは、図に向かって右側の足のブレ幅の分散（Ｐ_Ｘ）である。
また、両足の幅の変化量Ｒは、両足の各々の座標の平均値の変化量をＲとして求めてもよい。

なお、Ｐ_Ｘ分散とＰの算出式（Ｌ２ノルム）は一例である。Ｐｘは最大最小の差、あるいは、発生確率といった他の手法で求めてもよい。また、Ｐの算出式はＬ１ノルム（絶対値和）としてもよい。
また、変化量Ｒを求めるための座標値平均についても一例である。変化量Ｒの算出に使う座標値平均は、中央値を使いてもよい。
このように、進行方向に対する足のブレ幅Ｐ、および、両足の幅の変化量Ｒを適切に表すことができれば、Ｐ，Ｒをどのような算出手法で算出してもよい。

以上のように、歩行解析部１３０は、具体的には、腕振りの角度θと大きさＬの情報、および、両足の幅の変化量Ｒと進行方向に対するブレの大きさＰの情報を、歩行動作の解析情報である歩行解析データ３１として算出する。腕振りの角度と大きさの情報、および、両足の幅の変化量と進行方向に対するブレの大きさの情報には、腕の振り方の前後方向と左右方向の大きさと角度、および、足の運び方の進行方向に対する左右のブレと両足の幅といった情報が含まれる。
なお、図５および図６では、腕振りの角度と大きさの情報、および、両足の幅の変化量と進行方向に対するブレの大きさの情報を歩行解析データ３１としたが、表現方法を変えることも可能である。例えば、長さと角度の代わりに２次元ベクトルで表現することも可能である。例えば、ブレの情報を標準偏差あるいは分散として表現することも可能である。

ステップＳ１０４において、歩行解析部１３０は、歩行解析データ３１を記憶部１６０に記憶するとともに、歩行蓄積情報１６３に蓄積する。

＜閾値生成処理＞
ステップＳ１０５において、閾値生成部１４０は、疲労を判定するための判定閾値１６４を生成する。閾値生成部１４０は、歩行解析部１３０により過去に算出された歩行解析データが蓄積された歩行蓄積情報１６３を用いて、腕振り情報６１１の閾値と足運び情報６１２の閾値とを含む判定閾値１６４を生成する。閾値生成部１４０は、過去に蓄積された歩行解析データと今回算出された歩行解析データ３１とを併せて判定閾値１６４を生成する。ここで、過去に蓄積された歩行解析データと今回算出された歩行解析データ３１は必ずしも同一人物のものでなくても良い。一方で、過去の歩行解析データと今回の歩行解析データ３１で同一人物であることが予め判明していればより精度の高い判定閾値１６４の生成が可能になる。このように、閾値生成部１４０は、入力する歩行解析データと人物との関連付けをすることも可能である。この関連付けは、映像カメラ１０１で撮像時に個人との関連付けを行う方法、あるいは、映像取得部１１０において、例えば顔および歩容といったバイオメトリクスを用いて個人特定を行う方法により実現できる。

閾値生成部１４０は、これまでに算出された歩行解析データを用いて疲労有無のクラスタリングを実施することにより、判定閾値１６４を生成する。判定閾値１６４には、例えば、腕振りの角度と大きさの情報の閾値、および、両足の幅の変化と進行方向に対するブレの大きさの情報の閾値が含まれる。すなわち、判定閾値１６４には、腕振り情報６１１の閾値と足運び情報６１２の閾値とが含まれる。閾値生成部１４０は、歩行解析部１３０により歩行解析データ３１が算出される度に、判定閾値１６４を生成する。

なお、判定閾値１６４を生成するためのクラスタリング処理に十分な数の歩行解析データが存在する場合、判定閾値１６４の生成処理を省略することも可能である。閾値生成部１４０は、定期的あるいは不定期に判定閾値１６４を生成し、記憶部１６０に記憶してもよい。そして、判定部１５０は、記憶部１６０に記憶された判定閾値１６４を用いて、判定処理を行ってもよい。

＜判定処理＞
ステップＳ１０６において、判定部１５０は、判定閾値１６４と人物２０１の歩行解析データ３１とを比較し、比較した結果を用いて人物２０１の疲労度を判定する。判定閾値１６４は、人物の疲労度を判定するために用いられる。判定閾値１６４は、腕振り情報６１１の閾値と足運び情報６１２の閾値とを含む。具体的には、判定部１５０は、人物２０１の歩行解析データ３１に含まれる腕振りの角度と大きさの情報、および、両足の幅の変化と進行方向に対するブレの大きさの情報と、判定閾値１６４とを比較する。判定部１５０は、比較結果により、人物２０１の疲労度を判定する。判定部１５０は、判定の結果を疲労判定結果１６５として、出力インタフェース９４０を介してディスプレイといった出力機器に出力する。

歩行解析データ３１のうちの進行方向に対する腕振りの角度θ、腕振りの大きさＬ、足運びのブレ幅Ｐ、および両足の幅の変化量Ｒの各々を、各々の判定閾値１６４と比較する場合を想定する。全てのデータが判定閾値１６４未満であれば、人物２０１の疲労度は０〜２と判定する。判定閾値１６４以上のデータが１または２であれば、人物２０１の疲労度は３〜５と判定する。判定閾値１６４以上のデータが３であれば、人物２０１の疲労度は６〜８と判定する。判定閾値１６４以上のデータが４、すなわち全てのデータが判定閾値１６４以上であれば、人物２０１の疲労度は９〜１０と判定する。あるいは、データ毎に重み付けをしてもよい。例えば、足運びのブレが大きい場合は、より疲労している思われるため、足運びのブレ幅Ｐに重み付けをして疲労度を判定してもよい。

以上の説明では、腕振りの角度、腕振りの大きさ、足運びのブレ幅、両足の幅の変化量の各々に対して個別の判定閾値を用意している。しかし、例えば、腕振りの角度、腕振りの大きさ、足運びのブレ幅、両足の幅の変化量の情報を個別の重みで統合し、その結果を一つあるいは複数の閾値で判定してもよい。このような判定方法はニューラルネットワークで用いられる方法である。

また、判定部１５０は、人物２０１の疲労度を判定するとしたが、単に、人物２０１について疲労の有無を判定するだけでもよい。
また、判定部１５０は、前後方向の腕振りの角度と左右方向の腕振りの角度とを比較し、比較結果により疲労の有無を判定してもよい。例えば、前後方向の腕振りの角度より左右方向の腕振りの角度が大きくなった場合に、人物２０１が疲労していると判定してもよい。

なお、以上説明してきた疲労判定に関する処理手順は一例であり、各処理は出力される疲労判定結果１６５が得られる範囲で処理手順の省略、入れ替え、あるいは追加が可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
本実施の形態では、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能がソフトウェアで実現される。変形例として、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能がハードウェアで実現されてもよい。
疲労判定装置１００は、プロセッサ９１０に替えて、電子回路を備える。

電子回路は、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能を実現する専用の電子回路である。
電子回路は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、ＧａｔｅＡｒｒａｙの略語である。ＡＳＩＣは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙの略語である。
映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
別の変形例として、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、疲労判定装置１００において、映像取得部１１０、骨格抽出部１２０、歩行解析部１３０、閾値生成部１４０、および判定部１５０の機能は、プロセッシングサーキットリにより実現される。

＊＊＊本実施の形態の効果の説明＊＊＊
本実施の形態に係る疲労判定装置１００では、２次元の映像データを用いて、歩行動作を解析するので、普段の生活の中でカメラ設置箇所があれば、いつでも疲労判定を実施できる。また、カメラは、深度カメラのような特殊なカメラではなく、既に社会に存在する監視カメラを利用できる。よって、本実施の形態に係る疲労判定装置１００によれば、導入が低コストかつ容易な疲労判定装置を実現できる。

本実施の形態に係る疲労判定装置１００では、過去の歩行解析データを蓄積した歩行蓄積情報を用いて、歩行解析データを解析する度に判定閾値を生成する。よって、本実施の形態に係る疲労判定装置１００によれば、より的確で高精度な疲労判定をすることができる。

本実施の形態に係る疲労判定装置１００では、骨格抽出部は、２次元の映像データから３次元の時系列の骨格情報を抽出する。また、歩行解析部は、３次元の時系列の骨格情報を用いて、身体動作をより正確に把握する。よって、本実施の形態に係る疲労判定装置１００によれば、より的確で高精度な疲労判定をすることができる。

以上の実施の形態１では、疲労判定装置の各部を独立した機能ブロックとして説明した。しかし、疲労判定装置の構成は、上述した実施の形態のような構成でなくてもよい。疲労判定装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、疲労判定装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１のうち、複数の部分を組み合わせて実施しても構わない。あるいは、この実施の形態のうち、１つの部分を実施しても構わない。その他、この実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１では、実施の形態の一部分の自由な組み合わせ、あるいは実施の形態の任意の構成要素の変形、もしくは実施の形態において任意の構成要素の省略が可能である。

なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。

３１歩行解析データ、１００疲労判定装置、１０１映像カメラ、１１０映像取得部、１２０骨格抽出部、１３０歩行解析部、１４０閾値生成部、１５０判定部、１６０記憶部、１６１映像データ、１６２骨格情報、１６３歩行蓄積情報、１６４判定閾値、１６５疲労判定結果、２０１人物、２０２歩行路、６１１腕振り情報、６１２足運び情報、９１０プロセッサ、９２１メモリ、９２２補助記憶装置、９３０入力インタフェース、９４０出力インタフェース、９５０通信装置。

Claims

人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出する骨格抽出部と、
前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する歩行解析部と、
前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する判定部と
を備え、
前記歩行解析部は、
前記腕振り情報として、進行方向に対する前記人物の腕振りの角度と前記人物の腕振りの大きさとを算出する疲労判定装置。
人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出する骨格抽出部と、
前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する歩行解析部と、
前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する判定部と
を備え、
前記歩行解析部は、
前記足運び情報として、進行方向に対する前記人物の足のブレの大きさと前記人物の両足の幅の変化量とを算出する疲労判定装置。
前記歩行解析部は、
前記腕振り情報として、進行方向に対する前記人物の腕振りの角度と前記人物の腕振りの大きさとを算出する請求項２に記載の疲労判定装置。
前記疲労判定装置は、
前記歩行解析部により過去に算出された歩行解析データが蓄積された歩行蓄積情報を用いて、前記腕振り情報の閾値と前記足運び情報の閾値とを含む前記判定閾値を生成する閾値生成部を備えた請求項１から請求項３のいずれか１項に記載の疲労判定装置。
前記閾値生成部は、
前記歩行解析部により歩行解析データが算出される度に前記判定閾値を生成する請求項１から請求項４のいずれか１項に記載の疲労判定装置。
前記骨格抽出部は、前記映像データから３次元の前記骨格情報を抽出する請求項１から請求項５のいずれか１項に記載の疲労判定装置。
骨格抽出部と歩行解析部と判定部とを備えた疲労判定装置の疲労判定方法において、
前記骨格抽出部が、人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出し、
前記歩行解析部が、前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出し、
判定部が、前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する疲労判定方法であって、
前記歩行解析部は、前記腕振り情報として、進行方向に対する前記人物の腕振りの角度と前記人物の腕振りの大きさとを算出する疲労判定方法。
骨格抽出部と歩行解析部と判定部とを備えた疲労判定装置の疲労判定方法において、
前記骨格抽出部が、人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出し、
前記歩行解析部が、前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出し、
判定部が、前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する疲労判定方法であって、
前記歩行解析部は、前記足運び情報として、進行方向に対する前記人物の足のブレの大きさと前記人物の両足の幅の変化量とを算出する疲労判定方法。
人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出する骨格抽出処理と、
前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する歩行解析処理と、
前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する判定処理と
をコンピュータに実行させる疲労判定プログラムであって、
前記歩行解析処理は、前記腕振り情報として、進行方向に対する前記人物の腕振りの角度と前記人物の腕振りの大きさとを算出する疲労判定プログラム。
人物の歩行動作を撮像した２次元の映像データから、前記人物の骨格の動きを時系列に表した骨格情報を抽出する骨格抽出処理と、
前記骨格情報を用いて、前記人物の歩行時の腕振りの状態を表す腕振り情報と、前記人物の歩行時の足の運びの状態を表す足運び情報とを含む歩行解析データを算出する歩行解析処理と、
前記人物の疲労度を判定するための判定閾値であって前記腕振り情報の閾値と前記足運び情報の閾値とを含む判定閾値と前記人物の歩行解析データとを比較し、比較した結果を用いて前記人物の疲労度を判定する判定処理と
をコンピュータに実行させる疲労判定プログラムであって、
前記歩行解析処理は、前記足運び情報として、進行方向に対する前記人物の足のブレの大きさと前記人物の両足の幅の変化量とを算出する疲労判定プログラム。