WO2018047392A1

WO2018047392A1 - モビリティ及びモビリティシステム

Info

Publication number: WO2018047392A1
Application number: PCT/JP2017/014109
Authority: WO
Inventors: 嘉之山海
Original assignee: Cyberdyne株式会社; 国立大学法人筑波大学
Priority date: 2016-09-06
Filing date: 2017-04-04
Publication date: 2018-03-15
Also published as: JPWO2018047392A1; EP3510986A4; US11020294B2; US20190192361A1; JP6814220B2; EP3510986A1

Abstract

【課題】身体機能や認知機能の低下した要介護者がより自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを提供する。【解決手段】操作部による現在の操作内容と、随意的制御部による指令信号と、環境検知部により検知される走行環境と、情報取得部により取得される各環境情報とに基づいて、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整して走行駆動部による走行駆動を制御するようにした。

Description

モビリティ及びモビリティシステム

　本発明は、モビリティ及びモビリティシステムに関し、特に利用者の操作に応じて所望方向に移動可能なパーソナルモビリティに適用して好適なるものである。

　近年、身体機能や認知機能の低下によって、トイレや台所やショッピングセンタへの移動が困難な要介護者の増加は、超高齢化に直面する我が国の大きな社会課題である。より自立度の高い生活を送るための移動支援の手法の開発が切望されている。

　従来、要介護者が自ら電動車椅子を操縦する際、障害物に対する認識不足を補うための安全回避技術は多数提案されている。例えば、障害物の位置と車体通過予測領域とに基づいて、車体と障害物との衝突可能性を判定し、車体が障害物の近傍を通過する際に衝突可能性ありと判定された場合は速度及び進行方向を修正する一方、衝突可能性なしと判定された場合は、車体の速度を制限しないようにした技術が提案されている（特許文献１参照）。

　また障害物と移動体とが所定間隔以内に接近するか否かを判定し、近接すると判定した場合に移動体の回避動作及び障害物に期待する回避動作を計画することにより、移動体が一方的に回避する場合と比べて効率の良い回避動作を行う技術も提案されている（特許文献２参照）。

　さらに車体部より操作方向に延びて、車体部の幅と略等しいサーチ領域を生成すると共に、操作量の大きさ又は操作方向及び操作量から算出された操作力の大きさが大きい場合、サーチ領域を操作方向に尖った形状に変えることにより、操作方向に障害物があっても安全に自動回避を行う技術が提案されている（特許文献３参照）。

特開２０１２－１１８８６号公報国際公開第２０１２／０３９２８０号特開２０１２－１０６７２２号公報

　ところが、要介護者の身体機能や認知機能の低下が進んでいた場合には、電動車椅子に障害物の自動回避技術を搭載しただけでは、自ら操作しながら走行するは非常に困難となり、自立性の面では実用上不十分である。

　この問題を解決すべく、操作者の走行経路の周辺環境の至るところに、各種のセンサを設置しておき、操作者が搭乗する電動車椅子を目的地まで安全に誘導する方法も考えられる。

　しかしながら、周辺環境に大量のセンサを設けて安全誘導させるだけでは、操作者が単独で使用して安全性を確保することができるものの、操作者の自立性はほとんど考慮されなくなるおそれがある。

　本発明は以上の点を考慮してなされたもので、身体機能や認知機能の低下した要介護者がより自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを提供しようとするものである。

　かかる課題を解決するために本発明においては、利用者から入力された操作内容を検出する操作部と、当該操作部による操作内容に応じた走行速度及び走行方向で走行駆動する走行駆動部とを有するモビリティにおいて、操作部に触れる手指を基準とする利用者の生体信号を検出するための電極を有する生体信号検出部と、生体信号検出部により取得された生体信号に基づいて、利用者の意思に従った動力を走行駆動部に発生させるための指令信号を生成する随意的制御部と、モビリティ本体側にて走行時の走行環境を検知する環境検知部と、外部環境から提示される少なくとも１以上の環境情報を取得する情報取得部と、操作部による現在の操作内容と、随意的制御部による指令信号と、環境検知部により検知される走行環境と、情報取得部により取得される各環境情報とに基づいて、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する走行調整部と、走行調整部により調整された走行状態となるように、走行駆動部による走行駆動を制御する走行制御部とを備えるようにした。

　以上のモビリティによれば、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整することにより、利用者が身体機能や認知機能が低下した要介護者であっても、可能な限り自己の意思に従うことを前提に、第三者のサポートがなくても安心して所望方向に走行することができる。

　また本発明のモビリティにおいては、利用者の体重を支持する支持部に設けられ、当該利用者の体動変化及び重心変動を検知する姿勢検知部をさらに備え、走行調整部は、操作部による現在の操作内容に、姿勢検知部により検出された体重変化及び重心変動を反映させて走行状態を調整するようにした。

　この結果、利用者による現在の操作内容に加えて、利用者の体重変化及び重心変動も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。

　さらに本発明のモビリティにおいては、集音マイクを介して集音した利用者の音声に基づく発話内容を分析する音声分析部をさらに備え、走行調整部は、操作部による現在の操作内容に、音声分析部による分析結果を反映させて走行状態を調整するようにした。

　この結果、利用者による現在の操作内容に加えて、利用者の発話内容のうち走行指示に関係する発話内容も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。

　さらに本発明のモビリティにおいては、利用者の生理状態を検出する生理状態検出部をさらに備え、走行調整部は、生理状態検出部により検出された生理状態について、所定時間以上所定基準の範囲外である場合、操作部による現在の操作内容に関わらず、現在のモビリティの走行状態を安全性確保を最優先とする走行状態に調整するようにした。

　この結果、利用者の生理状態が良くなく、走行移動に支障が生じると判断した場合は、モビリティを安全性が確保可能な場所まで強制的に誘導することにより、その後の危険回避を図ることができる。これと同時に、モビリティに設けられたスピーカから緊急警報を発生するようにして周囲に注意喚起したり、通信機能を用いて利用者の関係者が保有する携帯端末に緊急情報を送信したりすることにより、利用者の見守り機能としての役割を果たすことができる。

　さらに本発明のモビリティにおいては、環境検知部は、複数の異なる視点から対象物体を撮像する撮像部を有し、走行調整部は、撮像部の撮像結果であるＲＧＢデータに基づいて対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて対象物体とモビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した対象物体が障害物であるか否かを判断するようにした。

　この結果、モビリティは、状況に応じて近接する対象物体が障害物であるか否かを判別し、対象物体とモビリティ本体の相対位置に基づいて、安全な移動経路の生成と自律的な移動を行うことが可能となる。

　さらに本発明のモビリティにおいては、走行調整部による走行状態の調整内容及び調整事実のいずれか一方又は両方をリアルタイムで利用者に通知する情報内容通知部をさらに備えるようにした。そして情報内容通知部は、利用者に対して走行調整部による走行状態の調整内容に応じた物理的な刺激を付与する刺激付与部からなるようにした。

　この結果、利用者は走行状態の調整内容や調整事実をフィードバック的に認識することができ、自己の操作内容との調整分の差を意識することによって機能回復による学習効果を得ることができる。

　さらに本発明においては、上述したモビリティと、当該モビリティに対して少なくとも１以上の環境情報を提示する環境情報提示ユニットとを有するモビリティシステムにおいて、環境情報提示ユニットは、環境情報ごとに設けられ、モビリティからの要求に応じて対応する環境情報を提示する情報提示部を備え、モビリティの情報取得部は、各情報提示部から利用可能な環境情報のみを取得するようにした。

　この結果、モビリティシステムでは、モビリティの走行時に適宜、周囲の環境情報を取得することにより、モビリティ自体の自律制御能力を環境情報に基づく情報内容で補完することができる。利用者の環境認識能力をモビリティの外部環境にある環境情報提示ユニットと協調させることで、より一層利用者にとって安全性の高い走行制御を実現することができる。

　さらに本発明においては、モビリティは、走行調整部による走行状態の調整内容を、姿勢検知部により検出された体重変化及び重心変動と、認知能力検知部により検出された認知能力と、生理状態検出部により検出された生理状態とのうち少なくとも１以上とともに、外部に発信する情報通信部を備えるとともに、モビリティと別体に設けられ、情報通信部から送信される各種情報を受信し、通信回線を介して管理サーバに送信するデータ端末装置を備えるようにした。

　この結果、モビリティシステムでは、情報通信部から発生される利用者の走行状態の調整内容及びこれに伴う身体機能及び認知機能を表す各種情報に基づいて、利用者の身体機能や認知機能を外部のデータ端末装置を介して管理サーバに蓄積することができる。そして管理サーバに蓄積された利用者の情報を時系列で分析することにより、身体機能や認知機能の低下度合い等を把握することが可能となる。

　さらに本発明のモビリティシステムにおいては、モビリティは、当該モビリティの位置情報を検出する位置情報検出部をさらに備え、情報通信部は、位置情報発信部から得られる現在の位置情報を発信するようにした。この結果、モビリティの位置情報も常に外部のデータ端末装置が確認することが可能となる。

　さらに本発明のモビリティシステムにおいては、データ端末装置は、外部入力されたモビリティに対する操作指令を表す指令信号を送信し、モビリティの走行調整部は、情報通信部を介して指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させるようにした。

　この結果、モビリティシステムでは、データ端末装置を使用する管理者がモビリティに搭乗する利用者の健康状態に不安があるなど急遽呼び寄せたい場合には、管理者の下に目的地を変更してモビリティを強制的に操作して走行させるようにすることも可能となる。それ以外にもデータ端末装置を使用する管理者がモビリティを遠隔的に制御することにより、搭乗する利用者が要介護者の場合でも十分に安全性を確保することが可能となる。

　本発明によれば、利用者の意思に応じた操作内容のみならず外部環境から取得される情報内容と協調させながら走行制御させるようにして、利用者の身体機能や認知機能が低下して要介護状態となった場合でも、より自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを実現することができる。

本発明の実施形態に係るモビリティシステムの全体構成を示す概念図である。同発明の実施形態に係るモビリティの制御系の構成を示すブロック図である。畳み込みニューラルネットワークの畳み込み層及びプーリング層の説明に供する概念図である。畳み込みニューラルネットワークの畳み込み層及びプーリング層の説明に供する概念図である。畳み込みニューラルネットワークにおいて作成した学習器の構造を示す概念図である。対象物体の判別方法に関する実験環境を表す図である。ベッドの判別結果を表す図である。机の判別結果を表す図である。椅子の判別結果を表す図である。座面の先端と対象物体間の距離の説明に供する略線図である。移動後のモビリティ座面の先端と対象物体間の距離の平均と標準偏差を示す図である。

　以下図面について、本発明の一実施の形態を詳述する。

（１）本実施の形態によるモビリティシステムの構成
　図１に示すように、本発明におけるモビリティシステム１は、利用者の操作に応じた走行速度及び走行方向で走行するモビリティ２と、当該モビリティ２に対して少なくとも１以上の環境情報を提示する環境情報提示ユニット３とを有する。このモビリティシステム１には、モビリティ２との間で双方向に各種のデータを送受信するデータ端末装置４及び管理サーバ５も含めてもよい。

　本発明による環境情報提示ユニット３は、モビリティ２に対して外部から環境情報を提示することにより、モビリティ自体の自律制御能力を環境情報に基づく情報内容で補完するようになされている。すなわち利用者の環境認識能力をモビリティ２の外部環境にある環境情報提示ユニットと協調させることで、より一層利用者にとって安全性の高い走行制御を実現し得るようになされている。

　環境情報としては、利用者の環境認知の水準を高めてより安全に目的地までの移動を実現するための各種情報が該当する。例えば、目的地への近道情報、走行環境の路面状態（平坦か否か等）、雨天時の被害を回避可能なルート情報、交差点遭遇までの交通量や交通状態の事前通知、障害物や人の横断などの事前通知、車椅子用のトイレや休憩所の位置情報、走行環境に出店されている店舗情報などが挙げられる。

　環境情報提供ユニット３は、上述の環境情報をビジョン情報、電磁気情報、電波情報、光情報及び音情報として、モビリティ２からの要求に応じて又は近接時に自動的にそれぞれ対応する提供手段によって当該モビリティ２に提供する。

　具体的にビジョン情報としては、認識パターン、ランドマーク、ラインセンシング許可マーク、走行環境における床・壁面・天井・物体に配置されたＱＲコード（登録商標）やホログラムなどが挙げられる。そのための提供手段としては、撮像カメラや３Ｄ距離画像センサなどが該当する。

　また電磁気情報や電波情報としては、走行環境に埋め込まれたＲＦＩＤ（Radio Frequency Identification）、磁界を生成する電気ケーブル、ＧＰＳ（Global Positioning System）などが挙げられる。そのための提供手段としては、アクティブ方式又はパッシブ方式の無線通信手段や赤外線通信手段などが該当する。

　さらに光情報としては、レーザ測域センサ、光通信コード、機械光学式ガイド（レーザーポインタなどで光情報を床・壁面・天井に照射）などが挙げられる。そのための提供手段としては、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサのような撮像素子や、光伝導型受光素子、光起電力型受光素子などの光電変換素子が該当する。

　さらに音情報としては、利用者や周辺環境から発生する原音情報や、処理された周波数情報やパターン音声情報（必要に応じて異音も含む）などが挙げられる。そのための提供手段としては、指向性マイクロフォンや全方向型集音マイクなどが該当する。

　このようにモビリティ２では、環境情報提示ユニット３から取得可能な複数の情報を統合処理・通信・自動判断するとともに、利用者の意思に応じた操作内容と協調させながら走行制御するようになされている。

（２）本実施の形態によるモビリティの構成
　モビリティ２は、図１に示すように、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体であり、利用者が着座する着座部（支持部）１０と、背中を保持するための背もたれ部１１と、両腕を保持するための肘掛け部１２とを備える。

　着座部１０の下部には、後側に左右一対の駆動後輪１３ａ，１３ｂと、前側に左右一対の前車輪１４ａ，１４ｂとからなる走行駆動部１５が設けられている。走行駆動部１５における左右の駆動後輪１３ａ，１３ｂは、それぞれ駆動によってそれぞれ独立して回転駆動し、駆動後輪１３ａ，１３ｂの前進回転或いは後進回転によって前進及び後進し、駆動後輪１３ａ，１３ｂの前進回転速度に差を与えることによって前進しつつ右或いは左に走行する。また、駆動後輪１３ａ，１３ｂを互いに逆方向に回転駆動することによってモビリティ２がその位置で方向転換する。

　肘掛け部１２は、利用者が着座部１０に着座した際に両肘を掛ける部分である。このうち片方（右側）の肘掛け部１２には、操作部２０が設けられている。この操作部２０は、図示しないが、先端側に設けられた軸受け部に棒状の操作レバーが所望方向に傾斜自在に軸支された構成を有し、利用者による操作レバーの傾斜角度及び傾斜方向に応じて走行駆動部１５が操作される。走行駆動部１５は、操作部２０によって入力される操作内容（方向及び速度）に応じて、左右の駆動後輪を独立して駆動させる。

　また腰掛け部１２における操作部２０に触れる手指を基準とする部位には、予め生体信号を検出するための電極を有する生体信号検出部２１（後述する図２）が取り付けられており、検出された生体信号に基づいて、後述する統括制御部３０（図２）が利用者の意思に従った動力を走行駆動部１５に発生させるための指令信号を生成する。

　なお本発明における生体信号とは、利用者の体内に発生する電気に起因する信号であり、身体から測定可能な信号であると共に身体の動作や脳からの信号に伴って時系列で変化する信号である。例えば、生体信号は、神経電位や筋電位、脳波、心電位、更に、モーションアーティアファクト（動作の影響）によって生じる電位等、生化学反応により生じる電位や、心臓の拍動によって生じる脈波等の振動等、生体の活動によって生じる信号を意味する。

　本発明による生体信号検出部２１については、本願発明者による特登5409637号公報に記載された内容と軌を一にし、かつ同一原理を用いている。また利用者の指を動作させる信号を取得する手法としては、本願発明者による特登5472680号公報に記載された動作補助具を適用することができる。

　肘掛け部１２の先端には、斜め前方方向及び左右方向の障害物の検知を行うレーザレンジセンサ３１と、３次元スキャン可能なＲＧＢ－Ｄセンサ３２、３Ｄ距離画像センサ３３及び撮像カメラ３４が設けられている。

　具体的にレーザレンジセンサ３１は、設置位置から見た対象物（障害物）に照射し、その反射光を受光して距離を算出する。これを一定角度間隔で距離を測定することにより、平面上に扇状の距離情報を最大30ｍ、角度240度の範囲で得ることができる。

　またＲＧＢ－Ｄセンサ３２は、ＲＧＢカラーカメラ機能に加えて、当該カメラから見た対象物（障害物）までの距離を計測できる深度センサを有し、対象物の３次元スキャンを行うことができる。この深度センサは赤外線センサからなり、構造化光の単一のパターンを対象物に投影した状態で対象を撮影し、そのパラメータを用いて三角測量により画像上の各点のデプスを算出する。

　例えばＲＧＢ－Ｄセンサ３２として、例えばＫｉｎｅｃｔ（マイクロソフト社の商標名）を適用した場合、水平視野57度、垂直視野43度、センサ範囲は1.2ｍ～3.5ｍの範囲を撮影することが可能であり、ＲＧＢ画像は640×480、Ｄｅｐｔｈ（深度）画像は320×240画素で共に30フレーム／秒で取得できる。

　ＲＧＢ－Ｄセンサ３２を肘掛け部１２の先端に設置したのは、ほぼ床面に近い走行駆動部では垂直視野が確保できないためであり、床面から0.6ｍ～1.8ｍの高さ確保が必要となる。

　３Ｄ距離画像センサ３３は、ＬＥＤパルスを照射し、対象物からの反射光の到達時間を画素単位で計測すると同時に取得した画像情報を重畳することにより、対象物までの距離情報を画素単位で算出する。この３Ｄ距離画像センサ３３は、上述のＲＧＢ－Ｄセンサ３２よりも高精度の検出能力を有し、かつレーザレンジセンサ３１よりも視野角が広いことから、屋外向けの補完センサとして必要である。

　３Ｄ距離画像センサ３３として、例えばピクセルソレイユ（日本信号株式会社の商品名）を適用した場合、水平視野72度、垂直視野72度、センサ範囲は0.3ｍ～4.0ｍの範囲を撮影することが可能である。

　本発明のモビリティ２では、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３を用いて、外部環境に対して自己の位置を推定すると同時に環境地図を作成するＳＬＡＭ（Simultaneous Localization and Mapping）技術が実現するようになされている。

　このＳＬＡＭ技術を用いたモビリティ２は、高精度に自己の位置を推定しながら、実空間内に存在する物体の３次元位置を表現する環境地図を動的に生成することにより、自己の移動経路を特定して環境内を自律的に移動することが可能である。

　さらに背もたれ部１１の中央上部には、集音マイク３５及びスピーカ３６が搭載されており、周囲環境の音声を集音し、必要に応じて発話や警告音を発するようになされている。

（３）モビリティの内部の回路構成
　図２は、モビリティ２に搭載される制御系の構成図である。全体の制御を司る統括制御部（走行調整部）３０、走行経路情報を記憶する目標走行経路記憶部４０、操作部２０からの入力又は統括制御部３０による制御に応じて走行駆動部１５を制御する走行制御部４１を備える。

　統括制御部３０は、予め設定された走行経路情報を記憶する目標走行経路記憶部４０からの走行経路情報と、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３による各検出信号に基づいて自己位置推定と後述する環境地図の構築を同時に行いながら、走行経路の適否や変更の要否を判断したり、走行障害物の有無を判断する。

　例えば道路走行中のモビリティ２が道端の縁石などの走行障害物に接触するか否かを判断し、接触する直前に一旦停止して当該利用者の追従方向に走行向きを変更する。統括制御部３０は、決定した走行経路情報を走行制御部４１に送り、走行制御部４１は、該走行経路情報に応じて、左右のモータドライバ４２ａ，４２ｂを制御し、駆動モータ４３ａ，４３ｂの回転を制御する。

　実際にモビリティ２は、上述したＳＬＡＭ技術を利用して、所定地域内の歩道等の実環境内の走行可能な対象エリアの環境地図を自動的に作成する。

　具体的にはモビリティ２は、レーザレンジセンサ３１及び３Ｄ距離画像センサ３３から得られる対象物との距離情報及び角度情報に基づいて、２次元格子で区切ったグリッド上の局所地図を移動環境を示すエリアとして設定していきながら、所望の対象エリア全体を表す環境地図を作成する。

　それと同時にモビリティ２の一対の駆動後輪１３ａ，１３ｂに対応するエンコーダ（図示せず）から読み出された回転角度に基づいて、自機の走行量を演算し、次の居所地図と現時点までに作成された環境地図とのマッチング及び自機の走行量から自己位置を推定する。

　またモビリティ２は、データ端末装置４と無線通信する情報通信部５０を備え、統括制御部３０の制御の下、後述する走行状態の調整内容及びこれに伴う身体機能や認知機能を表す各種情報をデータ端末装置４に送信するとともに、当該データ端末装置４から通信回線６を介して管理サーバ５に蓄積するようになされている（図１）。

　さらにモビリティ２は、環境情報提示ユニット３のうち利用可能な提供手段からの環境情報を情報通信部５０、撮像カメラ３４、集音マイク３５、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３の中から可能な限り取得することにより、走行時に適宜、周囲の環境情報に基づく情報内容でモビリティ自体の自律制御能力を補完することができる。利用者の環境認識能力をモビリティ２の外部環境にある環境情報提示ユニット３と協調させることで、より一層利用者にとって安全性の高い走行制御を実現することができる。

　また統括制御部３０は、上述した生体信号検出部２１により取得された利用者の生体信号に基づいて、利用者の意思に従った動力を走行駆動部１５に発生させるための指令信号を生成する。

　統括制御部３０は、操作部２０による現在の操作内容と、随意的制御結果として生成した指令信号と、上述のＳＬＡＭ技術により検知される走行環境と、環境情報提示ユニット３から取得した環境情報とに基づいて、現在のモビリティ２の走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する。そして走行制御部４１は、統括制御部３０により調整された走行状態となるように、走行駆動部１５のモータドライバ４２ａ、４２ｂを駆動制御する。

　このようにモビリティ２において、現在のモビリティ２の走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整することにより、利用者が身体機能や認知機能が低下した要介護者であっても、可能な限り自己の意思に従うことを前提に、第三者のサポートがなくても安心して所望方向に走行することができる。

　またモビリティ２には、着座部１０の座面に２次元マトリクス状に複数の圧力センサが配列されてなる姿勢検知部６０が設けられ、利用者が着座部１０の座面に着座したときの体圧分布に基づく体圧重心を算出して、利用者の体重変化及び重心変動を検知する。

　すなわち姿勢検知部６０は、複数の圧力センサから検知される体圧データに基づいて、全ての体圧データの総和から２次元配列におけるＸ軸方向（左右方向）及びＹ軸方向（前後方向）の重心座標を算出した後、センサ間の距離との関係に基づき座面における体圧重心を算出する。そして姿勢検知部６０は、座面の体圧重心の変化の時系列データに基づいて、利用者の体動変化及び重心変動を求める。

　統括制御部３０は、操作部２０による現在の操作内容に、姿勢検知部６０により検出された体重変化及び重心変動を反映させて走行状態を調整する。すなわち利用者が走行時に操作部２０を操作しながら走行方向に合わせて上半身を傾けたときに、それに応じた座面の体重変化及び重心変動が生じるため、さらに所望の走行状態に近づけることが可能となる。

　一方、利用者が走行時に上半身を前後左右に揺らし始めたり、特定方向にのみ長時間傾いた場合には、脳神経系の病気や心臓発作などを発症した可能性があると判断することも可能となる。

　さらに統括制御部３０（音声分析部）は、集音マイク３５を介して集音した利用者の音声に基づく発話内容を分析し、当該分析結果に基づいて走行状態を調整する。すなわち利用者の発話内容のうち走行指示に関係する発話内容も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。

　例えば利用者が走行時に手指にしびれが生じた場合や操作部２０が故障した場合でも、即座に停止する旨の発話内容に基づいて停止させることが可能となる。

　さらにモビリティ２は、利用者の生理状態を検出する生理状態検出部６１を有し、統括制御部３０は、生理状態検出部６１により検出された生理状態について、所定時間以上所定基準の範囲外である場合、操作部２０による現在の操作内容に関わらず、現在のモビリティ２の走行状態を安全性確保を最優先とする走行状態に調整する。

　この生理状態としては、血圧、動脈硬化、心電、呼吸、嚥下、睡眠等が挙げられる。利用者がモビリティ２への乗り降りの利便性を考慮すると、非侵襲にて光やレーザを用いた計測手段を搭載することが望ましい。

　非侵襲による血圧測定方法については、本願発明者による国際出願2015/068787号公報に記載された血流に基づく血圧算出装置を適用することができる。また非侵襲による血流測定方法及び動脈硬化測定方法については、本願発明者による特登5283700号公報に記載された光を用いた非接触の血管状態計測装置を適用することができる。さらに脳波や脳活動の計測方法については、本願発明者による特登5717064号公報及び特登5295584号公報に記載された頭部血流計測に基づく脳波検出装置を適用することができる。

　この結果、利用者の生理状態が良くなく、走行移動に支障が生じると判断した場合は、モビリティ２を安全性が確保可能な場所まで強制的に誘導することにより、その後の危険回避を図ることができる。

　これと同時に、モビリティ２に設けられたスピーカ３６から緊急警報を発生するようにして周囲に注意喚起したり、通信機能を用いて利用者の関係者が保有する携帯端末に緊急情報を送信したりすることにより、利用者の見守り機能としての役割を果たすことができる。

　さらにモビリティ２は、肘掛け部１２及びこれに付随するモニタ等の表示部６２を有し、統括制御部３０による走行状態の調整内容及び調整事実のいずれか一方又は両方を表示して、リアルタイムで利用者に通知する。この結果、利用者は走行状態の調整内容や調整事実をフィードバック的に認識することができる。

　さらにモビリティ２は、表示部６２とともに又はこれに代えて、情報内容通知部として、利用者の体表に接触して物理的（力学的、電気的、及び／又は、熱的）な刺激を与えるための刺激付与部６３を有する。統括制御部３０は、走行状態の調整内容及び調整事実のいずれか一方又は両方を所定タイミング及び所定パターンで刺激付与部６３を制御して利用者の体表に刺激を付与することにより、リアルタイムで利用者に通知する。

　さらにモビリティ２は、当該モビリティ２の位置情報を発信するＧＰＳ（Global Positioning System）からなる位置情報発信部６４を有し、情報通信部５０は、位置情報発信部６４から得られる現在の位置情報を発信する。この結果、モビリティシステム１において、モビリティ２の位置情報も常に外部のデータ端末装置４が確認することが可能となる。

　さらにモビリティシステム１において、データ端末装置４は、外部入力されたモビリティ２に対する操作指令を表す指令信号を送信し、モビリティ２の統括制御部３０（操作調整部）は、情報通信部５０を介して指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させる。

　この結果、モビリティシステム１では、データ端末装置４を使用する管理者がモビリティ２に搭乗する利用者の健康状態に不安があるなど急遽呼び寄せたい場合には、管理者の下に目的地を変更してモビリティ２を強制的に操作して走行させるようにすることも可能となる。それ以外にもデータ端末装置４を使用する管理者がモビリティ２を遠隔的に制御することにより、搭乗する利用者が要介護者の場合でも十分に安全性を確保することが可能となる。

（４）本実施の形態における安全移動経路の確保方法
　モビリティ２は、複数の異なる視点から撮像する撮像部を用いて、接近する対象物体を判別するとともに、当該対象物体とモビリティ本体との相対位置関係を算出することにより、所定の目標距離内に接近する対象物体が接近対象又は障害物のいずれかを判断するようになされている。

　この実施形態において、撮像部としては、ＲＧＢ－Ｄセンサ３２に替えて、ステレオカメラ（図示せず）を用いるようにしてもよい。ステレオカメラもＲＧＢ－Ｄセンサ３２と同様に、深度情報と画像の取得を同時に可能なデバイスであるが、太陽光の影響により一般の家庭環境において赤外線を用いるＲＧＢ－Ｄセンサ３２では深度情報に誤差が生じるため、太陽光による影響が少ないステレオカメラが望ましい。

　家庭環境によっては対象物体の長辺全体を映すように撮影する必要があり、特にベッドのような家具は長さ２ｍ程度あるため、ベッド全体を映すために必要な距離はカメラの視野角が広いほど短くなり、部屋の広さの制約条件が緩和される。この条件を満たすカメラとしては、例えばＳＴＥＲＥＯＬＡＢＳ社製のＺＥＤ　２Ｋステレオカメラが挙げられる。

　このステレオカメラを適用した場合、最大視野角が110度であることから、距離測定が70ｃｍから20ｍまで可能であり、ベッドの全体像を約80ｃｍ離れた位置から撮影することができる。

　なお本実施形態におけるモビリティにおいて、ステレオカメラは、利用者やモビリティ本体が映り込まないように背もたれ部の上部に配置されている。また、モビリティの座標系とステレオカメラの座標系とを一致させておく。

　ステレオカメラのフレーム内において物体が写っている領域の座標を用いることにより、その物体のカメラ座標系でのＸＹＺ座標を取得する。物体が映っている領域のフレーム内での左上のピクセルが原点である座標（ｘ,ｙ）と、３Ｄ画像を表す１次元配列の要素ｉは、重みベクトルｗを用いて、次の式（１）のような関係をもつ。

　この式（１）を用いることにより、カメラフレーム内の座標と３Ｄ画像上の座標を一対一対応させることが可能となり、カメラフレーム内の領域を指定すれば、その領域のカメラ座標系でのＸＹＺ座標を取得することが可能となる。

　モビリティ２において、統括制御部３０は、まずステレオカメラからＲＧＢ画像を取得し、視差情報を用いて深度算出処理を行う。次に学習モデルに基づく物体判別を行った後、カメラ座標における対象物体の座標算出処理を行う。最後に目標地点までモビリティ２を自律移動させるための出力信号を生成し、走行制御部４１へ指令を与える。走行制御部４１は、与えられた指令に基づき、走行駆動部１５を動作させる。

　ここで日常生活における移動支援のためには、一般家庭での使用を考慮しなければならない。家庭によってベッド、机、椅子などの家具は様々なものが使用されていることから、一般物体認識を行う必要がある。

　このため、統括制御部３０は、ＲＧＢ画像データから対象物体を判別する手法として、機械学習を用いて一般家庭環境で使用することを目的とした判別モデルを作成する。一般物体認識は画像の分類問題であるため、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いる。ＣＮＮは、複数の畳み込み層や、当該畳み込み層と交互に並ぶプーリング層（圧縮層）を有し、ＲＧＢ画像データの局所特徴を階層的に畳み込むことにより、画像を精度よくクラス分け可能とするものである。

　ＣＮＮは、隣接する層のすべてのニューロン間に結合が存在する全結合層の前に、入力データの画像を、形状を維持したまま解析し、画像の畳み込みによって画像内のパターンを検出するための畳み込み（Convolution）層と、縦横方向の画素数を圧縮することによって、抽出された特徴の位置感度を低下させる働きを持つプーリング（Pooling）層が追加されたニューラルネットワークの構造の一つである。

　畳み込み層とプーリング層で行われている処理を可視化した概念をそれぞれ図３（Ａ）及び（Ｂ）に示す。図３（Ａ）では、入力画像のチャンネル数をＣ、高さをＨ、横幅をＷ、フィルタのチャンネル数をＣ、高さをＦＨ＿Ｃ、横幅をＦＷ＿Ｃとする。入力画像とフィルタの対応する要素同士を掛け合わせ足し合わせる畳み込み処理を各チャンネルで行い、それぞれのチャンネルでの計算結果を足し合わせた値を出力とする。

　このため、出力データのチャンネル数は１となる。フィルタをどれだけずらすかを定義する値であるストライドＳを用いて、入力画像の全ての領域で畳み込み処理を行っている。出力データの高さＯＨ、横幅ＯＷは、次式（２）及び（３）となり、これが次層の入力データとなる。

　図３（Ｂ）では、プーリング（Pooling）処理を行うフィルタサイズを高さＦＨ＿Ｐ、横幅ＦＷ＿Ｐと定めた。プーリング処理には領域に含まれる最大値を出力とするMax-Pooling、領域の平均値を返すAverage-Poolingがある。領域につき値を一つだけ返すので、出力チャンネルは、高さ１、横幅１となる。ストライドＳだけずらし、この処理を入力画像の全ての領域で行っている。

　図４に作成した学習器の構造を示す。作成する学習器の構造は、英オックスフォード大学によるＶＧＧモデルと呼ばれる畳み込み層とプーリング層から構成されるＣＮＮを10層以上重ね構成されるニューラルネットワークを参考にした。

　この学習器は、入力が224×224の画像に対応しており、ストライドＳを１、フィルタを３×３としている。また、画像の周りを指定した幅だけ０で満たすパディング（padding）を行う。このことから、次の式（４）を満たすため、畳み込み層において画像の縮小は行われていないことがわかる。

　また、プーリング層はパディングを０m、フィルタサイズksize、ストライドstrideを矢印の下に示す値として入力画像を縮小して出力信号としている。ここでも活性化関数としてＲｅＬＵ（Rectified Linear Unit）を用いる。学習モデル作成のため、画像データベースImageNetからベッド、机、椅子の画像を800枚ずつ、計2,400枚を使用し、224×224サイズの画像にリサイズしたＲＧＢ画像を用意した。この画像のうち1,800枚をトレーニングデータ、600枚をテストデータとして用いる。トレーニングデータはＣＮＮのパラメータを決定するための学習に用いられる。

　テストデータは作成している学習モデルの判別率を逐次評価するために用いられる。学習の状態を表す指標となる損失率を求める損失関数を、Softmax関数とcross entropy誤差とを用いて表す。Softmax関数は、分類問題で頻繁に用いられ、ニューラルネットワークから最終的に得る出力をｙ_k、入力信号をａ_k、出力層の層数をｎとすると、次の式（５）のように与えられる。

　この式（４）を用いることにより、出力の総和が１となり、Softmax関数から得た出力値を確率として扱うことが可能となる。また、cross entropy誤差は次の式（６）のように与えられる。ｔ_kは正解ラベルとなるインデックスが１、その他が０で表現される教師データである。

　この損失率が小さくなるようにパラメータの学習を行う。学習モデルのパラメータをする働きを持つＣＮＮを用いて作成した学習器によれば、トレーニングデータを用いて学習させたときのトレーニングデータ及びテストデータの最終的な判別率は、それぞれ約90%、約94%となった。この判別率は、出力結果が全判別対象のラベルに対して正解である可能性をパーセントで表した値である。

　このようにトレーニングデータの判別率とテストデータの判別率とが大きく離れていないことから、過学習を起こさずに学習できていることがわかる。

　実際に屋内移動において判別すべき対象物体としてベッド、机、椅子を仮定し、学習モデルを用いて上述のような対象物体の判別手法を用いるようにした。図５に示すように、判別対象を判別領域内に全ての判別対象の全体像が映り込み、かつ、判別領域内と判別対象の中央が一致するように配置する。

　本実験では予め用意した判別対象の画像から、各対象物体に対する判別を１５回行う。上述の判別手法による判別結果に基づいて、モビリティと対象物体との相対位置関係を算出し、目標とする距離内までモビリティが自律的に対象物体に接近できることを確認する。

　実験結果として得られたベッド、机、椅子の判別率は、それぞれ図６～図８のように示される。この結果に基づいて、本発明による対象物体の判別方法が実用上十分であることが確認できた。

　続いて対象物体への自律移動機能の性能評価試験を行う。利用者が対象物体に手が届く範囲を目標距離とすると、60歳以上の男女の上肢長の５%tile値はおよそ60.8ｃｍであり、５%tile値の利用者の手が対象物体に届くためには、モビリティの座面の先端が対象物体まで60ｃｍ以上近づく必要がある。

　そして利用者が対象物体に近づいた後、モビリティに搭乗するために対象物体をつかむことを考慮し、モビリティの座面の先端と対象物体間の目標距離を50ｃｍ以下に設定する。図９に座面の先端と対象物体間の距離が50ｃｍの状態を示す。

　実験環境は上述の判別手法の機能評価試験と同様であり、試行回数はベッド、机、椅子につきそれぞれ５回ずつ行う。モビリティの座面の先端と対象物体間の距離はメジャーを用いた計測にする。

　図１０に移動後のモビリティ座面の先端と対象物体間の距離の平均と標準偏差を示す。この結果によれば、全ての試行において目標とする50ｃｍまでモビリティの座面の先端が対象物体まで接近可能であることを確認することができた。

　このように本発明のモビリティ２においては、ステレオカメラ（撮像部）の撮像結果であるＲＧＢ画像データに基づいて対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて対象物体とモビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した対象物体が障害物であるか否かを判断する。

　この結果、モビリティ２は、状況に応じて近接する対象物体が障害物であるか否かを判別し、対象物体とモビリティ本体の相対位置に基づいて、安全な移動経路の生成と自律的な移動を行うことが可能となる。

（５）他の実施形態
　なお上述の実施の形態においては、モビリティ２として、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体を適用し、すなわち走行駆動部１５を、駆動後輪１３ａ,１３ｂと前車輪１４ａ,１４ｂとモータドライバ４２ａ,４２ｂと駆動モータ４３ａ,４３ｂとから構成するようにした場合について述べたが、本発明はこれに限らず、四輪駆動型の四輪移動体でもよく、利用者が安全に着座した状態で移動できれば、駆動方法や車輪の数など多種多様のものを適用しても良い。また車輪以外でもキャタピラやオムニホイール等の種々の走行機構を適用しても良い。

　また上述の実施の形態においては、モビリティ２本体側にて走行時の走行環境を検知する環境検知部として、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３によるＳＬＡＭ技術を適用した場合について述べたが、本発明はこれに限らず、モビリティ２の走行環境を走行時に把握することができれば、撮像カメラ３４や集音マイク３５など種々の手法やその組合せを適用しても良い。

　さらに上述の実施の形態においては、情報内容通知部として、表示部６２及び刺激付与部６３を適用する場合について述べたが、本発明はこれに限らず、利用者に対してフィードバック的に知覚させることができれば、スピーカ３６、表示部６２など種々の手法やその組合せを適用しても良い。

　さらに上述の実施の形態においては、環境情報提供ユニット３から環境情報を取得する情報取得部として、ビジョン情報の場合は撮像カメラ３４、電磁気情報及び電波情報の場合は情報通信部５０、音情報の場合は集音マイク３５を適用すればよく、種々の環境情報をモビリティからの要求に応じて又は近接時に自動的に取得できれば、取得手段としては広く様々なものを適用することができる。

　１……モビリティシステム、２……モビリティ、３……環境情報提示ユニット、４……データ端末装置、５……管理サーバ、６……通信回線、１０……着座部（支持部）、１１……背もたれ部、１２……腰掛け部、１３ａ，１３ｂ……駆動後輪、１４ａ，１４ｂ……前車輪、１５……走行駆動部、２０……操作部、２１……生体信号検出部、３０……統括制御部、３１……レーザレンジセンサ、３２……ＲＧＢ－Ｄセンサ、３３……３Ｄ距離画像センサ、３４……撮像カメラ、３５……集音マイク、３６……スピーカ、４０……目標走行経路記憶部、４１……走行制御部、４２ａ，４２ｂ……モータドライバ、４３ａ，４３ｂ……駆動モータ、５０……情報通信部、６０……姿勢検知部、６１……生理状態検出部、６２……表示部、６３……刺激付与部、６４……位置情報発信部。

Claims

　利用者から入力された操作内容を検出する操作部と、当該操作部による操作内容に応じた走行速度及び走行方向で走行駆動する走行駆動部とを有するモビリティにおいて、
　前記操作部に触れる手指を基準とする前記利用者の生体信号を検出するための電極を有する生体信号検出部と、
　前記生体信号検出部により取得された生体信号に基づいて、前記利用者の意思に従った動力を前記走行駆動部に発生させるための指令信号を生成する随意的制御部と、
　前記モビリティ本体側にて走行時の走行環境を検知する環境検知部と、
　外部環境から提示される少なくとも１以上の環境情報を取得する情報取得部と、
　前記操作部による現在の操作内容と、前記随意的制御部による指令信号と、前記環境検知部により検知される走行環境と、前記情報取得部により取得される各環境情報とに基づいて、現在の前記モビリティの走行状態を、前記利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する走行調整部と、
　前記走行調整部により調整された走行状態となるように、前記走行駆動部による走行駆動を制御する走行制御部と
　を備えることを特徴とするモビリティ。
　前記利用者の体重を支持する支持部に設けられ、当該利用者の体動変化及び重心変動を検知する姿勢検知部をさらに備え、
　前記走行調整部は、前記操作部による現在の操作内容に、前記姿勢検知部により検出された体重変化及び重心変動を反映させて前記走行状態を調整する
　ことを特徴とする請求項１に記載のモビリティ。
　集音マイクを介して集音した前記利用者の音声に基づく発話内容を分析する音声分析部をさらに備え、
　前記走行調整部は、操作部による現在の操作内容に、前記音声分析部による分析結果を反映させて前記走行状態を調整する
　ことを特徴とする請求項１または２に記載のモビリティ。
　前記利用者の生理状態を検出する生理状態検出部をさらに備え、
　前記走行調整部は、前記生理状態検出部により検出された生理状態について、所定時間以上所定基準の範囲外である場合、前記操作部による現在の操作内容に関わらず、現在の前記モビリティの走行状態を安全性確保を最優先とする走行状態に調整する
　ことを特徴とする請求項１から３のいずれか一項に記載のモビリティ。
　前記環境検知部は、複数の異なる視点から対象物体を撮像する撮像部を有し、
　前記走行調整部は、前記撮像部の撮像結果であるＲＧＢデータに基づいて前記対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて前記対象物体と前記モビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した前記対象物体が障害物であるか否かを判断する
　ことを特徴とする請求項１から４のいずれか一項に記載のモビリティ。
　前記走行調整部による前記走行状態の調整内容及び調整事実のいずれか一方又は両方をリアルタイムで前記利用者に通知する情報内容通知部をさらに備える
　ことを特徴とする請求項１から５のいずれか一項に記載のモビリティ。
　前記情報内容通知部は、前記利用者に対して前記走行調整部による前記走行状態の調整内容に応じた物理的な刺激を付与する刺激付与部からなる
　ことを特徴とする請求項６に記載のモビリティ。
　請求項１から請求項７のいずれかに記載のモビリティと、当該モビリティに対して少なくとも１以上の環境情報を提示する環境情報提示ユニットとを有するモビリティシステムにおいて、
　前記環境情報提示ユニットは、
　環境情報ごとに設けられ、前記モビリティからの要求に応じて対応する環境情報を提示する情報提示部を備え、
　前記モビリティの前記情報取得部は、前記各情報提示部から利用可能な環境情報のみを取得する
　ことを特徴とするモビリティシステム。
　前記モビリティは、前記走行調整部による前記走行状態の調整内容を、前記姿勢検知部により検出された体重変化及び重心変動と、前記認知能力検知部により検出された認知能力と、前記生理状態検出部により検出された生理状態とのうち少なくとも１以上とともに、外部に発信する情報通信部を備え、
　前記モビリティと別体に設けられ、前記情報通信部から送信される各種情報を受信し、通信回線を介して管理サーバに送信するデータ端末装置を備える
　ことを特徴とする請求項８に記載のモビリティシステム。
　前記モビリティは、当該モビリティの位置情報を検出する位置情報検出部をさらに備え、
　前記情報通信部は、前記位置情報発信部から得られる現在の位置情報を発信する
　ことを特徴とする請求項９に記載のモビリティシステム。
　前記データ端末装置は、外部入力された前記モビリティに対する操作指令を表す指令信号を送信し、
　前記モビリティの前記操作調整部は、前記情報通信部を介して前記指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させる
　ことを特徴とする請求項９又は１０に記載のモビリティシステム。