JP6921449B1 - 介助ロボットシステム、介助ロボットプログラム及びプログラムを格納したコンピュータで読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】手足が不自由な寝たきりの要介護者が、介助ロボットに動作指示をして要介護者を体位変換させたり、食事支援させる介助作業をさせる介助ロボットシステム、介助ロボットプログラム及びプログラムを格納したコンピュータで読み取り可能な記憶媒体を提供する。【解決手段】介助ロボット用プログラム２０は、介助ロボットの動作に係る位置関係をすべて同一の三次元座標系に換算するキャリブレーションステップ２１と、制御部からの指示に基づいて、表示部における視線の位置情報を検出させる視線検出ステップ２２と、視線情報判定部に、前記検出した視線の位置情報を要介護者の意思とするか否かの判定をさせる判定ステップ２３と、関係する位置情報を同一の三次元座標データに換算させる換算ステップ２４と、換算した同一の三次元座標データに基づいて各ロボットアクチュエーターの作動順、作動方向と作動量を演算させる演算ステップ２５と、を備える。【選択図】図３

Description

本発明は、手足の不自由な寝たきりの要介護者が、自分一人でしたいことを実現させるための介助を、介助ロボット等の介助装置にさせる介助ロボットシステム、介助ロボットプログラム及びプログラムを格納したコンピュータで読み取り可能な記憶媒体に関する。

特許文献１には、走行自在とされた介護ロボットと、前記介護ロボットの介護補助具とを用いる要介護者の移乗対象物への介護方法であって、前記介護ロボットは、前方に突出させられた一対の腕部材を有し、前記腕部材は、相互の高さが可変とされ、前記介護補助具は、シート状の補助具本体を有し、前記補助具本体は、頭部側に前記介護ロボットの一方の腕部材が挿通される頭部側腕部材挿通部を有し、要介護者の膝に相当する位置に脚部支持部材を有し、前記脚部支持部材と前記介護ロボットの他方の腕部材とを直接的または間接的に接続する接続部材を有し、要介護者の頭部を前記頭部側腕部材挿通部側に配置させ、要介護者の膝下に前記脚部支持部材を配置させて、要介護者を前記介護補助具に載置して同介護ロボットにより吊り下げ保持し、前記一方の腕部材と、前記脚部支持部材の上方に位置する前記他方の腕部材との相互の高さを調整しながら、要介護者の姿勢を形成する介護方法が開示されている。

特許文献２には、介護ロボットと、サーバーと、を備える介護システムであって、前記介護ロボットは、被介護者を支持する保持具と、被介護者を特定する情報の入力と、前記保持具の操作が可能な入力操作部と、当該被介護者の最適な動作環境の情報および前記入力操作部の操作に基づいて、前記保持具の動作を実行する動作部と、前記入力操作部の操作により実行された前記保持具の動作履歴を含む、介護ロボットによる介護履歴を記憶する第１の記憶部と、前記第１の記憶部に記憶された介護履歴を前記サーバーに送信し、前記サーバーから被介護者の最適な動作環境の受信を行う送受信部と、制御部と、を備え、前記サーバーは、被介護者の介護履歴に基づいて、当該被介護者の最適な動作環境を算出する演算制御部と、被介護者の介護履歴と、前記演算制御部により算出された被介護者の最適な動作環境を記憶する第２の記憶部と、前記介護ロボットから被介護者の介護履歴を受信し、前記介護ロボットに前記第２の記憶部に記憶された被介護者の最適な動作環境を送信する送受信部と、を備える介護システムが開示されている。

特開２０１９−２４６８６号公報 特開２０１５−１６５８７９号公報

特許文献１に記載の発明は、一対の腕部材で要介護者を入浴やトイレ使用の際に介助するロボットの発明であるが、一対の腕部材の高さを変えて要介護者の姿勢を変えたりするが、手足の不自由な寝たきりの要介護者が、介護者が不在のときに一人で寝返りができず、仰向けと横向きの体位変換ができないという問題や、痒い部位を自分で掻くことができないという問題があった。

特許文献２に記載の発明は、入力操作部の操作に基づいて座位から立位への移譲動作を行うが、手足の不自由な寝たきりの要介護者が、介護者が不在のときに一人で寝返りができず、仰向けと横向きの体位変換ができないという問題や、痒い部位を自分で掻くことができないという問題があった。

本発明はこうした問題に鑑み創案されたもので、手足が不自由な寝たきりの要介護者が、例えば自分一人で体位変換、食事支援又は痒いところを掻くことの介助可能な介助ロボットに要介護者からの意思に基づき動作指示をして、要介護者を体位変換させたり、食事支援したり、要介護者の痒い部位を掻くことを可能とする介助ロボットシステム、介助ロボットプログラム及びプログラムを格納したコンピュータで読み取り可能な記憶媒体を提供することを課題とする。

請求項１に記載の介助ロボットシステムは、ベッド上の要介護者の介助動作をさせる介助ロボットと、該要介護者を撮像する距離センサ付カメラと、該介助ロボット又は表示部に対する複数の指示ボタンを、及び、該要介護者を撮像するカメラの撮像画像を表示する表示部と、前記表示部を見る要介護者の視線を検出する視線検出手段と、制御装置とを備えた、視線入力によりベッド上の要介護者の介助をする介助ロボットシステムであって、前記制御装置は、前記表示部への表示内容の制御をする表示制御部と、前記視線検出手段からの視線位置情報と一致する前記表示部の指示ボタンのロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者の意思とするか否かの判定を行う視線情報判定部と、演算処理部と、記憶部と、送受信部と、制御部とを備え、前記制御装置は、前記制御部から前記演算処理部に、前記介助ロボットの動作範囲における予め設定したロボット部位の位置情報、前記ベッドの全範囲の位置情報、前記距離センサ付カメラの設置位置情報及び測定距離情報、及び、前記表示部の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をし、前記キャリブレーション処理により換算された換算データを前記記憶部に記憶させるキャリブレーションステップと、前記制御部から前記視線検出手段に、複数の指示ボタンに対する、又は、前記距離センサ付カメラにより撮像された要介護者画像に対する、前記表示部における視線の位置情報を検出させる視線検出ステップと、前記制御部から前記送受信部に前記視線検出手段からの視線の位置情報を受信させ、前記制御部から前記視線情報判定部に、前記検出した視線の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者の意思とするか否かの判定をさせる判定ステップと、要介護者の意思と判定した場合に、前記視線位置が前記ロボット動作指示の場合は、前記制御部から前記演算処理部に前記介助ロボットのアーム先端部の現在位置の三次元位置と前記ロボット動作指示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、前記視線位置が前記要介護者画像に対する視線位置情報の場合は、前記制御部から前記演算処理部に介助ロボットのアーム先端部の現在位置の三次元位置と前記表示部に表示された前記要介護者画像における視線の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップと、前記制御部から前記演算処理部に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、又は、前記要介護者画像における視線の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を演算させる演算ステップと、前記制御部から前記送受信部を介して、前記ロボットアクチュエーター作動制御部に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボットの動作を制御する介助ロボット制御ステップと、を実行することを特徴とする。

請求項２に記載の介助ロボットシステムは、請求項１において、前記制御装置は、前記制御部から前記演算処理部に、前記ロボットアクチュエーター作動指示情報を基に介助作業別ロボットアクチュエーター作動指示情報を演算させて前記記憶部に記憶させる記憶ステップを実行した後に、前記判定ステップにおいて、介助作業再現が表示された指示ボタンに対する視線の位置情報が要介護者の意思であると判定されたときには、前記換算ステップにおいて、前記制御部から前記演算処理部に、介助ロボットのアーム先端部の現在位置の三次元位置と、前記記憶部に記憶させた介助作業の開始基準点となる三次元座標位置とを同一の三次元座標系の三次元座標データに換算させ、次に前記ロボットアクチュエーター作動指示情報を求めるための演算ステップにおいて、前記制御部から前記演算処理部に、前記アーム先端部を現在位置から前記記憶させた介助作業の開始基準点となる三次元座標位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させた先頭側のロボットアクチュエーター作動指示情報と、前記介助作業の開始基準点となる三次元座標位置からの後継側の前記介助作業別ロボットアクチュエーター作動指示情報とを連続させて一連のロボットアクチュエーター作動指示情報とさせることを実行することを特徴とする。

請求項３に記載の介助ロボット用プログラムは、ベッド上の要介護者の介助動作をさせる介助ロボットの動作をコンピュータに制御させるための介助ロボット用プログラムであって、ベッド上の要介護者の介助動作をさせる介助ロボットと、該要介護者を撮像する距離センサ付カメラと、該介助ロボット又は表示部に対する複数の指示ボタンを及び該要介護者を撮像するカメラの撮像画像を表示する表示部と、前記表示部を見る要介護者の視線を検出する視線検出手段と、制御装置とを備え、前記制御装置は、前記表示部への表示内容の制御をする表示制御部と、前記視線検出手段からの視線位置情報と一致する前記表示部の指示ボタンのロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者の意思とするか否かの判定を行う視線情報判定部と、演算処理部と、記憶部と、送受信部と、制御部とを備え、前記コンピュータに、前記制御部から前記演算処理部に、前記介助ロボットの動作範囲における予め設定したロボット部位の位置情報、前記ベッドの全範囲の位置情報、前記距離センサ付カメラの設置位置情報及び測定距離情報、及び、前記表示部の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をさせ、前記キャリブレーション処理により換算された換算データを前記記憶部に記憶させるキャリブレーションステップと、前記制御部から視線検出手段に、複数の指示ボタンに対する、又は、距離センサ付カメラにより撮像された要介護者画像に対する、表示部における視線の位置情報を検出させる視線検出ステップと、送受信部に前記視線検出手段からの視線の位置情報を受信させ、視線情報判定部に、検出した視線の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者の意思とするか否かの判定をさせる判定ステップと、要介護者の意思と判定した場合に、視線位置が指示ボタンの場合は前記制御部から前記演算処理部に、前記介助ロボットのアーム先端部の現在位置の三次元位置と前記指示ボタンに表示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、視線位置が要介護者画像に対する視線位置情報の場合は前記制御部から前記演算処理部に、介助ロボットのアーム先端部の現在位置の三次元位置と表示部に表示された要介護者画像における視線の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップと、前記制御部から前記演算処理部に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置又は前記要介護者画像における視線の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を演算させる演算ステップと、前記制御部から前記送受信部を介して、前記ロボットアクチュエーター作動制御部に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボットの動作を制御する介助ロボット制御ステップと、を実行させることを特徴とする。

請求項４に記載のコンピュータ読取り可能な記憶媒体は、請求項３に記載の介助ロボット用プログラムを記憶することを特徴とする。

請求項１に記載の介助ロボットシステムは、手足が不自由な寝たきりの要介護者が、例えば自分一人で体位変換、食事支援又は痒いところを掻くこと等を介助可能な介助ロボットに動作指示をして、要介護者を体位変換させ、要介護者の痒い部位を掻くこと等の介助をさせることができる。

要介護者が、例えば寝返りや肩叩きなどは自分一人ではできないとあきらめていたことが自分でできるようになり自己効力感を高める効果を奏し、要介護者の取り組みが前向きに意欲的になるという効果を奏する。

要介護者が自分でできる範囲が拡大することにより、介護者の負担を軽減させることができるという効果を奏する。

また、要介護者の視線位置に介助ロボットを移動させることができる。例えば、要介護者が肩叩き作業をしてもらいたいと思い、視線を肩のところに所定時間以上の注視又は肩のところで所定回数以上の瞬きをすると、本発明の介助ロボットを要介護者の肩近傍まで移動させることができる。これにより、介助ロボットを１動作ごとに視線で指示しなくてもよい。

また、肩近傍まで近寄ってきた介助ロボットの位置微調整を自分の思うようにできるので、例えば肩の特定の部位に介助ロボットのロボットハンドを近づけ、ロボットハンドの指を掻くように動作させることができる。

請求項２に記載の介助ロボットは、介助ロボットに今までにさせた介助作業を記録させておき、例えば肩叩きという指示ボタンに視線を所定の時間以上の注視又は所定回数以上の瞬きをすると、介助ロボットは記憶された介助作業をリピートする。これにより、介助ロボットを１動作ごとに視線で指示しなくてもよい。

請求項３又は４の発明は、請求項１又は２の効果を同じ効果を奏する。

本発明の介助ロボットシステムが適用される場面の一例を説明する概要説明図である。 本発明の介助ロボットシステムの制御装置のハードウエア構成の一例を説明する概要説明図である。 本発明の介助ロボットシステムの制御装置の処理手順の一例を説明するフローチャートである。 表示部の画面に表示された要介護者と指示ボタンの一例を示す説明図である。 表示部の画面に表示された、拡大させた要介護者と指示ボタンと視線位置の一例を示す説明図である。 表示部の画面に表示された要介護者と指示ボタンと視線位置の一例を示す説明図である。 表示部の画面に表示された要介護者と指示ボタンと視線位置の一例を示す説明図である。 介助ロボットの要介護者の画像における視線位置への移動の範囲と要介護者近傍における微調整の範囲の説明図である。 一連の介助作業を動作指示したときの介助ロボットのリピート範囲の説明図である。 ベッド上に横たわっている要介護者と介助ロボットとの一例を示す概要説明図である。 ベッド上に横たわっている要介護者に介助ロボットが掻いている一例を示す概要説明図である。 介助ロボットが６軸でかつスライド手段を備えた形態の一例を示す説明図である。

本発明の介助ロボットシステム１は、手足が不自由でベッドに寝た切りにならざるを得ない要介護者８０が視線入力で介助ロボット７を動作させて自分でできる行為を拡大させられる技術である。

本発明の介助ロボットシステム１は、ベッド８１上の要介護者８０の介助動作をさせる介助ロボット７と、該要介護者８０を撮像する距離センサ付カメラ５と、該介助ロボット７又は表示部３に対する複数の指示ボタン３１を、及び、該要介護者８０を撮像するカメラ５の撮像画像を表示する表示部３と、前記表示部３を見る要介護者８０の視線３０を検出する視線検出手段４と、制御装置２とを備えた、視線入力によりベッド８１上の要介護者８０の介助をする介助ロボットシステム１であって、前記制御装置２は、前記表示部３への表示内容の制御をする表示制御部１２と、前記視線検出手段４からの視線位置情報と一致する前記表示部３の指示ボタン３１のロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者８０の意思とするか否かの判定を行う視線情報判定部１３と、演算処理部１１と、記憶部１５と、送受信部１４と、制御部１０とを備え、前記制御装置２は、前記制御部１０から前記演算処理部１１に、前記介助ロボット７の動作範囲における予め設定したロボット部位の位置情報、前記ベッド８１の全範囲の位置情報、前記距離センサ付カメラ５の設置位置情報及び測定距離情報、及び、前記表示部３の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をし、前記キャリブレーション処理により換算された換算データを前記記憶部１５に記憶させるキャリブレーションステップ２１と、前記制御部１０から前記視線検出手段４に、複数の指示ボタン３１に対する、又は、前記距離センサ付カメラ５により撮像された要介護者画像に対する、前記表示部３における視線３０の位置情報を検出させる視線検出ステップ２２と、前記制御部１０から前記送受信部１４に前記視線検出手段４からの視線３０の位置情報を受信させ、前記制御部１０から前記視線情報判定部１３に、前記検出した視線３０の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者８０の意思とするか否かの判定をさせる判定ステップ２３と、要介護者８０の意思と判定した場合に、前記視線位置が前記ロボット動作指示の場合は、前記制御部１０から前記演算処理部１１に前記介助ロボット７のアーム先端部の現在位置の三次元位置と前記ロボット動作指示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、前記視線位置が前記要介護者画像に対する視線位置情報の場合は、前記制御部１０から前記演算処理部１１に介助ロボット７のアーム先端部の現在位置の三次元位置と前記表示部３に表示された前記要介護者画像における視線３０の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップ２４と、前記制御部１０から前記演算処理部１１に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、又は、前記要介護者画像における視線３０の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を求める演算ステップと、前記制御部１０から前記送受信部１４を介して、前記ロボットアクチュエーター作動制御部６に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボット７の動作を制御する介助ロボット制御ステップ２６と、を実行する。

本発明の介助ロボットシステム１は、図１に示すように、ベッド８１上の要介護者８０の介助動作をさせる介助ロボット７と、該要介護者８０を撮像する距離センサ付カメラ５と、該介助ロボット７に対する複数の指示ボタン３１を及び該要介護者８０を撮像するカメラ５の撮像画像を表示する表示部３と、前記表示部３を見る要介護者８０の視線を検出する視線検出手段４と、制御装置２と、介助ロボット７の各アクチュエーターの作動を制御するロボットアクチュエーター作動制御部６を備えている。

また、図１又は図２に示すように、前記制御装置２と、距離センサ付カメラ５、表示部３、視線検出手段４、ロボットアクチュエーター作動制御部６とはケーブル又は無線（図示なし）でつながっており、前記ロボットアクチュエーター作動制御部６と介助ロボット７とは、ケーブル又は無線（図示なし）でつながっている。なお、電源回路は省略している。

そして、三次元座標系で相互の位置関係を演算させるために、介護ロボット６、ベッド８１及び距離センサ付カメラ５の位置関係は一定となるように固定させる。

また、本発明の介助ロボットシステム１は、図２に示すように、制御装置２は、制御部１０、演算処理部１１、表示制御部１２、視線情報判定部１３、記憶部１５、送受信部１４を有している。前記制御部１０は、演算処理部１１、表示制御部１２、視線情報判定部１３、記憶部１５、送受信部１４を制御する機能を有する。

前記距離センサ付カメラ５は、例えば図１に示すように、前記距離センサ付カメラ５の視野５ａに要介護者８０の全体を撮像可能とする位置に固定される。そして要介護者８０との距離を測定し測定結果は送受信部１４を介して前記制御装置２に送信される。

前記視線検出手段４は、視線検出ステップ２２における視線検出機能を果たす手段であり、近赤外線光源とカメラを備えかつ視線位置を検出可能な機器であり、例えばアイトラッカー（例えばＴｏｂｉｉ社製）がある。

前記ロボットアクチュエーター作動制御部６は、制御装置２からの介助ロボット作動指示情報を受けて、介助ロボット７に係る各アクチュエーターを作動させる。なお、例えば図１２に示すように、ベッド８１に平行に設置したスライド機構に設置した６軸ロボットの場合は、アクチュエーターに該当する該スライド機構及び介助ロボット７の６軸の作動を制御する。

前記表示制御部１２は、図４〜図７に示すように、例えばパソコンの画面等の表示部３に、距離センサ付カメラ５で撮像する要介護者画像３２及び指示ボタン３１を表示させる。そして、前記表示制御部１２は、表示部３に表示する指示ボタン３１を、表示部３に表示された「次ページ」のボタンに注視又は瞬きすることにより指示ボタンの種類を変えて表示することができる。

前記表示制御部１２は、表示部３の表示内容を変えることができる。例えば、図４に示すように指示ボタン３１として上下左右方向それぞれの矢印を表示したり、図６や図７に示すように、指示ボタン３１の「Ａ〜Ｈ」には、例えば「叩く、掻く、さする、食事支援、布団をかける、布団をはぐ、右向きに体位を変える、左向きに体位を変える、速く、遅く、ゆっくり」などのロボットに動作させたい介助動作・介助作業や、「画面の拡大、画面の移動」などの表示部３に表示するレイアウト等を変える表示内容に任意に変えることができる。また、１つの画面に表示する指示ボタン３１の表示数を任意に変えることもできる。また、表示部３に画像のみ表示したり、文字のみを表示したり、画像及び文字を表示する制御もできる。

そして、前記表示制御部１２は、表示部３に表示する要介護者画像３２を、例えば図４に示すような要介護者画像３２を図５に示すように拡大させることもできる。拡大させることにより、視線３０の位置を、介助ロボット７のアーム先端部又はハンド６５をもっていきたい要介護者８０の身体の部位にフィットさせることができる。

次に、視線情報判定部１３は、判定ステップ２３における要介護者８０の意思か否かの判定をする機能を果たし、前記視線検出手段４からの視線位置情報と一致する前記表示部３の指示ボタン３１のロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者の意思とするか否かの判定を行う。

要介護者８０の視線によって介助ロボット７への動作指示を出すことにしているため、要介護者８０の意思を明確にする必要があり、このため、視線３０が所定の時間以上同じ位置にある場合、又は、瞬きを所定の回数以上した場合に要介護者８０の意思があるとする。例えば、同じ位置に視線が留まっている時間として０．５秒を閾値と設定し、０．５秒以上測定されたら要介護者の意思として扱い、又は、同じ位置で視線が留まっていて瞬き２回を閾値と設定し、２回以上カウントされたら要介護者の意思として扱う。前記閾値は、要介護者意思確認閾値データとして記憶部１５に記憶する。

次に、演算処理部１１は、換算ステップ２４における同一の三次元座標系の三次元座標データに換算をする機能を果たし、演算ステップにおける各ロボットアクチュエーターの作動順、作動方向と作動量を演算する機能を果たす。

次に、送受信部１４は、表示部３、視線検出手段４、距離センサ付カメラ５及びロボットアクチュエーター作動制御部６と制御装置２との間の情報の送受信を行う。

次に、記憶部１５は、視線情報判定部１３が使用する閾値、演算処理部１１が使用する種々のデータが記憶されている。

まず、キャリブレーション換算データについて説明する。本発明の介護ロボットシステム１は、ベッド８１に寝た切りの要介護者８０の視線入力で介助ロボット７を動作させ介助作業をさせるシステムである。そのため、位置に係る構成要素である介助ロボット７の位置、ベッド８１の位置、距離センサ付カメラ５の位置及び表示部３の画面の座標位置の位置関係が同一の三次元座標系で把握できることが不可欠である。そのための同一の三次元座標系として、前記表示部３の二次元の座標系を基にした一つの三次元座標系ですべての位置を表すようにキャリブレーションする。

三次元座標系と、ベッド８１位置の寸法、介助ロボット７の位置の寸法、距離センサ付カメラ５の位置と測定された距離寸法、及び、表示部３の画面の二次元座標間の位置関係を一致させるように、前記キャリブレーションして換算するための計算式をキャリブレーション換算式として記憶部１５に記憶する。

ベッド８１及び距離センサ付カメラ５は固定されており三次元座標系における座標位置は変わらない。よって、ベッド８１と、距離センサ付カメラ５の測定距離と、表示部３の二次元座標との位置関係を一つの三次元座標系で捉えることができる。

次に、動作する介助ロボット７の特定位置、例えばアーム先端の位置の三次元座標系における位置は移動するが以下のように把握する。前記介助ロボット７の位置については、介助ロボット７の動作に係るアクチュエーターすべてについて、例えばアクチュエーターがモーターの場合はモーター回転数と、そのモーターにより動く介助ロボットの部位の移動方向及び移動距離との関係を求め、すべてのアクチュエーターについてモーター回転数と、そのモーターにより動く介助ロボットの部位の移動方向及び移動距離の関係を演算して求めていき、かつ、介護ロボット７の全アクチュエーター７が原点位置のときの三次元座標を基準点として、介護ロボット７の予め設定した特定の部位、例えばアーム先端の位置を演算して求める。すなわち、介護ロボット７に係るアクチュエーターそれぞれのモーターがどのくらい回転するとそのモーターが動かす介護ロボット７の部位の移動方向及び移動距離が演算で求められるので、介護ロボット７の特定の部位、例えばアーム先端の位置を三次元座標系で演算して求めることができる。

前記介護ロボット７のすべてのアクチュエーターが原点となる位置を三次元座標系における介護ロボット７の基準点座標として、介助ロボット７のどのアクチュエーターのモーターをどのくらい回転させれば、前記特定された部位、例えばアーム先端の位置は三次元座標系でどの座標になるかを演算できる計算式を介助ロボット特定位置把握演算式５４として記憶部１５に記憶する。

また、前記介護ロボット７のすべてのアクチュエーターの動作の優先順序を予め設定する。これは複数のアクチュエーターを同時に動作させると、軌跡によってはベッド８１や要介護者８０に衝突する危険もあることから、アクチュエーターの作動順序を予め定めておく。この作動の順序を定めたアクチュエーター優先順序データ５３を記憶部１５に記憶させる。

例えば、図１２に示すようにスライド手段付６軸の介助ロボット７の場合では、優先順序の１事例として、まずスライド手段６１を作動させ、次に主軸６２の回転を作動させて傾斜動させ、次にアーム６３を傾斜動させて回転させ、次に手首６４の回転をさせて傾斜動をさせる。最後にハンドの各指を作動させる。なお、アクチュエーターの作動順序は介助ロボット７の使用環境に応じて任意に設定する。

また、指示ボタン３１の一つ一つの動作指示に対して、一回当たりの動作範囲を予め設定しておく。この設定データを動作指示ボタン１回当り移動方向及び移動量データ５５として記憶部１５に記憶する。

なお、介助ロボット７を要介護者８０に近づけるため、安全対策として、介助ロボット７の要介護者８０に近接する部位、例えばアーム先端や手首に距離センサ（図示なし）を取付け、該距離センサが検知すると介助ロボット７は急停止する制御をする。

次に、図３に示す本発明の介助ロボットシステム１の制御装置２の処理手順の一例を記載したフローチャートについて説明する。

まず、キャリブレーションステップ２１について説明する。一つの三次元座標系ですべての位置を表すように換算するステップである。対象は、位置に係る情報を必要とする構成要素すべてであり、介助ロボット７の予め設定した特定された部位の位置情報、前記ベッド８１の全範囲の位置情報、前記距離センサ付カメラ５の設置位置情報及び測定距離情報、及び、前記表示部３の画面上の要介護者８０の撮像に係る座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をし、前記キャリブレーション処理により求められたキャリブレーション換算式５１を記憶部１５に記憶させる。

前記キャリブレーションにより、同一の三次元座標系で関係するすべての対象物の位置情報を表すことができるので、表示部３の要介護者８０の撮像に対する視線位置と、介助ロボット７の特定の部位、例えばアーム先端の位置とを、同一の三次元座標系で把握することができる。なお、前記特定の部位としては、例えばアーム先端の１か所、アームの先端と後端の２か所など、任意の部位を任意の数について特定することができる。

次に、視線検出ステップ２２である。制御部１０からの指示に基づいて、前記視線検出手段４に、複数の指示ボタン３１に対する、又は、前記距離センサ付カメラ５により撮像された要介護者画像に対する、前記表示部３における視線の位置情報を検出させる。

視線位置情報は、表示部３の画面に表示された指示ボタン３１の、例えば図４や図５に示す矢印３３ａ、３３ｂ、３３ｃ又は３３ｄのうちのどれに視線３０があるか、あるいは、図６や図７に示す文字列３１ａ、３１ｂ、３１ｃ又は３１ｄのうちのどれに視線３０があるかを検出する情報であり、あるいは、表示部３の画面に表示された要介護者８０の撮像のどの部位に視線３０があるかを検出する情報である。

前記位置情報は、制御部１０からの指示に基づき、演算処理部１１により記憶部１５のキャリブレーション換算式５１を使用して一つの三次元座標系の座標に換算される。

次に、判定ステップ２３である。該判定ステップ２３では、制御部１０からの指示に基づいて、送受信部１４に前記視線検出手段４からの視線３０の位置情報を受信させ、前記視線情報判定部１３に、前記検出した視線３０の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者８０の意思とするか否かの判定をさせるステップである。前記閾値は、記憶部１５に記憶されている要介護者意思確認閾値５２を使用する。

前記閾値は任意に設定することができ、前記視線検出手段４からの位置情報が同一個所での検出が継続している時間を注視時間とし、前記視線検出手段４からの位置情報が同一個所で検出と切断を繰り返したときを瞬きしたとしてカウントする。例えば注視時間の場合は０．５秒、瞬き回数の場合は２回と設定したときは、注視時間０．５秒以上で、又は、瞬き２回以上で要介護者８０の意思があると判定する。

次に、換算ステップ２４である。該換算ステップ２４では、制御部１０からの指示に基づいて、前記演算処理部１１に前記介助ロボット７のアーム先端部の現在位置の三次元位置と、前記ロボット動作指示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、前記要介護者画像に対する視線位置情報の場合は前記演算処理部１１に介助ロボット７のアーム先端部の現在位置の三次元位置と、前記表示部３に表示された前記要介護者画像における視線３０の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させるステップである。

前記介助ロボット７のアーム先端部の現在位置は、記憶部１５に記憶されている介助ロボット特定位置把握演算式５４を使用した演算により把握でき、前記ロボット動作指示された移動方向及び移動量は、記憶部１５に記憶されているアクチュエーターごとに設定した、指示ボタン１回当り移動方向及び移動量データ５５により把握できる。いずれの位置もキャリブレーション換算式５１を使用して同一の三次元座標系で把握する。

前記表示部３に表示された前記要介護者画像における視線３０の位置は、表示部３の画像の二次元座標の視線３０の位置と距離センサ付カメラ５からの測定距離情報とから三次元座標系で演算して求める。なお、距離センサ付カメラ５の測定距離は、表示部３の画面の座標別に測定距離を測定することができ、視線３０に該当する部位に対する距離を得ることができる。

次に、ロボットアクチュエーター作動指示情報演算ステップ２５である。該ロボットアクチュエーター作動指示情報演算ステップ２５は、制御部１０からの指示に基づいて、演算処理部１１に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、又は、前記要介護者画像における視線の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を求めるステップである。

演算処理部１１は、記憶部１５に記憶させた介助ロボット特定位置把握演算式５４を使用して、アーム先端部が現在位置の三次元座標位置から前記ロボット動作指示された移動方向及び移動量の位置の三次元座標位置に到達させる、又は、アーム先端部が現在位置の三次元座標位置から前記要介護者画像における視線の位置の三次元座標位置に到達させるために、介助ロボット７のどのアクチュエーターのモーターをどのくらい回転させれば、前記特定された部位、例えばアーム先端の位置が三次元座標系で前記ロボット動作指示された移動方向及び移動量の位置に到達できるか、又は、前記要介護者画像における視線の位置に到達できるかという演算をする。その結果得られた介助ロボット７のどのアクチュエーターのモーターをどういう作動順序で、それぞれのモーターをどのくらい回転させれば到達できるというロボットアクチュエーター作動指示情報を得る。なお、このロボットアクチュエーター作動指示情報を得るための演算には、記憶部１５に記憶させているアクチュエーター優先順序データ５３も加味して演算する。

次に、介助ロボット制御ステップ２６である。該介助ロボット制御ステップ２６は、前記制御部１０から前記送受信部１４を介して、前記ロボットアクチュエーター作動制御部６に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボット７の動作を制御する介助ロボット制御ステップである。

また、図３に示すように、記憶部１５に介助作業別ロボットアクチュエーター作動指示情報５６を記憶する記憶ステップ２７を有している。この記憶ステップ２８では、ロボットアクチュエーター作動指示情報演算ステップ２５で得たロボットアクチュエーター作動指示情報を、ロボットアクチュエーター作動制御部６に送信すると同時に記憶部１５に記憶させる。そして、介助作業別のロボットアクチュエーター作動指示情報５６を記憶部１５に蓄積する。なお、前記記憶ステップ２７は、表示部３に設定画面を表示させ、指示ボタンの「記憶」を設定すればよく、設定しない場合は記憶ステップ２７は実行されない。

次に、介助ロボットシステム１の使用例について説明する。介助ロボット７を視線３０で要介護者の身体に接触させ介護作業をさせるために、第一段階で、図８に示すように、要介護者画像の視線３０の部位に介護ロボット７のアーム先端部を移動させる。この段階では安全面を考慮して要介護者から離れた空間、例えば要介護者７の上方向又は横方向で数ｃｍ〜約１０ｃｍの位置に移動させる。そして、第二段階で、要介護者の身体に接近した図８に示すような微調整範囲５０に対して、視線が注視している指示ボタン３１の動作を微調整動作として介護ロボット７に実施させる。この微調整により介助ロボット７を要介護者８０に接触させて介護作業をさせる。

第一段階では、表示部３の要介護者画像に対する注視位置で介護ロボット７に動作指示する。要介護者画像の視線３０の部位に介護ロボット７のアーム先端部を移動させる場合は、例えば、図４に示すように表示部３の要介護者画像の肩に視線３０を合わせ注視したときに、さらに図５に示すように視線３０の位置周辺を拡大させることができる。

前記拡大はしてもしなくてもよく、拡大させたい場合には、表示部３に設定画面を表示させ、指示ボタンの「拡大」を設定すればよい。「拡大」を設定すると、表示部３に表示された要介護者８０の撮像を注視すると、所定の閾値以上に達したら表示画面が拡大され、要介護者８０はより細かく部位を指定させることができる。

第一段階の視線入力による介助ロボット制御について説明する。視線検出ステップ２２では表示部３の要介護者画像の介護対象部位を注視する。そして判定ステップ２３で注視した要介護者画像の部位を特定する。そして、換算ステップ２３で、介助ロボット７のアーム先端部の現在位置の三次元位置と、前記表示部３に表示された前記要介護者画像における特定した位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる。そして、演算ステップ２５で、介護ロボット７のアーム先端部を現在位置から前記要介護者画像における視線が指示した特定の位置に到達させるための、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を求める。そして、介助ロボット制御ステップ２６で前記ロボットアクチュエーター作動指示情報に従った動作を介助ロボット７に実行させる。これにより、視線入力した要介護者画像の位置と同じ要介護者の近傍の位置に一気に介護ロボット７のアーム先端部を移動させることができる。

第一段階の介助ロボット７のアーム先端部の移動の軌跡を簡単に説明すると、図８又は図９に示すように、介助ロボット７のアーム先端の部位を、現在位置の三次元座標位置ａから、三次元座標位置ｂ、三次元座標位置ｃ、三次元座標位置ｄ、三次元座標位置ｅ、三次元座標位置ｆ、三次元座標位置ｇなる軌跡を描いて、視線３０ａの近傍の三次元座標位置ｇに移動させることが、画像に対する視線入力のみで一気にできる。なお、現在位置から一本の直線的な軌跡ではなく折れ曲がった軌跡になっているのはアクチュエーター優先順序データ５３も加味して演算しているからである。

そして、微調整をする第二段階は、図８に示すように、三次元座標位置ｇから要介護者８０の身体側の微調整範囲５０における介助ロボット７の動作を視線３０で指示する。この指示は指示ボタン３１の、図５に示すような上下左右方向の矢印に視線３０を合わせたり、図６に示すような、例えば「ハンドの指を前後させる」や「ゆっくり」等の指示ボタン３１に順に注視する。

第二段階の視線入力による介助ロボット制御について説明する。視線検出ステップ２２では表示部３の指示ボタン３１の中から介助ロボット７に動作させたい指示が表示された指示ボタン３１を注視する。介助ロボット７のアーム先端部にはハンドの指も含まれるので、細かく動作指示を出すことができる。そして判定ステップ２３で注視した介助ロボット７への指示内容を特定する。そして、換算ステップ２３で、前記介助ロボット７のアーム先端部の現在位置の三次元位置と、前記ロボット動作指示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させる。そして、演算ステップ２５で、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を求める。そして、介助ロボット制御ステップ２６で前記ロボットアクチュエーター作動指示情報に従った動作を介助ロボット７に実行させる。これにより、視線入力した介助ロボット７に対する動作指示を介助ロボット７のハンドの指レベルで細かく動作させることができる。

微調整をする第二段階で、「叩く、掻く、さする、食事支援、布団をかける、布団をはぐ、右向きに体位を変える、左向きに体位を変える、速く、遅く、ゆっくり」等の介助動作又は介助作業を指示する。そのため、介助ロボット７にハンドの指レベルの動きの制御を可能としている。

以上により、第一段階の介助ロボット７の動作と第二段階の介助ロボット７の動作の一連の動作により、一つの介助作業が実施される。

次に、介助ロボット７に介助作業をさせた内容を記憶部１５に記憶させた場合には、要介護者８０が表示部３に表示された例えば「〇〇介助作業再現」（図示なし）に視線３０を合わせると、記憶部１５に記憶された〇〇介助作業を再現させることができる。〇〇介助作業を再現させるときの視線入力による介助ロボット制御について説明する。

再現させる場合の介助ロボットシステム１は、キャリブレーションステップ２１、視線検出ステップ２２、判定ステップ２３、介助ロボット制御ステップ２６における制御装置２の制御は同じであるが、換算ステップ２４と演算ステップ２５に介助作業別ロボットアクチュエーター作動指示情報を加味した制御を実施する点が前記第一段階及び第二段階の介助ロボットシステム１と異なる点である。前記介助作業別ロボットアクチュエーター作動指示情報は、すでに実施した介助作業における介助ロボット７の各アクチュエーターの作動順、作動方向と作動量の記憶データである。

再現させる場合の前記介助ロボットシステム１は、前記制御装置２は、前記制御部１０から前記演算処理部１１に、前記ロボットアクチュエーター作動指示情報を基に介助作業別ロボットアクチュエーター作動指示情報を演算させて前記記憶部１５に記憶させる記憶ステップ２７を実行した後に、前記判定ステップ２３において、〇〇介助作業再現が表示された指示ボタン３１に対する視線３０の位置情報が要介護者８０の意思であると判定されたときには、前記換算ステップ２４において、前記制御部１０から前記演算処理部１１に、介助ロボット７のアーム先端部の現在位置の三次元位置と、前記記憶部１５に記憶させた介助作業の開始基準点となる三次元座標位置とを同一の三次元座標系の三次元座標データに換算させ、次にロボットアクチュエーター作動指示情報を求めるための演算をさせる演算ステップ２５において、前記制御部１０から前記演算処理部１１に、前記アーム先端部を現在位置から前記記憶させた介助作業の開始基準点となる三次元座標位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させた先頭側のロボットアクチュエーター作動指示情報と、前記介助作業の開始基準点となる三次元座標位置からの後継側の〇〇介助作業の前記介助作業別ロボットアクチュエーター作動指示情報とを連続させて一連のロボットアクチュエーター作動指示情報とさせることを実行する。

すなわち、第一段階及び第二段階の介助ロボット７の動作によって、介助作業、例えば右向きへの体位変換、食事支援又は肩叩きという介助作業を実施させるときに、介助ロボット７を動作させた指示であるロボットアクチュエーター作動指示情報を記憶部１５に、介助作業別ロボットアクチュエーター作動指示情報５６として記憶させておき、要介護者８０が表示部３の指示ボタン３１の介助作業、例えば肩叩きに視線３０を合わせると、制御部１０の指示に基づいて記憶部１５から介助作業別ロボットアクチュエーター作動指示情報５６がロボットアクチュエーター作動制御部６に送信され、ロボットアクチュエーター作動制御部６によって介助ロボット７が、図１１に示すように、一連の介助作業をする。

このときに、介助ロボット７の特定の部位、例えばアーム先端の位置が必ずしも図８や図１０に示す三次元座標位置ａにあるとは限らないので、例えば三次元座標位置ｈにある場合もある。このため、記憶ステップ２８における記憶スタート点を、介助ロボット７が待機状態のときに入らない領域、例えばベッド８１の上方の三次元座標位置ｃとすることもできる。

これにより、介助ロボット７の特定の部位、例えばアーム先端の位置が三次元座標位置ｈから三次元座標位置ｃまでの経路は、制御部１０に基づき、演算処理部１１が、記憶部１５に記憶させた介助ロボット特定位置把握演算式５４を使用して、アーム先端部が現在位置の三次元座標位置ｈから三次元座標位置ｃに到達させるために、介助ロボット７のどのアクチュエーターのモーターを、どの順序でどのくらい回転させれば到達できるかという演算をし、その結果得られた介助ロボット７のどのアクチュエーターのモーターをどういう作動順序で、それぞれのモーターをどのくらい回転させれば到達できるというロボットアクチュエーター作動指示情報が得られる。なお、このロボットアクチュエーター作動指示情報の演算には、記憶部１５に記憶させているアクチュエーター優先順序データ５３も加味して演算する。

そして、制御部１０に基づき、演算処理部１１が、三次元座標位置ｈから三次元座標位置ｃまでの先頭側のロボットアクチュエーター作動指示情報と、記憶部１５に記憶させた三次元座標位置ｃから後継側の介助作業別ロボットアクチュエーター作動指示情報５６とを連続させて一連のロボットアクチュエーター作動指示情報として、送受信部１４を介してロボットアクチュエーター作動制御部に送信し、前記ロボットアクチュエーター作動制御部がロボットアクチュエーター作動指示情報に基づいて介助ロボット７を動作させ介助作業をさせる。

次に、介助ロボット用プログラム２０について説明する。前記介助ロボット用プログラム２０は、ベッド８１上の要介護者８０の介助動作をさせる介助ロボット７の動作をコンピュータに制御させるための介助ロボット用プログラムであって、ベッド８１上の要介護者８０の介助動作をさせる介助ロボット７と、該要介護者８０を撮像する距離センサ付カメラ５と、該介助ロボット７又は表示部３に対する複数の指示ボタン３１を、及び、該要介護者８０を撮像するカメラ５の撮像画像を表示する表示部３と、前記表示部３を見る要介護者８０の視線を検出する視線検出手段４と、制御装置２とを備え、前記制御装置２は、前記表示部３への表示内容の制御をする表示制御部１２と、前記視線検出手段４からの視線位置情報と一致する前記表示部３の指示ボタン３１のロボット動作指示情報を、又は、前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者８０の意思とするか否かの判定を行う視線情報判定部１３と、演算処理部１１と、記憶部１５と、送受信部１４と、制御部１０とを備え、前記コンピュータに、前記制御部１０から前記演算処理部１１に、前記介助ロボット７の動作範囲における予め設定したロボット部位の位置情報、前記ベッド８１の全範囲の位置情報、前記距離センサ付カメラ５の設置位置情報及び測定距離情報、及び、前記表示部３の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をさせ、前記キャリブレーション処理により換算された換算データを前記記憶部１５に記憶させるキャリブレーションステップ２１と、前記制御部１０から視線検出手段４に、複数の指示ボタン３１に対する、又は、距離センサ付カメラ５により撮像された要介護者画像に対する、表示部３における視線３０の位置情報を検出させる視線検出ステップ２２と、送受信部１４に前記視線検出手段４からの視線３０の位置情報を受信させ、視線情報判定部１３に、検出した視線３０の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者８０の意思とするか否かの判定をさせる判定ステップ２３と、要介護者８０の意思と判定した場合に、視線位置が指示ボタン３１の場合は前記制御部１０から前記演算処理部１１に、前記介助ロボット７のアーム先端部の現在位置の三次元位置と前記指示ボタン３１に表示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、視線位置が要介護者画像に対する視線位置情報の場合は前記制御部１０から前記演算処理部１１に、介助ロボットのアーム先端部の現在位置の三次元位置と表示部３に表示された要介護者画像における視線３０の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップ２４と、前記制御部１０から前記演算処理部１１に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、又は、前記要介護者画像における視線３０の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を演算させる演算ステップ２５と、前記制御部１０から前記送受信部１４を介して、前記ロボットアクチュエーター作動制御部６に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボット７の動作を制御する介助ロボット制御ステップ２６と、を実行させる。

次に、コンピュータ読取り可能な記憶媒体は、前記介助ロボット用プログラムを記憶する記憶媒体である。

１ 介助ロボットシステム
２ 制御装置
３ 表示部
４ 視線検出手段
５ 距離センサ付カメラ
５ａ 視野
６ ロボットアクチュエーター作動制御部
７ 介助ロボット
１０ 制御部
１１ 演算処理部
１２ 表示制御部
１３ 視線情報判定部
１４ ロボット動作制御部
１５ 記憶部
１６ 送受信部
２０ プログラム
２１ キャリブレーションステップ
２２ 視線検出ステップ
２３ 判定ステップ
２４ 換算ステップ
２５ 演算ステップ
２６ 介助ロボット制御ステップ
２７ 記憶ステップ
３１ 指示ボタン
３２ 要介護者画像
３３ 矢印
５０ 微調整範囲
５１ キャリブレーション換算式
５２ 要介護者意思確認閾値
５３ アクチュエーター優先順序データ
５４ 介助ロボット特定位置把握演算式
５５ 指示ボタン１回当り移動方向及び移動量データ
５６ 介助作業別ロボットアクチュエーター作動指示情報
６１ スライド手段
６２ 主軸
６３ アーム
６４ 手首
６５ ハンド
６６ 指
８０ 要介護者
８１ ベッド

Claims (4)

1. ベッド上の要介護者の介助動作をさせる介助ロボットと、該要介護者を撮像する距離センサ付カメラと、該介助ロボット又は表示部に対する複数の指示ボタンを、及び、該要介護者を撮像するカメラの撮像画像を表示する表示部と、前記表示部を見る要介護者の視線を検出する視線検出手段と、制御装置とを備えた、視線入力によりベッド上の要介護者の介助をする介助ロボットシステムであって、
   前記制御装置は、前記表示部への表示内容の制御をする表示制御部と、前記視線検出手段からの視線位置情報と一致する前記表示部の指示ボタンのロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者の意思とするか否かの判定を行う視線情報判定部と、演算処理部と、記憶部と、送受信部と、制御部とを備え、
   前記制御装置は、
   前記制御部から前記演算処理部に、前記介助ロボットの動作範囲における予め設定したロボット部位の位置情報、前記ベッドの全範囲の位置情報、前記距離センサ付カメラの設置位置情報及び測定距離情報、及び、前記表示部の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をし、前記キャリブレーション処理により換算された換算データを前記記憶部に記憶させるキャリブレーションステップと、
   前記制御部から前記視線検出手段に、複数の指示ボタンに対する、又は、前記距離センサ付カメラにより撮像された要介護者画像に対する、前記表示部における視線の位置情報を検出させる視線検出ステップと、
   前記制御部から前記送受信部に前記視線検出手段からの視線の位置情報を受信させ、前記制御部から前記視線情報判定部に、前記検出した視線の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者の意思とするか否かの判定をさせる判定ステップと、
   要介護者の意思と判定した場合に、前記視線位置が前記ロボット動作指示の場合は、前記制御部から前記演算処理部に前記介助ロボットのアーム先端部の現在位置の三次元位置と前記ロボット動作指示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、前記視線位置が前記要介護者画像に対する視線位置情報の場合は、前記制御部から前記演算処理部に介助ロボットのアーム先端部の現在位置の三次元位置と前記表示部に表示された前記要介護者画像における視線の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップと、
   前記制御部から前記演算処理部に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置に到達させる、又は、前記要介護者画像における視線の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を演算させる演算ステップと、
   前記制御部から前記送受信部を介して、前記ロボットアクチュエーター作動制御部に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボットの動作を制御する介助ロボット制御ステップと、を実行することを特徴とする介助ロボットシステム。
2. 前記制御装置は、
   前記制御部から前記演算処理部に、前記ロボットアクチュエーター作動指示情報を基に介助作業別ロボットアクチュエーター作動指示情報を演算させて前記記憶部に記憶させる記憶ステップを実行した後に、前記判定ステップにおいて、介助作業再現が表示された指示ボタンに対する視線の位置情報が要介護者の意思であると判定されたときには、
   前記換算ステップにおいて、前記制御部から前記演算処理部に、介助ロボットのアーム先端部の現在位置の三次元位置と、前記記憶部に記憶させた介助作業の開始基準点となる三次元座標位置とを同一の三次元座標系の三次元座標データに換算させ、
   次に前記ロボットアクチュエーター作動指示情報を求めるための演算ステップにおいて、前記制御部から前記演算処理部に、前記アーム先端部を現在位置から前記記憶させた介助作業の開始基準点となる三次元座標位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させた先頭側のロボットアクチュエーター作動指示情報と、前記介助作業の開始基準点となる三次元座標位置からの後継側の前記介助作業別ロボットアクチュエーター作動指示情報とを連続させて一連のロボットアクチュエーター作動指示情報とさせることを実行することを特徴とする請求項１に記載の介助ロボットシステム。
3. ベッド上の要介護者の介助動作をさせる介助ロボットの動作をコンピュータに制御させるための介助ロボット用プログラムであって、
   ベッド上の要介護者の介助動作をさせる介助ロボットと、該要介護者を撮像する距離センサ付カメラと、該介助ロボット又は表示部に対する複数の指示ボタンを及び該要介護者を撮像するカメラの撮像画像を表示する表示部と、前記表示部を見る要介護者の視線を検出する視線検出手段と、制御装置とを備え、
   前記制御装置は、前記表示部への表示内容の制御をする表示制御部と、前記視線検出手段からの視線位置情報と一致する前記表示部の指示ボタンのロボット動作指示情報を又は前記カメラ撮像画像における要介護者画像上の位置情報を、所定の閾値により要介護者の意思とするか否かの判定を行う視線情報判定部と、演算処理部と、記憶部と、送受信部と、制御部とを備え、
   前記コンピュータに、
   前記制御部から前記演算処理部に、
   前記介助ロボットの動作範囲における予め設定したロボット部位の位置情報、前記ベッドの全範囲の位置情報、前記距離センサ付カメラの設置位置情報及び測定距離情報、及び、前記表示部の画面上の座標位置情報を同一の三次元座標系に換算するキャリブレーション処理をさせ、前記キャリブレーション処理により換算された換算データを前記記憶部に記憶させるキャリブレーションステップと、
   前記制御部から視線検出手段に、複数の指示ボタンに対する、又は、距離センサ付カメラにより撮像された要介護者画像に対する、表示部における視線の位置情報を検出させる視線検出ステップと、
   送受信部に前記視線検出手段からの視線の位置情報を受信させ、視線情報判定部に、検出した視線の位置情報を、注視時間又は瞬き回数の所定の閾値により要介護者の意思とするか否かの判定をさせる判定ステップと、
   要介護者の意思と判定した場合に、視線位置が指示ボタンの場合は前記制御部から前記演算処理部に、前記介助ロボットのアーム先端部の現在位置の三次元位置と前記指示ボタンに表示された移動方向及び移動量とを同一の三次元座標系の三次元座標データに換算させ、又は、視線位置が要介護者画像に対する視線位置情報の場合は前記制御部から前記演算処理部に、介助ロボットのアーム先端部の現在位置の三次元位置と表示部に表示された要介護者画像における視線の位置の三次元座標位置とを同一の三次元座標系の三次元座標データに換算させる換算ステップと、
   前記制御部から前記演算処理部に、前記換算した同一の三次元座標系の三次元座標データに基づいて、前記アーム先端部が現在位置から前記ロボット動作指示された移動方向及び移動量の位置又は前記要介護者画像における視線の位置に到達させる、各ロボットアクチュエーターの作動順、作動方向と作動量を演算させて、ロボットアクチュエーター作動指示情報を演算させる演算ステップと、
   前記制御部から前記送受信部を介して、前記ロボットアクチュエーター作動制御部に、前記ロボットアクチュエーター作動指示情報を送信し、前記介助ロボットの動作を制御する介助ロボット制御ステップと、を実行させることを特徴とする介助ロボット用プログラム。
4. 請求項３に記載の介助ロボット用プログラムを記憶することを特徴とするコンピュータ読取り可能な記憶媒体。

Images