以下、実施形態の保持装置、ハンドリング装置、および検出装置を、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。また、本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(第1の実施形態)
図1から図10を参照して、第1の実施形態について説明する。図1は、第1の実施形態のハンドリング装置1を示す斜視図である。「ハンドリング装置」とは、物品(物体、移動対象物)Pを移動させる装置を広く意味する。
ハンドリング装置1の一例は、自動荷下ろし装置や、ピッキング装置などである。本実施形態では、ハンドリング装置1は、第1領域T1に存在する物品Pを取り出し、取り出した物品Pを第2領域T2に移動させる。第1領域T1には、例えば、物品Pが載せられたトレイ(パレット)や台車、またはベルトコンベアなどが配置される。第1領域T1には、例えば、大きさおよび形状が異なる複数の物品Pが不規則に置かれ得る。ただし、第1領域T1には、同じ物品Pが規則的に置かれてもよい。第2領域T2には、例えば、別のトレイや台車、またはベルトコンベアなどが配置される。
ハンドリング装置1が取り扱う物品Pは、梱包された荷物に限定されず、製造ラインにおける部品などでもよい。本実施形態のハンドリング装置1は、物流の自動投入装置や工場の物品供給装置などにも広く適用可能である。ハンドリング装置1は、「荷役装置」または「ロボット装置」などと称されてもよい。
ここで、説明の便宜上、+X方向、−X方向、+Y方向、−Y方向、+Z方向、および−Z方向について定義する。+X方向、−X方向、+Y方向、および−Y方向は、例えば、略水平面に沿う方向である。−X方向は、+X方向とは反対方向である。+X方向と−X方向とを区別しない場合は、単に「X方向」と称する。+Y方向および−Y方向は、X方向とは交差する(例えば略直交する)方向である。−Y方向は、+Y方向とは反対方向である。+Y方向と−Y方向とを区別しない場合は、単に「Y方向」と称する。+Z方向および−Z方向は、X方向およびY方向とは交差する(例えば略直交する)方向であり、例えば鉛直方向である。−Z方向は、+Z方向とは反対方向である。+Z方向と−Z方向とを区別しない場合は、単に「Z方向」と称する。
図1に示すように、ハンドリング装置1は、例えば、フレーム11、移動機構12、保持装置13、画像センサ14、積載センサ15、および制御部16を備えている。
フレーム11は、例えば床面に設置される。フレーム11は、複数の支柱21と、2本の支持部材22と、2本のガイド23とを含む。複数の支柱21は、それぞれZ方向に延びている。2本の支持部材22は、複数の支柱21によって支持され、それぞれY方向に延びている。2本のガイド23は、複数の支柱21によって支持され、それぞれX方向に延びている。
移動機構12は、例えば、多関節アームである。本実施形態では、移動機構12は、第1アーム部材12a、第2アーム部材12b、第3アーム部材12c、およびこれらを駆動する図示しない複数のモータを含む。第1アーム部材12aは、ガイド23によって支持され、+X方向および−X方向に移動可能である。第2アーム部材12bは、第1アーム部材12aによって支持され、+Y方向および−Y方向に移動可能である。第3アーム部材12cは、第2アーム部材12bによって支持され、+Z方向および−Z方向に移動可能である。すなわち、第1アーム部材12a、第2アーム部材12b、および第3アーム部材12cは、3軸の直交アームを形成しており、保持装置13をX方向、Y方向、Z方向の所望の位置に移動させる。なお、移動機構12は、3軸の直交アームに限定されず、複数の回転軸を有して保持装置13を移動させる多関節アーム、またはその他の機構でもよい。
保持装置13は、ハンドリング装置1が物品Pを移動させる場合に、物品Pを保持するホルダである。保持装置13は、例えば、第3アーム部材12cの下端部に取り付けられている。なお、保持装置13については、詳しく後述する。
画像センサ14は、物品P、および物品Pを移動させるハンドリング環境(第1領域T1および第2領域T2を含む)の画像データを取得する。例えば、画像センサ14は、物品Pおよびハンドリング環境を上方から撮影するカメラである。画像センサ14は、第3アーム部材12cの上端部に取り付けられてもよく、第1アーム部材12a、第2アーム部材12b、またはフレーム11などに取り付けられてもよい。画像センサ14は、通常の光学式カメラでもよく、赤外線式カメラでもよい。画像センサ14の検出結果は、制御部16に出力される。
積載センサ15は、第1領域T1および第2領域T2のうち少なくとも一方における物品Pの積載量を取得する。例えば、積載センサ15は、第1重量検出部15aと、第2重量検出部15bとを有する。第1重量検出部15aは、第1領域T1に配置され、第1領域T1に存在する物品Pの重量を検出する。第2重量検出部15bは、第2領域T2に配置され、第2領域T2に存在する物品Pの重量を検出する。積載センサ15の検出結果は、制御部16に出力される。
制御部16は、ハンドリング装置1の全体を制御する。例えば、制御部16は、画像センサ14の検出結果Dに基づき、物品Pを認識する。制御部16は、保持装置13を制御することで、保持装置13によって物品Pを保持する。制御部16は、移動機構12を制御することで、物品Pを保持した保持装置13を所望の位置に移動させる。制御部16は、積載センサ15の検出結果に基づき、第1領域T1または第2領域T2に対する物品Pの持ち上げおよび着地を認識する。なお、制御部16については、詳しく後述する。
次に、保持装置13について説明する。図2は、保持装置13を示す斜視図である。保持装置13は、例えば、保持部31、駆動部32、圧力センサ33、および内部センサ34を含む。
保持部31は、「第1保持部」の一例である。保持部31は、例えば、本体部41、第1部材42、および第2部材43を含む。
本体部41は、第3アーム部材12cの下端部に取り付けられている。ただし、本体部41は、第3アーム部材12cと一体に形成されてもよい。本体部41は、例えば箱状に形成され、駆動部32を収容している。
第1部材42は、本体部41に取り付けられ、本体部41によって支持されている。第1部材42は、駆動部32によって駆動され、本体部41に対して+Y方向と−Y方向とに移動可能である。第1部材42は、剛性を有する。「剛性を有する」とは、変形しにくい性質を持つことを意味する。ただし、「剛性を有する」とは、微小な弾性変形(例えば、後述する振動を伝えるような弾性変形)を許容するものを含む。本実施形態では、第1部材42は、第1部材42の表面に生じた振動が第1部材42の内部に伝わる剛性を有する。第1部材42は、硬質の材料(例えば音が響く硬質の材料)で形成されている。例えば、第1部材42は、硬質の合成樹脂、金属、および木材のうち少なくとも1つによって形成されている。
第2部材43は、本体部41に取り付けられ、本体部41によって支持されている。第2部材43は、駆動部32によって駆動され、本体部41に対して+Y方向と−Y方向とに移動可能である。本実施形態では、第2部材43は、第1部材42と同様の材料で形成されており、剛性を有する。
駆動部32は、例えばモータであり、第1部材42と第2部材43とのうち少なくとも一方を駆動する。本実施形態では、駆動部32は、第1部材42および第2部材43に接続され、第1部材42および第2部材43を互いに近付ける方向と、互いに離す方向とに駆動可能である。これにより、保持部31は、第1部材42と第2部材43との間に物品Pを挟むことで、物品Pを保持する。さらに、駆動部32は、保持部31が物品Pを保持する保持力の大きさを変更するように、第1部材42および第2部材43を駆動可能である。なお、駆動部32は、第1部材42および第2部材43をY方向に移動させることに代えて、第1部材42と第2部材43とのうち少なくとも一方をZ方向に沿う軸線周りに回転させることで、第1部材42と第2部材43との間に物品Pを挟んでもよい。
圧力センサ33は、第1部材42と第2部材43との間に物品Pが挟まれた場合に、第1部材42および第2部材43が物品Pから受ける反力を検出する。例えば、圧力センサ33は、第1部材42および第2部材43に取り付けられたひずみゲージであるが、これに限定されない。
内部センサ34は、第1部材42および第2部材43の少なくとも一方の内部に設けられている。本実施形態では、内部センサ34は、第1部材42および第2部材43の各々の内部に設けられている。これら内部センサ34は、第1部材42および第2部材43の内部で振動を検出する感圧センサである。なお、内部センサ34については、詳しく後述する。
次に、第1部材42および第2部材43の内部構造について説明する。図3は、図2で示された第1部材42および第2部材43のIII−III線に沿う断面図である。ここで、第2部材43とその内部に設けられた内部センサ34は、第1部材42とその内部に設けられた内部センサ34と略同じである。このため、以下では、これらを代表して第1部材42とその内部に設けられた内部センサ34について説明する。
まず、第1部材42について説明する。第1部材42は、第1部材42の外表面として、第1面(第1外面)51と、第2面(第2外面)52とを含む。第1面51は、X方向およびZ方向に沿う平面状に形成されている。第1面51は、第2部材43に面する。第1面51は、物品Pに面し、物品Pを支持する(物品Pに接する)面である。物品Pが保持部31から擦れ落ちるまたは位置ずれが生じる(以下、これらを纏めて「ずれる」と称する)場合、第1面51と物品Pとの接触により第1面51に振動が発生する。
第1面51は、例えば、表面粗さが粗く形成されている。第1面51の表面粗さが大きいと、物品Pがずれたときに、より大きな振動が第1面51に発生する。例えば、第1面51は、保持部31の少なくとも一部と比べて粗い表面粗さを有する。第1面51は、第2面52または後述する第1から第4の内面61,62,63,64に比べて粗い表面粗さを有してもよい。例えば、第1面51は、日本工業規格で定める算術平均粗さ(Ra)で100nm以上の粗さを有する。
第2面52は、Z方向に沿う平面状に形成されている。第2面52は、第1面51とは異なる方向に向いている。第2面52は、第1面51に対して物品Pとは反対側に位置する。
本実施形態では、第1部材42は、内部空間Sを有する。内部空間Sは、第1部材42の表面(第1面51)に生じた振動を共鳴させて増幅させる共鳴空間である。内部空間Sは、気体(例えば空気)で満たされている。本実施形態は、内部空間Sは、密閉されている。内部空間Sが密閉されていると、外部音(ノイズ)が内部空間Sに入りにくい。ただし、第1部材42は、内部空間Sを外部に連通させる穴を有してもよい。内部空間Sは、例えば、第1部材42の第1面51および第2面52に沿う形状を持つ。ただし、内部空間Sは、上記の形状に限定されず、任意の形状であってよい。
内部空間Sは、第1部材42の内部で比較的大きな領域を占める。例えば、内部空間SのX方向の最大幅dXは、第1部材42のX方向の最大幅DXの半分以上である。内部空間SのY方向の最大幅dYは、第1部材42のY方向の最大幅DYの半分以上である。また、別の観点で見ると、内部空間SのX方向の最大幅dXは、後述する内部センサ34のX方向の最大長さの2倍以上である。内部空間SのY方向の最大幅dYは、後述する内部センサ34のY方向の最大幅の2倍以上である。内部空間SのY方向の最大幅dYは、主な共鳴周波数を決める距離である。例えば、内部空間SのY方向の最大幅dYが3cmの場合、共鳴周波数は1kHzになる。内部空間SのY方向の最大幅dYが1.5cmの場合、共鳴周波数は500Hzになる。このため、内部空間SのY方向の最大幅dYは、ハンドリング装置1の主な利用目的(保持する物品P)に合わせて設定されてもよい。
第1部材42は、内部空間Sを規定する4つの内面61,62,63,64を含む。第1内面61は、第1面51と略平行である。第2内面62は、内部空間Sにおいて第1内面61とは反対側に位置する。第3内面63は、第1内面61と第2内面62の第1端同士を接続している。第4内面64は、内部空間Sにおいて、第3内面63とは反対側に位置する。第4内面64は、第1内面61と第2内面62の第2端同士を接続している。
第1部材42は、第1壁71と、第2壁72とを含む。第1壁71は、第1面51と第1内面61との間に規定される壁部である。第2壁72は、第2面52と第2内面62との間に規定される壁部である。本実施形態では、第1壁71の厚さ(すなわち、第1面51と内部空間Sとの間の第1厚さd1)は、第2壁72の厚さ(すなわち、第2面52と内部空間Sとの間の第2厚さd2)より薄い。これにより、第1壁71は、第2壁72に比べて振動しやすくなっている。別の観点で見ると、第1面51の振動が内部空間S内の気体に伝わりやすくなっている。ただし、第1厚さd1は、第2厚さd2と同じ厚さでもよく、第2厚さd2よりも厚くてもよい。
次に、内部センサ34について説明する。内部センサ34は、「第1センサ」の一例である。内部センサ34は、第1部材42の内部に設けられており、第1部材42の外部に露出していない。内部センサ34は、第1部材42の表面(例えば第1面51)に生じた振動に起因して第1部材42の内部に生じる振動を検出する。本実施形態では、内部センサ34の少なくとも一部は、内部空間Sに配置されている。内部センサ34は、内部空間S内に生じる振動を検出する。例えば、内部センサ34は、内部空間S内の気体(例えば空気)の振動を検出する。例えば、内部センサ34は、マイクロフォン(マイク)であり、内部空間S内の気体の振動を音として検出する。本願で言う「音」とは、必ずしも人間の可聴域の周波数を有する音波に限定されず、弾性体(空気などの気体、液体、または固体)を伝播する任意の弾性波を意味する。内部センサ34は、例えば、100万分の1[Pa]程度の小さな圧力を検出可能である。
図3に示すように、内部センサ34は、内部空間Sにおいて、第3内面63に取り付けられている。「第3内面に取り付けられる」とは、第3内面63に設けられた穴または窪みに内部センサ34が収容される場合も含む。言い換えると、内部センサ34は、第1内面61、第2内面62、および第4内面64から離れている。これにより、内部センサ34は、第1内面61および第2内面62で反射する音をより効果的に検出することができる。ただし、内部センサ34の取付位置は、上記例に限定されない。内部センサ34は、第1内面61、第2内面62、または第4内面64に取り付けられてもよい。
図4は、内部センサ34の作用を示す図である。図4に示すように、物品Pが第1部材42に対してずれると、物品Pと第1部材42との接触により第1部材42の第1面51に振動が生じる。この振動は、第1壁71を介して、第1部材42の内部空間S内の気体(以下、「空気」と称する)に伝わる。内部空間S内の空気に伝わった振動は、内部空間Sを取り囲む複数の面(第1から第4の内面61,62,63,64)により反射されることで、内部空間Sの中で増幅されて定在波を形成する。これにより、内部センサ34は、内部空間S内に形成された定在波による空気の振動を検出する。本実施形態では、物品Pが第1部材42に対してずれた場合に発生する振動を「第1種の振動」と称する。
また、第1部材42から物品Pに作用する力が過度に大きい場合、物品Pと第1部材42とのうち少なくとも一方に破損に繋がる変形が生じ得る。このような変形が物品Pまたは第1部材42で生じた場合、その変形により第1部材42の第1面51に振動が生じる。この振動は、物品Pが第1部材42に対してずれた場合と同様に、第1壁71を介して、第1部材42の内部空間S内の空気に伝わり、内部空間Sの中で増幅されて定在波を形成する。この定在波は、内部センサ34によって検出される。本実施形態では、物品Pと第1部材42とのうち少なくとも一方に破損に繋がる変形が生じる場合に発生する振動を「第2種の振動」と称する。第1種の振動と第2種の振動とは、振動の特性(例えば振動の周波数や振動のピーク値)が異なるため、互いに区別可能である。なお、本願で言う「変形」とは、外観上明らかな物品Pの破損(ひび割れや欠けなど)に限定されず、外観上明らかでない物品Pの内部の歪みや一時的な変形も含む。
なお、内部センサ34は、第1部材42に対して物品Pがずれた場合の振動、および物品Pと第1部材42とのうち少なくとも一方に変形が生じた場合の振動に加えて、第1部材42が物品Pに対する保持を開始する際の接触時の振動を検出可能である。
また本実施形態では、内部センサ34は、第1部材42の内部に設けられているため、外部音(ノイズ)を拾いにくい。言い換えると、内部センサ34は、第1部材42に対して物品Pがずれた場合の振動、および物品Pと第1部材42とのうち少なくとも一方に変形が生じた場合の振動など、特定の振動のみを検出することができる。
次に、制御部16について説明する。図5は、ハンドリング装置1のシステム構成を示すブロック図である。なお以下では、画像センサ14、積載センサ15、圧力センサ33、および内部センサ34を纏めて「センサ部17」と称する場合がある。センサ部17に含まれる各センサ14,15,33,34の各々の検出結果(出力信号)は、制御部16に出力される。
図5に示すように、制御部16は、例えば、判定部81、記憶部82、駆動制御部83、および学習部84を含む。
判定部81は、例えば、内部センサ34の検出結果と、記憶部82に記憶された判定モデルM1とに基づき、物品Pに対する保持部31の保持状態を判定する。保持状態とは、例えば、(a)保持部31に対して物品Pのずれが生じているか否か、および(b)物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じているか否か、を含む。例えば、判定部81は、第1種の振動が内部センサ34によって検出された場合、保持部31に対して物品Pのずれが生じていると判定する。一方で、判定部81は、第2種の振動が内部センサ34によって検出された場合、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じていると判定する。
判定モデルM1は、内部センサ34の検出結果が入力された場合に、物品Pに対する保持部31の保持状態を出力する情報処理モデルである。判定モデルM1は、例えば、ニューラルネットワークにより実現され、入力層、隠れ層、および出力層を含む。隠れ層は、複数の内部パラメータを持つ。これら内部パラメータは、入力層に入力される複数の要素に対する重み係数として用いられる。これら内部パラメータは、後述する学習部84による機械学習によって求められている。このような判定モデルM1は、例えば、誤差関数の重み係数を逆誤差伝搬法などによって収束させることで導出されてもよく、制限ボルツマンマシンなどでモデルを生成し、生成されたモデルがファインチューニングされることで導出されてもよい。
駆動制御部83は、判定部81による判定結果と、記憶部82に記憶された制御モデルM2とに基づき、駆動部32および移動機構12を制御する。本実施形態では、駆動制御部83は、第1部材42または第2部材43に振動が生じた場合に、内部センサ34の検出結果に基づく判定部81の判定結果に基づき、移動機構12および駆動部32の制御を変更する。
例えば、駆動制御部83は、第1部材42に対して物品Pのずれが生じていると判定された場合(すなわち、第1種の振動が内部センサ34により検出された場合)、保持部31が物品Pを保持する保持力を強めるように駆動部32を制御する。具体的には、駆動制御部83は、第1部材42と第2部材43との間の距離を小さくするように駆動部32を制御する。これにより、物品Pに対する保持力が強まる。なお、保持力をどの程度強めるかは、制御モデルM2に基づき決定される。すなわち、保持力をどの程度強めるかは、内部センサ34により検出される振動の特性毎(言い換えると、物品Pの種類や状態毎)に、後述する機械学習によって予め学習されている。
一方で、駆動制御部83は、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じていると判定された場合(すなわち、第2種の振動が内部センサ34により検出された場合)、保持部31が物品Pを保持する保持力を弱めるように駆動部32を制御する。具体的には、駆動制御部83は、第1部材42と第2部材43との間の距離を大きくするように駆動部32を制御する。これにより、物品Pに対する保持力が弱まる。なお、保持力をどの程度弱めるかは、制御モデルM2に基づき決定される。すなわち、保持力をどの程度弱めるかは、内部センサ34により検出される振動の特性毎(言い換えると、物品Pの種類や状態毎)に、後述する機械学習によって予め学習されている。
また、駆動制御部83は、保持部31に対して物品Pのずれが生じていると判定された場合、または物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じていると判定された場合、移動機構12による保持装置13の移動を停止してもよいし、別の所定の動作を行ってもよい。なお、移動機構12の動作は、制御モデルM2に基づき決定される。すなわち、状況毎に移動機構12をどのように動かすのが最適かは、後述する機械学習によって予め学習されている。
制御モデルM2は、内部センサ34の検出結果に加え、画像センサ14、積載センサ15、および圧力センサ33の検出結果を総合的に考慮した制御モデルである。この制御モデルM2は、判定モデルM1と同様に、ニューラルネットワークにより実現される。例えば、制御モデルM2の入力層には、内部センサ34の検出結果、画像センサ14の検出結果、積載センサ15の検出結果、および圧力センサ33の検出結果などが入力される。そして、制御モデルM2の出力層には、状況毎に応じた駆動部32および移動機構12の最適な動作内容が出力される。駆動制御部83は、制御モデルM2から出力される動作内容に基づき、駆動部32および移動機構12を制御する。なおここでは、判定モデルM1と制御モデルM2とを分けて説明しているが、判定モデルM1は、制御モデルM2の一部であってもよい。
学習部84は、学習データと、正解データとに基づき、判定モデルM1および制御モデルM2を機械学習により学習する。学習データは、例えば、M次元(Mは任意の自然数)の試験データである。M次元の試験データは、M回の試験(物品Pの保持に関する試験)におけるセンサ部17の出力結果(例えば、センサ部17の出力結果の時系列データ)を含む。各回におけるセンサ部17の出力結果は、N次元(Nは任意の自然数)の情報を含む。N次元の情報は、内部センサ34の検出結果、画像センサ14の検出結果、積載センサ15の検出結果、および圧力センサ33の検出結果などを含むN個の情報である。本実施形態では、このようなM×N次元の試験データが学習データとして学習部84に入力される。
一方で、正解データは、前記M回の試験の各々における保持部31の保持状態の正解を示す正解データである。正解データは、保持部31の保持状態として、(i)保持部31に対して物品Pのずれが生じている、(ii)物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じている、および(iii)正常である、のうちいずれか1つを含む。このような正解データは、例えば人手によって準備され、学習部84に入力される。これにより、学習部84は、学習データと、正解データとに基づき、判定モデルM1の隠れ層の内部パラメータを最適化する。
また、制御部16は、判定モデルM1の一部として、物品Pと保持部31とのうち少なくとも一方の破損に繋がる変形を判定するための変形判定モデルM1aを有してもよい。例えば、変形判定モデルM1aは、判定モデルM1と同様に、ニューラルネットワークにより実現される。このような変形判定モデルM1aを有する場合、制御部16は、内部センサ34から出力される検出結果と、変形判定モデルM1aとに基づき、物品Pと保持部31とのうち少なくとも一方の変形を判定する。なお、訓練用のサンプル物品を用意し、判定モデルM1aを用いて、破損につながる変形を検知した場合に把持力を弱めるのではなくあえて増加させ破壊させることで、壊す経験を自動で学習させることも可能である。こうすることで、毎回人間が正解情報を登録するのではなく、自律的に未登録の物品の変形モデルを新たに生成することができる。
次に、制御部16の制御動作の流れについて説明する。図6は、制御部16の制御動作の流れの一例を示すフローチャートである。図6は、第1部材42に対して物品Pのずれのみを考慮した場合を示す。
図6に示すように、まず、保持部31は、物品Pの保持を開始する(S101)。内部センサ34は、保持部31により物品Pが持ち上げられた状態(物品Pが単に持ち上げられた状態と、持ち上げられた物品Pが移動先に向けて移動されている状態の両方を含む)で、所定のサンプリング周期で第1部材42または第2部材43の内部に伝わる振動の有無を検出する。そして、判定部81は、内部センサ34から出力された検出結果Dに基づき、保持部31に対する物品Pのずれが生じているか否かを判定する(S102)。
判定部81は、保持部31に対する物品Pのずれが生じていると判定した場合(S102:YES)、物品Pのずれがあることを示す信号を駆動制御部83に出力する。駆動制御部83は、物品Pのずれがあることを示す信号を受け取った場合、保持部31が物品Pを保持する保持力を強めるように駆動部32を制御する(S103)。
そして、判定部81は、物品Pに対する保持力を高めた状態で、保持部31の保持状態を再び判定する。すなわち、判定部81は、物品Pに対する保持力を高めた状態で内部センサ34から出力された検出結果Dに基づき、第1部材42に対する物品Pのずれがまだ生じているか否かを判定する。判定部81は、S102およびS103の処理を繰り返すことで、物品Pがずれなくなるまで保持力を高める。
次に、判定部81は、積載センサ15などの出力結果に基づき、物品Pが移動先(第2領域T2)に到着したか否かを判定する(S104)。判定部81は、物品Pが移動先に到着していない場合、所定のサンプリング周期で、S104の判定を繰り返す。一方で、物品Pが移動先に到着した場合、本フローの処理が終了する。
図7は、制御部16の制御動作の流れの別の例を示すフローチャートである。図7は、保持部31に対する物品Pのずれに加え、物品Pと保持部31とのうち少なくとも一方の変形も考慮した場合を示す。
図7に示すように、まず、保持部31は、物品Pの保持を開始する(S201)。内部センサ34は、保持部31により物品Pが持ち上げられた状態(物品Pが単に持ち上げられた状態と、持ち上げられた物品Pが移動先に向けて移動されている状態の両方を含む)で、所定のサンプリング周期で第1部材42または第2部材43の内部に伝わる振動の有無を検出する。そして、判定部81は、内部センサ34から出力された検出結果Dに基づき、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じているか否かを判定する(S202)。
判定部81は、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じていると判定した場合(S202:YES)、変形があることを示す信号を駆動制御部83に出力する。駆動制御部83は、変形があることを示す信号を受け取った場合、保持部31が物品Pを保持する保持力を弱めるように駆動部32を制御する(S203)。
そして、判定部81は、物品Pに対する保持力を弱めた状態で、保持部31の保持状態を再び判定する。すなわち、判定部81は、物品Pに対する保持力が弱められた状態で内部センサ34から出力された検出結果Dに基づき、物品Pと保持部31とのうち少なくとも一方に破損に繋がるがまだ生じているか否かを判定する。判定部81は、S202およびS203の処理を繰り返すことで、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が無くなるまで保持力を弱める。
一方で、判定部81は、物品Pと保持部31とのうち少なくとも一方に破損に繋がる変形が生じていないと判定した場合(S202:NO)、内部センサ34から出力された検出結果Dに基づき、保持部31に対する物品Pのずれが生じているか否かを判定する(S204)。
判定部81は、保持部31に対する物品Pのずれが生じていると判定した場合(S204:YES)、物品Pのずれがあることを示す信号を駆動制御部83に出力する。駆動制御部83は、物品Pのずれがあることを示す信号を受け取った場合、保持部31が物品Pを保持する保持力を強めるように駆動部32を制御する(S205)。ただし、保持力の増加幅は、S203の処理における保持力の減少幅よりも小さくてよい。
そして、判定部81は、物品Pに対する保持力を高めた状態で、保持部31の保持状態を再び判定する。すなわち、判定部81は、物品Pに対する保持力が高められた状態で内部センサ34から出力された検出結果Dに基づき、保持部31に対する物品Pのずれが生じているか否かを判定する。判定部81は、S204およびS205の処理を繰り返すことで、物品Pがずれなくなるまで保持力を高める。
次に、判定部81は、積載センサ15などの出力結果に基づき、物品Pが移動先(第2領域T2)に到着したか否かを判定する(S206)。判定部81は、物品Pが移動先に到着していない場合、所定のサンプリング周期で、S202およびS204の判定を繰り返す。一方で、物品Pが移動先に到着した場合、本フローの処理が終了する。
次に、学習部84が変形判定モデルM1aを機械学習により学習する流れについて説明する。図8は、学習部84が変形判定モデルM1aを学習する流れの一例を示すフローチャートである。図8に示すように、まず、保持部31は、物品Pの保持を開始する(S301)。次いで、物品Pに加わる力(保持力)を強めるように、駆動制御部83が駆動部32を制御する(S302)。次いで、物品Pが保持力の増加により破損に繋がる変形をしたか否かが判定される(S303)。この判定は人の目視などにより行われてもよく、画像センサ14を用いた画像処理により自動的に行われてもよい。物品Pの破損に繋がる変形が観測されない場合(S303:NO)、保持力をさらに増加させるように駆動制御部83が駆動部32を制御する(S302)。物品Pの破損に繋がる変形が観測された場合(S303:YES)、この時の内部センサ34の測定値が学習データとして記憶部82に記憶される(S304)。すなわち、物品Pの変形が生じる際に内部センサ34により検出された振動パターンが、物品Pの変形に関連する振動の情報として記録される。そして、学習部84は、記憶部82に記憶された振動パターン(学習データ)と、例えば人手によって準備された正解データとに基づき、変形判定モデルM1aの内部パラメータを学習する。
上記のフローチャートでは、物品Pの変形の関する機械学習について説明したが、保持部31に対する物品Pのずれに関しても同様に機械学習を行うことができる。すなわち、保持部31が物品Pを保持した後、保持力を弱めるように駆動制御部83が駆動部32を制御する。次いで、物品Pがこの保持力の減少により保持部31に対してずれたか否かが目視や画像処理などによって判定される。物品Pのずれが観測されなければ、保持力をさらに減少させるように駆動制御部83が駆動部32を制御する。物品Pのずれが観測された時点で、この時の内部センサ34の測定値が、物品Pのずれに関連する振動の情報の学習データとして記録される。このような機械学習により、保持部31に対する物品Pのずれを判定するための判定モデルが学習されてもよい。
次に、学習部84が制御モデルM2を機械学習により学習する流れについて説明する。図9は、学習部84が制御モデルM2を学習する流れの一例を示すフローチャートである。図9に示すように、まず、保持部31は、物品Pを保持し、搬送を開始する(S401)。次いで、駆動制御部83が駆動部32の制御を変更することにより、保持力が変更される(S402)。この保持力変更の影響が、各センサにより監視される。例えば、内部センサ34が第1部材42または第2部材43の第1面51における振動の様子を監視し、画像センサ14が物品Pの位置および変形の有無などを監視し、圧力センサ33が物品Pの保持力を監視する。このようにして各センサが物品Pに関する異変の有無を監視する。そして、異変がある場合(S403:YES)、異変の種類に応じて保持力が変更される(S402)。例えば、物品Pのずれが検出された場合は、保持力を強めるように駆動制御部83が駆動部32を制御する。一方で、物品Pの破損に繋がる変形が検出された場合は、保持力を弱めるように駆動制御部83が駆動部32を制御する。異変が解消されるまで上記サイクルが継続され、異変がないと判定された場合(S403:NO)、保持力が維持されるとともに搬送が継続される(S404)。
その後、画像センサ14および積載センサ15などからの情報に基づき、搬送の成否が判定される(S405)。搬送が成功したと判定された場合(S405:YES)、各センサのセンサ値が成功データとして記録され(S406)、搬送が失敗したと判定された場合(S405:NO)、各センサのセンサ値が失敗データとして記録される(S407)。このようにして、各センサを利用して搬送開始から搬送完了までの流れをハンドリング装置1に学習させることにより、ハンドリング装置1は、様々な物品P(例えば、硬い物品や柔らかい物品、重い物品、軽い物品など)に対して異なる保持・搬送方法を習得することができる。これにより、より無駄のないハンドリングタスクを行うことが可能となる。
本実施形態では、保持対象として様々な種類の物品Pが考えられるため、ハンドリング装置1は、外部の情報(保持対象の物品Pの情報など)ではなく内部の情報(すなわち、保持部31の表面における振動の情報)を利用する。すなわち、学習部84による機械学習は、保持装置13そのものの振動の情報に基づく学習であるという点で「閉じた系」での学習である。
上記の機械学習は、ハンドリング装置1が実際に使用される前に、学習用の物品Pによって行うことができる。例えば、様々な素材の物品Pに対して上記機械学習を行うことにより、物品Pに対する保持開始時に、その物品Pの硬さ、柔らかさ、丈夫さ、脆さなどを自動的に判別して、その物品Pの性質に応じた保持力を生じさせることが可能である。なお、機械学習が行われるタイミングは上記例に限定されない。例えば、ハンドリング装置1が設置された後に、実際の搬送対象である物品Pを用いて実地で上記の機械学習が行われてもよい。
次に、図10を参照して、本実施形態の保持装置13の作用について説明する。図10は、本発明者らにより行われた予備実験の模式図(図10上)およびその結果(図10下)を示す。この予備実験では、第1部材42を模した2つの樹脂製の箱42A,42Bおよび2つのアルミニウム製の箱42C,42Dが用意された。これらの箱42A,42B,42C,42Dには、それぞれ内部空間SA,SB,SC,SDが設けられている。樹脂製の箱42Aおよびアルミニウム製の箱42Cでは、音を吸収するスポンジFが内部空間SA,SCに充填されている。箱42A,42Cの第1面51A,51Cには、孔HA,HCが形成されている。孔HA,HCのすぐ内側には、マイク34A,34Cが配置されている。一方で、樹脂製の箱42Bおよびアルミニウム製の箱42Dの内部空間SB,SDは、空気で満たされている。内部空間SB,SDには、それぞれマイク34B,34Dが取り付けられている。マイク34B,34Dは、内部空間SB,SDへ露出するように、箱42B,42Dの内面61B,61Dに取り付けられている。
箱42A,42B,42C,42Dの第1面51A,51B,51C,51Dが試験物品(例えばブラシ)で順番に2回ずつ擦られ、このときの箱42A,42B,42C,42Dの内部に設けられたマイク34A,34B,34C,34Dにより測定される電圧波形が記録された。この測定結果を図9下に示す。横軸は時間(ms)、縦軸は測定された電圧(V)の二乗平均平方根(RMS)である。
これによると、いずれのマイク34A,34B,34C,34Dも擦れを検出することができたが、特に箱42Bにおける擦れが最も顕著に検出された。スポンジFが充填された箱42A,42Cと空気で満たされた箱42B,42Dとを比較すると、箱42Aの信号より箱42Bの信号が大きく、箱42Cの信号より箱42Dの信号が大きかった。すなわち、擦れ面のすぐ内側のマイクにより孔を通して擦れの振動を検出するよりも、空気で満たされた内部空間SB,SDにおいて擦れ面から離間して設けられたマイクにより擦れの振動を検出した方が、検出される信号強度は大きくなることが分かった。これは、空気で満たされた箱42B,42Dでは、擦れ面の振動が箱42B,42Dの内部空間SB,SD内の空気に伝わり、内部空間SB,SDの内面での反射により増幅された定在波が形成されたためであると考えられる。
樹脂製の箱42A,42Bとアルミニウム製の箱42C,42Dとを比較すると、箱42Cの信号より箱42Aの信号が大きく、箱42Dの信号より箱42Bの信号が大きかった。すなわち、アルミニウム製の箱42C,42Dよりも樹脂製の箱42A,42Bの方が検出される信号強度は大きいことが分かった。
このように、箱42A,42B,42C,42Dの内部に振動センサ(マイク)34A,34B,34C,34Dが設けられることにより、箱42A,42B,42C,42Dの表面での擦れを検出することができるようになる。マイク34A,34B,34C,34Dが箱42A,42B,42C,42Dの内部に配置されているので、箱42A,42B,42C,42Dの外部にマイクが設けられた場合に比べて外部音の影響を抑えることができる。これにより、箱42A,42B,42C,42Dの表面における僅かな振動を検出することが可能となる。
このような構成によれば、保持装置13は、物品保持性能の向上を図ることができる。すなわち、本実施形態では、保持装置13は、第1部材42と、第2部材43とを有し、第1部材42と第2部材43との間に物品Pを挟むことで物品Pを保持する第1保持部31と、第1部材42の内部に設けられ、振動を検出する第1センサ34とを備える。このような構成によれば、内部センサ34の検出結果に基づき、保持部31と物品Pとの微小なずれを検出することができる。第1センサ34が第1部材42の内部に配置されることにより、保持されている物品Pの直接の変化を識別することができる。また、外部のノイズが少ないので、必要な情報が明確に検出され得る。このため、簡便に保持部31と物品Pとの接触の状態を知ることができる。
形状および硬さの異なる様々な物品Pを把持し、落下させることなくハンドリングし続けるためには、保持部31と物品Pとの擦れを検出することが有効な場合がある。しかしながら、圧力センサやカメラを利用して制御を行う既存のハンドリング装置では、保持部31と物品Pとの擦れまたは滑りの発生は、圧力センサやカメラでの検出が困難である。また、物品Pの物性の違いのために、カメラ認識の情報のみでは安定した把持が難しい。このため、ごく僅かな振動を検出するために、既存のハンドリング装置は、例えばマイクや加速度センサを利用する場合がある。しかしながら、稼働中の機械に取り付けられたセンサは、様々なノイズ振動を拾ってしまうことが多い。たとえ人間が経験的にノイズであると理解できるノイズ振動であっても、コンピュータがこのようなノイズ振動をノイズであると解釈することは困難な場合がある。また、マイクが保持部の外部に取り付けられている場合、外部の騒音と対象作業に起因する音との区別が困難である。さらに、接触センサなどは、複雑である、高価である、センシング範囲が狭いといった理由により、活用が進みにくい。
これに対し、上記構成によれば、保持装置13は、触覚センサなど高価で複雑なセンサを必要としない。保持装置13では、内部センサ34が保持部31の内部に組み込まれているので、シンプルな機構と安価なセンサで、安定した保持を実現するための信号が得られる。これにより、従来検出が困難であった微細な擦れや接触を、簡便かつ安価なセンサと構造の組み合わせで確実に検出でき、ユーザが導入しやすい。また、内部センサ34が第1部材42の内部に設けられていると、振動を検出するセンサが外部に露出している保持装置と比較して、外部の音から大きな影響を受けずに、保持部31と保持されている物品Pとの間で生じる振動をリアルタイムでクリアに検出することができる。
さらに、内部センサ34は、保持装置13の内部に組み込まれて出荷される。このため、センサ・アクチュエータ一体型ではない保持部の外部にセンサを取り付けたり配置したりする場合とは異なり、基本的に保持部31と内部センサ34とが別々に交換されることはない。従って、ゼロ点合わせやバックグラウンドノイズ測定などの校正作業は、モジュール組立時にモジュール単位で行うことができ、設置後の校正は不要となる。このため、工場現場でのセッティング工程を最低限に抑えることが可能となり、工場の全自動化などに有利である。
本実施形態では、第1部材42は、第1部材42の表面に生じた振動が内部に伝わる剛性を有する。安全かつ確実なハンドリングを行うためには、物品Pの落下を予測するために保持部と物品Pとの相対位置の僅かなずれをリアルタイムで検出する必要がある。しかしながら、上記のとおり、保持部と物品Pとの僅かな擦れまたは滑りの検出は、圧力センサやカメラでは難しい。このため、特殊な構造の触覚センサや、小さなセンサが一様に分布して保持部の表面に取り付けられたセンサ配置などが研究されている。しかしながら、繰り返し様々な物品Pを保持することを目的として作られたハンドリング装置には、耐久性が求められる。そこで、保持部の先端部および当該先端部に取り付けられたセンサの保護、滑り止め、または物品Pの形状変化に対する追随などのために、物品Pと接触する保持部の面をゴムやシリコンなどの柔らかい素材で覆うのが一般的である。しかしながら、このような素材は、長期間利用すると劣化して破損してしまう場合がある。また、保持部に対するごく僅かな接触やずれなどの信号が柔らかい素材に吸収されてしまい、情報が一部失われてしまう場合があるため、細かな制御に限界がある。また、センサの取り付けや保持部の組立てが困難であるので、大量生産に適さない。これに対し、上記構成によれば、脆いシリコンゴムなどを利用せずに、簡便でロバストな構成で微細な擦れまたは滑りを検出することができる。
本実施形態では、第1センサ34は、第1部材42の表面に生じた振動に起因して第1部材42の内部に生じる振動を検出する。このような構成によれば、第1センサ34は、既存のセンサでは検出が困難な表面での微細の振動を検出することができる。また、第1センサ34は第1部材42の内部における振動を検出するので、外部のノイズの影響が低減され得る。
本実施形態では、第1部材42は、硬質の合成樹脂、金属、および木材のうち少なくとも1つによって形成されている。このような構成によれば、第1部材42は音が響きやすい材料で形成されているので、表面の微細な擦れまたは滑りが第1部材42の内部までよく伝播する。このため、第1部材42の表面における振動をより高感度に検出することが可能となる。
本実施形態では、第1部材42は、内部空間Sを有し、第1センサ34の少なくとも一部は、内部空間Sに配置され、第1センサ34は、内部空間S内に生じる振動を検出する。このような構成によれば、内部空間Sで瞬時に増幅された定在波が内部センサ34により検出されるので、保持装置13は、保持部31と物品Pとの間の振動を高感度で検出することができる。また、外部の騒音が内部空間Sに侵入しにくいので、保持部31と物品Pとの間の直接の接触に起因する振動をクリアに検出することができる。
本実施形態では、内部空間Sは、気体で満たされており、第1センサ34は、内部空間S内の気体の振動を検出する。このような構成によれば、内部の気体が振動を伝えるので、安価なマイクを利用することができる。これにより、簡便かつ安価な構成を実現することができる。
本実施形態では、内部空間Sは密閉されている。このような構成によれば、内部空間S内への外部音の侵入が一段と妨げられるので、より高感度で振動を検出することが可能となる。
本実施形態では、第1部材42は、物品Pに面する第1面51と、第1面51とは異なる第2面52とを有し、第1面51と内部空間Sとの間の第1厚さd1は、第2面52と内部空間Sとの間の第2厚さd2よりも薄い。このような構成によれば、物品Pと接触する第1面51が薄いので、第1面51と物品Pとの振動が内部空間Sに伝わりやすい。このため、内部空間S内に定在波が形成されやすくなり、振動が内部センサ34により検出されやすくなる。
本実施形態では、第1部材42は、物品Pに面する第1面51を有し、内部空間Sは、第1面51と略平行な第1内面61と、内部空間Sにおいて第1内面61とは反対側に位置した第2内面62と、第1内面61および第2内面62とは異なる第3内面63とを有し、第1センサ34は、第3内面63に取り付けられている。このような構成によれば、第3内面63が本体部41側に位置する場合、本体部41の内部への第1センサ34の有線接続が容易になる。このため、より簡便かつ安価な構成を実現することができる。
本実施形態では、第1部材42は、物品Pに面する第1面51を有し、第1面51は、第1保持部31の少なくとも一部と比べて粗い表面粗さを有する。このような構成によれば、第1面51と物品Pとの間で振動が生じやすくなるので、内部センサ34による振動の検出感度を向上させることができる。
本実施形態では、ハンドリング装置1は、第1部材42と第2部材43とを有して第1部材42と第2部材43との間に物品Pを挟むことで物品Pを保持する第1保持部31と、第1部材42の内部に設けられて振動を検出する第1センサ34と、第1部材42と第2部材43とのうち少なくとも一方を駆動する駆動部32とを有した保持装置13と、第1部材42に振動が生じた場合に、第1センサ34から出力された検出結果に基づき駆動部32の制御を変更する制御部16とを備える。このような構成によれば、柔らかい物品Pが保持される際の保持開始時の接触や保持中の物品Pのずれ、物品Pの変形などを内部センサ34により検出して、これらの情報に基づき保持力を適切に調節することが可能となる。これにより、保持力を最適化することができるので、物品Pの落下や変形、破損などが起こる可能性を低減させることができる。
本実施形態では、制御部16は、第1種の振動が第1センサ34により検出された場合に、第1保持部31が物品Pを保持する力を強めるように駆動部32を制御し、第1種の振動とは異なる第2種の振動が第1センサ34により検出された場合に、保持部31が物品Pを保持する力を弱めるように駆動部32を制御する。第1種の振動は、第1部材42に対して物品Pがずれた場合に発生する振動であり、第2種の振動は、物品Pと第1部材42とのうち少なくとも一方に破損に繋がる変形が生じる場合に発生する振動である。このような構成によれば、物品Pのずれに対しては保持力を強めることにより、物品Pの落下の可能性を低減させ、物品Pの変形に対しては保持力を弱めることにより、物品Pの変形や破損の可能性を低減させることができる。これにより、形状および硬さの異なる様々な物品Pを把持し、落下させることなくハンドリングし続けることが可能となる。
本実施形態では、制御部16は、第1センサ34から出力された検出結果に基づき、物品Pに対する保持部31の状態の判定に用いられる判定モデルM1を機械学習により学習する学習部84を含む。このような構成によれば、内部センサ34により検出される様々な信号を、物品Pの実際の状況と関連付けることが可能となる。これにより、様々な物品P(事前に学習データがインプットされていない物品Pも含む)に対して、保持力を最適化することができるようになる。また、硬い物品Pや柔らかい物品P、脆い物品Pなど、様々な性質の物品Pについて学習を行うことにより、専用のセンサを追加で設けなくても、自動的に硬い物品Pから脆い物品Pまで適切な保持力で保持することが可能となる。すなわち、ハンドリング装置1は、未知の物品Pの保持方法の自律学習を行うことができる。
なお、上記では制御部16がハンドリング装置1の全体を制御すると説明したが、例えば、保持装置13を制御する制御部が、全体の制御部16とは別途、保持装置13に組み込まれてもよい。
(第2の実施形態)
次に、図11を参照して、第2の実施形態について説明する。第2の実施形態は、第1部材42の第1面51にアレイ状の複数の孔91が設けられ、これら孔91がそれぞれ振動センサ92によって塞がれた点で、第1の実施形態とは異なる。なお、以下に説明する以外の構成は、第1の実施形態と同様である。
図11は、第2の実施形態の第1部材42を示す断面図である。図11に示すように、第1部材42は、第1の実施形態と同様に、内部空間Sを有する。第1部材42の第1面51には、複数の孔91がアレイ状に配置されている。「アレイ状に配置」とは、第1方向と、第1方向とは交差した(例えば略直交した)第2方向とのそれぞれにおいて、複数の孔91が均等に配置されたことを意味する。本実施形態の保持部31は、内部センサ34に加えて、複数の振動センサ92を有する。複数の振動センサ92(例えばマイク)は、内部空間Sに配置されて、内部空間Sの内部から複数の孔91に対して1対1で向かい合っている。複数の孔91は、複数の振動センサ92によって塞がれている。振動センサ92は、内部センサ34と同じ種類のセンサでもよく、別の種類のセンサであってもよい。振動センサ92は、「第2センサ」の一例である。
このような構成によれば、複数の振動センサ92によって第1面51の複数の位置における振動を検出することができる。すなわち、本実施形態では、保持装置13は、それぞれ振動を検出可能な複数の第2センサ92を備え、第1部材42は、物品Pに面するとともに複数の孔91が開口した第1面51を有し、複数の第2センサ92は、内部空間Sに配置されて複数の孔91に向かい合う。このため、ハンドリング装置1は、各振動センサ92から出力される検出結果を比較することにより、第1面51において振動が生じた詳しい位置を特定することができる。これにより、物品Pの保持状況などをより正確に監視することが可能となる。また、複数の振動センサ92が第1面51の近傍に設けられていると、微細な接触も高感度で検出することができる。なお、孔91の個数および配置は上記例に限定されず、1以上の任意の個数の孔91が任意の配置で第1面51に形成されてよい。
(第3の実施形態)
次に、図12を参照して、第3の実施形態について説明する。第3の実施形態では、第1部材42に内部空間Sが設けられておらず、内部センサ34が第1部材42の内部に埋め込まれている点で、第1の実施形態とは異なる。なお、以下に説明する以外の構成は、第1の実施形態と同様である。
図12は、第3の実施形態の第1部材42を示す断面図である。第1部材42は、第1の実施形態のような内部空間Sを有さない中実の部材である。内部センサ34は、第1部材42の内部に埋め込まれている。
このような構成によれば、第1部材42の内部空間Sを形成するコストを省くことができる。なお、保持部31の構成は上記例に限定されない。例えば、第1部材42が中実ではなく内部空間Sを有し、内部空間SがスポンジFなどで充填されていてもよい。
(第4の実施形態)
次に、図13を参照して、第4の実施形態について説明する。第4の実施形態は、検出装置101に関する実施形態である点で、第1の実施形態とは異なる。なお、以下に説明する以外の構成は、第1の実施形態と同様である。
図13は、第4の実施形態の検出装置101を示す断面図である。検出装置101は、例えば、検出装置101の取付対象物102(以下、単に「取付対象物102」と称する)とは別体に形成されている。検出装置101は、図示しない固定機構(例えばねじ)によって取付対象物102に後付けで取り付け可能である。取付対象物102は、例えば内部センサ34を有しない保持装置13であるが、これに限られない。本実施形態では、保持装置13の第1部材42の第2面52に検出装置101が取り付けられる例について説明する。
検出装置101は、例えば、本体部103、脚部104、内部センサ34、および無線回路部106を有する。本体部103は、第1の実施形態の第1部材42と同様に形成され、剛性を有する。すなわち、本体部103は、本体部103の表面に生じた振動が本体部103の内部に伝わる剛性を有する。本実施形態では、本体部103は、気体(例えば空気)で満たされた内部空間Sを有する。
脚部104は、本体部103の第1面51の端部に取り付けられている。脚部104は、例えば、ゴム製である。脚部104は、本体部103と取付対象物102との間に介在されている。これにより、本体部103の第1面51と取付対象物102の表面との間に隙間Gが形成される。ただし、本体部103は、脚部104を有さずに、取付対象物102に直接に固定されてもよい。
本体部103の第1壁71は、取付対象物102に面する。本体部103の第2壁72は、取付対象物102とは異なる方向に向いている。そして、第1壁71は、第2壁72よりも薄い。これにより、第1壁71は、第2壁72に比べて振動しやすくなっている。ただし、第1壁71は、第2壁72と同じ厚さでもよく、第2壁72よりも厚くてもよい。
本実施形態では、本体部103は、内部空間Sを有する。内部センサ34の少なくとも一部は、内部空間Sに配置されている。内部センサ34は、内部空間S内の気体(例えば空気)の振動を検出する。無線回路部106は、内部センサ34に電気的に接続されている。無線回路部106は、内部センサ34の検出結果を無線により外部に送信する。
取付対象物102が振動すると、この振動は、取付対象物102の表面、本体部103の第1面51、および脚部104により取り囲まれた隙間Gを通って、本体部103に伝播する。すなわち、取付対象物102の振動により、隙間Gの中の気体(例えば空気)の振動がもたらされる。この振動は、脚部104が設けられていることにより、聴診器のように、外部に漏れずに本体部103の第1面51に伝わる。これにより、本体部103の第1壁71が振動する。次いで、その振動が本体部103の内部空間Sに伝播する。振動は、内部空間Sの各内面により反射されて、内部空間S内で定在波を形成する。この定在波は、内部センサ34により検出される。このようにして、検出装置101の内部センサ34は、取付対象物102の表面における振動を検出することができる。
このような構成によれば、既存の保持部材に対して検出装置101を取り付けるだけで、既存のハンドリング装置1のセンシング機能を後から向上させることができる。検出装置101は、簡便かつ安価な構成であり、容易に後付けでハンドリング装置1に組み込むことができる。また、検出装置101に無線回路部106が設けられている場合、ワイヤレスで振動の検出が可能となり、様々な現場への検出装置101の導入がより容易になるので、利便性が向上する。
本実施形態では、本体部103の第1壁71は、第2壁72よりも薄い。このような構成によれば、本体部103の第1壁71が振動しやすい。このため、取付対象物102の振動が本体部103の第1壁71に伝播してきた場合に、この振動を効率よく内部空間Sに伝えることができる。これにより、内部センサ34による内部空間Sの定在波の検出の感度が向上する。
本実施形態では、検出装置101は、脚部104を有し、本体部103は、脚部104を介して取付対象物102に取り付けられ、本体部103、取付対象物102、および脚部104に取り囲まれて密閉された空間が形成されている。本体部103と取付対象物102とが直接に接合されている場合、本体部103と取付対象物102との間の微細な隙間のために、取付対象物102の振動が本体部103にうまく伝播しない場合がある。これに対し、上記構成によれば、本体部103、取付対象物102、および脚部104に囲まれた密閉空間が形成されているので、取付対象物102で生じた振動は、密閉空間内の媒体の振動(例えば、空気の振動)を介して、本体部103まで伝播することができる。また、本体部103と取付対象物102とが脚部104を介して接合することにより、取付対象物102と本体部103とが直接に接合する場合と比較して、様々な取付対象物102に対する本体部103の接合の仕方のばらつきが抑制される。これにより、取付対象物102および本体部103の表面構造や接合の具合に依存する振動の伝播のばらつきが抑制される。このため、機械学習を行う場合にも、内部パラメータのばらつきが抑制され得る。
なお、検出装置101の構成は、上記例に限定されない。例えば、脚部104は、本体部103の第1面51の一部または全体に広がった薄い接着層であってもよい。この場合、本体部103または第1部材42の表面の凹凸や不純物などが接着層(例えば、硬化性樹脂の接着層)に埋められることにより、第1部材42の振動が本体部103へ伝播することができる。
検出装置101を取り付ける対象物が、マイクの周辺の空気まで振動を伝播させるような材料から形成されている場合、マイクは、材料の振動そのものを検出することができる。このような場合には、検出装置101は、既存のアコースティックエミッション(AE)センサの代わりに利用することができる。すなわち、検出装置101は、コンクリート材などの物体にAEセンサの代わりに取り付けられて、当該物体の亀裂進展や摩耗などに起因するアコースティックエミッションを検出することができる。この場合、AEセンサより安価でかつアコースティックエミッション以外の情報も取得することができる代替センサを提供することができる。
(第5の実施形態)
次に、図14を参照して、第5の実施形態について説明する。第5の実施形態は、制御モデルM2の機械学習における初期値の決定を支援する測定システム111をハンドリング装置1が有する点で、第1の実施形態とは異なる。なお、以下に説明する以外の構成は、第1の実施形態と同様である。
図14は、第5の実施形態の保持装置13および測定システム111を示す側面図である。本実施形態では、ハンドリング装置1は、第1の実施形態の構成に加え、測定システム111を有する。測定システム111は、測定モジュール112と、初期値決定部113と、記憶部114とを有する。
測定モジュール112は、例えば、保持部121、圧力センサ122、内部センサ123、操作部124、およびアイトラッカー125を有する。また本実施形態では、保持装置13は、手先画像センサ126を有する。
保持部121は、「第2保持部」の一例である。保持部121は、保持部31と同様の構成である。保持部121は、本体部131、第3部材132、および第4部材133を有する。本体部131、第3部材132、および第4部材133は、それぞれ保持部31の本体部41、第1部材42、および第2部材43と同様の構成を有する。例えば、第3部材132および第4部材133は、第1部材42および第2部材43と同様の形状、材質、機構および運動の自由度を有する。
圧力センサ122は、第3部材132と第4部材133との間に物品Pが挟まれた場合に、第3部材132および第4部材133が物品Pから受ける反力を検出する。例えば、圧力センサ122は、第3部材132および第4部材133に取り付けられたひずみゲージであるが、これに限定されない。操作部124に対するユーザの操作は、圧力センサ122の検出結果に現れる。
内部センサ123は、「第3センサ」の一例である。内部センサ123の少なくとも一部は、第3部材132の内部空間Sに配置されている。内部センサ123は、保持装置13の内部センサ34と同様に、第3部材132の内部で振動を検出する。
操作部124は、第3部材132と第4部材133とのうち少なくとも一方を、人間の手によって操作できるようにする。操作部124は、例えばハサミを模した形状を有し、保持部121に取り付けられる。操作部124は、第1操作部材141および第2操作部材142を有する。第1操作部材141および第2操作部材142は、枢動支持部143で互いに枢動可能に連結されている。
第1操作部材141の第1端141aには、第1持ち手144が設けられている。本体部131には、第1操作部材141の動きを案内するスロット131aが設けられている。第1操作部材141の第2端141bは、スロット131aを通して第3部材132に連結されている。第1操作部材141と同様に、第2操作部材142の第1端142aには、第2持ち手145が設けられている。第2操作部材142の第2端142bは、スロット131aを通して第4部材133に連結されている。ユーザが第1持ち手144および第2持ち手145を持って操作部124を閉じていく(すなわち、第1持ち手144と第2持ち手145とを互いに近づけていく)と、第1操作部材141の第2端141bと第2操作部材142の第2端142bとが互いに近づき、これに伴い、第3部材132および第4部材133が閉じていく(すなわち、第3部材132と第4部材133との間に保持されている物品Pに加わる保持力が強くなる)。
一方で、ユーザが操作部124を開いていく(すなわち、第1持ち手144と第2持ち手145とを互いに離していく)と、これに連動して第3部材132および第4部材133も開いていく(すなわち、第3部材132と第4部材133との間に保持されている物品Pに加わる保持力が弱くなる)。これら物品Pの保持力は、圧力センサ122により測定される。
記憶部114には、後述する模擬試験における保持部121の圧力センサ122および内部センサ123の検出結果が記憶される。なお、記憶部114は、第1の実施形態の記憶部114と同じでもよく、ハンドリング装置1とは異なる情報処理装置に設けられた記憶部でもよい。
初期値決定部113は、記憶部114に記憶された圧力センサ122および内部センサ123の検出結果に基づき、制御モデルM2の機械学習のための初期値を取得する。ここで言う「初期値」とは、例えば、予め用意された学習済みモデルである(以下、学習済みモデルであることを強調する場合には「初期値モデル」とも言う)。
初期値モデルM0は、測定モジュール112を用いた次のような模擬試験により得られる。この模擬試験では、ユーザの手によって測定モジュール112が操作され、測定モジュール112により物品Pが保持される。この模擬試験において、第3部材132と第4部材133との間に保持された物品Pがずれる(擦れ落ちる)ことをユーザが認識した場合、ユーザは、物品Pがずれないように、操作部124を閉じることで保持力を強める。逆に、第3部材132と第4部材133との間に保持されている物品Pに破損に繋がる変形が生じそうなことをユーザが認識した場合、ユーザは、物品Pに破損に繋がる変形が生じないように、操作部124を開くことで保持力を弱める。例えば、ユーザは、内部センサ123により検出される音をリアルタイムで聞きながら、上記操作を行う。このようにして、様々な物品Pの様々な保持状態に関して、内部センサ123の検出結果とこれに対応するユーザの操作とを記録することを繰り返すことで、内部センサ123の検出結果とユーザの操作との対応関係が多数得られる。また、扱い方が習熟されていない物体では、ユーザが物品Pを破損した場合と落下させた場合、一定時間把持に成功した場合それぞれの測定値を記録し初期値モデルの情報とする。
初期値決定部113は、このようにして収集された内部センサ123の検出結果とそれに応じたユーザの操作とを、初期値モデルM0として登録する。この初期値モデルM0は、ある音(ある振動)が保持部31で生じた場合に、保持部31が次にどのように動くべきか(例えば、保持力をどの程度強めるべきか、または保持力をどの程度弱めるべきか)を示す情報を含む。
なお、初期値モデルM0の導出には、圧力センサ122および内部センサ123の検出結果に加えて、画像センサ14、積載センサ15、圧力センサ33などの検出結果が入力情報として用いられてもよい。
本実施形態では、ハンドリング装置1の制御部16は、上記のようにして得られた初期値モデルM0を、制御モデルM2の初期値として使用する。そして、制御部16は、上述したような機械学習を通じて、初期値モデルM0を修正し、より優れた制御モデルを導出する。
また本実施形態では、上記初期値モデルM0を導く際に、アイトラッカー125を利用することができる。アイトラッカー125は、操作部124を扱っているユーザに装着され、ユーザの視線を測定する。アイトラッカー125が用いられると、ユーザが保持部121のどの部分を注視して保持部121および物品Pの状況を判定し、操作を行っているのかが分かる。これにより、画像センサ14および手先画像センサ126が取得する画像情報のなかで、人間であればどの部分を重点的に監視しているのかを知ることができる。すなわち、ユーザの視線が集中する領域を特定することで、画像センサ14および手先画像センサ126の画像において、変化の有無を監視するための対象領域がどこか、および、その対象領域の中のどういった変化を判断に用いているかを特定することができる。判断に重要でない画素を計算する必要がなくなり、計算負荷を抑えることができる。
本実施形態では、初期値決定部113は、アイトラッカー125を用いることで得られた監視すべき対象領域、および対象領域内で監視すべき変化の情報を初期値モデルM0の一部として取り込む。
このような構成によれば、ハンドリング装置1に人間の実際の動作を模擬させることができる。すなわち、本実施形態では、測定システム111を備える。このような測定システム111を用いると、人間が物品Pを把持する際の動作パターンを圧力センサ122から得ることができる。このようにして得られた動作パターンを利用して人間と同じような保持アルゴリズムを組み立て、ロボットの動作を人間の動作パターンに基づき制御することにより、人間と同じような感覚で動作する(すなわち、人間と同じような動きをすることが可能な)ハンドリング装置1が実現され得る。センサ情報に基づいて動作するロボット装置の動作は、一般的に、人間にとって必ずしも予測可能ではない。例えば、このようなロボット装置は、停止したように見えても急に動作したり、逆に動作すると予想しても動作しなかったりする。一方で、本実施形態のハンドリング装置1は、一般的なロボット装置と比較すると、高い予測性を有し得る。ハンドリング装置1に対して人間と同様のif-thenのアルゴリズムを与えることにより、人間と同じ感覚で動作するハンドリング装置1を実現することができる。
本実施形態では、測定システム111は、内部センサ123から出力された検出結果に基づき、保持装置13の制御に関する機械学習に用いる初期値を決定する初期値決定部113を有する。このような構成によれば、機械学習の初期値として、人間の経験的な処理アルゴリズムを採用することができる。これにより、単に実際の保持動作やタスクを繰り返して機械学習を行いながら最適なパラメータを探索する場合に比べて、検討すべき実験条件が低減され得る。使用するセンサの種類やアクチュエータの運動自由度が多い場合、膨大な実験条件組み合わせを検討して、初期値として用意し、膨大な実験回数をこなさなければならないが、これらのデータ分類や整理を完全に自動で行うことは実質的に困難である。一方で、本実施形態の構成によると、計算者がCPUの処理負荷を軽減するために閾値などを経験的に設定することを抑制し、ハンドリング装置1の汎用性をさらに向上させることが可能となる。
また、人間が未知の物品Pを安定して保持する際にどのような情報に対してどのような動作を行うのかを調べ、これを初期値として採用すれば、未知の物品Pを保持する場合であっても、類似の物品Pに対して同じアルゴリズムを適用することにより、保持および搬送の成功率が格段に上昇する。このような処理を行うことにより、ハンドリング装置1が様々な物品Pに対処することが可能となるので、個々の物品Pに対して精密な物理モデルを構築するよりも効率的かつ有効である。さらに、人間の操作に基づく初期値を出発点として、落下や変形などの判定を繰り返して逐次強化学習を行うことにより、人間と同様の保持方法だが人間よりも確実な保持方法のアルゴリズムを発見することも可能となる。
本実施形態では、測定システム111は、操作部124を操作している人間の視線を測定するアイトラッカー125を有する。このような構成によれば、把持時に人間がどこに着目して判断および把持を行っているかが明確になる。これにより、ロボットが物品Pの認識を行う際に、画像処理において注目すべき領域が明らかになるので、計算処理上の無駄が低減され得る。また、様々な物品Pおよび保持状態に対して視線情報を対応付けることにより、人間がどういう場合にどの部分に注目するのかを分類することが可能となる。
(変形例)
図15は、第5の実施形態の変形例を示す。本変形例のハンドリング装置1は、測定モジュール112に代えて、保持装置13に操作部124を取り付けることで、保持装置13を測定モジュール112として利用できるようにしている。操作部124は、第1部材42と第2部材43とのうち少なくとも一方を人間の手によって操作可能にする。このような構成によっても、第5の実施形態と同様に、初期値モデルM0を得ることができる。
(第6の実施形態)
次に、図16から図19を参照して、一つの参考形態について説明する。本参考形態は、第5の実施形態で説明した測定システム111によって得られるデータを用いることができるトレーニング装置151に関するものである。
図16は、本参考形態のトレーニング装置151を示す斜視図である。「トレーニング装置」とは、人間が筋力や筋持久力を向上させるトレーニングを行う際に用いられる装置を広く指す。なお、本願で言う「トレーニング」には、リハビリテーションも含まれる。
トレーニング装置151は、ベース152と、第1操作部153と、第2操作部154と、ディスプレイ155と、記憶部156と、情報処理部157とを有する。図17は、ディスプレイ155が取り外された状態のトレーニング装置151を示す斜視図である。ここで、「ベース」とは、少なくとも1つの他の構成要素の支持体として機能する任意の基材を言う。
ベース152は、第1操作部153、第2操作部154、およびディスプレイ155を支持する。ベース152は、板状の基部161および4本の連結部162を有する。連結部162は、基部161の上面161aの四隅から上方に突出している。連結部162は、ディスプレイ155の下面155aに結合されて基部161とディスプレイ155とを連結する。また、連結部162は、情報処理部157とディスプレイ155とが互いに情報をやり取りできるように情報処理部157とディスプレイ155とを電気的に接続する接続端子を有する。
第1操作部153は、基部161の上面161aの第1側に設けられている。第1操作部153は、第1固定部材153a、第1回転部材153b、および第1可動部材153cを有する。第1固定部材153aは、基部161に固定されている。第1固定部材153aの少なくとも一部は、基部161の側縁から図16の左側へ突出している。第1回転部材153bは、基部161の上面161aに対して平行な平面内で回転可能に、基部161の上面161aに取り付けられる。第1可動部材153cは、第1回転部材153bに固定されている。第1可動部材153cの少なくとも一部は、基部161の側縁から図16の左側へ突出している。これにより、図16に示すように、第1固定部材153aおよび第1可動部材153cの先端が基部161とディスプレイ155との間から図16の左側へ突出する。例えば、ユーザは、左手の親指を第1固定部材153a(手前側)に沿えるとともに左手の人差し指を第1可動部材153c(奥側)に沿えて、第1操作部153をつまむことができる。
外力が加えられていない状態では、第1可動部材153cは、第1固定部材153aと略平行になるように予め弱いばね153gで第1固定部材153aから離れる方向へ引かれて、ストッパー153hに突き当たった状態で配置される(以下、この配置を「初期配置」と言う。)。第1固定部材153aの方へ向かう力が第1可動部材153cに加えられると(すなわち、第1可動部材153cを第1固定部材153aに近づけるように第1可動部材153cに力が加えられると)、第1回転部材153bは、第1可動部材153cとともに回転することができる。第1回転部材153bは、第1電磁ブレーキ153dを有する。初期配置で第1電磁ブレーキ153bが作動すると、ユーザが第1可動部材153cに力を加えても、第1回転部材153bおよび第1可動部材153cは固定されて動かない。ユーザは、この状態で後述のつまみ動作を行う。第1電磁ブレーキ153bが解放される(作動停止)と、第1回転部材153bおよび第1可動部材153cの固定も解放される。この場合、ユーザが第1可動部材153cに力を加えると、第1可動部材153cは、第1固定部材153aの方向へと回転する。第1回転部材153bおよび第1可動部材153cを回転させた後に外力が取り除かれると、弱いばね153gによって、第1回転部材153bは、第1可動部材153cとともに逆方向に回転して初期配置に戻る。
第1固定部材153aおよび第1可動部材153cのうち少なくとも一方は、それぞれ圧力センサを有する。本実施形態では、第1固定部材153aの手前側の面および第1可動部材153cの奥側の面にそれぞれ圧力センサ153e,153fが設けられている。これらの圧力センサ153e,153fは、第1固定部材153aおよび第1可動部材153cに対してユーザが加えている圧力の大きさを測定することができる。
第2操作部154は、第1操作部153と同様の構成であり、基部161上で第1操作部153と左右対称になるように配置される。第2操作部154は、第2固定部材154a、第2回転部材154b、および第2可動部材154cを有し、これらはそれぞれ第1固定部材153a、第1回転部材153b、および第1可動部材153cに対応する。図16に示すように、第2固定部材154aおよび第2可動部材154cの先端が基部161とディスプレイ155との間から図16の右側へ突出する。例えば、ユーザは、右手の親指を第2固定部材154a(手前側)に沿えるとともに右手の人差し指を第2可動部材154c(奥側)に沿えて、第2操作部154をつまむことができる。
第1操作部153と同様に、外力が加えられていない状態では、第2可動部材154cは、第2固定部材154aと略平行になるように予め弱いばね154gで第1固定部材154aから離れる方向へ引かれて、ストッパー154hに突き当たった状態で配置される(この配置も併せて「初期配置」と言う。)。第2回転部材154bは、第1回転部材153bと同様に、第2電磁ブレーキ154dを有する。第1電磁ブレーキ153dと同様に、初期配置で第2電磁ブレーキ154bが作動すると、ユーザが第2可動部材154cに力を加えても、第2回転部材154bおよび第2可動部材154cは固定されて動かない。ユーザは、この状態で後述のつまみ動作を行う。第2電磁ブレーキ154bが解放されると、第2回転部材154bおよび第2可動部材154cの固定も解放される。この場合、ユーザが第2可動部材154cに力を加えると、第2可動部材154cは、第2固定部材154aの方向へと回転する。
第1操作部153と同様に、第2固定部材154aおよび第2可動部材154cのうち少なくとも一方は、それぞれ圧力センサを有する。本実施形態では、第2固定部材154aの手前側の面および第2可動部材154cの奥側の面にそれぞれ圧力センサ154e,154fが設けられている。
ディスプレイ155は、第1操作部153および第2操作部154の上方で、連結部162により基部161と連結される。後述するように、ディスプレイ155は、第1操作部153および第2操作部154の状態に応じて黒い円を表示する。
記憶部156は、トレーニング装置151において利用される情報を記憶する。例えば、記憶部156は、第5の実施形態で説明した測定システム111において得られた一連の人間の把持動作の測定結果(例えば、測定対象の物品P、圧力センサ122により検出された圧力値、および画像センサ14により検出された物品Pの画像データがリストアップされたデータベース)を記憶する。このようなデータベースは、測定システム111から出力され、トレーニング前に予めトレーニング装置151の記憶部156に記憶され得る。
情報処理部157は、第1操作部153、第2操作部154、およびディスプレイ155の状態に応じて、ディスプレイ155、第1電磁ブレーキ153d、および第2電磁ブレーキ154dを制御する。情報処理部157は、初期配置において、第1電磁ブレーキ153dおよび第2電磁ブレーキ154dを作動させる。これにより、第1電磁ブレーキ153dは、第1回転部材153bおよび第1可動部材153cが回転しないように固定する。また、第2電磁ブレーキ154dは、第2回転部材154bおよび第2可動部材154cが回転しないように固定する。情報処理部157は、圧力センサ153e,153f,154e,154fからの検出結果に基づきディスプレイ155の表示を変更する。例えば、情報処理部157は、第1操作部153の圧力センサ153e,153fにより圧力が検出された場合、ディスプレイ155の左側に小さな黒円が表示されるようにディスプレイ155を制御する。同様に、情報処理部157は、第2操作部154の圧力センサ154e,154fにより圧力が検出された場合、ディスプレイ155の右側に小さな黒円が表示されるようにディスプレイ155を制御する。情報処理部157は、第1操作部153の圧力センサ153e,153fにより検出される圧力の値が大きくなると、ディスプレイ155の左側に表示された黒円が大きくなるようにディスプレイ155を制御する。逆に、圧力センサ153e,153fの圧力の値が小さくなると、情報処理部157は、ディスプレイ155の左側の黒円が小さくなるようにディスプレイ155を制御する。同様に、第2操作部154の圧力センサ154e,154fの圧力の値が増加または減少すると、情報処理部157は、それに応じてディスプレイ155の右側の黒円が大きくまたは小さくなるようにディスプレイ155を制御する。例えば、黒円の直径は、圧力センサ153e,153f,154e,154fにより検出される圧力に対して略線形に変化してよい。
圧力センサ153e,153f,154e,154fの圧力の値が増加して、ディスプレイ155上で左側の黒円と右側の黒円が接触した場合、情報処理部157は、ディスプレイ155が暗転するようにディスプレイ155を制御する。これと略同時に、情報処理部157は、第1電磁ブレーキ153dおよび第2電磁ブレーキ154dを解放する(すなわち、ブレーキが作動していない状態にする)。これにより、第1回転部材153bおよび第1可動部材153cは、第1固定部材153aの方へ回転できるようになる。また、第2回転部材154bおよび第2可動部材154cは、第2固定部材154aの方へ回転できるようになる。
圧力センサ153e,153f,154e,154fの圧力の値と黒円の直径との関係(例えば、圧力の値と黒円の直径とが略線形関係にある場合、直線の傾き)は、例えば、情報処理部157への入力により適宜設定され得る。例えば、上記直線の傾きは、トレーニングを行うユーザの体力、筋力、トレーニングの目標などに応じて設定され得る。あるいは、画面を暗転させる(すなわち、左側の黒円と右側の黒円とを接触させる)ために必要な圧力センサ153e,153f,154e,154fの圧力閾値が入力されてもよい。この場合、検出された圧力が当該圧力閾値に達した場合に左側の黒円と右側の黒円とが接触するように、圧力センサ153e,153f,154e,154fの圧力の値と黒円の直径との関係が自動的に設定されてよい。また、情報処理部157は、黒円の生成からディスプレイ155の暗転までの工程(以下、「円潰しトレーニング」と言う。)が繰り返されるたびに、圧力の値と黒円の直径との関係を徐々に変更してもよい。例えば、情報処理部157は、円潰しトレーニングが繰り返されるたびに、圧力の値と黒円の直径とが略線形関係にある場合の直線の傾きを小さくしてもよい。この場合、ディスプレイ155を暗転させるためには、より大きな圧力が必要となる。
次に、図18および図19を参照して、トレーニング装置151の使用方法について説明する。図18は、使用時の各段階におけるトレーニング装置151のディスプレイ表示を図示する。図19は、トレーニング装置151によるトレーニングの流れを示すフローチャートである。
まず、ユーザは、左手で第1操作部153および右手で第2操作部154をつまむ(S501)。つまむ力が第1操作部153および第2操作部154に加わると、ディスプレイ155の左右に1つずつ小さな黒い円が表示される(S502、図18の段階(a))。次いで、ユーザがつまむ力を大きくしていくと(S503:YES)、それに応じてディスプレイ155上の円が大きくなる(S504、図18の段階(b))。例えば、ユーザが左手の力だけを大きくした場合は、ディスプレイ155の左側の円のみが大きくなる。また、ユーザがつまむ力を小さくした場合は、それに対応してディスプレイ155上の円も小さくなる。なお、ユーザがつまむ力を変化させない場合(S503:NO)、ディスプレイ155上の円の大きさも変化しない。ディスプレイ155上で左右の円が接触していない間(S505:NO)は、円の大きさはユーザのつまむ力の大きさに応じて変化し続ける。しかしながら、ユーザがつまむ力を大きくし続けて、ついに左右の円が接触すると(S505:YES、図18の段階(c))、ディスプレイ155が暗転する(S506、図18の段階(d))。略同時に、第1電磁ブレーキ153dおよび第2電磁ブレーキ154dが解放される。これにより、第1回転部材153bおよび第1可動部材153cが第1固定部材153aの方へ回転し、第2回転部材154bおよび第2可動部材154cが第2固定部材154aの方へ回転する。
上記構成は、トレーニング装置151における画面表示パターンの一例である。ここで、「画面表示パターン」とは、トレーニング装置151において、第1操作部153および第2操作部154に作用する力に応じてディスプレイ155に表示される一連の画面表示の流れを言う。例えば、このような画面表示パターンは、人間が様々な物品Pをどのように取り扱うかという情報に基づき設計され得る。このような情報は、例えば、第5の実施形態で説明した測定システム111により取得可能である。以下、測定システム111により取得されたユーザの操作情報に基づき画面表示パターンを生成する流れの一例について説明する。
情報処理部157は、記憶部156に記憶されたユーザの操作情報のデータベースを取り出す。例えば、データベースは、物品Pの種類、その物品Pに対して測定されたユーザの把持力(例えば、圧力センサ122により検出された圧力値)、画像センサ14により検出された物品Pの画像データなどの情報を含む。例えば、データベースでは、ある物品Pに対するユーザの一連の把持力に対して、物品Pが保持部121により保持されている状態を撮影した一連の画像データが対応付けられている。
例えば、情報処理部157は、このデータベースに基づき、画面表示パターンを生成することができる。例えば、情報処理部157は、圧力センサ153e,153f,154e,154fが圧力を検出した場合に、検出された圧力センサ153e,153f,154e,154fの圧力の平均値に最も近い圧力値をデータベース上で検索する。次いで、情報処理部157は、その圧力値に対応付けられた物品Pの画像データをディスプレイ155上に表示する。情報処理部157は、圧力センサ153e,153f,154e,154fにより検出される圧力が変化した場合、データベースに列挙された同じ物品Pに対する圧力値のうち、変化後の圧力の平均値に最も近い圧力値をデータベース上で検索する。次いで、情報処理部157は、その圧力値に対応付けられた物品Pの画像データをディスプレイ155上に表示する。このようにして、情報処理部157は、トレーニング中のユーザの把持力に対応する実際の物品Pの画像をディスプレイ155上に表示することができる。例えば、圧力センサ153e,153f,154e,154fの圧力が大きすぎる場合は、物品Pが変形しそうな画像がディスプレイ155上に表示される。例えば、情報処理部157は、圧力センサ153e,153f,154e,154fの圧力が小さすぎる場合は、物品Pが落下しそうな画像がディスプレイ155上に表示される。
情報処理部157は、ユーザのトレーニング目標値に合わせて、データベース内の物品Pを適宜選択することができる。「トレーニング目標値」とは、トレーニングを行うユーザの体力や筋力などを考慮して、ユーザの目標(例えば、筋力の増強、リハビリテーションなど)を達成するために設定される目標値である。例えば、トレーニング目標値は、握力の値として表される。例えば、情報処理部157は、トレーニング目標値が高い場合は、硬い物品Pや重い物品Pなどを選択する。情報処理部157は、トレーニング目標値が低い場合は、柔らかい物品Pや軽い物品Pなどを選択する。また、情報処理部157は、ユーザの操作情報のデータベースに基づき、ユーザのトレーニング中にトレーニング目標値を随時更新することができる。
なお、圧力データおよび画像データ以外にも、アイトラッカー125の検出結果などを利用して、様々な物品Pについて、ユーザが、物品Pのどこを見て、どれくらいの力で把持するか、および何をもって失敗/働きかけ終了を判定しているか、どのくらいの力で把持すると物品Pが変形するか、などをデータベース化することができる。これにより、上記以外にも様々な画像表示パターンを生成することができる。
このような構成によれば、トレーニングを行うユーザは、上記円潰しトレーニングの方法を自然に受容することができる。例えば、第1操作部153および第2操作部154に対してユーザが所定の閾値以上の大きさの力を加えた場合にディスプレイ155が暗転するようにトレーニング装置151が設定される場合に比べて、円潰しトレーニングはユーザに受け入れられやすかった。すなわち、円潰しトレーニングは、ユーザに興味を持たせ、自主的に繰り返しトレーニングを行わせることができた。また、円潰しトレーニングは、パターン化されているので、ユーザに同じ指示を与えて同じような運動をさせることができる。
また、円潰しトレーニングでは、ユーザに対して「円同士が接触するまで力を入れてください」、「円同士が接触したら力を抜いてください」、「もう一度やってみてください」などの詳細な言語指示がなくても、ユーザはトレーニング方法を容易に把握することができる。このため、ユーザの認知負担を軽減することができる。すなわち、ディスプレイ155に表示された視覚情報により、ユーザに負荷を掛けずに、ユーザの把持行動や把持強度をある程度の範囲でコントロールすることができる。
上記構成は、人間の感覚を利用したトレーニング装置と言える。すなわち、人間は、物品Pを視認して把持する際には、視覚や触覚、力覚などの情報に基づき、フィードバック系およびフィードフォワード系の認識処理を行って運動を実施している。人間が新しい環境下で新しい対象物とのやり取りのルールを覚える際には、過去の運動経験を参照してフィードフォワード系が強く働くと考えられる。フィードフォワード系の認識処理に利用されているメンタルモデルは、過去に個々人が脳内で強化学習して構築したモデルである。このモデルと実際の対象物の挙動とが異なるほど、人間は、驚きや恐怖、感動などの比較的強い印象を受け、メンタルモデルの更新を行う。しかしながら、大人は、子供に比べて、生きていく上で十分に多様なメンタルモデルを既に持っており、あまりにも目新しい刺激(すなわち、理解不能な刺激)に対して働きかけをやめてしまう傾向がある。このため、大人に対しては新しい運動の動機付けを行うのが困難である。しかしながら、この仕組みを逆手に取れば、シチュエーションや雰囲気、五感など人間の受容する情報をある程度意図的に設計してユーザに受容させることにより、既存のメンタルモデルを完成させるために必要な他の反応(例えば、「こうなるはず」といった条件付けされた生理的反応や、「前に見たことがある」、「触りたい」といった情動を伴う心理的反応)を引き出すことも可能であると考えられる。
円潰しトレーニングは、力に応じて円が大きくなるという風船のメタファを用いたメンタルモデルを利用している。一方、上記の測定システム111を用いて、円潰しトレーニングの風船のメタファ以外にも多数のメンタルモデルを生成することができる。これを利用すれば、トレーニング装置の利便性を向上させることができる。すなわち、上記モデルに従って、トレーニング目標値がユーザ(トレーニングを行う人)の運動力を僅かに下回るように、トレーニング目標値を適宜変更することができるトレーニング装置を提供することが可能となる。これにより、任意の大きさの力を入れる、力を抜いて休む、といった動作をユーザに繰り返し無理なく行わせることが可能となる。なお、トレーニング目標値の初期値は、トレーナーが設定した値でもよく、ユーザが発揮できる力に応じた値(例えば、ユーザが発揮できる力の60%)でもよい。上記トレーニング装置がリハビリテーション装置として利用される場合などには、トレーニング目標値の初期値は、理学療法士が指示する値でもよい。理学療法士が指示する値をトレーニング目標値の初期値に設定することにより、安全かつ効果的な運用が可能になる。なお、トレーニング目標値は、ユーザの状態などに応じて適宜変化してもよい。例えば、トレーニング目標値は、初期値から徐々に高くなっていく。
なお、第1部材42の形状および構造は上記例に限定されない。例えば、第1部材42は、略直方体状、略多角錐状、略円柱状など、物品Pを保持することができるものであれば任意の形状であってよい。また、第1部材42の表面は必ずしも平面でなくてもよく、任意の湾曲面であってもよい。物品Pの保持が容易になるように、第1面51に保持用の窪みや突起などが設けられてもよく、その他の任意の保持機構が設けられてもよい。さらに、第1部材42は、関節を有する把持部材であってもよい。
上述した実施形態および変形例において、制御部16の判定部81、駆動制御部83、学習部84、測定システム111の初期値決定部113、およびトレーニング装置151の情報処理部157は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)のようなプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、これら機能部の全部または一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェア(例えば、回路部;circuitry)により実現されてもよい。また、記憶部82,114,156は、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(read-only memory)、またはRAM(random access memory)などにより実現される。
以上説明した少なくともひとつの実施形態によれば、剛性部材の内部に振動を検出する内部センサが設けられていることにより、物品保持性能を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。