JP7301238B2 - ロボット制御装置 - Google Patents

Description

本開示は、ロボットを制御するロボット制御装置に関する。

従来のロボット制御装置では、例えばエンコーダから出力される位置情報に基づいて高精度な位置決め制御を行っていた。近年、ワークのロット変動等が要因で生じる位置決め誤差に対応するため、外界センサとしてビジョンセンサや力覚センサを活用したロボット制御が適用されている。このようなワークの位置決め精度の変動に対応する制御が提案されている一方で、外乱などの影響でセンサ検出信号の信号レベルが安定しないために高精度な制御が難しくなる場合がある。

このような課題に対し、特許文献１には、ビジョンセンサが出力する複数のデータを各データの信頼度に基づいて重み付け平均し、得られたデータを用いてマニピュレータの動作指令を修正することにより制御の高精度化を実現する技術が開示されている。

特開平７－２６６２７２号公報

センサによる計測結果を示すセンサ信号に基づいてロボットを動作させるロボット制御装置にあっては、センサ信号に基づいて自律的に行動を変化させることが期待される。ここで、特許文献１に記載の技術はセンサから時系列的に得られる複数のデータを重み付け平均するものであるが、複数のセンサをロボットシステム内に設置し、各センサが出力するデータ（センサ信号）を重み付け平均して制御に用いる場合も高精度な制御の実現が期待できる。ただし、同一種類の複数センサを用いる場合には、各センサが出力するセンサ信号のみに基づいて動作を制御すると安定して動作しない場合があった。たとえば、環境光の変化などの外乱によっては、センサ信号が全て正常に出力されなくなる場合がある。この場合、仮に特許文献１に記載のように複数のデータ（センサ信号）を重み付け平均した結果を用いてロボットの動作指令を修正したとしても、期待した動作が遂行できなくなり、誤った方向に動作することで周囲と干渉しシステムを破損することもある。システム破損を避けるため、ロボット動作を予め一律低速にすることで対応できるが、結果として作業が遅くなることによる生産効率の低下が問題であった。

本開示は、上記に鑑みてなされたものであって、センサ信号を活用したロボットシステムにおいてロボットの制御を高精度に行い、かつ、生産システムにおける生産効率を低下させずにロボット動作を実現するロボット制御装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示にかかるロボット制御装置は、ロボットの本体またはロボットの周辺環境に設置された外界センサによる計測結果を示すセンサ信号から得られる特徴量を入力し、特徴量の時間的な変化または空間的な変化に基づいてセンサ信号に対する信頼度を演算する信頼度演算部を備える。また、ロボット制御装置は、信頼度、および、特徴量に基づいて算出された補正情報に基づいて、ロボットの軌道を補正するための軌道補正量を演算する補正指令値演算部と、予め定められたロボットの目標軌道と、軌道補正量とに基づいてロボットに対する位置指令値を生成する指令値生成部と、を備える。

本開示にかかるロボット制御装置は、ロボットの制御の高精度化と、生産システムにおける生産効率の低下防止とを実現できる、という効果を奏する。

実施の形態１にかかるロボット制御装置を適用して実現されるロボットシステムの構成例を示す図 実施の形態１にかかるロボット制御装置の構成例を示す図 実施の形態１にかかるロボット制御装置の信頼度演算部の動作の一例を示すフローチャート 実施の形態１にかかるロボット制御装置の補正指令値演算部の動作の一例を示すフローチャート 実施の形態１にかかるロボット制御装置の指令値生成部の動作の一例を示すフローチャート 実施の形態１にかかるロボット制御装置が扱う特徴量の定義を説明するための第１の図 実施の形態１にかかるロボット制御装置が扱う特徴量の定義を説明するための第２の図 実施の形態１にかかる信頼度演算部が信頼度を計算する方法の第１の例を説明するための図 実施の形態１にかかる信頼度演算部が信頼度を計算する方法の第２の例を説明するための図 実施の形態１にかかるロボット制御装置が適用されるロボットシステムの具体例を示す図 図１０に示すロボットシステムにおけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図 実施の形態１にかかるロボットシステムの動作状況の一例を示す図 図１２に示す動作状況におけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図 ロボット制御装置を実現するハードウェアの一例を示す図 実施の形態３にかかるロボット制御装置の構成例を示す図 実施の形態３にかかるロボット制御装置の補正オーバーライド演算部の動作の一例を示すフローチャート 実施の形態３にかかるロボット制御装置の指令値生成部の動作の一例を示すフローチャート 実施の形態３にかかるロボットシステムの動作を説明するための図 図１８に示す動作状況におけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図 実施の形態４にかかるロボット制御装置の構成例を示す図 実施の形態４にかかるロボット制御装置の実動作を説明するための図 図２１に示す動作状況におけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図 実施の形態５にかかるロボット制御装置の構成例を示す図 実施の形態５にかかるロボット制御装置の特徴量抽出部の動作の一例を示すフローチャート 実施の形態６にかかるロボット制御装置の指令値生成部の動作の一例を示すフローチャート 実施の形態６にかかるロボットシステムの動作を説明するための図 図２６に示す動作状況におけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図 実施の形態６にかかるロボット制御装置が扱う特徴量を説明するための図 ＲＧＢ画像の特徴量から第２の特徴量を抽出する方法を説明するための図 実施の形態７にかかるロボット制御装置の構成例を示す図 実施の形態８にかかるロボット制御装置の構成例を示す図 実施の形態８にかかるロボット制御装置の学習部の構成例を示す図 実施の形態９にかかるロボット制御装置の構成例を示す図 実施の形態９にかかるロボット制御装置の学習部の構成例を示す図

以下に、本開示の実施の形態にかかるロボット制御装置を図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１にかかるロボット制御装置１を適用して実現されるロボットシステム１００の構成例を示す図である。

ロボットシステム１００は、ロボット制御装置１と、ロボット２と、外界センサ３と、センサコントローラ４とを備える。なお、ロボットシステム１００の構成は従来のロボットシステムと同様である。すなわち、ロボットシステム１００は従来のロボットシステムのロボット制御装置を後述する本実施の形態にかかるロボット制御装置１に置き換えた構成である。

ロボット制御装置１は、ロボット２の本体と接続され、ロボット２に対する制御指令値を演算し、ロボット２内の図示を省略しているドライバユニットを介してモータに電流値を送って駆動している。ロボット２に対する制御指令値としては、位置指令値、速度指令値、加速度指令値とも称されるトルク指令値、などがある。ドライバユニットは、これらの制御指令値に基づいて、モータに出力すべきモータ電流値を演算する。図１に示す例ではロボット２に対する制御指令値を位置指令値１００９としている。以下においても、制御指令値が一般的な産業用ロボットコントローラの制御指令値の一つである位置指令値である場合の例について説明する。

ここで、外界センサ３をロボット２の本体あるいは周辺環境に複数備えることで、ロボットシステムの周辺で生じる周辺環境の変化に応じてロボットを動作させることが可能となる。外界センサ３の例としては、ビジョンセンサ、モーショントラッカ、力覚センサ、触覚センサ、近接覚センサ、などが挙げられる。これらの外界センサ３を用いて作業対象物である認識対象を計測し、計測結果に基づいて演算された特徴量に基づいて指令値（本実施の形態では位置指令値）を生成あるいは修正して行う制御は、外界センサに基づく制御方式である。

以下、実施の形態１にかかるロボット制御装置１によるロボットの制御動作について、解決しようとする課題とともに詳しく説明する。

まず、課題について説明する。信号処理あるいは情報処理された認識結果に基づいてロボットを動作させるロボット制御にあっては、上述したように、複数のセンサを利用することがあるが、同一種類の複数センサを用いた制御系では「いずれかが１つは安定して動作する」ことが暗黙の前提となっており、不測の状態に対する制御系設計が従来の課題であった。また、異種の複数センサを利用する場合には、フィードバック制御を複数センサそれぞれに対して独立に設計することが主であり、作業状態に応じて複数センサを切り替えながらロボット制御を行う設計ができていなかった。

たとえば、環境光の変化などの外乱によっては、センサによる計測結果を示すセンサ信号に著しい変化が生じ、その結果として、センサ信号の特徴量が正常に出力されなくなる場合がある。すなわち、異常な値を示すセンサ信号がセンサから出力される場合がある。正常に出力されない場合とは、たとえば、制御対象のロボットは緩やかに移動しているのにもかかわらずセンサ信号を信号処理して得られる特徴量が示す目標地点が突然大きく変化する場合、特徴量が出力されなくなる場合、誤って認識している複数の目標地点候補の中の幾つかの目標地点候補を、目標地点の出力するタイミングごとに違う目標地点を出力する場合、などがある。

この場合、複数のセンサ信号を特許文献１に記載のような方法で重み付け平均した結果をロボット制御で使用しても、必ずしも期待した動作が行われない場合がある。すなわち、センサ信号が示す計測結果あるいは計測結果の特徴量の確からしさを「信頼度」として定義する場合、信頼度が低下している場合には、次の２つの状態をとる。１つ目の状態は「複数センサで構成されているシステムの場合、適切なセンサ出力を選択すればロボットの動作が継続可能な場合」であり、２つ目の状態は「想定しているセンサ信号レベルあるいは特徴量抽出レベルを下回り、指令値が著しく変動することでロボットが暴走状態となり、継続して動作すると作業失敗を引き起こしてしまうリスクを伴う場合」である。これまでのロボット制御は、上記の２つの状態のいずれかとなった場合に自動的に制御出力を調整できる枠組みが無かった。

図２は、実施の形態１にかかるロボット制御装置１の構成例を示す図である。なお、図２では、ロボット制御装置１が制御するロボット２についても併せて記載している。

ロボット制御装置１は、信頼度演算部１１、補正指令値演算部１２、指令値生成部１３および目標軌道保持部１４を備える。

信頼度演算部１１は、図１に示す外界センサ３が出力するセンサ信号をセンサコントローラ４が分析して得られる特徴量１００５を入力とし、入力された特徴量１００５の変化量に基づいて、センサ信号の信頼度Pcを計算する。なお、センサ信号は図１に示す信号１００１に相当する。また、特徴量１００５は図１に示すセンサコントローラ４の出力情報１００２に含まれる。信頼度演算部１１は、計算した信頼度Pcを信頼度１００６として補正指令値演算部１２に出力する。

補正指令値演算部１２は、信頼度１００６および上記特徴量１００５を基にセンサコントローラ４で算出された補正情報１００３を入力とし、入力された各情報に基づいて、ロボット２の軌道を補正するための軌道補正量を計算する。なお、補正情報１００３は図１に示すセンサコントローラ４の出力情報１００２に含まれる。補正指令値演算部１２は、計算した軌道補正量１００４を指令値生成部１３に出力する。

指令値生成部１３は、軌道補正量１００４、事前にプログラミングされた目標軌道を保持する目標軌道保持部１４が出力する目標軌道１００８、およびロボット２が出力するロボット２の位置情報１０１０を入力として、入力された各情報に基づいてロボット２に対する位置指令値を生成する。目標軌道１００８は、プログラミングによって予め定められたロボット２の軌道を示す。軌道とは、３次元上のある時刻tのロボット位置指令値を一定の時間幅Δt刻みで表現したもののデータ群を表す。目標軌道の情報の一部がある時刻の位置指令値である。なお、位置情報１０１０は、ロボット２が有する内界センサによって生成される。指令値生成部１３は、生成した位置指令値１００９をロボット２に出力する。

ここで、本実施の形態では、１つ以上の外界センサ３から出力される各センサ信号をセンサコントローラ４が信号処理して各センサ信号に対応する特徴量１００５および補正情報１００３を得る構成としているが、特徴量１００５および補正情報１００３を得るための信号処理をロボット制御装置１が行う構成としてもよい。この場合の構成については別の実施の形態として後述する。

以下、ロボット制御装置１の信頼度演算部１１、補正指令値演算部１２および指令値生成部１３が行う処理について説明する。

図３は、実施の形態１にかかるロボット制御装置１の信頼度演算部１１の動作の一例を示すフローチャートである。

信頼度演算部１１は、図３に示すように、センサコントローラ４から出力される特徴量１００５（以下、特徴量Vkと記載する場合がある）を取得し（ステップＳ１１）、特徴量Vkに基づいて信頼度Pcを算出する（ステップＳ１２）。そして、信頼度演算部１１は、算出した信頼度Pcを補正指令値演算部１２に出力する（ステップＳ１３）。

ここで、信頼度Pcは、０から１までの範囲の実数で定義される。特徴量Vkと信頼度Pcの詳細については後述するが、特徴量Vkは、ある外界センサSENk（k=1,2,…）が時刻tにおいて出力するセンサ信号Sk(t)を入力とし、センサ信号Sk(t)を定められた変換処理により数値化して表現されたスカラ量である特徴量Vk(t)、または、特徴量ベクトルVec＿Vk(t)を用いて計算されるものである。時刻tに関する特徴量Vkの遷移である時系列情報としての特徴量Vk(t)、空間に基づく特徴量Vk(X)、あるいは、時間および空間に関して変化する特徴量Vk(t,X)があるときに、信頼度演算部１１は、事前に予測されるモデルや仮定に基づいて、例えば期待される変化の上限Vthを用いて、上限Vthを超える特徴量Vkの変化の有無、特徴量Vkと上限Vthとの大小関係などに基づいて、期待されている上限Vthからの逸脱を指標化して信頼度Pcを算出する。特徴量Vkおよび信頼度Pcの詳細については後述する。

なお、以下の説明では、時刻を考慮することなく外界センサSENkが出力するセンサ信号を表現する場合はセンサ信号をSkと表現し、また、外界センサSENkが出力するセンサ信号（Sk）についての信頼度をPc(k)と表現する。

図４は、実施の形態１にかかるロボット制御装置１の補正指令値演算部１２の動作の一例を示すフローチャートである。

補正指令値演算部１２は、図４に示すように、センサコントローラ４から出力される補正情報１００３および信頼度演算部１１から出力される信頼度１００６（Pc(k)）を取得し（ステップＳ２１）、補正情報１００３および信頼度１００６に基づいて軌道補正量１００４を算出する（ステップＳ２２）。そして、補正指令値演算部１２は、算出した軌道補正量１００４を指令値生成部１３に出力する（ステップＳ２３）。

ステップＳ２２において、補正指令値演算部１２は、各外界センサ３が出力するセンサ信号Skに基づく補正情報１００３（補正情報ΔXck）を信頼度Pc(k)によって重み付けして補正係数を求め、この補正係数を用いて軌道補正量１００４を算出する。補正指令値演算部１２は、例えば、補正係数Ck（k=1,2,…）として、下記の式（１）および式（２）に基づいて軌道補正量ΔXdを計算する。式（２）における「fnc」は信頼度Pc(k)から補正係数Ckを求める関数を示す。式（１）では補正係数Ckと補正情報ΔXckの積を各センサ毎の軌道補正量の要素として算出し、センサ全体として和を取って出力する。

ΔXd ＝ Σ（Ck・ΔXck） …（１）
Ck ＝ fnc(Pc(k)) …（２）

なお、さらに目標軌道を補正指令値演算部１２に入力する構成も可能である。この場合、軌道補正量ΔXdに対して上限値や補正方向を限定することが可能となる。例えば、基準になる位置指令値Xdを入力として、軌道補正量ΔXdの上限値ΔXdlimや補正対象とする方向を限定することができる。具体的には、目標軌道に鉛直な向きのみに補正をかける場合や、ロボットツール座標系に対してX,Y,ZあるいはXYZ軸回りの姿勢A,B,Cのうち１つ以上を選択してその方向のみに補正をかける場合がある。

図５は、実施の形態１にかかるロボット制御装置１の指令値生成部１３の動作の一例を示すフローチャートである。

指令値生成部１３は、図５に示すように、目標軌道保持部１４から出力される目標軌道１００８および補正指令値演算部１２から出力される軌道補正量１００４（ΔXd）を取得し（ステップＳ３１）、目標軌道１００８および軌道補正量１００４に基づいて指令値を生成する（ステップＳ３２）。指令値生成部１３は、生成した指令値をロボット２に出力する（ステップＳ３３）。ここでは、指令値生成部１３は指令値として位置指令値１００９を生成する。

ステップＳ３２において、指令値生成部１３は、例えば、時刻tにおける指令値Xout(t)、軌道補正量をΔXd(t)、目標軌道をXd(t)とすると、下記の式（３）に従って指令値を生成する。

Xout(t)＝Xd(t)＋ΔXd(t) …（３）

指令値生成部１３は、目標軌道Xd(t)の補正情報（ここでは軌道補正量ΔXd）が入力されなければ、元の目標軌道Xd(t)を指令値Xout(t)として出力してロボット２を動作させる。

また、指令値生成部１３は、別の形態として、これまでの補正量を積分した形式としてΣΔXd(t)を用いて、下記の式（４）に従って指令値を生成することも可能である。

Xout(t)＝Xd(t)＋ΣΔXd(t) …（４）

指令値Xoutの実現方法は、目標軌道Xd(t)および軌道補正量ΔXd(t)を用いている限り特に上記の式（３）または式（４）に示す内容に限定されるものではない。

なお、目標軌道１００８はすべて事前に与えられている形で表現しているが、ロボット制御装置１の動作中にある起点Xsと終点Xeに対してオンラインで目標軌道を再計算する場合についても同様に適用できる。すなわち、目標軌道Xd(t)はロボット制御装置１の動作途中に更新することがある。また、ロボット制御装置１は、指令値生成部１３に入力される目標軌道１００８が指令値１回分（目標軌道を表す一連の位置指令値のうち、現在実行中の位置指令値Xd(t)の次の位置指令値Xd(t+1)）などであっても同様に適用できる。

以下、本実施の形態の構成を説明するために、特徴量Vkおよび信頼度Pcの定義について説明する。

外界センサ３が出力するセンサ信号に基づく制御は、まず外界センサ３の計測結果（センサ信号）を用いて信号処理あるいは情報処理を実行して、特徴量を得る。特徴量は、外界センサ３の種類だけ多様な形態があるが、時刻tにおいて、ある外界センサSENk（k=1,2,…）のセンサ信号Sk(t)を変換処理し、特徴量として数値化して表現されたスカラ量Vk(t)あるいはベクトル量vec＿Vk(t)を用いて計算される、という点は共通している。ベクトル量vec＿Vk(t)は、１つの特徴量を取り扱う際に、さらに複数の独立した物理量に変換して表現できる場合に用いる。例えば、色味（ＲＧＢ）と輝度（明暗）などを１つの画素に対して定義する場合、特徴量をベクトル量vec＿Vk(t)として取り扱うものとする。

このとき、図６に示すように、時系列に特徴量Vkを評価する場合、t=taをデータ収集開始点として、Vk(t=ta+i)(i=1,2,3,…)としてデータを取得していく。また、空間として特徴量Vkを評価する場合、図７に示すように、Vk(t=ta,[x,y,za])という形式で表現する。変数としては、時間情報tと地点情報[x,y,z]が含まれている。この場合、地点情報z=zaは固定値である。また、x,yについては、センサ座標系上にセンサ要素が配列され、x方向とy方向にセンサが格子状に配置されている場合を表現している。特徴量Vkとしては、例えば４８０×６４０の画素数で表現されるビジョンセンサの各画素における色情報、輝度情報などを例示できる。同一時刻t=taにおいて空間として地点Xaにおける特徴量をVk(ta,Xa)とするときに地点Xaを複数点同時に評価する。さらに、地点Xaが空間的に広がっているものを時系列で捉えた場合がある。なお、地点情報にさらに空間における姿勢情報としてオイラー角やクオータニオンなどを追加した構成としてもよい。

特徴量としては、他にも、外界センサSENkの電気信号を変換して物理量と等価な特徴量Vk(t)として表現できる。例えば、ひずみゲージに流れる電流変化を力の値と等価とする処理などがあげられる。物理量としては、距離、加速度、速度、回転速度、ひずみ量、軸力、モーメントなどがあげられる。これらの物理量は、取得した物理量を事前に設定した閾値と比較したり、取得した物理量と物理量の目標値との差分によりＰＩＤ（Proportional Integral Differential）制御をかけたり、といった使い方ができる。ほかにも、これらの物理量を時刻t0からt1までの一定サンプル分（すなわちVk(t)、t0≦t≦t1）取り出し、機械学習等を用い、これを波形パターンあるいは波形特徴量として新しい特徴量として抽出しなおす方法もある。一定範囲の情報量を使った別の特徴量として、時刻t0にカメラ等で取得した一定範囲の画素Vk(t0,[jx,jy])の集合（すなわち、面として広がりをもつ画像情報Vk(t0,[jx,jy])、0≦jx≦480、0≦jy≦640）を入力として、画像処理して得られる認識対象の輪郭線、位置、あるいは事前に生成したリスト内の対象と認識対象との類似度、といったものがある。

特徴量Vkは、ロボット制御装置１において、「外界センサ３に映り込んだ対象物は、目的とする対象物か否か（識別）」、「外界センサ３の座標系に対して、対象物の存在する位置はどこか（認識、位置推定）」、「対象物の目標状態と現在状態との差異および差分の計算または抽出、差異または差分の計算または抽出（認識、差分抽出）」という目的のために用いられる。

特徴量Vkは、目標とする特徴量Vdとの差異を認識し、ロボットのフィードバック制御を目的として使われることがある。特徴量Vkは、加速度センサまたは力覚センサのようにキャリブレーション処理を実施の後にはセンサ信号Sk(t)が物理量となる場合は、直接その物理量が所望の値になるようなフィードバック制御に用いられる。

一方で、センサ信号から抽出した特徴量である第１の特徴量から第２の特徴量をさらに抽出し、第２の特徴量を使用して処理を行う場合がある。例えば、センサ信号から抽出した画像情報のように、第１の特徴量（画像情報）そのもののデータではなく、第１の特徴量を入力としてさらに画像情報中の輪郭を抽出するエッジ抽出処理、対象物体の方向を抽出し画像情報の主成分分析処理など、データ処理を通じて得られる位置、方向などの情報を使う場合がある。これは、第１の特徴量から第２の特徴量を抽出することに相当する。第２の特徴量を用いて判定処理、フィードバック制御などを行うこともある。

また、第２の特徴量の抽出においては、時系列データの一部を切り出して波形のパターンとして学習したり、膨大な事前データから教師あり機械学習を利用して目標状態を獲得したりするなど、様々な手法を適用してよい。

ここで、作業対象物を目的位置に遷移させるために用いる特徴量から生成される補正情報について説明する。本実施の形態においては、ロボット２と作業対象物の作用力に基づくロボット手先の位置の補正量を、補正情報１００３として例示できる。具体的には、６自由度の力センサから出力される計測量S1(sk,k=1)を力またはトルクの単位［ＮまたはＮｍ］にキャリブレーションした後の出力である力センサ出力の時刻Tの値を特徴量V1(T)とする。このとき、ロボットエンドエフェクタに力が過剰にかからない制御を行うために、力の目標値を特徴量の目標値Vdとして、特徴量V1(T)に基づいてロボット手先の位置の補正量ΔXckを定義することができる。以上の定義に基づいて、適当な係数K1と置くと、下記の式（５）に従って特徴量V1(T)から補正量ΔXck(T)を求めることができる。

ΔXck(T)＝K1・(Vd－V1(T)) …（５）

ここでは、この補正量ΔXck(T)は位置補正量（補正情報１００３の一形態）となっている。ほかにも、補正量ΔXck(T)として、速度補正量、加速度補正量、加加速度補正量といった補正量が特徴量Vkに基づいて計算される。

なお、本明細書において目的位置などの「位置」という表現が意味しているのは、位置が３自由度および姿勢が３自由度の合計６自由度の３次元空間自由度のことであり、ロボット座標系Σrobに対するX,Y,Zの並進方向の位置とX,Y,Zの軸回りの回転によって一意に定まるロボット先端部の位置情報および姿勢情報と等価である。他にも外界センサ３に基づいて、認識対象の移動速度、認識対象の移動加速度、ロボット２と外部との接触状態に応じて発生する力（作用力）、ロボット手先位置と認識対象の相対距離、相対位置、相対速度、相対加速度、といったものが挙げられる。その場合も、速度情報や加速度情報も同様に、回転速度や回転加速度は省略した表現となり、実際には、並進方向３自由度と回転方向３自由度の合計６自由度を取り扱う。

次に、特徴量に基づいて信頼度を計算する方法について説明する。

外界センサSENk（k=1,2,…）の出力であるセンサ信号Skで得られる特徴量Vk（k=1,2,…）について、その特徴量Vkの時間t（t=1,2,…）的、あるいは、空間X（X=[x,y,z]）的に違う特徴量Vk（t,X=[x,y,z]）に対して、その２つ以上の特徴量の相関情報に基づいて、各センサ信号Sk（k=1,2,…）に基づく特徴量Vk（k=1,2,3,…）に対する信頼度Pcを定義する。

信頼度Pcは、時間tおよび空間Xに関連付けて定義された特徴量Vkがあるときに、事前に予測されるモデルおよび仮定に基づいて期待される変化の上限を超えるVkの変化の有無に基づいて定義される。信頼度Pcは、特徴量Vkのタイプごとに計算方法が異なるため、タイプごと分けて説明する。

まず、特徴量Vkが時系列で取り扱われる「Vk(t)」の場合の信頼度Pcの計算方法について説明する。図８は、実施の形態１にかかる信頼度演算部１１が信頼度Pcを計算する方法の第１の例を説明するための図である。

図８に示すように、特徴量Vkが時系列の情報Vk(t,[xa,ya,za]）である場合、信頼度Pcは、ある時刻taの特徴量Vk(ta)に対する過去履歴であるVk(ta-i)（i=1,2,3,…）に基づいて求められる。具体的には、信頼度Pcは、今回の特徴量Vk(ta)の時間あたりの変化量が変化量の上限値ΔVthを超えるか否かに基づいて求められる。別の方法として、信頼度Pcは、上限値ΔVthと、特徴量Vkの一定時間幅Tの履歴の平均値（すなわち移動平均）とを用いて、特徴量Vkの移動平均が上限値ΔVthを超えるか否かに基づいて求めることもできる。また、上限値ΔVthは、直前の値との直接比較、すなわち、時間的に隣り合った２つの特徴量Vkの差に対する上限としても定義できる。ここで、図８に表す例では、信頼度Pcを下記の式（６）および式（７）で表現することができる。

Pc＝［｛Vk(t)－Vk(t-1)｝/Δt－ΔVth］ if｛Vk(t)－Vk(t-1)｝／Δt＞ΔVth …（６）
Pc＝１ if｛Vk(t)－Vk(t-1)｝／Δt≦ΔVth …（７）

次に、特徴量Vkが空間的に取り扱われる「Vk（ta,[x,y,za]）」である場合の信頼度Pcの計算方法について説明する。

特徴量Vkが空間的情報Vk（ta,[x,y,za]）である場合、信頼度Pcは、ある時刻taのＸ，Ｙ方向に面上に広がりを持つ空間のある地点[x,y,za]（ex. x=1,2,3,…、y=1,2,3,…、z=za(固定)）の空間的情報Vk（ta,[x,y,za]）に基づいて、空間上のVk(t,[x,y,z])の分布がどうであるかを評価するものである。時系列の特徴量Vkのみに注目しているときに比べると、空間的にとらえている場合の方が情報量が多く、特徴量Vk(ta,[x,y,za])の一定量の計算範囲を探索すると「空間中の対象が移動している」あるいは「突然何かが作業対象物の前に現れている」ということが判別可能となる。一例として、ＲＧＢカメラを用いて得られる画像が空間的に取り扱われる特徴量Vkに相当する。この他にも、格子状にセンサを配置したセンサアレイから得られるセンサ信号も同様のことがいえる。

このような特徴量Vk(t,[x,y,z])は情報量が多いので、より低次元で制御しやすい第２の特徴量Vk2に変換してから信頼度Pcを計算することがある。この場合の信頼度演算部１１の動作について図９を用いて説明する。図９は、実施の形態１にかかる信頼度演算部１１が信頼度Pcを計算する方法の第２の例を説明するための図である。図９に示す例では、信頼度演算部１１は、ある地点X1とこれに隣り合った地点X2に関する情報から、第２の特徴量Vk2(t,[X1,X2])を生成する。図９の例では、第２の特徴量Vk2として勾配情報「grad x」および「grad y」が得られるとする。「grad x」は、ｘ軸方向での特徴量Vkの勾配を示し、「grad y」は、ｙ軸方向での第１の特徴量Vkの勾配を示す。勾配情報は、空間的に隣り合った上記の特徴量Vkの差に基づいて計算される。図９の例の場合は、(x,y)=(3,3)において特徴量Vkが非常に小さい値となっている。このとき、例えば、「近傍空間においてVkについては急峻な変化は無い」という前提がある場合には、以下に示す方法で信頼度を求めることができる。

ここでは、一定の計算範囲を定義して信頼度を計算する場合の例を説明する。以下では、図９に示すx1からx2およびy1からy2の範囲を[(x1,x2),(y1,y2)]と表現する。この場合、この範囲の信頼度は下記の式（８）で表現される。

Pc[(x1,x2),(y1,y2)]＝1-max(grad x,grad y,[(x1,x2),(y1,y2)]) …（８）

式（８）で表現される信頼度の計算では、図９に示す太い線で囲んだ枠内の[grad x]，[grad y]を入力として、入力された合計４つの勾配の中から値が最大の勾配を探し、勾配の最大値に基づいて、勾配が大きいほど信頼度が低くなるようにしている。ここでの勾配とは、空間的に隣り合った２つの特徴量の間の変化量を意味する。図９に示す例では、(x,y)=(3,3)における特徴量Vkが周辺よりも小さく、また、(x,y)=(3,3)以外の地点における特徴量Vkは同じである。また、(x,y)=(3,3)における特徴量Vkとこれに隣り合った各地点における特徴量Vkとの勾配は、すべて０．７である。そのため、(x,y)=(3,3)が含まれない範囲ではPc[(x1,x2),(y1,y2)]＝１．０となり、(x,y)=(3,3)が含まれる範囲ではPc[(x1,x2),(y1,y2)]＝０．３となる。例えば、図９に示すように、範囲[(1,2),(1,2)]の信頼度はPc[(1,2),(1,2)]＝１．０であり、範囲[(3,4),(3,4)]の信頼度はPc[(3,4),(3,4)]＝０．３である。

以上のように、特徴量Vkは外界センサ３が出力するセンサ信号Skを物理量などの数値演算可能な情報に変換したものを総称したもので定義している。また、時系列または空間に基づく特徴量Vkがある場合、事前に予測されるモデルまたは仮定に基づいて、例えば期待される変化の上限Vthに基づき、それを超えるVkの変化の有無、VthとVkの大小関係などから信頼度Pcが計算される。

このように定義される信頼度Pcは、次の点で上記の特許文献１に記載の技術で使用されている従来の信頼度と比較して優れている。従来の信頼度は、センサからの出力データあるいは距離情報としての特徴量に関して、その出力の確からしさを「出力の絶対量」を利用して、それを直接信頼度として定義している。一方、本実施の形態にかかるロボットシステム１００で使用する信頼度Pcは、センサ出力であるセンサ信号Skを特徴量Vkに変換した上で、前後の時系列や空間的な変化に基づいて定義している。この違いがあるため、本実施の形態にかかるロボット制御装置１は、時間的に過去の履歴である特徴量Vk(t)および近傍空間の特徴量Vk(X)の一方または双方を考慮してロボット２の制御を高精度に行うことが可能となる。

一例として、図１０に示す構成のロボットの制御について説明する。図１０は、実施の形態１にかかるロボット制御装置１が適用されるロボットシステムの具体例を示す図である。図１０に示すロボットシステムは、組み立て操作を行うロボットを含み、外界センサとして、力覚センサ２０１と、ビジョンセンサ２０２－１および２０２－２とが設置されている。このようなロボットシステムにおいて、ロボット制御装置１がロボットを制御して、エンドエフェクタが把持した作業対象物である物体３００を位置３０１まで移動させるものとする。このとき、ロボットの本体に設置されたビジョンセンサ２０２－１は、視野２０３－１の範囲を撮影し、撮影結果をセンサ信号として出力している。このロボットシステムにおいて、ロボット制御装置１は、ビジョンセンサ２０２－１が出力するセンサ信号から算出される補正情報Ａと目標軌道に基づいて、図１１に示すようにエンドエフェクタを移動させる。図１１は、図１０に示すロボットシステムにおけるロボットの目標軌道と実軌道と補正情報との関係の一例を示す図である。

このとき、図１２に示すような環境中へ異物または人などが障害物として侵入した場合、ロボット制御装置１は、特徴量Vkの信頼度Pcに基づいて障害物を検出し、状況に応じた行動をとる。例えば、ロボット制御装置１は、図９を用いて説明したような信頼度を算出する場合、ある地点の信頼度が周辺の信頼度よりも低い場合、信頼度が低い地点を避けるようにロボットを制御する。例えば、ロボット制御装置１は、エンドエフェクタの軌道を修正する、移動速度を変更する、移動を一時的に停止させる、などの制御をロボット２に対して実施する。このときのエンドエフェクタの目標軌道と実際の軌道（実軌道）の関係は図１３に示すものとなる。これにより、ロボット２および物体３００と障害物との衝突が発生するなどしてロボットシステム１００が破損してしまうのを防止できる。また、ロボットシステム１００の破損を防止できることにより、長時間にわたってラインが停止する事態となるのを回避でき、ラインの停止時間の低減を実現することができる。

ここで、実施の形態１にかかるロボット制御装置１のハードウェア構成について説明する。図１４は、ロボット制御装置１を実現するハードウェアの一例を示す図である。

ロボット制御装置１は、例えば、図１４に示す演算装置１０１、記憶装置１０２およびインタフェース回路１０３により実現することができる。演算装置１０１の例は、ＣＰＵ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）、システムＬＳＩ（Large Scale Integration）などである。記憶装置１０２の例は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、着脱可能なメモリデバイス、またはこれらを組み合わせたものである。

ロボット制御装置１の信頼度演算部１１、補正指令値演算部１２および指令値生成部１３は、これらの各部として動作するためのプログラムを演算装置１０１が実行することにより実現される。信頼度演算部１１、補正指令値演算部１２および指令値生成部１３として動作するためのプログラムは記憶装置１０２に予め格納されている。演算装置１０１は、上記のプログラムを記憶装置１０２から読み出して実行することにより、信頼度演算部１１、補正指令値演算部１２および指令値生成部１３として動作する。また、目標軌道保持部１４は記憶装置１０２により実現される。

記憶装置１０２は、上記のプログラムを保持するとともに、演算装置１０１が各種処理を実行する際の一時メモリとしても使用される。インタフェース回路１０３は、ロボット制御装置１がロボット２およびセンサコントローラ４との間でデータを送受信する際に使用される。

なお、ロボット制御装置１の各部として動作するための上記のプログラムは記憶装置１０２に予め格納されているものとしたがこれに限定されない。上記のプログラムは、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭなどの記録媒体に書き込まれた状態でユーザに供給され、ユーザが記憶装置１０２にインストールする形態であってもよい。また、上記のプログラムは、インターネットなどのネットワークを介してユーザに提供される形態であってもよい。ロボット制御装置１を実現するハードウェアの例について説明したが、後述する実施の形態２以降で説明する各ロボット制御装置も同様のハードウェアで実現することができる。

実施の形態２．
つづいて、実施の形態２にかかるロボット制御装置について説明する。実施の形態２にかかるロボット制御装置の構成は実施の形態１と同様である（図２参照）。本実施の形態では実施の形態１と異なる部分について説明する。

実施の形態２にかかるロボット制御装置１においては、実施の形態１で説明した信頼度演算部１１が、２つ以上の外界センサ３のセンサ信号から得られる２つ以上の特徴量１００５（Vk,Vk+1,…）を用いて信頼度を計算する点が実施の形態１と異なる。

実施の形態２にかかる信頼度演算部１１は、ある外界センサSENkが出力するセンサ信号Skの特徴量Vkに対して算出した信頼度Pc(k)が、特徴量Vkが急激に変化したことにより１より小さい値となった場合、他の外界センサSENk+1に関する特徴量Vk+1を確認し、特徴量Vk+1も同時に低下傾向がみられる場合には、実際に変化が起きているものとして取り扱う。すなわち、信頼度演算部１１は、特徴量Vkそのものの信頼度Pc(k)は低くないとし、信頼度Pc(k)を、特徴量Vk+1または信頼度Pc(k+1)に基づいて、大きな値に補正する。この処理は、下記の式（９）および（１０）で表わされる。式（９）において、Kwは重み係数であり、Kwが小さいほど、他の外界センサSENk+1からのセンサ信号の特徴量の値が近いときに信頼度Pcを１に近づける設定となる。

Pc(k)＝Pc(k)+(1-Pc(k))/｛1+Kw・ABS(Pc(k)-Pc(k+1))｝
When ｛Pc(ｋ)-Pc(k+1)｝≦ΔPc＿th …（９）
Pc(k)＝Pc(k) When ｛Pc(ｋ)-Pc(k+1)｝＞ΔPc＿th …（１０）

他にも、２つ以上の種類の異なる外界センサ３を用いた場合、補正指令値演算部１２によるセンサ信号Skに対応する軌道補正量の演算に関して、補正指令値演算部１２は、別種類の外界センサSENkが出力するセンサ信号Sk+1に対応する信頼度Pc(k+1)が高く、有意な補正量ΔXck+1を出力している場合、センサ信号Skに関する補正量ΔXckの重み係数wkを小さくする構成とすることが考えられる。ただし、wkは|wk|<1で定義されるものとし、下記の式（１１）～（１３）のように軌道補正量ΔXdが定義できる。

ΔXd ＝ Σ（Ck・wk・ΔXck） …（１１）
Ck ＝ fnc(Pc(k)) …（１２）
wk ＝ fnc(Pc(k+1),Xck+1) …（１３）

この時の補正指令値演算部１２の処理は、具体的には次のような事例が考えられる。たとえば、図１２に示すようなロボットシステムにおいて、ビジョンセンサSENk（ビジョンセンサ２０２－１）と、ロボットのエンドエフェクタやワーク等の物体３００と周辺環境との接触に関する力情報を取得する力覚センサSENk+1（力覚センサ２０１）とが装着され、ロボット２は組み立て作業を実施するタスクを行う。この条件で、補正指令値演算部１２がビジョンセンサSENkに関する軌道補正量の計算を行う場合を考える。補正指令値演算部１２は、ビジョンセンサSENkが出力するセンサ信号Skの信頼度に基づく補正係数Ckとは独立した指標として、重み係数wkを、力覚センサSENk+1が出力するセンサ信号Sk+1に基づいて自動調整することが可能である。例えば、力覚センサSENk+1が出力するセンサ信号Sk+1の値が定められた閾値よりも大きい場合は接触状態であるとし、重み係数wkを１よりかなり小さい値とする。一方、力覚センサSENk+1が出力するセンサ信号Sk+1の値が定められた閾値以下で接触状態ではない場合（すなわちXck+1がほぼ０の場合）は重み係数wkをほぼ１とする。この調整は、エンドエフェクタと障害物などが接触状態にあり、ビジョンセンサが出力するセンサ信号に基づいて演算される補正量（位置補正量）に従って軌道補正を行うと接触状態が悪化する場合に有効である。

以上のような構成により、２つ以上の複数の外界センサ３を備えるよりロボットシステム１００で補正指令値生成を行うロボット制御装置１においては、特に、ある外界センサ３の他の外界センサ３に対応する信頼度１００６（信頼度Pc(k+1)）あるいは補正情報１００３を使って信頼度Pc(k)の補正が可能となる。これによって、異物混入や人侵入といったイレギュラー状態をセンサの故障と切り離した形で検出し、動作継続および早期の異常状態検出といったことが可能となる。この結果、生産システムの停止時間の短縮、生産効率の向上といった格別の効果を得ることができる。

実施の形態３．
図１５は、実施の形態３にかかるロボット制御装置１ａの構成例を示す図である。ロボット制御装置１ａは、実施の形態１にかかるロボット制御装置１に、さらに補正オーバーライド演算部１５を追加し、指令値生成部１３を指令値生成部１３ａに置き換えた構成である。図１５においては、実施の形態１にかかるロボット制御装置１と同じ構成要素に同一の符号を付している。本実施の形態では実施の形態１と異なる部分について説明する。

補正オーバーライド演算部１５では、信頼度演算部１１が算出する信頼度１００６に基づいて、目標軌道を進む速度指標であるオーバーライド値の補正を行い補正オーバーライドを生成する。補正オーバーライド演算部１５は、信頼度１００６が低いほど補正オーバーライドが低くなるように補正オーバーライド１００７を演算し、指令値生成部１３ａに出力する。指令値生成部１３ａは、軌道補正量１００４と、目標軌道１００８と、ロボット２の内界センサによる計測結果に基づく位置情報１０１０と、補正オーバーライド１００７とに基づいて位置指令値１００９を生成する。

図１６は、実施の形態３にかかるロボット制御装置１ａの補正オーバーライド演算部１５の動作の一例を示すフローチャートである。

補正オーバーライド演算部１５は、図１６に示すように、信頼度演算部１１から出力される信頼度１００６を取得し（ステップＳ４１）、信頼度１００６に基づいて、指令値の補正に用いる補正係数として補正オーバーライドを算出する（ステップＳ４２）。そして、補正オーバーライド演算部１５は、算出した補正オーバーライド１００７を指令値生成部１３ａに出力する（ステップＳ４３）。

ここで、補正オーバーライドは例えば０～１００％で定義することができる。この場合、補正オーバーライドが０％であればロボット２が進むことを止め、補正オーバーライドが１００％であればロボット２は目標軌道で設計されていた速度で動作を行う。なお、これ以降の説明では、補正オーバーライドをOvrdCと記載する場合がある。また、これ以降の説明では、補正オーバーライドOvrdCは基本的には１．０を初期値として、０～１の範囲の実数を取るものとする。補正オーバーライド演算部１５では、センサ毎の複数の補正オーバーライドOvrdC(k)を演算する。

図１７は、実施の形態３にかかるロボット制御装置１ａの指令値生成部１３ａの動作の一例を示すフローチャートである。

指令値生成部１３ａは、図１７に示すように、目標軌道保持部１４から出力される目標軌道１００８（Xd）、補正指令値演算部１２から出力される軌道補正量１００４（ΔXd）および補正オーバーライド演算部１５から出力される補正オーバーライド１００７（OvrdC）を取得し（ステップＳ５１）、目標軌道１００８、軌道補正量１００４および補正オーバーライド１００７に基づいて指令値を生成する（ステップＳ５２）。指令値生成部１３ａは、生成した指令値をロボット２に出力する（ステップＳ５３）。

ステップＳ５２において、指令値生成部１３ａは、入力された目標軌道Xdあるいは軌道補正量ΔXdの実行量を補正オーバーライドOvrdC（０～１）に基づいて補正することで、速度変化と等価の処理を行い、指令値を生成する。たとえば、信頼度Pcの低下に伴い補正オーバーライドOvrdCが低下すると、ロボット手先の移動速度を低減させる方向に作用する。

例えば、図１８に示したような事例、すなわち、ロボット２に取り付けられたビジョンセンサ２０２－２の視野２０３－１に障害物がある場合を考える。図１８に示すケースでは、指令値生成部１３ａが補正情報ΔXdとともに取得した信頼度Pcが低い値となり、これに伴い補正オーバーライドOvrdCが低下する。結果として、ロボット２は、図１９に示すように、障害物が無い場合の軌道である、一点鎖線の下向き矢印２１１で示す目標軌道通りに進むのではなく、太い実線の下向き矢印２１２に従って、減速した形で動作を継続する。

事前に与えられている目標軌道Xdが位置の点列で与えられている場合、指令値生成部１３ａは、目標軌道Xdを、各地点における制御周期毎の次目標位置への移動速度vdに換算し、移動速度vdが低減した場合の１制御周期分の移動量から、補正オーバーライドOvrdC適用後の目標位置Xdcを演算する。

補正オーバーライド演算部１５が信頼度１００６に基づいて算出する補正オーバーライドOvrdCは、例えば下記の式（１４）に示すように、複数のセンサ信号Skに関する信頼度Pc(k)の中の最小値と定義することができる。

OvrdC ＝ min（Pc(k)） …（１４）

他にも、補正オーバーライド演算部１５が、複数のセンサ信号Skそれぞれに対応する複数の補正オーバーライドOvrdC(k)を出力し、指令値生成部１３ａは、複数のセンサ信号Skそれぞれに対応する複数の補正情報ΔXckのうち、もっとも軌道補正量ΔXdへの割合が大きいものに対応する補正オーバーライドOvrdC(k)を選択して指令値の生成を行うような方法がある。

以上のような構成を有する補正オーバーライド演算部１５を実施の形態１にかかるロボット制御装置１に追加してロボット制御装置１ａとすることで、ロボットシステム１００の動作中に、異物の混入、人の侵入といったイレギュラー状態を、外界センサ３の故障と切り離した形で検出し、低速による動作継続あるいは衝突することなく異常状態検出が可能となる。この結果、生産システムの停止時間の短縮、生産効率の向上といった格別の効果を得ることができる。

実施の形態４．
図２０は、実施の形態４にかかるロボット制御装置１ｂの構成例を示す図である。ロボット制御装置１ｂは、実施の形態３にかかるロボット制御装置１ａの補正オーバーライド演算部１５を補正オーバーライド演算部１５ｂに置き換えた構成である。図２０においては、実施の形態３にかかるロボット制御装置１ａと同じ構成要素に同一の符号を付している。本実施の形態では実施の形態３と異なる部分について説明する。

実施の形態３の補正オーバーライド演算部１５の処理と実施の形態４の補正オーバーライド演算部１５ｂの処理の違いは、補正オーバーライドOvrdC(k)を演算する際に、対象とする外界センサ３である第１の外界センサのセンサ信号Skの信頼度１００６（Pc(k)）に加えて、他の外界センサ３である第２の外界センサのセンサ信号Sk+1の特徴量１００５（Vk+1）を補正オーバーライド演算部１５ｂへの入力とし、補正オーバーライド演算部１５ｂが下記の式（１５）および式（１６）に示すように補正オーバーライドOvrdC(k)を演算する点である。具体的には、補正オーバーライド演算部１５ｂは、特徴量Vk+1が閾値ΔVth以下の場合には、信頼度Pc(k)に応じて補正オーバーライドを演算し、閾値ΔVthを超えた場合は補正オーバーライドを演算せずに０を出力する。本実施の形態では、閾値ΔVthの大小関係および関数の定義は下記に限らないが、ある特徴量Vk+1が閾値ΔVthを超えるか否かに基づいて数式を切り替える点に特徴がある。

OvrdC(k) ＝ fnc(Pc(k)) Vk+1 ≦ ΔVth …（１５）
OvrdC(k) ＝ ０ Vk+1 ＞ ΔVth …（１６）

たとえば、図２１に示すようなロボットシステムにおいて、ビジョンセンサ２０２－１，２０２－２、距離センサ（図示せず）などによる非接触な計測に基づく情報と、力覚センサ２０１、触覚センサ（図示せず）などによる接触に基づく情報とを統合して活用することを考える。ビジョンセンサ２０２－１（以下ビジョンセンサSENkとする）と、ロボット２のエンドエフェクタおよびワークと周辺環境との接触に関する力情報を取得する力覚センサ２０１（以下、力覚センサSENk+1とする）とがロボットに装着され、ロボット２は組み立て作業を実施するタスクを行う。このときにビジョンセンサSENkに関する軌道補正量の計算を行う場合を考える。この場合、図２２に示すように、ビジョンセンサSENkのセンサ信号Skの信頼度Pc(k)に基づく補正係数Ckとは独立した指標として、力情報を計測可能な力覚センサSENk+1のセンサ信号Sk+1の特徴量Vk+1（図示の特徴量Ｂ）に基づいて、ビジョンセンサSENkに関する補正オーバーライドOvrdC(k)（図示の補正情報Ａ）を自動調整することが可能である。

本実施の形態により、複数の外界センサ３を備えたロボットシステム１００において、作業状況に応じた動作速度調整が難しい場合に、非接触な計測に基づくセンサ信号Skの特徴量Vkおよび接触が発生する計測に基づくセンサ信号Sk+1の特徴量Vk+1の組み合わせによって自動的に速度調整が可能なシステムを容易に構成できる。結果として、システム停止が生じにくいロボットシステムを短時間で立ち上げることが可能となるため、製品製造にかかる工場の稼働率および生産効率の向上を実現できる。

実施の形態５．
図２３は、実施の形態５にかかるロボット制御装置１ｃの構成例を示す図である。ロボット制御装置１ｃは、実施の形態３にかかるロボット制御装置１ａに特徴量抽出部１６を追加した構成である。図２３においては、実施の形態３にかかるロボット制御装置１ａと同じ構成要素に同一の符号を付している。本実施の形態では実施の形態３と異なる部分について説明する。

図２４は、実施の形態５にかかるロボット制御装置１ｃの特徴量抽出部１６の動作の一例を示すフローチャートである。

特徴量抽出部１６は、図２４に示すように、外界センサ３による計測結果を示す情報である外界センサ３の出力情報１００２をセンサコントローラ４から取得し（ステップＳ６１）、出力情報１００２に基づいて特徴量を抽出する（ステップＳ６２）。特徴量抽出部１６は、抽出した特徴量１００５を信頼度演算部１１に出力する（ステップＳ６３）。

また、特徴量抽出部１６は、ステップＳ６２で抽出した特徴量から補正情報を算出し（ステップＳ６４）、算出した補正情報１００３を補正指令値演算部１２に出力する（ステップＳ６５）。

特徴量抽出部１６が算出する補正情報１００３は、位置に関するものに限らず、速度、加速度、加加速度に関するものとすることができる。本実施の形態では補正情報１００３は位置情報に基づいて算出される。特徴量抽出部１６が算出する補正情報１００３は、例えば、実施の形態１で説明した式（５）で示される補正量ΔXck(T)とすることができる。

このような構成の場合、特徴量抽出部１６は、Ｌ個の外界センサ３の出力情報１００２に対して、Ｍ個の補正情報およびＮ個の特徴量を出力することができる（Ｌ，Ｍ，Ｎは２以上の自然数）。

特徴量抽出部１６は、例えば、距離センサSENkおよびＲＧＢカメラSENk+1の２つのセンサが出力するセンサ信号SkおよびSk+1を統合して、作業対象物の品種を識別する処理を行ったうえで、識別された品種のモデル情報に基づいて、ＲＧＢ画像の特徴量Vkから作業対象物の中心位置座標を第２の特徴量Vk2として出力することが可能である。

通常、このような処理は、センサコントローラ４側のアプリケーションとして統合されることが多いが、ロボット制御装置１ｃ側に特徴量抽出部１６を備えることで、冗長な複数のセンサ入力として特徴量Vkあるいは第２の特徴量Vk2として１つを出力したい場合に有効な構成となる。

これにより、信頼度演算部１１に入力する特徴量１００５そのものの情報の確からしさを向上することができる。結果として、本実施の形態は、システムの停止時間を低減することが可能となり、生産システムの稼働率の向上および生産効率の向上を実現できる。

なお、本実施の形態では、実施の形態３にかかるロボット制御装置１ａに特徴量抽出部１６を追加した構成について説明したが、実施の形態１にかかるロボット制御装置１に特徴量抽出部１６を追加した構成とすることも可能である。

実施の形態６．
つづいて、実施の形態６にかかるロボット制御装置について説明する。実施の形態６にかかるロボット制御装置の構成は実施の形態１と同様である（図２参照）。本実施の形態では実施の形態１と異なる部分について説明する。

実施の形態６にかかるロボット制御装置１においては、指令値生成部１３が指令値を生成する動作が実施の形態１と異なる。

図２５は、実施の形態６にかかるロボット制御装置１の指令値生成部１３の動作の一例を示すフローチャートである。

本実施の形態にかかる指令値生成部１３は、図２５に示すように、目標軌道保持部１４から出力される目標軌道１００８（Xd）、補正指令値演算部１２から出力される軌道補正量１００４（ΔXd）、外界センサ３によって計測されている、ロボット２の参照点と対象物との距離情報、および、信頼度演算部１１から出力される信頼度１００６を取得する（ステップＳ７１）。ロボット２の参照点は、ロボット２の本体または周辺環境に設けられており、外界センサ３がビジョンセンサの場合はビジョンセンサの撮影範囲内に存在する。

指令値生成部１３は、次に、軌道補正量１００４、ロボット２の参照点と対象物との距離情報および信頼度１００６に基づいて、目標軌道１００８の制御周期ごとの移動量を補正する（ステップＳ７２）。

指令値生成部１３は、次に、目標軌道１００８の補正後の制御周期ごとの移動量に基づいて指令値を生成し（ステップＳ７３）、生成した指令値をロボット２に出力する（ステップＳ７４）。

本実施の形態にかかるロボット制御装置１では、実施の形態３で説明した補正オーバーライド１００７を演算する処理、すなわち、目標軌道を進む速度指標であるオーバーライド値を補正する処理を指令値生成部１３で行う。このとき、指令値生成部１３は上述した補正オーバーライド演算部１５が用いるセンサ信号Skの信頼度Pcの代わりに、上記の距離情報を用いる。

上記の距離情報を用いてオーバーライド値を補正する場合の具体例について説明する。例えば、ロボットシステム１００が工業製品の組立作業をタスクとする場合には、工業製品の部品を取り出すロボット手先の位置が上記の参照点となり、組み付け先のロボット手先の位置がロボット２の目標地点であり上記の対象となる。距離情報を取得する方法としては、直接的にレーザ変位計等を用いて計測することで取得する方法、ビジョンセンサ２０２－１を活用して、図２６および図２７に示すように第２の特徴量として得られた画像上の対象物のサイズから接近状態を推定して距離情報を算出する方法、などがある。

ビジョンセンサを用いて第２の特徴量として対象物のサイズからロボットの参照点との距離を換算する方法について補足説明する。まず、図２８に、画像処理による特徴量の抽出事例を例示する。図２８は、ＲＧＢ画像があった場合に、ＲＧＢ画像から円の中心と半径を特徴量Vkとして抽出する処理を模擬している。

図２９は、ＲＧＢ画像の特徴量から第２の特徴量Vk2を抽出する方法を説明するための図である。

図２９は、特徴量Vkから円の外形、円の中心および円の半径Rkを第２の特徴量Vk2として抽出する様子を示している。第２の特徴量Vk2の時系列変化を考えるとき、図２９の右上の図は急に局所的なノイズが現れた場合を示し、信頼度Pc(k)と、円の中心および半径の情報である第２の特徴量Vk2が変化している様子がわかる。また、図２９の右下の図は急に画像の右下部分の色が変化した場合、具体的には、異物が撮像された場合を示している。この場合は色の時間的な変化が急激であるため、一時的に信頼度Pcが低下することになる。

つづいて、本実施の形態にかかる指令値生成部１３が指令値を生成する方法について説明する。指令値生成部１３は、まず、第２の特徴量Vk2に基づく対象物の近似円の半径Rkが大きくなっている場合、目標となる地点での見え方での近似円の半径をRdk、距離をLdとすると、接近距離Lcは下記の式（１７）のように定義できる。なお、Krは適当な定数とする。

Lc ＝ Ld・｛1-Kr・(Rk-Rdk)｝ …（１７）

この時、指令値生成部１３は、信頼度Pcが小さいほど、あるいは、接近距離Lcが接近閾値Lthを下回ったら、実施の形態３で説明した補正オーバーライドを小さくする場合と同様の処理を適用して、実行量を補正して小さくする。この実行量を補正して小さくする処理は、目標軌道を速度波形に換算し、軌道を変化させずに軌道に沿った線速度を一定割合分だけ低下させる処理である。指令値生成部１３は、この場合の軌道に基づいて速度パターンを位置指令値に換算する。

以上のような構成により、対象物との接近距離Lcおよびその接近距離Lcを計測している外界センサ３が出力するセンサ信号の特徴量Vkの信頼度Pc(k)に基づいて動作速度が規定されるため、自動的にロボット動作速度が調整される。結果として、ロボットシステム１００の立上げ時の調整工数が減るといった格別の効果を得ることができる。

実施の形態７．
図３０は、実施の形態７にかかるロボット制御装置１ｄの構成例を示す図である。ロボット制御装置１ｄは、実施の形態１にかかるロボット制御装置１の信頼度演算部１１を信頼度演算部１１ｄに置き換えた構成である。図３０においては、実施の形態１にかかるロボット制御装置１と同じ構成要素に同一の符号を付している。本実施の形態では実施の形態１と異なる部分について説明する。

信頼度演算部１１ｄには特徴量１００５およびロボット２の位置情報１０１０が入力される。信頼度Pcは特徴量Vkのみに基づく指標であるが、信頼度演算部１１ｄは、ロボット２の位置情報１０１０（Xa(t)）の履歴に基づいて特徴量Vk(t)の変化を予測し、特徴量の予測値Vkpと実際の特徴量Vkとを比較することで、時刻tにおける特徴量Vk(t)の信頼度が低い可能性があることを予測する。

具体例について説明する。外界センサ３を用いたセンサフィードバック制御を活用したロボットシステム１００において、ロボット制御装置１ｄは軌道補正量１００４の更新値に基づいてロボット２に位置指令値１００９を出力するとする。このとき、信頼度演算部１１ｄは、ロボット手先位置を移動させた位置情報の履歴をXa(t)として取得すると、Xa(t)によって、次の瞬間に外界センサ３が出力するセンサ信号Skで得られる特徴量Vkの変化、すなわち環境変化により得られる特徴量Vkに期待される変化および変化が生じる方向がある程度予測できる。

特徴量Vkに期待される変化の事例について説明する。センサフィードバック制御に基づいて計算される補正情報ΔXckは、あるセンサ信号Skに対し、特徴量Vkと目標特徴量Vdkの差が小さくなるように出力されているはずである。ここで、特徴量差の履歴ΔVkを下記の式（１８）のように定義する。

ΔVk(t) ＝ Vk(t)－Vdk(t) …（１８）

この時、特徴量差の履歴ΔVk(t)が大きくなる場合は期待されている傾向と違うため、信頼度演算部１１ｄは信頼度Pcを小さくする補正を行い、補正後の信頼度Pcを補正指令値演算部１２に出力する。

また、変化が生じる方向の事例について説明する。Xa(t)が特定の方向に進んでいる場合、この軸に直交する特徴量成分をVk＿crsと定義し、移動方向と直交する方向への特徴量差の履歴をΔVk＿crsとすると、本来ΔVk＿crsはほとんど変化しないはずである。そのため、移動方向と直交する方向への特徴量差の履歴ΔVk＿crsの変化が一定の閾値ΔVk＿thよりも大きい場合には、想定外の事象が生じている可能性が高いため、信頼度Pcを小さくおくことができる。すなわち、信頼度演算部１１ｄは、特徴量差の履歴ΔVk＿crsの変化が閾値ΔVk＿thよりも大きい場合、信頼度Pcを小さい値に補正して補正指令値演算部１２に出力する。

以上のように、ロボット２が外界センサ３のセンサフィードバックに基づいて動作する場合には、期待される特徴量Vkの変化および変化の方向がある。信頼度演算部１１ｄは、特徴量Vkの期待されている変化の量および方向をロボット２の手先位置の履歴Xaに基づいて求め、実際の特徴量Vkとの比較結果に基づき信頼度Pcを補正することで信頼度Pcの確からしさを向上させる。その結果、システムの稼働率および生産効率を向上させるといった効果が得られる。

なお、本実施の形態では、実施の形態１にかかるロボット制御装置１の信頼度演算部１１を信頼度演算部１１ｄに置き換えた構成について説明したが、実施の形態３にかかるロボット制御装置１ａの信頼度演算部１１、実施の形態４にかかるロボット制御装置１ｂの信頼度演算部１１、または、実施の形態５にかかるロボット制御装置１ｃの信頼度演算部１１を、信頼度演算部１１ｄに置き換えた構成とすることも可能である。

実施の形態８．
図３１は、実施の形態８にかかるロボット制御装置１ｅの構成例を示す図である。ロボット制御装置１ｅは、実施の形態１にかかるロボット制御装置１（図２参照）に学習部２０を追加した構成である。図３１においては、実施の形態１にかかるロボット制御装置１と同じ構成要素に同一の符号を付している。本実施の形態では実施の形態１と異なる部分について説明する。

図３２は、実施の形態８にかかるロボット制御装置１ｅの学習部２０の構成例を示す図である。学習部２０は、評価部２１および重み係数決定部２２を備える。学習部２０には、各外界センサSENkに対する補正情報１００３（ΔXck）と、信頼度１００６（Pc(k)）と、重み係数１１０１と、作業情報１１１０とが入力される。作業情報１１１０は、ロボットシステム１００に作業を試行させた結果、または、シミュレーションにより模擬された作業の結果を示す作業結果情報であり、作業成否および作業時間を含む。重み係数１１０１は、補正情報１００３および信頼度１００６が入力されると軌道補正量１００４を出力する関数を構成する重み係数である。

学習部２０においては、評価部２１が、作業情報１１１０に基づいて、補正情報１００３、信頼度１００６および重み係数１１０１を、より作業成功率が高く、作業時間が短くなるものを高い評価とした機械学習を行う。すなわち、評価部２１は、より高い評価となる補正情報１００３、信頼度１００６および重み係数１１０１の組み合わせを学習する。重み係数決定部２２は、評価部２１による評価が高い重み係数の複数セットから１セットを選択して、学習後の重み係数１１０２として補正指令値演算部１２に出力する。補正指令値演算部１２は、学習部２０による学習結果、すなわち、学習後の重み係数１１０２を保持しており、新たに補正情報１００３および特徴量１００５の入力があると、入力された補正情報１００３および特徴量１００５と、保持している学習後の重み係数１１０２とに基づいて軌道補正量１００４を算出する。

ここで、重み係数とは、信頼度Pc(k)と補正情報ΔXckを入力とし、軌道補正量ΔXdを出力とする関係式で表すために定義されたものである。この重み係数をwckと定義した場合、軌道補正量ΔXdは、例えば以下の式（１９）に従って計算される。重み係数wckは信頼度を変数とした多項式などの適当な関数とする。

ΔXd ＝ Σ（wck・ΔXck） …（１９）

このような重み係数と、タクトタイムおよび作業成否といった情報との因果関係を分析することは一般に難しいが、大量の作業情報１１１０をシミュレーションまたは実際の作業を実施して取得し、機械学習を用いて学習することで、適切な重み係数を自動的に決定することができる。

なお、本実施の形態では学習部２０がロボット制御装置１ｅの内部に存在するものとして説明を行ったが、ロボット制御装置１ｅの外部、例えば外部のコンピュータ内に学習部２０が存在する形態であってもよい。この場合、学習部２０は、機械学習が完了した後、機械学習で取得した学習後の重み係数１１０２をロボット制御装置１ｅの補正指令値演算部１２にセットする。

以上のような構成により、通常、関係性が煩雑で求めることが困難な重み係数wckについて、機械学習を用いてより効果的な重み係数wckを決定することができるようになる。このため、作業成功率が高く作業時間が短い調整とすることができる。結果として、生産システムの生産効率を向上できる効果が得られる。

なお、本実施の形態では、実施の形態１にかかるロボット制御装置１に学習部２０を追加した構成について説明したが、実施の形態２～７で説明したロボット制御装置に学習部２０を追加した構成とすることも可能である。

実施の形態９．
図３３は、実施の形態９にかかるロボット制御装置１ｆの構成例を示す図である。ロボット制御装置１ｆは、実施の形態３にかかるロボット制御装置１ａ（図１５参照）に学習部３０を追加した構成である。図３３においては、実施の形態３にかかるロボット制御装置１ａと同じ構成要素に同一の符号を付している。本実施の形態では実施の形態３と異なる部分について説明する。

図３４は、実施の形態９にかかるロボット制御装置１ｆの学習部３０の構成例を示す図である。学習部３０は、評価部３１および補正オーバーライド関数決定部３２を備える。学習部３０には、補正オーバーライド関数１１０３と、信頼度１００６（Pc(k)）と、重み係数１１０１と、作業情報１１１０とが入力される。これらの信頼度１００６（Pc(k)）、重み係数１１０１および作業情報１１１０は、実施の形態８で説明した学習部２０に入力される信頼度１００６（Pc(k)）、重み係数１１０１および作業情報１１１０と同じものである。

学習部３０においては、評価部３１が、作業情報１１１０に基づいて、作業時間が短く、作業成功率が高い補正オーバーライド関数１１０３を機械学習によって獲得する。

ここで、補正オーバーライド関数とは、信頼度Pc(k)と補正オーバーライドの関係性について定義したものである。補正オーバーライド関数決定部３２は、補正オーバーライド関数について、ある重み係数１１０１で定義された指令値生成部１３ａの処理において、もっとも作業成功率を上げつつ、作業時間が最短となる、補正オーバーライドの関数定義について選定し、その結果を学習後の補正オーバーライド関数１１０４として補正オーバーライド演算部１５に出力する。補正オーバーライド演算部１５は、学習部３０による学習結果、すなわち、学習後の補正オーバーライド関数１１０４を保持しており、新たに信頼度１００６の入力があると、入力された信頼度１００６と、保持している学習後の補正オーバーライド関数１１０４とに基づいて補正オーバーライド１００７を算出する。

例えば、補正オーバーライド関数１１０４は、実施の形態３および４において数式（１４）、数式（１５）および数式（１６）に例示したような定義の仕方がある。特に、重み係数１１０１がある場合、補正オーバーライド演算部１５は、センサ信号Skに対応する複数の補正オーバーライドOvrdC(k)を出力し、指令値生成部１３ａにおいて、補正情報ΔXckのうち、もっとも軌道補正量ΔXdへの割合が大きいものに対応する補正オーバーライドOvrdC(k)を選択するような方法をとることがある。そのため、補正オーバーライド関数１１０４は、重み係数１１０１および信頼度１００６についての２つの関数として定義する必要がある。学習部３０による学習処理では、これらの関数として定義する多項式など色々なバリエーションをシミュレーションまたは実機を用いて試行し、その結果を学習部３０に入力する。結果として、もっとも評価値が高くなるような結果を選択して、学習後の補正オーバーライド関数として出力することができる。

なお、本実施の形態では学習部３０がロボット制御装置１ｆの内部に存在するものとして説明を行ったが、ロボット制御装置１ｆの外部、例えば外部のコンピュータ内に学習部３０が存在する形態であってもよい。この場合、学習部３０は、機械学習が完了した後、機械学習で取得した学習後の補正オーバーライド関数１１０４をロボット制御装置１ｆの補正オーバーライド演算部１５にセットする。

以上の構成を有することで、補正オーバーライド関数のような、通常、関係性が煩雑で求めることが困難な関数表現について、機械学習を用いてより効果的な関数表現を決定することができるようになる。結果として、作業成功率が高く作業時間が短い調整とすることができ、生産システムの生産効率を向上できる効果が得られる。

なお、本実施の形態では、実施の形態３にかかるロボット制御装置１ａに学習部３０を追加した構成について説明したが、実施の形態４～６で説明した各ロボット制御装置、すなわち、補正オーバーライド演算部を備えるロボット制御装置に学習部３０を追加した構成とすることも可能である。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ ロボット制御装置、２ ロボット、３ 外界センサ、４ センサコントローラ、１１，１１ｄ 信頼度演算部、１２ 補正指令値演算部、１３，１３ａ 指令値生成部、１４ 目標軌道保持部、１５，１５ｂ 補正オーバーライド演算部、１６ 特徴量抽出部、２０，３０ 学習部、２１，３１ 評価部、２２ 重み係数決定部、３２ 補正オーバーライド関数決定部、１００ ロボットシステム、２０１ 力覚センサ、２０２－１，２０２－２ ビジョンセンサ、２０３－１ 視野、３００ 物体。

Claims (9)

1. ロボットの本体または前記ロボットの周辺環境に設置された外界センサによる計測結果を示すセンサ信号から得られる特徴量を入力し、前記特徴量の時間的な変化または空間的な変化に基づいて前記センサ信号に対する信頼度を演算する信頼度演算部と、
   前記信頼度、および、前記特徴量に基づいて算出された補正情報に基づいて、前記ロボットの軌道を補正するための軌道補正量を演算する補正指令値演算部と、
   予め定められた前記ロボットの目標軌道と、前記軌道補正量とに基づいて前記ロボットに対する位置指令値を生成する指令値生成部と、
   を備えることを特徴とするロボット制御装置。
2. 前記外界センサが複数であり、各外界センサが出力する前記センサ信号のそれぞれから得られる複数の特徴量を前記信頼度演算部へ入力し、
   前記信頼度演算部は、前記信頼度を演算した後、演算により求めた信頼度を、複数の前記特徴量に基づいて補正し、補正後の信頼度を前記補正指令値演算部に出力する、
   ことを特徴とする請求項１に記載のロボット制御装置。
3. 前記信頼度の履歴に基づいて前記位置指令値のオーバーライド値を補正し、補正後のオーバーライド値である補正オーバーライドを前記指令値生成部に出力する補正オーバーライド演算部、
   を備え、
   前記指令値生成部は、前記目標軌道、前記軌道補正量および前記補正オーバーライドに基づいて前記位置指令値を生成する、
   ことを特徴とする請求項１または２に記載のロボット制御装置。
4. 前記信頼度の履歴に基づいて前記位置指令値のオーバーライド値を補正し、補正後のオーバーライド値を、さらに、前記信頼度に対応する第１の外界センサとは異なる第２の外界センサによる計測結果の特徴量に基づいて調整し、調整後のオーバーライド値である補正オーバーライドを前記指令値生成部に出力する補正オーバーライド演算部、
   を備え、
   前記指令値生成部は、前記目標軌道、前記軌道補正量および前記補正オーバーライドに基づいて前記位置指令値を生成する、
   ことを特徴とする請求項１または２に記載のロボット制御装置。
5. 前記外界センサにより計測された、前記ロボットの参照点と対象物との距離情報を前記指令値生成部に入力し、
   前記指令値生成部は、前記目標軌道と、前記軌道補正量と、前記距離情報とに基づいて前記位置指令値を生成する、
   ことを特徴とする請求項１または２に記載のロボット制御装置。
6. 複数の前記外界センサが出力する前記センサ信号を入力とし、入力された各センサ信号の特徴量を抽出して前記信頼度演算部に出力するとともに、抽出した前記特徴量と定められた目標値とに基づいて前記補正情報を算出して前記補正指令値演算部に出力する特徴量抽出部、
   を備えることを特徴とする請求項１から５のいずれか一つに記載のロボット制御装置。
7. 前記ロボットの位置情報を前記信頼度演算部に入力し、
   前記信頼度演算部は、前記特徴量に基づく演算により得られた前記信頼度を前記位置情報の履歴に基づいて補正し、補正後の前記信頼度を前記補正指令値演算部に出力する、
   ことを特徴とする請求項１から６のいずれか一つに記載のロボット制御装置。
8. 複数回の作業試行時に前記補正指令値演算部に入力された前記信頼度および前記補正情報と、それぞれの前記作業試行における作業結果情報と、を入力とし、前記軌道補正量と前記補正情報と前記信頼度との関係を表す重み係数を、前記信頼度、前記補正情報および前記作業結果情報に基づいて学習する学習部、
   を備え、
   前記補正指令値演算部は、学習後の前記重み係数を用いて前記軌道補正量を演算する、
   ことを特徴とする請求項１から７のいずれか一つに記載のロボット制御装置。
9. 複数回の作業試行時に前記補正オーバーライド演算部に入力された前記信頼度と、それぞれの前記作業試行における作業結果情報と、を入力とし、前記信頼度に基づいて前記補正オーバーライドを算出する補正オーバーライド関数を、前記信頼度および前記作業結果情報に基づいて学習する学習部、
   を備え、
   前記補正オーバーライド演算部は、学習後の前記補正オーバーライド関数を用いて前記補正オーバーライドを演算する、
   ことを特徴とする請求項３または４に記載のロボット制御装置。

Images