JP5449546B2

JP5449546B2 - 人操作型作業機械システム

Info

Publication number: JP5449546B2
Application number: JP2012518190A
Authority: JP
Inventors: 真佐圓; 潔人伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-06-03
Filing date: 2010-06-03
Publication date: 2014-03-19
Anticipated expiration: 2030-06-03
Also published as: WO2011151915A1; JPWO2011151915A1; US20130079905A1

Description

本発明は、アクチュエータ（可動部）を含む作業機械と、人が作業機械に対する操作を行うための操作装置とを有する作業機械システムに関する。

アクチュエータを含む作業機械システムは、主に生産現場で組立などに利用されてきたが、今後は病院など公共施設や家庭などの生活空間で人の活動を補助するものとしての利用にも期待がよせられている。本発明は、この生活空間で作業する作業機械の中でも、作業機械と操作装置とを有する生活空間向け人操作型作業機械システムに関するものである。

この人操作型が有用であるためには、人がスムーズに作業を行える操作感の実現が必須である。このためには、操作者がストレスを感じない速度で作業機械が動作すること、操作者がストレスを感じない遅延時間で操作結果の操作者への提示がなされることが必要である。

特許文献１においては、操作者が操作を行う操作装置と作業機械が離れた位置にあり、操作装置への入力から操作装置が作業機械側の作業状況を表す画像情報を操作者に出力するまでの時間を短縮するための手段に関して述べられている。操作装置と作業機械間の通信時間を隠蔽し、早く操作者に画像情報を示すために、操作装置は操作入力を考慮した画像情報を合成・生成するシミュレータを持つ。

特開平０１−２７１１８５号公報

特許文献１に記載された方式では、生活空間での利用において、操作者がストレスを感じない速度で作業機械を動作させるのは困難であると考えられる。生活空間での利用では様々な硬さや形状の対象物の扱いや複合動作などの繊細な操作が必要となるが、そのために重要な細かな精度の情報を操作者に提示することが難しく、操作装置から力や位置の細かな制御が十分な速度で行えないためである。

人操作型の作業機械において、様々な硬さや形状の対象物に対する多様な操作を操作者にストレスを与えない速度で実現することである。

本願において開示される発明のうち代表的なもの簡単な説明をすれば下記の通りである。

作業機械は動作内容に応じた複数の制御プログラムを有し、操作装置から指定された動作内容に対応する制御プログラムを、操作装置から入力される変位情報などの物理情報、および、作業機械が有するセンサからの情報の両方を入力情報として用いて、実行する。この作業機械システムは、動作内容や大まかな作業機械の形状を操作者が指示し、繊細な力制御や位置の微調整などを作業機械が自律的に行う二段階の制御構造を持つ。これにより、操作者は繊細な制御を行うための詳細な情報がなくても繊細な操作を実現できる。

さらに、操作装置は作業機械の動作を予測するシミュレータを有し、そのシミュレータの出力に基づいて操作者に触覚情報などを与える。これにより、操作装置と作業機械の間の通信遅延や、作業機械での処理遅延を介さずに情報を操作者に与えることができ、操作ストレスを軽減できる。

人操作型の作業機械において、操作者のストレスが小さくスムーズな操作を実現できる。

人操作型の作業機械システムの構成説明図である。作業機械ACTの構成説明図である。操作インタフェース部UIDPの説明図である。操作インタフェース部UIPSの説明図である。作業機械の制御部の構成説明図である。作業機械の処理フロー説明図である。作業機械の処理フロー説明図である。作業機械の制御部の構成説明図である。作業機械を構成する半導体チップの構成説明図である。操作装置の操作シミュレータの説明図である。可動部分の動作目標値・制約値を保持するテーブルの例である。

図１は人操作型の作業機械システムの構成の一形態を示す。本作業機械システムは、アクチュエータを含む作業機械ACTと、操作者HMNが作業機械に対する操作を行うための操作装置UIFからなる。作業機械は、アクチュエータやセンサを含む作業機械可動部ACMCと可動部ACMCの制御を行う作業機械制御部ACBDを有している。一方、操作装置は、ディスプレイタイプの操作インタフェース部UIDPと、モーションキャプチャなどの操作インタフェース部UIPSと、操作インタフェース部UIDP／UIPSからの操作指示情報AREQを作業機械に送る送信部UIPTと、画像情報など作業機械からのレスポンス情報ARESを受け取る受信部UIPRと、操作者HMNに作業機械側の画像や触覚情報などの操作レスポンスを小さい遅延時間で返すための操作シミュレータUISMを有している。操作シミュレータUISMは、作業機械側の動作の予測シミュレーションを行う機能を有し、後述するように、作業機械ACTが遠隔地に存在する操作装置UIFから制御される場合に特に有効なものである。また、操作インタフェース部UIDP／UIPSはそれぞれ操作者が作業機械に入力を行う部分UIDPIと、操作者に操作レスポンスを返す部分UIDPOからなる。図１の例では、操作装置UIFは２種類の操作インタフェース部を有しているが、これは操作者の意図をきめ細かく作業機械ACTの動作に反映させることと、作業機械ACTの操作を容易にすることとの両立を期したためである。操作インタフェース部UIDPは、作業機械ACT全体にかかわる制御を行わせるのに適し、ディスプレイ、キーボード、ポインティングデバイスなどを用いて実現する。操作インタフェース部UIPSは、作業機械ACTの部分、特に可動部の複雑な制御を作業機械ACTに行わせるのに適し、画像情報、センサなどを用いて実現する。

操作装置UIFと作業機械ACTの間の通信内容は次のようである。操作指示情報AREQは作業機械ACTの動作を指示するための情報であり、作業機械ACTの動作内容に関する情報、作業機械ACTの位置およびその形状などの物理情報を含む。また、作業機械ACTからのレスポンス情報ARESは、作業機械ACTに搭載されたセンサから取得した情報(動作状況を示す画像情報、作業機械と対象物の相対位置関係を補足するための距離情報や触覚情報など)や、操作の成否に関わる情報を含む。

操作装置UIFと作業機械ACTの通信手段は限定されない。例えば、有線、無線といった媒体、直接接続や外部ネットワーク経由の接続といった接続形態は任意である。ただし、外部ネットワーク経由の接続の場合は、操作装置UIFと作業機械ACTとの間の通信ディレイが大きくなるおそれがあり、このような通信ディレイを隠蔽し、操作性の低下を生じさせないように、操作装置UIFには操作シミュレータUISMが設けられている。

図２に、作業機械ACTの一例として、作業機械ACTがマニピュレータの場合を示す。作業機械制御部ACBDで示す以外の部分が、図１に示した作業機械可動部ACMCに相当する。作業機械可動部ACMCは、マニピュレータの根元ARMB、根元ARMBと関節J1を介して接続される上腕ARMF、上腕ARMFの先に関節J2〜J4を介して接続されるマニピュレータの指FNGを有する。４つのFNGから構成される部分をハンドと呼ぶ。指FNGには各種センサが付けられている。SNPは圧力センサであり、SNFは滑りセンサであり、SNDは距離センサであり、CMMは画像センサであり、これらのセンサは作業機械制御部ACBDに接続される。これらのセンサは操作対象物（図示せず）と作業機械ACTとの関係を計測する。なお、滑りセンサSNFは作業機械上を物体が滑っているかどうかを検出するセンサであり、作業機械表面に発生するせん断力を検出しその力の変化から滑りを検出するものなどがこれに相当する。滑りセンサを有することで、物体が滑らない程度の強すぎない力をかけ物体を掴むという処理が可能となり、重さや摩擦係数や形状などが分からない様々な物体を壊さず掴むことが可能となる。

また、TGRMは、操作対象物に付されたタグからの情報を読み出すタグリーダモジュールであり、作業機械制御部ACBDに接続される。また、AMは関節駆動を行うためのモータであり、作業機械制御部ACBDに接続される。これらのモータは角度情報を取得する機能を有し（図５におけるモータ角度センサSNA）、この角度情報は作業機械制御部ACBDに送信される。作業機械制御部ACBDは、各種センサや操作装置UIFからの情報を入力として演算処理を行い、モータAMへの制御情報や操作装置UIFへの情報を生成する。

作業機械ACTの特徴の一つは、操作装置UIFから大まかな位置/形状（部位の変位）情報などの動作指示に基づく制御を受ける一方で、ものをつかむといった場合に必要な繊細な力制御などは作業機械ACTが自律的に行うといった二段階の制御構造を持つ点である。この自律的な動作制御を行う主体が作業機械制御部ACBDである。繊細な力制御を行うためには、掴んで持ち上げるのか、つぶすのかなど動作の内容に応じて、操作対象物に与える力を制御しなくてはならない。そのために、作業機械制御部ACBDは、動作内容に応じた複数の制御プログラムを有し、さらに、操作対象物と作業機械ACTの関係を観測するセンサへの接続を有する。

このように二段階の制御構造を持つことでスムーズな操作が可能となる。仮に作業機械ACTが自律的に動作制御を行わない場合、操作者HMNに作業機械側の視覚情報や触覚情報を十分な質/量かつ小さな遅延時間で与える、作業機械ACTのアクチュエーションに反映させるまでの応答を高速で行う、という条件をみたすことが、スムーズな操作を行うために必要になるが、すべての条件を満たすことは困難であることが多い。例えば、操作装置UIFと作業機械ACTとの距離が離れ、通信遅延が大きい場合は、上記の条件を満たすのは困難である。また、視覚情報や触覚情報を十分な質/量で与えることのできる操作装置は、大きさ、コストなどの面で現実的でない場合も多く、そのような場合も条件を満たすのは困難である。逆に、操作者HMNによる操作がない場合は、作業機械が全ての認識や判断を自律的に行う必要があるが、家庭などの環境での実行は大変複雑であり、技術的な困難が多い。

図１に示した形態においては、この二段階の制御構造に加えて、操作者HMNに作業機械側の画像や触覚情報などの操作レスポンスを小さい遅延時間で返すための操作シミュレータUISMを有している。操作装置UIFと作業機械ACTの間の通信遅延時間が大きい状況（例えば、作業機械ACTと操作装置UIFとが外部ネットワークで接続されているような場合）では、これら両方を有することが、スムーズな操作に有効である。このような状況下で、操作シミュレータUISMがなければ、操作者HMNが操作してから操作結果が操作者に示されるまでのレスポンス時間が長くなり、ゆっくりとした速度の操作しかできなくなる。また、二段階制御がなければ、繊細な制御は難しい。なぜなら、操作シミュレータUISMの結果を利用した画像や触覚情報では、細かな精度の情報を操作者に提示することが難しいためである。このような理由で、二段階の制御構造と操作シミュレータ両方を有することで、操作装置UIFと作業機械ACTの間の通信遅延時間の悪影響を抑えた操作が可能となる。

図３は、操作インタフェース部UIDPに用いられるタッチパネル式のディスプレイの表示例である。図３では、作業機械ACTの動作状況を表す画像表示部分UIDPDと、動作内容を操作者HMNが指示するための部分UIDPC、その他メニューを表示するための部分UIDPM、操作が失敗した場合にエラー表示を行う部分UIDPE、作業機械ACT全体の位置を指示するための部分UIDPPを含む。表示部分UIDPCと表示部分UIDPPとが、図１に示す入力部UIDPIに相当し、表示部分UIDPDと表示部分UIDPEとが、図１に示す応答部UIDPOに相当する。

指示部UIDPCには、「把持する」、「つぶす」、「スイッチを押す」などの動作内容に対応する個別のエリアがあり、操作者HMNは作業機械ACTに行わせたい動作内容に対応するエリアを押すことで作業機械ACTに動作内容を指示する。ここでは、動作内容がユーザごとに異なり、ユーザにあった作業機械の動作を提供することを容易にするため、指示部UIDPCの実装をタッチパネルで行っている。作業機械ACTに対して動作内容に応じた動作プログラムと操作装置UIFの作業機械ACTに所定の動作プログラムを行わせるためのプログラムとを更新することで、ユーザが容易に動作内容の増減、カスタマイズを行うことができる。もちろん、特定の動作内容に対して、専用のボタンを設けるような操作インタフェースも可能である。

図４は、操作インタフェース部UIPSの一形態を示す。作業機械ACTがマニピュレータである場合を想定し、マニピュレータのハンド部分の角度、位置、形状（関節の角度）を入力する操作インタフェース部の例である。図４の例では操作者HMNの手の動きを計測することでこれらの情報を取得する。本書類においては、この操作インタフェース部UIPSで取得された情報を、形状変位目標値と呼ぶ。操作インタフェース部UIPSは、画像情報から操作者の手の動きを検出するとともに、操作者に触覚情報を出力するように構成されている。カメラモジュールUIPSISは手の動きを検出するために設けられ、形状算出部UIPSICではそれらカメラモジュールUIPSISから得られた画像情報をもとに作業機械ACTの各部位の変位を算出する。形状変位目標値は、操作シミュレータUSIM及び／または送信部UIPTに出力される。カメラモジュールUIPSISと形状算出部UIPSICとが、図１に示す入力部UIPSIに相当する。このような操作インタフェース部は画像情報を使用する本例には限定されず、例えば手指の動きを感知できるように配置された加速度センサ、角速度センサなどを用いて実現することも可能である。

また、UIPSOAは操作者HMNの手HMNHに触覚情報を与えるための振動デバイスであり、UIPSOCは操作シミュレータUISMの結果または受信部UIPRで受信されたレスポンス情報ARES（操作プログラムにより切り替える）に基づき、振動デバイスUIPSOAを制御する制御部である。

本操作装置UIFの特徴の一つは、動作内容を指示する手段UIDPCと、作業機械全体の位置を指示する手段UIDPPと、作業機械の主たる制御対象部位の形状変位目標値を指示する手段UIPSを設けたことである。本発明の作業機械ACTは、動作内容に基づき力や位置に関する微調整を自律的に行う機能を持つが、動作内容を指示する手段が、位置や形状変位を指示する手段とは独立にあるほうが、システムへの負荷の面、あるいは、操作性の面でも優位である。動作内容を指示する手段を独立させない場合、変位を指示する手段から動作内容を推定・認識する必要があるが、システムの処理負荷が高くなる可能性が高く、誤認識による誤動作の可能性も十分あり操作者にストレスを与える原因となりうる。単に操作者HMNに対するユーザインタフェースが別々であるにとどまらず、実装面ではこれらがそれぞれ異なるプログラムモジュールで実現される、あるいは同じプログラムモジュールであっても作業機械ACTに適用されるパラメータ（例えば、あらかじめ定められる許容変位の上限値など）を異ならせることで反映される。例えば、指示部UIDPCの指示内容単位（例えば、「把持する」、「つぶす」）ごとに異なるプログラムモジュールで実現する、あるいは「把持する」場合と「つぶす」場合で共通のプログラムモジュールを用いる場合であっても、例えば操作対象物にかける力や変位量に異なる制約、またはハンドの動きに異なる制約をつけて、作業機械ACTのとりうる動作に異なる制約をつけておくことで操作者HMNの意図に沿った操作がより容易に実現される。

また、作業機械全体の位置や全体の形状を指示する手段と、作業機械の主たる制御対象可動部位の変位(形状変位)を指示する手段も独立であることが望ましい。操作者が椅子などに座り止まって操作し作業機械が移動するケースを考えた場合、作業機械全体の移動という大きな変位と作業機械の部位の形状に関わる細かな変位を一つの手段で指示するのは困難であるためである。本実施の形態においては、操作インタフェース部UIDPにより作業機械全体の位置や形状を指示し、操作インタフェースUIPSにより作業機械の部位の変位を指示している。操作インタフェースUIPSから出力される形状変位目標値は、作業機械の部位の変位を指示する値であり、指示部UIDPCの指示内容単位のプログラムモジュールの動作量を示すパラメータ（目標値）として作業機械ACTに与えられる。操作インタフェースUIPSからの制御は、全体の制御には関与せず、主たる制御対象部位の可動部（例えば図２の関節J1よりも先端の部分）の制御に特化することで、作業機械ACTの作業動作が安定する。

図５は、作業機械制御部ACBDの構成、および、モータAM、各種センサ（圧力センサSNP、滑りセンサSNF、距離センサSND、画像センサCMM、モータ角度センサSNA）、タグリーダTGRMなどと制御部ACBDとの接続関係を示す。作業機械制御部ACBDは、制御用プロセッサおよび動作内容に応じたプログラムコードをロードするためのメモリを含む制御LSIチップCTCP、モータなどアクチュエータを駆動するドライバモジュールADRV、操作装置UIFとの通信を行うためのチップNWPH、フラッシュメモリなどの不揮発メモリチップNVMEM、DRAMなどRAMチップVMEMからなる。SNAはモータの回転角に関する情報を出力するセンサである。また、作業機械ACTを操作するためのプログラムは不揮発メモリチップNVMEMに登録されている。

本構成の特徴の一つは、センサSNAからのモータの回転角情報SDAという作業機械自体の動作情報、作業機械と操作対象物との関係を示すセンサ情報（圧力センサSNP、滑りセンサSNF、距離センサSND、画像センサCMMからの情報）、操作装置UIFからの操作指令などが、一つの制御チップCTCPに入力され、これらの情報を元にモータ駆動のための制御信号を算出し、モータ制御信号ACTを出力する点である。制御処理を一チップに集約することで、作業機械自体の動作情報、作業機械と作業機械外部との関係を示すセンサ情報などの入力から、モータの制御までの遅延時間を小さくすることができ、操作速度を向上させることができる。

図８に作業機械制御部ACBDと作業機械ACTに取り付けられたセンサとの別の接続形態を示す。図２と同様のマニピュレータ形態の作業機械に関して記載している。マニピュレータに繊細な動作をさせるためには、複数種、複数個のセンサを指部分に実装する必要がある。また一方で、小型化や高速動作のためには、指部分の重量を軽くすること、指部分のセンサと作業機械制御部との間の信号線数を少なくすることが必要である。

図８において、指部分FIGの複数個のセンサ(SNP、SND、SNF)は、センサ接続チップSHCPを介して作業機械制御部ACBDに接続される。センサ接続チップSHCPは、複数のセンサからの情報を集約し、一組の信号線SASIGを介して作業機械制御部ACBDにセンサ情報を送信する。このように階層接続トポロジとすることにより、作業機械制御部ACBDとセンサ間を少ない信号線数で接続することが可能となる。また、図８の形態において、指部分FNGにはセンサおよびセンサ接続チップを実装し、作業機械制御部ACBDやアクチュエータ（モータAM）を上腕ARMFに実装する理由は、繊細な動作を必要とする指部分FIGの軽量化のためである。

センサ接続チップSHCPは、様々なセンサ素子を接続するためのコンフィギュラブルIO回路CNFIO、FPGA（フィールドプログラマブルゲートアレイ）などコンフィギュラブルデジタル処理回路CNFPR、汎用プロセッサやタイマなどを含む汎用デジタル処理回路GCR、オンチップメモリEMEM、それらを接続し信号伝達を行うオンチップスイッチファブリック回路OCSWからなる。

コンフィギュラブルIO回路CONFIOの構成例を図９に示す。アナログ入力回路AINはチップ外部からのアナログ入力情報を処理する回路ブロックであり、デジタル入力回路DINはチップ外部からのデジタル入力を処理する回路ブロックであり、デジタル出力回路DOUTはチップ内部からのデジタル情報をチップ外部に出力する回路ブロックである。また、オンチップデータ出力ポート回路DTOUTはアナログ入力回路AINとデジタル入力回路DINからの情報をオンチップスイッチファブリックOCSWに出力するための回路ブロックであり、コンフィグレーションレジスタCRRGは、アナログ入力回路AINとデジタル入力回路DINとデジタル出力回路DOUTとオンチップデータ出力ポート回路DTOUTのコンフィギュレーション情報を設定するための記憶素子を含む回路ブロックである。タイマTMUはセンサからの情報を取得するタイミングを生成するタイマ回路ブロックである。オンチップデータ出力ポート回路DTOUTは、コンフィグレーションレジスタCRRGで接続を指定された回路(アナログ入力回路AINとデジタル入力回路DINから選択)からのデータをタイマTMUに指定されるタイミングで取得し、そのデータをオンチップスイッチファブリック回路OCSWのクロックに同期化させ送信する役割を持つ。本図においては、一つのオンチップデータ出力ポート回路DTOUT に、一つのアナログ入力回路AINと一つのデジタル入力回路DINが接続されているが、この回路数の比はこれに限定するものではない。また、信号IOPDはチップ外部への入出力端子と接続される信号であり、信号OCOUTと信号OCIN1と信号OCIN2とはオンチップスイッチファブリック回路OCSWへ接続される信号である。

アナログ入力回路AINは、抵抗値、容量値、アナログ電圧値など様々な出力をもつセンサの接続を可能にする回路ブロックである。アナログ入力回路AINは、オペレーショナルアンプ回路OPAP、AD変換回路ADC、可変抵抗VRG、可変容量VCP及びこれらの接続構成を変更するためのスイッチ回路SWTを含む。Vrefは参照電圧である。アンプ回路OPAP、可変抵抗VRG、AD変換回路ADCを有することにより、センサ内部にアンプ回路を持たずセンシング値を抵抗値として出力する可変抵抗型のセンサを、最小限のチップ点数で接続することが可能となる。また、アンプ回路OPAP、可変容量VCP、AD変換回路ADCを有することにより、センサ内部にアンプ回路を持たずセンシング値を容量値として出力する可変容量型のセンサを、最小限のチップ点数で接続することが可能となる。このように、AD変換回路ADCを有することにより、アナログ電圧値でセンシング値を出力するセンサを最小限のチップ点数で接続することが可能となる。

デジタル入力回路DIN、デジタル出力回路DOUTは、デジタルバッファ回路DBUF、スイッチ回路SWTを含む。

コンフィグレーションレジスタCRRGのコンフィギュレーション情報は、デジタル入力回路AINに含まれるスイッチ回路SWTのON/OFF、可変抵抗VRGの抵抗値、可変容量VCPの容量値を指定するための情報、デジタル入力回路DINのスイッチ回路SWTのON/OFFを指定するための情報、デジタル出力回路DOUTのスイッチ回路SWTのON/OFFを指定するための情報を含む。

以上のように、センサ接続チップが、コンフィギュラブルIO回路CONFIOを有することで、抵抗値、容量値、アナログ電圧値、デジタル電圧値など様々な出力を持つセンサの接続を最小限のチップ点数で接続することができ、指部分の軽量化が可能となる。

センサ接続チップの典型処理は以下のようになる。

(1) センサからの情報をセンサ接続チップSHCPに取り込む。この処理はコンフィギュラブルIO回路CNFIOによって実行される。コンフィギュラブルIO回路CNFIOは予め設定しておいた時間間隔で、センサの情報をサンプリングし、デジタル値で保持する。コンフィギュラブルIO回路CNFIOはサンプリングタイミングを指示するためのタイマ回路(TMU)を有する。

(2) コンフィギュラブルIO回路CNFIOが得た情報をデジタル演算処理し作業機械制御部ACBDに送信するセンシング情報に変換する。デジタル処理内容の一つは、コンフィギュラブルIO回路CNFIOが得たセンサ情報に対するノイズ除去処理であり、フィルタ処理などを行う。また、コンフィギュラブルIO回路CNFIOが得た情報がヘッダなどのセンシング情報以外を含む場合には、ヘッダ等を省きセンシング情報を抽出する処理も行う。また、コンフィギュラブルIO回路CNFIOが得た情報に対して予め決められた演算を行うことで、必要なセンシング情報となる場合もあり、その場合には変換処理も行う。これらの処理は、コンフィギュラブルデジタル処理回路CNFPR、あるいは、汎用デジタル処理回路GCRで行う。センサ接続チップSHCPがFPGAなどのコンフィギュラブルデジタル処理回路を含むことで、フィルタ処理などの処理内容を製造後に変えることができ、製品や使用状況にあわせた性能の最適化と処理の高速化の両立が可能である。

(3) 以上の(2)で処理されたセンシング情報に対して、送信経路（センサ接続チップSHCPと作業機械制御部ACBD間）で発生するノイズに耐えるためのエラー耐性用コーディング処理演算を行う。センサ接続チップがFPGAなどのコンフィギュラブルデジタル処理回路を含むことで、処理内容を製造後に変えることができ、製品や使用状況にあわせたエラー耐性用コーディング方式の適用と処理の高速化の両立が可能である。

(4) 以上の(3)で処理されたセンシング情報を作業機械制御部ACBDに送信する。コンフィギュラブルデジタル処理回路CNFPRの一部に、作業機械制御部ACBDとの通信を行うための通信回路を構成しておく。

以上のようなフローで、センサから得られた情報を作業機械制御部ACBDに送信する。

また図８で示す構成において、センサ接続チップSHCPと作業機械制御部ACBD間の信号線SASIGが、作業機械制御部ACBDからセンサ接続チップSHCPへの設定情報(センサコンフィギュレーション情報やプログラム)の送信と、センサ接続チップSHCPから作業機械制御部ACBDへのセンシング情報の送信の両方に時分割で使用される点も特徴の一つである。作業機械の初期化時は、信号線SASIGを介して作業機械制御部ACBDからセンサ接続チップSHCPへの設定情報の送信を行えるよう、制御チップCTCPとセンサ接続チップSHCPの信号線SASIGに関わる回路の設定(入出力方向など)がなされている。初期化完了後は、信号線SASIGを介してセンサ接続チップSHCPから作業機械制御部ACBDへのセンシング情報の送信を行えるよう、制御チップCTCPとセンサ接続チップSHCPの信号線SASIGに関わる回路の設定(入出力方向など)が変更される。これにより、図８の指FNG部分の軽量化と、センサ接続チップSHCPと作業機械制御部ACBD間の少信号線化の両方が実現できる。

以上に示したように、センサ接続チップを用いたツリー型の接続トポロジとすることで作業機械制御部ACBDに接続されるセンサ信号数の削減が可能となる。また、センサコンフィギュラブルIO回路CNFIOを含むセンサ接続チップSHCPを用いた実装を行うことにより、繊細な動作を必要とする可動部の軽量化が可能となる。

作業機械ACTは、操作装置UIFを介した操作者HMNからの指示と、作業機械ACTに搭載されたセンサからのセンシング情報を用いた自律動作を組み合わせた動作を行う。その処理フローを、マニピュレータを例にとり、図６、図７に示す。

最初に、作業機械ACT全体の位置を操作する。詳細については省略するが、作業機械ACT全体の位置は、操作インタフェース部UIDPを用いて操作する。操作者HMNによる移動方向の指示に応じた移動命令が、作業機械ACTに伝達され、作業機械制御部ACBDでは全体位置操作プログラムモジュールが実行される。すなわち、移動命令に応じ、作業機械ACTは前後左右に移動する、あるいは上下に高さを変えることになる。

その後、作業機械ACTの主たる制御対象部位の制御に関わる処理フローの概要を図６にそって示す。図２、図３、図４で示した例においては、図２の関節J1よりも先端の部分が、ここでいう作業機械ACTの主たる制御対象部位に相当する。

まず、作業機械ACTは、操作装置UIFから作業機械の動作内容と形状変位目標値を受信する（T1）。形状変位目標値とは、図４に示した操作インタフェース部UIPSを介して得られた情報で、本実施の形態ではハンドの角度、位置、形状をどのように変化させるかを指示する情報である（言い換えれば、最初のハンドの角度、位置、形状とアクチュエータをどう動かすかという情報である）。

次に作業機械ACTは、作業機械制御部ACBD内の不揮発メモリNVMEMから、受信した動作内容に対応する制御プログラムを制御チップCTCP内のメモリにロードする（T２）。この不揮発メモリNVMEMには、複数の動作内容に対応する複数のプログラムモジュールが格納されており、その中から動作内容に対応するものを選択的にロードする。制御プログラムを制御チップ内のメモリにロードするのは、制御プログラムをより短い時間で実行するためである。

ロード完了後、ロードされた制御プログラムの実行を開始する（T3）。ステップT4では、対象物がタグを持つ場合にそのタグ情報を取得する処理を示す。このタグ情報には、物体を掴む際の圧力や掴む位置などの物体を操作する際に有用な補助情報が含まれる。このように操作対象物がそれ自体の情報を持つタグを有する場合、作業機械がこのタグからの情報を読み出し、作業機械ACTは読み出した情報を自律的な力制御や位置の微調整に利用する。

本実施の形態の制御プログラムでは、ステップT５以降、所定のセンサ読み取り間隔毎に作業機械ACTに搭載されたセンサ（圧力センサSNP、滑りセンサSNF、画像センサSND、モータ角度センサSNA）から情報を取得し続けている（T5）。作業機械ACTでは、そのセンサ値と操作装置UIFから指示された動作内容と形状変位目標値から実際の変位値を算出し（T6）、その変位値に基づいてアクチュエータ駆動のための制御信号を出力する（T7）。この操作を、操作装置UIFから指示された動作を完了するまで繰り返す。また、ステップ８(T8)では、取得されたセンシングデータは所定のタイミングで操作装置UIFに送信する。

次に、図６のステップT6の処理「取得したセンサ値に基づき変位値を算出する処理」について説明する。一例として、作業機械ACTに物体を持上げさせる処理に関して記載する。この場合、作業機械ACTに搭載された主に圧力センサSNPおよび滑りセンサSNFからの値を用いた精密制御を行う。

操作者HMNは操作対象物とハンドの関係を直接あるいはディスプレイUIDPDで目視により、操作装置を用いて操作する。物体を持ち上げるという本例の場合、操作者HMNは、操作インタフェースUIDPを用いて物体を持ち上げるという動作内容を指示し、操作インタフェース部UIPSを用いて作業機械ACTのハンドを移動する(初期位置と角度を決める)、ハンドを閉じ物体を掴む、持上げるという一連の動作に関する形状変位目標値を指示する。その指示をうけた作業機械ACTは、動作内容や形状変位目標値をもとに作業機械ACTの可動部の各部に動作の目標値と制約値を設定し、その値とセンシング値にしたがって変位値を算出しハンドの形状を変えていく。動作の目標値と制約値は、ハンドを移動する、ハンドを閉じる、持上げるというそれぞれのフェーズで異なる。

図１１は、ハンドを閉じるフェーズにおける関節J3につながる指FNGの動作の目標値や制約値を示すテーブルTBの例である。本例において、テーブルTBは、目標値と制約値とフラグのデータを含む。目標値は関節J3の回転角度値を含み、制約値は関節J3につながる指FNGに許容される圧力値(上限・下限値)、関節J3につながる指FNGと対象物体間の滑り値を含む。フラグは制御の必要に応じて設定されるものであり、この例では「持上げ動作中」を示すフラグが設定されている。また、動作制約値の各項目には優先順位が与えられている。なお、目標値や制約値は、動作内容と形状変位目標値から決まる場合、動作内容と形状変位目標値と操作対象物に付されたタグから得られるタグ情報から与えられる場合がある。作業機械ACTの可動部分(ハンド)の動作が制御される間、搭載された各センサはセンシングしており（ステップT6）、作業機械制御部ACBDはセンシング情報とテーブルTBの値とを比較している。図１１の例では、目標値と制約値に優先度を付け、優先度の高い(値が小さい)項目をより優先するようにしている。ハンドを閉じるフェーズにおいて、最初、指FNGは、動作目標値の回転角度に向かって制御されるが、位置目標に未達であっても、制約値を満たしたところで、閉じる動作は完了し、指FNGの位置は決定される。

図６のステップT6の処理「取得したセンサ値に基づき変位値を算出する処理」の流れを図７を用いて説明する。上記と同様に、主に圧力センサSNPおよび滑りセンサSNFを用いて、作業機械ACTに物体を持上げさせる処理を例にとる。

まず、操作インタフェース部UIPSから指示される形状変位目標値やタグ情報から、ハンドの位置、角度が決まる。この「ハンドを移動する」フェーズに関しては図７に図示していない。

続いて、「ハンドを閉じ物体を掴む」フェーズに移行する。作業機械制御部ACBDは、物体を掴むために、ハンドを閉じるようにハンドを操作する(S1-1)。各可動部の圧力センサ値がテーブルTBの把持圧力下限値を超えるまで繰り返す。

各可動部の圧力センサ値がテーブルTBの把持圧力下限値を超えた時、作業機械制御部ACBDは、作業機械ACTが操作対象物に触れたと判断する。作業機械制御部ACBDはこの時のハンドの位置、状態を記憶しておく。そして次に作業機械制御部ACBDは対象物の持上げを試みる（S3-1、S3-2）。ステップS3-1では、ハンドの形状に関係するパラメータは維持したまま、ハンド全体の位置を上昇させるように各可動部の動作目標値（変位値）を設定する。これは図２において、関節J2、J3、J4の角度を維持したまま、ハンド位置を上昇させる方向に関節J1を回転させることを意味する。ステップS3-2では、次のセンサ読み取りタイミングにおいて、持上げ動作中であることを記憶しておくためのフラグ（持上げ動作中フラグ）の設定を行う。また、この時、作業機械制御部ACBDはハンド位置を上昇させる前のハンドの位置とハンドの形状を記憶しておく。このステップS3-1およびS3-2の一連の操作の後センサ読み取り時間が経過したとき、滑りセンサSNFの値に応じて、ステップS2-1あるいはS4-1の制御に移行する。

ステップS3-1とS3-2による持上げ試行を行い、滑りが検出されない場合は、物体の持上げに成功したと判断し、「物体を持ち上げる」フェーズに移行する。ハンド形状をそのままにして物体を持ち上げる制御を行う（ステップS4-1）。例えば、動作目標値が、操作インタフェース部UIPSから指示される形状変位目標値に応じた関節J1の動作角度として定義されているとすれば、上腕ARMFを駆動するモータの回転角が動作目標値に等しくなるまで、ステップS4-1を実行する。動作完了時には持上げ動作中フラグの解除も行う。

一方、ステップS3-1とS3-2による持上げ試行を行ったものの物体の滑りが検出された場合はステップS2-1の処理に移行する。これは持上げ試行が失敗したことであるので、ステップS2-1では、ハンド位置をステップS3-1での試行前の位置に戻し、ハンド形状をより強く掴むように変位値を設定する。これは図２において、関節J2、J3、J4の角度を強く掴む方向に回転させ、かつ、ハンド位置を下降させる方向に関節J1を回転させることを意味する。ステップS2-2では持上げ動作中フラグを解除し、再び、ステップS3-1とS3-2による持上げ試行を行う。

このように持上げ試行を続け、圧力が予め指定した圧力上限を超えると、ステップS5-1の例外処理に入る。この場合、指定範囲内の掴み圧力で持上げ動作が出来なかったことを操作者に伝えるために、その旨のメッセージを操作装置UIFに送信し、ディスプレイ上にエラー表示UIDPEがなされる。

以上のように本処理は、作業機械ACTに搭載された圧力センサSNPおよび滑りセンサSNFを用いて物体が滑らない程度の最低限の力で物体を持ち上げるようにしている。これにより、硬さや重さが事前に分かっていない物体の扱いも可能となる。滑りセンサを用いることで様々な物体に対して瞬時に物体が滑っているかどうかを判断でき、高速かつ繊細な処理が可能となる。

操作装置UIFの操作シミュレーションUISMの一つの実施の形態を、図１０を用いて説明する。図１０で示す操作シミュレータUISMは、作業機械ACTが操作対象物に接触するタイミングを計算し、予測触覚情報を操作インタフェース部UIPSに送信する。操作インタフェース部UIPSはこの予測触覚情報を元に触覚情報を操作者に与える。

操作シミュレータUISMは、この触覚情報を生成するために、操作インタフェース部UIDPからの動作内容指示情報、操作インタフェース部UIPSからの形状変位目標値、作業機械ACTからの作業機械と対象物の相対位置情報、作業機械ACTからの作業機械の形状情報を用いる。相対位置情報とは作業機械に搭載された距離センサSNDからの情報であり、ハンドの各部位と対象物との距離を示す情報である。

操作シミュレータUISMの予測触覚情報生成部UISMGは、作業機械のモデルを持つ。このモデルは、作業機械の機械構造、距離センサの搭載位置、動作アルゴリズム（図６、図７など）、アクチュエータの特性(様々なケースの動作速度)などという情報を含む。このモデルと上記の指示情報(動作内容と形状変位目標値)と上記の作業機械の形状情報から作業機械の各部位の動作速度が得られ、算出された動作速度情報と相対位置情報から作業機械が対象物体と接触するタイミングが求められる。このように、操作シミュレータUISMが模擬するのは、操作インタフェースUSDP、UIPSに基づいて理想的に操作されている場合の動作であり、作業機械の自律的制御については行わない。これにより、作業機械の自律的制御を模擬するために必要な通信リソースを大量に削減している。

また本実施の形態においては、操作者にフィードバックする情報のうちの、画像情報は作業機械からの情報をそのまま操作者に与え、触覚情報のみをシミュレートしている。人間は触覚情報のフィードバック時間により敏感であるということがあり、触覚情報の遅延の隠蔽は特に重要であるが、画像情報のフィードバックも除外するものではない。

この操作シミュレータにより、操作装置と作業機械の間に大きな遅延が存在する場合にも、操作者には遅延なく触覚フィードバック情報を与えることができ、操作者のスムーズな操作が可能となる。

これら一連の発明事項により、人操作型の作業機械において、操作者のストレスが小さくスムーズな操作を実現できる。

ACT：作業機械、UIF：操作装置、HMN：操作者、UISM：操作シミュレータ、ACBD：作業機械制御部、ACMC：作業機械可動部、SNP：圧力センサ、SNF：滑りセンサ、SND：距離センサ、CMM：画像センサ、TGRM：タグリーダモジュール、SNA：モータ角度センサ、AM：モータ、CTCP：制御チップ、SHCP：センサ接続チップ。

Claims

作業機械と上記作業機械を操作する操作装置とを有する作業機械システムであって、
上記作業機械は、
可動部と、
上記可動部に搭載されたセンサと、
上記可動部の動きを制御する制御部と、を備え、
上記操作装置は、
上記作業機械に対する操作内容を指示する第１の操作インタフェース部と、
上記作業機械の上記可動部の形状変位目標値を指示する第２の操作インタフェース部と、を備え、
上記作業機械の制御部は、上記第１の操作インタフェース部により指示された操作内容に対応するプログラムにしたがって上記可動部の動きを制御するとともに、上記第２の操作インタフェース部により指示された形状変位目標値に応じた上記可動部の動作目標値と上記可動部の動作制約値を設定し、
上記作業機械のセンサは、所定の読み取り間隔でセンシングを行い、センシング情報を上記作業機械の制御部に伝達し、
上記作業機械の制御部は、上記動作目標値が未達であっても、上記センシング情報は上記動作制約値を超えた場合に、上記可動部の動きを停止させるものであり、
上記動作制約値として複数の制約条件を含み、上記複数の制約条件には優先順位が付されていることを特徴とする作業機械システム。
請求項１において、
上記作業機械は、上記作業機械が操作する操作対象物に付されたタグからタグ情報を読み取るタグリーダモジュールを備え、
上記動作制約値は、あらかじめ上記プログラムにより与えられている制約条件と上記タグ情報から与えられる制約条件を含むことを特徴とする作業機械システム。
請求項１において、
上記作業機械はセンサ接続チップを有し、
上記作業機械は複数のセンサを有し、かつ上記制御機械の制御部は制御演算を行う制御チップを有し、
上記複数のセンサに対して一つの上記センサ接続チップが接続され、それぞれ複数のセンサが接続された複数の上記センサ接続チップに対して一つの上記制御チップが接続されることを特徴とする作業機械システム。
請求項３において、
上記センサ接続チップは、AD変換回路、アンプ回路、可変抵抗、可変容量およびスイッチ回路を含む要素回路と、
上記要素回路の接続関係と可変抵抗及び／または可変容量の値とを記憶するメモリとを有し、
上記メモリに記憶された情報に基づき、上記要素回路から変換回路を構成して、上記センサからのアナログセンシング情報をデジタルセンシング情報に変換することを特徴とする作業機械システム。
請求項１において、
上記センサとして、操作対象物が作業機械表面を滑っているか否かを検知する滑りセンサを有することを特徴とする作業機械システム。
作業機械と上記作業機械を操作する操作装置とを有する作業機械システムであって、
上記作業機械は、
可動部と、
上記可動部に搭載されたセンサと、
上記可動部の動きを制御する制御部と、を備え、
上記操作装置は、
上記作業機械に対する操作内容を指示する第１の操作インタフェース部と、
上記作業機械の上記可動部の形状変位目標値を指示する第２の操作インタフェース部と、
上記作業機械の動作を模擬する操作シミュレータと、を備え、
上記作業機械の制御部は、上記第１の操作インタフェース部により指示された操作内容に対応するプログラムにしたがって上記可動部の動きを制御するとともに、上記第２の操作インタフェース部により指示された形状変位目標値に応じた上記可動部の動作目標値と上記可動部の動作制約値を設定し、
上記作業機械のセンサは、所定の読み取り間隔でセンシングを行い、センシング情報を上記作業機械の制御部に伝達し、
上記作業機械の制御部は、上記第１及び第２の操作インタフェース部の指示に基づく制御と上記センシング情報と上記動作制約値とを比較して行う自律的制御の２種類の制御により、上記可動部を制御し、
上記操作シミュレータは、上記作業機械のモデルを有し、上記モデルと上記第１及び第２の操作インタフェース部の指示とから、上記作業機械の可動部の動作速度を算出し、上記作業機械と操作対象物との相対位置情報及び上記動作速度から作業機械が対象物体と接触するタイミングを算出し、上記第２の操作インタフェース部にフィードバックするものであり、
上記動作制約値として複数の制約条件を含み、上記複数の制約条件には優先順位が付されていることを特徴とする作業機械システム。
請求項６において、
上記作業機械と上記操作装置とは外部ネットワークを介して接続されていることを特徴とする作業機械システム。
請求項６において、
上記作業機械の制御部は、上記作業機械の可動部が対象物体と接触するまでは上記第１及び第２の操作インタフェース部の指示に基づく制御を行うことを特徴とする作業機械システム。
請求項６において、
上記フィードバックは操作者に対する触覚情報で行うことを特徴とする作業機械システム。
請求項６において、
上記作業機械は、上記作業機械が操作する操作対象物に付されたタグからタグ情報を読み取るタグリーダモジュールを備え、
上記動作制約値は、あらかじめ上記プログラムにより与えられている制約条件と上記タグ情報から与えられる制約条件を含むことを特徴とする作業機械システム。
請求項６において、
上記作業機械はセンサ接続チップを有し、
上記作業機械は複数のセンサを有し、かつ上記制御機械の制御部は制御演算を行う制御チップを有し、
上記複数のセンサに対して一つの上記センサ接続チップが接続され、それぞれ複数のセンサが接続された複数の上記センサ接続チップに対して一つの上記制御チップが接続されることを特徴とする作業機械システム。
請求項１１において、
上記センサ接続チップは、AD変換回路、アンプ回路、可変抵抗、可変容量およびスイッチ回路を含む要素回路と、
上記要素回路の接続関係と可変抵抗及び／または可変容量の値とを記憶するメモリとを有し、
上記メモリに記憶された情報に基づき、上記要素回路から変換回路を構成して、上記センサからのアナログセンシング情報をデジタルセンシング情報に変換することを特徴とする作業機械システム。
請求項６において、
上記センサとして、操作対象物が作業機械表面を滑っているか否かを検知する滑りセンサを有することを特徴とする作業機械システム。