JP6856590B2 - センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム - Google Patents

Description

本発明はセンシングシステム、作業システム、拡張現実画像の表示方法、およびプログラムに関する。

従来、搬送装置によって搬送されている対象の位置を検出するための視覚センサと、視覚センサによる検出結果に基づき対象の取出作業を行うロボットとを備えた作業システムが知られている（例えば、特許文献１参照。）。
また、ロボットの三次元モデルと、三次元座標上の作業者の視点の位置とに基づき、ロボットの教示された動作の軌跡を表示装置に表示するシステムが知られている（例えば、特許文献２参照。）。

特開２００５−１１１６０７号公報 特開２０１７−１００２３４号公報

搬送装置によって搬送されている対象もしくは移動している対象もしくは移動していない対象にロボットによって作業を行うシステムにおいて、ロボットによる対象に対する作業が成功しなかった際に、その原因を確認する必要がある。この確認のために、現在は、ロボットを制御している制御装置内の処理を全て記録し、記録された処理を読み解く必要がある。このように記録された処理はテキストデータであることが多いため、原因の調査に長時間を要する。または専用の解析ソフトを用意して解析する必要があり費用がかかってしまう。また専用の解析ソフトをもってしても直感的に現象を理解するのは困難であった。

一方、前記作業システムでは、周辺装置の座標系、ロボットの座標系、ロボットの作業領域、視覚センサの位置等がロボットの制御装置において設定されるが、設定されたこれらの位置と現実空間の周辺装置、ロボット、視覚センサ等との関係を直感的に認識することができない。このため、設定の間違いに気付かずに生産が開始される場合があった。その結果、ロボットと周辺機器との干渉、ロボットによる対象の取出しの失敗等が発生していた。
また、対象に対してロボットが作業しなかった場合に、原因が各種センサの計測によるのか、対象の位置計算にあるのか、判別がつかず調整に時間を要していた。

また、教示操作盤を用いたロボットの制御装置の設定、例えば座標系の設定、ロボットの作業領域の設定等は、ロボットの操作をよく知る作業者でも長時間を要することがあり、ロボットの操作に未熟な作業者はさらに長い時間を要する。

本発明は、前述の事情に鑑みてなされている。本発明の目的の一つは、対象の検出を行うシステムの作動の成功又は失敗の原因究明の容易化、当該システムの設定チェックの容易化、当該システムの設定の容易化、又は、当該システムに関する状態変化、計算結果等の可視化を図ることができるセンシングシステム、作業システム、拡張現実画像の表示方法、およびプログラムの提供である。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１態様のセンシングシステムは、複数の対象の検出に用いられる検出装置と、前記検出装置によって得られたデータに所定の処理を行うことによって前記複数の対象を検出する対象検出手段と、を備えるセンシングシステムであって、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象の前記対象検出手段によって検出された形状をあらわす拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成手段と、前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示装置又は投影装置と、を備える。
また、本発明の第２態様のセンシングシステムは、複数の対象の検出に用いられる検出装置と、前記検出装置によって得られたデータに所定の処理を行うことによって前記複数の対象を検出する対象検出手段と、を備えるセンシングシステムであって、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つのパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成手段と、前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示装置又は投影装置と、を備える。

以下、「拡張現実画像」は「ＡＲ画像」と記載される場合もある。
当該態様では、前記のパラメータが検出閾値以上である候補に対応するＡＲ画像だけではなく、前記のパラメータが検出閾値未満であるが検出候補閾値以上である候補に対応する候補ＡＲ画像も表示装置に表示される。また、対象の対象検出手段によって検出された形状をあらわす拡張現実画像が作成される。このため、検出閾値の変更、検出のためのライティング（照明）の変更、その他の設定の変更等によって検出される対象を増やす作業が容易となり、当該作業後の結果の確認も容易となる。

上記態様において、好ましくは、前記候補拡張現実画像が前記拡張現実画像と区別可能な態様で作成される。
当該構成により、オペレータは、候補ＡＲ画像に対応する対象の存在を容易に認識することができる。

上記態様において、好ましくは、前記拡張現実画像作成手段が、前記候補拡張現実画像に付随する検出結果の拡張現実画像を作成し、前記表示装置又は前記投影装置によって、前記候補拡張現実画像と共に前記検出結果の拡張現実画像が表示又は投影される。
当該構成では、候補ＡＲ画像と共に表示される検出結果に基づき、オペレータは、検出装置に関するパラメータ設定をより容易に行うことが可能となる。

上記態様において、好ましくは、前記表示装置又は前記投影装置が、所定の入力部への入力に応じて、前記複数の拡張現実画像のうち選択された前記拡張現実画像および／又は前記候補拡張現実画像を表示又は投影するものである。
または、制御装置がリアルタイムで前記拡張現実画像を作成、記録するものであり、前記表示装置が、所定の入力部への入力もしくは制御装置またはセンサにおける所定の条件の成立に応じて、その時点のもしくは直近の複数の拡張現実画像のうち選択された前記拡張現実画像を表示するものである。
当該構成では、オペレータは入力部への入力や制御装置やセンサへの条件設定を用いて表示するＡＲ画像を選ぶことができる。このため、任意の時点や事象発生時の制御装置の処理、設定等をオペレータがより容易に認識することが可能になり、システムの作動の成功又は失敗の原因究明の容易化、システムの稼働率向上を図るためにも極めて有用である。

上記態様において、好ましくは、前記表示装置又は前記投影装置が、所定のイベントが発生した際に、前記複数の拡張現実画像のうち前記所定のイベントの発生時点の周辺の前記拡張現実画像および／又は前記候補拡張現実画像を表示又は投影するものである。
当該構成では、イベントの発生位置の周辺のＡＲ画像および／又は候補ＡＲ画像が表示されるので、オペレータはシステムの作動の成功又は失敗の原因究明をより効率的に行うことができる。

上記態様において、好ましくは、所定の入力装置を用いた入力に応じて、前記表示装置に表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像の少なくとも１つを選択する選択処理と、前記所定の入力装置を用いた入力に応じて選択された、前記表示装置によって表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像を移動する移動処理および表示されているパラメータの設定変更、を行う拡張現実画像操作手段と、選択された前記拡張現実画像の移動情報又は変更情報に応じて、作業機械を制御する制御装置において設定されているパラメータ又は計算されているパラメータを変更する設定調整手段と、を備える。

当該構成では、オペレータが所定の入力装置を用いてＡＲ画像を移動させ、設定調整手段が、制御装置において設定されているパラメータ又は計算されているパラメータを変更する。このため、オペレータは直感的に作業機械を制御するための設定を変更することが可能となり、これは熟練したオペレータにとっても制御装置の設定の正確性および作業効率を向上するために有用である。

上記態様において、好ましくは、前記投影装置が、前記拡張現実画像を現実空間に投影するものであり、前記表示装置が、前記拡張現実画像および前記候補拡張現実画像を、現実空間像又は現実空間と共に見えるように表示するものである。
ＡＲ画像が現実空間に投影される場合は、オペレータは現実空間において制御装置内の設定、処理等を視覚的に認識することができ、複数人でディスカッションする場合に特に適している。ＡＲ画像が現実空間像又は現実空間と共に見えるように表示装置によって表示される場合は、システムの全体を見なくても、表示装置内を見るだけでオペレータはＡＲ画像と現実空間との関係を視覚的に認識できる。また、表示装置がＡＲ画像を現実空間像と共に表示する場合は、現場にいない場合でも、状況を把握可能となり、システム監視に特に適している。ＡＲ画像を現実空間に付加する場合は、実際に見ながら作業する場合に特に適している。

上記態様において、好ましくは、作成された前記拡張現実画像および／又は前記候補拡張現実画像を、対応する現実空間像と共に記憶する記憶部を備える。
当該構成では、ＡＲ画像が対応する現実空間像と共に記憶される。このため、オペレータは、記憶されたＡＲ画像を現実空間像と共に再生することができ、これはシステムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化のために極めて有利である。

上記態様において、好ましくは、前記記憶部に記憶されている前記拡張現実画像および／又は前記候補拡張現実画像を再生する、もしくは前記現実空間像と共に再生する再生手段を備える。
当該構成では、オペレータは再生手段によって記憶されたＡＲ画像を現実空間像と共に任意の場所で容易に再生することができる。
または、実空間上の装置を見ながらＡＲ画像を再生することで、稼働率改善のための調整を現場で行うことができる。

本発明の第３態様の作業システムは、前記センシングシステムと前記作業機械とを備えている。

本発明の第４態様は、検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられる拡張現実画像の表示方法であって、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象の前記対象検出手段によって検出された形状をあらわす拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成ステップと、前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示ステップと、を有する。
本発明の第５態様は、検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられる拡張現実画像の表示方法であって、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成ステップと、前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示ステップと、を有する。

本発明の第６態様は、検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられるプログラムであって、コンピュータに、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成処理と、前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示処理と、を実行させるものである。
本発明の第７態様は、検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられるプログラムであって、コンピュータに、前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成処理と、前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示処理と、を実行させるものである。

本発明によれば、対象の検出を行うシステムの作動の成功又は失敗の原因究明の容易化、当該システムの設定チェックの容易化、又は当該システムの設定の容易化、又は状態変化確認の効率化、システム調整の簡易化、を図ることができる。

本発明の一実施形態のセンシングシステムの概略構成および動作の一例を示す図である。 本実施形態のセンシングシステムの制御装置のブロック図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。

本発明の一実施形態に係るセンシングシステムについて、図面を用いながら以下説明する。
本実施形態のセンシングシステムは、図１に示されるように、物品である対象Ｏを搬送する移動手段としての搬送装置１０と、搬送装置１０によって搬送される対象Ｏの検出に用いられる検出装置２０と、搬送装置１０によって搬送されている対象Ｏに対して所定の作業を行う作業機械であるロボット３０と、ロボット３０を制御する制御装置４０と、拡張現実装置６０（図２）とを備えている。本実施形態のセンシングシステムは、センシングされた対象Ｏに対して作業機械であるロボット３０が所定の作業を行うシステムであるから、作業システムでもある。
なお、センシングシステムは固定台の上に置かれた対象Ｏ等の移動しない対象Ｏの検出にも用いることができる。

搬送装置１０はモータ１１を駆動することによって対象Ｏを搬送するものである。モータ１１は作動位置検出装置１２を備えており、作動位置検出装置１２はモータ１１の出力軸の回転位置および回転量を逐次検出する。作動位置検出装置１２は例えばエンコーダであり、作動位置検出装置１２の検出値は制御装置４０に送信される。なお、エンコーダを使わずに検出装置２０によって対象Ｏの作動位置を検知しても良い。
対象Ｏは、車体、フレーム、部品、食品、医薬品等、様々な物であり得る。図１に示されている搬送装置１０以外の搬送装置を用いることも可能であり、搬送装置１０は対象Ｏを搬送することができるものであればよい。

検出装置２０は、二次元カメラ、三次元カメラ、三次元距離センサ等であり、検出装置２０は得られる画像データ（データ）もしくは点群データ（データ）を制御装置４０に送信する。後述のように、制御装置４０は、画像データや点群データに基づき対象Ｏの位置および姿勢を検出する。

ロボット３０は特定の種類のロボットに限定されないが、本実施形態のロボット３０は、複数の可動部をそれぞれ駆動する複数のサーボモータ３１を備えている多関節ロボットである（図２参照）。なお、複数の可動部によってロボット３０のアーム３０ａが構成されている。各サーボモータ３１はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置４０に送信される。これにより、制御装置４０はロボット３０の各部の位置、速度、加速度等を認識することができる。

ロボット３０は、その先端部に設けられたツール５０の種類に応じた所定の作業を対象Ｏに対して行う。ツール５０はロボット用ツールであればよく、把持ツール、吸着ツール、加工ツール、清掃ツール、組立用ツール、測定ツール、各種センサ、ビジョンシステム用のカメラ等である。加工ツールは、例えば、電動ドリル等の穴あけツール、先端にタップが付いているねじ形成ツール、電動研磨ツール、塗装ガン等の塗装ツール、サーボガン等の溶接ツールである。組立に用いるツールは、例えば、電動ドライバ、ピンを把持して穴に挿入するツール等である。測定ツールは、例えば、膜厚測定器、超音波を用いた内部検査装置、硬度測定器、非接触式の温度計、接写式のカメラ等である。なお、対象Ｏは物品に設けられた孔、加工対象部等でもよい。

本実施形態のツール５０はハンドであり、ロボット３０はツール５０によって搬送装置１０上の対象Ｏの取出しを行う。
ツール５０は爪を駆動するサーボモータ５１を備えている（図２参照）。サーボモータ５１はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置４０に送信される。

ロボット３０の座標系と搬送装置１０の座標系とは対応付けられている。本実施形態では、ロボット３０の先端部に設けられた設定ツールを搬送装置１０上に設置されたキャリブレーション治具の複数の所定箇所に接触させることによって、ロボット３０および搬送装置１０の座標系として用いられる基準座標系が設定される。また、検出装置２０が得る前記キャリブレーション治具の画像データに基づき、検出装置２０の位置姿勢（センサ座標系）が基準座標系に関連付けられている。

制御装置４０は、図２に示されるように、ＣＰＵ、ＲＡＭ等を有する制御部４１と、制御装置４０の設定、メニュー等を表示する制御装置表示部４２と、不揮発性ストレージ、ＲＯＭ等を有する記憶部４３と、ロボット３０のサーボモータ３１にそれぞれ対応している複数のサーボ制御器４４と、ハンド５０のサーボモータ５１に対応しているサーボ制御器４５と、制御装置４０に接続された入力部４６とを備えている。入力部４６は、オペレータが持ち運べる操作盤等の入力装置である。入力部４６が制御装置４０と無線通信を行う場合もある。

記憶部４３にはシステムプログラム４３ａが格納されており、システムプログラム４３ａは制御装置４０の基本機能を担っている。また、記憶部４３には動作プログラム４３ｂ、対象検出プログラム４３ｃ等が格納されている。制御部４１は、対象検出プログラム４３ｃに基づき、検出装置２０から送信される画像データに、物品Ｏの検出のために、周知の画像処理、重心位置の検出処理、パターンマッチング処理、その他の必要な処理等を行い、搬送装置１０によって搬送されている対象Ｏの位置、姿勢等を検出する。なお、検出装置２０が前記画像処理、検出処理、およびパターンマッチング処理等を行うことができる場合は、制御部４１は検出装置２０と重複する処理をする必要はない。

また、制御部４１は、対象検出プログラム４３ｃに基づき、搬送装置１０によって搬送されている対象Ｏの位置および姿勢を、対象Ｏが検出された直後から、作動位置検出装置１２の検出結果（搬送装置１０の動作の検出結果）を用いて追跡する（トラッキング）。このように、制御部４１は、検出装置２０から送信される画像データおよび作動位置検出装置１２の検出結果に基づき、搬送装置１０によって搬送されている対象Ｏの位置、速度、移動量等を検出できる。

拡張現実装置６０はＣＰＵ、ＲＡＭ等を有する制御部と、不揮発性ストレージ、ＲＯＭ等を有する記憶部６３と、キーボード等の入力部とを有する。一例では、図２に示されるように、搬送装置１０およびロボット３０を撮像するために所定位置に設置されたカメラ６１と、カメラ６１によって撮像された現実空間像を表示する表示装置６２とを備えている。表示装置６２はタブレット端末、ヘッドマウントディスプレイ、ＡＲ表示機能付きメガネ等の公知の表示装置を用いることが可能である。この場合、カメラ６１はタブレット端末、ヘッドマウントディスプレイ、又はＡＲ表示機能付きメガネに搭載されていてもよい。カメラ６１によって撮像された画像データは制御装置４０に送信される。また、表示装置６２は制御装置４０から送信される拡張現実画像データに基づく表示を行う。拡張現実画像は三次元画像であってもよく、二次元画像であってもよい。以下、「拡張現実」は「ＡＲ」と記載される場合もある。カメラ６１が得る前記キャリブレーション治具やロボットに貼られたマークやロボット自身の形状の画像データに基づき、カメラ６１の位置および姿勢（カメラ座標系）が基準座標系に関連付けられても良い。実空間とＡＲ画像との位置関係を次元を変えずに関連付けるためには、カメラ６１により得られる前記現実空間像は三次元カメラにより得られる三次元画像であることが好ましいが、前記現実空間像として２次元画像を取得する他の種類のカメラを用いることも可能である。
なお、基準座標系の関連付けは自動で行われても良いし、ユーザーが直接ＡＲ画像を操作して手動で座標系を合わせても良い。
また、基準座標系の関連付けを行わなくても良い。この場合は、現実とＡＲ画像が重畳しなくなるが、現実空間上の物体の相対関係とＡＲ画像上の物体の相対関係は一致しており、ＡＲ画像上の物体の相対関係に異常があれば実際の設定も正確でないことが分かる。

（拡張現実表示の基本処理）
制御部４１は、記憶部４３に格納されているＡＲ画像作成プログラム４３ｄに基づき、検出装置２０を用いた対象Ｏの検出に関する設定と、搬送装置１０の設定と、ロボット３０の設定と、前記設定に基づいて制御部４１が認識している対象Ｏの位置および姿勢と、検出装置２０による対象Ｏの検出の結果と、搬送装置１０の作業予定と、ロボット３０の作業予定と、ロボット３０による作業の実行に関する制御部４１の判断結果と、制御部４１が認識している対象Ｏに関するパラメータとのうち、少なくとも１つに関係しているＡＲ画像データを逐次作成し、作成したＡＲ画像データを表示装置６２に送信する。ＡＲ画像の位置および姿勢はカメラ座標系又は基準座標系に基づいて調整される。これにより、表示装置６２には、カメラ６１から受信する現実空間像および制御装置４０から受信するＡＲ画像が表示される。
なお、制御部４１からデータを取得して拡張現実装置６０でＡＲ画像を作成しても良い。
制御装置４０と拡張現実装置６０間の通信は有線ケーブルでつないでも良いし、無線で通信しても良い。

図１の例では、検出装置２０を用いた対象Ｏの検出に関する設定として、検出装置２０のセンサ座標系のＡＲ画像７１と、検出装置２０の顕出範囲のＡＲ画像７２とが表示されている。検出装置２０を用いた対象Ｏの検出に関する設定として、検出装置２０の位置および方向を示すＡＲ画像が表示されてもよく、検出装置２０のフレームレート、検出装置２０の位置および方向、検出装置２０の絞りや露光時間の調整値、検出装置２０の使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。インジゲータは色によって程度をあらわすものであってもよい。

検出範囲のＡＲ画像７２の位置および範囲は、キャリブレーションに基づき設定され、当該設定に例えば画像データ中の搬送装置１０上のマーク、模様、対象Ｏ等の位置および大きさが基準として用いられてもよい。検出範囲のＡＲ画像７２が表示される場合、オペレータは、搬送装置１０上への対象Ｏの載置が適切か否か、検出範囲とロボット３０の作業範囲との関係等を容易に確認することができる。

図１の例では、制御部４１によって検出された対象Ｏの位置および姿勢に基づいて、制御部４１が認識している対象Ｏの位置および姿勢を示すＡＲ画像７３が表示されている。図１は、ＡＲ画像７３と現実空間像の対象Ｏとが搬送装置１０の幅方向にずれている例を示す。本実施形態では、ＡＲ画像７３は対象Ｏの形状に類似又は一致した形状を有するが、ＡＲ画像７３は対象Ｏの位置、姿勢等を示す点、対象Ｏの移動方向、速度等を示す矢印、対象Ｏの抽象図、その他の代替図等であってもよい。前述および後述のその他のＡＲ画像についても同様の表示が可能である。ＡＲ画像７３の位置および姿勢は、制御部４１によって検出される対象Ｏの位置および姿勢に応じて変化する。

また、図１の例では、ロボット３０の設定である基準座標系がＡＲ画像７４として表示されている。ロボット３０の設定として、ロボット３０の現実の動作速度、ロボット３０の最高速度、ロボット３０の使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。

ロボット３０の先端部、ツール５０、ツール５０によって把持された対象Ｏ等の速度又は加速度の計算結果がインジゲータ、数値、文字等のＡＲ画像として表示されると、ツール５０に加わる負荷、ツール５０によって把持された対象Ｏに加わる負荷、ツール５０の把持力の適否等を直感的に認識することができる。前記速度および前記加速度は、ロボット３０の手首フランジの回転が加味されたものでもよい。

また、図１の例では、ロボット３０の設定であるロボット３０の作業範囲がＡＲ画像７５として表示されている。本実施形態では、当該作業範囲はロボット３０が対象Ｏの取出作業を行う範囲である。当該構成によって、当該作業範囲とオペレータの行動範囲との関係、当該作業範囲と他のロボットの作業範囲との関係、作業内容に対する当該作業範囲の大きさ等をオペレータが直感的に認識することができる。

また、図１の例では、搬送装置１０の設定として、搬送装置１０の搬送方向のＡＲ画像７６が表示されている。搬送装置１０の設定として、搬送速度、使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。
搬送装置１０の搬送方向は、例えば搬送装置１０によって搬送される対象Ｏの位置変化に基づき計算によって得られる。この場合、カメラ６１は搬送装置１０の上方に設けられていていることが好ましい。当該構成は、ＡＲ画像７４とＡＲ画像７６のとの関係の目視確認を可能とし、基準座標系等の設定に対する搬送装置１０の搬送方向が適切か否かの確認を行う上で有利である。

また、搬送装置１０の設定として、搬送装置１０の搬送速度を示すために、制御装置４０が認識している搬送装置１０のベルトのある特定の位置を指し示す指示マークのＡＲ画像７７が表示されてもよい。

また、ロボット３０の動作制限領域がＡＲ画像として表示装置６２に表示されてもよい。動作制限領域は、オペレータ、周辺機器等の周囲に設定される領域であって、ロボット３０の動作を停止又は制限する領域である。この場合、動作制限領域の設定範囲を直感的に認識することが可能となる。

また、検出装置２０による対象Ｏの検出の結果として、検出装置２０によって検出された画像、当該画像に前記画像処理を施すことによって得られた画像であって、対象Ｏの位置、姿勢、および形状をあらわす画像等が、ＡＲ画像として表示装置６２に表示されてもよい。

この場合、オペレータは、検出装置２０による対象Ｏの検出の適否を直感的に確認することができる。例えば、対象Ｏへのライティングの適否、対象Ｏへのライティングに対する検出閾値の適否、検出装置２０によって検出され制御装置４０が認識している対象Ｏの位置、姿勢、形状等の適否等を確認することができる。ライティングや検出閾値が適切でない場合、明るい部分又は暗い部分である対象Ｏの一部や全体が検出されない状況が発生し易くなる。また、検出装置２０によって検出される対象Ｏの位置、姿勢、および形状を実物と比較することによって、オペレータは直感的に検出装置２０の検出の適否を確認することができる。検出装置２０による検出はロボット３０による作業の成否、適否等に大きな影響を与えるので、当該構成は有用である。
なお、ＡＲ画像として表示装置６２に表示される対象Ｏの位置、姿勢、および形状は対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。
また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

また、図３に示されるように、ロボット３０の作業予定として、制御部４１によって追跡される複数の対象Ｏに対しロボット３０が作業を行う予定順番、作業可否、作業の難度（対象Ｏの属性）、対象Ｏの種類、重量、硬度、材質（対象Ｏの属性）、対象Ｏの検査結果等を示すインジゲータ、数値、文字等が、ＡＲ画像７８として表示装置６２に表示されてもよい。ここで、予定順番、作業可否、および作業の難度は、作業の実行に関する制御部４１の判断結果でもあり、対象Ｏの種類、重量、硬度、材質、及び検査結果は制御部４１が認識している対象Ｏに関するパラメータである。
なお、表示装置６２に表示されるＡＲ画像７８を対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

この場合、オペレータは、ロボット３０の作業予定を直感的に認識することができる。例えば、図３に示されるように、ロボット３０の作業範囲を示す一対のＡＲ画像７５の間に配置されている複数の対象Ｏのうち搬送方向の下流側の対象Ｏの予定順序が適切でない場合、そのことを容易に確認することができる。

なお、図４に示すように、複数のロボット３０が対象Ｏに対する作業を行う場合、各ロボット３０について、作業を行う予定順番をＡＲ画像７９として表示装置６２に表示することができる。当該構成は、各ロボット３０の作業の分担等の直感的な認識を可能とする。作業順番のＡＲ画像７９が両方のロボット３０の制御装置４０の各々から表示装置６２に送信されてもよく、一方のロボット３０の制御装置４０から表示装置６２に送信されてもよい。また、ロボット３０に接続された上位制御装置から表示装置６２に作業順番のＡＲ画像７９が送信されてもよい。ここで、予定順番は作業の実行に関する制御部４１の判断結果でもある。
なお、表示装置６２に表示されるＡＲ画像７９を対象の検出装置２０の検出結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

また、搬送装置１０の作業予定として、制御部４１によって追跡されている複数の対象Ｏの近未来の予定位置および予定姿勢をＡＲ画像として表示装置６２に表示することも可能である。この場合、オペレータは対象Ｏの移動方向、移動中の姿勢等を容易に確認することができる。
なお、表示装置６２に表示される当該ＡＲ画像を対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

上記のようにＡＲ画像を表示装置６２に表示することによって、オペレータが、検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、ロボット３０の設定、前記設定に基づいて制御部４１が認識している対象Ｏの位置および姿勢、検出装置２０による対象Ｏの検出の結果、搬送装置１０の作業予定、ロボット３０の作業予定、ロボット３０による作業の実行に関する制御部４１の判断結果、又は制御部４１が認識している対象Ｏに関するパラメータを直感的に認識することができる。これは設定、現象把握、現象の原因究明等のための作業時間の短縮、設定の改善による作業効率の向上、設定センスの向上等のために極めて有利である。

（作業対象とならない検出結果の表示）
図３および図４において、各ＡＲ画像７３は、ロボット３０が作業を行うことができる対象Ｏを作業対象として示している。これに対し、例えば対象Ｏの検出が不十分である時、検出された対象Ｏの姿勢が作業に適さない時等に、複数の対象Ｏのうち一部の対象Ｏに対してロボット３０が作業を実行しない、又は実行できない場合がある。例えば、対象Ｏの検出パラメータがその検出閾値未満である時に、当該対象Ｏは作業対象として検出されない。また、対象Ｏの検出画像の姿勢に関するパラメータがその姿勢閾値未満である時に、対象Ｏの姿勢が作業に適さないと判定される。

対象Ｏに対するライティング、対象Ｏの姿勢、対象Ｏの形状、対象Ｏの素材、絞り、露光時間を含む検出装置２０の設定等が、対象Ｏの適切な検出に影響する要因であり、作業対象として検出するか否かの判定に用いられる検出閾値の設定も影響する。検出閾値として、コントラストに関するパラメータ、モデルに対する形状の差異や類似度を示すパラメータ等を用いることが可能である。

制御部４１は、前記画像処理が行われた画像データ中の各々が対象Ｏ、異物、搬送装置１０上の汚れ等に対応する複数の候補のうち、所定のパラメータが検出閾値以上である候補に対応する前記ＡＲ画像７３を作成し、前記所定のパラメータが検出閾値未満且つ検出候補閾値以上である候補に対応するＡＲ画像（候補ＡＲ画像）８０を作成する（図５）。ここで、検出候補閾値は検出閾値よりも小さい。ＡＲ画像８０はＡＲ画像７３と区別できる表示態様で作成され、このためＡＲ画像８０はＡＲ画像７３と区別できる態様で表示装置６２に表示される。
当該構成により、オペレータは、検出閾値以上で検出される対象Ｏを増やすための前記要因の調整、検出閾値の調整等を、比較的容易に行うことができる。

また、制御部４１が、各ＡＲ画像８０に付随するスコア値のＡＲ画像８１を作成してもよい。スコア値はモデルと対象の類似度、一致度等を示す指標であり、図５では、スコア値が大きいほど検出閾値に達する可能性が高い。スコア値は検出結果の一例であり、検出結果のＡＲ画像として、コントラスト値、検出位置、対象Ｏの種類情報、対象ＯのＩＤ情報、計測結果等のＡＲ画像が作成されてもよい。
ＡＲ画像８１が表示装置６２に表示されることによって、オペレータは、検出閾値以上で検出される対象Ｏを増やすための前記要因の調整、検出閾値の調整等を、より容易に行うことができる。

作業対象とならない検出結果の表示について、さらに説明する。
搬送装置１０上に載置されている複数又は単一の対象Ｏの検出に関する設定を行う時に、検出装置１０の設定、照明装置の設定、および検出閾値の設定が行われる。図６の例では、搬送装置１０の幅方向に並んだ２つの対象Ｏの一方が実線のＡＲ画像７３で表示され、他方が実線のＡＲ画像７３および破線のＡＲ画像（候補ＡＲ画像）８０で示されている。図７の例では、搬送装置１０の幅方向に並んだ３つの対象Ｏの１つが実線のＡＲ画像７３で表示され、他が破線のＡＲ画像（候補ＡＲ画像）８０で示されている。図６および図７の例では、対象Ｏの現実の像が表示されてもよく、表示されなくてもよい。

図６の例では、例えば、対象Ｏに対するライティングが適切でないこと、検出装置２０の位置および姿勢が適切でないこと、搬送装置１０の上面の一部に汚れがあること、検出閾値が適切でないがこと等によって、対象Ｏの一部のコントラストに関するパラメータが検出閾値未満且つ検出候補閾値以上となり、これにより当該一部がＡＲ画像８０で示されている。図７の例では、例えば、２つの対象Ｏの姿勢に関するパラメータが検出閾値未満且つ検出候補閾値以上となり、これにより２つの対象ＯがＡＲ画像８０で示されている。

当該作業システムの稼働中に、オペレータは表示装置６２でＡＲ画像７３およびＡＲ画像８０を見ることができる。この時、各ＡＲ画像８０に付随する前記スコア値又は前記検出結果のＡＲ画像８１が表示装置６２に表示されてもよい。つまり、オペレータは、作業システムの稼働中に当該システムの設定チェック、作動の成功又は失敗の原因究明、又は当該システムの設定を行うことができる。

当該作業システムが稼働する前の状況では、オペレータは、例えば搬送装置１０の停止状態又は低速稼働状態において、表示装置６２に表示されるＡＲ画像７３，８０，８１を見ながら各種調整を行うことができる。各種調整は、例えば、照明装置の位置、姿勢等の調整、照明装置の変更、照明装置の不具合の確認、検出装置２０の絞り、露光時間等の調整、検出装置２０の位置、姿勢等の調整、および検出閾値の設定を含む。調整後の結果を表示装置６２で見ることができるので、オペレータは調整作業を効率的に行うことが可能となる。

また、オペレータは、対象Ｏが搬送装置１０によって徐々に移動している時に、表示装置６２に表示されるＡＲ画像７３，８０，８１を見ることによって、検出装置２０の検出範囲内においてＡＲ画像７３，８０，８１がどのように変化するか直感的に認識することができる。例えば、検出範囲の上流側では各対象Ｏの検出が良好であるが検出範囲の下流側に移動している時に一部の対象Ｏの全部又は一部の検出結果が検出閾値を下回ること、当該検出結果が検出閾値を下回るエリアおよびその傾向を、オペレータが直感的に認識することができる。これは、調整作業を効率的に行う上で有利である。なお、表示装置６２にＡＲ画像７１，７２，７４，７５，７６，７７，７８，７９が更に表示されていてもよい。

生鮮食品である対象Ｏの質が低下した部分が照明装置から照射される例えば紫外線によって所定の波長の光を放射し、検出装置２０が所定の波長の光を撮像できるカメラである場合、制御装置４０は検出装置２０の画像データに基づき対象Ｏの質が低下した部分の面積を求め、求めた面積に応じたスコア値を決定することができる。そして、制御装置４０は、例えばスコア値が高い（面積が大きい）対象Ｏをロボット３０によって取出すための制御指令をロボット３０の各サーボモータ３１に送信する。また、制御装置４０は、スコア値が検出閾値以上である対象Ｏを示すＡＲ画像７３と、スコア値が検出閾値未満であるが検出候補閾値以上である対象Ｏを示すＡＲ画像８０と、スコア値を示すＡＲ画像８１とを作成する。
この場合も、オペレータは、現実空間の対象Ｏと表示装置６２とを見比べながら調整作業を効率的に行うことができる。

なお、ＡＲ画像８０が破線で表示されるのではなく、ＡＲ画像８０がＡＲ画像７３と異なる色で表示されてもよい。この場合でも、ＡＲ画像８０はＡＲ画像７３と区別可能に表示される。なお、前記スコア値又は前記検出結果に応じてＡＲ画像８０の色を変化させてもよい。
また、図８に示されるように、所定のパラメータが検出閾値未満且つ検出候補閾値以上である対象ＯがマークであるＡＲ画像８２によって示されてもよい。マークの代わりに、抽象図、代替図、点等が用いられてもよい。

また、図９に示されるように、対象Ｏと異なる位置にＡＲ画像７３，８０を表示することもできる。図９では、対象Ｏに対して搬送装置１０の搬送方向と直交する方向にずれた位置にＡＲ画像７３，８０が表示されている。この場合、ＡＲ画像７３，８０を搬送装置１０上の対象Ｏの移動に応じて移動させてもよい。対象Ｏの種類等によっては、ＡＲ画像７３，８０が対象Ｏとは異なる位置に表示されることにより、オペレータが対象Ｏの検出状態をより明確且つ容易に認識できるようになる。

検出結果の表示に関する例を以下説明する。
検出装置２０は自律走行型の作業機械に装着される場合もある。この場合、検出装置２０は例えばステレオカメラ（三次元カメラ）である。点群データを現実空間に適合させるために、検出装置２０には公知のキャリブレーションが行われている。制御部４１は、対象検出プログラム４３ｃに基づき、現実空間に存在する対象Ｏの形状、対象Ｏの位置および姿勢、対象Ｏとの距離等を検出する。

一例では、制御部４１は、ステレオカメラの一対の画像の各々のコントラストに関するパラメータが検出閾値以上である部分について実線のＡＲ画像７３を作成し、当該パラメータが検出閾値未満且つ検出候補閾値以上である部分について破線のＡＲ画像８０を作成する。そして、ＡＲ画像７３およびＡＲ画像８０が表示装置６２に表示される（図１０）。この時、各ＡＲ画像８０に付随する前記スコア値又は前記検出結果のＡＲ画像８１が表示装置６２に表示されてもよい。これにより、オペレータは、表示装置６２に表示されるＡＲ画像７３，８０，８１を見ながら各種調整を行うことができる。

各種調整は、例えば、検出装置２０の絞り等の調整、検出装置２０の位置、姿勢等の調整、検出閾値の設定、作業機械に装着された照明装置の位置、姿勢等の調整、作業機械に装着された照明装置の不具合の確認、作業機械に装着された照明装置の変更等を含む。検出装置２０による検出ができなくなる要因は様々である。例えば、対象Ｏの色、材質等に応じて検出装置２０の設定、照明の種類等を適切に変更する必要があり、これらを含む調整パラメータの数は無数にある。当該構成では、調整後の結果がすぐに表示装置６２にあらわれるので、オペレータは調整作業を効率的に行うことが可能となる。

他の例では、制御部４１は、障害物になるか否かを検出するための検出閾値を用いて、存在高さに関するパラメータが検出閾値以上である対象Ｏ又はその部分について実線のＡＲ画像７３を作成し、存在高さに関するパラメータが検出閾値未満であるが検出候補閾値以上である対象Ｏ又はその部分について破線のＡＲ画像８０を作成する。そして、ＡＲ画像７３およびＡＲ画像８０が表示装置６２に表示される（図１１）。この時、各ＡＲ画像８０に付随する前記スコア値又は前記検出結果のＡＲ画像８１が表示装置６２に表示されてもよい。これにより、オペレータは、表示装置６２に表示されるＡＲ画像７３，８０，８１を見ながら各種調整を行うことができる。各種調整は、例えば、検出装置２０の位置、姿勢等の調整、検出閾値の設定、作業機械に装着された照明装置の位置、姿勢等の調整、作業機械に装着された照明装置の不具合の確認、作業機械に装着された照明装置の変更等を含む。調整後の結果が表示装置６２にあらわれるので、オペレータは調整作業を効率的に行うことが可能となる。

なお、ＡＲ画像７１〜８２は時間の経過とともに逐次作成、記録される（更新される）。このため、表示装置６２でもＡＲ画像７１〜８２が現実空間像に合わせて逐次更新される。
または、制御装置４０がリアルタイムでＡＲ画像７１〜８２を作成、記録するものであり、表示装置６２が、所定の入力部への入力もしくは制御装置４０またはセンサにおける所定の条件の成立に応じて、その時点のもしくは直近の複数のＡＲ画像７１〜８２のうち選択されたＡＲ画像を表示するように構成されていてもよい。

（再表示処理）
制御装置４０、拡張現実装置６０等は、表示装置６２に表示される現実空間像およびＡＲ画像７１〜８２を保存する機能を有する。制御装置４０が保存する場合は、記憶部４３に格納されている再生プログラム４３ｅに基づき、拡張現実装置６０から逐次受信するカメラ６１の画像データと、逐次作成されるＡＲ画像データとが、記憶部４３に少なくとも一時的に保存される。拡張現実装置６０が保存する場合は、拡張現実装置６０の記憶部に格納されている再生プログラムに基づき、カメラ６１の画像データと、制御装置４０から逐次受信するＡＲ画像データとが、拡張現実装置６０の記憶部に少なくとも一時的に保存される。他の装置、コンピュータ端末等において同様の保存が行われてもよい。

そして、制御装置４０又は拡張現実装置６０は、入力部４６又は拡張現実装置６０の入力部への操作に応じて、制御装置表示部４２、表示装置６２等において、保存されている現実空間像データおよびＡＲ画像データを用いた再生、スロー再生、再生中の一時停止表示等を行う。このため、オペレータは、現実空間像とＡＲ画像７１〜８２との重畳表示を繰返し見ることができる。なお、制御装置４０又は拡張現実装置６０が、現実空間像とＡＲ画像７１〜８２とのうちオペレータが選択した少なくとも１つを制御装置表示部４２、表示装置６２等に表示させてもよい。これにより、オペレータは注目したい対象を重点的に観察することが可能となる。

当該構成によって、オペレータは、検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、ロボット３０の設定、前記設定に基づいて制御装置４０の制御部４１が認識している対象Ｏの位置および姿勢、検出装置２０による対象Ｏの検出の結果、搬送装置１０の作業予定、又はロボット３０の作業予定を、より正確に認識することができる。
なお、制御装置４０、拡張現実装置６０等が、保存されている現実空間像データおよびＡＲ画像データを他の表示装置に送信することも可能である。

（選択に応じた拡張現実画像の表示）
拡張現実装置６０は、選択されたＡＲ画像のみを表示装置６２に表示する機能を有する。例えば、拡張現実装置６０の入力部への操作に応じて、表示装置６２にＡＲ画像７１〜８２のうち選択されたＡＲ画像７１だけが表示される。図４において、複数のロボット３０のうち一方のロボット３０に関するＡＲ画像だけを表示装置６２に表示させることも可能である。

当該構成によって、必要に応じてオペレータは表示させるＡＲ画像を切り換えることができ、これは設定、現象把握、現象の原因究明等に関する作業時間の短縮のために有利である。
選択されたＡＲ画像のみを制御装置４０が表示装置６２に送信する場合でも、前述と同様の効果が達成される。

また、拡張現実装置６０が、選択された範囲のＡＲ画像のみを表示装置６２に表示する機能を持っていてもよい。例えば、拡張現実装置６０の入力部への操作に応じて、選択された範囲に存在するＡＲ画像だけが表示装置６２に表示される。
この場合も、オペレータは必要に応じてＡＲ画像を表示させる範囲を切り換えることができ、これは設定、現象把握、現象の原因究明等に関する作業時間の短縮のために有利である。
なお、表示装置６２がタッチスクリーン機能を有する場合、前記の選択された範囲は、表示装置６２に接触させる指、ペン等を中心とする所定範囲、指、ペン等で囲った範囲等であり得る。

なお、表示装置６２がヘッドマウントディスプレイやＡＲ機能付きメガネである場合、表示装置６２が装着者の視線を検出する視線検出装置を備えていてもよい。この場合、視線検出装置を前記拡張現実装置６０の入力部として機能させることが可能である。
また、ロボット３０が対象Ｏに対する作業を適切に行えなかった時に、制御装置４０又は拡張現実装置６０が当該センシングシステムにおいてイベントが発生したと判定し、拡張現実装置６０又は制御装置４０がイベント発生位置の周辺である所定範囲のＡＲ画像のみを表示装置６２又は制御装置表示部４２に表示させることも可能である。

（選択に応じた実行履歴の拡張現実画像の表示）
拡張現実装置６０は、選択されたＡＲ画像に関する実行履歴を表示装置６２に表示する機能を有する。例えば、拡張現実装置６０の入力部への操作に応じて、複数のＡＲ画像７３，８０のうち選択された１つのＡＲ画像７３又はＡＲ画像８０に対応する対象Ｏの、検出装置２０による撮像画像が、実行履歴として表示装置６２に表示されてもよい。実行履歴の表示場所は、表示装置６２においてＡＲ画像７３，８０と重ならない場所であることが好ましい。
なお、検出装置２０による撮像および制御部４１による検出処理が行われると、対象Ｏであり得る複数の候補が制御部４１によって認識される。制御部４１は、候補のそれぞれに対応する実行履歴を記憶部４３に保存することができる。
実行履歴は、センシングシステムの実行により得られた結果であればよく、測定結果、検出結果、撮像結果等であり得る。

（オブジェクトの選択および操作）
また、拡張現実装置６０、制御装置４０等が、所定の入力装置を用いた入力に応じて、表示装置６２に表示されている各ＡＲ画像７１〜８２の選択処理と、選択されたＡＲ画像の移動処理とを行ってもよい。
例えば、拡張現実装置６０が、その記憶部６３に格納されているＡＲ画像操作プログラム６３ａに基づき、所定の入力装置を用いた入力に応じて各ＡＲ画像７１〜８２のうち１つ又は複数を選択状態とし、選択されたＡＲ画像の位置および姿勢を所定の入力装置を用いた入力に応じて表示装置６２内で変更する。拡張現実装置６０が、表示されているパラメータの設定変更を行ってもよい。

検出された対象ＯのＡＲ画像７３の位置および姿勢を変更する際に、所定の入力装置で操作されたＡＲ画像７３の位置だけを変更することも可能であり、複数のＡＲ画像７３の位置を同一の移動距離又は対応する移動距離を用いて移動することも可能である。

所定の入力装置は、例えば表示装置６２に設けられたタッチスクリーンである入力装置、キーボード等を含んでいる。
また、拡張現実装置６０は、入力装置への入力に基づき、ＡＲ画像７１〜８２の移動情報および／又はパラメータの変更情報を制御装置４０に送信し、制御装置４０の制御部４１は、記憶部４３に格納されている設定調整プログラム４３ｆに基づき、制御装置４０において設定されている各種パラメータ又は計算されている各種パラメータを、受信する移動情報に応じて変更する。

例えば、ＡＲ画像７１又はＡＲ画像７４の移動情報に応じて、制御装置４０が認識しているセンサ座標系又は基準座標系が変更される。検出範囲を変更するためのズーム機能、光軸変更機能、姿勢変更機能等を検出装置２０が有している場合は、ＡＲ画像７２の移動情報に応じて、制御装置４０が検出装置２０のこれらの機能に関する制御を行う。

また、ＡＲ画像７３又はＡＲ画像８０の移動情報に応じて、制御装置４０が認識している一部又は全部の対象Ｏの検出位置、姿勢等が変更される。ＡＲ画像７３又はＡＲ画像８０の移動情報に応じて、制御装置４０が認識している各対象Ｏの搬送速度、移動量等が変更されてもよい。一方、ＡＲ画像７７の移動情報に応じて、制御装置４０が認識している各対象Ｏの搬送速度、移動量等が変更されてもよい。
なお記録されたＡＲ画像に対して、各移動情報に応じて、各データを変更してもよい。

また、ＡＲ画像７５の移動情報に応じて、制御装置４０はロボット３０の作業範囲の設定を変更する。また、ＡＲ画像７６の移動情報に応じて、制御装置４０が認識している搬送装置１０の搬送方向が変更される。
なお、ＡＲ画像が移動される度に拡張現実装置６０が移動情報を制御装置４０に送信してもよいが、入力装置の入力に基づき移動情報が送信される構成の方が、制御装置４０の処理量の低減、設定ミスの低減等のために有利である。

なお、制御部４１が、あるＡＲ画像の移動情報を受信し、当該ＡＲ画像と異なるＡＲ画像に関して制御装置４０内で設定されている各種パラメータ又は計算で得られた各種パラメータを変更することも可能である。例えば、設定に関するＡＲ画像７１，７４，７５等の移動情報を受信した時に、ＡＲ画像７３，７８，７９，８０，８１，８２のパラメータが変更される。この場合、制御部４１は、ＡＲ画像作成プログラム４３ｄに基づき、制御装置４０内で変更されたパラメータに基づきＡＲ画像データを再度作成し、作成したＡＲ画像データを表示装置６２に送信する。これにより、オペレータは、あるＡＲ画像を移動させた時に、当該ＡＲ画像の移動に伴う制御装置４０内の設定、計算等の変化をすぐに認識することができる。

なお、前記所定の入力装置として、スマートグローブと称されるウエアラブル機器を用いることも可能である。スマートグローブが用いられる場合、例えば、オペレータがスマートグローブを着用した手をカメラ６１の画角内に配置すると、当該手の人差し指、親指等の位置が拡張現実装置６０によって認識され、人差し指および親指でＡＲ画像７１〜８２のうち何れかのＡＲ画像を掴む動作を行うと当該ＡＲ画像が選択状態となり、人差し指および親指をその状態としながら移動すると当該ＡＲ画像が移動する。

なお、上記のＡＲ画像７１〜８２は、例えばロボット３０の基準座標系を基準に位置、姿勢、パラメータ等が設定されている。これに対し、ＡＲ画像７１〜８２の位置、姿勢、パラメータ等が、検出装置２０のセンサ座標系等を基準に設定されてもよい。また、複数のロボット３０がそれぞれ制御装置４０を有する場合、ＡＲ画像７１〜８２を各制御装置４０が認識している基準座標系に応じて表示装置６２に表示することにより、各ロボット３０の基準座標系の設定の適否の確認が容易となる。
また、表示装置６２がタッチスクリーン機能、オペレータの視線を検出する視線検出機能等を有する場合、ポインティングデバイス、視線方向等によって複数のロボット３０のうち１つ又は複数が指定され、指定されたロボット３０の制御装置４０が認識しているＡＲ画像が表示されるように構成されてもよい。

（他の作業システム又は検査システムに適用する場合）
ロボット３０が対象Ｏに加工、組立、検査、観察等の他の作業を行う作業システムに前述と同様の構成を適用することも可能である。対象Ｏは何等かの移動手段によって搬送できるものであればよく、移動手段としてロボット３０とは異なるロボット等を用いることも可能である。対象Ｏが車の車体又はフレームである場合に、当該車体又はフレームがそこに搭載されたエンジン、モータ、車輪等によって移動する場合、エンジン、モータ、車輪等が移動手段として機能する。

対象Ｏが重力によって滑り落ちる、転がり落ちる、又は落下するシューターによって、対象Ｏを移動させてもよい。この場合、傾斜しているシューターを加振装置によって振動させ、これによりシューター上の対象Ｏの移動を円滑にすることも可能である。これらの場合、シューター、加振装置等が移動手段として機能する。

また、ロボットを用いない作業システム、検査システム等に前述と同様の構成を適用することが可能である。ロボットを用いない作業システムとして、複数の塗装ガン（所定の装置）が搬送装置１０の上方の所定位置に配置されている自動塗装システム、洗浄ノズル（所定の装置）が搬送装置１０の側方の所定位置に配置されている洗浄システム等がある。

検査システムの場合、例えば、ロボット３０の代わりに検査用センサ（所定の装置）が搬送装置１０の上方に配置され、制御装置４０は検査用センサの画像データを用いた画像処理および判定を行う。検査用センサのセンシング範囲を照明するための検査用照明装置が設けられてもよい。

そして、制御装置４０は、画像処理の結果、判定結果、これらに関するパラメータ、パラメータに対応するスコア等のＡＲ画像を作成し、作成されたＡＲ画像を表示装置６２に送信する。例えば、表示装置６２には、画像処理後の検査対象の画像、検査対象の合否に関する判定結果、これらに関するパラメータ、スコア等のＡＲ画像が表示される。また、表示装置６２に、搬送装置１０上の検査対象以外の物品、模様、汚れ等の画像処理後の画像であるノイズ画像、ノイズ画像に関するパラメータ、ノイズ画像のスコア等が表示されてもよい。当該構成によって、オペレータが制御装置４０の設定、検査用照明装置の設定作業等を容易に行うことが可能となる。

このように、本実施形態によれば、所定のパラメータが検出閾値以上である候補に対応するＡＲ画像７３だけではなく、所定のパラメータが検出閾値未満であるが検出候補閾値以上である候補に対応する候補ＡＲ画像８０も表示装置に表示される。このため、検出閾値の変更、検出のためのライティング（照明）の変更、その他の設定の変更等によって検出される対象を増やす作業が容易となり、当該作業後の結果の確認も容易となる。

また、本実施形態では、候補ＡＲ画像８０がＡＲ画像７３と区別可能な態様で作成される。当該構成により、オペレータは、候補ＡＲ画像８０に対応する対象Ｏの存在を容易に認識することができる。

また、本実施形態では、候補ＡＲ画像８０に付随する検出結果のＡＲ画像８１を作成し、表示装置６２によって、候補ＡＲ画像８０と共に検出結果のＡＲ画像８１が表示される。当該構成では、候補ＡＲ画像８０と共に表示される検出結果に基づき、オペレータは、検出装置２０に関するパラメータ設定をより容易に行うことが可能となる。

また、本実施形態では、表示装置６２が、所定の入力部への入力に応じて、複数のＡＲ画像７３，８０．８１のうち選択されたＡＲ画像７３，８１および／又は候補ＡＲ画像８０を表示又は投影するものである。
または、制御装置４０がリアルタイムでＡＲ画像７１〜８２を作成、記録するものであり、表示装置６２が、所定の入力部への入力もしくは制御装置４０またはセンサにおける所定の条件の成立に応じて、その時点のもしくは直近の複数のＡＲ画像７１〜８２のうち選択されたものを表示してもよい。
当該構成では、オペレータは入力部への入力や制御装置４０やセンサへの条件設定を用いて表示するＡＲ画像を選ぶことができる。このため、任意の時点や事象（イベント）発生時の制御装置４０の処理、設定等をオペレータがより容易に認識することが可能になり、システムの作動の成功又は失敗の原因究明の容易化、システムの稼働率向上を図るためにも極めて有用である。

また、本実施形態では、表示装置６２が、所定のイベントが発生した際に、複数のＡＲ画像７１〜８２のうち所定のイベントの発生位置の周辺のＡＲ画像を表示するものである。当該構成では、イベントの発生位置の周辺のＡＲ画像が表示されるので、オペレータはシステムの作動の成功又は失敗の原因究明をより効率的に行うことができる。

また、本実施形態では、拡張現実装置６０において、所定の入力装置を用いた入力に応じて、表示装置６２に表示されているＡＲ画像７１〜８２の少なくとも１つを選択する選択処理と、表示装置６２によって表示されている選択されたＡＲ画像を移動する移動処理と、が行われる。また、選択されたＡＲ画像の移動情報に応じて、作業機械であるロボット３０を制御する制御装置４０において、設定されているパラメータ又は計算されているパラメータが変更される。

当該構成では、オペレータが所定の入力装置を用いてＡＲ画像を移動させ、当該移動に応じて制御装置４０において設定されているパラメータ又は計算されているパラメータが変更される。このため、オペレータは直感的にロボット３０を制御するための設定を変更することが可能となり、これは熟練したオペレータにとっても制御装置４０の設定の正確性および作業効率を向上するために有用である。

また、本実施形態では、作成されたＡＲ画像７１〜８２が対応する現実空間像と共に記憶される。当該構成では、オペレータは、記憶されたＡＲ画像７１〜８２を現実空間像と共に再生することができ、これはシステムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化のために極めて有利である。

また、本実施形態では、記憶されているＡＲ画像７１〜８２再生する、もしくは現実空間像と共に再生する再生手段を備える。当該構成では、オペレータは再生手段によって記憶されたＡＲ画像７１〜８２を現実空間像と共に任意の場所で容易に再生することができる。または、実空間上の装置を見ながらＡＲ画像を再生することで、稼働率改善のための調整を現場で行うことができる。

なお、本実施形態では作業機械として多関節ロボットであるロボット３０を用いている。これに対し、ドリル等のツールをエアシリンダ、油圧シリンダ等によって上下方向にのみ移動させるドリル支持装置を作業機械として用いることも可能であり、その他の作業機機械を用いることも可能である。

また、表示装置６２の代わりに、オペレータの網膜にＡＲ画像を投影する表示装置を用いることも可能である。この場合でも、オペレータの網膜には現実空間像と共にＡＲ画像が表示される。
また、表示装置６２による表示の代わりに、又は、表示装置６２による表示と共に、現実空間の装置、例えば搬送装置１０、検出装置２０、ロボット３０、および空間の少なくとも１つにＡＲ画像を投影するプロジェクター（投影装置）を用いることも可能である。この場合でも、ＡＲ画像が現実空間に表示されるので、前述と同様の作用効果が達成され得る。
投影装置として、三次元のＡＲ画像を現実空間に投影することも可能である。例えば作業領域に投影機でＡＲ画像を投影することで、作業領域内の情報を表示することが可能である。

また、表示装置６２であるＡＲ機能付きメガネ、ヘッドマウントディスプレイ等が、上記と異なり、これらを装着しているオペレータが生の現実空間を見ることを許容する透光性板又は透光性フィルムを備えていてもよい。この場合、透光性板又は透光性フィルムがＡＲ画像データを表示する機能を備えていてもよく、透光性板又は透光性フィルムにＡＲ画像データを投影する機能をＡＲ機能付きメガネ、ヘッドマウントディスプレイ等が備えていてもよい。当該構成を用いると、オペレータは、表示装置６２を介して現実空間を見ながら、透光性板又は透光性フィルムのＡＲ画像を見ることができるので、前述と同様の作用効果が達成され得る。
透光性板又は透光性フィルムの拡張現実画像と生の現実空間との位置決めに関しては、例えば人の立ち位置等を別センサで検知しておき人の向きに合わせたＡＲ画像を用意して表示するという方法を取り得る。

現実空間を見ながら透光性板又は透光性フィルムのＡＲ画像を見ることができる前記表示装置６２又は前記投影装置を用いる場合でも、前述の作業対象とならない検出結果の表示、前述の選択に応じたＡＲ画像の表示、前述のオブジェクトの選択および操作が可能であり、前述のように他の作業システム又は検査システムに適用することも可能である。

例えば、投影されたＡＲ画像又は透光性板又は透光性フィルムに表示されたＡＲ画像をスマートグローブの人差し指および親指で掴む動作を行うと、当該動作がカメラによって撮像された画像を用いて認識され、人差し指および親指をその状態としながら移動すると当該ＡＲ画像が移動する。

なお、拡張現実装置６０のカメラ６１が、搬送装置１０、検出装置２０、およびロボット３０を俯瞰する位置に配置され、表示装置６２に俯瞰状態の現実空間像およびＡＲ画像が表示されてもよい。この場合、表示装置６２にオペレータのＡＲ画像が表示されてもよい。

なお、本実施形態では、制御装置４０が前述のようにＡＲ画像を作成するものを示したが、拡張現実装置６０等に内蔵された制御装置や、他の制御装置が、制御装置４０から様々な設定、演算結果、判定結果等のデータを受信し、受信したデータを用いてＡＲ画像を作成し、作成されたＡＲ画像を表示装置６２に送信してもよい。

また、検出装置２０は対象Ｏの位置に応じて移動するものであってもよい。例えば、検出装置２０がロボット３０の先端部に支持されていてもよく、この場合でも、制御装置４０は、検出装置２０の座標系、検出範囲等の設定データを有しており、ロボット３０の動作に応じた検出装置２０の位置および姿勢を計算によって求めることができる。

さらに、検出装置２０が１軸ロボット、多関節ロボット等に支持されていてもよい。これらの場合でも、制御装置４０は、検出装置２０の座標系、検出範囲等の設定データを受信し、１軸ロボット、多関節ロボット等の動作に応じた検出装置２０の位置および姿勢を計算によって求めることができる。
なお、拡張現実作成部は必ずしも制御装置内になくても良い。

１０ 搬送装置
１１ モータ
１２ 作動位置検出装置
２０ 検出装置
３０ ロボット
３０ａ アーム
３１ サーボモータ
４０ 制御装置
４１ 制御部
４２ 制御装置表示部
４３ 記憶部
４３ａ システムプログラム
４３ｂ 動作プログラム
４３ｃ 物品検出プログラム
４３ｄ ＡＲ画像作成プログラム
４３ｅ 再生プログラム
５０ ツール
５１ サーボモータ
６０ 拡張現実装置
６１ カメラ
６２ 表示装置
６３ 記憶部
６３ａ ＡＲ画像操作プログラム
７１〜８２ ＡＲ画像
Ｏ 対象

Claims (15)

1. 複数の対象の検出に用いられる検出装置と、
   前記検出装置によって得られたデータに所定の処理を行うことによって前記複数の対象を検出する対象検出手段と、を備えるセンシングシステムであって、
   前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象の前記対象検出手段によって検出された形状をあらわす拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成手段と、
   前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示装置又は投影装置と、を備えるセンシングシステム。
2. 複数の対象の検出に用いられる検出装置と、
   前記検出装置によって得られたデータに所定の処理を行うことによって前記複数の対象を検出する対象検出手段と、を備えるセンシングシステムであって、
   前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つのパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成手段と、
   前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示装置又は投影装置と、を備えるセンシングシステム。
3. 前記候補拡張現実画像が前記拡張現実画像と区別可能な態様で作成される、請求項１又は２に記載のセンシングシステム。
4. 前記拡張現実画像作成手段が、前記候補拡張現実画像に付随する検出結果の拡張現実画像を作成し、
   前記表示装置又は前記投影装置によって、前記候補拡張現実画像と共に前記検出結果の拡張現実画像が表示又は投影される、請求項１〜３の何れかに記載のセンシングシステム。
5. 前記表示装置又は前記投影装置が、所定の入力部への入力に応じて、前記複数の拡張現実画像のうち選択された前記拡張現実画像および／又は前記候補拡張現実画像を表示又は投影するものである、請求項１〜４の何れかに記載のセンシングシステム。
6. 前記表示装置又は前記投影装置が、所定のイベントが発生した際に、前記複数の拡張現実画像のうち前記所定のイベントの発生時点の周辺の前記拡張現実画像および／又は前記候補拡張現実画像を表示又は投影するものである、請求項１〜４の何れかに記載のセンシングシステム。
7. 対象の検出に用いられる検出装置と、
   前記検出装置によって得られたデータに所定の処理を行うことによって前記対象を検出する対象検出手段と、を備えるセンシングシステムであって、
   前記所定の処理が行われた処理後データ内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成する拡張現実画像作成手段と、
   前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示装置又は投影装置と、を備え、
   所定の入力装置を用いた入力に応じて、前記表示装置に表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像の少なくとも１つを選択する選択処理と、前記所定の入力装置を用いた入力に応じて選択された、前記表示装置によって表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像を移動する移動処理および表示されているパラメータの設定変更、を行う拡張現実画像操作手段と、
   選択された前記拡張現実画像の移動情報又は変更情報に応じて、作業機械を制御する制御装置において設定されているパラメータ又は計算されているパラメータを変更する設定調整手段と、を備えるセンシングシステム。
8. 前記投影装置が、前記拡張現実画像を現実空間に投影するものであり、前記表示装置が、前記拡張現実画像および前記候補拡張現実画像を、現実空間像又は現実空間と共に見えるように表示するものである、請求項１〜７の何れかに記載のセンシングシステム。
9. 作成された前記拡張現実画像および／又は前記候補拡張現実画像を、対応する現実空間像と共に記憶する記憶部を備える、請求項１〜８の何れかに記載のセンシングシステム。
10. 前記記憶部に記憶されている前記拡張現実画像および／又は前記候補拡張現実画像を再生する、もしくは前記現実空間像と共に再生する再生手段を備える、請求項９に記載のセンシングシステム。
11. 請求項７に記載のセンシングシステムと前記作業機械とを備える作業システム。
12. 検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられる拡張現実画像の表示方法であって、
    前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象の前記対象検出手段によって検出された形状をあらわす拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成ステップと、
    前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示ステップと、を有する拡張現実画像の表示方法。
13. 検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられる拡張現実画像の表示方法であって、
    前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成ステップと、
    前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示ステップと、を有する拡張現実画像の表示方法。
14. 検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられるプログラムであって、
    コンピュータに、
    前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち所定のパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である対象の前記対象検出手段によって検出された形状をあらわす候補拡張現実画像を作成する拡張現実画像作成処理と、
    前記拡張現実画像および前記候補拡張現実画像を前記検出装置によって得られる前記複数の対象の現実の画像と共に表示又は投影する表示処理と、を実行させるプログラム。
15. 検出装置によって得られたデータに所定の処理を行うことによって複数の対象を検出する対象検出手段を備えるシステムに用いられるプログラムであって、
    コンピュータに、
    前記所定の処理が行われた処理後データ内にあらわれる前記複数の対象のうち前記対象検出手段によって検出された姿勢、検出されたコントラスト、および検出された存在高さの少なくとも一つパラメータが検出閾値以上である対象に対応する拡張現実画像を作成し、前記複数の対象のうち前記パラメータが前記検出閾値未満且つ検出候補閾値以上である対象に対応する候補拡張現実画像を作成する拡張現実画像作成処理と、
    前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示処理と、を実行させるプログラム。

Images