JP5862382B2

JP5862382B2 - 作業支援装置

Info

Publication number: JP5862382B2
Application number: JP2012057109A
Authority: JP
Inventors: 清宏宗玄
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-03-14
Filing date: 2012-03-14
Publication date: 2016-02-16
Anticipated expiration: 2032-03-14
Also published as: JP2013188840A

Description

本発明は、作業支援装置に関する。

近年、ロボットを利用した物の運搬が行われている。例えば、ロボットに撮像装置を備え、撮像装置で取得した映像に基づいてユーザがロボットを遠隔操作する技術が知られている。ユーザは、撮像装置で取得された映像を表示したモニタを確認しながら、ロボットを操作する。

また典型的には、ロボットには撮像装置のみならず、複数のセンサが設けたものを利用する。撮像装置及び複数のセンサで取得された情報は、複数のモニタに表示させることや、１つのモニタに分割表示させる。ここでセンサにより取得される情報とは、例えばロボットから対象物体までの距離情報や、対象物体の形状情報である。したがってユーザは、モニタに表示された撮像画像やセンサから取得された情報を確認しながら、ロボットを操作することができる。

特許文献１には、作業機械を操縦するユーザに対して、距離画像のみならず、作業対象物の形状、重心といった情報を画像に重ね置きすることでユーザの作業効率を高める支援装置が開示されている。

特許文献２には、ロボットの各関節の動作範囲や特異点による動作制限が、動作余裕量として数値で定量的に表示されるロボットの動作可能領域の表示方法が開示されている。

特開２０１０−０６０３４４号公報特開２００９−２２６５６１号公報

Point Cloud Library、[online]、［平成２４年２月２１日検索］、インターネット〈URL：http:// http://pointclouds.org/〉

特許文献１に示した支援装置により、ロボット搭載の距離画像センサ情報や認識物体の形状をＨＭＩ（Human Machine Interface）に表示することで、ユーザはロボットへの支持を効率的に行うことができる。しかしながらこの支援装置では、ロボットアームが指示点に到達できるか否かの観点が不足しているため、例えば、表示されている物体重心へ、ロボットハンド等のエンドエフェクターを近づけようとしても近づけられず、タスクが実行できない可能性がある。

本発明にかかる作業支援装置は、対象物体を運搬するロボットと、前記ロボットから遠隔に設けられた表示手段と、を備える作業支援装置であって、前記ロボットは、対象物体を把持するロボットアームと、前記ロボットアームが到達可能な範囲をボクセル単位で算出する可到達範囲生成器と、前記可到達範囲生成器で生成した前記ロボットアームの到達範囲を記憶するボクセル空間データ記憶部と、前記ロボットの視点の画像及び前記ロボットからの距離を取得する距離画像センサと、前記距離画像センサにより取得した画像及び距離に基づいて距離点を計算する距離点計算部と、前記距離点計算部により計算された距離点と、前記ボクセル空間データ記憶部に記憶されたボクセルとの比較に基づいて、ボクセルの可到達点数を算出する可到達得点抽出器と、前記距離画像センサが取得した画像に、前記可到達性点数を重畳した画像を生成するアルファブレンディング計算部と、を有し、前記表示手段は、前記アルファブレンディング計算部で生成された画像を表示する。
これによりユーザは、ロボットアームが対象物体に到達できるか否かを、容易に判断することができる。

ロボットによるタスクの実行可能性をユーザが容易に判断できる。

実施の形態１にかかる作業支援装置１の構成図である。実施の形態１にかかる空間のボクセル単位での離散化を示す図である。実施の形態１にかかるボクセルの代表点を示す図である。実施の形態１にかかる作業支援装置１の動作フローを示す図である。実施の形態１にかかる逆運動学計算を示す図である。実施の形態１にかかるＨＭＩ１９の表示を示す図である。実施の形態２にかかる作業支援装置２の構成図である。実施の形態２にかかる作業支援装置２の動作フローを示す図である。実施の形態２にかかるＨＭＩ１９の表示を示す図である。実施の形態３にかかる作業支援装置３の構成図である。実施の形態３にかかる作業支援装置３の動作フローを示す図である。実施の形態３にかかるグリッド上への距離点のプロットを示す図である。実施の形態３にかかるラベリング処理の結果を示す図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、作業支援装置１の構成を示した図である。作業支援装置１は、ロボット１０と、ＨＭＩ１９と、を備える。

ロボット１０は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、を有する。

ロボットアーム１１は、一端がロボット１０の本体部に接続しており、他端がロボットハンドであって物体の把持が可能となっている。またロボットアーム１１は複数の関節を有し、関節を駆動させることによって、ロボットハンドに対象物体を適切な角度で把持させる。ロボットアーム１１の関節やロボットハンドは、例えばアクチュエータにより駆動する。

可到達範囲生成器１２は、ロボットアームが到達可能な空間情報のデータを生成する。具体的には、可到達範囲生成器１２は、空間を直方体の集合であるボクセル単位に離散化し、各ボクセルに対してボクセル中心を代表点とする。図２は、ロボット１０の前方の空間をボクセル単位に離散化した例である。図３は、ボクセルの代表点を示した図である。また可到達範囲生成器１２は、ボクセルの代表点に基づいて、ロボットアーム１１の可到達性得点を算出する。可到達点の算出方法については、後に詳述する。

ボクセル空間データ記憶部１３は、可到達範囲生成器１２で取得したロボットアームが到達可能な空間情報のデータを記憶する。

距離画像センサ１４は、ＫＩＮＥＣＴ（登録商標）等の距離センサである。距離画像センサ１４は、撮影した画像に基づいて、１ピクセル毎の(R,G,B,D)値を取得する。ここで、RGBはカラー画素値であり、Dはセンサからの距離値[m]である。
なお、距離画像センサ１４は、独立した１台の距離センサと１台のカラーカメラを使い、射影変換を用いることで１ピクセル毎の(R,G,B,D)値を得ることも可能であるが、簡単のためＫＩＮＥＣＴ（登録商標）のような距離画像センサを用いるのが好ましい。１台の距離センサと１台のカラーカメラを用いる場合の射影変換は、式（１）の方法により行う。

ここで(X,Y,Z)は距離点、(x,y)はピクセル座標、Ｐは射影行列である。

距離点計算部１５は、ピクセル(u,v)で計測された距離値(D)を基に、距離点(X,Y,Z)を得る計算部である。

可到達得点抽出器１６は、ボクセル空間データ記憶部１３に記憶されているボクセルの座標との比較に基づいて、可到達性得点を算出する。具体的には、可到達得点抽出器１６は、距離点(X,Y,Z)が、ボクセル空間データ記憶部１３に記憶しているボクセルのうち、どのボクセルに包含されるか計算し、そのボクセルの可到達性得点（０．０〜１．０）を得る。ここで可到達性得点は、点数が大きいほど到達可能性が高いものとする。

アルファブレンディング計算部１７は、アルファブレンド画像を生成する。アルファブレンディング計算部１７による計算は、例えば式（２）のように行う。

ここで、(R_original,G_original,B_original)は距離画像センサのカラー画素値、Reachabilityは可到達性得点、αはアルファブレンディングの具合を示す。なお、可到達性得点は青色（0,0,255）で描画する。

画像送信部１８は、アルファブレンディング計算部１７で生成した画像を、ロボット１０から遠隔に設けられたＨＭＩ１９に送信する。

ＨＭＩ１９は、ユーザにより操作が可能な表示手段である。ＨＭＩ１９は、画像送信部１８から受信した画像を表示する。ユーザは、ＨＭＩ１９に表示された画像上の対象物を、カーソルやタッチパネル等により選択することができる。またＨＭＩ１９は、ユーザによる操作された結果をロボット１０に送信する。

次に、作業支援装置１の動作について説明する。図４は、作業支援装置１による動作のフローチャートである。

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ１）。より具体的には、可到達範囲生成器１２は、空間を複数のボクセル単位に分割し、ボクセル中心点を手先位置（X,Y,Z）として、手先姿勢角ロール・ピッチ・ヨーをそれぞれL,M,N分割し、位置姿勢

において逆運動学が解けるか、L*M*N通り計算する。可到達範囲生成器１２は、逆運動学が解けた回数をK回とすると、K/(L*M*N)をボクセルの可到達性得点とする。図５は、ロボットアーム１１の上面図であり、逆運動学計算におけるボクセル代表点と、３６０°／Ｍの関係を示したものである。

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ２）。

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ３）。

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ４）。

可到達得点抽出器１６は、距離点計算部１５により算出された距離点(X,Y,Z)が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ５）。

アルファブレンディング計算部１７は、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ６）。アルファブレンディング計算部１７により生成される画像は、ロボット１０により撮影されたRGB画像に、距離情報Dの情報を重畳させたものである。

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ７）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。図６は、アルファブレンド画像をＨＭＩ１９に表示した例である。ＨＭＩ１９における表示では、濃い青色で表示されている領域ほど、ロボットアーム１１が到達し、タスクを実行できる可能性が高い領域となる。

これにより作業支援装置は、ロボット可到達範囲とセンサ計測範囲を重畳し、その結果をＨＭＩの画面上に表示することができる。そのため、ユーザは指示点におけるロボットのタスク実行成功の可能性を、ＨＭＩの画面上で容易に知ることができる。
したがって作業支援装置は、ロボットにより対象物体を移動させるタスクが実行可能であるか否か判定し、判定結果をユーザにわかりやすく伝えることができる。

実施の形態２
図７は、作業支援装置２の構成を示した図である。作業支援装置２の構成物品については、作業支援装置１の構成物品と同様の機能を奏するものには同一の符号を付し、説明を省略する。
作業支援装置２は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、平面距離点群抽出部１５１と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、ＨＭＩ１９と、を備える。

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を使用して、平面の検出を行う。ここで典型的には、平面距離点群抽出部１５１は、平面と判定された部分の距離点のみを抽出し、可到達得点抽出器１６に出力する。

次に、作業支援装置２の動作について説明する。図８は、作業支援装置２による動作のフローチャートである。

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ１１）。

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ１２）。

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ１３）。

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ１４）。

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を利用して、平面部分を抽出する（ステップＳ１５）。例えば平面距離点群抽出部１５１は、平面部以外の可到達性得点を０．０として出力する。

可到達得点抽出器１６は、平面距離点群抽出部１５１により検出された平面が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ１６）。

アルファブレンディング計算部１７は、距離画像センサのカラー画素値と、可到達得点抽出器１６により計算された可到達性得点に基づいて、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ１７）。

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ１８）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。図９は、アルファブレンド画像をＨＭＩ１９に表示した例であり、テーブル上が平面として認識されている状態を示している。ＨＭＩ１９における表示では、濃い青色で表示されている領域ほど、ロボットアーム１１が到達し、タスクを実行できる可能性が高い領域となる。すなわち、青色で表示されている領域が、対象物体を置くことが可能な範囲である。

これにより作業支援装置は、ロボットが把持した物体を置くタスクにおいて、平面領域の範囲を条件に入れることで、物体を置くことが可能な範囲をＨＭＩ上に描画することができる。なお、物体を置くことが可能な範囲とは、ロボットアーム１１が到達できる範囲であり、かつ、距離画像センサ１４により計測が可能な範囲であり、かつ、平面上であるものとする。
したがって作業支援装置は、ロボットによって運搬される対象物体を置くことができる範囲を、ユーザにわかりやすく伝えることができる。

実施の形態３
図１０は、作業支援装置３の構成を示した図である。作業支援装置３の構成物品については、作業支援装置２の構成物品と同様の機能を奏するものには同一の符号を付し、説明を省略する。
作業支援装置３は、ロボットアーム１１と、可到達範囲生成器１２と、ボクセル空間データ記憶部１３と、距離画像センサ１４と、距離点計算部１５と、平面距離点群抽出部１５１と、座標処理部１５２と、可到達得点抽出器１６と、アルファブレンディング計算部１７と、画像送信部１８と、ＨＭＩ１９と、を備える。

座標処理部１５２は、平面距離点群抽出部１５１で抽出された平面についてラベリング処理を行う。これにより座標処理部１５２は、対象物体の大きさよりも大きな平面である平面Svalidを検出し、Svalidに含まれる距離点群のみ、可到達得点抽出器１６に出力する。

次に、作業支援装置３の動作について説明する。図１１は、作業支援装置３による動作のフローチャートである。

可到達範囲生成器１２は、ロボットアーム１１の可到達範囲を生成する（ステップＳ２１）。

可到達範囲生成器１２は、生成した可到達範囲を、ボクセル空間データ記憶部１３に記憶する（ステップＳ２２）。

距離画像センサ１４は、把持する対象物体の周囲のカラー画像と、距離画像を、それぞれ取得する（ステップＳ２３）。

距離点計算部１５は、距離画像センサ１４により取得された画像から、ピクセル(u,v)で計測された距離値(D)に基づいて、距離点(X,Y,Z)を算出する（ステップＳ２４）。

平面距離点群抽出部１５１は、距離点計算部１５から得られる距離点を利用して、平面部分を抽出する（ステップＳ２５）。

座標処理部１５２は、対象物体の大きさよりも大きな平面である平面Svalidを検出する（ステップＳ２６）。具体的には、座標処理部１５２は、平面距離点群抽出部１５１で検出された平面の距離点群Dを取り出し、検出された平面に垂直な方向をZ'、平面に平行な方向をX',Y'、原点を平面上に取るΣ'座標系を定義する。また座標処理部１５２は、検出平面を一定の長さのグリッドへ分割する。その後、座標処理部１５２は、内部に距離点を含むグリッドを有効なグリッドとし、ラベリング処理によりグルーピングを行う。図１２は、一定の長さのグリッドに分割された検出平面上に、距離点をプロットした状態を示している。図１３は、有効なグリッドがラベリング処理によりグルーピングされ、第１の平面領域と第２の平面領域が生成された例を示している。座標処理部１５２は、グルーピングされた平面領域のうち、Wmax＞Wobject、Hmax＞Hobjectとなる平面Svalidを検出する。なお、Wmaxはグルーピングされた最大の平面領域のX'方向の距離、Hmaxはグルーピングされた最大の平面領域のX'方向の距離、Wobjectは対象物体の幅、Hobjectは対象物体の奥行きであり、Wobject及びHobjectは、ロボット１０において既知であるものとする。なお、図１３において、最大の平面領域は第１の平面領域である。

可到達得点抽出器１６は、座標処理部１５２により算出されたSvalidに含まれる距離点群が、ボクセル空間データ記憶部１３に記憶されたボクセルのうち、どのボクセルに包含されるか計算する（ステップＳ２７）。

アルファブレンディング計算部１７は、距離画像センサのカラー画素値と、可到達得点抽出器１６により計算された可到達性得点に基づいて、ＨＭＩ１９に表示させるためのアルファブレンド画像を生成する（ステップＳ２８）。

画像送信部１８は、アルファブレンディング計算部１７が生成したアルファブレンド画像を、ＨＭＩ１９に送信する（ステップＳ２９）。ＨＭＩ１９は、アルファブレンディング計算部１７が生成した画像を表示する。

これにより作業支援装置は、対象物体が大きく特定の面積以上の平面上でないと置けないような場合に、対象物体の大きさを考慮して、物体が置ける位置を表示させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、距離画像センサ１４には、ステレオカメラを用いてカラー画像（R,G,B）と距離画像(D)を取得することとしても良く、カラー画像（R,G,B）と距離画像(D)を略同時に取得する方法であれば、他の方法であっても良い。また、アルファブレンド画像において、タスクの実行可能性を青色で表示するものとして説明したが、他の色で表示することとしても良い。

１作業支援装置
２作業支援装置
３作業支援装置
１０ロボット
１１ロボットアーム
１２可到達範囲生成器
１３ボクセル空間データ記憶部
１４距離画像センサ
１５距離点計算部
１６可到達得点抽出器
１７アルファブレンディング計算部
１８画像送信部
１９表示手段
１５１平面距離点群抽出部
１５２座標処理部

Claims

対象物体を運搬するロボットと、前記ロボットから遠隔に設けられた表示手段と、を備える作業支援装置であって、
前記ロボットは、対象物体を把持するロボットアームと、
前記ロボットアームが到達可能な範囲をボクセル単位で算出する可到達範囲生成器と、
前記可到達範囲生成器で生成した前記ロボットアームの到達範囲を記憶するボクセル空間データ記憶部と、
前記ロボットの視点の画像及び前記ロボットからの距離を取得する距離画像センサと、
前記距離画像センサにより取得した画像及び距離に基づいて距離点を計算する距離点計算部と、
前記距離点計算部により計算された距離点と、前記ボクセル空間データ記憶部に記憶されたボクセルとの比較に基づいて、ボクセルにおける前記ロボットアームの可到達性を示す可到達性得点を算出する可到達得点抽出器と、
前記距離画像センサが取得した画像と、前記可到達性得点に基づいて、アルファブレンド画像を生成するアルファブレンディング計算部と、を有し、
前記アルファブレンディング計算部は、前記距離画像センサが取得した画像の画素値と、前記可到達性得点とを重畳することで、前記アルファブレンド画像の画素値を決定し、
前記表示手段は、前記アルファブレンディング計算部で生成された前記アルファブレンド画像を表示する、作業支援装置。