JP6332128B2 - 物体認識装置、及び物体認識方法 - Google Patents

Description

本発明は、ロボットの作業環境内の物体を認識する物体認識装置、及び物体認識方法に関するものである。

作業環境内に存在する物体の形状情報を取得し、該取得した形状情報と、予め記憶する形状情報などと、を照合することで、物体を認識する物体認識装置が知られている（特許文献１参照）。

特開２０１０−０６０４５１号公報

作業環境内に存在する対象物体を物体候補とし、この物体候補の形状情報を取得し照合を行っている。このため、照合を行う物体候補の数が多くなると物体認識に多くの時間を要することとなる。

本発明は、このような問題点を解決するためになされたものであり、物体認識を高速で行うことができる物体認識装置、及び物体認識方法を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、ロボットの作業環境内に複数の領域が予め設定され、該各領域内の物体を認識する物体認識装置であって、前記設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報と、を夫々対応付けて記憶する記憶手段と、認識対象の物体の距離情報を取得する距離情報取得手段と、前記物体が存在する領域を特定する領域特定手段と、前記距離情報取得手段により取得された物体の距離情報に基づいて、前記領域内の物体を物体候補として検出する候補検出手段と、前記候補検出手段により検出された物体候補を、前記記憶手段により記憶された情報を用いて、前記領域特定手段により特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識する認識手段と、を備える、ことを特徴とする物体認識装置である。
この一態様において、前記認識手段は、前記候補検出手段により検出された物体候補を、前記領域特定手段により特定された領域の物体カテゴリに属する物体の形状情報と比較し、その後、該領域の物体カテゴリに属しない物体の形状情報と比較することにより認識してもよい。
この一態様において、前記記憶手段は、前記設定された領域と、前記距離情報を取得する際のロボットの位置情報と、を対応付けて記憶しており、前記距離情報取得手段が、前記領域に対応する位置で前記認識対象の物体の距離情報を取得してもよい。
この一態様において、前記作業環境内の領域には、該領域の位置を示す目印情報が設定されており、前記領域特定手段は、前記目印情報に基づいて、前記領域を特定してもよい。
上記目的を達成するための本発明の一態様は、ロボットの作業環境内に複数の領域が予め設定され、該各領域内の物体を認識する物体認識方法であって、前記設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報と、を夫々対応付けて記憶するステップと、認識対象の物体の距離情報を取得するステップと、
前記物体が存在する領域を特定するステップと、前記取得された物体の距離情報に基づいて、前記領域内の物体を物体候補として検出するステップと、前記検出された物体候補を、前記記憶された情報を用いて、前記特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識するステップと、を含む、ことを特徴とする物体認識方法であってもよい。

本発明によれば、物体認識を高速で行うことができる物体認識装置、及び物体認識方法を提供することができる。

実施形態に係るロボットの概略的な構成を示す斜視図である。 実施形態に係るロボットの概略的なシステム構成を示すブロック図である。 実施形態に係る物体認識装置の概略的なシステム構成を示すブロック図である。 作業環境内に設定された各領域の一例を示す図である。 テーブル情報の一例を示す図である。 作業環境内の各領域に設定された目印情報の一例を示す図である。 実施形態に係る物体認識方法の処理フローの一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態に係るロボットの概略的な構成を示す斜視図である。本実施形態に係るロボット１は、例えば、自律的に作業を行う自律型作業ロボットとして構成されている。本実施形態に係る物体認識装置は、上述したような自律型作業ロボットに搭載され、物体を認識する。
図２は、本発明の一実施形態に係るロボットの概略的なシステム構成を示すブロック図である。本実施形態に係るロボット１は、ロボット本体２と、ロボット本体２を移動させる移動装置３と、物体を把持し移動させる把持操作装置４と、移動装置３及び把持操作装置４を制御する制御装置５と、距離センサ６と、物体認識装置７と、を備えている。

移動装置３は、制御装置５からの制御信号に応じて、例えば、モータなどを駆動させることで複数の車輪を回転させ、ロボット本体２を所望の位置に移動させる。
把持操作装置４は、例えば、物体を把持する把持部４１と、手首関節、肘関節、肩関節などの関節部４２を介して連結される複数のリンク４３と、各関節部４２を駆動するモータなどの複数のアクチュエータと、からなる多関節型アームとして構成されている。

制御装置５は、操作端末８を介して入力された操作信号に基づいて移動装置３及び把持操作装置４を制御することで、ロボット１に作業を実行させる。操作端末８は、例えば、タブレット端末、ＰＣ（PersonalComputer）、スマートフォンなどの携帯端末である。操作端末８にはタッチパネルやメカニカルスイッチが設けられている。ユーザは、これらタッチパネルやメカニカルスイッチなどを操作することで、ロボット１を操作するための操作情報を操作端末８に入力することができる。なお、操作端末８にはマイクが設けられ、マイクを介して操作情報が操作端末８に入力されてもよい。

操作端末８と制御装置５は、無線あるいは有線で通信接続されており、相互にデータの送受信を行う。操作端末８は、ユーザにより入力された作業情報に応じた操作信号を制御装置５に出力する。なお、操作情報は、操作端末８を介さずに、ロボット１に直接的に入力されてもよい。

制御装置５及び物体認識装置７は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）５ａ、７ａ、ＣＰＵ５ａ、７ａによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ５ｂ、７ｂ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）５ｃ、７ｃなどからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ５ａ、７ａメモリ５ｂ、７ｂ及びインターフェイス部５ｃ、７ｃは、データバスなどを介して相互に接続されている。

距離センサ６は、作業環境内にある物体の距離情報を検出する。距離センサ６は、例えば、ロボット１の頭部などに搭載されているが、これに限られない。距離センサ６は、ロボット１が動作する作業環境内（例えば、壁や天井）に設置されていてもよい。これにより、ロボット１を移動させることなく、広い視野で物体の距離情報を検出することができる。したがって、後述の作業環境内の領域の特定を高速に行うことができる。

距離センサ６は、ロボット１及び動作環境内に複数設けられていてもよい。距離センサ６は、例えば、カメラ（ＲＧＢ−Ｄカメラ、ステレオカメラ）、レーザレンジファインダ、超音波センサ、３次元距離センサなどのセンサである。

ところで、ロボットの作業環境内には多種多様の物体が存在し、その位置及び姿勢も多種多様である。従来は、このような多種多様の物体を物体候補とし、この物体候補の形状情報を取得し、予め設定された形状情報と照合を行って、各物体の認識を行っている。このため、照合を行う物体候補の数が多くなると物体認識に多くの時間を要するとう問題が生じることとなる。

これに対して、本実施形態に係る物体認識装置７は、前記設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報と、を夫々対応付けて記憶し、物体の距離情報に基づいて、特定された領域内の物体を物体候補として検出し、検出された物体候補を、記憶されたテーブル情報を用いて、特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識する。

これにより、特定された各領域内で検出された物体候補は、その領域の物体カテゴリに属することが推定できる。したがって、各領域内に絞り込んで検出された物体候補をその各領域の物体カテゴリの物体情報と照合するだけで、容易に認識できる。すなわち、物体認識を高速で行うことができる。また、誤認識を低減することができるため、各物体の位置、姿勢の推定精度も向上させることができる。

図３は、本実施形態に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態に係る物体認識装置７は、距離情報取得部７１と、記憶部７２と、領域特定部７３と、候補検出部７４と、物体認識部７５と、を備えている。

距離情報取得部７１は、距離情報取得手段の一具体例である。距離情報取得部７１は、距離センサ６を用いて、物体の距離情報（画像情報を含む）を取得する。なお、距離情報とは、例えば、距離センサ６の視野（又はスキャン範囲）にある物体のセンサの座標系から見た位置情報（ｘ、ｙ、ｚ）によって取得されるものである。また、距離情報は、単眼カメラなどによって取得されるなどの、公知の手法により取得される。距離情報取得部７１は、取得した物体の距離情報を制御装置５、領域特定部７３、候補検出部７４、及び物体認識部７５に出力する。

記憶部７２は、記憶手段の一具体例である。記憶部７２は、例えば、メモリ７ｂで構成されている。ロボット１の作業環境内には、複数の領域が予め設定されている。作業環境内には、例えば、図４に示す如く、テーブル上に皿を置くための皿領域と、グラスを置くためのグラス領域と、廃棄物を置くための廃棄物領域と、が設定されている。記憶部７２は、例えば、設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報を含み、該物体に対して作業を行うのに必要な物体情報と、を夫々対応付けたテーブル情報を記憶している。

物体情報は、例えば、物体の形状情報（サイズ、重量、形状、特徴など）、物体の位置姿勢、物体の把持方法、物体の把持位置、物体に対する把持力、物体に対する作業内容、などの物体に対して作業を行うのに必要な情報を含む。

記憶部７２は、例えば、図５に示す如く、各領域（皿領域、グラス領域、廃棄物領域）の物体カテゴリ（皿カテゴリ、グラスカテゴリ、廃棄物カテゴリ）と、該各物体カテゴリに属する各物体（大皿、小皿、角皿、ジョッキ、グラス小、廃棄物一般）に対する物体情報と、を夫々対応付けたテーブル情報を記憶している。
記憶部７２に記憶されたテーブル情報は、例えば、操作端末８などを介して、ユーザが任意に設定、及び変更できるように構成されている。

領域特定部７３は、領域特定手段の一具体例である。領域特定部７３は、距離情報取得部７１により取得された距離情報と、記憶部７２に予め記憶された環境地図情報と、に基づいて、物体が位置する各領域を特定する。環境地図情報は、ロボット１が作業を行う作業環境内の地図（障害物や移動路の位置情報）を示す情報である。環境地図情報には、上述した複数の領域が予め設定されている。なお、図４及び図５に示す一例では、テーブル上の各領域及び物体カテゴリについて説明しているが、これに限定されない。例えば、床、デスク、ローテーブルなどの任意の対象物について、各領域及び物体カテゴリが設定されてもよい。

テーブル情報の物体情報は、各領域に対応して、認識対象の物体の距離情報を取得するのに最適なロボット１の位置を含んでいてもよい。ここで、最適なロボット１の位置とは、例えば、物体がテーブル上に置かれている場合、テーブル全体が見渡せて、物体になるべく近くなる位置、や物体の認識精度が安定する位置である。距離情報取得部７１が距離情報を取得する際に、制御装置５は、上記テーブル情報の物体情報に基づいて移動装置３を制御し、各領域に対応した最適な位置にロボット１を移動させる。これにより、距離情報取得部７１が各領域の物体の距離情報を取得する際の、ロボット１の位置が領域毎に一定となる。このため、物体の照明条件の変化が小さくなり、物体の認識精度が向上する。
なお、記憶部７２に記憶された環境地図情報の各領域は、例えば、操作端末８などを介して、ユーザが任意に設定、及び変更できるように構成されている。

領域特定部７３は、距離情報取得部７１により取得された各領域の画像情報に基づいて、各領域を特定してもよい。この画像情報は、例えば、各領域を区画するラインや塗分けなどの可視化した情報や各領域に設けられたマーカ（識別子）などの各領域の位置を示す目印情報である。（図６）。領域特定部７３は、距離情報取得部７１により取得された画像情報に基づいて、マーカを認識し、該マーカから所定形状（四角形状、円形状など）範囲を領域として特定することができる。これにより、領域特定部７３は、容易に各領域を特定することができ、物体認識の時間をより短縮することができる。

候補検出部７４は、候補検出手段の一具体例である。候補検出部７４は、距離情報取得部７１により取得された物体の距離情報に基づいて、領域特定部７３により特定された各領域内の各物体を物体候補として検出する。例えば、候補検出部７４は、距離情報取得部７１により取得された物体の距離情報に基づいて、テーブルを平面と仮定し、その平面から突出している部分を物体として切り出す。そして、候補検出部７４は、切り出した物体の図芯の位置を算出し、該図芯の位置が各領域内にあるか否かを判断することで、物体候補を検出する。候補検出部７４は、検出した物体候補を物体認識部７５に出力する。

物体認識部７５は、認識手段の一具体例である。物体認識部７５は、候補検出部７４により検出された物体候補を、記憶部７２により記憶されたテーブル情報を用いて、領域特定部７３により特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識する。

例えば、物体認識部７５は、距離情報取得部７１により取得された物体の距離情報に基づいて、候補検出部７４により検出された物体候補の特徴量を算出する。そして、物体認識部７５は、算出した物体候補の特徴量と、予め記憶部７２に記憶された、領域特定部７３により特定された領域の物体カテゴリに属する物体の特徴量のモデル情報（形状情報）と、を照合（パターンパッチング）することで、その物体候補を認識する。

通常、各物体は各領域に仕分けされ、各領域内に各領域の物体カテゴリに属する物体が配置されている。しかし、各領域内に各領域の物体カテゴリに属さない物体が紛れ込むことも想定される。

これに対し、物体認識部７５は、候補検出部７４により検出された物体候補を、領域特定部７３により特定された領域の物体カテゴリに属する物体の形状情報と比較し、その後、該領域の物体カテゴリに属しない物体の形状情報と比較することにより認識する。これにより、各領域の物体カテゴリに属さない物体（各領域に仕分けられていない物体など）についても必要に応じて認識することができる。

図７は本実施形態に係る物体認識方法の処理フローの一例を示すフローチャートである。
ユーザが、操作端末８を介して、記憶部７２の環境地図情報に各領域（例えば、テーブル上にに、皿領域、グラス領域、廃棄物領域など）を設定する（ステップＳ１０１）。ユーザが、操作端末８を介して、記憶部７２のテーブル情報の各領域に対して物体カテゴリ、該物体カテゴリに属する物体、及びその物体情報を設定する（ステップＳ１０２）。

ユーザは、操作端末８を介して、制御装置５に対して、ロボット１の作業指示（例えば、作業位置（リビングのテーブル）及び作業内容（片付け作業））を行う（ステップＳ１０３）。制御装置５は、操作端末８からの作業指示の操作信号に応じて、距離情報取得部７１により取得された距離情報と、記憶部７２に予め記憶された環境地図情報と、に基づいて、移動装置３を制御し、ロボット１を作業位置に移動させる。

距離情報取得部７１は、作業位置の画像情報を取得し（ステップＳ１０４）、領域特定部７３、候補検出部７４、及び物体認識部７５に出力する。
領域特定部７３は、距離情報取得部７１により取得された画像情報に基づいて、作業位置の各領域を特定する（ステップＳ１０５）。

候補検出部７４は、距離情報取得部７１により取得された物体の距離情報に基づいて、領域特定部７３により特定された各領域内の各物体を物体候補として検出する（ステップＳ１０６）。

物体認識部７５は、距離情報取得部７１により取得された物体の距離情報と、記憶部７２のテーブル情報と、に基づいて、候補検出部７４により検出された各領域内の各物体候補を夫々認識する（ステップＳ１０７）。制御装置５は、例えば、物体認識部７５により認識された物体と、記憶部７２のテーブル情報と、に基づいて、ロボット１の移動装置３及び把持操作装置４を制御し、作業を実行する。この場合、物体認識部７５による物体の認識に併せて、制御装置５は、その記憶部７２に記憶された物体の物体情報（形状情報など）を用いてロボット１の制約条件を加味し、作業（単腕で把持可能、現状の能力で把持可能）の可否を判断できる。したがって、ロボット１の作業能力を効率的に引き出すことができる。

以上、本実施形態に係る物体認識装置７において、記憶部７２に設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報を含み該物体に対して作業を行うのに必要な物体情報と、を夫々対応付けたテーブル情報を記憶する。領域特定部７３は、物体が存在する領域を特定する。候補検出部７４は、距離情報取得部７１により取得された物体の距離情報に基づいて、領域内の物体を物体候補として検出する。物体認識部７５は、記憶部７２により記憶されたテーブル情報を用いて候補検出部７４により検出された物体候補を、領域特定部７３により特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識する。これにより、特定された各領域内で検出された物体候補は、その領域の物体カテゴリに属することが推定できる。したがって、各領域内に絞り込んで検出された物体候補をその各領域の物体カテゴリの物体情報と照合するだけで、容易に認識できる。すなわち、物体認識を高速で行うことができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
また、本発明は、例えば、図７に示す処理を、ＣＰＵ７ａにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ ロボット、２ ロボット本体、３ 移動装置、４ 把持操作装置、５ 制御装置、６ 距離センサ、７ 物体認識装置、８ 操作端末

Claims (5)

1. ロボットの作業環境内に複数の領域が予め設定され、該各領域内の物体を認識する物体認識装置であって、
   前記設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報と、を夫々対応付けて記憶する記憶手段と、
   認識対象の物体の距離情報を取得する距離情報取得手段と、
   前記物体が存在する領域を特定する領域特定手段と、
   前記距離情報取得手段により取得された物体の距離情報に基づいて、前記領域内の物体を物体候補として検出する候補検出手段と、
   前記候補検出手段により検出された物体候補を、前記記憶手段により記憶された情報を用いて、前記領域特定手段により特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識する認識手段と、
   を備える、ことを特徴とする物体認識装置。
2. 請求項１記載の物体認識装置であって、
   前記認識手段は、前記候補検出手段により検出された物体候補を、前記領域特定手段により特定された領域の物体カテゴリに属する物体の形状情報と比較し、その後、該領域の物体カテゴリに属しない物体の形状情報と比較することにより認識する、
   ことを特徴とする物体認識装置。
3. 請求項１又は２記載の物体認識装置であって、
   前記記憶手段は、前記設定された領域と、前記距離情報を取得する際のロボットの位置情報と、を対応付けて記憶しており、
   前記距離情報取得手段が、前記領域に対応する位置で前記認識対象の物体の距離情報を取得する、
   ことを特徴とする物体認識装置。
4. 請求項１乃至３のうちのいずれか１項記載の物体認識装置であって、
   前記作業環境内の領域には、該領域の位置を示す目印情報が設定されており、
   前記領域特定手段は、前記目印情報に基づいて、前記領域を特定する、
   ことを特徴とする物体認識装置。
5. ロボットの作業環境内に複数の領域が予め設定され、該各領域内の物体を認識する物体認識方法であって、
   前記設定された各領域の物体カテゴリと、該物体カテゴリに属する物体の識別情報と、該物体の形状情報と、を夫々対応付けて記憶するステップと、
   認識対象の物体の距離情報を取得するステップと、
   前記物体が存在する領域を特定するステップと、
   前記取得された物体の距離情報に基づいて、前記領域内の物体を物体候補として検出するステップと、
   前記検出された物体候補を、前記記憶された情報を用いて、前記特定された領域の物体カテゴリに属する物体の形状情報と比較することにより認識するステップと、
   を含む、ことを特徴とする物体認識方法。

Images