JP7074447B2 - モデル推定装置 - Google Patents

Description

本発明は、操作対象物の操作モデルを推定するモデル推定装置に関する。

ロボットの操作により動作する操作対象物の動作方法を示す操作モデルを推定するモデル推定装置が知られている（例えば、特許文献１参照）。

特許第５７８５０７４号公報

上述したようなモデル推定装置は、静止状態の操作対象物の３次元点群データだけなく、操作対象物を実際に動作させ、その動作時の操作対象物の３次元点群データを用いて、操作対象物の操作モデルを推定している。このため、必要なデータ量が増加するという問題がある。

本発明は、かかる課題を解決するためになされたものであり、操作対象物を動作させる必要がないため必要なデータ量を低く抑え、操作対象物の操作モデルを高精度に推定できるモデル推定装置を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、
ロボットの操作により動作する操作対象物の動作方法を示す操作モデルを推定するモデル推定装置であって、
前記操作対象物の３次元点群データを取得するデータ取得手段と、
前記データ取得手段により取得された操作対象物の３次元点群データに基づいて、前記操作対象物の外形状に対する、該操作対象物上に設けられ前記ロボットが接触し操作を行う操作部の相対位置の特徴を示す操作位置特徴量、及び、該操作部の形状の特徴を示す操作形状特徴量を算出する特徴量算出手段と、
前記操作位置特徴量、及び、前記操作形状特徴量を入力値とし、該入力値に対応付けられた前記操作モデルを出力値とし、前記入力値及び出力値に基づいて学習を行う学習器を含むと共に、前記特徴量算出手段により算出された操作位置特徴量及び操作形状特徴量を入力値として、前記学習器に入力し、該学習器から出力された出力値に基づいて、前記操作対象物の操作モデルを推定する推定手段と、
を備える、ことを特徴とするモデル推定装置
である。

本発明によれば、操作対象物を動作させる必要がないため必要なデータ量を低く抑え、操作対象物の操作モデルを高精度に推定できるモデル推定装置を提供することができる。

本発明の一実施形態に係るモデル推定装置の概略的なシステム構成を示すブロック図である。 操作モデル毎に操作位置特徴量を２次元座標系にプロットした図である。 本発明の一実施形態に係るモデル推定方法のフローを示すフローチャートである。 操作モデルの学習工程を説明するための図である。 操作モデルの推定工程を説明するための図である。 本発明の一実施形態に係るモデル推定装置が搭載されたロボットの概略的構成を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。
可動部を動作させる物体のモデル化は、例えば人の生活を支援するロボット等の分野において、重要な意義を有する。このようなロボットには、日常環境に存在する様々な物体を認識し、操作する機能が要求される。このような物体の中でも、食器や衣類などの物品を収納する家具等は、引出しや扉などの可動構造の操作対象物を有していることが多い。そこで、かかるロボットには、かかる家具等の操作対象物の外面形状だけでなく、その動作方法を示す操作モデルについての知識も持たせておく必要がある。

本発明の一実施形態に係るモデル推定装置は、上述したような、ロボットの操作により動作する操作対象物の動作方法を示す操作モデルを推定するものである。例えば、ロボットは、モデル推定装置により推定された操作対象物の操作モデルを用いて、操作対象物を高精度かつ安全に操作できる。

操作対象物は、例えば、家具などに設けられた矩形状の扉や、引出しの取っ手が設けられた前面板、などのロボットによって操作され動作する可動構造の物体である。操作モデルは、例えば、家具などに設けられる、前後に引出し及び引戻される引出し、左方向へスライドする左スライドドア、右方向へスライドする右スライドドア、左側にヒンジを回転軸として回動する左ヒンジ扉、右側のヒンジを回転軸として回動する右ヒンジ扉などの、操作対象物の動作方法を示す可動構造モデルである。

図１は、本発明の一実施形態に係るモデル推定装置の概略的なシステム構成を示すブロック図である。本実施形態に係るモデル推定装置１は、操作対象物の３次元点群データを取得するデータ取得部２と、後述の操作位置特徴量、及び、操作形状特徴量を算出する特徴量算出部３と、操作対象物の操作モデルを推定するモデル推定部４と、を備えている。

なお、モデル推定装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、それぞれ、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

データ取得部２は、データ取得手段の一具体例である。データ取得部２は、例えば、３次元距離センサ等を用いて、操作対象物の３次元点群データを取得する。３次元距離センサは、操作対象物の外面形状を計測するための装置である。３次元距離センサは、計測結果として、当該座標を示す点データの集合である３次元点群データを出力する。

特徴量算出部３は、特徴量算出手段の一具体例である。特徴量算出部３は、データ取得部２から出力された操作対象物の３次元点群データに基づいて、操作対象物の操作位置特徴量、及び、操作形状特徴量を算出する。

操作位置特徴量とは、操作対象物の外形状に対する、操作部の相対位置の特徴を示す特徴量である。操作部は、例えば、扉などの操作対象物上に設けられ、ロボットのハンドなどが接触し、把持、押圧、引張などの操作を行う部分である。操作部は、例えば、扉などに設けられた、取っ手やドアノブなどである。操作形状特徴量とは、操作部の形状の特徴を示す特徴量である。

特徴量算出部３は、データ取得部２から出力された操作対象物の３次元点群データに基づいて、操作対象物の形状及び操作部の位置を算出する。特徴量算出部３は、算出した操作対象物の形状及び操作部の位置に基づいて、操作位置特徴量を算出する。特徴量算出部３は、算出した操作部の形状に基づいて、操作形状特徴量を算出する。

ここで、上述した操作部の位置及び操作部の形状の算出方法の一例を詳細に説明する。
特徴量算出部３は、操作対象物周辺の３次元点群データに対して平面検出処理を行う。平面検出処理とは、３次元点群データから平面を実際に検出する処理である。特徴量算出部３は、例えば、ＰＣＬ（Point Cloud Library）に含まれるＳＡＣＳｅｇｍｅｎｔａｔｉｏｎアルゴリズムを用いて、平面検出処理を行う。ＳＡＣＳｅｇｍｅｎｔａｔｉｏｎは、点群データの中からランダムに選んだ点の組から法線ベクトルを求めることにより、平面を構成する点群を抽出する処理である。

特徴量算出部３は、上述の平面検出処理を用いて、平面上の点群のみを抽出し、その点群に対して主成分分析を行う。特徴量算出部３は、平面法線をＺ軸、第１主成分方向をＸ軸とする座標系へ、主成分分析を行った平面上の点群を、座標変換する。特徴量算出部３は、座標変換された点群のＡＡＢＢ（Axis‐Aligned Bounding Box）を算出する。算出されたＡＡＢＢの中央は、操作部の位置を示す。ＡＡＢＢは、操作部の形状を示す。

次に、上述した操作対象物の形状の算出方法の一例を説明する。
特徴量算出部３は、例えば、操作対象物の形状を矩形状と仮定し、平面座標系で直交する２軸方向に対して、エッジ存在位置の分布を示すヒストグラムを作成することで、操作対象物の形状を算出する。なお、本処理方法の詳細は、本出願人が既に提案した特開２０１５－０４９７７６号公報に開示されており、これを援用できるものとする。

続いて、上述した操作位置特徴量の算出方法の一例を詳細に説明する。
特徴量算出部３は、算出した操作対象物の形状に基づいて、操作対象物の幅及び高さを算出する。特徴量算出部３は、算出した操作部の位置に基づいて、操作部の水平位置を操作対象物の幅で除算し、その除算結果を正規化した値Ｐｗを算出する。また、特徴量算出部３は、算出した操作部の位置に基づいて、操作部の垂直位置を操作対象物の高さで除算し、その除算結果を正規化した値Ｐｈを算出する。特徴量算出部３は、算出した値Ｐｗ、Ｐｈの２次元座標（Ｐｗ、Ｐｈ）を、操作位置特徴量として出力する。

図２は、上述のように算出した操作モデル毎に操作位置特徴量を２次元座標系にプロットした図である。図２において、横軸は、Ｐｗであり、縦軸はＰｈである。（ａ）は、操作モデルが右ヒンジ扉である場合の操作位置特徴量の分布を示す。（ｂ）は、操作モデルが引出しである場合の操作位置特徴量の分布を示す。（ｃ）は、操作モデルが左ヒンジ扉である場合の操作位置特徴量の分布を示す。図２に示す如く、操作モデル毎に操作位置特徴量の分布に特徴が表れていることが分かる。

続いて、上述した操作形状特徴量の算出方法の一例を詳細に説明する。
例えば、操作部が矩形状の取っ手とする。特徴量算出部３は、算出した操作部の形状に基づいて、操作部の縦及び横の長さを算出する。特徴量算出部３は、算出した操作部の縦及び横の長さに基づいて、操作部の縦横の長さ比を算出し、算出した比を操作形状特徴量として出力する。なお、例えば、操作部が円形状のドアノブの場合、特徴量算出部３は、円形状の操作部に外接する外接矩形に基づいて、その外接矩形の縦及び横の長さ比を算出してもよい。円形状の場合、その縦及び横の長さの比は１／１＝１となる。

このように、本実施形態においては、操作モデルの特徴をよく表し、その操作モデルを推定するのに最適な操作位置特徴量、及び操作形状特徴量を算出する。そして、後述の如く、これら特徴量を用いて、操作対象物の操作モデルを推定している。これにより、少ないデータ量及び計算リソースで操作モデルを効率的に推定できる。

モデル推定部４は、モデル推定手段の一具体例である。モデル推定部４は、操作モデルを学習する学習器４１を含む。モデル推定部４は、学習器４１を用いて、操作対象物の操作モデルを推定する。

学習器４１は、操作位置特徴量、及び、操作形状特徴量を入力値とし、該入力値に対応付けられた操作モデルを出力値とし、複数組の入力値及び出力値に基づいて学習を行う。学習器４１は、例えば、予め対応付けられた操作位置特徴量、操作形状特徴量、及び操作モデルからなる複数組の学習データを用いて学習を行う。学習器４１は、例えば、ＳＶＭ（Support Vector Machine）やニューラルネットワークなどである。

学習データは、例えば、予めメモリに記憶されていて、学習器４１がメモリから適宜読み込む構成であってもよい。また、特徴量算出部３が、例えば、自動的に、インターネットなどを介して、家具などの操作対象物の通販ページの画像データや外寸データを取得し、取得したデータに基づいて、操作位置特徴量及び操作形状特徴量を算出し、操作モデルと対応付けて学習データを生成してもよい。この場合、特徴量算出部３は、例えば、家具などの操作対象物の画像データを実際の外寸に変換するような透視変換を行い、変換画像上で、操作対象物の形状、操作部の位置及び形状、操作モデルを入力できるインターフェースを実装していてもよい。

モデル推定部４は、特徴量算出部３により算出された操作対象物の操作位置特徴量及び操作形状特徴量を入力値として、学習器４１に入力し、学習器４１から出力された出力値（操作モデル）を、操作対象物の操作モデルとして推定する。

ところで、従来のモデル推定装置においては、静止状態の操作対象物の３次元点群データだけなく、操作対象物を実際に動作させ、その動作時の操作対象物の３次元点群データを用いて、操作対象物の操作モデルを推定している。このため、必要なデータ量が増加するという問題がある。

これに対し、本実施形態に係るモデル推定装置１においては、上述の如く、データ取得部２は、操作対象物の３次元点群データを取得する。特徴量算出部３は、データ取得部２により取得された操作対象物の３次元点群データに基づいて、操作対象物の形状に対する操作部の位置の特徴を示す操作位置特徴量、及び、操作部の形状の特徴を示す操作形状特徴量を算出する。モデル推定部４は、操作位置特徴量、及び、操作形状特徴量を入力値とし、該入力値に対応付けられた操作モデルを出力値とし、入力値及び出力値に基づいて学習を行う学習器４１を含む。モデル推定部４は、特徴量算出部３により算出された操作位置特徴量及び操作形状特徴量を入力値として、学習器４１に入力し、学習器４１から出力された出力値に基づいて、操作対象物の操作モデルを推定する。

本実施形態に係るモデル推定装置１によれば、学習器４１が、予め対応付けられた操作対象物の操作位置特徴量、操作形状特徴量及び操作モデルの学習データを学習し、モデル推定部４は、その学習した学習器４１を用いて、操作対象物の操作モデルを推定する。したがって、操作対象物を動作させる必要がないため必要なデータ量を低く抑えることができ、さらに、操作モデルを学習した学習器４１を用いて操作対象物の操作モデルを高精度に推定できる。

また、本実施形態に係るモデル推定装置１によれば、事前に、操作対象物の形状に対する操作部の位置の特徴を示す操作位置特徴量、及び、操作部の形状の特徴を示す操作形状特徴量を算出し、これら特徴量を用いて、操作対象物の操作モデルを推定している。このように、操作モデルを推定するのに最適な特徴量を算出し、操作対象物の操作モデルを推定することで、少ないデータ量及び計算リソースで操作モデルを効率的に推定できる。

さらに、本実施形態に係るモデル推定装置１によれば、上述の如く、事前に学習データにより学習器４１に学習させ、その学習器４１を用いて、操作対象物の操作モデルを推定することで、例えば、個々の家具毎にモデルを作成する必要がなくなる。

図３は、本実施形態に係るモデル推定方法のフローを示すフローチャートである。
本実施形態に係るモデル推定方法は、以下の２つの工程で構成されている。
（１）操作モデルの学習工程において、学習器４１は、予め対応付けられた操作位置特徴量、操作形状特徴量、及び操作モデルから構成される学習データを学習する。
次に、（２）操作モデルの推定工程において、モデル推定部４は、特徴量算出部３により算出された操作対象物の操作位置特徴量及び操作形状特徴量に基づいて、学習した学習器４１を用いて、操作対象物の操作モデルを推定する。

続いて、操作モデルの学習工程（１）及び推定工程（２）を、図４及び図５を用いて詳細に説明する。
（１）（操作モデルの学習工程）
学習器４１は、図４に示す如く、メモリなどから、予め対応付けられた操作位置特徴量、操作形状特徴量、及び操作モデルから構成される学習データを取得する（ステップＳ１０１）。
学習器４１は、学習データの操作位置特徴量、及び、操作形状特徴量を入力値とし、該入力値に対応付けられた操作モデルを出力値とし、入力値及び出力値に基づいて学習を行う（ステップＳ１０２）。

（２）（操作モデルの推定工程）
データ取得部２は、３次元距離センサ等を用いて、操作対象物の３次元点群データを取得し、特徴量算出部３に出力する（ステップＳ１０３）。

特徴量算出部３は、図５に示す如く、データ取得部２から出力された操作対象物の３次元点群データに基づいて、操作対象物及び操作部を検出し、検出した操作対象物の形状及び操作部の位置を算出する（ステップＳ１０４）。特徴量算出部３は、算出した操作対象物の形状及び操作部の位置に基づいて、操作位置特徴量を算出し、モデル推定部４に出力する（ステップＳ１０５）。

特徴量算出部３は、算出した操作部の形状に基づいて、操作形状特徴量を算出し、モデル推定部４に出力する（ステップＳ１０６）。

モデル推定部４は、特徴量算出部３から出力された操作対象物の操作位置特徴量及び操作形状特徴量を入力値として、学習器４１に入力し、学習器４１から出力された出力値（操作モデル）を、操作対象物の操作モデルとして推定する（ステップＳ１０７）。

図６は、本実施形態に係るモデル推定装置が搭載されたロボットの概略的構成を示すブロック図である。
例えば、ロボット１０は、モデル推定装置１のモデル推定部４により推定された操作対象物の操作モデルを使って、操作対象物の操作を行う。ロボット１０は、制御部１１や記憶部１２、アクチュエータ１３等を備えており、ロボット１０の記憶部１２に、推定された操作対象物の操作モデルを記憶する。制御部１１が操作モデルにしたがってアクチュエータ１３等の動作を制御する。例えば、ロボット１０は、扉などの操作対象物の操作モデル（左ヒンジ扉など）にしたがい、取っ手などの操作部を操作し矩形状の扉の開閉を行う。こにれより、ロボット１０は、モデル推定装置１により推定された操作対象物の操作モデルを用いて、操作対象物を高精度かつ安全に操作できる。

なお、本実施形態において、モデル推定装置１は、ロボット１０に搭載される構成であるが、これに限定されない。モデル推定装置１は、ロボット１０に搭載されない構成であってもよい。この場合、モデル推定装置１は、推定した操作モデルを、有線あるいは無線を介して、ロボット１０に送信してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本発明は、例えば、図３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ モデル推定装置、２ データ取得部、３ 特徴量算出部、４ モデル推定部、４１ 学習器

Claims (1)

1. ロボットの操作により動作する可動構造の操作対象物の動作方法を示す操作モデルを推定するモデル推定装置であって、
   前記操作対象物の３次元点群データを取得するデータ取得手段と、
   前記データ取得手段により取得された操作対象物の３次元点群データに基づいて、前記操作対象物の外形状に対する、該操作対象物上に設けられ前記ロボットが接触し操作を行う該操作対象物の一部の操作部の相対位置の特徴を示す操作位置特徴量、及び、該操作部の形状の特徴を示す操作形状特徴量を算出する特徴量算出手段と、
   前記操作位置特徴量、及び、前記操作形状特徴量を入力値とし、該入力値に対応付けられた前記操作モデルを出力値とし、前記入力値及び出力値に基づいて学習を行う学習器を含むと共に、前記特徴量算出手段により算出された操作位置特徴量及び操作形状特徴量を入力値として、前記学習器に入力し、該学習器から出力された出力値に基づいて、前記操作対象物の操作モデルを推定する推定手段と、
   を備える、ことを特徴とするモデル推定装置。

Images