JP6892421B2 - パラメータ推定方法およびパラメータ推定装置 - Google Patents

Description

実施形態の発明は、パラメータ推定方法およびパラメータ推定装置に関する。

物流事業等の現場では、多種多様な荷物（Ｐａｃｋａｇｅ）をロボットで搬送する。荷物の大きさ、形状、材質などのパラメータは、多様であり、荷物の重量や重心の位置も多様である。ロボットハンドやドローン等の装置で荷物を把持する際に、カメラ等で取得した画像情報に基づいて把持する箇所等を含む把持計画を作成する。把持計画に従って把持を行う場合、一体化された荷物の範囲に関する認識の間違いや、重量や重心が不明であるために、把持を失敗したり、荷物が破壊されたりすることがある。

接着剤やビニールラップ等で一体化された複数の荷物は、画像情報により個別の荷物ではなく一体化されていることを認識することは困難である。上面視において複数の荷物の存在が認識されたとしても、一体化されている場合、一つずつ荷物を搬送することはできず、複数の荷物を一度に持ち上げなくてはならない。このような場合、複数の荷物が一体化されていることを認識できないと把持を失敗しやすい。このため、荷物の把持計画を作成する際に重量または重心を推定して、当該パラメータを考慮して把持を行う必要がある。

しかしながら、段ボール箱の目視だけでは、内容物の重量や重心を推定することは困難である。特に、一体化された梱包物の重量や重心は、個々の荷物の重量や重心によっても異なるため困難である。

一体化された複数の荷物の重量や重心は、非接触の検査で推定されることが好ましい。非接触で上記パラメータを検出する装置としては、例えばＸ線検査装置等が挙げられる。しかしながら、Ｘ線の透過画像を用いて重量や重心位置を推定する場合、Ｘ線検査装置の中に荷物を入れなくてはいけない。物流現場等では単位時間当たりの荷物の処理量が膨大であるが、この方式の場合処理量を多くできない。また、Ｘ線検査装置が高価、大型でかつ人体に悪影響を与える可能性がある。

特許第５７９８４２０号明細書

実施形態の発明が解決しようとする課題は、簡便な方法で内容物の重量、荷物の重量、内容物の重心、荷物の重心、一体化された内容物の範囲、一体化された荷物の範囲、内容物同士の接着状態、および荷物同士の接着状態からなる群より選択される少なくとも一つのパラメータを推定することである。

実施形態のパラメータ推定方法は、包材と包材を用いて梱包された内容物とを有する少なくとも一つの荷物の形状情報および位置情報を含む外観情報を取得するステップと、外観情報に基づいて決定される少なくとも１カ所で荷物を加振し、加速度、速度、および変位からなる群より選択され、かつ荷物の振動を示す少なくとも一つのデータを取得するステップと、少なくとも一つのデータと、内容物の重量、荷物の重量、内容物の重心、荷物の重心、一体化された内容物の範囲、一体化された荷物の範囲、内容物同士の接着状態、および荷物同士の接着状態からなる群より選択される少なくとも一つのパラメータと、の関係に基づいて少なくとも一つの荷物の少なくとも一つのパラメータの値を推定するステップと、を具備する。

推定装置の構成例を示す模式図である。 推定方法例を説明するためのフローチャートである。 超音波フェーズドアレイの原理を説明するための図である。 伝達関数を説明するための模式図である。 梱包例を示す模式図である。 梱包例を示す模式図である。 梱包例を示す模式図である。 段ボール箱の外形を示す図である。 段ボール箱の断面の構造を示す図である。 段ボール箱の加振点および振動モード測定点を示す図である。 伝達関数を示す図である。 伝達関数を示す図である。 重さと振動数との関係を示す図である。 重さと固有振動でのゲインとの関係を示す図である。 ロボットハンドの構成を示す図である。 重さと振動数との関係を示す図である。 ＳａｍｐｌｅＡの荷物の構成を示す図である。 ＳａｍｐｌｅＢの荷物の構成を示す図である。 振動モードを示す図である。 振動モードを示す図である。 一体化された複数の荷物の構成を示す上面図である。 推定方法の他の例を説明するためのフローチャートである。

以下、実施形態について、図面を参照して説明する。なお、図面は模式的であり、例えば各構成要素の厚さ、幅等の寸法は実際の構成要素の寸法と異なる場合がある。また、実施形態において、実質的に同一の構成要素には同一の符号を付け、説明を省略する場合がある。

図１は、パラメータ推定装置の構成例を示す模式図である。図１に示す推定装置１は、駆動部１ａを用いて荷物１０の内容物の重量、荷物の重量、内容物の重心、荷物の重心、一体化された内容物の範囲、一体化された荷物の範囲、内容物同士の接着状態、および荷物同士の接着状態からなる群より選択される少なくとも一つのパラメータの値を推定することができ、撮像部１１と、加振部１２と、検出部１３と、記憶部１４と、推定部１５と、制御部１６と、を具備する。推定装置１は、例えば荷物の担持計画を策定するために用いられる。

荷物１０は、包材１０ａと、包材１０ａに梱包された内容物１０ｂと、を有する。包材１０ａとしては、例えば段ボール箱等が挙げられるが、特に限定されない。内容物１０ｂとしては、包材１０ａにより梱包可能であれば特に限定されない。また、荷物１０の形状も直方体に限定されない。また、荷物１０は、複数の荷物が一体化された梱包物の一つであってもよい。

荷物同士または内容物同士の接着状態は、一つの荷物または内容物を把持して持ち上げたときの把持していない他の一つの荷物または内容物の状態により判断される。把持していない他の一つの荷物または内容物も一つの荷物と共に持ち上がれば荷物同士または内容物同士は接着されている、または接着度合いが基準よりも強いもしくは接着強度が基準よりも高いと判断され、持ち上がらなければ接着していないまたは接着度合いが基準よりも弱いもしくは接着強度が基準よりも低いと判断される。例えば、複数の段ボール箱が部分的にテープや接着剤等で接着されている場合を判別する。一部を把持したときに複数の段ボール箱が一体的に持ち上がれば、接着されている、または接着度合いが基準よりも強いもしくは接着強度が高いと判断される。また、包材としてビニール袋が用いられておりその中に複数の内容物を有する場合、複数の内容物の一部を把持するときに一体的に複数の内容物が持ち上がれば複数の内容物がテープや接着剤等で接着されている、または接着度合いが基準よりも強いもしくは接着強度が高いと判断される。

撮像部１１は、荷物１０を撮像することができる。これにより、荷物１０の形状情報および位置情報を含む外観情報を取得することができる。撮像部１１は、例えばカメラ等の撮像素子を備える。

加振部１２は、荷物１０を加振することができる。加振部１２は、例えば焦点の位置を可変できるように同心円状に配置されたリング状の振動子を有するアニュラアレイ、曲面に並置された複数の振動子を有する超音波アレイや超音波フェーズドアレイ等の音波発振器を有する。超音波アレイは、複数個の振動子からの音圧が重畳することにより効率よく対象物を加振することができる。超音波フェーズドアレイは、音響放射圧を発生させることができる。これらの音波発振器を用いることにより、非接触で荷物１０を加振することができるため、加振による荷物１０の破損を抑制することができる。

検出部１３は、荷物１０の振動または振動による変化を示すデータを取得することができる。検出部１３は、例えば静電容量式非接触変位計、渦電流式非接触変位計、光学式非接触変位計、超音波変位計、およびレーザードップラー振動計からなる群より選択される少なくとも一つのセンサを有する。非接触で検出が可能なセンサを用いることにより、検出による荷物１０の破損を抑制することができる。上記センサを複数組み合わせてもよい。光学式非接触変位計は、比較的遠方の変位の検出に適しており、検出精度が高く、応答速度等が速い。超音波変位計は、光学式よりも近くに存在する周波数が低い変位の検出に適しており、荷物１０の材質や色の影響を受けにくく、埃や水による影響が小さい。

記憶部１４は、例えばルックアップテーブル（Ｌｏｏｋｕｐ Ｔａｂｌｅ：ＬＵＴ）を記憶することができる。ＬＵＴは、例えば上記少なくとも一つのパラメータと上記少なくとも一つのデータとの関係を示す。記憶部１４は、例えばメモリを有する。なお、記憶部１４は、外観情報や加振点等のデータを記憶してもよい。記憶部１４は、必ずしもＬＵＴを記憶していなくてもよい。

推定部１５は、データを処理するとともに、記憶部１４に記憶されたＬＵＴを参照し、取得されたデータに対応する上記パラメータの値を推定することができる。

制御部１６は、撮像部１１、加振部１２、検出部１３、記憶部１４、および推定部１５のそれぞれに電気的に接続され、それぞれに制御信号を出力する。制御部１６は、制御信号により撮像部１１、加振部１２、検出部１３、記憶部１４、推定部１５のそれぞれの動作を制御する。なお、制御部１６は、撮像部１１、加振部１２、検出部１３、記憶部１４、および推定部１５の少なくとも一つに接続されて動作を制御すればよい。

推定部１５や制御部１６は、例えばプロセッサ等を用いたハードウェアを用いて構成されてもよい。なお、各動作を動作プログラムとしてメモリ等のコンピュータ読み取りが可能な記録媒体に保存しておき、ハードウェアにより記録媒体に記憶された動作プログラムを適宜読み出すことで各動作を実行してもよい。

次に、推定装置１を用いた荷物１０のパラメータ推定方法の一例について図２を参照して説明する。図２は、パラメータ推定方法例を説明するためのフローチャートである。

図２に示すパラメータ推定方法例は、外観情報取得ステップＳ１と、データ取得ステップＳ２と、パラメータ推定ステップＳ３と、を具備する。

外観情報取得ステップＳ１は、撮像部１１により荷物１０を撮像し、荷物１０の形状情報および位置情報の少なくとも一つの外観情報を取得する撮像ステップＳ１−１と、外観情報に基づいて荷物１０の加振箇所を決定する加振点決定ステップＳ１−２と、を含む。

データ取得ステップＳ２は、決定された少なくとも１カ所の加振箇所で荷物１０を加振する加振ステップＳ２−１と、荷物１０の加速度、速度、および変位からなる群より選択され、荷物１０の振動を示す少なくとも一つのデータを取得する振動測定ステップＳ２−２とを含む。なお、図２に示すように、データをアナログ−デジタル変換（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｓｉｏｎ:ＡＤＣ）するステップＳ２−３の後に、推定部１５によりデータの高速フーリエ変換を行う高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）ステップＳ２−４と、高速フーリエ変換後のデータを伝達関数に変換する伝達関数演算ステップＳ２−５と、をさらに含んでいてもよい。なお、加振ステップ２−１および振動測定ステップＳ２−２は、荷物１０の第１の表面および第２の表面のそれぞれで行われてもよい。また、加振箇所とデータ取得箇所は、必ずしも一致していなくてもよい。

加振ステップＳ２−１において、超音波フェーズドアレイを用いて空中を伝搬する超音波の音響放射圧により荷物１０に対してインパルス加振を行う場合について説明する。図３は、超音波フェーズドアレイの原理を説明するための図である。超音波フェーズドアレイでは、Ｎ個の超音波発振子１２１が駆動信号１２２により制御される。加振したい位置に全ての超音波発振子１２１からの位相が等しくなるように、Ｎ個の超音波発振子１２１の駆動位相を制御することにより、集束超音波ビームが加振したい位置（位置１２３）に形成される。音響放射圧は、超音波の振幅の２乗に比例することから、フェーズドアレイの超音波発振子１２１がＮ個のとき、音響放射圧はＮ^２になる。

超音波フェーズドアレイを用いて荷物１０を非接触で加振すると、荷物１０の表面には加振に応じた振動が励起される。このとき、励起される振動の周波数、振幅は、荷物１０中の内容物の重量や、その位置によって定まる重心の位置、さらには荷物の構造や材質等によって異なる。

超音波アレイ発振子としては、様々な形状、組合せがあり、加振したい荷物１０の形状や、設置場所などに応じて、適宜選択される。例えば、アニュラアレイを用いてもよい。アニュラアレイを用いる場合、駆動信号１２２のパルスを外側の超音波発振子１２１から中央の超音波発振子１２１まで順に印加する。これにより、集束超音波ビームが加振したい位置（位置１２３）に形成される。このとき、１次元のみに焦点を合わせることが可能なリニアアレイと二次元で位相が収束するアニュラアレイとを組み合わせ、音響エネルギーを合成する。

振動測定ステップＳ２−２では、検出部１３により、荷物１０を加振することにより取得され、荷物１０の加速度、速度、および変位からなる群より選択され、かつ荷物１０の振動を示す少なくとも一つのデータを取得する。

次に、ＦＦＴステップＳ２−４、伝達関数演算ステップＳ２−５について説明する。振動解析を行う場合、伝達関数（周波数応答関数ともいう）Ｈ（ω）は荷物１０中の内容物１０ｂの重量やその位置によって変化する。ここで、伝達関数Ｈ（ω）について説明する。図４は、伝達関数を説明するための模式図である。伝達関数は、図４に示すようにシステムへの入力ｘ（ｔ）を出力ｙ（ｔ）に変換する関数である。振動系の入出力系は、式（１）に示す畳み込み積分で表される。

ｘ（ｔ）は励振力、ｙ（ｔ）は出力（加速度）、ｈ（ｔ）はインパルスレスポンスである。ここでは、時間不変性な線形系を仮定している。ＦＦＴステップＳ２−４によりフーリエ変換を行うと式（２）を得ることができる。

伝達関数Ｈ（ω）は式（３）により表される。

Ｃ_ｘｙ（ω）はクロススペクトル、Ｐ_ｘｘ（ω）は入力パワースペクトルである。さらに複素表示Ｙ（ω）＝ｃ＋ｉｄ、Ｘ（ω）＝ａ＋ｉｂ、Ｘ（ω）^＊＝ａ−ｉｂを用いると式（４）のようにゲイン（振幅）と位相からなる関数となる。

伝達関数演算ステップＳ２−５では、励起される振動の振動モードの振幅や周波数から式（４）を用いてゲイン（振幅）と位相からなる伝達関数を算出する。

パラメータ推定ステップＳ３は、ＬＵＴ参照ステップＳ３−１と、出力ステップＳ３−２と、を含む。

ＬＵＴ参照ステップＳ３−１では、得られた伝達関数を、あらかじめ取得しておいた伝達関数と荷物１０の重量または重心との関係を示すＬＵＴと照合する。出力ステップＳ３−２では、伝達関数に対応する最も確からしい荷物の重量、重心、一体化された荷物の範囲、および荷物同士または内容物同士の接着状態、に関連するパラメータの値をデータとして出力する。ＬＵＴとしては、応用先に応じて最適なものを選択する。例えば、検出部１３からの出力データそのものを用いたＬＵＴであってもよいし、出力データを変換して生成された伝達関数を用いたＬＵＴであってもよい。ＬＵＴは、上記パラメータの値が既知である複数の荷物を用いて予めデータを取得することにより作成されてもよい。また、荷物１０の外観情報や加振箇所等のデータを記憶部１４に記憶してＬＵＴを作成してもよい。

推定装置１を用いた荷物１０のパラメータ推定方法の他の例について図２２を参照して説明する。図２２は、パラメータ推定方法例を説明するためのフローチャートである。なお、図２に示すパラメータ推定方法と同じ部分については、図２の説明を適宜援用することができる。

図２２に示すパラメータ推定方法例は、外観情報取得ステップＳ１と、データ取得ステップＳ２と、パラメータ推定ステップＳ３と、を具備する。

外観情報取得ステップＳ１は、撮像部１１により荷物１０を撮像し、荷物１０の形状情報および位置情報の少なくとも一つの外観情報を取得する撮像ステップＳ１−１と、外観情報に基づいて荷物１０の加振箇所を決定する加振点決定ステップＳ１−２と、を含む。

データ取得ステップＳ２は、決定された第１の箇所と第２の箇所とを含む複数の加振箇所で同時または順に荷物１０を加振する加振ステップＳ２−１’と、荷物１０の加速度、速度、および変位からなる群より選択され、荷物１０の振動を示す少なくとも一つの第１のデータと、荷物１０の加速度、速度、および変位からなる群より選択され、荷物１０の振動を示す少なくとも一つの第２のデータとを含む複数のデータを取得する振動測定ステップＳ２−２’と、複数のデータをアナログ−デジタル変換（ＡＤＣ）するステップＳ２−３’と、相互相関関数を算出する相互相関関数演算ステップＳ２−４’と、を含む。

加振ステップＳ２−１’では、加振ステップＳ２−１と同様の方法で決定された第１の箇所と第２の箇所とを含む複数の加振箇所で同時または順に荷物１０を加振する。

振動測定ステップＳ２−２’では、第１の箇所で荷物１０を加振することにより取得され、荷物１０の加速度、速度、および変位からなる群より選択され、かつ荷物１０の振動を示す少なくとも一つの第１のデータと、第２の箇所で荷物１０を加振することにより取得され、荷物１０の加速度、速度、および変位からなる群より選択され、かつ荷物１０の振動を示す少なくとも一つの第２のデータと、を含む複数のデータを取得する。第１のデータは、例えば上記第１の表面で取得されてもよい。第２のデータは、例えば上記第２の表面で取得されてもよい。

相互相関関数演算ステップＳ２−４’では、第１のデータと第２のデータとを含む複数のデータ同士の相互相関関数を算出する。相互相関関数は、二つの時系列波形の類似性を確認するために使用され、２つの波形の位相ずれ時間σの関数として表される。完全に一致する場合は１であり、符号反転で一致する場合は−１であり、全く一致しない場合は０である。例えば、振動測定ステップＳ２−２’によりデータｆ、ｇを取得する場合、データｆ、ｇを用いて式（５）により相互相関関数を算出する。

この数値の絶対値が１に近いとき、２つのデータには相関があると判断でき、値が大きいときは内容物が一体化されている可能性が高い。例えば、複数本のペットボトルがテープで巻かれて一体化された荷物がそれに相当する。一方、テープで巻かれて一体化された荷物１０が複数個並べてあるときに、ある荷物１０を加振し、加振した荷物１０の内容物の１ヶ所のデータと、それとは別の荷物として一体化された内容物の１ヶ所のデータの合計２ヶ所のデータを取得する場合、相互相関関数は小さい。この結果、各内容物１０ｂを梱包する包材をカメラ等で認識することが難しい場合であっても、包材で一体化された荷物１０の範囲を識別することが可能である。

パラメータ推定ステップＳ３は、出力ステップＳ３−１’を含む。出力ステップＳ３−１’では、得られた相互相関関数に対応する最も確からしい内容物１０ｂの重量、荷物１０の重量、内容物１０ｂの重心、荷物１０の重心、一体化された内容物１０ｂの範囲、一体化された荷物１０の範囲、内容物１０ｂ同士の接着状態、および荷物１０同士の接着状態からなる群より選択される少なくとも一つのパラメータの値をデータとして出力する。

上記推定方法は一例であってこれに限定されない。単に加振により観測された振動の振幅や振動の継続時間等のデータと、内容物１０ｂの重量、荷物１０の重量、内容物１０ｂの重心、荷物１０の重心、一体化された内容物１０ｂの範囲、一体化された荷物１０の範囲、内容物１０ｂ同士の接着状態、および荷物１０同士の接着状態からなる群より選択される少なくとも一つのパラメータとの関係を事前にデータとして学習しておくことにより、パラメータを推定することができる。

以上のように、実施形態のパラメータ推定装置および推定方法は、荷物の外観を捉えるとともに加振による荷物の１カ所以上の振動状態から荷物の重量または重心の少なくとも一つのパラメータを推定する。例えば、動いている台車の上で揺れている状態を観測したり直接触って振動の伝わり具合等を確認したりすることと同様に、加振による荷物の振動を検出することにより、内容物１０ｂの重量、荷物１０の重量、内容物１０ｂの重心、荷物１０の重心、一体化された内容物１０ｂの範囲、一体化された荷物１０の範囲、内容物１０ｂ同士の接着状態、および荷物１０同士の接着状態からなる群より選択される少なくとも一つのパラメータを簡便に推定することができる。また、非接触による推定が可能であるとともに、より正確な把持計画を作成して荷物を搬送することができるため、荷物の破損を抑制することができる。

（実施例１）
包材１０ａへの内容物１０ｂの梱包方式は様々であり、その振動特性は梱包方式によって異なる。図５ないし図７は、段ボール箱による梱包例を示す模式図である。図５は段ボール箱である包材１０ａの底に内容物１０ｂとして内容物を入れた場合を示し、図６は包材１０ａに内容物１０ｂとして内容物を充填した場合を示し、図７は包材１０ａの重心に内容物１０ｂを固定した場合を示す。物流現場では図７に示す梱包方式を用いる場合が多く見受けられる。そこで、図６に示す梱包方式の荷物１０と図７に示す梱包方式の荷物１０の振動について調べた。どちらの場合も内容物は、両面テープで固定した。

図８は、実施例に用いる段ボール箱の外形を示す図であり、図９は、段ボール箱の断面の構造を示す図であり、図１０は、段ボール箱の加振点および振動測定点を示す箇所Ｐ１〜Ｐ９を示す図である。段ボール箱は、図９に示すように段の山（フルート）の数Ｎ（段山数Ｎ）や高さ（厚さ）Ｈによって分類される。本実施例で使用した段ボールのフルートは、段山数Ｎが５０±２／３０ｃｍ、厚さＨが３ｍｍである。箱のサイズは１８５ｍｍ×２４０ｍｍ×９０ｍｍであり、ガムテープで２つの面を接着させることで箱の形にした。

重量により伝達関数が変化するかを調べるために、内容物を段ボール箱の上から見て中心の位置に設置した場合について調べた。図７に示す梱包方式で内容物を設置した荷物１０を、超音波フェーズドアレイで加振し、振動を光学式非接触変位計で測定し、伝達関数を算出した。内容物としては１７１ｇのアルミニウム板を用い、その枚数を変化させることで重量を変化させた２つのサンプルを用意した。段ボール箱の重さは１９７ｇである。加振点は図１０の箇所Ｐ３であり、振動測定点は箇所Ｐ５としたときの伝達関数を図１１、図１２に示す。図１１は、総重量５３９ｇの荷物の場合の伝達関数を示す図であり、図１２は、総重量８８５ｇの荷物の場合の伝達関数を示す図である。

図１１、１２から伝達関数は、周波数が低い領域では再現性を有することがわかる。得られた伝達関数の周波数全域のデータを用いて、重量推定を行うことも可能であるが、ここでは簡単に、固有振動数と思われる位相が反転した振動数を用いて重量推定可能かを調べた。結果を図１３、１４に示す。図１３は重さと振動数との関係を示す図であり、図１４は重さと固有振動でのゲインとの関係を示す図である。図１３、１４からもわかるように、段ボール箱の総重量に対して、位相が反転した周波数をプロットしたところ、内容物が重いほど、位相が反転する振動数およびゲインは低くなることがわかる。

次に、実際にパラメータ推定装置とパラメータ推定方法が機能するか調べるために、図１１、１２に示す伝達関数の波形データを用いたＬＵＴを記憶部に記憶した。次に、重量が不明である荷物１０を用意し、パラメータ推定装置を備えるロボットハンドで荷物の重量を推定した。

図１５は、ロボットハンドの構成を示す図である。図１５に示すロボットハンドは、図１に示す構成を備え、撮像部１１におけるカメラ１１１と、加振部１２において本体１０１に設けられた超音波フェーズドアレイ１２０と、検出部１３において本体１０１に設けられた振動センサ１３１と、振動センサ１３２と、を備える。

撮像部１１で重量が不明である荷物を撮像して、撮像画像に応じてＬＵＴを選択した。ＬＵＴを参照して、荷物１０の加振点と振動測定点を決定した。次に、決定した加振点を加振できるように、ロボットハンドを移動させ、超音波フェーズドアレイで加振し、同時に光学式非接触変位計で振動を測定した。得られたデータを推定部１５で解析して、伝達関数を得た。次にＬＵＴを参照して、重量を推定した。結果は、誤差が１０％以下と極めて良好であった。

（実施例２）
実施例１で使用した段ボール箱と段山数Ｎが９４±６／３０ｃｍであり、厚さＨが１．８ｍｍである点以外は実施例１と同じ段ボール箱を用いた場合の荷物１０の振動について調べた。図６に示す梱包方法で内容物を段ボール箱の中央部および下部に設置した場合の重さと振動数との関係を図１６に示す。内容物の位置によらず内容物が重いほど振動数が少なくなり、内容物の位置が低いほど振動数が少ないことがわかる。

荷物１０の重量が同じであっても、包材１０ａ中のどこに内容物が設置されているかで振動の振動数は大きく異なる。従って、より正確に重量を推定するためには、荷物１０の少なくとも２面の振動を測定する必要がある。荷物１０を側面から加振したとき、内容物が下部に置かれた場合は、振動の振幅が上部に近い面の方が大きくなる。そこで、側面の振動を示すデータも取得して、実施例１と同様の方法により重量が不明である荷物１０の重量を推定したところ、誤差３２％以下の精度で重量を推定することができた。

（実施例３）
重心を変化させたときの伝達関数の変化を調べた。用いた段ボール箱は実施例１と同種類である。段ボール箱の底部に、アルミニウム金属の塊（重さ１ｋｇ）を設置した。図１７はＳａｍｐｌｅＡの荷物の構成を示す図であり、図１８はＳａｍｐｌｅＢの荷物の構成を示す図である。ＳａｍｐｌｅＡおよびＳａｍｐｌｅＢは図１７および図１８に示すように内容物の位置が異なる。

重心の位置の変化により、どのように振動が変化するかを知るために、振動測定の場所を細かく変えた場合について伝達関数を求め、荷物１０の振動を測定した。

ＳａｍｐｌｅＡの上面を、長手方向を８等分し、奥行方向を４等分して、それぞれの交点を振動測定点とした場合について、超音波フェーズドアレイで加振して、推定部１５により伝達関数を算出した。ここで、加振点は上部の角の１点に固定した。

得られた伝達関数のうち特定の周波数の振幅を、２次元の画像にプロットした。ここで、伝達関数の位相が負の場合には、振幅の数値を負の値としてプロットした。周波数５６Ｈｚの場合の振動モードを図１９に示し、７７Ｈｚの場合の振動モードを図２０に示す。どちらも内容物の設置されていない右側で振動のゲイン（Ｚ軸）が大きく、内容物が設置されている左側はゲイン（Ｚ軸）が小さい。図１９に示す振動は上面の右側が盛り上がる「曲げ振動モード」であり、図２０に示す振動は、右側のＸ軸方向の両端が盛り上がる「ねじれ振動モード」である。どちらも、左側の振動モードは、段ボール箱の底に設置されている内容物の影響を受けて抑制されている。

以上の結果を受けて、図１９および図２０に示すデータと同様のデータを、内容物を様々な場所に設置して取得し、当該データを用いたＬＵＴを作成して記憶部１４に記憶させた。

次に、重心が不明な段ボール箱を用意し、図１５に示すロボットハンドで重心を推定した。すなわち、撮像部１１により重心が不明である荷物１０を撮像して、撮像画像に応じてＬＵＴを選択した。ＬＵＴを参照して、荷物の加振点と振動測定点を決定した。次に、決定した加振点を加振できるように、ロボットハンドを移動させ、超音波フェーズドアレイで加振し、同時に光学的非接触変位計で振動を測定した。得られたデータをＬＵＴに照合し、重心を推定したところ、段ボール箱の上面から４分割した場合のどこに重心が存在するかを１００％の的中率で推定できた。

（実施例４）
複数の荷物が紐やテープ等で一体化されている場合が検出できるかどうかを調べた。図２１は、一体化された複数の荷物の構成を示す上面図である。図２１に示す荷物は、中央の２つの荷物１０がラップ１００で一体化されており、その左右に置かれた荷物１０がその横に設置されている。中央の２つの荷物１０一緒にピッキングする必要があり、実施形態の推定方法により重量、重心、梱包個数、内容物同士の接着状態等の推定が可能かどうかを調べた。

実施例３と同様に、図１５に示すロボットハンドで重心推定を行った。すなわち、撮像部１１１により重心が不明である荷物１０を撮像して、撮像画像に応じてＬＵＴを選択した。ＬＵＴを参照して、荷物の加振点と２つの振動測定点を決定した。次に、決定した加振点を加振できるように、ロボットハンドを移動させ、超音波フェーズドアレイで加振し、同時に光学式非接触変位計で振動を測定した。得られたデータをアナログ−デジタル変換し、両者の相互相関関数を調べた。その結果、中央の２つの荷物１０の一部を加振し、中央２つの荷物１０の２ヶ所の振動を観測した場合の相互相関関数は０．８８であった。一方、振動測定場所の１つを左右の独立した荷物１０とし、中央の荷物で観測したデータとの相互相関関数は０．４６と小さい値であった。また、左右の荷物１０のどちらかを加振し、２ヶ所以上で振動を測定して相互相関関数を算出した結果も上記と同様であった。すなわち、ラップ１００で一体化された範囲内のデータの相互相関関数は０．７から０．９程度と大きい値を示した。一方で、ラップ１００で一体化された荷物１０の振動と、加振した荷物１０の振動の相互相関関数は０．７以下の小さい値を示した。これらの結果を得て、中央の２つの荷物１０が一体化（接着）されていることを判別でき、ロボットハンドによる把持に成功した。上記したように、実施形態の推定方法により重量、重心、梱包個数、内容物同士の接着状態等のパラメータが正しく推定されたことがわかる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施し得るものであり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…推定装置、１ａ…駆動部、１０…荷物、１０ａ…包材、１０ｂ…内容物、１１…撮像部、１２…加振部、１３…検出部、１４…記憶部、１５…推定部、１６…制御部、１０１…本体、１１１…カメラ、１２０…超音波フェーズドアレイ、１２１…超音波発振子、１２２…駆動信号、１２３…位置、１３１…振動センサ、１３２…振動センサ。

Claims (12)

1. 包材と前記包材を用いて梱包された内容物とを有する少なくとも一つの荷物の形状情報および位置情報を含む外観情報を取得するステップと、
   前記外観情報に基づいて決定される少なくとも１カ所で前記荷物を加振し、加速度、速度、および変位からなる群より選択され、かつ前記荷物の振動を示す少なくとも一つのデータを取得するステップと、
   前記少なくとも一つのデータと、前記内容物の重量、前記荷物の重量、前記内容物の重心、前記荷物の重心、一体化された前記内容物の範囲、一体化された前記荷物の範囲、前記内容物同士の接着状態、および前記荷物同士の接着状態からなる群より選択される少なくとも一つのパラメータと、の関係に基づいて前記少なくとも一つの荷物の前記少なくとも一つのパラメータの値を推定するステップと、
   を具備する、パラメータ推定方法。
2. 前記少なくとも一つのデータは、
   前記外観情報に基づいて決定される第１の箇所で前記荷物を加振することにより取得され、加速度、速度、および変位からなる群より選択され、かつ前記荷物の振動を示す少なくとも一つの第１のデータと、
   前記外観情報に基づいて決定される第２の箇所で前記荷物を加振することにより取得され、加速度、速度、および変位からなる群より選択され、かつ前記荷物の振動を示す少なくとも一つの第２のデータと、
   を含み、
   前記荷物の前記少なくとも一つのパラメータの値は、前記第１のデータと前記第２のデータとを含む複数のデータ同士の相互相関関数に基づいて推定される、請求項１に記載の推定方法。
3. 前記包材は、第１の表面と、第２の表面と、を有し、
   前記第１のデータは、前記第１の表面で取得され、
   前記第２のデータは、前記第２の表面で取得される、請求項２に記載の推定方法。
4. 前記荷物の前記少なくとも一つのパラメータの値は、前記少なくとも一つのデータと前記少なくとも一つのパラメータとの関係を示すルックアップテーブルを参照して推定される、請求項１に記載の推定方法。
5. 前記少なくとも一つのデータは、伝達関数に変換され、
   前記ルックアップテーブルは、前記伝達関数と、前記少なくとも一つのパラメータと、の関係を示す、請求項４に記載の推定方法。
6. 前記データは、高速フーリエ変換の後に伝達関数に変換され、
   前記ルックアップテーブルは、前記伝達関数と、前記少なくとも一つのパラメータと、の関係を示す、請求項４に記載の推定方法。
7. 前記荷物は、音波発振器を用いて加振される、請求項１ないし請求項６のいずれか一項に記載の推定方法。
8. 前記少なくとも一つのデータは、静電容量式非接触変位計、渦電流式非接触変位計、光学式非接触変位計、超音波変位計、およびレーザードップラー振動計からなる群より選択される少なくとも一つのセンサを用いて取得される、請求項１ないし請求項７のいずれか一項に記載の推定方法。
9. 包材と前記包材を用いて梱包された内容物とを有する少なくとも一つの荷物の形状情報および位置情報を含む外観情報を取得する撮像部と、
   前記外観情報に基づいて決定される少なくとも１カ所で前記荷物を加振する加振部と、
   加速度、速度、および変位からなる群より選択され、かつ前記荷物の振動を示す少なくとも一つのデータを取得する検出部と、
   前記少なくとも一つのデータと、前記内容物の重量、前記荷物の重量、前記内容物の重心、前記荷物の重心、一体化された前記内容物の範囲、一体化された前記荷物の範囲、前記内容物同士の接着状態、および前記荷物同士の接着状態からなる群より選択される少なくとも一つのパラメータと、の関係に基づいて前記少なくとも一つの荷物の前記少なくとも一つのパラメータの値を推定する推定部と、
   を具備する、パラメータ推定装置。
10. 前記少なくとも一つのデータと前記少なくとも一つのパラメータとの関係を示すルックアップテーブルを記憶する記憶部をさらに具備する、請求項９に記載の推定装置。
11. 前記加振部は、音波発振器を有する、請求項９または請求項１０に記載の推定装置。
12. 前記検出部は、静電容量式非接触変位計、渦電流式非接触変位計、光学式非接触変位計、超音波変位計、およびレーザードップラー振動計からなる群より選択される少なくとも一つを有する、請求項９ないし請求項１１のいずれか一項に記載の推定装置。

Images