JP4931022B2

JP4931022B2 - 衣類状態推定方法及びプログラム

Info

Publication number: JP4931022B2
Application number: JP2008226906A
Authority: JP
Inventors: 泰代喜多; 植芝　　俊夫
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2008-09-04
Filing date: 2008-09-04
Publication date: 2012-05-16
Anticipated expiration: 2028-09-04
Also published as: JP2010061431A

Description

本発明は、観測画像情報から衣類などのように大きく変形する柔軟物体の状態を算出する衣類状態推定方法及びプログラムに関する。ロボットが柔らかい物をハンドリングする際に必須な技術であり、これが実現されると、ロボットをより一般的な状況で活躍させることが可能となる。

ロープ操作のための視覚認識など線状形状対象の研究は行われているが、衣類のようにさらに広がりのある対象では、変形の自由度が大きく増し、また、複雑な自己遮蔽も生じるため、さらに問題は難しい。あらかじめ、起こり得るすべての見え方を実際に画像入力して、この見え方をモデルとして利用する方法が提案されているが、対象衣類ごとに多くの労力を必要とする。

特許文献１は、このような問題を解決するための衣類状態推定方法を開示する。図５は、特許文献１に開示の従来技術による衣類状態推定方法を説明するフロー図である。図示のように、ステップ1において、衣類の大まかな基本形状を表すモデルを作成する。図は対象がトレーナーの場合の一例で、前身頃と後ろ身頃が離れることは想定しない平面的なモデルで表される。

ステップ2では、モデルを用いて、一点で把持した時に起こり得る形状を予測する。ステップ3において、必要なタスクに応じて、予測形状を解析する。ステップ4では、カメラから、一点で把持された対象衣類を撮影した画像を入力する。ステップ5では、画像から衣類領域を抽出する。ステップ6では、抽出領域と各予測形状モデルとの比較を行い、状態を推定する。

ステップ7では、衣類領域内の各部の位置を求め、次に把持すべき点を指示する。ステップ8では、算出した指示点を把持した場合の形状を予測し、把持後に実際に観測される状態と一致するかを調べることにより、先の状態推定が正しいかどうかを検証する。このように、対象衣類の種別（トレーナーなど)と、身頃幅、着丈、袖丈のような大まかな寸法を与えるだけで、その起こり得る状態を大まかに算出し、これを利用して状態推定を行うことが可能になる。

しかし、対象衣類の物理的な変形のシミュレーションにより予測した形状が、衣類の形状変化の様々なバリエーションのために、シミュレーションと同じ条件で観測されたデータと必ずしも一致しない場合があった。
特開２００４−５３６１号公報 Y.Kita, F.Saito and N.Kita:"A deformable model driven visual method for handling clothes", In Proc. of International Conference on Robotics and Automation, pp. 3889-3895, 2004. 松川徹, 喜多泰代:"距離画像を入力とするハンドリングのためのモデル駆動型衣類状態推定", 第25回日本ロボット学会学術講演会予稿集, 1N32, 2007. T. Ueshiba:"An E.cient Implementation Technique of Bidirectional Matching for Real-time Trinocular Stereo Vision", In Proc. of 18th International Conference on Pattern Recognition, pp. 1076-1079, 2006. M. Yamamoto, P. Boulangerandetal.:"Directesti-mation of deformable motion parameters from range image sequence", In Proc. of 3rd International Conference on Computer Vision, pp. 460-464, 1990. J. Pilet, V. Lepetit and P. Fua:"Fast Non-rigid surface detection, registration and realistic augmentation", International Journal of Computer Vision, Vol 76, No. 2, pp. 109-122, 2008.

本発明は、係る問題点を解決するために、観測３次元情報からのフィードバックをもとに、予測形状を修正し、より実際の形状に近づけることを目的としている。具体的には、観測データが予測形状モデルを引き寄せるようなアナロジーを用いて、予測形状モデルを変形することにより、形状予測精度の粗さを補う。

本発明の衣類状態推定方法及びプログラムは、把持点で把持した対象衣類の形状を予測した予測形状モデルと、前記対象衣類を撮影した観測データとの整合度を比較することにより、対象衣類の状態を観測データから推定する。前記予測形状モデルを、前記観測データからのフィードバックをもとに修正して、より実際の形状に近づけ、この修正した予測形状モデルを用いて、対象衣類の状態を推定する。

前記予測形状モデルの修正は、把持点に関する位置及び法線方向の値が既知であると仮定して、確実な部分から順に予測形状モデルと観測データとの対応付を行い、徐々に張り合わせるように変形する。この予測形状モデルの変形は、対象の予測形状モデルを三角パッチとその頂点で表し、対応が得られた部分とその近傍のパッチを示す張り合わせパッチリストを用い、このリスト上のパッチの各々について、その法線方向に観測データが存在するか調べ、見つかれば、パッチ重心位置がその観測データ点の方向へ移動するように力を加えることにより行う。また、予測形状モデルの変形は、観測データの把持位置にモデル把持位置と法線方向が一致するように予測形状モデルを重ねて置き、把持位置のパッチを張り合わせパッチリストに加え、次に、リスト上のパッチ重心が観測データにほぼ重なった時、その隣接パッチを新たにリストに加え、以下同様な処理を繰り返すことにより行う。
また、パッチの重心位置から法線方向に観測データを探索する際、前記観測データとして、距離画像形式で保存した３次元観測データを用いて行うことができる。

本発明によれば、物理的シミュレーションを用いて予測した対象衣類形状を、観測データを元に変形させることにより、より正しく衣類形状を推定することができる。衣類自動ハンドリングの課題において、把持点における衣類の位置や面の向きを能動的に定めることができることを利用し、確実な位置から順次張り合わせるように予測形状モデルを観測データに一致させていくことにより、安定した形状補正を行うことができる。こうして、より精度良く形状を推定することにより、
１）複数の候補形状から正しい形状を選出する際の頑健性が高まる、
２）推定後、ハンドリング動作に必要な情報を算出する際の精度が向上する。

先に述べたように、起こりえる対象衣類の形状を予測し、形状候補と観測データとの整合度を比較するが、現実的には、少ない候補数ですべての可能性をカバーできることが望まれる。ハンドリング処理の自動化がターゲットであるため、例えば、衣類は必ず縁で把持する、把持した位置の対象面の法線が視線方向に一致するように把持する、など能動的なアクションを活用した状況の制限はこのために有用である。ただし、現実的には、そのような条件の下でも把持された衣類形状にバリエーションが存在する。

図１と図２にそれぞれ、(a)観測データ(Observed)、(b)初期のモデル形状(Initial)、(c)修正後のモデル形状(Modified)、(d)修正過程におけるモデルの変形の様子(deformation process)をそれぞれ示す２つの例を示している。図中大きい黒丸で表されるモデル頂点は、張り合わせパッチリスト上の頂点を表わし、観測データに近いことを意味する。

図1(a)、図2(a)は、同じ衣類を同じ位置で把持した観測画像、及び、リアルタイム３眼ステレオビジョンシステム[非特許文献3]が両眼立体視の原理を用いてこの画像から算出した３次元データ例であるが、把持状態までの微妙な過程の違いにより形状が異なる。このため、把持位置を与えて対象の物理的変形をシミュレーションして得た予測形状（図1(d)、図2(d)の左端）とは、図1(b)、図2(b)の重ね合わせ後の黒丸の数からわかるように必ずしも近い状態ではない。ここで、予測形状は、図５を参照して説明した特許文献１に記載の手法を用いて得ることができる。

本発明は、このようにして得られた予測形状を、観測情報からのフィードバックをもとに修正し、より実際の形状に近づける。具体的には、観測データが予測形状モデルを引き寄せるようなアナロジーを用いて、予測形状モデルを変形する。このとき重要なことは、予測形状モデル上の各点を多数存在する観測データ点のどれに引き付けるかである。非剛体、特に柔軟物体の場合、剛体と異なり、変形の自由度が高く、形状を決定するために多くの点対応関係が必要となる。このような複数の点対応の決定には、変化がごく微小であるという前提[非特許文献4]や、場所を特定するようなテクスチャが存在するという前提[非特許文献5]を用いることができるが、対象衣類や予測精度に制約が生じる。
自動ハンドリング応用の局面においては、把持点に関する位置や法線方向の正確な値は既知であると仮定できる。そこで、確実な部分から順に予測形状モデルと観測データとの対応付を行い、徐々に張り合わせるように変形する。

対象の予測形状モデルを図1(d)に示すように三角パッチとその頂点で表し、対応が得られた部分とその近傍のパッチを示す「張り合わせパッチリスト」（図３参照）を用いて実装する。図３において、ａ〜ｈで表示した三角形が各パッチを示し、かつ、丸いドットはそれぞれ観測データ点を示している。このリスト上のパッチの各々について、その法線方向に観測データが存在するか調べ、見つかれば、パッチ重心位置がその観測データ点の方向へ移動するように力を加える。

このため、最初に、観測データの把持位置にモデル把持位置と法線方向が一致するように予測形状モデルを重ねて置き、把持位置のパッチ（ａ）を「張り合わせパッチリスト」に加える。次に、リスト上のパッチ（ａ）重心が観測データにほぼ重なった時（十分に近付いたとき）、その隣接パッチ（ｂ）を新たにリストに加える。同様にして、リスト上のパッチ（ｂ）重心が観測データにほぼ重なった時、その隣接パッチ（ｃ）を新たにリストに加えるという処理を繰り返す。

図４は、上記処理における、パッチの重心位置から法線方向へ観測３次元データを探索する方法を説明する図である。パッチの重心位置から法線方向に観測３次元データを探索する際、３次元空間を直接探索するのは効率が悪い。ステレオ立体視などで得られる３次元観測データが距離画像（観測画像の各画素にその視線方向に観測される距離データが記述されたもの）形式で保存されていることを利用し、以下のように次元を落とした効率のよい探索を行う。
１）三角パッチの重心から伸ばした法線を観測画像面に投影し、その投影線上を細分した各点ごとに距離画像が観測されているかどうか、されていればその値を求める。具体的には、各点を取り囲む４画素の距離値を調べ、距離データが観測されていれば、それらの値を用いてサブピクセルオーダの３次元座標値を算出する（図中A,B,C,D,E) 。
２）算出された３次元点と重心を結ぶベクトルと法線ベクトルの角度（図中θ)を候補点ごとに算出し、最も角度の小さい点（D）を法線方向に観測された観測点とする。

予測形状モデルの変形は以下のように算出する。各頂点には、形状を保存しようとする内力として、
１）隣接する頂点からそれとの間隔を保つような力、
２）一つの隣接頂点を介して接続する頂点からそれとの間隔を保つような力を加える。
１)、２）はそれぞれモデルの伸縮性、曲げ剛性に対応する。また、外力として、
１）すべての頂点に重力、
２）前述の張り合わせパッチリスト上にあるパッチを構成する頂点に、パッチ重心位置を、その法線方向に探索した観測データへ引き付ける力の１／３（パッチを構成する3点でパッチに加える力を3等分するため）を加える。

上記の力に基づく頂点の３次元座標x(y,z)の移動を、
A_tx_t+1+f_x,t =-γ (x_t+1- x_t)
の方程式（ y,zも同様）を用いて逐次近似的に算出することにより、変形形状を得る。ただし、ここで、x_t は時刻t におけるすべての頂点のx座標を並べたベクトルを表し、A_t、f_x,t は、それぞれ、形状保存力から算出される正方行列、外力から算出されるベクトル、γは逐次近似のステップ幅を決定する係数である。

上述のアルゴリズムを、実際に観測された３次元データに適用した。その際、用いた主なパラメータは、モデルの伸縮性・曲げ剛性を表す２パラメータ、重力・観測データへの引力の強さを表す２パラメータ、パッチが観測データに重なったと判定するしきい値パラメータの5つで、すべての実験で同じ値を用いた。変形処理終了条件は、モデル変形の収束を監視することで、或いは、十分な繰り返し回数を与えることで行うことができる。

図１の例では、カメラ手前側への凸の折れを予測した初期形状と観測データが比較的一致している例であるが、提案手法適用後はより正しく観測データに一致していることがわかる。図２の例では、折れが予測したほど生じず、身ごろ部分が張った状態でバランスしたため、その影響で垂直軸回りにねじれが生じ、予測形状と大きく異なる。しかし、図２(d）の黒丸頂点の伝搬に見られるように、対応が確実な把持部分から順に修正され、最終的には大きく変形して実形状に近くなっている。

(a)観測データ、(b)初期のモデル形状、(c)修正後のモデル形状、(d)修正過程におけるモデルの変形の様子を示す図である。 (a)観測データ、(b)初期のモデル形状、(c)修正後のモデル形状、(d)修正過程におけるモデルの変形の様子の別の例を示す図である。張り合わせパッチリストを説明する図である。パッチの重心位置から法線方向へ観測３次元データを探索する方法を説明する図である。特許文献１に開示の従来技術による衣類状態推定方法を説明するフロー図である。

Claims

把持点で把持した対象衣類の形状を予測した予測形状モデルと、前記対象衣類を撮影した観測データとの整合度を比較することにより、対象衣類の状態を観測データから推定する衣類状態推定方法において、
前記予測形状モデルを、前記観測データからのフィードバックをもとに修正して、より実際の形状に近づけ、
この修正した予測形状モデルを用いて、対象衣類の状態を推定する、
ことから成る衣類状態推定方法。
前記予測形状モデルの修正は、把持点に関する位置及び法線方向の値が既知であると仮定して、確実な部分から順に予測形状モデルと観測データとの対応付を行い、徐々に張り合わせるように変形する請求項１に記載の衣類状態推定方法。
前記予測形状モデルの変形は、対象の予測形状モデルを三角パッチとその頂点で表し、対応が得られた部分とその近傍のパッチを示す張り合わせパッチリストを用い、このリスト上のパッチの各々について、その法線方向に観測データが存在するか調べ、見つかれば、パッチ重心位置がその観測データ点の方向へ移動するように力を加えることにより行う請求項２に記載の衣類状態推定方法。
前記予測形状モデルの変形は、観測データの把持位置にモデル把持位置と法線方向が一致するように予測形状モデルを重ねて置き、把持位置のパッチを張り合わせパッチリストに加え、次に、リスト上のパッチ重心が観測データにほぼ重なった時、その隣接パッチを新たにリストに加え、以下同様な処理を繰り返すことにより行う請求項３に記載の衣類状態推定方法。
パッチの重心位置から法線方向に観測データを探索する際、前記観測データとして、距離画像形式で保存した３次元観測データを用いて行う請求項３に記載の衣類状態推定方法。
把持点で把持した対象衣類の形状を予測した予測形状モデルと、前記対象衣類を撮影した観測データとの整合度を比較することにより、対象衣類の状態を観測データから推定する衣類状態推定プログラムにおいて、
前記予測形状モデルを、前記観測データからのフィードバックをもとに修正して、より実際の形状に近づけ、
この修正した予測形状モデルを用いて、対象衣類の状態を推定する、
ことから成る各手順を実行させる衣類状態推定プログラム。