JP5024905B2 - 衣料折り畳みシステム、衣料折り畳み指示装置 - Google Patents

Description

本発明は、ロボットに対して衣料の折り畳み手順を指示するための技術に関する。

コンピュータ制御による一般家庭向けのインテリジェントロボットが市場に登場し、例えば掃除ロボットなどは既に多くの家庭で利用されている。また、皿洗いやアイロンがけといった様々な家事ロボットの研究も進められている。

この種のロボットの動作は、通常、開発者によってハードコーディングされており、エンドユーザによる変更はできないようになっている。この仕様は、想定した環境の中で想定した使い方をする分には問題ないが、特別な使い方を意図するユーザにとっては不満足である。しかしながら、ユーザ独自の使い方を可能にするには、特別なオペレーション指示をどうやってロボットに与えるのか、という技術的な問題を解決しなければならない。

従来、ロボットに対して高度な命令を指示するための方法としては、プログラミング言語を用いた指示方法、自然言語を用いた指示方法、人のデモンストレーションによる指示方法などが提案されている。しかしながら、一番目の方法は、プログラミング言語を習得する必要があるため、エンドユーザには敷居が高い。また二番目の自然言語を用いる方法は、習得の手間はないものの、視覚的な（幾何学的な）情報を定義したり伝達したりすることが難しいという問題がある。また三番目の方法は、指示（デモンストレーション）に相当の時間を要するという問題がある。

例えば、衣料を折り畳むロボットを想定した場合、衣料の種類、形状、サイズは様々であり、それに応じて異なる畳み方を指示しなければならない。このような動的に変わる環境に対応してインテリジェントな振る舞いをロボットに命令するためには、視覚的な（幾何学的な）情報をより簡単かつ短時間にロボットに教示できるような仕組みが望まれる。

なお、衣料を折り畳むロボットの公知例としては、非特許文献１が知られている。

OSAWA, F., SEKI, H. and KAMIYA, Y. 2006. Clothes Folding Task by Tool-Using Robot, Journal of Robotics and Mechatronics, 18, 5, 618-625. http://as.ms.t.kanazawa-u.ac.jp/fold.mpg

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、衣料の折り畳み手順を簡単な方法でロボットに指示するための技術を提供することにある。

上記目的を達成するために、本発明では、実際の折り畳み対象物を画像処理によって抽象化・図形化し、グラフィカルなユーザインターフェイスを介して、ポインティングデバイスの簡単な操作だけで、ロボットに実行させるべき折り畳み手順を入力できるようにする。

具体的には、本発明に係る衣料折り畳みシステムは、撮像装置と、衣料を折り畳むロボ
ットと、前記撮像装置及び前記ロボットに接続された情報処理装置と、を備え、前記ロボットは、移動機構と、衣料をつかむためのハンドとを有しており、前記情報処理装置は、ステージ上に配置された折り畳み前の衣料の画像を前記撮像装置から取り込む画像取込部と、前記画像取込部が取り込んだ画像から前記衣料の形状を認識して、形状データを生成する衣料形状認識部と、前記形状データに基づき生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力部と、前記折り畳み手順入力部でモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御部と、を有していることを特徴とする衣料折り畳みシステムである。

本システムは、実際の折り畳み対象物である「ステージ上の衣料」の画像を撮像装置から取り込み、画像処理によって「モデル化された衣料」を生成し、その「モデル化された衣料」のグラフィックを折り畳み手順の入力インターフェイスに用いている。したがって、動的に変化する環境への対応、すなわち実際の衣料の種類、形状、サイズ、位置、向きなどに応じた折り畳み手順の指示が容易となる。

また、ユーザは、モデル化された衣料をポインティングデバイスの操作で折り畳むといった直感的な操作により、ロボットが達成すべきタスクを抽象的に指示するだけでよく、ロボットの移動機構やハンドの具体的な動作を直接指示する必要がない。したがって、誰でも簡単に折り畳み手順をロボットに指示することが可能である。

なお、本発明における「衣料」には、衣服、下着類、ハンカチなどの身に着ける物だけでなく、クロスやシーツなど折り畳み対象となる物全般が含まれるものとする。

本発明において、前記折り畳み手順入力部におけるモデル化された衣料を折り畳む操作は、前記ポインティングデバイスで前記モデル化された衣料上の任意の点を選択し、その点を任意の位置までドラッグしてリリースするという操作であることが好ましい。これにより、衣料の折り畳みを簡単かつ直感的な操作で実現できる。

また、前記制御部は、前記ロボットの移動機構及びハンドに実行させるべき動作を計算する際に、前記画像取込部及び前記衣料形状認識部から前記ステージ上の衣料の形状を取得し、その取得した形状と前記モデル化された衣料の形状とを比較することによって前記ステージ上の衣料と前記モデル化された衣料の座標系のずれを修正することが好ましい。折り畳み手順を入力している最中、もしくは、ロボットが衣料を折り畳んでいる最中に、衣料の位置がずれる可能性があるからである。上記のように、制御部が、ステージ上の衣料のずれを監視・修正し、ロボットの動作計算にフィードバックすることで、タスク完遂の確実性を増すことができる。

なお、本発明は、上記手段の少なくとも一部を有する衣料折り畳み指示装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む衣料折り畳み指示方法、または、その方法の各ステップを情報処理装置に実行させるためのプログラムや同プログラムを記録した記録媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

たとえば、本発明の一態様としての衣料折り畳み指示装置は、移動機構と衣料をつかむためのハンドとを有するロボットに対して、衣料の折り畳み手順を指示するための、衣料折り畳み指示装置であって、撮像装置と、ステージ上に配置された折り畳み前の衣料の画像を前記撮像装置から取り込む画像取込部と、前記画像取込部が取り込んだ画像から前記衣料の形状を認識して、形状データを生成する衣料形状認識部と、前記形状データに基づ
き生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力部と、前記折り畳み手順入力部でモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御部と、を備えることを特徴とする衣料折り畳み指示装置である。

また、本発明の一態様としての衣料折り畳み指示方法は、移動機構と衣料をつかむためのハンドとを有するロボットに対して、衣料の折り畳み手順を指示するための、衣料折り畳み指示方法であって、情報処理装置が、ステージ上に配置された折り畳み前の衣料の画像を撮像装置から取り込む画像取込ステップと、前記画像取込ステップで取り込んだ画像から前記衣料の形状を認識して、形状データを生成する衣料形状認識ステップと、前記形状データに基づき生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力ステップと、前記折り畳み手順入力ステップでモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御ステップと、を実行することを特徴とする衣料折り畳み指示方法である。

本発明によれば、衣料の折り畳み手順を簡単な方法でロボットに指示することができる。

衣料折り畳みシステムのハードウエア構成を示す図。 衣料折り畳みシステムの機能構成を示す図。 衣料折り畳みシステムの処理フローを示すフローチャート。 グラフィカルエディタの画面例を示す図。 折り畳み操作のアルゴリズムを説明する図。 ロボットの移動ルートとつかみ位置及び放し位置の例を示す図。 ロボットの一連の折り畳み動作を示す図。 座標系の修正方法を説明する図。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜システム構成＞
図１は、本発明の実施形態に係る衣料折り畳みシステムのハードウエア構成を示している。このシステムは、撮像装置１、衣料を折り畳むロボット２、及び、情報処理装置としてのコンピュータ３から構成される。撮像装置１及びロボット２は、それぞれ、有線又は無線によりコンピュータ３に接続されている。

撮像装置１は、ＣＣＤやＣＭＯＳなどの撮像素子を備える小型のカメラであり、平面ステージ４の上方に、ステージ４を画角におさめるように設置されている。本実施形態では、ステージ４と撮像装置１の光軸がほぼ直交するように撮像装置１を固定したが、必ずしもこの構成に限らず、ステージ４を俯瞰するように撮像装置１を設置してもよいし、また撮像装置１の画角や光軸の向きを可変にしてもよい。ステージ４は、折り畳み対象となる衣料６０を配置するワークスペースである。専用のステージを設けてもよいが、ロボット２が作業を行うスペースが確保できれば、床やテーブルなどをステージとして用いてもよい。

ロボット２は、４つの車輪及び駆動モータからなる移動機構２０と、衣料をつかむためのハンド２１と、コンピュータ３からの制御命令に基づき移動機構２０及びハンド２１を制御するマイクロコントローラ（不図示）とを備える、自走式のロボットである。移動機構２０の「前進」「後進」「右回転」「左回転」、ハンド２１の「つかみ（閉）」「放し（開）」などの動作は、マイクロコントローラ内に予めプログラムされており、コンピュータ３から各動作に対応する制御命令を送出することでロボット２の動作を制御することが可能である。ハンド２１の先端には、衣料をつかんだか否かを検知するための赤外線センサ（不図示）が取り付けられている。赤外線センサの検知結果はコンピュータ３に送信される。ロボット２の上部には、所定の図形が描画されたビジュアルマーカ２２が取り付けられている。本システムは、このビジュアルマーカ２２を用いてロボット２の追跡（具体的には、位置及び向きの認識）を行う。なお、ロボット２の構成はあくまでも一例にすぎず、少なくとも、衣料をつかむためのハンドとハンドの位置や向きを所望の位置まで移動させるための移動機構さえあれば、どのような構成のロボットを用いてもよい。例えば、自走式のロボットでなくてもよいし、複数のハンドや多自由度のアームをもつロボットでもよい。

図２は、本システムの機能構成を示すブロック図である。本システムは、その機能として、画像取込部３０、衣料形状認識部３１、グラフィカルエディタ（折り畳み手順入力部）３２、ロボット制御部３３を備えている。これらの機能は、コンピュータ３のＣＰＵが記憶装置に格納されたプログラムをロードし実行することで実現されるものである。なお、コンピュータ３としては、ＣＰＵ、メモリ、補助記憶装置、入力装置、表示装置などを備える汎用のパーソナル・コンピュータを用いることができる。ただし、専用のコンピュータや、ロボットに実装するオンボードマイコンなどを用いることも好ましい。またプログラムの一部または全部を専用ＩＣで構成することも可能である。

＜処理フロー＞
図３、図４を用いて、本システムの処理について説明する。図３は、システムの処理フローを示すフローチャートである。図４は、グラフィカルエディタの画面例を示す図である。

システムが起動すると、図４（ａ）のグラフィカルエディタが表示される（ステップＳ１）。このグラフィカルエディタは、折り畳み手順をユーザに入力させるためのユーザインターフェイスであって、概略、メインパネル５０、ヒストリパネル５１、複数のボタン５２ａ、５２ｂから構成される。グラフィカルエディタへの入力は、基本的にポインティングデバイス（例えば、マウス、トラックパッド、タッチパネル）を用いて行うことができる。撮像装置１のイニシャライズが完了すると、画像取込部３０が撮像装置１からステージ４の画像を順次取り込んでメインパネル５０に表示する。ここで、ユーザが折り畳み対象となる衣料をステージ４上に配置すると、図４（ａ）に示すように、ステージ４上の衣料６０を上方から写した画像がメインパネル５０に表示される。なお図４（ａ）は、Ｔシャツの例を示している。

ユーザが「キャプチャ」ボタン５２ａを押すと、画像取込部３０がその時点の画像を取り込む（ステップＳ２）。取り込まれた画像は、メモリに格納され、衣料形状認識部３１へと渡される。衣料形状認識部３１は、画像から衣料６０の形状を認識して、その形状データを生成する（ステップＳ３）。衣料の形状認識には、公知の輪郭検出アルゴリズムを用いることができる。例えば、画像を二値化して背景（ステージ）部分と衣料部分とに分類し、衣料部分の境界をトレースすることで輪郭形状を抽出する、というアルゴリズムを採用することができる。また、パターンマッチングやクラスタリング手法を利用して、衣料部分の認識を行うこともできる。さらには、照明やステージの色または明るさを変化さ
せることで、背景と衣料の分離性を高めることも可能である。本実施形態では、複数の直線分からなる閉曲線（ポリゴン）で衣料の輪郭形状を表すこととし、形状データとしてポリゴンの各頂点の座標値をもつ。このような処理により、実際の衣料６０の形状がモデル化（抽象化）される。

形状データが得られると、グラフィカルエディタは、形状データに基づき衣料のコンピュータ・グラフィック（仮想的な衣料）を生成し、メイン画面に表示する（ステップＳ４）。以下、画面に表示されるモデル化された衣料のことを「衣料モデル」とよぶ。図４（ｂ）は、衣料モデル６１の表示例を示している。なお、背景部分（ポリゴンの外側領域）と衣料部分（ポリゴンの内側領域）の区別を明確にするために、ポリゴンの外側領域と内側領域とを異なる色やテクスチャで表示することが好ましい。

ユーザは、ポインティングデバイスの操作だけで、メイン画面に表示された衣料モデル６１を折り畳むことができる（ステップＳ５）。図５は、折り畳み操作のアルゴリズムの一例を示している。図５（ａ）に示すように、ポインティングデバイスで衣料モデル６１内の任意の点Ａをクリックすると、点Ａに最も近い輪郭上の点Ｂを選択（つかんだ）ものとみなされる。そして、図５（ｂ）に示すように、選択点Ｂが現在のカーソルポジションである点Ａに重なるよう、衣料モデル６１が折り返される。折り曲げ線は、選択点（点Ｂ）と現在のカーソルポジション（点Ａ）を結ぶ線分の垂直二等分線である。なお、衣料６１の表と裏の区別を明確にするために、表と裏とを異なる色やテクスチャで表示することが好ましい。続いて、点Ｂをドラッグしたままカーソルポジションを移動すると、それに伴って、図５（ｃ）、（ｄ）に示すように、リアルタイムに衣料モデル６１の画像が更新される。そして、所望の位置で点Ｂをリリースすると、一段階の折り畳み操作が完了し、その状態の画像がヒストリパネル５１に登録される。ユーザは、衣料モデル６１が所望の状態に折り畳まれるまで、上記操作を繰り返す。なお、ヒストリパネル５１内の画像をクリックすることで、いつでも、過去の折り畳み状態に戻すことが可能である。図４（ｃ）は、二段階の折り畳みが行われた状態を示している。

グラフィカルエディタによる折り畳み手順の入力が終わったら、ユーザはロボット２に実際の折り畳み動作を行わせる。このときのユーザ操作は「折り畳み」ボタン５２ｂを押すだけである。「折り畳み」ボタン５２ｂが押されると、ロボット制御部３３が、ステップＳ５で入力された折り畳み手順に基づいて、各段階での、ロボット２の移動ルートと、ハンド２１の「つかみ」動作及び「放し」動作を行う位置（以下、それぞれ「つかみ位置」、「放し位置」とよぶ）を計算する（ステップＳ６）。

図６は、ロボット２の移動ルートとつかみ位置及び放し位置の例を示す図である。ロボット制御部３３は、衣料モデル６１の形状と折り曲げ線とから、最適なつかみ位置７０及び放し位置７１を計算する。次に、ロボット制御部３３は、ロボット２の現在位置７２からつかみ位置７０までの移動ルートを計算する。このとき、衣料モデル６１の周囲に円形の軌道７３を仮定し、この軌道７３上にロボット２が通過する経由点７４を設定する。なお、軌道７３の位置及びサイズは、ロボット２が軌道７０上を周回しても衣料６１を踏まないような値に設定される。

続いて、ロボット制御部３３は、ロボット２に衣料６０の折り畳み動作を実行させる（ステップＳ７）。図７（ａ）〜（ｅ）は、ロボット２の一連の動作を示している。まずロボット制御部３３は、ロボット２が経由点７４を順に通過し、つかみ位置７０に到達するように、ロボット２を移動させる（図７（ａ）〜（ｃ））。具体的には、ロボット制御部３３は、撮像装置１で得られる画像からビジュアルマーカを検出することで、ロボット２の位置及び向きをリアルタイムに認識し、この認識結果に基づいて適宜「前進」「後進」「右回転」「左回転」などの命令をロボット２に送出することで、ロボット２の移動制御
を行う。ロボット２がつかみ位置に到達したら（図７（ｃ））、ロボット制御部３３は「つかみ」命令を送出してロボット２に衣料６０をつかませる。そして、ロボット制御部３３は、衣料６０をつかんだ状態でロボット２を放し位置まで移動させた後、「放し」命令を送出する（図７（ｄ））。その後、ロボット制御部３３は「後進」命令を送出し、所定の軌道までロボット２を退避させる（図７（ｅ））。以上の折り畳み動作を繰り返すことで、衣料６０の折り畳みが完了する。

＜本システムの優れた利点＞
本システムは、実際の折り畳み対象物である「ステージ上の衣料６０」の画像を撮像装置１から取り込み、画像処理によって「衣料モデル６１」を生成し、その「衣料モデル６１」のグラフィックをグラフィカルエディタの入力インターフェイスに用いている。したがって、動的に変化する環境への対応、すなわち実際の衣料６０の種類、形状、サイズ、位置、向きなどに応じた折り畳み手順の指示が容易となる。

また、ユーザは、表示された衣料モデル６１をポインティングデバイスの操作で折り畳むといった直感的な操作により、ロボット２が達成すべきタスクを抽象的に指示するだけでよく、ロボット２の移動機構２０やハンド２１の具体的な動作を直接指示する必要がない。したがって、誰でも簡単に折り畳み手順をロボット２に指示することが可能である。

＜変形例＞
上述した実施形態では、図２のステップＳ３で求めた衣料モデルの位置や形状に基づき、ロボット２の動作を計算した。しかしながら、衣料モデル６１とステージ上の実際の衣料６０の位置・形状・向きなどが常に一致している保証はない。ユーザがグラフィカルエディタで折り畳み手順を入力している最中、もしくは、ロボット２が衣料６０を折り畳んでいる最中などに、ステージ上の衣料６０の位置や向きがずれる可能性があるからである。

そこで、ロボット制御部３３は、ステージ上の衣料６０の形状の取得、及び、ステージ上の衣料６０と衣料モデル６１の形状の比較を定期的に実行し、必要に応じて、両者の座標系（位置や向き）のずれを修正するとよい。以下、修正方法の具体例を説明する。

便宜的に、衣料モデル６１の形状データをポリゴンＡ、新たに取り込まれたステージ上の衣料６０の形状データをポリゴンＢとよぶ。ロボット制御部３３は、まず、ポリゴンＡ、Ｂそれぞれの重心を計算し比較することで、ポリゴンＡ、Ｂの平行移動距離αを求める。次に、ロボット制御部３３は、ポリゴンＡを重心周りに回転し、ポリゴンＡ、Ｂの形状の差が最小になる回転角φを求める。例えば、下記式を最小にするようにφを選べばよい。ここで、ｆ（θ）、ｇ（θ）は、図８に示すように、基準軸から角度θの点における、重心とポリゴンＡ、Ｂの輪郭との間の距離である。

ロボット制御部３３は、ロボット２の移動ルート、つかみ位置、放し位置を計算する際に、上記α、φを考慮した座標系の修正を行う。このように、ステージ上の衣料のずれを監視し、ロボット２の動作計算にフィードバックすることにより、タスク完遂の確実性を増すことができる。また、グラフィカルエディタで入力した折り畳み手順のデータをメモリに記憶させ、そのデータを別の衣料の折り畳みに利用するといった使い方も可能になる。

なお、上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。

１ 撮像装置
２ ロボット
２０ 移動機構
２１ ハンド
２２ ビジュアルマーカ
３ コンピュータ
３０ 画像取込部
３１ 衣料形状認識部
３２ グラフィカルエディタ
３３ ロボット制御部
４ ステージ
５０ メインパネル
５１ ヒストリパネル
５２ａ、５２ｂ ボタン
６０ ステージ上の衣料
６１ 衣料モデル
７０ つかみ位置
７１ 放し位置
７２ 現在位置
７３ 軌道
７４ 経由点

Claims (5)

1. 撮像装置と、衣料を折り畳むロボットと、前記撮像装置及び前記ロボットに接続された情報処理装置と、を備えた衣料折り畳みシステムであって、
   前記ロボットは、移動機構と、衣料をつかむためのハンドとを有しており、
   前記情報処理装置は、
   ステージ上に配置された折り畳み前の衣料の画像を前記撮像装置から取り込む画像取込部と、
   前記画像取込部が取り込んだ画像から前記衣料の形状を認識して、形状データを生成する衣料形状認識部と、
   前記形状データに基づき生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力部と、
   前記折り畳み手順入力部でモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御部と、を有している
   ことを特徴とする衣料折り畳みシステム。
2. 前記折り畳み手順入力部におけるモデル化された衣料を折り畳む操作は、
   前記ポインティングデバイスで前記モデル化された衣料上の任意の点を選択し、その点を任意の位置までドラッグしてリリースするという操作である
   ことを特徴とする請求項１に記載の衣料折り畳みシステム。
3. 前記制御部は、前記ロボットの移動機構及びハンドに実行させるべき動作を計算する際に、
   前記画像取込部及び前記衣料形状認識部から前記ステージ上の衣料の形状を取得し、その取得した形状と前記モデル化された衣料の形状とを比較することによって前記ステージ上の衣料と前記モデル化された衣料の座標系のずれを修正する
   ことを特徴とする請求項１または２に記載の衣料折り畳みシステム。
4. 移動機構と衣料をつかむためのハンドとを有するロボットに対して、衣料の折り畳み手順を指示するための、衣料折り畳み指示装置であって、
   撮像装置と、
   ステージ上に配置された折り畳み前の衣料の画像を前記撮像装置から取り込む画像取込部と、
   前記画像取込部が取り込んだ画像から前記衣料の形状を認識して、形状データを生成する衣料形状認識部と、
   前記形状データに基づき生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力部と、
   前記折り畳み手順入力部でモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御部と、
   を備えることを特徴とする衣料折り畳み指示装置。
5. 移動機構と衣料をつかむためのハンドとを有するロボットに対して、衣料の折り畳み手順を指示するための、衣料折り畳み指示方法であって、
   情報処理装置が、
   ステージ上に配置された折り畳み前の衣料の画像を撮像装置から取り込む画像取込ステップと、
   前記画像取込ステップで取り込んだ画像から前記衣料の形状を認識して、形状データを
   生成する衣料形状認識ステップと、
   前記形状データに基づき生成したモデル化された衣料を表示し、前記モデル化された衣料をポインティングデバイスの操作でユーザに折り畳ませる折り畳み手順入力ステップと、
   前記折り畳み手順入力ステップでモデル化された衣料に対し入力された折り畳み手順に基づいて、前記ステージ上の衣料を実際に折り畳むため前記ロボットの移動機構及びハンドに実行させるべき動作を計算し、前記ロボットに対して制御命令を送出する制御ステップと、
   を実行することを特徴とする衣料折り畳み指示方法。

Images