JP6892268B2 - 布片把持装置用三次元計測装置 - Google Patents

Description

本発明は、おしぼり、タオル等の布片を把持するための布片把持装置において、吊り下げられた布片の鉛直下方の辺のゆれを認識できる布片把持装置用三次元計測装置に関する。

いわゆるリネンサプライ業では、ホテル、飲食店、医療施設等におしぼり、タオル、シーツ等の布片を供給している。取引先から回収された多数の布片は、洗濯、乾燥され、布片ごとに折畳んだ状態として再び取引先に供給されている。この布片は、様々なサイズを有するおしぼり、タオル、シーツ等であって、多くの場合正方形、長方形等の矩形形状である。

上記多数の布片を、洗濯、乾燥してそれぞれ折畳む一連の作業工程では、自動化のための装置が導入されている。しかし、自動化は、一台の装置で全工程をカバーするのではなく、コストやコンパクト性などの点から、洗濯装置、乾燥装置、折り畳み装置などに分けられている場合が多い。

さらに、上記各工程間では工程ごとの装置から次の工程の装置へと布片を受け渡す作業者が介在することが多い。特に、布片ごとに折り畳む工程のために、丸められたり重なった状態の各布片を広げて、一定の方向にそろえる等の作業が必要となる場合があった。

そこで、出願人は、吊り下げられた布片の縁部を自動検出する装置を開発した（例えば、特許文献１参照。）。この装置を用いることで、布片の縁部を検出でき、その縁部を把持することで布片を広げることができる。

特開２０１４−４５８０１号公報

しかし、布片の辺が振動している場合には布片の辺の把持が困難な場合がある。

本発明の目的は、布片の辺が振動している場合であっても、布片の辺のゆれを認識可能な布片把持装置用三次元計測装置を提供することである。

本発明に係る布片把持装置用三次元計測装置は、吊り下げられた布片の鉛直下方の辺を把持用ハンドで把持する布片把持装置において、前記布片の鉛直下方の辺のゆれを認識する布片把持装置用三次元計測装置であって、
吊り下げられた布片の鉛直下方の辺について、一定時間間隔で複数の三次元画像を取得する三次元カメラと、
前記複数の三次元画像に基づいて、前記布片の鉛直下方の辺のゆれを認識するゆれ認識部と、
を備える。

本発明に係る布片把持装置用三次元計測装置によれば、布片の辺が振動している場合であっても、布片の辺のゆれを認識できる。布片のゆれを認識することで、布片把持装置は布片を安定して把持することができる。

実施の形態１に係る布片把持装置用三次元計測装置の構成を示すブロック図である。 図１の布片把持装置用三次元計測装置を含む布片把持装置の構成の一例を示す概略斜視図である。 実施の形態１に係る布片の鉛直下方の辺のゆれの認識方法のフローチャートである。 図３のステップＳ０２の詳細を示すフローチャートである。

第１の態様に係る布片把持装置用三次元計測装置は、吊り下げられた布片の鉛直下方の辺を把持用ハンドで把持する布片把持装置において、前記布片の鉛直下方の辺のゆれを認識する布片把持装置用三次元計測装置であって、
吊り下げられた布片の鉛直下方の辺について、一定時間間隔で複数の三次元画像を取得する三次元カメラと、
前記複数の三次元画像に基づいて、前記布片の鉛直下方の辺のゆれを認識するゆれ認識部と、
を備える。

第２の態様に係る布片把持装置用三次元計測装置は、上記第１の態様において、前記ゆれ認識部は、
前記複数の三次元画像について、各画像ごとに前記布片の形状を認識する形状認識部と、
前記複数の三次元画像について、前記各画像の認識された前記形状の特徴点を検出する特徴点検出部と、
前記複数の三次元画像について、前記特徴点の変化に基づいて、前記辺のゆれの周期及び前記辺のゆれの大きさを算出するゆれ算出部と、
を備えてもよい。

第３の態様に係る布片把持装置用三次元計測装置は、上記第２の態様において、前記特徴点検出部は、認識された前記形状について、異なる２つの画像におけるそれぞれの形状のマッチングによって前記２つの画像で共通する特徴点を検出してもよい。

以下、実施の形態に係る布片把持装置用三次元計測装置について、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。

（実施の形態１）
図１は、実施の形態１に係る布片把持装置用三次元計測装置２５の構成を示すブロック図である。
この布片把持装置用三次元計測装置２５によって、吊り下げられた布片２２の鉛直下方の辺２４のゆれを認識する。また、この布片把持装置用三次元計測装置２５は、三次元カメラ１２と、ゆれ認識部１４と、を備える。ゆれ認識部１４は、形状認識部１５と、特徴点検出部１６と、ゆれ算出部１７と、を備える。この布片把持装置用三次元計測装置２５では、上記ゆれ認識部１４によって、複数の三次元画像に基づいて、布片２２の鉛直下方の辺２４のゆれを認識することを特徴とする。この布片把持装置用三次元計測装置２５によれば、布片２２の辺２４がゆれて（振動して）いてもその辺２４のゆれをリアルタイムに認識でき、時間に対応する位置を予測できる。そこで、布片２２の辺２４がゆれて（振動して）いても一対の把持用ハンド１０ａ、１０ｂで布片２２の辺２４の両端の角部２６ａ、２６ｂを把持することができる。

この布片把持装置用三次元計測装置２５は、例えば、図２の概略斜視図に示す布片把持装置２０の一部として用いることができる。図２の布片把持装置２０によって、吊り下げられた布片２２の鉛直下方の辺２４を一対の把持用ハンド１０ａ、１０ｂで把持する。この布片把持装置２０は、布片２２を吊り下げるコンベア２３と、サブカメラ３０と、三次元計測装置２５と、一対の把持用ハンド１０ａ、１０ｂと、を備える。布片２２はコンベア２３によって搬送され、布片の一部が所定の位置まで垂れ下がった時点でコンベア２３が停止する。この布片把持装置２０では、サブカメラ３０によって布片２２が所定の位置まで垂れ下がったことを検出する。布片は柔軟なため、コンベアが停止した後も鉛直下方の辺を含む一部が静止せずゆれ続ける。上述のように、三次元計測装置２５によって布片２２の鉛直下方の辺２４のゆれを認識する。一対の把持用ハンド１０ａ、１０ｂは、ロボットアーム２７ａ、２７ｂにそれぞれ取り付けられ、布片２２の２つの角部２６ａ、２６ｂを把持する。

以下に、この布片把持装置用三次元計測装置２５を構成する各構成部材について説明する。

＜三次元カメラ＞
三次元カメラ１２によって吊り下げられた布片２２の鉛直下方の辺について、一定時間間隔で複数の三次元画像を取得する。三次元カメラ１２は、ステレオカメラ又はＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラであってもよい。例えば、１秒間に１０フレーム（１０ｆｐｓ）以上の撮影が可能であればよい。１０ｆｐｓで撮影した場合、１００ｍｓｅｃの時間間隔で画像を取得できる。一定時間間隔は、カメラのフレームレートによって任意に所定の時間間隔に変更可能である。また、三次元カメラ１２は、布片２２の鉛直下方の辺２４を明確に撮影するために、下方又は斜め下方から布片２２を撮影することが好ましい。

＜ゆれ認識部＞
ゆれ認識部１４によって、複数の三次元画像に基づいて、布片２２の鉛直下方の辺のゆれを認識する。また、ゆれ認識部１４は、形状認識部１５と、特徴点検出部１６と、ゆれ算出部１７と、を備える。ここで、「ゆれ」には「振動」を含む。「振動」には、周期的な円運動、楕円運動、往復運動、及び、複合的な運動等を含む。

＜形状認識部＞
形状認識部１５によって、複数の三次元画像について、各画像ごとに布片２２の鉛直下方の辺２４の形状を認識する。例えば、ＴＯＦカメラから得られた距離画像から辺２４の形状を認識してもよい。辺２４は、実際には布片２２の鉛直下方の両端部を含む面であり、通常、布片２２は厚みを有するので、辺２２も幅のある面となる。タオルの辺は表面と裏面の境界部分であるため、辺部分の画素はその他の部分の画素と比べて、周囲の画素との奥行き方向の変化量が大きくなる。このように変化量の大きい画素を抽出し、これらを結ぶ直線又は曲線を辺２４として認識してもよい。また、その他の公知の「エッジ検出法」によって辺２４の形状を認識してもよい。

＜特徴点検出部＞
特徴点検出部１６によって、複数の三次元画像について、各画像の認識された辺２４の形状の特徴点を検出する。特徴点の抽出方法は、通常使用されている特徴点抽出方法を用いることができる。例えば、辺２４の両端部、つまり角部２６ａ、２６ｂを特徴点として抽出してもよい。なお、一般的には上記の辺（エッジ）２４の認識自体も角部抽出と同様に特徴点の抽出に該当する場合がある。そこで、形状認識部１５と特徴点検出部１６とを合わせた特徴点検出部としてもよい。

＜ゆれ算出部＞
ゆれ算出部１７によって、複数の三次元画像について、特徴点の変化に基づいて、辺２４のゆれの周期及び辺２４のゆれの大きさを算出する。上述のように「ゆれ」には「振動」を含む。また、振動としては、周期的な円運動、楕円運動、往復運動、及び、複合的な運動等を含む。ゆれ算出部１７では、複数の三次元画像について、辺２４の共通する特徴点の周期的な運動を検出する。具体的には、一定時間間隔の複数の三次元画像の間で共通する特徴点の位置変化を検出し、その周期性を見出すことによって辺２４のゆれの周期及び辺２４のゆれの大きさを算出する。例えば、共通する特徴点の一定範囲内の周期的な運動を検出した場合に、同一点を通る時間間隔がゆれの一周期であり、運動の最大幅がゆれの大きさである。また、特徴点の描く軌跡が円形である場合には円運動であり、軌跡が楕円である場合には楕円運動である。さらに、軌跡が直線を描く場合には往復運動である。なお、辺２４の複数の特徴点の周期的な運動は同一の運動とは限らず、それぞれの部分が異なる周期で運動している場合もある。この場合には、辺２４は複合的な運動をしているものと考えられる。なお、把持用ハンド１０ａ、１０ｂで安定して把持するために、ゆれの大きさは誤差１０ｍｍ以下の精度で算出できることが好ましい。

このゆれ算出部１７によって算出された辺２４のゆれの周期及び辺２４のゆれの大きさに基づいて、辺２４の時間に対応する位置を予測できる。そこで、布片２２の辺２４がゆれて（振動して）いても、布片把持装置２０の一対の把持用ハンド１０ａ、１０ｂで布片２２の辺２４の両端の角部２６ａ、２６ｂを把持することができる。

なお、上記各構成部材のうち、ゆれ認識部１４、形状認識部１５、特徴点検出部１６、ゆれ算出部１７等の機能的構成部材は、全体を機械的な構成で実現する場合に限られず、少なくとも一部をコンピュータプログラムによって実現できるものであってもよい。この場合に、コンピュータは、通常の物理的な構成要素、例えば、ＣＰＵ、メモリ、記憶部、表示部、入力部、インタフェース等を備えていてもよい。

＜布片の鉛直下方の辺のゆれの認識方法＞
図３は、実施の形態１に係る布片の鉛直下方の辺のゆれの認識方法のフローチャートである。図４は、図３のステップＳ０２の詳細を示すフローチャートである。
（１）吊り下げられた布片２２の鉛直下方の辺２４について、一定時間間隔で複数の三次元画像を取得する（Ｓ０１）。
（２）複数の三次元画像に基づいて、布片２２の鉛直下方の辺２４のゆれを認識する（Ｓ０２）。具体的には、図４のフローチャートに示している。
２−１）複数の三次元画像について、各画像ごとに布片２２の鉛直下方の辺２４の形状を認識する（Ｓ１１）。上記辺２４の認識は、例えば、いわゆる「エッジ検出法」によって行ってもよい。具体的には、画像中で端部の輝度（奥行方向の距離値）が不連続に変化することを利用して、三次元画像における輝度の所定以上の変化点を結ぶ直線又は曲線を辺２４として認識してもよい。
２−２）複数の三次元画像について、各画像の認識された辺２４の形状の特徴点を検出する（Ｓ１２）。特徴点の抽出方法は、通常使用されている特徴点抽出方法を用いることができる。例えば、辺２４の両端部、つまり角部２６ａ、２６ｂを特徴点として抽出してもよい。
２−３）複数の三次元画像について、特徴点の変化に基づいて、辺２４のゆれの周期及び辺２４のゆれの大きさを算出する（Ｓ１３）。具体的には、一定時間間隔の複数の三次元画像の間で共通する特徴点の位置変化を検出し、その周期性を見出すことによって辺２４のゆれの周期及び辺２４のゆれの大きさを算出する。例えば、共通する特徴点の一定範囲内の周期的な運動を検出した場合に、同一点を通る時間間隔がゆれの一周期であり、運動の最大幅がゆれの大きさである。また、特徴点の描く軌跡が円形である場合には円運動であり、軌跡が楕円である場合には楕円運動である。さらに、軌跡が直線を描く場合には往復運動である。
以上によって、辺２４のゆれの周期及び辺２４のゆれの大きさを算出する。算出された辺２４のゆれの周期及び辺２４のゆれの大きさに基づいて、辺２４の時間に対応する位置を予測できる。そこで、布片２２の辺２４がゆれて（振動して）いても、布片把持装置２０の一対の把持用ハンド１０ａ、１０ｂで布片２２の辺２４の両端の角部２６ａ、２６ｂを把持することができる。

なお、本開示においては、前述した様々な実施の形態及び／又は実施例のうちの任意の実施の形態及び／又は実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態及び／又は実施例が有する効果を奏することができる。

本発明に係る布片把持装置用三次元計測装置によれば、布片の辺が振動して（ゆれて）いる場合であっても、布片の辺を検出できる。そこで、この布片把持装置用三次元計測装置は、布片把持装置において有用である。

１０ａ、１０ｂ 把持用ハンド
１２ 三次元カメラ
１４ ゆれ認識部
１５ 形状認識部
１６ 特徴点検出部
１７ ゆれ算出部
２０ 布片把持装置
２２ タオル（布片）
２３ 布片吊り下げ部（コンベア）
２４ 辺
２５ 三次元計測装置
２６ａ、２６ｂ 角部
２７ａ 第１ロボットアーム
２７ｂ 第２ロボットアーム
３０ サブカメラ

Claims (2)

1. 吊り下げられた布片の鉛直下方の辺を把持用ハンドで把持する布片把持装置において、
   前記布片の鉛直下方の辺のゆれを認識する布片把持装置用三次元計測装置であって、
   吊り下げられた布片の鉛直下方の辺について、一定時間間隔で複数の三次元画像を取得する三次元カメラと、
   前記複数の三次元画像に基づいて、前記布片の鉛直下方の辺のゆれを認識するゆれ認識部と、
   を備え、
   前記ゆれ認識部は、
   前記複数の三次元画像について、各画像ごとに前記布片の鉛直下方の辺の形状を認識する形状認識部と、
   前記複数の三次元画像について、前記各画像の認識された前記形状の特徴点を検出する特徴点検出部と、
   前記複数の三次元画像について、前記特徴点の変化に基づいて、前記辺のゆれの周期及び前記辺のゆれの大きさを算出するゆれ算出部と、
   を備えた、布片把持装置用三次元計測装置。
2. 前記特徴点検出部は、認識された前記形状について、異なる２つの画像におけるそれぞれの形状のマッチングによって前記２つの画像で共通する特徴点を検出する、請求項１に記載の布片把持装置用三次元計測装置。

Images