JP6466297B2 - 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱 - Google Patents

Description

実施形態は、対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱に関する。

近年、流通分野では、取り扱い荷物の増加および労働者不足により、作業を自動化するニーズが高まりつつある。これまでも、荷物の運搬および仕分けの作業は、コンベヤおよびソータなどを用いて自動化されてきた。また、積載ボックス（パレットボックス）に積載された荷物をコンベヤへ投入する荷下ろし作業も自動化されつつある。しかしながら、不定型な荷物が混在する場合に、個々の荷物を検出することが難しく、自動化の妨げとなっている。

通常、荷物の検出方法として、画像処理などが用いられることがある。例えば、荷物の検出装置として、ストロボとストロボに同期可能なカメラとを用い、荷物のエッジ部を強調して撮影することで、荷物の輪郭を抽出しやすくし、抽出した輪郭に基づいてそれぞれの荷物を検出するものが知られている。しかしながら、係る検出装置は、面が揃って密接している荷物の隙間を抽出しづらい、或いは、一つにまとめられた複数個の荷物を一つの荷物として検出することが難しいという問題がある。

また、この検出装置は、荷物が前後で接している場合に、どちらの荷物が後ろ側へ伸びているかなどの隠れ状態を判断することができず、適切な把持戦略が立てられない場合がある。さらに、この検出装置は、荷物にプリントされた模様および荷物に貼り付けられた伝票などのラベルを荷物の輪郭として誤検出する場合がある。

特開２００４−１２１４３号公報

本発明が解決しようとする課題は、マーカが設けられた対象物を検出することである。

実施形態によれば、対象物検出装置は、撮影部と、抽出部と、推定部と、検出部とを備える。撮影部は、多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第１の方向に伸びる第１の辺および当該第１の方向と交わる第２の方向に伸びる第２の辺を含み、当該マーカは第１の辺の上に第１の直線部分を有し、当該マーカは第２の辺の上に第２の直線部分を有し、積載された複数の多面体を撮影することによって撮影画像を得る。抽出部は、撮影画像に含まれる複数のマーカを抽出する。推定部は、抽出されたマーカのうちの一つを用いて、第１の直線部分および第２の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、第１の直線部分および第２の直線部分と一致する多面体の面の二辺にそれぞれ対応する第１の直線および第２の直線を推定し、当該第１の直線および当該第２の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定する。検出部は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の多面体の面として検出する。

マーカが設けられた梱包箱を例示する図。 図１Ａの梱包箱に設けられたマーカの形状を例示する図。 マーカの形状を例示する図。 マーカの形状を例示する図。 第１の実施形態に係る対象物検出装置を例示する図。 撮影画像を例示する図。 図４Ａのマーカの抽出を例示する図。 密接しているマーカの切り出しを例示する図。 密接しているマーカの切り出しを例示する図。 面の頂点および辺に対応する直線を推定する方法を例示する図。 面の頂点および辺に対応する直線を推定する方法を例示する図。 梱包箱の面が含まれる領域を推定する方法を例示する図。 マーカ同士の対応関係を検出する方法を例示する図。 マーカ同士の対応関係を検出する方法を例示する図。 マーカ同士の対応関係を検出する方法を例示する図。 梱包箱の面を検出する方法を例示する図。 梱包箱の配置を例示する図。 梱包箱の配置を例示する図。 マーカの一部分が隠れている梱包箱の配置を例示する図。 図１Ｂのマーカの隠れている部分の長さを推定する方法を例示する図。 図３の対象物検出装置のフローチャートを例示する図。 マーカシールを例示する図。 マーカシールを例示する図。 マーカスタンプの描画方法を例示する図。 描画自動化装置の構成を例示する図。 バンドで束ねられた梱包箱を例示する図。 優先マーカが設けられた梱包箱を例示する図。 マーカが設けられた梱包箱を例示する図。 図２０Ａの梱包箱に設けられたマーカの形状を例示する図。 梱包箱の辺および頂点を推定する方法を例示する図。 梱包箱の面が含まれる領域を推定する方法を例示する図。 梱包箱の面が含まれる領域を推定する方法を例示する図。 梱包箱の面を検出する方法を例示する図。 梱包箱の配置を例示する図。 図２０Ｂのマーカの隠れている部分の長さを推定する方法を例示する図。 パレットボックスを例示する図。 第２の実施形態に係るデパレタイズ自動化装置の構成を例示する図。 図２６のデパレタイズ自動化装置の動作を例示するフローチャート。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、解説済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

以降の説明において、「多面体」の例として直方体の「梱包箱」が用いられるが、これに限らず、他の形状が用いられてもよい。また、「対象物」の例として「梱包箱」が用いられるが、これに限らず、他の物が用いられてもよい。さらに、具体例として梱包箱の側面のマーカを検出する方法が述べられるが、これに限らず、梱包箱の上面のマーカを検出してもよい。さらに、マーカを設ける方法は、マーカの形状を描画する、マーカの形状を持つシールを貼付するなどに限らず、他の様々な方法を用いてもよい。

（第１の実施形態）
第１の実施形態に係る対象物検出装置は、例えば図１Ａに例示される梱包箱１００を検出するために用いられる。梱包箱１００は、各面の四隅においてマーカ１０１が設けられている。マーカ１０１は、図１Ｂに例示されるように、中心角９０度の扇形を含む形状を持つ。さらに、マーカ１０１は、扇形の中心点から伸びる二本の直線を持つ。

図１Ａの梱包箱１００において、マーカ１０１の扇形の中心点は、梱包箱１００の頂点と一致している。また、マーカ１０１の扇形の中心点から伸びる二本の直線は、梱包箱１００の頂点を共有する隣り合う二辺と重なっている。

梱包箱の各面の四隅に設けられるマーカは、図２Ａおよび図２Ｂなどを用いてもよい。図２Ａに例示されるマーカ２０１は、マーカ１０１とは異なり、扇形の中心点を含む領域を持たない形状となっている。図２Ｂに例示されるマーカ２０２は、扇形の円弧が扇形の弦とは対称の位置に配置された形状となっている。即ち、マーカの形状は、直方体の梱包箱において、箱の頂点を含む第１の辺の上に第１の直線部分を有し、頂点を含む第１の辺とは異なる第２の辺の上に第２の直線部分を有し、且つ、第１の直線部分上の第１の点と第２の直線部分上の第２の点とにおいて交わる円弧を有し、第１の直線部分は第１の点をまたぎ、第２の直線部分は第２の点をまたいでいればよい。

図３に例示されるように、第１の実施形態に係る対象物検出装置は、撮影部３１０と、画像処理部３２０と、計画部３３０とを含む。画像処理部３２０は、抽出部３２１と、推定部３２２と、検出部３２３とを含む。撮影部３１０は、例えば撮影位置から梱包箱までの距離も取得可能な距離画像センサに相当する。画像処理部３２０および計画部３３０は、例えばコンピュータに相当し、図示されない制御部によってそれぞれ制御されてもよい。

撮影部３１０は、多面体（梱包箱）の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第１の方向に伸びる第１の辺および第１の方向と交わる第２の方向に伸びる第２の辺を含み、マーカは第１の辺の上に第１の直線部分を有し、マーカは第２の辺の上に第２の直線部分を有し、積載された複数の多面体を撮影することによって撮影画像を得る。具体的には、撮影部３１０は、積載された梱包箱の側面を撮影することによって図４Ａに例示される撮影画像４０１を得る。撮影部３１０は、撮影画像を抽出部３２１へと出力する。尚、撮影部３１０は、撮影位置から梱包箱までの距離を示す距離情報を取得してもよい。

抽出部３２１は、撮影部３１０から撮影画像が入力される。抽出部３２１は、撮影画像に含まれる複数のマーカを抽出データとして抽出する。このとき、抽出部３２１は、梱包箱に設けられたマーカの形状を既知の情報として抽出することができる。また、抽出部３２１は、回転したマーカおよび一部分が隠れているマーカにも対応して抽出することができる。抽出部３２１は、抽出データを推定部３２２へと出力する。尚、抽出部３２１は、撮影画像からエッジを抽出することによって、梱包箱の輪郭線候補を取得してもよい。また、抽出部３２１は、撮影部３１０によって得られる距離情報を用いて、抽出する梱包箱以外を除外してもよい。

具体的には、抽出部３２１は、図４Ａの撮影画像４０１に含まれるマーカを抽出することによって図４Ｂに例示される抽出データ４０２を得る。また、抽出部３２１は、図５Ａに例示されるようにマーカ同士が密接している場合において、マーカの直線部分を利用して、拡大図の点線に沿って各々のマーカを切り出して抽出することができる。さらに、抽出部３２１は、図５Ｂに例示されるように、密接したマーカが傾いている場合であっても、各々のマーカを切り出して抽出するができる。

推定部３２２は、抽出部３２１から抽出データが入力される。推定部３２２は、抽出データに含まれるマーカのうちの一つを用いて、第１の直線部分および第２の直線部分の交点を多面体の面の隅に含まれる点として推定し、その点を始点とする、第１の直線部分および第２の直線部分と一致する多面体の面の二辺にそれぞれ対応する第１の直線および第２の直線を推定し、第１の直線および第２の直線によって挟まれ、且つ、マーカが設けられている面が含まれる領域を推定する。このとき、推定部３２２は、抽出部３２１によって得られた輪郭線候補をさらに利用して、撮影された梱包箱の辺に対応する直線を推定してもよい。推定部３２２は、マーカを用いて推定される梱包箱の頂点、梱包箱の辺に対応する直線および梱包箱の面が含まれる領域などの情報を示すマーカ情報を検出部３２３へと出力する。

具体的には、推定部３２２は、図６Ａに例示されるように、マーカ６０１の直線部分を伸長させた直線６０２および直線６０３を、マーカ６０１が設けられている梱包箱の面の頂点を共有する二辺のそれぞれに対応する二つの直線として推定する。また、推定部３２２は、マーカ６０１の扇形の中心点を、マーカ６０１が設けられている梱包箱の頂点６０４として推定する。或いは、推定部３２２は、直線６０２および直線６０３の交点を、マーカ６０１が設けられている面の頂点６０４として推定してもよい。尚、図６Ａにおける直線６０２および直線６０３の矢印は、矢印の方向に沿って辺が存在していることを表す。

推定部３２２は、図６Ｂに例示されるマーカ６０５についても梱包箱の面の頂点を推定することができる。図６Ｂのマーカ６０５は、扇形の中心点を含む領域を持たない形状となっている。或いは、マーカ６０５は、梱包箱の角がつぶれているなどの事象により、扇形の中心点を含む領域が欠けている状態で抽出されている。推定部３２２は、直線６０２および直線６０３の交点を、マーカ６０５が設けられている面の頂点６０４として推定する。

さらに、推定部３２２は、図７に例示されるように、マーカ７０１の直線７０２および直線７０３を境界線としてマーカ７０１が設けられている梱包箱のある面が含まれる領域７０４を推定する。

検出部３２３は、推定部３２２からマーカ情報が入力される。検出部３２３は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の梱包箱の面として検出する。具体的には、検出部３２３は、基準とするマーカ（基準マーカ、第１のマーカともいう）と他のマーカ（他マーカ、第２のマーカまたは第３のマーカともいう）との対応関係（同一の梱包箱のある面に含まれること）をそれぞれ検出し、それらのマーカで形成される領域の和集合を所望の梱包箱の面として検出する。検出部３２３は、検出したそれぞれの所望の梱包箱の面の位置関係を示す位置情報を計画部３３０へと出力する。

検出部３２３は、図８に例示される方法を用いて基準マーカと他マーカとの対応関係を検出してもよい。ここで、他マーカは、基準マーカの直線上において鏡像の関係となっている。検出部３２３は、基準マーカ８０１の直線８０２と、他マーカ８１１の直線８１２とが一致する場合に、基準マーカ８０１と他マーカ８１１とが同一の梱包箱のある面に含まれることを検出する。

また、図９に例示されるように、検出部３２３は、基準マーカ９０１の直線９０２と、他マーカ９１１の直線９１２および他マーカ９２１の直線９２２の両方とが一致する場合に、基準マーカ９０１と基準マーカ９０１からの距離が最も近い他マーカ９１１とが同一の梱包箱のある面に含まれることを検出する。

換言すると、検出部３２３は、抽出されたマーカのうちの少なくとも１以上の第１のマーカによって推定された直線と、第１のマーカとは異なる少なくとも１以上の第２のマーカによって推定された直線とが一致し、第１のマーカおよび第２のマーカは鏡像の関係にあり、距離が最も近い第１のマーカおよび第２のマーカを選択し、選択された第１のマーカおよび第２のマーカが、複数のマーカから推定された領域が重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する。

検出部３２３は、図１０に例示される方法を用いて基準マーカと他マーカとの対応関係を検出してもよい。ここで、他マーカは、基準マーカの形状を１８０度回転した形状を持つ。検出部３２３は、基準マーカ１００１から推定された領域１００２と、他マーカ１０１１から推定された領域１０１２および他マーカ１０２１から推定された領域１０２２の両方とが重なる場合に、重なる面積が最小となる領域１０３１（これは領域１００２と領域１０１２とが重なる領域）を形成する基準マーカ１００１および他マーカ１０１１が同一の梱包箱のある面に存在することを検出する。

換言すると、検出部３２３は、抽出されたマーカのうちの少なくとも１以上の第１のマーカと、推定部３２２によって推定された第１のマーカに対応する領域に含まれる第１のマーカの形状を１８０度回転した形状を持つ少なくとも１以上の第３のマーカとでそれぞれ推定された領域が重複する領域の面積が最小となる第１のマーカおよび第３のマーカを選択し、選択された第１のマーカおよび第３のマーカが、複数のマーカから推定された領域が重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する。

検出部３２３は、図１１に例示されるように、マーカ１１０１、マーカ１１１１、マーカ１１２１およびマーカ１１３１が同一の梱包箱のある面に存在する場合に、それぞれのマーカから推定された領域１１０２、領域１１１２、領域１１２２および領域１１３２が全て重なる領域１１４１を所望の梱包箱の面として検出する。尚、検出部３２３は、それぞれのマーカから推定された領域が重複する領域のうち、一つ以上三つ以下の隅にマーカが設けられた領域を、所望の梱包箱の面が含まれる可能性がある領域として検出してもよい。また、検出部３２３、所望の梱包箱の面が含まれる可能性がある領域を図示されないメモリへと記憶し、後述される計画部３３０において用いられてもよい。

計画部３３０は、検出部３２３から位置情報が入力される。計画部３３０は、位置情報に基づいて、梱包箱を把持するために選択する順番および梱包箱を移動させるための動作手順を計画する。例えば、計画部３３０は、一方の梱包箱が他方の梱包箱に干渉しないような動作手順を計画する。

対象物検出装置は、梱包箱の前後の位置関係を認識し、動作計画に用いることができる。例えば、図１２に示されるように、梱包箱１２０１の後方に梱包箱１２１１および梱包箱１２２１が配置される場合がある。このとき、検出部３２３は、梱包箱１２０１の面が含まれる領域および梱包箱１２１１の面が含まれる領域をそれぞれ検出する。検出部３２３は、マーカ１２０２が梱包箱１２１１の領域の内側に存在するため、梱包箱１２１１の面の手前に梱包箱１２０１の面が存在する（即ち、梱包箱１２０１の面が最前面に存在する）ことを検出する。従って、計画部３３０は、梱包箱の前後関係を考慮して把持の順番を計画することができる。例えば、計画部３３０は、梱包箱１２１１を抜き取る前に、梱包箱１２０１を先に抜き取るような動作計画をすることができる。

ここで、検出部３２３は、マーカ１２０２が検出されなかった場合に、重複する領域の輪郭線候補（エッジ）を用いて、梱包箱の前後関係を検出してもよい。換言すると、検出部３２３は、それぞれのマーカから推定された領域が重複する領域のうち、一方の領域のエッジが他方の領域に含まれている場合に、他方の領域に対応する梱包箱の面が一方の領域に対応する梱包箱の面に隠れていることを検出する。

また、図１３に例示されるように、梱包箱１３２０の後方に梱包箱１３１０が配置され、梱包箱１３１０に設けられたマーカのみが抽出される場合がある。このとき、検出部３２３は、梱包箱１３１０のマーカが四つ未満しか検出されなかったため、梱包箱１３１０よりも手前に梱包箱が存在することを検出してもよい。換言すると、検出部３２３は、それぞれのマーカから推定された領域が重複する領域のうち、一つ以上三つ以下の隅にマーカが設けられた領域を、ある梱包箱の面に一部が隠れている梱包箱の面を含む領域として検出する。従って、計画部３３０は、梱包箱１３１０を梱包箱１３２０の上面を越える位置まで引き上げてから抜き取る、梱包箱１３１０を梱包箱１３２０に被らない位置まで横方向に動かしてから抜き取る、或いは、梱包箱１３１０を抜き取る前に、梱包箱１３２０を先に抜き取るなどのような動作計画をすることができる。

対象物検出装置は、マーカの一部分が隠れている場合に、マーカの残りの部分を推定し、動作計画に用いることができる。例えば、図１４Ａに示されるように、梱包箱１４２０の後方に梱包箱１４１０が配置され、梱包箱１４１０に設けられたマーカの一部分であるマーカ１４１１が抽出される場合がある。このとき、検出部３２３は、図１４Ｂに例示されるように、梱包箱１４１０が梱包箱１４２０にどれくらい隠れているかを示す隠れ量（図中の矢印の長さに対応）を推定することができる。

具体的には、検出部３２３は、マーカ１４１１の円弧部分に一致する円１４３１および中心点１４３２を求める。検出部３２３は、中心点１４３２を中心として、マーカ１４１１の直線部分を右へ９０度回転させた位置における梱包箱１４１０の隠れている辺に対応する直線からマーカの残りの部分を推定する。計画部３３０は、推定されたマーカの残りの部分に基づいて、梱包箱１４１０を横に動かしてから移動させる、或いは、梱包箱１４１０を上に動かしてから移動させるなどの動作手順から、効率のよい動作手順を計画することができる。

図３の対象物検出装置は、図１５に例示されるように動作する。各部の具体例などは、上述されているため詳しい説明を省略する。

ステップＳ１５０１において、撮影部３１０は、マーカが設けられ、積載された梱包箱を撮影することによって撮影画像を得る。尚、撮影部３１０は、撮影点から梱包箱までの距離情報を取得してもよい。

ステップＳ１５０２において、抽出部３２１は、撮影画像に含まれるマーカを抽出データとして抽出する。尚、抽出部３２１は、撮影画像からエッジを抽出することによって、梱包箱の輪郭線候補を取得してもよい。また、抽出部３２１は、撮影部３１０によって得られる距離情報を用いて、抽出するマーカが設けられる梱包箱以外を除外してもよい。

ステップＳ１５０３において、推定部３２２は、抽出データに含まれるマーカを用いて梱包箱の面が含まれる領域を推定する。

ステップＳ１５０４において、検出部３２３は、基準マーカと基準マーカが設けられた梱包箱のある面に含まれる他マーカとの対応関係（即ち、マーカ同士の対応関係）を検出する。

ステップＳ１５０５において、検出部３２３は、複数のマーカから推定された領域が重複する領域のうち、全ての隅にマーカが設けられた領域を所望の梱包箱の面として検出する。

ステップＳ１５０６において、検出部３２３は、梱包箱の前後関係を検出する。

ステップＳ１５０７において、検出部３２３は、一方の梱包箱が他の梱包箱にどれくらい隠れているか（即ち、梱包箱の隠れ量）を推定する。

ステップＳ１５０８において、計画部３３０は、把持の順番および動作手順を計画する。

第１の実施形態に係る対象物検出装置は、複数の梱包箱に設けられたマーカを検出することで個々の梱包箱を検出することができる。しかしながら、対象物検出装置は、マーカ部分に損傷などがある場合に、マーカを正しく認識できない恐れがある。認識できない事例としては、マーカのない梱包箱を利用している、マーカ部分に汚れがある、マーカ部分に伝票が貼ってあることなどが考えられる。そのため、梱包箱のマーカを再描画（或いは、新しく描画）する必要がある。

梱包箱にマーカを描画する方法として、シールを貼る、スタンプを押すなどの方法が挙げられる。例えば、図１６Ａに例示されるマーカシール１６０１は、あるマーカに損傷があった場合に、そのマーカの上から貼ることができる。また、図１６Ｂに例示されるマーカシール１６０２は、梱包箱の角に設けられるマーカの展開図となっているため、マーカのない梱包箱に適している。さらに、図１７に例示されるマーカスタンプ１７０１は、マーカのない梱包箱１７０２の各角に押すことで、マーカを描画することができる。

梱包箱に設けられるマーカは、ある特定の波長の光を照射した場合にのみ撮影可能な無色透明の塗料が用いられてもよい。例えば、マーカに使用する塗料は、紫外線を照射した場合のみ認識できる無色透明なものでもよい。これらは、マーカを再描画する位置に重要な情報（例えば伝票など）が含まれていたり、贈り物などのような綺麗なラッピングが施されていたりする場合に有効である。

梱包箱にマーカを描画する方法は、自動化されてもよい。図１８に例示される描画自動化装置は、計測部１８１０と、照合部１８２０と、描画部１８３０とを備える。描画自動化装置は、例えばマーカが設けられていない梱包箱１８０１の角に対して、マーカを描画することができる。梱包箱１８０１は、図中の矢印の方向に進み、マーカが描画される。

計測部１８１０は、梱包箱１８０１の形状を計測する。照合部１８２０は、計測された梱包箱１８０１の形状から頂点（角）の位置を特定し、内蔵のカメラによって頂点位置の画像を取得し、頂点位置に規定のマーカが描画されているかを照合する。描画部１８３０は、規定のマーカが描画されていない梱包箱１８０１の頂点位置に対して、マニピュレーターを用いてマーカを描画する。尚、描画部１８３０は、マニピュレーターの代わりに直動機構などを利用してもよい。

図１９Ａに例示される荷物１９００は、梱包箱１９１０と梱包箱１９２０とがバンド１９０３で束ねられている。このとき、対象物検出装置は、梱包箱１９１０と梱包箱１９２０とをそれぞれ個々の梱包箱として検出する。そこで、図１９Ｂに例示される優先マーカ１９０４を用いることで、対象物検出装置は、荷物１９００を一つの梱包箱として認識することができる。即ち、検出部３２３は、通常のマーカに相当する一方のマーカと、一方のマーカとは色および形状の少なくともどちらかが異なる他方のマーカ（前述の優先マーカ１９０４）とが存在する場合に、他方のマーカを優先して検出する。例えば、マーカの色別に検出の順番を示す優先度を設定した場合に、検出部３２３は、この優先度に従ってマーカを検出してもよい。よって、検出部３２３は、優先マーカ１９０４によって推定された領域内にある通常のマーカを検出の対象から除外することができる。また、検出部３２３は、マーカの内部および近傍の少なくともどちらかの位置に梱包箱の情報を登録した識別コードがさらに設けられた場合に、当該コードの値が大きいマーカを優先して検出してもよい。例えば、識別コードは、日付および時刻などの情報でもよい。

第１の実施形態に係る対象物検出装置は、例えば図２０Ａに例示される梱包箱２０００を検出するために用いられてもよい。梱包箱２０００は、各面の四辺を全て含むようにマーカ２００１が設けられている。マーカ２００１は、図２０Ｂに例示されるように、扇形の円弧と弦とで構成された形状を持つ。

図２０Ａの梱包箱２０００において、マーカ２００１の弦を形成する直線は、梱包箱２０００の辺と一致している。また、マーカ２００１の弦を形成する直線の両端は、梱包箱２０００の二つの頂点と一致している。

撮影部３１０は、直方体の面のうちの少なくとも撮影される面の全ての辺を含む部分にマーカが設けられ、マーカはそれぞれの面に含まれる一辺の全てを含み、マーカ同士が重複せずに全ての辺に存在し、積載された複数の前記直方体を撮影することによって撮影画像を得る。

抽出部３２１は、撮影画像に含まれる複数のマーカを抽出データとして抽出する。

推定部３２２は、抽出データに含まれるマーカのうちの一つを用いて、マーカの直線部分と一致する多面体の辺を推定し、推定された辺を境界とし、且つ、マーカが設けられている面が含まれる領域を推定する
具体的には、推定部３２２は、図２１に例示されるように、マーカ２１０１の直線２１０２を、マーカ２１０１が設けられている梱包箱の辺として推定する。推定部３２２は、直線２１０２とマーカ２１０１の円弧との交点を、マーカ２１０１が設けられている梱包箱の二つの頂点（頂点２１０３および頂点２１０４）として推定する。

また、推定部３２２は、図２２Ａに例示されるように、推定された辺（直線２２０２）を境界線として、マーカ２２０１が設けられている梱包箱の面が含まれる領域２２０３を推定する。

さらに、推定部３２２は、図２２Ｂに例示されるように、頂点を共有する二つのマーカ（マーカ２２１１およびマーカ２２２１）が検出された場合に、それぞれ推定された辺（直線２２１２および直線２２２２）を境界線として、マーカ２２１１およびマーカ２２２１が設けられている梱包箱の面が含まれる領域２２３１を推定する。

検出部３２３は、複数のマーカから推定された領域が重複する領域のうち、少なくとも二つの辺にマーカが設けられた領域を所望の直方体の面として検出する。具体的には、検出部３２３は、図２３に例示されるように、少なくとも二つのマーカ（マーカ２３０１およびマーカ２３１１）が同一の梱包箱のある面に存在する場合に、それぞれのマーカから推定された領域２３０２および領域２３１２が重なる領域２３２１を梱包箱のある面として検出する。

計画部３３０は、検出されたそれぞれの所望の直方体の面の位置関係に基づいて、直方体を把持するために選択する順番および直方体を移動させるための動作手順を計画する。

対象物検出装置は、マーカの一部分が隠れている場合に、マーカの残りの部分を推定し、動作計画に用いることができる。例えば、図２４Ａに示されるように、梱包箱２４２０の後方に梱包箱２４１０が配置され、梱包箱２４１０に設けられたマーカの一部分であるマーカ２４１１が抽出される場合がある。このとき、検出部３２３は、図２４Ｂに例示されるように、梱包箱２４１０が梱包箱２４２０にどれくらい隠れているかを示す隠れ量（図中の矢印の長さに対応）を推定することができる。

具体的には、検出部３２３は、マーカ２４１１の円弧部分に一致する円２４３１および中心点２４３２を求める。検出部３２３は、マーカ２４１１の直線部分を右へ伸長させて、円２４３１との交点からマーカの残りの部分を推定する。計画部３３０は、推定されたマーカの残りの部分に基づいて、梱包箱２４１０を横に動かしてから移動させる、或いは、梱包箱２４１０を上に動かしてから移動させるなどの動作手順から、効率のよい動作手順を計画することができる。尚、梱包箱の輪郭を目立たせるような太線のマーカでは、このような推定をすることができない。

以上説明したように、第１の実施形態に係る対象物検出装置は、梱包箱に設けられたマーカを用いることによって、積載された梱包箱をそれぞれ検出することができる。また、この対象物検出装置は、撮影位置から見た梱包箱の前後関係を検出することができる。故に、この対象物検出装置は、マーカが設けられた対象物を検出することができる。

さらに、この対象物検出装置は、種類の異なるマーカを検出することで、任意の梱包箱について、検出する優先度を高くすることができる。また、この対象物検出装置は、検出した梱包箱の位置関係に基づいて、梱包箱を把持するために選択する順番および移動させるための動作手順を計画することができる。

（第２の実施形態）
前述の第１の実施形態に係る対象物検出装置は、種々の用途に応用可能である。具体的には、この対象物検出装置は、パレットボックスに積載され、マーカが設けられた梱包箱を個別に検出し、自動で荷下ろし動作が可能なデパレタイズ自動化装置によって利用されてもよい。

梱包箱は、例えば図２５に示されるパレットボックス２５００に積載される。このとき、積載される梱包箱は、それぞれが一様な大きさであってもよいし、それぞれが異なる大きさであってもよい。パレットボックス２５００は、梱包箱の仕分け作業を容易にするために、中間棚２５０１が備え付けられている。尚、図２５の梱包箱はマーカの描画を省略しているが、全ての梱包箱に前述の第１の実施形態のマーカが設けられているものとする。

第２の実施形態に係るデパレタイズ自動化装置は、例えばパレットボックスに積載された梱包箱を所定の位置から撮影し、撮影画像からマーカを抽出することによってそれぞれの梱包箱を個別に検出し、動作手順に従って荷下ろしをしてもよい。

具体的には、図２６に例示されるように、第２の実施形態に係るデパレタイズ自動化装置は、距離画像センサ２６１０と、制御部２６２０と、Ｘ方向直動アーム２６３１と、Ｙ方向直動アーム２６３２と、Ｚ方向直動アーム２６３３と、吸着パッド２６４１と、エンドエフェクタ２６４２と、真空ポンプ２６５１と、電磁弁２６５２と、エアチューブ２６５３とを含む。距離画像センサ２６１０は、撮影部３１０と同一または類似であってよい。制御部２６２０は、画像処理部３２０および計画部３３０を含む。尚、距離画像センサ２６１０および制御部２６２０以外の各部を総称して取得部と呼ぶ。また、Ｘ方向直動アーム２６３１と、Ｙ方向直動アーム２６３２と、Ｚ方向直動アーム２６３３とを総称してアームと呼ぶ。

距離画像センサ２６１０は、所定の位置に固定されたパレットボックス２５００の取り出し方向（正面）を向くように配置される。このとき、パレットボックス２５００は、距離画像センサ２６１０がパレットボックス２５００の横幅を全て撮影可能な位置に配置される。距離画像センサ２６１０は、Ｚ軸方向に移動することにより、積載荷物を撮影することができる。距離画像センサ２６１０は、画角内の画像情報を取得するとともに、取得画像の画素単位でその画素が撮像している物体までの距離情報を取得することができる。

制御部２６２０は、それぞれの梱包箱の面を検出し、梱包箱を把持するために選択する順番および梱包箱を移動させるための動作手順に基づいて、取得部を制御する。取得部は、順番および動作手順にもとづいて、梱包箱をピックアップする。尚、梱包箱を検出する方法は、第１の実施形態における画像処理部３２０および計画部３３０において述べられているため、説明を省略する。

アームは、パレットボックス２５００の正面から挿入し、梱包箱の正面、あるいは上面に移動が可能である。また、アームの一端には、梱包箱の正面、あるいは上面方向から把持が可能な吸着パッド２６４１を備えたエンドエフェクタ２６４２が取り付けられている。

吸着パッド２６４１は、外付けの真空ポンプ２６５１と電磁弁２６５２とを介してエアチューブ２６５３で接続されている。また、吸着パッド２６４１は、電磁弁２６５２が開閉することによって梱包箱が把持または解放される。

図２６のデパレタイズ自動化装置は、図２７に例示されるように動作する。

ステップＳ２７０１において、制御部２６２０は、距離画像センサ２６１０を積載荷物の上部正面へ移動させる。ステップＳ２７０１の後に、対象物検出装置の処理（図１５のフローチャート）が行われる。

対象物検出装置の処理の詳細が図１５に例示される。対象物検出装置の処理は、上述されているため詳しい説明を省略する。対象物検出装置の処理の後に、処理は図２７のステップＳ２７０３へと進む。

ステップＳ２７０３において、制御部２６２０は、アームを動作させ、エンドエフェクタ２６４２を梱包箱を把持する位置まで移動させる。

ステップＳ２７０４において、制御部２６２０は、電磁弁２６５２を切り替え、吸着パッド２６４１を吸引状態にし、梱包箱を把持させる。

ステップＳ２７０５において、制御部２６２０は、アームを動作させ、把持した梱包箱を荷下ろし位置まで運搬させる。

ステップＳ２７０６において、制御部２６２０は、電磁弁２６５２を切り替え、吸着パッド２６４１を非吸引状態にし、梱包箱を解放させる。

ステップＳ２７０７では、制御部２６２０は、検出した梱包箱を全て荷下ろししたか否かを判定する。検出した梱包箱を全て荷下ろしした場合は、処理はステップＳ２７０８へと進み、そうでなければ処理はステップＳ２７０３へと戻る。尚、ステップＳ２７０７において、制御部２６２０は、いくつかの梱包箱を荷下ろしした後に、ステップＳ２７０２の処理を再度行ってもよい。

ステップＳ２７０８では、制御部２６２０は、検出していない梱包箱があるか否かを判定する。検出していない梱包箱がある場合には、処理はステップＳ２７０２へと戻り、そうでなければ処理は終了する。

以上説明したように、第２の実施形態に係るデパレタイズ自動化装置は、前述の第１の実施形態に係る対象物検出装置を含む。従って、このデパレタイズ自動化装置によれば、マーカが設けられた対象物を検出し、ピックアップすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，１２０１，１２１１，１２２１，１３１０，１３２０，１４１０，１４２０，１７０２，１８０１，１９１０，１９２０，２０００，２４１０，２４２０・・・梱包箱、１０１，２０１，２０２，６０１，６０５，７０１，１１０１，１１１１，１１２１，１１３１，１２０２，１４１１，１９０１，２００１，２１０１，２２０１，２２１１，２２２１，２３０１，２３１１，２４１１・・・マーカ、３１０・・・撮影部、３２０・・・画像処理部、３２１・・・抽出部、３２２・・・推定部、３２３・・・検出部、３３０・・・計画部、４０１・・・撮影画像、４０２・・・抽出データ、６０２，６０３，７０２，７０３，８０２，８１２，９０２，９１２，９２２，２１０２，２２０２，２２１２，２２２２・・・直線、６０４，２１０３，２１０４，２２０４・・・頂点、７０４，１００２，１０１２，１０２２，１０３１，１１０２，１１１２，１１２２，１１３２，１１４１，２２０３，２２０５，２２３１，２２３２，２３０２，２３１２，２３２１・・・領域、８０１，９０１，１００１・・・基準マーカ、８１１，９１１，９２１，１０１１，１０２１・・・他マーカ、１４３１，２４３１・・・円、１４３２，２４３２・・・中心点、１６０１，１６０２・・・マーカシール、１７０１・・・マーカスタンプ、１８１０・・・計測部、１８２０・・・照合部、１８３０・・・描画部、１９００・・・荷物、１９０３・・・バンド、１９０４・・・優先マーカ、２５００・・・パレットボックス、２５０１・・・中間棚、２６１０・・・距離画像センサ、２６２０・・・制御部、２６３１・・・Ｘ方向直動アーム、２６３２・・・Ｙ方向直動アーム、２６３３・・・Ｚ方向直動アーム、２６４１・・・吸着パッド、２６４２・・・エンドエフェクタ、２６５１・・・真空ポンプ、２６５２・・・電磁弁、２６５３・・・エアチューブ。

Claims (17)

1. 多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第１の方向に伸びる第１の辺および当該第１の方向と交わる第２の方向に伸びる第２の辺を含み、当該マーカは前記第１の辺の上に第１の直線部分を有し、当該マーカは前記第２の辺の上に第２の直線部分を有し、積載された複数の前記多面体を撮影することによって撮影画像を得る撮影部と、
   前記撮影画像に含まれる複数の前記マーカを抽出する抽出部と、
   抽出された前記マーカのうちの一つを用いて、前記第１の直線部分および前記第２の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、前記第１の直線部分および前記第２の直線部分と一致する多面体の面の二辺にそれぞれ対応する第１の直線および第２の直線を推定し、当該第１の直線および当該第２の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定する推定部と、
   複数の前記マーカから推定された前記領域が重複する領域のうち、全ての隅に前記マーカが設けられた領域を所望の多面体の面として検出する検出部と
   を具備する、対象物検出装置。
2. 前記検出部は、抽出された前記マーカのうちの少なくとも１以上の第１のマーカによって推定された前記第１の直線と、当該第１のマーカとは異なる少なくとも１以上の第２のマーカによって推定された前記第１の直線とが一致し、当該第１のマーカおよび当該第２のマーカは鏡像の関係にあり、距離が最も近い第１のマーカおよび第２のマーカを選択し、選択された当該第１のマーカおよび当該第２のマーカが、前記重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する、請求項１に記載の対象物検出装置。
3. 前記多面体が直方体の場合に、
   前記検出部は、抽出された前記マーカのうちの少なくとも１以上の第１のマーカと、前記推定部によって推定された当該第１のマーカに対応する領域に含まれる当該第１のマーカの形状を１８０度回転した形状を持つ少なくとも１以上の第３のマーカとでそれぞれ推定された領域が重複する領域の面積が最小となる第１のマーカおよび第３のマーカを選択し、選択された当該第１のマーカおよび当該第３のマーカが、前記重複する領域のいずれかの領域に含まれるマーカのうちの二つであることを決定する、請求項１または請求項２に記載の対象物検出装置。
4. 前記多面体が直方体の場合に、
   前記検出部は、それぞれのマーカから推定された前記領域が重複する領域のうち、一つ以上三つ以下の隅に前記マーカが設けられた領域を、ある多面体の面に一部が隠れている多面体の面を含む領域として検出する、請求項１乃至請求項３のいずれか１項に記載の対象物検出装置。
5. 前記抽出部は、前記撮影画像からエッジを抽出し、
   前記検出部は、それぞれの前記マーカから推定された前記領域が重複する領域のうち、一方の領域のエッジが他方の領域に含まれている場合に、当該他方の領域に対応する多面体の面が当該一方の領域に対応する多面体の面に隠れていることを検出する、請求項１乃至請求項４のいずれか１項に記載の対象物検出装置。
6. 前記撮影部は、撮影位置から積載された前記多面体までの距離を示す距離情報をさらに取得し、
   前記検出部は、前記距離情報に基づいて、前記所望の多面体の面と、前記所望の多面体の面とは異なる他の多面体の面との位置関係を検出する、請求項１乃至請求項５のいずれか１項に記載の対象物検出装置。
7. 前記検出部は、前記マーカに相当する一方のマーカと当該一方のマーカとは色および形状の少なくともどちらかが異なる他方のマーカが存在する場合に、当該他方のマーカを優先して検出する、請求項１乃至請求項６のいずれか１項に記載の対象物検出装置。
8. 前記検出部は、マーカの内部および近傍の少なくともどちらかの位置に多面体の情報を登録した識別コードがさらに設けられた場合に、当該識別コードの値が大きいマーカを優先して検出する、請求項１乃至請求項７のいずれか１項に記載の対象物検出装置。
9. 前記マーカは、ある特定の波長の光を照射した場合にのみ撮影可能な無色透明の塗料が用いられる、請求項１乃至請求項８のいずれか１項に記載の対象物検出装置。
10. 検出されたそれぞれの前記所望の多面体の面の位置関係に基づいて、多面体を把持するために選択する順番および多面体を移動させるための動作手順を計画する計画部と
    を更に具備する、請求項１乃至請求項９のいずれか１項に記載の対象物検出装置。
11. 前記計画部は、一方の多面体が他方の多面体に干渉しないような動作手順を計画する、請求項１０に記載の対象物検出装置。
12. 前記検出部は、一つのマーカの一部分だけが抽出された場合に、前記一つのマーカの残りの部分を推定し、
    前記計画部は、前記残りの部分に大きさに基づいて多面体を移動させるための動作手順を計画する、請求項１０または請求項１１に記載の対象物検出装置。
13. 請求項１０乃至請求項１２のいずれか１項に記載の対象物検出装置と、
    前記順番および前記動作手順に基づいて、前記多面体をピックアップする取得部と
    を具備する、デパレタイズ自動化装置。
14. 直方体の面のうちの少なくとも撮影される面の全ての辺を含む部分にマーカが設けられ、当該マーカはそれぞれの面に含まれる一辺の全てを含み、当該マーカ同士が重複せずに全ての辺に存在し、積載された複数の前記直方体を撮影することによって撮影画像を得る撮影部と、
    前記撮影画像に含まれる複数の前記マーカを抽出する抽出部と、
    抽出された前記マーカのうちの一つを用いて、前記マーカの直線部分と一致する多面体の辺を推定し、推定された辺を境界とし、且つ、当該マーカが設けられている面が含まれる領域を推定する推定部と、
    複数の前記マーカから推定された前記領域が重複する領域のうち、少なくとも二つの辺に前記マーカが設けられた領域を所望の直方体の面として検出する検出部と
    検出されたそれぞれの前記所望の直方体の面の位置関係に基づいて、直方体を把持するために選択する順番および直方体を移動させるための動作手順を計画する計画部と
    を具備する、対象物検出装置。
15. 請求項１４に記載の対象物検出装置と、
    前記順番および前記動作手順に基づいて、前記直方体をピックアップする取得部と
    を具備する、デパレタイズ自動化装置。
16. 多面体の面のうちの少なくとも撮影される面の全ての隅にマーカが設けられ、撮影される面の隅は第１の方向に伸びる第１の辺および当該第１の方向と交わる第２の方向に伸びる第２の辺を含み、当該マーカは前記第１の辺の上に当該第１の辺の方向を示す第１の直線部分を有し、当該マーカは前記第２の辺の上に当該第２の辺の方向を示す第２の直線部分を有し、積載された複数の前記多面体を撮影することによって撮影画像を得ることと、
    前記撮影画像に含まれる複数の前記マーカを抽出することと、
    抽出された前記マーカのうちの一つを用いて、前記第１の直線部分および前記第２の直線部分の交点を多面体の面の隅に含まれる点として推定し、当該点を始点とする、前記第１の直線部分および前記第２の直線部分と一致する多面体の面の二辺にそれぞれ対応する第１の直線および第２の直線を推定し、当該第１の直線および当該第２の直線によって挟まれ、且つ、当該マーカが設けられている面が含まれる領域を推定することと、
    複数の前記マーカから推定された前記領域が重複する領域のうち、全ての隅に前記マーカが設けられた領域を所望の多面体の面として検出することと
    を具備する、対象物検出方法。
17. 直方体の箱と、
    前記箱の頂点を含む第１の辺の上に第１の直線部分を有し、前記頂点を含む第１の辺とは異なる第２の辺の上に第２の直線部分を有し、且つ、当該第１の直線部分上の第１の点と当該第２の直線部分上の第２の点とにおいて交わる円弧を有するマーカと
    を具備し、
    前記第１の直線部分は前記第１の点をまたぎ、
    前記第２の直線部分は前記第２の点をまたぎ、
    前記マーカは前記箱の面の全ての隅に設けられる、梱包箱。