JP7385424B2 - 移載対象ワーク向き認識システム - Google Patents

Description

本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載する移載対象ワークの向きを認識する移載対象ワーク向き認識システムに関する。

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている（例えば、特許文献１参照）。

特開平０６－０５５４７７号公報

ところで、上記のようなシステムでは、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、ワークの向きを認識するようになっている。この向きの認識にあたっては、位置を認識するだけでなく、ワークの長辺側と短辺側の向きを正しく認識する必要がある。

しかしながら、ワークの上面が正方形に近い形状の場合、測定誤差などにより長辺と短辺を誤って判断してしまう可能性があるという問題があった。

そこで、本発明は、上記問題に鑑み、移載対象ワークの向きを正確に認識することができる移載対象ワーク向き認識システムを提供することを目的としている。

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１の発明に係る移載対象ワーク向き認識システムは、荷積みされた複数のワーク（例えば、図１に示す箱Ｗ）の三次元点群情報を取得する三次元点群情報取得手段（例えば、図１に示す撮像部３）と、
前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外形サイズを計測する計測手段（例えば、図２１に示すステップＳ１２０）と、
前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する、或いは、前記三次元点群情報を出力可能な撮像手段（例えば、図１に示す撮像部３）による画像情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する認識手段（例えば、図２１に示すステップＳ１２５）と、
前記認識手段（例えば、図２１に示すステップＳ１２５）が認識した前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向に基づき、前記ワークの向きを決定する向き決定手段（例えば、図２１に示すステップＳ１２７、Ｓ１２９）と、
前記向き決定手段（例えば、図２１に示すステップＳ１２７、Ｓ１２９）が決定した前記ワーク（例えば、図１に示す箱Ｗ）の向きに基づき、前記ワークを所定場所（例えば、図１に示すコンベアＣ）に荷下ろしするときの、当該所定場所（例えば、図１に示すコンベアＣ）に対する前記ワークの置き位置を決定する置き位置姿勢決定手段（例えば、図３に示すステップＳ２３）と、を有してなることを特徴としている。

また、請求項２の発明によれば、上記請求項１に記載の移載対象ワーク向き認識システムにおいて、前記ワーク（例えば、図１に示す箱Ｗ）の外形サイズを、所定のデータベースに予め登録しておかなくとも、前記計測手段（例えば、図２１に示すステップＳ１２０）は、前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外形サイズを計測し、前記認識手段（例えば、図２１に示すステップＳ１２５）は、前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識してなる、或いは、前記三次元点群情報を出力可能な撮像手段（例えば、図１に示す撮像部３）による画像情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識してなることを特徴としている。

さらに、請求項３の発明によれば、上記請求項１又は２に記載の移載対象ワーク向き認識システムにおいて、前記認識手段（例えば、図２１に示すステップＳ１２５）は、前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する方法、或いは、前記三次元点群情報を出力可能な撮像手段（例えば、図１に示す撮像部３）による画像情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する方法、を含む複数の方法（例えば、図２２，図２７に示すステップＳ１４０、ステップＳ１４１、ステップＳ１４２、ステップＳ１４３）で認識し、その認識結果に基づいて、前記ワーク（例えば、図１６～図２０に示す箱Ｗ）の外フラップ方向を認識してなることを特徴としている。

一方、請求項４の発明によれば、上記請求項１～３の何れか１項に記載の移載対象ワーク向き認識システムにおいて、前記認識手段（例えば、図２１に示すステップＳ１２５）は、前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得した三次元点群情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する方法、或いは、前記三次元点群情報を出力可能な撮像手段（例えば、図１に示す撮像部３）による画像情報に基づいて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を認識する方法、を含む複数の方法で認識する際の一つの方法（例えば、図２２，図２７に示すステップＳ１４２）として、前記ワーク（例えば、図１８に示す箱Ｗ）に貼着されているテープ（例えば、図１８に示す非透明テープＴＰａ）の位置を認識するにあたって、設置角度が異なる複数の撮像手段（例えば、図１に示す撮像部３）にて同じ地点の輝度値を抽出し、その抽出した輝度値の差を用いて、該テープ（例えば、図１８に示す非透明テープＴＰａ）の位置を認識してなることを特徴としている。

また、請求項５の発明によれば、上記請求項１～４の何れか１項に記載の移載対象ワーク向き認識システムにおいて、前記認識手段（例えば、図２１に示すステップＳ１２５）にて、前記ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向が認識できなかった際、エラーと判定してなるエラー判定手段（例えば、図２１に示すステップＳ１３０）をさらに有してなることを特徴としている。

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１に係る発明によれば、ワークの上面が正方形に近い形状の場合であっても、移載対象ワークの向きを正確に認識し、ワークが所定場所に対して意図する向きとなるように、ワークを所定場所に荷下ろしすることができる。

また、請求項２に係る発明によれば、ワーク（例えば、図１に示す箱Ｗ）の外形サイズを、所定のデータベースに予め登録しておく必要がないため、所定のデータベースに登録する手間を省くことができる。

さらに、請求項３に係る発明によれば、ワーク（例えば、図１に示す箱Ｗ）の外フラップ方向を複数の方法（例えば、図２２，図２７に示すステップＳ１４０、ステップＳ１４１、ステップＳ１４２、ステップＳ１４３）で認識することにより、様々なワーク（例えば、図１５に示す箱Ｗ）の状態に対応することができ、もって、移載対象ワークの向きをより正確に認識することができる。

一方、請求項４に係る発明によれば、複数の撮像手段（例えば、図１に示す撮像部３）を用いた場合であっても、同じ地点の輝度値を抽出し、その抽出した輝度値の差を用いて、テープ（例えば、図１８に示す非透明テープＴＰａ）の位置を認識することができるから、ワーク（例えば、図１８に示す箱Ｗ）の外フラップ方向を認識することが可能となる。

また、請求項５に係る発明によれば、ワーク（例えば、図１に示す箱Ｗ）の長辺側と短辺側の向きを正しく認識できていなことを早期に知らせることができる。

本発明の一実施形態に係る移載対象ワーク向き認識システムの概略全体図である。 同実施形態に係る情報処理装置の機能構成図である。 同実施形態に係る情報処理装置の処理内容を示すフローチャート図である。 箱情報テーブルを示すテーブル図である。 設定項目テーブルを示すテーブル図である。 （ａ）は、撮像部が撮影した距離画像を示す図、（ｂ）は、エッジ抽出処理画像を示す図、（ｃ）は、（ｂ）に示す画像を用い、直線、交点、閉領域を検出した状態を示す図である。 （ａ）は、パレット上に積まれた複数の箱同士の境界抽出結果を示す図、（ｂ）は、１つの箱の端の部分をずらした状態を示す図である。 （ａ）は、パレット上の最上段に積まれた箱の上面の高さを求めることを説明する説明図、（ｂ）は、箱の高さを求めることを説明する説明図である。 パレット上に積まれた複数の箱を撮像部の座標系のＺ軸プラス方向から見た図である。 （ａ）は、箱の向きを決定する方法を説明する説明図、（ｂ）は、箱のコンベア上での置き位置の決定する方法を説明する説明図、（ｃ）は、吸着ハンドの位置姿勢を決定する方法を説明する説明図である。 重量計測部を用いて重量推定する方法を説明する説明図である。 箱の重量と加減速度との関係を示すグラフ図である。 コンベア上に箱を配置した例を説明する説明図であって、（ａ）は、コンベアの長手方向一方の側面にバーコードリーダが設けられている例を示し、（ｂ）は、コンベアの長手方向両側面にバーコードリーダが設けられている例を示す図である。 同実施形態に係る箱の斜視図である。 箱の上面の画像例を示し、（ａ）は、テープが貼着されてない状態を示し、（ｂ）は、一対の外フラップの境界線に沿って、非透明テープが貼着されている状態を示し、（ｃ）は、一対の外フラップの境界線に沿って、透明テープが貼着されている状態を示し、（ｄ）は、一対の外フラップの境界線に沿って、非透明テープが貼着され、一対の外フラップの境界線と直交する箱の上面の両側面にそれぞれ、非透明テープが貼着されている状態を示す図である。 図２１に示す箱の外形を計測することを説明するための説明図である。 （ａ－１）は、図２３に示すＹ方向エッジ検出領域設定を説明するための説明図、（ａ－２）は、Ｙ方向エッジ検出領域を用いてヒストグラムを作成した場合の例を示す図、（ｂ－１）は、図２３に示すＸ方向エッジ検出領域設定を説明するための説明図、（ｂ－２）は、Ｘ方向エッジ検出領域を用いてヒストグラムを作成した場合の例を示す図である。 （ａ）は、図２４に示すＸ軸方向テープ認識領域設定を説明するための説明図、（ｂ）は、図２４に示すＹ軸方向テープ認識領域設定を説明するための説明図である。 （ａ）は、図２６に示すＸ軸方向フラップ認識領域設定を説明するための説明図、（ｂ）は、（ａ）の側面図を示し、Ｚ座標最大最小差取得を説明するための説明図である。 （ａ）は、図２６に示すＹ軸方向フラップ認識領域設定を説明するための説明図、（ｂ）は、（ａ）の側面図を示し、Ｚ座標最大最小差取得を説明するための説明図である。 図３に示す箱の向きの推定処理内容の詳細を示すフローチャート図である。 図２１に示す外フラップ認識方向の処理内容の詳細を示すフローチャート図である。 図２２に示す第１認識処理の詳細を示すフローチャート図である。 図２２に示す第２認識処理の詳細を示すフローチャート図である。 図２２に示す第３認識処理の詳細を示すフローチャート図である。 図２２に示す第４認識処理の詳細を示すフローチャート図である。 図２１に示す外フラップ認識方向の処理内容とは異なる他の外フラップ認識方向の処理内容の詳細を示すフローチャート図である。

以下、本発明に係る移載対象ワーク向き認識システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

＜移載対象ワーク向き認識システムの説明＞
図１に示すように、移載対象ワーク向き認識システム１は、パレットＰａ上に積まれた複数の箱Ｗの一つをロボット２に備えた吸着ハンド２０を用いてコンベアＣへ移載する装置である。

ここで、この移載対象ワーク向き認識システム１の動作について、より詳しく説明すると、移載対象ワーク向き認識システム１は、まず、撮像部３を用いて、パレットＰａ上に積まれた複数の箱Ｗを撮像する。次いで、撮像した画像から情報処理装置４を用いて、箱Ｗの位置を認識する。この情報処理装置４は、認識したパレットＰａ上に積まれた箱Ｗの位置をプログラマブルロジックコントローラ５（以下、ＰＬＣ５と呼ぶ）経由で、ロボットコントローラ６へ送信する。そして、このロボットコントローラ６は、ロボット２を制御し、パレットＰａ上に積まれた複数の箱Ｗの中から一つの箱Ｗをピックし、コンベアＣへ移載することとなる。

次に、図１の各部について詳細に説明することとする。

ロボット２は、例えば、４自由度の垂直多関節型ロボットである。より詳しく説明すると、このロボット２は、パレットＰａ上に積まれた複数の箱Ｗを、吸着ハンド２０を用いてパレットＰａからコンベアＣへ移載する為のロボットアームである。なお、本実施形態においては、ロボット２として、４自由度の垂直多関節型ロボットを例示したが、これに限らず、６自由度であってもよいし、直角座標型ロボット、極座標型ロボット、水平多関節型(スカラ型)ロボット、パラレルリンク型ロボットであってもよい。すなわち、パレットＰａ上に積まれた複数の箱ＷをコンベアＣへ移載可能であれば、どのような形式であってもよい。

ところで、吸着ハンド２０は、ロボット２のフランジに重量センサ２１を介して装着するものである。より詳しく説明すると、この吸着ハンド２０は、コンプレッサ７から送られる圧縮エアを吸着ハンド２０内に内蔵している真空発生装置を用いて、真空を発生させパレットＰａ上に積まれた複数の箱Ｗを吸着するものである。なお、本実施形態においては、吸着することにより、複数の箱Ｗを移載する例を示したが、それに限らず、パレットＰａ上に積まれた複数の箱Ｗをグリッパーで挟み込むようなハンドであっても良く、パレットＰａ上に積まれた複数の箱Ｗを移載可能であれば、どのような形式のハンドでも良い。

一方、重量センサ２１は、吸着ハンド２０で吸着したパレットＰａ上に積まれた複数の箱Ｗの重量を計測するための静電容量型力覚センサであり、ロボット２のフランジと吸着ハンド２０の間に設置される。なお、重量センサ２１は、計測した値をＰＬＣ５に出力する。

撮像部３は、パレットＰａ上に積まれた複数の箱Ｗを撮影するものであって、三次元点群情報を出力可能な三次元点群計測装置である。この撮像部３は、カメラとプロジェクタを備えており、カメラとプロジェクタによるアクティブステレオ法により被写体の三次元点群情報を算出するものである。なお、カメラとプロジェクタを用いたアクティブステレオ法は、一般的な技術であるため、詳細な説明は省略する。

情報処理装置４は、図１に示すように、ＣＰＵ４０と、ＲＡＭ４１と、ＲＯＭ４２と、補助記憶装置４３と、入出力インタフェース４４と、通信インタフェース４５と、表示装置４６と、バス４７と、入力コントローラ４８と、入力装置４９と、を有している。ＣＰＵ４０は、情報処理装置４が備える各機能を実行、制御するもので、ＲＡＭ４１は、外部装置などから供給されるプログラムやデータを一時記憶するものである。

一方、ＲＯＭ４２は、変更を必要としないプログラムや各種パラメータを格納し、補助記憶装置４３は、各種情報を記憶するものである。そして、入出力インタフェース４４は、外部の機器とデータの送受信を行い、通信インタフェース４５は、ネットワークに接続するための装置であり、ネットワークを介して外部の機器とデータの送受信を行うものである。

一方、表示装置４６は、ＣＰＵ４０で描画されたグラフィックスを表示し、バス４７は、システムバスであり、ＣＰＵ４０、ＲＡＭ４１、ＲＯＭ４２、補助記憶装置４３、入出力インタフェース４４、通信インタフェース４５、表示装置４６、入力コントローラ４８を接続するものである。そして、入力コントローラ４８は、入力装置４９からの入力信号を制御するコントローラであり、入力装置４９は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、キーボード、マウスなどである。なお、後述する情報処理装置４の機能や処理は、ＣＰＵ４０がＲＯＭ４２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現することとなる。

ＰＬＣ５は、情報処理装置４とロボットコントローラ６の間の命令を受け渡し、重量センサ２１から重量の計測値を入力し、ＰＬＣ５内臓のメモリに書き込む。そしてさらにＰＬＣ５は、コンベアＣを制御し、コンベアＣ上に乗せた箱Ｗを移動するものである。

ロボットコントローラ６は、サーボアンプや基板などが収納された制御装置であり、ロボット２の動きを総合的にコントロールする装置である。また、ロボットコントローラ６は、あらかじめ作成したロボット２を制御するプログラムを記憶し、実行することができる。

コンプレッサ７は、空気を圧縮し供給する空気圧縮機であり、吸着ハンド２０へ圧縮エアを供給するものである。

箱Ｗは、段ボールであり、パレットＰａ上に複数積層されているものである。なお、本実施形態においては、段ボールを例に説明するが、パレットＰａ上に積層可能であれば、材質は段ボール以外でも良く、例えば、プラスチックや木製であっても良く、箱形状に近似できれば袋状の物であっても良い。

パレットＰａは、物流に用いる荷物を載せるための荷役台であり、パレットＰａの脚と脚の間にフォークリフトやハンドリフトの爪を差し込んで持ち上げることができるものである。なお、本実施形態においては、パレットＰａ上に複数の箱Ｗを積載しているが、もちろんパレットではなくカゴ台車であってもよい。

コンベアＣは、ローラーコンベアであり、ロボット２がコンベアＣ上へ移載した箱Ｗをロボット２近辺から所望の位置まで搬送するものである。なお、コンベアＣは必ずしもローラ―コンベアである必要はなく、ベルトコンベアでも良い。また、コンベアＣは、パレット上に積まれた複数の箱Ｗをロボット２の近傍から移動できれば良い。例えば、無人搬送車の上にパレットＰａ上に積まれた複数の箱Ｗを移載することで、パレットＰａ上に積まれた箱Ｗを移動してもよい。

図１に示す符号ＳＫは、倉庫管理システムであり、倉庫管理システムＳＫは、倉庫の入出庫管理、在庫管理を行うシステムである。この倉庫管理システムＳＫは、情報処理装置４に対して、パレットＰａ上に積まれた複数の箱Ｗを何個デパレタイズするかを指示する。また、パレットＰａ上に積まれた複数の箱Ｗの種類を一意に特定するためのＩＴＦコードを情報処理装置４へ出力する。なお、情報処理装置４へのデパレタイズ指示は、必ずしも倉庫管理システムＳＫから指示する必要はなく、情報処理装置４の入力装置４９がタッチパネルであれば、タッチパネル用いて指示してもよい。

＜情報処理装置の説明＞
次に、図２を用いて、本実施形態に係る情報処理装置４の機能構成について説明する。図２に示すように、情報処理装置４の機能構成としては、情報処理装置４は、判断部４００と、箱情報保持部４０１と、設定保持部４０２と、箱認識部４０３と、ずらし判定部４０４と、サイズ推定部４０５と、箱の高さ推定部４０６と、移載順決定部４０７と、箱の向き決定部４０８と、コンベア上での置き位置姿勢決定部４０９と、ハンドの位置姿勢決定部４１０と、重量計測部４１１と、移載速度決定部４１２と、で構成されている。以下、各構成について説明することとする。

判断部４００は、判断部４００が保持する状態または、各機能ブロックが保持する状態に基づいて、各機能ブロック間との情報をやり取りし、さらに、外部機器とのやり取りも行い、倉庫管理システムＳＫ、撮像部３、ＰＬＣ５経由で、ロボット２、コンベアを制御するものである。

箱情報保持部４０１は、図４に示す箱情報テーブルＴＢＬＡのようにテーブル形式で情報を保持している。この箱情報テーブルＴＢＬＡのカラムは、ＩＴＦコードＴＢＬＡａ、重量ＴＢＬＡｂ、ＬサイズＴＢＬＡｃ、ＷサイズＴＢＬＡｄ、ＨサイズＴＢＬＡｅである。ＩＴＦコードＴＢＬＡａのＩＴＦとは、Ｉｎｔｅｒｌｅａｖｅｄ Ｔｗｏ ｏｆ Ｆｉｖｅの略であり、ＩＴＦコードＴＢＬＡａは、ＩＴＦ－１４規格のバーコードを表す値であり、箱情報テーブルＴＢＬＡはＩＴＦコードＴＢＬＡａが主キーであり、ＩＴＦコードを用いて任意のレコードを呼び出すことができる。

一方、重量ＴＢＬＡｂは、ＩＴＦコードＴＢＬＡａ毎の箱の重量を示す値であり、単位はＫｇである。例えば、レコードＴＢＬＡｈの箱の重さは３ｋｇである。パレットＰａ上に積まれた複数の箱Ｗには個体差があるが、箱Ｗの重さは最初に計測した重量を保持する。なお、レコードＴＢＬＡｆ、レコードＴＢＬＡｇは、まだ重量未計測のレコードである。

他方、ＬサイズＴＢＬＡｃは、パレットＰａ上に積まれた箱Ｗの長さの値が保持されるカラムであり、長さの単位は、ミリメートルである。なお、ＬサイズＴＢＬＡｃには最初に計測した値を保持する。同様にＷサイズＴＢＬＡｄは、パレットＰａ上に積まれた箱Ｗの幅の値を保持するカラムであり、ＨサイズＴＢＬＡｅは、パレットＰａ上に積まれた箱Ｗの高さの値を保持するカラムである。なお、箱情報テーブルＴＢＬＡにおけるサイズ未計測および重量未計測のレコードには、ＮＵＬＬが格納されている。

設定保持部４０２は、処理に必要な設定値を保持するものである。この設定保持部４０２で保持する設定は、図５に示すような設定項目テーブルＴＢＬＢを保持している。この設定項目テーブルＴＢＬＢのカラムは、設定項目ＴＢＬＢａと値ＴＢＬＢｂである。設定項目ＴＢＬＢａは、設定項目を表す名称であり、値ＴＢＬＢｂは、各設定項目の値である。例えば、レコードＴＢＬＢｃは、境界の明瞭度の閾値を表しており、その値は１００である。

かくして、図２に示す設定保持部４０２は、図５に示す設定項目テーブルＴＢＬＢの設定項目ＴＢＬＢａの名称をキーにして値ＴＢＬＢｂを呼び出すこととなる。

箱認識部４０３は、撮像部３から出力された距離画像に基づいて、パレットＰａ上に積まれた複数の箱Ｗの位置姿勢を認識するものである。この箱認識部４０３における箱認識の方法について、図６を用いて詳細に説明する。

図６（ａ）は、撮像部３（図２参照）が撮影した距離画像ＧＡである。距離画像とは撮像部３からの対象までの距離を輝度に置き換えた画像であり、撮像部３に近いほど大きい値をとる画像である。なお、図６（ａ）に示す距離画像ＧＡは、パレットＰａ上に積まれた複数の箱Ｗを示している。

次いで、箱認識部４０３は、図６（ａ）に示す距離画像ＧＡについてエッジ抽出処理を行い、図６（ｂ）に示すように、エッジ抽出処理画像ＧＢを生成する。なお、エッジ抽出処理には、Ｃａｎｎｙ法を用いる。

次いで、箱認識部４０３は、図６（ｂ）に示すエッジ抽出処理画像ＧＢについてハフ変換を用いて直線検出を行う。この直線検出した結果が、図６（ｃ）に示す画像ＧＣである。この画像ＧＣのうち、図６（ｃ）に示す符号ＧＣａは、検出した直線である。なお、図６（ｃ）に示すように、直線は、直線ＧＣａ以外にも存在しているが、全てに記号を付すことは省略することとする。

次いで、箱認識部４０３は、図６（ｃ）に示すように、直線同士の交点を検出する。検出した交点は、例えば、ＧＣｂである。なお、図６（ｃ）に示すように、交点は、交点ＧＣｂ以外にも存在しているが、全てに記号を付すことは省略することとする。

次いで、箱認識部４０３は、図６（ｃ）に示すように、検出した全ての交点に対して閉領域を検出する。検出した閉領域は、例えば、ＧＣｃである。しかして、箱認識部４０３は、この閉領域ＧＣｃを一つの箱Ｗとして認識することとなる。なお、図６（ｃ）に示すように、閉領域は、閉領域ＧＣｃ以外も検出しているが、全てに記号を付すことは省略することとする。

ずらし判定部４０４は、撮像部３から入力した距離画像ＧＡ（図６（ａ）参照）に基づいて、パレットＰａ上に積まれた箱Ｗをずらすかどうかを判定するものである。実際に、ずらし判定部４０４にて、パレットＰａ上に積まれた箱Ｗをずらすと判定した場合、判断部４００は、ＰＬＣ５経由でロボット２を制御し、パレットＰａ上に積まれた箱Ｗの一部を吸着し、パレットＰａ上に積まれた箱Ｗをずらすこととなる。

ここで、パレットＰａ上に積まれた箱Ｗをずらす必要がある理由について、図７を用いて説明する。図７（ａ）は、境界抽出結果である。この抽出された境界抽出結果のうち、図７（ａ）に示す境界Ｋａは、明瞭な境界であり、境界Ｋｂは、不明瞭な境界を示している。この不明瞭な境界Ｋｂが箱認識部４０３にて認識されなかった場合、図７（ａ）に示すように、実際の箱Ｗ（右下の箱Ｗ、右中の箱Ｗ）は別々であるが、右下の箱Ｗと右中の箱Ｗが合わさったサイズを箱ＷＡとして認識してしまうこととなる。しかして、このように、図７（ａ）に示すように、箱ＷＡと認識してしまうと、実際の吸着ハンド２０（図１参照）は、箱ＷＡの中央部分を吸着することとなる。これにより、右下の箱Ｗ、右中の箱Ｗを二つ一度に移載することになり、もって、箱Ｗを途中で落下させてしまう可能性がある。そこで、図７（ｂ）に示すように、箱Ｗの端の部分Ｗａを、吸着ハンド２０で吸着して箱Ｗの位置を箱Ｗが存在しない方向へずらすようにする。これによって、箱Ｗの周りに明瞭な境界が出現し、箱Ｗを認識する確率が向上するという効果がある。なお、箱Ｗの端の部分Ｗａのサイズは、ロボット２を設置した倉庫で取り扱う最小サイズの箱のサイズである。これにより、２つの箱を同時にずらしてしまう確率が減少するという効果がある。

ここで、ずらし判定の方法について説明する。

ずらし判定部４０４は、撮像部３から入力した距離画像ＧＡ（図６（ａ）参照）に対して、ラプラシアンフィルターをかける。そして、ずらし判定部４０４は、ラプラシアンフィルターをかけた距離画像ＧＡ（図６（ａ）参照）の画素値の分散を計算し、その値が閾値以下であれば、境界が不明瞭であると判定し、ずらし動作を行う。ここで用いる設定の閾値は、図５に示す、設定保持部４０２にて保持している設定項目テーブルＴＢＬＢの境界の明瞭度の値を読み出すことで得ることとなる。

なお、本実施形態においては、ラプラシアンフィルターを用いて、境界が不明瞭であることを判定したが、他のフィルターを用いてもよい。例えばソーベルフィルタを用いても良く、境界が不明瞭であることを判定可能であればどのようなフィルターを用いてもよい。

サイズ推定部４０５は、図６(ｃ)に示す直線ＧＣａの交点ＧＣｂに基づいて箱のサイズを推定するものである。この箱のサイズの推定は、４角形を構成する直線ＧＣａの交点ＧＣｂ間の距離を求める事で推定するものである。なお、推定する箱のサイズは、箱の上面の長さと幅であり、推定した箱のサイズの情報は、箱情報保持部４０１にて保持される。

箱の高さ推定部４０６は、パレットＰａ上に積まれた箱Ｗの高さを推定するものである。この箱の高さ推定部４０６にて、パレットＰａ上に積まれた箱Ｗの高さの推定方法について、図８を用いて説明する。

まず、箱の高さ推定部４０６は、図８（ａ）に示すように、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さを求める。ここで、箱の高さ推定部４０６は、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さＨ１を求める為に、箱認識部４０３にて認識した箱の認識情報を用いる。そして、箱の高さ推定部４０６は、箱の認識情報に基づいて、パレットＰａ上の最上段に積まれた箱Ｗ上面の三次元点群を抽出し、三次元点群における撮像部３に設定した座標系３０のＺ軸方向の値の平均を、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さＨ１とする。

次いで、図８（ｂ）に示すように、パレットＰａ上の左最上段に積まれた箱Ｗをロボット２により、撮像部３の撮影範囲外へ移動した状態で、座標系３０において箱Ｗの上面を構成する四角形のＸＹの座標が略同一でかつＺ軸方向の位置がプラス方向に存在する三次元点群を抽出する。そして、同様に抽出した三次元点群における座標系３０におけるＺ軸方向の値の平均をパレットＰａ上の左最上段に積まれた箱Ｗの底面の高さＨ２とする。これにより、図８（ｂ）に示す高さＨ１から高さＨ２を差し引けば、箱Ｗの高さＨＡの値が算出されることとなる。しかして、このように箱の高さを推定することにより、撮像部３以外のセンサを用いることなく、箱の高さが推定できるため、装置が簡略になるという効果がある。

移載順決定部４０７は、箱認識部４０３で認識した箱の移載順番を決めるものである。この移載順決定部４０７で決定する箱の移載順の決定方法について、図９を用いて説明する。

図９は、パレットＰａ上に積まれた複数の箱Ｗを撮像部３の座標系３０のＺ軸プラス方向から見た図である。移載順決定部４０７は、コンベアＣと箱認識部４０３で認識した箱の座標系３０におけるＸＹ平面上の距離に基づいて移載順番を決定する。コンベアＣと箱認識部４０３で認識した箱の距離とは、コンベアＣ上に定義したプレース位置Ｃａと、認識した箱の中心、例えばＯ１、Ｏ２である。ここで、プレース位置Ｃａと箱の中心Ｏ１、Ｏ２との距離は、それぞれ距離Ｌ１，Ｌ２である。距離Ｌ１と距離Ｌ２を比べた時、距離Ｌ１の方が短いため、移載順番は、中心Ｏ１を有する箱Ｗが先になる。同様に、パレットＰａ上に積まれた複数の箱Ｗの他の箱Ｗの移載順番もプレース位置Ｃａとの距離によって決定する。しかして、このように、プレース位置Ｃａと箱Ｗの中心との距離により移載順番を決定することで、ロボット２の移載時間を削減することができるという効果がある。また、ロボット２の移載時間を削減することで、箱Ｗを移載する時に箱Ｗが落下する可能性が減少するという効果もある。

箱の向き決定部４０８は、サイズ推定部４０５で推定した箱のサイズに基づいて箱Ｗの向きを決定するものである。ここで、箱の向きの決定とは、箱Ｗに対して箱座標系を対応付ける事である。この箱Ｗの向きは、箱Ｗの上面の長辺と短辺の長さに基づいて決定する。この箱の向き推定について、図１０（ａ）を用いて説明する。

図１０（ａ）に示す箱Ｗにおいて、この箱Ｗの長辺はＷＬａ、短辺はＷＨａである。そして、箱Ｗの向きは、箱座標系ＷＺａによって定義する。箱座標系ＷＺａのＸ軸は箱Ｗにおける長辺ＷＬａと平行に設定し、箱座標系ＷＺａのＹ軸は、箱Ｗの短辺ＷＨａと平行に設定する。そして、箱座標系ＷＺａのＺ軸は、箱Ｗの内側の方向に定義する。また、箱座標系ＷＺａの原点は、箱Ｗの上面の四角形の重心に設定する。

しかして、このように、箱Ｗの向きを箱のサイズに基づいて決定することで、ＩＴＦコードが印刷された箱であれば、少なくとも、長辺に属する面にバーコードがある場合が多いため、箱ＷをコンベアＣに配置するときに箱Ｗの向きを毎回同じ向きに置くことで複数のバーコードリーダを置く必要がなくなり、もって、機器の構成が単純になるという効果がある。

コンベア上での置き位置姿勢決定部４０９は、箱の高さ推定部４０６で推定した箱の高さの値、箱の向き決定部４０８で決定した箱Ｗの箱座標系ＷＺａ（図１０（ａ）参照）の情報に基づいて、箱ＷのコンベアＣ上での置き位置を決定する。ここで、箱ＷのコンベアＣ上での置き位置の決定とは、コンベアＣ上に定義されたコンベア座標系に対して、箱の向き決定部４０８で決定した、箱Ｗの箱座標系ＷＺａ（図１０（ａ）参照）の位置姿勢を決定することである。この点、図１０（ｂ）を用いて、コンベア上での置き位置姿勢決定部４０９による、箱ＷのコンベアＣ上での置き位置の決定方法について説明する。

図１０（ｂ）に示す符号ＣＺａは、コンベアＣ上に定義したコンベア座標系である。コンベア座標系ＣＺａは、コンベアＣ上の表面の位置に定義する。このコンベア座標系ＣＺａは、右手系の座標系であり、コンベアＣの長辺方向は、コンベア座標系ＣＺａのＸ軸と平行に設定し、コンベアＣの短辺方向は、コンベア座標系ＣＺａのＹ軸と平行に設定し、コンベアＣの重力方向は、コンベア座標系ＣＺａのＺ軸と平行に設定する。これにより、箱ＷのコンベアＣ上での置き姿勢は、コンベア座標系ＣＺａに対して箱座標系ＷＺａはコンベア座標系ＣＺａと同一となる。それゆえ、箱ＷのコンベアＣ上での置き位置は、コンベア座標系ＣＺａのＺ軸マイナス方向に箱の高さ推定部４０６で推定した箱Ｗの高さの値分だけ平行移動した位置となる。なお、この際、箱ＷのコンベアＣ上での置き位置は箱の高さ推定部４０６で推定した箱Ｗの高さに加えて誤差の値を考慮しあらかじめ計算した誤差の分散に基づいて箱ＷのコンベアＣ上での置き位置を決定すると良い。しかして、このようにすることで、箱Ｗの箱の高さを低く推定してしまった場合に、箱Ｗ配置時に箱Ｗを吸着ハンド２０（図１参照）によって押しつぶすリスクを低減するという効果がある。

ハンドの位置姿勢決定部４１０は、図１０に示す箱Ｗの箱座標系ＷＺａに対して、吸着ハンド２０（図１参照）に定義されているハンド座標系の位置を決定するものである。ここで、図１０（ｃ）を用いて、ハンドの位置姿勢決定部４１０による、箱座標系ＷＺａに対して、吸着ハンド２０に定義されているハンド座標系２０Ｚａの位置姿勢を決定する方法について説明する。

図１０（ｃ）に示すハンド座標系２０Ｚａは、箱座標系ＷＺａと同様、右手系の座標系である。このハンド座標系２０Ｚａは、吸着ハンド２０の上面の重心に定義されており、吸着ハンド２０の上面の四角形の長辺がＸ軸と平行に設定され、短辺がＹ軸に平行に設定されている。そして、吸着ハンド２０の箱Ｗと吸着する側に対して、Ｚ軸方向に設定されている。ここで、箱Ｗに対する吸着ハンド２０の姿勢は、箱座標系ＷＺａに対してハンド座標系２０Ｚａと同一となるから、箱Ｗに対する吸着ハンド２０の位置は、箱座標系ＷＺａのＺ軸マイナス方向に吸着ハンド２０の厚み２０ａの距離だけ平行移動した位置となる。

重量計測部４１１は、吸着ハンド２０とロボット２のフランジ間に設置した重量センサ２１（図１参照）が出力した値をＰＬＣ５（図１参照）経由で読み取り吸着ハンド２０で吸着している箱の重量を推定し出力するものである。この重量センサ２１が出力する値は、吸着ハンド２０の重量も含む為、あらかじめ設定保持部４０２に吸着ハンド２０の重量を保持して置き、重量センサ２１の出力値から差し引いて出力する。

ここで、図１１を用いて、重量計測部４１１の重量推定方法について説明する。重量計測部４１１は、箱Ｗが、吸着ハンド２０に吸着した状態で、重量を計測する。また、重量計測部４１１は、ロボット２が静止した状態で、且つ、箱Ｗが静止した状態で重量を計測し、箱Ｗが振動している場合は、振動が収まるまで待ってから計測することとなる。しかして、このようにロボット２、及び、箱Ｗが静止した状態において、箱Ｗの重量を計測することで、箱Ｗの振動が箱の重量計測に与える影響を削減する事ができ、もって、重量の計測精度が向上するという効果がある。なお、重量センサ２１が出力する値は、吸着ハンド２０の重量も含む為、あらかじめ設定保持部４０２に吸着ハンド２０の重量を保持して置き、重量センサ２１の出力値から差し引いて出力することとなる。

移載速度決定部４１２は、ロボット２の吸着ハンド２０の加減速度を決定するものである。決定するロボット２の加減速度は、ロボット２のフランジ部分の加減速度を表すものである。この加減速度は、ロボット２が移載する箱Ｗの重さに基づいて数式１によって求められることとなる。

この数１において、ｘは箱の重量であり単位はｋｇである。そして、ｆ（ｘ）は加減速度を表し、単位はｍ／ｓ^２である。

図１２は、数１のグラフを表す図であり、横軸は箱Ｗの重量を表し、縦軸は加減速度を表している。図１２に示すように、箱Ｗの重量の増加とともに、ロボット２の加減速度は減少し、箱Ｗの重量が３０ｋｇの時に、ロボット２の加減速度は、０．５ ｍ／ｓ^２になり、箱の重量が３０ｋｇ以上である場合は、ロボット２の加減速度は、 ０．５ｍ／ｓ^２固定となる。

ところで、ロボット２の移載速度の設定に加減速度を用いている理由は、加減速の大きさに応じて箱Ｗと吸着ハンド２０との間に力が生じ、箱Ｗが搬送時に落下する可能性があるからである。それゆえ、箱Ｗの重量が重い場合にロボット２の加減速度を減少させることによって、箱Ｗの移載時の落下する確率が減少するという効果がある。

＜情報処理装置の処理内容の説明＞
次に、図３に示すフローチャートも参照し、本実施形態に示す情報処理装置４の処理内容について説明する。

まず、図２に示す判断部４００は、ロボット２の姿勢をホームポジションへ戻す処理を行う（ステップＳ１）。

次いで、判断部４００は、倉庫管理システムＳＫからデパレタイズの指示があった場合（ステップＳ２：ＹＥＳ）に、Ｓ３へ進み、デパレタイズの指示がない場合（ステップＳ２：ＮＯ）は、再度Ｓ２の処理へ戻り、倉庫管理システムＳＫからデパレタイズの指示を待ち続ける。

次いで、判断部４００は、倉庫管理システムＳＫからピック対象に紐づいているＩＴＦコードと必要ピック数を入力する（ステップＳ３）。ここで必要ピック数とは、パレットＰａ上に積まれた複数の箱Ｗに対して、ロボット２で移載する箱の数である。

次いで、判断部４００は、必要ピック数として入力した箱の数を移載したかどうかチェックする（ステップＳ４）。もし、必要ピック数として入力した箱の数を移載完了していた場合（ステップＳ４：ＹＥＳ）、ステップＳ１の処理へ戻り、そうでなければ（ステップＳ４：ＮＯ）、ステップＳ５の処理へ進む。

次いで、判断部４００は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗを撮影する（ステップＳ５）。

次いで、判断部４００は、撮像部３から入力した距離画像（例えば、図６（ａ）に示す距離画像ＧＡ参照）を箱認識部４０３へ出力する。これを受けて、箱認識部４０３は、図６（ｂ），（ｃ）に示すような箱認識処理を行う（ステップＳ６）。

次いで、ずらし判定部４０４は、上記説明したように、ずらし動作を行うかどうか判断する（ステップＳ７）。ずらし動作を行うと判断した場合（ステップＳ７：ＹＥＳ）、ステップＳ８へ進み、ずらし動作を行わないと判断した場合（ステップＳ７：ＮＯ）、ステップＳ１１へ進む。

次いで、判断部４００は、ずらし判定部４０４がずらし動作を行うと判断した場合（ステップＳ７：ＹＥＳ）、ロボット２を制御し、ずらし動作を行うこととなる。

次いで、判断部４００は、撮像部３を制御し、ずらし動作を行った後に、パレットＰａ上に積まれた複数の箱Ｗを再撮影する（ステップＳ９）。

次いで、判断部４００は、撮像部３から入力した距離画像（例えば、図６（ａ）に示す距離画像ＧＡ参照）を箱認識部４０３へ出力する。これを受けて、箱認識部４０３は、図６（ｂ），（ｃ）に示すような箱認識処理を行う（ステップＳ１０）。

次いで、サイズ推定部４０５は、上記説明したように、箱Ｗのサイズを推定し、推定した箱Ｗのサイズの情報を箱情報保持部４０１で保持する処理を行う（ステップＳ１１）。

次いで、箱の向き決定部４０８は、上記説明したように、箱Ｗの向きを推定する処理を行う（ステップＳ１２）。

次いで、移載順決定部４０７は、上記説明したように、箱認識部４０３で認識した箱Ｗの位置情報に基づいて、箱の移載順を決定する処理を行う（ステップＳ１３）。

次いで、判断部４００は、移載順決定部４０７で決定した移載順の最初に吸着すべき箱Ｗに対して、ハンドの位置姿勢決定部４１０の吸着ハンド２０の位置姿勢情報に基づいてロボット２を制御する。これにより、ロボット２は、吸着ハンド２０にて箱Ｗを吸着することとなる（ステップＳ１４）。

次いで、判断部４００は、箱情報保持部４０１を参照し、倉庫管理システムＳＫから入力したＩＴＦコードに対して、箱Ｗの高さの情報が存在するか否かを確かめる。箱の高さの情報が存在すれば（ステップＳ１５：ＹＥＳ）、ステップＳ１９へ進み、存在しなければ（ステップＳ１５：ＮＯ）、ステップＳ１６へ進む。

次いで、判断部４００は、箱の高さの情報が存在しなければ（ステップＳ１５：ＮＯ）、ロボット２を制御し、パレットＰａ上に積まれた複数の箱Ｗが撮影可能な位置にロボット２を退避させる（ステップＳ１６）。

次いで、判断部４００は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗを撮影する（ステップＳ１７）。

次いで、箱の高さ推定部４０６は、撮像部３から入力した２つの距離画像に基づいて箱の高さを算出し、算出した箱の高さを、箱情報保持部４０１に格納されている図４に示す箱情報テーブルＴＢＬＡの対応するＩＴＦコードＴＢＬＡａのレコードに保存する処理を行う（ステップＳ１８）。

次いで、判断部４００は、箱情報保持部４０１を参照し、倉庫管理システムＳＫから入力したＩＴＦコードに対して重量の情報が存在するか否かを確かめる（ステップＳ１９）。重量の情報が存在すれば（ステップＳ１９：ＹＥＳ）、ステップＳ２２へ進み、存在しなければ（ステップＳ１９：ＮＯ）、ステップＳ２０へ進む。

次いで、判断部４００は、重量の情報が存在しなければ（ステップＳ１９：ＮＯ）、ロボット２を制御し、吸着している箱Ｗを、あらかじめ設定した重量計測位置で静止させる（ステップＳ２０）。

次いで、重量計測部４１１は、重量センサ２１の箱の重量の情報を、ＰＬＣ５経由で読み取り、箱情報保持部４０１に格納されている図４に示す箱情報テーブルＴＢＬＡの対応するＩＴＦコードＴＢＬＡａのレコードに保存する（ステップＳ２１）。

次いで、移載速度決定部４１２は、上記説明したように、箱情報保持部４０１より箱の重量の情報を読み出し、箱の重量に基づいて移載時の加減速度を決定する（ステップＳ２２）。

次いで、コンベア上での置き位置姿勢決定部４０９は、上記説明したように、コンベアＣ上での箱Ｗの置き位置を決定し、その決定した情報を、判断部４００へ出力する（ステップＳ２３）。

次いで、判断部４００は、ロボット２を制御し、コンベア上での置き位置姿勢決定部４０９で決定したコンベアＣの上での箱Ｗの置き位置に対して、移載速度決定部４１２で決定した加減速度で箱Ｗを移載し、もって、ピック数を１つ減少させる（ステップＳ２４）。

次いで、判断部４００は、ＰＬＣ５を介して、コンベアＣを制御し、コンベアＣ上に置かれた箱Ｗを倉庫へ移送することとなる（ステップＳ２５）。そして、この処理を終えた後、ステップＳ４の処理へ戻ることとなる。

＜箱の向き認識に関する説明＞
ここで、本実施形態の特徴とするところは、箱の向き決定部４０８の処理内容に関するところであるため、この点、以下、詳しく説明することとする。

上記説明したように、箱の向き決定部４０８は、図３に示すステップＳ１２にて、箱Ｗの上面の長辺と短辺の長さに基づいて、箱Ｗの向きを決定するものである。この際、箱Ｗの長辺側と短辺側の向きを正しく認識する必要がある。この点、以下、詳しく説明する。

通常、図１３に示すように、ＩＴＦコードが印刷された箱Ｗの場合、長辺ＷＬａに属する面に箱の識別情報を表すバーコードＢＣが付与されている。そして、このバーコードＢＣは、図１３（ａ）に示すように、矢印Ｙ１０方向に移動するコンベアＣの長手方向一方の側面（図示では、上側）に設けられているバーコードリーダＢＲにて読み取られるか、又は、図１３（ｂ）に示すように、矢印Ｙ１０方向に移動するコンベアＣの長手方向両側面（図示では、上下側）に設けられているバーコードリーダＢＲにて読み取られることとなる。

かくして、バーコードリーダＢＲにてバーコードＢＣを読み取れるようにするため、箱ＷをコンベアＣに配置する際、コンベアＣの長手方向側面に、箱Ｗの長辺ＷＬａが位置するように配置する必要がある。

しかしながら、箱Ｗの上面が正方形に近い形状の場合、測定誤差などにより、箱Ｗの長辺ＷＬａ、短辺ＷＨａを誤って認識してしまうと、図１３（ａ），図１３（ｂ）に示す右から２番目の箱Ｗのように、コンベアＣの長手方向側面に、箱Ｗの短辺ＷＨａが位置するように配置してしまう可能性がある。これにより、バーコードリーダＢＲにてバーコードＢＣを読み取ることができなくなるという問題があった。

そこで、本実施形態においては、上記のような問題を解決すべく、箱の向き決定部４０８にて、以下のような処理を行っている。

まず、箱Ｗの形について、図１４を用いて詳しく説明する。箱Ｗは、図１４に示すように、底部Ｗ１が有底で、上部Ｗ２が開放された六面体形状（直方体形状又は立方体形状）からなる。そして、その箱Ｗの上部Ｗ２は、幅面Ｗ４の上部に連なって設けられている内フラップＷ５を内方向に折り畳み、さらに、長さ面Ｗ６の上部に連なって設けられている外フラップＷ７を内方向に折り畳むことにより閉止されるようになっている。

かくして、このように内フラップＷ５及び外フラップＷ７にて上部Ｗ２が閉止された箱Ｗの上面は、三次元点群情報を出力可能な撮像部３にて図１５に示すように撮像されることとなる。すなわち、図１５（ａ）に示すように、テープが貼着されていない場合、箱Ｗの上面ＷＴは、一対の外フラップＷ７の境界線Ｗ７ａが見えることとなる。また、図１５（ｂ）に示すように、一対の外フラップＷ７の境界線Ｗ７ａに沿って、非透明テープＴＰａが貼着されていた場合、箱Ｗの上面ＷＴは、非透明テープＴＰａのエッジＴＰａ１が見えることとなる。さらに、図１５（ｃ）に示すように、一対の外フラップＷ７の境界線Ｗ７ａに沿って、透明テープＴＰｂが貼着されていた場合、箱Ｗの上面ＷＴは、一対の外フラップＷ７の境界線Ｗ７ａ、及び、透明テープＴＰｂのエッジＴＰｂ１が見えることとなる。そしてさらに、図１５（ｄ）に示すように、一対の外フラップＷ７の境界線Ｗ７ａに沿って、非透明テープＴＰａが貼着され、一対の外フラップＷ７の境界線Ｗ７ａと直交する箱Ｗの上面ＷＴの両側面にそれぞれ、非透明テープＴＰｃが貼着されていた場合、箱Ｗの上面ＷＴは、非透明テープＴＰａのエッジＴＰａ１、及び、非透明テープＴＰｃのエッジＴＰｃ１が見えることとなる。なお、図示はしないが、図１５（ｄ）に示すような状態にテープを貼着する場合、非透明テープに代えて透明テープにすることも可能である。その場合、箱Ｗの上面ＷＴは、一対の外フラップＷ７の境界線Ｗ７ａ、及び、透明テープのエッジが見えることとなる。

しかして、本実施形態においては、箱の向き決定部４０８にて、上記のような箱Ｗの上面ＷＴの状態を認識することにより、箱Ｗの長辺と短辺の向きを正確に認識するようにしている。この点、主として、図２１～図２７に示すフローチャート図を参照して具体的に説明する。なお、この処理内容を説明するにあたり、図１５（ｄ）に示す箱Ｗの上面ＷＴの状態を用いて説明することとする。

図２１に示すように、箱の向き決定部４０８は、まず、撮像部３にて出力された三次元点群情報に基づいて、箱Ｗの外形Ｌｘ，Ｌｙを計測する（ステップＳ１２０）。より詳しく説明すると、図１６に示す箱Ｗの上面ＷＴは、一対の外フラップＷ７の境界線Ｗ７ａに沿って、非透明テープＴＰａが貼着され、一対の外フラップＷ７の境界線Ｗ７ａと直交する箱Ｗの上面ＷＴの両側面にそれぞれ、非透明テープＴＰｃが貼着されているもので、このような箱Ｗの上面ＷＴの外形として、図示右側に向かってＸ軸方向をとり、図示下側に向かってＹ軸方向をとり、Ｘ軸方向に沿う辺をＬｘ、Ｙ軸方向に沿う辺をＬｙとした際、箱の向き決定部４０８は、このＬｘ，Ｌｙを、撮像部３にて出力された三次元点群情報に基づいて、計測することとなる。

次いで、箱の向き決定部４０８は、計測したＬｘから計測したＬｙを減算（Ｌｘ－Ｌｙ）し、その減算した値が予め設定しておいた閾値より大きいか否かを確認する（ステップＳ１２１）。予め設定しておいた閾値より大きければ（ステップＳ１２１：ＹＥＳ）、計測したＬｘを長辺と判定し（ステップＳ１２２）、処理を終える。

一方、予め設定しておいた閾値より小さければ（ステップＳ１２１：ＮＯ）、箱の向き決定部４０８は、計測したＬｘから計測したＬｙを減算（Ｌｘ－Ｌｙ）した値が予め設定しておいた閾値より小さいか否かを確認する（ステップＳ１２３）。予め設定しておいた閾値より小さければ（ステップＳ１２３：ＹＥＳ）、計測したＬｙを長辺と判定し（ステップＳ１２４）、処理を終える。

一方、予め設定しておいた閾値より大きければ（ステップＳ１２３：ＮＯ）、箱の向き決定部４０８は、箱Ｗの上面ＷＴが正方形に近い形状であると判定し、一対の外フラップＷ７の境界線Ｗ７ａ（図１５参照）の方向を認識する処理を行う（ステップＳ１２５）。なお、このステップＳ１２５の処理の詳細については、後述することとする。

次いで、箱の向き決定部４０８は、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると認識したか否かを確認する（ステップＳ１２６）。Ｘ軸方向と認識していれば（ステップＳ１２６：ＹＥＳ）、計測したＬｘを長辺と判定し（ステップＳ１２７）、処理を終える。

一方、Ｘ軸方向と認識していなければ（ステップＳ１２６：ＮＯ）、箱の向き決定部４０８は、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると認識したか否かを確認する（ステップＳ１２８）。Ｙ軸方向と認識していれば（ステップＳ１２８：ＹＥＳ）、計測したＬｙを長辺と判定し（ステップＳ１２９）、処理を終える。

一方、Ｙ軸方向と認識していなければ（ステップＳ１２８：ＮＯ）、箱の向き決定部４０８は、異常が発生したことを表示装置４６（図１参照）に報知し（ステップＳ１３０）、処理を終える。これにより、箱Ｗの長辺側と短辺側の向きを正しく認識できていなことを早期に知らせることができる。

＜外フラップ方向認識処理の説明＞
ここで、図２２を参照して、図２１に示すステップＳ１２５の処理の詳細を説明することとする。

図２２に示すように、箱の向き決定部４０８は、まず、テープのエッジを検出することによって外フラップの境界線の方向を認識する第１認識処理を行う（ステップＳ１４０）。具体的には、図２３に示す処理を行う。

＜第１認識処理の説明＞
図２３に示すように、箱の向き決定部４０８は、Ｙ方向エッジ検出領域を設定する処理を行う（ステップＳ２００）。具体的には、図１７（ａ－１）に示すように、箱Ｗの上面ＷＴ中央部分に、非透明テープＴＰｃを含まないようにＸ軸方向の幅ＡＲ１、非透明テープＴＰａのＹ軸方向の幅より広くなるようにＹ軸方向の幅ＡＲ２としたＹ方向エッジ検出領域を設定する。

次いで、箱の向き決定部４０８は、ソーベルフィルタ等を用いて、図１７（ａ―１）に示すＹ方向エッジ検出領域のエッジ抽出処理を行う（ステップＳ２０１）。

次いで、箱の向き決定部４０８は、上記エッジ抽出処理結果に基づき、下記、数２を用いて、図１７（ａ－２）に示すようなヒストグラムを作成する（ステップＳ２０２）。

次いで、箱の向き決定部４０８は、上記作成したヒストグラム（ｈｘ（ｙ））に基づき、最大値を取得（ｈｘ_ｍａｘ）する（ステップＳ２０３）。

次いで、箱の向き決定部４０８は、Ｘ方向エッジ検出領域を設定する処理を行う（ステップＳ２０４）。具体的には、図１７（ｂ－１）に示すように、図１７（ａ－１）に示す領域を９０度回転させたものをＸ方向エッジ検出領域として設定する。

次いで、箱の向き決定部４０８は、ソーベルフィルタ等を用いて、図１７（ｂ－２）に示すＸ方向エッジ検出領域のエッジ抽出処理を行う（ステップＳ２０５）。

次いで、箱の向き決定部４０８は、上記エッジ抽出処理結果に基づき、下記、数３を用いて、図１７（ｂ－２）に示すようなヒストグラムを作成する（ステップＳ２０６）。

次いで、箱の向き決定部４０８は、上記作成したヒストグラム（ｈｙ（ｘ））に基づき、最大値を取得（ｈｙ_ｍａｘ）する（ステップＳ２０７）。

次いで、箱の向き決定部４０８は、ステップＳ２０３にて取得した最大値（ｈｘ_ｍａｘ）と、ステップＳ２０７にて取得した最大値（ｈｙ_ｍａｘ）とを比較する処理を行う（ステップＳ２０８）。ステップＳ２０３にて取得した最大値（ｈｘ_ｍａｘ）がステップＳ２０７にて取得した最大値（ｈｙ_ｍａｘ）より大きければ（ステップＳ２０８：ＹＥＳ）、非透明テープＴＰａがＸ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＸ軸方向である可能性があると判断し、下記数４に示すように、第１変数（ｒ１）にステップＳ２０３にて取得した最大値（ｈｘ_ｍａｘ）に係数（ｋ１）を乗算した値を設定し（ステップＳ２０９）、処理を終える。

なお、この係数（ｋ１）は、後述する第２認識処理、後述する第３認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

一方、ステップＳ２０３にて取得した最大値（ｈｘ_ｍａｘ）がステップＳ２０７にて取得した最大値（ｈｙ_ｍａｘ）より大きくなければ（ステップＳ２０８：ＮＯ）、非透明テープＴＰａがＹ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＹ軸方向である可能性があると判断し、下記数５に示すように、第１変数（ｒ１）にステップＳ２０７にて取得した最大値（ｈｙ_ｍａｘ）の負の値に係数（ｋ１）を乗算した値を設定し（ステップＳ２１０）、処理を終える。

なお、この係数（ｋ１）は、後述する第２認識処理、後述する第３認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

＜外フラップ方向認識処理の説明＞
次いで、箱の向き決定部４０８は、上記のような第１認識処理を終えた後、輝度値を用いることで、外フラップの境界線の方向を認識する第２認識処理を行う（ステップＳ１４１）。具体的には、図２４に示す処理を行う。なお、輝度値を用いる理由としては、箱Ｗの上面ＷＴに光が当たると、テープ部分の反射率が、テープが貼着されてない部分の反射率に比べて高くなる性質があることから、これを利用すれば、テープが貼着されている位置が分かるため、第２認識処理では、輝度値を用いるようにしている。

＜第２認識処理の説明＞
図２４に示すように、箱の向き決定部４０８は、Ｘ軸方向テープ認識領域を設定する処理を行う（ステップＳ３００）。具体的には、図１８（ａ）に示すように、箱Ｗの上面ＷＴ中央部分に、Ｌｘ，Ｌｙより小さいＸ軸方向の幅ＡＲ３、非透明テープＴＰａのＹ軸方向の幅より小さくなるようにＹ軸方向の幅ＡＲ４としたＸ軸方向テープ認識領域を設定する。

次いで、箱の向き決定部４０８は、上記設定したＸ軸方向テープ認識領域にて、予め設定しておいた閾値より高い（明るい）輝度値の画素数（Ｓｘ）を取得する（ステップＳ３０１）。

次いで、箱の向き決定部４０８は、Ｙ軸方向テープ認識領域を設定する処理を行う（ステップＳ３０２）。具体的には、図１８（ｂ）に示すように、図１８（ａ）に示す領域を９０度回転させたものをＹ軸方向テープ認識領域として設定する。

次いで、箱の向き決定部４０８は、上記設定したＹ軸方向テープ認識領域にて、予め設定しておいた閾値より高い（明るい）輝度値の画素数（Ｓｙ）を取得する（ステップＳ３０３）。

次いで、箱の向き決定部４０８は、下記、数６を用いて、正規化を行う（ステップＳ３０４）。

次いで、箱の向き決定部４０８は、上記正規化したＳｘと、Ｓｙと、を比較する処理を行う（ステップＳ３０５）。ＳｘがＳｙより大きければ（ステップＳ３０５：ＹＥＳ）、非透明テープＴＰａがＸ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＸ軸方向である可能性があると判断し、下記数７に示すように、第２変数（ｒ２）にＳｘに係数（ｋ２）を乗算した値を設定し（ステップＳ３０６）、処理を終える。

なお、この係数（ｋ２）は、第１認識処理、後述する第３認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

一方、ＳｘがＳｙより小さければ（ステップＳ３０５：ＮＯ）、非透明テープＴＰａがＹ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＹ軸方向である可能性があると判断し、下記数８に示すように、第２変数（ｒ２）にＳｙの負の値に係数（ｋ２）を乗算した値を設定し（ステップＳ３０７）、処理を終える。

なお、この係数（ｋ２）は、第１認識処理、後述する第３認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

＜外フラップ方向認識処理の説明＞
次いで、箱の向き決定部４０８は、上記のような第２認識処理を終えた後、輝度値差を用いることで、外フラップの境界線の方向を認識する第３認識処理を行う（ステップＳ１４２）。具体的には、図２５に示す処理を行う。なお、輝度値差を用いる理由は、以下の理由によるものである。すなわち、撮像部３として２台の撮像部３を用いて三次元点群計測を行っていた場合、２台の撮像部３は、設置角度が異なっていることから、箱Ｗの上面ＷＴの同じ領域を撮像していても、見え方が異なるため、輝度値差が生じることとなる。それゆえ、第３認識処理では、その輝度値差を用いるようにしている。

＜第３認識処理の説明＞
図２５に示すように、箱の向き決定部４０８は、２つの撮像部３を用いて、Ｘ軸方向テープ認識領域をそれぞれ設定する処理を行う（ステップＳ４００）。具体的には、図１８（ａ）に示すように、箱Ｗの上面ＷＴ中央部分に、Ｌｘ，Ｌｙより小さいＸ軸方向の幅ＡＲ３、非透明テープＴＰａのＹ軸方向の幅より小さくなるようにＹ軸方向の幅ＡＲ４としたＸ軸方向テープ認識領域を設定する。

次いで、箱の向き決定部４０８は、上記設定したＸ軸方向テープ認識領域にて、２つの撮像部３それぞれにて撮像した輝度値の差が予め設定しておいた閾値以上である画素数（Ｓｘ）を取得する（ステップＳ４０１）。

次いで、箱の向き決定部４０８は、Ｙ軸方向テープ認識領域を設定する処理を行う（ステップＳ４０２）。具体的には、図１８（ｂ）に示すように、図１８（ａ）に示す領域を９０度回転させたものをＹ軸方向テープ認識領域として設定する。

次いで、箱の向き決定部４０８は、上記設定したＹ軸方向テープ認識領域にて、２つの撮像部３それぞれにて撮像した輝度値の差が予め設定しておいた閾値以上である画素数（Ｓｙ）を取得する（ステップＳ４０３）。

次いで、箱の向き決定部４０８は、下記、数９を用いて、正規化を行う（ステップＳ３０４）。

次いで、箱の向き決定部４０８は、Ｓｘと、Ｓｙとを比較する処理を行う（ステップＳ４０５）。ＳｘがＳｙより大きければ（ステップＳ４０５：ＹＥＳ）、非透明テープＴＰａがＸ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＸ軸方向である可能性があると判断し、下記数１０に示すように、第３変数（ｒ３）にＳｘに係数（ｋ３）を乗算した値を設定し（ステップＳ４０６）、処理を終える。

なお、この係数（ｋ３）は、第１認識処理、第２認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

一方、ＳｘがＳｙより小さければ（ステップＳ４０５：ＮＯ）、非透明テープＴＰａがＹ軸方向に沿って貼着されている可能性が高いことから、一対の外フラップＷ７の境界線Ｗ７ａがＹ軸方向である可能性があると判断し、下記数１１に示すように、第３変数（ｒ３）にＳｙの負の値に係数（ｋ３）を乗算した値を設定し（ステップＳ４０７）、処理を終える。

なお、この係数（ｋ３）は、第１認識処理、第２認識処理、後述する第４認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

しかして、このように、複数の撮像部３を用いた場合であっても、同じ領域の輝度値を抽出し、抽出した輝度値の差を用いることにより、箱Ｗの上面ＷＴにあるテープの位置を認識することができ、もって、一対の外フラップＷ７の境界線Ｗ７ａの方向を認識することが可能となる。

＜外フラップ方向認識処理の説明＞
次いで、箱の向き決定部４０８は、上記のような第３認識処理を終えた後、一対の外フラップＷ７の境界線Ｗ７ａに生じる境界高さを用いることで、外フラップの境界線の方向を認識する第４認識処理を行う（ステップＳ１４３）。具体的には、図２６に示す処理を行う。なお、一対の外フラップＷ７の境界線Ｗ７ａに生じる境界高さを用いる理由としては、以下の理由によるものである。図１５（ａ）に示すように、箱Ｗの上面ＷＴにテープが貼着されていない場合で一対の外フラップＷ７の裏面に糊をつけ封をするような場合、一対の外フラップＷ７間の隙間に段差が生じることとなる。或いは、図１５（ａ）に示すように、箱Ｗの上面ＷＴにテープが貼着されていない場合で一対の外フラップＷ７の裏面に糊をつけ封をしないような場合、一対の外フラップＷ７の何れか一方が僅かに浮き上がり、そこに段差が生じることとなる。それゆえ、このような段差を利用して、第４認識処理では、一対の外フラップＷ７の境界線Ｗ７ａに生じる境界高さを用いるようにしている。

＜第４認識処理の説明＞
図２６に示すように、箱の向き決定部４０８は、撮像部３にて出力された三次元点群情報に基づいて、箱Ｗの上面ＷＴの高さ（Ｚ軸）を取得する（ステップＳ５００）。

次いで、箱の向き決定部４０８は、Ｘ軸方向フラップ認識領域を設定する処理を行う。具体的には、図１９（ａ）に示すように、箱Ｗの上面ＷＴ中央部分に、Ｌｘ，Ｌｙより小さいＸ軸方向の幅ＡＲ５、一対の外フラップＷ７の境界線Ｗ７ａが入る程度のＹ軸方向の幅ＡＲ６としたＸ軸方向フラップ認識領域を設定する。そしてさらに、箱の向き決定部４０８は、変数（Ｎｘ）に０を設定する（ステップＳ５０１）。

次いで、箱の向き決定部４０８は、上記設定したＸ軸方向フラップ認識領域内のＸ座標を固定し、図１９（ｂ）に示すように、Ｙ軸方向の幅ＡＲ６の範囲で、上記ステップＳ５００にて取得したＺ座標の最大最小差Ｈ（ｘ）を取得する（ステップＳ５０２）。

次いで、箱の向き決定部４０８は、上記ステップＳ５０２にて取得したＨ（ｘ）と予め設定しておいた閾値を比較する（ステップＳ５０３）。Ｈ（ｘ）が予め設定しておいた閾値より大きければ（ステップＳ５０３：ＹＥＳ）、変数（Ｎｘ）をインクリメント（＋１）し（ステップＳ５０４）、ステップＳ５０５の処理に進む。

一方、Ｈ（ｘ）が閾値より小さければ（ステップＳ５０３：ＮＯ）、ステップＳ５０５の処理に進む。

かくして、箱の向き決定部４０８は、ステップＳ５０５の処理にて、固定したＸ座標位置がＸ軸方向の幅ＡＲ５の最大にまで達したか否かを確認する（ステップＳ５０５）。最大にまで達していなければ（ステップＳ５０５：ＮＯ）、固定したＸ座標位置を移動させ（ステップＳ５０６）、ステップＳ５０２の処理に戻る。

一方、最大にまで達していれば（ステップＳ５０５：ＹＥＳ）、箱の向き決定部４０８は、Ｙ軸方向フラップ認識領域を設定する処理を行う。具体的には、図２０（ａ）に示すように、図１９（ａ）に示す領域を９０度回転させたものをＹ軸方向フラップ認識領域として設定する。そしてさらに、箱の向き決定部４０８は、変数（Ｎｙ）に０を設定する（ステップＳ５０７）。

次いで、箱の向き決定部４０８は、上記設定したＹ軸方向フラップ認識領域内のＹ座標を固定し、図２０（ｂ）に示すように、Ｘ軸方向のＡＲ６の範囲で、上記ステップＳ５００にて取得したＺ座標の最大最小差Ｈ（ｙ）を取得する（ステップＳ５０８）。

次いで、箱の向き決定部４０８は、上記ステップＳ５０８にて取得したＨ（ｙ）と予め設定しておいた閾値を比較する（ステップＳ５０９）。Ｈ（ｙ）が閾値より大きければ（ステップＳ５０９：ＹＥＳ）、変数（Ｎｙ）をインクリメント（＋１）し（ステップＳ５１０）、ステップＳ５１１の処理に進む。

一方、Ｈ（ｙ）が閾値より小さければ（ステップＳ５０９：ＮＯ）、ステップＳ５１１の処理に進む。

かくして、箱の向き決定部４０８は、ステップＳ５１１の処理にて、固定したＹ座標位置がＹ軸方向の幅ＡＲ５の最大にまで達したか否かを確認する（ステップＳ５１１）。最大にまで達していなければ（ステップＳ５１１：ＮＯ）、固定したＹ座標位置を移動させ（ステップＳ５１２）、ステップＳ５０８の処理に戻る。

一方、最大にまで達していれば（ステップＳ５１１：ＹＥＳ）、箱の向き決定部４０８は、下記、数１２を用いて、正規化を行う（ステップＳ５１３）。

次いで、箱の向き決定部４０８は、Ｎｘと、Ｎｙとを比較する処理を行う（ステップＳ５１４）。ＮｘがＮｙより大きければ（ステップＳ５１４：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａがＸ軸方向である可能性があると判断し、下記数１３に示すように、第４変数（ｒ４）にＮｘに係数（ｋ４）を乗算した値を設定し（ステップＳ５１５）、処理を終える。

なお、この係数（ｋ４）は、第１認識処理、第２認識処理、第３認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

一方、ＮｘがＮｙより小さければ（ステップＳ５１４：ＮＯ）、一対の外フラップＷ７の境界線Ｗ７ａがＹ軸方向である可能性があると判断し、下記数１４に示すように、第４変数（ｒ４）にＮｙの負の値に係数（ｋ４）を乗算した値を設定し（ステップＳ５１６）、処理を終える。

なお、この係数（ｋ４）は、第１認識処理、第２認識処理、第３認識処理にて行う処理方法がそれぞれ異なるため、その調整のためのものである。

＜外フラップ方向認識処理の説明＞
次いで、箱の向き決定部４０８は、上記のような第４認識処理を終えた後、第０変数（ｒ０）に、ステップＳ１４０で算出した第１変数（ｒ１）と、ステップＳ１４１で算出した第２変数（ｒ２）と、ステップＳ１４２で算出した第３変数（ｒ３）と、ステップＳ１４３で算出した第４変数（ｒ４）とを加算した値を設定する（ステップＳ１４４）。

次いで、箱の向き決定部４０８は、第０変数（ｒ０）の値と予め設定しておいた閾値を比較する（ステップＳ１４５）。第０変数（ｒ０）の値が予め設定しておいた閾値より大きければ（ステップＳ１４５：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると判定し（ステップＳ１４６）、処理を終える。

一方、第０変数（ｒ０）の値が予め設定しておいた閾値より小さければ（ステップＳ１４５：ＮＯ）、箱の向き決定部４０８は、第０変数（ｒ０）の値と予め設定しておいた閾値の負の値を比較する（ステップＳ１４７）。第０変数（ｒ０）の値が予め設定しておいた閾値の負の値より小さければ（ステップＳ１４７：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると判定し（ステップＳ１４８）、処理を終える。

一方、第０変数（ｒ０）の値が予め設定しておいた閾値の負の値より大きければ（ステップＳ１４７：ＮＯ）、箱の向き決定部４０８は、一対の外フラップＷ７の境界線Ｗ７ａがないと判定し（ステップＳ１４９）、処理を終える。

かくして、このようにして、箱の向き決定部４０８は、図２１に示すステップＳ１２５の処理にて、一対の外フラップＷ７の境界線Ｗ７ａの方向を認識する処理を行うこととなる。

しかして、このように、一対の外フラップＷ７の境界線Ｗ７ａの方向を認識する処理を行うにあたって、複数の認識処理（本実施形態では、第１認識処理～第４認識処理を例示）を行うようにすれば、様々な箱Ｗの上面ＷＴの状態（図１５参照）に対応することができ、もって、箱Ｗの長辺側と短辺側の向きをより正確に認識することができる。

しかして、以上説明した本実施形態によれば、箱Ｗの上面ＷＴが正方形に近い形状の場合であっても、箱Ｗの長辺側と短辺側の向きを正確に認識することができる。

また、本実施形態によれば、箱Ｗの外形サイズをデータベースに予め登録することなく、画像認識のみで箱Ｗの外形サイズ、外フラップＷ７の方向を認識することができるため、データベースに登録する手間を省くことができる。

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。

例えば、本実施形態においては、複数の認識処理として、第１認識処理～第４認識処理を例示したが、それに限らず、第１認識処理と第４認識処理のみを行なったり、第２認識処理～第４認識処理を行なったり、或いは、第１認識処理～第４認識処理に加え、第５認識処理（例えば、図１５（ａ）に示すように、箱Ｗの上面ＷＴにテープが貼着されていない場合、上述したように、外フラップＷ７の境界線Ｗ７ａの部分に段差が生じることから、三次元点群情報から隣接点との奥行き値の差分が大きい点群を抽出し、デプスエッジ等の特徴が明確に出ている箇所を認識するようにしても良い）を行なったりしても良い。すなわち、複数の認識処理として、２つ以上の認識処理を行なえばどのようなものでも良い。

一方、本実施形態においては、図２１に示すステップＳ１２５における外フラップ方向認識処理として、図２２に示すフローチャート図を例示したが、それに限らず、図２７に示すフローチャート図のように処理しても良い。以下、この点について説明することとする。なお、図２２で示した処理内容と同一の処理内容については、同一の符号を付し、説明は省略することとする。

図２７に示すように、箱の向き決定部４０８は、まず、テープのエッジを検出することによって外フラップの境界線の方向を認識する第１認識処理を行う（ステップＳ１４０）。

次いで、箱の向き決定部４０８は、第１変数（ｒ１）の値と予め設定しておいた第１変数（ｒ１）に対する閾値を比較する（ステップＳ１４００）。第１変数（ｒ１）の値が予め設定しておいた第１変数（ｒ１）に対する閾値より大きければ（ステップＳ１４００：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると判定し（ステップＳ１４０１）、処理を終える。

一方、第１変数（ｒ１）の値が予め設定しておいた第１変数（ｒ１）に対する閾値より小さければ（ステップＳ１４００：ＮＯ）、箱の向き決定部４０８は、第１変数（ｒ１）の値と予め設定しておいた第１変数（ｒ１）に対する閾値の負の値を比較する（ステップＳ１４０２）。第１変数（ｒ１）の値が予め設定しておいた第１変数（ｒ１）に対する閾値の負の値より小さければ（ステップＳ１４０２：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると判定し（ステップＳ１４０３）、処理を終える。

一方、第１変数（ｒ１）の値が予め設定しておいた第１変数（ｒ１）に対する閾値の負の値より大きければ（ステップＳ１４０２：ＮＯ）、箱の向き決定部４０８は、輝度値を用いることで、外フラップの境界線の方向を認識する第２認識処理を行う（ステップＳ１４１）。

次いで、箱の向き決定部４０８は、第２変数（ｒ２）の値と予め設定しておいた第２変数（ｒ２）に対する閾値を比較する（ステップＳ１４０４）。第２変数（ｒ２）の値が予め設定しておいた第２変数（ｒ２）に対する閾値より大きければ（ステップＳ１４０４：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると判定し（ステップＳ１４０５）、処理を終える。

一方、第２変数（ｒ２）の値が予め設定しておいた第２変数（ｒ２）に対する閾値より小さければ（ステップＳ１４０４：ＮＯ）、箱の向き決定部４０８は、第２変数（ｒ２）の値と予め設定しておいた第２変数（ｒ２）に対する閾値の負の値を比較する（ステップＳ１４０６）。第２変数（ｒ２）の値が予め設定しておいた第２変数（ｒ２）に対する閾値の負の値より小さければ（ステップＳ１４０６：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると判定し（ステップＳ１４０７）、処理を終える。

一方、第２変数（ｒ２）の値が予め設定しておいた第２変数（ｒ２）に対する閾値の負の値より大きければ（ステップＳ１４０６：ＮＯ）、箱の向き決定部４０８は、輝度値差を用いることで、外フラップの境界線の方向を認識する第３認識処理を行う（ステップＳ１４２）。

次いで、箱の向き決定部４０８は、第３変数（ｒ３）の値と予め設定しておいた第３変数（ｒ３）に対する閾値を比較する（ステップＳ１４０８）。第３変数（ｒ３）の値が予め設定しておいた第３変数（ｒ３）に対する閾値より大きければ（ステップＳ１４０８：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると判定し（ステップＳ１４０９）、処理を終える。

一方、第３変数（ｒ３）の値が予め設定しておいた第３変数（ｒ３）に対する閾値より小さければ（ステップＳ１４０８：ＮＯ）、箱の向き決定部４０８は、第３変数（ｒ３）の値と予め設定しておいた第３変数（ｒ３）に対する閾値の負の値を比較する（ステップＳ１４１０）。第３変数（ｒ３）の値が予め設定しておいた第３変数（ｒ３）に対する閾値の負の値より小さければ（ステップＳ１４１０：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると判定し（ステップＳ１４１０）、処理を終える。

一方、第３変数（ｒ３）の値が予め設定しておいた第３変数（ｒ３）に対する閾値の負の値より大きければ（ステップＳ１４１０：ＮＯ）、箱の向き決定部４０８は、一対の外フラップＷ７の境界線Ｗ７ａに生じる境界高さを用いることで、外フラップの境界線の方向を認識する第４認識処理を行う（ステップＳ１４３）。

次いで、箱の向き決定部４０８は、第４変数（ｒ４）の値と予め設定しておいた第４変数（ｒ４）に対する閾値を比較する（ステップＳ１４１２）。第４変数（ｒ４）の値が予め設定しておいた第４変数（ｒ４）に対する閾値より大きければ（ステップＳ１４１２：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＸ軸方向であると判定し（ステップＳ１４１３）、処理を終える。

一方、第４変数（ｒ４）の値が予め設定しておいた第４変数（ｒ４）に対する閾値より小さければ（ステップＳ１４１２：ＮＯ）、箱の向き決定部４０８は、第４変数（ｒ４）の値と予め設定しておいた第４変数（ｒ４）に対する閾値の負の値を比較する（ステップＳ１４１４）。第４変数（ｒ４）の値が予め設定しておいた第４変数（ｒ４）に対する閾値の負の値より小さければ（ステップＳ１４１４：ＹＥＳ）、一対の外フラップＷ７の境界線Ｗ７ａの方向がＹ軸方向であると判定し（ステップＳ１４１５）、処理を終える。

一方、第４変数（ｒ４）の値が予め設定しておいた第４変数（ｒ４）に対する閾値の負の値より大きければ（ステップＳ１４１４：ＮＯ）、箱の向き決定部４０８は、一対の外フラップＷ７の境界線Ｗ７ａがないと判定し（ステップＳ１４９）、処理を終える。

かくして、このようにしても、一対の外フラップＷ７の境界線Ｗ７ａの方向を認識する処理を行うことができることとなる。

１ 移載対象ワーク向き認識システム
２ ロボット
３ 撮像部（三次元点群情報取得手段、撮像手段）
４ 情報処理装置
４０８ 箱の向き決定部
ＴＰａ 非透明テープ（テープ）
ＴＰｂ 透明テープ
ＴＰｃ 非透明テープ
Ｗ 箱（ワーク）

Claims (5)

1. 荷積みされた複数のワークの三次元点群情報を取得する三次元点群情報取得手段と、
   前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外形サイズを計測する計測手段と、
   前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外フラップ方向を認識する、或いは、前記三次元点群情報を出力可能な撮像手段による画像情報に基づいて、前記ワークの外フラップ方向を認識する認識手段と、
   前記認識手段が認識した前記ワークの外フラップ方向に基づき、前記ワークの向きを決定する向き決定手段と、
   前記向き決定手段が決定した前記ワークの向きに基づき、前記ワークを所定場所に荷下ろしするときの、当該所定場所に対する前記ワークの置き位置を決定する置き位置姿勢決定手段と、
   を有してなる移載対象ワーク向き認識システム。
2. 前記ワークの外形サイズを、所定のデータベースに予め登録しておかなくとも、前記計測手段は、前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外形サイズを計測し、前記認識手段は、前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外フラップ方向を認識してなる、或いは、前記三次元点群情報を出力可能な撮像手段による画像情報に基づいて、前記ワークの外フラップ方向を認識してなる請求項１に記載の移載対象ワーク向き認識システム。
3. 前記認識手段は、前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外フラップ方向を認識する方法、或いは、前記三次元点群情報を出力可能な撮像手段による画像情報に基づいて、前記ワークの外フラップ方向を認識する方法、を含む複数の方法で認識し、その認識結果に基づいて、前記ワークの外フラップ方向を認識してなる請求項１又は２に記載の移載対象ワーク向き認識システム。
4. 前記認識手段は、前記三次元点群情報取得手段にて取得した三次元点群情報に基づいて、前記ワークの外フラップ方向を認識する方法、或いは、前記三次元点群情報を出力可能な撮像手段による画像情報に基づいて、前記ワークの外フラップ方向を認識する方法、を含む複数の方法で認識する際の一つの方法として、前記ワークに貼着されているテープの位置を認識するにあたって、設置角度が異なる複数の撮像手段にて同じ地点の輝度値を抽出し、その抽出した輝度値の差を用いて、該テープの位置を認識してなる請求項１～３の何れか１項に記載の移載対象ワーク向き認識システム。
5. 前記認識手段にて、前記ワークの外フラップ方向が認識できなかった際、エラーと判定してなるエラー判定手段をさらに有してなる請求項１～４の何れか１項に記載の移載対象ワーク向き認識システム。

Images