WO2022254992A1

WO2022254992A1 - 角度検出方法、および角度検出システム

Info

Publication number: WO2022254992A1
Application number: PCT/JP2022/018427
Authority: WO
Inventors: 学橋本; 大祐福島
Original assignee: 村田機械株式会社; 学校法人梅村学園
Priority date: 2021-06-01
Filing date: 2022-04-21
Publication date: 2022-12-08
Also published as: JP2022184430A

Abstract

物品（２００）との距離を点データとして取得する検出器（１４０）を用い、略直方体状の物品（２００）の検出器（１４０）と対向する面を含む検出面部（２０１）の所定の鉛直面に対する角度を検出する角度検出方法であって、検出面部（２０１）の複数箇所の点データを点群として取得する点群取得工程と、点群取得工程により取得された点群から所定の高さ範囲内の点群を抽出するトリミング工程と、トリミング工程により抽出された点群に基づいて、検出面部（２０１）の角度を検出する角度検出工程と、を含む角度検出方法。

Description

角度検出方法、および角度検出システム

　本発明は、水平面に載置された略直方体状の物品の角度を検出する角度検出方法、および角度検出システムに関する。

　例えば特許文献１には、物品の三次元形状を示す点群を取得し、その点群に基づいて物体の位置や姿勢を決定する技術が記載されている。

特開２０１１－１７４８９１号公報

　ところが従来の技術では、物品の表面形状に基づくノイズが影響して物品の角度を精度よく検出できないという弊害があった。

　本発明は、上記課題に鑑みなされたものであり、水平面に載置された物品の角度を高精度に検出する角度検出方法、および角度検出システムを提供する。

　上記目的を達成するために、本発明の１つである角度検出方法は、水平面に載置される物品との距離を三次元的な複数の点データとして取得する検出器を用い、略直方体状の物品の前記検出器と対向する面を含む検出面部の所定の鉛直面に対する角度を検出する角度検出方法であって、前記検出面部の複数箇所の点データを点群として取得する点群取得工程と、前記点群取得工程により取得された点群から所定の高さ範囲内の点群を抽出するトリミング工程と、前記トリミング工程により抽出された点群に基づいて、前記検出面部の角度を検出する角度検出工程と、を含む。

　上記目的を達成するために、本発明の他の１つである角度検出システムは、物品との距離を三次元的な複数の点データとして取得する検出器と、略直方体状の複数の物品を水平面に載置して保管するラックと、物品の前記検出器と対向する面を含む検出面部の所定の鉛直面に対する角度を検出する角度検出装置とを備え、前記角度検出装置は、前記検出面部の複数箇所の点データを点群として取得する点群取得部と、前記点群取得部により取得された点群から所定の高さ範囲内の点群を抽出するトリミング部と、前記トリミング部により抽出された点群に基づいて、前記検出面部の角度を検出する角度検出部と、を備える。

　本発明によれば、物品の形状に起因するノイズの影響を抑制して物品の角度を高精度で検出することができる。

角度検出システムを示す斜視図である。角度検出システムの移載装置近傍を示す斜視図である。角度検出システムの機能構成を示すブロック図である。トリミングした結果を示す図である。角度検出部の処理の流れを示すフローチャートである。角度検出部の工程の各段階における処理状態を示す図である。投影画像の別例を示す図である。Ｌ字テンプレートのフィッティング状態を示す図である。

　以下、本発明に係る角度検出方法、および角度検出システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本発明を説明するために一例を挙示するものであり、本発明を限定する主旨ではない。例えば、以下の実施の形態において示される形状、構造、材料、構成要素、相対的位置関係、接続状態、数値、数式、方法における各段階の内容、各段階の順序などは、一例であり、以下に記載されていない内容を含む場合がある。また、平行、直交などの幾何学的な表現を用いる場合があるが、これらの表現は、数学的な厳密さを示すものではなく、実質的に許容される誤差、ずれなどが含まれる。また、同時、同一などの表現も、実質的に許容される範囲を含んでいる。

　また、図面は、本発明を説明するために適宜強調、省略、または比率の調整を行った模式的な図となっており、実際の形状、位置関係、および比率とは異なる。

　また、以下では複数の発明を一つの実施の形態として包括的に説明する場合がある。また、以下に記載する内容の一部は、本発明に関する任意の構成要素として説明している。

　図１は、角度検出システムを示す斜視図である。図２は、角度検出システムの移載装置近傍を示す斜視図である。角度検出システム１００は、ラック１１０に配置された物品２００の水平面内における姿勢を示す角度を検出するシステムであって、検出器１４０と、角度検出装置１５０（図１、図２において不図示）と、を備えている。本実施の形態の場合、角度検出システム１００は、搬入された物品２００を自動的に搬送して物品２００の保管位置へ物品２００を自動的に移載し、また保管位置から自動的に移載した物品２００を搬送することができる装置であり、搬送装置１２０と、移載装置１３０と、を備えたいわゆる自動倉庫に組み込まれている。

　角度検出システム１００の移載対象である物品２００は、略直方体状であれば特に限定されるものではない。略直方体状とは、平坦な矩形の六面で形成される形状を含み、またリブ状、フランジ状の突出、持ち手のような窪みや孔などを備える形状も含むものとして記載している。具体的に物品２００としては、段ボール箱、紙箱、木箱など表面に凹凸の形状を有さない平坦な表面性状を有する物品、コンテナ、トレー、折りたたみ可能なコンテナなど表面に凹凸の形状を有する表面性状の物品などを例示することができる。

　ラック１１０は、搬送装置１２０が移動する領域に面する物品２００の検出面部２０１が所定の配列方向（図中Ｘ軸方向）に沿うように並べて配置された略直方体状の複数の物品２００を保管する設備である。本実施の形態の場合、ラック１１０は、物品２００を水平面において載置する棚板１１１と、棚板１１１を支持する支柱１１２とを備えている。棚板１１１は、平板状であり物品２００を保管する位置は特に限定されない。ラック１１０は、同一形状の物品２００のみを保管してもよく、複数種類の形状の物品２００が混在した状態で保管してもよい。なお、図には搬送装置１２０の移動方向に視て一方の側方にラック１１０を記載しているが、両側方にラック１１０が配置されていてもかまわない。

　搬送装置１２０は、物品２００を保持して搬送する装置であって、検出器１４０が取り付けられるものであれば特に限定されるものではない。搬送装置１２０としては、物品２００を保持して床面上を自律的に走行する無軌道の無人搬送車、物品２００を保持してレールなどの所定の軌道に沿って走行する有軌道台車などを例示することができる。本実施の形態の場合、搬送装置１２０は、レール１２１と、レール１２１上を走行する台車１２２と、台車１２２に起立状に取り付けられ台車１２２とともに移動するマスト１２３と、物品２００を保持可能でありマスト１２３に沿って昇降する昇降台１２４とを備えたいわゆるスタッカクレーンである。

　移載装置１３０は、ラック１１０と搬送装置１２０の昇降台１２４との間で物品２００を移載する装置であり、水平面内において物品２００の配列方向（図中Ｘ軸方向）と直交する奥行方向（図中Ｙ軸方向）に物品２００を移動させて移載する。移載装置１３０の種類は、特に限定されるものではなく、例えば物品２００の対向する両側面を挟持して移載するもの、物品２００の奥側の面、手前側の面などに爪を引っ掛けて物品２００を滑らせながら移載するもの、物品２００をすくい上げて移載するもの等を例示することができる。

　本実施の形態の場合、移載装置１３０は、搬送装置１２０の昇降台１２４に取り付けられており、ラック１１０と昇降台１２４との間で物品２００を移載することができるものとなっている。なお、搬送装置１２０の両側方にラック１１０が配置されている場合、移載装置１３０はいずれの側のラック１１０のいずれに対しても物品２００を移載できるように構成される。

　検出器１４０は、物品２００における検出器１４０と対向する面を含む検出面部２０１の複数箇所と検出器１４０との間の距離を三次元的な複数の点データとして取得するセンサである。検出器１４０の種類は、特に限定されるものではないが、例えばＬｉＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサ、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラなどの三次元測距センサを例示することができる。

　検出器１４０が取り付けられる場所は、搬送装置１２０における一部であれば特に限定されないが、例えば物品２００が移載される箇所の近傍に取り付けられると、移載位置と物品２００との相対的な位置関係を正確に検出できるため好ましい。本実施の形態の場合、検出器１４０は、搬送装置１２０の昇降台１２４に取り付けられている。角度検出システム１００が備える検出器１４０の個数は、特に限定されるものではないが、本実施の形態の場合、物品２００の配列方向に並ぶ２台の検出器１４０を備えている。２台の検出器１４０の距離は、所定の密度以上の点データを取得でき、配列方向におけるラック１１０に保管される物品２００の想定される最長の幅、およびその両側に設定される隣り合う物品２００との隙間をカバーする領域を一度に検出できる距離の範囲を含むように設定される。本実施の形態の場合、検出器１４０は、昇降台１２４の幅方向（図中Ｘ軸方向）の両側部に一台ずつ取り付けられている。つまり、検出器１４０は、移載装置１３０によって移載される物品２００が通過する領域の両側にそれぞれ配置されている。これにより、物品２００が移載される領域とその近傍のラック１１０に保管される物品２００との位置関係を正確に検出することが可能となる。

　図３は、角度検出システムの機能構成を示すブロック図である。角度検出装置１５０は、物品２００の検出器１４０と対向する面を含む検出面部２０１の、所定の鉛直面に対する角度を検出する装置であって、プログラムをプロセッサーに実行させることにより実現される処理部として、点群取得部１５１と、トリミング部１７１と、角度検出部１７２と、を備えている。

　点群取得部１５１は、物品２００の検出面部２０１における複数箇所の点データを検出器１４０から点群として取得する。点データのデータ構造は、特に限定されるものではないが、例えば移載装置１３０に対する相対的な位置関係を示す三次元のデータを含んでいる。本実施の形態の場合、ラック１１０の棚板１１１における物品２００の配列方向（図中Ｘ軸方向）、検出面部２０１において配列方向に直交する鉛直方向（図中Ｚ軸方向）、および配列方向と鉛直方向のいずれにも直交する奥行方向（図中Ｙ軸方向）のデータを備えた直交座標系のデータを含んでいる。

　本実施の形態の場合、角度検出システム１００は、配列方向に並ぶ複数の検出器１４０を備えており、点群取得部１５１は、検出器１４０のそれぞれから点群を取得している。なお、点群取得部１５１は、複数の検出器１４０から取得した点群の重複している領域に含まれる点データを統計処理し、複数の検出器１４０の点群を一枚の画像となるように合成してもかまわない。これにより、配列方向において複数の物品２００の検出面部２０１に関する点データを一枚の画像として処理することが可能となる。なお、複数の検出器１４０の点群を１枚の画像に合成せず、各検出器１４０の点群に対応する画像を用いて処理結果を出し、その結果を合成するものであってもよい。

　図４は、トリミングした結果を示す図である。トリミング部１７１は、点群取得部１５１により取得された点群から物品２００が載置される平面を基準とした所定の高さ範囲内の点群を抽出するトリミング工程を実行する。具体的にトリミング部１７１は、点群取得部１５１から取得した点群から所定の高さ範囲内に含まれる点データを取り出す。所定の高さ範囲は、特に限定されるものではないが、例えばラック１１０に保管される物品２００の最小高さ（鉛直方向の長さ）の中央位置を含み、所定の高さを有する帯状の領域を例示できる。具体的には、第一閾値未満の鉛直方向（図中Ｚ軸方向）の値を有する点データを除外し、かつ第二閾値（＞第一閾値）より大の鉛直方向（図中Ｚ軸方向）の値を有する点データを除外する。つまり、第一閾値以上、第二閾値以下の範囲にある点データを抽出する。トリミング工程により所定の高さ範囲のデータにより無物品区間の検出を行うため、ラック１１０の棚板１１１による反射などの影響によるノイズ、物品２００の表面に設けられるリブ、フランジ、孔などの影響によるノイズを抑制する事ができ、検出面部２０１の角度に関する正確な点データを提供することが可能となる。また、点群のデータ量を抑制して次工程の処理の促進を図ることができる。

　角度検出部１７２は、トリミング部１７１により抽出された点群に基づいて、検出面部２０１の角度を検出する。図５は、角度検出部の処理の流れを示すフローチャートである。図６は、角度検出部の工程の各段階における処理状態を示す図である。

　角度検出部１７２は、トリミング部１７１によるトリミング工程（Ｓ１０１）で抽出された点群を鉛直方向に投影して図６の（ａ）に示す二次元の投影画像を生成する（Ｓ１０２、投影工程）。具体的には、各点データから鉛直方向（図中Ｚ軸方向）のデータを除外することにより二次元の投影画像を生成する。

　次に、角度検出部１７２は、投影画像に対しモフォロジー処理を実行し、荒い点として存在していた点データの間を補完して図６の（ｂ）に示すような物品２００の検出に対応する部分が一塊（図６の画像中における白色部分）となるようにデータを変更する（Ｓ１０３、モフォロジー工程）。本実施の形態の場合、角度検出部１７２は、モフォロジー処理として膨張と収縮とを繰り返すクロージング処理を行う。

　次に、角度検出部１７２は、モフォロジー処理が施された点データからノイズを除去する（Ｓ１０４、ノイズ除去工程）。本実施の形態の場合、角度検出部１７２は、ラベリング処理を行い一塊の点データを図６の（ｃ）中の白色矢印０－９に示すように相互に区別する。そして、所定の長さ閾値以下の一塊の点データはノイズであるとして除去する。これにより、図６の（ｄ）に示すような画像となる。

　次に、図６の（ｄ）に示す矢印の先の縦線に示すように、角度検出部１７２は、ラベリングされた一塊の点データのそれぞれの端部を除去する（Ｓ１０５、カッティング工程）。

　次に、角度検出部１７２は、図６の（ｅ）に示すように、端部がカットされた一塊の点データのそれぞれに対し直線フィッティングを行う（Ｓ１０６、フィッティング工程）。以上により、大きく変化する点データの並びを除外し、安定した点データの一塊に対して直線フィッティングを行うことができ、実際の物品２００の検出面部２０１の角度（傾き）に対応した直線をフィッティングすることが可能となる。

　最後に、フィッティング工程によりそれぞれ決定された直線について図６の（ｆ）に示すように、所定の鉛直面に対するそれぞれの角度（θ１、θ２、θ３、θ４）を検出する（Ｓ１０７、角度検出工程）。所定の鉛直面は特に限定されるものではないが、例えば、ラック１１０において物品２００を保管する部分の間口に平行な面を所定の鉛直面としてもよい。また、検出器１４０の撮像面に平行な面を所定の鉛直面としてもかまわない。

　以上の実施の形態に係る角度検出システム１００によれば、検出器１４０によって検出された点群に基づき、物品２００が載置される水平面から所定高さ範囲内の点群を抽出し、抽出された点群に基づき検出面部２０１の所定の鉛直面に対する角度を検出することで、検出面部２０１に存在する凹凸形状に起因するノイズを抑制する事ができる。従って、高精度で物品の表面の角度を検出することができる。

　また、検出器１４０から取得した三次元の点データを鉛直方向に投影した二次元データに落とした投影画像に対し直線フィッティングを行うことにより、水平面内における物品２００の姿勢を示す角度を正確に検出することが可能となる。

　また、投影画像に対し、モフォロジー処理、ノイズ処理等を実行することにより、投影画像における物品２００に対応する点データの塊が存在する範囲を適切に画像化することができ、直線フィッティングを高い精度で実行することが可能となる。

　なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。

　例えば、角度検出工程において、一塊の点データに対し直線フィッティングを行ったが、Ｌ字のテンプレートをフィッティングさせて検出面部の角度を検出してもかまわない。具体的には、上記実施の形態のトリミング工程（Ｓ１０１）において奥行方向の点群を残すようにトリミング処理を行い、ノイズ除去工程（Ｓ１０４）まで点群を処理した後、フィッティング工程（Ｓ１０６）において、図７に示すように、投影画像に現れる一塊の点データのコーナー（図７の円で囲まれた部分）と、Ｌ字テンプレートのコーナーとを合わせ、図８に示すように、所定の角度（例えば１°）刻みでＬ字テンプレート（図８中の黒色の線）を合わせたコーナーを中心に相対的に回転させて一塊の点データ（図８中の白色）とそれぞれフィッティングし、マッチングスコアの最も高いＬ字テンプレートの角度を、検出面部２０１の角度として検出してもかまわない。

　また、検出器１４０を複数備える場合を例示したが、検出器１４０は単数であってもかまわない。一つの検出器１４０の画角は、ラック１１０の棚板１１１に連続して三つ並ぶ物品２００の中央に位置する物品２００の幅に両側に存在する無物品区間の幅を加えた範囲を一度に検出できるものでもよい。

　また、鉛直面内において物品２００を自在に搬送する搬送装置１２０を例示したが、搬送装置１２０は、水平面内において物品２００を搬送する有軌道、または無軌道の搬送台車などであってもかまわない。

　また、水平方向、および鉛直方向に物品２００を二次元的に保管できるラック１１０を例示したが、ラック１１０は、搬送台車の走行する方向に沿って一次元的に物品２００を保管するものでもかまわない。

　本発明は、物品を搬送装置によって搬送し、ラックと搬送装置との間で物品を移載する自動倉庫、物流拠点、工場設備、箱やコンテナなどを積み上げるロボットなどに適用可能である。

１００　角度検出システム
１１０　ラック
１１１　棚板
１１２　支柱
１２０　搬送装置
１２１　レール
１２２　台車
１２３　マスト
１２４　昇降台
１３０　移載装置
１４０　検出器
１５１　点群取得部
１７０　角度検出装置
１７１　トリミング部
１７２　角度検出部
２００　物品
２０１　検出面部

Claims

　水平面に載置される物品との距離を三次元的な複数の点データとして取得する検出器を用い、略直方体状の物品の前記検出器と対向する面を含む検出面部の所定の鉛直面に対する角度を検出する角度検出方法であって、
　前記検出面部の複数箇所の点データを点群として取得する点群取得工程と、
　前記点群取得工程により取得された点群から所定の高さ範囲内の点群を抽出するトリミング工程と、
　前記トリミング工程により抽出された点群に基づいて、前記検出面部の角度を検出する角度検出工程と、
を含む角度検出方法。
　前記角度検出工程において、
　前記トリミング工程により抽出された点群を鉛直方向に投影して投影画像を生成し、前記投影画像に現れる点データに対しフィッティングにより得られた直線の傾きを、前記検出面部の角度として検出する、
請求項１に記載の角度検出方法。
　前記角度検出工程において、
　前記投影画像のノイズを除去したのち直線フィッティングを行う、
請求項２に記載の角度検出方法。
　前記角度検出工程において、
　前記投影画像に現れる一塊の点データの端部を除去したのち直線フィッティングを行う、
請求項２または３に記載の角度検出方法。
　前記角度検出工程において、
　前記トリミング工程により抽出された点群を鉛直方向に投影して投影画像を生成し、前記投影画像に現れる点データに対しＬ字テンプレートをフィッティングし、フィッティングされたＬ字テンプレートの直線部の傾きを、前記検出面部の角度として検出する、
請求項１に記載の角度検出方法。
　物品との距離を三次元的な複数の点データとして取得する検出器と、
　略直方体状の複数の物品を水平面に載置して保管するラックと、
　物品の前記検出器と対向する面を含む検出面部の所定の鉛直面に対する角度を検出する角度検出装置とを備え、
　前記角度検出装置は、
　前記検出面部の複数箇所の点データを点群として取得する点群取得部と、
　前記点群取得部により取得された点群から所定の高さ範囲内の点群を抽出するトリミング部と、
　前記トリミング部により抽出された点群に基づいて、前記検出面部の角度を検出する角度検出部と、
を備える角度検出システム。