JP6341264B2

JP6341264B2 - 堆積物体の認識方法、装置、及び機器による選別システム

Info

Publication number: JP6341264B2
Application number: JP2016240947A
Authority: JP
Inventors: ホアイシヌション
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-12-15
Filing date: 2016-12-13
Publication date: 2018-06-13
Anticipated expiration: 2036-12-13
Also published as: CN106887006A; CN106887006B; JP2017111814A

Description

本発明は全体的に画像と音声の処理分野に関し、具体的には堆積物体の認識方法、装置、及び機器による選別方法に関する。

視覚に基づく自動化技術の発展につれ、大量の自動化システムと装置は多くの分野に応用し始め、例えば果物の品質選別・錠剤計測と認識・細胞解析などである。特に、ロボット掴みという技術は次第に試験室から出て産業生産ラインに応用され、作業者が複雑且つ重負荷作業から解放されることになる。通常、ロボットアームによって把持され得る品物は電気機械部・食品と農産品などが含まれる。

ロボットが散らかる堆積物体から各単一物体を認識できるために、通常の方法としてはテンプレートマッチング法・形状計測法などが挙げられるが、そういった方法はいずれも不規則物体の認識に向かず、例えば油上げたチキンナゲットの掴みなどである。不規則な形状の物体に対して、最も実行可能な方法は当該不規則な形状の物体を含む画像から直接各物体を分割し且つ掴み可能な位置を決定することである。

既に分層技術を用いて散らかる堆積物体から最上層の物体を取り出し且つ最上層の各物体の位置を決定することにより、後続の掴みに用いる方法を提供する。しかし、従来分層技術において、いずれも単一の全局所領域閾値を用いて最上層の画像を取得し、ただしその単一の閾値分層方法は物体同士の凝着問題を処理する時に往々として効果が高くなく、とりわけ上層物体が下層物体との凝着が激しい場合、堆積物体の最上層を正確に分割しにくい。それは堆積物体における物体がいずれも自由に堆積し、次から次へと大きく並び、一層ごとに重ねるという規則で堆積されるわけではないため、且つ各単一物体自体の大きさと放置位置と向きなども異なり、単一の閾値を介して分層を行っては最上層の物体を正確に分割し且つその中の単一物体を決定しにくい。

本発明は、以上のような問題点に鑑みて提供されたものである。

本発明の実施例においては、堆積物体の深さ図を取得するステップと、前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、を含む堆積物体の認識方法を提供する。

本発明の実施例においては、堆積物体の深さ図を取得する画像取得部と、前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する位置決定部と、K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割する分割部と、K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得る融合部と、予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する認識部と、を含む堆積物体の認識装置を提供する。

本発明の実施例においては、プロセッサーと、メモリーと、前記メモリーに記憶され、且つ前記プロセッサーに作動される時に、堆積物体の深さ図を取得するステップ、前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップ、K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップ、K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップ、予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップ、を実行するコンピュータープログラムコマンドと、認識した頂部物体層に含まれる物体を掴むことに用いるマニピュレーターと、を含む堆積物体の機器による選別システムを提供する。

本発明の上記方面に基づく堆積物体の認識方法・装置と機器による選別システムは、不規則な凝着性物体の効果的な分割を実現させ、堆積物体の頂部に位置する複数の物体を正確に認識し、散らかる堆積物体から単一物体を認識し且つ掴む効率を大幅に向上させることができる。

添付図を結合することにより、本発明の実施例にさらなる詳細な説明を行い、本発明の上記及び他の目的・特徴と優位性はより顕著になり、添付図は本発明の実施例に更なる理解を深めることに用い、且つ説明書の一部を構成し、本発明の実施例とともに本発明の解明に供することに用い、且つ本発明を限定することがない。添付図において、同一の参考記号は通常同一の部又はステップを表す。
複数の物体の表示例堆積状況を示す図である。は、第一閾値を用いて抽出する堆積物体における頂部物体層の画像に分割を行った後の表示例結果を示す図である。は、第二閾値を用いて抽出する堆積物体における頂部物体層の画像に分割を行った後の表示例結果を示す図である。は、図1(b)と図1(c)の分割結果に融合し且つ物体認識後の表示例結果を示す図である。本発明の実施例による堆積物体の認識方法を示すフローチャートである。本発明の実施例による候補物体融合を行う一つの非限定性の具体的な表示例を示す図である。本発明の実施例による候補物体融合を行う一つの非限定性の具体的な表示例を示す図である。本発明の実施例による候補物体融合を行う一つの非限定性の具体的な表示例を示す図である。堆積物体の深さ図を例示する図である。第一分割位置を用いて図4(a)に示す深さ図から抽出する第一頂部物体層の深さ図を例示する図である。図4(b)に示す第一頂部物体層の深さ図に物体分割を行った後に得た頂部物体層における候補物体を例示する図である。第二分割位置を用いて図4(a)に示す深さ図から抽出する第二頂部物体層の深さ図を例示する図である。図4(d)に示す第二頂部物体層の深さ図に物体分割を行った後に得た頂部物体層における候補物体を例示する図である。図4(c)と図4(e)に示す分割して得る候補最上層物体に対して融合処理を行った後に認識された最上層物体を示す図である。本発明実施例の堆積物体の認識装置の機能配置を示すブロック図である。本発明の実施例の実現に応用可能な堆積物体の認識技術の機器による選別システムを示すブロック図である。

以下、本発明の実施例における添付図を結合し、本発明の実施例における技術的解決手段に明確・完全な解明を行い、明らかに記載の実施例はすべての実施例ではなく、本発明の一部の実施例のみである。本発明の実施例に基づき、当業者が創造的な労働を行うことなく得るすべての他の実施例は、いずれも本発明の保護範囲に属する。

まず、本発明の実施例に基づく堆積物体の認識技術の基本的な構想に簡単な説明を行う。前記のように、単一の頂部物体層閾値を用いて最上層の画像を取得しては、物体同士の凝着問題を解決する場合に往々として効果が高くない。そのため、本発明の実施例において、複数の頂部物体層閾値を用いて複数の頂部物体層画像を抽出し、且つ抽出した頂部物体層画像にそれぞれ各自の物体分割を行い、その後各物体分割結果を融合することにより、複数の異なる頂部物体層画像の関連性に基づいて最上層物体分割結果における局所的な凝着を取り除く。例えば、図1（a）-1(c)は当該基本的な構想を用いて物体認識を行う例示状況を示唆的に示し、図1（a）に示すように、6個の小球がともに重なって3層を形成するとしたら、マニピュレーターが最上層の小球を取るために、例えば最上層小球の分層に用いる2つの深さ閾値「A」と「B」を用いることにより、頂部物体層の画像を抽出する。図1（b）は閾値Aを用いて抽出する頂部物体層の画像に分割を行った後の結果である。図1(c)は閾値Bを用いて抽出する頂部物体層の画像に分割を行った後の結果である。図1(c)は閾値Bを用いて抽出する頂部物体層の画像に分割を行った後の結果である。図1（b）と図1(c)における同一の図形（深色楕円形）の一部はそれらが一つの連通する全体を表し、異なる図形の一部は異なる物体を表す。同一の部分を合併する方法に基づいて図1（b）と図1(c)の分割結果を融合としたら、図1(d)に示すように凝着を取り除くことに成功し、それによって最上層の小球を他の部分から分割する。

唐揚げは食品自動化機械コンベアにおいて最も配送する食品の一つ、唐揚げは典型的不規則な物体であり、且つ複数の唐揚げはともに重なる時、色合いが近く、形状が不規則になるため、視覚上で凝着して見分けにくい状態になりやすい。下記の文章は唐揚げを例にし、本発明の実施例に基づく堆積物体の認識技術に詳しい説明を行う。

図2は本発明の実施例による堆積物体の認識方法を示すフローチャートである。

図2に示すように、ステップS210において、堆積物体の深さ図を取得する。

本発明の実施例において、前記深さ図は堆積物体の頂部から撮影して得る深さ図である。当該ステップにおいて、任意方式を介して堆積物体の当該深さ図を取得してもよい。例えば、外部装置で撮影して得る深さ図を外部から入力してもよく、また機器による選別システムに配置する三次元カメラを介して自主で深さ図を撮影して得てもよい。

ステップS220において、前記深さ図に基づいて堆積物体の頂部物体層におけるK個の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する（Kは2以上の整数である）。

本発明の実施例において、K個の分割位置の深さ値は順次逓増し、且つその中の第一分割位置の深さ値L1が最小である。各種の適切な方法を介して当該第一分割位置の深さ値L1を決定してもよい。例えば、堆積物体における単一物体の平均高さ（当該平均高さは既知である）を決定し、且つ深さ図における堆積物体の最高点と当該平均高さに基づいて第一分割位置の深さ値L1を決定してもよい。具体的には、深さ図における堆積物体の最高点の深さ値（すなわち深さ図における最小深さ値）に単一物体の平均高さを加えた後に取得する深さ値を第一分割位置の深さ値L1としてもよい。好ましくは、当該方式を介して取得する第一分割位置にさらなる修正を行ってもよい。例えば、物体分層位置が通常深さヒストグラムを生成し、且つ生成する深さヒストグラムにおいて、上記方式を介して取得する第一分割位置の周辺の設定範囲内における谷間点の深さ値を取得し、修正後の第一分割位置の深さ値L1’としてもよい。具体的には、以下の最大化を求める比較演算子の数式1に従って前記修正を行ってもよい。

h_kは深さヒストグラムにおける第K個の深さ統計値であり、nとaは事前に設定した窓の半径である。数式1に従って[L1-a,L1+a]という範囲内において深さヒストグラムにおける一つの谷間点を修正値L1’とし、その谷間点は2側の最大化する比較差を有し、修正値L1’を第一分割位置の深さ値としてもよい。

第一分割位置を決定した後、他のK-1個の分割位置を任意に決定してもよく、L1<L2・・・Lk、すなわちK個の分割位置の深さ値が順次逓増すればよい。簡単に、Li=L1+a×(i-1)×Ohにしてもよい（Ohは単一物体の平均高さ、aは0より大きくて1より小さい任意の定数である）。

堆積物体の頂部物体の平均高さを決定した後、当該K個の分割位置に基づいて深さ図からK個の頂部物体層の深さ図を抽出してもよい。さらに明確に言えば、各確定する分割位置に、深さ図における深さ値が当該分割位置の深さ値の画素を保留し、且つ深さ図における深さ値が当該分割位置より大きい深さ値の画素をゼロにする分層操作を行うことにより、前記深さ図から当該深さ図と同一寸法を有する頂部物体層の深さ図を抽出してもよい。

ステップS230において、K個の頂部物体層の深さ図にそれぞれ物体分割を行うことにより、前記頂部物体層から候補物体を分割する。

なお、ステップS230における上記分層操作を介し、各頂部物体層の深さ図においていずれも最上層物体のみを含み、それによって堆積物体の分割認識課題は平たん敷く凝着する物体の分割認識課題に変換する。本分野においてすでに多くの平たん敷く凝着する物体の分割認識に応用可能な方法が存在し、ここで任意の適切な方法を用い、K個の頂部物体層の深さ図にそれぞれ物体分割を行ってもよい。本発明の実施例において、K個の頂部物体層の分割結果の間に良好な関連性を確保するために、K個の頂部物体層の深さ図に各自の物体分割を行う時に同一の物体分割方法を用いる。同一の物体分割方法を用いるとは、K個の頂部物体層の深さ図に分割操作を行う時、同一の分割アルゴリズム・分割パラメーター・同一の前処理ステップ（ある場合）を用いる。その一方で、頂部物体層の深さ図に分割操作を行うとは必ずしも当該頂部物体層の深さ図を処理対象として物体分割を行うことを意味するわけではなく、当該頂部物体層の深さ図に対応するグレースケール（カラー）チャートを処理対象として物体分割を行ってもよく、上記の関連性を確保するため、K個の頂部物体層の深さ図に各自の物体分割を行う時に同一の画像ソースから来たK個の頂部物体層の画像（すなわち前記K個の頂部物体層の深さ図、或いはそれぞれ当該K個の頂部物体層の深さ図に対応し、堆積物体のグレースケール（カラー）チャートから抽出するK個の頂部物体層のグレースケール（カラー）チャート）を処理対象として分割を行ってもよい。

次の文章において、説明の完全性のためのみで、本実施例に使用するK個の頂部物体層の深さ図にそれぞれ物体分割を行うことにより、前記頂部物体層から候補物体の例示方法を介し、簡単な記述を行う。当該例示方法において、各頂部物体層の深さ図にはいずれも分水嶺アルゴリズムを用いて物体の分割認識を行う。分水嶺アルゴリズムは通常のエリアに基づく分割方法であり、それは画素とエリアの相似性を計測することにより、一枚の画像を複数の相互に重合しないエリアに分割し且つ大体物体境界の情報を保持することができ、そのため不規則な物体の分割に広範に応用される。分水嶺アルゴリズムにおいて、画像が地形図と見なされ、分割が集水盆地と分水嶺線を探すことにより、実現される。

具体的には、当該例示方法において、各前記頂部物体層の深さ図に以下の処理を実行する。(a).当該頂部物体層の深さ図に対応する頂部物体層の地形図を生成し、(b).前記地形図において初期クラスタリングエリアを定め、(c).分水嶺アルゴリズムを利用して地形図の各水位線において、水位線が最低水位に降下するまで、前記初期クラスタリングエリアに増長を行い、(d).各増長後の初期クラスタリングエリアには一つの物体が含まれるか否かを確かめ、判定結果がはいの場合、各増長後の初期クラスタリングエリアを一つの認識した候補物体とし、さもないと一つ以上の物体の増長後の各初期クラスタリングエリアに、前記地形図において当該増長後の初期クラスタリングエリアに対応する部分を被分割地形図とし、且つ当該被分割地形図において改めて少なくとも二つの初期クラスタリングエリアを定め、(e).各被分割地形図に、各増長後のクラスタリングエリアにいずれも一つの物体が含まれることになるまで、処理(c)と(d)を繰り返して実行する。

地形図(Topographic image)は図形と画像処理分野における新たなデータ変換ドメインの図形であり、それは「高い」「低い」概念のエリアを有し、これはそれを山地地形の表面に見える。地形図の典型的な代表としては勾配幅図・距離図・及び深さ図などを含む。ここで、距離図を用いて地形図として本例示方法に記述を行う。

距離図及びグレースケール図又は深さ図を距離図に変換するのはいずれも本分野における通常の画像処理手段であり、ここで理解の利便性を図るために、次のように簡単に説明する。具体的には、処理(a)において、まず頂部物体層の深さ図を二値画像に変換することにより、前景画像（分層抽出を経た後に深さ値が0より大きい部分さえすれば前景と見なす）を分割し、その後当該前景画像に距離変換を行って距離図を得てもよい。好ましくは、また頂部物体層の深さ図を用いてマスクパターンとして堆積物体のグレースケール図（カラー図）から当該頂部物体層の深さ図に対応するグレースケール図（カラー図）を抽出してもよく、その後当該グレースケール図（カラー図）に前景分離の二値化操作を経た後にさらに距離図に変換する。

一枚の二値画像は目標物体と背景の二種類の画素のみを含むことを見なしてもよい（目標物体の画素値は1、背景の画素値は0である）。距離変換は二値画像処理と操作における通常の手段であり、それは目標の細分化・フレームワーク抽出・形状補間値及びマッチング・凝着性物体の分離などに広範に応用される。距離変換の結果は別の一枚の二値画像ではなく、一枚のグレースケール図、すなわち距離図である。なお、距離図を用いて地形図とする時、距離図における各画素の数値が地形における高さに対応し、当該点の地形における海抜を表す。

上記初期クラスタリングエリアは複数の連通する画素点がクラスタリングしてなるブロック状エリアであり、それは前景画像に位置し、各被分割物体の種子点を表す。さらに明確に言えば、理想的な状況で、一つの初期クラスタリングエリアは一つの被分割物体の種子点に対応する。処理(b)において、設定閾値を用いて前記地形図に二値化を行うことにより、初期クラスタリングエリアを定め、そのうち前記設定閾値は被分割物体の形状・大きさなど先験的知識に基づいて決定し、それによりなるべく当該設定閾値がちょうどすべての被分割物体を定めるようにする。

処理(c)において、分水嶺アルゴリズムを用い、水位が高所から最低水位まで降下することを模擬し、且つ水位の降下過程において、エリア増長処理を行う。分水嶺アルゴリズムは騒音に敏感で過度分割を引き起こしやすく、その問題に対し、当該処理(c)において、処理(a)において生成する地形図に対し、各水位線において定め済みの初期クラスタリングエリアのみに増長を行い、水位の降下過程において新たに生じる、初期クラスタリングエリア以外の他の孤立なエリアに増長を行わない。それにより、増長過程において新規のエリアを導入せず、最終的に増長して得るエリア（分割した物体に対応する）の数字は、最初に定める初期クラスタリングエリアの数字である。初期クラスタリングエリアの数字は制御可能であるため、分割結果も制御可能であり、それによって過度分割の発生を回避することができる。水位線が最低水位まで降下する時、各増長が得るエリアは最上層物体の分割結果を構成する。

上記の分割結果は初期クラスタリングエリアの定めに依存し、そのため初期クラスタリングエリアの定めが不正確な場合、物体分割結果の正確性に影響を及ぼす。その問題に鑑み、分割結果の正確性に検証と改善を行う。具体的には、処理(d)において、各増長後の初期クラスタリングエリアに対し、被分割物体の形状・寸法など先験的知識に基づいてそれが一つ以上の物体を含むか否かを判定し、判定結果が一つ以上の疑似凝着部分を含むことになる場合、地形図における当該増長後の初期クラスタリングエリアに対応する部分を被分割地形図とし、且つ当該被分割地形図において改めて少なくとも二つの初期クラスタリングエリアを定める。その後、各被分割の地形図に対し、処理(c)と(d)を繰り返して実行し、すなわち分水嶺アルゴリズムを利用して各水位線において、水位線が最低水位に降下するまで、初期クラスタリングエリアを繰り返して実行し、及び各増長後の初期クラスタリングエリアが一つの物体を含むまで、各増長後の初期クラスタリングエリアに対してそれが一つ以上の物体を含むか否かを判定する。なお、実際に当該重複過程はイテレーション分割過程であり、各処理(d)において一つ以上の物体を含むと判定されるエリアに対し、いずれも初期の地形図から対応部分を取り出し、且つ各増長後の初期クラスタリングエリアが一つの物体のみを含み、すなわちすべての物体がいずれも分割されるようになるまで、独立の入力としてイテレーション分割に入る。

好ましくは、上記の処理を介してすべての物体部分を分割した後、さらに被分割物体の形状・大きさなど先験的知識に基づいて各増長後の初期クラスタリングエリアが候補物体であるか否かを検証する。具体的には、例えばフーリエ記述子の低周波数係数を用い、機器学習方法など通常方法を結合することにより、各増長後の初期クラスタリングエリアが被分割物体の形状・大きさなど先験的知識に合致するか否かを検証し、合致する場合にすなわち当該増長後の初期クラスタリングエリアを頂部物体層における候補物体と認識し、さもないとそれが頂部物体層の候補物体ではないと見なす。

上記の記述において、距離図を用いて地形図とし、これは一種の例示のみ、本発明に対する制限ではない。例えば、深さ図そのものも一種の典型的な地形図であるため、上記処理(a)において、また直接頂部物体層の深さ図を頂部物体層の地形図としてもよく、且つ後続の各処理も同様に実行してもよい。ステップS240において、ステップS230を介して得るK個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得る。

上記の同様の物体分割方法を用いてK個の頂部物体層の深さ図に物体分割を行う分割結果の間は良好な関連性を有する。具体的には、異なる頂部物体層の深さ図の物体分割結果に対してわずかの差を有する。例えば、物体Aに対し、分割位置Liに基づいて深さ図から抽出する第i個の頂部物体層の深さ図に対する場合、それが対応する分割エリアはR、それでは分割位置L(i+1)に基づいて深さ図から抽出する第i+1個の頂部物体層の深さ図に対し、それが対応する分割エリアは4種の状況のみを有し、それぞれR、R+、R_、又はR+である（R+はエリアRの上で増加があることを表し、ほかの物体はRに凝着することを意味し、R_はエリアRの上で減少があることを表し、(R-(R_))という部分が取り除かれ、或いは他の物体に分割される可能性が大を意味し、R+はエリアRの上で増加する部分に減少する部分も有する）。前記物体融合とは、各分割結果において同一物体に対応する同一エリア部分を合併し、同時に各分割結果における異なるエリア部分を保留することである。例えば、表現式(2)は上記の4種の状況に対し、各分割結果において同一の物体に対応する同一のエリア部分を合併する結果を示す。

状況 1: RnR =R （不変に保つ）
状況 2: RnR+ =R （不変に保つ）
状況 3: Rn R_ =R （凝着を取り除く）
状況 4: Rn R+ =Rn(R+)n(R_)=R_（凝着を取り除く）…(2)
上記のように、いずれの状況にもかかわらず、物体融合を介して凝着を取り除いて分割結果を改善することができ、少なくとも結果の凝着状況を悪化させない。

当該ステップS240において、K個の物体分割結果における候補物体に融合を行うことにより、融合後の候補物体を得る。融合を行う時、一括してすべてのK個の物体分割結果における候補物体に融合を行ってもよく、また分割位置に基づいて抽出する第k個の頂部物体層における深さ図の分割結果（以下最下層の分割結果と略称）に基づいて始まり、分割位置L1に基づいて抽出する第1個の頂部物体層における深さ図の分割結果（以下第一層の分割結果と略称）に対するまで、順に上へ逐次に分割結果の融合を行ってもよく、また必要に応じて毎回多層の分割結果を融合し、何回もの融合を介して後方物体の融合を完成してもよい。本発明の実施例において、一括してすべてのK個の物体分割結果における候補物体に融合を行うことを例にして説明を行う。

一種の例示の具体的な実現方式とし、当該ステップにおける候補物体の融合は以下の処理を介して実現させることができる。(i)各前記物体分割の結果に、その中の各候補物体の分割境界線を決定し、(ii)K個の前記物体分割結果におけるすべての分割境界線に合併操作を行い、(iii)前記合併操作を介して得る各閉鎖且つネストなしの境界線が取り囲むエリアを一つの融合後の候補物体とする。図3(a)-(c)は図1(a)が例示する堆積小球に対して上記処理を用いて最上層小球における候補物体融合を行う一つの不限定性の具体的な表示例を示す。利便性を図り、図3(a)-(c)に示す表示例において、Kは2に等しいとしたら、2個の分割深さ値を用いて頂部物体層を分割し且つ前記処理を介して第一層の物体分割の結果と第二層の物体分割の結果を得る。

具体的には、図3(a)は第一層の分割結果における各候補物体の分割境界線を示し、図3(b)は第二層の分割結果における各候補物体の分割境界線を示す。図3(c)は図3(a)に示す分割境界線と図3(b)に示す分割境界線に合併操作を行った結果を示す。図3(c)において計5個の閉鎖且つネストなしのエリアを見られ、換言すれば、融合操作を介して5個の融合後の候補物体を得る。

もう一つの表示例の具体的な実現方式とし、当該ステップにおける候補物体の融合はまた以下の処理を介して実現してもよい。(a)各物体分割の結果において、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、その中の異なる分割エリアに異なる記号を配分し、(b)各物体分割の結果を一つの記号行列に保存し、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント数値は当該頂部物体層の深さ図に対応する位置における画素が属する分割エリアの記号である。(c)マッピング関係 Combien_i=f(E_1i, E_2i,…E_Ki)に基づいて前記記号行列に融合を行い（E_1i, E_2i,…E_KはそれぞれK個の記号行列の位置iにおけるエレメント数値であり、Combien_iは融合後の記号行列の当該位置iにおけるエレメント数値であり、fはマッピング関数であり）、且つ当該マッピング関数は、E_1a=E_1b, E_2a=E_2b, …、且つE_Ka=E_Kbの場合のみ、f(E_1a, E_2a, …EKa)=f(E_1b, E_2b, … E_Kb)を満たし、(d)融合後の記号行列に対応する融合後の分割結果を決定することにより、融合後の候補物体を得る。

ステップS230における処理を介し、各頂部物体層の深さ図に対し、物体分割の結果を取得し、当該分割の結果における各増長後の初期クラスタリングエリアは各分割した物体を表し、他のエリアは背景を表す。処理(a)において各前記エリアに記号を付け、且つ異なるエリアに異なる記号を配分する。通常、配分する記号は1から始まる連続的な自然数である。

マッピング関係Combien_i=f(E_1i, E_2i,…E_Ki)におけるマッピング関数fは任意の適切なマッピング形式を用いてもよく、それは処理(c)に示す条件さえ満たせばよい。例えば、利便性を図るためKが2に等しい(すなわち2個の分割深さ値を用いて頂部物体層を分割する)ことを例にし、一つの表示例とし、当該マッピング関数fの可能な実現方式は、Combine_i=E_1i*N+E_2i（Combine_iは融合後の記号行列の位置iにおけるエレメント数値であり、E_1iとE_2iは第一記号行列と第二記号行列の位置iにおけるエレメント数値であり、Nは第二記号行列に保存する物体分割の結果における分割エリアの数字より大きい任意の整数である）。もう一つの表示例とし、当該マッピング関数fのもう一つの実現方式は早見表の形式である。具体的には、エレメントに対して(E1i, E2i)に早見表fをつくり、早見表fにおける各エレメントは対応するエレメントサンプリングに0から自然数で増長し、早見表fにf(0,0)が0に対応し、早見表fにおける最大サンプリングは融合後の記号行列における最大記号を表す。

融合後の記号行列は同様に一種の分割結果に対応し、すなわち融合後の分割結果に対応する。そのため、融合後の記号行列を得た後、操作(d)においてK個の物体分割の結果における候補物体に融合操作を行って得る融合後の候補物体を決定してもよい。

ステップS250において、事前に決定した堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する。

当該ステップにおいて、事前に決定した堆積物体の大きさ及び／または形状情報に基づいて認識を行うことにより、不完全な候補物体などを取り除き、最終的に正確な物体を保留し、すなわち頂部物体層に含まれる物体を認識する。当該認識を行う時、フーリエ記述子などの低周波数係数を用いて物体の近似外輪郭を表し、機器学習方法を用いて各融合後の候補物体が効果的な物体か否かを決定してもよく、それらはいずれも本分野における通常の技術的手段、ここではそれ以上詳細に説明しない。

上記はすでに添付図を参照しながら、本発明の実施例に基づく堆積物体認識方法を記述する。理解できることは、次は図4(a)-(f)を参照しながら、具体的な表示例を結合し、本発明の実施例に基づく堆積物体認識方法の表示例実現に記述を行う。図4(a)-(f)は本発明の実施例に基づく堆積物体認識の一つの例示状況を例示する。

図4(a)は取得する堆積物体（唐揚げ）の深さ図を例示する。図4(b)と4(d)はそれぞれ第一分割位置L1を用いて当該深さ図から抽出する第一頂部物体層の深さ図と第二分割位置L2を用いて当該深さ図から抽出する第二頂部物体層の深さ図を示す。図4(c)は第一頂部物体層の深さ図4(b)に物体分割を行って得る頂部物体層における候補物体を例示する。図4(c)に示す物体分割の結果において、一つのエリア注記のみは候補最上層のチキンナゲット、すなわち一つの候補最上層のチキンナゲットを認識し、図4(b)の上部から突き出す孤立部分は事実上で下層のチキンナゲットに属し、それは図4(c)において候補最上層のチキンナゲットと認識されないと見られる。図4(e)は第二頂部物体層の深さ図4(d)に物体分割を行った後に得る頂部物体層における候補物体を例示する。図4(e)において3種のエリアを注記し、すなわち三つの候補最上層チキンナゲットを認識するとわかる。図4(f)は図4(c)と図4(e)に示す分割して得る候補最上層チキンナゲットに融合処理を行った後に最上層チキンナゲットを認識する。図4(c)・4(c)と4(f)に対比し、融合処理を介し、4(c)・4(e)に示す凝着付き分割結果における凝着が孤立され、且つその後認識処理を経て取り除かれ、そのため最終的にチキンナゲットを認識するとわかる。

上記はすでに添付図を結合して本発明の実施例に基づく堆積物体の認識方法を詳しく記述する。当該方法において、複数の閾値を用いて堆積物体の最上層の画像を取得し、各最上層の画像に各自の物体分割を行い、及び複数の物体分割結果に融合を行うことにより、物体の凝着問題を効果的に解決し、それにより不規則な凝着性物体の効果的な分割を実現させ、堆積物体の最上層における複数の物体を正確に認識し、機器システムが散らかる堆積物体から物体を認識し且つ掴む効率を大幅に向上させることができる。

なお、上記の記述において、特に不規則な凝着性物体に、本発明の実施例に基づく堆積物体の認識方法を記述するにもかかわらず、それは本発明に対する制限なわけでない。本発明の実施例に基づく上記堆積物体の認識方法は規則な物体又は非凝着性物体に対しても、同様に適用する。

次の添付図5は本発明実施例における堆積物体の認識装置を記述する。図5は本発明の実施例に基づく堆積物体の認識装置の機能配置ブロック図を示す。図5に示すように、堆積物体の認識装置500は、画像取得部510・位置決定部520・分割部530・融合部540及び認識部550を含んでもよい。前記各部の具体的な機能と操作は、上記図1-4に記述することとほとんど同じ、そのため重複を避けるため、以下、前記装置に簡略な記述のみを行い、同一の細部に対する詳細な記述を省く。

画像取得部510は堆積物体の深さ図を取得する。本実施例において、深さ図は堆積物体の頂部から撮影して深さ図を得る。画像取得部510は任意の方式を介して堆積物体の当該深さ図を取得してもよい。

位置決定部520は深さ図に基づいて堆積物体の頂部物体層におけるK個の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する（Kは2以上の整数である）。

本実施例において、K個の頂部物体層の深さ値は順次逓増し、且つそのうち第一分割位置の深さ値L1は最小である。位置決定部520は各種の適切な方式で当該第一分割位置の深さ値L1を決定してもよい。例えば、堆積物体における単一物体の平均高さを決定し、且つ深さ図における堆積物体の最高点と当該平均高さに基づいて第一分割位置の深さ値L1を決定してもよい。具体的には、深さ図における堆積物体の最高点の深さ値（すなわち深さ図における最小深さ値）に単一物体の平均高さを加えた後に得た深さ値を第一分割位置の深さ値L1とする。好ましくは、当該方式を介して得る第一分割位置にさらなる修正を行ってもよい。例えば、深さ図の深さヒストグラムを生成し、且つ生成する深さ図の深さヒストグラムにおいて、上記方式を用いて取得する第一分割位置の周辺における設定範囲内の谷間点の深さ値を取得し、修正後の第一分割位置の深さ値L1’とする。第一分割位置を決定した後、他のK-1個の分割位置を任意に決定してもよく、L1<L2…<Lkさえ満たせばよく、すなわちK個の分割位置の深さ値は順次逓増すればよい。

堆積物体の頂部物体層におけるK個の分割位置を決定した後、位置決定部520は当該K個の分割位置に基づいて深さ図からK個の頂部物体層の深さ図を抽出してもよく、そのうち各前記頂部物体の深さ図と前記深さ図は同一の寸法を有する。

分割部530はK個の頂部物体層の深さ図にそれぞれ物体分割を行うことにより、前記頂部物体層から候補物体を分割する。なお、位置決定部520の上記分層操作を介し、各頂部物体層の深さ図にいずれも最上層物体のみを含み、それにより堆積物体の分割認識問題は平たん敷く凝着する物体の分割認識問題に変換する。K個の頂部物体層における深さ図の分割結果の間に良好な関連性を持たせることを確保するために、K個の頂部物体層の深さ図に各自の物体分割を行う時、分割部530は同一の物体分割方法を用いる。同一の物体分割方法を用いるとは、K個の頂部物体層の深さ図に分割操作を行う時、同一の分割アルゴリズム・分割パラメーター・同一の前処理ステップ（ある場合）を用いることを指す。その一方、頂部物体層の深さ図に物体分割を行うとは、必ずしも当該頂部物体層の深さ図を処理対象として物体分割を行うわけではなく、当該頂部物体層の深さ図に対応するグレースケール（カラー）図を処理対象として物体分割を行うこともできるということであり、ただ上記の関連性を確保するために、K個の頂部物体層の深さ図に各自の物体分割を行う時、分割部530は同一の画像ソースから来たK個の頂部物体層の画像を処理対象として分割を行う。本分野においてすでに多くの平たん敷く凝着する物体の分割認識方法を有し、ここで分割部530は任意の適切な方法を用いてK個の頂部物体層の深さ図にそれぞれ物体分割を行ってもよい。例えば、分割部530は各頂部物体層の深さ図にいずれも分水嶺アルゴリズムを用いて物体の分割と認識を行ってもよい。

融合部540はK個の前記物体分割結果における候補物体に融合を行うことにより、融合後の候補物体を得る。物体融合とは各分割結果における同一の物体に対応する同一のエリア部分を合併し、同時に各分割結果における異なるエリア部分を保留することを指す。分割部530は同一の物体分割方法を用いてK個の頂部物体層の深さ図に物体分割を行う分割結果の間は良好な関連性を有し、具体的には、異なる頂部物体層の深さ図に対する物体分割結果は少しの差異のみを有する。融合部540は当該関連性が物体融合を介して凝着を取り除いて分割を改善する結果を利用し、少なくとも結果の凝着状況を悪化させない。

融合を行う時、融合部540は一括してすべてのK個の物体分割結果における候補物体に融合を行ってもよいし、また第一層の分割結果ができるまで、最下層の分割結果から始まり、順に上へ逐一に分割結果の融合を行ってもよいし、また必要に応じて毎回多層の分割結果を融合し、何回もの融合を介して候補物体の融合を完成してもよい。本発明の実施例において、一括してすべてのK個の物体分割結果における候補物体に融合を行うことを例にして説明を行う。

一種の表示例の具体的な実施方法とし、融合部540は、記号配分ユニット、行列発生部、行列融合部、及び物体融合部を含んでもよい。記号配分ユニットは、各物体分割の結果において、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、そのうち異なる分割エリアに異なる記号を配分する。行列発生部は、各物体分割の結果を記号行列に保存する。当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図に対応する高さと幅であり、当該記号行列における各エレメント数値は当該頂部物体層の深さ図において対応する位置の画素が属する分割エリアの記号である。行列融合部は、マッピング関係 Combine_i=f(E_LI, E_2I, …E_Ki)に基づいてK個の前記記号行列に融合を行い、そのうちE_LI, E_2I, …E_KiはそれぞれK個の記号行列における位置iにおけるエレメント数値であり、Combine_iは融合後の記号行列における当該位置iにおけるエレメント数値であり、fはマッピング関数であり、且つ当該マッピング関数は、もし E1a=E1b, E2a=E2b, …、且つE_Ka=E_Kbの場合のみ、f(E_1a,E_2a,…E_Ka)=f(E_1b,E_2b,…E_Kb)を満たす。物体融合部は、融合後の記号行列に対応する融合後の分割結果を決定することにより、融合後の候補物体を得る。

認識部550は事前に決定した堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する。認識部550は事前に決定した堆積物体の大きさ及び／または形状に基づいて認識を行うことにより、不完全な候補物体などを取り除き、最終的に正確な物体を保留し、すなわち頂部物体層に含まれる物体を認識してもよい。

上記はすでに図5を参照しながら本発明の実施例に基づく堆積物体の認識装置500を記述する。当該堆積物体の認識装置500は複数の閾値を用いて堆積物体の最上層の画像を取得し、各最上層の画像に各自の物体分割を行い、及び複数の物体分割結果に融合を行うことにより、物体の凝着問題を効果的に解決し、それにより不規則な凝着性物体の効果的な分割を実現させ、堆積物体の最上層に位置する複数の物体を正確に認識し、機器システムが散らかる堆積物体から物体を認識し且つ掴む効率を大幅に向上させることができる。

以下、添付図6は本発明実施例における堆積物体の認識技術の実現に活用可能な機器による選別システムのブロック図を記述する。

図6に示すように、機器による選別システム600は一つ又は複数のプロセッサー602・記憶装置604・カメラ606・出力装置608・マニピュレーター610を含み、それらの組成部はバスシステム612及び／または他の形式の接続機構（示さない）を介して相互に接続する。注意すべきことは、図6に示す機器による選別システム600の組成部と構造はあくまで例示的であり、制限的なものではなく、必要に応じ、機器による選別システム600は他の組成部と構造を備えてもよい。

プロセッサー602は600中央処理装置（CPU）又はデータ処理能力及び／コマンド実行能力を有する他の形式を有する処理装置のいずれかでもよく、且つ演算装置600における他の組成部を制御して期待する機能を実行することができる。

記憶装置604は一つ又は複数のコンピュータープログラム製品を含んでもよく、前記コンピュータープログラム製品は各形式のコンピューター可読性保存媒体を含んでもよく、例えば揮発性メモリー及び／または不揮発性メモリーである。前記揮発性メモリーは例えばランダムアクセスメモリー(RAM)及び／またはキャッシュメモリー(cache)などを含んでもよい。前記不揮発性メモリーは例えば取り専用記憶装置(ROM)、ハードディスク、フラッシュメモリーなどを含んでもよい。前記コンピューター可読性保存媒体に一つ又は複数のコンピュータープログラムコマンドを保存し、プロセッサー602は前記プログラムコマンドを実行し、それにより前記に記載の本発明の実施例の機能及び／または他の期待する機能を実現させることができる。前記コンピューター可読性保存媒体にまた各種の応用プログラムと各種のデータを保存することもでき、例えば上記堆積物体の深さ図・K個の分割位置・K個の頂部物体層の深さ図・各頂部物体層の深さ図に対する物体分割結果・融合後の候補物体・被堆積物体における単一物体の寸法と形状・深さ図の深さヒストグラムなど。

カメラ606は堆積物体の深さ図を撮影することに用い、且つそれを記憶装置604に保存して他の組成部の使用に供する。

出力装置608は外部へ各種の情報を出力することができ、例えば頂部物体層に含まれる各物体の位置形状情報を認識し、且つ有線／無線ネットワークカード・ディスプレイ・プロジェクター・テレビなど各種の表示装置を含んでもよい。

マニピュレーター610は出力装置608が出力する各物体の位置情報に基づき、対応する位置から各物体を掴むことができる。

上記は具体的な実施例を結合して本発明の基本的な原理を記述するが、指摘すべきことは、本発明に言及する利点・優位性・効果などはあくまでも表示例で制限ではなく、それらの利点・優位性・効果などは本発明の各実施例に必須なことを考えてはならない。なお、上記に開示する具体的な詳細は表示例の作用と理解を深める作用のため、制限ではなく、上記詳細は本発明が必ず上記具体的な細部まで用いて実現しなければならないことを制限しない。

本発明に係る器具・装置・設備・システムのブロック図は例示的表示例のみとし且つ必ずブロック図に示す方式に基づいて接続・配置・設置を要求するか暗示することを意図しない。当業者は納得するように、任意の方式でそれらの器具・装置・設備・システムを接続・配置・設置することができる。例えば「含む」・「含まれる」・「有する」などの言語は開放的な語彙、「含むがそれに限らない」ことを指し、且つそれと互換して使用可能である。ここに使用する語彙「または」と「及び」は語彙「及び／または」を指し、且つそれと互換して使用可能であり、コンテキストにそれではないと明記しない限り、ここに使用する「例えば」という語彙はフレーズ「例を挙げるがそれに限らない」ことを指し、且つそれと互換して使用可能である。

本発明における工程図及び以上の方法記載は例示的表示例とし且つ必ず決まった順序に基づいて各実施例のステップ実行を要求するか暗示することを意図せず、ステップによって並行可能で、相互に独立になるか他の適切な順次に基づいて実行することができる。なお、「その後」・「次」・「その直後」などの語彙はステップの順序を制限することを意図せず、それらの語彙は読者を誘導してそれらの記述を完読するようにすることに過ぎない。

なお、本発明の装置と方法において、各部又は各ステップは分解及び／または再組み合わせが可能である。それらの分解及び／または再組み合わせは、本発明と等効果の解決手段と見なすべきである。

開示する方面の以上記述を提供することにより、当業者が本発明を作成するか使用できる。それらの方面の修正は当業者にとって非常にわかりやすく、且つここに定義する基本的な原理は本発明の範囲を逸脱することなく他の面に応用できる。そのため、本発明はここに示す方面に制限されることを意図せず、ここに開示する原理と新たな特徴が一致する最広範囲に基づく。以上で多くの表示例方面と実施例を検討したことにもかかわらず、当業者はその一部のバリエーション・修正・変更・添削とサブアレイを認識できる。

Claims

堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、を含み、
前記K個の分割位置の深さ値は順次逓増し、且つ第一分割位置の深さ値が最小であり、
前記深さ図に基づく堆積物体の頂部物体層におけるK個の分割位置の決定ステップは、
堆積物体における単一物体の平均高さを決定するステップと、
前記深さ図における堆積物体の最高点と当該平均高さに基づき、第一分割位置の深さ値を決定するステップと、を含む堆積物体の認識方法。
前記深さ図における堆積物体の最高点と当該平均高さに基づく第一分割位置の深さ値の決定ステップは、
前記深さ図における堆積物体の最高点の深さ値に当該平均高さを加えた後の深さ値を、参考位置とするステップと、
前記深さ図の深さヒストグラムを生成するステップと、
前記深さヒストグラムにおいて、前記参考位置の周辺における予定範囲内の谷間点の深さ値を取得し、第一分割位置の深さ値とするステップと、を含む請求項１に記載の堆積物体の認識方法。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、を含み、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各前記物体分割の結果について、その中の各候補物体の分割境界線を決定するステップと、
K個の前記物体分割の結果におけるあらゆる分割境界線に対して合併操作を行うステップと、
前記合併操作を行うことによって得た各閉鎖且つネストなしの境界線に取り囲まれるエリアを融合後の候補物体とするステップと、を含む堆積物体の認識方法。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、を含み、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各物体分割の結果における、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、異なる分割エリアに異なる記号を配分するステップと、
各物体分割の結果を記号行列に記憶するステップであって、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント値は、当該頂部物体層の深さ図における対応位置の画素が属する分割エリアの記号である、ステップと、
マッピング関係 Combine_i= f(E_1i,E_2i,…E_Ki)に基づいて前記記号行列に融合を行うステップであって、E_1i,E_2i,…E_KiはそれぞれK個の記号行列における位置iにおけるエレメント値であり、Combine_iは融合後の記号行列における当該位置iにおけるエレメント値であり、fはマッピング関数であり、且つ当該マッピング関数は、E_1a=E_2a=E_2b,…、且つE_Ka=E_Kbの場合のみ、f(E_1a,E_2a,…E_Ka)=f(E_1b,E_2b,…E_Kb)を満たす、ステップと、
融合後の記号行列に対応する融合後の分割結果を決定し、それによって融合後の候補物体を得るステップと、を含む堆積物体の認識方法。
堆積物体の深さ図を取得する画像取得部と、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する位置決定部と、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割する分割部と、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得る融合部と、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する認識部と、を含み、
前記K個の分割位置の深さ値は順次逓増し、且つ第一分割位置の深さ値が最小であり、
前記位置決定部は、
堆積物体における単一物体の平均高さを決定し、
前記深さ図における堆積物体の最高点と当該平均高さに基づき、第一分割位置の深さ値を決定する堆積物体の認識装置。
前記位置決定部は、
前記深さ図における堆積物体の最高点の深さ値に当該平均高さを加えた後の深さ値を、参考位置とし、
前記深さ図の深さヒストグラムを生成し、
前記深さヒストグラムにおいて、前記参考位置の周辺における予定範囲内の谷間点の深さ値を取得し、第一分割位置の深さ値とする請求項５に記載の堆積物体の認識装置。
堆積物体の深さ図を取得する画像取得部と、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する位置決定部と、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割する分割部と、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得る融合部と、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する認識部と、を含み、
前記融合部は、
各前記物体分割の結果について、その中の各候補物体の分割境界線を決定し、
K個の前記物体分割の結果におけるあらゆる分割境界線に対して合併操作を行い、
前記合併操作を行うことによって得た各閉鎖且つネストなしの境界線に取り囲まれるエリアを融合後の候補物体とする堆積物体の認識装置。
堆積物体の深さ図を取得する画像取得部と、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出する位置決定部と、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割する分割部と、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得る融合部と、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識する認識部と、を含み、
前記融合部は、
各物体分割の結果における、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、異なる分割エリアに異なる記号を配分し、
各物体分割の結果を記号行列に記憶し、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント値は、当該頂部物体層の深さ図における対応位置の画素が属する分割エリアの記号であり、
マッピング関係 Combine _i = f(E _1i ,E _2i ,…E _Ki )に基づいて前記記号行列に融合を行い、E _1i ,E _2i ,…E _Ki はそれぞれK個の記号行列における位置iにおけるエレメント値であり、Combine _i は融合後の記号行列における当該位置iにおけるエレメント値であり、fはマッピング関数であり、且つ当該マッピング関数は、E _1a =E _2a =E _2b ,…、且つE _Ka =E _Kb の場合のみ、f(E _1a ,E _2a ,…E _Ka )=f(E _1b ,E _2b ,…E _Kb )を満たし、
融合後の記号行列に対応する融合後の分割結果を決定し、それによって融合後の候補物体を得る堆積物体の認識装置。
プロセッサーと、
メモリーと、
前記メモリーに記憶され、且つ前記プロセッサーに作動される時に、
堆積物体の深さ図を取得するステップ、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップ、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップ、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップ、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップ、を実行するコンピュータープログラムコマンドと、
認識した頂部物体層に含まれる物体を掴むことに用いるマニピュレーターと、を含む堆積物体の機器による選別システムであって、
前記K個の分割位置の深さ値は順次逓増し、且つ第一分割位置の深さ値が最小であり、
前記深さ図に基づく堆積物体の頂部物体層におけるK個の分割位置の決定ステップは、
堆積物体における単一物体の平均高さを決定するステップと、
前記深さ図における堆積物体の最高点と当該平均高さに基づき、第一分割位置の深さ値を決定するステップと、を含む選別システム。
前記深さ図における堆積物体の最高点と当該平均高さに基づく第一分割位置の深さ値の決定ステップは、
前記深さ図における堆積物体の最高点の深さ値に当該平均高さを加えた後の深さ値を、参考位置とするステップと、
前記深さ図の深さヒストグラムを生成するステップと、
前記深さヒストグラムにおいて、前記参考位置の周辺における予定範囲内の谷間点の深さ値を取得し、第一分割位置の深さ値とするステップと、を含む請求項９に記載の選別システム。
プロセッサーと、
メモリーと、
前記メモリーに記憶され、且つ前記プロセッサーに作動される時に、
堆積物体の深さ図を取得するステップ、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップ、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップ、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップ、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップ、を実行するコンピュータープログラムコマンドと、
認識した頂部物体層に含まれる物体を掴むことに用いるマニピュレーターと、を含む堆積物体の機器による選別システムであって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各前記物体分割の結果について、その中の各候補物体の分割境界線を決定するステップと、
K個の前記物体分割の結果におけるあらゆる分割境界線に対して合併操作を行うステップと、
前記合併操作を行うことによって得た各閉鎖且つネストなしの境界線に取り囲まれるエリアを融合後の候補物体とするステップと、を含む選別システム。
プロセッサーと、
メモリーと、
前記メモリーに記憶され、且つ前記プロセッサーに作動される時に、
堆積物体の深さ図を取得するステップ、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、且つ当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップ、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップ、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップ、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップ、を実行するコンピュータープログラムコマンドと、
認識した頂部物体層に含まれる物体を掴むことに用いるマニピュレーターと、を含む堆積物体の機器による選別システムであって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各物体分割の結果における、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、異なる分割エリアに異なる記号を配分するステップと、
各物体分割の結果を記号行列に記憶するステップであって、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント値は、当該頂部物体層の深さ図における対応位置の画素が属する分割エリアの記号である、ステップと、
マッピング関係 Combine _i = f(E _1i ,E _2i ,…E _Ki )に基づいて前記記号行列に融合を行うステップであって、E _1i ,E _2i ,…E _Ki はそれぞれK個の記号行列における位置iにおけるエレメント値であり、Combine _i は融合後の記号行列における当該位置iにおけるエレメント値であり、fはマッピング関数であり、且つ当該マッピング関数は、E _1a =E _2a =E _2b ,…、且つE _Ka =E _Kb の場合のみ、f(E _1a ,E _2a ,…E _Ka )=f(E _1b ,E _2b ,…E _Kb )を満たす、ステップと、
融合後の記号行列に対応する融合後の分割結果を決定し、それによって融合後の候補物体を得るステップと、を含む選別システム。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムであって、
前記K個の分割位置の深さ値は順次逓増し、且つ第一分割位置の深さ値が最小であり、
前記深さ図に基づく堆積物体の頂部物体層におけるK個の分割位置の決定ステップは、
堆積物体における単一物体の平均高さを決定するステップと、
前記深さ図における堆積物体の最高点と当該平均高さに基づき、第一分割位置の深さ値を決定するステップと、を含む堆積物体の認識プログラム。
前記深さ図における堆積物体の最高点と当該平均高さに基づく第一分割位置の深さ値の決定ステップは、
前記深さ図における堆積物体の最高点の深さ値に当該平均高さを加えた後の深さ値を、参考位置とするステップと、
前記深さ図の深さヒストグラムを生成するステップと、
前記深さヒストグラムにおいて、前記参考位置の周辺における予定範囲内の谷間点の深さ値を取得し、第一分割位置の深さ値とするステップと、を含む請求項１３に記載の堆積物体の認識プログラム。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムであって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各前記物体分割の結果について、その中の各候補物体の分割境界線を決定するステップと、
K個の前記物体分割の結果におけるあらゆる分割境界線に対して合併操作を行うステップと、
前記合併操作を行うことによって得た各閉鎖且つネストなしの境界線に取り囲まれるエリアを融合後の候補物体とするステップと、を含む堆積物体の認識プログラム。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムであって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各物体分割の結果における、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、異なる分割エリアに異なる記号を配分するステップと、
各物体分割の結果を記号行列に記憶するステップであって、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント値は、当該頂部物体層の深さ図における対応位置の画素が属する分割エリアの記号である、ステップと、
マッピング関係 Combine _i = f(E _1i ,E _2i ,…E _Ki )に基づいて前記記号行列に融合を行うステップであって、E _1i ,E _2i ,…E _Ki はそれぞれK個の記号行列における位置iにおけるエレメント値であり、Combine _i は融合後の記号行列における当該位置iにおけるエレメント値であり、fはマッピング関数であり、且つ当該マッピング関数は、E _1a =E _2a =E _2b ,…、且つE _Ka =E _Kb の場合のみ、f(E _1a ,E _2a ,…E _Ka )=f(E _1b ,E _2b ,…E _Kb )を満たす、ステップと、
融合後の記号行列に対応する融合後の分割結果を決定し、それによって融合後の候補物体を得るステップと、を含む堆積物体の認識プログラム。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記K個の分割位置の深さ値は順次逓増し、且つ第一分割位置の深さ値が最小であり、
前記深さ図に基づく堆積物体の頂部物体層におけるK個の分割位置の決定ステップは、
堆積物体における単一物体の平均高さを決定するステップと、
前記深さ図における堆積物体の最高点と当該平均高さに基づき、第一分割位置の深さ値を決定するステップと、を含む記録媒体。
前記深さ図における堆積物体の最高点と当該平均高さに基づく第一分割位置の深さ値の決定ステップは、
前記深さ図における堆積物体の最高点の深さ値に当該平均高さを加えた後の深さ値を、参考位置とするステップと、
前記深さ図の深さヒストグラムを生成するステップと、
前記深さヒストグラムにおいて、前記参考位置の周辺における予定範囲内の谷間点の深さ値を取得し、第一分割位置の深さ値とするステップと、を含む請求項１７に記載の記録媒体。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各前記物体分割の結果について、その中の各候補物体の分割境界線を決定するステップと、
K個の前記物体分割の結果におけるあらゆる分割境界線に対して合併操作を行うステップと、
前記合併操作を行うことによって得た各閉鎖且つネストなしの境界線に取り囲まれるエリアを融合後の候補物体とするステップと、を含む記録媒体。
堆積物体の深さ図を取得するステップと、
前記深さ図に基づいて堆積物体の頂部物体層におけるK個（Kは2以上の整数である）の分割位置を決定し、当該K個の分割位置に基づいて前記深さ図からK個の頂部物体層の深さ図を抽出するステップと、
K個の頂部物体層の深さ図のそれぞれに対して物体分割を行うことにより、前記頂部物体層から候補物体を分割するステップと、
K個の前記物体分割の結果における候補物体に対して融合を行うことにより、融合後の候補物体を得るステップと、
予め決定された堆積物体の大きさ及び／または形状に基づいて前記融合後の候補物体から頂部物体層に含まれる物体を認識するステップと、をコンピュータに実行させるための堆積物体の認識プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
K個の前記物体分割の結果における候補物体に融合を行うことにより、融合後の候補物体を得るステップは、
各物体分割の結果における、候補物体と認識されるエリアを含む各分割エリアへの記号付けを行い、異なる分割エリアに異なる記号を配分するステップと、
各物体分割の結果を記号行列に記憶するステップであって、当該記号行列の行数と列数はそれぞれ当該物体分割の結果に対応する頂部物体層の深さ図の高さと幅であり、当該記号行列における各エレメント値は、当該頂部物体層の深さ図における対応位置の画素が属する分割エリアの記号である、ステップと、
マッピング関係 Combine _i = f(E _1i ,E _2i ,…E _Ki )に基づいて前記記号行列に融合を行うステップであって、E _1i ,E _2i ,…E _Ki はそれぞれK個の記号行列における位置iにおけるエレメント値であり、Combine _i は融合後の記号行列における当該位置iにおけるエレメント値であり、fはマッピング関数であり、且つ当該マッピング関数は、E _1a =E _2a =E _2b ,…、且つE _Ka =E _Kb の場合のみ、f(E _1a ,E _2a ,…E _Ka )=f(E _1b ,E _2b ,…E _Kb )を満たす、ステップと、
融合後の記号行列に対応する融合後の分割結果を決定し、それによって融合後の候補物体を得るステップと、を含む記録媒体。