以下、図面を参照して実施形態にかかるエッジ検出装置について説明する。同じ符号が付されているものは同様のものを示す。なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係や部分間の大きさの比係数などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比係数が異なって表される場合もある。
(第1の実施形態)
第1の実施形態について図1を参照して説明する。図1は第1の実施形態にかかるエッジ検出装置1の一例を示す上面図である。
図1に示すように、エッジ検出装置1に対向して、複数の物品Gが載置されている。
ここで、説明の便宜上、+X方向、−X方向、+Y方向、−Y方向、+Z方向、および−Z方向について定義する。+X方向、−X方向、+Y方向、および−Y方向は、例えば、略水平面に沿う方向である。−X方向は、+X方向の反対方向である。実施形態において、+X方向は、「エッジ検出装置1に対して物品Gが位置する方向」である。「エッジ検出装置に対して物品Gが位置する方向」とは、図1に示す、エッジ検出装置1から物品Gへの方向である。+Y方向は、+X方向と交差する方向(例えば略直交する方向)である。−Y方向は+Y方向の反対方向である。+Z方向は、+X方向および+Y方向と交差する方向(例えば略直交する方向)であり、例えば略鉛直上向き方向である。図1に示すように+Z方向は、紙面に対して手前方向である、−Z方向は+Z方向の反対方向であり、例えば略鉛直下向き方向である。
複数の物品Gは、接して配置され、例えば、棚の上に載置されている。あるいは、パレット、カゴ台車やボックスパレット等に乗っていても良い。物品Gは、重ねて積載されていても良い。また、物品Gの形状は、直方体または立方体形状である。例えば、商品を梱包した段ボール箱、コンテナ等である。物品Gの形状は、直方体等の形状に限定されず多面体でも良い。
物品Gのエッジとは、物品の面の縁部あるいは輪郭である。エッジは、物品のある面の縁部あるいは輪郭すべてではなく、その一部である場合も含む。つまり、面の形状が長方形である場合は、縦方向あるいは横方向の縁のどちらかでも良い。また、物品を形成する複数の面のうち2つの面が接する角、縁、端を含む。
図1に示すように、エッジ検出装置1は、複数の物品Gに光を照射する光源2と、光源2の発光部21〜24それぞれに光を照射された複数の物品の面を撮像し、撮像結果である複数の画像データを得る撮像部3と、複数の画像データに基づいて撮像された物品Gの面のエッジを検出する検出部4と、光源2及び撮像部3の駆動を制御する制御部5と、検出部4が検出した物品のエッジ情報を表示する表示部6と、を備える。
エッジ検出装置1は、撮像された複数の物品Gの面の画像データから、面のエッジを検出する。ここで、面とは、複数の物品Gのうち光源により光が照射された面である。エッジ検出装置1は、画像データから、急激に明るさが変化している部分を見つけて、これを物品のエッジとして検出する。
光源2は、本実施形態の場合4つの発光部21〜24を有する。発光部21〜24は、複数の物品Gに光を照射するものであり、それぞれが異なる位置に配置される。発光部21〜24は、それぞれ異なる時刻に個別に点灯して、複数の物品Gに光を照射する。
図1に示すように、発光部21〜24は、物品Gに対向するように配置され、物品GのB面を含む領域に光を照射する。物品GのB面とは、撮像部3により撮像される面であり、物品Gのエッジの検出対象となる面である。「B面を含む領域」とは、光源2に対向する物品GのB面に限定されず、B面以外の物品の面及びその他の領域にも光が照射されることを含む。発光部21〜24は、物品Gと撮像部3を結ぶ線分A(一点鎖線)を含み検出したいエッジの方向Cと略平行な平面Dを挟むようにそれぞれ配置される。「物品Gと撮像部3を結ぶ線分」とは、複数存在する物品Gのうちの1つと撮像部3を結ぶ線分であっても良いし、Y方向に並ぶ複数の物品Gの一端から他端までの距離の中心から撮像部3を結ぶ線分であっても良い。また、光源2は、撮像部3より−X方向に位置しても良い。つまり線分Aとは、物品から撮像部を通り伸長する線も含まれる。「検出したいエッジの方向C」とは、後述する発光部21〜24の配置に応じて検出できるエッジの方向である。本実施形態では、図1に示すエッジの方向Cに相当する。平面Dは、線分Aを含みエッジの方向Cと略平行な面である。「平面Dを挟むように」とは、複数の発光部を2つの組(あるいは集合、群)に分けて平面Dを挟むように配置することである。例えば、図1のように発光部が合計4つの場合、2つずつに分けて平面Dを挟むように配置すると好ましい。また、1つと3つに分けて平面Dを挟むように配置する場合も含む。発光部21及び23は、平面Dに対して+Y方向の領域(第1の領域とも称する)に配置され、複数の物品Gの近くに発光部21を配置し、発光部21から−X方向に発光部23が配置される。一方、発光部22及び24は、平面Dに対して−Y方向の領域(第2の領域とも称する)に配置され、複数の物品Gの近くに発光部22を配置し、発光部22から−X方向に発光部24が配置される。光源2は、複数の物品GのY方向の幅より広い幅で配置されるのが好ましい。例えば、−X方向から物品Gを見る場合、発光部21及び23と発光部22及び24とで物品Gを挟むように配置されているのが好ましい。
図1に示すように、発光部21〜24は、それぞれ別個に物品Gに光を照射するため、ある一つの発光部が物品Gに光を照射する時に、他の発光部が照射領域に入らないようにする。ここで照射領域とは、ある1つの発光部を視点として、複数の物体Gを透視投影した時の投影線が作る領域である。図1の破線部が発光部21の投影線であり、ハッチング箇所が照射領域である。
発光部21〜24の配置について具体的に説明する。ここでは、Y方向に並ぶ複数の物品Gの中心と撮像部3を結ぶ線分Aを含みエッジの方向Cに平行な平面Dに対して発光部21および発光部23と発光部22および発光部24は、略対称に配置されている。まず、発光部21の位置を基準とすると、他の発光部23の配置は、発光部21の照射領域(図1のハッチング箇所である)の外側である。この理由は、照射領域内に発光部23を配置すると、発光部23で物品Gを照射する際、発光部21の影が物品Gに映ってしまい、画像データに偽信号が含まれるためである。偽信号とは、所望の信号以外の信号であり、ノイズや雑音成分のことである。なお、残りの発光部22と発光部24の配置についても同様である。また物品Gから発光部21および発光部23までの距離と、物品Gから発光部22および発光部24までの距離は、略等しいのが好ましい。また、必ずしも平面Dに対して対称でなくてもよい。
光源2の発光部21〜24は、白熱電球やハロゲンランプ、蛍光灯、放電灯、例えばLED(light emitting diode:発光ダイオード)で良いが、これに限定されない。また、光源2の形状は、複数に分離されていても、一体となっていても良い。例えば、白熱電球等を4つ配置するなど、光源2が4つに分離されている場合は、4つそれぞれを発光部としても良い。また、例えば、位置毎に点灯可能なLEDボードのように、光源2が一体となっている場合は、別個に点灯する4か所をそれぞれ発光部としても良い。また、棒状にLEDが配置され、所定の箇所を点灯可能なライン光を2つ並べるなど、光源が2つに分離されている場合は、それぞれのライン光の所定の2箇所を発光部としても良い。光源2は、発光部21〜24の4つで構成される場合について説明したが、これに限定されず3つの場合や4つより多い場合も含む。光源2は、複数の物品Gが載置される平面と同一の平面またはそれに平行な平面内に配置されることを説明したが、これに限定されない。
撮像部3は、発光部21〜24のそれぞれに照射された複数の物品Gを撮像し、画像データを得る。画像データとは、撮像部3により物品G及びその周辺を撮像した撮像結果に相当し、例えば、RAWデータ、あるいはjpg、gif、pngやbmp等の一般的に用いられている画像データでも良い。
図1に示すように撮像部3は、複数の物品Gに対向し光源2の位置する側に配置される。つまり、撮像部3は、物品Gに対して−X方向に配置され、物品GのB面の画像を−X方向から撮像する。撮像部3は、Y方向に並ぶ複数の物品Gの中心から−X方向に離れた箇所に位置するのが良い。撮像部3は、発光部21〜24のそれぞれが物品Gを照射した時の画像データを得る。詳しく述べると、この実施形態では発光部の数は4つであるため画像データも4つとなる。画像データは、発光部の数と同一となるが、これに限定されない。画像データは、撮像部3と対向する複数の物品Gの、少なくともB面を含む画像データである。画像データは、撮像部3内の記憶部3Aに記憶される。記憶部3Aは、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。撮像部3は、画像データを記憶するため外部に設けられた記憶部を用いても良い。
撮像部3は、カメラ等の光学系とCCDセンサ(Charge Coupled Device)、あるいはCMOSセンサ(Complementary Metal Oxide Semiconductor)等の撮像素子とを含む。
撮像部3は、一つのカメラ等で構成されるが、これに限定されない。
検出部4は、撮像部3で撮像された複数の画像データに基づいて複数の物品GのB面のエッジを検出する。エッジとは、物品GのB面の縁部、輪郭や凹凸形状の境界であって、画像データの中で急激に明るさが変化している部分がこれに相当する。
図2は、異なる位置から光が照射された状態の撮像部3及び2つの物品のエッジの一例を示す拡大図である。図2に示すように、右側の発光部21の光は実線で示し、左側の発光部22の光は破線で示した。エッジを含む物品表面で散乱し撮像部3に向かう光のみを示している。ダンボール箱のような物品のエッジは、一般的に完全な直角ではなく、斜面や丸みを有する。このようなエッジを有する物品に対して、発光部21から光が照射されると、光の照射角度の関係により、図2の左側の物品のエッジには光が多くあたり、撮像部3に向かって散乱する光も多い。一方、右側の物品のエッジには光があたりにくい。同様に、発光部22で光を照射した場合は、右側の物品のエッジに多く光があたるが、左側の物品のエッジには光があたりにくい。左右に配置した発光部それぞれで光を照射したときの画像データを取得すると、発光部の位置によってエッジの明暗に差のある画像データが得られる。この2つの画像データの差分を取ることにより、エッジに比較的大きな差が生じるため、物品のエッジを検出できる。画像データの差分とは、2つの画像データを画素毎に比較して、画像データの相違点を残す処理である。画素毎に比較とは、2つの画像データの同一箇所の画素を比較することである。例えば、差分の画像データは、2つの画像データで同一の箇所は黒く表示され、異なる個所は白く表示される。白黒の表示は逆であっても良いし、他の異なる色で表示されても良い。
次に、本実施形態の検出部4での物品Gのエッジ検出方法について詳しく説明する。
本実施形態にかかる検出部4は、異なる位置に配置された4つの発光部によりそれぞれ撮像された物品Gの4つの画像データから物品Gのエッジを検出する。説明の便宜上、発光部21が点灯したときに撮像部3が得た画像を画像データ31(図示しない)とし、同様に発光部22、23、24をそれぞれ点灯したときに得た画像を画像データ32、33、34(図示しない)とする。
その上で、画像データ31〜34を第1の組合せと第2の組合せに分ける。
ここでは、物品Gと撮像部3を結ぶ線分Aを含みエッジの検出方向Cに平行な平面Dに対して+Y方向に配置され、発光部21又は23で照射された画像データ31又は33と、−Y方向に配置された発光部22又は24で照射された画像データ32又は34から1つずつ選択し、第1の組合せと第2の組合せの2つの組合せに分けた。例えば、第1の組合せは画像データ31と画像データ32、第2の組合せは画像データ33と画像データ34である。
その理由は、同一方向から撮像された画像データの組合せだと、上述したようにエッジ部での差異が生じず物品Gのエッジを正確に検出できないためである。
なお、画像データの組合せについては、画像データ31と画像データ34の組合せを第1の組合せとし、画像データ32と画像データ33を第2の組合せとしても良い。また、画像データ31又は画像データ33どちらか一方と、画像データ32又は画像データ34を組合せることにより第1の組合せ、第2の組合せとしても良い。また、画像データ32又は画像データ34どちらか一方と、画像データ31又は画像データ33を組合せることにより第1の組合せ、第2の組合せとしても良い。
第1の組合せと第2の組合せに分けた後、それぞれの組合せについてエッジを検出するために2つの画像データの差分を取り、差分画像を得る。その後、偽信号を取り除くため2つの差分画像を画素毎に乗算処理する。このようにして物品Gのエッジが検出される。
以下、第1の組合せと第2の組合せに分けた後の処理を詳しく説明する。
まず、差分画像を得る前に、組合せとなった2つの画像データの低空間周波数成分の明るさが揃うように補正をかける。例えば、以下のような手順で処理を行う。
組合せとなった2つの画像データを平均化したものを基準の画像データとする。具体的には2つの画像データの画素毎に和をとり2で割る処理をする(手順1)。2つの画像データの低空間周波数成分を取り出すため、それぞれにローパスフィルタによるフィルタリングを行う(手順2)。ローパスフィルタによるフィルタリングとは、所定の空間周波数以上の高空間周波数成分を排除することであり、例えば、細かい模様の箇所をぼかしたい時等に用いられる方法である。さらに、2つの画像データのそれぞれを手順2で作成した画像データで画素毎に除算し、除算したぞれぞれの画像データに対して手順1で作成した基準の画像データを画素毎に乗算する(手順3)。画像データの除算とは、画像データで異なる箇所を強調し、同一の箇所をぼかす処理である。また、画像データの乗算とは、画像データで同一の箇所を強調し異なる箇所をぼかす処理である。
このような明るさの補正を行うのは、2つの画像データの明るさの違いに起因したノイズ成分が後述する差分処理で残るのを防止するためである。なお、検出したいエッジの信号は、高空間周波数成分に特徴が表れるため、低空間周波数成分のみに補正をかけている。
次に、画像データのエッジを強調させる処理を各画像データに行う。物品のエッジ近傍のように、明るさの変化が比較的大きい部分のみを抽出するためである。この処理では例えばPrewitフィルタ、Sobelフィルタ、Robertsフィルタなどに代表されるような、ハイパスフィルタでフィルタリングする。ハイパスフィルタによるフィルタリングとは、所定の周波数以下の低周波数成分を排除することであり、例えば、細かい模様の箇所を強調したい時等に用いられる方法である。
以上の処理をした2つの画像データの差分を取り、さらにその絶対値を取る。この一連の処理を第1の組合せ及び第2の組合せに対して行う。これによりエッジ部に特徴を有する画像データが各組合せで1つずつ得られる。ここで、第1の組合せおよび第2の組合せの上記処理後の画像データには、近傍にある物品による影の境界や表面反射光のようなエッジ以外の偽信号も検出される。これは、接して並ぶ複数の物品Gの光源2側の面に段差がある場合により顕著となる。つまり、物品Gの形状や大きさが同一でない場合や、同一であったとしてもX方向にずらして並べられている場合に生じる。この偽信号は、エッジと見分けがつかずエッジと誤検出される可能性がある。よって偽信号を低減するために、上述の処理をして得られた2つの画像データを画素毎に乗算処理する。これにより、隣り合う物品による影や表面反射光等の偽信号成分が低減される。近傍にある物品による影の境界部や表面反射光の生じる位置が光源2の配置によって変化することを利用している。つまり、偽信号の位置は、第1の組合せから得られた画像データと第2の組合せから得られた画像データで異なる。これに対して、検出したいエッジは、第1の組合せと第2の組合せで同一の位置に存在する。従って、上述した処理後の2つの画像データを画素毎に乗算処理すると、エッジの信号は大きくなるのに対して偽信号は小さくなる。
以降の手順は、必要に応じてモルフォロジー演算と呼ばれる孤立点除去や太線化の処理を加えても良い。また、その後に2値化処理を加えても良い。2値化処理とは、画像を白と黒の2階調に変換する処理である。閾値を定めて、画素毎の値が閾値を上回っていれば白、下回っていれば黒に置き換える処理である。
本実施形態にかかるエッジ検出装置は、発光部が物品Gの載置される平面と同一の平面上に配置される。このため、複数の物品Gのエッジのうち、発光部が配置される平面に対して垂直方向のエッジを顕著に検出することができる。つまり、複数の物品GのZ方向のエッジを検出できる。これは、発光部の配置により、顕著に検出可能なエッジの方向が決まることを意味している。
図3は、上述した検出部4のエッジ検出の流れを示すフローチャートである。
まず、検出部4は、記憶部3Aから4つの画像データを得る(S301)。検出部4は、4つの画像データを第1の組合せと第2の組合せに分ける(S302)。
第1の組み合わせは、画像データ31と32とし、第2の組み合わせは、画像データ33と34とした。
第1の組み合わせの画像データ31と32の組合せについて、画像データの低空間周波数成分の明るさが等しくなるように補正処理をする(S303)。画像データ31と32の組合せについて、画像データのエッジの強調処理をする(S304)。画像データ31と32の組合せについて、2つの画像データの差分を取り第1の差分画像データを得る(S305)。得られた第1の差分画像データに絶対値化の処理をする(S306)。
他方、第2の組み合わせの画像データ33と34の組合せについて、画像データの低空間周波数成分の明るさが等しくなるように補正処理をする(S307)。画像データ33と34の組合せについて、画像データのエッジの強調処理をする(S308)。画像データ33と34の組合せについて、2つの画像データの差分を取り第2の差分画像データを得る(S309)。得られた第2の差分画像データに絶対値化の処理をする(S310)。
次に、第1および第2の差分画像データの画素毎の乗算処理をする(S311)。乗算処理された画像データに対して孤立点除去及び太線化の処理をする(S312)。得られた画像データに対して2値化処理を行う(S313)。このようにして、複数の物品Gの、光源2及び撮像部3側の面のエッジを検出する。
乗算処理した画像データは、偽信号をぼかしてエッジだけが強調された画像データとなる。
検出部4は、例えば、プロセッサ及びメモリを備えるコンピュータ又はLSI(large scale integration)などに実装することができる。
制御部5は、光源2と撮像部3の駆動を制御する。駆動とは、光源2の4つの発光部21〜24それぞれのOn/Off動作や、撮像部3の撮像動作である。撮像部3は、各発光部が物品Gに光を照射した状態の物品Gを撮像するため、発光部のOn/Offに応じて撮像部3を動作する。例えば、発光部21のみをOnとして物品Gに光を照射した状態で撮像部3を動作し物品Gを撮像する。次に、発光部21をOffにし、発光部22のみをOnとして物品Gに光を照射した状態で撮像部3を動作し物品Gを撮像する。この動作を他の発光部23及び24についても繰り返す。発光部21〜24の光を照射する順番は、これに限定されなく、どの順番で光を照射しても良い。
制御部5は、光源2及び撮像部3の動作を制御するドライバやドライバ回路であり、プロセッサ及びメモリを備えるコンピュータ又はLSIなどに実装することができる。また、制御部5は、検出部4に含まれても良い。
表示部6は、検出部4で検出された複数の物品Gの光源2及び撮像部3側であって、光源2及び撮像部3と対向する面のエッジ情報を表示する。エッジ情報は、検出部4でエッジが検出された画像データあるいはその画像データを視覚的に認識できる形にした情報である。表示部6は、コンピュータのモニターや、携帯端末の液晶モニター等で良い。表示部6は、エッジ検出装置1の必須の構成ではなく、表示部6が無い場合も含む。
次に、本実施形態にかかるエッジ検出装置の実施例について図4乃至図7を用いて説明する。エッジの検出対象となる物品には、8つのボックスを横方向に接して並べたものを用いた。
図4は、複数のボックス(物品)を左から右にいくにつれて奥行き方向に段差をつけて配置した場合の画像を示す。図4に示すように、隣り合うボックスの段差は、左から、0mm、5mm、10mm、20mm、30mm、40mm、50mmとした。
図5は、実施例に用いた光源の発光部と撮像部の配置を示す図である。図5に示すように、撮像部3は、複数のボックスに対して−X方向に対向して配置した。光源は、発光部21〜24の4つとし、発光部のそれぞれはZ方向に伸びるライン光源とした。複数のボックスからライン発光部の距離は、ボックスから−X方向に30cmの位置に発光部21と22が配置され、100cmの位置にさらに2つの発光部23と発光部24を配置した。発光部21と発光部22及び発光部23と発光部24は、それぞれ140cmの間隔で配置した。発光部21と発光部23は、Y方向に並ぶ複数のボックスの中心と撮像部3を結ぶ線分Aを含み検出するエッジの方向Cに平行な平面Dに対して発光部22と発光部24と対称に配置した。
図6は、発光部21又は発光部23で照射した時の画像データと、発光部21と発光部22の画像データの差分及び発光部23と発光部24の画像データの差分を示す図である。
図6に示すように、発光部21又は発光部23で光を照射した時の画像データは、段差を付けて配置した箇所あたりから隣り合うボックスの影が映っていることがわかる。この影の境界部が画像データの差分画像で検出され、検出すべきエッジの特徴と見分けがつかなくなる。注目すべきは、ボックスから発光部までの距離が30cmと100cmの場合の画像データの組合せの差分では、影の境界部の位置が異なっていることである。
図7は、発光部21と22の画像データの差分及び発光部23と24の画像データの差分を乗算処理した画像データを示す図である。
2つの差分画像を乗算処理することにより、異なる位置に生じていた影の境界部による偽信号が低減され、エッジの信号が正確に得られているのが解る。
本実施形態のエッジ検出装置により、隣り合う物品により生じる影や表面反射光等の偽信号の影響を低減して複数の物品のエッジを正確に検出することができる。
また、本実施形態にかかるエッジ検出装置1の発光部21〜24の配置は、発光部の一部がX方向あるいはY方向にオフセットしている場合も含み、同一の効果を得ることができる。
また、本実施形態では、複数の物品Gの中心と撮像部3を結ぶ線分Aを含みエッジの検出方向Cに平行な平面Dに対して、4つの発光部の配置を±Y方向に2つずつとしたが、+Y方向に1つ(発光部21)とし、−Y方向に3つ(発光部22〜24)としても良い。この場合、発光部21が点灯したときに撮像部3が得た画像を画像データ31として、同様に発光部22、23、24をそれぞれ点灯したときに得た画像を画像データ32、33、34とすると、画像データ31と画像データ32を第1の組合せとし、画像データ31と画像データ33又は画像データ31と画像データ34を第2の組合せとして良い。また、画像データ31と画像データ33を第1の組合せとし、画像データ31と画像データ34を第2の組合せとしても良い。+Y方向に3つ(発光部21、23、24)とし、−Y方向に1つ(発光部22)とする場合も同様である。
また、2つの画像データの組合せを第1又は第2の組合せとしたが、2つの画像データに限定されず、3つの画像データあるいはそれ以上の画像データの組合せを第1又は第2の組合せとしても良い。
また、本実施形態では、異なる位置に配置された発光部それぞれに照射された物品の画像データから第1の組合せと第2の組合せを選択したが、この組合せは2つに限定されず2つ以上の複数であっても良い。複数の組合せそれぞれについて差分をとり、差分の画像データについて乗算処理をしても複数の物品のエッジを検出することができる。
(第2の実施形態)
第2の実施形態について図8を参照して説明する。図8は第2の実施形態にかかるエッジ検出装置1の一例を示す上面図である。
図8に示すようにエッジ検出装置1は、光源2が3つの発光部21〜23を有する。それ以外の構成については第1の実施形態にかかるエッジ検出装置と同様である。
発光部21〜23は、複数の物品Gが載置される平面と同一の平面あるいはそれと平行な平面上に配置される。撮像部3は、物品Gに対して−X方向に対向するように配置される。光源2は、物品Gと撮像部3とを結ぶ線分Aを含みエッジの検出方向Cに平行な平面Dに対して+Y方向に発光部21と発光部23が配置され、−Y方向に発光部22が配置される。発光部21〜23の配置は、これに限定されず、発光部21と発光部23が平面Dに対して−Y方向に配置され、発光部22が+Y方向に配置されても良い。
撮像部3は、発光部21及び23までの距離より発光部22までの距離の方が近くなるように配置されるのが良い。これにより、発光部22による表面反射光等が直接撮像部3に入ることを防ぐことができるため、−Y方向側に配置される発光部22は1つであっても、表面反射光等による偽信号を低減することができる。発光部22による表面反射光が生じない撮像部3の配置にすると、+Y方向に配置される発光部による表面反射光は撮像部3に入ってしまう場合がほとんどである。そのため+Y方向には発光部21と23の2つを配置している。
発光部21が点灯したときに撮像部3が得た画像を画像データ31(図示しない)とし、同様に発光部22、23をそれぞれ点灯したときに得た画像を画像データ32、33(図示しない)とする。
検出部4は、3つの画像データから画像データ31と画像データ32を第1の組合せとし、画像データ32と画像データ33を第2の組合せとする。エッジ検出のためのその後の処理は、第1の実施形態と同様である。
3つの発光部21〜23は、それぞれ1つずつ順次点灯され、各発光部により光が照射された物品を撮像するような制御でなくてもよい。例えば、3つの発光部がそれぞれ異なる波長の光(赤、緑、青)を発するものとした場合、カラーイメージセンサ(赤、緑、青)を有する撮像部を用いれば、3つの発光部で同時に光を照射した状態で物品を撮像することができる。光の波長は、それぞれの発光部で400nm以上2000nm以下の範囲であるのが良い。また、好ましくは、400nm以上780nm以下である。
本実施形態にかかるエッジ検出装置1は、発光部の数を3つに減らすことによって、部品点数の削減によるコストダウンや、エッジ検出のための処理時間の短縮化を図ることができる。
また、発光部は、3つの場合について説明したが、発光部の数は1つあるいは2つでも良い。この場合は、発光部に移動機構を備えることにより、発光部が3つあるいは4つの場合と同様の効果を得ることができる。例えば、光源が発光部21と22の2つの場合は、発光部21あるいは22のどちらか一方を移動して本実施形態の発光部23の配置されていた箇所まで移動する。移動機構としては、発光部に車輪等を設けて移動しても良いし、あらかじめ設置されたレール等を移動しても良い。また、ステッピングモータを搭載した電動スライダの直動機構を用いて移動しても良い。また、電動スライダに代わり電動シリンダを用いても良い。移動した後に、物体Gに光を照射し撮像部により画像データを得ることにより、発光部23で光を照射した時と同様の画像データを得ることができる。発光部の移動は、制御部5等で制御することができる。発光部が1つの場合も、同様に発光部を移動することにより、発光部が3つあるいは4つの場合を代用できる。
(第3の実施形態)
第3の実施形態について図9を参照して説明する。図9は第3の実施形態にかかるエッジ検出装置1の一例を示す図である。
図9に示すようにエッジ検出装置1は、光源2が4つの発光部21〜24を有し、物品Gと撮像部3とを結ぶ線分Aと略垂直な平面内に配置される。それ以外の構成については第1の実施形態にかかるエッジ検出装置と同様であるため、図示を省略した。
図9の発光部21〜24は、複数の物品Gに対して−X方向に所定の距離を置いて、YZ平面と略平行な平面内に配置される。つまり、物品Gが光源2側に向けるB面と略平行な平面内に発光部21〜24が配置される。撮像部3は、物品Gに対して−X方向に対向して配置される。発光部21〜24は、物品Gと撮像部3を結ぶ線分Aを含みエッジの検出方向C1と平行な平面D1を挟むように配置される。この場合のエッジの検出方向C1とは、Z方向である。平面D1に対して発光部21と23は、+Y方向の領域に配置され、発光部22と24は、−Y方向の領域に配置される。また、本実施形態の発光部の配置の場合、Y方向のエッジも検出可能である。発光部21〜24は、物品Gと撮像部3を結ぶ線分Aを含みエッジの検出方向C2と平行な平面D2を挟むように配置される。つまり、平面D2に対して、発光部21と発光部22は、+Z方向の領域に配置され、発光部23と発光部24は、−Z方向の領域に配置される。また、前記平面D1又は平面D2から各発光部までの距離は略等しいのが好ましい。これは、各発光部が物品Gを照射する明るさ(照度)をなるべく揃えるためである。
発光部21が点灯したときに撮像部3が得た画像を画像データ31(図示しない)とし、同様に発光部22、23、24をそれぞれ点灯したときに得た画像を画像データ32、33、34(図示しない)とする。
本実施形態の検出部4(図示しない)は、画像データ31と画像データ34を選択して第1の組合せとし、画像データ32と画像データ33を選択して第2の組合せとする。発光部21〜24の配置のうち、対角方向の発光部で撮像された画像データを組合せることにより、複数の物品GのY方向(横方向)及びZ方向(縦方向)のエッジを検出できる。第1の組合せと第2の組合せを用いたエッジ検出のその後の処理は、第1の実施形態にかかるエッジ検出装置と同様である。
なお、画像データの組合せを、画像データ31と画像データ33を選択して第1の組合せとし、画像データ32と画像データ34を選択して第2の組合せとする場合は、複数の物品GのうちY方向のエッジを検出するのに有効である。また、画像データ31と画像データ32を選択して第1の組合せとし、画像データ33と画像データ34を選択して第2の組合せとする場合は、複数の物品GのうちZ方向のエッジを検出するのに有効である。
発光部21〜24は、−X方向から物品Gを見たときの複数の物品Gの位置する領域より外側に配置されるのが良い。ここで複数の物品Gの位置する領域とは、発光部21〜24が位置する箇所に複数の物品Gを投影した領域である。
発光部21〜24は、物品Gと撮像部3の間の領域に配置されるのが良いが、これに限定されない。撮像部3より−X方向に配置されていても良く、エッジ検出装置1の使用環境により適宜変更できる。
また、発光部21〜24は、YZ平面と略平行の平面内に配置されることを説明したが、これに限定されず、一部の発光部が±X方向にオフセットしている場合も含む。また、一部の発光部がY方向又はZ方向にオフセットしている場合も同様である。
また、発光部は4つの場合について説明したが、3つ以上の場合も含む。
本実施形態にかかるエッジ検出装置1は、撮像部3が撮像する物品Gの面に対して略平行な平面内に発光部を配置することにより、画像データの組合せ次第ですべての方向のエッジを検出することができる。
また、本実施形態にかかるエッジ検出装置1は、所定の方向のエッジを正確に検出することができる。
また、本実施形態にかかるエッジ検出装置1は、発光部を縦方向(Z方向)に配置することにより、スペース的に無駄がなくコンパクトな装置設計をすることができる。
(第4の実施形態)
第4の実施形態について図10を参照して説明する。図10は第4の実施形態にかかる物品保持装置10の一例を示す上面図と正面図である。本実施形態の物品保持装置10は、第1乃至3の実施形態にかかるエッジ検出装置を備える。
まず、物品保持装置10とその周辺の構成について説明する。
図10に示すように、積載領域20には複数の物品Gが積載されている。
物品保持装置10と搬送領域30は、地面に固定されている。物品保持装置10は、積載領域20から物品Gを選択的に取り出して搬送領域30に移載する。物品保持装置10は、移動可能であっても良い。例えば、物品保持装置10は、底部にローラ等を備えることができ、或いは、レールに沿って移動することができる。
積載領域20は、物品Gを積載するパレット、カゴ台車、ボックスパレットや棚等で良い。積載領域20は、底部にローラ等が取り付けられ移動可能であっても良いし、固定されていても良い。
搬送領域30は、物品保持装置10が移載した物品Gを搬送したりする。例えば、ベルトコンベア、台車、パレット、作業台、荷台等で良い。
図10に示すように、物品保持装置10は、積載領域20から搬送領域30へ移載すべき物品を保持しつつ移動可能な保持部50と、保持部50を駆動する駆動部60と、積載領域20に存在する物品の画像からその形状を認識する認識部70と、駆動部60を駆動し保持部50の動作を制御する制御部80と、を備える。
保持部50は、駆動部60に接続され、3軸方向に移動可能である。具体的には、駆動部60は、鉛直方向、前後方向、横方向に保持部50を駆動する。図10に示すように、直交座標軸を設定する。Z軸は鉛直方向に対応し、X軸は前後方向に対応し、Y軸は横方向に対応する。前後方向および横方向は、水平方向、すなわち、物品保持装置10が設置された平面と平行な方向である。水平方向は、保持対象の物品の底面と平行である。保持部50は積載領域20に積載された物品Gの上面と対向するように設置されている。保持部50は、例えば、図示しない真空ポンプに連結された複数の吸盤51を備え、吸着により物品Gを保持する。吸盤51は保持部50の下面に設けられている。
駆動部60は、具体的に支持部61、62、63を有し、支持部61は保持部50をZ方向に駆動する。支持部62は、保持部50をX方向に駆動する。支持部63は、保持部50をY方向に駆動する。
なお、保持部50、駆動部60について上述した構造は一例に過ぎない。例えば、保持部50が物品Gを保持する方法は、挟持であってもよい。
保持部50あるいは駆動部60には、認識部70が設置される。
認識部70は、第1乃至3のエッジ検出装置1を含む。認識部70は、エッジ検出装置以外にも、積載領域20に積載された物品Gの奥行き方向の配置や保持部50と物品Gの距離を測定するカメラやセンサを含む。認識部70は、3次元距離画像センサ等であっても良い。
エッジ検出装置1の光源2は、物品保持装置10の駆動部60に設置される。具体的には、エッジ検出装置1の光源2は、保持部50をZ方向に駆動する支持部61の積載領域20側の2つの柱の側面に設置される。光源2の発光部21〜24は、この支持部61の2つの柱の積載領域側の側面に2つずつ設置される。また、発光部21〜24は、支持部61の積載領域20側の4つの柱の側面に1つずつ設置されても良い。撮像部3は、保持部50のアーム52側に設置される。また、撮像部3は、支持部61の4つの柱のうち積載領域20から遠い側の2つの柱の間に梁等により設置されても良い。検出部4等は、制御部80に含まれる。
発光部21〜24が支持部61の4つの柱にそれぞれ設置される場合は、積載領域20に積載された複数の物品Gの光源側の面のうちZ方向のエッジが顕著に検出できる。また、発光部21〜24が支持部61の積載領域20側の2つの柱の側面に2つずつ設置される場合は、複数の物品Gの光源側の面のうちY方向及び/又はZ方向のエッジを検出することができる。
また、発光部21〜24は、保持部50に配置されても良い。この場合は、撮像部3も保持部50に設置されるのが良い。これにより、保持部50の移動に応じて積載領域20に積載された複数の物品Gの所望の箇所のエッジを検出することができる。
発光部は、4つの場合について説明したが、これに限定されず、3つの場合や4つより多い場合も含む。
制御部80は、保持部50や駆動部60の駆動を制御する。また、上述したエッジ検出装置の検出部4等を含み、撮像部3により撮像された画像データに基づいて複数の物品Gのエッジを検出する。エッジの検出方法については、第1の実施形態で示した方法と同様である。制御部80は、検出された物品のエッジ情報に基づいて物品の配置を認識して、保持部50及び駆動部60の駆動を制御する。
本実施形態にかかる物品保持装置10は、エッジ検出装置1を備えることで、積載された複数の物品Gの位置を正確に認識することができる。
また、積載された物品の高さ方向のエッジを認識することにより、保持部50の積載物品Gとの干渉や衝突等を防止することができる。
本実施形態にかかる物品保持装置10は、荷降ろし装置、荷積み装置、ピッキング装置や荷物保持装置等を含む。
(第5の実施形態)
第5の実施形態について図11〜16を参照して説明する。第5の実施形態にかかるエッジ検出装置の構成は、第1乃至3の実施形態にかかるエッジ検出装置と同様である(図1あるいは図9等を参照されたい)。本実施形態では、エッジ検出のための検出方法が第1乃至3にかかるエッジ検出装置と異なる。
具体的に述べると、エッジの検出対象となる複数の物品Gの表面に付属物が位置する場合であっても、正確にエッジ検出を行う方法について説明する。
図11及び12は、エッジの検出対象となる物品の一例を示す図である。図11は、表面に付属物Hを含む物品Gを示す図である。付属物Hは、例えばガムテープ、ビニールテープ、ラベル、伝票、送付状、貼り付け票、荷札等である。図12は、2つの物品を付属物で結束した物品Gを示す図である。この場合の付属物Iは、例えば結束用バンド、ガムテープ、ビニールテープ、養生テープ、ポリプロピレンバンド、荷紐、ロープ等である。
次に、本実施形態にかかるエッジ検出装置を用いたエッジ検出方法について詳しく説明する。
本実施形態にかかる撮像部3は、4つの発光部21〜24のそれぞれが点灯したときに撮像した画像データ31〜34(図示しない)に加えて、4つの発光部全てが点灯したときに撮像した画像データ35(図示しない)を得る。これらの画像データは、記憶部3Aに記憶される。検出部4は、この合計5つの画像データに基づいて積載された複数の物品のエッジを検出する。なお、画像データ35は、後述する処理のため、物品Gの色を表す情報を有するカラー画像である。カラー画像とは、RGB(Red Green Blue)表色系の画像であっても良いし、HSV(Hue Saturation Value)表色系等、その他の表色系の画像であっても良い。また、画像データ35は、発光部全てを点灯させた状態で撮像することにより取得したが、物品Gの色情報を取得できる程度に明るい環境下であれば、発光部の点灯数には限定されない。
検出部4は、画像データ31〜34に第1乃至3の実施形態にかかるエッジ検出装置と同様の処理を施すことで、エッジ抽出画像36(図示しない)を得る。しかし、物品Gが付属物を有する場合のエッジ抽出画像36は、物品Gのエッジに加えて付属物のエッジの情報も含まれる。
図13は、物品Gを撮像した際の通常のカラー画像(a)と、第3の実施形態にかかるエッジ検出装置によりエッジ検出した画像(b)との一例を示す比較図である。図13の矢印箇所に示すように、物品Gの結束用バンドと送付状の付属物の箇所に物品Gのエッジとは異なるエッジが確認される。本実施形態にかかる検出部4は、この付属物のエッジ情報を除去するための処理を施す。
以下、付属物のエッジ情報を除去するための処理について詳しく説明する。
まず、検出部4は、画像データ35の色を分割することによって、画像データ35から複数の色分割画像データ(図示しない)を得る。例えば、検出部4は、通常のRGB画像から色相、彩度、明度の3つの成分を含むHSV画像を生成した後、彩度の値を所定の範囲毎に分割する。この処理によって、物品Gと付属物の画像が彩度によって識別される。色分割画像データは、複数の物品と付属物とが分割された画像となる。図14は、彩度により色分割された複数の画像の一例を示す図である。図14に示すように、彩度の値によって、物品と付属物が識別されているのが解る。なお、彩度による色分割画像データを得る方法を説明したが、彩度に代わり、色相、明度、輝度を用いても良いし、RGBの各成分の値を利用してもよい。
次に、検出部4は、複数の色分割画像データのそれぞれに写っている複数の物体の外形を検出する。外形の検出は、例えば、それぞれの色分割画像データに対して外接四角形を検出することで行う。図15は、物品Gを撮像した際の通常のカラー画像(a)と、色分割画像データそれぞれの外接四角形を重ね合わせた画像(b)の一例を示す比較図である。図15に示すように、物品Gと付属物両方の外形が検出されているのが解る。なお、色分割画像データからの検出は、外接四角形に限らず、他の多角形や円、楕円等であっても良い。ここまでの処理で、物品Gと付属物の外形がそれぞれ検出される。
次に、検出部4は、検出した外形が物品Gのものか、付属物のものかを判定処理する。この判定処理は、例えば、以下の手順により行う。
他の外形に内包されている外形や線は、付属物として判定される。例えばラベル等の外形であると判定される(手順1)。図15のE箇所が該当する。検出された外形の縦横比が所定の値よりも大きい外形は、付属物として判定される。例えば結束用バンド等の外形であると判定される(手順2)。図15のF箇所が該当する。手順1及び2において付属物と判定されなかった外形は、物品Gの外形(エッジ)であると判定される(手順3)。
次に、検出部4は、エッジ抽出画像36から、前述の手順により付属物と判定されたエッジ情報を除去する。この処理は、例えば付属物と判定された外形の内部を黒、外部を白とする2階調の画像とエッジ抽出画像36とを画素毎に乗算することにより行う。
以上の処理により、エッジ抽出画像36から、付属物のエッジ情報を除去した画像37(図示しない)を得る。検出部4は、必要に応じて画像37に対してセグメンテーション処理等を加えても良い。セグメンテーション処理により、画像37から個々の物品が写る領域を決定することができる。
図16は、本実施形態のエッジ検出の流れを示すフローチャートである。まず、第3の実施形態と同様の処理によりエッジ抽出画像36を得る。このエッジ抽出画像36は、図3のフローと同様の手順で取得される(ステップ313)。
次に、検出部4は、記憶部3Aからカラー画像である画像データ35を取得する(ステップ1601)。
次に、検出部4は、画像データ35の色をある範囲ごとに分割した複数の色分割画像データを得る(ステップ1602)。
次に、検出部4は、色分割画像データそれぞれの画像に写っている物体の外形を検出する(ステップ1603)。
次に、検出部4は、検出されたそれぞれの外形が物品Gのものか付属物のものかを判定処理する(ステップ1604)。
次に、検出部4は、付属物と判断された外形の内部を黒とする2階調の画像を生成する。さらに、この画像を取得されたエッジ抽出画像36に画素毎に乗算することによって、エッジ抽出画像36から付属物のエッジを除去する(ステップ1605)。
次に、検出部4は、得られた画像に対して必要に応じてセグメンテーション処理を施す(ステップ1606)。その後、処理は終了する。
本実施形態にかかるエッジ検出装置を用いることにより、付属物のエッジを誤って検出することなく、物品Gのエッジのみを正確に検出することができる。
また、付属物を含む様々な物品Gに対しても本実施形態にかかるエッジ検出方法を適用できるため、エッジ検出装置の適用範囲を更に拡大できる。
また、検出部4による処理のみで対応可能であるため、装置構成を増やすことなく、コンパクトな構成で発明の効果を実現できる。
また、第4の実施形態にかかる物品保持装置等に実装することにより、物品保持装置の物品の認識精度をより向上することができる。
第1〜3、5の実施形態にかかるエッジ検出装置は、積載された物品に限定して説明したが、それに限定されない。例えば、隙間を詰めて平置きされた複数の物品のエッジ検出や、物流倉庫などのソータを流れる複数の物品等(隙間を詰めた状態)を区分、又は仕分ける区分機や仕分け機に対しても適用できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。