JP5197729B2 - ピッキングシステムおよびピッキング方法 - Google Patents

Description

本発明は、アンプルやバイアル等の注射薬や輸液バッグ等のピッキング対象物体をピッキングするためのピッキングシステムおよびピッキング方法に関する。

近年の医療機関では、医師が注文した注射薬の取り揃え業務を自動化するアンプルピッカー（注射薬自動払い出しシステム）が注目されている。アンプルピッカーは、医師が入力したオーダー表を元に注射薬、薬袋、処方箋や識別ラベル等を自動的にトレイに取り揃え、搬出を行うものである。アンプルピッカーの導入により、個々の患者の投薬情報の管理だけでなく、取り揃え業務の軽減や、薬品の取り揃えミスを防ぐことが可能となる。

具体的には、アンプルピッカーは、以下の手順で動作する。
（１）保管庫（整列された注射薬が入れられたトレイ）から注射薬をピッキングする。
（２）ピッキングした薬品が正しいかどうか識別を行う。
（３）再びピッキングし、一つのトレイに集めて梱包する。

一方、使用されなかった注射薬は、人の手によって各薬品の保管庫に返品されている。数十〜数百もある注射薬を一つ一つ確認し、元の保管トレイへ戻す作業は、作業者にとって大きな負担であり、薬品の返品ミスを招く恐れがある。このことから、注射薬返品の自動化が強く求められている。

なお、医療器材や医療機器構成部材などを識別対象物体とする識別装置としては、例えば特許文献１に記載のものが知られている。この識別装置では、入力画像から特異点を取得するとともにエッジを抽出し、特異点からいくつかの等しい距離に存在するエッジ点の個数をそれぞれ算出することで、特異点周りの等距離エッジ点強度パラメータを導出し、導出された等距離エッジ点強度パラメータを、予め識別対象物体について等距離エッジ点強度パラメータを導出したテンプレートデータと照合することで、識別対象物体を識別する。

特開２０１０−２１８１４９号公報

注射薬返品の自動化は、アンプルピッカーの行う取り揃え動作を逆に行うことで実現されると考えられるが、返品薬が入れられたトレイから１つの薬品をピッキングすることは容易ではない。すなわち、アンプルピッカーの場合には、予めピッキング対象の薬品が分かっているのに対し、注射薬返品の場合には、異種の複数の薬品が乱雑にトレイに配置さている状況であり、このトレイの中から１つの薬品を認識してピッキングする必要がある。

そこで、本発明においては、乱雑に配置された複数の薬品等のピッキング対象物体の中から各ピッキング対象物体を認識してピッキングすることが可能なピッキングシステムおよびピッキング方法を提供することを目的とする。

本発明のピッキングシステムは、複数のピッキング対象物体を含む画像を入力する画像入力手段と、複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとにテンプレート画像を記憶またはテンプレート画像の面積を記憶するテンプレート記憶手段と、画像入力手段により入力された画像からピッキング対象物体領域を抽出する対象物体領域抽出手段と、各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の第１項と、各ピッキング対象物体のテンプレート画像の面積と各ピッキング対象物体領域の面積との差の第２項とを含む評価関数により各ピッキング対象物体を識別する識別手段とを含むものである。

また、本発明のピッキング方法は、複数のピッキング対象物体を含む画像を入力すること、入力された画像からピッキング対象物体領域を抽出すること、各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の第１項と、複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとに記憶された各ピッキング対象物体のテンプレート画像の面積と各ピッキング対象物体領域の面積との差の第２項とを含む評価関数により各ピッキング対象物体を識別することを含むことを特徴とする。

これらの発明によれば、ピッキング対象物体が重なり合っている場合には、第１項が大きくなるので、乱雑に配置されて重なり合ったピッキング対象物体を排除して各ピッキング対象物体を識別することが可能となる。また、第２項により、予め各ピッキング対象物体の種類ごとに記憶したテンプレート画像の面積に対して大きすぎるものおよび小さすぎるものを評価できるので、これらのものを排除して各ピッキング対象物体を識別することが可能となる。

ここで、対象物体領域抽出手段は、各ピッキング対象物体領域にラベリングを行うものであり、識別手段は、ラベリングされたｗ個の各ピッキング対象物体領域ｉ＝１，２，…，ｗについて、各ピッキング対象物体領域ｉの面積をＳ_i、各ピッキング対象物体領域ｉに外接する矩形の面積をＲ_i、テンプレート記憶手段に記憶するｋ個のピッキング対象物体のテンプレート画像の面積をＴ_k、重み係数をαとしたとき、評価関数Ｊ_iが、
であり、
を満たすピッキング対象物体領域ｉをピッキング対象物体として識別するものであることが望ましい。

これにより、各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差を正規化した第１項と、複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとに記憶された各ピッキング対象物体のテンプレート画像の面積と各ピッキング対象物体領域の面積との差を正規化した第２項とからなる評価関数Ｊ_iにより、ピッキング対象物体を識別することが可能となる。

また、識別手段は、
が所定の閾値以上の場合にはピッキング対象物体としないことが望ましい。
が所定の閾値以上の場合には、ピッキング対象物体を正確に識別できていない可能性が大きいため、これを排除することでより正確な識別を行うことが可能となる。

また、本発明のピッキングシステムは、各ピッキング対象物体領域の姿勢角度を導出する姿勢導出手段を含み、識別手段が、各ピッキング対象物体領域に外接する矩形を、姿勢導出手段により導出した各ピッキング対象物体領域の姿勢角度の２辺とこれに直交する２辺により構成するものであることが望ましい。これにより、導出された各ピッキング対象物体領域の姿勢角度に対応する矩形に基づいて評価関数により各ピッキング対象物体を識別するが、各ピッキング対象物体領域の姿勢角度の導出ミスがあった場合には、評価関数の各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の項が大きくなるので、この姿勢角度の導出ミスがあったピッキング対象物体を排除して各ピッキング対象物体を識別することが可能となる。

さらに、本発明のピッキングシステムは、各ピッキング対象物体領域の重心を導出する重心導出手段と、識別手段により識別した各ピッキング対象物体を、重心導出手段により導出した重心および姿勢導出手段により導出した姿勢角度に基づいてピッキングを行うピッキング手段とを含むものとすることができる。これにより、前述のように識別した各ピッキング対象物体をその重心および姿勢角度に基づいてピッキング対象物体ごとに正確にピッキングすることが可能となる。

（１）複数のピッキング対象物体を含む画像を入力し、入力された画像からピッキング対象物体領域を抽出し、各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の項と、複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとに記憶された各ピッキング対象物体のテンプレート画像の面積と各ピッキング対象物体領域の面積との差の項とを含む評価関数により各ピッキング対象物体を識別する構成により、乱雑に配置された複数のピッキング対象物体の中から重なり合ったり直列や並列に繋がったりしているピッキング対象物体を排除して、各ピッキング対象物体を識別し、ピッキングすることが可能となる。

（２）
が所定の閾値以上の場合にはピッキング対象物体としないことで、ピッキング対象物体を正確に識別できていない可能性が大きい場合には、これを排除して、より正確な識別を行い、各ピッキング対象物体をピッキングすることが可能となる。

（３）各ピッキング対象物体領域の姿勢角度を導出し、各ピッキング対象物体領域に外接する矩形を、姿勢導出手段により導出した各ピッキング対象物体領域の姿勢角度の２辺とこれに直交する２辺により構成することにより、各ピッキング対象物体領域の姿勢角度の導出ミスがあったピッキング対象物体を排除して各ピッキング対象物体を識別し、ピッキングすることが可能となる。

（４）各ピッキング対象物体領域の重心を導出し、識別した各ピッキング対象物体を、導出した重心および導出した姿勢角度に基づいてピッキングを行う構成により、上述のように識別した各ピッキング対象物体をその重心および姿勢角度に基づいてピッキング対象物体ごとに正確にピッキングすることが可能となる。

本発明の実施の形態におけるピッキングシステムの概略構成図である。 図１のピッキングシステムのブロック図である。 姿勢検出の説明図である。 ピッキング対象物体領域に外接する矩形の例を示す図である。 図１のピッキングシステムによるピッキング手順を示すフロー図である。 図１のピッキングシステムによるピッキング手順の例を示す説明図である。

図１は本発明の実施の形態におけるピッキングシステムの概略構成図、図２は図１のピッキングシステムのブロック図である。

図１において、本発明の実施の形態におけるピッキングシステム１は、複数のピッキング対象物体（以下、「対象物」と称す。）Ｍを含む画像を撮像する撮像装置としてのカメラ装置２と、対象物Ｍをピッキングするピッキング装置３と、カメラ装置２およびピッキング装置３が接続された電子計算機としてのコンピュータ４と、コンピュータ４に接続された表示装置としてのディスプレイ５とから構成される。

なお、本実施形態における対象物Ｍは、アンプルやバイアル等の注射薬や輸液バッグ等である。これらの注射薬等は、アンプルピッカー等によりトレイに取り揃えて搬出されたにも拘わらず、使用されずに返却されたものであり、トレイＴ上に乱雑に配置されている。カメラ装置２は、このトレイＴ上に配置された対象物Ｍを含む画像を撮像するものであり、図２に示す画像入力手段１０として機能する。

ピッキング装置３は、図２に示すピッキング手段１７として機能する。ピッキング装置３は、ｘ，ｙ，ｚの３軸直交で動作するものであり、先端部に上記カメラ装置２とピッキングを行うための２爪のグリッパ３ａが取り付けられたものである。なお、カメラ装置２の取り付け位置およびピッキング装置３の動作方向に制約はない。

コンピュータ４は、図２に示すように、入力画像を二値化する二値化処理手段１１と、入力画像から各ピッキング対象物体領域を抽出する対象物体領域抽出手段１２と、各ピッキング対象物体領域の重心を導出する重心導出手段１３と、各ピッキング対象物体領域の姿勢角度を導出する姿勢導出手段１４と、各対象物Ｍを識別する識別手段１５と、複数の対象物Ｍについてのテンプレート画像を記憶するテンプレート記憶手段１６として機能する。

二値化処理手段１１は、画像入力手段１０により入力された画像を二値化するものである。二値化処理手段１１は、所定の閾値以上の画素値を有する画素を１に、閾値未満の画素値を有する画素を０にそれぞれ置き換えることで二値化する。なお、所定の閾値は、二値化処理により対象物Ｍの領域を１（黒画素）、背景を０（白画素）に完全に分離できる適切な値を実験的に設定する。また、入力される画像の濃淡にばらつきがある場合は、動的な閾値設定法（例えば、大津展之，判別および最小２乗規準に基づく自動しきい値選定法，電子通信学会論文誌，Ｊ６３−Ｄ−４，ｐｐ．３４９−３５６，１９８０）を適用することも可能である。

対象物体領域抽出手段１２は、二値化された画像から各ピッキング対象物体領域にラベリングを行うことにより、各ピッキング対象物体領域を抽出するものである。ラベリングは、二値化された画像から繋がっている全ての画素に同じ番号（ラベル）を付け、異なる連結成分に別の番号を付けることにより行う。このとき、複数の対象物Ｍが重なり合ったり直列や並列に繋がったりしている場合には、それらの複数の対象物Ｍの全体が一つとしてラベリングされることになる。以下、ラベリングされたｗ個の各ピッキング対象物領域をｉ（ｉ＝１，２，…，ｗ）として説明する。

重心導出手段１３は、各ピッキング対象物体領域ｉの重心を導出する。ピッキング対象物体領域ｉの二値画像をＢ_i（ｘ，ｙ）（ｉ＝１，２，…，ｗ）、ピッキング対象物体領域ｉの二値画像の横幅および縦幅のピクセル値をそれぞれｍ_i，ｎ_iとすると、重心座標（ｘｇ_i，ｙｇ_i）は、
により導出できる。

姿勢導出手段１４は、各ピッキング対象物体領域ｉの姿勢角度、例えばその長手方向の角度を導出する。各ピッキング対象物体領域ｉの長手方向の角度は、重心導出手段１３により導出した重心点とエッジ画像とを用いることで導出することができる。例えば、姿勢導出手段１４は、各ピッキング対象物体領域ｉの重心座標（ｘｇ_i，ｙｇ_i）からの距離が最も遠い各ピッキング対象物体領域ｉのエッジ上の画素から順に抽出した複数の画素の重心座標（ｘｇ_i，ｙｇ_i）に対するそれぞれの角度の平均点を算出することにより長手方向の角度を取得する。具体的には、姿勢導出手段１４は、重心点からエッジ上の距離Ｄの最大値からｐ（＜１００）％の距離までの間に存在する各ピッキング対象物体領域ｉのエッジ上の画素を抽出し、それぞれの重心点に対する角度の平均値を算出する。

図３は姿勢導出手段１４による姿勢検出の説明図である。ここで、Ｄの上位ｐ％の値をｑとし、重心点から最も離れた各ピッキング対象物体領域ｉのエッジ上の画素の点群を（ｘ_mk，ｙ_mk）（ｋ＝１，２，…，ｑ）とすると、重心点から最も離れた各ピッキング対象物体領域ｉのエッジ上の各画素の点の角度θ_k（ｋ＝１，２，…，ｑ）は、
で表される。よって、長手方向の角度θは、
となる。

識別手段１５は、対象物体領域抽出手段１２により抽出した各ピッキング対象物体領域の中から実際にピッキングする各ピッキング対象物体を識別するものである。前述のように、対象物体領域抽出手段１２では、複数の対象物Ｍが重なり合ったり直列や並列に繋がったりしている場合には、それらの複数の対象物Ｍの全体が一つとしてラベリングされている。そこで、識別手段１５はこれらを排除するために、次の評価関数Ｊｉにより識別を行う。

ここで、Ｓ_iは各ピッキング対象物体領域ｉの面積、Ｒ_iは各ピッキング対象物体領域ｉに外接する矩形の面積、Ｔ_kは予めテンプレート記憶手段１６に登録しておくｋ個のピッキング対象物体のテンプレート画像の面積である。αはＪｉの第１項と第２項のバランスを取るための重み係数である。なお、識別手段１５は、各ピッキング対象物体領域ｉに外接する矩形を、図４に示すように、姿勢導出手段１４により導出した各ピッキング対象物体領域ｉの姿勢角度θ方向に伸ばした直線に平行な２辺とこれに直交する２辺により構成する。各ピッキング対象物体領域ｉに外接する矩形の面積Ｒ_iは、例えば、Rotating Calipers法により求めることが可能である。

評価関数Ｊ_iの第１項は、各ピッキング対象物体領域ｉに外接する矩形の面積Ｒ_iとその各ピッキング対象物体領域ｉの面積Ｓ_iとの差（Ｒ_i−Ｓ_i）（図４の車線部）を正規化したものである。つまり、図４（ａ）に示すように、対象物Ｍが重心および姿勢角度が正確に取得できている場合には、第１項の値は小さくなる。一方、図４（ｂ）に示すように、重なり合ったり、同図（ｃ）に示すように対象物Ｍの姿勢角度が正確でない場合は、Ｒ_i−Ｓ_iが大きくなるため、第１項の値もまた大きくなる。したがって、第１項により、対象物Ｍが重なり合ったり姿勢角度の導出ミスがあったりするピッキング対象物体領域ｉを排除することが可能である。

評価関数Ｊ_iの第２項は、各対象物Ｍのテンプレート画像の面積Ｔ_kと各ピッキング対象物体領域ｉの面積Ｓ_iとの差（Ｔ_k−Ｓ_i）を正規化したものである。前述の第１項のみでは、図４（ｄ）に示すように対象物Ｍが直列や並列に繋がった場合に問題となるが、第２項のようにテンプレート画像の面積Ｔ_kとの差を評価関数Ｊ_iに含ませることで、面積が大きすぎるものや小さすぎるものを排除することができる。

識別手段１５は、このような評価関数Ｊ_iを用い、
を満たすピッキング対象物体領域ｉをピッキングする対象物Ｍとして識別する。なお、識別手段１５は、
が所定の閾値以上の場合には、対象物Ｍを正確に識別できていない可能性が大きいため、ピッキングの対象とせず、識別のやり直しを行う。このとき、トレイＴ内の対象物Ｍをかき混ぜるなどして、画像入力手段１０により入力される画像を変化させる。

テンプレート記憶手段１６には、複数の対象物Ｍについて予め各ピッキング対象物体iの種類ごとにテンプレート画像が記憶され、識別手段１５は各テンプレート画像の面積Ｔ_kを算出する。なお、このテンプレート記憶手段１６には、予め各テンプレート画像から算出した各テンプレート画像の面積を記憶する構成とすることも可能である。

また、ピッキング手段１７により対象物Ｍをピッキングする位置の座標は、例えば対象物Ｍの重心座標（ｘ_g，ｙ_g）をピッキング装置３の作業領域に変換したものを使用する。これは対象物Ｍを掴む際、当然対象物Ｍの重心点を掴むと安定するためである。また、対象物Ｍをグリッパ３ａにより掴む角度については、長手方向の角度θと直交するようにグリッパ３ａの角度を調整することで掴むことが可能である。

次に、上記構成のピッキングシステム１によるピッキング手順について説明する。図５はピッキングシステム１によるピッキング手順を示すフロー図、図６はピッキングシステム１によるピッキング手順の例を示す説明図である。

図５に示すように、ピッキングシステム１では、トレイＴ上に乱雑に載置された複数の対象物Ｍを含む画像を画像入力手段１０により入力し（Ｓ１０１）、二値化処理手段１１により二値化を行い（Ｓ１０２）、対象物体領域抽出手段１２によりラベリングを行う（Ｓ１０３）。図６（ａ）は画像入力手段１０により入力した画像の例を、同図（ｂ）は二値化後、１〜５にラベリングした画像の例をそれぞれ示している。

次に、ピッキングシステム１は、重心導出手段１３により各ピッキング対象物体領域ｉ（ｉ＝１，２，３，４，５）の重心座標（ｘｇ_i，ｙｇ_i）を導出し（Ｓ１０４）、姿勢導出手段１４により各ピッキング対象物体領域ｉの姿勢角度θ_iを導出する（Ｓ１０５）（図６（ｃ）参照。）。そして、ピッキングシステム１は、識別手段１５により各ピッキング対象物体領域ｉの中から実際にピッキングする１つの対象物Ｍを識別し（Ｓ１０６）（図６（ｄ）参照。）、ピッキング手段１７によりピッキングを行う。

以上のように、本実施形態におけるピッキングシステム１によれば、評価関数Ｊ_iの第１項および第２項によって、乱雑に配置された複数の対象物Ｍの中から重なり合ったり直列や並列に繋がったりしている対象物Ｍを排除して、各対象物Ｍを識別し、正確にピッキングすることが可能である。

また、評価関数Ｊ_iについて
が所定の閾値以上の場合にはピッキングの対象としないので、対象物Ｍを正確に識別できていない可能性が大きい場合には、これを排除して、より正確な識別を行い、各対象物Ｍをより正確にピッキングすることが可能である。

さらに、このピッキングシステム１では、各ピッキング対象物体領域ｉの姿勢角度を導出し、各ピッキング対象物体領域ｉに外接する矩形を、姿勢導出手段１４により導出した各ピッキング対象物体領域ｉの姿勢角度の２辺とこれに直交する２辺により構成しているので、各ピッキング対象物体領域ｉの姿勢角度の導出ミスがあったものを排除して各対象物Ｍを識別し、より正確にピッキングすることが可能となっている。

本発明は、アンプルやバイアル等の注射薬や輸液バッグ等の返却されたピッキング対象物体をピッキングするためのピッキングシステムおよびピッキング方法として有用であり、特にトレイ上に乱雑に載置されたピッキング対象物体をピッキングする場合に好適である。

１ ピッキングシステム
２ カメラ装置
３ ピッキング装置
４ コンピュータ
５ ディスプレイ
１０ 画像入力手段
１１ 二値化処理手段
１２ 対象物体領域抽出手段
１３ 重心導出手段
１４ 姿勢導出手段
１５ 識別手段
１６ テンプレート記憶手段
１７ ピッキング手段

Claims (6)

1. 複数のピッキング対象物体を含む画像を入力する画像入力手段と、
   前記複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとにテンプレート画像を記憶または前記テンプレート画像の面積を記憶するテンプレート記憶手段と、
   前記画像入力手段により入力された画像からピッキング対象物体領域を抽出する対象物体領域抽出手段と、
   前記各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の項と、前記各ピッキング対象物体のテンプレート画像の面積と前記各ピッキング対象物体領域の面積との差の項とを含む評価関数により各ピッキング対象物体を識別する識別手段と
   を含むピッキングシステム。
2. 前記対象物体領域抽出手段は、前記各ピッキング対象物体領域にラベリングを行うものであり、
   前記識別手段は、前記ラベリングされたｗ個の各ピッキング対象物体領域ｉ＝１，２，…，ｗについて、各ピッキング対象物体領域ｉの面積をＳ_i、各ピッキング対象物体領域ｉに外接する矩形の面積をＲ_i、前記テンプレート記憶手段に記憶するｋ個のピッキング対象物体のテンプレート画像の面積をＴ_k、重み係数をαとしたとき、前記評価関数Ｊ_iが、
   であり、
   を満たすピッキング対象物体領域ｉをピッキング対象物体として識別するものである請求項１記載のピッキングシステム。
3. 前記識別手段は、
   が所定の閾値以上の場合にはピッキング対象物体としないことを特徴とする請求項２記載のピッキングシステム。
4. 前記各ピッキング対象物体領域の姿勢角度を導出する姿勢導出手段を含み、
   前記識別手段は、前記各ピッキング対象物体領域に外接する矩形を、前記姿勢導出手段により導出した前記各ピッキング対象物体領域の姿勢角度の２辺とこれに直交する２辺により構成するものである請求項１から３のいずれかに記載のピッキングシステム。
5. 前記各ピッキング対象物体領域の重心を導出する重心導出手段と、
   前記識別手段により識別した各ピッキング対象物体を、前記重心導出手段により導出した重心および前記姿勢導出手段により導出した姿勢角度に基づいてピッキングを行うピッキング手段と
   を含む請求項１から４のいずれかに記載のピッキングシステム。
6. 複数のピッキング対象物体を含む画像を入力すること、
   前記入力された画像からピッキング対象物体領域を抽出すること、
   前記各ピッキング対象物体領域に外接する矩形の面積とその各ピッキング対象物体領域の面積との差の項と、前記複数のピッキング対象物体について予め各ピッキング対象物体の種類ごとに記憶された各ピッキング対象物体のテンプレート画像の面積と前記各ピッキング対象物体領域の面積との差の項とを含む評価関数により各ピッキング対象物体を識別すること
   を含むピッキング方法。