JP7184333B2 - 検査モジュール、検査システム、および搬送システム - Google Patents

Description

本開示は、検査モジュール、検査システム、および搬送システムに関する。

ベルトコンベアなどの搬送装置は、製造装置および検査装置などの種々の装置に使用されている。例えば特許文献１は、搬送装置を用いた包装機を開示している。特許文献１の包装機は、被包装物の位置ずれを検知する機能を備えている。一方、特許文献２は、遊技機の製造ラインにおいて構成部材から部品が脱落したか否かを検出する装置を開示している。

搬送装置が使用される一つの例として、医薬品の包装を行う装置が挙げられる。そのような装置においては、作業前に、前回使用された製品、部品、資材などが製造ライン上に残存していないかを確認することが求められる。この作業は、異種製品の混入を避ける上で必須の作業であり、ラインクリアランスと呼ばれる。

特開２０１６－２１０５０１号公報 特開２０１３－２４８２９０号公報

搬送装置を使用する場合、搬送される物品が正規の搬送経路から逸脱する場合がある。また、搬送装置を使用せず、手作業で各種の作業を行う場合も、作業台から必要な物品が落下する場合がある。そのような場合に、装置または作業台の下に侵入した物品を検出する有効な方法は従来存在しなかった。

本開示は、搬送装置または作業台の下に落下した物品を効果的に検出するための新規な技術を提供する。

本開示の一態様による検査モジュールは、物品を搬送する搬送機構と、前記搬送機構を支持する複数の脚部と、を備えた搬送装置と組み合わせて使用される。前記検査モジュールは、前記搬送機構の下の設置面を撮影するカメラと、前記カメラを支持する支持部材とを備える。

本開示の他の態様による搬送システムは、物品を搬送する搬送機構と、前記搬送機構を支持する複数の脚部と、前記搬送機構の下の設置面を撮影するカメラとを備える。

本開示のさらに他の態様による検査システムは、作業台と、前記作業台に取り付けられた支持部材と、前記支持部材によって支持され、前記作業台が設置された設置面を撮影するカメラとを備える。

本開示の技術によれば、搬送装置または作業台の下に落下した物品を効果的に検出することが可能になる。

搬送装置を模式的に示す図である。 複数の検査モジュールが搬送装置の下に設置された搬送システムを示す図である。 検査モジュールの一例を模式的に示す図である。 水平支持部および各垂直支持部が伸縮可能である支持部材の一例を示す図である。 検査モジュールが搬送機構の下に配置された状態を示す図である。 搬送機構の下に設置された検査モジュールの一例を示す図である。 全方位カメラによって撮影される画像の一例を示す図である。 カメラの概略構成を示すブロック図である。 照明装置を備える検査モジュールの一例を示す図である。 搬送装置の一例を示す側面図である。 搬送装置の一例を示す上面図である。 搬送システムにおけるカメラの配置例を示す図である。 処理装置を備えた検査システムの例を模式的に示す図である。 処理装置によって実行される処理の一例を示すフローチャートである。 カメラを搬送機構に取り付ける構成の第１の例を示す図である。 カメラを搬送機構に取り付ける構成の第２の例を示す図である。 カメラを搬送機構に取り付ける構成の第３の例を示す図である。 カメラを搬送機構に取り付ける構成の第４の例を示す図である。 カメラを搬送機構に取り付ける構成の第５の例を示す図である。 検査システムの一例を模式的に示す図である。

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

前述のように、搬送装置を備えた装置では、搬送される製品、部品、資材などの物品が、その装置の正規の搬送経路から逸脱する場合がある。これにより、例えば以下の問題が生じる可能性がある。
・製品数の過不足
・異種製品または異種資材の混入
・搬送物が食品または薬品の場合、衛生上の問題

中でも床に落下し、装置の下部に侵入した製品、部品、資材などの残留物の確認は重要である。しかし、装置の下部は見えづらく、検査人員はかがみこむ姿勢で目視で残留物を確認する必要がある。このため、検査に多くの労力と時間を要する。例えば、ある医薬品の製造ラインにおいては、目視で残留物を確認する作業に、１０分から３０分程度の時間を要する。さらに、目視による確認作業には、残留物の見逃しのリスクもある。これらの課題は、搬送装置を使用する場合に限らず、例えば手作業で製品の製造、梱包、検査などの作業を行う場合にも同様に発生し得る。

そこで、本発明者らは、残留物の検出の確実性の向上、および作業者の負担軽減などの観点から、搬送装置または作業台の下部の残留物の検査を自動化するシステムを検討した。搬送装置または作業台の下の残留物を検出する方法として、例えば以下の方法が考えられる。
・光学センサーを用いて残留物を検出する方法
・重量センサーを用いて残留物を検出する方法
・磁気または静電気などのセンサーで、主に金属の残留物を検出する方法
・カメラによる撮影および画像解析によって残留物を検出する方法

しかしながら、残留物検出の自動化には、以下のような課題がある。
・残留物が残り易い箇所を特定することが一般に難しく、広範囲の検査が必要である。
・（特に多品種の製造ラインにおいて）残留物の大きさまたは形状が多岐にわたり、対象を限定しにくい。
・残留物の重量および材質も様々である。

これらの理由から、カメラを使用した画像解析による方法が最も現実的であると考えられる。しかしながら、当該方法には、以下の課題がある。
（１）一般に装置下部のスペースは狭く、カメラと床面（残留物）との距離が近いため、撮影が困難である。
（２）装置の脚その他の機器などによって視野の一部が遮られ、死角ができる。
（３）多数のカメラを設置した場合、カメラと画像処理装置との間のケーブル類が煩雑になる。
（４）（特に多数のカメラを設置した場合）作業者の作業の妨げとなるおそれがある。
（５）（特に既設の装置に後から取り付ける場合）装置下部にカメラを取り付けにくい。
（６）床材に柄がある場合、残留物との識別が難しい。
（７）装置の周囲を人が歩いたりした場合、撮影される画像に影響が及び、誤検出の可能性がある。

これらの理由により、搬送装置または作業台の下の落下物を自動で検出するシステムは、これまでに実現されていなかった。

本発明者らは、以上の課題に着目し、上記（１）～（７）の課題の少なくとも１つを解決する方法として、以下に説明する本開示の実施形態の構成に想到した。

以下、本開示の実施形態の概要を説明する。

本開示の一態様による検査モジュールは、物品を搬送する搬送機構と、前記搬送機構を支持する複数の脚部と、を備えた搬送装置と組み合わせて使用される検査モジュールであって、前記搬送機構の下の設置面を撮影するカメラと、前記カメラを支持する支持部材と、を備える。

ある実施形態において、前記支持部材は、前記設置面に平行な方向に延びる水平支持部を前記搬送機構の下に備え、前記カメラは、前記水平支持部の両端よりも内側に取り付けられている。

ある実施形態において、前記支持部材は、前記水平支持部から垂直に延びる１つ以上の垂直支持部であって、下端が前記設置面に接触する、かつ／または上端が前記搬送機構に接触する１つ以上の垂直支持部をさらに備える。

ある実施形態において、各垂直支持部は、伸縮可能な機構を備える。

ある実施形態において、前記検査モジュールは、各垂直支持部が、前記搬送機構の底面と前記設置面との間で突っ張ることにより、前記搬送機構の下に固定される。

ある実施形態において、前記水平支持部は、１つ以上の結合部を介して前記搬送機構の底部に取り付けられている。

ある実施形態において、前記水平支持部は、伸縮可能な機構を備える。

ある実施形態において、前記カメラは全方位カメラであり、前記搬送機構の下に配置される。

ある実施形態において、前記支持部材は、前記カメラと前記設置面との距離を変化させることが可能な機構を備える。

ある実施形態において、前記カメラと前記設置面との距離は、１０ｍｍ以上１５００ｍｍ以下である。

本開示の他の態様による検査システムは、各々が上記のいずれかに記載の検査モジュールである１つ以上の検査モジュールと、各検査モジュールにおける前記カメラから出力された画像信号に基づいて、前記搬送機構の下の落下物を認識する処理装置と、を備える。

ある実施形態において、前記処理装置は、各検査モジュールにおける前記カメラによって異なる複数のタイミングで生成された複数の画像信号に基づいて、前記カメラの撮影可能範囲に位置する前記落下物を認識する。

本開示のさらに他の態様による搬送システムは、各々が上記のいずれかに記載の検査モジュールである１つ以上の検査モジュールと、前記搬送装置と、を備える。

本開示のさらに他の態様による搬送システムは、物品を搬送する搬送機構と、前記搬送機構を支持する複数の脚部と、前記搬送機構の下の設置面を撮影するカメラと、を備える。

ある実施形態において、前記搬送システムは、前記カメラによって生成された画像信号に基づいて、前記搬送機構の下の落下物を認識する処理装置をさらに備える。

ある実施形態において、前記カメラは前記搬送機構の下に配置される。

ある実施形態において、前記カメラは全方位カメラである。

本開示のさらに他の態様による検査システムは、作業台と、前記作業台に取り付けられた支持部材と、前記支持部材によって支持され、前記作業台が設置された設置面を撮影するカメラと、を備える。

ある実施形態において、前記検査システムは、前記カメラによって生成された画像信号に基づいて、前記作業台の下の落下物を認識する処理装置をさらに備える。

ある実施形態において、前記カメラは、前記作業台の下に位置する。

以下、本開示のより具体的な実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。

（実施形態）
まず、搬送装置と組み合わせて使用される検査モジュールの実施形態を説明する。

図１は、例示的な搬送装置１００を模式的に示す図である。搬送装置１００は、物品を搬送する搬送機構１１０と、搬送機構１１０を支持する複数の脚部１２０とを備える。搬送機構１１０は、例えばベルトコンベアなどの、物品を搬送する機構を含む。搬送機構１１０には、例えばベルトコンベアを駆動するモータなどの駆動装置、および当該駆動装置を制御する制御装置も含まれる。本明細書において、「搬送機構」の用語は、物品の搬送に直接的に寄与するベルトコンベアなどの部位のみならず、複数の脚部によって支持される装置の全体を指すものとして用いられる。

図２は、複数の検査モジュール２００が搬送装置１００の下に設置された搬送システムを示す図である。図示されるように、本実施形態の検査モジュール２００は、搬送装置１００における搬送機構１１０の下のスペースに設置されて使用される。図２に示す搬送システムは、３つの検査モジュール２００を含むが、検査モジュール２００の個数は任意である。

図３は、検査モジュール２００の一例を模式的に示す図である。検査モジュール２００は、カメラ２１０と、カメラ２１０を支持する支持部材２２０とを備える。カメラ２１０は、搬送機構１１０の下の設置面（例えば床面または地面）に対向するように配置される。

本実施形態における支持部材２２０は、搬送機構１１０の下に設置される。支持部材２２０は、搬送機構１１０の下に設置された状態において、設置面に平行に延びる水平支持部２２２と、水平支持部２２２から垂直に延びる２つの垂直支持部２２４とを備える。垂直支持部２２４の個数は２に限らず、１または３以上であってもよい。なお、水平支持部２２２は、設置面に厳密に平行に延びている必要はなく、多少の傾斜または撓みは許容される。同様に、垂直支持部２２４は、水平支持部２２２に厳密に垂直に延びている必要はなく、傾斜または撓みがあってもよい。本実施形態における各垂直支持部２２４は、下端が設置面に接触し、上端が搬送機構１１０の下面に接触するように構成されている。

カメラ２１０は、水平支持部２２２の両端よりも内側に取り付けられる。カメラ２１０は、不図示のネジまたはボルトなどの手段によって水平支持部２２２に取り付けられる。カメラ２１０は、搬送装置１００が設置されている設置面を撮影し、画像データを生成する。カメラ２１０は、ケーブル２３０を介して外部の処理装置に接続される。ケーブル２３０は、例えばＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｈｅｒｎｅｔ）ケーブルであり得る。ＰｏＥケーブルを用いることにより、電力と信号とを１本のケーブルで伝送できる。これにより、ケーブルの本数を削減できる。

水平支持部２２２は、伸縮可能な機構を備えていてもよい。そのような機構により、水平支持部２２の長さを変化させることができる。同様に、各垂直支持部２２４は、伸縮可能な機構を備えていてもよい。そのような機構により、各垂直支持部２２４の上端の高さを変化させることができる。検査モジュール２００が設置される箇所により、搬送機構１１０の底面の設置面からの高さが異なり得る。このため、各垂直支持部２２４の上端の高さを変化させることができれば、様々な箇所に設置することが可能になる。さらに、上端と下端とで突っ張るようにすることで、検査モジュール２００を搬送機構１１０の下に安定して固定することができる。

図４Ａおよび図４Ｂは、水平支持部２２２および各垂直支持部２２４が伸縮可能である支持部材２２０の一例を示している。この例では、水平支持部２２２は、スライドレールの機構を備え、水平方向に伸縮することができる。このため、搬送装置１００の幅に応じて、水平支持部２２２の長さを調節することができる。これにより、様々な幅の装置に取り付けることができる。さらに、垂直支持部２２４の位置を調節することができるため、カメラ２１０の死角を減少させることができる。また、この例における各垂直支持部２２４は、下端部をネジのように回転させることにより、上端の高さを調節できるように構成されている。これにより、搬送機構１１０の下面の高さに応じて、垂直支持部２２４の上端の高さを調節できる。このような構成により、搬送機構１１０の下への検査モジュール２００の設置を容易にすることができる。

支持部材２２０は、図４Ａに示すように水平支持部２２２の長さを予め適切な長さにした上で、各垂直支持部２２４の長さを短くした状態で、図４Ｂに示すように、搬送機構１１０の下に挿入される。その状態で、垂直支持部２２４の下端部を回転させることで、垂直支持部２２４の上端を搬送機構１１０の底面に接触させることができる。これにより、検査モジュール２００は、各垂直支持部２２４が、搬送機構１１０の底面と設置面４００との間で突っ張ることにより、搬送機構１１０の下に固定される。このような機構により、カメラ２１０が容易に動かないように固定できる。床面または搬送装置１００の下部に穴加工などの工事を行う必要もなく、一般的に取り付けにくい装置の下部にも比較的容易に設置することができる。さらに、必要十分な固定強度が得られる。

図４Ａおよび図４Ｂに示す例では、各垂直支持部２２４は、下端部をネジのように回転させることでその長さを調節することができる。一方、水平支持部２２２は、手で引っ張ったり押し込めたりすることにより、長さを調節することができる。長さを調整する機構は、このような構造に限定されない。例えば、電動で垂直支持部２２４および／または水平支持部２２２の長さを調節できるようにしてもよい。その場合、例えばリニアアクチュエータなどの電動の直動機構が用いられ得る。さらには、垂直支持部２２４および／または水平支持部２２２に無線通信機能を搭載し、リモコンまたはスマートフォンなどの端末から指令を与えることによって長さを調節できるようにしてもよい。

次に、図５を参照しながら、水平支持部２２２および垂直支持部２２４の仕様の一例を説明する。

図５は、搬送機構１１０の下に設置された検査モジュール２００の一例を示している。この例における各垂直支持部２２４は、上側支持部２２４ａ、下側支持部２２４ｂ、メジャー２２４ｃ、上端部２２４ｄ、および下端部２２４ｅを備える。上側支持部２２４ａと下側支持部２２４ｂとは、互いに連結されている。水平支持部２２２は、下側支持部２２４ｂに接続されている。メジャー２２４ｃは、下側支持部２２４ｂの側面に設けられており、水平支持部２２２の設置面からの距離を示す。上端部２２４ｄは、上側支持部２２４ａの上端に取り付けられている。下端部２２４ｅは、下側支持部２２４ｂの下端に取り付けられている。

前述のように、作業性に優れた機構で上端部２２４ｄの設置面からの高さを調節できることが好ましい。また、調節後は動かないように固定されることが好ましい。上端部２２４ｄの設置面４００からの高さ、すなわち、垂直支持部２２４の長さの調節可能な範囲は、例えば、９５ｍｍから１５０ｍｍの範囲であり得る。ただし、この範囲は、使用される搬送機構１１０の底面の高さに依存する。一般に、搬送機構１１０の底面と設置面４００との距離は、数十ｍｍから数百ｍｍ程度である。このため、垂直支持部２２４の長さも、例えば１０ｍｍから５００ｍｍ程度の範囲で調整可能であれば、多くの場合、問題はない。しかし、搬送機構１１０によっては、その底面と設置面との距離が、例えば１０００ｍｍを超えるような箇所もあり得る。その場合には、垂直支持部２２４の長さの上限も、１０００ｍｍ以上、場合によっては２０００ｍｍ程度の値に設定され得る。

同様に、水平支持部２２２およびカメラ２１０についても、設置面４００からの高さを調節できるように構成してもよい。例えば、水平支持部２２２およびカメラ２１０の高さは、ある高さを基準として、－１０ｍｍから＋５ｍｍの範囲で調整可能であってよい。一例として、水平支持部２２２の下端の、設置面４００からの高さを、８５ｍｍを基準として、７５ｍｍから９０ｍｍの範囲で調整可能であってよい。ただし、この調整可能な範囲も、使用される搬送装置１００の構造に依存する。上記の範囲よりもさらに広い範囲で水平支持部２２２およびカメラ２１０の高さが調整可能であってもよい。この調整も、作業性に優れる機構によって実現され得る。また、調整後は動かないように固定されることが好ましい。

カメラ２１０と設置面４００との距離が、例えば１０ｍｍ以上１５００ｍｍ以下になるように、水平支持部２２２の高さが調整され得る。搬送機構１１０の底面の高さがそれほど高くない搬送装置１００にのみ使用される場合は、カメラ２１０と設置面４００との距離は、例えば１０ｍｍ以上５００ｍｍ以下でもよい。場合によっては、当該距離は、１０ｍｍ以上３００ｍｍ以下、あるいは１０ｍｍ以上１５０ｍｍ以下であってもよい。カメラ２１０と設置面４００との距離の下限は、カメラ２１０の画角および感度などの性能に応じて決定される。

図５に示す例では、水平支持部２２２の高さを計測するためのメジャー２２４ｃが設けられている。メジャー２２４ｃの目盛りは、例えば１ｍｍ単位であり得る。このようなメジャー２２４ｃを設けることで、作業者が水平支持部２２２の高さを把握し易くなる。

上側支持部２２４ａ、下側支持部２２４ｂ、メジャー２２４ｃ、水平支持部２２２は、変形しにくく、耐食性に優れ、光沢のない材料で構成されることが好ましい。光沢がある場合は表面処理が行われることが好ましい。これは、光の反射がカメラ２１０による撮影に及ぼす影響を低減するためである。水平支持部２２２は、さらに、撓みにくい材料で構成されることが好ましい。垂直支持部２２４の上端部２２４ｄおよび下端部２２４ｅは、例えば劣化しにくく、耐衝撃性に優れるゴムなどの材料で構成され得る。そのような材料を用いることで、搬送装置１００の振動または付近を人が歩くことで生じる振動の影響を緩和することができる。

水平支持部２２２は、例えばＤＩＮレールのような、ケーブルを収納可能な部材によって構成され得る。そのような部材を用いることにより、カメラ２１０に接続されるケーブル（例えば、ＬＡＮケーブル）を収納することができる。このため、ケーブルによって検査モジュール２００の周辺が煩雑になることを回避できる。

本実施形態におけるカメラ２１０は、全方位カメラである。全方位カメラは、通常のカメラよりも広角の撮影が可能であり、例えば監視目的で使用されている。一般に、全方位カメラは天井に取り付けられることが多い。これに対し、本実施形態では、搬送装置１００の下部にカメラ２１０が取り付けられる。

図６は、全方位カメラによって撮影される画像の一例を示す図である。全方位カメラを用いた場合、図示されるように、３６０度全方位の画像を得ることができる。この例では、床面の絨毯の他、搬送装置１００の脚部１２０などの周辺にある物が鮮明に写っている。このような画像を利用して、搬送装置１００の下部の検査エリアに侵入した物体を検出することができる。

図６に示す例では、床材として、絨毯が使用されており、床面からの光の反射が抑制されている。表面が滑らかな床材を使用した場合、周囲の物体が床に映り込み、対象物の検知の障害になる可能性がある。このため、反射率の低い床材を選択するか、床材に反射を防止する加工を施すことが望ましい。そのような床材を使用することで、より確実な対象物の検知が可能となる。

カメラ２１０を搬送装置１００または作業台の下部に取り付け、設置面を撮影するという構成は、従来存在せず、本実施形態特有の構成である。特に、カメラ２１０は、搬送装置１００の周辺部の下ではなく、中央部付近の下に設置され得る。これにより、搬送装置１００の下の広い範囲を撮影することができる。カメラ２１０は、例えば、水平支持部２２２を三分割した場合の中央部に設けられ得る。さらに、全方位カメラを使用することにより、搬送装置１００の下の全域を撮影対象領域としてカバーすることができ、落下物を効果的に検出することができる。

なお、搬送機構１１０の下面が十分に高い場合、または搬送機構１１０の幅が十分に小さい場合のように、画角をそれほど大きくする必要がない場合もあり得る。その場合は、全方位カメラを使用することを要しない。一般的な広角レンズを有するカメラを使用しても前述の課題を達成できる場合もある。

以下、図７を参照しながら、カメラ２１０の構成の一例を説明する。図７は、本実施形態におけるカメラ２１０の概略構成を示すブロック図である。本実施形態のカメラ２１０は、デジタル式の電子カメラであり、より具体的には、全方位ネットワークカメラである。

図７に例示するカメラ２１０は、撮像部５１０と、信号処理部５２０と、制御回路５００と、通信回路５４０とを備える。撮像部５１０は、レンズユニット５１２と、シャッタ５１４と、イメージセンサ５１６と、センサ駆動回路５１８とを備える。信号処理部５２０は、画像処理回路５２２と、メモリ５２４とを備える。

イメージセンサ５１６は、撮像面上に行および列状に配列された複数の光検出セルを備える。光検出セルは、例えばフォトダイオードを含む。光検出セルは、光電変換素子であり、受けた光の光量に応じた電気信号を出力する。イメージセンサ５１６は、例えばＣＣＤまたはＣＭＯＳなどのセンサであり得る。

レンズユニット５１２は、魚眼レンズを含み得る。レンズユニット５１２は、単一のレンズに限らず、複数のレンズを含むレンズユニットであってもよい。レンズユニット５１２およびシャッタ５１４は、不図示の機構によって駆動され、光学ズーミング、自動露光、オートフォーカスに必要な動作が実行され得る。

センサ駆動回路５１８は、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。センサ駆動回路５１８は、イメージセンサ５１６を駆動することにより、イメージセンサ５１６からアナログ信号を読み出してデジタル信号に変換する。

画像処理回路５２２は、色調補正、解像度の変更、データ圧縮などの各種の信号処理を行う。画像処理回路５２２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって実現され得る。メモリ５２４は、例えばＤＲＡＭまたはＳＲＡＭなどの記憶媒体によって構成される。メモリ５２４は、撮像部５１０から得られた画像データを記録する。メモリ５２４は、他にも、画像処理回路５２２によって各種の画像処理が行われた画像データを一時的に記録する。画像データは、通信回路５４０を介して、有線または無線で不図示の処理装置に送信される。

制御回路５３０は、撮像部５１０、信号処理部５２０、および通信回路５４０の動作を制御する。制御回路５３０は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含み得る。カメラ２１０は、図７に示されている構成要素以外の要素も備え得る。例えば、フラッシュを含む照明装置がカメラ２１０に搭載されていてもよい。あるいは、照明装置を、カメラ２１０とは別に設けてもよい。撮影時に照明装置を使用することにより、対象物の影が大きくなるため、より小さい対象物や検知しにくい外観の対象物であっても検知し易くなる。

なお、イメージセンサ５１６は、通常のカラー画像を生成するものに限定されず、単色の画像を生成してもよい。さらには、可視光画像に限らず、赤外画像を生成してもよい。赤外画像を生成するイメージセンサ５１６が用いられる場合、赤外線を照射する照明装置を併せて利用してもよい。

図８は、照明装置２４０を備える検査モジュール２００の一例を示している。図８の例では、支持部材２２０の水平支持部２２２に照明装置２４０が取り付けられている。照明装置２４０は、カメラ２１０に隣接する位置に配置されている。照明装置２４０は図示される位置に限らず、任意の位置に配置され得る。照明装置２４０は、不図示のケーブルを介して外部の処理装置に接続され得る。照明装置２４０は、処理装置によって、カメラ２１０の撮影に同期して駆動され得る。

次に、図９Ａおよび図９Ｂを参照しながら、本実施形態の検査モジュール２００の配置の例を説明する。図９Ａは、実際の搬送装置１００の一例を示す側面図である。図９Ｂは、この搬送装置１００の上面図である。図９Ｂにおける点線枠は、検査モジュール２００が配置される位置を示している。この例では、複数の検査モジュール２００が、搬送装置１００の下部の適切な位置に配置されている。図９Ａに示すように、搬送装置１００の搬送機構の底面の高さに応じて、各検査モジュール２００の高さが調節されている。また、図９Ｂに示すように、搬送装置１００の幅に応じて、各検査モジュール２００の幅が調節されている。このように、幅および高さを調節可能な検査モジュール２００を使用することにより、搬送装置１００の様々な箇所で検査を行うことが可能である。

図９Ｃは、ある搬送システムにおけるカメラ２１０の配置例を示す図である。図９Ｃにおける数字付きの点は、カメラ２１０の位置を示している。この例では、１６個のカメラ２１０によって搬送経路のほぼ全域が撮影対象範囲としてカバーされている。各カメラ２１０の視野の死角を他のカメラが補い合うように配置されている。複数のカメラ２１０をこのように配置することで、搬送装置１００の脚部などによる死角をなくすことができる。また、全方位カメラを使用することで、通常の視野のカメラよりも死角を補い易くすることができる。

上記の例のように、搬送装置１００の下部の様々な位置に多くのカメラ２１０を配置する場合、各カメラ２１０が生成した画像データは、ネットワークを介して外部の処理装置に送信される。処理装置は、送信された画像データに基づき、搬送装置１００から落下して搬送装置１００の下に侵入した物体を検出することができる。

図１０は、処理装置を備えた検査システムの例を模式的に示す図である。この検査システムは、複数のカメラ２１０と、スイッチングハブ３１０と、無線アクセスポイント３２０と、処理装置３３０と、記憶装置３４０と、表示装置３６０とを備える。

複数のカメラ２１０は、ネットワーク機能を備える。複数のカメラ２１０は、スイッチングハブ３１０に接続されている。スイッチングハブ３１０は、無線アクセスポイント３２０に接続されている。無線アクセスポイント３２０は、処理装置３００に無線で接続される。記憶装置３４０および表示装置３６０は、処理装置３３０に接続されている。

この例のように、ネットワークカメラの特性を生かし、スイッチングハブ３１０や無線アクセスポイント３２０を使用することで、配線を削減することができる。

処理装置３３０は、例えばパーソナルコンピュータまたはサーバコンピュータなどの汎用のコンピュータであり得る。あるいは、本実施形態における処理に適合した専用のコンピュータであってもよい。処理装置３３０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｆｆｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサと、メモリとを備える。処理装置３００は、メモリに格納されたコンピュータプログラムを実行することにより、落下物の認識処理を行う。処理装置３００は、搬送装置１００の動作と連携して、各カメラ２１０への撮影指示を行う。そして、各カメラ２１０から出力された画像信号に基づいて、搬送機構１１０の下の落下物（「異物」とも称する）を検出する。検出結果は、記憶装置３４０に記録され、表示装置３６０に表示され得る。

記憶装置３４０は、例えばＮＡＳ（Ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）であり、処理された画像データおよび検出結果を示す各種のログデータを保存することができる。表示装置３６０は、画像および音声の少なくとも一方の情報により、作業者または管理者に、搬送機構の下に異物が存在することを通知することができる。

搬送機構の下の異物の認識は、例えば以下のような方法で行われ得る。
（１）事前に異物のない画像を撮影し、登録する。
（２）検査開始後、画像を撮影し、登録した画像との差を演算する。
（３）上記（２）の動作を一定の時間間隔で複数回行い、変化のある部分を除去する。
（４）残った部分を異物と判断する。
上記の（３）の処理は、作業者の足などの、一時的に撮影された物体を誤って異物であると認識されないようにするために行われる。

図１１は、処理装置３００によって実行される処理の一例を示すフローチャートである。以下、このフローチャートを参照しながら、処理装置３００による検出処理の一例を説明する。この例では、処理装置３００は、各検査モジュールにおけるカメラ２１０によって異なる複数のタイミングで生成された複数の画像信号に基づいて、当該カメラ２１０の撮影可能範囲に位置する落下物を認識する。

ステップＳ１０１において、処理装置３００は、搬送機構の下に異物がない状態で、各カメラ２１０に撮影を実行させ、画像Ｉ０を記録させる。この画像Ｉ０は、搬送機構が動作していない状態で予め取得されてもよい。搬送機構が動作している状態で、ステップＳ１０２以降の動作が行われる。

ステップＳ１０２において、処理装置３００は、各カメラ２１０に撮影を指示し、画像Ｉ１を記録させる。そして、予め記録されている画像Ｉ０との差分画像Ｉａを生成する。ここで差分画像は、２つの画像の画素値の差の絶対値を、その画素の画素値としてもつ画像である。ステップＳ１０２から一定時間（例えば、数ミリ秒から数秒程度）経過後、ステップＳ１０３の動作が行われる。

ステップＳ１０３において、処理装置３００は、各カメラ２１０に再度撮影を指示し、画像Ｉ２を記録させる。そして、予め記録されている画像Ｉ０との差分画像Ｉｂを生成する。

ステップＳ１０４において、処理装置３００は、差分画像Ｉａと差分画像Ｉｂとの差分画像Ｉｃを生成する。この画像Ｉｃは、動きのある異物が存在する画素において、０よりも大きい値を有する。

ステップＳ１０５において、処理装置３００は、画素ごとに以下の演算を行うことにより、Ｉｔを算出する。
Ｉｔ＝（Ｉａ／２）＋（Ｉｂ／２）－（Ｉｃ／２）

ステップＳ１０６において、処理装置３００は、画像Ｉｔにおいて、閾値を超える画素の数が一定数以上であるかを判定する。この判定がＮｏの場合は、ステップＳ１０２に戻る。この判定がＹｅｓの場合は、ステップＳ１０７に進む。

ステップＳ１０７において、処理装置３００は、ステップＳ１０６で連続してＹｅｓと判定された回数が、予め指令された回数に到達したかを判定する。この判定がＮｏの場合は、ステップＳ１０２に戻る。この判定がＹｅｓの場合は、ステップＳ１０８に進む。

ステップＳ１０８において、処理装置３００は、異物の存在を通知する。例えば、表示装置３６０に、異物の存在とその場所を示す情報を表示させる。これにより、作業者または管理者は、搬送装置１００の特定の箇所に異物が存在することを知ることができる。

なお、図１１に示す処理は一例に過ぎず、異物を検出する処理は様々な変形が可能である。例えば、ステップＳ１０４における差分画像Ｉｃを生成することなく、差分画像Ｉａのみに基づいて異物を検出してもよい。あるいは、上記の処理とは全く異なる処理により、落下物の認識を行ってもよい。例えば、人工知能（ＡＩ）を用いて、異物の有無だけでなく、異物の種類を認識することも可能である。例えば、ディープラーニングなどの機械学習によって学習された学習済みモデルを用いて、落下物の種類を認識することができる。

処理装置３００は、検査結果を作業者または管理者に通知するだけでなく、記憶装置３４０に各種の情報を記録してもよい。例えば、以下の情報を記録してもよい。
・検査日、時刻
・担当した作業者
・製品名およびロット番号（必要に応じてシリアルナンバーなど）
・残留物検出の有無
・その時の各部の生映像

これらの情報を記録することにより、各種の製造記録に要求される情報を保存することができる。

（変形例）
次に、上記の実施形態の変形例を説明する。

上記の実施形態では、搬送装置１００と組み合わせて使用される検査モジュール２００を用いることを前提とした。特に、検査モジュール２００の各垂直支持部２２４が、搬送機構１１０の底面と設置面４００との間で突っ張ることにより、搬送機構１１０の下に固定される形態を説明した。本開示の技術はこのような実施形態に限定されず、様々な変形が可能である。

図１２Ａから図１２Ｅは、カメラ２１０を搬送機構１１０に取り付ける方法の種々のバリエーションを示している。図１２Ａは、前述の実施形態のように、検査モジュール２００における一対の垂直支持部２２４が突っ張り棒のように、搬送機構１１０と設置面との間に固定される例を示している。この構成は、カメラ２１０を安定して設置できる点で、優れている。なお、図１２Ａの例では、複数の垂直支持部２２４が、搬送装置１００の複数の脚部１２０の外側に位置している。このような構成にすることで、複数の垂直支持部２２４によって生じるカメラ２１０の死角を減少させることができる。

図１２Ｂは、検査モジュール２００における一対の垂直支持部２２４の上端部が搬送機構１１０を挟みこむことによって検査モジュール２００が固定される形態を示している。この形態では、各垂直支持部２２４の下端部は設置面に接触していない。このような構成であっても、カメラ２１０を安定して設置することができる。

図１２Ｃは、検査モジュール２００における各垂直支持部２２４の下端部は設置面に接触しているが、上端部は搬送機構１１０の底面に接触していない形態を示している。このような構成であっても、垂直支持部２２４の構造を工夫することで、カメラ２１０を安定して設置することができる。例えば、各垂直支持部２２４の下端部の面積を大きくしたり、２個よりも多くの垂直支持部２２４を設けたりすることで、安定性を向上させることができる。

図１２Ｄは、検査モジュール２００における支持部材２２０が垂直支持部２２４を有していない形態を示している。この例では、支持部材２２０は、水平支持部２２２のみを備える。水平支持部２２２は、ネジ２２６によって搬送機構１１０の底部に取り付けられる。このような形態でも、カメラ２１０を安定的に設置することができる。なお、ネジ２２６に代えて、例えばボルトまたは接着材などの他の手段によって検査モジュール２００を搬送機構１１０の底部に取り付けてもよい。水平支持部２２２は、１つ以上の結合部を介して搬送機構１１０の底部に取り付けられ得る。なお、この形態では、支持部材２２０は、必ずしも設置面に水平に延びる構造を有している必要はない。支持部材２２０は、カメラ２１０を搬送機構１１０の下に取り付けることが可能な任意の構造を有し得る。

図１２Ｅは、支持部材２２０を使用することなく、カメラ２１０を搬送機構１１０の底部に直接取り付けた形態を示している。図１２Ｅに示す搬送システムは、物品を搬送する搬送機構１１０と、搬送機構１１０を支持する複数の脚部１２０と、搬送機構１１０の下の設置面を撮影するカメラ２１０とを備える。カメラ２１０は、例えばネジ、ボルト、または接着材などの結合手段によって搬送機構１１０に取り付けられる。そのような結合手段を「支持部材」であると解釈することもできる。このような構成であっても、カメラ２１０を安定して取り付けることができ、前述の効果を得ることができる。

図１２Ｅに示す例のように、支持部材２２０を用いずに、カメラ２１０を直接搬送装置に取り付けた構造は、従来存在しなかった。通常、搬送装置の下部のスペースは極めて狭く、そのような場所にカメラを取り付けることが容易ではない上に、そもそも落下物をカメラで検出するという課題が認識されていなかった。仮に搬送装置の下部にカメラを取り付けたとしても、通常の画角の狭いカメラでは、有益な画像を取得することができない。図１２Ｅの例では、全方位カメラなどの極めて広角のカメラを使用することにより、スペースの狭い場所に取り付けたとしても、有益な画像を取得することができる。なお、搬送機構１１０の底部が比較的高い装置に図１２Ｅの構成を採用する場合、全方位カメラではなく通常のカメラを使用してもよい。

以上の実施形態およびその変形例は、搬送装置の設置面をカメラで撮影する構成に関するが、本開示の技術はそのような構成に限定されない。例えば、図１３に示すように、作業台を用いて手作業で物品を製造したり、検査したりする場合においても本開示の技術を適用することができる。

図１３は、検査システムの一例を模式的に示す図である。この例における検査システムは、作業台３５０と、支持部材２２０と、カメラ２１０とを備える。支持部材２２０は、作業台３５０の縁に取り付けられている。カメラ２１０は支持部材２２０によって支持されている。この例におけるカメラ２１０は、作業台３５０の下ではなく、作業台３５０の縁の近傍に取り付けられている。カメラ２１０は、作業台３５０が設置された設置面を撮影するように、斜め下向きに配置されている。このような構成により、作業台３５０から落下した物品を検出できる。

この検査システムは、さらに、処理装置３３０と、表示装置３６０とを備える。カメラ２１０および表示装置３６０は、ケーブルを介して処理装置３３０に接続されている。処理装置３３０は、カメラ２１０によって生成された画像信号に基づいて、作業台３５０の下の落下物を認識する。表示装置３６０は、処理装置３３０によって認識された結果を表示する。例えば、作業台３５０から部品などの物品が落下し、処理装置３３０がその落下物を検出した場合、表示装置３６０に、その旨が表示される。これにより、作業者は、物品の落下を直ちに認識することができる。

図１３の例において、カメラ２１０は、作業台３５０の下に、ネジまたは接着剤などの手段によって直接取り付けられていてもよい。その場合、当該手段が「支持部材」として機能する。また、前述の実施形態のように、検査モジュールを用いて、カメラ２１０を作業台３５０の下に設置してもよい。

本開示の技術は、例えば製品の製造、検査、または包装などの作業を行う現場において利用できる。特に、製造装置、検査装置、包装機などの、搬送装置を利用する各種の装置に利用することができる。

１００ 搬送装置
１１０ 搬送機構
１２０ 脚部
２００ 検査モジュール
２１０ カメラ
２２０ 指示部材
２２２ 水平支持部
２２４ 垂直支持部
２２６ ネジ
２３０ ケーブル
２４０ 照明装置
３１０ スイッチングハブ
３２０ 無線アクセスポイント
３３０ 処理装置
３４０ 記憶装置
３５０ 作業台
３６０ 表示装置
４００ 設置面
５１０ 撮像部
５１２ レンズユニット
５１４ シャッタ
５１６ イメージセンサ
５１８ センサ駆動回路
５２０ 信号処理部
５２２ 画像処理回路
５２４ メモリ
５３０ 制御回路
５４０ 通信回路

Claims (12)

1. 物品を搬送する搬送機構と、
   前記搬送機構を支持する複数の脚部と、
   を備えた搬送装置と組み合わせて使用される検査モジュールであって、
   前記搬送機構の下の設置面を撮影するカメラと、
   前記カメラを支持する支持部材と、
   を備え、
   前記支持部材は、前記設置面に平行な方向に延びる水平支持部を前記搬送機構の下に備え、
   前記カメラは、前記水平支持部の両端よりも内側に取り付けられている、
   検査モジュール。
2. 前記支持部材は、前記水平支持部から垂直に延びる１つ以上の垂直支持部であって、下端が前記設置面に接触する、かつ／または上端が前記搬送機構に接触する１つ以上の垂直支持部をさらに備える、
   請求項１に記載の検査モジュール。
3. 各垂直支持部は、伸縮可能な機構を備える、請求項２に記載の検査モジュール。
4. 前記検査モジュールは、各垂直支持部が、前記搬送機構の底面と前記設置面との間で突っ張ることにより、前記搬送機構の下に固定される、請求項２または３に記載の検査モジュール。
5. 前記水平支持部は、１つ以上の結合部を介して前記搬送機構の底部に取り付けられている、請求項１に記載の検査モジュール。
6. 前記水平支持部は、伸縮可能な機構を備える、請求項１から５のいずれかに記載の検査モジュール。
7. 前記カメラは全方位カメラであり、前記搬送機構の下に配置される、請求項１から６のいずれかに記載の検査モジュール。
8. 前記支持部材は、前記カメラと前記設置面との距離を変化させることが可能な機構を備える、請求項１から７のいずれかに記載の検査モジュール。
9. 前記カメラと前記設置面との距離は、１０ｍｍ以上１５００ｍｍ以下である、請求項１から８のいずれかに記載の検査モジュール。
10. 各々が請求項１から９のいずれかに記載の検査モジュールである１つ以上の検査モジュールと、
    各検査モジュールにおける前記カメラから出力された画像信号に基づいて、前記搬送機構の下の落下物を認識する処理装置と、
    を備える検査システム。
11. 前記処理装置は、各検査モジュールにおける前記カメラによって異なる複数のタイミングで生成された複数の画像信号に基づいて、前記カメラの撮影可能範囲に位置する前記落下物を認識する、請求項１０に記載の検査システム。
12. 各々が請求項１から９のいずれかに記載の検査モジュールである１つ以上の検査モジュールと、
    前記搬送装置と、
    を備える搬送システム。

Images