JP5062102B2

JP5062102B2 - 自動運転装置

Info

Publication number: JP5062102B2
Application number: JP2008216749A
Authority: JP
Inventors: 雄介原; 憲明橋本; 隆室崎; 功永田; 克明阿南
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-08-26
Filing date: 2008-08-26
Publication date: 2012-10-31
Anticipated expiration: 2028-08-26
Also published as: JP2010052060A

Description

本発明は、設備を自動運転する自動運転装置に関するものであり、より詳しくは、設備の操作盤を撮した画像を参照して当該設備を自動運転する自動運転装置に関する。

近年、様々な機械、装置の製造工程や検査工程において、自動化が益々進展し、様々な自動組み立て装置や自動検査装置が使用されるに至っている。例えば、特許文献１には、組立装置を駆動して、自動的に部品の組立を行わせる駆動制御装置が開示されている。この駆動制御装置は、ワークを搬送する可動部を撮影した画像から、各動作段階における可動部及びワークの位置を確認することにより、各動作段階が終了したことを確認した後、次の動作段階を開始させる。

特開２００６−２２１２３８号報

一方、製品の仕様が変わると、それに伴って部品の形状及び大きさ、組立手順なども変更される。そのため、部品を自動的に組み立てる設備についても、その製品仕様の変更に伴って、その設備を制御するソフトウェアを修正しなければならない。また、そのような設備に部品を搬送する搬送装置と組み立てを行う設備とを互いに連携して動作させるためには、搬送装置と設備との間で、互いの起動条件及び設備の各動作段階ごとに実行する操作の内容を確認したり、各種の信号を通信する必要がある。このことは、設備を新たに設置した場合も同様である。そのため、設備に搬送装置を設置してから、実際にそれらを連携して動作させることが可能になるまでに長時間を要することがあった。また、自動運転中に設備が誤動作すると、復旧に長時間を要するため、設備と搬送装置を連携して動作させる際には、それらの誤動作を防止することが重要である。

上記の問題点に鑑み、本発明は、運転対象の設備に対して短期間で連携して動作させることが可能な自動運転装置を提供することを目的とする。
また本発明は、設備が誤作動することを防止可能な自動運転装置を提供することを他の目的とする。

請求項１に記載の形態によれば、本発明の一つの実施形態に係る、設備（２）を自動運転する自動運転装置（１）が提供される。その運転対象となる設備（２）は、各動作段階のうち何れの動作段階にあるかを示す表示部（２１）と、設備（２）に所定の動作をさせる少なくとも一つの操作スイッチ（２２）とを有する。そして、一つの実施形態に係る自動運転装置（１）は、設備（２）に対して相対的に移動可能であり、少なくとも一つの操作スイッチ（２２）を操作可能なマニピュレータ（１２）と、表示部（２１）を撮影した画像を一定時間間隔で取得する撮像部（１１）と、画像から表示部（２１）の表示内容を認識することにより、設備（２）の動作段階を識別する動作段階識別部（３１）と、動作段階識別部（３１）によって識別された設備（２）の動作段階に応じた動作を設備（２）に実行させるように、マニピュレータ（１２）を動作させて少なくとも一つの操作スイッチ（２２）を操作する制御部（３３）とを有する。
本発明に係る自動運転装置は、表示部を撮影画像を参照して運転対象の設備の動作段階を識別し、識別した動作段階に応じて設備の操作部を機械的に操作するので、その設備から特に信号を受け取ったり、設備に対して信号を送信したりすることを必要とせずに、設備と連携して動作させることができる。そのため、係る自動運転装置は、短期間で設備と連携して動作させることができる。

また、係る自動運転装置は、画像から前記表示部の少なくとも一部が異物に隠されているか否かを判定する異物検出部（３２）をさらに有することが好ましい。この場合において、制御部（３３）は、異物検出部（３２）により表示部（２１）の少なくとも一部が異物に隠されていると判定されている間、マニピュレータ（１２）を待機させることが好ましい。係る構成を有することにより、本発明に係る自動運転装置は、異物の存在により、設備の動作段階を正確に識別することができない間は、設備を次の動作段階へ移行させず、異物がなくなった後に、設備の動作段階が次の段階へ移行した時点でその動作段階に応じた操作を行うので、設備が誤動作することを防止できる。

さらに、異物検出部（３２）は、画像と異物が存在しないときに表示部（２１）を撮影した基準画像との差分処理を、表示部（２１）のうち設備（２）の動作段階に応じて輝度が変化する少なくとも一つの輝度変動領域を除いて実行して差分領域を抽出し、少なくとも一つの輝度変動領域のうちの何れかが差分領域と接しているとき、表示部（２１）の少なくとも一部が異物に隠されていると判定することが好ましい。

また請求項２の記載によれば、設備（２）の表示部（２１）は、設備（２）の動作段階に応じて点灯または消灯する複数の表示器を有し、かつ、自動運転装置は、設備（２）の各動作段階に対応する複数の表示器のうちの点灯している表示器の組み合わせパターンを記憶する記憶部（３４）をさらに有し、動作段階識別部（３１）は、撮像部（１１）により取得された画像における複数の表示器のそれぞれに対応する領域の輝度情報から、複数の表示器のうちの点灯している表示器を検知し、記憶部（３４）に記憶された点灯している表示器の組み合わせパターンの中から、実際に点灯している表示器の組み合わせと一致する組み合わせパターンを特定し、その特定された組み合わせパターンに対応する動作段階を、設備（２）の動作段階として識別することが好ましい。

なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

以下、図面を参照しつつ本発明に係る自動運転装置を適用した搬送装置について詳細に説明する。係る搬送装置は、部品を製造設備に供給する、その製造設備とは独立した装置であり、特に、製造設備の操作盤を撮影した画像を参照して製造設備の動作段階を識別し、識別された動作段階に応じて製造設備の各操作スイッチを操作することにより、その製造設備を自動運転するものである。

図１に、本発明の一つの実施形態に係る搬送装置の概略構成図を示す。本実施形態に係る搬送装置１は、製造設備２の正面（すなわち、製造設備２の操作盤２１、操作スイッチ２２及び部品投入口２３が配置された面）に対向して設置される。そして係る搬送装置１は、カメラ１１と、ローダ１２と、コントローラ１３とを有し、それら各構成要素が、移動可能な可動台１４上に設置されている。

図２に、搬送装置１が部品を供給する製造設備２の概略正面図を示す。製造設備２の右上方には、操作盤２１が配置される。操作盤２１は、製造設備２の動作段階を示す表示部であり、複数の表示器２１１〜２１８が設けられている。それら表示器は、例えば、赤、青などのＬＥＤで構成される。そして製造設備２が所定の動作段階（例えば、部品洗浄、治具洗浄、部品加工など）の処理を実行中であること、あるいはその所定の動作段階の処理が完了したことを、操作盤２１は、その所定の動作段階の実行または完了に対応する表示器が点灯することあるいは消灯することにより報知する。

また、製造設備２の略中央には、部品を投入するための投入口２３が設けられている。そしてその投入口２３には、扉２４が設置されている。製造設備２の内部で何等かの作業が行われているときは、扉２４は閉鎖されており、加工前の部品を製造設備２内に投入するとき、あるいは加工済みの部品が製造設備２内から排出されるとき、扉２４は開放される。

投入口２３の左側には、複数の操作スイッチ２２が設置されている。これら操作スイッチ２２は、例えば、押しボタンスイッチであり、操作スイッチ２２の何れかを押下することにより、製造設備２は、押下された操作スイッチ２２に対応する動作（例えば、扉２４の開放または閉鎖、部品の加工あるいは洗浄など）を行う。
なお、本発明に係る搬送装置１が部品を供給する製造設備は、図２に示すものに限定されず、操作盤及び操作スイッチの位置、表示器の数などが図２に示すものと異なっていてもよい。また操作スイッチも押しボタンスイッチに限定されず、レバースイッチなど、他の形態のスイッチでもよい。

次に、本発明の実施形態に係る搬送装置１の各部について説明する。
カメラ１１は、ＣＣＤセンサアレイあるいはＣ−ＭＯＳセンサアレイ等の２次元光検出器と、その２次元光検出器上に操作盤２１の像を結像する結像光学系を有する。またカメラ１１は、コントローラ１３と電気的に接続され、コントローラ１３により制御される。そしてカメラ１１は、製造設備２の操作盤２１を撮影した画像を定期的に（例えば、0.5秒ごとに）取得する。なお、取得された画像上で、操作盤２１が有する各表示器（例えば、ランプ）が識別可能なようにカメラ１１は調整される。カメラ１１は、取得した画像をコントローラ１３へ送信する。

ローダ１２は、部品を製造設備２の部品投入口２３に投入するための搬送部である。また本実施形態では、ローダ１２は、製造設備２の操作スイッチ２２を操作するための操作部としても機能する。そのためにローダ１２は、製造設備２に対して相対的に移動可能に構成される。例えば、ローダ１２は、剛性を有する材質により形成された棒状の支持部材と、その支持部材の長手方向に沿って移動可能に取り付けられ、部品を着脱自在に保持する少なくとも一つの保持部材（図示せず）と、コントローラ１３と電気的に接続され、コントローラ１３からの制御信号にしたがって、支持部材を上下、水平あるいは製造設備２に対して前後に移動させる駆動機構（図示せず）と、保持部材を駆動する駆動機構（図示せず）とを備える。なお、ローダ１２として、周知の様々な部品搬送機構あるいはアーム状の産業ロボットの機構を採用できるため、ローダ１２の詳細な構造の説明は省略する。

図３に、コントローラ１３の機能ブロック図を示す。コントローラ１３は搬送装置１の各部を制御する。そのために、コントローラ１３は、例えば、ＣＰＵなどの演算装置と、ＲＯＭ、ＲＡＭなどのメモリと、ＲＳ２３２Ｃ、ＵＳＢ２若しくはイーサネット（登録商標）などの規格に従った通信インターフェースとその周辺回路にを有する。そしてコントローラ１３は、ＣＰＵ上で動作するプログラムによって実装される機能モジュールとして、動作段階識別部３１と、異物検出部３２と、ローダ制御部３３とを有する。また、メモリは記憶部３４として機能する。なお、コントローラ１３は、上記の各部を有するパーソナルコンピュータ（ＰＣ）によって構成してもよく、あるいは、プログラマブルロジックコントローラ等で構成してもよい。
以下、コントローラ１３の各部について詳細に説明する。

動作段階識別部３１は、カメラ１１により取得された画像から、製造設備２の操作盤２１の各表示器の点灯または消灯を識別することにより、製造設備２がどの動作段階にあるかを識別する。
図４を参照しつつ、動作段階識別部３１の処理を説明する。図４は、カメラ１１により撮影された操作盤２１の画像４００の概略図である。各表示器が点灯しているか否かを判定するために、動作段階識別部３１は、得られた画像４００から、操作盤２１の各表示器２１１〜２１８の点灯／消灯によって輝度が変化する領域に含まれる表示器領域４０１〜４０８をそれぞれ抽出する。なお、それら領域の位置及び大きさは、搬送装置１の設置時において決定され、記憶部３４に表示器位置データとして予め記憶される。そして搬送装置１の起動時にその表示器位置データがコントローラ１３に読み込まれ、動作段階識別部３１は、その表示器位置データを参照して各表示器領域４０１〜４０８をそれぞれ抽出する。なお、動作段階識別部３１は、画像上における特定の位置を例えばパターンマッチングにより検出し、その特定の位置と各表示器との位置関係から各表示器領域４０１〜４０８をそれぞれ抽出してもよい。

次に、動作段階識別部３１は、各表示器領域４０１〜４０８ごとに、表示器領域内に含まれる画素の平均輝度値を算出する。そして動作段階識別部３１は、表示器領域内の平均輝度値が所定の閾値よりも高いとき、その表示器領域に対応する表示器は点灯していると判定し、その平均輝度値が所定の閾値以下のとき、その表示器領域に対応する表示器は消灯していると判定する。所定の閾値は、例えば、搬送装置１の設置時において、画像上の各表示器に相当する領域の平均輝度値を表示器の点灯時と消灯時において調べることにより、その点灯時の平均輝度値と消灯時の平均輝度値の平均値として設定される。また所定の閾値は、全ての表示器領域４０１〜４０８に対して同一の値を有してもよく、各表示器領域４０１〜４０８ごとに異なっていてもよい。
なお、表示器２１１〜２１８が、点灯時において特定の色（例えば、赤または青）で発光する場合、動作段階識別部３１は、各画素の色データ（代表的には、赤、緑、青）の輝度値のうち、表示器の発光色に最も近い色データのみの平均輝度値を求めて、所定の閾値と比較するようにしてもよい。また、動作段階識別部３１は、各表示器領域ごとに、輝度の最大値と最小値を求め、その最大値と最小値がそれぞれ予め定めた値となるように（例えば、最大値が２５５、最小値が０となるように）輝度補正した後、上記の閾値処理を行って、各表示器が点灯しているか否かを判定してもよい。

動作段階識別部３１は、各表示器２１１〜２１８が点灯しているか否かを判定すると、それら各表示器２１１〜２１８のうち点灯している表示器の組み合わせを、各動作段階またはその完了時点において点灯すべき表示器の組み合わせパターンと比較する。そして動作段階識別部３１は、製造設備２の現在の動作段階を、実際に点灯している表示器の組み合わせと一致する組み合わせパターンに対応する動作段階またはその完了時点であると判定する。それら組み合わせパターンは、例えば、各表示器を他の表示器と識別する識別番号と、その識別番号に対応して設けられ、表示器が点灯しているか否かによって異なる値を持つフラグ（例えば、点灯時'1'、消灯時'0'）との組を各表示器ごとに有し、それらの組を各動作段階の実行時及び完了時を示す動作段階フラグに関連付けて表される。例えば、表示器２１１〜２１８の識別番号がそれぞれID1〜ID8であり、部品加工の実行段階を表す動作段階フラグの値がS3であるとする。そして部品加工の実行段階では、表示器２１１と表示器２１２のみが点灯している場合、組み合わせパターンは、（S3,(ID1,1),(ID2,1),(ID3,0),(ID4,0),(ID5,0),(ID6,0),(ID7,0),(ID8,0))のように表される。各組み合わせパターンは、例えば、搬送装置１の設置時において、予め記憶部３４に記憶される。動作段階識別部３１は、その各組み合わせパターンを記憶部３４から読み込んで利用する。

動作段階識別部３１は、製造設備の動作段階を識別する別の方法を用いることもできる。例えば、各動作段階に対応する操作盤２１の画像を搬送装置１の設置時に取得し、テンプレートとして記憶部３４に記憶しておく。そして搬送装置１の動作時において、動作段階識別部３１は、カメラ１１から画像が得られる度に、得られた画像と記憶部３４に記憶された各テンプレートとのテンプレートマッチングを行う。そして動作段階識別部３１は、製造設備２の現在の動作段階を、最も良好に一致したテンプレートに対応する動作段階であると識別する。さらに、操作盤２１が表示器の代わりにディスプレイを有し、そのディスプレイに表示される文字列あるいは記号列により、各動作段階の実行中あるいは完了を表示する場合もある。このような場合であっても、それら各文字列あるいは記号列が表示されたディスプレイを撮影した画像をテンプレートとして記憶部３４に記憶しておくことにより、動作段階識別部３１は、上記と同様のテンプレートマッチングを用いて、製造設備２の動作段階を識別することができる。

また製造設備２の現在の動作段階が分かっている場合、動作段階識別部３１は、現在の動作段階の完了時に対応する上記の組み合わせパターンあるいはテンプレートとのみ、取得された画像における各表示器の点灯状況が一致するか否かを調べるようにしてもよい。そして動作段階識別部３１は、一致すれば、製造設備２が現在の動作段階の処理を完了したと判定し、一致しなければ、製造設備２は現在の動作段階の処理を継続中であると判定する。
動作段階識別部３１は、製造設備２の動作段階を識別すると、その識別された動作段階を示す動作段階パラメータを記憶部３４に記憶する。

異物検出部３２は、カメラ１１により撮影された操作盤２１の画像上で、何れかの表示器と重なった位置に操作者の指などの異物が写っているか否かを判定する。もし、異物が何れかの表示器を隠していると、動作段階識別部３１はその隠された表示器が点灯しているか否かを知ることができないため、正確に製造設備２の動作段階を識別できないおそれがある。そこで、異物が何れかの表示器を隠している場合、製造設備２の誤動作を防止するために、全ての表示器を画像上で確認できるようになるまで製造設備２に次の動作をさせないことが好ましい。そのため異物検出部３２は、異物が何れかの表示器を隠していることを検出すると、動作段階識別部３１及びローダ制御部３３の処理を一時的に停止し、ローダ１２を待機させる。そして異物検出部３２は、全ての表示器が見えるようになったことを検知すると、動作段階識別部３１及びローダ制御部３３の処理を、異物が何れかの表示器を隠したと判定される直前における製造設備２の動作段階から再開させる。なお、設備２が一意に定まる動作手順に従って動作する場合には、異物検出処理部３２は、製造設備２が現在実行中の動作段階における点灯状態とその動作段階の完了時点あるいは次の動作段階とにおける点灯状態とが異なる表示器のみについて、異物に隠されているか否かを判定してもよい。この場合、異物検出部３２は、その点灯状態が異なる表示器が異物に隠されていると判定されたとき、動作段階識別部３１及びローダ制御部３３の処理を一時的に停止させてもよい。

図５（ａ）〜（ｄ）を参照しつつ、異物検出部３２による異物検出処理を説明する。図５（ａ）は、操作盤２１の表示器２１２と異物５０１が重なった状態で撮影された画像５００を示す。また図５（ｂ）は、操作盤２１の基準画像５１０を示す。図５（ｃ）は、製造設備２の動作段階に応じて輝度が異なる輝度変動領域を、異物検知を行わないマスク領域５０３とするマスク画像５２０を示す。そして、図５（ｄ）は、検出された異物に対応する領域５０２を含む検出画像５３０を示す。

まず、搬送装置１を設置した後に、異物が写っていない状態で操作盤２１をカメラ１１により撮影した画像を、基準画像として予め記憶部３４に記憶しておく。そして、動作時において、異物検出部３２は、画像が取得される度に、その取得された画像と基準画像の対応する画素間で差分演算を実行し、差分値の絶対値を各画素値とする差分画像を得る。この場合において、基準画像の取得時と点灯状態の異なる表示器に対応する領域についても、比較的大きな差分絶対値を有する。そこで異物検出部３２は、そのような表示器に対応する領域を異物と誤検出することを防止するために、図５（ｃ）に示すような、各表示器に対応するマスク領域５０３を除いた残りの領域について差分演算を実行する。そして異物検出部３２は、その差分演算により得られた差分値の絶対値が所定の閾値よりも大きい画素の集合を、異物候補領域として抽出する。なお、所定の閾値は、撮影時の環境条件の変動に伴う輝度変動を誤って異物と検出しない程度の値に設定され、例えば、搬送装置１の設置時において適宜設定される。また、上記のように、製造設備２の動作段階がディスプレイに表示される文字列あるいは記号列で表される場合、マスク領域は画像上においてそのディスプレイに対応する領域に設定される。
例えば、画像５００上に、図５（ａ）に示すような異物５０１が写っている場合、マスク領域５０３を除いて画像５００と図５（ｂ）に示す基準画像５１０との対応する画素間で差分演算を行うと、図５（ｄ）に示すような異物候補領域５０２が領域される。この異物候補領域５０２は、異物５０１に対応する領域から、マスク領域５０３と重なっている部分を除いたものとなっている。

異物検出部３２は、異物候補領域５０２が検出されると、その異物候補領域５０２が何れかのマスク領域５０３と接していると、そのマスク領域に対応する表示器と異物が重なっていると判定する。具体的には、異物検出部３２は、各マスク領域５０３について、その領域の外周に位置する外周画素のうち、異物候補領域５０２と接している画素の数を計数する。そして、異物検出部３２は、何れかのマスク領域５０３において、その全外周画素のうち、所定数以上の画素が異物候補領域５０２と接している場合、そのマスク領域に対応する表示器と異物が重なっていると判定する。なお、所定数は、異物候補領域とマスク領域とが確実に重なっていると判定できる数であり、例えば、全外周画素の数の１／３あるいは１／２とすることができる。

ローダ制御部３３は、製造設備２の動作段階に応じて、ローダ１２に製造設備２の操作スイッチ２２を操作させることにより、製造設備２を次の動作段階に移行させる。そこでローダ制御部３３は、記憶部３４に記憶された動作段階パラメータを逐次参照し、ローダ制御部３３が保持している動作段階パラメータの値と比較して、動作段階パラメータの値が変化したか否かを判定する。そして動作段階パラメータの値が変化したとき、ローダ制御部３３は、動作段階パラメータの最新の値に基づいて、ローダ１２がどの操作を行うか、すなわち、操作スイッチ２２を押下するか否か、あるいは操作スイッチ２２が複数存在する場合には、どの操作スイッチを押下すべきかを決定する。そのために、動作段階パラメータの値と、ローダ１２が行うべき操作を表す変数値とを関連付けたルックアップテーブルを、製造設備２の仕様にしたがって予め作成し、記憶部３４に記憶しておく。そしてローダ制御部３３は、動作段階パラメータとルックアップテーブルを参照することにより、ローダ１２が行うべき操作を決定する。

ローダ１２が行うべき操作が決定されると、ローダ制御部３３は、その操作内容に従ってローダ１２を駆動して、その操作を実行させる（すなわち、製造設備２の操作スイッチ２２を操作したり、部品を投入する）。これにより、搬送装置１は、製造設備２を次の動作段階へ移行させる。そしてローダ制御部３３は、自己が保持している動作段階パラメータの値を最新の値に更新する。なお、ローダ１２に、製造設備２の操作スイッチ２２を操作させるためのローダ１２の位置決め、駆動方法などは、公知の様々な方法を利用できるので、ここでは、それらの詳細な説明を省略する。

図６を参照しつつ、搬送装置１による画像取得時の動作フローを説明する。なお、以下に説明する動作フローは、コントローラ１３によって制御される。
先ず、カメラ１１により運転対象である製造設備２の操作盤２１を撮影した画像を取得し、コントローラ１３へ渡す（ステップＳ１０１）。次に、コントローラ１３の異物検出部３２は、その画像上において、何れかの表示器と異物が重なっているか否か判定する（ステップＳ１０２）。異物検出部３２が、何れかの表示器と異物が重なっていると判定した場合、コントローラ１３は処理を終了する。

一方、ステップＳ１０２において、異物検出部３２は、何れの表示器も異物と重なっていないと判定した場合、コントローラ１３の動作段階識別部３１は、製造設備２の動作段階を識別する（ステップＳ１０３）。そして、動作段階識別部３１は、製造設備２が前回画像が取得されたときの動作段階の処理が終了したか否か判定する（ステップＳ１０４）。なお、ステップＳ１０３及びＳ１０４における、動作段階の識別、及び動作段階の完了判定については、動作段階識別部３１に関して既に説明したので、ここでは、その詳細な説明は省略する。
動作段階識別部３１が製造設備２の動作段階が前回の画像取得時と変わっていないと判定した場合、コントローラ１３は処理を終了する。一方、ステップＳ１０４において、動作段階識別部３１が製造設備２が現在の動作段階の処理を完了したと判定した場合、動作段階識別部３１は、次の動作段階を表すパラメータをコントローラ１３の記憶部３４に記憶する（ステップＳ１０５）。
その後、コントローラ１３のローダ制御部３３は、その次の動作段階に対応する操作を製造設備２に対して実行する（ステップＳ１０６）。すなわち、ローダ制御部３３は、ローダ１２を制御して、製造設備２に次の動作段階の処理を実行させる操作スイッチ２３を押下させる。あるいは、ローダ制御部３３は、ローダ１２により部品を製造設備２内に投入したり、製造設備２の内部から加工済みの部品を取り出す。
ステップＳ１０６の後、コントローラ１３は処理を終了する。そして、コントローラ１３は、一定期間毎に上記のステップＳ１０１〜Ｓ１０６の処理を繰り返す。

以上説明してきたように、本発明の自動運転装置を適用した搬送装置は、運転対象の設備とは独立しており、その設備の操作盤を撮影した画像に基づいて、設備がどの動作段階を判定できる。そのため、係る搬送装置の設置時において、カメラの位置を調節し、記憶部に記憶されている各動作段階における操作盤の表示内容、操作手順などのデータを運転対象の設備に合わせて入れ替えるだけでよいので、設備と連携して動作させることが可能になるまでの期間が短くて済む。また、係る搬送装置は、運転対象の設備と独立して設けられているため、既設の設備にも容易に使用することができる。
さらに、係る搬送装置は、操作盤の何れかの表示器を隠すように異物が存在する場合、自動的にその異物を検知するとともに、その異物がなくなって設備の動作段階が確認できるまで設備に次の動作を実行させないので、設備が誤動作することを防止できる。

なお、本発明は、上記の実施形態に限定されるものではない。例えば、搬送装置は、部品を製造設備に装填するローダとは別個にマニピュレータを有し、コントローラ１３がそのマニピュレータを制御して、そのマニピュレータにより、製造設備の各スイッチを操作するように構成してもよい。この場合、マニピュレータは、周知の産業ロボットにおいて採用されているような、剛性を有する材質により形成された２以上のリンク部と、各リンク部を結合し、リンク部を回転させたり、リンク部同士のなす角を変化させる関節機構と、各関節機構を駆動するモータなどのアクチュエータなどで構成することができる。

さらに、異物が操作盤を撮影した画像に写りこむ可能性が低い環境に本発明に係る自動運転装置が設置される場合、係る自動運転装置は、上記の異物検出部及びその関連処理を省略してもよい。
また本発明に係る自動運転装置は、搬送装置以外にも適用することができ、例えば、部品の供給を行わず、設備を自動運転することのみを目的とした装置としてもよい。また本発明に係る自動運転装置の運転対象となる設備も、部品の加工若しくは組み立てなどを行う製造設備に限られず、例えば、部品あるいは製品の検査を行う検査設備であってもよい。
上記のように、当業者は、本発明の範囲内で様々な修正を行うことが可能である。

本発明の一つの実施形態に係る搬送装置の概略構成図である。本発明の一つの実施形態に係る搬送装置による運転される製造設備の概略正面図である。本発明の一つの実施形態に係る搬送装置のコントローラの機能ブロック図である。製造設備の操作盤を撮影した画像の一例を示す図である。（ａ）は、操作盤の表示器と異物が重なった状態で撮影された画像を示し、（ｂ）は、操作盤の基準画像を示し、（ｃ）は、異物検知を行わないマスク領域を表すマスク画像を示し、（ｄ）は、検出された異物に対応する領域を含む検出画像を示す図である。本発明の一つの実施形態に係る搬送装置の動作フローチャートである。

符号の説明

１搬送装置（自動運転装置）
１１カメラ
１２ローダ
１３コントローラ
３１動作段階識別部
３２異物検出部
３３ローダ制御部
３４記憶部
２製造設備
２１操作盤
２２操作スイッチ

Claims

設備（２）を自動運転する自動運転装置（１）であって、当該設備（２）は、各動作段階のうち何れの動作段階にあるかを示す表示部（２１）と、当該設備（２）に所定の動作をさせる少なくとも一つの操作スイッチ（２２）とを有し、
前記自動運転装置（１）は、
前記設備（２）に対して相対的に移動可能であり、前記少なくとも一つの操作スイッチ（２２）を操作可能なマニピュレータ（１２）と、
前記表示部（２１）を撮影した画像を一定時間間隔で取得する撮像部（１１）と、
前記画像から前記表示部（２１）の表示内容を認識することにより、前記設備（２）の動作段階を識別する動作段階識別部（３１）と、
前記画像と異物が存在しないときに前記表示部（２１）を撮影した基準画像との差分処理を、前記表示部（２１）のうち前記設備（２）の動作段階に応じて輝度が変化する少なくとも一つの輝度変動領域を除いて実行して差分領域を抽出し、前記少なくとも一つの輝度変動領域のうちの何れかが前記差分領域と接しているとき、前記表示部（２１）の少なくとも一部が異物に隠されていると判定する異物検出部（３２）と、
前記動作段階識別部（３１）によって識別された前記設備（２）の動作段階に応じた動作を前記設備（２）に実行させるように、前記マニピュレータ（１２）を動作させて前記少なくとも一つの操作スイッチ（２２）を操作する制御部（３３）と、
を有し、
前記制御部（３３）は、前記異物検出部（３２）により前記表示部（２１）の少なくとも一部が異物に隠されていると判定されている間、前記マニピュレータ（１２）を待機させることを特徴とする自動運転装置。
前記表示部（２１）は、前記設備（２）の動作段階に応じて点灯または消灯する複数の表示器を有し、かつ、
前記自動運転装置は、前記設備（２）の各動作段階に対応する前記複数の表示器のうちの点灯している表示器の組み合わせパターンを記憶する記憶部（３４）をさらに有し、
前記動作段階識別部（３１）は、前記画像における前記複数の表示器のそれぞれに対応する領域の輝度情報から、前記複数の表示器のうちの点灯している表示器を検知し、前記組み合わせパターンの中から、当該点灯している表示器の組み合わせと一致する組み合わせパターンを特定し、当該特定された組み合わせパターンに対応する動作段階を、前記設備（２）の動作段階として識別する、請求項１に記載の自動運転装置。