JP7160666B2 - 検査方法、検査装置および飛行体 - Google Patents

Description

本発明は、製造物の検査方法などに関する。

従来、工場で製造される製造物等の外観検査は、作業者の目視により行われることが多く、そのような作業者に対する人件費のみならず、一定の検査能力を担保するための指導教育に伴う人件費が必要であり、そのためのコストが嵩んでしまう場合があった。

特許文献１には、一対のビデオカメラおよび解析装置を備える写真測量（製図）法装置が開示されている。当該装置の動作時には、ワーク片、ロボットおよび／またはドリル（ツール）がターゲットを有し、当該ターゲットに基づいてワーク片に対するツールの位置および配向を監視する。

特表２００４－５０９３２８号公報（２００４年３月２５日公開）

しかしながら、特許文献１に開示されている技術を対象物の複数の検査項目についての外観検査に適用する場合、当該複数の検査項目に応じてカメラを撮像に好適な位置に精度よく設置する必要があるため、カメラの設置に手間がかかり、またカメラを含めた検査機器設置のためのスペースが必要となるという問題があった。

本発明の一態様は、複数項目の検査に必要なコストを低減するとともに、省スペース化が可能な検査方法などを実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る検査方法は、工場で製造される製造物の製造工程で外観検査をする方法であって、前記製造物に係る複数の検査項目のそれぞれに対応する画像を撮像するため、撮像装置を備えた飛行体を所定の開始位置から所定の撮像位置へ飛行させる飛行ルートを決定するルート決定ステップと、前記撮像位置において、前記撮像装置により前記製造物の画像を撮像する撮像ステップと、前記画像に基づいて、前記複数の検査項目について外観検査を行う検査ステップと、を含む。

上記の構成によれば、ルート決定ステップにおいて決定された、撮像位置へ飛行体を飛行させる飛行ルートに沿って飛行体が飛行する。当該飛行ルートに沿っての飛行体の飛行中に、撮像位置のそれぞれにおいて画像が撮像され、当該画像に基づいて複数の検査項目について検査を行う。このため、撮像装置を設置することなく、複数の検査項目について効率よく検査を行うことができる。したがって、複数項目の検査に必要なコストを低減するとともに、省スペース化が可能となる。

また、本発明の一態様に係る検査方法において、前記飛行体は複数であり、前記ルート決定ステップにおいて、前記飛行ルートは、前記撮像位置において複数の前記飛行体の少なくとも１つが前記製造物の画像を撮像するように、複数の前記飛行体のそれぞれについて決定される。

上記の構成によれば、ルート決定ステップにおいて、複数の飛行体により製造物の画像を撮像するための、複数の飛行体のそれぞれについての飛行ルートが決定される。したがって、複数の撮像位置で画像を撮像する場合に要する時間を短縮できる。

また、本発明の一態様に係る検査方法において、少なくとも１つの前記飛行体が備える撮像装置の撮像方向は、他の前記飛行体が備える撮像装置の撮像方向と異なる。

上記の構成によれば、検査部位を撮像するための適切な撮像方向に応じて、撮像方向の異なる撮像装置を備える飛行体を使い分けることができる。

また、本発明の一態様に係る検査方法は、前記撮像位置における前記撮像装置の撮像方向を変更する姿勢変更ステップをさらに含む。

上記の構成によれば、撮像装置の撮像方向によっては死角となり得る検査部位も適切に撮像できる。

また、本発明の一態様に係る検査方法では、前記撮像ステップにおいて、前記製造物の所定の検査部位について、複数回の撮像を行う。

上記の構成によれば、複数回撮像した画像に基づいて複数回の検査を行うことで、検査の精度を向上させることができる。

また、本発明の一態様に係る検査方法において、前記複数回の撮像のうち少なくとも１回は、他の撮像とは異なる撮像方向での撮像である。

上記の構成によれば、１方向からの撮像では製造物の形状に起因して死角が生じる場合であっても、死角を補うように適切に撮像できる。

また、本発明の一態様に係る検査方法は、前記製造物に対して照明光を照射する照明装置を備えた第２の飛行体を、前記撮像位置に対応する位置へ飛行させる第２の飛行ルートを決定する第２ルート決定ステップをさらに含む。

上記の構成によれば、撮像時における照明装置の位置を撮像装置の位置とは独立して決定できるため、製造物を適切な照明条件で撮像できる。

また、本発明の一態様に係る検査方法において、前記第２の飛行体は複数であり、少なくとも１つの前記第２の飛行体が備える照明装置は、他の前記第２の飛行体が備える照明装置とは異なる照射方式で前記製造物に対して照明光を照射する。

上記の構成によれば、検査項目ごとの照明条件に応じて、照明光照射用の飛行体を使い分けることができる。

また、本発明の一態様に係る検査装置は、所定のルート基準点から所定の撮像位置へ、予め決定された検査部位撮像用飛行ルートに従って飛行する飛行体の撮像装置により撮像された、製造物に係る複数の検査項目のそれぞれに対応する画像を取得する画像取得部と、前記画像に基づいて、前記複数の検査項目に係る検査を画像処理により行う画像処理部と、を備えている。

上記の構成によれば、複数の検査項目に対応する画像を飛行体から取得し、画像処理により検査を行うことができる。

また、本発明の一態様に係る飛行体は、所定のルート基準点から所定の撮像位置へ予め決定された検査部位撮像用飛行ルートに従って飛行して、撮像装置により、製造物に係る複数の検査項目のそれぞれに対応する画像を撮像する撮像処理部と、前記画像に基づき前記複数の検査項目に係る検査を画像処理により行う検査装置に対して、前記画像を送信する画像送信部と、を備えている。

上記の構成によれば、複数の検査項目に対応する画像を撮像し、検査装置に対して送信できる。

本発明の一態様によれば、多項目の検査に対応可能な検査方法などを実現できる。

実施形態１に係る検査装置および飛行体の要部の構成を示すブロック図である。 実施形態１に係る検査方法を実行するための検査システムの概要を示す図である。 （ａ）～（ｃ）は、飛行体が備えるカメラによる撮像方向の例を示す図である。 （ａ）～（ｄ）は、飛行体が備える照明装置による照射の方式の例を示す図である。 ルート登録処理の事前処理の一例を示すフローチャートである。 ルート登録処理の一例を示すフローチャートである。 検査処理の一例を示すフローチャートである。 検査処理の別の例を示すフローチャートである。 検査処理の、さらに別の例を示すフローチャートである。 実施形態２に係る検査方法を実行するための検査システムの構成を示す図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

（検査システム１の概要）
図２は、本実施形態に係る検査方法を実行するための検査システム１の概要を示す図である。検査システム１は、工場で製造されるワーク１０００（製造物）の製造工程で外観検査をするための検査システムである。ワーク１０００は、工場で製造される製造物であり、部品、中間品、完成品または製品などであってよい。図２に示すように、検査システム１は、ワーク１０００と、複数の飛行体２０と、検査装置１０（飛行ルート決定装置、飛行指示装置）とを備える。なお、検査システム１は、飛行体２０を１つのみ備えていてもよい。

検査システム１による検査を行うための検査場には、待機ステーション１００および検査エリア２００が設けられている。待機ステーション１００は、検査を実行していない飛行体２０が待機する場所である。待機ステーション１００に待機している飛行体２０は、検査を行う場合に飛行するための電力を、無線または有線で充電される。

検査装置１０は、待機ステーション１００に設けられている。検査装置１０は、待機ステーション１００に待機している飛行体２０との間で、検査に必要なデータの送受信を行う。また、検査装置１０は、表示装置３０と接続されており、検査結果などを表示装置３０に表示する。

検査エリア２００は、検査システム１による検査の対象となるワーク１０００が配置されるエリアである。検査エリア２００は、飛行体２０が検査エリア２００を飛行するときの基準位置となる開始点２１０（ルート基準点）を有する。開始点２１０は、飛行体２０が飛行する飛行ルートの終点を兼ねる。開始点２１０は、ワーク１０００の種類などに応じて移動可能であってよい。また、開始点２１０は、検査エリア２００に複数設けられていてもよい。

ただし、必ずしも検査エリア２００に開始点２１０が設けられていなくてもよい。検査エリア２００に開始点２１０が設けられていない場合には、飛行体２０は、例えば待機ステーション１００を基準位置として検査エリア２００を飛行すればよい。

外観検査における検査項目の例として、例えばワーク１０００がトラクタである場合、以下の（ａ）～（ｄ）が挙げられる。
（ａ）外装部品の異品（部品の種類が異なる）、欠品（部品がない）、または誤組付け（部品の角度が異なる）などの検査。
（ｂ）ラベルについての異品、欠品、または貼付不良（位置・角度のずれ、欠け、割れ、エ・ゴミ噛み、シワ）などの検査。
（ｃ）油圧部品における油の漏れまたは付着などの検査。
（ｄ）外装パネルにおける凹凸または傷などの検査。

（検査装置１０の構成）
図１は、本実施形態に係る検査装置１０および飛行体２０の要部の構成を示すブロック図である。図１に示すように、検査装置１０は、制御部１１（画像取得部、画像処理部）、通信部１２、記憶部１３および給電部１４を備える。

制御部１１は、検査装置１０による検査のための動作を制御する。具体的には、制御部１１は、ワーク１０００を撮像した結果に基づいてワーク１０００に対する検査を行うために、飛行体２０を飛行させる、ワーク１０００の形状に基づいて定められる飛行ルートを決定する。また、制御部１１は、ワーク１０００を撮像した結果に基づいてワーク１０００に対する検査を行うために決定された、飛行体２０を飛行させる飛行ルートを含む飛行指示を、飛行体２０に対して行う。これにより、ワーク１０００の形状に基づいて決定された飛行ルートに沿って、飛行体２０を飛行させることができる。

本明細書において、飛行ルートとは、検査部位を撮像するための検査部位撮像用飛行ルートと、基準部位を撮像するための基準部位撮像用飛行ルートを含む。検査部位は、ワーク１０００の、検査すべき対象となる部位である。例えば検査部位は、ワーク１０００の部品が外部に露出している箇所、ラベルが貼り付けられている箇所、または油漏れが生じる箇所であってよい。基準部位は、検査エリア２００におけるワーク１０００の位置を特定するための基準となる部位である。例えば基準部位は、ワーク１０００の、他の箇所から突出した部位であってよい。

なお、本実施形態においては、検査装置１０の制御部１１が飛行ルートの決定および飛行指示を行う。しかし、検査システム１は、飛行ルートの決定を行う飛行ルート決定装置および飛行指示を行う飛行指示装置の一方または両方を、検査装置１０とは別に備えていてもよい。

また、制御部１１は、基準部位の位置に基づいて検査部位撮像用飛行ルートを補正する。これにより、ワーク１０００の配置位置に基づいて補正された飛行ルートに沿って、飛行体２０を飛行させることができる。

また、制御部１１は、検査装置１０と飛行体２０との間の通信を制御する。例えば検査装置１０は、飛行体２０の飛行ルートを示すデータを、通信部１２を介して飛行体２０へ送信する。また、検査装置１０は、ワーク１０００を撮像した画像を、通信部１２を介して飛行体２０から受信する。

また、制御部１１は、飛行体２０から受信した、ワーク１０００を撮像した画像に基づいて、ワーク１０００の検査を画像処理により行う。例えば制御部１１は、ワーク１０００の検査部位を撮像した画像を、不良が発生していない場合における当該検査部位の画像であるマスターデータと比較することで、上記の検査を行う。

また、制御部１１は、ワーク１０００の三次元形状を示す形状データを読み込み、ワーク１０００の基準部位および検査部位の位置を仮想空間上で登録する。仮想空間とは、ワーク１０００が飛行ルートを決定するための基準となる所定位置に存在する場合における飛行ルートを決定するための、シミュレーション上の空間である。制御部１１は、基準部位を、例えば３箇所登録する。または、制御部１１は、飛行ルートの精度をより向上させるために、基準部位を４箇所以上登録してもよい。基準部位および検査部位は、形状データにおいて予め特定されていてよく、作業者による入力によって特定されてもよい。

また、制御部１１は、仮想空間上での基準部位および検査部位の位置に基づいて、基準部位を撮像する基準部位撮像位置および検査部位を撮像する検査部位撮像位置を仮想空間上で登録する。

通信部１２は、飛行体２０との間で通信を行う通信装置である。通信の内容については上述したとおりである。通信は、有線または無線のいずれにより行われてもよい。

記憶部１３は、ワーク１０００の検査に必要なデータを記憶する記憶装置である。記憶部２５は、例えば、飛行体２０の飛行ルートを示すデータ、飛行体２０から受信した画像、および上述したマスターデータなどを記憶する。

給電部１４は、飛行体２０のバッテリ２７（後述）を充電するための装置である。充電は、有線または無線のいずれにより行われてもよい。

（飛行体２０の構成）
図１に示すように、飛行体２０は、カメラ２１、照明装置２２、センサ２３、制御部２４、記憶部２５、通信部２６およびバッテリ２７を備える。

カメラ２１は、ワーク１０００の画像を撮像する撮像装置である。照明装置２２は、カメラ２１による撮像のために、ワーク１０００に対して照明光を照射する照明装置である。本実施形態では、複数の飛行体２０がそれぞれカメラ２１および照明装置２２を備える。

センサ２３は、飛行体２０の位置および姿勢といった状態を検出するためのセンサである。センサ２３は、例えばＧＰＳ（Global Positioning System）、ジャイロセンサ、加速度センサ、またはＩＭＵ（Inertial Measurement Unit）などであってよい。

制御部２４は、飛行体２０の動作を制御する。制御部２４は、例えば飛行ルートに従って飛行体２０を飛行させる。また、制御部２４は、カメラ２１によりワーク１０００の画像を撮像する。また、制御部２４は、撮像した画像を、通信部２６を介して検査装置１０へ送信する。

カメラ２１により撮像する画像について、具体的には、制御部２４は、ワーク１０００の基準部位および検査部位の画像を撮像する。

記憶部２５は、ワーク１０００の検査に必要なデータを記憶する記憶装置である。記憶部２５は、例えば、飛行体２０の飛行ルートを示すデータ、および、ワーク１０００を撮像した画像のデータなどを記憶する。

通信部２６は、飛行体２０と外部の装置との間で通信を行うための通信装置である。バッテリ２７は、飛行体２０の各部に電力を供給するためのバッテリである。

また、本実施形態においては、開始点２１０は通信部２１１を備える。通信部２１１は、開始点２１０に位置する飛行体２０、および、検査装置１０のそれぞれと通信を行う通信装置である。このため、開始点２１０に位置する飛行体２０が検査装置１０と通信を行う場合には、通信部２１１を介して当該通信を行うことができる。この場合には、開始点２１０に位置する飛行体２０が検査装置１０と直接通信を行う場合と比較して、通信部２６を小型化するとともに、バッテリ２７における消費電力を低減することができる。

ただし、開始点２１０は必ずしも通信部２１１を備える必要はない。開始点２１０が通信部２１１を備えない場合には、飛行体２０は検査装置１０と直接通信を行えばよい。

（飛行体２０のバリエーション）
図３の（ａ）～（ｃ）は、飛行体２０が備えるカメラ２１による撮像方向の例を示す図である。図３の（ａ）～（ｃ）においては、カメラ２１の撮像方向が矢印で示されている。検査システム１は、飛行体２０として、図３の（ａ）～（ｃ）に示すうちの、２以上のカメラ２１を備える飛行体２０を備えていてもよい。

図３の（ａ）に示す例では、カメラ２１は飛行体２０の側方を撮像する。図３の（ｂ）に示す例では、カメラ２１は飛行体２０の下方を撮像する。図３の（ｃ）に示す例では、カメラ２１は飛行体２０の上方を撮像する。

このように、検査システム１が複数の飛行体２０を備える場合、少なくとも１つの飛行体２０が備えるカメラ２１の撮像方向は、他の飛行体２０が備えるカメラ２１の撮像方向と異なることが好ましい。これにより、制御部１１は、検査部位を撮像するための適切な撮像方向に応じて、撮像方向の異なるカメラ２１を備える飛行体２０を使い分けることができる。例えば検査部位がワーク１０００側面および上面に存在する場合、制御部１１は、図３の（ａ）に示した撮像方向のカメラ２１を備える飛行体２０を使用して側面の検査部位を撮像し、図３の（ｂ）に示した撮像方向のカメラ２１を備える飛行体２０を使用して上面の検査部位を撮像すればよい。

また、飛行体２０は、カメラ２１による撮像方向を変更するための撮像方向変更機構を備えていてもよい。この場合、１つの飛行体２０により複数の撮像方向に対応することができる。

また、飛行体２０は、撮像する光の波長が互いに異なる複数のカメラ２１、および、照明の方式が互いに異なる複数の照明装置２２を備えていてもよい。

図４の（ａ）～（ｄ）は、飛行体２０が備える照明装置２２による照射の方式の例を示す図である。図４の（ａ）に示す例では、照明装置２２は、カメラ２１の近傍からワーク１０００の検査部位に対して照明光を一様に照射する。この方式は、主に検査部位の表面状態（色および明るさ）を検査する場合に用いられる。

図４の（ｂ）に示す例では、照明装置２２は、検査部位の側方からワーク１０００の検査部位に対して光を照射する。この方式は、主に検査部位の強調された輪郭情報を取得する場合に用いられる。具体的には、例えば図４の（ｂ）に示すようにワーク１０００の表面に凹部が存在する場合に、当該凹部の輪郭が強調される。

図４の（ｃ）に示す例では、照明装置２２は、直線状の光をワーク１０００の検査部位に対して照射する。検査部位が平坦であれば、検査部位に投影される光の像は直線となる。一方、検査部位に凹凸が存在すれば、光の像に歪みが生じる。この方式は、主に検査部位の任意の直線上における三次元形状を取得する場合に用いられる。具体的には、例えば図４の（ｃ）に示すようにワーク１０００の表面に凸部１００２が存在する場合に、当該凸部１００２上で光の像に歪みが生じる。

図４の（ｄ）に示す例では、照明装置２２は、ワーク１０００の検査部位に対して所定のパターン（幅・位相シフト）の光を照射する。所定のパターンは、例えば縞模様であってよい。検査部位の形状に応じてパターンに歪みが生じる。この方式は、主に検査部位の任意の領域（面上）における三次元形状を取得する場合に用いられる。具体的には、例えば図４の（ｃ）に示した例と同様にワーク１０００の表面に凸部１００２が存在する場合に、当該凸部１００２上でパターンに歪みが生じる。

また、照明装置２２が照射する照明光の波長が互いに異なっていてもよい。例えば照明光の波長は、波長３６５ｎｍ以上４００ｎｍ未満（紫外光）、波長４００ｎｍ以上７００ｎｍ未満（可視光）、波長７００ｎｍ以上８５０ｎｍ未満（赤外光）のいずれかであってよい。

照明光と撮像する光との関係の例について以下に説明する。例えば紫外光を照明光とし、可視光（蛍光）による像を撮像する場合には、油、接着剤または埃といった蛍光物質の有無について情報を取得できる。また、紫外光、可視光または赤外光のいずれかを照明光とし、当該照明光がワーク１０００で反射された反射光による像を撮像する場合には、ワーク１０００の色および明るさといった表面状態について情報を取得できる。また、照明光を照射せず、赤外光の像を撮像する場合には、ワーク１０００の通電状態において、熱放射による赤外光を撮像することでワーク１０００の温度を計測し、異常の有無を検査できる。

このように、検査システム１は、飛行体２０として、互いに照明方式が異なる複数の照明装置２２を備えた飛行体２０を備えていてもよい。この場合、制御部１１は、検査項目ごとに飛行体２０を使い分けることができる。例えば油漏れおよび表面の形状について検査を行う場合には、制御部１１は、図４の（ａ）に示した照射方式で紫外光を照射する照明装置２２および可視光を撮像するカメラ２１を備えた飛行体を使用して、油漏れについて検査する検査部位について撮像を行う。また、制御部１１は、図４の（ｄ）に示した照射方式で可視光を照射する照明装置２２および可視光を撮像するカメラ２１を備えた飛行体を使用して、表面の形状について検査する検査部位について撮像を行う。

なお、図４の（ｂ）～（ｄ）に示した方式では、照明装置２２がカメラ２１から離隔しているため、単一の飛行体２０ではこれらの照明方式で照明光を照射しながら撮像を行うことは不可能である。このような方式については実施形態２で説明する。

検査システム１による検査方法は、（ｉ）画像を撮像するための飛行ルートを登録するルート登録処理と、（ｉｉ）画像を撮像し、当該画像に基づいて検査を行う検査処理とに分けられる。

図５は、ルート登録処理（飛行ルート決定方法）の事前処理の一例を示すフローチャートである。この事前処理は、検査を開始する前に実行され、個々の検査ごとには実行されない。

まず、検査装置１０の制御部１１は、ワーク１０００の三次元形状を示す形状データを読み込む（ＳＯ１）。次に、制御部１１は、読み込んだ形状データに基づいて、仮想空間における原点の位置を決定する（ＳＯ２）。また、制御部１１は、ワーク１０００における検査部位、および検査の内容に基づいて、撮像方法、飛行体の種類および台数といった検査条件を設定する（ＳＯ３）。

次に、制御部１１は、読み込んだ形状データを用いて、ワーク１０００の基準部位を撮像する基準部位撮像位置を仮想空間上で登録する（ＳＯ４、第１登録ステップ）。このとき、制御部１１は、登録した基準部位撮像位置に基づいて、基準部位を撮像するための飛行ルートを生成する。当該飛行ルートは、飛行体２０が開始点２１０から全ての基準部位撮像位置を通過し、その後開始点２１０へ戻るように生成される。当該飛行ルートにおいて飛行体２０が基準部位撮像位置を通過する順番は特に制限されず、例えば基準部位撮像位置が登録された順番であってよい。また、制御部１１は、読み込んだ形状データを用いて、ワーク１０００の検査部位を撮像する検査部位撮像位置を仮想空間上で登録する（ＳＯ５、第１登録ステップ）。なお、ステップＳＯ３においては、基準部位撮像位置および検査部位撮像位置と併せて、それぞれの位置におけるカメラ２１の撮像方向も決定する。また、複数の飛行体２０を使用する場合には、それぞれの位置において撮像を行う飛行体２０も決定する。

図６は、ルート登録処理（飛行ルート決定方法）の一例を示すフローチャートである。ルート登録処理は、検査処理における検査部位撮像用飛行ルートなどを決定するものである。ルート登録処理を行うことにより、ワーク１０００の形状に基づいて定められた所定の飛行ルートに沿って飛行体２０を飛行させることができる。

制御部１１は、ワーク１０００の基準部位の位置データを飛行体２０へ送信する（ＳＡ１）。飛行体２０の制御部２４は、基準部位の位置データを受信し（ＳＡ２）、実空間における基準部位を撮像する（ＳＡ３）。ステップＳＡ３において基準部位を撮像するための飛行ルートは、事前処理のステップＳＯ４において、基準部位撮像位置の登録と併せて制御部１１が生成したものである。なお、基準部位を撮像するための飛行ルートは、作業者が飛行体２０を操作して決定したものであってもよい。ワーク１０００の基準部位の撮像後、制御部２４は、カメラ２１が基準部位を撮像した画像と、当該画像を撮像するために飛行体２０が飛行した実空間における飛行ルート（作業者がティーチングした飛行ルート）と、を検査装置１０へ送信（登録）する（ＳＡ４、第２登録ステップ）。

検査装置１０の制御部１１は、ワーク１０００の基準部位の撮像データを受信し（ＳＡ５）、受信した画像および飛行ルートに基づいて、仮想空間相対座標系と実空間相対座標系との軸合わせを行うことで、基準部位の位置の対応付けを行う（ＳＡ６）。制御部１１は、センサ２３の出力値を用いて上記軸合わせを行う。また、ワーク１０００が配置されている建屋に飛行体２０の位置を検出するセンサを設け、当該センサの出力に基づいて制御部１１が上記軸合わせを行ってもよい。

さらに、制御部１１は、実空間における基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートを決定する（ＳＡ７、ルート決定ステップ）。具体的には、制御部１１は、ステップＳＡ４で登録した画像及び飛行ルートに基づいて、ステップＳＯ４で登録した基準部位撮像位置を実空間の座標系に変換することで、基準部位撮像用飛行ルートを決定する。より具体的な飛行ルートは、例えば飛行体２０がワーク１０００に接触しないように、ワーク１０００の形状データに基づいて制御部１１が決定してよい。また、制御部１１は、ステップＳＡ４で登録した画像及び飛行ルートに基づいて、ステップＳＯ５で決定した検査部位撮像位置を実空間の座標系に変換することで、検査部位撮像用飛行ルートを決定する。実空間における基準部位撮像用飛行ルートにより、検査部位撮像用飛行ルートの補正を行うことができる。当該補正の方法については後述する。

決定された基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートにおいて、飛行体２０は、開始点２１０から検査部位撮像用飛行ルートに沿って飛行した後、開始点２１０に戻る。待機ステーション１００と検査エリア２００とが離隔している場合、待機ステーション１００から検査エリア２００まで飛行する間に、余分な電力を消費する。基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートの開始点および終点を開始点２１０とし、飛行体２０が基準部位撮像用飛行ルートに沿って飛行した後、検査部位撮像用飛行ルートに沿って飛行を開始するまで開始点２１０で待機することで、消費電力を低減することができる。

複数の飛行体２０を使用する場合には、ステップＳＡ７において、制御部１１は、検査部位撮像位置において複数の飛行体２０の少なくとも１つがワーク１０００の画像を撮像するように、複数の飛行体２０のそれぞれについて検査部位撮像用飛行ルートを決定する。検査部位撮像位置が複数である場合、複数の飛行体２０を使用し、それぞれの検査部位撮像位置において少なくとも１つの飛行体２０によりワーク１０００の画像を撮像することで、複数の検査部位撮像位置において画像を撮像する場合に要する時間を短縮できる。

この他に、制御部１１は、飛行体２０が待機ステーション１００から開始点２１０へ飛行する飛行ルートを決定する。当該飛行ルートはワーク１０００の形状、基準部位および検査部位に依存しないため、図６に示した処理とは無関係に、任意のタイミングで適宜決定されてよい。また、当該飛行ルートは、作業者が飛行体２０を操作することによりティーチングされればよい。

以上のとおり、図５に示した事前処理および図６に示したルート登録処理は、
（ｉ）基準部位撮像位置と検査部位撮像位置とを仮想空間上で登録するステップＳＯ４およびＳＯ５と、
（ｉｉ）基準部位を撮像した画像と、当該画像を撮像するために飛行体２０が飛行した実空間における飛行ルートと、を登録するステップＳＡ４と、
（ｉｉｉ）ステップＳＡ４で登録した画像及び飛行ルートに基づいて検査部位撮像用飛行ルートを決定するステップＳＡ７と、
を含む。すなわち、仮想空間上で登録された基準部位撮像位置および検査部位撮像位置と、基準部位を撮像した画像および実空間における飛行ルートとを対応付けることで、実空間における検査部位撮像用飛行ルートを決定できる。これにより、ワーク１０００の形状データに基づいて、実空間の座標系における検査部位撮像用飛行ルートを決定し、当該検査部位撮像用飛行ルートに沿って飛行体２０を飛行させることができる。また、基準部位撮像用飛行ルートについても同様にして決定し、当該基準部位撮像用飛行ルートに沿って飛行体２０を飛行させることができる。

図７は、検査処理の一例を示すフローチャートである。本実施形態では、検査処理の実行前に、図７に示した処理により、ワーク１０００の基準部位を撮像するための基準部位撮像用飛行ルートと、ワーク１０００の検査部位を撮像するための検査部位撮像用飛行ルートと、が検査装置１０に予め登録されている。図７に示す検査処理においては、まず、検査装置１０が、開始前飛行ルートおよび基準部位撮像用飛行ルートを示すデータを飛行体２０に対して送信する（ＳＢ１）。

飛行体２０の制御部２４は、開始前飛行ルートおよび基準部位撮像用飛行ルートを示すデータを検査装置１０から受信し（ＳＢ２）、開始前飛行ルートに従って待機ステーション１００から検査エリア２００の開始点２１０へ飛行体２０を飛行させる（ＳＢ３）。続けて制御部２４は、基準部位撮像用飛行ルートに沿って飛行体２０を飛行させる。さらに制御部２４は、飛行体２０が基準部位撮像用飛行ルートに沿って飛行している間に、カメラ２１によりワーク１０００の基準部位を撮像し（ＳＢ４）、開始点２１０へ戻った後に基準部位の撮像データを検査装置１０へ送信する（ＳＢ５）。

検査装置１０の制御部１１は、基準部位の撮像データを飛行体２０から受信し（ＳＢ６）、予め登録された基準部位の位置と、基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を、基準部位のそれぞれについて算出する（ＳＢ７、算出ステップ）。続けて、制御部１１は、ワーク１０００の配置位置が、予め登録された基準部位の位置に基づき特定される所定位置からずれていないか否かを判定する（ＳＢ８、判定ステップ）。具体的には、制御部１１は、ステップＳＢ７で算出したそれぞれの基準部位の位置ずれ量の合計が所定値未満である場合に、ワーク１０００の配置位置が所定位置からずれていないと判定する。

ワーク１０００の配置位置が所定位置からずれていると判定した場合（ＳＢ８でＮＯ）、制御部１１は、位置ずれ量に基づいて、ワーク１０００の配置位置が上記所定位置と一致するように、検査部位撮像用飛行ルートを補正する（ＳＢ９、補正ステップ）。具体的には、制御部１１は、検査部位撮像用飛行ルート全体を、それぞれの基準部位の位置ずれ量の分だけ移動させることで、ワーク１０００の配置位置を検査部位撮像用飛行ルートに対する上記所定位置と一致させる。さらに検査装置１０は、補正済検査部位撮像用飛行ルートを示すデータを飛行体２０へ送信する（ＳＢ１０）。

一方、ワーク１０００の配置位置が所定位置からずれていないと判定された場合（ＳＢ８でＹＥＳ）、制御部１１はステップＳＢ９をスキップする。この場合、制御部１１は、ステップＳＢ１０において、予め登録された検査部位撮像用飛行ルートを示すデータを飛行体２０へ送信する（ＳＢ１０）。

換言すれば、制御部１１は、ステップＳＢ８においてワーク１０００の配置位置が所定位置からずれていないと判定した場合、予め登録された検査部位撮像用飛行ルートを飛行体２０に飛行させる。これにより、ワーク１０００が登録された位置に配された場合には、予め登録された飛行ルートにより検査部位を撮像できる。この場合、飛行ルートの補正を行わないため、検査を高速化できる。

一方、制御部１１は、ステップＳＢ８においてワーク１０００の配置位置が所定位置からずれている（位置ずれ量が所定値以上である）と判定した場合、位置ずれ量に基づいて検査部位撮像用飛行ルートを補正する（補正ステップ（ＳＢ９））。これにより、ワーク１０００が登録された位置からずれた位置に配された場合に、検査部位撮像用飛行ルートを補正し、補正済検査部位撮像用飛行ルートにより検査部位を撮像できる。このため、ワーク１０００の位置がずれていても適切に検査部位を撮像できる。なお、制御部１１および制御部２４は、ステップＳＢ９において飛行ルートを補正できなかった場合には、再度ステップＳＢ４以降の処理を実行してもよい。

飛行体２０の制御部２４は、検査部位撮像用飛行ルートを示すデータを検査装置１０から受信し（ＳＢ１１）、飛行体２０を検査部位撮像用飛行ルートに沿って飛行させる。さらに制御部２４は、飛行体２０が検査部位撮像用飛行ルートに沿って飛行している間にカメラ２１によりワーク１０００の検査部位を撮像する（ＳＢ１２、撮像ステップ）。

飛行体２０が撮像方向変更機構を備えている場合、ステップＳＢ１２は、制御部２４がカメラ２１により撮像位置（基準部位撮像位置、検査部位撮像位置）からワーク１０００を撮像するときに、カメラ２１の撮像方向を変更する姿勢変更ステップを含んでいてもよい。これにより、カメラ２１の撮像方向によっては死角となり得る検査部位も適切に撮像できる。

また、ステップＳＢ１２において、制御部２４は、ワーク１０００の所定の検査部位について、複数回の撮像を行ってもよい。ここで、所定の検査部位とは、例えば高い精度での検査が要求される検査項目に対応する検査部位である。これにより、複数回撮像した画像に基づいて複数回の検査を行うことで、検査の精度を向上させることができる。なお、検査項目の例としては、特定の部品またはラベル等の位置の適否、油漏れの有無、ワーク１０００の表面形状などが挙げられる。また、所定の検査部位の全体を１回の撮像で撮像できない場合であっても、当該検査部位を撮像できる。さらにこの場合、複数回の撮像のうち少なくとも１回は、他の撮像とは異なる撮像方向での撮像であってよい。これにより、１方向からの撮像ではワーク１０００の形状に起因して死角が生じる場合であっても、死角を補うように適切に撮像できる。

検査部位を撮像した後、飛行体２０は開始点２１０から待機ステーション１００へ飛行し、検査部位の撮像データを検査装置１０へ送信する（ＳＢ１３）。

検査装置１０の制御部１１は、検査部位の撮像データを飛行体２０から受信し（ＳＢ１４）、当該画像に基づいて、ワーク１０００に対する検査を行う（ＳＢ１５、検査ステップ）。また、制御部１１は、検査結果を表示装置３０に表示する。なお、制御部１１は、検査において不良を検出した場合には、例えばスピーカー（不図示）からユーザへ警報音を発してもよい。

図８は、検査処理の別の例を示すフローチャートである。図８に示す例では、検査装置１０の制御部１１は、開始前飛行ルート、基準部位撮像用飛行ルートに加えて、検査部位撮像用飛行ルートを示すデータも最初に飛行体２０に対して送信する（ＳＣ１）。

飛行体２０の制御部２４は、開始前飛行ルート、基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートを示すデータを検査装置１０の制御部１１から受信し（ＳＣ２）、開始前飛行ルートに沿って待機ステーション１００から開始点２１０へ飛行体２０を飛行させ（ＳＣ３）、さらに基準部位撮像用飛行ルートに沿って飛行させる。制御部２４は、飛行体２０が基準部位撮像用飛行ルートに沿って飛行している間に、カメラ２１によりワーク１０００の基準部位を撮像する（ＳＣ４）。

飛行体２０が開始点２１０へ戻った後、制御部２４は、予め登録された基準部位の位置と、基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を、基準部位のそれぞれについて算出する（ＳＣ５、算出ステップ）。続けて、制御部２４は、ワーク１０００の配置位置が、予め登録された基準部位の位置に基づき特定される所定位置からずれていないか否かを判定する（ＳＣ６、判定ステップ）。具体的には、制御部２４は、ステップＳＣ５で算出したそれぞれの基準部位の位置ずれ量の合計が所定値未満である場合に、ワーク１０００の配置位置が所定位置からずれていないと判定する。

ワーク１０００の配置位置が所定位置からずれていると判定された場合（ＳＣ６でＮＯ）、制御部２４は、位置ずれ量に基づいて、ワーク１０００の配置位置が所定位置と一致するように、検査部位撮像用飛行ルートを補正する（ＳＣ７）。一方、ワーク１０００の配置位置が所定位置からずれていないと判定された場合（ＳＣ６でＹＥＳ）、制御部２４はステップＳＣ７をスキップする。

さらに制御部２４は、検査部位撮像用飛行ルートに沿って飛行体２０を飛行させ、飛行体２０が検査部位撮像用飛行ルートに沿って飛行している間にカメラ２１によりワーク１０００の検査部位を撮像する（ＳＣ８、撮像ステップ）。検査部位を撮像した後、飛行体２０は開始点２１０から待機ステーション１００へ飛行し、検査部位の撮像データを検査装置１０へ送信する（ＳＣ９）。

検査装置１０の制御部１１は、検査部位の撮像データを飛行体２０から受信し（ＳＣ１０）、当該画像に基づいて、ワーク１０００に対する検査を行う（ＳＣ１１、検査ステップ）。

以上のとおり、図８に示す例では、飛行体２０の制御部２４が、基準部位を撮像した画像データに基づいて検査部位を撮像するための飛行ルートの補正を行う。この例では、基準部位を撮像した画像データを飛行体２０から検査装置１０へ送信する必要がないため、検査を高速化できる。

図９は、検査処理の、さらに別の例を示すフローチャートである。図９に示す例では、開始点２１０に対するワーク１０００の位置が予め決定されているものとする。この例では、検査装置１０の制御部１１は、開始前飛行ルートおよび検査部位撮像用飛行ルートを示すデータを最初に飛行体２０へ送信する（ＳＤ１）。

飛行体２０の制御部２４は、検査装置１０から飛行ルートを受信し（ＳＤ２）、その後開始前飛行ルートに沿って開始点２１０へ飛行体２０を飛行させる（ＳＤ３）。続けて制御部２４は、検査部位撮像用飛行ルートに沿って飛行体２０を飛行させる。さらに制御部２４は、飛行体２０が検査部位撮像用飛行ルートに沿って飛行している間にカメラ２１によりワーク１０００の検査部位を撮像する（ＳＤ４、撮像ステップ）。検査部位を撮像した後、飛行体２０は開始点２１０から待機ステーション１００へ飛行し、検査部位の撮像データを検査装置１０へ送信する（ＳＤ５）。

検査装置１０の制御部１１は、検査部位の撮像データを飛行体２０から受信し（ＳＤ６）、当該画像に基づいて、ワーク１０００に対する検査を行う（ＳＤ７、検査ステップ）。

開始点２１０に対するワーク１０００の位置が予め決定されている場合には、検査部位撮像用飛行ルートを補正する必要がない。このため、図９に示す例では、検査システム１による検査をさらに高速化できる。

上述した例では、飛行体２０を１つのみ用いる検査方法について説明した。飛行体２０を複数用いる場合には、それぞれの飛行体２０について上述した処理を実行すればよい。

以上のとおり、本実施形態に係る検査方法は、飛行体２０が検査部位撮像用飛行ルートに沿って飛行している間に、カメラ２１によりワーク１０００を撮像する撮像ステップと、撮像ステップで撮像した画像に基づいて、ワーク１０００に対する外観検査を行う検査ステップと、を含む。より詳細には、検査部位撮像用飛行ルートを、複数の検査項目のそれぞれに対応する画像を撮像するための撮像位置へ飛行させる飛行ルートとする。

このため、ワーク１０００に対する検査を自動化できるため、検査に必要なコストを低減できる。また、同様の理由により、検査を夜間に実施するなど、検査工程の効率化を図ることができる。また、検査のために固定カメラを設置する必要がないため、省スペース化が可能となる。さらに、撮像位置の空間的自由度を向上させることができる。

なお、上述した例では、検査装置１０において実行される全ての処理を制御部１１が実行し、飛行体２０において実行される全ての処理を制御部２４が実行するものとして説明したが、それぞれの処理を実行する構成要素が互いに異なっていてもよい。例えば、検査装置１０は、ステップＳＢ１４において検査部位の画像データを受信（取得）する処理を実行する画像取得部と、ステップＳＢ１５において画像処理により検査を行う画像処理部とを備えていてもよい。また、飛行体２０は、ステップＳＢ１２においてカメラ２１により検査部位の画像を撮像する撮像処理部と、ステップＳＢ１３において画像を示すデータを検査装置１０へ送信する画像送信部とを備えていてもよい。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１０は、本実施形態に係る検査方法を実行するための検査システム２の構成を示す図である。図１０に示すように、検査システム２は、飛行体２０の代わりに飛行体４０、５０Ａおよび５０Ｂを備える点で検査システム１と相違する。

飛行体４０は、照明装置２２を備えない点で飛行体２０と相違する。また、飛行体５０Ａおよび５０Ｂ（第２の飛行体）は、カメラ２１を備えず、照明装置２２の代わりにそれぞれ照明装置２２Ａまたは２２Ｂを備える点で飛行体２０と相違する。

照明装置２２Ａは、照明装置２２Ｂとは異なる照射方式でワーク１０００に対して照明光を照射する。例えば照明装置２２Ａは、可視光を、図４の（ｃ）に示したように直線状に照射する方式であってよい。また、例えば照明装置２２Ｂは、紫外光を、図４の（ａ）に示したように一様に照射する方式であってよい。

すなわち、検査システム２は、撮像用の飛行体４０と、照明光照射用の飛行体５０Ａおよび５０Ｂとを備えている。検査システム２は、飛行体４０、５０Ａおよび５０Ｂを協調飛行させることでワーク１０００の画像を取得し、検査を行う。

検査システム２におけるルート登録処理および検査処理は、実施形態１と概ね同様である。ただし、図５に示した事前処理のステップＳＯ５において、検査装置１０の制御部１１は、検査部位撮像位置に加えて、検査部位撮像位置に対応する検査部位照明位置を登録する。さらに、図６に示したルート登録処理のステップＳＡ７において、制御部１１は、基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートに加えて、飛行体５０Ａまたは５０Ｂを検査部位撮像位置に対応する検査部位照明位置へ飛行させる検査部位照明用飛行ルート（第２の飛行ルート）をさらに決定する（第２ルート決定ステップ）。これにより、撮像時における照明装置２２Ａまたは２２Ｂの位置をカメラ２１の位置とは独立して決定できるため、ワーク１０００を適切な照明条件で撮像できる。なお、制御部１１は、検査部位撮像用飛行ルートを決定するタイミングとは別のタイミングで、検査部位照明用飛行ルートを決定してもよい。

また、検査システム２は、照明装置２２Ａおよび２２Ｂのいずれとも異なる、別の照射方式の照明装置を備える、照明光照射用の飛行体をさらに備えていてもよい。この場合、複数の照明光照射用の飛行体のうち、少なくとも１つが備える照明装置は、他の照明光照射用の飛行体が備える照明装置とは異なる照射方式でワーク１０００に対して照明光を照射すればよい。これにより、検査項目ごとの照明条件に応じて、照明光照射用の飛行体を使い分けることができる。

〔ソフトウェアによる実現例〕
検査装置１０および飛行体２０の制御ブロック（特に制御部１１および２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、検査装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１、２ 検査システム
１０ 検査装置（飛行ルート決定装置、飛行指示装置）
１１ 制御部（画像取得部、画像処理部）
２０ 飛行体
２１ カメラ（撮像装置）
２２ 照明装置
２４ 制御部（撮像処理部、画像送信部）
４０ 飛行体
５０Ａ、５０Ｂ 飛行体（第２の飛行体）
２１０ 開始点（ルート基準点）

Claims (9)

1. 工場で製造される製造物の製造工程で外観検査をする検査方法であって、
   前記製造物に係る複数の検査項目のそれぞれに対応する画像を撮像するため、撮像装置を備えた飛行体を所定のルート基準点から所定の撮像位置へ飛行させる飛行ルートを決定するルート決定ステップと、
   前記撮像位置において、前記撮像装置により前記製造物の画像を撮像する撮像ステップと、
   前記画像に基づいて、前記複数の検査項目について外観検査を行う検査ステップと、を含み、
   前記ルート決定ステップにおいて、前記製造物の位置を特定するための基準部位を撮像した画像、および当該画像を撮像するために前記飛行体が実空間において前記飛行ルートの決定前に飛行した予備飛行ルートに基づいて、前記基準部位の撮像位置が基準部位撮像位置として登録された仮想空間相対座標系と実空間相対座標系との軸合わせを行い、実空間における前記飛行ルートを決定し、
   前記ルート基準点は、前記外観検査の対象となる前記製造物が配置される検査エリアに設けられ、
   前記検査エリアは、検査を実行していない前記飛行体が待機する待機ステーションとは別のエリアであることを特徴とする検査方法。
2. 前記飛行体は複数であり、
   前記ルート決定ステップにおいて、前記飛行ルートは、前記撮像位置において複数の前記飛行体の少なくとも１つが前記製造物の画像を撮像するように、複数の前記飛行体のそれぞれについて決定されることを特徴とする請求項１に記載の検査方法。
3. 少なくとも１つの前記飛行体が備える撮像装置の撮像方向は、他の前記飛行体が備える撮像装置の撮像方向と異なることを特徴とする請求項２に記載の検査方法。
4. 前記撮像位置における前記撮像装置の撮像方向を変更する姿勢変更ステップをさらに含むことを特徴とする請求項１から３のいずれか１項に記載の検査方法。
5. 前記撮像ステップにおいて、前記製造物の所定の検査部位について、複数回の撮像を行うことを特徴とする請求項１から４のいずれか１項に記載の検査方法。
6. 前記複数回の撮像のうち少なくとも１回は、他の撮像とは異なる撮像方向での撮像であることを特徴とする請求項５に記載の検査方法。
7. 前記製造物に対して照明光を照射する照明装置を備えた第２の飛行体を、前記撮像位置に対応する位置へ飛行させる第２の飛行ルートを決定する第２ルート決定ステップをさらに含むことを特徴とする請求項１から６のいずれか１項に記載の検査方法。
8. 前記第２の飛行体は複数であり、
   少なくとも１つの前記第２の飛行体が備える照明装置は、他の前記第２の飛行体が備える照明装置とは異なる照射方式で前記製造物に対して照明光を照射することを特徴とする請求項７に記載の検査方法。
9. 所定のルート基準点から所定の撮像位置へ、予め決定された検査部位撮像用飛行ルートに従って飛行する飛行体の撮像装置により撮像された、製造物に係る複数の検査項目のそれぞれに対応する画像を取得する画像取得部と、
   前記画像に基づいて、前記複数の検査項目に係る検査を画像処理により行う画像処理部と、
   前記検査部位撮像用飛行ルートを決定する制御部と、を備え、
   前記制御部は、前記製造物の位置を特定するための基準部位を撮像した画像、および当該画像を撮像するために前記飛行体が実空間において前記検査部位撮像用飛行ルートの決定前に飛行した予備飛行ルートに基づいて、前記基準部位の撮像位置が基準部位撮像位置として登録された仮想空間相対座標系と実空間相対座標系との軸合わせを行って前記検査部位撮像用飛行ルートを決定し、
   前記ルート基準点は、前記検査の対象となる前記製造物が配置される検査エリアに設けられ、
   前記検査エリアは、検査を実行していない前記飛行体が待機する待機ステーションとは別のエリアであることを特徴とする検査装置。

Images