JP7148389B2 - 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 - Google Patents

検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 Download PDF

Info

Publication number
JP7148389B2
JP7148389B2 JP2018243634A JP2018243634A JP7148389B2 JP 7148389 B2 JP7148389 B2 JP 7148389B2 JP 2018243634 A JP2018243634 A JP 2018243634A JP 2018243634 A JP2018243634 A JP 2018243634A JP 7148389 B2 JP7148389 B2 JP 7148389B2
Authority
JP
Japan
Prior art keywords
imaging
inspection
flight route
product
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018243634A
Other languages
English (en)
Other versions
JP2020106334A (ja
Inventor
有司 泉野
多聞 井殿
高史 笹部
輝宜 久保
椋平 細田
将弘 松村
裕介 ▲高▼木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2018243634A priority Critical patent/JP7148389B2/ja
Publication of JP2020106334A publication Critical patent/JP2020106334A/ja
Application granted granted Critical
Publication of JP7148389B2 publication Critical patent/JP7148389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、製造物の検査方法などに関する。
従来、工場で製造される製造物等の外観検査は、作業者の目視により行われることが多く、そのような作業者に対する人件費のみならず、一定の検査能力を担保するための指導教育に伴う人件費が必要であり、そのためのコストが嵩んでしまう場合があった。
特許文献1には、一対のビデオカメラおよび解析装置を備える写真測量(製図)法装置が開示されている。当該装置の動作時には、ワーク片、ロボットおよび/またはドリル(ツール)がターゲットを有し、当該ターゲットに基づいてワーク片に対するツールの位置および配向を監視する。
特表2004-509328号公報(2004年3月25日公開)
しかしながら、特許文献1に開示されている技術を対象物の外観検査に適用する場合、対象物の形状に応じて複数のカメラを撮像に好適な位置に精度よく設置する必要があるため、カメラの設置に手間がかかり、また、カメラを含めた検査機器設置のためのスペースが必要となるという問題があった。
本発明は、検査に必要なコストを低減するとともに、省スペース化が可能な検査方法などを実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る検査方法は、工場で製造される製造物の製造工程で外観検査をする方法であって、前記製造物の形状に基づいて定められた所定の飛行ルートを飛行体に飛行させ、前記飛行体が前記所定の飛行ルートに沿って飛行している間に、前記飛行体に備えられた撮像装置により前記製造物を撮像する撮像ステップと、前記撮像ステップで撮像した画像に基づいて、前記製造物に対する外観検査を行う検査ステップと、を含む。
上記の構成によれば、飛行体が、製造物の形状に基づいて定められた所定の飛行ルートに沿って飛行している間に、製造物が撮像され、その撮像した結果に基づいて製造物に対する検査が行われる。従って、検査を自動化できるため、検査に必要なコストを低減できる。また、検査のために固定カメラを設置する必要がないため、省スペース化が可能となる。
また、本発明の一態様に係る検査方法においては、前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、前記基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定する判定ステップを含み、前記撮像ステップでは、前記判定ステップで前記配置位置が前記所定位置からずれていると判定された場合、前記配置位置が前記所定位置と一致するように、前記検査部位撮像用飛行ルートを補正した後の補正済検査部位撮像用飛行ルートを前記飛行体に飛行させ、前記判定ステップで前記配置位置が前記所定位置からずれていないと判定された場合、前記検査部位撮像用飛行ルートを前記飛行体に飛行させる。
上記の構成によれば、製造物の形状および配置位置に応じた飛行ルートに沿って飛行体を飛行させ、製造物の検査部位を撮像できる。
また、本発明の一態様に係る検査方法は、予め登録された前記製造物の基準部位の位置と、予め登録された前記基準部位を撮像する基準部位撮像位置から前記基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を算出する算出ステップと、前記判定ステップにより、前記算出ステップで算出した位置ずれ量が所定値以上であると判定された場合に、当該位置ずれ量に基づいて、前記所定の飛行ルートを補正する補正ステップと、を含む。
上記の構成によれば、製造物が登録された位置からずれた位置に配された場合に、位置ずれ量に基づいて検査部位撮像用飛行ルートを補正することで、製造物の形状および配置位置に応じた飛行ルートに沿って飛行体を飛行させることができる。
また、本発明の一態様に係る検査方法は、前記撮像装置が前記製造物を撮像するときに、前記撮像装置の撮像方向を変更する姿勢変更ステップを含む。
上記の構成によれば、撮像装置の撮像方向によっては死角となり得る検査部位も適切に撮像できる。
また、本発明の一態様に係る検査方法において、前記製造物を検査する検査場は、前記飛行体が待機する待機ステーションと、前記製造物を検査する検査エリアに配された、前記飛行体が前記検査エリアを飛行するときの基準位置となるルート基準点とを有し、前記撮像ステップでは、前記飛行体は、前記ルート基準点から前記所定の飛行ルートに沿って飛行した後、前記ルート基準点に戻る。
上記の構成によれば、飛行体がルート基準点を基準として飛行することで、複数回飛行する場合における消費電力を低減できる。
また、本発明の一態様に係る飛行ルート決定方法は、上記のいずれかの検査方法に用いられる前記所定の飛行ルートを決定する。
上記の構成によれば、ルート登録処理を行うことにより、製造物の形状に基づいて定められた所定の飛行ルートに沿って飛行体を飛行させることができる。
また、本発明の一態様に係る飛行ルート決定方法は、前記製造物の三次元形状を示す形状データを用いて、前記製造物の基準部位を撮像する基準部位撮像位置の仮想空間上での位置と、前記製造物の検査部位を撮像する検査部位撮像位置の仮想空間上での位置と、を登録する第1登録ステップと、実空間において前記飛行体を飛行させることにより前記撮像装置が前記基準部位を撮像した画像と、当該画像を撮像するために前記飛行体が飛行した前記実空間における飛行ルートと、を登録する第2登録ステップと、前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した検査部位撮像位置を前記実空間の座標系に変換することで、前記検査部位を撮像するための検査部位撮像用飛行ルートを、前記所定の飛行ルートとして決定するルート決定ステップと、を含む。
上記の構成によれば、製造物の形状データに基づいて、実空間の座標系における検査部位撮像用飛行ルートを決定し、飛行体を検査部位撮像用飛行ルートに沿って飛行させることができる。
また、本発明の一態様に係る飛行ルート決定方法において、前記ルート決定ステップでは、前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した基準部位撮像位置を前記実空間の座標系に変換することで、前記検査部位撮像用飛行ルートを補正するために用いられる、前記基準部位を撮像するための基準部位撮像用飛行ルートを決定する。
上記の構成によれば、基準部位撮像用飛行ルートを決定し、当該基準部位撮像用飛行ルートにより後述する検査部位撮像用飛行ルートの補正を行うことができる。
また、本発明の一態様に係る検査システムは、製造物と、前記製造物の形状に基づいて定められた所定の飛行ルートを飛行する飛行体であって、前記所定の飛行ルートを飛行している間に、前記製造物を撮像する撮像装置を備える飛行体と、前記撮像装置が撮像した画像に基づいて、前記製造物に対する検査を行う検査装置と、を備える。
上記の構成によれば、上記の検査方法を実行することで、検査を自動化できるため、検査に必要なコストを低減できる。また、同様の理由により、検査を夜間に実施するなど、検査工程の効率化を図ることができる。また、検査のために固定カメラを設置する必要がないため、省スペース化が可能となる。さらに、撮像位置の空間的自由度を向上させることができる。
また、本発明の一態様に係る飛行ルート決定装置は、製造物を撮像した結果に基づいて前記製造物に対する検査を行うために、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを決定する。
上記の構成によれば、飛行ルート決定装置は、飛行体を飛行させる飛行ルートを決定することができる。
また、本発明の一態様に係る飛行指示装置は、製造物を撮像した結果に基づいて前記製造物に対する検査を行うために決定された、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを含む飛行指示を、前記飛行体に対して行う。
上記の構成によれば、製造物の形状に基づいて、製造物を撮像した結果に基づいて前記製造物に対する検査を行うために決定された飛行ルートによる飛行を飛行体に指示することができる。
本発明の一態様によれば、多項目の検査に対応可能な検査方法などを実現できる。
実施形態1に係る検査装置および飛行体の要部の構成を示すブロック図である。 実施形態1に係る検査方法を実行するための検査システムの概要を示す図である。 (a)~(c)は、飛行体が備えるカメラによる撮像方向の例を示す図である。 (a)~(d)は、飛行体が備える照明装置による照射の方式の例を示す図である。 ルート登録処理の事前処理の一例を示すフローチャートである。 ルート登録処理の一例を示すフローチャートである。 検査処理の一例を示すフローチャートである。 検査処理の別の例を示すフローチャートである。 検査処理の、さらに別の例を示すフローチャートである。 実施形態2に係る検査方法を実行するための検査システムの構成を示す図である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(検査システム1の概要)
図2は、本実施形態に係る検査方法を実行するための検査システム1の概要を示す図である。検査システム1は、工場で製造されるワーク1000(製造物)の製造工程で外観検査をするための検査システムである。ワーク1000は、工場で製造される製造物であり、部品、中間品、完成品または製品などであってよい。図2に示すように、検査システム1は、ワーク1000と、複数の飛行体20と、検査装置10(飛行ルート決定装置、飛行指示装置)とを備える。なお、検査システム1は、飛行体20を1つのみ備えていてもよい。
検査システム1による検査を行うための検査場には、待機ステーション100および検査エリア200が設けられている。待機ステーション100は、検査を実行していない飛行体20が待機する場所である。待機ステーション100に待機している飛行体20は、検査を行う場合に飛行するための電力を、無線または有線で充電される。
検査装置10は、待機ステーション100に設けられている。検査装置10は、待機ステーション100に待機している飛行体20との間で、検査に必要なデータの送受信を行う。また、検査装置10は、表示装置30と接続されており、検査結果などを表示装置30に表示する。
検査エリア200は、検査システム1による検査の対象となるワーク1000が配置されるエリアである。検査エリア200は、飛行体20が検査エリア200を飛行するときの基準位置となる開始点210(ルート基準点)を有する。開始点210は、飛行体20が飛行する飛行ルートの終点を兼ねる。開始点210は、ワーク1000の種類などに応じて移動可能であってよい。また、開始点210は、検査エリア200に複数設けられていてもよい。
ただし、必ずしも検査エリア200に開始点210が設けられていなくてもよい。検査エリア200に開始点210が設けられていない場合には、飛行体20は、例えば待機ステーション100を基準位置として検査エリア200を飛行すればよい。
外観検査における検査項目の例として、例えばワーク1000がトラクタである場合、以下の(a)~(d)が挙げられる。
(a)外装部品の異品(部品の種類が異なる)、欠品(部品がない)、または誤組付け(部品の角度が異なる)などの検査。
(b)ラベルについての異品、欠品、または貼付不良(位置・角度のずれ、欠け、割れ、エ・ゴミ噛み、シワ)などの検査。
(c)油圧部品における油の漏れまたは付着などの検査。
(d)外装パネルにおける凹凸または傷などの検査。
(検査装置10の構成)
図1は、本実施形態に係る検査装置10および飛行体20の要部の構成を示すブロック図である。図1に示すように、検査装置10は、制御部11(画像取得部、画像処理部)、通信部12、記憶部13および給電部14を備える。
制御部11は、検査装置10による検査のための動作を制御する。具体的には、制御部11は、ワーク1000を撮像した結果に基づいてワーク1000に対する検査を行うために、飛行体20を飛行させる、ワーク1000の形状に基づいて定められる飛行ルートを決定する。また、制御部11は、ワーク1000を撮像した結果に基づいてワーク1000に対する検査を行うために決定された、飛行体20を飛行させる飛行ルートを含む飛行指示を、飛行体20に対して行う。これにより、ワーク1000の形状に基づいて決定された飛行ルートに沿って、飛行体20を飛行させることができる。
本明細書において、飛行ルートとは、検査部位を撮像するための検査部位撮像用飛行ルートと、基準部位を撮像するための基準部位撮像用飛行ルートを含む。検査部位は、ワーク1000の、検査すべき対象となる部位である。例えば検査部位は、ワーク1000の部品が外部に露出している箇所、ラベルが貼り付けられている箇所、または油漏れが生じる箇所であってよい。基準部位は、検査エリア200におけるワーク1000の位置を特定するための基準となる部位である。例えば基準部位は、ワーク1000の、他の箇所から突出した部位であってよい。
なお、本実施形態においては、検査装置10の制御部11が飛行ルートの決定および飛行指示を行う。しかし、検査システム1は、飛行ルートの決定を行う飛行ルート決定装置および飛行指示を行う飛行指示装置の一方または両方を、検査装置10とは別に備えていてもよい。
また、制御部11は、基準部位の位置に基づいて検査部位撮像用飛行ルートを補正する。これにより、ワーク1000の配置位置に基づいて補正された飛行ルートに沿って、飛行体20を飛行させることができる。
また、制御部11は、検査装置10と飛行体20との間の通信を制御する。例えば検査装置10は、飛行体20の飛行ルートを示すデータを、通信部12を介して飛行体20へ送信する。また、検査装置10は、ワーク1000を撮像した画像を、通信部12を介して飛行体20から受信する。
また、制御部11は、飛行体20から受信した、ワーク1000を撮像した画像に基づいて、ワーク1000の検査を画像処理により行う。例えば制御部11は、ワーク1000の検査部位を撮像した画像を、不良が発生していない場合における当該検査部位の画像であるマスターデータと比較することで、上記の検査を行う。
また、制御部11は、ワーク1000の三次元形状を示す形状データを読み込み、ワーク1000の基準部位および検査部位の位置を仮想空間上で登録する。仮想空間とは、ワーク1000が飛行ルートを決定するための基準となる所定位置に存在する場合における飛行ルートを決定するための、シミュレーション上の空間である。制御部11は、基準部位を、例えば3箇所登録する。または、制御部11は、飛行ルートの精度をより向上させるために、基準部位を4箇所以上登録してもよい。基準部位および検査部位は、形状データにおいて予め特定されていてよく、作業者による入力によって特定されてもよい。
また、制御部11は、仮想空間上での基準部位および検査部位の位置に基づいて、基準部位を撮像する基準部位撮像位置および検査部位を撮像する検査部位撮像位置を仮想空間上で登録する。
通信部12は、飛行体20との間で通信を行う通信装置である。通信の内容については上述したとおりである。通信は、有線または無線のいずれにより行われてもよい。
記憶部13は、ワーク1000の検査に必要なデータを記憶する記憶装置である。記憶部25は、例えば、飛行体20の飛行ルートを示すデータ、飛行体20から受信した画像、および上述したマスターデータなどを記憶する。
給電部14は、飛行体20のバッテリ27(後述)を充電するための装置である。充電は、有線または無線のいずれにより行われてもよい。
(飛行体20の構成)
図1に示すように、飛行体20は、カメラ21、照明装置22、センサ23、制御部24、記憶部25、通信部26およびバッテリ27を備える。
カメラ21は、ワーク1000の画像を撮像する撮像装置である。照明装置22は、カメラ21による撮像のために、ワーク1000に対して照明光を照射する照明装置である。本実施形態では、複数の飛行体20がそれぞれカメラ21および照明装置22を備える。
センサ23は、飛行体20の位置および姿勢といった状態を検出するためのセンサである。センサ23は、例えばGPS(Global Positioning System)、ジャイロセンサ、加速度センサ、またはIMU(Inertial Measurement Unit)などであってよい。
制御部24は、飛行体20の動作を制御する。制御部24は、例えば飛行ルートに従って飛行体20を飛行させる。また、制御部24は、カメラ21によりワーク1000の画像を撮像する。また、制御部24は、撮像した画像を、通信部26を介して検査装置10へ送信する。
カメラ21により撮像する画像について、具体的には、制御部24は、ワーク1000の基準部位および検査部位の画像を撮像する。
記憶部25は、ワーク1000の検査に必要なデータを記憶する記憶装置である。記憶部25は、例えば、飛行体20の飛行ルートを示すデータ、および、ワーク1000を撮像した画像のデータなどを記憶する。
通信部26は、飛行体20と外部の装置との間で通信を行うための通信装置である。バッテリ27は、飛行体20の各部に電力を供給するためのバッテリである。
また、本実施形態においては、開始点210は通信部211を備える。通信部211は、開始点210に位置する飛行体20、および、検査装置10のそれぞれと通信を行う通信装置である。このため、開始点210に位置する飛行体20が検査装置10と通信を行う場合には、通信部211を介して当該通信を行うことができる。この場合には、開始点210に位置する飛行体20が検査装置10と直接通信を行う場合と比較して、通信部26を小型化するとともに、バッテリ27における消費電力を低減することができる。
ただし、開始点210は必ずしも通信部211を備える必要はない。開始点210が通信部211を備えない場合には、飛行体20は検査装置10と直接通信を行えばよい。
(飛行体20のバリエーション)
図3の(a)~(c)は、飛行体20が備えるカメラ21による撮像方向の例を示す図である。図3の(a)~(c)においては、カメラ21の撮像方向が矢印で示されている。検査システム1は、飛行体20として、図3の(a)~(c)に示すうちの、2以上のカメラ21を備える飛行体20を備えていてもよい。
図3の(a)に示す例では、カメラ21は飛行体20の側方を撮像する。図3の(b)に示す例では、カメラ21は飛行体20の下方を撮像する。図3の(c)に示す例では、カメラ21は飛行体20の上方を撮像する。
このように、検査システム1が複数の飛行体20を備える場合、少なくとも1つの飛行体20が備えるカメラ21の撮像方向は、他の飛行体20が備えるカメラ21の撮像方向と異なることが好ましい。これにより、制御部11は、検査部位を撮像するための適切な撮像方向に応じて、撮像方向の異なるカメラ21を備える飛行体20を使い分けることができる。例えば検査部位がワーク1000側面および上面に存在する場合、制御部11は、図3の(a)に示した撮像方向のカメラ21を備える飛行体20を使用して側面の検査部位を撮像し、図3の(b)に示した撮像方向のカメラ21を備える飛行体20を使用して上面の検査部位を撮像すればよい。
また、飛行体20は、カメラ21による撮像方向を変更するための撮像方向変更機構を備えていてもよい。この場合、1つの飛行体20により複数の撮像方向に対応することができる。
また、飛行体20は、撮像する光の波長が互いに異なる複数のカメラ21、および、照明の方式が互いに異なる複数の照明装置22を備えていてもよい。
図4の(a)~(d)は、飛行体20が備える照明装置22による照射の方式の例を示す図である。図4の(a)に示す例では、照明装置22は、カメラ21の近傍からワーク1000の検査部位に対して照明光を一様に照射する。この方式は、主に検査部位の表面状態(色および明るさ)を検査する場合に用いられる。
図4の(b)に示す例では、照明装置22は、検査部位の側方からワーク1000の検査部位に対して光を照射する。この方式は、主に検査部位の強調された輪郭情報を取得する場合に用いられる。具体的には、例えば図4の(b)に示すようにワーク1000の表面に凹部が存在する場合に、当該凹部の輪郭が強調される。
図4の(c)に示す例では、照明装置22は、直線状の光をワーク1000の検査部位に対して照射する。検査部位が平坦であれば、検査部位に投影される光の像は直線となる。一方、検査部位に凹凸が存在すれば、光の像に歪みが生じる。この方式は、主に検査部位の任意の直線上における三次元形状を取得する場合に用いられる。具体的には、例えば図4の(c)に示すようにワーク1000の表面に凸部1002が存在する場合に、当該凸部1002上で光の像に歪みが生じる。
図4の(d)に示す例では、照明装置22は、ワーク1000の検査部位に対して所定のパターン(幅・位相シフト)の光を照射する。所定のパターンは、例えば縞模様であってよい。検査部位の形状に応じてパターンに歪みが生じる。この方式は、主に検査部位の任意の領域(面上)における三次元形状を取得する場合に用いられる。具体的には、例えば図4の(c)に示した例と同様にワーク1000の表面に凸部1002が存在する場合に、当該凸部1002上でパターンに歪みが生じる。
また、照明装置22が照射する照明光の波長が互いに異なっていてもよい。例えば照明光の波長は、波長365nm以上400nm未満(紫外光)、波長400nm以上700nm未満(可視光)、波長700nm以上850nm未満(赤外光)のいずれかであってよい。
照明光と撮像する光との関係の例について以下に説明する。例えば紫外光を照明光とし、可視光(蛍光)による像を撮像する場合には、油、接着剤または埃といった蛍光物質の有無について情報を取得できる。また、紫外光、可視光または赤外光のいずれかを照明光とし、当該照明光がワーク1000で反射された反射光による像を撮像する場合には、ワーク1000の色および明るさといった表面状態について情報を取得できる。また、照明光を照射せず、赤外光の像を撮像する場合には、ワーク1000の通電状態において、熱放射による赤外光を撮像することでワーク1000の温度を計測し、異常の有無を検査できる。
このように、検査システム1は、飛行体20として、互いに照明方式が異なる複数の照明装置22を備えた飛行体20を備えていてもよい。この場合、制御部11は、検査項目ごとに飛行体20を使い分けることができる。例えば油漏れおよび表面の形状について検査を行う場合には、制御部11は、図4の(a)に示した照射方式で紫外光を照射する照明装置22および可視光を撮像するカメラ21を備えた飛行体を使用して、油漏れについて検査する検査部位について撮像を行う。また、制御部11は、図4の(d)に示した照射方式で可視光を照射する照明装置22および可視光を撮像するカメラ21を備えた飛行体を使用して、表面の形状について検査する検査部位について撮像を行う。
なお、図4の(b)~(d)に示した方式では、照明装置22がカメラ21から離隔しているため、単一の飛行体20ではこれらの照明方式で照明光を照射しながら撮像を行うことは不可能である。このような方式については実施形態2で説明する。
検査システム1による検査方法は、(i)画像を撮像するための飛行ルートを登録するルート登録処理と、(ii)画像を撮像し、当該画像に基づいて検査を行う検査処理とに分けられる。
図5は、ルート登録処理(飛行ルート決定方法)の事前処理の一例を示すフローチャートである。この事前処理は、検査を開始する前に実行され、個々の検査ごとには実行されない。
まず、検査装置10の制御部11は、ワーク1000の三次元形状を示す形状データを読み込む(SO1)。次に、制御部11は、読み込んだ形状データに基づいて、仮想空間における原点の位置を決定する(SO2)。また、制御部11は、ワーク1000における検査部位、および検査の内容に基づいて、撮像方法、飛行体の種類および台数といった検査条件を設定する(SO3)。
次に、制御部11は、読み込んだ形状データを用いて、ワーク1000の基準部位を撮像する基準部位撮像位置を仮想空間上で登録する(SO4、第1登録ステップ)。このとき、制御部11は、登録した基準部位撮像位置に基づいて、基準部位を撮像するための飛行ルートを生成する。当該飛行ルートは、飛行体20が開始点210から全ての基準部位撮像位置を通過し、その後開始点210へ戻るように生成される。当該飛行ルートにおいて飛行体20が基準部位撮像位置を通過する順番は特に制限されず、例えば基準部位撮像位置が登録された順番であってよい。また、制御部11は、読み込んだ形状データを用いて、ワーク1000の検査部位を撮像する検査部位撮像位置を仮想空間上で登録する(SO5、第1登録ステップ)。なお、ステップSO3においては、基準部位撮像位置および検査部位撮像位置と併せて、それぞれの位置におけるカメラ21の撮像方向も決定する。また、複数の飛行体20を使用する場合には、それぞれの位置において撮像を行う飛行体20も決定する。
図6は、ルート登録処理(飛行ルート決定方法)の一例を示すフローチャートである。ルート登録処理は、検査処理における検査部位撮像用飛行ルートなどを決定するものである。ルート登録処理を行うことにより、ワーク1000の形状に基づいて定められた所定の飛行ルートに沿って飛行体20を飛行させることができる。
制御部11は、ワーク1000の基準部位の位置データを飛行体20へ送信する(SA1)。飛行体20の制御部24は、基準部位の位置データを受信し(SA2)、実空間における基準部位を撮像する(SA3)。ステップSA3において基準部位を撮像するための飛行ルートは、事前処理のステップSO4において、基準部位撮像位置の登録と併せて制御部11が生成したものである。なお、基準部位を撮像するための飛行ルートは、作業者が飛行体20を操作して決定したものであってもよい。ワーク1000の基準部位の撮像後、制御部24は、カメラ21が基準部位を撮像した画像と、当該画像を撮像するために飛行体20が飛行した実空間における飛行ルート(作業者がティーチングした飛行ルート)と、を検査装置10へ送信(登録)する(SA4、第2登録ステップ)。
検査装置10の制御部11は、ワーク1000の基準部位の撮像データを受信し(SA5)、受信した画像および飛行ルートに基づいて、仮想空間相対座標系と実空間相対座標系との軸合わせを行うことで、基準部位の位置の対応付けを行う(SA6)。制御部11は、センサ23の出力値を用いて上記軸合わせを行う。また、ワーク1000が配置されている建屋に飛行体20の位置を検出するセンサを設け、当該センサの出力に基づいて制御部11が上記軸合わせを行ってもよい。
さらに、制御部11は、実空間における基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートを決定する(SA7、ルート決定ステップ)。具体的には、制御部11は、ステップSA4で登録した画像及び飛行ルートに基づいて、ステップSO4で登録した基準部位撮像位置を実空間の座標系に変換することで、基準部位撮像用飛行ルートを決定する。より具体的な飛行ルートは、例えば飛行体20がワーク1000に接触しないように、ワーク1000の形状データに基づいて制御部11が決定してよい。また、制御部11は、ステップSA4で登録した画像及び飛行ルートに基づいて、ステップSO5で決定した検査部位撮像位置を実空間の座標系に変換することで、検査部位撮像用飛行ルートを決定する。実空間における基準部位撮像用飛行ルートにより、検査部位撮像用飛行ルートの補正を行うことができる。当該補正の方法については後述する。
決定された基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートにおいて、飛行体20は、開始点210から検査部位撮像用飛行ルートに沿って飛行した後、開始点210に戻る。待機ステーション100と検査エリア200とが離隔している場合、待機ステーション100から検査エリア200まで飛行する間に、余分な電力を消費する。基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートの開始点および終点を開始点210とし、飛行体20が基準部位撮像用飛行ルートに沿って飛行した後、検査部位撮像用飛行ルートに沿って飛行を開始するまで開始点210で待機することで、消費電力を低減することができる。
複数の飛行体20を使用する場合には、ステップSA7において、制御部11は、検査部位撮像位置において複数の飛行体20の少なくとも1つがワーク1000の画像を撮像するように、複数の飛行体20のそれぞれについて検査部位撮像用飛行ルートを決定する。検査部位撮像位置が複数である場合、複数の飛行体20を使用し、それぞれの検査部位撮像位置において少なくとも1つの飛行体20によりワーク1000の画像を撮像することで、複数の検査部位撮像位置において画像を撮像する場合に要する時間を短縮できる。
この他に、制御部11は、飛行体20が待機ステーション100から開始点210へ飛行する飛行ルートを決定する。当該飛行ルートはワーク1000の形状、基準部位および検査部位に依存しないため、図6に示した処理とは無関係に、任意のタイミングで適宜決定されてよい。また、当該飛行ルートは、作業者が飛行体20を操作することによりティーチングされればよい。
以上のとおり、図5に示した事前処理および図6に示したルート登録処理は、
(i)基準部位撮像位置と検査部位撮像位置とを仮想空間上で登録するステップSO4およびSO5と、
(ii)基準部位を撮像した画像と、当該画像を撮像するために飛行体20が飛行した実空間における飛行ルートと、を登録するステップSA4と、
(iii)ステップSA4で登録した画像及び飛行ルートに基づいて検査部位撮像用飛行ルートを決定するステップSA7と、
を含む。すなわち、仮想空間上で登録された基準部位撮像位置および検査部位撮像位置と、基準部位を撮像した画像および実空間における飛行ルートとを対応付けることで、実空間における検査部位撮像用飛行ルートを決定できる。これにより、ワーク1000の形状データに基づいて、実空間の座標系における検査部位撮像用飛行ルートを決定し、当該検査部位撮像用飛行ルートに沿って飛行体20を飛行させることができる。また、基準部位撮像用飛行ルートについても同様にして決定し、当該基準部位撮像用飛行ルートに沿って飛行体20を飛行させることができる。
図7は、検査処理の一例を示すフローチャートである。本実施形態では、検査処理の実行前に、図7に示した処理により、ワーク1000の基準部位を撮像するための基準部位撮像用飛行ルートと、ワーク1000の検査部位を撮像するための検査部位撮像用飛行ルートと、が検査装置10に予め登録されている。図7に示す検査処理においては、まず、検査装置10が、開始前飛行ルートおよび基準部位撮像用飛行ルートを示すデータを飛行体20に対して送信する(SB1)。
飛行体20の制御部24は、開始前飛行ルートおよび基準部位撮像用飛行ルートを示すデータを検査装置10から受信し(SB2)、開始前飛行ルートに従って待機ステーション100から検査エリア200の開始点210へ飛行体20を飛行させる(SB3)。続けて制御部24は、基準部位撮像用飛行ルートに沿って飛行体20を飛行させる。さらに制御部24は、飛行体20が基準部位撮像用飛行ルートに沿って飛行している間に、カメラ21によりワーク1000の基準部位を撮像し(SB4)、開始点210へ戻った後に基準部位の撮像データを検査装置10へ送信する(SB5)。
検査装置10の制御部11は、基準部位の撮像データを飛行体20から受信し(SB6)、予め登録された基準部位の位置と、基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を、基準部位のそれぞれについて算出する(SB7、算出ステップ)。続けて、制御部11は、ワーク1000の配置位置が、予め登録された基準部位の位置に基づき特定される所定位置からずれていないか否かを判定する(SB8、判定ステップ)。具体的には、制御部11は、ステップSB7で算出したそれぞれの基準部位の位置ずれ量の合計が所定値未満である場合に、ワーク1000の配置位置が所定位置からずれていないと判定する。
ワーク1000の配置位置が所定位置からずれていると判定した場合(SB8でNO)、制御部11は、位置ずれ量に基づいて、ワーク1000の配置位置が上記所定位置と一致するように、検査部位撮像用飛行ルートを補正する(SB9、補正ステップ)。具体的には、制御部11は、検査部位撮像用飛行ルート全体を、それぞれの基準部位の位置ずれ量の分だけ移動させることで、ワーク1000の配置位置を検査部位撮像用飛行ルートに対する上記所定位置と一致させる。さらに検査装置10は、補正済検査部位撮像用飛行ルートを示すデータを飛行体20へ送信する(SB10)。
一方、ワーク1000の配置位置が所定位置からずれていないと判定された場合(SB8でYES)、制御部11はステップSB9をスキップする。この場合、制御部11は、ステップSB10において、予め登録された検査部位撮像用飛行ルートを示すデータを飛行体20へ送信する(SB10)。
換言すれば、制御部11は、ステップSB8においてワーク1000の配置位置が所定位置からずれていないと判定した場合、予め登録された検査部位撮像用飛行ルートを飛行体20に飛行させる。これにより、ワーク1000が登録された位置に配された場合には、予め登録された飛行ルートにより検査部位を撮像できる。この場合、飛行ルートの補正を行わないため、検査を高速化できる。
一方、制御部11は、ステップSB8においてワーク1000の配置位置が所定位置からずれている(位置ずれ量が所定値以上である)と判定した場合、位置ずれ量に基づいて検査部位撮像用飛行ルートを補正する(補正ステップ(SB9))。これにより、ワーク1000が登録された位置からずれた位置に配された場合に、検査部位撮像用飛行ルートを補正し、補正済検査部位撮像用飛行ルートにより検査部位を撮像できる。このため、ワーク1000の位置がずれていても適切に検査部位を撮像できる。なお、制御部11および制御部24は、ステップSB9において飛行ルートを補正できなかった場合には、再度ステップSB4以降の処理を実行してもよい。
飛行体20の制御部24は、検査部位撮像用飛行ルートを示すデータを検査装置10から受信し(SB11)、飛行体20を検査部位撮像用飛行ルートに沿って飛行させる。さらに制御部24は、飛行体20が検査部位撮像用飛行ルートに沿って飛行している間にカメラ21によりワーク1000の検査部位を撮像する(SB12、撮像ステップ)。
飛行体20が撮像方向変更機構を備えている場合、ステップSB12は、制御部24がカメラ21により撮像位置(基準部位撮像位置、検査部位撮像位置)からワーク1000を撮像するときに、カメラ21の撮像方向を変更する姿勢変更ステップを含んでいてもよい。これにより、カメラ21の撮像方向によっては死角となり得る検査部位も適切に撮像できる。
また、ステップSB12において、制御部24は、ワーク1000の所定の検査部位について、複数回の撮像を行ってもよい。ここで、所定の検査部位とは、例えば高い精度での検査が要求される検査項目に対応する検査部位である。これにより、複数回撮像した画像に基づいて複数回の検査を行うことで、検査の精度を向上させることができる。なお、検査項目の例としては、特定の部品またはラベル等の位置の適否、油漏れの有無、ワーク1000の表面形状などが挙げられる。また、所定の検査部位の全体を1回の撮像で撮像できない場合であっても、当該検査部位を撮像できる。さらにこの場合、複数回の撮像のうち少なくとも1回は、他の撮像とは異なる撮像方向での撮像であってよい。これにより、1方向からの撮像ではワーク1000の形状に起因して死角が生じる場合であっても、死角を補うように適切に撮像できる。
検査部位を撮像した後、飛行体20は開始点210から待機ステーション100へ飛行し、検査部位の撮像データを検査装置10へ送信する(SB13)。
検査装置10の制御部11は、検査部位の撮像データを飛行体20から受信し(SB14)、当該画像に基づいて、ワーク1000に対する検査を行う(SB15、検査ステップ)。また、制御部11は、検査結果を表示装置30に表示する。なお、制御部11は、検査において不良を検出した場合には、例えばスピーカー(不図示)からユーザへ警報音を発してもよい。
図8は、検査処理の別の例を示すフローチャートである。図8に示す例では、検査装置10の制御部11は、開始前飛行ルート、基準部位撮像用飛行ルートに加えて、検査部位撮像用飛行ルートを示すデータも最初に飛行体20に対して送信する(SC1)。
飛行体20の制御部24は、開始前飛行ルート、基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートを示すデータを検査装置10の制御部11から受信し(SC2)、開始前飛行ルートに沿って待機ステーション100から開始点210へ飛行体20を飛行させ(SC3)、さらに基準部位撮像用飛行ルートに沿って飛行させる。制御部24は、飛行体20が基準部位撮像用飛行ルートに沿って飛行している間に、カメラ21によりワーク1000の基準部位を撮像する(SC4)。
飛行体20が開始点210へ戻った後、制御部24は、予め登録された基準部位の位置と、基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を、基準部位のそれぞれについて算出する(SC5、算出ステップ)。続けて、制御部24は、ワーク1000の配置位置が、予め登録された基準部位の位置に基づき特定される所定位置からずれていないか否かを判定する(SC6、判定ステップ)。具体的には、制御部24は、ステップSC5で算出したそれぞれの基準部位の位置ずれ量の合計が所定値未満である場合に、ワーク1000の配置位置が所定位置からずれていないと判定する。
ワーク1000の配置位置が所定位置からずれていると判定された場合(SC6でNO)、制御部24は、位置ずれ量に基づいて、ワーク1000の配置位置が所定位置と一致するように、検査部位撮像用飛行ルートを補正する(SC7)。一方、ワーク1000の配置位置が所定位置からずれていないと判定された場合(SC6でYES)、制御部24はステップSC7をスキップする。
さらに制御部24は、検査部位撮像用飛行ルートに沿って飛行体20を飛行させ、飛行体20が検査部位撮像用飛行ルートに沿って飛行している間にカメラ21によりワーク1000の検査部位を撮像する(SC8、撮像ステップ)。検査部位を撮像した後、飛行体20は開始点210から待機ステーション100へ飛行し、検査部位の撮像データを検査装置10へ送信する(SC9)。
検査装置10の制御部11は、検査部位の撮像データを飛行体20から受信し(SC10)、当該画像に基づいて、ワーク1000に対する検査を行う(SC11、検査ステップ)。
以上のとおり、図8に示す例では、飛行体20の制御部24が、基準部位を撮像した画像データに基づいて検査部位を撮像するための飛行ルートの補正を行う。この例では、基準部位を撮像した画像データを飛行体20から検査装置10へ送信する必要がないため、検査を高速化できる。
図9は、検査処理の、さらに別の例を示すフローチャートである。図9に示す例では、開始点210に対するワーク1000の位置が予め決定されているものとする。この例では、検査装置10の制御部11は、開始前飛行ルートおよび検査部位撮像用飛行ルートを示すデータを最初に飛行体20へ送信する(SD1)。
飛行体20の制御部24は、検査装置10から飛行ルートを受信し(SD2)、その後開始前飛行ルートに沿って開始点210へ飛行体20を飛行させる(SD3)。続けて制御部24は、検査部位撮像用飛行ルートに沿って飛行体20を飛行させる。さらに制御部24は、飛行体20が検査部位撮像用飛行ルートに沿って飛行している間にカメラ21によりワーク1000の検査部位を撮像する(SD4、撮像ステップ)。検査部位を撮像した後、飛行体20は開始点210から待機ステーション100へ飛行し、検査部位の撮像データを検査装置10へ送信する(SD5)。
検査装置10の制御部11は、検査部位の撮像データを飛行体20から受信し(SD6)、当該画像に基づいて、ワーク1000に対する検査を行う(SD7、検査ステップ)。
開始点210に対するワーク1000の位置が予め決定されている場合には、検査部位撮像用飛行ルートを補正する必要がない。このため、図9に示す例では、検査システム1による検査をさらに高速化できる。
上述した例では、飛行体20を1つのみ用いる検査方法について説明した。飛行体20を複数用いる場合には、それぞれの飛行体20について上述した処理を実行すればよい。
以上のとおり、本実施形態に係る検査方法は、飛行体20が検査部位撮像用飛行ルートに沿って飛行している間に、カメラ21によりワーク1000を撮像する撮像ステップと、撮像ステップで撮像した画像に基づいて、ワーク1000に対する外観検査を行う検査ステップと、を含む。より詳細には、検査部位撮像用飛行ルートを、複数の検査項目のそれぞれに対応する画像を撮像するための撮像位置へ飛行させる飛行ルートとする。
このため、ワーク1000に対する検査を自動化できるため、検査に必要なコストを低減できる。また、同様の理由により、検査を夜間に実施するなど、検査工程の効率化を図ることができる。また、検査のために固定カメラを設置する必要がないため、省スペース化が可能となる。さらに、撮像位置の空間的自由度を向上させることができる。
なお、上述した例では、検査装置10において実行される全ての処理を制御部11が実行し、飛行体20において実行される全ての処理を制御部24が実行するものとして説明したが、それぞれの処理を実行する構成要素が互いに異なっていてもよい。例えば、検査装置10は、ステップSB14において検査部位の画像データを受信(取得)する処理を実行する画像取得部と、ステップSB15において画像処理により検査を行う画像処理部とを備えていてもよい。また、飛行体20は、ステップSB12においてカメラ21により検査部位の画像を撮像する撮像処理部と、ステップSB13において画像を示すデータを検査装置10へ送信する画像送信部とを備えていてもよい。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図10は、本実施形態に係る検査方法を実行するための検査システム2の構成を示す図である。図10に示すように、検査システム2は、飛行体20の代わりに飛行体40、50Aおよび50Bを備える点で検査システム1と相違する。
飛行体40は、照明装置22を備えない点で飛行体20と相違する。また、飛行体50Aおよび50B(第2の飛行体)は、カメラ21を備えず、照明装置22の代わりにそれぞれ照明装置22Aまたは22Bを備える点で飛行体20と相違する。
照明装置22Aは、照明装置22Bとは異なる照射方式でワーク1000に対して照明光を照射する。例えば照明装置22Aは、可視光を、図4の(c)に示したように直線状に照射する方式であってよい。また、例えば照明装置22Bは、紫外光を、図4の(a)に示したように一様に照射する方式であってよい。
すなわち、検査システム2は、撮像用の飛行体40と、照明光照射用の飛行体50Aおよび50Bとを備えている。検査システム2は、飛行体40、50Aおよび50Bを協調飛行させることでワーク1000の画像を取得し、検査を行う。
検査システム2におけるルート登録処理および検査処理は、実施形態1と概ね同様である。ただし、図5に示した事前処理のステップSO5において、検査装置10の制御部11は、検査部位撮像位置に加えて、検査部位撮像位置に対応する検査部位照明位置を登録する。さらに、図6に示したルート登録処理のステップSA7において、制御部11は、基準部位撮像用飛行ルートおよび検査部位撮像用飛行ルートに加えて、飛行体50Aまたは50Bを検査部位撮像位置に対応する検査部位照明位置へ飛行させる検査部位照明用飛行ルート(第2の飛行ルート)をさらに決定する(第2ルート決定ステップ)。これにより、撮像時における照明装置22Aまたは22Bの位置をカメラ21の位置とは独立して決定できるため、ワーク1000を適切な照明条件で撮像できる。なお、制御部11は、検査部位撮像用飛行ルートを決定するタイミングとは別のタイミングで、検査部位照明用飛行ルートを決定してもよい。
また、検査システム2は、照明装置22Aおよび22Bのいずれとも異なる、別の照射方式の照明装置を備える、照明光照射用の飛行体をさらに備えていてもよい。この場合、複数の照明光照射用の飛行体のうち、少なくとも1つが備える照明装置は、他の照明光照射用の飛行体が備える照明装置とは異なる照射方式でワーク1000に対して照明光を照射すればよい。これにより、検査項目ごとの照明条件に応じて、照明光照射用の飛行体を使い分けることができる。
〔ソフトウェアによる実現例〕
検査装置10および飛行体20の制御ブロック(特に制御部11および24)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、検査装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1、2 検査システム
10 検査装置(飛行ルート決定装置、飛行指示装置)
11 制御部(画像取得部、画像処理部)
20 飛行体
21 カメラ(撮像装置)
22 照明装置
24 制御部(撮像処理部、画像送信部)
40 飛行体
50A、50B 飛行体(第2の飛行体)
210 開始点(ルート基準点)

Claims (11)

  1. 工場で製造される製造物の製造工程で外観検査をする検査方法であって、
    前記製造物の形状に基づいて定められた所定の飛行ルートを飛行体に飛行させ、前記飛行体が前記所定の飛行ルートに沿って飛行している間に、前記飛行体に備えられた撮像装置により前記製造物を撮像する撮像ステップと、
    前記撮像ステップで撮像した画像に基づいて、前記製造物に対する外観検査を行う検査ステップと、を含み、
    前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
    前記基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定する判定ステップを含み、
    前記撮像ステップでは、
    前記判定ステップで前記配置位置が前記所定位置からずれていると判定された場合、前記配置位置が前記所定位置と一致するように、前記検査部位撮像用飛行ルートを補正した後の補正済検査部位撮像用飛行ルートを前記飛行体に飛行させ、
    前記判定ステップで前記配置位置が前記所定位置からずれていないと判定された場合、前記検査部位撮像用飛行ルートを前記飛行体に飛行させる、検査方法。
  2. 予め登録された前記製造物の基準部位の位置と、予め登録された前記基準部位を撮像する基準部位撮像位置から前記基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を算出する算出ステップと、
    前記判定ステップにより、前記算出ステップで算出した位置ずれ量が所定値以上であると判定された場合に、当該位置ずれ量に基づいて、前記所定の飛行ルートを補正する補正ステップと、を含む、請求項1に記載の検査方法。
  3. 前記撮像装置が前記製造物を撮像するときに、前記撮像装置の撮像方向を変更する姿勢変更ステップを含む、請求項1または2に記載の検査方法。
  4. 前記製造物を検査する検査場は、前記飛行体が待機する待機ステーションと、前記製造物を検査する検査エリアに配された、前記飛行体が前記検査エリアを飛行するときの基準位置となるルート基準点とを有し、
    前記撮像ステップでは、前記飛行体は、前記ルート基準点から前記所定の飛行ルートに沿って飛行した後、前記ルート基準点に戻る、請求項1から3のいずれか1項に記載の検査方法。
  5. 前記外観検査における検査項目は、
    (a)外装部品の異品(部品の種類が異なる)、欠品(部品がない)、または誤組付け(部品の角度が異なる)の検査、
    (b)ラベルについての異品、欠品、または貼付不良(位置・角度のずれ、欠け、割れ、ゴミ噛み、シワ)の検査、
    (c)油圧部品における油の漏れまたは付着の検査、
    および
    (d)外装パネルにおける凹凸または傷の検査、
    のうち少なくとも1つを含む、請求項1から4のいずれか1項に記載の検査方法。
  6. 請求項1から5の何れか1項に記載の検査方法に用いられる前記所定の飛行ルートを決定する飛行ルート決定方法。
  7. 前記製造物の三次元形状を示す形状データを用いて、前記製造物の基準部位を撮像する基準部位撮像位置と、前記製造物の検査部位を撮像する検査部位撮像位置と、を仮想空間上で登録する第1登録ステップと、
    実空間において前記飛行体を飛行させることにより前記撮像装置が前記基準部位を撮像した画像と、当該画像を撮像するために前記飛行体が飛行した前記実空間における飛行ルートと、を登録する第2登録ステップと、
    前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した検査部位撮像位置を前記実空間の座標系に変換することで、前記検査部位を撮像するための検査部位撮像用飛行ルートを、前記所定の飛行ルートとして決定するルート決定ステップと、を含む、請求項6に記載の飛行ルート決定方法。
  8. 前記ルート決定ステップでは、前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した基準部位撮像位置を前記実空間の座標系に変換することで、前記検査部位撮像用飛行ルートを補正するために用いられる、前記基準部位を撮像するための基準部位撮像用飛行ルートを決定する、請求項7に記載の飛行ルート決定方法。
  9. 製造物と、
    前記製造物の形状に基づいて定められた所定の飛行ルートを飛行する飛行体であって、前記所定の飛行ルートを飛行している間に、前記製造物を撮像する撮像装置を備える飛行体と、
    前記撮像装置が撮像した画像に基づいて、前記製造物に対する検査を行う検査装置と、を備え、
    前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
    前記検査装置は、
    前記基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定し、
    前記配置位置が前記所定位置からずれていると判定した場合、前記配置位置が前記所定位置と一致するように、前記検査部位撮像用飛行ルートを補正した後の補正済検査部位撮像用飛行ルートを前記飛行体に飛行させ、
    前記配置位置が前記所定位置からずれていないと判定した場合、前記検査部位撮像用飛行ルートを前記飛行体に飛行させる、検査システム。
  10. 製造物を撮像した結果に基づいて前記製造物に対する検査を行うために、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを決定する飛行ルート決定装置であって、
    前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定し、
    前記配置位置が前記所定位置からずれていると判定された場合、予め登録された、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートを、前記配置位置が前記所定位置と一致するように補正した後の補正済検査部位撮像用飛行ルートを前記所定の飛行ルートとして決定し、
    前記配置位置が前記所定位置からずれていないと判定された場合、前記検査部位撮像用飛行ルートを前記所定の飛行ルートとして決定する、飛行ルート決定装置。
  11. 製造物を撮像した結果に基づいて前記製造物に対する検査を行うために決定された、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを含む飛行指示を、前記飛行体に対して行う飛行指示装置であって、
    前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
    前記所定の飛行ルートは、前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かに応じて決定され、
    前記配置位置が前記所定位置からずれている場合、予め登録された、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートを、前記配置位置が前記所定位置と一致するように補正した後の補正済検査部位撮像用飛行ルートを前記所定の飛行ルートとして含む飛行指示を、前記飛行体に対して行い、
    前記配置位置が前記所定位置からずれていない場合、前記検査部位撮像用飛行ルートを前記所定の飛行ルートとして含む飛行指示を、前記飛行体に対して行う、飛行指示装置。
JP2018243634A 2018-12-26 2018-12-26 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 Active JP7148389B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018243634A JP7148389B2 (ja) 2018-12-26 2018-12-26 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018243634A JP7148389B2 (ja) 2018-12-26 2018-12-26 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置

Publications (2)

Publication Number Publication Date
JP2020106334A JP2020106334A (ja) 2020-07-09
JP7148389B2 true JP7148389B2 (ja) 2022-10-05

Family

ID=71450782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018243634A Active JP7148389B2 (ja) 2018-12-26 2018-12-26 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置

Country Status (1)

Country Link
JP (1) JP7148389B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3991975B1 (en) 2019-06-28 2023-11-15 Sato Holdings Kabushiki Kaisha Printer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2014513792A (ja) 2011-04-14 2014-06-05 ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング 対象物表面の3d座標を決定するための測定システム
JP2017037008A (ja) 2015-08-11 2017-02-16 グランツールス株式会社 構造物の状態検査方法
WO2017073310A1 (ja) 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2014513792A (ja) 2011-04-14 2014-06-05 ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング 対象物表面の3d座標を決定するための測定システム
JP2017037008A (ja) 2015-08-11 2017-02-16 グランツールス株式会社 構造物の状態検査方法
WO2017073310A1 (ja) 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2020106334A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
US10417754B2 (en) Inspection system
US11185985B2 (en) Inspecting components using mobile robotic inspection systems
JP5922572B2 (ja) 実用型3dビジョンシステム装置およびその方法
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
JP4827744B2 (ja) 検査路設定及び検査領域決定方法
US7499812B2 (en) Method for locating flaws, and a marking system
JP4862765B2 (ja) 表面検査装置及び表面検査方法
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
JP2017015396A (ja) 検査方法、検査装置、処理装置、プログラム及び記録媒体
JP6356032B2 (ja) ワイヤハーネスの外観検査装置、ワイヤハーネスの外観検査方法及びワイヤハーネスの外観検査プログラム
US10704891B2 (en) Method and apparatus for determining the 3D coordinates of an object
JP5438475B2 (ja) 隙間段差計測装置、隙間段差計測方法、及びそのプログラム
JP2011133313A (ja) センサ位置姿勢計測方法
WO2019131742A1 (ja) 検査処理装置、検査処理方法、およびプログラム
JP7148389B2 (ja) 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置
JP6998183B2 (ja) ロボットシステム及びロボット制御方法
JP7160666B2 (ja) 検査方法、検査装置および飛行体
US20160018217A1 (en) Ensuring inspection coverage for manual inspection
JP2001246582A (ja) 作業用ロボット装置
JPH0861930A (ja) 形状計測装置、検査装置、及び製品の製造方法
CN104296656B (zh) 一种被测物的测量基准面定位设备与装置及其方法
WO2022003919A1 (ja) 検査データ作成方法、検査データ作成装置および検査装置
JP7188596B2 (ja) 航空機検査支援装置および航空機検査支援方法
JP2022017738A (ja) 画像処理装置
JP2016187851A (ja) キャリブレーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150