JP7148389B2 - 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 - Google Patents
検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 Download PDFInfo
- Publication number
- JP7148389B2 JP7148389B2 JP2018243634A JP2018243634A JP7148389B2 JP 7148389 B2 JP7148389 B2 JP 7148389B2 JP 2018243634 A JP2018243634 A JP 2018243634A JP 2018243634 A JP2018243634 A JP 2018243634A JP 7148389 B2 JP7148389 B2 JP 7148389B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- inspection
- flight route
- product
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
以下、本発明の一実施形態について、詳細に説明する。
図2は、本実施形態に係る検査方法を実行するための検査システム1の概要を示す図である。検査システム1は、工場で製造されるワーク1000(製造物)の製造工程で外観検査をするための検査システムである。ワーク1000は、工場で製造される製造物であり、部品、中間品、完成品または製品などであってよい。図2に示すように、検査システム1は、ワーク1000と、複数の飛行体20と、検査装置10(飛行ルート決定装置、飛行指示装置)とを備える。なお、検査システム1は、飛行体20を1つのみ備えていてもよい。
(a)外装部品の異品(部品の種類が異なる)、欠品(部品がない)、または誤組付け(部品の角度が異なる)などの検査。
(b)ラベルについての異品、欠品、または貼付不良(位置・角度のずれ、欠け、割れ、エ・ゴミ噛み、シワ)などの検査。
(c)油圧部品における油の漏れまたは付着などの検査。
(d)外装パネルにおける凹凸または傷などの検査。
図1は、本実施形態に係る検査装置10および飛行体20の要部の構成を示すブロック図である。図1に示すように、検査装置10は、制御部11(画像取得部、画像処理部)、通信部12、記憶部13および給電部14を備える。
図1に示すように、飛行体20は、カメラ21、照明装置22、センサ23、制御部24、記憶部25、通信部26およびバッテリ27を備える。
図3の(a)~(c)は、飛行体20が備えるカメラ21による撮像方向の例を示す図である。図3の(a)~(c)においては、カメラ21の撮像方向が矢印で示されている。検査システム1は、飛行体20として、図3の(a)~(c)に示すうちの、2以上のカメラ21を備える飛行体20を備えていてもよい。
(i)基準部位撮像位置と検査部位撮像位置とを仮想空間上で登録するステップSO4およびSO5と、
(ii)基準部位を撮像した画像と、当該画像を撮像するために飛行体20が飛行した実空間における飛行ルートと、を登録するステップSA4と、
(iii)ステップSA4で登録した画像及び飛行ルートに基づいて検査部位撮像用飛行ルートを決定するステップSA7と、
を含む。すなわち、仮想空間上で登録された基準部位撮像位置および検査部位撮像位置と、基準部位を撮像した画像および実空間における飛行ルートとを対応付けることで、実空間における検査部位撮像用飛行ルートを決定できる。これにより、ワーク1000の形状データに基づいて、実空間の座標系における検査部位撮像用飛行ルートを決定し、当該検査部位撮像用飛行ルートに沿って飛行体20を飛行させることができる。また、基準部位撮像用飛行ルートについても同様にして決定し、当該基準部位撮像用飛行ルートに沿って飛行体20を飛行させることができる。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
検査装置10および飛行体20の制御ブロック(特に制御部11および24)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
10 検査装置(飛行ルート決定装置、飛行指示装置)
11 制御部(画像取得部、画像処理部)
20 飛行体
21 カメラ(撮像装置)
22 照明装置
24 制御部(撮像処理部、画像送信部)
40 飛行体
50A、50B 飛行体(第2の飛行体)
210 開始点(ルート基準点)
Claims (11)
- 工場で製造される製造物の製造工程で外観検査をする検査方法であって、
前記製造物の形状に基づいて定められた所定の飛行ルートを飛行体に飛行させ、前記飛行体が前記所定の飛行ルートに沿って飛行している間に、前記飛行体に備えられた撮像装置により前記製造物を撮像する撮像ステップと、
前記撮像ステップで撮像した画像に基づいて、前記製造物に対する外観検査を行う検査ステップと、を含み、
前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
前記基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定する判定ステップを含み、
前記撮像ステップでは、
前記判定ステップで前記配置位置が前記所定位置からずれていると判定された場合、前記配置位置が前記所定位置と一致するように、前記検査部位撮像用飛行ルートを補正した後の補正済検査部位撮像用飛行ルートを前記飛行体に飛行させ、
前記判定ステップで前記配置位置が前記所定位置からずれていないと判定された場合、前記検査部位撮像用飛行ルートを前記飛行体に飛行させる、検査方法。 - 予め登録された前記製造物の基準部位の位置と、予め登録された前記基準部位を撮像する基準部位撮像位置から前記基準部位を撮像した画像を解析することにより特定した、実際の基準部位の位置との位置ずれ量を算出する算出ステップと、
前記判定ステップにより、前記算出ステップで算出した位置ずれ量が所定値以上であると判定された場合に、当該位置ずれ量に基づいて、前記所定の飛行ルートを補正する補正ステップと、を含む、請求項1に記載の検査方法。 - 前記撮像装置が前記製造物を撮像するときに、前記撮像装置の撮像方向を変更する姿勢変更ステップを含む、請求項1または2に記載の検査方法。
- 前記製造物を検査する検査場は、前記飛行体が待機する待機ステーションと、前記製造物を検査する検査エリアに配された、前記飛行体が前記検査エリアを飛行するときの基準位置となるルート基準点とを有し、
前記撮像ステップでは、前記飛行体は、前記ルート基準点から前記所定の飛行ルートに沿って飛行した後、前記ルート基準点に戻る、請求項1から3のいずれか1項に記載の検査方法。 - 前記外観検査における検査項目は、
(a)外装部品の異品(部品の種類が異なる)、欠品(部品がない)、または誤組付け(部品の角度が異なる)の検査、
(b)ラベルについての異品、欠品、または貼付不良(位置・角度のずれ、欠け、割れ、ゴミ噛み、シワ)の検査、
(c)油圧部品における油の漏れまたは付着の検査、
および
(d)外装パネルにおける凹凸または傷の検査、
のうち少なくとも1つを含む、請求項1から4のいずれか1項に記載の検査方法。 - 請求項1から5の何れか1項に記載の検査方法に用いられる前記所定の飛行ルートを決定する飛行ルート決定方法。
- 前記製造物の三次元形状を示す形状データを用いて、前記製造物の基準部位を撮像する基準部位撮像位置と、前記製造物の検査部位を撮像する検査部位撮像位置と、を仮想空間上で登録する第1登録ステップと、
実空間において前記飛行体を飛行させることにより前記撮像装置が前記基準部位を撮像した画像と、当該画像を撮像するために前記飛行体が飛行した前記実空間における飛行ルートと、を登録する第2登録ステップと、
前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した検査部位撮像位置を前記実空間の座標系に変換することで、前記検査部位を撮像するための検査部位撮像用飛行ルートを、前記所定の飛行ルートとして決定するルート決定ステップと、を含む、請求項6に記載の飛行ルート決定方法。 - 前記ルート決定ステップでは、前記第2登録ステップで登録した画像及び飛行ルートに基づいて、前記第1登録ステップで登録した基準部位撮像位置を前記実空間の座標系に変換することで、前記検査部位撮像用飛行ルートを補正するために用いられる、前記基準部位を撮像するための基準部位撮像用飛行ルートを決定する、請求項7に記載の飛行ルート決定方法。
- 製造物と、
前記製造物の形状に基づいて定められた所定の飛行ルートを飛行する飛行体であって、前記所定の飛行ルートを飛行している間に、前記製造物を撮像する撮像装置を備える飛行体と、
前記撮像装置が撮像した画像に基づいて、前記製造物に対する検査を行う検査装置と、を備え、
前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
前記検査装置は、
前記基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定し、
前記配置位置が前記所定位置からずれていると判定した場合、前記配置位置が前記所定位置と一致するように、前記検査部位撮像用飛行ルートを補正した後の補正済検査部位撮像用飛行ルートを前記飛行体に飛行させ、
前記配置位置が前記所定位置からずれていないと判定した場合、前記検査部位撮像用飛行ルートを前記飛行体に飛行させる、検査システム。 - 製造物を撮像した結果に基づいて前記製造物に対する検査を行うために、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを決定する飛行ルート決定装置であって、
前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かを判定し、
前記配置位置が前記所定位置からずれていると判定された場合、予め登録された、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートを、前記配置位置が前記所定位置と一致するように補正した後の補正済検査部位撮像用飛行ルートを前記所定の飛行ルートとして決定し、
前記配置位置が前記所定位置からずれていないと判定された場合、前記検査部位撮像用飛行ルートを前記所定の飛行ルートとして決定する、飛行ルート決定装置。 - 製造物を撮像した結果に基づいて前記製造物に対する検査を行うために決定された、撮像装置を備えた飛行体を飛行させる、前記製造物の形状に基づいて定められた所定の飛行ルートを含む飛行指示を、前記飛行体に対して行う飛行指示装置であって、
前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートと、前記所定の飛行ルートとして、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートと、が予め登録されており、
前記所定の飛行ルートは、前記製造物の基準部位を撮像するための基準部位撮像用飛行ルートに沿って前記飛行体が飛行している間に前記基準部位を撮像した画像に基づいて、前記製造物の配置位置が所定位置からずれていないか否かに応じて決定され、
前記配置位置が前記所定位置からずれている場合、予め登録された、前記製造物の検査部位を撮像するための検査部位撮像用飛行ルートを、前記配置位置が前記所定位置と一致するように補正した後の補正済検査部位撮像用飛行ルートを前記所定の飛行ルートとして含む飛行指示を、前記飛行体に対して行い、
前記配置位置が前記所定位置からずれていない場合、前記検査部位撮像用飛行ルートを前記所定の飛行ルートとして含む飛行指示を、前記飛行体に対して行う、飛行指示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243634A JP7148389B2 (ja) | 2018-12-26 | 2018-12-26 | 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243634A JP7148389B2 (ja) | 2018-12-26 | 2018-12-26 | 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020106334A JP2020106334A (ja) | 2020-07-09 |
JP7148389B2 true JP7148389B2 (ja) | 2022-10-05 |
Family
ID=71450782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018243634A Active JP7148389B2 (ja) | 2018-12-26 | 2018-12-26 | 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7148389B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3991975B1 (en) | 2019-06-28 | 2023-11-15 | Sato Holdings Kabushiki Kaisha | Printer |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2014513792A (ja) | 2011-04-14 | 2014-06-05 | ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング | 対象物表面の3d座標を決定するための測定システム |
JP2017037008A (ja) | 2015-08-11 | 2017-02-16 | グランツールス株式会社 | 構造物の状態検査方法 |
WO2017073310A1 (ja) | 2015-10-27 | 2017-05-04 | 三菱電機株式会社 | 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体 |
-
2018
- 2018-12-26 JP JP2018243634A patent/JP7148389B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2014513792A (ja) | 2011-04-14 | 2014-06-05 | ヘキサゴン テクノロジー センター ゲゼルシャフト ミット ベシュレンクテル ハフツング | 対象物表面の3d座標を決定するための測定システム |
JP2017037008A (ja) | 2015-08-11 | 2017-02-16 | グランツールス株式会社 | 構造物の状態検査方法 |
WO2017073310A1 (ja) | 2015-10-27 | 2017-05-04 | 三菱電機株式会社 | 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2020106334A (ja) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417754B2 (en) | Inspection system | |
US11185985B2 (en) | Inspecting components using mobile robotic inspection systems | |
JP5922572B2 (ja) | 実用型3dビジョンシステム装置およびその方法 | |
US20150261899A1 (en) | Robot simulation system which simulates takeout process of workpieces | |
JP4827744B2 (ja) | 検査路設定及び検査領域決定方法 | |
US7499812B2 (en) | Method for locating flaws, and a marking system | |
JP4862765B2 (ja) | 表面検査装置及び表面検査方法 | |
JP2019113895A (ja) | ワークを撮像する視覚センサを備える撮像装置 | |
JP2017015396A (ja) | 検査方法、検査装置、処理装置、プログラム及び記録媒体 | |
JP6356032B2 (ja) | ワイヤハーネスの外観検査装置、ワイヤハーネスの外観検査方法及びワイヤハーネスの外観検査プログラム | |
US10704891B2 (en) | Method and apparatus for determining the 3D coordinates of an object | |
JP5438475B2 (ja) | 隙間段差計測装置、隙間段差計測方法、及びそのプログラム | |
JP2011133313A (ja) | センサ位置姿勢計測方法 | |
WO2019131742A1 (ja) | 検査処理装置、検査処理方法、およびプログラム | |
JP7148389B2 (ja) | 検査方法、飛行ルート決定方法、検査システム、飛行ルート決定装置および飛行指示装置 | |
JP6998183B2 (ja) | ロボットシステム及びロボット制御方法 | |
JP7160666B2 (ja) | 検査方法、検査装置および飛行体 | |
US20160018217A1 (en) | Ensuring inspection coverage for manual inspection | |
JP2001246582A (ja) | 作業用ロボット装置 | |
JPH0861930A (ja) | 形状計測装置、検査装置、及び製品の製造方法 | |
CN104296656B (zh) | 一种被测物的测量基准面定位设备与装置及其方法 | |
WO2022003919A1 (ja) | 検査データ作成方法、検査データ作成装置および検査装置 | |
JP7188596B2 (ja) | 航空機検査支援装置および航空機検査支援方法 | |
JP2022017738A (ja) | 画像処理装置 | |
JP2016187851A (ja) | キャリブレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7148389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |