JP3583450B2

JP3583450B2 - ３次元物体の自動検査装置および方法

Info

Publication number: JP3583450B2
Application number: JP24137193A
Authority: JP
Inventors: 康生大築; 澄広上田; 孝夫金丸; 弘文森田; 格木村; 義介渡邊; 淳志大橋; 日出男中村; 一南; 剛人若原; 正利野村; 晴生小柳
Original assignee: Sharp Corp; Kawasaki Jukogyo KK
Current assignee: Sharp Corp; Kawasaki Motors Ltd
Priority date: 1993-09-28
Filing date: 1993-09-28
Publication date: 2004-11-04
Anticipated expiration: 2019-11-04
Also published as: JPH0798217A

Description

【０００１】
【産業上の利用分野】
本発明は、たとえば製造ラインにおける３次元形状をもった検査対象物の外観を自動的に検査するためなどに実施することができる３次元物体の自動検査装置および方法に関する。
【０００２】
【従来の技術】
このような製造ラインにおいて用いられる従来からの検査装置では、人手がかかり、無駄時間が長いという問題がある一部自動化されたものでも、特定対象の検査用であり、多様な状況（多品種、種々の姿勢など）に対応できない。またその検査で検査対象物の欠陥を検出しても、その解析、要因分析、さらにはその結果をもとにした設計の見直しを行うループは特になく、担当技術者の熱意にまかされている。したがって設計上の欠陥が修正されず、またはその修正が遅れることになる。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、状況に応じた多様な検査を自動的に行うことができるようにし、たとえ欠陥が検出されても、その解析などを自動的に行うことができるようにした３次元物体の自動検査装置および方法を提供することである。
【０００４】
【課題を解決するための手段】
本発明は、検査対象物をハンドリングする手段と、
センサ・照明系と、
センサや照明装置の位置姿勢を制御する手段と、
センサ信号を処理する手段と、
対象物の同定・認識を行う第１演算手段と、
対象物のデータを外部と通信する手段と、
データと認識結果から対象に適した計測法や検査法を決定する第２演算手段とを含むことを特徴とする３次元物体の自動検査装置である。
【０００５】
また本発明は、センサ信号処理手段による検査結果から不良部分の要因分析をする第３演算手段と、
該第３演算手段の演算結果を外部の設計手段または製造手段に出力する手段とを含むことを特徴とする。
【０００６】
また本発明は、検査対象物の形状に関するデータを出力する形状データ出力手段と、
検査対象物の３次元の形状、位置、姿勢のいずれか少なくとも１つを計測する手段と、
形状データ出力手段および計測手段の出力に応答して、検査対象物の認識を行い、計測のための検査指令情報を出力し、その検査指令情報によって計測手段は、検査対象物の予め定める部位の計測を行う認識／指令手段と、
形状データ出力手段と計測手段との出力に応答して、検査対象物の欠陥などの検査をする手段とを含むことを特徴とする３次元物体の自動検査装置である。
【０００７】
また本発明は、認識／指令手段は、
検査対象物の検査を行う検査方法と、その検査方法を行う計測手段の検査ツールとを決定して、計測手段を計測動作させることを特徴とする。
【０００８】
また本発明は、検査ツールは、
検査対象物を光学的に検査する光学的検出手段と、
検査対象物に光を照射する光源と、
光学的検査手段および光源を予め定める検査条件となるように動作させる手段とを含むことを特徴とする。
【０００９】
また本発明は、予め登録された検査対象物のデータと初期計測データから、対象物の同定に必要な計測が実現できるように、対象物やセンサ・照明系等の位置姿勢を決定しハンドリング手段に指令を生成する工程と、
登録データと計測データを比較して対象物の同定を行う工程と、
同定された対象物に求められる検査を実現することができるように、対象物やセンサ・照明系等の位置姿勢を決定しハンドリング手段に指令を生成する工程と、
検査結果を外部に出力する工程とを含むことを特徴とする３次元物体の自動検査方法である。
【００１０】
【作用】
本発明に従えば、たとえば従来からの検査のためのセンサ、検査対象物を搬送する手段、検査対象物に光を照射する光源である照明系およびそれを光学的に検出する画像処理系などを備える装置にさらに、検査対象物の設計、その他、検査に関するデータを、通信手段を介して与え、これによってセンサおよび照明系の位置および姿勢などを制御し、検査対象物を同定、認識し、検査対象物の検査法を生成する。こうしてセンサ、照明系および画像処理系などで検査対象物の特徴を抽出し、たとえば通信手段などを通じて入手した設計データなどから検査対象物の同定、認識を行い、同定した検査対象物に対して行うべき計測法および検査法を決定し、センサおよび照明系の位置、姿勢などを制御して検査を行う。
【００１１】
さらに本発明に従えば、検査によって検出された欠陥の要因を推定し、その演算結果を、設計および生産計画を行う部分に通信手段によって出力し、このようにして検査結果から欠陥の要因分析を行い、設計および製造部門へ検討結果を送る。そのため設計の見直しおよび生産の検討を行うことができ、たとえば設計上の欠陥を修正することができるようになる。
【００１２】
【実施例】
（１）本発明の一実施例のシステム全体の構成を述べる。
【００１３】
製品の多様化、短納期化に伴い、ＣＡＤ／ＣＡＭシステムが導入され、設計から製造に至る合理化が図られている。これに伴い、品質向上と生産性向上のため設計、製造から検査加工に至る有機的に結合されたシステムが望まれているが、現状、ＣＡＤ情報の利用は加工のためのＮＣデータの生成や３次元測定機のオフラインティーチングといった決められた手続きに従う動作レベルのプログラム生成に利用されているにすぎない。「製品Ａを検査せよ」とか「製品Ｂを組立てろ」といった作業レベルの指示により、検査対象の形状などのＣＡＤ情報や公差、検査箇所、計測精度といった非形状情報に基づいて、自律的にまた学習的に計測・検査のための動作計画を立案し、柔軟性とタフさを備えたシステムの開発が望まれる。
【００１４】
その解決策として、本件出願人は「アクティブな自動検査システム」を提案し、その早期実現の必要性を述べている。
【００１５】
このアクティブな自動検査システムに求められる機能として次の項目ａ〜ｄが挙げられる。
【００１６】
（ａ）機械加工・組立の製造ラインにおいては、検査の対象が３次元形状をした物体であるため、３次元形状ならびに位置・姿勢の計測、物体の認識が重要である。
【００１７】
（ｂ）特に、３次元形状を対象とした場合、２次元に比べてデータ量が増え、検査の高速化に適した計測方法、検査モデルの生成、計測結果と検査モデルとの比較照合のアルゴリズムが必要となる。
【００１８】
（ｃ）また、３次元という立体を対象とするため複雑な形状や凹凸などの段差のある形状の場合、一方向からの計測だけでは、死角等が存在し対象物体の必要な形状を計測するのは不可能であり、アクティブな計測を行うためにＣＡＤ情報や計測する場の環境情報に基づき、自律的に計測および検査のための動作計画を立案できる検査システムが望まれる。
【００１９】
（ｄ）さらに、現在は検査対象毎に検査のためのプログラミングを要し、多品種少量生産においては、検査プログラムの作成に要する費用が莫大なものとなる。
【００２０】
そのため、検査対象物体と設計データが与えられたら、合目的的、経済的かつ安全な計測・認識および検査のためのプログラムを自律的に生成していく機能と、汎用性、柔軟性を有した３次元物体の計測・認識・検査システムが必要となる。
【００２１】
図１は、本発明の一実施例の具体的な構成を示す斜視図である。製造ラインにおける３次元形状をもった検査対象物１の外観を、自動的に検査する。検査対象物１は自律無人搬送ロボット２によって搬送され、ハンドリングロボット３，４，５などを用いて計測台６に搬入／搬出され、テレビカメラおよびその他の光学的検出手段あるいはその他の検出手段であるセンサ７は、光源である照明手段８によって照射される検査対象物１を検出する。センサ７および照明手段８は、ロボット３だけでなくロボット９，１０，１１などによってその位置および姿勢などが制御される。
【００２２】
図２は、本発明の一実施例のアクティブ検査および計測装置の全体の構成の概略を示すブロック図であり、図３はその実施例のさらに具体的な構成を示すブロック図である。この図３に示される構成のさらに詳細な構成は、図４および図５に示されている。このような図４および図５に示される構成のさらに詳細な説明を、図６以降の図面を参照して詳述する。
【００２３】
図６に示される外観の自動検査システムＡ０は、図７に示される３次元物体の認識および検査部Ａ１と、３次元物体の計測部Ａ２とから構成される。図６のリソースとは、検査を行う際に必要となる物理的な手段であり、たとえば検査具、取付具、搬送装置およびその他検査対象物を除くすべてのものを含む。３次元物体の認識および検査部Ａ１には、図７，８のように３次元物体の計測部Ａ２で計測された３次元情報Ａ２ａやＣＡＤによる設計システムより送られた形状などの検査に関する情報を伴ったプロダクトモデルデータＡ１ａから、検査に必要な検査モデルの生成と複数のモデルの中から特定の３次元物体を認識するための３次元物体の認識部Ａ１２が設けられ、生成された検査モデルから検査の目的に応じてエキスパートシステムなどにより、検査方法を自動的に選定し、検査プログラムを自動的に生成するための検査方法の自動選定・自動プログラミング部Ａ１１、検査モデルと計測データの比較により寸法・形状・欠陥の検査を行うための寸法・形状・欠陥検査部Ａ１３である。
【００２４】
また、３次元物体の計測部Ａ２には、図９のように検査指令データに基づき計測をアクティブに行うためにセンシングデバイス、照明装置、ハンド、ロボット、搬送装置から構成されるアクティブな計測部Ａ２３、計測された３次元点列データより距離・傾き・エッジ・密度画像を生成する３次元情報の獲得部Ａ２１と、獲得されたデータにより３次元形状を生成する３次元物体の計測部Ａ２２である。
【００２５】
次項より、これらの構成要素をさらに詳細に展開し、情報および処理の流れと、必要となる要素技術について述べることとする。
【００２６】
（２）各構成要素の説明
（２−１）検査方法の自動選定・自動プログラミング部Ａ１１
検査方法の自動選定・自動プログラミング部Ａ１１は、図８のように３次元物体の認識部Ａ１２および設計システムから種々の情報を受け、検査作業計画を立案し、検査方法、順序、ツール、条件および経路に関して自動選定・自動プログラミング作業を行い、その結果を図９の３次元物体の計測部Ａ２の中のアクティブな計測部Ａ２３および３次元情報の獲得部Ａ２１に送る。
【００２７】
ただし、センサフュージョンによる情報処理およびアクティブな検査を行うマニピュレータ等の運転プログラムのマイナーな変更は、アクティブな計測部におけるローカル処理として行う。
【００２８】
以上の方針から、検査方法の自動選定・自動プログラミング部Ａ１１には図１０のように、以下の６つの構成要素ａ１〜ａ６を設ける。
【００２９】
（ａ１）検査・特徴抽出作業展開Ａ１１１
（ａ２）検査方法決定Ａ１１２
（ａ３）検査順序決定Ａ１１３
（ａ４）検査ツール決定Ａ１１４
（ａ５）検査条件決定Ａ１１５
（ａ６）検査経路生成Ａ１１６
情報および処理の流れと、必要となる要素技術は次のとおりである。
【００３０】
図１０のように３次元物体の認識部Ａ１２から送られてくる情報は、被検査物の識別情報ＩＤが未確認である場合の特徴抽出要求Ａ１２ａと、ＩＤを確認した後、３次元物体の認識部Ａ１２で作成された検査モデル、位置・姿勢データ、検査精度・部位等Ａ１２ｂである。このような情報Ａ１２ａ，Ａ１２ｂから全体的な検査作業計画を立案するために、検査・特徴抽出作業展開部Ａ１１１を設ける。
【００３１】
検査・特徴抽出作業展開部Ａ１１１では、３次元物体の認識部Ａ１２からの情報が特徴抽出要求Ａ１２ａの場合は、その旨であることを確認し、検査指令データとしてそのまま特徴抽出要求を３次元物体の計測部Ａ２へ送る。
【００３２】
また、３次元物体の認識部Ａ１２からの情報が、抽出された特徴から確認されたＩＤ情報を伴った検査対象物の検査モデル、位置・姿勢データ、検査精度・部位等Ａ１２ｂの場合は、検査作業を行う意図を確認し、送られてきた情報をベースに検査作業計画の立案を行う。ここでは、視覚情報処理のアルゴリズムや制御戦略等の汎用的な知識がすでに与えられており、さらに被検査物や目的等が情報として与えられることにより、全体的な作業計画の概要が決定される。この構成要素では、検査作業計画を行うＡＩ（人工知能）プランナが重要である。
【００３３】
検査・特徴抽出作業展開部Ａ１１１で検査作業計画が立てられると、それをもとに被検査物や目的等の応用に対し、最適な検査方法とその情報処理アルゴリズム、さらにその適用手順を自動的に生成する必要が生じる。そこで、検査方法決定部Ａ１１２、検査順序決定部Ａ１１３および検査ツール決定部Ａ１１４を設けた。
【００３４】
検査方法決定部Ａ１１２では、検査モデルや位置・姿勢データ等の情報から、検査部位の最適な検査方法とその情報処理アルゴリズムが自動選定される。ここでは検査方法データベースより、過去の事例が参照され、検査部位の形状、大きさ、精度等から接触式または非接触式、非接触式の場合は受動型または能動型といった検査方法やその情報処理アルゴリズムが決定される。ここでは過去の事例を用いることが可能で、さらに学習機能を兼ね備えた事例ベース推論を応用している。
【００３５】
検査順序決定部Ａ１１３では、検査モデル等の情報と検査方法決定部Ａ１１２で決定された検査方法を受け、複数の検査部位を検査方法や情報処理アルゴリズムを考慮しながら、どの順序で検査するかを決定する。ここでは検査作業の効率等を考慮して、エキスパートシステムを用いたスケジューリング機能を設けている。
【００３６】
検査ツール決定部Ａ１１４では、検査方法決定部Ａ１１２で決定された検査方法をもとに検査ツールが自動選定される。検査精度等の情報を加味しながら、多眼視（ＣＣＤ（電荷蓄積素子）またはＰＳＤ（光検出素子））、レンジファインダ、タッチプローブ等の検査ツールが選定される。ここでは検査精度・部位等の情報を利用し、検査ツール選定のルールを作成することにより、検査ツールデータベースからルールベース推論を用いた検査ツール選定システムを構築している。
【００３７】
視覚システムの能力を向上させるためには、入力された画像の情報処理能力を向上させるだけでなく、カメラの焦点や絞り、あるいはその位置や方向、さらには照明光の位置、方向明るさ等をシステムが自律的に制御して、能動的に処理しやすい画像を入力することが重要である。このため、カメラや照明系等、画像化についての知識（有効な対象物、目的、機能、効率等）をシステムに与えておき、アクティブな計測部Ａ２３で応用目的に応じた最適な画像が得られるように、検査条件決定部Ａ１１５および検査経路生成部Ａ１１６を設ける。
【００３８】
検査条件決定部Ａ１１５では、検査モデル等の情報と検査順序決定部Ａ１１３で決定された検査順序、検査ツール決定部で決定された検査ツール等の情報からカメラの焦点や絞り、ライティング等の最適な検査条件を決定する。また、照明系がマニピュレータに設置され、アクティブなライティング作業が行われる場合は、その位置や方向を決定し、マニピュレータの経路生成を行う。ここでは、事例ベース推論による検査条件の決定と、マニピュレータの動作計画技術が重要な技術として必要とされると思われる。
【００３９】
検査経路生成部Ａ１１６は、検査モデル等の情報と検査順序決定部Ａ１１３で決定部された検査順序、検査ツール決定部で決定された検査ツールの情報からカメラ等の検査ツールを搭載したマニピュレータの経路生成を行う。この過程には、マニピュレータが検査ツールを搭載したり、被検査物をセッティングしたりする一連の動作計画を含む。ここではマニピュレータの動作計画技術が重要な技術であり、障害物回避等のロボットの動作計画に関する現状の技術を応用している。
【００４０】
このようにして決定された各情報は、検査指令データＡ１１ｂとしてまとめられ、３次元物体の計測部Ａ２の構成要素であるアクティブな計測部Ａ２３および３次元情報の獲得部Ａ２１に送られることになる。
【００４１】
（２−２）３次元物体の認識技術部Ａ１２
被検査物は検査システムの入口で、まず認識のステージを通過することになる。認識部Ａ１２は、被検査物が入荷されたという信号を受けると、検査方法の自動選定・自動プログラミング部Ａ１１へ特徴抽出要求を発し、計測部Ａ２２から被検査物の特徴量データ（計測データ）を受けて、これに基づいて認識を行う。認識後、認識結果である被検査物の種類と位置・姿勢を、検査情報を含んだ検査モデルとともに、検査方法の自動選定・自動プログラミング部Ａ１１や寸法・形状・欠陥検査部Ａ１３へ渡す。認識された被検査物は搬送系によって検査ステージへと送られる。
【００４２】
３次元形状認識の基本的な考え方は、シーンの３次元画像から得られた被検査物の記述と予め用意しておいた被検査物の認識モデルの記述を照合することにより、被検査物の種類、および３次元的な位置・姿勢を求めることである。したがって、３次元形状認識は、図１１のように、予め認識のための被検査物の認識モデルを作成する認識・検査モデル作成部Ａ１２２と、計測データが入ってきた時点で認識モデルとシーンの記述を照合させて認識を行う３次元物体の認識部Ａ１２３から構成される。
【００４３】
ところで、認識・検査モデル作成部Ａ１２２において、認識モデルは被検査物の３次元形状モデルに基づいて作成される場合が多い。被検査物が製品または製品の一部という位置付けからすると、３次元形状モデルは、ＣＡＤモデルまたはプロダクトモデルの形状データとして設計工程などの上流から与えられる場合が想定されるが、ＣＡＤモデルがない場合には、被検査物自体やクレイモデルの表面を直接センシングし、得られた３次元座標データから３次元形状モデルを作成する処理を行う３次元形状モデル作成部Ａ１２１が要求される。３次元形状モデル作成部Ａ１２１では、被計測物が計測台にセットされたという信号を受けると、検査方法の自動選定・自動プログラミング部Ａ１１へセンシング指令を発し、計測部Ａ２２から被計測物表面の３次元座標データ（ｘ，ｙ，ｚ）を受け、これを処理して被検査物の３次元形状モデルを作成する。
【００４４】
（２−３）寸法・形状・欠陥検査Ａ１３
図１２は、５０種類程度の、既知の３次元被検査物を認識した後の検査モデルデータに基づいて、寸法・形状・欠陥検査および仕分け・分類の検査を行うシステムの参照モデルを示している。
【００４５】
検査モデルに含まれる情報としては、被検査物のＩＤ、ならびに検査項目・検査部位等の検査指令系統の情報および、寸法や公差・検査精度といった検査に要求される基本情報、さらに被検査物の状態を表す形状・位置・姿勢等の情報が備わっているものとする。
【００４６】
この検査モデル中の検査項目の情報により、図中、検査項目の選択部Ａ１３１で検査項目の選択処理を行い、その選択結果を、寸法・形状の検査部Ａ１３２、または外観の欠陥検査部Ａ１３３、または仕分け・分類の検査部Ａ１３４に対して、検査実行指示として指令を与える。
【００４７】
これらの各検査は、ある場合は単独で、また検査項目が複数の場合は、検査処理の順序を含めた検査実行指示として、検査項目の選択部Ａ１３１から指令され、順次検査が行われる。
【００４８】
検査実行指示を受けた各検査の実行工程（Ａ１３２−Ａ１３４）では、検査モデル中の位置・姿勢情報と被検査物の確認ＩＤ情報ならびに、被検査物の認識が終わった後のさらに詳細な、３次元情報に含まれる座標基準値等のデータに基づいて、検査のための、ローカルな座標系の設定を行う。
【００４９】
上記座標系の設定処理で得られた座標値と、検査モデル中の検査部位・検査精度情報、ならびに３次元情報中の詳細計測データの組合わせにより、検査対象部分の抽出を実行する。
【００５０】
検査対象部分の箇所の座標値と検査精度が決定されると、実際の検査の判定が行われる。これは、検査モデルに含まれる寸法・形状あるいは公差と、検査評価用のデータベースに蓄えられている、判定方法・判定基準データにより実行される。この場合データベースは、判定の結果も過去の検査結果として記憶され、常に最新の検査に対して判定基準値としてフィードバックがかけられる仕組みとなっている。
【００５１】
検査の結果は、計測の画像生データや、数値化・グラフ化等に加工されたデータとともに、検査情報として、表示・印字され、同時に必要に応じて上流の工程に対して送出される。
【００５２】
（２−４）３次元物体の計測Ａ２２
３次元情報の獲得部Ａ２１にて得られた様々な３次元情報を入力し、計測処理した結果を３次元物体の認識部Ａ１２へ出力する。入力データの内容によっては、簡易的な認識処理まで行い、寸法・形状・欠陥検査部Ａ１３へ出力する。
【００５３】
図１３のように、データの判別部Ａ２２５は、入力されたデータを判別し、その後の処理方法の選択に必要なデータ種類ＩＤを設定する。データは、画像データを基本とするが、寸法データ等も対象とする。
【００５４】
画像データの種類は、たとえば
（ｂ１）距離画像
（ｂ２）高さ画像
（ｂ３）傾き画像
（ｂ４）濃淡画像
（ｂ５）カラー画像
である。
【００５５】
処理の選択部Ａ２２４は、入力データの判別結果に従い、その後の計測処理プロセス選択に必要な処理ＩＤを設定する。入力が単眼画像（ＴＶカメラ１台を用いる構成）の場合、不足している３次元情報を付加する処理プロセスを行うものとする。複眼画像（カメラを複数台用いる構成）の場合、そのまま３次元情報を抽出する処理プロセスを行う。
【００５６】
画像分割部Ａ２２３は、選択された処理プロセスＩＤに従い、最適な画像分割方法を選択し、処理を行う。
【００５７】
画像分割方法は、たとえば
（ｃ１）２値化処理方法
（ｃ２）エッジ検出法
（ｃ３）領域法
である。
【００５８】
画像分割処理を行う必要がないデータについてはそのまま通過させる。
【００５９】
選択した処理により、結果が得られなかった場合、他の処理方法を選択して、自動的にリトライさせる。
【００６０】
リトライした履歴データを付加し、次プロセスへ出力する。
【００６１】
特徴抽出部Ａ２２２は、選択された処理プロセスＩＤに従い、最適な特徴抽出方法と選択し、処理を行う。
【００６２】
特徴抽出は、たとえば以下の方法による。
【００６３】
（ｄ１）大局的特徴抽出
（ｄ２）輪郭に着目した特徴
（ｄ３）位置関係の抽出
特徴抽出処理を行う必要がないデータについては、そのまま通過させる。また、選択した処理により、結果が得られなかった場合、他の処理方法と選択し自動的にリトライさせる。
【００６４】
リトライした履歴データを付加し、次プロセスへ出力する。
【００６５】
データの出力部Ａ２２１は、処理した結果を、内容に応じて出力する。本プロセスで得た計測データを、３次元物体の認識処理を行う場合は、３次元物体の認識部Ａ１２３へ出力する。本プロセスで得た計測データを、そのまま検査をして活用できる場合は寸法・形状・欠陥検査部Ａ１３へ出力する。本プロセスの過程において、うまくデータが得られなかったケースについてデータベースへ入力し、ノウハウとして蓄積を図る。
【００６６】
（２−５）３次元情報の獲得部Ａ２１
このブロックでは、アクティブな計測部Ａ２３で得られたセンシングデータに処理を施し、３次元データに合成して３次元物体の計測部Ａ２２に転送する役割を果す。以下に図１４を参照してモデル展開図を説明する。
【００６７】
センシングデータには視覚センサからの情報とそれ以外のものがあり、センシングデータ分類部Ａ２１２で分類される。視覚センサからの情報は通常、センシングデータによる距離データ生成部Ａ２１４に入力されるが、獲得手法により１）単眼視の濃淡画像、２）三角測量法に基づくものや距離センサからの情報のようにすでに距離情報の形に変換されているデータの２種類がある。１）については２値化およびパターンマッチング（対応点決定）等により距離データに加工する。単眼視画像は距離生成において何らかの仮定、つまりシーン知識が必要であり、それはこの部分に予め用意されている。なお本ブロックにおける情報のみで３次元データを構築できない場合、画像前処理等の部Ａ２１３で前処理のみを行う場合もある。
【００６８】
視覚センサ以外の情報は３）光学系の動作や製品の搬送などの動画像を構成する要素として距離データ生成に必要なものであり、相対位置・運動による距離データ生成部Ａ２１５に入力される。検査方法展開部Ａ２１１では、上位からの検査指令情報▲３▼から検査方法を抽出、光学系の位置関係や視野、投影パターンなどの固定パラメータを、相対位置・運動による距離データ生成部Ａ２１５に送る。ここで前述の３）とともに視覚情報以外で距離データ生成を行う。
【００６９】
相対位置・運動による距離データ生成部Ａ２１５、およびセンシングデータによる距離データ生成部Ａ２１４で生成される距離データは、いずれかが１次元座標データであれば、もう一方は２次元座標データというように互いを補い合って、最終的に、３次元データ生成部Ａ２１６において３次元データを生成し、３次元物体の計測部Ａ２２に送られる。
【００７０】
（２−６）アクティブな計測部Ａ２３
図１５にアクティブな計測のモデル展開図を示す。上位より検査指令情報を受取りセンシングデータと走査情報、照明情報等を出力する５つのサブモジュールから構成される。
【００７１】
上位より入力された検査指令情報は、センシング作業展開部Ａ２３１で解釈され、被検査物の搬送を制御する搬送制御部Ａ２３５と、被検査物およびセンサ・照明系の位置・経路等を制御する被検査物取出し／検査経路制御部Ａ２３４へ制御情報として転送される。センシングに必要とされる照明装置やセンサの種類・数とセンシング系固有のパラメータ等も同時に、照明装置選択部Ａ２３３と、センサ選択部Ａ２３２へ出力される。センサ選択部Ａ２３２〜搬送制御部Ａ２３５は、それぞれ指示された情報に従って所定の作業を行いセンシングデータと各部状態情報を上位へ返す。センシングデバイスとしては、ＣＣＤ、ＰＳＤ等の画像センサや距離センサだけでなく、電気信号、質量等の物理量を計測するセンサについても補助的に用いられる。
【００７２】
被検査物は、搬送制御部Ａ２３５によって制御されるＡＧＶ（ＡｕｔｏｍａｔｉｃＧｕｉｄｅｄＶｅｈｉｃｌｅ、電磁波および光などによって案内走行する移動体をいう）、コンベア等によって検査ステーションヘローディングされ所定の治具あるいは計測台等へセッティングされる。被検査物が未知の場合、ロボットハンドとセンシング系により探索的計測が行われる。このデータにより上位システムが対象の認識を行った後、再度詳細な検査・計測が行われる。計測完了後、被検査物は再び、搬送制御部Ａ２３５の制御により次工程へ搬送される。
【００７３】
ロボットハンド等のアクチュエータもアクティブな計測を行うためのセンシングシステムの一部を構成する。したがって、実際に検査を行うセンシング部はセンサ群、照明装置群、ロボットハンドの３つのモジュールより構成される。
【００７４】
このような実施例において検査対象物の検査対象の種類と、その検査項目を、一例として表１に示す。
【００７５】
【表１】

【００７６】
【発明の効果】
以上のように本発明によれば、検査対象物の検査を、自動的に、効率よく、しかも必要十分に、行うことができるようになり、これによって人手が省かれ、無駄時間がなくなる。
【００７７】
さらに本発明によれば、検査対象物の検査結果から、自動的に、製品の設計および製造上の修正情報を得ることができ、これによって設計の見直しなどを行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施例の全体の構成を示す斜視図である。
【図２】本発明の一実施例のアクティブ検査・計測装置の全体の構成を示すブロック図である。
【図３】本発明の一実施例の全体の構成の概略を示すブロック図である。
【図４】図３に示される実施例の構成の一部分をさらに詳細に示すブロック図である。
【図５】図３に示される実施例の構成の他の部分をさらに詳細に示すブロック図である。
【図６】本発明の一実施例の自動検査システムの全体の構成を示すブロック図である。
【図７】その実施例の全体の構成を展開して示すブロック図である。
【図８】３次元の検査対象物の認識および検査部Ａ１の展開したブロック図である。
【図９】３次元の検査対象物の計測部Ａ２の展開した構成を示すブロック図である。
【図１０】検査方法の自動選定・自動プログラミング部Ａ１１の展開した構成を示すブロック図である。
【図１１】３次元の検査対象物の認識技術部Ａ１２の展開した構成を示すブロック図である。
【図１２】検査対象物の寸法・形状・欠陥の検査部Ａ１３の展開した構成を示すブロック図である。
【図１３】３次元の検査対象物の計測部Ａ２２の構成を示すブロック図である。
【図１４】３次元の検査対象物の情報獲得部Ａ２１の構成の展開したブロック図である。
【図１５】アクティブ計測部Ａ２３の構成の展開したブロック図である。
【符号の説明】
１検査対象物
２自律無人搬送ロボット
３，４，５ハンドリングロボット
６計測台
８照明装置
９，１０，１１ロボット
Ａ０外観の自動検査システム
Ａ１３次元の検査対象物の認識および検査部
Ａ２３次元の検査対象物の計測部
Ａ１１検査方法の自動選定自動プログラミング部
Ａ１２３次元検査対象物の認識部
Ａ１３寸法・形状・欠陥検査部
Ａ２１３次元情報の獲得部
Ａ２２３次元物体の計測部
Ａ２３アクティブな計測部

Claims

検査対象物をハンドリングする手段と、
センサ・照明系と、
センサや照明装置の位置姿勢を制御する手段と、
センサ信号を処理する手段と、
対象物の同定・認識を行う第１演算手段と、
対象物のデータを外部と通信する手段と、
データと認識結果から対象に適した計測法や検査法を決定する第２演算手段とを含むことを特徴とする３次元物体の自動検査装置。
センサ信号処理手段による検査結果から不良部分の要因分析をする第３演算手段と、
該第３演算手段の演算結果を外部の設計手段または製造手段に出力する手段とを含むことを特徴とする請求項１記載の３次元物体の自動検査装置。
検査対象物の形状に関するデータを出力する形状データ出力手段と、
検査対象物の３次元の形状、位置、姿勢のいずれか少なくとも１つを計測する手段と、
形状データ出力手段および計測手段の出力に応答して、検査対象物の認識を行い、計測のための検査指令情報を出力し、その検査指令情報によって計測手段は、検査対象物の予め定める部位の計測を行う認識／指令手段と、
形状データ出力手段と計測手段との出力に応答して、検査対象物の欠陥などの検査をする手段とを含むことを特徴とする３次元物体の自動検査装置。
認識／指令手段は、
検査対象物の検査を行う検査方法と、その検査方法を行う計測手段の検査ツールとを決定して、計測手段を計測動作させることを特徴とする請求項３記載の３次元物体の自動検査装置。
検査ツールは、
検査対象物を光学的に検査する光学的検出手段と、
検査対象物に光を照射する光源と、
光学的検査手段および光源を予め定める検査条件となるように動作させる手段とを含むことを特徴とする請求項４記載の３次元物体の自動検査装置。
予め登録された検査対象物のデータと初期計測データから、対象物の同定に必要な計測が実現できるように、対象物やセンサ・照明系等の位置姿勢を決定しハンドリング手段に指令を生成する工程と、
登録データと計測データを比較して対象物の同定を行う工程と、
同定された対象物に求められる検査を実現することができるように、対象物やセンサ・照明系等の位置姿勢を決定しハンドリング手段に指令を生成する工程と、
検査結果を外部に出力する工程とを含むことを特徴とする３次元物体の自動検査方法。