JP6733244B2 - 外観検査システム - Google Patents

Description

本発明は、外観検査システムに関し、特に大型かつ複雑な形状を有する航空機エンジンの外観検査を行う外観検査システムに適用して好適なものである。

航空機やロケットのエンジンは、数多くの部品から構成されており、限られたスペースに効率的にかつ安全性を考慮して部品が組み込まれるように設計されているため、１つのボルト締めトルクに至るまで設計通りに組み立てられなければならない。製品の外観検査は、異部品の誤組み付け、組み付け方向間違い、部品の組み付け忘れ等について検査員が目視により検査するものであるが、航空機のエンジンように部品点数が多くかつ複雑な製品においては、製品の動作検査の前の早期に不具合を発見できる検査として、特に重要なものとなっている。

特許文献１には、検査対象となる立体物を撮影するカメラと、カメラを立体物に対して３次元かつ任意の姿勢に移動させて保持させるロボットと、カメラにより撮影された画像データを画像処理する画像処理装置とからなる外観検査装置が開示されている。

また特許文献２は、所定の検査位置に搬入されてくるエンジンの複数外面を検査位置の外周囲に配置した複数のカメラにより多面撮影する装置を開示している。

また特許文献３は、検査対象をコンベヤに乗せて移動させつつ、検査対象物の周りの周方向経路上を移動する１つ又は複数のフェイズドアレイ回転検査ヘッドを使用するシステムを開示している。

実開平３−１１３１０９号公報 特開平９−１９６６３４号公報 特開２０１１−２３７４２１号公報

上述のように航空機等のエンジンは、部品点数が膨大であると共に、入り組んだ複雑な外観であり、検査員が検査すべき事項の全てを見落とさずに検査することは、たとえ熟練者であっても非常に困難であり、また多くの時間を要していた。また、近年の多品種化に伴い、検査員は、種類の異なるエンジンを検査する際には、異なる検査項目や異なる取り付け方についても把握する必要があり、検査員の負担は増加傾向にある。更に納期短縮に伴う検査時間の短縮化も要求されている。

本開示は以上の点を考慮してなされたもので、高精度かつ短時間に被検査物の外観検査を行う外観検査システムを提供しようとするものである。

かかる課題を解決するために、本開示の外観検査システムは、被検査物の周囲に配置される周囲フレームと、前記周囲フレームに取り付けられ、前記周囲フレームに沿って移動し、前記被検査物を撮影するカメラを有する撮影ヘッドと、前記撮影ヘッドの移動を制御すると共に、前記カメラの撮影を制御する撮影制御部と、前記カメラにより撮影された画像に基づいて前記被検査物の部品の取り付け状態について判定する画像判定部とを備える。

本発明によれば、高精度かつ短時間に被検査物の外観検査を行うことができる。

航空機エンジン設置前の撮影部の全体構成図である。 航空機エンジン設置後の撮影部の全体構成図である。 外観検査システムの全体構成図である。 検査対象部品及び検査項目の概要図である。 マスタ情報登録処理のフローチャートである。 検出部品候補の検出処理のフローチャートである。 マスタ画像の例について示す図である。 ワイヤの伸長方向及び捩られた素線の方向について示す図である。 外観検査処理のフローチャートである。 外観検査処理の実行により得られるボルト検査結果画面である。 外観検査処理の実行により得られるクランプ検査結果画面である。 外観検査処理の実行により得られるブラケット検査結果画面である。 他の実施の形態におけるボルトのネジ山の計測結果である。

以下図面について、本発明の一実施の形態を詳述する。なお、本実施の形態においては航空機エンジンを被検査物とした検査の例を示しているが、航空機エンジン以外のものを検査の被検査物とすることとしてもよい。

（１）撮影部の構成
図１は、航空機エンジン設置前の外観検査システム１（図３参照）の撮影部１０の全体構成を示す。撮影部１０は、航空機エンジンの外観を撮影するための構造物であり、円形フレーム１１、側フレーム１２、スライド保持部１３、撮影ヘッド１４及び支柱把持部１５等を備える。

円形フレーム１１は、航空機エンジンの周囲に設置される円形状のフレームである。円形フレーム１１の直径は、円形フレーム１１が航空機エンジンの外面と接触しない程度に大きい。側フレーム１２は、航空機エンジンの両側に延在して設置される２組の直線状のフレームである。なお側フレーム１２の延在方向は軸方向Ｘである。なお、本実施の形態においては、円形フレーム１１は円形で被検査物である航空機エンジンの周囲を３６０度囲う形状としたが、航空機エンジンの半分を覆う半円状のフレームであってもよいし、円弧でなく楕円弧等の曲線であってもよいし、航空機エンジンの少なくとも一部の周囲を覆う周囲フレームであればよい。

スライド保持部１３は、円形フレーム１１を保持しつつ、側フレーム１２に沿って移動可能に接続される部材である。スライド保持部１３を側フレーム１２の延在方向（軸方向Ｘ）にスライドさせると、スライド保持部１３に保持されている円形フレーム１１を軸方向Ｘに水平移動させることができる。

撮影ヘッド１４は、円形フレーム１１上を移動して、航空機エンジンの外観を撮影する部材である。撮影ヘッド１４は、円形フレーム１１上を走行方向θに走行する走行台を備え、また走行台上には雲台（撮影角度調整部）を備え、雲台上にはカメラ及びリング照明等を備える。

カメラのレンズの向きは、初期方向として走行方向θに対してエンジンを視野の中心にとらえることができる垂直方向Ｚに向けられているが、雲台により撮影方向を撮影方向Ｚａ又はＺｂのように任意の向きに変えることができる。撮影方向を任意の向きに変えることにより、航空機エンジンに取り付けられた部品を直上や斜めから撮影することができる。

支柱把持部１５は、側フレーム１２に設置され、航空機エンジンを保持するための支柱１６（図２）を把持する部材である。支柱把持部１５が支柱１６の所定の個所を把持することにより、側フレーム１２が床面から所定の高さで保持され、また円形フレーム１１が航空機エンジンの周囲を囲むことのできる適切な位置に保持される。

図２は、航空機エンジン設置後の撮影部１０の全体構成を示す。上記の通り、航空機エンジンＥの周囲には円形フレーム１１が設置されており、また航空機エンジンＥの両側には側フレーム１２が軸方向Ｘに延在して設置されている。ここで、側フレーム１２は、航空機エンジンＥのＸ方向の長さよりも大きく、撮影ヘッドは雲台により角度を変化させることにより、航空機エンジンＥのＸ方向の端部（及び端面）を撮影することができ、後述する画像判定部はこの画像に基づいた検査も行うこととしてもよい。

ここで航空機エンジンＥの撮影手順について説明する。なお、この手順は後述する撮影制御部２０により制御されて行われる。撮影手順において、まず円形フレーム１１を軸方向Ｘのある位置で停止させて固定させた後、この状態で撮影ヘッド１４を円形フレーム１１上で移動させながらカメラにより等間隔に撮影する。撮影ヘッド１４が航空機エンジンＥを１周すると、撮影領域Ｒ１を得ることができる。次いでスライド保持部１３を軸方向Ｘに所定距離だけ移動させることにより、円形フレーム１１を同方向に移動させる。

そして円形フレーム１１を停止させて固定させた状態で、再び撮影ヘッド１４を円形フレーム１１上で移動させながらカメラにより等間隔に撮影する。撮影ヘッド１４が航空機エンジンＥを１周すると、撮影領域Ｒ２を得ることができる。これを繰り返すことにより、航空機エンジンＥの全長に渡って全周囲の外観を撮影することができる。

なおここでは撮影ヘッド１４に１台のカメラを設置しているが、これに限らず、例えば複数のカメラを設置するとしてもよい。また複数の撮影ヘッド１４（或いはカメラ単体）を円形フレーム１１上に設置するとしてもよい。更には、ある位置で停止させることなく動きながらの撮影でもよい。この場合、撮影時間を短縮することができる。

この撮影部１０によれば、スライド保持部１３の軸方向Ｘの移動距離、撮影ヘッド１４の走行方向θの移動距離及びカメラのレンズの向き（雲台の角度）の組み合わせを一の視点として予め登録しておくことにより、例えば２つの異なる航空機エンジンを比較しようとする場合に同一視点の画像を容易に撮影することができる。

（２）外観検査システムの構成
図３は、外観検査システム１の全体構成を示す。外観検査システム１は、図１及び図２で説明してきた撮影部１０を備える他、画像判定部３０を備える。また撮影部１０は、上記説明してきた部材の他に撮影制御部２０を備える。

撮影制御部２０は、プロセッサ２１及びメモリ２２等を備えるコンピュータである。プロセッサ２１は、メモリ２２に格納されているプログラムと協働して、スライド保持部１３及び撮影ヘッド１４の動作を制御する。具体的にはスライド保持部１３を軸方向Ｘに移動させ、撮影ヘッド１４を円形フレーム１１上で走行方向θに移動させる。撮影ヘッド１４が備える雲台、カメラ及びリング照明の動作を制御する。具体的にはカメラの撮影動作、雲台の角度変更の動作、リング照明のＯＮ又はＯＦＦの切替え動作を制御する。なお、撮影制御部２０は、更に、照明の明るさを制御する。

画像判定部３０は、プロセッサ３１及びメモリ３２等を備えるコンピュータである。画像判定部３０は、撮影制御部２０からスライド保持部１３の位置、撮影ヘッド１４の位置、撮影方向、照明の種類及び明るさ等の情報を撮影された画像に関連付けて保存することとしてもよい。

なお撮影制御部２０及び画像判定部３０は、プロセッサ及びメモリ以外にも一般的なコンピュータが備える部材を備える。例えば画像判定部３０は、撮影ヘッド１４のカメラにより撮影された画像を入力する入力部、入力した画像を表示する表示部、ユーザからの指示を受け付けるマウスやキーボード等を備える。

またここでは撮影制御部２０がスライド保持部１３及び撮影ヘッド１４の移動に関する動作、及び撮影ヘッド１４の撮影に関する動作を制御するとしたが、これに限らず、例えば画像判定部３０が撮影ヘッド１４の撮影に関する動作を制御し、画像を入力して画像処理する装置としてもよい。

また撮影部１０は、カメラにより十分明るい画像が撮影されるように、撮影制御部２０を除いて照明が設備されている部屋に設置されることが望ましい。照明のＯＮ又はＯＦＦの切り替えは、撮影制御部２０が撮影動作に応じて制御するとしてもよい。この場合には、照明装置を特定する情報、及び照明装置の制御情報を後述するマスタ画像に関連付けて登録しておくことができる。

（３）検査対象部品
図４は、検査対象部品及び検査項目の例を示す表である。航空機エンジンＥには複数の部品が取り付けられており、外観検査において撮影されるすべての部品について検査を行うことができる。具体的には、ボルト・ナット、ワイヤ、ワイヤーハーネス、パイプ、クランプ及びブラケット等その他の部品について検査を行うことができる。

検査項目は、部品の種類ごとに異ならせることができる。例えば部品の種類がボルト・ナットである場合、位置、サイズ、向き、突出長及びワッシャーの有無等を検査項目とすることができる。またワイヤの場合、位置及びボルトに対する巻く向きを検査項目とすることができる。他の検査対象部品についてもそれぞれ個別の検査項目が予め定めることができる。

（４）マスタ情報登録処理
図５は、マスタ情報登録処理の処理手順を示す。このマスタ情報登録処理は、画像判定部３０により行われ、検査対象の航空機エンジンＥと仕様が同一の航空機エンジンの外観を撮影部１０により撮影し、得られた画像をマスタ画像として予め登録しておく処理である。

なお検査対象の航空機エンジンＥと仕様が同一の航空機エンジンとは、年式や型式が同一であるため形状が同一であり、かつ、ＳＢ（サービスブリテン）が同一である航空機エンジンのことをいう。サービスブリテンとは、安全性の回復や故障の低減等を目的として行われる改造をいう。なお、検査対象の製品によっては、マスタ画像に係る製品とは一部分において異なる仕様であることにより、当該一部分以外の部分において本検査を適用するものとしてもよい。

例えば、オーバーホールのために出荷先から受け入れた航空機エンジンＥを一度分解し、部品を洗浄、修理又は交換した後に再度組み立て直した航空機エンジンＥを検査対象とする場合、このマスタ情報登録処理においては受入時（分解前）の航空機エンジンＥを撮影し、得られた画像をマスタ画像として登録しておくこととしてもよい。

ここで得られたマスタ画像は、後に検査対象の航空機エンジンＥの外観を撮影して得られた画像（検査対象画像）と比較する際の基準とされる。このマスタ情報登録処理は、画像判定部３０のプロセッサ３１とメモリ３２に格納されているプログラムとの協働により実行される。

まず画像判定部３０は、撮影ヘッド１４のカメラによりある視点で撮影された航空機エンジンＥの画像をマスタ画像として入力する（ＳＰ１）。この際に、例えばスライド保持部の位置、撮影ヘッドの位置、撮影方向、照明の種類及び明るさ等の撮影条件をマスタ画像と関連付けて保存することとしてもよい。

次いで画像判定部３０は、ステップＳＰ１で入力したマスタ画像を表示画面に表示し、ユーザのキーボード操作又はマウス操作により検出部品が選択されると（ＳＰ２）、選択された検出部品の候補をマスタ画像上から検出する検出処理を実行する（ＳＰ３）。

例えばステップＳＰ１で入力したマスタ画像上にボルトが含まれており、ステップＳＰ２でユーザのキーボード操作又はマウス操作によりプルダウンメニュー上のボルトが選択された場合、当該マスタ画像から又は予め保存されたテンプレート画像群等からボルトのテンプレート画像を選択し、ステップＳＰ３ではマスタ画像上からボルトの候補を検出する処理が実行される。

ステップＳＰ３の検出部品候補検出処理において画像判定部３０は、ステップＳＰ２で検出対象として選択された検出部品の種類に応じた特徴量を抽出する画像処理を実行し、マスタ画像上から選択された検出部品の画像と特徴量が近い他の画像を精度良く検出するようにしている。画像判定部３０は、ユーザが正誤判定できるように検出した検出部品を表示画面に識別表示する。

画像判定部３０は、ステップＳＰ３でマスタ画像上から検出部品の候補を検出した後、再検出の必要があるか否かを判断する（ＳＰ４）。例えば、検出部品の検出精度が悪い場合に、ユーザにより検出部品の検出に用いるパラメータが調整され、或いは、新しく検出部品のテンプレート画像が、当該マスタ画像から又は予め保存されたテンプレート画像群等から指定されて、基準となる特徴量が再度抽出された場合には、画像判定部３０は再検出の必要があると判断する。

画像判定部３０は、例えばユーザによりパラメータが調整されて再検出が指示された等により、ステップＳＰ４の判断で肯定結果を得ると、調整された後のパラメータを用いてステップＳＰ３の検出部品候補検出処理を再度実行する。ここで、部品の画像に特徴量が近い他の画像を検出した場合において、検出した画像を更に検査対象とする部品として登録するかどうかを判断させる画面を出力することとしてもよい。

これに対しステップＳＰ４の判断で否定結果を得ると、画像判定部３０は、ステップＳＰ３の検出処理の際に用いた検出パラメータ、テンプレート画像、検出の際に算出された特徴量等の関連情報を、撮影条件と共にマスタ画像に関連付けて、マスタ画像及び関連情報をマスタ情報としてメモリ３２に格納して登録する（ＳＰ５）。この際に検出部品のマスタ画像上の位置についてもマスタ画像に関連付けて保存することができる。

なお検出の際に算出される特徴量には、例えば検出部品の輝度、エッジ、ヒストグラム、位置、大きさ、向き及び形状等を示す情報が含まれる。

次いで画像判定部３０は、ステップＳＰ１で入力したマスタ画像上から他にも検出すべき部品があるか否かを判断する（ＳＰ６）。例えばステップＳＰ２で検出すべき部品としてボルトの他にもワイヤが選択されていた場合、画像判定部３０は、ワイヤについて上記の処理（ＳＰ３〜ＳＰ５）を繰り返す。

これに対しステップＳＰ１で入力したマスタ画像上から他に検出すべき部品がない場合、画像判定部３０は、入力すべき他のマスタ画像があるか否かを判断する（ＳＰ７）。ステップＳＰ７で肯定結果を得ると、画像判定部３０は、他のマスタ画像を入力し、入力した他のマスタ画像について上記の処理を繰り返す（ＳＰ１〜ＳＰ６）。

これに対しステップＳＰ７で否定結果を得ると、画像判定部３０は、全てのマスタ画像上から検出すべき部品を検出し、かつ、全てのマスタ画像について関連情報を、撮影条件と共に関連付けてマスタ情報として登録したものと判断して、本処理を終了する。

（５）検出部品候補の検出処理
ここでは図５のステップＳＰ３の検出部品候補の検出処理の詳細について、図６を参照して説明する。なお上記の通り、ステップＳＰ３の検出処理では、ステップＳＰ２で検出対象として選択された部品の種類（部品の形状及び色等）に応じて異なる画像処理を実行し、マスタ画像上から検出対象の部品を精度良く検出するようにしている。

図６は、検出部品候補の検出処理の例について示すフローチャートである。画像判定部３０は、まず、マスタ画像から例えば微分画像等の特徴量抽出画像を作成する（ＳＰ１１）。

そして画像判定部３０は、微分画像から一の検出部品候補をテンプレートとして選択し（ＳＰ１２）、テンプレートマッチングによりテンプレートに一致する検出部品候補を検出する（ＳＰ１３）。つまり、画像判定部３０は、マスタ画像に関連付けて、検出部品の種類、検出部品の画像及び画像変換処理の種類を登録し、画像判定部３０は、撮影された画像に対して、部品の画像と特徴量が近い画像を探索して、検出部品候補を検出する。画像判定部３０はステップＳＰ１３で検出部品候補を検出した後、ユーザが正誤判定できるように、検出した検出部品候補をテンプレートとの相関値（一致度）とともに表示画面に識別表示する。微分画像への変換のほか、検出部品に合わせて、ＳＵＲＦ等の画像処理を適宜用いて特徴量を抽出し、テンプレートマッチング等により検出部品の候補を抽出することができる。ここでテンプレートは、マスタ画像中の画像を用いることとしたが、予め保存されたテンプレート画像を用いることとしてもよい。

図７は、マスタ画像２００の例について示す図である。この図に示されるように、マスタ画像２００には、検出部品として、クランプ、ワイヤーハーネス、ボルト、配管、ブラケット及びボルト間に跨って取り付けられたワイヤが撮影されている。これらの検出部品はそれぞれ部品毎の特徴量抽出画像からテンプレートマッチングを行い抽出される。以下、検出部品候補画像の抽出の例について、図７のマスタ画像２００を用いて具体的に説明する。

クランプ候補画像２０２では、例えばクランプが赤色等で他の部品と色が異なるため、赤色を抽出する画像処理によりクランプの位置を検出し、形状の特徴量を抽出したテンプレート画像とのマッチングによりクランプの向きを検出することができる。ワイヤーハーネス候補画像２０４は、例えばクランプ間における、白い長方形を検出しこれらが長手方向に連続しているものと判断して、這い回し経路を検出することができる。ボルト候補画像２０６は、上述したように大きさと形状を特徴量としてマッチングにより位置を検出することができる。配管候補画像２０８は、配管が長物であるため、配管の一部を切り取った画像の特徴量抽出画像であるテンプレート画像とのマッチングを行い、複数の配管候補画像２０８の組み合わせによりの這い回し経路を検出することができる。ブラケット候補画像２１０は、ブラケットの形状に特徴があるため、形状の特徴量を抽出したテンプレート画像とのマッチングにより検出することができる。

また、ボルト間に跨って取り付けられたワイヤのワイヤ候補画像２１２は、ワイヤの形状の特徴量を抽出したテンプレート画像とのマッチングにより、その位置を検出し、更に図８に示されるようにワイヤの伸長方向２３１に対する捩られた素線の方向２３２を特徴量として抽出する画像処理を行うことにより、更にワイヤの捩りの向きについて検出することができ、検査項目とすることができる。

適切に検出された検出部品を含む検出部品の候補画像のそれぞれの特徴量が関連情報としてマスタ画像に関連付けられ、マスタ情報として登録される。

（６）外観検査処理
図９は、画像判定部３０により行われる外観検査処理の処理手順を示す。外観検査処理は、検査対象の航空機エンジンＥの外観を撮影して得られた検査対象画像と、同一視点で事前に撮影されたマスタ画像とを比較して、検査対象の航空機エンジンＥに取り付けられている部品の取り付け状態に異常があるか否か判断する処理である。ここで、マスタ画像と検査対象画像とは、同一のスライド保持部１３の位置、撮影ヘッド１４の位置及び撮影方向で制御されて撮影されているものとする。また更に、同様の照明の種類及び明るさの条件となるように制御されるものとしてもよい。

この外観検査処理は、画像判定部３０のプロセッサ３１とメモリ３２に格納されているプログラムとの協働により実行される。

まず画像判定部３０は、撮影ヘッド１４のカメラによりマスタ画像と同様の撮影条件で撮影された検査対象の航空機エンジンＥの画像を検査対象画像として入力する（ＳＰ７１）。次いで画像判定部３０は、入力した検査対象画像に対し、検出部品の検出処理を実行する（ＳＰ３）。ステップＳＰ３で実行される検出部品の検出処理は、図６の検出部品候補検出処理と同様であるため、説明を省略する。

次いで画像判定部３０は、入力した検査対象画像と、同一視点で撮影されたマスタ画像とを比較する（ＳＰ７３）。比較に際してまず画像判定部３０は、単純画像照合により検査対象画像とマスタ画像との間の視点の微小な違いによる画像のずれを補正する。単純画像照合では、検査対象画像とマスタ画像との差分を計算して画像のずれを補正する。なお単純画像照合に代えて、マスタ画像上にパッチ（小領域）を設定し、この小領域と最も一致する領域を検査対象画像上で探索し、探索結果として得られた領域の特徴量と、小領域の特徴量とを比較するとしてもよい。

画像のずれを補正した後、画像判定部３０は、検査対象画像の検出部品候補画像及びマスタ画像の検出部品候補画像からそれぞれ検出した部品の特徴量（輝度、エッジ、ヒストグラム、位置、大きさ、向き及び形状等）を比較して、航空機エンジンＥの部品の取り付け状態に異常があるか否かを判断する。

画像判定部３０は、特徴量を比較した結果、航空機エンジンＥの部品の取り付け状態に異常があるか否かを判断する（ＳＰ７４）。例えば画像判定部３０は、検査対象画像から検出した部品の特徴量と、マスタ画像から検出した部品の特徴量との差分が予め定められている閾値以上である場合に異常であると判断する。また、画像判定部３０は、マスタ画像に関連付けて、部品の位置を更に登録し、検査対象画像における検出部品の検出処理ＳＰ３において、部品が検出された撮影された画像上の位置と、部品が検出されたマスタ画像上の位置との差分が所定の範囲にあるかどうかについて判定することとしてもよい。また、検出されるべき位置で検出されなかった場合についても異常であると判断することとしてもよい。

画像判定部３０は、異常がないと判断した場合にはステップＳＰ７６に移行する。これに対し異常があると判断した場合、該当箇所を表示画面に識別表示する（ＳＰ７５）。

表示画面に識別表示する態様として、例えば表示画面を左右に２分割し、右側にマスタ画像、左側に同一視点の検査対象画像を表示する。そして両方の画像上に検出部品を枠線で囲むとともに、異常がある場合には枠線の色や形状を変えて表示する等の態様がある。

画像判定部３０は、入力すべき他の検査対象画像があるか否かを判断する（ＳＰ７６）。ステップＳＰ７６で肯定結果を得ると、画像判定部３０は、他の検査対象画像を入力し、入力した他の検査対象画像について上記の処理を繰り返す（ＳＰ７１〜ＳＰ７５）。これに対しステップＳＰ７６で否定結果を得ると、画像判定部３０は、全ての検査対象画像について外観検査が完了したものと判断して、本処理を終了する。

（７）外観検査結果
ここでは検査対象画像とマスタ画像とを比較する際の概念図及び比較結果として得られる画面について、図１０〜図１２を参照して説明する。

図１０は、検出結果の一例について示す表示画面３００を示す図である。画面３００では、マスタ画像３１０と、検出部品について検出した検査対象画像３４０とが示されており、これらを並べて表示することにより、視覚的に比較しやすい表示となっている。この例では検出部品は、２枚の板を６か所で固定するボルト、ナット及びワッシャーであり、マスタ画像の検出部品候補画像３１１〜３１６では、ボルトのネジ部分とワッシャーとナットが同様の画像として検出される。また、検出部品候補画像３２１〜３２６では、ボルトの頭部分とワッシャーが同様の画像として検出される。

一方、検査対象画像３４０では、例えばマスタ画像と同様の位置の検出部品候補画像３４１〜３４６及び３５１〜３５６において、例えばマッチング処理や特徴量の差分の演算が行われる。ここで、図１０の例によれば、検出部品候補画像３４１、３４４、３４６、３５１、３５２及び３５４は異常なしの画像となるが、検出部品候補画像３４２は、ボルトがネジ部が短いため、検出部品候補画像３４３はボルトのネジ部が細いため、検出部品候補画像３４５及び３５５はボルトが逆向きに取り付けられているため、検出部品候補画像３５６はワッシャーが取り付けられていないため、マッチング処理や特徴量の差分の演算等において異常と判定され、例えば検出部品候補画像の枠線の色が目立つようにハイライトされて画像が表示される。検査員はこの検査対象画像３４０を見て、検査対象個所を容易に確認することができるとともに、異常の有無について容易に判断することができる。

なおこの例においてはマスタ画像３１０及び検査対象画像３４０が同時に表示画面に表示されるとしているが、これに限らず、例えば切り替えボタンを押下することにより、表示画面に表示される画像を交互に切り替えるとしてもよい。この場合、検査員はマスタ画像３１０と検査対象画像３４０とを交互に表示されるため、差異がある場合にはその差異を容易に判断することができる。

図１１は、検出結果の別の例について示す表示画面４００を示す図である。図１０と同様に、マスタ画像４１０と、検出部品について検出した検査対象画像４４０とが並べられて表示される画像である。検出部品は、ワイヤーハーネス４９１及び４９２を這い回し位置に固定するクランプであり、マスタ画像４１０において検出部品候補画像４１１〜４１５で検出されている。ここでクランプ等の検出部品は、例えば赤色等の他の部品や背景の色とは異なる部品である特徴により、色により部品位置が把握されるものとすることができる。検査対象画像４４０とマスタ画像４１０との比較の結果、検査対象画像４４０の検出部品候補画像４４１〜４４４はほぼ対応するマスタ画像４１０の検出部品候補画像４１１〜４１４の位置及び角度で取り付けられているが、検出部品候補画像４４５は検出部品候補画像４１５とは位置及び角度が共に異なり、他に検出部品候補画像４１５に対応する検査対象画像４４０のクランプは存在しないため、検出部品候補画像４４５に異常があると判定され、色等を変化させた枠で示すようにしている。また、本来取り付けられる位置に別の枠線を描いて異常がある可能性を示すようにしてもよい。これにより検査員は容易に取り付けに異常がある可能性のある個所を把握することができる。このように複数の領域において特徴量が近い画像を探索することにより、検査対象に設置された長物のはい回し経路が正常かどうか判定することができる。

図１２は、検出結果の別の例について示す表示画面５００を示す図である。図１０と同様に、マスタ画像５１０と、検出部品について検出した検査対象画像５４０とが並べられて表示される画像である。検出部品は、他の部品を取り付けるためのブラケットであり、マスタ画像５１０において検出部品候補画像５１１で検出されている。検査対象画像５４０とマスタ画像５１０との比較の結果、検査対象画像５４０の検出部品候補画像５４１の位置は、マスタ画像５１０の検出部品候補画像５１１の位置と異なっているため、異常がある可能性があると判定し、検査対象画像５４０における検出部品候補画像５４１の枠線の他に、マスタ画像５１０のブラケットの取り付け位置に、異常がある可能性が示されるよう色等を変化させてハイライトされた枠５４２が示すようにしている。これにより検査員は容易に取り付けに異常がある可能性のある個所を把握することができる。

（８）本実施の形態による効果
以上のように本実施の形態における外観検査システム１によれば、撮影部１０により検査対象である航空機エンジンＥの外観を撮影し、撮影して得られた検査対象画像と、この検査対象画像と同一視点で事前に撮影されたマスタ画像とを比較することができる。また比較結果に基づいて、航空機エンジンＥの部品の取り付け状態に異常があるか否かを判断し、異常がある場合には表示画面に識別表示することができる。

航空機エンジンＥの撮影、検査対象画像とマスタ画像との比較及び部品の取り付け状態に異常がある場合の識別表示は、全て自動かつ高速に行われる。よって検査員による検査項目の見落としや検査時間の増大を解消し、高精度かつ短時間に航空機エンジンＥの外観検査を行うことができる。

（９）他の実施の形態
上記説明してきた実施の形態においては、撮影ヘッド１４にカメラを備えるとしたが、これに限らず、例えば２次元データを取得することのできる２次元センサを備えるとしてもよい。この場合、計測範囲は狭くなるが感度は高くなり、例えばボルトのネジ山の数を計測することができる。

図１３は、２次元センサを用いてボルトのネジ山を計測した場合の計測結果を示す。実際のボルトのネジ山の数と、画像判定部３０により解析した結果、得られたネジ山の数とはともに７つであり、正確にネジ山の数が検出されている。

ここで画像判定部３０がネジ山の数を計測する手法について説明する。２次元データからボルトの長さを算出するようなソフトウェア処理を行う場合、まず基準位置を算出する必要がある。基準位置を算出する手法としては、予め備える理想的な形状モデルを実際の計測により得られた２次元データの位置に合わせる手法がある。

形状モデル及び計測データは２次元点群で構成されており、２次元点群同士を位置合わせするアルゴリズムとして、例えばＩＣＰ（Iterative Closest Point）を採用する。具体的にまず画像判定部３０は、２次元センサにより計測されたボルトの断面の２次元データを入力する。そして入力した２次元データに予め備える理想的な形状モデルを重ね合わせるべく、形状モデルの初期位置及び姿勢を概ね２次元データに一致するように配置する。

次いで画像判定部３０は、形状モデル及び２次元データを構成する各点について、距離が最も近い等の基準で対応付けを行い対応点を定める。そして対応点間の距離が最小となるように３自由度ある形状モデルの位置及び姿勢を例えば共役勾配法等を用いて更新する。形状モデルの新たな位置及び姿勢について、再度形状モデル及び２次元データにおける各点について対応点を定める。

画像判定部３０は、対応点間の距離が予め定められた閾値以下となるまで形状モデルの位置及び姿勢の更新を繰り返し、閾値以下となった時点の形状モデルの位置及び姿勢を基準位置として決定する。

画像判定部３０は、基準位置を決定した後、次にボルトのネジ山の数を計測する。２次元点群から直線を計測することにより、ネジ山の数を計測することができる。２次元点群から直線を計測する手法として、ここではＲＡＮＳＡＣ（RANdom Sample Consensus）を採用する。

ＲＡＮＳＡＣは、２次元点群から無作為な抽出を繰り返すことで統計的に優位なモデルを当てはめるアルゴリズムである。ＲＡＮＳＡＣを採用することで、２次元点群のなかに仮に大きな外れ値があっても、安定的に直線を計測することができる。ネジ山を含むボルトの直線が計測された結果が図１３のように表示画面に表示される。

なお上記説明してきた他の実施の形態においては、撮影ヘッド１４に２次元センサを備えるとしたが、これに限らず、例えばアクティブパターン投影方式により３次元データを取得することのできる３次元センサを備えるとしてもよい。この場合、カメラでは取得することのできない部品の実際の寸法や奥行きの情報を取得することができる。

また撮影ヘッド１４にカメラ、２次元センサ及び３次元センサの何れか又は全てを備え、これらの機器から取得されるデータを組み合わせて部品の取り付け状態を判断するとしてもよい。この場合、部品の取り付け状態をより精度良く検出することができる。

１ 外観検査システム
１０ 撮影部
１１ 円形フレーム
１２ 側フレーム
１３ スライド保持部
１４ 撮影ヘッド
１５ 支柱把持部
１６ 支柱
２０ 撮影制御部
２１ プロセッサ
２２ メモリ
３０ 画像判定部
３１ プロセッサ
３２ メモリ
２００ マスタ画像
２０２ クランプ候補画像
２０４ ワイヤーハーネス候補画像
２０６ ボルト候補画像
２０８ 配管候補画像
２１０ ブラケット候補画像
２１２ ワイヤ候補画像
２３１ 伸長方向
２３２ 素線の方向
３００ 画面
３１０ マスタ画像
３４０ 検査対象画像
４００ 表示画面
４１０ マスタ画像
４４０ 検査対象画像
５００ 表示画面
５１０ マスタ画像
５４０ 検査対象画像

Claims (10)

1. 被検査物の周囲に配置される周囲フレームと、
   前記周囲フレームに取り付けられ、前記周囲フレームに沿って移動し、前記被検査物を撮影するカメラを有する撮影ヘッドと、
   前記撮影ヘッドの移動を制御すると共に、前記カメラの撮影を制御する撮影制御部と、
   前記カメラにより撮影された画像に基づいて前記被検査物の部品の取り付け状態について判定する画像判定部と、
   前記被検査物を支える支柱に取り付けられる支柱把持部と、
   前記支柱把持部に前記被検査物を挟むように取り付けられ、それぞれ同じ一方向に伸びる一組の側フレームと、
   前記一組の側フレームに取り付けられ、前記一方向に移動する一組のスライド保持部と、
   を備え、
   前記周囲フレームは、前記一組のスライド保持部に跨って取り付けられ、前記一組のスライド保持部と共に移動し、
   前記撮影制御部は、前記スライド保持部の移動を制御する
   ことを特徴とする外観検査システム。
2. 請求項１に記載の外観検査システムにおいて、
   前記側フレームは、前記被検査物の前記一方向の長さよりも大きく、
   前記撮影ヘッドは、撮影方向を変化させる撮影角度調整部を有し、
   前記画像判定部は、前記被検査物の前記一方向の端部を撮影した画像に基づいて前記被検査物の部品の取り付け状態について判定する
   ことを特徴とする外観検査システム。
3. 請求項１又は２に記載の外観検査システムにおいて、
   前記画像判定部は、前記撮影された前記被検査物の画像である検査対象画像を、前記被検査物と同種の物における同一の前記スライド保持部の位置、前記周囲フレーム上の位置及び視点で撮影されたマスタ画像と比較することにより前記被検査物の部品の取り付け状態について判定する
   ことを特徴とする外観検査システム。
4. 請求項１−３のいずれか一項に記載の外観検査システムにおいて、
   前記画像判定部は、前記マスタ画像に関連付けて、前記マスタ画像において検査対象となる部品の種類及び前記部品の画像を登録し、
   前記撮影された画像に対して、前記部品の画像と特徴量が近い画像を検出する
   ことを特徴とする外観検査システム。
5. 請求項４に記載の外観検査システムにおいて、
   前記画像判定部は、前記マスタ画像に関連付けて、前記部品の位置を更に登録し、
   前記部品が検出された前記撮影された画像上の位置が、前記マスタ画像上の位置と比較して所定の範囲にあるかどうかについて判定する
   ことを特徴とする外観検査システム。
6. 請求項４又は５に記載の外観検査システムにおいて、
   前記画像判定部は、前記部品の画像の特徴量が近い画像を複数の領域で検出することにより、前記検査対象となる部品である長物の這い回し経路について判定する
   ことを特徴とする外観検査システム。
7. 請求項４乃至６のいずれか一項に記載の外観検査システムにおいて、
   前記検査対象を照らす少なくとも１つの照明装置を更に有し、
   前記撮影制御部は、前記照明装置の明るさを制御し、
   前記画像判定部は、前記マスタ画像に関連付けて、前記照明装置を特定する情報、及び前記照明装置の制御情報を登録する、
   ことを特徴とする外観検査システム。
8. 請求項３乃至７のいずれか一項に記載の外観検査システムにおいて、
   前記画像判定部は、前記マスタ画像上及び前記検査対象画像上から部品を検出する際、検出すべき部品の種類に応じて異なる画像処理を行うことにより、前記マスタ画像上及び前記検査対象画像上から部品を検出する
   ことを特徴とする外観検査システム。
9. 請求項３乃至８のいずれか一項に記載の外観検査システムにおいて、
   前記画像判定部は、
   前記マスタ画像上から部品を検出するとともに該部品の特徴量を記憶し、
   前記マスタ画像上から検出した部品と同一種類の部品を前記検査対象画像上から検出するとともに該部品の特徴量を記憶し、
   前記マスタ画像と前記検査対象画像との比較に際し、前記マスタ画像上から検出した部品の特徴量と、前記検査対象画像上から検出した部品の特徴量とを比較する
   ことを特徴とする外観検査システム。
10. 請求項１乃至９のいずれか一項に記載の外観検査システムにおいて、
    前記画像判定部は、前記被検査物に取り付けられている部品の取り付け状態が異常であると判断した場合、取り付け状態が異常である部品を含む領域を識別して表示画面に表示する
    ことを特徴とする外観検査システム。

Images