JP6658430B2

JP6658430B2 - 検査装置

Info

Publication number: JP6658430B2
Application number: JP2016190100A
Authority: JP
Inventors: 耕平中村; 勝宏宮垣; 博行岩月; 加藤　慎司; 慎司加藤; 潤堀口
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2020-03-04
Anticipated expiration: 2036-09-28
Also published as: JP2018054436A; WO2018062240A1; US20190219518A1; US10908095B2

Description

本開示は、検査装置に関する。

作業者に装着可能なウェアラブルカメラが知られている。このようなウェアラブルカメラでは、作業の様子を撮像し、製品や設備の状態を記録することができる。下記特許文献１に記載のウェアラブルカメラでは、ユーザ認証を実行することで、撮像した画像データと撮像者との関連付けを実行している。

特開２０１６−５８０３８号公報

上記特許文献１では、ウェアラブルカメラを製品の検査に用いることについて格別の配慮が開示されていない。製品の検査にウェアラブルカメラを用いる場合、ウェアラブルカメラと被検査物である製品とが一定の距離及び一定の角度を保つことが理想的である。

しかしながら、実際には、被検査物の検査台への置き方がまちまちだったり、作業員の被検査物に対する角度がまちまちだったり、といったことに起因して、被検査物に対して所定の角度及び所定の距離を確保するのが困難である。

本開示は、作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供することを目的とする。

本開示は、検査装置であって、被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部（５０１，５０１Ａ）と、前記作業員の前記被検査物に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する検査状態取得部（５０２，５０２Ａ）と、前記画像データと前記検査状態情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部（５０３，５０３Ａ）と、を備える。

本開示によれば、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正するので、作業員が規定の位置からずれて検査をしても、既定の位置から検査したように補正することができる。

本開示によれば、作業員が被検査物に対して所定の角度及び所定の距離を確保できない場合であっても、被検査物の検査を精度良く行うことができる検査装置を提供することができる。

図１は、第１実施形態である検査装置の使用状態を説明するための図である。図２は、図１に示される検査装置の構成を示すブロック構成図である。図３は、図２に示される制御装置の機能的な構成を示すブロック構成図である。図４は、第１実施形態である検査装置の画像補正を説明するための図である。図５は、第１実施形態である検査装置の画像補正を説明するための図である。図６は、第１実施形態である検査装置の画像補正を説明するための図である。図７は、第２実施形態である検査装置の使用状態を説明するための図である。図８は、図７に示される検査装置の構成を示すブロック構成図である。図９は、図８に示される制御装置の機能的な構成を示すブロック構成図である。

以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

図１及び図２を参照しながら、第１実施形態に係る検査装置１が適用される検査作業の一例と、検査装置１の概略構成について説明する。

図１に示されるように、第１実施形態に係る検査装置１は、熱交換器等の製品の製造工程において、製造中間段階のワーク３や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。

検査作業の作業員Ｈは、搬送コンベア２で順次搬送されるワーク３が良品であるか否かを検査する。搬送コンベア２には、ワーク３と看板４からなる組が複数載置されている。搬送コンベア２は、複数の組が作業員Ｈの前方に順次配置されるようにこれらの複数の組を搬送する。看板４は、ワーク３ごとにこの近傍に配置されるもので、ワーク３の種類を示すコードが表示されている。

作業員Ｈは、上記の検査作業を、本実施形態の検査装置１を利用して実施することができる。図１及び図２に示されるように、検査装置１は、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、及び、タブレット４０を具備する。

コードリーダ１０は、図２に示されるように、コードリーダ部１１、照明部１２、レーザポインタ部１３、及び無線部１４を備える。

コードリーダ部１１は、光を照射する光源を備え、この光源からレンズ１０ａを通して光を出射してから看板４で反射されてレンズ１０ａを通して受光される反射光によってコードを読み込むための周知の光学式コードリードである。ここで、本実施形態の看板４は、コードが表示されている表示板である。コードは、ワーク３の種類を示す識別指標である。コードとしては、ＱＲコード（登録商標）やバーコードなどの各種のコードが含まれる。

照明部１２は、レンズ１０ａを通してワーク３およびその周辺を照明する。

レーザポインタ部１３は、レンズ１０ａを通してレーザ光線をポインタとして照射する。レーザポインタ部１３は、これにより、コードリーダ部１１がコードを読み込む被読込領域を、作業員Ｈが認識することを補助する。本実施形態では、レーザポインタ部１３によりレーザ光線が照射される領域が、コードリーダ部１１の被読込領域に一致するように設定されている。

無線部１４は、アンテナや無線回路等から構成されて、タブレット４０の無線部４１との間で無線通信する。

ウェアラブルカメラ２０は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ２０は、図２に示されるように、カメラ部２１及び無線部２２を備える。カメラ部２１は、レンズ２０ａを介して受光される光によって被撮影対象としてのワーク３を撮影する。無線部２２は、アンテナや無線回路等から構成されて、タブレット４０の無線部４２との間で無線通信する。

バッテリ３０は、ハーネス等３１を介してコードリーダ１０やウェアラブルカメラ２０に直流電力を供給する二次電池である。

本実施形態では、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０は、図１に示されるように、作業員Ｈが被る帽子５に装着されている。また、コードリーダ１０及びウェアラブルカメラ２０は、コードリーダ１０のレンズ１０ａと、ウェアラブルカメラ２０のレンズ２０ａとが作業員Ｈの前方に向いて配置されるように、作業員Ｈの帽子５上に設置されている。

タブレット４０は、作業員Ｈが携帯可能に構成されている携帯端末である。タブレット４０は、図２に示されるように、無線部４１，４２、アンプ４３、スピーカ４４、タッチパネル４５、及び制御装置５０を備える。

無線部４１，４２は、アンテナや無線回路等から構成される。無線部４１は、コードリーダ１０の無線部１４との間で無線通信する。無線部４２は、ウェアラブルカメラ２０の無線部２２との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ−Ｆｉ（登録商標）を用いることができる。

アンプ４３は、制御装置５０から出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ４４は、アンプ４３から出力される増幅信号を音に変換して出力する。タッチパネル４５は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。

制御装置５０は、上記の検査作業に係る検査装置１の各部の動作を制御する装置である。制御装置５０は、物理的には、ＣＰＵ、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置５０は、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ１０から取得するコード、及びウェアラブルカメラ２０により取得された撮影画像に基づいて、ワーク３が良品であるか否かを判定する判定処理である。

メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク３が良品であるか否かを判別するために用いられる。１つの基準画像には、良品であるワーク３を示す良品画像と、不良品であるワーク３を示す不良品画像とが含まれる。デジタル−アナログ変換回路は、ＣＰＵの指令に基づいて音声を示すアナログ信号を出力する。

本実施形態では、タブレット４０は、例えば作業員Ｈのポケットに収納されるなど、作業員Ｈにより携帯されているか、または、作業員Ｈの近傍に載置されている。

このように構成される検査装置１を利用することにより、作業員Ｈが実施するワーク３の検査処理の標準的な作業は、例えば以下のような手順になる。

まず、作業員Ｈは、頭を看板４側に向け、帽子５に装着されているコードリーダ１０に看板４からコードを読み取らせる。次いで、頭をワーク３に向け、同じく帽子５に装着されているウェアラブルカメラ２０にワーク３を撮影させ、撮影画像を取得させる。つまり、コードリーダ１０が看板４からコードを読み込むことをトリガとして、ウェアラブルカメラ２０によってワーク３の撮影画像を取得することになる。タブレット４０は、無線通信を介してコードリーダ１０からコードを受信し、ウェアラブルカメラ２０から撮影画像を受信する。

タブレット４０内の制御装置５０は、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置５０は、ワーク３の撮影画像をこの基準画像と照合させることで、ワーク３が良品であるか否かを判定する。また、制御装置５０は、タブレット４０のスピーカ４４やタッチパネル４５を介して、音情報や視覚情報によってワーク３の良否判定結果を作業員Ｈに報知する。

作業員Ｈは、タブレット４０から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク３が良品と判定された場合には、搬送コンベア２上の次のワーク３の検査を行う。

以上のように構成される検査装置１は、ウェアラブル装置として、作業員Ｈの両手が自由になるように、作業員Ｈに携帯されている。検査装置１は、上記構成により、作業員Ｈの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Ｈの検査作業を支援して作業員Ｈの負担を軽減させることができる。また、作業員Ｈは検査作業中にハンズフリーの状態であるので、作業員Ｈはワーク３の検査作業を行いながら、検査以外の他の作業（例えばネジ締めなど）も行うことができ、作業効率を向上できる。

続いて、図３を参照しながら、制御装置５０の機能的な構成要素とそれらの動作について説明する。制御装置５０は、機能的な構成要素として、画像取得部５０１と、検査状態取得部５０２と、画像補正部５０３と、画像出力部５０４と、を備えている。

画像取得部５０１は、ウェアラブルカメラ２０から出力される画像データを取得する部分である。

検査状態取得部５０２は、作業員Ｈの被検査物であるワーク３に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する部分である。具体的には、図４に示されるように、作業員Ｈが（Ａ）のようにワーク３に正対した状態から、（Ｂ）のようにずれた状態になったことを算出するための検査状態情報を取得する。作業員Ｈの傾きθ、ワーク横ずれｘ、ワーク縦ずれｙを算出するための情報として、基準マーカーの形態情報を検査状態情報として取得する。

図５に示されるように、基準マーカー７１，７２は、ワーク３が載置されるパレット７に設けられている。基準マーカー７１，７２は一対設けられているので、ワーク３及びパレット７に対して作業員Ｈが正対しない場合、撮影される形状が変化する。

図６の（Ａ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが正対していると、基準マーカー７１も基準マーカー７２も互いに同じ形状同じ大きさに撮影される。一方、図６の（Ｂ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが右回りにずれると、基準マーカー７１に対して基準マーカー７２が大きく撮影される。また、作業員Ｈの右回り角度に応じて、基準マーカー７１，７２の撮影形状も変化する。さらに、図６（Ｃ）に示されるように、ワーク３及びパレット７に対して作業員Ｈが左回りにずれると、基準マーカー７２に対して基準マーカー７１が大きく撮影される。また、作業員Ｈの左回り角度に応じて、基準マーカー７１，７２の撮影形状も変化する。

画像補正部５０３は、画像データと検査状態情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部５０３は、画像データ及び基準マーカー７１，７２の形態から乖離距離及び乖離角の少なくとも一方を算出する。

画像出力部５０４は、画像補正部５０３が補正した画像データをタッチパネル４５に出力する。タッチパネル４５は、補正された画像データを表示する。

上記したように第１実施形態に係る検査装置１は、被検査物であるワーク３を検査する作業員Ｈに装着されるウェアラブルカメラ２０が撮像したワーク３を含む画像データを取得する画像取得部５０１と、作業員Ｈのワーク３に対する規定距離からの乖離距離ｘ，ｙ及び規定角度からの乖離角θの少なくとも一方を算出するための検査状態情報を取得する検査状態取得部５０２と、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部５０３と、を備えている。

本実施形態では、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正するので、作業員Ｈが規定の位置からずれて検査をしても、既定の位置から検査したように補正することができる。

また検査装置１では、検査状態取得部５０２が、画像データにおいて被検査物であるワーク３と共に撮像される基準マーカー７１，７２を検査状態情報として取得し、画像補正部５０３は、基準マーカー７１，７２の標準形状からの変形度合から、乖離距離及び乖離角の少なくとも一方を算出する。

基準マーカー７１，７２の形態変化に基づいて乖離距離及び乖離角度の少なくとも一方を算出することができるので、単眼のカメラのみで乖離距離及び乖離角の少なくとも一方を算出することができる。

また本実施形態では、検査状態取得部５０２が、画像データにおいて被検査物であるワーク３と共に撮像される位置特定情報を検査状態情報として取得し、画像補正部５０３は、ワーク３と位置特定情報との相対的な位置関係から、乖離距離及び乖離角の少なくとも一方を算出することもできる。

位置特定情報としては、ワーク３が載置される部分に記された格子状の模様が用いられる。図５に示されるような基準マーカー７１，７２の格子状の模様をパレット７全体に適用すれば、模様が隠された部分までの格子数を数えることで、位置特定情報を得ることができる。

位置特定情報としては、ワーク３が載置される部分における既知の形状情報である。図５に示されるように、パレット７の既知の形状情報である寸法Ｌ１とワーク３の測定対象部位の寸法Ｌ２との比を算出することで、パレット７に対するワーク３の配置位置を把握することができる。

図７及び図８を参照しながら、第２実施形態に係る検査装置１Ａが適用される検査作業の一例と、検査装置１Ａの概略構成について説明する。

図７に示されるように、第２実施形態に係る検査装置１Ａは、熱交換器等の製品の製造工程において、製造中間段階のワーク３や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。検査作業については、検査装置１と共通するので、その説明を省略する。

図７及び図８に示されるように、検査装置１Ａは、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、モーションセンサ８０、及び、タブレット４０を具備する。

コードリーダ１０は、図８に示されるように、コードリーダ部１１、照明部１２、レーザポインタ部１３、及び無線部１４を備える。コードリーダ１０は、検査装置１と同様であるので、その説明を省略する。

ウェアラブルカメラ２０は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ２０は、図２に示されるように、カメラ部２１及び無線部２２を備える。ウェアラブルカメラ２０は、検査装置１と同様であるので、その説明を省略する。

モーションセンサ８０は、作業員Ｈの動きを検知するためのセンサである。モーションセンサ８０は、センサ部８０１と、無線部８０２と、を備えている。センサ部８０１は、複数の加速度センサによって構成され、作業員Ｈの動きを検査状態情報をとして出力する。無線部８０２は、無線部４２と通信を行い、検査状態情報をタブレット４０に送信する。

本実施形態では、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、モーションセンサ８０は、図７に示されるように、作業員Ｈが被る帽子５に装着されている。また、コードリーダ１０及びウェアラブルカメラ２０は、コードリーダ１０のレンズ１０ａと、ウェアラブルカメラ２０のレンズ２０ａとが作業員Ｈの前方に向いて配置されるように、作業員Ｈの帽子５上に設置されている。

タブレット４０は、作業員Ｈが携帯可能に構成されている携帯端末である。タブレット４０は、図９に示されるように、無線部４１，４２、アンプ４３、スピーカ４４、タッチパネル４５、及び制御装置５０Ａを備える。

無線部４１，４２は、アンテナや無線回路等から構成される。無線部４１は、コードリーダ１０の無線部１４との間で無線通信する。無線部４２は、ウェアラブルカメラ２０の無線部２２及びモーションセンサ８０の無線部８０２との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ−Ｆｉ（登録商標）を用いることができる。

アンプ４３は、制御装置５０Ａから出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ４４は、アンプ４３から出力される増幅信号を音に変換して出力する。タッチパネル４５は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。

制御装置５０Ａは、上記の検査作業に係る検査装置１の各部の動作を制御する装置である。制御装置５０Ａは、物理的には、ＣＰＵ、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置５０Ａは、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ１０から取得するコード、及びウェアラブルカメラ２０により取得された撮影画像に基づいて、ワーク３が良品であるか否かを判定する判定処理である。

このように構成される検査装置１Ａを利用することにより、作業員Ｈが実施するワーク３の検査処理の標準的な作業は、検査装置１と同様であるので説明を省略する。

続いて、図９を参照しながら、制御装置５０Ａの機能的な構成要素とそれらの動作について説明する。制御装置５０Ａは、機能的な構成要素として、画像取得部５０１Ａと、検査状態取得部５０２Ａと、画像補正部５０３Ａと、画像出力部５０４Ａと、を備えている。

画像取得部５０１Ａは、ウェアラブルカメラ２０から出力される画像データを取得する部分である。

検査状態取得部５０２Ａは、作業員Ｈの被検査物であるワーク３に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する部分である。具体的には、作業員Ｈの傾きθ、ワーク横ずれｘ、ワーク縦ずれｙを算出するための情報として、モーションセンサ８０が計測する作業員Ｈの動き情報を検査状態情報として取得する。

画像補正部５０３Ａは、画像データと検査状態情報とに基づいて、乖離距離及び乖離角の少なくとも一方を算出し、画像データを補正する。画像補正部５０３Ａは、モーションセンサ８０が計測する作業員Ｈの動き情報から乖離距離及び乖離角の少なくとも一方を算出する。

画像出力部５０４Ａは、画像補正部５０３Ａが補正した画像データをタッチパネル４５に出力する。タッチパネル４５は、補正された画像データを表示する。

上記したように第２実施形態に係る検査装置１Ａは、被検査物であるワーク３を検査する作業員Ｈに装着されるウェアラブルカメラ２０が撮像したワーク３を含む画像データを取得する画像取得部５０１Ａと、作業員Ｈのワーク３に対する規定距離からの乖離距離ｘ，ｙ及び規定角度からの乖離角θの少なくとも一方を算出するための検査状態情報を取得する検査状態取得部５０２Ａと、画像データと検査状態情報とに基づいて、乖離距離ｘ，ｙ及び乖離角θの少なくとも一方を算出し、画像データを補正する画像補正部５０３Ａと、を備えている。

検査状態取得部５０２Ａは、作業員Ｈの動作を取得するモーションセンサ８０から出力される動作情報を検査状態情報として取得し、画像補正部５０３Ａは、動作情報から作業員Ｈの動作状態を把握し、乖離距離及び乖離角の少なくとも一方を算出する。

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

５０１，５０１Ａ：画像取得部
５０２，５０２Ａ：検査状態取得部
５０３，５０３Ａ：画像補正部

Claims

検査装置であって、
被検査物を検査する作業員に装着されるウェアラブルカメラが撮像した前記被検査物を含む画像データを取得する画像取得部（５０１，５０１Ａ）と、
前記作業員の前記被検査物に対する規定距離からの乖離距離及び規定角度からの乖離角の少なくとも一方を算出するための検査状態情報を取得する検査状態取得部（５０２，５０２Ａ）と、
前記画像データと前記検査状態情報とに基づいて、前記乖離距離及び前記乖離角の少なくとも一方を算出し、前記画像データを補正する画像補正部（５０３，５０３Ａ）と、を備える検査装置。
請求項１に記載の検査装置であって、
前記検査状態取得部（５０２）は、前記画像データにおいて前記被検査物と共に撮像される基準マーカーを前記検査状態情報として取得し、
前記画像補正部（５０３）は、前記基準マーカーの標準形状からの変形度合から、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
請求項１に記載の検査装置であって、
前記検査状態取得部（５０２Ａ）は、前記作業員の動作を取得するモーションセンサから出力される動作情報を前記検査状態情報として取得し、
前記画像補正部（５０３Ａ）は、前記動作情報から前記作業員の動作状態を把握し、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
請求項１から３のいずれか１項に記載の検査装置であって、
前記検査状態取得部は、前記画像データにおいて前記被検査物と共に撮像される位置特定情報を前記検査状態情報として取得し、
前記画像補正部は、前記被検査物と前記位置特定情報との相対的な位置関係から、前記乖離距離及び前記乖離角の少なくとも一方を算出する、検査装置。
請求項４に記載の検査装置であって、
前記位置特定情報は、前記被検査物が載置される部分に記された格子状の模様である、検査装置。
請求項４に記載の検査装置であって、
前記位置特定情報は、前記被検査物が載置される部分における既知の形状情報である、検査装置。