JP6288249B2 - 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム - Google Patents

Description

本開示は、目視検査支援装置、目視検査支援方法及び目視検査支援プログラムに関する。

被検査品を撮像して画像解析した結果に基づく画像検査結果を、被検査品を目視で検査する検査者の視界に重ねて、検査者が被検査品を観視している像に対応させた位置に表示可能とした外観検査装置が知られている（例えば、特許文献１参照）。

特開2009-150866号公報

ところで、目視検査作業者が検査画像を目視することで目視検査対象物の欠陥の有無等を検査する場合、複数の検査画像を目視検査作業者に順次表示することが効率的である。しかしながら、目視検査作業者は、連続的に提示される複数の検査画像を順次目視する作業を行うことになるので、作業中に目視検査作業者の集中力等の活性度が落ちる場合もありうる。

そこで、本開示は、目視検査作業者の活性度の低下を抑制できる態様で複数の検査画像を表示することができる目視検査支援装置、目視検査支援方法及び目視検査支援プログラムの提供を目的とする。

本開示の一局面によれば、目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
目視検査作業者の動作情報を取得する動作情報取得装置と、
前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含む、目視検査支援装置が提供される。

本開示によれば、目視検査作業者の活性度の低下を抑制できる態様で複数の検査画像を表示することができる目視検査支援装置、目視検査支援方法及び目視検査支援プログラムが得られる。

目視検査支援装置を含む検査システムの一例を示す構成図。 処理装置のハードウェア構成の一例を示す図。 処理装置の機能構成の一例を示す図。 目視検査支援装置による検査画像取得処理の一例を示すフローチャート。 目視検査支援装置の処理装置による検査画像表示処理の一例を示すフローチャート。 一連の検査画像の表示順序の説明図。 一連の検査画像の表示タイミングの説明図。 一連の検査画像の表示タイミングの他の説明図。 反応時間に基づく活性度の推定方法の説明図。 視線位置の動きに基づく活性度の推定方法の説明図。 目視検査作業者の活性度を表すパラメータの推移態様の例を示す図。 部品の特徴部位に応じた検査画像の変換処理の一例を示す説明図。 部品の特徴部位に応じた検査画像の変換処理の他の一例の説明図。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、目視検査支援装置１を含む検査システム２の一例を示す構成図である。検査システム２は、目視検査支援装置１と、自動外観検査装置（AOI: Automated Optical Inspection）４とを含む。

目視検査支援装置１は、画像撮影装置１０と、視線計測装置３０と、入力装置４０と、表示装置５０と、処理装置１００とを含む。

画像撮影装置１０は、基板移動機構１２と、カメラ１４と、カメラ移動機構１６とを含む。

基板移動機構１２は、処理装置１００による制御下で、例えばステージ上に基板Ｓを１軸方向、２軸方向又は３軸方向で移動させる。

カメラ１４は、処理装置１００による制御下で、基板Ｓを撮像する。図１に示す例では、カメラ１４は基板Ｓの上方から基板Ｓを撮像する。撮像して得られた画像（検査画像）は、処理装置１００に供給される。

カメラ移動機構１６は、処理装置１００による制御下で、カメラ１４の位置（カメラヘッドの位置）を１軸方向、２軸方向又は３軸方向で移動させる。尚、カメラ移動機構１６は、カメラ１４の撮像方向（向き）を可変する機構を含んでもよい。

視線計測装置３０は、例えばカメラを含み、目視検査作業者の顔（目）の画像を取得する。

入力装置４０は、目視検査作業者からの入力を受け付け、処理装置１００に入力情報を供給する。入力装置４０は、例えばカーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやスライスパット等であってよい。また、入力装置４０は、音声認識装置を含んでもよい。目視検査作業者は、入力装置４０を介して目視検査結果等を入力する。

表示装置５０は、ＣＲＴ（Cathode-Ray Tube）ディスプレイや液晶ディスプレイ等の表示装置である。目視検査作業者は、表示装置５０上に表示される検査画像を目視することで目視検査を行う。

処理装置１００は、画像撮影装置１０の動作の制御や、視線計測装置３０から得られる視線情報の処理、表示装置５０への検査画像の表示処理等を行う。処理装置１００の機能は後述する。尚、処理装置１００は、複数の処理装置により協動して実現されてもよい。また、処理装置１００の機能の一部は、視線計測装置３０及び／又は表示装置５０により実現されてもよい。

図２は、処理装置１００のハードウェア構成の一例を示す図である。

図２に示す例では、処理装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６を含む。

制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力装置４０や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して処理装置１００にインストールされる。インストールされた所定のプログラムは、処理装置１００により実行可能となる。

ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と処理装置１００とのインターフェースである。

尚、図２に示す例において、以下で説明する各種処理等は、プログラムを処理装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を処理装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１０５には、搬送波は含まれない。

図３は、処理装置１００の機能構成の一例を示す図である。

処理装置１００は、画像撮影処理部１５０と、検査画像表示制御部１６０と、作業者情報取得部１７０と、検査画像表示部１８０と、目視検査情報入力部１９０と、目視検査結果出力部１９２と、目視検査結果入力部１９４とを含む。

画像撮影処理部１５０は、基板移動機構１２及びカメラ移動機構１６を制御する基板移動制御部１５２と、カメラ１４からの検査画像が入力される検査画像入力部１５４とを含む。

検査画像表示制御部１６０は、活性度解析部１６２と、部品特徴解析部１６４と、解析結果記憶部１６６とを含む。

作業者情報取得部１７０は、視線方向計測部１７２と、反応時間計測部１７４とを含む。

視線方向計測部１７２は、視線計測装置３０から得られる画像に基づいて、目視検査作業者の視線を検出する。目視検査作業者の視線の検出方法は、任意である。例えば、視線計測装置３０がカメラと近赤外ＬＥＤと含む場合、視線方向の検出方法は、近赤外光を目視検査作業者の顔に当て、瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出する角膜反射法であってもよい。この方法は、瞳孔は、視線方向によって位置が変わるが、角膜反射の位置は、視線方向には影響を受けないことを利用するものである。近赤外光を顔に当てる場合は、目の中に基準点となる角膜反射が発生するため、カメラのみから計測する方法と比較し計測精度が向上する。尚、この場合、近赤外ＬＥＤは、例えば視線計測装置３０のカメラと共に表示装置５０のフレームに設けられてもよい。

反応時間計測部１７４は、検査画像を表示してから、その検査画像に対する検査結果を目視検査作業者が入力装置４０を介して入力するまでの時間（反応時間）を計測する。

検査画像表示部１８０は、検査画像一時記憶部１８２と、検査画像変換処理部１８４と、表示タイミング調節部１８６とを含む。

検査画像一時記憶部１８２は、一連の複数の検査画像を一時記憶する。検査画像変換処理部１８４は、検査画像のコントラストの調整、検査画像のマスキング、拡大／縮小等の処理を行う。表示タイミング調節部１８６は、検査画像の表示タイミングを調整する。

目視検査情報入力部１９０は、自動外観検査装置４から部品番号や部品位置等の部品情報が入力される。目視検査結果出力部１９２は、目視検査作業者から入力された目視検査結果を外部（例えば後工程処理装置）に出力する。目視検査結果入力部１９４は、目視検査作業者から入力された目視検査結果を処理する。

図４は、目視検査支援装置１による検査画像取得処理の一例を示すフローチャートである。

ステップ４００では、目視検査情報入力部１９０に、自動外観検査装置４から目視検査対象の部品に関する部品情報（部品番号や部品位置等）が入力される。

ステップ４０２では、基板移動制御部１５２は、上記ステップ４００で取得した部品情報に基づいて、基板移動機構１２及びカメラ移動機構１６を制御して、基板Ｓ及びカメラ１４の位置関係を調整する。

ステップ４０４では、カメラ１４は、基板Ｓ（その上に実装された部品）を撮像する。

ステップ４０６では、検査画像入力部１５４は、上記ステップ４０４で得られた検査画像を保持する。

ステップ４０８では、画像撮影処理部１５０は、基板Ｓ上の検査対象の全ての部品の撮影が終了したか否かを判定する。即ち、画像撮影処理部１５０は、今回の基板Ｓについて取得すべき複数の検査画像の全てを取得したか否かを判定する。全ての部品の撮影が終了した場合は、今回の基板Ｓについて取得した一連の検査画像を検査画像一時記憶部１８２に記憶する。

図４に示す処理によれば、基板Ｓ上の全ての部品についてカメラ１４により検査画像が取得される。尚、検査画像は、必ずしも１部品につき１枚である必要はなく、１部品につき１枚以上取得されてもよいし、２部品以上に対して（共通の）１枚であってもよい。例えば、ある部品は、異なる複数の撮像方向から撮像されてもよい。また、基板Ｓ上の全ての部品のうちの一部のみについて検査画像が取得されてもよい。また、カメラ１４による基板Ｓ上の部品の撮像順は、固定であってよい。このとき、基板Ｓ上の部品の撮像順は、撮像毎のカメラ１４の移動量が最小となる態様で決定されてもよい。

図５は、目視検査支援装置１の処理装置１００による検査画像表示処理の一例を示すフローチャートである。尚、図５に示す処理は、図４に示した処理に対してリアルタイムで同期されてもよい。或いは、図５に示す処理は、図４に示した処理の実行中に所定時間だけ遅延して実行される態様又は図４に示した処理の実行後に実行される態様で、図４に示した処理に対して同期されてもよい。

ステップ５００では、活性度解析部１６２は、解析結果記憶部１６６内の解析結果に基づいて、目視検査作業者の活性度が低下したか否かを判定する。目視検査作業者の活性度とは、目視検査作業者の集中力、覚醒度等に表す指標である。目視検査作業者の活性度が低いことは、目視検査作業者の集中力ないし覚醒度が低いことを意味する。また通常、作業者の疲労度が高まると、活性度は低下する。目視検査作業者の活性度の算出方法は、任意であるが、いくつかの例については後述する。目視検査作業者の活性度が低下した場合は、ステップ５０６に進み、それ以外の場合（即ち活性度が低下していない場合）は、ステップ５０２に進む。

ステップ５０２では、表示タイミング調節部１８６は、一連の検査画像の表示順序を"連続的な表示順序"に設定する。"連続的な表示順序"とは、基板Ｓ上の同一部品に係る検査画像が連続して表示されるような順序であってもよい。尚、同一部品とは、部品番号が同一の部品を指すが、部品番号が同一の部品のみならず、同種の部品を含んでもよい。

ステップ５０４では、表示タイミング調節部１８６は、一連の検査画像の表示タイミングを、"規則的な表示タイミング"に設定する。"規則的な表示タイミング"とは、一連の検査画像を一定のインターバルで順次表示する態様であってよい。

ステップ５０６では、表示タイミング調節部１８６は、一連の検査画像の表示順序を"不連続的な表示順序"に設定する。"不連続的な表示順序"とは、上述した"連続的な表示順序"とは異なる任意の表示順序であってよい。例えば、"不連続的な表示順序"は、一連の検査画像の撮像順に対応してもよいし、ランダムな順序であってもよい。

ステップ５０８では、表示タイミング調節部１８６は、一連の検査画像の表示タイミングを、"不規則的な表示タイミング"に設定する。"不規則的な表示タイミング"とは、一連の検査画像をランダム又は不規則なインターバルで順次表示する態様であってよい。

ステップ５１０では、検査画像変換処理部１８４は、検査画像一時記憶部１８２内に記憶されている一連の検査画像のうちから、上記ステップ５０２又はステップ５０６で決定した表示順序に従って、１枚の検査画像を読み出す。

ステップ５１２では、検査画像変換処理部１８４は、読み出した検査画像に対して画面表示領域（表示範囲）を設定する。画面表示領域は、検査画像の全領域の一部や全部でありうる。画面表示領域は、検査画像毎（部品毎）に予め決定されてよい。或いは、画面表示領域は、後述の如く、目視検査作業者の視線情報等に基づいて決定されてもよい。

ステップ５１４では、検査画像変換処理部１８４は、読み出した検査画像に対して拡大・縮小処理を実行する。拡大・縮小処理は、必要に応じて実行される任意の処理であってもよい。

ステップ５１６では、検査画像変換処理部１８４は、読み出した検査画像に対してコントラスト強調処理を実行する。コントラスト強調処理は、必要に応じて実行される任意の処理であってもよい。

ステップ５１８では、表示タイミング調節部１８６は、上記ステップ５０４又はステップ５０８で決定した表示順序に従って、読み出した検査画像の表示タイミングを調整する。例えば、表示タイミング調節部１８６は、読み出した検査画像に対する表示前の空白時間（インターバル）に基づいて、読み出した検査画像の表示タイミングを調整する。尚、一連の検査画像の最初の１枚目のインターバルは最小値であってもよい。

ステップ５２０では、表示タイミング調節部１８６は、読み出した検査画像を表示装置５０に表示（出力）する。目視検査作業者は、表示装置５０上に表示された検査画像を目視することで目視検査を行う。目視検査作業者は、現在表示されている検査画像に対する目視検査を完了すると、目視検査結果（例えば異常の有無の判定結果）を入力装置４０を介して入力する。

ステップ５２２では、視線方向計測部１７２は、視線計測装置３０からの情報に基づいて目視検査作業者の視線位置を検出する。

ステップ５２４では、表示タイミング調節部１８６は、目視検査作業者からの目視検査結果（判定結果）の入力があったか否かを判定する。即ち、目視検査作業者からの目視検査結果の入力待ち状態となる。目視検査作業者からの目視検査結果の入力があった場合は、ステップ５２６に進み、それ以外の場合は、ステップ５２０に戻る。このようにして、一旦、１枚の検査画像が表示されると、それに対する目視検査作業者からの目視検査結果の入力があるまで、検査画像の表示状態が維持される。この間、視線方向計測部１７２は、ステップ５２２により目視検査作業者の視線位置を検出し続ける。これにより、目視検査中の目視検査作業者の視線位置の動き（履歴）を得ることができる。

ステップ５２６では、反応時間計測部１７４は、検査画像を表示してから、その検査画像に対する目視検査結果を目視検査作業者が入力するまでの時間（反応時間）を計測する。即ち、反応時間計測部１７４は、今回の検査画像の表示開始タイミングから今回の検査画像に対する目視検査結果の入力タイミングまでの時間を計測する。

ステップ５２８では、活性度解析部１６２は、基板Ｓ上の検査対象の全ての部品の表示が終了したか否かを判定する。即ち、検査画像表示制御部１６０は、一連の検査画像の全ての表示が終了したか否かを判定する。一連の検査画像の全ての表示が終了した場合は、ステップ５３０に進み、それ以外の場合は、ステップ５１０に戻る。このようにして、一連の検査画像の全ての表示が終了するまで、ステップ５１０乃至ステップ５２６の処理が繰り返される。

ステップ５３０では、活性度解析部１６２は、今回の一連の検査画像の全ての表示期間中における目視検査作業者の動作情報に基づいて、目視検査作業者の活性度を解析する。目視検査作業者の動作情報は、今回の一連の検査画像に対する目視検査中の目視検査作業者の視線位置の動きの検出結果、及び、今回の一連の検査画像に対する目視検査作業者の各反応時間の計測結果を含む。目視検査作業者の各反応時間とは、一連の検査画像中の各検査画像に対する反応時間である。これは、目視検査作業者の活性度は、目視検査中の目視検査作業者の視線位置の動きや、目視検査作業者の各反応時間と相関があるためである。一般的に、目視検査作業者の活性度は、目視検査中の目視検査作業者の視線位置の動きが機敏であるほど高い場合が多い。また、一般的に、目視検査作業者の活性度は、目視検査作業者の各反応時間が短いほど高い場合が多い。活性度解析部１６２は、かかる傾向を利用して目視検査作業者の活性度を解析してよい。活性度解析部１６２は、このようにして得られた活性度の解析結果（例えば活性度の値）を解析結果記憶部１６６に記憶する。

尚、ステップ５３０では、部品特徴解析部１６４は、上記ステップ５２４で得られる目視検査作業者の視線位置の動きの検出結果に基づいて、部品の特徴部位を解析してもよい。これは、目視検査作業者は、部品の特徴部位があるときは、特にその特徴部位（検査に重要な部位）を注視する傾向があるためである。部品特徴解析部１６４の解析結果は、上記ステップ５１２乃至ステップ５１６の処理で利用されてもよい。例えば、ステップ５１２では、検査画像変換処理部１８４は、部品特徴解析部１６４により検出された特徴部位を略中心に含むような画面表示領域を設定してもよい。また、検査画像変換処理部１８４は、部品特徴解析部１６４により検出された特徴部位が正面に見えるように検査画像のビューの方向を変えてもよい。また、ステップ５１４では、検査画像変換処理部１８４は、部品特徴解析部１６４により検出された特徴部位を拡大することとしてもよい。また、ステップ５１４では、検査画像変換処理部１８４は、部品特徴解析部１６４により検出された特徴部位の画素領域について他の画素領域に対して、明るさのコントラストや色のコントラストを幾分か強調することとしてもよい。また、ステップ５１４では、検査画像変換処理部１８４は、部品特徴解析部１６４により検出された特徴部位だけを目視検査作業者が自然に集中して見られるように、部品特徴解析部１６４により検出された特徴部位以外の画素領域をマスキングしてもよい。

ステップ５３２では、活性度解析部１６２は、次の一連の検査画像の入力があるか否かを判定する。即ち、活性度解析部１６２は、新たな基板Ｓに対する一連の検査画像の入力があるか否かを判定する。新たな基板Ｓに対する一連の検査画像の入力がある場合は、ステップ５００に戻る。この場合、新たな基板Ｓに対する一連の検査画像に対するステップ５００の判定処理では、今回の活性度の解析結果が利用されることになる。他方、次の一連の検査画像の入力がない場合、目視検査が終了であると判断して、そのまま終了する。

図５に示す処理によれば、目視検査作業者の目視検査中の動作情報に基づいて、目視検査作業者の活性度が推定され、推定された目視検査作業者の活性度に応じて、一連の検査画像の表示順序及び表示タイミングが可変される。これにより、目視検査作業者の活性度の低下時に、一連の検査画像の表示順序及び表示タイミングを変化させて目視検査作業者の活性度を高めることが可能となる。この結果、目視検査作業者の高い活性度をより長い時間維持することが可能となり、目視検査の精度が向上する。

尚、図５に示す処理は、１枚の基板Ｓ毎の一連の検査画像を一単位として、一連の検査画像毎に実行されているが、２枚以上の基板Ｓ毎の一連の検査画像を一単位として、一連の検査画像毎に実行されてもよい。或いは、図５に示す処理は、１枚の基板Ｓの一連の検査画像を複数に分割し、各分割した一連の検査画像毎に実行されてもよい。

図６は、一連の検査画像の表示順序の説明図であり、（Ａ）は、一例を示し、（Ｂ）は、他の一例を示す。

図６に示す例では、基板Ｓ上に６つの部品Ｐ１乃至部品Ｐ６が実装されている。尚、基板Ｓは、プリント基板等の任意の基板であってよい。部品Ｐ１乃至部品Ｐ６は、例えばＬＳＩ（Large-Scale Integration）、ダンピング抵抗等のような任意の部品であってよい。部品Ｐ１乃至部品Ｐ６の実装形式も任意であり、ＩＭＤ（Insert Mount Device：挿入実装部品）、ＳＭＤ（Surface Mount Device：表面実装部品）、プレスフィット等であってよい。図６に示す例では、一例として、部品Ｐ１と部品Ｐ６が同一部品であり、部品Ｐ２と部品Ｐ５が同一部品であり、部品Ｐ３と部品Ｐ４が同一部品であるとする。図６において、部品Ｐ１乃至部品Ｐ６に隣接して付されている○内の数字は、表示順序を表す。ここでは、一例として、部品Ｐ１乃至部品Ｐ６のそれぞれについて１枚の検査画像が取得され、従って、一連の検査画像の合計は６枚であるとする。

図６（Ａ）に示す例では、部品Ｐ１乃至部品Ｐ６のそれぞれの検査画像の表示順序は、撮影順序に対応する。具体的には、図６（Ａ）に示す例では、部品Ｐ１乃至部品Ｐ６の撮像順は、撮像毎のカメラ１４の移動量が最小となる態様で決定されている。即ち、部品Ｐ１乃至部品Ｐ６の順番で部品Ｐ１乃至部品Ｐ６が撮像され、その撮像順に従って部品Ｐ１乃至部品Ｐ６のそれぞれの検査画像が表示される。このような表示順序は、ステップ５０６で設定される"不連続的な表示順序"として利用されてもよい。これにより、目視検査作業者の活性度の低下を検知した場合には、単調になり過ぎないように検査画像の表示順序を"不連続的な表示順序"にすることで目視検査作業者に適度な刺激を与えることができる。尚、この表示順序は、カメラ１４の撮像順（ステージ移動の順番）に対応するので、カメラ１４の撮像にリアルタイムに同期したタイミングで検査画像を表示することが可能である。

図６（Ｂ）に示す例では、同一部品である部品Ｐ２と部品Ｐ５が１番目と２番目の表示順序であり、同一部品の検査画像が連続して表示されるような表示順序である。また、同一部品である部品Ｐ３と部品Ｐ４が３番目と４番目の表示順序であり、同一部品の検査画像が連続して表示されるような表示順序である。また、同一部品である部品Ｐ１と部品Ｐ６が５番目と６番目の表示順序であり、同一部品の検査画像が連続して表示されるような表示順序である。このように、図６（Ｂ）に示す例では、同一部品の検査画像が連続して表示されるように検査画像の表示順序が検査画像の撮像順に対して入れ替えられる。このような表示順序は、ステップ５０２で設定される"連続的な表示順序"として利用されてもよい。目視検査作業者の活性度が高い場合に、かかる"連続的な表示順序"を採用することにより、目視検査作業者は、同一部品を続けて見比べることになり、不良を見つけるのが容易になる。これは、目視検査作業者が正常品と不良品の違いを見分ける際、同一部品を連続して見比べた方が、不良を見つけ易いためである。

一方、同一部品が連続する検査画像の表示が長時間続いた場合、目視検査作業者の活性度が低下してしまう場合もありうる。このため、活性度の低下を検知した場合には、逆に、単調になり過ぎないように、図６（Ａ）に示したような"不連続的な表示順序"に切り替えることで、注意を喚起することができる。

図７は、一連の検査画像の表示タイミングの説明図であり、（Ａ）は、各検査画像の表示の際のインターバル（非表示期間）の一例を示し、（Ｂ）は、各検査画像の表示の際のインターバルの他の一例を示す。図７において、各矢印は各インターバルを表し、矢印の長さはインターバルの長さを模式的に表す。図７において、各矢印に付された○内の数字は、各インターバルを表す。ここでは、一例として、７つの部品のそれぞれについて１枚の検査画像が取得され、従って、一連の検査画像の合計は７枚であるとする。従って、一連の検査画像間のインターバルの数は６つである。

図７（Ａ）に示す例では、一連の検査画像間のインターバルは、一定でない。例えば、この各インターバルは、カメラ１４による各検査画像の撮像時のインターバル（即ち撮影間隔）に対応する。撮影間隔は、図６に示したようにカメラ１４の移動量が一定でない場合に、それに伴って一定でないものとなる。このような表示タイミングは、ステップ５０８で設定される"不規則的な表示タイミング"として利用されてもよい。これにより、目視検査作業者の活性度の低下を検知した場合には、単調になり過ぎないように検査画像の表示タイミングを"不規則的な表示タイミング"にすることで注意を喚起することができる。尚、この表示タイミングに係るインターバルは、カメラ１４の撮影間隔に対応するので、カメラ１４の撮像にリアルタイムに同期したタイミングで検査画像を表示することが可能である。

図７（Ｂ）に示す例では、一連の検査画像間のインターバルは、一定である。このような表示タイミングは、ステップ５０４で設定される"規則的な表示タイミング"として利用されてもよい。ここで、同一部品を連続して観察する場合でも、ばらばらなタイミングで表示されるよりも、一定のタイミングでリズミカルに表示される方が、目視検査作業者にとっても快適で異常に気付き易くなる。従って、目視検査作業者の活性度が高い場合に、かかる"規則的な表示タイミング"を採用することにより、目視検査作業者の快適性が向上し、検査精度も向上することが期待できる。尚、この"規則的な表示タイミング"はカメラ１４の撮影間隔に対応しない。従って、かかる"規則的な表示タイミング"を採用する場合は、撮影した検査画像を一旦保持しておき、一連の検査画像が全て揃った後に一定の間隔で検査画像を表示することとしてもよい。

一方、同じようなリズムでの検査画像の表示が長時間続いた場合、目視検査作業者の活性度が低下してしまう場合もありうる。このため、活性度の低下を検知した場合には、逆に、図７（Ａ）に示したような"不規則的な表示タイミング"に切り替えることで、活性度の向上を促すことができる。このような不規則的な表示タイミングの一例として、一定のインターバルを0.8秒としておき、そのインターバルを±0.3秒の範囲で変動させるやり方などが可能である。

図８は、一連の検査画像の表示タイミングの他の説明図であり、（Ａ）は、インターバルが変動する例を示し、（Ｂ）は、インターバルが一定である場合を示し、（Ｃ）は、インターバルが０である場合を示す。図８において、ハッチング部分が検査画像の表示期間を示し、白抜き部分がインターバルを示す。ここでは、一例として、一連の検査画像の合計は６枚であるとする。

図８（Ａ）に示すタイミングは、図７（Ａ）に示したような"不規則的な表示タイミング"に対応する。尚、検査画像の表示期間の終了タイミングは、上述の如くその検査画像に対する目視検査作業者の検査結果の入力タイミングとなる（図５のステップ５２４参照）。

図８（Ｂ）に示すタイミングは、図７（Ｂ）に示したような"規則的な表示タイミング"に対応する。図８（Ｃ）に示すタイミングは、図７（Ｂ）に示したような"規則的な表示タイミング"の他の例に対応する。

図９は、反応時間に基づく活性度の推定方法の説明図である。（Ａ）は、活性度が高いときの目視検査作業者の反応時間の正規化度数を示す図であり、（Ｂ）は、活性度が低いときの目視検査作業者の反応時間の正規化度数を示す図である。図９には、ある同一部品に関する複数回の目視検査における各反応時間の正規化度数が示される。反応時間は、図９に示すように、所定の広がりを持って分布している。

図９（Ａ）に示すように、目視検査作業者の活性度が高い場合は、反応時間は比較的短く、ばらつきも小さい。他方、図９（Ｂ）に示すように、目視検査作業者の活性度が低い場合は、活性度が高い場合に比べて、反応時間は長くなり、そのばらつきも増加する。例えば、目視検査作業者の活性度が低い場合の反応時間の平均値ｍ'は、目視検査作業者の活性度が高い場合の反応時間の平均値ｍよりも長くなる。また、目視検査作業者の活性度が低い場合の反応時間の分散Ｓ'は、目視検査作業者の活性度が高い場合の反応時間の分散Ｓよりも長くなる。従って、反応時間の平均値や分散を用いることで、目視検査作業者の活性度の低下を推定できることがわかる。

図１０は、視線位置の動きに基づく活性度の推定方法の説明図であり、（Ａ）は、活性度が高いときの目視検査作業者の視線位置の動きを模式的に表す図であり、（Ｂ）は、活性度が低いときの目視検査作業者の視線位置の動きを模式的に表す図である。図１０には、検査画面上のある部品の検査画像に対する目視検査作業者の視線位置の動きが示されている。図１０において、矢印は視線位置の動き（動きベクトル）を表し、○は、その位置（注視点）で視線位置の動きが停止したことを表し、○の半径は、その停止時間（滞留時間）を表す。このように視線の動きは、注視位置（あるいは、注視点を結ぶ動きベクトル）とその停留時間のシーケンスとして表される。

図１０（Ａ）に示すように、目視検査作業者の活性度が高い場合は、検査画像中の必要な部分を適確に注視して行く。他方、図１０（Ｂ）に示すように、目視検査作業者の活性度が低い場合は、視線の動きが低下し、注視位置も不正確になってくる。従って、注視回数と注視位置、それらの停留時間、動きベクトルを正常時（目視検査作業者の活性度が高いとき）と比較することにより、目視検査作業者の活性度の低下を推定できることがわかる。

図１１は、目視検査作業者の活性度を表すパラメータ（測定値）の推移態様の例を示す図であり、（Ａ）及び（Ｂ）の相違は、目視検査作業者の相違である。目視検査作業者の活性度を表すパラメータは、上述のような目視検査作業者の反応時間や目視検査作業者の視線位置の動き等に基づく計測値である。この場合、正常時において取得された計測値の分布から閾値を予め導出し、記憶しておく。この場合、計測値が閾値を超えた場合に、目視検査作業者の活性度が低下したと判定する。閾値は、例えば、正常状態のばらつきの３σに設定する。なお、この計測値には個人差も含まれるため、図１１に示すように、目視検査作業者ごとに閾値を規定することが有効である。このため、例えば、図５のステップ５００では、目視検査作業者を判断し、目視検査作業者に応じた閾値を用いて、活性度が低下したか否かを判定することとしてもよい。

図１２は、部品の特徴部位に応じた検査画像の変換処理の一例の説明図であり、（Ａ）は、検査画面上の特定の検査対象部品Ｐ１０の初期のビューを示し、（Ｂ）は、変換後のビューを示す。図１２において、矩形の枠は検査画面の外枠を表す。図１２（Ａ）においては、視線の動きの検出結果が符号Ｑで示されている。視線の動きは、視線の検査画面上の交点で示されている。このような視線の動きの検出結果は、あくまで説明用であり、検査画面に表示されるものでない。

図１２（Ａ）に示す視線の動きの検出結果では、目視検査作業者は、検査対象部品Ｐ１０の側面９００を重点的に見ていることが分かる。この場合、部品特徴解析部１６４は、検査対象部品Ｐ１０の側面９００を特徴部位と判定してよい。これに応じて、検査画像変換処理部１８４は、図１２（Ｂ）に示すように、検査対象部品Ｐ１０の側面９００が正面になるように検査画像の表示時のビューを変換してもよい。また、検査画像変換処理部１８４は、検査対象部品Ｐ１０の側面９００が見やすいようにコントラストを強調してもよいし、明るさを増加してもよい（図５のステップ５１６参照）。これにより、より見易い検査画像を表示することができ、目視検査作業者の疲労の低減と検査精度の向上が期待できる。尚、このような変換処理は、検査対象部品Ｐ１０と同一の次の部品に係る検査画像から実行されることとしてもよい。尚、ビューを変換するためにカメラ１４の向きを変更する必要がある場合は、検査画像を取得し直すこととしてもよいし、検査対象部品Ｐ１０と同一の次の部品からカメラ１４の向きを変更することとしてもよい。同様に、明るさを増加するために照明の調節が必要となる場合は、照明の調節後に検査画像を取得し直すこととしてもよいし、検査対象部品Ｐ１０と同一の次の部品から照明を調節することとしてもよい。

図１３は、部品の特徴部位に応じた検査画像の変換処理の他の一例の説明図であり、（Ａ）は、検査画面上の特定の検査対象部品Ｐ１２の初期の表示状態を示し、（Ｂ）は、拡大変換後の表示状態を示す。

図１３（Ａ）に示す視線の動きの検出結果では、検査対象部品Ｐ１２において目視検査作業者の視線が集中して注視時間が長い部位９０２が存在する。この場合、部品特徴解析部１６４は、検査対象部品Ｐ１２の部位９０２を特徴部位と判定してよい。これに応じて、検査画像変換処理部１８４は、図１３（Ｂ）に示すように、注視点が広がっている部位９０２だけを残してそれ以外の部分をマスクしつつ、部位９０２を拡大してよい。これにより、必要な部分のみを視検査作業者に見せることができ、目視検査作業者の疲労の低減と検査精度の向上が期待できる。尚、同様に、このような変換処理は、検査対象部品Ｐ１２と同一の次の部品に係る検査画像から実行されることとしてもよい。尚、部位９０２を拡大するためにカメラ１４の位置を変更する必要がある場合は、検査画像を取得し直すこととしてもよいし、検査対象部品Ｐ１２と同一の次の部品からカメラ１４の位置を変更することとしてもよい。

ところで、プリント基板などの外観検査においては通常、自動外観検査装置（AOI）で自動検査を行った後、構造的に自動検査で対応できない部品や自動検査では良否判定の難しかった不良候補箇所などについて、人手による目視検査を実施している。目視検査の際に使用される装置は目視検査支援装置と呼ばれ、目視検査の対象部位の基板上の位置情報をAOIから受け取り、事前に設定した撮影方向や撮影倍率に従って検査対象を撮影し、それを検査画像としてモニタに表示する。

このような目視検査においては、単調で注意を要する作業が長時間続くため、疲労や集中力の低下などによる活性度の低下が生じ、その影響によって検査ミス（不良の見逃し等）が発生する。従来の目視検査支援装置は、カメラヘッドやステージを移動させながら、順番に検査対象を撮影してそのままモニタ画面に表示するだけであったため、どうしても作業が単調になっていた。そのような単調な作業が長時間続くことで目視検査作業者の活性度（集中力や覚醒度）が低下し、不良品の見逃しなどの検査ミスが生じていた。一方、不良の見逃しを起こさないように長時間の注意・注視を強いられることによって疲労が蓄積し、同様に作業効率や検査精度の低下が起こっていた。

この点、本実施例によれば、上述の如く、目視検査作業者が検査し易い検査画像をリズミカルに表示することが可能となり、目視検査作業者の身体的・心理的な負荷を軽減し、作業の効率と検査の精度を高めることができる。表示順序を入れ替えて同一部品を連続して表示することにより、良品と不良品の比較が容易になり、不良の見逃しを減少させることが可能となる。また、目視検査作業者の動作情報を計測して集中度や疲労度を推定しながら、検査画像の表示タイミングに変化を付けることで、目視検査作業者の活性度の維持を促し、作業効率を更に高めることが可能となる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した実施例では、目視検査作業者の活性度が低下した場合に、検査画像の表示順序や表示タイミングを変更している。しかしながら、これに代えて又はこれに加えて、目視検査作業者の活性度が低下した場合に、目視検査作業者の覚醒を促すために、検査画像のコントラストや明るさの強調処理を行うこととしてもよい（図５のステップ５１６参照）。また、目視検査作業者の活性度が低下した場合に、検査画像の表示範囲を変化させることとしてもよい（図５のステップ５１２、ステップ５１４参照）。

また、上述した実施例では、目視検査作業者の活性度が低下した場合に、検査画像の表示順序及び表示タイミングの双方を変更しているが、検査画像の表示順序及び表示タイミングのいずれか一方のみを変更することとしてもよい。

また、上述した実施例では、目視検査作業者の活性度は低下したか否かの２段階で判定されているが、３段階以上で判定されてもよい。この場合、検査画像の表示順序や表示タイミング、コントラスト等について、活性度に応じて段階的に変化させてもよい。

また、上述した実施例では、目視検査作業者の活性度は、特定の動作情報（目視検査作業者の視線の動きや反応時間）に基づいて判定されているが、他の動作情報が取得可能な場合は、他の動作情報が代替的に又は追加的に考慮されてもよい。他の動作情報は、例えば、目視検査作業者の瞬きの回数や頻度、ジェスチャ（あくび、伸び、しかめ顔など）、体表面温度、脈拍等のような活性度に関連する情報である。

また、上述した実施例では、目視検査対象物は、部品であったが、目視検査対象物は、目視検査可能な任意の物である。例えば、目視検査対象物は、基板Ｓ上の配線パターン等であってもよい。

１ 目視検査支援装置
１０ 画像撮影装置
１４ カメラ
３０ 視線計測装置
４０ 入力装置
５０ 表示装置
１００ 処理装置

Claims (10)

1. 目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
   目視検査作業者の動作情報を取得する動作情報取得装置と、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含み、
   前記処理装置は、前記目視検査作業者の活性度が低下した場合に、前記目視検査作業者に対する前記複数の画像の表示態様を変化させる、目視検査支援装置。
2. 目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
   目視検査作業者の動作情報を取得する動作情報取得装置と、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含み、
   前記複数の画像の表示態様を変化させることは、前記複数の画像の表示順序を変化させること、前記複数の画像の表示タイミングを変化させること、前記複数の画像におけるコントラストを変化させること、前記複数の画像の表示範囲を変化させること、及び、前記複数の画像の明るさを変化させること、のうちの少なくともいずれか１つを含む、目視検査支援装置。
3. 前記処理装置は、前記目視検査作業者の活性度が低下した場合に、前記目視検査作業者に対する前記複数の画像の表示態様を変化させる、請求項２に記載の目視検査支援装置。
4. 目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
   目視検査作業者の動作情報を取得する動作情報取得装置と、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含み、
   前記複数の画像の表示態様を変化させることは、前記複数の画像の表示順序を変化させることを含み、
   前記処理装置は、前記目視検査作業者の活性度が低下した場合に、前記複数の画像の表示順序を、同一又は同種の目視検査対象物に係る画像が連続する第１表示順序から、前記第１表示順序とは異なる第２表示順序に切り替える、目視検査支援装置。
5. 前記第２表示順序は、前記複数の画像の撮像順序に対応する、請求項４に記載の目視検査支援装置。
6. 目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
   目視検査作業者の動作情報を取得する動作情報取得装置と、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含み、
   前記複数の画像の表示態様を変化させることは、前記複数の画像の表示タイミングを変化させることを含み、
   前記処理装置は、前記目視検査作業者の活性度が低下した場合に、前記複数の画像間の表示切り替えの際のインターバルを一定値から変動値に切り替える、目視検査支援装置。
7. 前記目視検査作業者の動作情報は、前記画像を表示してから入力装置に前記目視検査作業者が検査結果を入力するまでの反応時間、及び、前記画像を表示している際の前記目視検査作業者の視線の動きの少なくともいずれか一方に関する情報を含む、請求項１〜６のうちのいずれか１項に記載の目視検査支援装置。
8. 目視検査対象物を撮像した異なる複数の画像を取得するカメラと、
   目視検査作業者の動作情報を取得する動作情報取得装置と、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度の判定結果に基づいて、前記複数の画像の表示態様を変化させる処理装置とを含み、
   前記目視検査作業者の動作情報は、前記画像を表示している際の前記目視検査作業者の視線の動きを含み、
   前記処理装置は、前記視線の動きに基づいて、前記目視検査対象物の特徴部位を特定する、目視検査支援装置。
9. 目視検査対象物を撮像した異なる複数の画像を取得し、
   目視検査作業者の動作情報を取得し、
   前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度が低下した場合に、前記目視検査作業者に対する前記複数の画像の表示態様を変化させる、
   処理をコンピューターに実行させる目視検査支援プログラム。
10. 目視検査対象物を撮像した異なる複数の画像を取得し、
    目視検査作業者の動作情報を取得し、
    前記動作情報に基づいて前記目視検査作業者の活性度を判定し、前記目視検査作業者の活性度が低下した場合に、前記目視検査作業者に対する前記複数の画像の表示態様を変化させることを含む目視検査支援方法。

Images