JP5891995B2 - 検査方法及び検査システム - Google Patents

Description

本件は、検査方法及び検査システムに関する。

ＰＣ（Personal Computer）や携帯電話などの電子機器、電子装置等では、ランプやＬＥＤ（Light Emitting Diode）の点灯や消灯によって各種の動作状態を可視表示している。このような装置の製造段階においては、ＬＥＤ等の点灯・消灯が適切に行われるか否か、所望の表示色が所望の位置で表示されるか否かなどに関する検査を行う必要がある。

従来においては、複数のＬＥＤの点灯・消灯、表示色を自動検出するため、カメラで検査対象を撮影し、当該撮影データと別途作成した基準データとを比較する検査装置が知られている（例えば、特許文献１参照）。

特開２０１０−２６６４２４号公報

しかしながら、上記特許文献１では、検査対象の装置ごとにＬＥＤの点灯状態を撮影した画像から基準データを予め作成し、作成した基準データを検査装置にて管理する必要があった。また、基準データと撮影データの比較を正確に行うためには、検査対象の装置を所定位置に精度よく位置決めする必要があった。

１つの側面では、本発明は、発光素子の検査における処理を簡素化することが可能な検査方法及び検査システムを提供することを目的とする。

本明細書に記載の検査方法は、表示画面及び発光素子を有する被検査装置において、前記表示画面上に前記発光素子の発光色の並び順の情報又は発光色の数の情報を表示する表示工程と、前記表示画面上に表示された情報に対応する方法で前記発光素子を発光させる発光工程と、前記情報が表示された表示画面と、前記発光素子とを撮影する撮影工程と、前記情報が表示された表示画面を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査工程と、を含んでいる。

本明細書に記載の検査システムは、表示画面及び発光素子を有する被検査装置の前記表示画面上に表示された前記発光素子の発光色の並び順の情報又は発光色の数の情報を撮影するとともに、前記表示画面上に表示された情報に対応する方法で発光させた前記発光素子を撮影する撮影装置と、前記情報を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査装置と、を備えている。

本実施例に記載の検査方法及び検査システムは、発光素子の検査における処理を簡素化することができるという効果を奏する。

一実施形態に係る検査システムの構成を概略的に示す図である。 ＰＣを示す斜視図である。 図３（ａ）は、ＰＣのハードウェア構成図であり、図３（ｂ）は、検査システムのハードウェア構成図である。 図４（ａ）は、ＰＣのＣＰＵが有する機能を示すブロック図であり、図４（ｂ）は、検査部のＣＰＵが有する機能を示すブロック図である。 図５（ａ）は、ＬＥＤテーブルを示す図であり、図５（ｂ）は、表示色テーブルを示す図である。 図６（ａ）は、色判定テーブルを示す図であり、図６（ｂ）は、画面サイズ判定テーブルを示す図である。 ＰＣの一連の処理を示すフローチャートである。 図８（ａ）〜図８（ｃ）は、ＰＣの動作を説明するための図（その１）である。 図９（ａ）〜図９（ｃ）は、ＰＣの動作を説明するための図（その２）である。 図１０（ａ）〜図１０（ｃ）は、ＰＣの動作を説明するための図（その３）である。 図１１（ａ）〜図１１（ｃ）は、ＰＣの動作を説明するための図（その４）である。 検査部の一連の処理を示すフローチャートである。 図１２のステップＳ５０の具体的処理を示すフローチャートである。 図１２のステップＳ５２の具体的処理を示すフローチャートである。 図１４のステップＳ１１６の処理を説明するための図である。 図１２のステップＳ５６の具体的処理を示すフローチャートである。 図１２のステップＳ６０の具体的処理を示すフローチャートである。 図１２のステップＳ６２の具体的処理を示すフローチャートである。 図１２のステップＳ６６の具体的処理を示すフローチャートである。

以下、検査システムの一実施形態について、図１〜図１９に基づいて詳細に説明する。図１には、被検査装置（検査対象）としてのノート型ＰＣ（Personal Computer）１０（以下、ＰＣ１０と表記する）の検査システム１００の構成が概略的に示されている。検査システム１００は、一例として、ノートＰＣ１０が有する発光素子としてのＬＥＤ（Light Emitting Diode）の検査を実行するシステムである。具体的には、検査システム１００は、ＬＥＤに点灯不良がないか、配線の間違いがないか、多色ＬＥＤが正常に点灯するかなどの検査を実行する。

（ＰＣ１０）
図２には、検査対象であるＰＣ１０の斜視図が示され、図３（ａ）には、ＰＣ１０のハードウェア構成が示されている。図３（ａ）及び図２に示すように、ＰＣ１０は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、可搬型記憶媒体用ドライブ９９、表示画面としてのディスプレイ９３、スピーカ９５、入力部９７、ＬＥＤ１１〜１５等を備えており、ＰＣ１０の構成各部は、バス９８に接続されている。ディスプレイ９３は、ＬＣＤ（Liquid Crystal Display）等であり、入力部９７は、キーボードやマウス等を含む。ＰＣ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラムをＣＰＵ９０が実行することにより、図４（ａ）の各部の機能が実現される。

図４（ａ）には、ＣＰＵ９０の機能ブロック図が示されている。図４（ａ）に示すように、ＣＰＵ９０は、プログラムを実行することで、主制御部３０、画面制御部３２、及びＬＥＤ制御部３４として機能する。なお、図４（ａ）には、ＨＤＤ９６等に格納されるＬＥＤテーブル４０（図５（ａ）参照）及び表示色テーブル４２（図５（ｂ）参照）も図示されている。

主制御部３０は、ＬＥＤテーブル４０及び表示色テーブル４２を用いて、画面制御部３２に対するディスプレイ９３の表示制御指示や、ＬＥＤ制御部３４に対するＬＥＤ１１〜１５の点灯・消灯制御指示を出力する。画面制御部３２は、主制御部３０からの指示に応じて、ディスプレイ９３の表示制御を実行する。ＬＥＤ制御部３４は、主制御部３０からの指示に応じて、ＬＥＤ１１〜１５の点灯・消灯制御を実行する。

ここで、ＬＥＤテーブル４０は、各ＬＥＤ１１〜１５の発光色及び位置座標を格納するテーブルである。ＬＥＤテーブル４０は、図５（ａ）に示すように、「Ｎｏ．」、「ＬＥＤ表示色」、「位置Ｘ」、「位置Ｙ」の各フィールドを有する。「Ｎｏ．」のフィールドには、ＬＥＤの通し番号が格納される。「ＬＥＤ表示色」のフィールドには、表示色の番号（図５（ｂ）の表示色テーブル４２で定義される表示色の「Ｎｏ．」）が格納される。「位置Ｘ」及び「位置Ｙ」には、ＰＣ１０上におけるＬＥＤ１１〜１５の位置座標が格納される。

また、表示色テーブル４２は、図５（ｂ）に示すように、「Ｎｏ．」、「Ｒ」、「Ｇ」、「Ｂ」の各フィールドを有する。「Ｎｏ．」のフィールドには、表示色の通し番号が格納される。「Ｒ」、「Ｇ」、「Ｂ」の各フィールドには、ＲＧＢ値を示す３つの８ビット符号無し整数（０〜２５５）が格納される。

これらＬＥＤテーブル４０と表示色テーブル４２によれば、キーボードの奥側に１列に配置されているＬＥＤ１１〜１３（図２参照）は、それぞれ赤色、赤色、緑色の光を発光する単色ＬＥＤとなっている。また、キーボードの手前側に配置されたＬＥＤ１４は、青色の光を発光する単色ＬＥＤであり、ＬＥＤ１５は、緑色及び赤色の光を発光する多色ＬＥＤとなっている。なお、ＬＥＤ１５は、後述する検査においては、緑色及び赤色のうち、緑色を優先して発光するものとする。

なお、ＰＣ１０では、上述した各機能のほか、様々な機能を有しているが、それら機能の図示及び説明は省略するものとする。

（検査システム１００）
検査システム１００は、図１に示すように、検査装置としての検査部２０と、撮像装置としての画面監視用カメラ２４及びＬＥＤ検査用カメラ２６と、を備える。また、検査システム１００は、ＰＣ１０が搭載されたパレット６０を所定方向（図１のＸ軸方向）に搬送するベルトコンベア６２と、ベルトコンベア６２近傍に設けられた読取装置２２と、を備える。

図３（ｂ）には、検査部２０のハードウェア構成が示されている。検査部２０は、ＣＰＵ１９０、ＲＯＭ１９２、ＲＡＭ１９４、記憶部（ここではＨＤＤ（Hard Disk Drive））１９６、可搬型記憶媒体用ドライブ１９９、ディスプレイ１９３、スピーカ１９５、入出力インタフェース１９７等を備えており、検査部２０の構成各部は、バス１９８に接続されている。入出力インタフェース１９７には、読取装置２２、画面監視用カメラ２４及びＬＥＤ検査用カメラ２６が接続されている。検査部２０では、ＲＯＭ１９２あるいはＨＤＤ１９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムをＣＰＵ１９０が実行することにより、図４（ｂ）の各部の機能が実現される。

図４（ｂ）には、検査部２０の機能ブロック図が示されている。図４（ｂ）に示すように、検査部２０は、ＣＰＵ１９０がプログラムを実行することで、画像取得部１３４、画像処理部１３２、主制御部１３０、出力制御部１３６として機能する。なお、図４（ｂ）には、ＨＤＤ１９６等に格納されている色判定テーブル１４０及び画面サイズ判定テーブル１４２についても図示されている。

画像取得部１３４は、画面監視用カメラ２４によって撮影された画像及びＬＥＤ検査用カメラ２６によって撮影された画像を取得し、画像処理部１３２に対して送信する。

画像処理部１３２は、画像取得部１３４が取得した画像や、色判定テーブル１４０、画面サイズ判定テーブル１４２に基づいて、画像処理を行い、当該画像処理結果を主制御部１３０に対して送信する。

主制御部１３０は、画像処理部１３２から送信されてきた画像処理結果や、読取装置２２の読み取り結果に基づいて、出力制御部１３６に対して出力指示を出す。

出力制御部１３６は、主制御部１３０からの出力指示に応じて、ディスプレイ１９３やスピーカ１９５による出力を制御する。例えば、出力制御部１３６は、主制御部１３０からの指示に応じて、検査結果に異常があったことをディスプレイ１９３やスピーカ１９５を介してユーザに通知する。

ここで、色判定テーブル１４０は、図６（ａ）に示すように、「Ｎｏ．」、「Hue（色調）」、「Saturation（彩度）」、「Value（明度）」の各フィールドを有する。「Ｎｏ．」のフィールドには、色の通し番号が格納される。なお、色判定テーブル１４０の「Ｎｏ．」の通し番号と、図５（ｂ）の表示色テーブル４２の「Ｎｏ．」の通し番号とが一致する場合、同じ色を意味するものとする。「Hue（色調）」、「Saturation（彩度）」、「Value（明度）」の各フィールドには、各色を定義する色調、彩度、明度の範囲（Ｍｉｎ値〜Ｍａｘ値）が格納される。

また、画面サイズ判定テーブル１４２は、図６（ｂ）に示すように、「Ｎｏ．」、「型名」、「Ｗ」、「Ｈ」、「Ｉｎｃｈ」の各フィールドを有する。「Ｎｏ．」のフィールドには、ＰＣの通し番号が格納され、「型名」のフィールドには、ＰＣの型番が格納される。「Ｗ」、「Ｈ」、「Ｉｎｃｈ」の各フィールドには、型番に対応するＰＣの画面サイズ（幅（ｍｍ）、高さ（ｍｍ）、インチ）が格納される。

画面監視用カメラ２４は、図１に示すように、所定位置（範囲）に存在するＰＣ１０のディスプレイ９３に対向する位置に設けられている。画面監視用カメラ２４は、ディスプレイ９３及びその周辺を撮影し、撮影画像を画像取得部１３４に対して送信する。ＬＥＤ検査用カメラ２６は、所定位置（範囲）に存在するＰＣ１０のキーボードに対向する位置（上方）に設けられている。ＬＥＤ検査用カメラ２６は、キーボード周辺（ＬＥＤ１１〜１５を含む）を撮影し、撮影画像を画像取得部１３４に対して送信する。

ベルトコンベア６２は、ＰＣ１０を図１のＸ軸に沿って一定速度で搬送する装置である。読取装置２２は、ベルトコンベア６２によって搬送されているＰＣ１０のディスプレイ９３が画面監視用カメラ２４の撮影視野内に入る前、すなわち検査が行われる前に、ＰＣ１０に貼付されたバーコード等からＰＣ１０の情報（型番等）を読み取る。

（処理）
次に、検査対象のＰＣ１０による処理、及び検査部２０による処理について詳細に説明する。

前提として、ＰＣ１０は、ベルトコンベア６２上にパレット６０を介して載置され、Ｘ軸に沿って搬送されているものとする。また、ＰＣ１０は、画面監視用カメラ２４の撮影視野内にディスプレイ９３の少なくとも一部が入る位置に存在しているものとする。

（ＰＣ１０の処理）
図７には、ＰＣ１０の処理に関するフローチャートが示されている。図７の処理では、まず、ステップＳ１０において、画面制御部３２が、主制御部３０の指示の下、ディスプレイ９３に白ベタ表示を行う。すなわち、画面制御部３２は、ディスプレイ９３のＲＧＢ値をＲ：２５５、Ｇ：２５５、Ｂ：２５５とする。図８（ａ）には、ステップＳ１０におけるＰＣ１０の状態が示されている。本実施形態では、一例として、白ベタ表示を２秒間継続して行うものとする。なお、２秒間の白ベタ表示の間に、ＰＣ１０のディスプレイ９３の全てが、画面監視用カメラ２４の撮影視野内に入るものとする。

次いで、ステップＳ１２では、ＬＥＤ制御部３４が、主制御部３０の指示の下、全ＬＥＤ１１〜１５を点灯する。また、これと同時に、画面制御部３２が、主制御部３０の指示の下、ディスプレイ９３の画面上（白ベタ表示している領域内）に各ＬＥＤ１１〜１５の表示色（点灯色）の円を描く。この場合、主制御部３０は、ＬＥＤテーブル４０及び表示色テーブル４２を参照し、キーボードの左奥側から右奥側、左手前側から右手前側の順（ＬＥＤ１１→１２→１３→１４→１５の順）に表示色（点灯色）の円を描く。この場合のＰＣ１０の状態が、図８（ｂ）に示されている。なお、図８（ｂ）の状態は、１秒間継続されるものとする。この図８（ｂ）の状態がＰＣ１０において維持されている間に、検査部２０において後述するＬＥＤ点灯不良検査が行われる。

次いで、ステップＳ１４では、ＬＥＤ制御部３４が、主制御部３０の指示の下、全ＬＥＤ１１〜１５を点灯した状態からＬＥＤを端から１つ消し、画面上の円も端から１つ消す（黒色表示する）。この場合のＰＣ１０の状態が図８（ｃ）に示されている。図８（ｃ）の状態では、ＬＥＤ１１が消灯されるとともに、画面上の左端の円が黒色表示されている。

次いで、ステップＳ１６では、主制御部３０は、所定時間（例えば０．５秒）経過するまで待機する。所定時間経過した後は、ステップＳ１８に移行し、主制御部３０は、全てのＬＥＤ１１〜１５を１度ずつ消し、ディスプレイ９３上の円を１度ずつ消したか（黒色表示したか）否かを判断する。ここでの判断が否定された場合には、ステップＳ１４に戻る。そして、ステップＳ１４に戻った後は、ステップＳ１８の判断が肯定されるまで、ステップＳ１４〜Ｓ１８を繰り返す。これにより、ＰＣ１０では、図９（ａ）、図９（ｂ）、図９（ｃ）、図１０（ａ）の順に、ＬＥＤ点灯又は消灯が行われるとともに、画面表示が実行されることになる。なお、ＰＣ１０において図９（ａ）〜図１０（ａ）のように遷移している間に、検査部２０において後述する配線間違い検査が行われる。

一方、ステップＳ１８の判断が肯定された場合には、ステップＳ２０に移行する。ステップＳ２０では、画面制御部３２が、主制御部３０の指示の下、ディスプレイ９３に赤ベタ表示を行うとともに、全ＬＥＤ１１〜１５を消灯する。すなわち、画面制御部３２は、ディスプレイ９３のＲＧＢ値をＲ：２５５、Ｇ：０、Ｂ：０とする。図１０（ｂ）には、この場合のＰＣ１０の状態が示されている。なお、赤ベタ表示及び全ＬＥＤの消灯は、１秒間継続して実行されるものとする。なお、赤ベタ表示は、ＰＣ１０におけるＬＥＤ１１〜１５の点灯不良検査及び配線間違い検査が終了したことを意味する表示である。

次いで、ステップＳ２２では、主制御部３０が、表示色の数を設定する。具体的には、主制御部３０は、図５（ａ）のＬＥＤテーブル４０及び図５（ｂ）の表示色テーブル４２を参照し、全ＬＥＤ１１〜１５において表示可能な全色と数とを特定する。図５（ａ）のＬＥＤテーブル４０の場合、赤色（ＬＥＤ表示色＝１）が３つ、緑色（ＬＥＤ表示色＝２）が２つ、青色（ＬＥＤ表示色＝３）が１つと特定される。

次いで、ステップＳ２４では、主制御部３０は、全ての色を表示したか否かを判断する。ここでは、まだ１色も表示していないので、判断は否定され、ステップＳ２６に移行する。

ステップＳ２６に移行すると、ＬＥＤ制御部３４が、主制御部３０の指示の下、ＬＥＤ表示色＝１（赤色）を発光可能なＬＥＤを点灯し、同時に、画面制御部３２が、主制御部３０の指示の下、点灯されるべき色・個数の円を画面上に表示する。この場合、図１０（ｃ）に示すように、ＬＥＤ１１，１２，１５を点灯するとともに、画面上（白ベタ表示している領域内）に３つの赤色の円を表示する。その後は、ステップＳ２４に戻る。

そして、ステップＳ２４では、主制御部３０は、再度、全ての色を表示したか否かを判断するが、これまで、赤色しか表示していない（緑色及び青色を表示していない）ので、判断は否定され、ステップＳ２６に移行する。そして、ステップＳ２６では、図１１（ａ）に示すように、ＬＥＤ１３，１５を点灯（緑色）するとともに、画面上（白ベタ表示している領域内）に２つの緑色の円を表示する。また、次にステップＳ２４の判断が否定された場合には、ステップＳ２６において、図１１（ｂ）に示すように、ＬＥＤ１４を点灯（青色）するとともに、画面上（白ベタ表示している領域内）に１つの青色の円を表示する。なお、ＰＣ１０において図１０（ｃ）〜図１１（ｂ）のように遷移している間、検査部２０では、後述する多色ＬＥＤ検査が行われる。

その後、ステップＳ２４の判断が肯定されると、ステップＳ２８に移行する。ステップＳ２８では、画面制御部３２が、主制御部３０の指示の下、ディスプレイ９３に青ベタ表示を行うとともに、全ＬＥＤ１１〜１５を消灯する（図１１（ｃ）参照）。すなわち、画面制御部３２は、ディスプレイ９３のＲＧＢ値をＲ：０、Ｇ：０、Ｂ：２５５とする。この場合、青ベタ表示及び全ＬＥＤの消灯は、２秒間継続して実行されるものとする。なお、青ベタ表示は、ＰＣ１０におけるＬＥＤ１１〜１５の検査終了を意味する表示である。

以上のように、本実施形態では、ＰＣ１０は、ベルトコンベア６２に搭載された状態で画面監視用カメラ２４の撮影視野内を移動している間、図８（ａ）〜図１１（ｃ）に示すような画面表示及びＬＥＤ点灯・消灯を実行する。

（検査部２０の処理）
次に、ＰＣ１０における図７の処理と同時並行的に実行される、検査部２０の処理について、図１２〜図１９のフローチャートに沿って詳細に説明する。

なお、図１２の処理の前提として、読取装置２２が、主制御部１３０の指示の下、ＰＣ１０に貼付されたバーコード等から情報（型番等）を読み取り、主制御部１３０は、当該読み取られた情報を取得しているものとする。

図１２の処理では、まず、ステップＳ５０において、白ベタ画面検出のサブルーチンが実行される。具体的には、図１３のフローチャートに沿った処理を実行する。図１３の処理では、ステップＳ１００において、画像取得部１３４が画面監視用カメラ２４を用いた連続撮影を開始する。画像取得部１３４は取得した撮影画像を画像処理部１３２に送信する。なお、連続撮影は、５枚／秒程度の撮影であるものとする。

次いで、ステップＳ１０２では、画像処理部１３２が、撮影画像の輝度変換を実行する。この場合、撮影画像（カラー画像）の全ピクセルについて、次式（１）を用いて輝度変換を行う
ｙ（輝度）＝０．３×Ｒ＋０．２９×Ｇ＋０．１１×Ｂ …（１）

次いで、ステップＳ１０４では、画像処理部１３２が、輝度ｙが１２８以上の領域を抽出する。なお、この場合の領域とは、隣接する８つのピクセルで繋がったピクセルの塊であるものとする。また、ステップＳ１０４では、画像処理部１３２は、抽出した領域の外接矩形を求め、当該外接矩形の幅（Ｗ）と高さ（Ｈ）を取得する。

次いで、ステップＳ１０６では、画像処理部１３２が、画面サイズ判定テーブル１４２を参照し、抽出領域（外接矩形）のサイズが、読取装置２２で情報（型番）が読み取られたＰＣの画面サイズと一致するか否かを判断する。このステップＳ１０６では、画面監視用カメラ２４の視野内にディスプレイ９３全体が入ったか否かを判断している。なお、画像処理部１３２では、取得した画像の１ピクセルがディスプレイ９３の何ｍｍに相当するかを定義しておく必要がある。

ステップＳ１０６の判断が否定された場合、すなわち画面監視用カメラ２４の撮影視野内にディスプレイ９３全体が入っていない場合には、ステップＳ１０２に戻る。一方、ステップＳ１０６の判断が肯定された場合、すなわち、画面監視用カメラ２４の撮影視野内にディスプレイ９３全体が入った場合には、図１３の全処理を終了して、図１２のステップＳ５２に移行する。このように、本実施形態では、ディスプレイ９３全体が画面監視用カメラ２４の撮影視野内に入った段階から、図１２のステップＳ５２以降の検査が実行されるようになっている。

ステップＳ５２では、ＬＥＤ点灯不良検査のサブルーチンが実行される。具体的には、図１４のフローチャートに沿った処理が実行される。

図１４では、ステップＳ１１０において、画像取得部１３４が、画面監視用カメラ２４及びＬＥＤ検査用カメラ２６を用いた撮影を行い、撮影画像を取得する。画像取得部１３４は、取得した撮影画像を画像処理部１３２に対して送信する。

次いで、ステップＳ１１２では、画像処理部１３２が、画面領域を抽出する。この場合、画像処理部１３２は、ＰＣ１０の移動速度に基づいて撮影画像内の推定領域（画面領域と推定される領域）を求め、誤差を考慮して領域を切り出し、切り出した領域において、ステップＳ１０２、Ｓ１０４と同様の処理を行う。

次いで、ステップＳ１１４では、画像処理部１３２が、画面監視用カメラ２４の撮影画像（ここでは、図８（ｂ）のような表示状態のディスプレイ９３が撮影される）と、色判定テーブル１４０とを用いて、ＬＥＤ期待値を抽出する。この場合、画像処理部１３２は、ステップＳ１１２で抽出した画面領域と、色判定テーブル１４０とを用いて、ＬＥＤ期待値として、左から「赤、赤、緑、青、緑」という並び順を抽出する。

次いで、ステップＳ１１６では、画像処理部１３２が、ＬＥＤ検査用カメラ２６の撮影画像と色判定テーブル１４０とを用いて、ＬＥＤ１１〜１５の発光色の並び順を抽出する。この場合、画像処理部１３２は、図１５に矢印にて示すように、キーボード近傍の撮影画像を下方向にシフトしながら左右方向に順次スキャンして、発光色（赤、赤、緑、青、緑）を順に抽出する。

次いで、ステップＳ１１８では、画像処理部１３２が、ＬＥＤ期待値と、ＬＥＤの発光色の順番（並び順）とが一致するか否かを判断する。ここでの判断が肯定された場合には、ＬＥＤ点灯不良がないので、画像処理部１３２は、ステップＳ１２０において正常と判定した後、図１４の全処理を終了し、図１２のステップＳ５４に移行する。一方、ステップＳ１１８の判断が否定された場合には、ＬＥＤ点灯不良があるため、画像処理部１３２は、ステップＳ１２２において異常と判定した後、図１４の全処理を終了し、図１２のステップＳ５４に移行する。なお、画像処理部１３２の判定結果は、主制御部１３０に送信される。なお、図１４の処理では、ＬＥＤ１１〜１５を全て点灯すべきところ、点灯できないＬＥＤが存在していたり、異なる並び順になっていたりした場合に「異常」と判定されることから、ＬＥＤの点灯不良の検査が行えているといえる。

ステップＳ５４に移行すると、主制御部１３０は、画像処理部１３２の判定結果が「異常」であったか否かを判断する。ここでの判断が肯定された場合（異常であった場合）には、ステップＳ６８に移行し、主制御部１３０は、検査部２０のディスプレイ１９３やスピーカ１９５を介して異常を通知（発報）した後、図１２の全処理を終了する。一方、ステップＳ５４の判断が否定された場合（正常であった場合）には、ステップＳ５６に移行する。

ステップＳ５６に移行した場合、配線間違い検査のサブルーチンが実行される。このステップＳ５６では、図１６のフローチャートに沿った処理が実行される。

図１６では、まず、ステップＳ１３０において、画像取得部１３４が、画面監視用カメラ２４及びＬＥＤ検査用カメラ２６を用いて撮影し、撮影画像を取得する。画像取得部１３４は、取得した撮影画像を画像処理部１３２に対して送信する。

次いで、ステップＳ１３２では、画像処理部１３２が、画面領域を抽出する。この場合、画像処理部１３２は、図１４のステップＳ１１２と同様の処理を実行する。

次いで、ステップＳ１３４では、画像処理部１３２が、ディスプレイ９３の画面上に赤ベタ表示がなされているか否かを判断する。この場合、画像処理部１３２は、色判定テーブル１４０に基づいて、赤ベタ表示（抽出した画面領域の全てが赤表示）されているか否かを判断する。ここでの判断が肯定された場合には、図１６の全処理を終了して、図１２のステップＳ６０に移行するが、否定された場合には、ステップＳ１３６に移行する。

ステップＳ１３６に移行した場合、画像処理部１３２は、画面監視用カメラ２４の撮影画像（ここでは図８（ｃ）の表示状態のディスプレイ９３が撮影される）と、色判定テーブル１４０とを用いて、ＬＥＤ期待値を抽出する。この場合、画像処理部１３２は、ＬＥＤ期待値として、左から「黒、赤、緑、青、緑」という並び順を抽出する。また、画像処理部１３２は、抽出したＬＥＤ期待値を用いて消灯位置（黒色：左から１番目）を特定する。

次いで、ステップＳ１３８では、画像処理部１３２が、ＬＥＤ検査用カメラ２６の撮影画像と色判定テーブル１４０とを用いて、ＬＥＤ１１〜１５の発光色と並び順を抽出し、当該並び順と全点灯時の並び順を用いて消灯位置を特定する。例えば、全点灯時の発光色の並び順が前述のように「赤、赤、緑、青、緑」であった場合に、今回「赤、緑、青、緑」であったとする。この場合、画像処理部１３２は、左から１番目又は２番目を消灯位置して特定する。

次いで、ステップＳ１４０では、主制御部１３０が、ＬＥＤ期待値に基づく消灯位置（ステップＳ１３６で特定）と、ＬＥＤの消灯位置（ステップＳ１３８で特定）と、が一致するか否かを判断する。ここでの判断が肯定された場合には、主制御部１３０は、ステップＳ１４２において正常と判定し、ステップＳ１３０に戻る。一方、ステップＳ１４０の判断が否定された場合には、主制御部１３０は、ステップＳ１４４において異常と判定し、ステップＳ１３０に戻る。

以降においては、画像処理部１３２及び主制御部１３０が、図９（ａ）〜図１０（ａ）に示すＰＣ１０の状態を撮影した撮影画像を用いて、ステップＳ１３６〜Ｓ１４４の処理・判断を実行し、各状態が正常であるか否かを判定する。そして、図１０（ａ）の状態の判定が終了し、ＰＣ１０において図１０（ｂ）の赤ベタ表示がなされた段階で、図１６のステップＳ１３４の判断が肯定される。この場合、主制御部１３０は、図１６の全処理を終了し、図１２のステップＳ５８に移行する。なお、図１６の処理では、ＬＥＤ１１〜１５のうち消灯すべきＬＥＤが異なっている場合に「異常」と判定されることから、ＬＥＤに対する配線間違いの検査を行えているといえる。

ステップＳ５８に移行すると、主制御部１３０は、図１６の処理において異常と判定されたか否かを判断する。ここでの判断が肯定された場合（異常があった場合）には、ステップＳ６８に移行し、主制御部１３０は、検査部２０のディスプレイ１９３やスピーカ１９５を介して異常を通知（発報）した後、図１２の全処理を終了する。一方、ステップＳ５８の判断が否定された場合（正常であった場合）には、ステップＳ６０に移行する。

ステップＳ６０では、赤ベタ画面検出のサブルーチンが実行される。このステップＳ６０では、図１７のフローチャートに沿った処理が実行される。図１７の処理では、まず、ステップＳ１５０において、主制御部１３０が開始時刻ｔ０を取得する。次いで、ステップＳ１５２では、画像取得部１３４が、画面監視用カメラ２４を用いて撮影を行い、撮影画像を取得する。なお、画像取得部１３４は、撮影画像を画像処理部１３２に対して送信する。

次いで、ステップＳ１５４では、画像処理部１３２が、図１４のステップＳ１１２と同様にして、撮影画像から画面領域を抽出する。次いで、ステップＳ１５６では、画像処理部１３２は、色判定テーブル１４０に基づいて、赤ベタ（抽出した画面領域の全てが赤表示）であるか否かを判断する。ここでの判断が否定された場合には、ステップＳ１５２に戻るが、肯定された場合には、ステップＳ１５８に移行する。ステップＳ１５８では、主制御部１３０が、現在時刻ｔｎを取得する。そして、ステップＳ１６０では、主制御部１３０が、ｔｎ−ｔ０が１秒を超えたか否かを判断する。ここでの判断が肯定された場合には、図１７の全処理を終了し、図１２のステップＳ６２に移行する。一方、ステップＳ１６０の判断が否定された場合には、ステップＳ１５２に戻り、ステップＳ１５２〜Ｓ１６０の処理・判断が繰り返される。そして、ステップＳ１６０の判断が肯定された段階で、図１７の全処理を終了し、図１２のステップＳ６２に移行する。

ステップＳ６２では、多色ＬＥＤ検査のサブルーチンが実行される。具体的には、図１８のフローチャートに沿った処理が実行される。

図１８の処理では、まず、ステップＳ１７０において、画像取得部１３４が、画面監視用カメラ２４及びＬＥＤ検査用カメラ２６を用いて撮影し、撮影画像を取得する。画像取得部１３４は、取得した撮影画像を画像処理部１３２に対して送信する。

次いで、ステップＳ１７２では、画像処理部１３２が、ステップＳ１１２と同様にして、画面領域を抽出する。次いで、ステップＳ１７４では、画像処理部１３２が、抽出した画面領域が青ベタか否かを色判定テーブル１４０を用いて判断する。ここでの判断が肯定された場合には、図１８の全処理を終了して、図１２のステップＳ６４に移行するが、否定された場合には、ステップＳ１７６に移行する。

ステップＳ１７６では、画像処理部１３２が、画面監視用カメラ２４の撮影画像（ここでは、図１０（ｃ）の表示状態のディスプレイ９３が撮影される）と、色判定テーブル１４０とを用いて、ＬＥＤ期待値（色と数）を抽出する。この場合、画像処理部１３２は、ＬＥＤ期待値として、「赤２つ」を抽出する。

次いで、ステップＳ１７８では、画像処理部１３２が、ＬＥＤ検査用カメラ２６の撮影画像と色判定テーブル１４０とを用いて、ＬＥＤ１１〜１５の発光色と数を抽出する。

次いで、ステップＳ１８０では、主制御部１３０が、ＬＥＤ期待値（赤２つ）と、ＬＥＤの発光色及び数と、が一致するか否かを判断する。ここでの判断が肯定された場合には、主制御部１３０は、ステップＳ１８２において正常と判定し、ステップＳ１７０に戻る。一方、ステップＳ１８０の判断が否定された場合には、主制御部１３０は、ステップＳ１８４において異常と判定し、ステップＳ１７０に戻る。

以降、画像処理部１３２と主制御部１３０は、図１１（ａ）、図１１（ｂ）に示すＰＣ１０の状態（画面表示及びＬＥＤ点灯）を撮影した撮影画像を用いて、ステップＳ１７６〜Ｓ１８４の処理・判断を実行し、各状態が正常であるか否かを判定する。そして、図１１（ｂ）の状態の判定が終了し、図１１（ｃ）に示すように、ＰＣ１０のディスプレイ９３上に青ベタが表示された段階で、図１８のステップＳ１７４の判断が肯定される。この場合、主制御部１３０は、図１２のステップＳ６４に移行する。なお、図１８の処理では、ＬＥＤ１１〜１５のうち多色ＬＥＤが正常に動作しないと「異常」と判定されることから、多色ＬＥＤの検査を行えているといえる。

ステップＳ６４に移行すると、主制御部１３０は、図１８の処理において異常と判定されたか否かを判断する。ここでの判断が肯定された場合（異常があった場合）には、ステップＳ６８に移行し、主制御部１３０は、検査部２０のディスプレイ１９３やスピーカ１９５を介して異常を通知（発報）した後、図１２の全処理を終了する。一方、ステップＳ６４の判断が否定された場合（正常であった場合）には、ステップＳ６６に移行する。

ステップＳ６６では、青ベタ画面検出のサブルーチンが実行される。具体的には、ステップＳ６６では、図１９のフローチャートに沿った処理が実行される。図１９の処理では、まず、ステップＳ１９０において、主制御部１３０が開始時刻ｔ０を取得する。次いで、ステップＳ１９２では、画像取得部１３４が、画面監視用カメラ２４を用いて撮影を行い、撮影画像を取得する。なお、画像取得部１３４は、撮影画像を画像処理部１３２に対して送信する。

次いで、ステップＳ１９４では、画像処理部１３２が、ステップＳ１１２と同様にして、撮影画像から画面領域を抽出する。次いで、ステップＳ１９６では、画像処理部１３２が、色判定テーブル１４０に基づいて、青ベタ（抽出された画面領域の全てが青表示）であるか否かを判断する。ここでの判断が否定された場合には、ステップＳ１９２に戻るが、肯定された場合には、ステップＳ１９８に移行する。ステップＳ１９８では、主制御部１３０が、現在時刻ｔｎを取得する。そして、ステップＳ２００では、主制御部１３０が、ｔｎ−ｔ０が２秒を超えたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１９２に戻るが、肯定された場合には、図１９の全処理を終了するとともに、図１２の全処理を終了する。

以上のような処理を実行することで、本実施形態では、ＰＣ１０が、画面監視用カメラ２４及びＬＥＤ検査用カメラ２６の撮影視野内を移動している間に、ＬＥＤ点灯不良検査（Ｓ５２）、配線間違い検査（Ｓ５６）、及び多色ＬＥＤ検査（Ｓ６２）を実行することができる。

以上、詳細に説明したように、本実施形態によると、ＰＣ１０において、ディスプレイ９３上にＬＥＤ１１〜１５の発光色の並び順の情報や発光色の数の情報を表示し（ステップＳ１２，Ｓ１４，Ｓ２６）、ディスプレイ９３上に表示された情報に対応する方法でＬＥＤ１１〜１５を発光させ（ステップＳ１２，Ｓ１４，Ｓ２６）、情報が表示されたディスプレイ９３と、ＬＥＤ１１〜１５とを撮影し（ステップＳ１１０、Ｓ１３０、Ｓ１７０）、ディスプレイ９３を撮影した結果と、ＬＥＤ１１〜１５を撮影した結果とを比較して、ＬＥＤ１１〜１５の検査を行う（ステップＳ１１４〜Ｓ１２２、Ｓ１３６〜Ｓ１４４、Ｓ１７６〜Ｓ１８４）。これにより、本実施形態では、ＰＣ１０が所定位置に位置決めされたときのＬＥＤ検査用カメラ２６の撮影視野内におけるＬＥＤのＸＹ座標や、発光色に関する期待値を用意するなどしなくても、ディスプレイ９３上に表示される発光色の並び順の情報や発光色の数の情報（画面監視用カメラ２４で撮影した画像から得られる期待値）と、ＬＥＤを撮影した画像との比較により、ＬＥＤ１１〜１５の検査を行うことができる。また、ＬＥＤ１１〜１５の検査において、画像内のＬＥＤ座標を取得するなどする必要もない。これにより、期待値作成やＬＥＤ座標取得に要する手間や工数を削減することができるとともに、ＰＣ１０の各カメラ２４，２６に対する高精度な位置決め等も不要となるので、検査に要する手間や工数を削減し、処理を簡素化することができる。また、本実施形態では、ＰＣ１０と検査部２０に通信アダプタ等の同期用機器を設ける必要がないため、コスト削減を図ることができる。更に、本実施形態では、検査部２０が期待値を保持する必要がないので、検査部２０の記憶容量の削減を図ることもできる。

また、本実施形態では、複数のＬＥＤ１１〜１５を全て発光させた場合の発光色の並び順の情報をディスプレイ９３に表示するとともに、複数のＬＥＤ１１〜１５を全て発光させる（Ｓ１２）。これにより、カメラ２４，２６で撮影された結果の比較を行うことで、ＬＥＤの点灯不良を検査することができる。

また、本実施形態では、複数のＬＥＤ１１〜１５のうちの特定のＬＥＤ（例えば左端から所定番目のＬＥＤ）を消灯したときの発光色の並び順の情報をディスプレイ９３上に表示するとともに、特定のＬＥＤ以外の発光素子を発光させることとしている（Ｓ１４）。これにより、カメラ２４，２６で撮影された結果の比較を行うことで、配線間違いの検査を行うことができる。

また、本実施形態では、ＬＥＤ１５が多色発光可能なＬＥＤ（多色ＬＥＤ）であり、特定の発光色を発光可能なＬＥＤの数の情報を表示するとともに、特定の発光色での発光が可能なＬＥＤを発光させることとしている。これにより、カメラ２４，２６で撮影された結果の比較を行うことで、多色ＬＥＤが正常に発光しているか否かの検査を行うことができる。

また、本実施形態では、ＰＣ１０が、ディスプレイ９３への表示と、当該表示に対応するＬＥＤの発光とを同時に行うこととしている（Ｓ１２，Ｓ１４，Ｓ２６）。これにより、検査において用いる期待値を、検査部２０に対して適切なタイミングで提供することができる。

なお、上記実施形態では、ＬＥＤ点灯不良検査（Ｓ５２）、配線間違い検査（Ｓ５６）、多色ＬＥＤ検査（Ｓ６２）を行う場合について説明したが、これに限らず、上記検査のうち少なくとも１つを行うこととしてもよい。また、例えば、検査対象のＰＣとして多色ＬＥＤを搭載しているＰＣと搭載していないＰＣとが存在する場合には、多色ＬＥＤの搭載有無に応じて多色ＬＥＤ検査の実行有無を決定することとしてもよい。

なお、上記実施形態では、画面サイズ判定テーブル１４２を用意し、検査対象のＰＣに対応する大きさの画面（白ベタ表示）が撮影された場合に、検査を開始する場合（図１２のステップＳ５０）について説明した。しかしながら、これに限られるものではなく、画面監視用カメラ２４の撮影視野内に白ベタの矩形領域が収まった段階（撮影視野の外縁に白ベタの矩形領域が接しなくなった段階）で、検査を開始するようにしてもよい。

なお、上記実施形態では、図５（ａ）のＬＥＤテーブル４０において、各ＬＥＤを座標（ＰＣ１０上における座標）で管理する場合について説明したが、これに限られるものではない。例えば、ＬＥＤを並び順（図１５のスキャン動作により検出される順）のみで管理することとしてもよい。

なお、上記実施形態では、検査システム１００が、画面監視用カメラ２４と、ＬＥＤ検査用カメラ２６とを備える場合について説明したが、これに限られるものではない。例えば、ディスプレイ９３と、ＬＥＤ１１〜１５とを１つのカメラで同時に撮影することとしてもよい。この場合、撮影視野の上側領域をディスプレイ９３の撮影に用い、下側領域をＬＥＤ１１〜１５の撮影に用いるというように予め領域を用途に応じて分けておいてもよい。

なお、上記実施形態では、ベルトコンベア６２を用いてＰＣ１０を搬送している間に、ＰＣ１０の検査を行う場合について説明したが、これに限られるものではない。例えば、人やロボットがカメラ２４，２６に対向する位置にＰＣ１０を搬送するようにし、その状態でＰＣ１０の検査を行うこととしてもよい。

なお、上記実施形態では、検査対象がＰＣ（ノートＰＣ）である場合について説明したが、これに限られるものではなく、ディスプレイと発光素子（ＬＥＤ）を有する装置であれば、その種別は特に問わない。例えば、検査対象としては、デスクトップ型のＰＣやタブレット型のＰＣ、携帯電話などを採用することができる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１） 表示画面及び発光素子を有する被検査装置において、前記表示画面上に前記発光素子の発光色の並び順の情報又は発光色の数の情報を表示する表示工程と、
前記表示画面上に表示された情報に対応する方法で前記発光素子を発光させる発光工程と、
前記情報が表示された表示画面と、前記発光素子とを撮影する撮影工程と、
前記情報が表示された表示画面を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査工程と、を含む検査方法。
（付記２） 前記被検査装置は、複数の発光素子を有し、
前記表示工程では、前記複数の発光素子を全て発光させた場合の発光色の並び順の情報を表示し、
前記発光工程では、前記複数の発光素子を全て発光させることを特徴とする付記１に記載の検査方法。
（付記３） 前記被検査装置は、複数の発光素子を有し、
前記表示工程では、前記複数の発光素子のうちの特定の発光素子を消灯したときの発光色の並び順の情報を表示し、
前記発光工程では、前記特定の発光素子以外の発光素子を発光させることを特徴とする付記１又は２に記載の検査方法。
（付記４） 前記被検査装置は、多色発光可能な発光素子を有し、
前記表示工程では、特定の発光色を発光可能な発光素子の数の情報を表示し、
前記発光工程では、前記特定の発光色での発光が可能な発光素子を発光させることを特徴とする付記１〜３のいずれかに記載の検査方法。
（付記５） 前記表示工程と前記発光工程は、同時に行われることを特徴とする付記１〜４のいずれかに記載の検査方法。
（付記６） 表示画面及び発光素子を有する被検査装置の前記表示画面上に表示された前記発光素子の発光色の並び順の情報又は発光色の数の情報を撮影するとともに、前記表示画面上に表示された情報に対応する方法で発光させた前記発光素子を撮影する撮影装置と、
前記情報を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査装置と、を備える検査システム。
（付記７） 前記被検査装置は、複数の発光素子を有し、
前記複数の発光素子を全て発光させた場合の発光色の並び順の情報を表示するとともに、前記複数の発光素子を全て発光することを特徴とする付記６に記載の検査システム。
（付記８） 前記被検査装置は、複数の発光素子を有し、
前記複数の発光素子のうちの特定の発光素子を消灯したときの発光色の並び順の情報を表示するとともに、前記特定の発光素子以外の発光素子を発光することを特徴とする付記６又は７に記載の検査システム。
（付記９） 前記被検査装置は、多色発光可能な発光素子を有し、
特定の発光色を発光可能な発光素子の数の情報を表示するとともに、前記特定の発光色での発光が可能な発光素子を発光することを特徴とする付記６〜８のいずれかに記載の検査システム。

１０ ＰＣ（被検査装置）
１１〜１５ ＬＥＤ（発光素子）
２０ 検査部（検査装置）
２４ 画面監視用カメラ（撮影装置）
２６ ＬＥＤ検査用カメラ（撮影装置）
９３ ディスプレイ（表示画面）

Claims (5)

1. 表示画面及び発光素子を有する被検査装置において、前記表示画面上に前記発光素子の発光色の並び順の情報又は発光色の数の情報を表示する表示工程と、
   前記表示画面上に表示された情報に対応する方法で前記発光素子を発光させる発光工程と、
   前記情報が表示された表示画面と、前記発光素子とを撮影する撮影工程と、
   前記情報が表示された表示画面を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査工程と、を含む検査方法。
2. 前記被検査装置は、複数の発光素子を有し、
   前記表示工程では、前記複数の発光素子を全て発光させた場合の発光色の並び順の情報を表示し、
   前記発光工程では、前記複数の発光素子を全て発光させることを特徴とする請求項１に記載の検査方法。
3. 前記被検査装置は、複数の発光素子を有し、
   前記表示工程では、前記複数の発光素子のうちの特定の発光素子を消灯したときの発光色の並び順の情報を表示し、
   前記発光工程では、前記特定の発光素子以外の発光素子を発光させることを特徴とする請求項１又は２に記載の検査方法。
4. 前記被検査装置は、多色発光可能な発光素子を有し、
   前記表示工程では、特定の発光色を発光可能な発光素子の数の情報を表示し、
   前記発光工程では、前記特定の発光色での発光が可能な発光素子を発光させることを特徴とする請求項１〜３のいずれか一項に記載の検査方法。
5. 表示画面及び発光素子を有する被検査装置の前記表示画面上に表示された前記発光素子の発光色の並び順の情報又は発光色の数の情報を撮影するとともに、前記表示画面上に表示された情報に対応する方法で発光させた前記発光素子を撮影する撮影装置と、
   前記情報を撮影した結果と、前記発光素子を撮影した結果とを比較して、前記発光素子の検査を行う検査装置と、を備える検査システム。
   
   

Images