JP7151873B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP7151873B2
JP7151873B2 JP2021508497A JP2021508497A JP7151873B2 JP 7151873 B2 JP7151873 B2 JP 7151873B2 JP 2021508497 A JP2021508497 A JP 2021508497A JP 2021508497 A JP2021508497 A JP 2021508497A JP 7151873 B2 JP7151873 B2 JP 7151873B2
Authority
JP
Japan
Prior art keywords
imaging
image
angle
partial area
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508497A
Other languages
English (en)
Other versions
JPWO2020194541A1 (ja
Inventor
剛志 柴田
徹 高橋
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020194541A1 publication Critical patent/JPWO2020194541A1/ja
Application granted granted Critical
Publication of JP7151873B2 publication Critical patent/JP7151873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws

Landscapes

  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、検査装置、検査方法、および記録媒体に関する。
通常、工場などで製造された製品については、製品の表面に疵などの異常がないかどうかの検査が実施される。このような検査を自動化したシステムとして、対象物を撮影した画像を解析した結果に基づいて対象物の異常を検出する技術が各種提案ないし実用化されている。
例えば、特許文献1には、対象物の表面を異なる撮影方向から撮影した複数の画像を取得し、これら複数の画像を分析することにより、様々な疵を検出するようにした技術が記載されている。また、特許文献1には、対象物の表面を異なる方向から照明し、その照明の方向を前後左右に変更させることで複数の方向からの画像を取得して検査精度を向上させた装置についても記載されている。
特開2007-155455号公報
対象物を照明する方向や撮影する方向などの違う様々な撮影条件の下で対象物を撮影することによって、検査の精度を高めることはできる。しかしながら、撮影条件の種類が増えれば、1対象物当たりの平均検査時間が長くなる。この平均検査時間を短縮するために撮影条件の数を減らせば、検査精度が低下する。また、様々な撮影条件の中から適する撮影条件を事前調整によって決定するならば、検査の高精度化と平均検査時間の短縮はできるけれども事前調整コストがかかる。そのため、検査の高精度化、平均検査時間の短縮、事前調整コストの削減をすべて満足させるのは困難であった。
本発明の目的は、上述した課題を解決する検査装置を提供することにある。
本発明の一形態に係る検査装置は、
対象物を撮影する条件を様々な撮影条件に変更する変更手段と、
所定の条件が成立するまでに実施する対象物の検査では、前記様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択する撮影条件選択手段と、
前記変更手段を制御することによって、前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得する画像取得手段と、
前記取得された画像に基づいて前記対象物の異常を検出する異常検出手段と、
前記取得された画像に基づいて前記有効度を更新する有効度更新手段と、
を備える。
また本発明の他の形態に係る検査方法は、
所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択し、
前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得し、
前記取得された画像に基づいて前記対象物の異常を検出し、
前記取得された画像に基づいて前記有効度を更新する、
検査方法。
また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択する処理と、
前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得する処理と、
前記取得された画像に基づいて前記対象物の異常を検出する処理と、
前記取得された画像に基づいて前記有効度を更新する処理と、
を行わせるためのプログラムを記録する。
本発明は上述した構成を有することにより、検査の高精度化、平均検査時間の短縮、および、事前調整コストの削減が行える。
本発明の第1の実施形態に係る検査装置の構成例を示す図である。 本発明の第1の実施形態に係る検査装置におけるコンピュータの構成の一例を示すブロック図である。 本発明の第1の実施形態に係る検査装置における広角カメラ画像のフォーマット例を示す図である。 本発明の第1の実施形態に係る検査装置における学習前撮影条件テーブルのエントリのフォーマット例を示す図である。 本発明の第1の実施形態に係る検査装置における学習前撮影条件テーブルで定義される様々な撮影条件を説明するための模式図である。 本発明の第1の実施形態に係る検査装置における有効度テーブルのエントリのフォーマット例を示す図である。 本発明の第1の実施形態に係る検査装置における高速カメラ画像のフォーマット例を示す図である。 本発明の第1の実施形態に係る検査装置における検査画像のフォーマット例を示す図である。 本発明の第1の実施形態に係る検査装置における検査結果のフォーマットの例を示す図である。 本発明の第1の実施形態に係る検査装置の動作の一例を示すフローチャートである。 同一の照射角度を有し、撮影角度が互いに相違する撮影条件のグループの例を説明するための模式図である。 同一の照射角度を有し、撮影角度が互いに相違する撮影条件のグループを処理する際の高速カメラの移動経路の例を示す図である。 同一の撮影角度を有し、照射角度が互いに相違する撮影条件のグループの例を説明するための模式図である。 同一の撮影角度を有し、照射角度が互いに相違する撮影条件のグループを処理する際の照明器の移動経路の例を示す図である。 本発明の第2の実施形態に係る検査装置のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る検査装置100の構成例を示す図である。図1を参照すると、検査装置100は、コンピュータ110と、広角カメラ120と、高速カメラ121と、照明器122と、ロボットアーム130~132と、ベルトコンベア140とから構成されている。
広角カメラ120は、検査対象である製品150の上面全体を所定の画像解像度で広角に撮影する撮像装置である。製品150は、同一の製造工程によって大量生産されるパーソナルコンピュータ、携帯端末などの工業製品あるいはその部品である。検査装置100は、製品150の上面に疵などの異常がないかどうかを検査する。製品150の上面は、例えば一辺が数十センチメートル程度の矩形形状である。広角カメラ120は、例えば、数百万画素程度の画素容量を有するCCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary MOS)イメージセンサを備えたデジタルカメラであってよい。また広角カメラ120は、可視光かつ白黒カメラであってもよいし、カラーカメラであってもよい。広角カメラ120は、ロボットアーム130に支持されている。また広角カメラ120は、ケーブル160を通じてコンピュータ110に接続されている。但し、広角カメラ120は、無線によってコンピュータ110に接続されていてもよい。
高速カメラ121は、製品150の上面に設定される部分領域151を狭い画角且つ高い画像解像度で撮影する撮像装置である。部分領域151は、広角カメラ120で撮影した製品150の上面画像を複数のブロックに分割したときの1つのブロックに相当する。部分領域151は、例えば一辺が数センチメートル程度の矩形形状である。高速カメラ121は、例えば、数百万画素程度の画素容量を有するCCDイメージセンサやCMOSイメージセンサを備えたハイスピードカメラであってよい。また高速カメラ121は、可視光かつ白黒カメラであってもよいし、カラーカメラであってもよい。高速カメラ121は、ロボットアーム131に支持されている。また高速カメラ121は、ケーブル161を通じてコンピュータ110に接続されている。但し、高速カメラ121は、無線によってコンピュータ110に接続されていてもよい。
照明器122は、製品150の部分領域151に照明光を照射する照明装置である。照明器122は、例えば、点光源で構成されている。但し、照明器122は、点光源に限定されず、面光源、リング状光源、線状光源であってもよい。照明器122は、ロボットアーム132に支持されている。また照明器122は、ケーブル162を通じてコンピュータ110に接続されている。
ロボットアーム130~132は、複数の関節130a~132a(図1ではそれぞれ1個のみ図示)により連結された複数のアーム130b~132bを有している。ロボットアーム130~132は、ケーブル164~166を通じてコンピュータ110に接続されている。ロボットアーム130~132は、コンピュータ110からの指令に従って複数の関節130a~132aを支点としてアーム角度を調整することによって、広角カメラ120、高速カメラ121、および、照明器122の位置および姿勢を調整する。
ベルトコンベア140は、検査対象である製品150を検査場所へ搬送する輸送手段である。ベルトコンベア140は、ケーブル163を通じてコンピュータ110に接続されている。ベルトコンベア140には、複数の製品150が一定の間隔で載置されており、1つの製品150の検査が終了すると、次の製品150を所定の検査場所まで搬送されるように構成されている。
コンピュータ110は、ロボットアーム130~132、広角カメラ120、高速カメラ121、照明器122、ベルトコンベア140を制御するように構成されている。コンピュータ110は、ベルトコンベア140を制御することによって、検査対象の製品150の位置決めを行うように構成されている。またコンピュータ110は、ロボットアーム130を制御することによって、広角カメラ120の位置および撮影方向を調整する。またコンピュータ110は、ロボットアーム131を制御することによって、高速カメラ121の位置および撮影方向を調整する。またコンピュータ110は、ロボットアーム132を制御することによって、照明器122の位置および照射方向を調整する。またコンピュータ110は、広角カメラ120で撮影された製品150の画像を取得するように構成されている。またコンピュータ110は、高速カメラ121で撮影された製品150の画像を取得するように構成されている。またコンピュータ110は、高速カメラ121から取得した製品150の画像に基づいて製品150の検査面の異常を検出するように構成されている。またコンピュータ110は、異常検出の結果をオペレータに提示するように構成されている。またコンピュータ110は、高速カメラ121から取得した製品150の画像に基づいて、撮影条件毎の有効度を更新するように構成されている。またコンピュータ110は、所定の条件が成立すると、上記有効度に基づいて、検査に使用する撮影条件を絞り込むように構成されている。
図2は、コンピュータ110の構成の一例を示すブロック図である。図2を参照すると、コンピュータ110は、ベルトコンベアI/F(インターフェース)部111と、ロボットアームI/F部112-1~112-3と、カメラI/F部113-1~113-2と、照明I/F部113-2と、通信I/F部114と、操作入力部115と、画面表示部116と、記憶部117と、演算処理部118とから構成されている。
ベルトコンベアI/F部111は、ケーブル163を通じてベルトコンベア140と演算処理部118との間でデータの送受信を行うように構成されている。ロボットアームI/F部112-1~112-3は、ケーブル164~166を通じてロボットアーム130~132と演算処理部118との間でデータの送受信を行うように構成されている。カメラI/F部113-1~113-2は、ケーブル160~161を通じて広角カメラ120および高速カメラ121に接続され、広角カメラ120および高速カメラ121と演算処理部118との間でデータの送受信を行うように構成されている。照明I/F部113-3は、ケーブル162を通じて照明器122に接続され、照明器122と演算処理部118との間で制御信号の送受信を行うように構成されている。通信I/F部114は、データ通信回路から構成され、有線または無線によって図示しない外部装置との間でデータ通信を行うように構成されている。操作入力部115は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部118に出力するように構成されている。画面表示部116は、LCD(Liquid Crystal Display)などの画面表示装置から構成され、演算処理部118からの指示に応じて、検査結果画面などの各種情報を画面表示するように構成されている。
記憶部117は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部118における各種処理に必要な処理情報およびプログラム1171を記憶するように構成されている。プログラム1171は、演算処理部118に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部114などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部117に保存される。記憶部117に記憶される主な処理情報には、広角カメラ画像1172、学習前撮影条件テーブル1173、有効度テーブル1174、学習後撮影条件テーブル1175、高速カメラ画像1176、検査画像1177、検査結果1178がある。
広角カメラ画像1172は、広角カメラ120で撮影された画像を含んで構成されている。図3は、広角カメラ画像1172のフォーマットの例を示す。この例の広角カメラ画像1172は、製品150のID(製品ID)と広角カメラ120で撮影された製品150上面の画像と複数の部分領域データとから構成されている。また、1つの部分領域データは、部分領域の画像と部分領域のID(部分領域ID)と部分領域の位置を特定する座標値とから構成されている。部分領域の画像は、製品150上面の画像を複数に分割して得られた部分領域の画像である。部分領域の座標値は、例えば、部分領域を構成する矩形の各頂点のXYZ座標値で与えられる。ここで、XYZ座標値は、実空間に事前に設定された三次元座標のX座標値、Y座標値、Z座標値から構成される。
学習前撮影条件テーブル1173は、高速カメラ121によって製品150を撮影する際に使用するものとして事前に設定された様々な撮影条件を定義するテーブルである。図4は、学習前撮影条件テーブル1173を構成するエントリ(1つの行)のフォーマットの例を示す。この例では、学習前撮影条件テーブル1173の1つのエントリは、当該撮影条件のID(撮影条件ID)と、高速カメラ121の位置および方向を定めるカメラ条件と、照明器122の位置および方向(照射方向)を定める照明条件とから構成されている。
図5は、学習前撮影条件テーブル1173で定義される様々な撮影条件を説明するための模式図である。図5に示すように、製品150の現に検査する部分領域151を中心とし、製品150の上面に平行な赤道面を有する仮想的な半球体を考える。また、半球体の0度から360度までの経度を所定幅(例えば1度)で分割する経度線、および、0度から90度までの緯度を所定幅(例えば1度)で分割する緯度線を描画する。照明器122の様々な位置の例としては、上記の経度線と緯度線との交点の全てとすることができる。また、各位置における照明器122の照射方向は、何れも半球体の中心方向とすることができる。但し、0度の緯度では、照明器122から部分領域151を照明できないため、緯度に下限(例えば1度ないし数度)を設定してもよい。
また、照明器122が或る経度線と或る緯度線との交点に位置するときの高速カメラ121の様々な位置としては、上記の経度線と緯度線との交点の全てとすることができる。また、各位置における高速カメラ121の撮影方向は、何れも半球体の中心方向とすることができる。但し、0度の緯度では、高速カメラ121から部分領域151を撮像できないため、緯度に下限(例えば1度ないし数度)を設定してもよい。また、直接照明方法では、高速カメラ121と照明器122とが同じ方向から撮影および照明できないので、照明器122の位置から所定距離以内の交点は高速カメラ121を配置する位置から除外してもよい。なお、高速カメラ121および照明器122の様々な位置は上記に限定されない。経度線および緯度線の間隔は1度でなく、2度以上であってもよい。また、高速カメラ121および照明器122は、同じ半球体の面上である必要はなく、半径が互いに異なる2つの半球体の一方の面上に高速カメラ121を配置し、他方の面上に照明器122を配置してもよい。
有効度テーブル1174は、学習前撮影条件テーブル1173に定義された撮影条件毎の有効度を記憶するテーブルである。有効度テーブル1174は、部分領域151毎に用意されている。図6は、1つの部分領域に対応する有効度テーブル1174のフォーマットの例を示す。この例では、有効度テーブル1174は、受け持つ部分領域151のIDを有している。また有効度テーブル1174は、撮影条件IDと有効度の組を撮影条件の数だけ有している。有効度は、例えば、値が大きいほど撮影条件としてより好ましいことを表している。全ての撮影条件の有効度の初期値は0である。学習が進むにつれて、検査に適する撮影条件の有効度がインクリメントされていく。
学習後撮影条件テーブル1175は、学習前撮影条件テーブル1173に定義された撮影条件から選択された一部の撮影条件を記憶するテーブルである。学習後撮影条件テーブル1175は、部分領域151毎に用意されている。1つの部分領域151に対応する学習後撮影条件テーブル1175は、部分領域IDと1以上の撮影条件IDとから構成されている。
高速カメラ画像1176は、高速カメラ121で撮影された画像である。図7は、高速カメラ画像1176のフォーマットの例を示す。この例の高速カメラ画像1176は、製品IDと部分領域151毎のデータ(部分領域データ)とから構成されている。また、1つの部分領域データは、部分領域IDと1以上の撮影データとから構成されている。さらに、1つの撮影データは、部分領域画像と撮影条件IDとから構成されている。このように、高速カメラ画像1176は、高速カメラ121で撮影された部分領域画像と、製品IDと、部分領域IDと、撮影条件IDとが関連付けられている。
ここで、図5を参照して説明したように、高速カメラ121は、製品150をあらゆる角度から撮影する。そのため、広角カメラ120で撮影した製品150の上面画像を複数の矩形形状の部分領域151に分割したとしても、高速カメラ121で撮影した部分領域151の画像は、その撮影位置に応じて台形形状に変形し、その変形の状態も撮影位置に応じて様々である。そこで、高速カメラ121で或る部分領域151を撮影する際には、その部分領域151のXYZ座標値で特定される部分領域151の中心をカメラ光軸が貫く撮影方向に高速カメラ121で撮影した画像から、広角カメラ120で撮影した部分領域の画像に対応する領域を部分領域画像として抽出する。具体的には、広角カメラ120で撮影した部分領域の画像を基準画像とし、基準画像から幾つかの特徴点(エッジやコーナなど)を抽出する。次に、高速カメラ121で撮影した画像をオリジナル画像とし、特徴点に対応する対応点をオリジナル画像から検出する。対応点の検出方法には様々な手法があり、例えばLucas-kanade法等が代表的である。次に、大部分の対応点と特徴点とが重ね合わさるように、オリジナル画像を幾何的に変形するための変形パラメータを算出する。例えば、変形パラメータとして射影変換パラメータを算出する。次に、求めた射影変換パラメータを用いて、オリジナル画像を変形して位置合わせを行う。そして、位置合わせ後のオリジナル画像から基準画像に対応する領域を部分領域画像として抽出する。この抽出した部分領域画像が、高速カメラ画像1176として記憶部117に記憶される。
検査画像1177は、高速カメラ画像1176から選択された検査用の画像である。図8は、検査画像1177のフォーマットの例を示す。この例の検査画像1177は、製品IDと、部分領域151毎の検査データとから構成されている。また、1つの部分領域151に対応する検査データは、部分領域IDと、1以上の撮影データとから構成されている。さらに、1つの撮影データは、部分領域画像と撮影条件IDとから構成されている。
検査結果1178は、検査の結果を示すデータである。図9は、検査結果1178のフォーマットの例を示す。この例の検査結果1178は、製品IDと部分領域毎の検査結果とから構成されている。また、1つの部分領域151に対応する検査結果は、部分領域IDと、疵などの欠陥の有無などを示すテキストと、疵などの欠陥を強調した欠陥画像とから構成されている。上記欠陥画像は、検査画像1177から検出された疵などの異常部分を背景と異なる色で着色し、或いは、太線化して強調したものである。
演算処理部118は、MPUなどのプロセッサとその周辺回路を有し、記憶部117からプログラム1171を読み込んで実行することにより、上記ハードウェアとプログラム1171とを協働させて各種処理部を実現するように構成されている。演算処理部118で実現される主な処理部は、ベルトコンベア制御部1181、ロボットアーム制御部1182、広角カメラ画像取得部1183、撮影条件選択部1184、高速カメラ画像取得部1185、異常検出部1186、有効度更新部1187である。
ベルトコンベア制御部1181は、ベルトコンベアI/F部111を通じてベルトコンベア140に制御信号を送出することにより、ベルトコンベア140の動きを制御するように構成されている。
ロボットアーム制御部1182は、ロボットアームI/F部112-1~112-3を通じてロボットアーム130~132に制御信号を送出することにより、ロボットアーム130~132の動きを制御するように構成されている。
広角カメラ画像取得部1183は、ロボットアーム制御部1182を通じてロボットアーム130の動きを制御することにより、広角カメラ120の位置および撮影方向を調整するように構成されている。また広角カメラ画像取得部1183は、カメラI/F部113-1を通じて広角カメラ120にコマンドを送出することにより、製品150の画像を広角カメラ120で取得し、広角カメラ画像1172を生成して記憶部117に記憶するように構成されている。広角カメラ画像取得部1183は、広角カメラ画像1172の生成では、通信I/F部114あるいは操作入力部115から製品IDを入力し、画像を分割して各分割領域の画像を生成し、また自動採番により部分領域IDを生成する。
撮影条件選択部1184は、初期状態では、記憶部117に記憶された学習前撮影条件テーブル1173に記憶された全ての撮影条件を選択するように構成されている。また撮影条件選択部1184は、1つの製品150の検査が終了し、有効度更新部1187による有効度テーブル1174の更新が終了する毎に、部分領域151毎に、所定の条件が成立したか否かを判定するように構成されている。所定の条件としては、例えば、学習前撮影条件テーブル1173を使用して検査を行った製品150の総数が事前に設定された数を超えたという条件がある。上記総数は、全ての部分領域で同じであっても、異なっていてもよい。但し、所定の条件は上記に限定されない。例えば、所定の条件は、有効度が1以上の撮影条件の総数が過去一定数の製品150でほぼ変化していないという条件であってもよい。或いは、学習前撮影条件テーブル1173を使用してから一定時間が経過したという条件であってもよい。その他、上記所定の条件として、学習の終了条件を判定するものであれば、どのような条件を使用してもよい。そして、撮影条件選択部1184は、所定の条件が成立した部分領域151については、有効度が1以上の撮影条件を学習前撮影条件テーブル1173から抽出し、この抽出した撮影条件を有する学習後撮影条件テーブル1175を生成し、記憶部117に記憶するように構成されている。また、撮影条件選択部1184は、学習後撮影条件テーブル1175を生成した部分領域151については、学習前撮影条件テーブル1173に代えて学習後撮影条件テーブル1175から全ての撮影条件を選択するように構成されている。
高速カメラ画像取得部1185は、ロボットアーム制御部1182を通じてロボットアーム131~132の動きを制御することにより、撮影条件選択部1184が選択した撮影条件のそれぞれの下で製品150の部分領域151の高速カメラ121による画像を取得し、記憶部117に記憶するように構成されている。
異常検出部1186は、記憶部117に記憶された高速カメラ画像1176から、部分領域151毎に、検査に適する画像を1画像以上選択し、検査画像1177として記憶部117に記憶するように構成されている。検査に適する画像か否かを判定する基準は、種々考えられる。例えば、製品150の表面の疵は、画像上では高周波領域に強度分布を持つため、異常検出部1186は、高周波領域に強度分布を持つ画像を検査に適する画像として選択する。また異常検出部1186は、コントラストが良く、対象物からの反射光によってカメラ入力の限界光量を超えてサチュレーションしていない画像を検査に適する画像として選択する。他方、異常検出部1186は、コントラストが悪い画像や、上記サチュレーションを起こしている画像は、検査に適する画像からは除外する。但し、検査画像を選択する基準は、上記に限定されない。
また異常検出部1186は、検査画像1177に基づいて、部分領域151毎の異常を検出するように構成されている。検査画像1177から疵などの異常を検出する方法は、種々考えられる。例えば、異常検出部1186は、数画素の小単位毎に周囲と比較して、濃度の変化点を疵として検出する。但し、検査画像1177から異常を検出する方法は、上記に限定されない。疵等の異常のない基準画像と検査画像とを比較することによって、異常を検出する方法など、他の任意の方法を使用することができる。
また異常検出部1186は、部分領域151毎に疵などの有無を示す検査結果1178を生成し、記憶部117に記憶するように構成されている。また異常検出部1186は、製品150の全ての部分領域151の検査結果1178から製品150の異常検出結果を生成し、画面表示部116に出力し、または/および、通信I/F部114を通じて外部の端末へ送信するように構成されている。
有効度更新部1187は、製品150の検査画像1177に基づいて、有効度テーブル1174を更新するように構成されている。有効度更新部1187は、検査画像1177から検査を終えた製品150の部分領域に対応する検査データを読み出し、その検査データから部分領域IDと全ての撮影条件IDとを抽出し、以下の処理を行う。即ち、有効度更新部1187は、抽出した部分領域IDと撮影条件IDとによって特定される有効度テーブル1174のエントリの有効度を1だけインクリメントする。同様の処理を抽出した全ての撮影条件IDについて繰り返す。
図10は検査装置100の動作の一例を示すフローチャートである。以下、図10を参照して、検査装置100の動作を説明する。
検査装置100のコンピュータ110は起動されると、先ず、初期化処理を実施する(ステップS1)。この初期化処理では、コンピュータ110は、通信I/F部114等の外部入力インターフェースを通じて、記憶部117に、学習前撮影条件テーブル1173を読み込み、また、広角カメラ画像1172、有効度テーブル1174、学習後撮影条件テーブル1175、高速カメラ画像1176、検査画像1177、および、検査結果1178を初期化する。また、撮影条件選択部1184は、学習前撮影条件テーブル1173を現に使用する撮影条件テーブルとして選択する。
次にコンピュータ110のベルトコンベア制御部1181は、ベルトコンベア140を制御することにより、1つの製品150を所定の場所に位置決めする(ステップS2)。
次にコンピュータ110の広角カメラ画像取得部1183は、広角カメラ画像1172を生成して記憶部117に記憶する(ステップS2)。このステップS2の詳細は以下の通りである。先ず、広角カメラ画像取得部1183は、ロボットアーム制御部1182を通じてロボットアーム130の動きを制御することにより、広角カメラ120を製品150の上方所定位置まで移動させ、広角カメラ120にコマンドを送出することにより、製品150の画像を取得する。次に、広角カメラ画像取得部1183は、画像取得後、ロボットアーム制御部1182を通じてロボットアーム130の動きを制御することにより、高速カメラ121および照明器122の移動の妨げにならない位置へ広角カメラ120を移動させる。次に広角カメラ画像取得部1183は、取得した画像を分割して複数の部分領域の画像を生成し、製品150のID、各部分領域の画像、部分領域ID、および部分領域の座標値を有する広角カメラ画像1172を生成し、記憶部117に記憶する。
次にコンピュータ110は、ステップS5からステップS9を部分領域の数だけ繰り返す(ステップS4、S10)。現に処理している部分領域を以下、注目中部分領域と記す。
ステップS5において、撮影条件選択部1184は、注目中部分領域で現に使用する撮影条件テーブルである学習前撮影条件テーブル1173から全ての撮影条件を選択する。
ステップS6において、高速カメラ画像取得部1185は、撮影条件選択部1184で選択された撮影条件のそれぞれの下で製品150の注目中部分領域の画像を取得し、高速カメラ画像1176を生成し、記憶部117に記憶する。このとき、高速カメラ画像取得部1185は、前述したような広角カメラ120で撮影した注目中部分領域の画像との位置合わせなどを実施する。
ステップS7において、異常検出部1186は、高速カメラ画像1176から検査用の画像を選択し、検査画像1177として記憶部117に記憶する。ステップS8において、異常検出部1186は、検査画像1177に基づいて注目中部分領域の異常を検出し、注目中部分領域に対応する検査結果1178を記憶部117に記憶する。ステップS9において、有効度更新部1187は、検査画像1177に基づいて、注目中部分領域の検査に使用された高速カメラ画像の撮影条件に対応する有効度をインクリメントする。
次にコンピュータ110の異常検出部1186は、製品150の全ての部分領域151の検査結果1178を記憶部117から読み出し、この読み出した検査結果1178に基づいて製品150の異常検出結果を生成し、画面表示部116に出力し、または/および、通信I/F部114を通じて外部の端末へ送信する(ステップS11)。
次にコンピュータ110の撮影条件選択部1184は、部分領域毎に所定の条件が成立したか否かの判定を行う(ステップS12)。次に撮影条件選択部1184は、所定の条件が成立した部分領域については、有効度テーブル1174に基づいて、学習後撮影条件テーブル1175を生成する(ステップS13)。所定の条件が成立した部分領域については、これ以降、学習後撮影条件テーブル1175が現に使用する撮影条件テーブルとして選択される。他方、所定の条件が成立していない部分領域については、学習前撮影条件テーブル1173が現に使用する撮影条件テーブルとして選択されたままである。
その後、コンピュータ110は、次の製品150の検査を行うためにステップS2に戻り、上述した処理と同様の処理を次の製品150について繰り返す。
続いて、ステップS6で行われる高速カメラ画像取得部1185の動作例を説明する。
<動作例1>
高速カメラ画像取得部1185は、撮影条件選択部1184によって選択された撮影条件を、同一の照射角度(即ち、同一の照明器122の位置)を有し、撮影角度(即ち、高速カメラ121の位置)が互いに相違する撮影条件のグループに分類する。
図11は、撮影条件選択部1184によって選択された撮影条件を、同一の照射角度を有し、撮影角度が互いに相違する撮影条件のグループに分類したときの1つのグループを説明するための模式図である。図11は、図5と同様に、製品150の検査対象とする部分領域151を中心とし、製品150の上面に平行な赤道面を有する仮想的な半球体に経度線と緯度線を描画したものを上から見た図である。説明を簡略化するために、経度線と緯度線は粗い間隔で描画している。また、図11において、照明器122を配置する箇所には白い丸印を描き、高速カメラ121を配置する箇所には黒い丸印を描いている。
次に高速カメラ画像取得部1185は、上記グループ毎に、ロボットアーム制御部1182を制御することによって照射角度を当該グループの照射角度に固定した状態で、高速カメラ121と製品150との相対的な移動量が最小となるように、選択された撮影条件のそれぞれの撮影角度に切り替える順番を決定する。例えば、図11に示されるグループの場合、高速カメラ画像取得部1185は、例えば図12に示すような順番で各交点を移動するような高速カメラ121の移動経路を決定する。
次に高速カメラ画像取得部1185は、上記グループ毎に、常に半球体の中心方向に撮影方向が向くようにしながら上記決定した移動経路上を高速カメラ121が移動するようにロボットアーム制御部1182を制御する。そして、高速カメラ画像取得部1185は、撮影角度が撮影条件の撮影角度に一致するタイミング(即ち、高速カメラ121が交点を通過するタイミング)で、高速カメラ121のシャッターを切ることによって製品150の部分領域151の画像を取得する。例えば、図12に示すような移動経路が決定された場合、高速カメラ画像取得部1185は、ロボットアーム制御部1182を制御することによって照明器122を図12の白い丸印の箇所に固定した状態で、ロボットアーム制御部1182を制御することによって高速カメラ121を上記移動経路に沿って移動させる。そして、高速カメラ画像取得部1185は、高速カメラ121が図12の黒い丸印の箇所を通過するタイミングでカメラのシャッターを切る。
高速カメラ画像取得部1185は、上記グループを処理する順番は、照明器122と製品150との相対的な移動量が最小となるように決定する。例えば、高速カメラ画像取得部1185は、照明器122と製品150との相対的な移動量が最小となるように、照明器122の移動経路を決定し、該決定した移動経路に従って、照明器122の位置(即ち、次に処理するグループ)を決定する。
<動作例2>
高速カメラ画像取得部1185は、撮影条件選択部1184によって選択された撮影条件を、同一の撮影角度(即ち、高速カメラ121の位置)を有し、照射角度(即ち、同一の照明器122の位置)が互いに相違する撮影条件のグループに分類する。
図13は、撮影条件選択部1184によって選択された撮影条件を、同一の撮影角度を有し、照射角度が互いに相違する撮影条件のグループに分類したときの1つのグループを説明するための模式図である。図13において、照明器122を配置する箇所には白い丸印を描き、高速カメラ121を配置する箇所には黒い丸印を描いている。
次に高速カメラ画像取得部1185は、上記グループ毎に、ロボットアーム制御部1182を制御することによって撮影角度を当該グループの撮影角度に固定した状態で、照明器122と製品150との相対的な移動量が最小となるように、選択された撮影条件のそれぞれの照射角度に切り替える順番を決定する。例えば、図13に示されるグループの場合、高速カメラ画像取得部1185は、例えば図14に示すような順番で各交点を移動するような照明器122の移動経路を決定する。
次に高速カメラ画像取得部1185は、上記グループ毎に、常に半球体の中心方向に照射方向が向くようにしながら上記決定した移動経路上を照明器122が移動するようにロボットアーム制御部1182を制御する。そして、高速カメラ画像取得部1185は、照射角度が撮影条件の照射角度に一致するタイミング(即ち、照明器122が交点を通過するタイミング)で、高速カメラ121のシャッターを切ることによって製品150の部分領域151の画像を取得する。例えば、図14に示すような移動経路が決定された場合、高速カメラ画像取得部1185は、ロボットアーム制御部1182を制御することによって高速カメラ121を図14の黒い丸印の箇所に固定した状態で、ロボットアーム制御部1182を制御することによって照明器122を上記移動経路に沿って移動させる。そして、高速カメラ画像取得部1185は、照明器122が図14の白い丸印の箇所を通過するタイミングで高速カメラ121のシャッターを切る。
高速カメラ画像取得部1185は、上記グループを処理する順番は、高速カメラ121と製品150との相対的な移動量が最小となるように決定する。例えば、高速カメラ画像取得部1185は、高速カメラ121と製品150との相対的な移動量が最小となるように、高速カメラ121の移動経路を決定し、該決定した移動経路に従って、高速カメラ121の位置(即ち、次に処理するグループ)を決定する。
以上説明したように、本実施形態によれば、製品150の表面に疵などの異常がないかどうかを精度良く検査することができる。その理由は、製品150を照明する方向や撮影する方向の違う様々な撮影条件の下で製品150を撮影した画像に基づいて、検査を行うためである。このため、予め定められた一方向の照明、カメラ姿勢で行う検査に比較して、微細な疵などの異常を高精度に検出することができる。
また本実施形態によれば、撮影条件の種類が増えても、検査に要する時間が比例的に増大するのを防止することができる。その理由は、各撮影条件の下で取得された画像から検査に適する画像を選択し、その選択された画像の撮影条件の有効度をインクリメントしていくことによって、検査に適する撮影条件を学習し、学習後は、撮影条件毎の有効度に基づいて初期の様々な撮影条件から検査に適する1または複数の撮影条件を選択するためである。また、製品150の検査面の異常を検出するためのカメラとして、毎秒当たりの撮影可能画像数が多い高速カメラ121を使用しているため、撮影条件を次々と高速に切り替えながら製品150の検査面を撮影することができるためである。また本実施形態によれば、所定の条件が成立するまでに実施する対象物の検査において、様々な撮影条件の下で検査しながら、有効度を更新しているため、検査前に実施する事前調整が不要になる。
本実施形態は、以下のような各種の付加変更が可能である。
本実施形態では、撮影条件は、検査対象となる製品150の部分領域に対する高速カメラ121の撮影方向(撮影角度)および照明器122の照明方向(照射角度)の2つのパラメータで定まるものとした。しかし、撮影条件は、撮影角度および照射角度に加えてそれ以外の1以上のパラメータで定まるものであってもよい。他のパラメータとしては、照明光の強度がある。また、他のパラメータとしては、照明光の波長帯、間接照明の有無、直接照明の有無などが考えられる。
また本実施形態では、製品150の検査面に対する高速カメラ121の撮影角度、照明器122の照射角度は、それらの位置と姿勢を変更することによって調整した。しかし、高速カメラ121と照明器122の位置と姿勢を固定し、製品150の姿勢を調整することによって、製品150の検査面に対する高速カメラ121の撮影角度、照明器122の照射角度を調整してもよい。或いは、高速カメラ121、照明器122、および製品150の位置と姿勢をそれぞれ変更するようにしてもよい。
また本実施形態では、製品150の検査面の異常を検出するために高速カメラ120を使用したが、高速カメラ120の代わりに赤外線カメラなど他の種類のカメラを使用してもよい。
また本実施形態では、製品150の上面を複数に分割して得られた個々の部分領域毎に検査を行った。しかし、製品150の上面サイズが小さい場合には製品150の上面全体を1つの部分領域として検査を行うことができる。また、製品150の上面の一部の部分領域だけを検査することも可能である。また、その場合には、広角カメラ120を省略してもよい。
[第2の実施の形態]
次に、本発明の第2の実施形態について図15を参照して説明する。図15は、本実施形態に係る検査装置200のブロック図である。なお、本実施形態は、本発明の検査装置の概略を説明する。
図15を参照すると、本実施形態に係る検査装置200は、変更手段201と撮影条件選択手段202と画像取得手段203と異常検出手段204と有効度更新手段205とを含んで構成されている。
変更手段201は、対象物を撮影する条件を様々な撮影条件に変更するように構成されている。変更手段201は、例えば図1のロボットアーム131、132およびロボットアーム制御部1182と同様に構成することができるが、それに限定されない。
撮影条件選択手段202は、所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、所定の条件が成立した後に実施する対象物の検査では、撮影条件毎の有効度に基づいて様々な撮影条件から1または複数の撮影条件を選択するように構成されている。撮影条件選択手段202は、例えば図1の撮影条件選択部1184と同様に構成することができるが、それに限定されない。
画像取得手段203は、変更手段201を制御することによって、選択された撮影条件のそれぞれの下で対象物の画像を取得するように構成されている。画像取得手段203は、例えば図1の高速カメラ画像取得部1185と同様に構成することができるが、それに限定されない。
異常検出手段204は、画像取得手段203によって取得された画像に基づいて対象物の異常を検出するように構成されている。異常検出手段204は、例えば図2の異常検出部1186と同様に構成することができるが、それに限定されない。
有効度更新手段205は、画像取得手段203によって取得された画像に基づいて有効度を更新するように構成されている。具体的には、有効度更新手段205は、画像取得手段203によって取得された画像のうち、検査に適する画像を撮影したときの撮影条件の有効度が検査に適さない撮影条件と比較してより有効になるように有効度を更新するように構成されている。有効度更新手段205は、例えば図2の有効度更新部1187と同様に構成することができるが、それに限定されない。
このように構成された検査装置200は以下のように動作する。即ち、先ず、撮影条件選択手段202は、所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、所定の条件が成立した後に実施する対象物の検査では、撮影条件毎の有効度に基づいて様々な撮影条件から1または複数の撮影条件を選択する。次に、画像取得手段203は、変更手段201を制御することによって、撮影条件選択手段202によって選択された撮影条件のそれぞれの下で対象物の画像を取得する。次に、異常検出手段204は、画像取得手段203によって取得された画像に基づいて対象物の異常を検出する。また、有効度更新手段205は、画像取得手段203によって取得された画像に基づいて有効度を更新する。
本実施形態は以上のように構成され動作することにより、検査の高精度化、平均検査時間の短縮、および、事前調整コストの削減が行える。その理由は、検査装置200は、所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、所定の条件が成立した後に実施する対象物の検査では、撮影条件毎の有効度に基づいて様々な撮影条件から1または複数の撮影条件を選択するためである。即ち、検査の高精度化が実現できる理由は、所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の下で検査し、所定の条件が成立した後に実施する対象物の検査では、それまでに実施された検査で更新された有効度に基づいて検査に適する撮影条件の下で検査が行われるためである。また、平均検査時間が短縮される理由は、所定の条件が成立した後に実施する対象物の検査では、それまでに実施された検査で更新された有効度に基づいて検査に適する撮影条件の下で検査が行われるためである。また、事前調整コストが削減される理由は、所定の条件が成立するまでに実施する対象物の検査において、様々な撮影条件の下で検査しながら、有効度を更新しているため、事前調整が不要になるためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
本発明は、工業製品や部品などの対象物の疵などを検査する分野全般に利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
対象物を撮影する条件を様々な撮影条件に変更する変更手段と、
所定の条件が成立するまでに実施する対象物の検査では、前記様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択する撮影条件選択手段と、
前記変更手段を制御することによって、前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得する画像取得手段と、
前記取得された画像に基づいて前記対象物の異常を検出する異常検出手段と、
前記取得された画像に基づいて前記有効度を更新する有効度更新手段と、
を備える検査装置。
[付記2]
前記対象物に照明光を照射する照明手段と、
前記対象物の検査面を撮影する第1の撮像手段と、
をさらに備え、
前記変更手段は、前記対象物に対する前記照明光の照射角度および前記撮影の撮影角度を変更するように構成されている、
付記1に記載の検査装置。
[付記3]
前記画像取得手段は、前記第1の撮像手段と前記対象物との相対的な移動量が最小となるように、前記選択された撮影条件のそれぞれに切り替える順番を決定し、該決定した順番に従って前記変更手段を制御するように構成されている、
付記2に記載の検査装置。
[付記4]
前記画像取得手段は、前記照明手段と前記対象物との相対的な移動量が最小となるように、前記選択された撮影条件のそれぞれに切り替える順番を決定し、該決定した順番に従って前記変更手段を制御するように構成されている、
付記2または3に記載の検査装置。
[付記5]
前記画像取得手段は、前記選択された撮影条件を、同一の照射角度を有し撮影角度が互いに相違する撮影条件のグループに分類し、前記グループ毎に、前記変更手段を制御することによって前記照射角度を前記グループの照射角度に固定した状態で、前記変更手段を制御することによって前記撮影角度を連続的に変更し、前記撮影角度が前記撮影条件の撮影角度に一致するタイミングで前記第1の撮像手段によって前記検査面の画像を取得するように構成されている、
付記2乃至4の何れかに記載の検査装置。
[付記6]
前記画像取得手段は、前記選択された撮影条件を、同一の撮影角度を有し照射角度が互いに相違する撮影条件のグループに分類し、前記グループ毎に、前記変更手段を制御することによって前記撮影角度を前記グループの撮影角度に固定した状態で、前記変更手段を制御することによって前記照射角度を連続的に変更し、前記照射角度が前記撮影条件の照射角度に一致するタイミングで前記第1の撮像手段によって前記検査面の画像を取得するように構成されている、
付記2乃至4の何れかに記載の検査装置。
[付記7]
前記対象物を撮影する、前記第1の撮像手段より広角な第2の撮像手段を、さらに備え、
前記第1の撮像手段は、前記第2の撮像手段で撮影された前記対象物の画像を複数に分割して得られる個々の分割領域を撮影するように構成されている、
付記2乃至6の何れかに記載の検査装置。
[付記8]
前記異常検出手段は、前記対象物の異常の検出結果を前記第2の撮像手段で撮影された画像中の対応する前記分割領域に表示するように構成されている、
付記7に記載の検査装置。
[付記9]
前記第1の撮像手段は、高速カメラである、
付記2乃至8の何れかに記載の検査装置。
[付記10]
所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択し、
前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得し、
前記取得された画像に基づいて前記対象物の異常を検出し、
前記取得された画像に基づいて前記有効度を更新する、
検査方法。
[付記11]
コンピュータに、
所定の条件が成立するまでに実施する対象物の検査では、様々な撮影条件の全てを選択し、前記所定の条件が成立した後に実施する対象物の検査では、前記撮影条件毎の有効度に基づいて前記様々な撮影条件から1または複数の撮影条件を選択する処理と、
前記選択された撮影条件のそれぞれの下で前記対象物の画像を取得する処理と、
前記取得された画像に基づいて前記対象物の異常を検出する処理と、
前記取得された画像に基づいて前記有効度を更新する処理と、
を行わせるためのプログラムを記録するコンピュータ読み取り可能な記録媒体。
100…検査装置
110…コンピュータ
120…広角カメラ
121…高速カメラ
122…照明器
130~132…ロボットアーム
130a~132a…関節
130b~132b…アーム
140…ベルトコンベア
150…製品
151…部分領域

Claims (11)

  1. 第1の撮像手段を用いて撮影された製品の検査を行う検査面の画像を、複数の部分領域画像に分割する広角カメラ画像取得手段と、
    前記部分領域画像に対応する部分領域毎に、様々な撮影条件と個々の前記撮影条件を一意に識別する撮影条件IDとが事前に設定された学習前撮影条件テーブル中の前記様々な撮影条件の下で、前記第1の撮像手段よりも挟角な第2の撮像手段を用いて撮影された前記部分領域の画像を挟角部分領域画像として取得する高速カメラ画像取得手段と、
    前記部分領域毎に、前記高速カメラ画像取得手段によって取得された1以上の前記挟角部分領域画像の中から、検査に適する前記挟角部分領域画像を選択し、選択した前記挟角部分領域画像と当該挟角部分領域画像の撮影に使用された撮影条件IDとを含む検査画像を生成し、前記検査画像に基づいて前記製品の前記検査面の異常を検出する異常検出手段と、
    前記部分領域毎に、前記検査画像に含まれる前記撮影条件IDに基づいて、前記様々な撮影条件それぞれについての有効度をインクリメントする有効度更新手段と、
    前記部分領域毎に、所定の条件が成立したか否かを判定し、所定の条件が成立した部分領域については、前記様々な撮影条件のうち前記有効度が所定値以上である撮影条件IDに対応する撮影条件だけを設定した学習後撮影条件テーブルを生成する撮影条件選択手段と、
    を備える検査装置。
  2. 前記高速カメラ画像取得手段は、前記部分領域の座標値で特定される部分領域の撮影では、
    前記座標値で特定される前記部分領域の中心をカメラ光軸が貫く撮影方向に前記第2の撮像手段で撮影した画像から、前記第1の撮像手段で撮影した部分領域の画像に対応する領域を前記挟角部分領域画像として抽出する、
    請求項1に記載の検査装置。
  3. 前記高速カメラ画像取得手段は、前記挟角部分領域画像の抽出では、前記第1の撮像手段で撮影した部分領域の画像を基準画像とし、前記基準画像から複数の特徴点を抽出し、前記第2の撮像手段で撮影した画像をオリジナル画像とし、前記特徴点に対応する対応点を前記オリジナル画像から検出し、前記対応点と前記特徴点とが重ね合わさるように前記オリジナル画像を幾何的に変形するための射影変形パラメータを算出し、前記算出した射影変形パラメータを用いて、前記オリジナル画像の位置合わせを行い、前記位置合わせ後のオリジナル画像から前記基準画像に対応する領域を前記挟角部分領域画像として抽出する、
    請求項2に記載の検査装置。
  4. 前記撮影条件は、前記第2の撮像手段の撮影角度と前記製品を照明する照明装置の照明角度とを含む、
    請求項1乃至3の何れかに記載の検査装置。
  5. 前記高速カメラ画像取得手段は、前記様々な撮影条件の下における前記第2の撮像手段による前記部分領域の撮影では、前記第2の撮像手段と前記製品との相対的な移動量が最小となるように、前記撮影条件の順番を決定し、該決定した順番に従って前記撮影条件を順番に切り替えて撮影を行う、
    請求項4に記載の検査装置。
  6. 前記高速カメラ画像取得手段は、前記様々な撮影条件の下における前記第2の撮像手段による前記部分領域の撮影では、前記照明装置と前記製品との相対的な移動量が最小となるように、前記撮影条件の順番を決定し、該決定した順番に従って前記撮影条件を順番に切り替えて撮影を行う、
    請求項4に記載の検査装置。
  7. 前記高速カメラ画像取得手段は、前記様々な撮影条件の下における前記第2の撮像手段による前記部分領域の撮影では、前記様々な撮影条件を、同一の照射角度を有し撮影角度が互いに相違する撮影条件のグループに分類し、前記グループ毎に、前記照射角度を前記グループの照射角度に固定した状態で、前記撮影角度を連続的に変更し、前記撮影角度が前記グループの撮影角度に一致するタイミングで前記第2の撮像手段によって前記部分領域の画像を撮影する、
    請求項4に記載の検査装置。
  8. 前記高速カメラ画像取得手段は、前記様々な撮影条件の下における前記第2の撮像手段による前記部分領域の撮影では、前記様々な撮影条件を、同一の撮影角度を有し照明角度が互いに相違する撮影条件のグループに分類し、前記グループ毎に、前記撮影角度を前記グループの撮影角度に固定した状態で、前記照明角度を連続的に変更し、前記照明角度が前記グループの照明角度に一致するタイミングで前記第2の撮像手段によって前記部分領域の画像を撮影する、
    請求項4に記載の検査装置。
  9. 前記高速カメラ画像取得手段は、前記学習後撮影条件テーブルが生成されている前記部分領域については、以後の製品の検査では、前記学習前撮影条件テーブルの代わりに前記学習後撮影条件テーブルを使用する、
    請求項1乃至8の何れかに記載の検査装置。
  10. 同一の製造工程によって生産される複数の製品を順番に検査する検査方法であって、
    現に検査を行う製品を位置決めする処理と、
    前記位置決めされた製品の検査を行う面全体を、広角な第1の撮像手段で撮影する処理と、
    前記第1の撮像手段で撮影して得られた前記面全体の画像を前記面全体を複数の領域に分割して得られる複数の部分領域に1対1に対応する複数の広角部分領域画像に分割し、前記広角部分領域画像と前記部分領域の座標値と前記部分領域のIDとの組を前記部分領域毎に有する広角カメラ画像を生成する処理と、
    前記部分領域毎に、様々な撮影条件と個々の前記撮影条件を一意に識別する撮影条件IDとが事前に設定された学習前撮影条件テーブル中の前記様々な撮影条件の下で、前記第1の撮像手段よりも挟角な第2の撮像手段を用いて、前記位置決めされた製品の検査を行う面上の前記部分領域の座標値で特定される部分領域を撮影する処理と、
    前記部分領域毎に、前記第2の撮像手段で撮影して得られた1以上の前記部分領域の画像である挟角部分領域画像の中から、検査に適する挟角部分領域画像を選択し、前記選択した挟角部分領域画像と当該挟角部分領域画像の撮影に使用された撮影条件IDとを含む検査画像を生成する処理と、
    前記検査画像に基づいて前記位置決めされた製品の検査面の異常を検出する処理と、
    前記位置決めされた製品の検査終了時に、前記部分領域毎に、前記検査画像に含まれる前記撮影条件IDに基づいて、前記様々な撮影条件それぞれの有効度をインクリメントする処理と
    前記部分領域毎に、学習の終了条件が成立したか否かを判定し、学習の終了条件が成立した部分領域については、前記様々な撮影条件のうち前記有効度が所定値以上である撮影条件IDに対応する撮影条件だけを設定した学習後撮影条件テーブルを生成する処理と、
    を含み、
    前記学習後撮影条件テーブルが生成されている前記部分領域については、以後の製品の検査では、前記学習前撮影条件テーブルの代わりに前記学習後撮影条件テーブルを使用する、
    検査方法。
  11. 同一の製造工程によって生産される複数の製品を順番に検査するコンピュータに、
    現に検査を行う製品を位置決めする処理と、
    前記位置決めされた製品の検査を行う面全体を、広角な第1の撮像手段で撮影する処理と、
    前記第1の撮像手段で撮影して得られた前記面全体の画像を前記面全体を複数の領域に分割して得られる複数の部分領域に1対1に対応する複数の広角部分領域画像に分割し、前記広角部分領域画像と前記部分領域の座標値と前記部分領域のIDとの組を前記部分領域毎に有する広角カメラ画像を生成する処理と、
    前記部分領域毎に、様々な撮影条件と個々の前記撮影条件を一意に識別する撮影条件IDとが事前に設定された学習前撮影条件テーブル中の前記様々な撮影条件の下で、前記第1の撮像手段よりも挟角な第2の撮像手段を用いて、前記位置決めされた製品の検査を行う面上の前記部分領域の座標値で特定される部分領域を撮影する処理と、
    前記部分領域毎に、前記第2の撮像手段で撮影して得られた1以上の前記部分領域の画像である挟角部分領域画像の中から、検査に適する挟角部分領域画像を選択し、前記選択した挟角部分領域画像と当該挟角部分領域画像の撮影に使用された撮影条件IDとを含む検査画像を生成する処理と、
    前記検査画像に基づいて前記位置決めされた製品の検査面の異常を検出する処理と、
    前記位置決めされた製品の検査終了時に、前記部分領域毎に、前記検査画像に含まれる前記撮影条件IDに基づいて、前記様々な撮影条件それぞれの有効度をインクリメントする処理と、
    前記部分領域毎に、学習の終了条件が成立したか否かを判定し、学習の終了条件が成立した部分領域については、前記様々な撮影条件のうち前記有効度が所定値以上である撮影条件IDに対応する撮影条件だけを設定した学習後撮影条件テーブルを生成する処理と、
    を行わせるためのプログラムであって、
    前記学習後撮影条件テーブルが生成されている前記部分領域については、以後の製品の検査では、前記学習前撮影条件テーブルの代わりに前記学習後撮影条件テーブルを使用する、
    プログラム。
JP2021508497A 2019-03-26 2019-03-26 検査装置 Active JP7151873B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012994 WO2020194541A1 (ja) 2019-03-26 2019-03-26 検査装置

Publications (2)

Publication Number Publication Date
JPWO2020194541A1 JPWO2020194541A1 (ja) 2020-10-01
JP7151873B2 true JP7151873B2 (ja) 2022-10-12

Family

ID=72609412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508497A Active JP7151873B2 (ja) 2019-03-26 2019-03-26 検査装置

Country Status (3)

Country Link
US (1) US11933739B2 (ja)
JP (1) JP7151873B2 (ja)
WO (1) WO2020194541A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162368A (ja) 2000-09-13 2002-06-07 Nikon Corp 表面検査装置および方法
JP2006322731A (ja) 2005-05-17 2006-11-30 Olympus Corp 外観検査装置
JP2008298693A (ja) 2007-06-01 2008-12-11 Panasonic Corp 検査条件決定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001071323A1 (en) * 2000-03-24 2001-09-27 Olympus Optical Co., Ltd. Apparatus for detecting defect
JP2003270163A (ja) * 2002-03-15 2003-09-25 Dainippon Printing Co Ltd 検査方法および装置
JP2005091049A (ja) * 2003-09-12 2005-04-07 Ccs Inc 画像処理用光照射装置及び画像処理用光照射方法
JP2006300775A (ja) 2005-04-21 2006-11-02 Olympus Corp 外観検査装置
JP4673733B2 (ja) 2005-12-02 2011-04-20 新日本製鐵株式会社 表面検査装置および表面検査方法
JP2007298381A (ja) * 2006-04-28 2007-11-15 Toshiba Corp 画像検出装置および画像検出方法
KR20070106428A (ko) 2006-04-28 2007-11-01 가부시끼가이샤 도시바 기록 매체의 검증 장치 및 검증 방법
JP5843241B2 (ja) * 2013-11-26 2016-01-13 レーザーテック株式会社 検査装置、及び検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002162368A (ja) 2000-09-13 2002-06-07 Nikon Corp 表面検査装置および方法
JP2006322731A (ja) 2005-05-17 2006-11-30 Olympus Corp 外観検査装置
JP2008298693A (ja) 2007-06-01 2008-12-11 Panasonic Corp 検査条件決定方法

Also Published As

Publication number Publication date
WO2020194541A1 (ja) 2020-10-01
JPWO2020194541A1 (ja) 2020-10-01
US11933739B2 (en) 2024-03-19
US20220155238A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US10547833B2 (en) Camera calibration system, target, and process
JP6408259B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US9292925B2 (en) Imaging system and control method thereof
KR101590831B1 (ko) 기판의 이물질 검사방법
CN110779928B (zh) 缺陷检测装置及方法
JP2014055916A (ja) 外観検査装置、外観検査法およびプログラム
JP6403446B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2012028949A (ja) 画像処理装置及びその制御方法
JP6568991B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2014208193A1 (ja) ウエハ外観検査装置
KR101522312B1 (ko) Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법
JP7151873B2 (ja) 検査装置
JP6140255B2 (ja) 画像処理装置及び画像処理方法
JP2009080004A (ja) 検査装置
WO2019176614A1 (ja) 画像処理装置、画像処理方法、およびコンピュータプログラム
JP2014062837A (ja) 欠陥検査装置及び欠陥レビュー装置
JP6704336B2 (ja) 検査装置及び検査方法
JP2019158711A (ja) 画像処理システム、画像処理装置、画像処理プログラム
TWI755460B (zh) 外觀檢查方法
JP6835020B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム
US20220398802A1 (en) Methods, systems, and media for generating images of multiple sides of an object
JP2020118572A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP5947168B2 (ja) 外観検査装置、外観検査装置の制御方法およびプログラム
KR910007348B1 (ko) 다수의 개별 도형 판별용 기계시각 인식 방법 및 장치
US20220375055A1 (en) Setting system, setting method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151