JP7247700B2 - 分光カメラ装置および検査システム - Google Patents

分光カメラ装置および検査システム Download PDF

Info

Publication number
JP7247700B2
JP7247700B2 JP2019059482A JP2019059482A JP7247700B2 JP 7247700 B2 JP7247700 B2 JP 7247700B2 JP 2019059482 A JP2019059482 A JP 2019059482A JP 2019059482 A JP2019059482 A JP 2019059482A JP 7247700 B2 JP7247700 B2 JP 7247700B2
Authority
JP
Japan
Prior art keywords
spectroscopic
wavelength
camera
image
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059482A
Other languages
English (en)
Other versions
JP2020159862A (ja
Inventor
政司 相磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019059482A priority Critical patent/JP7247700B2/ja
Priority to US16/829,165 priority patent/US11209312B2/en
Priority to CN202010219717.0A priority patent/CN111750991B/zh
Publication of JP2020159862A publication Critical patent/JP2020159862A/ja
Application granted granted Critical
Publication of JP7247700B2 publication Critical patent/JP7247700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8835Adjustable illumination, e.g. software adjustable screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • G01N2021/945Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、分光カメラ装置および検査システムに関するものである。
物品を生産する際に、生産された、または、生産途中の物品を検査する検査工程において、かかる物品の表面性状を検査するために、カメラを用いて物品の画像を取得し、この画像を用いて検査する画像検査が知られている。
この物品の画像を取得するカメラとして、分光スペクトル情報すなわち分光スペクトル画像が撮像される分光カメラを選択する場合と、RGB画像が撮像されるRGBカメラを選択する場合と、を、検査すべき物品の種類、もしくは、その検査に求められる精度等に応じて、その検査に導入するカメラの種類を、RGBカメラで十分であるのか、それとも、分光カメラを選択する必要があるのかを、カメラを導入するのに先立って、判定することが求められる。
例えば、特許文献1では、物品のRGB画像を取得するRGBカメラと、物品の分光スペクトル画像を取得する分光カメラと、これらの画像を取得するための2系統の光路とを有し、これら2系統の光路を切り替えることで、同一の物品としての対象物を撮像可能なように構成された検査システムが提案されている。
特開2012-154628号公報
しかしながら、特許文献1で提案されている検査システムでは、系統の光路を切り替えるための機構を必要とし、かかる検査システムが備える装置の構成が複雑になると言う課題が生じる。
本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。
本発明の適用例に係る分光カメラ装置は、光を所定の波長で選択的に透過させて透過光とする波長可変干渉フィルターで構成される分光部と、
前記分光部を透過した前記透過光による分光画像を取得する撮像部と、を備える分光カメラと、
RGBカメラで撮像される所定の色が有する波長領域における感度曲線を示す感度情報を受け付ける受付部と、
前記感度情報に基づいて、前記所定の波長と、前記透過光を透過させる時間である透過時間と、の関係を示す波長テーブルを生成する波長テーブル生成部と、
前記波長テーブルに基づいて、前記分光部と、前記撮像部と、を制御する制御部と、
前記分光カメラを用いて不良品を撮像して不良品分光画像を取得し、前記不良品分光画像に基づいて、不良品RGB画像を生成するRGB画像生成部と、
前記不良品RGB画像を用いて前記不良品に対する所定の検査を行い、前記不良品が不良判定される場合、前記RGBカメラを用いたRGBカメラの検査結果は所定の基準を満たす、と判定し、
前記不良品RGB画像を用いて前記不良品に対する前記所定の検査を行い、前記不良品が不良判定されない場合、かつ、前記分光カメラを用いて前記不良品を撮像して得られた複数波長不良品画像を用いて前記不良品に対する前記所定の検査を行い、前記不良品が不良判定される場合、前記RGBカメラの検査結果は、所定の基準を満たさず、前記分光カメラを用いた分光カメラの検査結果は、所定の基準を満たす、と判定する判定部と、を備える制御装置とを、
有する
本発明の分光カメラ装置および検査システムが適用されたロボットシステムの実施形態を示す側面図である。 図1に示すロボットシステムが備える分光カメラのレンズ側を示す平面図である。 図2に示す分光カメラのA-A線断面図である。 図1に示すロボットシステムの概略構成を示すブロック図である。 図1に示すロボットシステムにパーソナルコンピューターを装着したときの概略構成を示すブロック図である。 図2、図3に示す分光カメラが備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。 フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示す模式図である。 フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示すグラフである。 波長可変干渉フィルターを透過する光の波長と、その波長において得られる分光画像の倍率との関係を示すグラフである。 物品の表面性状を検査する検査方法で実施される、調整処理および検査処理の概略を説明するための模式図である。 物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図である。 物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図である。 図5に示すロボットシステムにより物品の表面性状を検査する検査方法が有する調整処理を実施する際のフローチャートである。 各波長において、フォーカスが合う位置を決定する方法を説明するための模式図である。 波長と、各波長において決定されたフォーカスが合う位置の位置P1からのズレ量ΔZ、および、各波長において取得される分光画像の倍率との関係の一例を示す表である。 図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際に入力する条件の一例を示す模式図である。 図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際のタイミングチャートである。 各波長について倍率変換がなされた分光画像が重ね合わされた状態を示す模式図である。 各波長について倍率変換がなされた分光画像を重ね合せることで得られた分光スペクトル情報を示す模式図である。 RGBカメラの分光感度曲線を示すグラフである。 分光カメラの分光感度曲線を示すグラフである。 分光カメラの分光感度を、20nmの幅を有する波長領域毎に、平均化することで求められた棒グラフである。 RGB画像をシミュレートするための変換係数を示す表である。 電子部品が備える電極に異物が付着していない良品を示す平面図である。 電子部品が備える電極に異物が付着している不良品を示す平面図である。 図4に示すロボットシステムにより、用いるべきカメラの種類を、分光カメラを用いて判定する分光検査方法における判定処理を実施する際のフローチャートである。 分光カメラにより得られた良品の分光スペクトル画像Ssam(X1)を示すグラフである。 分光カメラにより得られた不良品の分光スペクトル画像Ssam(X2)を示すグラフである。 各波長に対応したB成分の時間係数を示すグラフである。 分光カメラによりシミュレートされた良品のB成分における分光スペクトル画像Ssam(X1B)を示すグラフである。 シミュレートされた良品のRGB画像(X1)を示すグラフである。 シミュレートされた不良品のRGB画像(X2)を示すグラフである。
以下、本発明の分光カメラ装置および検査システムを添付図面に示す好適な実施形態に基づいて詳細に説明する。
なお、以下では、本発明の分光カメラ装置および検査システムをロボットシステムに適用した場合を一例にして、詳述する。
<ロボットシステム>
図1は、本発明の分光カメラ装置および検査システムが適用されたロボットシステムの実施形態を示す側面図、図2は、図1に示すロボットシステムが備える分光カメラのレンズ側を示す平面図、図3は、図2に示す分光カメラのA-A線断面図、図4は、図1に示すロボットシステムの概略構成を示すブロック図、図5は、図1に示すロボットシステムにパーソナルコンピューターを装着したときの概略構成を示すブロック図、図6は、図2、図3に示す分光カメラが備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。なお、図1では、表示装置61および入力装置62の図示は省略されている。
なお、図1では、説明の便宜上、互いに直交する3軸として、x軸、y軸およびz軸を図示している。また、以下では、x軸に平行な方向を「x軸方向」とも言い、y軸に平行な方向を「y軸方向」とも言い、z軸に平行な方向を「z軸方向」とも言う。さらに、以下では、図示された各矢印の先端側を「+(プラス)」、基端側を「-(マイナス)」と言い、+x軸方向に平行な方向を「+x軸方向」とも言い、-x軸方向に平行な方向を「-x軸方向」とも言い、+y軸方向に平行な方向を「+y軸方向」とも言い、-y軸方向に平行な方向を「-y軸方向」とも言い、+z軸方向に平行な方向を「+z軸方向」とも言い、-z軸方向に平行な方向を「-z軸方向」とも言う。
さらに、以下では、説明の便宜上、図1中の+z軸方向(z軸方向+側)(上側)を「上」、-z軸方向(z軸方向-側)(下側)を「下」とも言う。また、ロボットアーム20については、図1中の基台21側を「基端」、その反対側(分光カメラ7側)を「先端」と言う。また、図1中のz軸方向(上下方向)を「鉛直方向」とし、x軸方向およびy軸方向(左右方向)を「水平方向」とする。
また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±5°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±5°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、2つの線(軸を含む)または面が、互いに完全な平行である場合のみならず、±5°以内で傾斜している場合も含む。また、本明細書において、「一致」とは、2つの線(軸を含む)または面が、互いに完全に一致している場合のみならず、±5°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、2つの線(軸を含む)または面が、互いに完全な直交である場合のみならず、±5°以内で傾斜している場合も含む。
図1、図4および図5に示すロボットシステム100は、例えば、生産ラインで生産された、または、生産途中の物品の表面性状、すなわち、物品の色や物品に付着している異物の有無を検査するために、この物品を対象物Xとして、対象物Xの分光情報を取得するために用いられるものである。このロボットシステム100は、制御装置1と、ロボット2と、分光カメラ7と、表示装置61(表示部)と、入力装置62(入力部)とを備え、さらに、装脱着が可能なパーソナルコンピューター3を備えている。
なお、図示の構成では、制御装置1は、ロボット2の外側に配置されているが、これに限定されず、ロボット2または分光カメラ7に内蔵されていてもよい。
また、図示の構成では、ロボット2、分光カメラ7およびパーソナルコンピューター3と制御装置1とは、それぞれ、ケーブル200等を介して電気的に接続(以下、単に「接続」とも言う)されているが、これに限定されず、無線方式で通信を行うようになっていてもよい。すなわち、ロボット2と制御装置1とは、有線通信で接続されていてもよく、また、無線通信で接続されていてもよい。
以下、ロボットシステム100を構成する各部について説明する。
<ロボット>
ロボット2の種類は、分光カメラ7を鉛直方向に移動させ得る構成のものであれば、特に限定されないが、本実施形態では、ロボット2は、水平多関節ロボットの1例であるスカラロボットで構成される。
ロボット2は、図1に示すように、基台21と、第1アーム22と、第2アーム23と、作業ヘッド24と、配管部材9とを備えている。なお、これら第1アーム22、第2アーム23および作業ヘッド24等によりロボットアーム20が構成される。
また、ロボット2は、第1アーム22を基台21に対して回動(駆動)させる駆動部25と、第2アーム23を第1アーム22に対して回動させる駆動部26と、作業ヘッド24のシャフト241を第2アーム23に対して回動させる駆動部27と、シャフト241を第2アーム23に対してz軸方向に移動させる駆動部28と、角速度センサー29とを備えている。
駆動部25は、図4、図5に示すように、第1アーム22の筐体220内に内蔵されており、駆動力を発生するモーター251と、モーター251の駆動力を減速する図示しない減速機と、モーター251または減速機の回転軸の回転角度を検出する位置センサー252とを有している。
駆動部26は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター261と、モーター261の駆動力を減速する図示しない減速機と、モーター261または減速機の回転軸の回転角度を検出する位置センサー262とを有している。
駆動部27は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター271と、モーター271の駆動力を減速する図示しない減速機と、モーター271または減速機の回転軸の回転角度を検出する位置センサー272とを有している。
駆動部28は、第2アーム23の筐体230に内蔵されており、駆動力を発生するモーター281と、モーター281の駆動力を減速する図示しない減速機と、モーター281または減速機の回転軸の回転角度を検出する位置センサー282とを有している。
モーター251、モーター261、モーター271およびモーター281としては、例えば、ACサーボモーター、DCサーボモーター等のサーボモーターを用いることができる。また、減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。また、位置センサー252、位置センサー262、位置センサー272および位置センサー282は、例えば、角度センサーとすることができる。
駆動部25、駆動部26、駆動部27および駆動部28は、それぞれ、対応する図示しないモータードライバーに接続されており、モータードライバーを介して制御装置1のロボット制御部11により制御される。なお、各減速機は省略されていてもよい。
また、角速度センサー29(センサー)は、第2アーム23に内蔵されている。このため、第2アーム23の角速度を検出することができる。この検出した角速度の情報に基づいて、制御装置1は、ロボット2の制御を行う。また、角速度センサー29は、駆動部26~28よりも-y軸側、すなわち、基台21の遠位側に設置されている。
基台21は、例えば、図示しない床面にボルト等によって固定されている。基台21の上端部には第1アーム22が連結されている。第1アーム22は、基台21に対して鉛直方向に沿う第1回動軸O1回りに回動可能となっている。第1アーム22を回動させる駆動部25が駆動すると、第1アーム22が基台21に対して第1回動軸O1回りに水平面内で回動する。また、位置センサー252により、基台21に対する第1アーム22の駆動(回動量)が検出できるようになっている。
また、第1アーム22の先端部には、第2アーム23が連結されている。第2アーム23は、第1アーム22に対して鉛直方向に沿う第2回動軸O2回りに回動可能となっている。第1回動軸O1の軸方向と第2回動軸O2の軸方向とは同一である。すなわち、第2回動軸O2は、第1回動軸O1と平行である。第2アーム23を回動させる駆動部26が駆動すると、第2アーム23が第1アーム22に対して第2回動軸O2回りに水平面内で回動する。また、位置センサー262により、第1アーム22に対する第2アーム23の駆動(回動量)が検出できるようになっている。
また、第2アーム23は、底板231、天板232およびこれらを連結している側壁233を有する筐体230を有している。この筐体230の内部、すなわち、底板231上には、角速度センサー29、駆動部26、駆動部27および駆動部28が+y軸側からこの順で並んでいる。
また、筐体230は、天板232と側壁233との間に位置する傾斜部234を有している。この傾斜部234は、天板232の-y軸側に設けられている。また、この傾斜部234は、z軸に対して傾斜して設けられている。
また、第2アーム23の先端部には、シャフト241を有する作業ヘッド24が設置されている。シャフト241は、第2アーム23に対して、鉛直方向に沿う第3回動軸O3回りに回動可能であり、かつ、上下方向すなわち鉛直方向に沿って移動(昇降)可能となっている。このシャフト241は、ロボットアーム20の第3アームであり、ロボットアーム20の最も先端のアームである。
シャフト241を回動させる駆動部27が駆動すると、シャフト241は、z軸回りに正逆回転(回動)する。また、位置センサー272により、第2アーム23に対するシャフト241の回転量が検出できるようになっている。
また、シャフト241をz軸方向に移動させる駆動部28が駆動すると、シャフト241は、上下方向(z軸方向)に移動する。また、位置センサー282により、第2アーム23に対するシャフト241のz軸方向の移動量が検出できるようになっている。
また、シャフト241の先端部(下端部)には、分光カメラ7が着脱可能に配置される。この分光カメラ7は、生産ラインで生産された、または、生産途中の物品を対象物Xすなわち測定対象として、その表面性状を検査するために、対象物Xの分光情報すなわち分光スペクトルを取得するために使用されるが、その詳細については、以下で説明する。
なお、分光カメラ7は、本実施形態では、ロボット2の構成要素になっていないが、分光カメラ7の一部または全部がロボット2の構成要素になっていてもよい。また、分光カメラ7は、本実施形態では、ロボットアーム20の構成要素になっていないが、分光カメラ7の一部または全部がロボットアーム20の構成要素になっていてもよい。
<分光カメラ>
分光カメラ7は、図1に示すように、シャフト241の先端部(下端部)に、直接または図示しない連結部材を介して、上下方向が分光カメラ7の光軸方向と一致するように着脱可能に連結されている。
この分光カメラ7は、制御装置1の制御に基づいて、生産された、または、生産途中の物品である対象物Xが有する固有の分光情報を取得するものであり、より具体的には、対象物Xで反射した反射光を受光し、分光することで、特定波長または特定波長領域(以下では、「特定波長」で代表して説明する。)の光を選択的に透過させた後、この特定波長を有する光を撮像することにより得られる、対象物Xの分光画像に基づいて、分光スペクトル情報を取得するものである。
なお、対象物Xは、本実施形態では、分光カメラ7の光軸方向すなわち上下方向の延長線上に、ロボット2が備える作業台8上に設置されている。
このように、分光カメラ7では、所定の波長領域における対象物Xが有する固有の分光スペクトル情報を取得し、この分光スペクトル情報に基づいて、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査することから、かかる物品の表面性状の検査、すなわち、物品の色や物品に付着している異物の有無を、優れた精度をもって実施することができる。
なお、分光カメラ7により、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査するために取得する波長領域は、可視光領域から選択されたものであってもよいし、赤外線領域や、紫外線領域等から選択されたものであってもよいし、これらのうちの少なくとも2つの領域から選択されたものであってもよい。
この分光カメラ7は、図1~図5に示すように、本実施形態では、対象物Xに光を照射する光源31と、対象物Xを反射した反射光に基づいた、画像を撮像する撮像素子71と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長もしくは波長領域を変更可能な分光部41とを備えている。
このような分光カメラ7において、図2、図3に示すように、光源31、撮像素子71が、分光カメラ7のレンズ側において同一方向を向くように配置された状態で、分光部41は、撮像素子71と対象物Xとの間に配置されている。光源31と、分光部41と、撮像素子71とをこのような位置関係で配置することで、これらにより、分光カメラ7は、後分光方式の分光カメラで構成される。なお、分光カメラ7は、分光部41が光源31と対象物Xとの間に配置された、前分光方式の分光カメラを構成していてもよい。
以下、分光カメラ7が備える各部の構成について説明する。
光源31は、対象物Xに向かって照明光を照射する光素子である。
光源31は、図2、図3に示すように、分光カメラ7の筐体内に配置された回路基板51上に、対象物Xに向かって照明光を照射し得るように、分光カメラ7のレンズ側に配置されている。
この光源31と対象物Xとの間には分光部41が配置されておらず、これにより、光源31から出射された光が、対象物Xに対して、直接、照射される。
このような光源31は、例えば、LED光源、OLED光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部41により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源31は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
なお、この光源31は、分光カメラ7において、省略することもできる。この場合、対象物Xを反射した反射光は、太陽のような自然光、蛍光灯のような外部光源により対象物Xに対して照射された光が反射されることで生成される。
撮像素子71すなわち撮像部は、対象物Xを反射した反射光に基づいた、画像を撮像することで、対象物Xを反射した反射光を検出する検出部として機能するものである。
撮像素子71は、図2、図3に示すように、分光カメラ7の筐体内に配置された回路基板51上に、対象物Xを反射した反射光を受光し得るように、分光カメラ7のレンズ側に配置されている。
そして、この撮像素子71と対象物Xとの間には分光部41が配置されている。これにより、対象物Xから分光部41に入射された入射光のうち、特定波長すなわち所定の波長を有する出射光が選択的に出射され、この出射光が撮像素子71により、分光画像すなわち分光情報として撮像される。
このような撮像素子71は、例えば、CCDやCMOS等で構成される。
分光部41は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。換言すれば、入射光から特定波長すなわち所定の波長の光を選択的に出射光すなわち透過光として撮像素子71へ向けて出射すなわち透過させるものである。
分光部41は、図3に示すように、分光カメラ7の筐体内に配置された回路基板52上に配置されている。
この分光部41は、撮像素子71と対象物Xとの間、すなわち、これらの間の光軸上に配置されている。これにより、対象物Xから分光部41に入射された入射光のうち、特定波長を有する出射光を、撮像素子71に向けて選択的に出射する。
このような分光部41は、出射させる出射光の波長領域を変更可能なように、本発明では、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより2つのフィルター(ミラー)間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター(AOTF)、リニアバリアブルフィルター(LVF)、液晶チューナブルフィルター(LCTF)等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
ファブリーペローエタロンフィルターは、2つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、2.0mm以下に設定することが可能となる。そのため、分光部41ひいては分光カメラ7をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光カメラ7のさらなる小型化を実現することができる。
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部41について、図6を参照しつつ説明する。
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板410と、可動基板420と、固定反射膜411と、可動反射膜421と、固定電極412と可動電極422と、接合膜414とを備えている。そして、固定基板410と可動基板420とが積層した状態で、接合膜414を介して一体的に接合されている。
固定基板410は、その中央部に反射膜設置部415が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝413が形成されている。かかる構成の固定基板410において、反射膜設置部415の可動基板420側に固定反射膜411で構成される固定光学ミラーが設けられ、溝413の可動基板420側に固定電極412が設けられている。
また、可動基板420は、その中央部に反射膜設置部425である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝423である保持部が形成されている。かかる構成の可動基板420において、反射膜設置部425の固定基板410側すなわち下面側に可動反射膜421で構成される可動光学ミラーが設けられ、さらに、固定基板410側に可動電極422が設けられている。
この可動基板420は、反射膜設置部425と比較して、溝423の厚み寸法が小さく形成されており、これにより、溝423は、固定電極412および可動電極422間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
これら固定基板410と可動基板420とは、0.1mm以上1.0mm以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、2.0mm以下に設定し得るため、分光カメラ7の小型化を実現することができる。
このような固定基板410と可動基板420との間において、固定反射膜411と可動反射膜421とは、固定基板410および可動基板420のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極412と可動電極422とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極412と可動電極422とにより、固定反射膜411と可動反射膜421との間のギャップの大きさを調整する静電アクチュエーター45が構成される。
静電アクチュエーター45を構成する、固定電極412および可動電極422間に電圧を印加することで生じる静電引力により、溝423である保持部に撓みが生じる。その結果、固定反射膜411と可動反射膜421との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長(波長領域)の光を選択的に出射させることができる。また、固定反射膜411および可動反射膜421の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
なお、固定基板410および可動基板420は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜414は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜411および可動反射膜421は、例えば、Ag等の金属膜や、Ag合金等の合金膜で構成される他、高屈折層としてTiO、低屈折層としてSiOを備える誘電体多層膜で構成され、さらに、固定電極412および可動電極422は、各種導電性材料で構成される。
また、分光カメラ7は、本実施形態では、図4、図5に示すように、各種光学部品で構成される光学系81、83を有する構成のものである。
分光部側光学系81は、対象物Xと分光部41との間に配置され、入射光学系としての入射レンズ811と、投射レンズ812とを備え、対象物Xを反射した反射光を分光部41に導く。
また、撮像素子側光学系83は、分光部41と撮像素子71との間に配置され、入出射レンズ831を備え、分光部41により出射された出射光を撮像素子71に導く。
このような光学系81、83のうちの少なくとも1つを分光カメラ7が備えることで、対象物Xを反射する反射光の撮像素子71による集光率の向上を図ることができる。
なお、光学系81、83は、これらのうちの少なくとも1つが、撮像素子71による前記集光率を考慮して、省略されたものであってもよい。
また、分光部側光学系81は、上記のような配置とする場合(図4、図5参照)の他、分光部41と撮像素子側光学系83との間に配置されている構成をなすものであってもよい。
なお、上述したような構成の分光カメラ7は、モーター271の回転軸の回転角度を検出する図示しない角度センサーを有しており、その位置センサーにより、モーター271の回転軸の回転角度が検出できるようになっている。
また、本実施形態では、分光カメラ7は、ロボットアーム20に対して着脱可能であることとしたが、これに限定されず、例えば、分光カメラ7は、ロボットアーム20から離脱不能になっていてもよい。
<制御装置>
制御装置1は、図4、図5に示すように、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、入力受付部15とを備えており、ロボット2、分光カメラ7および表示装置61等、ロボットシステム100の各部の駆動をそれぞれ制御する。
また、制御装置1は、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、入力受付部15と、パーソナルコンピューター3との間で、それぞれ、通信可能に構成されている。すなわち、ロボット制御部11と、分光画像処理部12と、表示制御部13と、記憶部14と、入力受付部15とは、互いに、有線または無線通信で接続されている。
また、制御装置1には、ロボット2と、表示装置61と、入力装置62と、分光カメラ7と、パーソナルコンピューター3とが、それぞれ、有線または無線通信で接続されている。なお、パーソナルコンピューター3は、図4、図5に示すように、制御装置1すなわちロボットシステム100から装脱着が可能なように構成されている。
(ロボット制御部)
ロボット制御部11は、ロボット2の駆動、すなわち、ロボット2が備えるロボットアーム20等の各部の駆動を制御する。ロボット制御部11は、OS等のプログラムがインストールされたコンピューターである。このロボット制御部11は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、ロボット制御部11の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
このロボット制御部11は、具体的には、入力装置62に入力されたユーザーの操作指示、記憶部14に記憶されたプログラム等のソフトウェアを読み込むことで、ロボット2が備える各部の駆動を制御する。
このロボット制御部11は、本実施形態では、図4、図5に示すように、カメラポイント補正部102を有するプログラム実行部101を備えている。プログラム実行部101は、記憶部14から読み込まれたプログラムを実行することで、ロボット2が備える各部の駆動を制御し、例えば、プログラム実行部101が有するカメラポイント補正部102の作動により、第2アーム23に対してシャフト241をz軸方向に移動させることができ、これにより、分光カメラ7のz軸方向に対する位置補正が実現される。
(分光画像処理部)
分光画像処理部12は、光源31、撮像素子71、分光部41等の各部の作動、すなわち、分光カメラ7の全体または各部の駆動を制御する制御部を構成し、かつ、分光カメラ7で得られた分光画像の処理を施すことで、対象物Xの表面性状の検査を実施する。分光画像処理部12は、OS等のプログラムがインストールされたコンピューターである。この分光画像処理部12は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、分光画像処理部12の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
この分光画像処理部12は、具体的には、入力装置62に入力されたユーザーの操作指示、すなわち、対象物Xが有する固有の分光情報を取得するための条件に基づいて、記憶部14に記憶されたプログラム等のソフトウェアを読み込むことで、光源31、分光部41および撮像素子71の作動を制御する。そして、これにより得られた対象物Xの分光画像すなわち分光情報に基づいて、生産ラインで生産された、または、生産途中の物品としての対象物Xの表面性状の検査を実施し、その検査における結果等の情報を、表示装置61において表示する。
この分光画像処理部12は、本実施形態では、図4、図5に示すように、カメラ制御部60と、画像処理実行部65とを有している。これらのうち、カメラ制御部60は、光源制御部601と、分光制御部602と、分光画像取得部603とを備え、分光カメラ7の全体または各部の駆動を制御する。また、画像処理実行部65は、倍率調整部605を有するスペクトル情報生成部604を備え、分光カメラ7で得られた分光画像の処理を施すことで、対象物Xの表面性状の検査を実施する。
カメラ制御部60が有する光源制御部601は、入力装置62に入力されたユーザーの操作指示、具体的には、対象物Xの分光情報を取得するための条件に基づいて、光源31の点灯、消灯を制御するものである。
分光制御部602は、記憶部14に記憶されているV-λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する。すなわち、分光制御部602は、分光部41の作動を制御して、分光部41から出射される光の特定波長の大きさを特定する。また、分光制御部602は、記憶部14に記憶されている各種データに基づいて、波長の変更タイミングの検出、波長の変更、波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
分光画像取得部603は、対象物Xを反射した反射光に基づいた、光量測定データ(受光量)を分光画像すなわち分光情報として、撮像素子71において取得(撮像)し、その後、取得された分光画像を記憶部14に記憶させる。なお、分光画像取得部603は、分光画像を記憶部14に記憶させる際に、分光画像とともにかかる分光画像が取得された波長等も併せて記憶部14に記憶させる。
また、画像処理実行部65が有するスペクトル情報生成部604は、記憶部14に記憶された、対象物Xの分光画像および測定された波長等を取得し、スペクトル情報生成部604が備える倍率調整部605において分光画像の倍率を考慮した後に、各波長における分光画像を重ね合せるすなわち重畳することで分光スペクトル情報を分光スペクトル画像として取得し、これらの分析処理を行う。換言すれば、得られた分光スペクトル画像と、記憶部14に記憶された対象物Xのデータベースとを比較する分光処理を実施することで、対象物Xすなわち生産された、または、生産途中の物品の表面性状を検査し、生産された、または、生産途中の物品が良品であるか否かを判定する。
なお、スペクトル情報生成部604による、分光画像および測定された波長の取得は、記憶部14を介することなく、分光画像取得部603から、直接、実施することもできる。
(表示制御部)
表示制御部13は、表示装置61にウィンドウ等の各種の画面や文字等を表示させる機能を有している。すなわち、表示制御部13は、表示装置61の駆動を制御する。この表示制御部13の機能は、例えば、グラフィックチップ(GPU)等により実現することができる。
(記憶部)
記憶部14は、各種の情報(データやプログラム等を含む)を記憶する機能を有する。この記憶部14は、制御プログラム等を記憶する。記憶部14の機能は、ROM等やいわゆる外部記憶装置(図示せず)によって実現することができる。
当該データは、例えば、制御装置1の各機能を実現させるためのアプリケーション、プログラム等の他、分光部41のファブリーペローエタロンフィルターが備える静電アクチュエーター45に印加する駆動電圧に対する透過光の波長を示す相関データV-λデータ、対象物Xが有する固有の分光情報に基づいて対象物Xの種類等を特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、表面性状の検査に供される生産ラインで生産された、または、生産途中の物品としての対象物Xについての分光情報のことを示し、生産された、または、生産途中の物品を良品と判定し得る対象物Xの分光情報を含んでいる。
入力受付部)
入力受付部15は、入力装置62からの入力を受け付ける機能を有している。この入力受付部15の機能は、例えば、インターフェース回路によって実現することができる。なお、例えばタッチパネルを用いる場合には、入力受付部15は、ユーザーの指のタッチパネルへの接触等を検知する入力検知部としての機能を有する。
<表示装置>
表示装置61は、例えば、液晶ディスプレイ、有機ELディスプレイ等で構成されたモニター(図示せず)を備えており、例えば、各種の画像(ウィンドウ等の各種の画面等を含む)や文字等を表示する機能を有する。
この表示装置61は、検査に供された対象物Xすなわち生産された、または、生産途中の物品の表面性状の検査結果の情報を含む各種の可視化画像を表示する。
表示装置61で表示する可視化画像すなわち検査に供された対象物Xの情報としては、例えば、対象物Xすなわち生産された、または、生産途中の物品が良品か否かの判定結果、不良品と判定された場合、その理由、さらには不良が生じている位置、良品か否かの判定精度(%)等が挙げられる。
<入力装置>
入力装置62は、例えば、マウスや、キーボード等で構成されている。したがって、ユーザーは、入力装置62を操作することで、制御装置1に対して各種の処理等の指示、例えば、対象物Xの分光情報を取得するための指示を行うことができる。
具体的には、ユーザーは、表示装置61に表示される各種画面(ウィンドウ等)に対して入力装置62のマウスでクリックする操作や、入力装置62のキーボードで文字や数字等を入力する操作により、制御装置1に対する指示を行うことができる。
なお、本実施形態では、表示装置61および入力装置62の代わりに、表示装置61および入力装置62を兼ね備えた表示入力装置を設けてもよい。表示入力装置としては、例えば静電式タッチパネルや感圧式タッチパネル等のタッチパネルを用いることができる。また、入力装置62は、音声等の音を認識する構成であってもよい。
<パーソナルコンピューター>
パーソナルコンピューター3は、入力装置36に入力されたユーザーの操作指示に基づいて、制御装置1が備える分光画像処理部12およびロボット制御部11が備えるプログラム等のソフトウェアの編集等を実施するとともに、ロボット2および分光カメラ7の駆動を制御することで、後述する調整処理を実施し、これらの実施の状況等が表示装置35において表示される。このパーソナルコンピューター3は、例えば、プロセッサーとしてのCPUと、RAMと、プログラムが記憶されたROMとを有する。また、パーソナルコンピューター3の機能は、例えば、CPUにより各種プログラムを実行することにより実現することができる。
このパーソナルコンピューター3は、本実施形態では、図5に示すように、ロボット制御プログラム編集部301と、画像処理編集部302と、収差補正キャリブレーション実行部303とを備えている。
ロボット制御プログラム編集部301は、ロボット制御部11が備えるプログラム実行部101が実行するプログラムの編集を行い、これにより、ロボット2が作動する条件等が変更される。
画像処理編集部302は、分光画像処理部12が備える画像処理実行部65が実行するプログラムの編集を行い、これにより、分光カメラ7が作動する条件、分光カメラ7により取得された分光画像を処理する条件等が変更される。
収差補正キャリブレーション実行部303は、ロボット2および分光カメラ7の駆動を制御することで、後述する調整処理を実施する。
なお、このパーソナルコンピューター3は、制御装置1すなわちロボットシステム100に対して、装脱着が可能なように構成されており、分光画像処理部12およびロボット制御部11が備えるプログラム等のソフトウェアを編集する際、ならびに、後述する調整処理を実施する際には、図5に示すように、制御装置1に対して装着される。これに対して、それ以外のとき、例えば、後述する検査処理を実施する際には、パーソナルコンピューター3は、図4に示すように、制御装置1から脱着されていてもよい。
また、本実施形態では、ロボットアーム20の回動軸の数は、3つであるが、本発明では、これに限定されず、ロボットアーム20の回動軸の数は、例えば、1つ、2つ、または、4つ以上でもよい。すなわち、本実施形態では、アーム(リンク)の数は、3つであるが、本発明では、これに限定されず、アームの数は、例えば、2つ、または、4つ以上でもよい。
さらに、本実施形態では、ロボットアーム20の数は、1つであるが、本発明では、これに限定されず、ロボットアーム20の数は、例えば、2つ以上でもよい。すなわち、ロボット2は、例えば、双腕ロボット等の複数腕ロボットであってもよい。
また、本発明では、ロボット2(ロボット本体)は、他の種類(形式)のロボットであってもよい。具体例としては、例えば、垂直多関節ロボット、脚部を有する脚式歩行(走行)ロボット等が挙げられる。「垂直多関節ロボット」とは、軸数(アーム数)が3つ以上であり、かつ、3つの軸のうちの2つの軸が互いに交差(直交)しているロボットのことを言う。
また、本実施形態では、制御装置1がロボット制御部11と分光画像処理部12とを備える場合については説明したが、かかる構成に限定されず、ロボット制御部11は、ロボット制御装置として独立して設けられていてもよいし、分光画像処理部12は、分光画像処理装置として独立して設けられていてもよい。
以上のような分光カメラ7とロボット2とを備えるロボットシステム100は、記憶部14が備えるプログラムをロボット制御部11および分光画像処理部12において起動させることで、生産ラインで生産された、または、生産途中の物品における表面性状の検査、すなわち、対象物Xを検査する分光検査方法を実施することができる。以下、このロボットシステム100を用いた物品の表面性状を検査する検査方法について、説明する。
[物品の表面性状を検査する検査方法]
以下、前述したロボットシステム100を用いた、対象物Xとしての物品の表面性状を検査する検査方法を、すなわち、物品の色や物品に付着している異物の有無を検査する検査方法を、図7~図19を用いて、以下に詳述する。
図7は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示す模式図、図8は、フォーカスが合う位置と、波長可変干渉フィルターを透過する光の波長との関係を示すグラフ、図9は、波長可変干渉フィルターを透過する光の波長と、その波長において得られる分光画像の倍率との関係を示すグラフ、図10は、物品の表面性状を検査する検査方法で実施される、調整処理および検査処理の概略を説明するための模式図、図11は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図12は、物品の表面性状を検査する検査方法で実施される、調整処理を説明するための模式図、図13は、図5に示すロボットシステムにより物品の表面性状を検査する検査方法が有する調整処理を実施する際のフローチャート、図14は、各波長において、フォーカスが合う位置を決定する方法を説明するための模式図、図15は、波長と、各波長において決定されたフォーカスが合う位置の位置P1からのズレ量ΔZ、および、各波長において取得される分光画像の倍率との関係の一例を示す表、図16は、図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際に入力する条件の一例を示す模式図、図17は、図4に示すロボットシステムにより物品の表面性状を検査する検査方法が有する検査処理を実施する際のタイミングチャート、図18は、各波長について倍率変換がなされた分光画像が重ね合わされた状態を示す模式図、図19は、各波長について倍率変換がなされた分光画像を重ね合せることで得られた分光スペクトル情報を示す模式図である。
このロボットシステム100を用いた検査方法は、分光カメラ7の光軸方向における、作業台8に設置された対象物Xと、分光カメラ7との間の距離を変化させ、第1波長において、分光カメラ7のフォーカスが対象物Xに合う第1位置で、第1波長における第1分光画像を取得し、第1波長より長い波長である第2波長において、分光カメラ7のフォーカスが対象物Xに合う第2位置で、前記第2波長における第2分光画像を取得する撮像工程と、第1分光画像に含まれる対象物Xの大きさに対し、第2分光画像に含まれる対象物Xの大きさが同一となるように第2分光画像を拡大した後に、拡大された前記第2分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程とを有している。
ここで、波長可変干渉フィルターである分光部41で、短波長である600nmの光を透過させた場合と、長波長である1000nmの光を透過させた場合とでは、図7に示すように、分光カメラ7が備える投射レンズ812における光の屈折率がそれぞれの波長において異なってくる。なお、説明の便宜上、図7では、分光カメラ7が備える投射レンズ812以外のレンズについては、その記載を省略している。
そのため、波長600nmの光を透過させて分光画像を撮像素子71で得るときと、波長1000nmの光を透過させて分光画像を撮像素子71で得るときとでは、投射レンズ812と撮像素子71との間の焦点距離が一定であるとすると、検査すべき物品すなわち対象物Xにフォーカスが合う位置は、図7、図8に示す通り、波長600nmの光を透過させたときが近位となり、波長1000nmの光を透過させたときが遠位となる差が生じる。
このようにフォーカスが合う位置が波長600nmの光を透過させた場合と、波長1000nmの光を透過させた場合とでは異なることから、図9に示す通り、波長600nmの光を透過させたときに得られる分光画像の倍率すなわち大きさは、波長1000nmの光を透過させたときに得られる分光画像の倍率すなわち大きさと比較して、大きくなる倍率色収差が発生する。
したがって、異なる波長において撮像された分光画像を、そのまま重ねると、重ねた分光画像同士の間で位置ずれが生じる倍率色収差を含んだ分光画像が生成されることになる。
これに対して、この検査方法では、作業台8に設置された対象物Xと、分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させつつ、分光カメラ7により、対象物Xのフォーカスが合う位置で、異なる波長における分光画像を取得する撮像工程により、フォーカスが合致した分光画像を、異なる波長毎に取得する。その後、分光画像中の対象物Xの大きさが同一となるように、最小の波長において取得された分光画像に対して、各分光画像を拡大した後に、拡大された各分光画像を重ね合わせることで、分光スペクトル画像の分光スペクトル情報を取得する重畳工程により、各分光画像倍率を一致させて重ね合せることから、重ねた分光画像同士の間で位置ずれを生じることなく、倍率色収差を含まない分光画像を得ることができる。そのため、生産された、または、生産途中の物品について、その表面性状の検査を、優れた精度で実施することができる。なお、分光画像中の対象物Xの大きさが同一、とは、分光画像において対象物Xが占める領域と、比較対象となる他の分光画像において対象物Xが占める領域との差分が、所定の範囲内にあることを言う。大きさを比較する要素は領域に限らず、輪郭、画素数、対象物Xの基準となる形状データに対するマッチング度、であってもよい。
ところで、このような検査方法、すなわち、物品の表面性状を検査する検査方法では、予め、L字やT字のような文字等のマークに対するフォーカスの調整を行うことで、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する調整処理を実施し、その後、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理を実施する(図10参照)。
したがって、以下では、この検査方法における、調整処理および検査処理について、順次、説明する。
(調整処理)
まず、物品の表面性状を検査する検査方法における調整処理について説明する。なお、この調整処理では、前述の通り、ロボットシステム100が備える制御装置1にパーソナルコンピューター3が装着された状態で実施される。
<1A> まず、図13に示すように、ユーザーは、パーソナルコンピューター3が備える入力装置36の操作により、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する調整処理を実施する収差補正キャリブレーションのプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1A)。
なお、プログラムの指示に従って入力する条件としては、例えば、ロボット2に複数の分光カメラ7が設置されている場合には、測定する分光カメラ7の指定、その分光カメラ7の設定位置、ロボット2による分光カメラ7の移動後に分光カメラ7による撮像を開始するまでの時間、分光部41で透過させる光の最小の波長、最大の波長および波長のピッチ、分光カメラ7を設置する位置P1、および、位置P1から移動させる最大距離等が挙げられる。
<2A> 次いで、分光部41で透過させる光の最小の波長、すなわち最も短い波長である最短波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率との関係を決定する。すなわち、分光部41で最小の波長の光を透過させたときにおける、分光カメラ7のフォーカスが合う位置および撮像素子71で得られる分光画像の倍率を特定する。
<2A-1> まず、入力装置36における、ユーザーによる入力指示に従って、パーソナルコンピューター3が備える収差補正キャリブレーション実行部303は、ロボット制御部11が備えるカメラポイント補正部102の作動により、ロボット2のシャフト241をz軸方向に移動させることで、図14に示すように、分光カメラ7を初期設定位置である位置P1に移動させる(S2A)。
<2A-2> 次いで、収差補正キャリブレーション実行部303は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長を、最小の波長、すなわち、図14、図15では、600nmに設定する(S3A)。
なお、分光画像処理部12による、分光部41で透過される光の波長の設定は、記憶部14に記憶されているV-λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得し、その後、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加することで実施される。
<2A-3> 次いで、収差補正キャリブレーション実行部303は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像を取得することと、ロボット制御部11が備えるカメラポイント補正部102の作動により、分光カメラ7をz軸方向に移動させることとを、繰り返して実施することで、分光部41で透過される光の波長が、最小の波長、すなわち、600nmであるときに、フォーカスが合う位置、換言すれば、フォーカス値最小のポイントを特定する(S4A)。フォーカスの合う位置は、フォーカスの合う度合を表すフォーカス値を最小とするポイントとして決定する。たとえば、輝度勾配が一定以上の領域のピクセル数を指標として、それを最小とするポイントとする方法がある。物体の輪郭がぼやけている幅の平均ピクセル数を指標として、それを最小とするポイントでもよい。
このフォーカス値最小のポイントの特定は、図14に示すように、例えば、分光カメラ7が最初に設置されている位置P1から+z軸方向すなわち上方向に小さな間隔で移動させた後に、分光画像取得部603の作動による撮像素子71での分光画像の取得と、スペクトル情報生成部604の作動による取得された分光画像の画像処理とを実施するFocusTestシーケンス実行を繰り返して実施することで行うことができる。
より具体的には、取得された分光画像の画像処理は、図11に示す、Geom01のモデルでは、図中のL字の画像を検出した後に、このL字の画像について解析を行い、各位置において取得された分光画像において、L字のフレームすなわち境界部が占有している画素の数が最小となっている位置を、フォーカスが合う位置、すなわち、フォーカス値最小のポイントとして特定する。
以上のように、最小の波長において、作業台8に設置された対象物XすなわちマークとしてのL字を含む分光画像を、分光カメラ7の光軸方向にL字と分光カメラ7との間の距離を変化させた状態で、分光カメラ7により連続的に取得し、分光画像においてL字の境界部が、占有している画素の数が最小となっている分光画像が取得された位置を、フォーカスが合う合焦位置として特定する。
なお、フォーカス値最小のポイントの特定の際には、上記の通り、位置P1を最下点として、そこからロボット2が有するシャフト241すなわち分光カメラ7を上方に移動させる構成とするのが好ましい。そのため、位置P1は、最小の波長のときに焦点の合う位置、またはそれよりも少し下側の位置に設定しておくのが好ましい。すなわち、フォーカスが合う位置すなわち合焦位置よりも近い位置に、対象物XとしてのL字に対して分光カメラ7を配置し、その後、分光カメラ7を、光軸方向に沿って、L字から遠ざかるように移動させること、すなわち分光カメラ7とL字との間の距離が長くなるように変化させることが好ましい。これにより、位置P1よりも対象物X側にシャフト241および分光カメラ7が近づく必要がなく、分光カメラ7と対象物Xとが衝突する可能性がなくなるため、安全性の向上が図られる。
また、フォーカス値最小のポイントの特定は、L字の画像について解析を行う場合に限らず、例えば、図12に示すような、円形をなす外枠の境界部が占有している画素の数を求めることによって実施することも可能である。
<2A-4> 次いで、収差補正キャリブレーション実行部303は、分光部41で透過される光の波長が、最小の波長、すなわち、600nmであるときのフォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このズレ量ΔZときに取得された分光画像の倍率を1として、記憶部14に記憶させる(S5A)。
<3A> 次に、最小の波長の光における、フォーカス値最小のポイントの特定の後に、最小の波長の光よりも長波長の光におけるフォーカス値最小のポイントの特定が必要か否かを、前記工程<1A>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長、最大の波長および波長の選択されたピッチに基づいて判定する。すなわち、最小の波長の光から、最大の波長の光となる波長域において、この波長域を一定の波長の幅で分割したピッチで、続けて、その波長の光におけるフォーカス値最小のポイントの特定を、取得する必要があると判定し、最大の波長、すなわち最も長い波長である最長波長を超えた光となった時点で、その波長の光におけるフォーカス値最小のポイントの特定を終了する(S6A)。
この判定(S6A)において、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光で、フォーカス値最小のポイントを特定する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図14、図15では100nmを加算した波長の光を分光部41で透過し得るように、収差補正キャリブレーション実行部303は、分光制御部602を作動させ(S3’A)、その後、前記工程<2A>~本工程<3A>を繰り返して実施する。これにより、フォーカス値最小のポイントの特定がなされた波長の光よりも長波長の光における、フォーカス値最小のポイントすなわちフォーカスが合う位置が特定される。このような最小の波長以上の光におけるフォーカス値最小のポイントの特定を、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図14、図15では、600nmから、100nmのピッチで、1000nmとなるまで、繰り返して実施する。
上記の通り、前記工程<2A>~本工程<3A>を繰り返して実施することで、最小の波長の光から、一定のピッチで、最大の波長の光を分光部41で透過させたときのフォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率を得ることができる。
すなわち、最小の波長600nmから、100nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときの各波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率との関係は、図15に示す通りとなる。
一方、最大の波長を超えた光となり、その波長の光におけるフォーカス値最小のポイントを特定する必要がない場合には、前記工程<2A>~本工程<3A>の繰り返しを終了し、次工程<4A>に移行する。
<4A> 次に、収差補正キャリブレーション実行部303は、分光部41で透過される光の波長が、最小の波長から一定のピッチで最大の波長となるまで、繰り返して特定された、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときに得られる分光画像の倍率を、分光部41で透過される光の波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときに得られる分光画像の倍率との関係を示すキャリブレーションデータとして、改めて、記憶部14に記憶させる(S7A)。
すなわち、図14、図15のように、最小の波長600nmから、100nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときには、図16に示す、各波長と、フォーカス値最小のポイントの位置P1からのズレ量ΔZ、および、このときの分光画像の倍率との関係をキャリブレーションデータとして、記憶部14に記憶させる。
以上のように、フォーカスを調整する調整処理、すなわち、工程<1A>~工程<4A>を経ることで、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71すなわち分光カメラ7で得られる分光画像の倍率との関係を決定することができる。
換言すれば、以上のようなフォーカスを調整する調整処理により、異なる波長において、前記波長と、取得される分光画像のフォーカスが合う位置、および、分光画像の倍率との関係を特定する、すなわち、予め受け付けた設定波長において、分光カメラ7のフォーカスが対象物Xに合う位置と、前記位置で取得される分光画像の倍率と、の関係を特定する調整工程が構成される。
次に、フォーカスを調整する調整処理が実施されたロボットシステム100を用いて、所定の領域であるSpectrum Match01またはSpectrum Match02に配置された物品の表面性状を検査する検査処理が実施される。
(検査処理)
次に、物品の表面性状を検査する検査方法における検査処理について説明する。なお、この検査処理では、ロボットシステム100が備える制御装置1から、通常、パーソナルコンピューター3が取り外された状態で実施される。なお、このパーソナルコンピューター3が取り外されたロボットシステム100、すなわち、ロボット2と、分光カメラ7と、制御装置1とにより、分光画像処理装置が構成される。
<1B> まず、ユーザーは、図17に示すように、入力装置62の操作により、所定の領域に配置された物品の表面性状を検査する検査処理を実施するプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1B)。
なお、プログラムの指示に従って入力する条件としては、例えば、物品の表面性状を検査する領域、具体的には、Spectrum Match01およびSpectrum Match02の領域のうち何れにおいて検査を実施するのかを指定すること、物品の表面性状を検査する検査の種類、具体的には、物品の色または物品に付着している異物の有無のうち何れの検査を実施するのかを指定すること、検査開始時および検査終了時に分光カメラ7を配置させる位置、ロボット2による分光カメラ7の移動の後に、分光カメラ7による物品の分光画像の取得までに待機する時間、ならびに、分光カメラ7で物品の分光画像を取得する際の波長領域およびこの波長領域において波長を変化させるピッチ等が挙げられる(図16参照)。
<2B> 次いで、前述した調整処理で取得した、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置および撮像素子71すなわち分光カメラ7で得られる分光画像の倍率との関係に基づいて、前記工程<1B>において設定された波長領域において、設定されたピッチで、撮像素子71すなわち分光カメラ7により分光画像を取得する。
<2B-1> まず、入力装置62における、ユーザーによる入力指示に従って、画像処理実行部65は、ロボット制御部11が備えるカメラポイント補正部102の作動により、シャフト241をz軸方向すなわち光軸方向に移動させることで、分光カメラ7を位置P0に配置させた後に、前記工程<1B>において設定された波長領域のうち最低の波長すなわち第1波長において、分光カメラ7のフォーカスが合う位置、すなわち、図18、図19では、600nmにおいて、分光カメラ7のフォーカスが合う、P1からのズレ量ΔZが5mmとなっている位置に移動させる(S2B)。
このようなシャフト241すなわちロボットアーム20の駆動により、分光カメラ7を、対象物Xに対して光軸方向に移動させることができる。すなわち、光軸方向における、分光カメラ7と対象物Xとの間の距離を変化させることができる。
<2B-2> 次いで、画像処理実行部65は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長を、前記工程<1B>において設定された波長領域のうち最低の波長、すなわち、図18、図19では、600nmに設定する(S3B)。
なお、分光画像処理部12による、分光部41で透過される光の波長の設定は、記憶部14に記憶されているV-λデータに基づいて、透過される光の波長、すなわち、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得し、その後、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加することで実施される。
<2B-3> 次いで、画像処理実行部65は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像すなわち第1分光画像を取得する(S4B)。
なお、図10に示す、Geom02のモデルでは、図中のSpectrum Match01またはSpectrum Match02の領域に配置された物品が含まれるように、撮像素子71により分光画像を取得する。
<2B-4> 次いで、画像処理実行部65は、前記工程<2B-3>で取得された分光カメラ7のフォーカスが合っている分光画像と、この分光画像が取得された光の波長が最小の波長(第1波長)、すなわち、600nmであることと、このときに取得された分光画像(第1分光画像)の倍率が1であることとを、記憶部14に記憶させる(S5B)。
<3B> 次に、最小の波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得の後に、最小の波長の光よりも長波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得が必要か否かを、前記工程<1B>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長、最大の波長および波長のピッチに基づいて判定する。すなわち、最小の波長の光から、選択された波長のピッチで、最大の波長の光となるまで、続けて、その波長の光における、分光カメラ7のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長を超えた光となった時点で、その波長の光における分光画像の取得を終了する(S6B)。
この判定(S6B)において、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長の光よりも長波長(第2波長)の光で、フォーカスが合う位置での分光カメラ7による分光画像(第2分光画像)を取得する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、図18、図19では20nmを加算した波長の光を分光部41で透過し得るように、画像処理実行部65は、分光制御部602を作動させ、その後、前記工程<2B>~本工程<3B>を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長の光よりも長波長の光における、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。このような最小の波長以上の光におけるフォーカスが合う位置での分光カメラ7による分光画像の取得を、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して実施する。すなわち、図18、図19では、600nmから、20nmのピッチで、1000nmとなるまで、繰り返して実施する。
このように、分光画像を取得する最小の波長、分光画像を取得する最大の波長、および、最小の波長から最大の波長までの間で分光画像を取得する波長のピッチを設定して、最小の波長から、前記ピッチの間隔で、最大の波長まで、順次、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。すなわち、分光画像を取得する、最も短い波長である最短波長から最も長い波長である最長波長までの波長域と、波長域を一定の波長で分割するピッチを設定し、前記最短波長、前記最長波長および前記ピッチに基づいて、前記最短波長から、前記ピッチの間隔で、前記最長波長まで、順次、フォーカスが合う位置となるように、分光カメラ7と対象物Xとの間の距離を変化させた状態で、分光カメラ7による分光画像の取得が実施される。これにより、一定の間隔の波長における分光画像の情報を含む、精度の良い分光スペクトル画像を取得することが出来る。
また、分光画像を取得する波長を、最小の波長から、前記ピッチの間隔で、最大の波長まで変更することで、分光カメラ7を、光軸方向に沿って、対象物Xから遠ざかるように移動させること、すなわち、分光カメラ7と対象物Xとの間の距離が長くなるように変化させることができる。これにより、分光カメラ7に対象物Xが接触するのを確実に防止することができる。
なお、分光画像を取得する波長のピッチは、上記では20nmとしたが、これに限定されず、前記調整処理において、分光カメラ7で透過させる光の波長と、分光カメラ7のフォーカスが合う位置および分光カメラ7で得られる分光画像の倍率との関係が明らかとなっており、これらの関係が満足していれば、前記波長のピッチは、20nm以上であっても、20nm以下であってもよい。
上記の通り、前記工程<2B>~本工程<3B>を繰り返して実施することで、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長の光から、一定のピッチで、最大の波長の光における分光画像が、フォーカスが合ったものとして取得することができる。
すなわち、図18、図19のように、最小の波長600nmから、20nmのピッチで、最大の波長1000nmまで分光部41を透過させる光を変化させたときの分光画像が、フォーカスが合ったものとして取得することができる。なお、このようにして取得された各波長における分光画像と、これら分光画像の倍率との関係についても、前記調整処理を経ていることから、明らかとなっている。
一方、最大の波長を超えた光となり、その波長の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程<2B>~本工程<3B>の繰り返しを終了し、次工程<4B>に移行する。
以上のような、前記工程<2B>~本工程<3B>の繰り返しにより、分光カメラ7の光軸方向における、作業台8に設置された対象物Xと、分光カメラ7との間の距離を変化せ、分光カメラ7により、第1波長において、対象物Xのフォーカスが合う第1位置で、第1波長における第1分光画像を取得し、第1波長より長い波長である第2波長において分光カメラのフォーカスが合う第2位置で、第2波長における第2分光画像を取得する撮像工程が構成される。
<4B> 次に、画像処理実行部65は、分光部41で透過される光の波長が、前記工程<1B>において、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、改めて、記憶部14に記憶させる(S7B)。
すなわち、図18、図19のように、最小の波長600nmから、20nmのピッチで、最大の波長1000nmまで分光カメラ7のフォーカスが合っている分光画像を取得したときには、これらの分光画像とともに、これに対応する光の波長と、その波長における分光画像の倍率とを、検査すべき物品の分光画像データとして、記憶部14に記憶させる。
以上のように、工程<1B>~工程<4B>を経ることで、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまでの間で、分光カメラ7のフォーカスが合っている分光画像を取得し得るとともに、各波長における分光画像の倍率を決定することができる。
<5B> 次に、画像処理実行部65が備えるスペクトル情報生成部604が有する倍率調整部605は、記憶部14に記憶された、検査すべき物品の分光画像データ、すなわち、ユーザーによって選択された波長領域において、最小の波長から一定のピッチで最大の波長となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長と、その分光画像が取得された波長における分光画像の倍率とを取得する。そして、各波長に対応する分光画像について、それぞれ、その波長に対応する分光画像の倍率の逆数を掛ける(S8B)。これにより、各波長について、倍率変換がなされた分光画像を、図18に示すように、最小の波長すなわち600nmにおける分光画像が最も小さく、最大の波長すなわち1000nmにおける分光画像が最も大きいものとして得られ、その結果、各波長における分光画像で撮像されている対象物Xを、同一の大きさを有するものとし得る。
<6B> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、図18、図19に示すように、各波長において、それぞれ、拡大された分光画像すなわち倍率変換がなされた分光画像を、z軸方向に沿った光軸に対応する点を視野中心とし、この視野中心を基準点として、重ね合せることで分光スペクトル画像Ssamを得ることができる(S9B)。
なお、倍率が1の最小の波長における分光画像を基準として、倍率が1未満となっている他の波長における分光画像については、基準とする分光画像の外側に位置する領域をトリミングする。これにより、図18に示すように、倍率変換がなされた各波長の分光画像を同視野の画像として重ね合せて分光スペクトル画像Ssamとすることができる。
以上のように、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。
以上のような、前記工程<5B>~本工程<6B>により、第1分光画像に含まれる対象物Xの大きさに対し、第2分光画像に含まれる対象物Xの大きさが同一となるように第2分光画像を拡大した後に、拡大された第2分光画像を重ね合わせることで、分光スペクトル画像を取得する重畳工程が構成される。
また、各波長における分光画像は、前述の通り、z軸方向を光軸方向として分光カメラ7を、このz軸方向に移動させることで取得している。そのため、z軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Xすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができるため、生産された、または、生産途中の物品における表面性状を優れた精度で検査することができる。
なお、本工程<6B>において分光スペクトル画像Ssamを得る際には、ロボット2の作動を伴わないことから、検査処理の終了後のことを考慮して、カメラポイント補正部102は、シャフト241を第2アーム23に対してz軸方向に移動させることで、例えば、分光カメラ7を位置P10の位置に配置させることが好ましい。
<7B> 次いで、スペクトル情報生成部604は、得られた分光スペクトル画像Ssamすなわち分光スペクトル情報に基づいて、検査すべき物品すなわち対象物Xの表面性状を検査する(検査工程)。
換言すれば、スペクトル情報生成部604は、前記工程<6B>において得られた、分光スペクトル画像Ssamを取得する。その後、分光情報としての分光スペクトル画像Ssamを、特徴量として用い、データベースと比較する分析処理を実施することで、検査すべき物品である対象物Xの表面性状を検査する。
具体的には、スペクトル情報生成部604は、記憶部14に予め記憶された表面性状が良品であると判断された物品のデータrを取得し、このデータrを用いて対象物Xの分光スペクトル画像Ssamがデータrと一致するか否かを判別することで、対象物Xの表面性状を検査する。
より詳しくは、まず、データrと一致するか否かを判別するのに適した判別空間へ、特徴量としての分光スペクトル画像Ssamを射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、対象物Xの分光スペクトル画像Ssamを判別空間に射影し、位置yとする。
y=f(Ssam)
同様に、良品と判断された物品のデータrについても、判別空間に投影し、y(r)とする。そして、対象物Xの判別空間上の位置yと、良品と判断された物品との判別空間での距離mを計算する。
m=g(y,y(r))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、この得られた距離mが、一定の閾値よりも小さいものを、対象物Xが良品であると判断する。すなわち、対象物Xは良品と同等の色を有している、または、対象物Xには異物が付着していないと判断する。
以上のように、前記工程<6B>では、各波長で取得された分光画像を重ね合せることで分光スペクトル画像Ssamを得る際に、各波長における分光画像の倍率を考慮して倍率変換がなされた後の分光画像を重ね合せていることから、重ね合わせた分光画像同士の間で位置ずれが生じるのを的確に抑制または防止することができる。したがって、倍率色収差が含まれることが的確に抑制または防止された分光スペクトル画像Ssamを得ることができる。
また、各波長における分光画像は、前述の通り、z軸方向を光軸方向として分光カメラ7を、このz軸方向に移動させることで取得している。そのため、z軸方向に沿った光軸の中心を視野中心として、重ね合せるだけで、各波長における分光画像同士の間で位置ずれが生じるのを的確に抑制または防止した状態で、分光スペクトル画像Ssamを得ることができる。すなわち、各波長における分光画像同士の重ね合わせを、位置ずれが生じるのを的確に抑制または防止した状態で、容易に実施することができるため、この重ね合わせにより得られる分光スペクトル画像Ssamを容易に取得することができる。このように、対象物Xすなわち生産された、または、生産途中の物品の分光スペクトル画像Ssamを、正確なスペクトル情報として得ることができる。そのため、生産された、または、生産途中の物品における表面性状の検査を、本工程<7B>において、優れた精度で実施することができる。
<8B> 次に、表示制御部13は、スペクトル情報生成部604で特定された対象物Xの検査結果を可視化画像として作成し、その後、この可視化画像を、表示装置61に表示させる(S7B)。
この可視化画像として、表示装置61に表示させる対象物Xの情報としては、対象物Xが良品または不良品であるかの検査結果、また、良品である場合、良品である確率(%)、さらに、不良品である場合、不良品と判断された理由、異物が付着している位置等の情報が挙げられる。
以上のような、ロボットシステム100を用いた、工程<1B>~工程<8B>を経る検査処理を実施することで、対象物Xの検査が行われる。
なお、分光情報としての分光スペクトルと、記憶部14に記憶されたデータベースとを比較する分光処理を、上記では、判別空間での距離mを用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
また、本実施形態では、シャフト241をz軸方向に移動させることで、作業台8に設置された対象物Xと、シャフト241に連結された分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させることとしたが、これに限定されず、作業台8をz軸方向に移動させることで、対象物Xと分光カメラ7とを、分光カメラ7の光軸方向に、相対的に移動させるようにしてもよい。
さて、以上のようなロボットシステム100を用いた検査方法では、ロボットシステム100が分光カメラ7を備えている。そのため、生産された、または、生産途中の物品について、その表面性状の検査を、優れた精度で実施することができる。しかしながら、前述の通り、この分光カメラ7は、高価であると言うデメリットを有する。
これに対して、RGBカメラは、安価であるため、この検査方法にRGBカメラを導入することは、容易に行い得るが、RGBカメラは、分光カメラ7と比較して、検査の精度の点で劣るため、高精度な物品の表面性状を、RGBカメラでは、検査し得ないことが生じることがある。
そのため、この検査方法で検査すべき物品の種類、もしくは、その検査方法に求められる精度等に応じて、ロボットシステム100に導入するカメラの種類を、RGBカメラで十分であるのか、それとも、分光カメラ7を選択する必要があるのかを、カメラを導入するのに先立って、判定することが求められる。
かかる判定をすることを目的に、物品のRGB画像を取得するRGBカメラと、物品の分光スペクトル画像を取得する分光カメラと、これらの画像を取得するための2系統の光路とを有し、これらを2系統の光路を切り替えることで、同一の物品としての対象物Xを撮像可能なように構成された検査システムが知られている。
しかしながら、この検査システムでは、2系統の光路を切り替えることで、物品のRGB画像と分光スペクトル画像とを取得しているが、この2系統の光路を切り替えるための機構を必要とし、かかる検査システムが備える装置の構成が複雑になると言う問題があった。
これに対して、本発明では、ロボットシステム100が備える分光カメラ7は、所定の波長の光を選択的に透過させる波長可変干渉フィルターで構成される分光部41と、RGBカメラで撮像される所定の色が有する波長領域における感度曲線を示す感度情報を受け付ける受付部と、感度情報に基づいて、所定の波長と、分光部41を透過した透過光を透過させる時間である透過時間と、の関係を示す波長テーブルを生成する波長テーブル生成部を備えるスペクトル情報生成部604と、分光部41を透過した透過光による分光画像を取得する撮像部としての撮像素子71と、前記波長テーブルに基づいて、分光部41と、撮像素子71とを制御する制御部としてのカメラ制御部60と、を備える。
本発明では、分光カメラ7が、上記のような構成をなしているため、RGBカメラを用意することなく、分光カメラ7単独で、RGBカメラを用いて撮像されると想定されるRGB画像をシミュレートにより生成することができる。すなわち、RGB画像を模擬的に撮像することができる。
そのため、分光カメラ7を用いて撮像する対象物Xとして、表面性状の検査を実施する物品の不良品を選択することで、分光カメラ7により、この不良品のRGB画像すなわち不良品RGB画像をシミュレートにより生成することができる。したがって、この不良品RGB画像に基づいて、RGBカメラで十分であるのか、それとも、分光カメラ7を選択する必要があるのかの判定、すなわち、選択すべきカメラの種類の判定を実施することが可能となる。
したがって、予めRGBカメラを用意する必要もなく、さらに、RGBカメラと分光カメラ7とを切り替えるための2系統の光路を設ける必要もないことから、ロボットシステム100の構成が複雑化するのを確実に防止することができる。
また、分光カメラ7を用いた対象物Xの撮像により、直接、RGB画像をシミュレートにより生成すなわち撮像することができるため、対象物Xとして不良品を撮像した際の選択すべきカメラの種類の判定を、早期に実施することができる。
以下、ロボットシステム100すなわち分光カメラ7を用いて実施される、RGBカメラで十分であるのか、それとも、分光カメラ7を選択する必要があるのかを判定する分光検査方法について、詳述する。
[用いるべきカメラの種類を、分光カメラを用いて判定する分光検査方法]
図20は、RGBカメラの分光感度曲線を示すグラフ、図21は、分光カメラの分光感度曲線を示すグラフ、図22は、分光カメラの分光感度を、20nmの幅を有する波長領域毎に、平均化することで求められた棒グラフ、図23は、RGB画像をシミュレートするための変換係数を示す表、図24は、電子部品が備える電極に異物が付着していない良品を示す平面図、図25は、電子部品が備える電極に異物が付着している不良品を示す平面図、図26は、図4に示すロボットシステムにより、用いるべきカメラの種類を、分光カメラを用いて判定する分光検査方法における判定処理を実施する際のフローチャート、図27は、分光カメラにより得られた良品の分光スペクトル画像Ssam(X1)を示すグラフ、図28は、分光カメラにより得られた不良品の分光スペクトル画像Ssam(X2)を示すグラフ、図29は、各波長に対応したB成分の時間係数を示すグラフ、図30は、分光カメラによりシミュレートされた良品のB成分における分光スペクトル画像Ssam(X1B)を示すグラフ、図31は、シミュレートされた良品のRGB画像(X1)を示すグラフ、図32は、シミュレートされた不良品のRGB画像(X2)を示すグラフである。
ロボットシステム100すなわち分光カメラ7を用いた、用いるべきカメラの種類を判定する分光検査方法では、予め、分光カメラ7の分光感度曲線と、選択を予定しているRGBカメラの分光感度曲線との関係に基づいて、分光カメラ7による撮像により、RGBカメラを用いることで取得されると想定されるRGB画像をシミュレートするための変換係数を求める変換前処理を実施する。その後、求められた変換係数を用いて、分光カメラ7による撮像により、RGBカメラを用いることで取得されると想定されるRGB画像をシミュレートすることで、用いるべきカメラの種類、すなわち、RGBカメラで十分なのか、分光カメラ7を必要とするのかを判定する判定処理を実施する。
したがって、以下では、この分光検査方法における、変換前処理および判定処理について、順次、説明する。
(変換前処理)
まず、分光カメラ7の分光感度曲線と、選択を予定しているRGBカメラの分光感度曲線との関係に基づいて、分光カメラ7による撮像により、RGBカメラを用いることで取得されると想定されるRGB画像をシミュレートするための変換係数を求める変換前処理について説明する。なお、この変換前処理では、ロボットシステム100が備える制御装置1にパーソナルコンピューター3が装着された状態で実施される。
<1C> まず、ユーザーは、選択を予定しているRGBカメラの図20に示す分光感度曲線と、分光カメラ7の図21に示す分光感度曲線とを入手する。
<2C> 次いで、ユーザーは、図21に示す分光カメラ7の分光感度曲線について、分光カメラ7で撮像される各分光画像に対応する波長領域において、図22に示すように、それぞれ、強度の平均値を求める。
なお、図22では、400~700nmの波長領域を、15分割した20nmの幅を有する波長領域毎に、求めた強度の平均値を、棒グラフとして示している。
<3C> 次いで、ユーザーは、図22に示す、各分光画像に対応する波長領域における強度の平均値と、図20に示すRGBカメラの分光感度曲線とを用いて、RGBカメラにおけるR成分、G成分およびB成分の強度と、各分光画像に対応する波長領域における強度の平均値との関係とを示す、RGB画像のシミュレート用の変換係数を求める。
なお、RGB画像のシミュレート用の変換係数は、図23に示した表のように、400nm~700nmの可視光領域を15分割した20nmの幅を有する波長領域毎に対応して、図20に記載された、RGBカメラにおけるR成分、G成分およびB成分の強度を、図22に記載された、算出した強度の平均値で除することによって得ることができる。
また、図22では、400nm~700nmの可視光領域を、20nmの波長領域の幅で、15分割された波長領域において、強度の平均値を求めているが、R成分、G成分およびB成分の3つの成分により画像を形成しているRGBカメラと比較して、優れた検出感度とするには、15分割である必要はなく、4以上の整数で分割されていればよい。
<4C> 次いで、ユーザーは、制御装置1が備える入力装置62の操作により、画像処理編集部302を駆動させるブログラムを起動させた後、このプログラムの指示に従って、画像処理実行部65が実行するための、図23に示す、RGB画像のシミュレート用の変換係数を記憶部14に記憶させる。
このRGB画像のシミュレート用の変換係数が、RGBカメラで撮像される所定の色が有する波長領域における感度曲線を示す感度情報を構成する。そして、RGB画像のシミュレート用の変換係数を記憶する記憶部14が、前記感度情報を受け付ける受付部として機能する。
以上のような変換前処理、すなわち、工程<1C>~工程<4C>を経ることで、後述する判定処理において、RGB画像のシミュレート用の変換係数を求めることができる。
すなわち、工程<1C>~<4C>により、後述する判定処理が有する第1生成工程において、対象物Xを不良品とする分光カメラ7による撮像により、R成分とG成分とB成分との強度をそれぞれ取得することで、不良品RGB画像を生成する際に用いられる変換係数を求めることができる。
2.判定処理
次に、用いるべきカメラの種類を、分光カメラ7を用いて判定する分光検査方法における判定処理について説明する。なお、この判定処理では、ロボットシステム100が備える制御装置1からパーソナルコンピューター3が脱着された状態で実施される。
また、判定処理では、分光カメラ7による、用いるべきカメラの種類の判定を、図10に示す、作業台8上のSpectrum Match01に、生産された、または、生産途中の物品の良品X1または不良品X2が対象物Xとして設置され、良品X1が良品として、不良品X2が不良品として正しく分類すなわち評価し得るか否かに基づいて、用いるべきカメラの種類、すなわち、RGBカメラで十分なのか、分光カメラ7を必要とするのかを判定するが、以下、この判定処理について、詳述する。
なお、以下では、作業台8上のSpectrum Match01に設置される物品として、電極90を備える電子部品を用意し、図24に示すように、電極90に異物95が付着していないものを良品X1とし、図25に示すように、電極90に異物95が付着しているものを不良品X2として取り扱い、この異物95の付着の有無、すなわち、良品X1または不良品X2の判別を実施する際に、選択するカメラが、RGBカメラで十分なのか、それとも、分光カメラ7を必要とするのかを判定する場合を一例に説明する。
<1D> まず、ユーザーは、電極90を備える電子部品として、良品X1または不良品X2であると、予め明らかとなっているものをそれぞれ複数個ずつ用意する。また、これとともに、図26に示すように、入力装置62の操作により、所定の領域に配置された物品の表面性状を検査するプログラムを起動させた後、このプログラムの指示に従って、必要に応じて条件等の選択を行う(S1D)。
なお、プログラムの指示に従って入力する条件としては、例えば、物品の表面性状を検査する領域、具体的には、Spectrum Match01において検査を実施することの指定、物品の表面性状を検査する検査の種類、具体的には、物品に付着している異物95の有無の検査を実施することの指定、検査開始時および検査終了時に分光カメラ7を配置させる位置、ロボット2による分光カメラ7の移動の後に、分光カメラ7による物品の分光画像の取得までに待機する時間、ならびに、分光カメラ7で物品の分光画像を取得する際の波長領域およびこの波長領域において波長を変化させるピッチ、具体的には、400~700nmの波長領域において20nmのピッチで15領域の分光画像を取得することの指定等が挙げられる。
なお、本実施形態では、400nm~700nmの可視光領域を、20nmの波長領域の幅で、15分割された波長領域において、分光カメラ7を用いて分光画像を取得する場合について説明するが、R成分、G成分およびB成分の3つの成分により画像を形成しているRGBカメラと比較して、分光カメラ7により取得される分光画像を優れた検出感度を有するものとするには、可視光領域を分割する分割数は、15分割である必要はなく、4以上の整数で分割すればよい。
<2D> 次いで、電極90を備える電子部品として良品X1であると認定されているものを作業台8上に、電極90がSpectrum Match01に対応するように設置した状態とする。そして、前述した、物品の表面性状を検査する検査方法における調整処理で取得した、分光部41すなわち分光カメラ7で透過させる光の波長と、投射レンズ812すなわち分光カメラ7のフォーカスが合う位置との関係に基づいて、前記工程<1D>において設定された400~700nmの波長領域において、設定された20nmのピッチで、撮像素子71すなわち分光カメラ7により良品X1の分光画像を取得する(S2D)。
<2D-1> まず、入力装置62における、ユーザーによる入力指示に従って、画像処理実行部65は、ロボット制御部11が備えるカメラポイント補正部102の作動により、シャフト241をz軸方向すなわち光軸方向に移動させることで、分光カメラ7を位置P0に配置させる。その後、前記工程<1D>において設定された波長領域のうち最小の波長領域すなわち400~420nmにおいて、分光カメラ7のフォーカスが合う位置に移動させる。
<2D-2> 次いで、画像処理実行部65は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長領域を、前記工程<1D>において設定された波長領域のうち最小の波長領域、すなわち、400~420nmに設定する。
<2D-3> 次いで、画像処理実行部65は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像を取得する。
これにより、図10に示すSpectrum Match01の領域に、配置された電子部品が備える電極90が含まれる分光画像を取得する。
<2D-4> 次いで、画像処理実行部65は、前記工程<2D-3>で取得された分光カメラ7のフォーカスが合っている分光画像と、この分光画像が、取得された光の波長領域が最小の波長領域、すなわち400~420nmであることとを、記憶部14に記憶させる。
<3D> 次に、最小の波長領域の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得の後に、最小の波長領域の光よりも長波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得が必要か否かを、前記工程<1D>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長領域、最大の波長領域および波長のピッチに基づいて判定する。すなわち、最小の波長領域の光から、選択された波長領域のピッチで、最大の波長領域の光となるまで、続けて、その波長領域の光における、分光カメラ7のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長領域を超えた光となった時点で、その波長領域の光における分光画像の取得を終了する。
この判定において、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光で、フォーカスが合う位置での分光カメラ7による分光画像を取得する必要がある場合には、ユーザーにより設定されたピッチ分、すなわち、20nmを加算した波長の光を分光部41で透過し得るように、画像処理実行部65は、分光制御部602を作動させる。その後、前記工程<2D>~本工程<3D>を繰り返して実施する。これにより、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光における、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。このような最小の波長領域以上の光におけるフォーカスが合う位置での分光カメラ7による分光画像の取得を、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して実施する。すなわち、本実施形態では、400nmから、20nmのピッチで、700nmとなるまで、15回繰り返して実施する。
このように、分光画像を取得する最小の波長領域、分光画像を取得する最大の波長領域、および、最小の波長領域から最大の波長領域までの間で分光画像を取得する波長のピッチを設定して、最小の波長領域から、前記ピッチの間隔で、最大の波長領域まで、順次、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施される。
上記の通り、前記工程<2D>~本工程<3D>を繰り返して実施することで、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域の光から、一定のピッチで、最大の波長領域の光までの、良品X1を撮像した分光画像が、フォーカスが合ったものとして取得することができる。
すなわち、最小の波長400nmから、20nmのピッチで、最大の波長700nmまで分光部41を透過させる光の波長領域を変化させたときの良品X1を撮像した分光画像が、フォーカスが合ったものとして取得することができる。
一方、最大の波長を超えた波長領域の光となり、その波長領域の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程<2D>~本工程<3D>の繰り返しを終了し、次工程<4D>に移行する。
<4D> 次に、画像処理実行部65は、分光部41で透過される光の波長が、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っている分光画像と、その分光画像が取得された光の波長領域とを、良品X1の分光画像データとして、改めて、記憶部14に記憶させる(S3D)。
すなわち、本実施形態では、最小の波長領域400~420nmから、20nmのピッチで、最大の波長領域680~700nmまで分光カメラ7のフォーカスが合っている分光画像とともに、これに対応する光の波長領域とを、良品X1についての分光画像データとして、記憶部14に記憶させる。
以上のように、工程<2D>~工程<4D>を経ることで、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまでの間で、分光カメラ7のフォーカスが合っている良品X1の分光画像が取得される。
また、工程<2D>~工程<4D>を経ることによる、良品X1の分光画像の取得は、複数の良品X1について実施しておくこととする。
なお、前記工程<2D>~本工程<4D>における、分光カメラ7による、各波長領域における良品X1の分光画像の取得により、分光カメラ7を用いて、良品X1を異なるn(本実施形態では、nは15)の波長領域で撮像して、複数波長良品画像を取得する第2取得工程が構成される。
<5D> 次に、ユーザーは、電極90を備える電子部品として不良品X2であると認定されているものを作業台8上に、電極90がSpectrum Match01に対応するように、良品X1に代えて設置した状態とする。そして、この状態で、画像処理実行部65は、前述した前記工程<2D>~前記工程<3D>を繰り返した後に、前記工程<4D>を実施する。これにより、不良品X2の分光画像についても、良品X1の分光画像と同様に、分光カメラ7のフォーカスが合っている分光画像として、分光部41で透過される光の波長が、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、複数波長不良品画像として取得され(S4D)、これらの情報が、良品X1と同様に、不良品X2についても同様に、記憶部14に記憶される(S5D)。
また、本工程<5D>を経ることによる、不良品X2の分光画像の取得は、複数の不良品X2について実施しておくこととする。
なお、本工程<5D>における、分光カメラ7による、各波長領域における不良品X2の分光画像の取得により、分光カメラ7を用いて、不良品X2を異なるn(本実施形態では、nは15)の波長領域で撮像して、複数波長不良品画像を取得する第1取得工程が構成される。
<6D> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、良品X1について取得された、各波長領域における分光画像を重ね合せるすなわち加重重畳することで、図27に示す、分光スペクトル画像Ssam(X1)を得る(S6D)。
なお、本工程<6D>を経ることによる、良品X1の分光スペクトル画像Ssam(X1)の取得は、複数の良品X1について実施しておくこととする。
<7D> 次に、画像処理実行部65が備えるスペクトル情報生成部604は、不良品X2について取得された、各波長領域における分光画像を重ね合せるすなわち加重重畳することで、図28に示す、分光スペクトル画像Ssam(X2)を得る(S7D)。
なお、本工程<7D>を経ることによる、不良品X2の分光スペクトル画像Ssam(X2)の取得は、複数の不良品X2について実施しておくこととする。
<8D> 次いで、スペクトル情報生成部604は、良品X1について得られた分光スペクトル画像Ssam(X1)すなわち良品X1の分光スペクトル情報に基づいて、良品X1を対象物Xとした表面性状を検査する(S8D)。
換言すれば、スペクトル情報生成部604は、前記工程<6D>において得られた、分光スペクトル画像Ssam(X1)を選択する。その後、分光情報としての分光スペクトル画像Ssam(X1)を、特徴量として用いた分析処理を実施することで、検査すべき良品X1の表面性状を検査する。
具体的には、まず、良品X1の表面性状を判別するのに適した判別空間へ、特徴量としての分光スペクトル画像Ssam(X1)を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、良品X1の分光スペクトル画像Ssam(X1)を判別空間に射影し、位置y(a)とする。
y(a)=f(Ssam(X1))
同様に、他の良品X1の分光スペクトル画像Ssam(X1)についても、判別空間に投影し、y(b)とする。そして、1つ目の良品X1の判別空間上の位置y(a)と、2つ目の良品X1の判別空間上の位置y(b)との距離m1を計算する。この距離m1を、複数の良品X1の組み合わせについて、算出する。
m1=g(y(a),y(b))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1について含まれる距離m1が、良品X1と言える距離であると定義することができる。
よって、この距離m1よりも近い領域が、良品X1の分光スペクトル画像Ssam(X1)すなわち、前記複数波長良品画像を用いた良品X1に対する所定の検査の結果である第3検査結果により算出された、良品分布を示す領域である言うことができる。
<9D> 次いで、スペクトル情報生成部604は、不良品X2について得られた分光スペクトル画像Ssam(X2)すなわち不良品X2の分光スペクトル情報に基づいて、不良品X2を対象物Xとした表面性状を検査する(S9D)。
換言すれば、スペクトル情報生成部604は、前記工程<7D>において得られた、分光スペクトル画像Ssam(X2)を選択する。その後、分光情報としての分光スペクトル画像Ssam(X2)を、特徴量として用いた分析処理を実施することで、検査すべき不良品X2の表面性状を検査する。
具体的には、まず、前記<8D>で用いた良品X1の表面性状を判別するのに適した判別空間へ、特徴量として、良品X1の分光スペクトル画像Ssam(X1)を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、良品X1の分光スペクトル画像Ssam(X1)を判別空間に射影し、位置y(a)とする。
y(a)=f(Ssam(X1))
同様に、不良品X2の分光スペクトル画像Ssam(X2)についても、判別空間に投影し、y(c)とする。
y(c)=f(Ssam(X2))
そして、良品X1の判別空間上の位置y(a)と、不良品X2の判別空間上の位置y(c)との距離m2を計算する。この距離m2を、複数の良品X1と不良品X2との組み合わせについて、算出する。
m2=g(y(a),y(c))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1と不良品X2との組み合わせについて、一定の確率以上(好ましくは100%)すなわち閾値以上で、距離m1<距離m2が成立しているときに、良品X1の分光スペクトル画像Ssam(X1)および不良品X2の分光スペクトル画像Ssam(X2)が取得される、分光カメラ7により、良品X1と不良品X2との判別を実施し得ると言うことができる。
なお、一定の確率以上で、距離m1<距離m2が成立しておらず、分光カメラ7による、良品X1と不良品X2との判別を実施することができないと判定された場合、スペクトル情報生成部604は、その内容を、表示制御部13の作動により、表示装置61に表示する。そして、ユーザーは、この表示を受けて、分光カメラ7の配置位置、分光カメラ7により取得する波長領域、さらにはピッチの幅の条件を変更して、再度、前記工程<1D>~工程<9D>を実施する(S10D)。これにより、良品X1と不良品X2との判別を実施し得る条件を求める。
<10D> 次に、前記工程<1D>において設定された400~700nmの波長領域において、設定された20nmのピッチの幅を有する波長で、撮像素子71すなわち分光カメラ7により良品X1の分光画像を取得する際に、スペクトル情報生成部604は、変換前処理で取得された、RGB画像をシミュレートするための変換係数に基づいて、分光カメラ7により分光画像を取得する時間を波長毎に適宜設定することで、導入を予定しているRGBカメラを用いて取得されると想定される、図31に示す、良品X1のRGB画像(X1)をシミュレートする(S11D)。
<10D-1> まず、画像処理実行部65が備えるスペクトル情報生成部604は、変換前処理で取得された、図23に示した、RGB画像をシミュレートするための変換係数を記憶部14から入手し、R成分、G成分およびB成分の各成分について、各波長に対応した変換係数を、その大きさに応じて、各波長に対応した分光画像を取得する時間の長さに対応した時間係数に変換する。すなわち、時間係数が変換係数に対して比例関係が成立するように、時間係数の大きさを設定する。その後、各成分の時間係数のうち、図29に示す、各波長に対応したB成分の時間係数を、後工程<10D-3>において、利用し得るように用意する。
本工程<10D-1>において、RGB画像のシミュレート用の変換係数が、RGBカメラで撮像される所定の色が有する波長領域における感度曲線を示す感度情報として、受付部としての記憶部14から取得される。そして、この感度情報に基づいて、分光部41を透過させる透過光の波長と、透過光を分光部41から透過させる時間との関係を示す情報としての波長テーブルが、前記時間係数として生成され、さらに、スペクトル情報生成部604は、この波長テーブルすなわち前記時間係数を生成するための波長テーブル生成部として機能する。
<10D-2> 次いで、入力装置62における、ユーザーによる入力指示に従って、画像処理実行部65は、ロボット制御部11が備えるカメラポイント補正部102の作動により、シャフト241をz軸方向すなわち光軸方向に移動させることで、分光カメラ7を位置P0に配置させる。その後、前記工程<1D>において設定された波長領域のうち最低の波長領域すなわち400~420nmにおいて、分光カメラ7のフォーカスが合う位置に移動させる。
<10D-3> 次いで、画像処理実行部65は、カメラ制御部60が備える分光制御部602の作動により、分光部41で透過される光の波長領域を、前記工程<1D>において設定された波長領域のうち最低の波長領域、すなわち、400~420nmに設定する。
<10D-4> 次いで、画像処理実行部65は、カメラ制御部60が備える分光画像取得部603の作動により、撮像素子71により分光画像を取得する。
この分光画像の取得の際に、撮像素子71により分光画像を取得する時間を、前記工程<10D-1>で用意したB成分の時間係数のうち、最小の波長領域すなわち400~420nmに対応した、400nmにおけるB成分の時間係数の長さに設定する。
これにより、図10に示すSpectrum Match01の領域に、配置された電子部品としての良品X1が備える電極90が含まれる分光画像が、最小の波長領域に対応したものとして取得されるが、この分光画像における強度が、B成分の時間係数のうち最小の波長領域に対応したものに対応して設定される。
波長テーブルすなわち前記時間係数に基づいて、前記工程<10D-3>において、制御部としてのカメラ制御部60が備える分光制御部602の作動が制御されることにより、分光部41で透過される光の波長領域が前記最小の波長領域に設定される。さらに、本工程<10D-4>において、制御部としてのカメラ制御部60が備える分光画像取得部603の作動が制御されることにより、撮像素子71により取得する時間の長さ、すなわち光を分光部41で透過させる時間の長さが、前記時間係数に基づいた長さに設定される。
したがって、光すなわち透過光を分光部41で透過させる時間(透過時間)は、感度情報としての感度曲線のB成分において、最小の波長から最大の波長までの波長領域を15分割した波長領域毎における、一定の光エネルギーに対する感度を示す強度に基づいて設定されると言うことができる。
また、前記時間係数に基づいて、分光部41で透過される光の波長領域が前記最小の波長領域であるときの長さに、撮像素子71により良品X1の分光画像を取得する時間の長さ、すなわち光を分光部41で透過させる時間の長さが設定される。
なお、撮像素子71により分光画像を取得する時間は、制御装置1が備えるタイマーにより計測され、このタイマーにより計測された時間に応じて、画像処理実行部65は、分光画像取得部603を作動させることで、分光画像を取得する時間の長さを制御する。
<10D-5> 次いで、画像処理実行部65は、前記工程<10D-3>で取得された分光カメラ7のフォーカスが合っている分光画像と、この分光画像が、取得された光の波長領域が最小の波長領域、すなわち400~420nmであることと、分光画像が、B成分の時間係数のうち最小の波長領域に対応して取得されたものであることとを、記憶部14に記憶させる。
<10D-6> 次に、最小の波長領域の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得の後に、最小の波長領域の光よりも長波長の光における、分光カメラ7のフォーカスが合う位置での分光カメラ7による分光画像の取得が必要か否かを、前記工程<1D>において、ユーザーによって選択された条件、すなわち、分光部41で透過させる光の最小の波長領域、最大の波長領域および波長のピッチに基づいて判定する。すなわち、最小の波長領域の光から、選択された波長領域のピッチで、最大の波長領域の光となるまで、続けて、その波長領域の光における、分光カメラ7のフォーカスが合う位置での分光画像の取得を、実施する必要があると判定し、最大の波長領域を超えた光となった時点で、その波長領域の光における分光画像の取得を終了する。
この判定において、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光で、フォーカスが合う位置での分光カメラ7による分光画像を取得する必要がある場合には、前記工程<10D-2>~本工程<10D-5>を繰り返して実施する。
この時、前記工程<10D-2>において、カメラポイント補正部102は、ユーザーにより設定されたピッチ分、すなわち、20nmを加算した波長領域の光において、分光カメラ7のフォーカスが合う位置に、分光カメラ7を移動させる。また、前記工程<10D-3>において、ユーザーにより設定されたピッチ分を加算した波長領域の光を分光部41で透過し得るように、画像処理実行部65は、分光制御部602を作動させる。さらに、前記工程<10D-4>において、画像処理実行部65は、撮像素子71により分光画像を取得する時間を、前記工程<10D-1>で用意したB成分の時間係数のうち、ユーザーにより設定されたピッチ分、すなわち、20nmを加算した波長領域の光に対応した、B成分の時間係数の長さに設定する。これにより、フォーカスが合う位置での分光カメラ7による分光画像の取得がなされた波長領域の光よりも長波長の光における、フォーカスが合う位置での分光カメラ7による分光画像の取得が、B成分の時間係数の長さを考慮した強度で実施される。このように、最小の波長領域以上の光におけるフォーカスが合う位置での分光カメラ7による分光画像の取得が、B成分の時間係数の長さを考慮した強度でなされるが、このB成分の時間係数の長さを考慮した強度による分光画像の取得を、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して実施する。すなわち、本実施形態では、400nmから、20nmのピッチで、700nmとなるまで、15回繰り返して実施する。なお、図23に示す変換係数のうちB成分に対応するものが0となっている波長については、これに対応する波長領域における分光画像の取得が省略される。
このように、分光画像を取得する最小の波長領域、分光画像を取得する最大の波長領域、および、最小の波長領域から最大の波長領域までの間で分光画像を取得する波長のピッチを設定して、最小の波長領域から、前記ピッチの間隔で、最大の波長領域まで、順次、フォーカスが合う位置での分光カメラ7による分光画像の取得が実施され、かつ、これらの分光画像がB成分の時間係数の長さを考慮した強度を有する、良品X1のB成分における分光スペクトル画像Ssam(X1B)として取得される(図30参照)。
上記の通り、前記工程<10D-2>~本工程<10D-5>を繰り返して実施することで、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域の光から、一定のピッチで、最大の波長領域の光までの、良品X1を撮像したB成分における分光画像が、フォーカスが合ったものとして取得することができる。
すなわち、最小の波長400nmから、20nmのピッチで、最大の波長700nmまで分光部41を透過させる光の波長領域を変化させたときの良品X1を撮像したB成分における分光画像が、フォーカスが合ったものとして取得することができる。
さらに、これらB成分の分光画像がB成分の時間係数の長さを考慮した強度を有するものとして取得されることから、分光カメラ7による、各波長領域における複数のB成分の分光画像の取得により、RGBカメラを用いて取得されると想定される、良品X1のB成分における分光スペクトル画像Ssam(X1B)を、直接、得ることができる。そのため、次工程<10D-5>以降への移行を、早期に実施することができる。
一方、最大の波長を超えた波長領域の光となり、その波長領域の光におけるフォーカスが合う位置での分光画像の取得が必要ない場合には、前記工程<10D-2>~本工程<10D-5>の繰り返しを終了し、次工程<10D-7>に移行する。
<10D-7> 次に、画像処理実行部65は、分光部41で透過される光の波長が、前記工程<1D>において、ユーザーによって選択された波長領域において、最小の波長領域から一定のピッチで最大の波長領域となるまで、繰り返して取得された、分光カメラ7のフォーカスが合っており、かつB成分の時間係数の長さを考慮した強度を有する分光画像と、その分光画像が取得された光の波長領域とを、良品X1の分光画像データ、すなわち、良品X1のB成分における分光スペクトル画像Ssam(X1B)として、改めて、記憶部14に記憶させる。
<10D-8> 次に、良品X1のB成分における分光スペクトル画像Ssam(X1B)における各波長領域における強度を読み取り、その後、これらの平均値を求める。
これにより、良品X1のRGB画像(X1)におけるB成分の強度を得ることができる。
そして、B成分の強度を、記憶部14に記憶させる。
以上のように、工程<10D-1>~工程<10D-8>を経ることで、良品X1のRGB画像(X1)におけるB成分の強度が取得される。
<10D-9> 次に、各波長に対応したB成分の時間係数に代えて、各波長に対応したG成分の時間係数を用意し、各波長に対応したG成分の時間係数を用いて、前記工程<10D-2>~前記工程<10D-8>を実施することで、良品X1のRGB画像(X1)におけるG成分の強度を取得する。
<10D-10> 次に、各波長に対応したB成分の時間係数に代えて、各波長に対応したR成分の時間係数を用意し、各波長に対応したR成分の時間係数を用いて、前記工程<10D-2>~前記工程<10D-8>を実施することで、良品X1のRGB画像(X1)におけるR成分の強度を取得する。
以上のように、工程<10D-1>~工程<10D-10>を経ることで、図31に示す、良品X1のRGB画像(X1)をシミュレートすることができる。
なお、本工程<10D>による、良品X1のRGB画像をシミュレートは、複数の良品X1について実施しておくこととする。
以上のように、スペクトル情報生成部604は、本工程<10D>において、分光カメラ7を用いて良品X1を撮像することで良品分光画像を取得したとき、この良品分光画像に基づいて、良品RGB画像を生成するRGB画像生成部として機能する。
<11D> 次に、前記工程<1D>において設定された400~700nmの波長領域において、設定された20nmのピッチの幅を有する波長で、撮像素子71すなわち分光カメラ7により不良品X2の分光画像を取得する際に、スペクトル情報生成部604は、変換前処理で取得された、RGB画像をシミュレートするための変換係数に基づいて、分光カメラ7により分光画像を取得する時間を波長毎に適宜設定することで、導入を予定しているRGBカメラを用いて取得されると想定される、図32に示す、不良品X2のRGB画像(X2)をシミュレートする(S12D)。
この不良品X2のRGB画像(X2)のシミュレートは、図10に示すSpectrum Match01の領域に対する、電子部品としての良品X1が備える電極90の配置に代えて、不良品X2が備える電極90を、Spectrum Match01の領域に対して配置した後に、前記工程<10D-1>~前記工程<10D-10>を経ることで実施することができる。
なお、本工程<11D>による、不良品X2のRGB画像をシミュレートは、複数の不良品X2について実施しておくこととする。
以上のように、スペクトル情報生成部604は、本工程<11D>において、分光カメラ7を用いて不良品X2を撮像することで不良品分光画像を取得したとき、この不良品分光画像に基づいて、不良品RGB画像を生成するRGB画像生成部として機能する。
<12D> 次いで、スペクトル情報生成部604は、良品X1についてシミュレートされたRGB画像(X1)に基づいて、良品X1を対象物Xとし、RGBカメラを用いたことを想定した表面性状の検査を実施する(S13D)。
換言すれば、スペクトル情報生成部604は、前記工程<10D>において得られた、RGB画像(X1)を取得する。その後、RGB画像(X1)を、特徴量として用いた分析処理を実施することで、良品X1を対象物Xとし、RGBカメラを用いることを想定した表面性状の検査を実施する。
具体的には、まず、良品X1の表面性状を判別するのに適した判別空間へ、特徴量としてのRGB画像(X1)を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、前記工程<8D>において挙げたのと同様の基準が選択される。そして、良品X1のRGB画像(X1)を判別空間に射影し、位置y(a’)とする。
y(a’)=f(RGB画像(X1))
同様に、他の良品X1のRGB画像(X1)についても、判別空間に投影し、y(b’)とする。そして、1つ目の良品X1の判別空間上の位置y(a’)と、2つ目の良品X1の判別空間上の位置y(b’)との距離m1’を計算する。この距離m1’を、複数の良品X1の組み合わせについて、算出する。
m1’=g(y(a’),y(b’))
ここで、前記工程<8D>と同様に、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1について算出された距離m1’が、一定の確率以上(好ましくは100%)すなわち閾値以上で、距離m1≧距離m1’が成立しているときに、RGB画像(X1)による良品X1の判定によっても、良品X1が正しく良品であると判定されていると言える。すなわち、良品X1の判定には、分光カメラ7を必要とすることなく、RGBカメラで十分であると言うことができる。
換言すれば、良品X1のRGB画像(X1)に基づく検査により、良品X1が良品であると判定される場合、RGBカメラを用いたRGBカメラ検査は、所定の基準を満たす、すなわち、上記閾値以上の信頼度を有していると判定することができる。
また、これに反して、複数の良品X1について算出された距離m1’が、一定の確率以上(好ましくは100%)すなわち閾値以上で、距離m1<距離m1’が成立しているときには、RGB画像(X1)による良品X1の判定では、良品X1を正しく良品であると判定することができないと言える。すなわち、良品X1の判定には、RGBカメラでは不十分であるため、分光カメラ7を必要とすると言うことができる。
換言すれば、良品X1のRGB画像(X1)に基づく検査により、良品X1が良品であると判定されない場合、かつ、良品X1の分光スペクトル画像Ssam(X1)すなわち複数波長良品画像に基づく検査により、良品X1が良品であると判定される場合、RGBカメラを用いたRGBカメラ検査は、所定の基準を満たさず、すなわち、上記閾値以上の信頼度を有しておらず、分光カメラ7を用いた分光カメラ検査は、所定の基準を満たす、すなわち、上記閾値以上の信頼度を有していると判定することができる。
以上のように、スペクトル情報生成部604は、良品X1を対象物Xとし、RGBカメラを用いることを想定した表面性状の検査を実施することで、RGBカメラによる検査で十分なのか、それとも、分光カメラ7による検査を必要とするのかを判定する判定部として機能する。
<13D> 次いで、スペクトル情報生成部604は、不良品X2についてシミュレートされたRGB画像(X2)に基づいて、不良品X2を対象物Xとし、RGBカメラを用いたことを想定した表面性状の検査を実施する(S14D:判定工程)。
換言すれば、スペクトル情報生成部604は、前記工程<11D>において得られた、RGB画像(X2)を取得する。その後、RGB画像(X2)を、特徴量として用いた分析処理を実施することで、不良品X2を対象物Xとし、RGBカメラを用いることを想定した表面性状の検査を実施する。
具体的には、まず、前記<12D>で用いた良品X1の表面性状を判別するのに適した判別空間へ、特徴量として、良品X1のRGB画像(X1)を射影する。すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、良品X1のRGB画像(X1)を判別空間に射影し、位置y(a’)とする。
y(a’)=f(RGB画像(X1))
同様に、不良品X2のRGB画像(X2)についても、判別空間に投影し、y(c’)とする。
y(c’)=f(RGB画像(X2))
そして、RGBカメラを用いた場合に想定される、良品X1の判別空間上の位置y(a’)と、不良品X2の判別空間上の位置y(c’)との距離m2’を計算する。そして、この距離m2’を、複数の良品X1と不良品X2との組み合わせについて、算出する。
m2’=g(y(a’),y(c’))
ここで、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、複数の良品X1と不良品X2との組み合わせについて算出された距離m2’が、一定の確率以上(好ましくは100%)すなわち閾値以上で、距離m1<距離m2’が成立しているときに、RGB画像(X2)による不良品X2の判定によっても、不良品X2が正しく不良品であると判定されていると言える。すなわち、不良品X2の判定には、分光カメラ7を必要とすることなく、RGBカメラで十分であると言うことができる。
換言すれば、不良品X2のRGB画像(X2)に基づく検査により、不良品X2が不良判定される場合、RGBカメラを用いたRGBカメラ検査は、所定の基準を満たす、すなわち、上記閾値以上の信頼度を有していると判定することができる。
なお、距離m1よりも近い領域が、第3検査結果により得られた良品分布を示す領域である言うことができるため、この領域に、不良品X2が含まれる割合すなわち距離m1≧距離m2’が成立している割合が、設定した閾値よりも小さくなっていれば、前記所定の基準を満たすと判定することができる。
また、これに反して、複数の不良品X2について算出された距離m2’が、一定の確率以上(好ましくは100%)すなわち閾値以上で、距離m1≧距離m2’が成立しているときには、RGB画像(X2)による不良品X2の判定では、不良品X2を正しく不良品であると判定することができないと言える。すなわち、不良品X2の判定には、RGBカメラでは不十分であるため、分光カメラ7を必要とすると言うことができる。
換言すれば、不良品X2のRGB画像(X2)に基づく検査により、不良品X2が不良判定されない場合、かつ、不良品X2の分光スペクトル画像Ssam(X2)すなわち複数波長不良品画像に基づく検査により、不良品X2が不良判定される場合、RGBカメラを用いたRGBカメラ検査は、所定の基準を満たさず、すなわち、上記閾値以上の信頼度を有しておらず、分光カメラ7を用いた分光カメラ検査は、所定の基準を満たす、すなわち、上記閾値以上の信頼度を有していると判定することができる。
なお、前記工程<12D>において、良品X1が不良品であると判定される確率すなわち閾値と、本工程<13D>において、不良品X2が良品であると判定される確率すなわち閾値とは、本発明において許容されるエラーであると言える。そして、本発明において許容されるエラーの大きさ、換言すれば、本発明において設定される所定の基準は、分光検査方法に求められる精度に応じて、前記工程<12D>の良品X1のRGB画像(X1)を用いた良品X1に対する所定の検査の結果である第2検査結果と、本工程<13D>の不良品X2のRGB画像(X2)を用いた不良品X2に対する所定の検査の結果である第1検査結果を考慮して、設定される。
<14D> 次に、表示制御部13は、スペクトル情報生成部604で特定された検査結果を、可視化画像として作成し、その後、この可視化画像を、表示装置61に表示させる(S15D)。
この可視化画像として、表示装置61に表示させる情報としては、良品X1の判定に、RGBカメラで十分なのか、分光カメラ7を必要とするのかの結果、さらに、不良品X2の判定に、RGBカメラで十分なのか、分光カメラ7を必要とするのかの結果等が挙げられる。
以上のような、ロボットシステム100を用いた、工程<1D>~工程<14D>を経る検査処理を実施することで、対象物Xが良品X1であるのか、または不良品X2であるのかの判定に、RGBカメラで十分なのか、分光カメラ7を必要とするのかを、決定することができる。
上記の通り、ロボットシステム100を用いた分光検査方法によれば、予めRGBカメラを用意する必要もなく、さらに、RGBカメラと分光カメラ7とを切り替えるための2系統の光路を設ける必要もなく、RGBカメラで十分であるのか、それとも、分光カメラ7を選択する必要があるのかを判定することができる。したがって、ロボットシステム100の構成が複雑化するのを確実に防止することができる。
なお、本実施形態では、良品X1のRGB画像(X1)のシミュレートと、不良品X2のRGB画像(X2)のシミュレートとの双方を実施して、良品X1のRGB画像(X1)に基づいた表面性状の検査と、不良品X2のRGB画像(X2)に基づいた表面性状の検査との双方を実施する場合について説明したが、これら双方を実施するのが、検査の精度を向上させる観点からは好ましいが、良品X1のRGB画像(X1)のシミュレートと、このRGB画像(X1)に基づいた表面性状の検査を省略することもできる。すなわち、不良品X2のRGB画像(X2)のシミュレートと、このRGB画像(X2)に基づいた表面性状の検査を、単独で実施するようにしてもよい。これにより、不良品X2が良品と判定されたものの中に混在するのを、確実に防止することができる。
以上、本発明の分光カメラ装置および検査システムを、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
例えば、本発明の検査システムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
また、本発明の検査システムにおいて、前記実施形態では、作業台に設置された対象物と、分光カメラとを、分光カメラの光軸方向に、相対的に移動させることで、分光カメラのフォーカスを対象物に一致させていたが、このフォーカスを一致させる方法は、これに限定されず、ロボットアームを固定した状態で、分光カメラが有するレンズと撮像素子との間の離間距離である焦点距離、すなわち、フォーカスを変更することによっても、技術的には可能である。
1…制御装置、2…ロボット、3…パーソナルコンピューター、7…分光カメラ、8…作業台、9…配管部材、11…ロボット制御部、12…分光画像処理部、13…表示制御部、14…記憶部、15…受付部、20…ロボットアーム、21…基台、22…第1アーム、23…第2アーム、24…作業ヘッド、25…駆動部、26…駆動部、27…駆動部、28…駆動部、29…角速度センサー、31…光源、35…表示装置、36…入力装置、41…分光部、45…静電アクチュエーター、51…回路基板、52…回路基板、60…カメラ制御部、61…表示装置、62…入力装置、65…分光処理実行部、71…撮像素子、81…分光部側光学系、83…撮像素子側光学系、90…電極、95…異物、100…ロボットシステム、101…プログラム実行部、102…カメラポイント補正部、200…ケーブル、220…筐体、230…筐体、231…底板、232…天板、233…側壁、234…傾斜部、241…シャフト、251…モーター、252…位置センサー、261…モーター、262…位置センサー、271…モーター、272…位置センサー、281…モーター、282…位置センサー、301…ロボット制御プログラム編集部、302…画像処理編集部、303…収差補正キャリブレーション実行部、410…固定基板、411…固定反射膜、412…固定電極、413…溝、414…接合膜、415…反射膜設置部、420…可動基板、421…可動反射膜、422…可動電極、423…溝、425…反射膜設置部、601…光源制御部、602…分光制御部、603…分光画像取得部、604…スペクトル情報生成部、605…倍率調整部、811…入射レンズ、812…投射レンズ、831…入出射レンズ、O1…第1回動軸、O2…第2回動軸、O3…第3回動軸、X…対象物、X1…良品、X2…不良品

Claims (6)

  1. 光を所定の波長で選択的に透過させて透過光とする波長可変干渉フィルターで構成される分光部と、
    前記分光部を透過した前記透過光による分光画像を取得する撮像部と、を備える分光カメラと、
    RGBカメラで撮像される所定の色が有する波長領域における感度曲線を示す感度情報を受け付ける受付部と、
    前記感度情報に基づいて、前記所定の波長と、前記透過光を透過させる時間である透過時間と、の関係を示す波長テーブルを生成する波長テーブル生成部と、
    前記波長テーブルに基づいて、前記分光部と、前記撮像部と、を制御する制御部と、
    前記分光カメラを用いて不良品を撮像して不良品分光画像を取得し、前記不良品分光画像に基づいて、不良品RGB画像を生成するRGB画像生成部と、
    前記不良品RGB画像を用いて前記不良品に対する所定の検査を行い、前記不良品が不良判定される場合、前記RGBカメラを用いたRGBカメラの検査結果は所定の基準を満たす、と判定し、
    前記不良品RGB画像を用いて前記不良品に対する前記所定の検査を行い、前記不良品が不良判定されない場合、かつ、前記分光カメラを用いて前記不良品を撮像して得られた複数波長不良品画像を用いて前記不良品に対する前記所定の検査を行い、前記不良品が不良判定される場合、前記RGBカメラの検査結果は、所定の基準を満たさず、前記分光カメラを用いた分光カメラの検査結果は、所定の基準を満たす、と判定する判定部と、を備える制御装置とを、
    有することを特徴とする分光カメラ装置
  2. 前記透過光を透過させる時間は、前記感度情報に含まれる、前記所定の色が有する波長領域を分割した波長における、一定の光エネルギーに対する感度を示す強度に基づいて設定される請求項1に記載の分光カメラ装置
  3. 前記撮像部は、前記所定の波長毎に、前記分光部において前記透過光を透過させる時間に基づいて、前記分光画像を撮像する請求項1または2に記載の分光カメラ装置
  4. 前記RGB画像生成部は、前記分光カメラを用いて良品を撮像して良品分光画像を取得して、前記良品分光画像に基づいて、良品RGB画像を生成し、
    前記判定部は、前記不良品RGB画像を用いた複数の前記不良品に対する前記所定の検査の結果である第1検査結果と、前記良品RGB画像を用いた複数の前記良品に対する前記所定の検査の結果である第2検査結果と、により前記所定の基準を設定するよう構成されている請求項に記載の分光カメラ装置
  5. 前記判定部は、前記分光カメラを用いて複数の前記良品を撮像して複数波長良品画像を取得して、前記複数波長良品画像を用いた複数の前記良品に対する前記所定の検査の結果である複数の第3検査結果の分布を示す領域を算出し、
    前記不良品RGB画像を用いた複数の前記不良品に対する前記所定の検査を行い、複数の前記不良品が不良判定されたときの前記第1検査結果が前記領域に含まれる割合を算出し、前記割合が設定した閾値よりも小さければ、前記所定の基準を満たすと判定するよう構成されている請求項に記載の分光カメラ装置
  6. 請求項1ないしのいずれか1項に記載の分光カメラ装置を備えることを特徴とする検査システム。
JP2019059482A 2019-03-26 2019-03-26 分光カメラ装置および検査システム Active JP7247700B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019059482A JP7247700B2 (ja) 2019-03-26 2019-03-26 分光カメラ装置および検査システム
US16/829,165 US11209312B2 (en) 2019-03-26 2020-03-25 Spectroscopic camera and inspection system
CN202010219717.0A CN111750991B (zh) 2019-03-26 2020-03-25 分光照相机以及检查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059482A JP7247700B2 (ja) 2019-03-26 2019-03-26 分光カメラ装置および検査システム

Publications (2)

Publication Number Publication Date
JP2020159862A JP2020159862A (ja) 2020-10-01
JP7247700B2 true JP7247700B2 (ja) 2023-03-29

Family

ID=72605487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059482A Active JP7247700B2 (ja) 2019-03-26 2019-03-26 分光カメラ装置および検査システム

Country Status (3)

Country Link
US (1) US11209312B2 (ja)
JP (1) JP7247700B2 (ja)
CN (1) CN111750991B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11903774B2 (en) * 2021-09-02 2024-02-20 Cilag Gmbh International Methods and devices for interleaved surgical imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244833A (ja) 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08105799A (ja) * 1994-10-05 1996-04-23 Olympus Optical Co Ltd 色分類装置
EP1608954A1 (en) * 2003-03-11 2005-12-28 Koninklijke Philips Electronics N.V. Spectroscopic analysis apparatus and method with excitation system and focus monitoring system
EP1979726B1 (en) * 2006-01-19 2013-11-06 Philips Intellectual Property & Standards GmbH Color-controlled illumination device
JP2010193380A (ja) * 2009-02-20 2010-09-02 Olympus Corp 撮影装置、色変換処理装置、サーバ情報処理装置、クライアント情報処理装置、およびサーバ情報処理装置における画像データ処理方法、およびクライアント情報処理装置における色変換処理方法
JP2012098181A (ja) * 2010-11-02 2012-05-24 Sumitomo Electric Ind Ltd 検出装置及び検出方法
JP5766958B2 (ja) 2011-01-21 2015-08-19 オリンパス株式会社 顕微鏡システム、情報処理装置、及び情報処理プログラム
JP6194592B2 (ja) * 2013-02-22 2017-09-13 セイコーエプソン株式会社 分光カメラ
JP6136357B2 (ja) * 2013-02-25 2017-05-31 セイコーエプソン株式会社 分光測定装置、通信システム及びカラーマネージメントシステム
JP2015212750A (ja) * 2014-05-02 2015-11-26 セイコーエプソン株式会社 光学モジュール及び撮像システム
JP7076760B2 (ja) * 2016-06-30 2022-05-30 株式会社パパラボ 色判定装置及び色判定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244833A (ja) 2007-03-27 2008-10-09 Casio Comput Co Ltd 撮像装置、色収差補正方法およびプログラム

Also Published As

Publication number Publication date
US11209312B2 (en) 2021-12-28
JP2020159862A (ja) 2020-10-01
US20200309599A1 (en) 2020-10-01
CN111750991A (zh) 2020-10-09
CN111750991B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
TWI575626B (zh) 檢測晶圓之系統及方法
US7372062B2 (en) Defect inspection device and substrate manufacturing system using the same
US9341465B2 (en) Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
US7456947B2 (en) Inspecting apparatus and inspecting method
JP5342210B2 (ja) アライメント装置制御装置およびアライメント方法
JP5119602B2 (ja) 周期性パターンの欠陥検査方法及び欠陥検査装置
US8649591B2 (en) Pattern inspection apparatus and pattern inspection method
JP4655644B2 (ja) 周期性パターンのムラ検査装置
CN102221345B (zh) 检查装置以及检查方法
JP7247700B2 (ja) 分光カメラ装置および検査システム
JP2020165666A (ja) 分光検査方法および分光検査装置
CN113483892B (zh) 一种多光谱影像测量系统和方法
EP3537214B1 (en) Image inspection device
JP2006058170A (ja) 目視確認装置および検査システム
TWI498543B (zh) 自動晶圓光學檢測裝置及檢測晶圓表面均勻性的方法
JP2020159832A (ja) 分光検査方法および検査システム
JP2020159847A (ja) 分光検査方法、分光画像処理装置およびロボットシステム
JP2020153826A (ja) 分光検査方法、分光画像処理装置およびロボットシステム
JP4850014B2 (ja) 分光測光システム及び該システムの照明光源位置の補正方法
JP6012655B2 (ja) ウエーハ検査装置の検査条件データ生成方法及び検査条件データ生成システム
US20220238396A1 (en) Laser repair method and laser repair device
WO2020184530A1 (ja) 検査装置
JP6835020B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム
JP3311628B2 (ja) 薄型表示機器の欠陥箇所位置決め装置
KR100340013B1 (ko) 가동거울을 이용한 컴퓨터 비젼 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7247700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150