JP7010057B2 - 画像処理システムおよび設定方法 - Google Patents
画像処理システムおよび設定方法 Download PDFInfo
- Publication number
- JP7010057B2 JP7010057B2 JP2018031747A JP2018031747A JP7010057B2 JP 7010057 B2 JP7010057 B2 JP 7010057B2 JP 2018031747 A JP2018031747 A JP 2018031747A JP 2018031747 A JP2018031747 A JP 2018031747A JP 7010057 B2 JP7010057 B2 JP 7010057B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- image
- lighting
- lighting pattern
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 53
- 238000000034 method Methods 0.000 title claims description 29
- 238000011156 evaluation Methods 0.000 claims description 510
- 238000005259 measurement Methods 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 63
- 238000005286 illumination Methods 0.000 claims description 34
- 230000007547 defect Effects 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000002950 deficient Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0514—Separate unit
- G03B2215/0517—Housing
- G03B2215/0539—Ringflash
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31282—Data acquisition, BDE MDE
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
上述の開示において、特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つであってもよい。
図1を参照して、本発明の適用例について説明する。図1は、画像処理システム1の構成例を示す図である。
<A.画像処理システム構成>
図2は、画像処理システム1の基本構成を示す模式図である。画像処理システム1は、主たる構成要素として、制御装置100とカメラ8と、照明装置4とを含む。制御装置100とカメラ8とは互いにデータ通信可能に接続される。照明装置4は、カメラ8を介して制御装置100に制御される。
図3および図4を参照して、照明装置4の構成について説明する。図3は、照明装置4のXZ断面を示す図である。図4は、照明装置4の底面図である。
図5は、制御装置100のハードウェア構成について示す模式図である。図5に示すように、制御装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の処理を実現する。
本実施の形態において、制御装置100は、互いに異なる評価用点灯パターンの下で撮像し、評価画像Rを取得し、評価画像Rに基づいて、評価用点灯パターンを評価し、その評価結果に基づいて画像計測に用いる計測用点灯パターンLを決定する。
式(1)に示す数理最適化問題の導出方法を説明する。本実施の形態における画像処理システム1は、画像計測において特定したい特徴領域の特徴量と、特徴領域以外の領域の特徴量との差が大きくなる点灯パターンを計測用点灯パターンLに決定する。つまり、特徴量を求める評価関数fを、照明装置4の点灯パターンを規定する照明パラメータで表現すると、式(2)で表される。なお、照明パラメータとは、照明の色、照明の明るさ、照明の位置を示す変数である。
本実施の形態において、制御装置100は、照明装置4は、部分領域を1つずつ順番に点灯していくとともに、各部分領域から照射される光の色を順番に変更することで、評価用点灯パターンxiを変える。たとえば、照明装置4は、前領域下部42Lに含まれる赤色光源r、緑色光源gおよび青色光源bをそれぞれ順番に点灯したのちに、前領域中部42Cに含まれる赤色光源r、緑色光源gおよび青色光源bをそれぞれ順番に点灯し、というように、13個に分割された各部分領域40について、各部分領域40に含まれる3種類の光源を別々に点灯させる。カメラ8は、各評価用点灯パターンxiの下で、撮像視野内を撮像して評価画像Riを生成する。制御装置100は、カメラ8から評価画像Riを取得する。
評価値Piは、評価画像Riにおける特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさを示す値である。評価値Piは、たとえば、特徴領域h1を含む注目領域H1の特徴量A1と、注目領域H1以外の非注目領域H2の特徴量A2との差を求めることで得られる。また、評価値Piは、注目領域H1内の特徴量の変動量であってもよい。
制御装置100は、評価値Piから、式(1)の数理最適化問題を解いて、係数liを決定する。数理最適化問題は、式(7)の値が最大となるように、係数lをフィッティングする。フィッティング方法は、既知の方法を採用することができ、総当りで行ってもよく、あるいは、既知の探索法を利用してもよい。
制御装置100は、得られた係数liに基づいて計測用点灯パターンLを決定する。制御装置100は、式(8)に示すように、計測用点灯パターンLを、係数liを評価用点灯パターンxiの係数とした評価用点灯パターンxiの線形結合により求めることができる。
図9および図10は、評価値Pの算出に必要な情報を設定するためのユーザインターフェイス画面600である。図11は、算出条件指定領域640を示す図である。図12は、計測用点灯パターンLを選択するためのユーザインターフェイス画面700である。図13は、一の点灯パターンを選択した場合のユーザインターフェイス画面である。
図14は、制御装置100の機能構成の一例を模式的に示した図である。制御装置100は、制御プログラム150を実行することで、図14に示す各構成を制御して、計測用点灯パターンLを決定する。
以上のように、画像処理システム1は、対象物Wを撮像するカメラ8と、複数の部分領域40から構成され、部分領域40ごとに点灯することができる照明装置4と、画像処理システム1において実行される処理を制御する制御装置100とを備える。制御装置100は、各評価用点灯パターンxiの下で撮像されて得られる評価画像Riを取得する画像取得部210と、評価用点灯パターンxiごとに得られる評価画像Riのうち評価対象となる領域の設定を受け付ける設定受付部220と、設定受付部220が受け付けた評価対象の範囲から特徴量Aを算出する特徴量算出部230と、特徴量Aから評価用点灯パターンxiの評価値Piを算出する評価値算出部240とを備える。また、制御装置100は、評価値Piに基づいて決定される係数liを用いて評価用点灯パターンxiの線形結合を求めることにより計測用点灯パターンLを決定するパターン決定部250を備える。
上記実施の形態においては、一の評価用点灯パターンxiに対して、一の評価画像Riを取得する例を示した。一の評価用点灯パターンxiに対して複数の評価画像Riを取得し、複数の評価画像Riの各々から得られる特徴量から評価値Piを算出してもよい。
上記実施の形態においては、各評価用点灯パターンxiは、一の部分領域内に含まれる一種類の光源を点灯させたパターンとして説明した。しかし、評価用点灯パターンは、これに限るものではない。図16は、評価用点灯パターンの変形例1を示す図である。図17は、評価用点灯パターンの変形例2を示す図である。
上記実施の形態において、評価値Piは、評価画像Riにおける特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさを示す値とした。評価値Piは、特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさに限らず、エッジ検出の検出精度を示す値などであってもよい。
(1) 本実施の形態においては、カメラ8と照明装置4とが別体となっている例を示したが、カメラ8と照明装置4とは一体であってもよい。
以上のように、本実施の形態は以下のような開示を含む。
対象物(W)の外観画像を用いた画像計測を行なう画像処理システム(1)であって、
前記対象物(W)を撮像する撮像部(8)と、
前記対象物(W)に対して光を照射するための複数の照明要素(40)から構成され、照明要素(40)ごとに発光強度を調整できる照明部(4)と、
互いに異なる複数の評価用点灯パターン(xi)の各々に従って前記照明部(4)から照明光を照射するとともに、各評価用点灯パターン(xi)に対応する少なくとも1以上の評価画像(Ri)を前記撮像部(8)から取得する画像取得部(210)と、
前記画像取得部(210)で取得した前記評価画像(Ri)のうち、評価の対象となる評価対象画像(Ri)、および、1の画像の部分領域であって評価の対象となる評価対象領域(H1,H2)、の設定を受け付ける設定受付部(220)と、
各評価用点灯パターン(xi)に対応する前記評価対象画像(Ri)に関する前記評価対象領域(H1,H2)から特徴量(Ai)を算出する特徴量算出部(230)と、
前記特徴量算出部(230)で得られた前記特徴量(Ai)に基づいて、前記評価用点灯パターン(xi)に対応する評価値(Pi)を算出する評価値算出部(240)と、
前記評価値算出部(240)で得られた前記評価値(Pi)に基づいて決定される係数(li)を用いて、前記評価用点灯パターン(xi)の線形結合を求めることにより、前記画像計測に用いる点灯パターン(L)を決定するパターン決定部(250)とを備える、画像処理システム。
前記評価用点灯パターン(xi)は、前記照明要素のうちひとつ、または、互いに近傍に位置する前記照明要素の集合が点灯し、その他は点灯しないパターンとする、構成1に記載の画像処理システム。
前記照明部は、第1波長を主波長とする光(r)と、前記第1波長とは異なる波長帯の第2波長を主波長とする光(g、b)とを選択的に照射できるように構成されている、構成1または2に記載の画像処理システム。
前記設定受付部(220)は、前記評価対象画像および前記評価対象領域に対応するラベル情報(164)をさらに受け付け、
前記評価値算出部(240)は、前記評価対象領域から得られた前記特徴量(Ai)と、当該評価対象領域に対応する前記ラベル情報(164)との対応関係に基づいて前記評価値(Pi)を算出する、構成1に記載の画像処理システム。
前記ラベル情報は、前記評価対象画像および前記評価対象領域に欠陥が存在する状態を示す情報、または、欠陥が存在しない状態を示す情報である(642)、構成4に記載の画像処理システム。
前記特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つである(644,645)、構成1~構成5のいずれか1に記載の画像処理システム。
前記評価値算出部(240)は、前記評価対象画像および前記評価対象領域のうち2つの領域において算出された前記特徴量の差の大きさ(A1,A2)、または、前記評価対象画像および前記評価対象領域のうち1つの領域において算出された前記特徴量、若しくは領域において算出された前記特徴量の変動の大きさ(A’1,A’2)に基づいて、前記評価値を算出する、構成4~構成6のいずれか1に記載の画像処理システム。
前記パターン決定部は、前記複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに(252,256)、各組合せに含まれる評価用点灯パターンに対応する前記評価値の合計を算出する(254)、構成7に記載の画像処理システム。
前記パターン決定部は、
前記組合せが示す点灯パターン(712)と対応する評価値の合計(714)とを表示する(256)とともに、表示された組合せに対する選択を受付け(716)、
当該選択された組合せが示す点灯パターンを前記画像計測に用いる点灯パターンとして決定する(720,258)、構成8に記載の画像処理システム。
対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部に対して点灯設定を行なうための設定方法であって、
互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得するステップ(S10)と、
各評価用点灯パターンに対応する前記1以上の評価画像のうちの評価対象画像に関する評価対象領域から特徴量を算出するステップ(S20)と、
算出された前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出するステップ(S30)と、
算出された前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するステップ(S40)とを備える、設定方法。
Claims (9)
- 対象物の外観画像を用いた画像計測を行なう画像処理システムであって、
前記対象物を撮像する撮像部と、
前記対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部と、
互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を前記撮像部から取得する画像取得部と、
前記画像取得部で取得した前記1以上の評価画像のうち、評価の対象となる評価対象画像、および、1の画像の部分領域であって評価の対象となる評価対象領域、の設定を受け付ける設定受付部と、
各評価用点灯パターンに対応する前記評価対象画像内の前記評価対象領域から特徴量を算出する特徴量算出部と、
前記特徴量算出部で得られた前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出する評価値算出部と、
前記評価値算出部で得られた前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、前記画像計測に用いる点灯パターンを決定するパターン決定部とを備え、
前記画像計測に用いる点灯パターンは、前記評価用点灯パターンの組合せが示す一の点灯パターンであり、
前記画像取得部は、前記1以上の評価画像の撮像および前記画像計測において、記憶装置に格納された撮像条件に従って前記撮像部に撮像指示を送り、
前記評価値算出部は、各評価用点灯パターンについて、前記評価対象領域において予め指定された領域である注目領域の特徴量と、前記評価対象領域における前記注目領域を除く領域である非注目領域の特徴量との差を用いて、前記評価値を算出し、
前記係数は、
前記複数の評価用点灯パターンのうちi番目の評価用点灯パターンに対応する場合に係数liとして表記され、
係数liを含む以下の式(1)の数理最適化問題を、以下の式(2)の値が最大になるように解くことによって求められ、
式(1)および式(2)において、
添え字h2は、前記非注目領域を示す添え字であり、
添え字h1は、前記注目領域を示す添え字であり、
係数α h2i は、i番目の評価用点灯パターンが前記非注目領域から得られる特徴量に与える影響度合いを示す係数であり、
係数α h1i は、i番目の評価用点灯パターンが前記注目領域から得られる特徴量に与える影響度合いを示す係数であり、
光量biは、i番目の評価用点灯パターンに従って前記照明部から照明光を照射したときの照明光の光量であり、
評価値Piは、i番目の評価用点灯パターンに対応する前記評価値を表す、画像処理システム。 - 前記評価用点灯パターンは、前記照明要素のうちひとつ、または、互いに近傍に位置する前記照明要素の集合が点灯し、その他は点灯しないパターンとする、請求項1に記載の画像処理システム。
- 前記照明部は、第1波長を主波長とする光と、前記第1波長とは異なる波長帯の第2波長を主波長とする光とを選択的に照射できるように構成されている、請求項1または請求項2に記載の画像処理システム。
- 前記設定受付部は、前記評価対象画像および前記評価対象領域に対応するラベル情報をさらに受け付け、
前記評価値算出部は、前記評価対象領域から得られた前記特徴量と、当該評価対象領域に対応する前記ラベル情報との対応関係に基づいて前記評価値を算出する、請求項1に記載の画像処理システム。 - 前記ラベル情報は、前記評価対象画像および前記評価対象領域に欠陥が存在する状態を示す情報、または、欠陥が存在しない状態を示す情報である、請求項4に記載の画像処理システム。
- 前記特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つである、請求項1~請求項5のいずれか1項に記載の画像処理システム。
- 前記パターン決定部は、前記複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに、各組合せに含まれる評価用点灯パターンに対応する前記評価値の合計を算出する、請求項1~6のいずれか1項に記載の画像処理システム。
- 前記パターン決定部は、
前記組合せが示す点灯パターンと対応する評価値の合計とを表示するとともに、表示された組合せに対する選択を受付け、
当該選択された組合せが示す点灯パターンを前記画像計測に用いる点灯パターンとして決定する、請求項7に記載の画像処理システム。 - 対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部に対して点灯設定を行なうための設定方法であって、
互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得するステップと、
各評価用点灯パターンに対応する前記1以上の評価画像のうちの評価対象画像内の評価対象領域から特徴量を算出するステップと、
算出された前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出するステップと、
算出された前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するステップとを備え、
前記画像計測に用いる点灯パターンは、前記評価用点灯パターンの組合せが示す一の点灯パターンであり、
前記撮像部は、前記1以上の評価画像の撮像および前記画像計測において、記憶装置において格納された撮像条件に従って制御され、
前記評価値を算出するステップは、各評価用点灯パターンについて、前記評価対象領域において予め指定された領域である注目領域の特徴量と、前記評価対象領域における前記注目領域を除く領域である非注目領域の特徴量との差を用いて、前記評価値を算出し、
前記係数は、
前記複数の評価用点灯パターンのうちi番目の評価用点灯パターンに対応する場合に係数liとして表記され、
係数liを含む以下の式(1)の数理最適化問題を、以下の式(2)の値が最大になるように解くことによって求められ、
式(1)および式(2)において、
添え字h2は、前記非注目領域を示す添え字であり、
添え字h1は、前記注目領域を示す添え字であり、
係数α h2i は、i番目の評価用点灯パターンが前記非注目領域から得られる特徴量に与える影響度合いを示す係数であり、
係数α h1i は、i番目の評価用点灯パターンが前記注目領域から得られる特徴量に与える影響度合いを示す係数であり、
光量biは、i番目の評価用点灯パターンに従って前記照明部から照明光を照射したときの照明光の光量であり、
評価値Piは、i番目の評価用点灯パターンに対応する前記評価値を表す、設定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031747A JP7010057B2 (ja) | 2018-02-26 | 2018-02-26 | 画像処理システムおよび設定方法 |
EP18211978.4A EP3531344A1 (en) | 2018-02-26 | 2018-12-12 | Image processing system and setting method |
CN201811518015.1A CN110196576B (zh) | 2018-02-26 | 2018-12-12 | 图像处理系统以及设定方法 |
US16/221,592 US10863069B2 (en) | 2018-02-26 | 2018-12-17 | Image processing system and setting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031747A JP7010057B2 (ja) | 2018-02-26 | 2018-02-26 | 画像処理システムおよび設定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019148438A JP2019148438A (ja) | 2019-09-05 |
JP7010057B2 true JP7010057B2 (ja) | 2022-01-26 |
Family
ID=64665044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018031747A Active JP7010057B2 (ja) | 2018-02-26 | 2018-02-26 | 画像処理システムおよび設定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10863069B2 (ja) |
EP (1) | EP3531344A1 (ja) |
JP (1) | JP7010057B2 (ja) |
CN (1) | CN110196576B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3629286A4 (en) * | 2017-05-01 | 2021-01-13 | Kowa Company, Ltd. | IMAGE ANALYSIS EVALUATION PROCESS, COMPUTER PROGRAM AND IMAGE ANALYSIS EVALUATION DEVICE |
EP3844673A1 (en) * | 2018-08-27 | 2021-07-07 | Signify Holding B.V. | Systems and methods for tuning light sources for use with object detection algorithms |
US11852591B2 (en) * | 2019-03-15 | 2023-12-26 | Omron Corporation | Inspection device and method |
CN113826001A (zh) * | 2019-05-28 | 2021-12-21 | 京瓷株式会社 | 光谱决定装置、光谱决定方法、光谱决定程序、照明系统、照明装置以及检查装置 |
JP7323922B2 (ja) * | 2019-09-27 | 2023-08-09 | 有限会社シマテック | Led照明器 |
JP7342616B2 (ja) * | 2019-10-29 | 2023-09-12 | オムロン株式会社 | 画像処理システム、設定方法およびプログラム |
JP6860098B1 (ja) * | 2020-02-10 | 2021-04-14 | オムロン株式会社 | 画像検査装置および画像検査プログラム、照明設定装置 |
JP2022054938A (ja) * | 2020-09-28 | 2022-04-07 | 株式会社リコー | 検査装置、検査システム、検査方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001153808A (ja) | 1999-11-30 | 2001-06-08 | Ccs Kk | 照明装置の制御電源 |
JP2001229381A (ja) | 2000-02-15 | 2001-08-24 | Matsushita Electric Works Ltd | 画像処理検査システムおよびその方法 |
US20040184032A1 (en) | 2003-03-20 | 2004-09-23 | James Mahon | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
JP2006047290A (ja) | 2004-06-30 | 2006-02-16 | Omron Corp | 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置 |
JP2008122198A (ja) | 2006-11-10 | 2008-05-29 | Omron Corp | 視覚センサおよび照明設定方法 |
JP2017067633A (ja) | 2015-09-30 | 2017-04-06 | キヤノン株式会社 | 検査装置および物品製造方法 |
JP2018017638A (ja) | 2016-07-29 | 2018-02-01 | オムロン株式会社 | 照明ユニット、欠陥検査装置、および照明方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5060065A (en) * | 1990-02-23 | 1991-10-22 | Cimflex Teknowledge Corporation | Apparatus and method for illuminating a printed circuit board for inspection |
US6207946B1 (en) * | 1998-09-03 | 2001-03-27 | Semiconductor Technologies & Instruments, Inc. | Adaptive lighting system and method for machine vision apparatus |
US6542180B1 (en) * | 2000-01-07 | 2003-04-01 | Mitutoyo Corporation | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part |
JP2002118760A (ja) * | 2000-10-04 | 2002-04-19 | Canon Inc | 画像処理方法及びその装置、及び画像処理システム |
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
US7016525B2 (en) * | 2002-05-02 | 2006-03-21 | Mitutoyo Corporation | Systems and methods for continuously varying wavelength illumination |
JP4273108B2 (ja) * | 2005-09-12 | 2009-06-03 | キヤノン株式会社 | 色処理方法、色処理装置及び記憶媒体 |
WO2008007614A1 (fr) * | 2006-07-14 | 2008-01-17 | Nikon Corporation | Appareil d'inspection de surface |
JP5239314B2 (ja) | 2007-11-28 | 2013-07-17 | オムロン株式会社 | 物体認識方法およびこの方法を用いた基板外観検査装置 |
GB2465792A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Illumination Direction Estimation using Reference Object |
JP5733032B2 (ja) * | 2011-06-06 | 2015-06-10 | ソニー株式会社 | 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体 |
JP6395456B2 (ja) | 2014-06-09 | 2018-09-26 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
CN106323987A (zh) * | 2016-09-30 | 2017-01-11 | 厦门威芯泰科技有限公司 | 一种用于检测高反射表面缺陷的照明光源 |
-
2018
- 2018-02-26 JP JP2018031747A patent/JP7010057B2/ja active Active
- 2018-12-12 EP EP18211978.4A patent/EP3531344A1/en active Pending
- 2018-12-12 CN CN201811518015.1A patent/CN110196576B/zh active Active
- 2018-12-17 US US16/221,592 patent/US10863069B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001153808A (ja) | 1999-11-30 | 2001-06-08 | Ccs Kk | 照明装置の制御電源 |
JP2001229381A (ja) | 2000-02-15 | 2001-08-24 | Matsushita Electric Works Ltd | 画像処理検査システムおよびその方法 |
US20040184032A1 (en) | 2003-03-20 | 2004-09-23 | James Mahon | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
JP2006047290A (ja) | 2004-06-30 | 2006-02-16 | Omron Corp | 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置 |
JP2008122198A (ja) | 2006-11-10 | 2008-05-29 | Omron Corp | 視覚センサおよび照明設定方法 |
JP2017067633A (ja) | 2015-09-30 | 2017-04-06 | キヤノン株式会社 | 検査装置および物品製造方法 |
JP2018017638A (ja) | 2016-07-29 | 2018-02-01 | オムロン株式会社 | 照明ユニット、欠陥検査装置、および照明方法 |
Non-Patent Citations (1)
Title |
---|
JEHLE, M. et al.,Learning of Optimal Illumination for Material Classification,Proceedings of the 32nd DAGM Symposium on Pattern Recognition, Darmstadt, Germany,ドイツ,Springer,2010年09月22日,pp. 563-572,doi: 10.1007/978-3-642-15986-2_57,ISBN:978-3-642-15985-5 |
Also Published As
Publication number | Publication date |
---|---|
CN110196576B (zh) | 2022-09-13 |
JP2019148438A (ja) | 2019-09-05 |
US20190268517A1 (en) | 2019-08-29 |
CN110196576A (zh) | 2019-09-03 |
US10863069B2 (en) | 2020-12-08 |
EP3531344A1 (en) | 2019-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7010057B2 (ja) | 画像処理システムおよび設定方法 | |
US9291450B2 (en) | Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium | |
US10508902B2 (en) | Three-dimensional measurement device | |
US9536295B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device | |
US6542180B1 (en) | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part | |
US10373302B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device | |
JP6834843B2 (ja) | 画像処理システム、設定支援装置および設定支援プログラム | |
JP6791631B2 (ja) | 画像生成方法及び検査装置 | |
US20120067952A1 (en) | Code Quality Evaluating Apparatus | |
JP7056131B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
US10412810B2 (en) | Setting support apparatus, image processing system, and non-transitory computer-readable recording medium | |
JP7154084B2 (ja) | 三次元形状測定装置および三次元形状測定プログラム | |
JP6973205B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム | |
US12013525B2 (en) | Magnified observation apparatus | |
CN113252706B (zh) | 图像检查装置、存储介质以及照明设定装置 | |
JP2011109507A (ja) | 画像処理装置および画像処理プログラム | |
JP4477782B2 (ja) | 被測定物のイメージにおける複数選択領域該当箇所の照明調整装置及び方法 | |
WO2021084773A1 (ja) | 画像処理システム、設定方法およびプログラム | |
JP3931130B2 (ja) | 測定システム、演算方法および演算プログラム | |
KR20080114550A (ko) | 자외선 현미경 장치 | |
JP6835020B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム | |
JP6939501B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP5533714B2 (ja) | 光学情報読み取り装置 | |
JP2008046509A (ja) | 走査型共焦点レーザ顕微鏡による計測方法及びその制御システム | |
KR20220040466A (ko) | 하전 입자선 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7010057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |