JP7010057B2 - 画像処理システムおよび設定方法 - Google Patents

画像処理システムおよび設定方法 Download PDF

Info

Publication number
JP7010057B2
JP7010057B2 JP2018031747A JP2018031747A JP7010057B2 JP 7010057 B2 JP7010057 B2 JP 7010057B2 JP 2018031747 A JP2018031747 A JP 2018031747A JP 2018031747 A JP2018031747 A JP 2018031747A JP 7010057 B2 JP7010057 B2 JP 7010057B2
Authority
JP
Japan
Prior art keywords
evaluation
image
lighting
lighting pattern
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018031747A
Other languages
English (en)
Other versions
JP2019148438A (ja
Inventor
ジェウック ホワン
伸悟 稲積
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018031747A priority Critical patent/JP7010057B2/ja
Priority to EP18211978.4A priority patent/EP3531344A1/en
Priority to CN201811518015.1A priority patent/CN110196576B/zh
Priority to US16/221,592 priority patent/US10863069B2/en
Publication of JP2019148438A publication Critical patent/JP2019148438A/ja
Application granted granted Critical
Publication of JP7010057B2 publication Critical patent/JP7010057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0517Housing
    • G03B2215/0539Ringflash
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31282Data acquisition, BDE MDE
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物の外観画像を用いた画像計測を行なう画像処理システム、および画像計測に用いる照明部に対して点灯設定を行なうための設定方法に関する。
FA(Factory Automation)分野などにおいては、対象物(以下、「ワーク」とも称す。)を照明装置からの光による照明下で撮像し、生成された画像データからワークに関する情報を取得する画像処理技術が利用されている。
画像処理技術分野において利用される照明装置として、多種多様な照明装置が開発されている。例えば、特開2009-128345号公報(特許文献1)には、色彩光が互いに異なる複数の照明部を備える照明装置が開示されている。また、特開2015-232487(特許文献2)には、照明方向が異なる複数の照明を備える照明装置が開示されている。
特開2009-128345号公報 特開2015-232487号公報
照明の色、照明の方向など、設定可能な条件が多い照明装置は、照明パターンが多く、ユーザは照明の色、照明の方向などすべてについて一から設定する場合、照明装置の点灯設定が煩雑なものとなってしまう虞がある。
本発明は、上述したように、照明の点灯設定をより簡単に行うことができる画像処理システムおよび設定方法を提供することを目的とする。
本開示の一例によれば、対象物の外観画像を用いた画像計測を行なう画像処理システムが提供される。画像処理システムは、対象物を撮像する撮像部と、対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部と、互いに異なる複数の評価用点灯パターンの各々に従って照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得する画像取得部と、画像取得部で取得した評価画像のうち、評価の対象となる評価対象画像、および、1の画像の部分領域であって評価の対象となる評価対象領域、の設定を受け付ける設定受付部と、各評価用点灯パターンに対応する評価対象画像に関する評価対象領域から特徴量を算出する特徴量算出部と、特徴量算出部で得られた特徴量に基づいて、評価用点灯パターンに対応する評価値を算出する評価値算出部と、評価値算出部で得られた評価値に基づいて決定される係数を用いて、評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するパターン決定部とを含む。
この開示によれば、画像計測に用いる点灯パターンが評価用点灯パターンの線形結合を求めることにより決定されるため、照明部の点灯設定をより簡単に行うことができる。
上述の開示において、評価用点灯パターンは、照明要素のうちひとつ、または、互いに近傍に位置する照明要素の集合が点灯し、その他は点灯しないパターンであってもよい。
この開示によれば、評価値は、所定の方向から対象物に入射する光に対する評価を示す値を意味し、対象物に入射するあらゆる方向からの光を各々、別々に評価することができる。
上述の開示において、照明部は、第1波長を主波長とする光と、第1波長とは異なる波長帯の第2波長を主波長とする光とを選択的に照射できるように構成されていてもよい。
この開示によれば、発光強度だけでなく、光の色も変更することができるため、より精度の高い画像計測を行なうことができる。
上述の開示において、設定受付部は、評価対象画像および評価対象領域に対応するラベル情報をさらに受け付けてもよい。また、評価値算出部は、評価対象領域から得られた特徴量と、評価対象領域に対応するラベル情報との対応関係に基づいて評価値を算出してもよい。
この開示によれば、評価値を算出する方法の自由度が上がり、ユーザは画像計測の内容に沿って評価値を算出することができる。
上述の開示において、ラベル情報は、評価対象画像および評価対象領域に欠陥が存在する状態を示す情報、または、欠陥が存在しない状態を示す情報であってもよい。
この開示によれば、欠陥検査に適した点灯パターンを決定することができる。
上述の開示において、特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つであってもよい。
この開示によれば、様々な種類の特徴量に基づいて、評価用点灯パターンを評価することができるため、ユーザは画像計測の内容に沿って評価用点灯パターンを評価することができる。
上述の開示において、評価値算出部は、評価対象画像および評価対象領域のうち2つの領域において算出された特徴量の差の大きさ、または、評価対象画像および評価対象領域のうち1つの領域において算出された特徴量、若しくは領域において算出された特徴量の変動の大きさに基づいて、評価値を算出してもよい。
この開示によれば、画像計測において、画像内の特徴量の偏差が大きくなるような点灯パターンを決定することができる。
上述の開示において、パターン決定部は、複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに、各組合せに含まれる評価用点灯パターンに対応する評価値の合計を算出してもよい。
この開示によれば、評価用点灯パターンの組合せからなる点灯パターンの評価を評価値の合計に基づいて容易に行うことができる。
上述の開示において、パターン決定部は、組合せが示す点灯パターンと対応する評価値の合計とを表示するとともに、表示された組合せに対する選択を受付け、選択された組合せが示す点灯パターンを画像計測に用いる点灯パターンとして決定してもよい。
この開示によれば、ユーザは、評価値の合計に基づいて点灯パターンの選択ができるため、説明性の高い計測用点灯パターンを設定することができる。また、評価値の合計と点灯パターンを示す情報とが関連付けて表示されるため、ユーザは選択した点灯パターンを確認した上で、計測用点灯パターンを決定することができる。
本開示の別の一例によれば、対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部に対して点灯設定を行なうための設定方法が提供される。設定方法は、互いに異なる複数の評価用点灯パターンの各々に従って照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得するステップと、各評価用点灯パターンに対応する前記1以上の評価画像のうちの評価対象画像内の評価対象領域から特徴量を算出するステップと、算出された特徴量に基づいて、評価用点灯パターンに対応する評価値を算出するステップと、算出された評価値に基づいて決定される係数を用いて、評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するステップとを含む。
この開示によれば、画像計測に用いる点灯パターンが評価用点灯パターンの線形結合を求めることにより決定されるため、照明部の点灯設定をより簡単に行うことができる。
照明の点灯設定をより簡単に行うことができる画像処理システムおよび設定方法が提供される。
本開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
画像処理システム1の構成例を示す図である。 画像処理システム1の基本構成を示す模式図である。 照明装置のXZ断面を示す図である。 照明装置の底面図である。 制御装置のハードウェア構成を示す模式図である。 計測用点灯パターンを決定する流れを示す図である。 注目領域の特徴量と、非注目領域の特徴量との差を評価値とする例を示す図である。 注目領域内の特徴量の変動量を評価値とする例を示す図である。 評価値の算出に必要な情報を設定するためのユーザインターフェイス画面である。 評価値の算出に必要な情報を設定するためのユーザインターフェイス画面である。 算出条件指定領域を示す図である。 計測用点灯パターンを選択するためのユーザインターフェイス画面である。 一の点灯パターンを選択した場合のユーザインターフェイス画面である。 制御装置の機能構成の一例を模式的に示した図である。 評価方法の変形例を示す図である。 評価用点灯パターンの変形例1を示す図である。 評価用点灯パターンの変形例2を示す図である。
§1 適用例
図1を参照して、本発明の適用例について説明する。図1は、画像処理システム1の構成例を示す図である。
画像処理システム1は、対象物Wの外観画像を用いた画像計測を行なうためのシステムである。画像処理システム1は、対象物Wを撮像する撮像部の一例であるカメラ8と、対象物Wに光を照射する照明部の一例である照明装置4と、画像処理システム1において実行される処理を制御する制御装置100とを備える。
照明装置4は、対象物Wに対して光を照射するための複数の照明要素(部分領域40)から構成される。図1の例では、照明装置4は、13個の部分領域40から構成される。図1においては、部分領域40の符号を一部省略している。なお、部分領域40の数は、図1に示す例に限らず、2以上であればよい。部分領域40の大きさは、互いに異なってもよく、また、互いに共通していてもよい。部分領域40は、互いに同一平面上に配置されてもよく、また、互いに異なる平面上に配置されてもよく、各部分領域40から対象物Wに対して光を照射することができるように配置されていればよい。照明装置4は、部分領域40ごとに発光強度を調整することができる。ここで、発光強度を調整することができるとは、部分領域40ごとに点灯または消灯することはもちろん、各部分領域40から照射される光の強さを段階的に調整することも含む。
制御装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有している。制御装置100は、画像取得部210と、設定受付部220と、特徴量算出部230と、評価値算出部240と、パターン決定部250とを含む。典型的には、画像取得部210と、設定受付部220と、特徴量算出部230と、評価値算出部240と、パターン決定部250とは、制御装置100が備えるCPUが、制御装置100などに記憶されたプログラムを実行することで実現される。
画像取得部210は、互いに異なる複数の評価用点灯パターンxiの各々に従って照明装置4から照明光を対象物Wに照射し、各評価用点灯パターンxiに対応する少なくとも1以上の評価画像Rをカメラ8から取得する。点灯パターンとは、各部分領域40の発光強度を規定したものである。
設定受付部220は、各評価用点灯パターンxiを評価するにあたっての評価対象(評価範囲)の設定を受け付ける。設定受付部220は、評価用点灯パターンxiごとに複数の評価画像Rが取得された場合には、複数の評価画像Rの中から評価対象の評価対象画像の設定を受け付けるとともに、評価対象画像内の評価対象とする評価対象領域の設定を受け付ける。設定受付部220は、評価用点灯パターンxiごとに一の評価画像Rが取得された場合には、評価対象領域の設定を受け付ける。
特徴量算出部230は、各評価対象画像の評価対象領域から特徴量を算出する。評価対象画像は、評価用点灯パターンxiごとに得られる。よって、特徴量Aは、評価用点灯パターンxiごとに得られる。なお、一の評価用点灯パターンxiごとに複数の評価対象領域が設定されている場合には、特徴量Aは、一の評価用点灯パターンxiごとに複数算出される。
評価値算出部240は、算出された特徴量Aに基づいて、評価用点灯パターンxiに対応する評価値Piを算出する。評価値Piは、たとえば、評価用点灯パターンxiが画像計測にどの程度適しているかを示す値である。
パターン決定部250は、評価値算出部240が算出した評価値Piに基づいて決定される係数liを用いて、評価用点灯パターンxiの線形結合を求めることにより、画像計測に用いる計測用点灯パターンLを決定する。係数は、評価用点灯パターンxiごとに決定され、画像計測に用いる計測用点灯パターンLに対する一の評価用点灯パターンxiの影響度合いを示す値である。
本実施の形態に係る画像処理システム1によれば、評価用点灯パターンxiを1つずつ評価して評価値Piを算出して、評価値Piに基づいて決定される係数liを用いて各評価用点灯パターンxiを線形結合して計測用点灯パターンLが決定される。そのため、複数の部分領域40を用いて実現される全ての点灯パターンを試さなくとも、予め定められた複数の評価用点灯パターンxiの下で撮像するだけでよく、照明装置4の点灯設定をより簡単に行なうことができる。
§2 具体例
<A.画像処理システム構成>
図2は、画像処理システム1の基本構成を示す模式図である。画像処理システム1は、主たる構成要素として、制御装置100とカメラ8と、照明装置4とを含む。制御装置100とカメラ8とは互いにデータ通信可能に接続される。照明装置4は、カメラ8を介して制御装置100に制御される。
なお、以下では、説明の便宜上、照明装置4から光が照射される方向をZ軸と規定し、紙面の左右方向をX軸とし、X軸およびZ軸に対して垂直な軸をY軸とする。また、光が照射される側を下とする。また、図2の「Front」と記載した位置から照明装置と対峙した場合の右側を右、左側を左、手前側を前、奥側を後ろとする。
照明装置4の上部には、カメラ8が照明装置4の上部から対象物Wを撮像することができるように、開口部46が設けられている。なお、本実施の形態においては、カメラ8は、照明装置4の上部に設置されているとしたが、カメラ8の撮像視野の少なくとも一部に、照明装置4の照射領域の少なくとも一部が含まれるように設置されていればよく、照明装置4の横に設置されていてもよい。
カメラ8は、撮像視野に存在する被写体を撮像して画像を生成する撮像部である。カメラ8は、主たる構成要素として、レンズや絞りなどの光学系と、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの受光素子とを含む。
制御装置100は、対象物W上の欠陥や汚れの有無の検査、対象物Wの大きさや配置や向きなどの計測、対象物W表面上の文字や図形などの認識といった画像処理の実行とは別に、画像処理の内容の設定を受け付けることができる。画像処理の内容の設定には、画像を取得するときの撮像条件の設定と、画像に対して実行する処理内容の設定とが含まれる。撮像条件の設定には、照明装置4に対する点灯設定と、カメラ8に対するカメラ設定とが含まれる。制御装置100は、照明装置4に対する点灯設定を行なうための装置として機能する。なお、制御装置100とは別に、照明装置4に対する点灯設定を行なう設定支援装置を設けてもよい。
制御装置100は、表示部101と、表示部101の表示面に装着されるタッチパネル102とを含む。表示部101は、典型的には液晶ディスプレイからなり、たとえば、ユーザに設定内容を表示する。タッチパネル102は、各種の設定に関する情報を入力するための入力部として機能する。たとえば、ユーザは、表示部101に表示された情報に基づいてタッチパネル102を操作することで、画像処理の内容の設定に関する設定情報を入力することができ、各種設定を行なうことができる。なお、入力部はタッチパネルから構成されるとしたが、キーボードまたはマウス、あるいは、その両方から構成されるものであってもよい。
<B.照明装置の構成>
図3および図4を参照して、照明装置4の構成について説明する。図3は、照明装置4のXZ断面を示す図である。図4は、照明装置4の底面図である。
図3においては、照明装置4のXZ断面を図2の「Front」と示した位置から見たものとする。図3に示すように、照明装置4の照明はドーム状である。照明装置4には、対象物Wと対向する位置に、主波長の異なる複数種類の発光部(以下「光源」とも称す。)が複数組設けられている。具体的には、赤色光源r、緑色光源g、および青色光源bから構成される一組の光源が複数組設けられている。なお、図2において、左斜め下向きの斜線が付されている光源は赤色光源rであり、ドットパターンが付されている光源は緑色光源gであり、右斜め下向きの斜線が付されている光源は青色光源bであって、符号を一部省略している。
複数の光源は複数の領域に分割されている。具体的に、照明装置4に設けられた複数の光源の各組の点灯領域に対して、中央の円形の中央領域41(以下、「円形領域」とも称す。)と、中央領域41を中心に外周に設けられた弧状の前領域42、右領域43、後領域44、および左領域45が設定されている。
中央領域41、前領域42、右領域43、後領域44、および左領域45の各々の領域から照射される光は、入射方位が異なる。入射方位とは、Z軸を中心とした方位である。また、前領域42、右領域43、後領域44および左領域45は、中央領域41を中心に全体として環状を成している。本実施の形態においては、中央領域41を中心とした環状領域が4つの領域に分割されているとしたが、4つより多くとも、3つ以下であってもよい。なお、中央領域41から照射される光は、反射板47にあたり、反射することによって、下に向かうようになっている。
また、複数の光源の各組の点灯領域に対して、円形の中央領域41を中心に径の異なる環状の領域(以下、「環状領域」とも称す。)が複数設定されている。具体的には、上部領域と、中部領域と、下部領域とが設定されている。上部領域、中部領域、および下部領域は、それぞれ、複数の弧状の領域からなる。たとえば、上部領域は、前領域上部42U、右領域上部43U、後領域上部44Uおよび左領域上部45Uからなる。同様に中部領域は、前領域中部42C、右領域中部43C、後領域中部44Cおよび左領域中部45Cからなり、下部領域は、前領域下部42L、右領域下部43L、後領域下部44Lおよび左領域下部45Lからなる。径の異なる各環状領域から照射される光は、各々XY平面に入射する光の入射角が異なる。なお、環状領域は、3つ設定されているとしたが、3つより多くとも、2つであってもよい。
本実施の形態にかかる照明装置4に設けられた複数の光源は、13個の領域に分割されている。以下、13個に分割された各領域のことを部分領域とも称する。この部分領域が、本願発明の「照明要素」に相当する。照明装置4は、照明装置4に設けられた各部分領域ごとに光源の発光状態を調整することができる。ここで、光源の発光状態とは、光源の発光強度だけでなく、領域から照射される光の色や光の強度を含む。
本実施の形態にかかる照明装置4に設けられた各部分領域に赤色光源r、緑色光源g、および青色光源bの各々が設けられているため、部分領域ごとに照射する光の色を変えることができる。なお、赤色光源rから照射される光の主波長と、緑色光源gから照射される光の主波長と、青色光源bから照射される光の主波長とは互いに波長帯が異なる。そのため、照明装置4は、互いに波長帯が異なる主波長の光を選択的に照射できるように構成されている。
なお、各領域に、赤色光源r、緑色光源g、および青色光源bが、それぞれ同じ数だけ配置されている必要はなく、3種類の光源が各々1つずつ以上配置されていればよい。また、各領域に含まれている赤色光源r、緑色光源g、および青色光源bの比率は同じであっても、同じでなくともよい。たとえば、一の領域には他の光源に比べて赤色光源rが多く配置されている一方、他の領域には他の光源に比べて赤色光源rが少なく配置されていてもよい。本実施の形態においては、赤色光源r、緑色光源g、および青色光源bが、それぞれ同じ数だけ配置されているものとして説明する。
<C.制御装置100のハードウェア構成>
図5は、制御装置100のハードウェア構成について示す模式図である。図5に示すように、制御装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の処理を実現する。
より具体的には、制御装置100は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、ハードディスク120と、装置用インターフェイス122と、入力インターフェイス124と、通信インターフェイス128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
プロセッサ110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ116は、プロセッサ110、RAM112、表示コントローラ114、入力インターフェイス124およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、制御装置100全体の処理を司る。
RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク120から読み出されたプログラム、またはカメラ8によって取得されたカメラ画像、画像に対する処理結果、および撮像条件を含むワークデータなどを保持する。
表示コントローラ114は、表示部101と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示部101に出力する。
入力インターフェイス124は、タッチパネル102と接続されており、タッチパネル102から入力される各種情報をシステムコントローラ116に送信する。
I/Oコントローラ118は、制御装置100に接続される記録媒体または外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、ハードディスク120と、装置用インターフェイス122と、通信インターフェイス128と、メモリカードインターフェイス130と接続される。
ハードディスク120は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ110で実行されるアルゴリズムなどの制御プログラム150に加えて、各種設定値などが格納される。このハードディスク120にインストールされる制御プログラム150は、メモリカード136などに格納された状態で流通する。なお、ハードディスク120に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
装置用インターフェイス122は、カメラ8および照明装置4と、プロセッサ110との間のデータ伝送を仲介する。装置用インターフェイス122は、プロセッサ110から命令される撮像条件に従った指示を装置用インターフェイス122を介してカメラ8および照明装置4に出力する。また、装置用インターフェイス122は、対象物Wを撮像することで得られる画像データを取得し、プロセッサ110とカメラ8との間のデータ伝送を仲介する。
通信インターフェイス128は、プロセッサ110と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス130は、プロセッサ110と記録媒体であるメモリカード136との間のデータ伝送を仲介する。メモリカード136には、制御装置100で実行される制御プログラム150などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード136から制御プログラムを読み出す。メモリカード136は、SD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)などの磁気記録媒体、またはCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体などからなる。あるいは、通信インターフェイス128を介して、配信サーバなどからダウンロードしたプログラムを制御装置100にインストールしてもよい。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
さらに、本実施の形態に係る制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<D.点灯パターンの決定方法の概要>
本実施の形態において、制御装置100は、互いに異なる評価用点灯パターンの下で撮像し、評価画像Rを取得し、評価画像Rに基づいて、評価用点灯パターンを評価し、その評価結果に基づいて画像計測に用いる計測用点灯パターンLを決定する。
図6は、計測用点灯パターンLを決定する流れを示す図である。制御装置100は、各評価用点灯パターンxiの下で撮像された評価画像Riを取得し(S10)、取得した評価画像Riに基づいて評価用点灯パターンxiの評価値Piを算出する(S20)。制御装置100は、得られた評価用点灯パターンxiごとの評価値Piから係数liを決定し(S30)、係数を用いて評価用点灯パターンxiの線形結合を求めることで計測用点灯パターンLを決定する(S40)。
本実施の形態においては、計測用点灯パターンLの評価値Pは、評価用点灯パターンxiの評価値Piを係数liを用いて線形結合した結果に実質的に等しいものとしている。
そのため、係数liは、評価用点灯パターンxiの評価値Piを線形結合したときに最大となるように係数liをフィッティングすることで、得られる。
本実施の形態において、評価値Piは、画像計測において計測したい特徴領域の特徴量と、特徴領域以外の領域の特徴量との差を大きくするにあたってどの程度寄与するかを示す値として算出される。「特定したい特徴領域」は、たとえば、特徴量を抽出したい領域であって、たとえば、キズが設けられている領域である。一方、「特徴領域以外の領域」は、たとえば、特徴量を抽出したくない領域であって、キズが設けられていない領域である。
制御装置100は、このように得られた評価値Piを用いることで、特定したい特徴領域の特徴量と、特徴領域以外の領域の特徴量との差が大きくなる点灯パターンを計測用点灯パターンLに決定することができる。このような計測用点灯パターンLの下で得られた画像を用いて画像計測を行なうことで、検査として抽出したい特徴量を正確に抽出することができる。
本実施の形態においては、以下の式(1)に示す数理最適化問題を解くことで係数liを決定し、計測用点灯パターンLを決定することができる。
Figure 0007010057000001
ここで、添え字iは評価用点灯パターンxiの種別を示す添え字である。添え字h2は、特徴領域を示す添え字である。添え字h1は、特徴領域を示す添え字である。係数αiは、評価用点灯パターンxiが所定の領域から得られる特徴量Aに与える影響度合いを示す係数である。光量biは、評価用点灯パターンxiに従って照明装置4から照明光を照射したときの照明光の光量である。
<E.数理最適化問題の導出方法>
式(1)に示す数理最適化問題の導出方法を説明する。本実施の形態における画像処理システム1は、画像計測において特定したい特徴領域の特徴量と、特徴領域以外の領域の特徴量との差が大きくなる点灯パターンを計測用点灯パターンLに決定する。つまり、特徴量を求める評価関数fを、照明装置4の点灯パターンを規定する照明パラメータで表現すると、式(2)で表される。なお、照明パラメータとは、照明の色、照明の明るさ、照明の位置を示す変数である。
Figure 0007010057000002
ここで、xiは、一の評価用点灯パターンを意味し、当該評価用点灯パターンxiにおいて点灯する位置、明るさ、色によって規定される。
ここで、特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差を大きくするということは、式(3)を最大にする照明パラメータ(点灯パターン)を求める問題となる。
Figure 0007010057000003
また、評価関数fは、各評価用点灯パターンが評価結果に与える影響度合いを示す係数αによって、次のような線形性を有する関数に近似できる。
Figure 0007010057000004
評価関数fを式(4)のように近似できるため、式(3)は、式(5)のように近似できる。
Figure 0007010057000005
評価用点灯パターンxから照射される光の光量bが変化しないものと仮定すると、すなわち、ONとOFFしかないと仮定すると、xは式(6)のように近似できる。
Figure 0007010057000006
式(6)を式(5)に代入することで、式(1)が求まる。なお、本実施の形態においては、各評価用点灯パターンxiは、一の部分領域内に含まれる一種類の光源を点灯させたパターンであるとして説明する。そのため、変数である係数liは0または1の範囲をとり、評価用点灯パターンは39種類のパターン(13領域×3種類の光源)存在する。よって、nは38となる。また、制約条件は、評価関数fに応じて決定される。本実施の形態においては、評価関数が画像内の所定の領域の色平均に関する関数など、輝度値に関する関数であるものとして説明する。
ここで、評価用点灯パターンxiごとに得られる(αh2i-αh1i)×biは、評価用点灯パターンxiの評価値Piに相当する。
<F.評価画像Riの取得>
本実施の形態において、制御装置100は、照明装置4は、部分領域を1つずつ順番に点灯していくとともに、各部分領域から照射される光の色を順番に変更することで、評価用点灯パターンxiを変える。たとえば、照明装置4は、前領域下部42Lに含まれる赤色光源r、緑色光源gおよび青色光源bをそれぞれ順番に点灯したのちに、前領域中部42Cに含まれる赤色光源r、緑色光源gおよび青色光源bをそれぞれ順番に点灯し、というように、13個に分割された各部分領域40について、各部分領域40に含まれる3種類の光源を別々に点灯させる。カメラ8は、各評価用点灯パターンxiの下で、撮像視野内を撮像して評価画像Riを生成する。制御装置100は、カメラ8から評価画像Riを取得する。
本実施の形態において、照明装置4において、部分領域が13領域設定されており、かつ各部分領域に3種類の光源が配置されていることから、評価用点灯パターンxiは、39パターン(=13領域×3色光源)設定されている。また、評価画像Riは、39パターンの評価用点灯パターンxiの各々について得られる。なお、評価画像Riの添え字iは評価用点灯パターンxiを示しており、評価画像Riは評価用点灯パターンxiの下で撮像された画像を意味する。
制御装置100は、一の評価用点灯パターンxiごとに少なくとも1以上の評価画像Riを取得する。なお、本実施の形態においては、一の評価用点灯パターンxiに対して一の評価画像Riを取得するものとして説明する。制御装置100は、評価画像Riを、評価用点灯パターンxiに対応させて、RAM112などに記憶する。なお、評価画像Riを記憶する先は、ハードディスク120や、制御装置100と通信可能に接続されたサーバなどであってもよい。
<G.評価値Piの算出>
評価値Piは、評価画像Riにおける特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさを示す値である。評価値Piは、たとえば、特徴領域h1を含む注目領域H1の特徴量A1と、注目領域H1以外の非注目領域H2の特徴量A2との差を求めることで得られる。また、評価値Piは、注目領域H1内の特徴量の変動量であってもよい。
注目領域H1は、予め指定された領域であって、たとえば、ユーザによって指定される。具体的には、ユーザは、制御装置100に接続された表示部*に表示された対象物Wの画像を見ながら特徴領域h1を特定し、特徴領域を含むように領域を指定する。
特徴量Aは、たとえば、コントラスト、色平均、偏差、エッジ量のうち少なくとも1つを含む。評価値Piとして、注目領域H1の特徴量A1と非注目領域H2の特徴量A2との差、および、注目領域H1内の特徴量Aの変動量のうち、いずれの値を用いるかは、予め定められていてもよく、また、ユーザによって選択できる構成であってもよい。
制御装置100は、評価画像Riごとに評価値Piを算出する。評価画像Riは、評価用点灯パターンxiごとに得られるため、評価値Piも評価用点灯パターンxiごとに得られる。制御装置100は、算出した評価値Piを評価用点灯パターンxiに対応させて、RAM112など記憶する。なお、評価画像Riを記憶する先は、ハードディスク120や、制御装置100と通信可能に接続されたサーバ5などであってもよい。
図7は、注目領域H1の特徴量A1と、非注目領域H2の特徴量A2との差を評価値Pとする例を示す図である。図8は、注目領域H1内の特徴量の変動量を評価値Pとする例を示す図である。
図7に示すように、評価値Pは、注目領域H1内の特徴量A1と、非注目領域H2の特徴量A2との差である。注目領域H1は、特徴領域であるキズのある領域h1を含む。一方、非注目領域H2は、領域h1を含まない。
なお、注目領域H1の特徴量A1と、非注目領域H2の特徴量A2とは、注目領域H1と非注目領域H2とが互いに同じ面積であるとは限らないため、規格化された値であることが好ましい。図7においては、非注目領域H2についても規定されているものとしたが、非注目領域H2は評価画像R内の注目領域H1を除く領域であってもよい。
図7に示す例では、評価画像Rが「評価対象画像」の一例であり、注目領域H1および非注目領域H2が「評価対象領域」の一例である。
図8に示すように、評価値Pは、注目領域H1内の特徴量の最大値を特徴量A’1とし、注目領域H1内の特徴量の最小値を特徴量A’2とし、特徴量A’1と特徴量A’2との差分を評価値Pとしてもよい。なお、最大値と最小値を求めずとも、注目量領域H1内の特徴量の偏差を評価値Pとしてもよい。
図8に示す例では、評価画像Rが「評価対象画像」の一例であり、注目領域H1が「評価対象領域」の一例である。
<H.係数liの決定>
制御装置100は、評価値Piから、式(1)の数理最適化問題を解いて、係数liを決定する。数理最適化問題は、式(7)の値が最大となるように、係数lをフィッティングする。フィッティング方法は、既知の方法を採用することができ、総当りで行ってもよく、あるいは、既知の探索法を利用してもよい。
Figure 0007010057000007
ここで、数理最適化問題を解くにあたって、評価関数fを式(4)のような線形性を有する関数に近似することができる範囲として制約条件が定められている。この制約条件は、評価関数f、すなわち評価値Piに応じて決定される。たとえば、式(1)の制約条件は、評価値Piを画素値に応じた値とした場合の制約条件である。
<I.計測用点灯パターンの決定>
制御装置100は、得られた係数liに基づいて計測用点灯パターンLを決定する。制御装置100は、式(8)に示すように、計測用点灯パターンLを、係数liを評価用点灯パターンxiの係数とした評価用点灯パターンxiの線形結合により求めることができる。
Figure 0007010057000008
なお、本実施の形態においては、一の評価用点灯パターンxiは、部分領域内に含まれる一種類の光源を点灯させるものである。そのため、各評価用点灯パターンxiは、式(8)に示すような行列式で定義することができる。
<J.検査用点灯パターンを決定するためのユーザインターフェイス>
図9および図10は、評価値Pの算出に必要な情報を設定するためのユーザインターフェイス画面600である。図11は、算出条件指定領域640を示す図である。図12は、計測用点灯パターンLを選択するためのユーザインターフェイス画面700である。図13は、一の点灯パターンを選択した場合のユーザインターフェイス画面である。
図9に示すように、ユーザインターフェイス画面600は、第1範囲指定領域620、第2範囲指定領域630、算出条件指定領域640、および画像表示領域650を含む。
第1範囲指定領域620および第2範囲指定領域630は、いずれも評価画像R内の評価範囲を指定するための領域である。第2範囲指定領域630は、注目領域H1を指定するための領域である。第1範囲指定領域は、非注目領域H2を指定するための領域である。第1範囲指定領域620の編集ボタン622が操作されると非注目領域H2を編集することができる。第2範囲指定領域630の編集ボタン632が操作されると注目領域H1を編集することができる。
算出条件指定領域640は、評価値Piを算出するための条件を決定するための領域である。
画像表示領域650は、カメラ8から取得された画像を表示する。画像表示領域650は、全体表示領域652、表示制御アイコン群654、および拡大表示領域656を含む。全体表示領域652および拡大表示領域656は、カメラ8から取得された画像を表示する。拡大表示領域656は、全体表示領域652に比べて広く、全体表示領域652に表示された画像を拡大した画像を表示する。なお、拡大表示領域656に表示する画像は、全体表示領域652に表示された画像の一部を拡大した画像であってもよい。拡大表示領域656に表示される画像の表示範囲および倍率は、表示制御アイコン群654に対するユーザ操作(拡大または縮小など)に応じて変更される。拡大表示領域656は、評価する範囲を示す評価範囲枠657と、注目領域H1の範囲を示す注目領域枠658とを含む。
第2範囲指定領域630の編集ボタン632が選択されると、図10に示す、注目領域H1を編集または設定するための表示に切り替わる。図10に示すように、第2範囲指定領域630は、領域形状選択ボタン群634と、形状サイズ選択領域636とを含む。ユーザは、領域形状選択ボタン群634に含まれる所望のボタンを選択することで、注目領域H1として所望の形状(例えば、四角形、円、扇形など)を選択することができる。ユーザは、形状サイズ選択領域636に含まれるボタンおよび/または入力ボックスに対する操作により、所望の大きさおよび位置に注目領域H1を設定することができる。
なお、制御装置100は、注目領域H1の設定に関して、形状サイズ選択領域636に含まれるボタンおよび/または入力ボックスに対する操作に依らず、画像上での操作により設定を受け付けてもよい。具体的には、制御装置100は、編集ボタン632への操作を受け付けると、拡大表示領域656に注目領域H1を示す注目領域枠658の位置または大きさを変更するための変更ボタン655を表示し、変更ボタン655への操作を受け付ける。
OKボタン631が操作されると、拡大表示領域656に表示された注目領域枠658で囲まれた範囲を注目領域H1として設定する。一方、キャンセルボタン633が操作されると、編集中の情報は削除される。
なお、第1範囲指定領域620の編集ボタン622が操作された場合も、編集ボタン632が操作された場合と同様、領域形状選択ボタン群634、形状サイズ選択領域636、および変更ボタン655などが表示される。
制御装置100は、評価値の算出条件を設定するにあたって、評価対象の画像の指定および指定した画像内の評価対象の領域の指定を受け付ける。評価対象の画像を指定する。評価対象の領域は、第1範囲指定領域620および第2範囲指定領域630に含まれる各種ボタンを操作することで指定される。
図11を参照して、算出条件指定領域640について説明する。図11に示すように、算出条件指定領域640は、対象ワーク指定領域641と、使用領域選択タブ642とを含む。
対象ワーク指定領域641に含まれるボタンに対する操作により、評価値の算出に使用する画像を選択する。言い換えると、評価対象とする評価画像が選択される。また、対象ワーク指定領域641に含まれるボタンに対する操作により、ユーザは、選択された画像のうちの特徴領域を含まない画像(図中の良品数)、選択された画像のうちの特徴領域を含む画像(図中の不良品数)を設定することができる。言い換えると、評価対象とする評価画像に対応するラベル情報を受け付ける。また、図中の良品・不良品という言葉が示すように、ラベル情報として、欠陥が存在しない状態を示す情報、または、欠陥が存在する状態を示す情報を受け付ける。
制御装置100は、受け付けた結果に基づいて、注目領域H1の特徴量と非注目領域H2の特徴量との差の大きさを評価値とするか、あるいは、注目領域H1内の特徴量の変動量を評価値とするかを決定する。具体的には、使用領域選択タブ642に対する操作に基づいて、2領域を用いるか、1領域を用いるかが選択される。
2領域を用いる場合は、「OK」すなわち欠陥が存在しない領域と、「NG」すなわち欠陥が存在する領域とが用いられ、制御装置100は、注目領域H1の特徴量と非注目領域H2の特徴量との差の大きさを評価値とすることを決定する。
1領域を用いる場合は、「NG」すなわち欠陥が存在する領域が用いられ、制御装置100は、注目領域H1内の特徴量の変動量を評価値とすることを決定する。
図10に示す例では、評価対象の画像として一の画像が選択されており(使用ワーク数1)、当該画像が不良品の画像であり(不良品数1)、評価対象の領域(評価範囲枠657内)と、注目領域H1の領域(注目領域枠658)とが設定されており、かつ、2領域を用いて評価が行なわれることが設定されている。
言い換えれば、ユーザインターフェイス画面600が操作されることで、評価の対象となる評価対象画像、および、1の画像の部分領域であって評価の対象となる評価対象領域が選択される。また、ユーザインターフェイス画面600が操作されることで、評価対象画像および評価対象領域に対応するラベル情報がさらに受け付けられる。また、ユーザインターフェイス画面600が操作されることで、ラベル情報としては、欠陥が存在しない状態を示す情報、または、欠陥が存在する状態を示す情報が受け付けられる。制御装置100は、2領域を用いて評価が行なわれる場合に、注目領域H1の特徴量と非注目領域H2の特徴量との差の大きさを評価値とすることを決定するため、言い換えると、受け付けられたラベル情報と評価対象領域から得られる特徴量とから評価値を算出する。
なお、ユーザが、対象ワーク指定領域641および使用領域選択タブ642のみを操作し、評価対象の領域および注目領域H1の領域を設定しなかった場合には、選択された評価画像の全体を評価対象領域として設定してもよい。たとえば、良品の画像と不良品の画像とが選択され、2領域を使用領域として指定された場合には、良品の画像から得られる特徴量と不良品の画像から得られる特徴量との差の大きさが算出される。
制御装置100は、特徴量の算出方法の指定を受け付ける。算出方法指定領域643は、特徴量の種類を選択するための特徴量選択タブ644と、特徴量を算出する際の前処理を選択するための前処理タブ645とを含む。特徴量選択タブ644および前処理タブ645に対する操作に応じて、特徴量の算出方法が決定される。
制御装置100は、評価用点灯パターンの基準光量の設定を受け付ける。算出方法指定領域643は、光量設定領域646を含む。光量設定領域646に含まれるボタンに対する操作に応じて、評価用点灯パターンの基準光量の設定が受け付けられる。
制御装置100は、複数の評価用点灯パターンxiから選択される1または複数の評価用点灯パターンxiからなる組合せを複数設定するとともに、各組合せごとに、一の組合わせに含まれる1または複数の評価用点灯パターンxiの各々に対応する評価値の合計を算出し、組合わせが示す点灯パターンと、評価値の合計をユーザインターフェイス画面700に表示する。
具体的には、図12に示すように、計測用点灯パターンLを決定するための処理の結果を示す結果領域710に、係数liが示す点灯パターンを照明画像712で表示するとともに、係数liにおける評価結果であるスコア値714が表示される。計測用点灯パターンLを決定するための処理は、たとえば、図11の探索ボタン647が操作されると開始され、処理が終了すると、図12に示すユーザインターフェイス画面700に切り替わるとともに、処理結果が結果領域710に表示される。
結果領域710には、係数liが異なる複数の点灯パターンが示されるとともに、各係数liにおけるスコア値714が表示される。ここで、係数liを評価用点灯パターンxiの係数とした評価用点灯パターンxiの線形結合により求められる点灯パターンは、式(8)が示すように、複数の評価用点灯パターンxiから選択される1または複数の評価用点灯パターンxiからなる評価用点灯パターンxiが組み合わさって構成される。そのため、係数liが異なる点灯パターンとは、評価用点灯パターンxiの組合わせが異なる点灯パターンを意味する。
また、スコア値は、式(7)により求められる。つまり、スコア値は、一の組合わせに含まれる1または複数の評価用点灯パターンxiの各々に対応する評価値の合計に相当する。
表示された複数の照明画像712の中から、一の照明画像712の選択を受け付け、選択された状態でOKボタン720が操作されると、選択された照明画像712が示す点灯パターンが計測用点灯パターンLとして決定される。一方、キャンセルボタン730が操作されると、計測用点灯パターンLが決定されることなく、処理を終了する。たとえば、制御装置100は、キャンセルボタン730への操作を受け付けたことに基づいて、評価値Pの算出に必要な情報を設定するためのユーザインターフェイス画面600に表示を切り替えてもよい。
制御装置100は、表示された係数liが示す点灯パターンに対する選択を受け付け、選択された点灯パターンで撮像したときの画像を表示してもよい。ユーザインターフェイス画面700は、選択された点灯パターンで撮像したときの画像を表示する画像表示領域740を含む。
たとえば、結果領域710に含まれる点灯パターンの候補の中から1の点灯パターンが選択されると、制御装置100は、選択された点灯パターンに従って照明光を照射することを照明装置4に指示するとともに、当該点灯パターンのもとで撮像することをカメラ8に指示し、得られた画像を画像表示領域740に表示する。なお、制御装置100は、結果領域に表示する複数の点灯パターンの各々の下で撮像した画像を予め取得してもよい。
図13は、一の点灯パターンを選択した場合のユーザインターフェイス画面700である。図13に示すように、一の点灯パターンを選択すると、選択している点灯パターンを示す選択枠716に表示されるとともに、選択された点灯パターンの下で撮像された画像が画像表示領域740に表示される。異なる点灯パターンを選択すると、図13(a)から図13(b)、あるいは、図13(a)から図13(b)のように、表示が切替わる。
これにより、ユーザは、スコア値だけでなく、実際に撮像して得られる画像を確認した上で、計測用点灯パターンLを決定することができる。
<K.制御装置100の機能構成>
図14は、制御装置100の機能構成の一例を模式的に示した図である。制御装置100は、制御プログラム150を実行することで、図14に示す各構成を制御して、計測用点灯パターンLを決定する。
制御装置100は、画像取得部210、設定受付部220、特徴量算出部230、評価値算出部240、およびパターン決定部250を含む。
画像取得部210は、評価画像Rをカメラ8から取得する。より具体的には、画像取得部210は、照明制御部212と、撮像制御部214とを含む。
照明制御部212は、ハードディスク120などの記憶部に評価用点灯パターン情報162として予め保存された評価用点灯パターンxiに従って照明装置4から照明光を照射するように照明装置4を制御するとともに、撮像制御部214に点灯中の評価用点灯パターンxiを通知する。
撮像制御部214は、評価用点灯パターンxiの通知を受けて、カメラ8に撮像指示を送るとともに、評価画像Riを取得し、評価用点灯パターンxiと評価画像Riとを対応付けてRAM112などの記憶部に保存する。
設定受付部220は、図9~図11に示したユーザインターフェイス画面600を介して入力された情報を設定情報160としてハードディスク120などの記憶部に保存する。設定情報160は、評価用点灯パターンxiに関する評価用点灯パターン情報162、評価対象を特定するための評価対象情報164、特徴量Aの算出条件を示す第1条件情報166、および、評価対象情報164と第1条件情報166とに基づいて規定される評価値Piの算出条件を示す第2条件情報168を含む。
評価対象情報164は、評価対象とする画像を特定する情報、評価対象とする画像のうち、評価対象とする領域を特定する情報、評価対象とする領域のラベル情報などを含む。
第2条件情報168は、特徴量Aの算出方法を特定する情報であって、たとえば、特徴量Aがコントラスト、色平均、色偏差、エッジ量などの情報のうち、いずれの情報であるかを示す情報である。
制御装置100は、条件決定部260を備えてもよい。条件決定部260は、評価対象情報164および第1条件情報166に基づいて評価値の算出方法を決定し、ハードディスク120に第2条件情報168として保存する。たとえば、評価対象領域として、注目領域H1だけが設定されている場合は、注目領域H1に対して設定されたラベル情報に基づいて、条件決定部260は、評価値として注目領域H1内の特徴量の変動量を算出することを決定する。
特徴量算出部230は、評価対象情報164および第1条件情報166に基づいて、RAM112に保存された評価画像Riから特徴量を算出し、RAM112に算出した特徴量Aiを評価用点灯パターンxiに対応付けて記憶する。
評価値算出部240は、RAM112に記憶された特徴量Aiと第2条件情報168とに基づいて、評価用点灯パターンxiごとに評価値Piを算出し、RAM112に算出した評価値Piと評価用点灯パターンxiと対応付けて記憶する。条件決定部260、設定された評価対象から得られる特徴量Aiと評価対象に対して設定されたラベル情報に基づいて第2条件情報168を決定する。言い換えれば、評価値算出部240は、評価対象から得られる特徴量Aiと評価対象に対して設定されたラベル情報に基づいて評価値Piを算出する。
パターン決定部250は、係数設定部252と、スコア値算出部254と、条件抽出部256と、決定部258とを含む。
係数設定部252は、係数liを設定する。たとえば、係数設定部252は、係数liを設定し、設定した係数liに基づいてスコア値算出部254が算出したスコア値に基づいて係数liを調整する。
スコア値算出部254は、式(7)に従って、係数設定部252が設定した係数liと評価値算出部240が算出した評価値Piとから、スコア値を算出し、係数設定部252にスコア値Qを返し、RAM112などの記憶部にスコア値Qと係数liとを対応付けて保存する。
条件抽出部256は、RAM112などの記憶部に保存されているスコア値Qと係数liとの対応関係および特徴量Aに基づいて規定される制約条件にしたがって、スコア値の高い係数liを複数選択して、係数liが示す点灯パターンを示す情報と係数liに対応するスコア値Qとを関連付けて表示部101に表示する。
決定部258は、入力部であるタッチパネル102からの情報に基づいて、計測用点灯パターンLを決定する。決定部258はは、決定した計測用点灯パターンLをハードディスク120などの記憶部に保存する。
なお、決定部258は、タッチパネル102からの情報によらずに計測用点灯パターンLを決定してもよい。この場合、条件抽出部256を設けなくともよい。また、決定部258は、決定した計測用点灯パターンLを表示部101に表示してもよい。また、計測用点灯パターンLの下で対象物Wを撮像するように画像取得部210に指示し、取得した画像を表示部101に表示してもよい。
<L.作用・効果>
以上のように、画像処理システム1は、対象物Wを撮像するカメラ8と、複数の部分領域40から構成され、部分領域40ごとに点灯することができる照明装置4と、画像処理システム1において実行される処理を制御する制御装置100とを備える。制御装置100は、各評価用点灯パターンxiの下で撮像されて得られる評価画像Riを取得する画像取得部210と、評価用点灯パターンxiごとに得られる評価画像Riのうち評価対象となる領域の設定を受け付ける設定受付部220と、設定受付部220が受け付けた評価対象の範囲から特徴量Aを算出する特徴量算出部230と、特徴量Aから評価用点灯パターンxiの評価値Piを算出する評価値算出部240とを備える。また、制御装置100は、評価値Piに基づいて決定される係数liを用いて評価用点灯パターンxiの線形結合を求めることにより計測用点灯パターンLを決定するパターン決定部250を備える。
評価用点灯パターンxiを1つずつ評価して評価値Piを算出して、評価値Piに基づいて決定される係数liを用いて各評価用点灯パターンxiを線形結合して計測用点灯パターンLが決定される。そのため、複数の部分領域40を用いて実現される全ての点灯パターンを試さなくとも、予め定められた複数の評価用点灯パターンxiの下で撮像するだけでよく、照明装置4の点灯設定を簡単に行なうことができる。
さらに、評価用点灯パターンxiは、1の部分領域40内の光源を点灯させ、他の部分領域40内の光源を点灯させないパターンである。すなわち、評価値Piは、所定の方向から対象物Wに入射する光に対する評価を示す値を意味し、対象物Wに入射するあらゆる方向のからの光を各々、別々に評価することができる。
さらに、照明装置4は、主波長の波長帯が互いに異なる赤色光源r、緑色光源g、青色光源bをそれぞれ独立して点灯することができる。そのため、光の色も調整することができ、より精度の高い画像計測を行なうことができる。また、主波長の波長帯が互いに異なるため、複数種類の光源を点灯させた点灯パターンの評価値を、赤色光源rを点灯させた点灯パターンの評価値と、緑色光源gを点灯させた点灯パターンの評価値と、青色光源bを点灯させた点灯パターンの評価値と線形結合することで実質的に求めることができる。
さらに、ユーザインターフェイス画面600を介して、設定受付部220が受け付ける評価情報には、評価対象情報164が含まれる。評価対象情報164は、評価対象とする画像を特定する情報、評価対象とする画像のうち、評価対象とする領域を特定する情報、評価対象とする領域のラベル情報を含む。また、評価値算出部240は、評価対象から得られる特徴量Aiと評価対象に対して設定されたラベル情報に基づいて評価値Piを算出する。そのため、評価値を算出する方法の自由度が上がり、ユーザは画像計測の内容に沿って評価値を算出することができる。
さらに、ラベル情報は、欠陥が存在する状態を示す情報および欠陥が存在しない状態のうちの少なくとも一の情報である。そのため、欠陥検査に適した点灯パターンを決定することができる。
さらに、特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つである。すなわち、様々な種類の特徴量に基づいて、評価用点灯パターンを評価することができるため、ユーザは画像計測の内容に沿って評価用点灯パターンを評価することができる。
さらに、評価値算出部240は、注目領域H1の特徴量と非注目領域H2の特徴量との差の大きさ、または、注目領域H1内の特徴量の変動量に基づいて評価値Piを算出する。そのため、画像計測において、画像内の特徴量の偏差が大きくなるような点灯パターンを決定することができる。
さらに、係数設定部252が、係数liを複数設定する。スコア値算出部254は、設定した各係数liに応じたスコア値Qを算出する。スコア値Qは、一の組合わせに含まれる1または複数の評価用点灯パターンxiの各々に対応する評価値の合計に相当する。つまり、係数設定部252およびスコア値算出部254により、複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに、各組合せに含まれる評価用点灯パターンに対応する評価値の合計が算出される。そのため、評価用点灯パターンの組合せからなる点灯パターンの評価をスコア値に基づいて容易に行うことができる。
さらに、条件抽出部256は、係数liが示す点灯パターンを示す情報と係数liに対応するスコア値Qとを関連付けて表示部101に表示する。具体的には、ユーザインターフェイス画面700に、結果領域710に、係数liが示す点灯パターンを照明画像712で表示するとともに、係数liにおける評価結果であるスコア値714が表示される。また、ユーザインターフェイス画面700を介して選択された点灯パターンを、決定部258は、計測用点灯パターンLを決定する。そのため、ユーザは、スコア値に基づいて点灯パターンの選択ができるため、説明性の高い計測用点灯パターンLを設定することができる。また、スコア値と点灯パターンを示す情報とが関連付けて表示されるため、ユーザは選択した点灯パターンを確認した上で、計測用点灯パターンLを決定することができる。
<M.評価方法の変形例>
上記実施の形態においては、一の評価用点灯パターンxiに対して、一の評価画像Riを取得する例を示した。一の評価用点灯パターンxiに対して複数の評価画像Riを取得し、複数の評価画像Riの各々から得られる特徴量から評価値Piを算出してもよい。
図15は、評価方法の変形例を示す図である。図15に示すように、特徴領域を含む第1評価画像r1と、特徴領域を含まない第2評価画像r2とを取得し、第1評価画像の特徴量a1と第2評価画像の特徴量a2との差分を評価値Piとしてもよい。また、特徴領域を含む複数の評価画像を取得し、評価画像内における変動量を各評価画像から算出し、算出した複数の変動量の平均を評価値Piとしてもよい。また、各評価画像内に注目領域H1と非注目領域H2とを設定し、注目領域H1の特徴量A1と非注目領域H2の特徴量A2との差分を各評価画像から算出し、算出した複数の差分の平均を評価値Piとしてもよい。
また、一の注目領域H1から抽出する特徴量を色偏差とし、当該色偏差を評価値Piとしてもよい。すなわち、注目領域H1の特徴量を評価値としてもよい。
<N.評価用点灯パターンの変形例>
上記実施の形態においては、各評価用点灯パターンxiは、一の部分領域内に含まれる一種類の光源を点灯させたパターンとして説明した。しかし、評価用点灯パターンは、これに限るものではない。図16は、評価用点灯パターンの変形例1を示す図である。図17は、評価用点灯パターンの変形例2を示す図である。
たとえば、図16に示す例は、一の部分領域40に含まれるすべての光源を点灯させたパターンを評価用点灯パターンとする例である。この場合に、評価画像Riとしてカラー画像を制御装置100は取得する。カラー画像を構成する複数の画素の各々に含まれる赤色を示す画素値を抽出し、赤色を示す画素値により構成される赤色評価画像Ri(r)を評価画像に対応する評価用点灯パターンxiにおいて赤色だけを点灯した赤色評価用点灯パターンxi(r)の評価画像とする。同様に、緑色評価画像Ri(g)を緑色評価用点灯パターンxi(g)の評価画像とし、青色評価画像Ri(b)を青色評価用点灯パターンxi(b)の評価画像とする。
このようにすることで、本実施の形態と同様、一の部分領域内に含まれる一種類の光源を点灯させたパターンごとに評価画像を実質的に取得することができる。このようにすることで、撮像回数を減らすことができる。
図17に示す例は、複数の部分領域40を点灯させるパターンを評価用点灯パターンxiとする例である。この場合、係数liは負の値を取り得り、制約条件として、各部分領域40から照射される光の光量bが負の値とならないことを加えることで、式(1)の数理最適化問題を解くことできる。
図17に示す例では、評価用点灯パターンてx0~x3の各々の評価値P0~P3に基づいて、係数として(l0、l1、l2、l3)=(-1,1,-1,1)が決定されて計測用点灯パターンLが決定されている。
<O.評価値の算出方法の変形例>
上記実施の形態において、評価値Piは、評価画像Riにおける特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさを示す値とした。評価値Piは、特徴領域h1の特徴量と特徴領域以外の非特徴領域h2の特徴量との差の大きさに限らず、エッジ検出の検出精度を示す値などであってもよい。
<P.その他の変形例>
(1) 本実施の形態においては、カメラ8と照明装置4とが別体となっている例を示したが、カメラ8と照明装置4とは一体であってもよい。
(2) 本実施の形態において、照明装置4は、ドーム形状をしているものとしたが、平板状の照明装置であってもよく、あるいは、リング状の形状であってもよい。また、カメラ8の光軸上に照明装置4を設けるものとしたが、照明装置4の位置はカメラ8の光軸上に配置されていなくともよい。
(3) 係数liは整数としたが、整数に限らない。たとえば、係数liの範囲を0≦li≦1としてもよい。このようにすることで、各部分領域40から照射される光の光量bに強弱をつけて調整することができるため、より、細かな設定を行なうことができる。
<Q.付記>
以上のように、本実施の形態は以下のような開示を含む。
[構成1]
対象物(W)の外観画像を用いた画像計測を行なう画像処理システム(1)であって、
前記対象物(W)を撮像する撮像部(8)と、
前記対象物(W)に対して光を照射するための複数の照明要素(40)から構成され、照明要素(40)ごとに発光強度を調整できる照明部(4)と、
互いに異なる複数の評価用点灯パターン(xi)の各々に従って前記照明部(4)から照明光を照射するとともに、各評価用点灯パターン(xi)に対応する少なくとも1以上の評価画像(Ri)を前記撮像部(8)から取得する画像取得部(210)と、
前記画像取得部(210)で取得した前記評価画像(Ri)のうち、評価の対象となる評価対象画像(Ri)、および、1の画像の部分領域であって評価の対象となる評価対象領域(H1,H2)、の設定を受け付ける設定受付部(220)と、
各評価用点灯パターン(xi)に対応する前記評価対象画像(Ri)に関する前記評価対象領域(H1,H2)から特徴量(Ai)を算出する特徴量算出部(230)と、
前記特徴量算出部(230)で得られた前記特徴量(Ai)に基づいて、前記評価用点灯パターン(xi)に対応する評価値(Pi)を算出する評価値算出部(240)と、
前記評価値算出部(240)で得られた前記評価値(Pi)に基づいて決定される係数(li)を用いて、前記評価用点灯パターン(xi)の線形結合を求めることにより、前記画像計測に用いる点灯パターン(L)を決定するパターン決定部(250)とを備える、画像処理システム。
[構成2]
前記評価用点灯パターン(xi)は、前記照明要素のうちひとつ、または、互いに近傍に位置する前記照明要素の集合が点灯し、その他は点灯しないパターンとする、構成1に記載の画像処理システム。
[構成3]
前記照明部は、第1波長を主波長とする光(r)と、前記第1波長とは異なる波長帯の第2波長を主波長とする光(g、b)とを選択的に照射できるように構成されている、構成1または2に記載の画像処理システム。
[構成4]
前記設定受付部(220)は、前記評価対象画像および前記評価対象領域に対応するラベル情報(164)をさらに受け付け、
前記評価値算出部(240)は、前記評価対象領域から得られた前記特徴量(Ai)と、当該評価対象領域に対応する前記ラベル情報(164)との対応関係に基づいて前記評価値(Pi)を算出する、構成1に記載の画像処理システム。
[構成5]
前記ラベル情報は、前記評価対象画像および前記評価対象領域に欠陥が存在する状態を示す情報、または、欠陥が存在しない状態を示す情報である(642)、構成4に記載の画像処理システム。
[構成6]
前記特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つである(644,645)、構成1~構成5のいずれか1に記載の画像処理システム。
[構成7]
前記評価値算出部(240)は、前記評価対象画像および前記評価対象領域のうち2つの領域において算出された前記特徴量の差の大きさ(A1,A2)、または、前記評価対象画像および前記評価対象領域のうち1つの領域において算出された前記特徴量、若しくは領域において算出された前記特徴量の変動の大きさ(A’1,A’2)に基づいて、前記評価値を算出する、構成4~構成6のいずれか1に記載の画像処理システム。
[構成8]
前記パターン決定部は、前記複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに(252,256)、各組合せに含まれる評価用点灯パターンに対応する前記評価値の合計を算出する(254)、構成7に記載の画像処理システム。
[構成9]
前記パターン決定部は、
前記組合せが示す点灯パターン(712)と対応する評価値の合計(714)とを表示する(256)とともに、表示された組合せに対する選択を受付け(716)、
当該選択された組合せが示す点灯パターンを前記画像計測に用いる点灯パターンとして決定する(720,258)、構成8に記載の画像処理システム。
[構成10]
対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部に対して点灯設定を行なうための設定方法であって、
互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得するステップ(S10)と、
各評価用点灯パターンに対応する前記1以上の評価画像のうちの評価対象画像に関する評価対象領域から特徴量を算出するステップ(S20)と、
算出された前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出するステップ(S30)と、
算出された前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するステップ(S40)とを備える、設定方法。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
1 画像処理システム、4 照明装置、8 カメラ、40 部分領域、46 開口部、47 反射板、100 制御装置、101 表示部、102 タッチパネル、110 プロセッサ、112 RAM、114 表示コントローラ、116 システムコントローラ、118 コントローラ、120 ハードディスク、122 装置用インターフェイス、124 入力インターフェイス、128 通信インターフェイス、130 メモリカードインターフェイス、136 メモリカード、150 制御プログラム、160 設定情報、162 評価用点灯パターン情報、164 評価対象情報、166 第1条件情報、168 第2条件情報、210 画像取得部、212 照明制御部、214 撮像制御部、220 設定受付部、230 特徴量算出部、240 評価値算出部、250 パターン決定部、252 係数設定部、254 スコア値算出部、256 条件抽出部、258 決定部、260 条件決定部、600,700 ユーザインターフェイス画面、620 第1範囲指定領域、622,632 編集ボタン、630 第2範囲指定領域、634 領域形状選択ボタン群、636 形状サイズ選択領域、640 算出条件指定領域、641 対象ワーク指定領域、642 使用領域選択タブ、643 算出方法指定領域、644 特徴量選択タブ、645 前処理タブ、646 光量設定領域、647 探索ボタン、650,740 画像表示領域、652 全体表示領域、654 表示制御アイコン群、655 変更ボタン、656 拡大表示領域、657 評価範囲枠、658 注目領域枠、710 結果領域、712 照明画像、716 選択枠、A 特徴量、H1 注目領域、H2 非注目領域、L 計測用点灯パターン、P 評価値、Q スコア値、R 評価画像、W 対象物、b 光量、l 係数、x 評価用点灯パターン。

Claims (9)

  1. 対象物の外観画像を用いた画像計測を行なう画像処理システムであって、
    前記対象物を撮像する撮像部と、
    前記対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部と、
    互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を前記撮像部から取得する画像取得部と、
    前記画像取得部で取得した前記1以上の評価画像のうち、評価の対象となる評価対象画像、および、1の画像の部分領域であって評価の対象となる評価対象領域、の設定を受け付ける設定受付部と、
    各評価用点灯パターンに対応する前記評価対象画像内の前記評価対象領域から特徴量を算出する特徴量算出部と、
    前記特徴量算出部で得られた前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出する評価値算出部と、
    前記評価値算出部で得られた前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、前記画像計測に用いる点灯パターンを決定するパターン決定部とを備え
    前記画像計測に用いる点灯パターンは、前記評価用点灯パターンの組合せが示す一の点灯パターンであり、
    前記画像取得部は、前記1以上の評価画像の撮像および前記画像計測において、記憶装置に格納された撮像条件に従って前記撮像部に撮像指示を送り、
    前記評価値算出部は、各評価用点灯パターンについて、前記評価対象領域において予め指定された領域である注目領域の特徴量と、前記評価対象領域における前記注目領域を除く領域である非注目領域の特徴量との差を用いて、前記評価値を算出し、
    前記係数は、
    前記複数の評価用点灯パターンのうちi番目の評価用点灯パターンに対応する場合に係数liとして表記され、
    係数liを含む以下の式(1)の数理最適化問題を、以下の式(2)の値が最大になるように解くことによって求められ、
    Figure 0007010057000009

    Figure 0007010057000010

    式(1)および式(2)において、
    添え字h2は、前記非注目領域を示す添え字であり、
    添え字h1は、前記注目領域を示す添え字であり、
    係数α h2i は、i番目の評価用点灯パターンが前記非注目領域から得られる特徴量に与える影響度合いを示す係数であり、
    係数α h1i は、i番目の評価用点灯パターンが前記注目領域から得られる特徴量に与える影響度合いを示す係数であり、
    光量biは、i番目の評価用点灯パターンに従って前記照明部から照明光を照射したときの照明光の光量であり、
    評価値Piは、i番目の評価用点灯パターンに対応する前記評価値を表す、画像処理システム。
  2. 前記評価用点灯パターンは、前記照明要素のうちひとつ、または、互いに近傍に位置する前記照明要素の集合が点灯し、その他は点灯しないパターンとする、請求項1に記載の画像処理システム。
  3. 前記照明部は、第1波長を主波長とする光と、前記第1波長とは異なる波長帯の第2波長を主波長とする光とを選択的に照射できるように構成されている、請求項1または請求項2に記載の画像処理システム。
  4. 前記設定受付部は、前記評価対象画像および前記評価対象領域に対応するラベル情報をさらに受け付け、
    前記評価値算出部は、前記評価対象領域から得られた前記特徴量と、当該評価対象領域に対応する前記ラベル情報との対応関係に基づいて前記評価値を算出する、請求項1に記載の画像処理システム。
  5. 前記ラベル情報は、前記評価対象画像および前記評価対象領域に欠陥が存在する状態を示す情報、または、欠陥が存在しない状態を示す情報である、請求項4に記載の画像処理システム。
  6. 前記特徴量は、コントラスト、色平均、色偏差、エッジ量のうち少なくとも1つである、請求項1~請求項5のいずれか1項に記載の画像処理システム。
  7. 前記パターン決定部は、前記複数の評価用点灯パターンから選択される1または複数の評価用点灯パターンからなる評価用点灯パターンの組合せを複数設定するとともに、各組合せに含まれる評価用点灯パターンに対応する前記評価値の合計を算出する、請求項1~6のいずれか1項に記載の画像処理システム。
  8. 前記パターン決定部は、
    前記組合せが示す点灯パターンと対応する評価値の合計とを表示するとともに、表示された組合せに対する選択を受付け、
    当該選択された組合せが示す点灯パターンを前記画像計測に用いる点灯パターンとして決定する、請求項に記載の画像処理システム。
  9. 対象物に対して光を照射するための複数の照明要素から構成され、照明要素ごとに発光強度を調整できる照明部に対して点灯設定を行なうための設定方法であって、
    互いに異なる複数の評価用点灯パターンの各々に従って前記照明部から照明光を照射するとともに、各評価用点灯パターンに対応する少なくとも1以上の評価画像を撮像部から取得するステップと、
    各評価用点灯パターンに対応する前記1以上の評価画像のうちの評価対象画像内の評価対象領域から特徴量を算出するステップと、
    算出された前記特徴量に基づいて、前記評価用点灯パターンに対応する評価値を算出するステップと、
    算出された前記評価値に基づいて決定される係数を用いて、前記評価用点灯パターンの線形結合を求めることにより、画像計測に用いる点灯パターンを決定するステップとを備え
    前記画像計測に用いる点灯パターンは、前記評価用点灯パターンの組合せが示す一の点灯パターンであり、
    前記撮像部は、前記1以上の評価画像の撮像および前記画像計測において、記憶装置において格納された撮像条件に従って制御され、
    前記評価値を算出するステップは、各評価用点灯パターンについて、前記評価対象領域において予め指定された領域である注目領域の特徴量と、前記評価対象領域における前記注目領域を除く領域である非注目領域の特徴量との差を用いて、前記評価値を算出し、
    前記係数は、
    前記複数の評価用点灯パターンのうちi番目の評価用点灯パターンに対応する場合に係数liとして表記され、
    係数liを含む以下の式(1)の数理最適化問題を、以下の式(2)の値が最大になるように解くことによって求められ、
    Figure 0007010057000011

    Figure 0007010057000012

    式(1)および式(2)において、
    添え字h2は、前記非注目領域を示す添え字であり、
    添え字h1は、前記注目領域を示す添え字であり、
    係数α h2i は、i番目の評価用点灯パターンが前記非注目領域から得られる特徴量に与える影響度合いを示す係数であり、
    係数α h1i は、i番目の評価用点灯パターンが前記注目領域から得られる特徴量に与える影響度合いを示す係数であり、
    光量biは、i番目の評価用点灯パターンに従って前記照明部から照明光を照射したときの照明光の光量であり、
    評価値Piは、i番目の評価用点灯パターンに対応する前記評価値を表す、設定方法。
JP2018031747A 2018-02-26 2018-02-26 画像処理システムおよび設定方法 Active JP7010057B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018031747A JP7010057B2 (ja) 2018-02-26 2018-02-26 画像処理システムおよび設定方法
EP18211978.4A EP3531344A1 (en) 2018-02-26 2018-12-12 Image processing system and setting method
CN201811518015.1A CN110196576B (zh) 2018-02-26 2018-12-12 图像处理系统以及设定方法
US16/221,592 US10863069B2 (en) 2018-02-26 2018-12-17 Image processing system and setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018031747A JP7010057B2 (ja) 2018-02-26 2018-02-26 画像処理システムおよび設定方法

Publications (2)

Publication Number Publication Date
JP2019148438A JP2019148438A (ja) 2019-09-05
JP7010057B2 true JP7010057B2 (ja) 2022-01-26

Family

ID=64665044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018031747A Active JP7010057B2 (ja) 2018-02-26 2018-02-26 画像処理システムおよび設定方法

Country Status (4)

Country Link
US (1) US10863069B2 (ja)
EP (1) EP3531344A1 (ja)
JP (1) JP7010057B2 (ja)
CN (1) CN110196576B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629286A4 (en) * 2017-05-01 2021-01-13 Kowa Company, Ltd. IMAGE ANALYSIS EVALUATION PROCESS, COMPUTER PROGRAM AND IMAGE ANALYSIS EVALUATION DEVICE
EP3844673A1 (en) * 2018-08-27 2021-07-07 Signify Holding B.V. Systems and methods for tuning light sources for use with object detection algorithms
US11852591B2 (en) * 2019-03-15 2023-12-26 Omron Corporation Inspection device and method
CN113826001A (zh) * 2019-05-28 2021-12-21 京瓷株式会社 光谱决定装置、光谱决定方法、光谱决定程序、照明系统、照明装置以及检查装置
JP7323922B2 (ja) * 2019-09-27 2023-08-09 有限会社シマテック Led照明器
JP7342616B2 (ja) * 2019-10-29 2023-09-12 オムロン株式会社 画像処理システム、設定方法およびプログラム
JP6860098B1 (ja) * 2020-02-10 2021-04-14 オムロン株式会社 画像検査装置および画像検査プログラム、照明設定装置
JP2022054938A (ja) * 2020-09-28 2022-04-07 株式会社リコー 検査装置、検査システム、検査方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153808A (ja) 1999-11-30 2001-06-08 Ccs Kk 照明装置の制御電源
JP2001229381A (ja) 2000-02-15 2001-08-24 Matsushita Electric Works Ltd 画像処理検査システムおよびその方法
US20040184032A1 (en) 2003-03-20 2004-09-23 James Mahon Optical inspection system and method for displaying imaged objects in greater than two dimensions
JP2006047290A (ja) 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置
JP2008122198A (ja) 2006-11-10 2008-05-29 Omron Corp 視覚センサおよび照明設定方法
JP2017067633A (ja) 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
JP2018017638A (ja) 2016-07-29 2018-02-01 オムロン株式会社 照明ユニット、欠陥検査装置、および照明方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060065A (en) * 1990-02-23 1991-10-22 Cimflex Teknowledge Corporation Apparatus and method for illuminating a printed circuit board for inspection
US6207946B1 (en) * 1998-09-03 2001-03-27 Semiconductor Technologies & Instruments, Inc. Adaptive lighting system and method for machine vision apparatus
US6542180B1 (en) * 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP2002118760A (ja) * 2000-10-04 2002-04-19 Canon Inc 画像処理方法及びその装置、及び画像処理システム
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
US7016525B2 (en) * 2002-05-02 2006-03-21 Mitutoyo Corporation Systems and methods for continuously varying wavelength illumination
JP4273108B2 (ja) * 2005-09-12 2009-06-03 キヤノン株式会社 色処理方法、色処理装置及び記憶媒体
WO2008007614A1 (fr) * 2006-07-14 2008-01-17 Nikon Corporation Appareil d'inspection de surface
JP5239314B2 (ja) 2007-11-28 2013-07-17 オムロン株式会社 物体認識方法およびこの方法を用いた基板外観検査装置
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP6395456B2 (ja) 2014-06-09 2018-09-26 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106323987A (zh) * 2016-09-30 2017-01-11 厦门威芯泰科技有限公司 一种用于检测高反射表面缺陷的照明光源

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153808A (ja) 1999-11-30 2001-06-08 Ccs Kk 照明装置の制御電源
JP2001229381A (ja) 2000-02-15 2001-08-24 Matsushita Electric Works Ltd 画像処理検査システムおよびその方法
US20040184032A1 (en) 2003-03-20 2004-09-23 James Mahon Optical inspection system and method for displaying imaged objects in greater than two dimensions
JP2006047290A (ja) 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置
JP2008122198A (ja) 2006-11-10 2008-05-29 Omron Corp 視覚センサおよび照明設定方法
JP2017067633A (ja) 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
JP2018017638A (ja) 2016-07-29 2018-02-01 オムロン株式会社 照明ユニット、欠陥検査装置、および照明方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEHLE, M. et al.,Learning of Optimal Illumination for Material Classification,Proceedings of the 32nd DAGM Symposium on Pattern Recognition, Darmstadt, Germany,ドイツ,Springer,2010年09月22日,pp. 563-572,doi: 10.1007/978-3-642-15986-2_57,ISBN:978-3-642-15985-5

Also Published As

Publication number Publication date
CN110196576B (zh) 2022-09-13
JP2019148438A (ja) 2019-09-05
US20190268517A1 (en) 2019-08-29
CN110196576A (zh) 2019-09-03
US10863069B2 (en) 2020-12-08
EP3531344A1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
JP7010057B2 (ja) 画像処理システムおよび設定方法
US9291450B2 (en) Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium
US10508902B2 (en) Three-dimensional measurement device
US9536295B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
US6542180B1 (en) Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US10373302B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
JP6834843B2 (ja) 画像処理システム、設定支援装置および設定支援プログラム
JP6791631B2 (ja) 画像生成方法及び検査装置
US20120067952A1 (en) Code Quality Evaluating Apparatus
JP7056131B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US10412810B2 (en) Setting support apparatus, image processing system, and non-transitory computer-readable recording medium
JP7154084B2 (ja) 三次元形状測定装置および三次元形状測定プログラム
JP6973205B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム
US12013525B2 (en) Magnified observation apparatus
CN113252706B (zh) 图像检查装置、存储介质以及照明设定装置
JP2011109507A (ja) 画像処理装置および画像処理プログラム
JP4477782B2 (ja) 被測定物のイメージにおける複数選択領域該当箇所の照明調整装置及び方法
WO2021084773A1 (ja) 画像処理システム、設定方法およびプログラム
JP3931130B2 (ja) 測定システム、演算方法および演算プログラム
KR20080114550A (ko) 자외선 현미경 장치
JP6835020B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP5533714B2 (ja) 光学情報読み取り装置
JP2008046509A (ja) 走査型共焦点レーザ顕微鏡による計測方法及びその制御システム
KR20220040466A (ko) 하전 입자선 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7010057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150