JP7056131B2 - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents
画像処理システム、画像処理プログラム、および画像処理方法 Download PDFInfo
- Publication number
- JP7056131B2 JP7056131B2 JP2017240595A JP2017240595A JP7056131B2 JP 7056131 B2 JP7056131 B2 JP 7056131B2 JP 2017240595 A JP2017240595 A JP 2017240595A JP 2017240595 A JP2017240595 A JP 2017240595A JP 7056131 B2 JP7056131 B2 JP 7056131B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- light emitting
- unit
- lighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/52—Combining or merging partially overlapping images to an overall image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Description
まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に係る画像処理システム1の適用場面を模式的に示す図である。
以下、本発明のより具体的な一応用例として、本実施の形態に係る画像処理システム1のより詳細な構成および処理について説明する。
図2は、本発明の実施の形態に係る画像処理システム1の基本構成を示す模式図である。画像処理システム1は、主たる構成要素として、画像処理装置100と、カメラ8と、照明装置4とを含む。画像処理装置100とカメラ8と照明装置4とは互いにデータ通信可能に接続される。
図3を参照して、照明装置4の構成について説明する。図3は、照明装置4の構成を示す図である。照明装置4は複数の発光部41を含む。図3の例では、照明装置4は、合計34個の発光部41を含む。また、照明装置4の中央には、照明装置4の上部からワークWを撮像することができるように開口部48が設けられている。
図4は、画像処理装置100のハードウェア構成について示す模式図である。画像処理装置100は、CPU(Central Processing Unit)110、メインメモリ120、ハードディスク130、カメラインターフェイス(I/F)180、照明I/F140、および外部メモリI/F160を含む。これらの各部は、バス190を介して、互いにデータ通信可能に接続される。
ワークWの外観画像からワークWの外観検査を画像処理により行なう場合に、照明装置4とカメラ8とワークWとの位置関係および、ワークWの材質や、検出したい傷の種類等の検査項目などによって、照射する光の強度、および照射する光の波長を変えることで、検査に応じた画像データを取得することができる。
撮像視野内のどの位置においても検査に適した画像データを取得して画像計測を行うための第1の具体例について説明する。第1の具体例における画像処理システム1において、カメラ8は、照明条件を変えて複数の画像データ81を生成する。画像処理装置100は、画像データ81に規定される部分領域riごとに、部分領域riに対応する部分画像データ82を複数の画像データ81の各々から抽出して、複数の部分画像データ82を部分領域riごとに規定された第1パラメータセットρiにしたがって合成することで部分領域画像データRiを生成する。また、画像処理装置100は、生成された部分領域画像データRiに対して画像計測を行なう。
図5を参照して、第1の具体例における画像処理システム1が行なう画像計測の流れを説明する。図5は、第1の具体例における画像計測の流れを説明するための図である。
画像処理装置100は、ワークWの撮像視野内における配置状況に応じて第1パラメータセットρiを補正してもよい。たとえば、第1パラメータセットρi設定時のワークWの撮像視野内における配置状況と、計測時のワークWの撮像視野内における配置状況とが異なる場合に、発光部41とワークWとの位置関係が第1パラメータセットρi設定時と異なるにも関わらず、第1パラメータセットρiを補正せずに用いた場合に、画像計測の精度が本来の精度に比較して下がってしまう。
図7は、第1の具体例における画像計測に用いられる画像処理装置100の機能構成を示す図である。画像処理装置100は、生成部10と、画像計測部20とを含む。生成部10は、照明装置4に含まれる複数の発光部41の発光状態を異ならせた、複数の照明条件下で撮像して得られる複数の画像データ81を取得し、複数の画像データ81から、部分領域画像データRiを生成する。
図8は、第1の具体例における第1パラメータセットρiの決定方法を説明するための図である。第1パラメータセットρiは、第1パラメータセットρiにしたがって生成された画像データRが画像計測の目的に適合した画像データとなるように決定される。
図9は、第1の具体例における第1パラメータセットρi決定時の画像処理装置100の機能構成を示す図である。画像処理装置100は、照明装置4とカメラ8とをそれぞれ制御する制御部12と、制御部12からの制御に従ってカメラ8が撮像して生成した複数の画像データ81(x、y)から部分領域画像データRiを合成する合成処理部14と、決定部30とを備える。
撮像視野内のどの位置においても検査に適した画像データを取得して画像計測を行うための第2の具体例について説明する。第1の具体例においては、照明条件の異なる複数枚の画像データ81の各々から部分画像データ82を抽出し、抽出した複数の部分画像データ82を第1パラメータセットρに従って合成することで部分領域画像データRiを生成するものとした。
図10を参照して、第2の具体例における画像処理システム1が行なう画像計測の流れを説明する。図10は、第2の具体例における画像計測の流れを説明するための図である。
画像処理装置100は、ワークWの撮像視野内における配置状況に応じて第2パラメータセットPiを補正してもよい。たとえば、第2パラメータセットPi設定時のワークWの撮像視野内における配置状況と、計測時のワークWの撮像視野内における配置状況とが異なる場合に、発光部41とワークWとの位置関係が第2パラメータセットPi設定時と異なるにも関わらず、第2パラメータセットPiを補正せずに用いた場合に、画像計測の精度が本来の精度に比較して下がってしまう。
図12は、第2の具体例における画像計測に用いられる画像処理装置100の機能構成を示す図である。画像処理装置100は、生成部10と、画像計測部20とを含む。
図13は、第2の具体例における第2パラメータセットPiの決定方法を説明するための図である。第2パラメータセットPiは、第2パラメータセットPiにしたがって照明装置4を制御し、各発光状態の下で撮像して得られる画像データ81から生成される画像データRが画像計測の目的に適合した画像データとなるように決定される。
図14は、第2の具体例における第2パラメータPi決定時の画像処理装置100の機能構成を示す図である。画像処理装置100は、照明装置4とカメラ8とをそれぞれ制御する制御部12と、制御部12からの制御に従ってカメラ8が撮像して生成した複数の画像データ81(x、y)のうちの少なくとも一の画像データ81から、生成対象の部分領域riに対応する部分領域画像データRiを生成する生成処理部18と、決定部30とを備える。
本実施の形態においては、異なる照明条件下で撮像した複数の画像データ81のうちの少なくとも一の画像データ81から部分領域画像データRiを生成するとしたが、照度差ステレオ法の計算に準じて、部分領域riに含まれるワークWの表面の法線ベクトルを求めても良い。
(部分領域riについて)
本実施の形態において、部分領域riについては一定間隔で画像データ81に規定されるものとした。図15は、部分領域riの規定方法の変形例を説明するための図である。例えば、1画素ずつ規定されるものであっても良い。また、図15の例のように、ワークWに基づいて部分領域riを規定してもよい。たとえば、ワークWのモデル画像(CADデータ)を用いて規定しても良い。具体的には、ワークW表面の法線ベクトルを求め、法線方向が共通する領域を一の領域として分割しても良い。図15においては、領域r1、r2、r3、r4、r5は互いに法線方向が異なる領域であって、r5~r8は法線方向が共通する領域である。また、法線方向が共通する一の領域の面積に応じて、さらに分割しても良い。分割するにあたっては、法線方向が急激に変化する境界Qを部分領域riの境界に設定することが好ましい。また、一定以上の面積を有する領域は複数に分割することが好ましい。たとえば、図15に示す例では、r5~r8は互いに法線方向が共通するものの、r5~r8の合計面積が特定の面積値以上であれば、境界Uによって分割される。
第1パラメータセットρiまたは第2パラメータセットPiを設定するにあたって、部分領域riの数を減らした上で、フィッティングしたのち、部分領域riの数を増やして再度フィティングをしても良い。このようにすることで、フィッティングの時間を短縮することができる。
本実施の形態においては、線形和で画像間演算を行い合成する例を示したが、照度差ステレオに準じて画像間演算を行ってもよい。また、画像計測を行なうにあたって、画像間演算を行ったのちに、空間フィルタリング処理を行ってもよい。
第1の具体例においては、発光部41の数だけ撮像することとしたが、複数の発光部41から得られた画像データ81のうち、ワークWと発光部41との位置関係から部分領域画像データRiの生成に寄与しない画像データ81が存在する場合に、当該画像データ81に対応する発光部41を点灯させた時の撮像を行わなくとも良い。具体的には、発光部41(x、y)に対応する第1発光パラメータρiのすべてが0の値をとる場合は、当該発光部41(x、y)の画像データを生成しなくとも良い。
以上のように、本実施の形態は以下のような開示を含む。
画像計測を行なう画像計測システム(1)であって、
対象物(W)を撮像して画像データを出力する撮像部(8)と、
前記対象物に照明光を照射するための発光部(41)が複数配置された照明部(4)と、
照明条件にしたがって前記複数の発光部の発光状態を制御して当該発光部の発光状態を複数に異ならせるように前記照明部を制御するとともに、前記複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像部を制御する、制御部(12)と、
前記画像データ内の位置に関連付けて規定される生成条件(P)に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データ(R)を生成する生成部(10)と、
前記生成部(10)から前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する決定部(30)とを備える、画像計測システム。
前記決定部(30)は、外観の状態が既知の基準対象物(Wk)が前記複数の異なる発光状態の各々で撮像された複数の基準画像データ(81)から前記生成部により生成される画像データが示す当該基準対象物の外観の状態が、前記既知の外観の状態と一致するように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、構成1に記載の画像処理システム。
前記決定部(30)は、前記生成部により生成される画像データ(R)を画像計測した場合の計測精度を示すファクタ(g)を含むコスト関数(E)の値が最大化するように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、構成1また構成2に記載の画像計測システム。
前記コスト関数(E)は、前記生成部により生成される画像データに含まれる画素間の連続性を示すファクタ(f)をさらに含む、構成3に記載の画像計測システム。
前記照明条件は、複数の前記発光部のうちの1の発光部を順次発光させることを含み、
前記生成条件は、前記発光部の順次発光に対応して撮像された複数の画像データの各々に対して規定された、前記画像データ内の位置に関連付けられた合成パラメータ(ρi)を含み、
前記生成部は、前記複数の画像データを、当該複数の画像データの各々に対して規定された前記合成パラメータにしたがって合成することで、前記画像計測に利用する画像データを生成し(14)、
前記決定部は、前記複数の画像データの各々に対して規定される前記合成パラメータを決定する(36)、構成1~構成3のうちいずれかに記載の画像処理システム。
前記照明条件は、前記画像データ内の位置ごとに規定された、前記複数の発光部の発光状態(Pi)を含み、
前記生成条件は、前記画像データ内の位置ごとに規定された発光状態の各々で撮像された複数の画像データのうち、前記画像データ内の注目位置に対応する発光状態で撮像された1の画像データから、当該注目位置に対応する部分画像データ(82)を抽出すること(18)を含み、
前記生成部は、前記画像データ内の位置ごとに前記部分画像データを抽出することで、前記画像計測に利用する画像データ(R)を生成し(18)、
前記決定部は、前記画像データ内の位置ごとに規定される前記複数の発光部の発光状態(Pi)を決定する(36)、構成1~構成4のうちいずれかに記載の画像処理システム。
前記生成条件は、前記画像データ内の隣接する複数画素からなる部分領域(ri)ごとに規定され、
前記生成部は、前記画像計測に利用する画像データ(R)として、前記部分領域ごとに当該部分領域に対応する部分領域画像データ(Ri)を生成し、
前記決定部(30)は、前記部分領域画像データの各々について、前記生成条件および前記照明条件のうちの少なくとも一方を決定する、構成1~構成6のうちいずれかに記載の画像処理システム。
対象物(W)を撮像して画像データを出力する撮像装置(8)と、当該対象物(W)に照明光を照射するための発光部(41)が複数配置された照明装置(4)とを制御するコンピュータ(100)で実行される画像計測を行なうための画像処理プログラム(132,134)であって、
コンピュータに、
照明条件にしたがって前記複数の発光部の発光状態を制御して当該発光部の発光状態を複数に異ならせるように前記照明装置を制御する機能(122)と、
前記複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像装置を制御する機能(124)と、
前記画像データ内の位置に関連付けて規定される生成条件(P)に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データ(81)から前記画像計測に利用する画像データ(R)生成する機能(10)と、
前記画像計測の目的に適合する画像データ(R)が生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する機能(30)とを実行させるための画像処理プログラム。
画像計測を行なう画像処理方法であって、
照明条件にしたがって複数の発光部(41)の発光状態を複数に異ならせ(4、122)、
前記複数の異なる発光状態の各々で対象物を撮像して複数の画像データ(81)を取得し、(8,124)、
前記画像データ内の位置に関連付けて規定される生成条件(P)に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データ(R)を生成し(10)、
前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する(30)、画像処理方法。
Claims (13)
- 画像計測を行なう画像処理システムであって、
対象物を撮像して画像データを出力する撮像部と、
前記対象物に照明光を照射するための複数の発光部が配置された照明部と、
照明条件にしたがって前記複数の発光部の発光状態を複数に異ならせるように前記照明部を制御するとともに、複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像部を制御する、制御部と、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成する生成部と、
前記生成部から前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する決定部とを備え、
前記決定部は、前記生成部により生成される画像データを前記画像計測した場合の計測精度を示すファクタを含むコスト関数の値が最大化するように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、画像処理システム。 - 前記決定部は、外観の状態が既知の基準対象物が前記複数の異なる発光状態の各々で撮像された複数の基準画像データから前記生成部により生成される画像データが示す当該基準対象物の外観の状態が、前記既知の外観の状態と一致するように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、請求項1に記載の画像処理システム。
- 前記コスト関数は、前記生成部により生成される画像データに含まれる画素間の連続性を示すファクタをさらに含む、請求項1または請求項2に記載の画像処理システム。
- 前記照明条件は、複数の前記発光部のうちの1の発光部を順次発光させることを含み、
前記生成条件は、前記発光部の順次発光に対応して撮像された複数の画像データの各々に対して規定された、前記画像データ内の位置に関連付けられた合成パラメータを含み、
前記生成部は、前記複数の画像データを、当該複数の画像データの各々に対して規定された前記合成パラメータにしたがって合成することで、前記画像計測に利用する画像データを生成し、
前記決定部は、前記複数の画像データの各々に対して規定される前記合成パラメータを決定する、請求項1~請求項3のうちいずれかに記載の画像処理システム。 - 前記照明条件は、前記画像データ内の位置ごとに規定された、前記複数の発光部の発光状態を含み、
前記生成条件は、前記画像データ内の位置ごとに規定された発光状態の各々で撮像された複数の画像データのうち、前記画像データ内の注目位置に対応する発光状態で撮像された1の画像データから、当該注目位置に対応する部分画像データを抽出することを含み、
前記生成部は、前記画像データ内の位置ごとに前記部分画像データを抽出することで、前記画像計測に利用する画像データを生成し、
前記決定部は、前記画像データ内の位置ごとに規定される前記複数の発光部の発光状態を決定する、請求項1~請求項3のうちいずれかに記載の画像処理システム。 - 前記生成条件は、前記画像データ内の隣接する複数画素からなる部分領域ごとに規定され、
前記生成部は、前記画像計測に利用する画像データとして、前記部分領域ごとに当該部分領域に対応する部分領域画像データを生成し、
前記決定部は、前記部分領域画像データの各々について、前記生成条件および前記照明条件のうちの少なくとも一方を決定する、請求項1~請求項5のうちいずれかに記載の画像処理システム。 - 画像計測を行なう画像処理システムであって、
対象物を撮像して画像データを出力する撮像部と、
前記対象物に照明光を照射するための複数の発光部が配置された照明部と、
照明条件にしたがって前記複数の発光部の発光状態を複数に異ならせるように前記照明部を制御するとともに、複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像部を制御する、制御部と、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成する生成部と、
前記生成部から前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する決定部とを備え、
前記照明条件は、複数の前記発光部のうちの1の発光部を順次発光させることを含み、
前記生成条件は、前記発光部の順次発光に対応して撮像された複数の画像データの各々に対して規定された、前記画像データ内の位置に関連付けられた合成パラメータを含み、
前記生成部は、前記複数の画像データを、当該複数の画像データの各々に対して規定された前記合成パラメータにしたがって合成することで、前記画像計測に利用する画像データを生成し、
前記決定部は、前記複数の画像データの各々に対して規定される前記合成パラメータを決定する、画像処理システム。 - 前記決定部は、外観の状態が既知の基準対象物が前記複数の異なる発光状態の各々で撮像された複数の基準画像データから前記生成部により生成される画像データが示す当該基準対象物の外観の状態が、前記既知の外観の状態と一致するように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、請求項7に記載の画像処理システム。
- 前記生成条件は、前記画像データ内の隣接する複数画素からなる部分領域ごとに規定され、
前記生成部は、前記画像計測に利用する画像データとして、前記部分領域ごとに当該部分領域に対応する部分領域画像データを生成し、
前記決定部は、前記部分領域画像データの各々について、前記生成条件および前記照明条件のうちの少なくとも一方を決定する、請求項7または請求項8に記載の画像処理システム。 - 対象物を撮像して画像データを出力する撮像装置と、当該対象物に照明光を照射するための複数の発光部が配置された照明装置とを制御するコンピュータで実行される画像計測を行なうための画像処理プログラムであって、
コンピュータに、
照明条件にしたがって前記複数の発光部の発光状態を複数に異ならせるように前記照明装置を制御する機能と、
複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像装置を制御する機能と、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成する機能と、
生成される画像データを前記画像計測した場合の計測精度を示すファクタを含むコスト関数の値が最大化するようにして、前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する機能とを実行させるための画像処理プログラム。 - 対象物を撮像して画像データを出力する撮像装置と、当該対象物に照明光を照射するための複数の発光部が配置された照明装置とを制御するコンピュータで実行される画像計測を行なうための画像処理プログラムであって、
コンピュータに、
照明条件にしたがって前記複数の発光部の発光状態を複数に異ならせるように前記照明装置を制御する機能と、
複数の異なる発光状態の各々で前記対象物を撮像するように前記撮像装置を制御する機能と、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成する機能と、
前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する機能とを実行させ、
前記照明条件は、複数の前記発光部のうちの1の発光部を順次発光させることを含み、
前記生成条件は、前記発光部の順次発光に対応して撮像された複数の画像データの各々に対して規定された、前記画像データ内の位置に関連付けられた合成パラメータを含み、
前記複数の画像データを、当該複数の画像データの各々に対して規定された前記合成パラメータにしたがって合成することで、前記画像計測に利用する画像データを生成する機能と、
前記複数の画像データの各々に対して規定される前記合成パラメータを決定する機能とを実行させるための画像処理プログラム。 - 画像計測を行なう画像処理方法であって、
照明条件にしたがって複数の発光部の発光状態を複数に異ならせ、
複数の異なる発光状態の各々で対象物を撮像して複数の画像データを取得し、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成し、
生成される画像データを前記画像計測した場合の計測精度を示すファクタを含むコスト関数の値が最大化するようにして、前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定する、画像処理方法。 - 画像計測を行なう画像処理方法であって、
照明条件にしたがって複数の発光部の発光状態を複数に異ならせ、
複数の異なる発光状態の各々で対象物を撮像して複数の画像データを取得し、
前記画像データ内の位置に関連付けて規定される生成条件に基づいて、前記複数の異なる発光状態の各々で撮像された複数の画像データから前記画像計測に利用する画像データを生成し、
前記画像計測の目的に適合する画像データが生成されるように、前記照明条件および前記生成条件のうちの少なくとも一方を決定し、
前記照明条件は、複数の前記発光部のうちの1の発光部を順次発光させることを含み、
前記生成条件は、前記発光部の順次発光に対応して撮像された複数の画像データの各々に対して規定された、前記画像データ内の位置に関連付けられた合成パラメータを含み、
前記複数の画像データを、当該複数の画像データの各々に対して規定された前記合成パラメータにしたがって合成することで、前記画像計測に利用する画像データを生成し、
前記複数の画像データの各々に対して規定される前記合成パラメータを決定する、画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240595A JP7056131B2 (ja) | 2017-12-15 | 2017-12-15 | 画像処理システム、画像処理プログラム、および画像処理方法 |
EP18199588.7A EP3499178B1 (en) | 2017-12-15 | 2018-10-10 | Image processing system, image processing program, and image processing method |
CN201811194958.3A CN109945794B (zh) | 2017-12-15 | 2018-10-15 | 图像处理系统、计算机可读记录介质及图像处理方法 |
US16/161,096 US10853935B2 (en) | 2017-12-15 | 2018-10-16 | Image processing system, computer readable recording medium, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240595A JP7056131B2 (ja) | 2017-12-15 | 2017-12-15 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109071A JP2019109071A (ja) | 2019-07-04 |
JP7056131B2 true JP7056131B2 (ja) | 2022-04-19 |
Family
ID=64023923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017240595A Active JP7056131B2 (ja) | 2017-12-15 | 2017-12-15 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10853935B2 (ja) |
EP (1) | EP3499178B1 (ja) |
JP (1) | JP7056131B2 (ja) |
CN (1) | CN109945794B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019132966A (ja) * | 2018-01-31 | 2019-08-08 | コニカミノルタ株式会社 | 画像形成装置 |
JP2020020680A (ja) * | 2018-08-01 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 光源装置、撮像装置、センシングモジュール |
IT201900005536A1 (it) * | 2019-04-10 | 2020-10-10 | Doss Visual Solution S R L | Metodo di acquisizione immagini per una macchina di ispezione ottica |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040184032A1 (en) | 2003-03-20 | 2004-09-23 | James Mahon | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
JP2006220427A (ja) | 2005-02-08 | 2006-08-24 | Omron Corp | 基板検査装置 |
US20080137101A1 (en) | 2004-11-03 | 2008-06-12 | Heriot-Watt University | Apparatus and Method for Obtaining Surface Texture Information |
JP2014206388A (ja) | 2013-04-10 | 2014-10-30 | オリンパス株式会社 | 撮像装置、画像処理装置及び画像処理方法 |
JP2015232484A (ja) | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232482A (ja) | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
US20170191946A1 (en) | 2014-06-05 | 2017-07-06 | University Of The West Of England, Bristol | Apparatus for and method of inspecting surface topography of a moving object |
JP2017156212A (ja) | 2016-03-02 | 2017-09-07 | キヤノン株式会社 | 検査装置、検査方法及び物品の製造方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0953999A (ja) * | 1995-08-11 | 1997-02-25 | Furukawa Electric Co Ltd:The | 光式外力検知装置 |
FR2852389B1 (fr) * | 2003-03-12 | 2005-05-13 | Commissariat Energie Atomique | Procede de mesure d'objets tridimensionnels par ombroscopie optique a une seule vue |
EP1665145A1 (en) * | 2003-09-09 | 2006-06-07 | Philips Intellectual Property & Standards GmbH | System for automatic generation of a change schedule for a plurality of lighting means |
TWI431263B (zh) * | 2005-03-28 | 2014-03-21 | Shibaura Mechatronics Corp | 應變矽晶圓表面檢查方法及檢查裝置 |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
EP2700283B1 (en) * | 2011-04-19 | 2023-03-01 | Signify Holding B.V. | Oln light change/optimization system |
JP6099115B2 (ja) * | 2011-10-26 | 2017-03-22 | 学校法人福岡工業大学 | 三次元表面検査装置および三次元表面検査方法 |
JP5868801B2 (ja) * | 2012-07-19 | 2016-02-24 | 株式会社 東京ウエルズ | 外観検査装置および外観検査方法 |
JP6232982B2 (ja) * | 2013-12-02 | 2017-11-22 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6395456B2 (ja) | 2014-06-09 | 2018-09-26 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6424020B2 (ja) * | 2014-06-09 | 2018-11-14 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US10456530B2 (en) * | 2014-10-06 | 2019-10-29 | Sanofi-Aventis Deutschland Gmbh | Supplementary device for attachment to a drug injection device for monitoring injection doses having OCR imaging system with glare reduction |
CN104574393B (zh) * | 2014-12-30 | 2017-08-11 | 北京恒达锦程图像技术有限公司 | 一种三维路面裂缝图像生成系统和方法 |
CN107105987B (zh) * | 2015-01-08 | 2019-11-15 | 奥林巴斯株式会社 | 图像处理装置及其工作方法、记录介质和内窥镜装置 |
-
2017
- 2017-12-15 JP JP2017240595A patent/JP7056131B2/ja active Active
-
2018
- 2018-10-10 EP EP18199588.7A patent/EP3499178B1/en active Active
- 2018-10-15 CN CN201811194958.3A patent/CN109945794B/zh active Active
- 2018-10-16 US US16/161,096 patent/US10853935B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040184032A1 (en) | 2003-03-20 | 2004-09-23 | James Mahon | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
US20080137101A1 (en) | 2004-11-03 | 2008-06-12 | Heriot-Watt University | Apparatus and Method for Obtaining Surface Texture Information |
JP2006220427A (ja) | 2005-02-08 | 2006-08-24 | Omron Corp | 基板検査装置 |
JP2014206388A (ja) | 2013-04-10 | 2014-10-30 | オリンパス株式会社 | 撮像装置、画像処理装置及び画像処理方法 |
US20170191946A1 (en) | 2014-06-05 | 2017-07-06 | University Of The West Of England, Bristol | Apparatus for and method of inspecting surface topography of a moving object |
JP2015232484A (ja) | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2015232482A (ja) | 2014-06-09 | 2015-12-24 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP2017156212A (ja) | 2016-03-02 | 2017-09-07 | キヤノン株式会社 | 検査装置、検査方法及び物品の製造方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190188841A1 (en) | 2019-06-20 |
EP3499178A1 (en) | 2019-06-19 |
CN109945794B (zh) | 2021-01-22 |
CN109945794A (zh) | 2019-06-28 |
EP3499178B1 (en) | 2021-06-23 |
US10853935B2 (en) | 2020-12-01 |
JP2019109071A (ja) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI440847B (zh) | 檢測方法 | |
JP6519265B2 (ja) | 画像処理方法 | |
JP4872035B2 (ja) | 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体 | |
JP7056131B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
KR101196219B1 (ko) | 3차원 형상 측정장치의 높이 측정방법 및 이를 이용한 3차원 형상 측정장치 | |
TWI699318B (zh) | 電子零件搬送裝置及電子零件檢查裝置 | |
JP7010057B2 (ja) | 画像処理システムおよび設定方法 | |
JP5342413B2 (ja) | 画像処理方法 | |
CN114636385B (zh) | 基于光场相机的三维成像方法和系统及三维成像测量产线 | |
KR20110089486A (ko) | 실장기판 검사장치 및 검사방법 | |
JP6904263B2 (ja) | 画像処理システム | |
KR101624120B1 (ko) | 3차원 형상 계측용 구조광의 국소 영역별 패턴 광원 조사 시스템 및 방법 | |
KR101237497B1 (ko) | 검사영역의 설정방법 | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2015059849A (ja) | 色と三次元形状の計測方法及び装置 | |
JP6939501B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2017156161A (ja) | 照明条件設定装置、照明条件設定方法及び照明条件設定用コンピュータプログラム | |
JP7118776B2 (ja) | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US20180130230A1 (en) | Recognition apparatus, determination method, and article manufacturing method | |
TW202113344A (zh) | 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體 | |
JP2020129187A (ja) | 外形認識装置、外形認識システム及び外形認識方法 | |
JP6386837B2 (ja) | 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法 | |
KR101311255B1 (ko) | 측정대상물 검사방법 | |
KR101216453B1 (ko) | 측정대상물 검사방법 | |
JP2024055569A (ja) | 3次元計測装置、3次元計測方法、プログラム、システム、及び物品の製造方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7056131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |