WO2022196156A1 - 検出装置、検出方法及びプログラム - Google Patents

検出装置、検出方法及びプログラム Download PDF

Info

Publication number
WO2022196156A1
WO2022196156A1 PCT/JP2022/004161 JP2022004161W WO2022196156A1 WO 2022196156 A1 WO2022196156 A1 WO 2022196156A1 JP 2022004161 W JP2022004161 W JP 2022004161W WO 2022196156 A1 WO2022196156 A1 WO 2022196156A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection device
processing circuit
image
principal component
binarized image
Prior art date
Application number
PCT/JP2022/004161
Other languages
English (en)
French (fr)
Inventor
元 迫田
秀樹 高安
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023506842A priority Critical patent/JPWO2022196156A1/ja
Publication of WO2022196156A1 publication Critical patent/WO2022196156A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to a detection device, detection method and program.
  • Extracting and detecting curves close to line segments in an image and quantifying the feature amount are useful, for example, in the detection of white lines in automatic driving, the detection of defects such as scratches in factory lines, and cracks in infrastructure such as bridges. It is used in a wide range of fields such as the detection of
  • the Hough transform is a method suitable for extracting a portion that can be regarded as a straight line or a part of a circle in an image. Besides the Hough transform, there are various methods for detecting straight lines.
  • the target to be detected is not a line segment, but an arbitrary curve shape, or is often interrupted in the middle, and it is difficult to detect it with a line segment detection method such as the Hough transform. be.
  • the present disclosure provides a detection device and a detection method for detecting line segments that may be distorted or interrupted.
  • a detection device comprises processing circuitry and storage circuitry to detect an object in an image.
  • the processing circuit generates a binarized image from the image, clusters the binarized image, calculates and quantifies a statistic of the clustered result, and based on the quantified result, Detect objects.
  • the processing circuit may generate the binarized image using a trained model optimized by machine learning so that the target candidate area can be extracted from the image.
  • the processing circuit may cluster the point group in the binarized image based on the probability density of Poisson distribution.
  • the processing circuit may perform the quantification process based on the direction of the clustered point group and the width of the existing area.
  • the processing circuit may perform the quantification process by performing principal component analysis on the clustered point group.
  • the processing circuit may acquire a direction in which there is a large variation as a first principal component, and calculate a direction orthogonal to the first principal component as a second principal component.
  • the processing circuitry may perform the quantification using a result of dividing the variance of the second principal component by the variance of the first principal component.
  • the processing circuitry may quantify the direction information in a plurality of clusters according to a probability distribution.
  • the probability distribution may be a von Mises distribution
  • the processing circuitry may use a concentration parameter of the von Mises distribution for the directional information to quantify the bias of the target.
  • the processing circuit may quantify the bias of the target by a combined vector length of each directional vector.
  • the processing circuit may detect linear defects in the product.
  • the processing circuit may detect the linear object on the road.
  • the processing circuit may detect linear noise added by the printer to the printed matter.
  • the processing circuit may detect linear foreign objects scattered on the floor.
  • the detection method includes generating a binarized image from the image, clustering the binarized image, calculating and quantifying statistics of the clustered result, and performing the above The target is detected based on the quantified results.
  • the program instructs a processing circuit to generate a binarized image from the image, cluster the binarized image, calculate and quantify statistics of the clustered results, and A detection method for detecting the target is executed based on the quantified result.
  • FIG. 1 is a block diagram schematically showing an example of the configuration of a detection device according to one embodiment
  • FIG. 4 is a flowchart showing processing of the detection device according to one embodiment.
  • 1 is a block diagram schematically showing an example of the configuration of a detection device according to one embodiment;
  • FIG. 1 is a block diagram schematically showing the configuration of a detection device 1 according to one embodiment.
  • the detection device 1 includes an imaging unit 100, a storage unit 102, a calculation unit 104, and an output unit .
  • the detection device 1 acquires an image of a target, extracts and outputs information such as line segments such as scratches, distorted line segments, and broken line segments in the target.
  • the imaging unit 100 is a device that acquires images.
  • the imaging unit 100 is, for example, a camera that captures images in the visible light range, a camera that acquires information in the infrared range, or a device that acquires light (electromagnetic waves) in other frequency ranges such as X-rays.
  • the imaging unit 100 is incorporated in the detection device 1, but it is not limited to this.
  • the detection device 1 may not have the imaging unit 100, and may have an interface for inputting an image captured by an external imaging device.
  • sea bream a configuration in which the imaging unit 100 is built in the detection device 1 will be described. sea bream.
  • the storage unit 102 has a primary storage area for temporarily storing image information acquired by the imaging unit 100 . Further, the detection device 1 may have a storage area in which information necessary for executing processing is stored. In the detection device 1, when information processing by software is specifically realized using hardware resources, the storage unit 102 stores programs, executable files, etc. necessary for the information processing of this software. may Further, when using a trained neural network model optimized by machine learning, parameters and the like related to this trained model may be stored.
  • the calculation unit 104 performs processing on the image captured by the imaging unit 100, and detects the detection target in the target. The details of this detection method will be described later.
  • the arithmetic unit 104 may be, for example, a processing circuit (processor) such as a CPU (Central Processing Unit), or a processing circuit implemented as an accelerator such as a GPU (Graphics Processing Unit).
  • the computing unit 104 may be a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). This circuit may be at least partly analog or at least partly digital.
  • the output unit 106 outputs the result detected by the calculation unit 104.
  • the output unit 106 comprises, for example, a suitable output interface. This interface may be used not only as an output interface but also as an input interface.
  • the imaging unit 100, at least part of the storage unit 102, and the arithmetic unit 104 may be formed on the same semiconductor substrate.
  • FIG. 2 is a flowchart showing processing according to one embodiment.
  • the imaging unit 100 acquires an image (S100).
  • the detection device 1 acquires the image captured by the imaging unit 100.
  • FIG. This image may be stored in a temporary storage area of storage unit 102 .
  • the calculation unit 104 executes binarization of the image as the first stage of calculation processing (S102).
  • This binarization processing of the image may be realized by general methods such as binarization using a threshold value, binarization using an adaptive threshold value, etc., or a trained model optimized by machine learning. may be used. Machine learning techniques may be based, for example, on deep learning techniques.
  • the calculation unit 104 may be omitted.
  • the neural network model may be any model such as MLP (Multi-Layer Perceptron), CNN (Convolutional Neural Network), or the like.
  • Fig. 3 is a diagram showing an example of binarized information.
  • the binarized target image is extracted as a point group.
  • the calculation unit 104 binarizes and extracts a point group that can be inferred to be a defect candidate in the image. That is, in the present disclosure, binarization refers to processing for extracting point groups that are defect candidates.
  • the computing unit 104 clusters the binarized images (S104). Although defects such as scratches will be described below, other examples such as white lines on roads can be similarly applied.
  • Fig. 4 shows the binarized image clustered and shown with different point shapes for each cluster. Also, binarized points that do not belong to a cluster are deleted. By comparing with FIG. 3, it can be seen that the binarization result points (including noise) that are not seen as defects such as scratches are deleted.
  • this clustering may be performed based on the Poisson distribution probability density expressed by the following equation. where ⁇ is the average value and n is the number.
  • the calculation unit 104 determines the distance R between points that cannot occur with a predetermined probability P or more as follows.
  • the clustering of the point cloud based on this distance R is performed by comparing the distance to the neighboring points for each point with R, and clustering if it is smaller than R.
  • the computing unit 104 analyzes the extracted clusters, extracts feature amounts, and quantifies them (S106).
  • the feature values to be extracted are, for example, parameters relating to the direction and slenderness of the defect, but are not limited to these.
  • the calculation unit 104 quantifies the direction and slenderness of the point group detected to be in a dense state using principal component analysis as a non-limiting example.
  • the calculation unit 104 acquires the direction and variance with the largest variation in the point group as the first principal component, and acquires the direction and variance orthogonal thereto as the second principal component.
  • the value obtained by dividing the variance of the second principal component by the variance of the first principal component represents the aspect ratio of the set of points (the direction in which the variation of the points is large is defined as vertical), so if this value is small, Defects are determined to be long and narrow, that is, defects to be extracted.
  • the direction of the point cloud in each cluster can be obtained from this first principal component.
  • correlation evaluation refers to quantifying and evaluating whether or not there are common features in a plurality of clusters.
  • the calculation unit 104 detects a plurality of defects by quantifying whether there is any bias in the directional distribution of scratches or the like.
  • the bias in the direction distribution of these multiple patterns is quantified according to a predetermined probability distribution.
  • the calculation unit 104 quantifies the bias in this direction using the convergence parameter ⁇ of the von Mises distribution, which is not limited.
  • ⁇ is the mean direction
  • ⁇ is the convergence parameter
  • I N ( ⁇ ) is the N-th order modified Bessel function.
  • ⁇ is expressed as follows using the angle of each cluster obtained in S106. The angle may be defined, for example, as the angle of the acquired image with respect to the horizontal direction, or may be another appropriate definition. Using this ⁇ , ⁇ can be determined as follows.
  • the directional distribution bias may be quantified as a composite vector of the directional vectors of multiple clusters as follows.
  • the correlation in multiple clusters can be quantified by the concentration parameter ⁇ obtained from equation (5) and the combined vector r obtained from equation (6). For example, when ⁇ is large, the directions of scratches are concentrated in a certain direction, and as ⁇ approaches 0, it is quantified that the directions are random. It can also be determined that the closer r is to 1, the more the clusters are aligned, and the closer to 0, the more random the clusters are.
  • correlation evaluation may be quantified using appropriate parameters in probability distributions other than the von Mises distribution.
  • the directions calculated above may be expressed between 0° and 180° in polar coordinates, and the direction vectors of the patterns of each cluster may be calculated, and these direction vectors may be added. . If the directions of the scratches are random and unbiased, this direction vector will be a vector with a value of less than 1, for example. On the other hand, if the direction of the flaw is biased, the sum of the directional vectors is calculated as a vector having a magnitude greater than or equal to a predetermined value in the biased direction.
  • quantification may be performed based on a probability distribution or by a geometric method. Note that this correlation evaluation is not an essential component and may be omitted. That is, the detection device may output the quantified values in the processing up to 106 and terminate the processing.
  • the output unit 106 appropriately outputs the information acquired by the calculation unit 104 (S110). After outputting, the detection device 1 terminates the process.
  • the image is binarized so as to extract the target, the point group extracted as the target is clustered, and the required feature amount is quantified from the feature amount of the clustered point group. By doing so, it becomes possible to detect the target appropriately.
  • clustering for example, by extracting feature amounts as statistics based on a predetermined probability distribution, even distorted or intermittent objects can be appropriately detected as objects. .
  • the imaging unit 100, the storage unit 102, and the arithmetic unit 104 of the detection device 1 can be mounted on the same semiconductor substrate.
  • the same semiconductor substrate for example, it can be mounted on IoT (Internet of Things) equipment such as edge devices. can be detected.
  • IoT Internet of Things
  • the detection apparatus of the present disclosure can be used to detect defects caused by the same cause and to analyze factors that cause defects.
  • the output unit 106 may display the results on a display or the like, for example. Also, the output unit 106 may output the result by sound, voice, or the like from a buzzer, a speaker, or the like. As another example, the output unit 106 may inform the user that a defect has occurred due to an LED (Light Emitting Diode) or other light-emitting device. Furthermore, the output unit 106 may output the result as vibration information using a vibrator or the like.
  • the calculated quantitative value may be stored in the storage unit 102, or may be stored in an external storage device, server, or the like.
  • quantification is attempted from a single image, but it is not limited to this. For example, it is possible to detect whether there are similar flaws or similar factors by comparing products that are manufactured one after another on a factory line or the like. In the case of a device mounted on an automobile, the results quantified in the previous frame can also be used as detection parameters in the current frame. In addition, clustering results or quantification results can also be used between various time-series images.
  • the calculation is performed within the detection device 1, but it is not limited to this form.
  • the information captured by the imaging unit 100 and stored in the storage unit 102 is output to the outside using a communication line such as the Internet, and the above-described processes are executed by an external server. good.
  • FIG. 5 is a block diagram schematically showing an example of the configuration of the detection device 1 according to the second embodiment.
  • the detection device 1 includes an imaging device 10 and a server 20. FIG. In this way, the detection device 1 may not be provided in the same housing, but may be provided in another housing at a distance, for example.
  • each processing unit is the same as in the above-described embodiment, so details will be omitted.
  • the result calculated by the calculation unit 104 may be stored in a storage unit (not shown) provided on the server side, or may be output from an output unit (not shown) provided on the server side as in the above embodiment. can be output in the same way. Further, the result of calculation by the server 20 may be fed back to the imaging device 10 side.
  • FIG. 6 is a non-limiting schematic implementation example of the imaging unit 100, the storage unit 102, and the calculation unit 104 of the detection device 1.
  • the detection device 1 may be mounted on one semiconductor substrate 30, for example.
  • the semiconductor substrate 30 includes an imaging element 300, a signal processing section 302, and a storage section 304, for example.
  • the data acquired by the imaging element 300 is transmitted to the signal processing unit 302 through an appropriate path, and the signal processing unit 302 performs binarization processing (processing by a neural network), clustering processing, quantification processing, etc. It may be output to an external processor via a suitable interface.
  • the storage unit 304 stores appropriate data for executing recognition. It should be noted that the shape of each circuit is shown schematically and is not limited to this example, and it is not excluded that further required circuits are mounted. For example, other control circuitry and additional logic circuitry may be implemented. Also, although not shown, a photographing timing obtaining unit for obtaining photographing timing is also mounted on the semiconductor substrate 30 . If there is a control circuit, the imaging timing acquisition section may operate as part of the control section. These also apply to the following examples.
  • FIG. 7 is another schematic implementation example of the detection device 1.
  • the detection device 1 may be mounted on two semiconductor substrates 31, 32, for example.
  • the semiconductor substrates 31 and 32 are, for example, stacked semiconductor substrates, and the respective substrates are appropriately electrically connected.
  • the imaging element 300 may be provided on the semiconductor substrate 31 located above, and the signal processing section 302 and the storage section 304 may be provided on the semiconductor substrate 32 located below.
  • FIG. 8 is another schematic implementation example of the detection device 1.
  • the detection device 1 may be mounted on three semiconductor substrates 31, 32, 33, for example.
  • the semiconductor substrates 31, 32, and 33 are, for example, stacked semiconductor substrates, and the respective substrates are appropriately electrically connected.
  • the semiconductor substrate 31 may include the imaging element 300
  • the semiconductor substrate 32 may include the storage unit 304
  • the semiconductor substrate 33 may include the signal processing unit 302.
  • the laminated substrates in FIGS. 7 and 8 may be connected by Cu-Cu connection, may be connected by via holes, or may be connected by other methods such as microdumping. These substrates can be laminated by any method such as CoC (Chip on Chip), CoW (Chip on Wafer), or WoW (Wafer on Wafer).
  • the detection device 1 can be used, for example, to detect scratches in semiconductor processes. For example, it is possible to detect wafer defects and dicing defects by looking at the defects for each chip.
  • the detection device 1 can also be used, for example, to detect defects in a factory line.
  • the quantified results can also be used for factor analysis of defects in lines.
  • the detection device 1 can also be used as information for outputting alerts for automatic driving and safe driving of automobiles. For example, it can be applied to detection of white lines, guardrails, road boundaries, and the like.
  • the detection device 1 can also be applied to information such as obstacles for robots to automatically run, and to detect dust such as cleaning robots.
  • the detection device 1 can also be used to detect linear noise in printed matter such as printers, and for maintenance of printers and the like using this. Furthermore, it is also possible to detect noise in copiers, scanners, and the like.
  • a detection device for detecting an object in an image comprising a processing circuit and a storage circuit, comprising: The processing circuit is generating a binarized image from the image; Clustering the point cloud in the binarized image or the binarized image itself, calculating and quantifying statistics of the clustered results; detecting the subject based on the quantified results; detection device.
  • the processing circuit is generating the binarized image using a trained model optimized by machine learning so as to extract candidate regions of the target from the image;
  • the detection device as described in (1).
  • the processing circuit is clustering the point cloud in the binarized image based on the Poisson distribution probability density;
  • the detection device according to (1) or (2).
  • the processing circuit is performing the quantification process based on the direction of the clustered point cloud and the width of the existing area;
  • the detection device according to any one of (1) to (3).
  • the processing circuit is performing the quantification process by performing principal component analysis on the clustered point cloud;
  • the detection device according to (4).
  • the processing circuit is For the point cloud belonging to the same cluster, a direction with large variation is obtained as a first principal component, and a direction orthogonal to the first principal component is calculated as a second principal component;
  • the detection device according to (5).
  • the processing circuit is performing the quantification using the result of dividing the variance of the second principal component by the variance of the first principal component;
  • the detection device according to (6) The processing circuit is performing the quantification using the result of dividing the variance of the second principal component by the variance of the first principal component.
  • the processing circuit is quantifying the directional information in a plurality of clusters according to a probability distribution;
  • the detection device according to any one of (4) to (7).
  • the probability distribution is a von Mises distribution
  • the processing circuit is quantifying the bias of the subject using the convergence parameter of the von Mises distribution for the directional information;
  • the detection device according to (8).
  • the processing circuit is For the directional information in a plurality of the clusters, quantify the bias of the subject by the combined vector length of each directional vector.
  • the detection device according to any one of (4) to (9).
  • the processing circuit is Detect linear defects in products, The detection device according to any one of (1) to (10).
  • the processing circuit is detecting the object in a straight line on a road;
  • the detection device according to any one of (1) to (10).
  • the processing circuit is detecting linear noise imparted by the printer in the printed matter;
  • the detection device according to any one of (1) to (10).
  • the processing circuit is Detect linear foreign objects scattered on the floor, The detection device according to any one of (1) to (10).
  • (16) to the processing circuit Generate a binarized image from the image, clustering the binarized image; calculating and quantifying statistics of the clustered results; detecting a target based on the quantified results; A program that runs a detection method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

［課題］歪みを有する線分を検出する。 ［解決手段］検出装置は、処理回路と、記憶回路と、を備え、画像における対象を検出する。前記処理回路は、前記画像から2値化画像を生成し、前記2値化画像をクラスタリングし、前記クラスタリングされた結果の統計量を算出して定量化し、前記定量化した結果に基づいて、前記対象を検出する。

Description

検出装置、検出方法及びプログラム
　本開示は、検出装置、検出方法及びプログラムに関する。
　画像内における線分に近い曲線を抽出、検出し、特徴量を定量化することは、例えば、自動運転における白線等の検出、工場のラインにおけるキズ等の不良の検出、橋等のインフラにおける亀裂の検出等、広い分野において用いられる。ハフ変換は、画像中の直線や円の一部と見なせる部分を抽出するのに適した方法である。また、ハフ変換以外にも直線の検出する種々の手法がある。
　しかしながら、一般的にこれらの検出したい対象は、線分ではなく、任意の曲線形状であったり、途中で途切れていたりすることが多く、ハフ変換等の線分検出手法では検知することが困難である。
特開2015-115067号公報
　そこで、本開示では、歪みを有していたり、途切れていたりする可能性がある線分を検出する検出装置、検出方法を提供する。
　一実施形態によれば、検出装置は、処理回路と、記憶回路と、を備え、画像における対象を検出する。前記処理回路は、前記画像から2値化画像を生成し、前記2値化画像をクラスタリングし、前記クラスタリングされた結果の統計量を算出して定量化し、前記定量化した結果に基づいて、前記対象を検出する。
　前記処理回路は、前記画像から、前記対象の候補の領域を抽出できるように機械学習により最適化された学習済みモデルを使用して前記2値化画像を生成してもよい。
　前記処理回路は、前記2値化された画像中の点群をポアソン分布の確率密度に基づいて、クラスタリングしてもよい。
　前記処理回路は、前記クラスタリングされた点群の方向と、存在する領域の幅と、に基づいて、前記定量化の処理を実行してもよい。
　前記処理回路は、前記クラスタリングされた点群について、主成分分析を実行することにより、前記定量化の処理を実行してもよい。
　前記処理回路は、同一のクラスタに属する点群について、ばらつきが大きい方向を第1主成分として取得し、前記第1主成分に直交する方向を第2主成分として算出してもよい。
　前記処理回路は、前記第2主成分の分散を、前記第1主成分の分散で除算した結果を用いて前記定量化を実行してもよい。
　前記処理回路は、複数のクラスタにおける前記方向の情報について、確率分布にしたがって定量化してもよい。
　前記確率分布は、フォンミーゼス分布であってもよく、前記処理回路は、前記方向の情報についてのフォンミーゼス分布の集中度パラメータを用いて、前記対象の偏りを定量化してもよい。
　前記処理回路は、複数のクラスタにおける前記方向の情報について、各方向ベクトルの合成ベクトル長によって前記対象の偏りを定量化してもよい。
　前記処理回路は、製品の線状の欠陥を検出してもよい。
　前記処理回路は、道路における直線状の前記対象を検出してもよい。
　前記処理回路は、印刷物においてプリンタにより付与された線状のノイズを検出してもよい。
　前記処理回路は、床に散らばっている線状の異物を検出してもよい。
　一実施形態によれば検出方法は、処理回路により、前記画像から2値化画像を生成し、前記2値化画像をクラスタリングし、前記クラスタリングされた結果の統計量を算出して定量化し、前記定量化した結果に基づいて、前記対象を検出する。
　一実施形態によれば、プログラムは、処理回路に、前記画像から2値化画像を生成し、前記2値化画像をクラスタリングし、前記クラスタリングされた結果の統計量を算出して定量化し、前記定量化した結果に基づいて、前記対象を検出する、検出方法を実行させる。
一実施形態に係る検出装置の構成の一例を模式的に示すブロック図。 一実施形態に係る検出装置の処理を示すフローチャート。 2値化した画像の一例を示す図。 クラスタリングした画像の一例を示す図。 一実施形態に係る検出装置の構成の一例を模式的に示すブロック図。 一実施形態に係るセンサの一例を模式的に示す図。 一実施形態に係るセンサの一例を模式的に示す図。 一実施形態に係るセンサの一例を模式的に示す図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　(第1実施形態)
　図1は、一実施形態に係る検出装置1の構成を模式的に示すブロック図である。検出装置1は、撮像部100と、記憶部102と、演算部104と、出力部106と、を備える。検出装置1は、ターゲットの画像を取得し、ターゲット中における傷等の線分、ひずんだ線分、分断された線分等の情報を抽出して出力する。
　撮像部100は、画像を取得するデバイスである。撮像部100は、例えば、可視光領域を撮影するカメラ、赤外領域の情報を取得するカメラ、又は、X線等これら以外の周波数領域における光(電磁波)を取得するデバイスである。本実施形態においては、図1に示すように、撮像部100は、検出装置1に内蔵されているが、これには限られない。検出装置1は、撮像部100を有しなくてもよく、外部にある撮像装置により撮像された画像が入力されるインタフェースを備えていてもよい。以下の説明においては、限定されない一例として撮像部100が検出装置1に内蔵されている構成について説明するが、撮像装置が外部に備えられる場合であっても同様に適用することができることに留意されたい。
　記憶部102は、撮像部100が取得した画像情報を一時的に記憶する一次記憶領域を有する。また、検出装置1が処理を実行するために必要となる情報が格納される記憶領域を有していてもよい。検出装置1において、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、記憶部102には、このソフトウェアの情報処理に必要となるプログラム、実行ファイル等が格納されていてもよい。また、機械学習により最適化された学習済みのニューラルネットワークモデルを用いる場合、この学習済みモデルに関するパラメータ等が記憶されていてもよい。
　演算部104は、撮像部100が撮影した画像に対して処理を施し、ターゲットにおける検出対象の検出を実行する。この検出方法の詳細については、後述する。演算部104は、例えば、CPU(Central Processing Unit)等の処理回路(プロセッサ)、GPU(Graphics Processing Unit)等のアクセラレータとして実装される処理回路であってもよいし、また、別の例としては、演算部104は、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路であってもよい。この回路は、その少なくとも一部がアナログ回路であってもよいし、その少なくとも一部がデジタル回路であってもよい。
　出力部106は、演算部104が検出した結果を出力する。出力部106は、例えば、適切な出力インタフェースを備える。このインタフェースは、出力だけではなく、入力インタフェースと兼用できるものであってもよい。
　検出装置1において、撮像部100、記憶部102の少なくとも一部、及び、演算部104は、同じ半導体基板上に形成されていてもよい。
　図2は、一実施形態に係る処理を示すフローチャートである。
　まず、撮像部100が画像を取得する(S100)。撮像部100が検出装置1の外部にある場合には、検出装置1は、撮像部100が撮影した画像を取得する。この画像は、記憶部102の一時記憶領域に格納されてもよい。
　次に、演算部104は、演算処理の最初の段階として、画像の2値化を実行する(S102)。この画像の2値化処理は、閾値を用いた2値化、適応型閾値を用いた2値化等の一般的な手法により実現されてもよいし、機械学習により最適化された学習済みモデルを用いてもよい。機械学習による手法は、例えば、ディープラーニングの手法に基づいてもよい。2値化が既に実施された画像や点群の情報を入力する場合には演算部104は省略されてもよい。
　学習済みモデル生成のための機械学習においては、例えば、写真から人間の手により対象(キズ、白線等)の2値化情報を生成し、これを教師データ(ラベル)としてもよい。検出をしたい対象によって、使用する画像と、対象の2値化情報をそれぞれ生成し、この情報を訓練データとして使用する。機械学習の手法は、適切に学習済みモデルが生成できるものであればよい。また、ニューラルネットワークモデルは、例えば、MLP(Multi-Layer Perceptron)、CNN(Convolutional Neural Network)等、任意のモデルであってもよい。
　図3は、2値化した情報の一例を示す図である。この図3に示すように、2値化された対象の画像は、点群として抽出される。演算部104は、画像内における欠陥の候補であると推論できる点群を、2値化して抽出する。すなわち、本開示において2値化とは、欠陥の候補となる点群を抽出する処理のことを示す。
　図2に戻り、次に、演算部104は、2値化された画像をクラスタリングする(S104)。以下、対象をキズ等の欠陥として説明するが、道路における白線等の他の例についても同様に適用することができる。
　図4は、2値化画像をクラスタリングし、クラスタごとに異なる点の形状で示したものである。また、クラスタに属しない2値化された点は、削除したものである。図3と比較することにより、キズ等の欠陥とは見られない2値化結果の点(ノイズを含む)を削除していることがわかる。
　このクラスタリングは、限定されない一例として、以下の式で表されるポアソン分布の確率密度に基づいて実行されてもよい。
Figure JPOXMLDOC01-appb-M000001
 ここで、λは平均値、nは個数である。
　例えば、欠陥が一様分布で発生すると仮定すると、偶然では発生し得ない点と点の間隔となっている場合には、相関がある点であるとみなしてクラスタリングする。統計的には、欠陥数の確率密度が(1)式に示すポアソン分布に従うと考えることができる。このため、演算部104は、例えば、面積Sの中にN個の点が一様分布するときには、所定確率P以上では生じ得ない点間の距離Rを以下のように決定する。
Figure JPOXMLDOC01-appb-M000002
　この距離Rに基づく点群のクラスタリングは、各点毎に近傍の点との距離をRと比較し、Rより小さい場合にはクラスタリングすることで実行する。このように点群をクラスタとして抽出することにより、厳密に線分ではなく、歪んでいたり、断続的であったりする場合でも、適切に欠陥をクラスタとして抽出することができる。
　図2に戻り、次に、演算部104は、抽出されたクラスタを分析し特徴量を抽出して定量化を行う(S106)。抽出する特徴量は、例えば、欠陥の方向、細長さに関するパラメータであるが、これらに限定されるものではない。演算部104は、限定されない一例として主成分分析を用いて密集状態にあると検出された点群の方向、細長さを定量化する。
　演算部104は、例えば、点群において最もばらつきが大きい方向と分散を第1主成分として取得し、これに直交する方向と分散を第2主成分として取得する。この第2主成分の分散を第1主成分の分散で除算した値は、点の集合の縦横比(点のばらつきが大きい方向を縦とする)を表すので、この値が小さい場合には、細長い、すなわち、抽出する対象である欠陥であると判定する。各クラスタにおける点群の方向は、この第1主成分から取得することができる。
　次に、演算部104は、相関性評価を実行する(S108)。ここで、相関性評価は、複数のクラスタに共通した特徴があるか否かを定量化して評価することを言う。例えば、演算部104は、複数の欠陥について、キズの方向分布等に偏りがないかを定量化することにより検出する。
　複数の筋状のパターンがクラスタとして抽出されている場合、これらの複数のパターンの方向の分布の偏りを、所定の確率分布にしたがって定量化する。演算部104は、限定されない、フォンミーゼス分布の集中度パラメータκを用いてこの方向の偏りを定量化する。
　フォンミーゼス分布は、以下の式より表される。
Figure JPOXMLDOC01-appb-M000003
 ここで、μは平均方向、κは、集中度パラメータ、IN(κ)は、N次の変形ベッセル関数である。μは、S106で取得されたそれぞれのクラスタの角度を用いて、以下のように表される。なお、角度は、例えば、取得した画像の水平方向に対する角度として定義してもよいし、別の他の適切な定義であってもよい。
Figure JPOXMLDOC01-appb-M000004
 このμを用いて、κは、以下のように求めることができる。
Figure JPOXMLDOC01-appb-M000005
　方向分布の偏りは、以下のように複数のクラスタの方向ベクトルの合成ベクトルとして定量化してもよい。
Figure JPOXMLDOC01-appb-M000006
　(5)式から求められる集中度パラメータκ、及び、(6)式から求められる合成ベクトル rにより、複数のクラスタにおける相関性を定量化することができる。例えば、κが大きい場合には、ある方向にキズの方向が集中しており、κが0に近づくほど、ランダムな方向であることが定量化される。また、rが1に近いほど、クラスタ間の方向がそろっており、0に近いほど、ランダムであるという判断もできる。
　もちろん、フォンミーゼス分布以外の確率分布における適切なパラメータを用いて相関性評価の定量化をしてもよい。
　また、フォンミーゼス分布を用いることに限定されるものではない。別の例として、上記にて算出された方向を、極座標表現の0°～180°の間で表したそれぞれのクラスタのパターンの方向ベクトルを算出して、これらの方向ベクトルを加算してもよい。キズの方向がランダムであり偏りがない場合には、この方向ベクトルは、例えば、1未満の値を有するベクトルとなる。一方で、キズの方向に偏りがある場合には、方向ベクトルの和は、偏りが生じている方向に所定値以上の大きさを有するベクトルとして算出される。
　このように、定量化は、確率分布に基づいて実行されてもよいし、幾何学的な手法で実行されてもよい。なお、この相関性評価は、必須の構成ではなく、省略してもよい。すなわち、検出装置は、106までの処理で定量化されたものを出力して処理を終了してもよい。
　次に、出力部106は、演算部104が取得した情報を適切に出力する(S110)。出力後、検出装置1は、処理を終了する。
　以上のように、本実施形態によれば、対象を抽出するように画像を2値化し、対象として抽出された点群をクラスタリングし、クラスタリングした点群の特徴量から必要な特徴量を定量化することにより、対象を適切に検出することが可能となる。クラスタリングをする際に、例えば、所定の確率分布に基づいて特徴量を統計量として抽出することにより、歪んでいる対象や断続している対象に対しても、適切に対象として検出することができる。
　また、上述したように、この検出装置1の撮像部100、記憶部102、演算部104は、同一の半導体基板に搭載することも可能である。同一の半導体基板に製品として搭載させることにより、例えば、エッジデバイス等のIoT(Internet of Things)機器に搭載させることが可能となり、消費電力、設置容積の小ささを確保した上で、適切な対象の検出をすることが可能となる。
　さらに、相関性評価により、複数の対象の支配的な方向を特定することも可能である。このような評価をすることで、欠陥が生じた場合等における相関のあるキズや亀裂の状況を知ることも可能である。この結果、同一原因で発生した欠陥の検出や、欠陥を生じさせる要因解析にも本開示の検出装置を用いることができる。
　出力部106は、例えば、ディスプレイ等に結果を表示してもよい。また、出力部106は、ブザー、スピーカ等から結果を音、音声等で出力してもよい。別の例として、出力部106は、LED(Light Emitting Diode)や他の発光機器により、欠陥が生じたことをユーザに知らせてもよい。さらには、出力部106は、バイブレータ等により、振動情報として結果を出力してもよい。算出された定量値は、記憶部102に記憶されてもよいし、外部の記憶装置、サーバ等に記憶されてもよい。
　なお、上記においては、一枚の画像から定量化を図ることを説明したが、これには限られない。例えば、工場のライン等において、次々に製造される製品について、製品ごとに比較して、同様のキズ、同様の要因がないかを検知することもできる。また、自動車に搭載されるデバイスであれば、前のフレームにおいて定量化された結果を、現フレームにおいて検出のパラメータとして用いることもできる。この他、種々の時系列の画像間において、クラスタリングの結果、又は、定量化の結果を用いることもできる。
　(第2実施形態)
　前述の第1実施形態では、検出装置1内で演算をしていたが、この形態に限られるものではない。例えば、撮像部100が撮像し、記憶部102に格納されている情報を、インターネット等の通信回線を用いて外部へと出力し、外部のサーバで前述の各処理を実行するものであってもよい。
　図5は、第2実施形態に係る検出装置1の構成の一例を模式的に示すブロック図である。検出装置1は、撮像装置10と、サーバ20と、を備える。このように、検出装置1は、同一の筐体内に備えられるものではなく、例えば、距離的に離れた位置にある別の筐体内に備えられるものであってもよい。
　各処理部の機能は、前述の実施形態と同様であるので、詳細については、省略する。サーバ20において、演算部104が演算した結果は、サーバ側に備えられる記憶部(図示しない)に格納されてもよいし、サーバ側に備えられる出力部(図示しない)から、前述の実施形態と同様に出力することができる。また、サーバ20で演算した結果を、撮像装置10側にフィードバックしてもよい。
　(実装例)
　図6は、検出装置1の撮像部100、記憶部102及び演算部104の限定されない模式的な実装例である。検出装置1は、例えば、1つの半導体基板30上に実装されてもよい。半導体基板30は、例えば、撮像素子300と、信号処理部302と、記憶部304を備える。撮像素子300において取得されたデータは、信号処理部302へと適切な経路で伝達され、信号処理部302において2値化処理(ニューラルネットワークによる処理)、クラスタリング処理、定量化処理等が実現され、適切なインタフェースを介して外部のプロセッサに出力されてもよい。
　記憶部304には、認識を実行する適切なデータが格納される。なお、各回路の形状は、模式的に示したものであり、この例に限定されるものではなく、また、さらに必要となる回路が実装されていることを排除するものではない。例えば、他に、制御回路やさらなるロジック回路が実装されていてもよい。また、図示しないが、撮影タイミングを取得する撮影タイミング取得部も、この半導体基板30に実装される。制御回路がある場合には、撮影タイミング取得部は、制御部の一部として動作するものであってもよい。これらは、以下の例についても同様である。
　図7は、検出装置1の模式的な他の実装例である。検出装置1は、例えば、2つの半導体基板31、32上に実装されてもよい。半導体基板31、32は、例えば、積層された半導体基板であり、それぞれの基板が適切に電気的に接続される。限定されない一例として、上方にある半導体基板31に撮像素子300が備えられ、下方にある半導体基板32に信号処理部302と、記憶部304と、が備えられてもよい。
　図8は、検出装置1の模式的な他の実装例である。検出装置1は、例えば、3つの半導体基板31、32、33上に実装されてもよい。半導体基板31、32、33は、例えば、積層された半導体基板であり、それぞれの基板が適切に電気的に接続される。限定されない一例として、半導体基板31には、撮像素子300が、半導体基板32には、記憶部304が、半導体基板33には、信号処理部302がそれぞれ備えられていてもよい。
　図7、図8において積層されている基板同士は、Cu-Cu接続されてもよいし、ビアホールで接続されてもよいし、マイクロダンプ等の他の方法で接続されてもよい。これらの基板の積層は、例えば、CoC(Chip on Chip)、CoW(Chip on Wafer)、又は、WoW(Wafer on Wafer)等の任意の手法で積層させることが可能である。
　本開示における検出装置1は、例えば、半導体のプロセスにおけるキズの検知に用いることができる。例えば、1チップごとの欠陥を見ることにより、ウエハにおける欠陥やダイシングにおける欠陥を検出することもできる。
　検出装置1は、例えば、工場のラインにおいて、欠陥を検出することに用いることもできる。定量化した結果を、ラインにおける欠陥の要因解析に用いることもできる。
　検出装置1は、自動車の自動運転や安全運転のためのアラート等出力ための情報として用いることもできる。例えば、白線、ガードレール、道路の境目等の検出等に応用することができる。
　検出装置1は、ロボットが自動走行するための障害物等の情報や、掃除ロボット等のゴミの検出等にも応用することができる。
　検出装置1は、プリンタ等の印刷物における線状のノイズの検出、及び、これを用いたプリンタ等のメンテナンスに用いることもできる。またさらに、コピー機やスキャナ等におけるノイズの検出をすることも可能である。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　処理回路と、記憶回路と、を備え、画像における対象を検出する検出装置であって、
　前記処理回路は、
　　前記画像から2値化画像を生成し、
　　前記2値化画像における点群、又は、前記2値化画像自体をクラスタリングし、
　　前記クラスタリングされた結果の統計量を算出して定量化し、
　　前記定量化した結果に基づいて、前記対象を検出する、
　検出装置。
(2)
　前記処理回路は、
　　前記画像から、前記対象の候補の領域を抽出できるように機械学習により最適化された学習済みモデルを使用して前記2値化画像を生成する、
　(1)に記載の検出装置。
(3)
　前記処理回路は、
　　ポアソン分布の確率密度に基づいて、前記2値化画像における前記点群をクラスタリングする、
　(1)又は(2)に記載の検出装置。
(4)
　前記処理回路は、
　　前記クラスタリングされた前記点群の方向と、存在する領域の幅と、に基づいて、前記定量化の処理を実行する、
　(1)から(3)のいずれかに記載の検出装置。
(5)
　前記処理回路は、
　　前記クラスタリングされた前記点群について、主成分分析を実行することにより、前記定量化の処理を実行する、
　(4)に記載の検出装置。
(6)
　前記処理回路は、
　　同一のクラスタに属する前記点群について、ばらつきが大きい方向を第1主成分として取得し、前記第1主成分に直交する方向を第2主成分として算出する、
　(5)に記載の検出装置。
(7)
　前記処理回路は、
　　前記第2主成分の分散を、前記第1主成分の分散で除算した結果を用いて前記定量化を実行する、
　(6)に記載の検出装置。
(8)
　前記処理回路は、
　　複数のクラスタにおける前記方向の情報について、確率分布にしたがって定量化する、
　(4)から(7)のいずれかに記載の検出装置。
(9)
　前記確率分布は、フォンミーゼス分布であり、
　前記処理回路は、
　　前記方向の情報についてのフォンミーゼス分布の集中度パラメータを用いて、前記対象の偏りを定量化する、
　(8)に記載の検出装置。
(10)
　前記処理回路は、
　　複数の前記クラスタにおける前記方向の情報について、それぞれの方向ベクトルの合成ベクトル長によって、前記対象の偏りを定量化する、
　(4)から(9)のいずれかに記載の検出装置。
(11)
　前記処理回路は、
　　製品の線状の欠陥を検出する、
　(1)から(10)のいずれかに記載の検出装置。
(12)
　前記処理回路は、
　　道路における直線状の前記対象を検出する、
　(1)から(10)のいずれかに記載の検出装置。
(13)
　前記処理回路は、
　　印刷物においてプリンタにより付与された線状のノイズを検出する、
　(1)から(10)のいずれかに記載の検出装置。
(14)
　前記処理回路は、
　　床に散らばっている線状の異物を検出する、
　(1)から(10)のいずれかに記載の検出装置。
(15)
　処理回路により、
　　画像から2値化画像を生成し、
　　前記2値化画像をクラスタリングし、
　　前記クラスタリングされた結果の統計量を算出して定量化し、
　　前記定量化した結果に基づいて、対象を検出する、
　検出方法。
(16)
　処理回路に、
　　画像から2値化画像を生成し、
　　前記2値化画像をクラスタリングし、
　　前記クラスタリングされた結果の統計量を算出して定量化し、
　　前記定量化した結果に基づいて、対象を検出する、
　検出方法を実行させるプログラム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: 検出装置、
 100: 撮像部、
 102: 記憶部、
 104: 演算部、
 106: 出力部、
10: 撮像装置、
20: サーバ

Claims (16)

  1. 　処理回路と、記憶回路と、を備え、画像における対象を検出する検出装置であって、
    　前記処理回路は、
    　　前記画像から2値化画像を生成し、
    　　前記2値化画像における点群をクラスタリングし、
    　　前記クラスタリングされた結果の統計量を算出して定量化し、
    　　前記定量化した結果に基づいて、前記対象を検出する、
    　検出装置。
  2. 　前記処理回路は、
    　　前記画像から、前記対象の候補の領域を抽出できるように機械学習により最適化された学習済みモデルを使用して前記2値化画像を生成する、
    　請求項1に記載の検出装置。
  3. 　前記処理回路は、
    　　ポアソン分布の確率密度に基づいて、前記2値化画像における前記点群をクラスタリングする、
    　請求項1に記載の検出装置。
  4. 　前記処理回路は、
    　　前記クラスタリングされた前記点群の方向と、存在する領域の幅と、に基づいて、前記定量化の処理を実行する、
    　請求項1に記載の検出装置。
  5. 　前記処理回路は、
    　　前記クラスタリングされた前記点群について、主成分分析を実行することにより、前記定量化の処理を実行する、
    　請求項4に記載の検出装置。
  6. 　前記処理回路は、
    　　同一のクラスタに属する前記点群について、ばらつきが大きい方向を第1主成分として取得し、前記第1主成分に直交する方向を第2主成分として算出する、
    　請求項5に記載の検出装置。
  7. 　前記処理回路は、
    　　前記第2主成分の分散を、前記第1主成分の分散で除算した結果を用いて前記定量化を実行する、
    　請求項6に記載の検出装置。
  8. 　前記処理回路は、
    　　複数のクラスタにおける前記方向の情報について、確率分布にしたがって定量化する、
    　請求項4に記載の検出装置。
  9. 　前記確率分布は、フォンミーゼス分布であり、
    　前記処理回路は、
    　　前記方向の情報についてのフォンミーゼス分布の集中度パラメータを用いて、前記対象の偏りを定量化する、
    　請求項8に記載の検出装置。
  10. 　前記処理回路は、
    　　複数の前記クラスタにおける前記方向の情報について、それぞれの方向ベクトルの合成ベクトル長によって、前記対象の偏りを定量化する、
    　請求項4に記載の検出装置。
  11. 　前記処理回路は、
    　　製品の線状の欠陥を検出する、
    　請求項1に記載の検出装置。
  12. 　前記処理回路は、
    　　道路における直線状の前記対象を検出する、
    　請求項1に記載の検出装置。
  13. 　前記処理回路は、
    　　印刷物においてプリンタにより付与された線状のノイズを検出する、
    　請求項1に記載の検出装置。
  14. 　前記処理回路は、
    　　床に散らばっている線状の異物を検出する、
    　請求項1に記載の検出装置。
  15. 　処理回路により、
    　　画像から2値化画像を生成し、
    　　前記2値化画像をクラスタリングし、
    　　前記クラスタリングされた結果の統計量を算出して定量化し、
    　　前記定量化した結果に基づいて、対象を検出する、
    　検出方法。
  16. 　処理回路に、
    　　画像から2値化画像を生成し、
    　　前記2値化画像をクラスタリングし、
    　　前記クラスタリングされた結果の統計量を算出して定量化し、
    　　前記定量化した結果に基づいて、対象を検出する、
    　検出方法を実行させるプログラム。
PCT/JP2022/004161 2021-03-18 2022-02-03 検出装置、検出方法及びプログラム WO2022196156A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023506842A JPWO2022196156A1 (ja) 2021-03-18 2022-02-03

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-045116 2021-03-18
JP2021045116 2021-03-18

Publications (1)

Publication Number Publication Date
WO2022196156A1 true WO2022196156A1 (ja) 2022-09-22

Family

ID=83320281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004161 WO2022196156A1 (ja) 2021-03-18 2022-02-03 検出装置、検出方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022196156A1 (ja)
WO (1) WO2022196156A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008130086A (ja) * 2006-11-17 2008-06-05 Alpine Electronics Inc 分類境界確定方法及び分類境界確定装置
JP2009068946A (ja) * 2007-09-12 2009-04-02 Omron Corp 欠陥分類装置および方法並びにプログラム
JP2013045372A (ja) * 2011-08-25 2013-03-04 Dainippon Printing Co Ltd 画像評価方法、描画条件選択方法、画像評価プログラム、描画条件選択プログラム
JP2016532881A (ja) * 2013-10-09 2016-10-20 スペクトロセンス リミテッド 改変されたガスクロマトグラフィーのデータ分析のための方法およびシステム
JP2020135051A (ja) * 2019-02-13 2020-08-31 東レ株式会社 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
JP2021021646A (ja) * 2019-07-29 2021-02-18 国立大学法人群馬大学 構造物の異常検出システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008130086A (ja) * 2006-11-17 2008-06-05 Alpine Electronics Inc 分類境界確定方法及び分類境界確定装置
JP2009068946A (ja) * 2007-09-12 2009-04-02 Omron Corp 欠陥分類装置および方法並びにプログラム
JP2013045372A (ja) * 2011-08-25 2013-03-04 Dainippon Printing Co Ltd 画像評価方法、描画条件選択方法、画像評価プログラム、描画条件選択プログラム
JP2016532881A (ja) * 2013-10-09 2016-10-20 スペクトロセンス リミテッド 改変されたガスクロマトグラフィーのデータ分析のための方法およびシステム
JP2020135051A (ja) * 2019-02-13 2020-08-31 東レ株式会社 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
JP2021021646A (ja) * 2019-07-29 2021-02-18 国立大学法人群馬大学 構造物の異常検出システム

Also Published As

Publication number Publication date
JPWO2022196156A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
US10600175B2 (en) Dynamic care areas for defect detection
US8902053B2 (en) Method and system for lane departure warning
Tsai et al. A shift-tolerant dissimilarity measure for surface defect detection
EP3243166B1 (en) Structural masking for progressive health monitoring
US10636133B2 (en) Automated optical inspection (AOI) image classification method, system and computer-readable media
Liu et al. Automated visual inspection system for bogie block key under complex freight train environment
Wu et al. An inspection and classification method for chip solder joints using color grads and Boolean rules
JP3435684B2 (ja) 画像情報処理装置
KR100868884B1 (ko) 유리 기판 유리 불량 정보 시스템 및 분류 방법
JP2014002144A (ja) パッチ・ツー・パッチ比較を含む欠陥検出のための装置及び方法
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
GB2585933A8 (en) System and method for processing images
Wu et al. The development of automated solder bump inspection using machine vision techniques
TWI543117B (zh) 物件辨識與定位方法
WO2022196156A1 (ja) 検出装置、検出方法及びプログラム
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
Mogharrebi et al. Missing component detection on PCB using neural networks
KR101637977B1 (ko) 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
Mishne et al. Multi-channel wafer defect detection using diffusion maps
Guan et al. A golden-block-based self-refining scheme for repetitive patterned wafer inspections
WO2022162417A1 (en) Systems and methods for paint defect detection using machine learning
Takacs et al. Novel outlier filtering method for AOI image databases
JP2018533917A (ja) 微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム
JP2021140693A (ja) 試験片上の欠陥検出の方法およびそのシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770916

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023506842

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770916

Country of ref document: EP

Kind code of ref document: A1