JPWO2021096827A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021096827A5
JPWO2021096827A5 JP2022527125A JP2022527125A JPWO2021096827A5 JP WO2021096827 A5 JPWO2021096827 A5 JP WO2021096827A5 JP 2022527125 A JP2022527125 A JP 2022527125A JP 2022527125 A JP2022527125 A JP 2022527125A JP WO2021096827 A5 JPWO2021096827 A5 JP WO2021096827A5
Authority
JP
Japan
Prior art keywords
avi
station
container images
mimetic
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022527125A
Other languages
Japanese (ja)
Other versions
JP2023501525A (en
Publication date
Application filed filed Critical
Priority claimed from PCT/US2020/059776 external-priority patent/WO2021096827A1/en
Publication of JP2023501525A publication Critical patent/JP2023501525A/en
Publication of JPWO2021096827A5 publication Critical patent/JPWO2021096827A5/ja
Pending legal-status Critical Current

Links

Claims (18)

自動外観検査(AVI)ステーションの動作をレプリケートするための方法であって、
前記AVIステーションの1つ又は複数のAVI機能を実行する模倣AVIステーションを構築することであって、前記模倣AVIステーションは、模倣照明システム、模倣撮像システム並びに試料を含む容器を保持及び/又は支持するように構成された模倣試料位置決めハードウェアを含む、構築することと、
前記AVIステーションの照明システムによって容器が照明されている間、前記AVIステーションの撮像システムにより、1つ又は複数の容器画像を取り込むことと、
前記模倣照明システムによって容器が照明されている間、前記模倣撮像システムにより、1つ又は複数の追加の容器画像を取り込むことと、
1つ又は複数のプロセッサにより、前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の1つ又は複数の差分を特定することと、
前記1つ又は複数のプロセッサにより、(i)前記1つ若しくは複数の差分、及び/又は(ii)前記模倣AVIステーションを修正するための1つ若しくは複数の提案の可視指示を生成することと、
前記可視指示に基づいて、少なくとも前記模倣照明システム、前記模倣撮像システム及び/又は前記模倣試料位置決めハードウェアを修正することにより、前記模倣AVIステーションを修正することと
を含む方法。
A method for replicating the operation of an automatic visual inspection (AVI) station, the method comprising:
constructing a mimetic AVI station that performs one or more AVI functions of said AVI station, said mimetic AVI station holding and/or supporting a mimetic lighting system, a mimetic imaging system, and a container containing a sample; constructing, including mimic sample positioning hardware configured to;
capturing one or more container images with an imaging system of the AVI station while the container is illuminated by a lighting system of the AVI station;
capturing one or more additional container images with the mimic imaging system while the container is illuminated by the mimic lighting system;
determining, by one or more processors, one or more differences between the one or more additional container images and the one or more container images;
generating, by the one or more processors, a visual indication of (i) the one or more differences and/or (ii) one or more suggestions for modifying the mimic AVI station;
modifying the simulated AVI station by modifying at least the simulated illumination system, the simulated imaging system, and/or the simulated sample positioning hardware based on the visual indication.
(i)前記AVIステーションは、商業ライン機器に含まれ、及び前記模倣AVIステーションは、実験室ベースのセットアップであるか、又は(ii)前記模倣AVIステーションは、前記商業ライン機器に含まれ、及び前記AVIステーションは、前記実験室ベースのセットアップであるかのいずれかである、請求項1に記載の方法。 (i) the AVI station is included in commercial line equipment, and the mimic AVI station is a laboratory-based setup, or (ii) the mimic AVI station is included in the commercial line equipment, and 2. The method of claim 1, wherein the AVI station is one of the laboratory-based setups. 前記模倣ステーションを修正することは、
前記模倣照明システムの少なくとも1つの照明装置、前記模倣撮像システムの少なくとも1つの撮像装置及び/又は前記模倣試料位置決めハードウェアの空間的配置を修正すること、及び/又は
前記模倣照明システムの少なくとも1つの照明装置、前記模倣撮像システムの少なくとも1つの撮像装置及び/又は前記模倣試料位置決めハードウェアのハードウェアコンポーネントを修正すること
を含む、請求項1に記載の方法。
Modifying the imitation station includes:
modifying the spatial arrangement of at least one illumination device of the mimetic lighting system, at least one imaging device of the mimetic imaging system and/or of the mimetic sample positioning hardware; 2. The method of claim 1, comprising modifying hardware components of an illumination device, at least one imager of the mimic imaging system, and/or the mimic sample positioning hardware.
前記模倣AVIステーションのコンピュータシステム上において、前記AVI機器によっても実装される検査アルゴリズムを実装するAVIソフトウェアをインストールすることと、
前記模倣AVIステーションを修正した後、
前記模倣照明システムによって試験容器が照明されている間、前記模倣撮像システムにより、1つ又は複数の新しい容器画像を取り込むことと、
前記検査アルゴリズムに従って前記1つ又は複数の新しい容器画像を処理することにより、前記試験容器及び/又は前記試験容器内の試料の1つ又は複数の特性を決定することと
を更に含む、請求項1に記載の方法。
installing on the computer system of the imitation AVI station AVI software implementing inspection algorithms that are also implemented by the AVI equipment;
After modifying said imitative AVI station,
capturing one or more new container images with the mimetic imaging system while the test container is illuminated by the mimetic lighting system;
2. Determining one or more properties of the test container and/or a sample within the test container by processing the one or more new container images according to the inspection algorithm. The method described in.
前記決定された1つ又は複数の特性に少なくとも部分的に基づいて前記模倣AVIステーションをトラブルシューティング又は最適化することであって、前記模倣照明システム、前記模倣撮像システム、前記模倣試料位置決めハードウェア及び/又は前記AVIソフトウェアを修正するか又は更に修正することを含む、トラブルシューティング又は最適化することを更に含む、請求項4に記載の方法。 troubleshooting or optimizing the simulated AVI station based at least in part on the determined one or more characteristics, the simulated illumination system, the simulated imaging system, the simulated sample positioning hardware; 5. The method of claim 4, further comprising troubleshooting or optimizing, including/or modifying or further modifying the AVI software. 前記模倣照明システム、前記模倣撮像システム、前記模倣試料位置決めハードウェア及び/又は前記AVIソフトウェアに対する前記修正又は更なる修正に応じて前記AVIステーションを修正することを更に含む、請求項5に記載の方法。 6. The method of claim 5, further comprising modifying the AVI station in response to the modifications or further modifications to the mimetic illumination system, the mimetic imaging system, the mimetic sample positioning hardware, and/or the AVI software. . 前記1つ又は複数の容器画像は、第1の複数の容器画像を含み、
前記1つ又は複数の追加の容器画像は、第2の複数の容器画像を含み、及び
前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の前記1つ又は複数の差分を特定することは、前記第1の複数の容器画像から得られた第1の合成画像と、前記第2の複数の容器画像から得られた第2の合成画像との間の1つ又は複数の差分を特定することを含む、請求項1に記載の方法。
the one or more container images include a first plurality of container images;
The one or more additional container images include a second plurality of container images, and the one or more container images between the one or more additional container images and the one or more container images. Identifying the plurality of differences includes determining the differences between the first composite image obtained from the first plurality of container images and the second composite image obtained from the second plurality of container images. 2. The method of claim 1, comprising identifying one or more differences.
前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の前記1つ又は複数の差分を特定することは、
容器アライメント、
焦点ぼけ、
強度、
強度の変動、
モーションブラー、及び/又は
撮像センサノイズ
に関する差分を特定することを含む、請求項1に記載の方法。
identifying the one or more differences between the one or more additional container images and the one or more container images;
container alignment,
out of focus,
Strength,
fluctuations in intensity,
2. The method of claim 1, comprising identifying differences with respect to motion blur and/or image sensor noise.
前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の前記1つ又は複数の差分を特定することは、(i)前記1つ若しくは複数の容器画像又はそれから得られた合成画像の高速フーリエ変換(FFT)と、(ii)前記1つ若しくは複数の追加の容器画像又はそれから得られた合成画像のFFTとを計算することを含む、請求項1に記載の方法。 Identifying the one or more differences between the one or more additional container images and the one or more container images includes: (i) determining the difference between the one or more additional container images or the one or more container images obtained therefrom; and (ii) a FFT of the one or more additional container images or a composite image obtained therefrom. . 前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の前記1つ又は複数の差分を特定することは、(i)前記1つ若しくは複数の容器画像又はそれから得られた合成画像のピクセル強度レベルのヒストグラムと、(ii)前記1つ若しくは複数の追加の容器画像又はそれから得られた合成画像のピクセル強度レベルのヒストグラムとを生成することを含む、請求項1に記載の方法。 Identifying the one or more differences between the one or more additional container images and the one or more container images includes: (i) determining the difference between the one or more additional container images or the one or more container images obtained therefrom; and (ii) a histogram of pixel intensity levels of the one or more additional container images or a composite image obtained therefrom. Method described. 前記1つ又は複数の追加の容器画像と前記1つ又は複数の容器画像との間の前記1つ又は複数の差分を特定することは、(i)前記1つ若しくは複数の容器画像又はそれから得られた合成画像のラプラシアンと、(ii)前記1つ若しくは複数の追加の容器画像又はそれから得られた合成画像のラプラシアンとを計算することを含む、請求項1に記載の方法。 Identifying the one or more differences between the one or more additional container images and the one or more container images includes: (i) determining the difference between the one or more additional container images or the one or more container images obtained therefrom; and (ii) the Laplacian of the one or more additional container images or the composite image obtained therefrom. (i)前記1つ又は複数の差分を特定することと、(ii)前記可視指示を生成することとは、前記1つ又は複数の追加の容器画像が取り込まれるときにリアルタイムで実行される、請求項1に記載の方法。 (i) identifying the one or more differences; and (ii) generating the visual indication are performed in real time as the one or more additional container images are captured; The method according to claim 1. 前記1つ又は複数のプロセッサにより、前記1つ又は複数の差分に基づいて前記模倣AVIステーションを修正するための前記1つ又は複数の提案を生成することを更に含み、前記可視指示を生成することは、前記1つ又は複数の提案の前記可視指示を生成することを含む、請求項1に記載の方法。 further comprising generating, by the one or more processors, the one or more suggestions for modifying the imitation AVI station based on the one or more differences, and generating the visual indication. 2. The method of claim 1, comprising: generating the visual indication of the one or more suggestions. 前記1つ又は複数の提案を生成することは、
前記模倣撮像システムの少なくとも1つの撮像装置の1つ又は複数の構成可能な設定を修正する提案、
前記模倣照明システムの少なくとも1つの照明装置の1つ又は複数の構成可能な設定を修正する提案、
前記模倣撮像システムの少なくとも1つの撮像装置の位置を修正する提案、及び/又は
前記模倣照明システムの少なくとも1つの照明装置の位置を修正する提案
を生成することを含む、請求項13に記載の方法。
Generating the one or more suggestions comprises:
a proposal to modify one or more configurable settings of at least one imaging device of the mimetic imaging system;
a proposal to modify one or more configurable settings of at least one lighting device of the mimetic lighting system;
14. The method of claim 13, comprising generating a proposal to modify the position of at least one imaging device of the mimetic imaging system and/or a proposal to modify the position of at least one lighting device of the mimetic lighting system. .
前記模倣試料位置決めハードウェアは、移動プロファイルに従って容器を移動させるように構成され、及び
前記1つ又は複数の提案を生成することは、前記移動プロファイルの1つ又は複数の特性を修正する提案を生成することを含む、請求項13に記載の方法。
The mimetic sample positioning hardware is configured to move a container according to a movement profile, and the generating one or more suggestions generates a proposal to modify one or more characteristics of the movement profile. 14. The method of claim 13, comprising:
前記1つ又は複数のプロセッサにより、前記撮像システムの1つ又は複数の動作パラメータと、前記模倣撮像システムの1つ又は複数の動作パラメータとを受信することと、
前記1つ又は複数のプロセッサにより、前記撮像システムの前記1つ又は複数の動作パラメータを前記模倣撮像システムの前記1つ又は複数の動作パラメータと比較することと、
前記1つ又は複数のプロセッサにより、前記撮像システムと前記模倣撮像システムとの間で異なる少なくとも1つの動作パラメータの追加の可視指示を生成することと
を更に含む、請求項1に記載の方法。
receiving by the one or more processors one or more operating parameters of the imaging system and one or more operating parameters of the mimetic imaging system;
comparing, by the one or more processors, the one or more operating parameters of the imaging system to the one or more operating parameters of the mimetic imaging system;
2. The method of claim 1, further comprising: generating by the one or more processors an additional visual indication of at least one operating parameter that is different between the imaging system and the mimetic imaging system.
命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに、請求項1から16のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。 17. A non-transitory computer-readable medium storing instructions, the instructions, when executed by one or more processors, transmitting information to the one or more processors according to any one of claims 1 to 16. A non-transitory computer-readable medium for carrying out the described methods . 自動外観検査(AVI)ステーションであって、
撮像システムと、
照明システムと、
試料を含む容器を保持及び/又は支持するように構成された試料位置決めハードウェアと
を含む自動外観検査(AVI)ステーションと、
前記AVIステーションの1つ又は複数のAVI機能を実行する模倣AVIステーションであって、
模倣照明システムと、
模倣撮像システムと、
試料を含む容器を保持及び/又は支持するように構成された模倣試料位置決めハードウェアと
を含む模倣AVIステーションと、
請求項1から16のいずれか一項に記載の方法を実行するように構成されたコンピューティングシステムと、
含むシステム。
An automated visual inspection (AVI) station, the station comprising:
an imaging system;
lighting system;
and sample positioning hardware configured to hold and/or support a container containing a sample;
an imitation AVI station that performs one or more AVI functions of the AVI station,
imitation lighting system;
an imitation imaging system;
a mimic AVI station including mimic sample positioning hardware configured to hold and/or support a container containing a sample;
a computing system configured to perform the method according to any one of claims 1 to 16 ;
system containing .
JP2022527125A 2019-11-15 2020-11-10 Offline troubleshooting and development for automated visual inspection stations Pending JP2023501525A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962936143P 2019-11-15 2019-11-15
US62/936,143 2019-11-15
PCT/US2020/059776 WO2021096827A1 (en) 2019-11-15 2020-11-10 Offline troubleshooting and development for automated visual inspection stations

Publications (2)

Publication Number Publication Date
JP2023501525A JP2023501525A (en) 2023-01-18
JPWO2021096827A5 true JPWO2021096827A5 (en) 2023-11-14

Family

ID=73740501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527125A Pending JP2023501525A (en) 2019-11-15 2020-11-10 Offline troubleshooting and development for automated visual inspection stations

Country Status (12)

Country Link
US (1) US20220413476A1 (en)
EP (1) EP4058859A1 (en)
JP (1) JP2023501525A (en)
KR (1) KR20220101654A (en)
CN (1) CN114730176A (en)
AU (1) AU2020385111A1 (en)
BR (1) BR112022009334A2 (en)
CA (1) CA3159206A1 (en)
CL (1) CL2022001259A1 (en)
IL (1) IL292316A (en)
MX (1) MX2022005799A (en)
WO (1) WO2021096827A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1029726C (en) * 1993-05-04 1995-09-13 刘长兴 Method for reproducing imaging parameters of diagnostic transmission equipment and apparatus therefor
JP5841427B2 (en) * 2011-12-28 2016-01-13 株式会社キーエンス Image processing apparatus and image processing method
US11499922B2 (en) * 2018-03-30 2022-11-15 Amgen Inc. Camera-based drug container inspection

Similar Documents

Publication Publication Date Title
CN110399831B (en) Inspection method and device
CN108801601A (en) Test method, equipment and the storage medium of the spuious optical noise of Fresnel Lenses
JP2016223911A (en) Inspection system
CN110930518A (en) Projection method and projection equipment based on augmented reality technology
JP2016224707A (en) Inspection system
JP2019168862A5 (en)
JP2011174896A (en) Imaging apparatus and method
JP6276092B2 (en) Inspection system and inspection method
JP2016109462A (en) Inspection system and flexible illumination device
JP2017101976A (en) Inspection system and inspection method
Karaduzovic-Hadziabdic et al. Subjective and objective evaluation of multi-exposure high dynamic range image deghosting methods
JP6420131B2 (en) Inspection system and inspection method
JPWO2021096827A5 (en)
KR20090115537A (en) Robot and method for quality inspection
CN115791786A (en) Part defect detection method and related device
WO2019126916A1 (en) Testing method and apparatus, and terminal
TW201404120A (en) Method and system for testing digital imaging devices
JPH09264856A (en) Article appearance inspection device
CN110132976B (en) Detection method and detection device
JP6703415B2 (en) Inspection device and inspection method
JP2017101979A (en) Inspection system
KR20220101654A (en) Offline troubleshooting and development for automated visual inspection stations
CN116843690B (en) Image quality evaluation method, device and system
CN113702008B (en) Image quality detection method and device of optical imaging system
JP7514259B2 (en) System and method for determining whether a camera component is damaged - Patents.com