JP7422689B2 - 投影角度の動的選択による物品検査 - Google Patents

投影角度の動的選択による物品検査 Download PDF

Info

Publication number
JP7422689B2
JP7422689B2 JP2020573202A JP2020573202A JP7422689B2 JP 7422689 B2 JP7422689 B2 JP 7422689B2 JP 2020573202 A JP2020573202 A JP 2020573202A JP 2020573202 A JP2020573202 A JP 2020573202A JP 7422689 B2 JP7422689 B2 JP 7422689B2
Authority
JP
Japan
Prior art keywords
article
simulated
projection
image
projection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020573202A
Other languages
English (en)
Other versions
JP2021530051A (ja
Inventor
ヤン・デ・ベーンハウアー
ヤン・シーベルス
Original Assignee
デルタレイ・ベーフェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デルタレイ・ベーフェー filed Critical デルタレイ・ベーフェー
Publication of JP2021530051A publication Critical patent/JP2021530051A/ja
Application granted granted Critical
Publication of JP7422689B2 publication Critical patent/JP7422689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18Investigating the presence of flaws defects or foreign matter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/30Accessories, mechanical or electrical features
    • G01N2223/305Accessories, mechanical or electrical features computer simulations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/645Specific applications or type of materials quality control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/646Specific applications or type of materials flaws, defects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Input (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、物品の検査及び/又は品質保証のための放射線イメージング(撮像)の分野に係り、特に、投影イメージング、例えばテラヘルツイメージングや電離放射線イメージングによる非破壊物品検査用の方法とシステムに関する。
X線コンピュータトモグラフィ(CT,computed tomography)は、当該分野において知られているように、広範な産業的応用における非破壊検査及び/又は品質管理に使用可能である。当該分野で知られている典型的なCT型の品質管理のワークフローでは、物体の立体的情報を得るために被検査サンプルの数百枚から数千枚の等角X線投影図を取得する。しかしながら、こうした手法には取得時間の長さの問題があり、その問題が、品質管理、例えば、欠陥検査や計測のためのインライン応用におけるこの方法の有用性や実行可能性を低下させる。
検査目的での単純な二次元(2D)X線写真術の使用も当該分野において知られている。二次元X線検査の利点は、トモグラフィよりもはるかに高速である点であるが、当然に、完全な三次元(3D)再構築と同じ包括的なレベルの情報を提供することはできない。
3D再構築よりも高速であって二次元X線写真術の単純な応用よりも正確であるハイブリッドX線型の検査手法が提案されている。例えば、物品のコンピュータ支援設計(CAD,computer‐aided design)モデルのシミュレーションの投影画像を、物理的物品から取得した対応の投影像と比較して、欠陥、つまりモデルからの逸脱を検出すること及び/又は物品の外部や内部の形状の特性を導出することができる。また、このような比較用のCADモデルのパラメータを推定することや、公称の幾何学的形状からの逸脱を多数の投影図から直接的に決定することも当該分野において知られている。
特許文献1には、放射線イメージングによる機械部品の非破壊検査用の方法とデバイスが開示されている。特許文献1では、潜在的な欠陥の指標を含んでいそうな被検査部品の少なくとも一枚の実画像を取得する。被検査部品の3Dモデルの2D‐3Dリセットを行い、実画像の放射線画像取得中に3D姿勢(ポーズ)を推定する。次いで、その推定された姿勢(ポーズ)を、実画像の取得用の動作条件のシミュレーションに用いて、部品の欠陥がない参照画像を発生させる。画像処理モジュールが、実画像と参照画像の各ピクセルについてそれぞれ第一特徴ベクトルと第二特徴ベクトルを発生させる。実画像と参照画像の各ピクセルについて第一特徴ベクトルと第二特徴ベクトルを比較することで、被検査部品についての欠陥マップが推定される。
この方法には、特徴ベクトルの比較が信頼性のある欠陥マップをもたらすように優れた視認性で潜在的欠陥がイメージング可能となる前に被検査部品の多数の実画像を取得しなければならないという欠点がある。被検査部品の実画像の良好な視野角(欠陥の種類毎に異なり得る)を見つけ出すための試行錯誤が、高スループットが望まれるインライン産業プロセスにおいては問題となり得る。更に、実画像と参照画像の各ピクセルについて特徴ベクトルを比較することは、微細な欠陥を解像するために高解像度放射線画像が用いられる場合にコンピュータ資源的にコストがかかる方法を意味している。このことが、ほぼ実時間での欠陥の特定や分類が求められる産業的な製造環境や取扱環境においてこの方法を実施することの妨げとなり得る。
国際公開第2019/030449号
Marinovszki et al., "An efficient cad projector for x-ray projection based 3D inspection with the ASTRA toolbox", 8th Conference on Industrial Computed Tomography, (オーストリア ウェルス), 2018年
本発明の実施形態の目的は、投影イメージング、例えばX線イメージング、ガンマ線イメージング、光透過イメージング及び/又はテラヘルツイメージングを用いた物品検査用の良好で効率的な手段と方法を提供することである。
本発明の実施形態に係るデバイスと方法が上記目的を達成する。
本発明の実施形態の利点は、例えば、オフライン、オンライン、インライン、アットラインの非破壊検査、品質管理、欠陥検出、及び/又は他の産業的検査プロセス用の物品検査において優れた速度と優れた精度が達成可能である点である。
本発明の実施形態の利点は、正確な物品検査に十分な情報を得るために限られた数、好ましくは最適数の投影画像のみが必要とされる点である。例えば、欠陥が起こり得る可能性がある物品の領域(例えば、一つ以上の所定の関心領域)の予備知識に基づいて、画像取得用の具体的な幾何学的構成、例えば、視野角を単一の角度に必ずしも限られず、例えば3D角度で決定し、また、必ずしも角度成分のみに限られず、例えば、物体に対する放射線源の位置を含んで決定することができ、物品中の欠陥の良好な検出及び/又は特性評価を可能にする。
本発明の実施形態に係る手法の利点は、物品の非破壊3D検査を、限られた数の投影画像で達成可能にする点であり、例えば、画像のトモグラフィ再構築を要しない。これは、物品又は少なくとも一つの物品構成要素の3Dモデルに依拠して、投影画像をシミュレーションし、取得した投影画像に対するシミュレーション投影画像の相関付け及び/又は比較を行うことによって、達成され得る。従って、物品の欠陥(物品構成要素の組立体中の不整列構成要素等)を、(限られた)投影データに基づいて3Dで評価することができる。
本発明の実施形態の利点は、予備知識(例えば、物品の公称の幾何学的構成を定める物品のCADモデルの予備知識)、及び/又は、物品に関する、物品の潜在的な欠陥に関する、及び/又はそのような欠陥が起こり得る物品の領域に関する追加情報に基づいて、限られた数の投影画像を取得するための投影幾何学パラメータを素早く決定することができ、例えばインラインプロセスやアットラインプロセスへの適用を可能にする程度に極僅かな時間内に決定することができる点である。
反復手順の少なくとも一回の反復を、以前の反復の結果から決定された関心領域(ROI,region of interest)に限定することの利点は、欠損している構成要素を含む欠陥が簡単に検出可能な点である。例えば、ROIは投影図のみによって簡単に定義可能であり、画像データ中の欠損している構成要素の詳細な探索を避けることができるようになる。しかしながら、関心物品の詳細なモデルを用いる追加ステップがROI中の欠陥部分の検出を可能にする。従って、計算コストを実質的に削減することができる。
第一態様において、本発明は少なくとも一つの物品の検査用の非破壊的な方法に関する。本方法は、放射線イメージングシステムを用いて一つ以上の物品の投影画像を取得するステップを備える。本方法は、(各)物品又はその少なくとも一つの構成要素の複数のシミュレーション投影画像を、物品又は少なくとも一つの物品構成要素の数値三次元モデルのシミュレーションに基づいて得るステップを備え、シミュレーション物品とシミュレーション放射線源とシミュレーション検出器面との間の相対的な向きに関する少なくとも一つの幾何学パラメータが複数のシミュレーション投影画像にわたって異なる。本方法は、放射線イメージングシステムに対する(各)物品の相対的な向きを決定するステップを備え、この相対的な向きを決定するステップは投影画像を複数のシミュレーション投影画像と比較するステップを備える。本方法は、視野角及び相対的な向きを考慮して少なくとも一つの回転角度(例えば、一つ以上の回転角度と、また任意で一つ以上の並進成分も)を決定するステップを備える。本方法は、少なくとも一つの回転角度に従って物品及び/又はイメージングシステムを移動させる(例えば、互いに相対的に移動させる)ステップを備える。本方法は、物品を移動させるステップの後に、物品の更なる投影画像を取得するステップを備え、その更なる投影画像が視野角からの物品の図(view,ビュー)に対応するようになっている。
本発明の実施形態に係る方法において、相対的な向きを決定するステップと、少なくとも一つの回転角度を決定するステップと、物品を移動させるステップと、更なる投影画像を取得するステップとが、一つ以上の更なる視野角について(ループで)繰り返され得て、最後に取得した更なる投影画像、又はこれまでに取得した複数の更なる投影画像の組み合わせが、後続の繰り返しループにおいて相対的な向きを決定するステップと、少なくとも一つの回転角度を決定するステップと、物品を移動させるステップと、更なる投影画像を取得するステップを行う際の基準となる投影画像として用いられる。
本発明の実施形態に係る方法において、複数のシミュレーション投影画像を得るステップは、複数のシミュレーション投影画像のライブラリを得るステップを備え得て、複数のシミュレーション投影画像が数値三次元モデルに基づいて事前計算される。
本発明の実施形態に係る方法において、複数のシミュレーション投影画像を得るステップは、物体の数値三次元モデルを得るステップと、少なくとも一つの幾何学パラメータの複数の値について物体の数値モデルに基づいて複数の投影画像をシミュレーションするステップと、を備え得る。
本発明の実施形態に係る方法において、複数の投影画像をシミュレーションするステップは、放射線源から数値モデルを通ってシミュレーション画像検出器上に電離放射線の多色線を仮想的に投射するステップを備え得て、放射線イメージングシステムの幾何学パラメータ及びスペクトルパラメータが、多色線を仮想的に投射するのに用いられる幾何学パラメータ及びスペクトルパラメータに実質的に対応している。
本発明の実施形態に係る方法は、物品の良好な視認性の一つ以上の角度に対応している又は該角度の周りに群がる視野角及び/又は一つ以上の更なる視野角を決定するステップを備え得る。
本発明の実施形態に係る方法において、視野角及び/又は一つ以上の更なる視野角を決定するステップは、少なくとも一つの幾何学パラメータに対する複数のシミュレーション投影画像の二次元関心領域の品質基準の最適化によって、それら一つ以上の視野角を計算するステップを備え得る。代替的に又は追加的に、少なくとも一つの幾何学パラメータに対する複数のシミュレーション投影画像の対応二次元領域上に再投影された数値モデルの三次元関心領域の品質基準が使用され得る。
関心領域は、物品の製造プロセスに関して事前に既知である物品の部分、例えば、欠陥になり易いことが知られている部分(例えば、溶接部分)に関係し得る。また、関心領域は、物品が組み立てられる構成要素に関係し得る。
本発明の実施形態に係る方法において、視野角及び/又は一つ以上の更なる視野角を決定するステップは、被検査物品に対する一つ以上の視野角を出力として予測するために少なくとも一つの幾何学的パラメータに対して複数のシミュレーション投影画像に機械学習アルゴリズムを適用するステップを備え得る。
本発明の実施形態に係る方法において、放射線イメージングシステムに対する物品の相対的な向きを決定するステップは、投影画像と複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めるステップを備え得て、この変換は、投影画像と一つのシミュレーション投影画像との間の画像類似性基準の数値的最適化によって求められて、二次元変換の一つ以上のパラメータが投影画像面内の物品の並進及び/又は回転を示すものとなる。代わりに、投影画像と複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換は、複数のシミュレーション投影画像を学習用データとして用いて二次元変換を予測するように学習済みの機械学習アルゴリズムに投影画像を入力として適用することによって決定され得る。
本発明の実施形態に係る方法において、物品の相対的な向きを決定するステップは、二次元変換によって投影画像を変換し、選択された一つのシミュレーション投影画像内に物品が実質的に位置決め及び向き決めされている変換投影画像を得るステップを備え得る。
本発明の実施形態に係る方法において、物品の相対的な向きを決定するステップは、二次元変換の一つ以上のパラメータを考慮して三次元空間内の物品の位置及び向きを決定するステップを備え得る。二次元変換が機械学習アルゴリズムによって予測される方法については、同じ機械学習アルゴリズムを、三次元空間内の物品の位置及び向きを予測することも行うように構成し得る。
本発明の実施形態に係る方法において、変換投影画像と複数のシミュレーション投影画像との間の画像類似性基準を少なくとも一つの幾何学パラメータの関数として最適化して、少なくとも一つの幾何学パラメータが決定され得る。代わりに、少なくとも一つの幾何学パラメータは、取得した投影画像が提供された機械学習アルゴリズムが予測した出力として決定され得て、その機械学習アルゴリズムは、複数のシミュレーション投影画像及び関連幾何学パラメータを学習用データとして用いて少なくとも一つの幾何学パラメータを予測するように学習済みのものである。
本発明の実施形態に係る方法において、三次元空間内の物品の位置及び向きは、少なくとも一つの幾何学パラメータ及び二次元変換の一つ以上のパラメータを考慮することによって決定され得る。
本発明の実施形態に係る方法において、少なくとも一つの回転角度を決定するステップは、少なくとも一つの並進成分を決定することも備え得る。
本発明の実施形態に係る方法において、物品及び/又は放射線イメージングシステムを移動させる(例えば、互いに相対的に移動させる)ステップは、少なくとも一つの回転角度及び少なくとも一つの並進成分に従って物品及び/又は放射線イメージングシステムを移動させるステップを備え得る。
本発明の実施形態に係る方法において、物品の投影画像を取得するステップは、複数の物品がイメージングされている投影画像を取得することを備え得て、本方法は、複数の物品の各々の相対的な向き及び/又は位置を別々に決定することを更に備える。
本発明の実施形態に係る方法において、決定された相対的な向き及び/又は位置を考慮するように物品及び/又はイメージングシステムをそれぞれ移動させた後に、複数の物品の各々について別々に更なる投影画像を取得し得る。
本発明の実施形態に係る方法において、シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータ(その幾何学パラメータは複数のシミュレーション投影画像にわたって異なる)は、移動用の(つまり、物品及び/又は放射線イメージングシステムを移動させるステップにおける)回転自由度及び/又は並進自由度に対応している少なくとも第一幾何学パラメータを備え得る。
本発明の実施形態に係る方法において、少なくとも一つの幾何学パラメータは、移動させるステップによって制御されていないイメージングシステムに対する物品の回転自由度及び/又は並進自由度に対応している少なくとも第二幾何学パラメータを備え得る。
本発明の実施形態に係る方法において、少なくとも一つの幾何学パラメータは出力され得る。例えば、本方法は、少なくとも一つの決定された回転角度、又は放射線イメージングシステムに対する物品の相対的な向き及び/又は並進を出力するステップを備え得る。
本発明の実施形態に係る方法において、変換投影画像と複数のシミュレーション投影画像のうち一つ以上との間の少なくとも一つの品質基準が出力され得て、例えば、選択されたシミュレーション投影画像について出力され得る。出力するステップは、(選択された)シミュレーション投影画像と取得した投影画像の対応する各対の関心領域を定めることを備え得る。
本発明の実施形態に係る方法において、本方法は、更なるステップとして、複数の同様の物品に実施形態に係る方法を適用することによって予め取得しておいた分類データセットに基づいて被検査物品を分類するステップを備え得る。例えば、分類するステップは、各物品を分類するために品質基準の線形判別分析を備え得る。分類は、一つ以上の物品構成要素に存在している一つ以上の欠陥に従って被検査物品を分類するステップ、つまり、欠陥構成要素や欠損構成要素を分類するステップを備え得る。
第二態様において、本発明は、物品(一又は複数)の検査用のシステムに関する。システムは、物品の投影画像を取得するための放射線イメージングシステムと、物品の数値三次元モデルのシミュレーションに基づいて物品の複数のシミュレーション投影画像を提供するためのシミュレータ又は事前計算ライブラリ(シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータが複数のシミュレーション投影画像にわたって異なる)と、放射線イメージングシステムに対する物品の相対的な向き(任意で相対的な位置も)を決定するためのプロセッサと、を備える。相対的な向きを決定することは、投影画像を複数のシミュレーション投影画像と比較することを備える。プロセッサは、視野角及び決定された相対的な向き(及び/又は位置)を考慮して少なくとも一つの回転角度(任意で一つ以上の並進成分も)を決定するように構成される。システムは、プロセッサによって制御されるアクチュエータを備え、アクチュエータは、視野角からの物品の図(view)に対応している物品の更なる投影画像を取得するために、物品及び/又は放射線イメージングシステムの互いの位置決め及び/又は向き決めを行うように決定された少なくとも一つの回転角度(及び/又は並進成分)に従って物品及び/又は放射線イメージングシステムを移動させる(例えば、互いに相対的に移動させる)用に構成される。
本発明の実施形態に係るシステムにおいて、プロセッサは、相対的な向きを決定することと、少なくとも一つの回転角度を決定することと、物品を移動させることと、更なる投影画像を取得することとを一つ以上の更なる視野角について繰り返すように構成され得て、最後に取得した更なる投影画像が、後続の繰り返しループで機能する投影画像として用いられる。
本発明の実施形態に係るシステムにおいて、プロセッサは、投影画像と複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めるように構成され得て、その変換は、投影画像と一つのシミュレーション投影画像との間の画像類似性基準を数値的に最適化することによって求められ、二次元変換の一つ以上のパラメータが投影画像面内の物品の並進及び/又は回転を示すものとなる。
本発明の実施形態に係るシステムにおいて、プロセッサは、二次元変換によって投影画像を変換して、選択されたシミュレーション投影画像内に物品が実質的に位置決め及び向き決めされている変換投影画像を得るように構成され、且つ、二次元変換の一つ以上のパラメータを考慮して三次元空間の物品の位置及び向きを決定するように構成され得る。
本発明の実施形態に係るシステムにおいて、プロセッサは、変換投影画像と複数のシミュレーション投影画像との間の画像類似性基準を少なくとも一つの幾何学パラメータの関数として最適化することによって少なくとも一つの幾何学パラメータを決定するように構成され、且つ、少なくとも一つの幾何学パラメータ及び二次元変換の一つ以上のパラメータを考慮することによって三次元空間内の物品の位置及び向きを決定するように構成され得る。
更なる態様において、本発明は、複数の物品を製造又は取り扱う製造環境又は取扱環境における各物品の品質管理、検査、分類、選択、計測、及び/又は仕分けのための本発明の実施形態に係る方法又はシステムの使用に関する。
本発明のこの態様の実施形態に係る使用は、産業プロセスにおける物品のインライン、アットライン、オンライン、又はオフラインでの検査における使用であり得る。例えば、インラインは、産業ラインにおける(例えば、物品の流れ作業用のコンベヤベルト又は同様の機構上での)物品の直接評価のことを称し得る。オンラインは、例えば複数物品のサンプル検査のことを称し得て、一次産業ラインから物品検査用の二次ライン(例えば、一次ライン上の物品からサンプリングされた部分集団に適した低スループットを有する)にサンプルグループの物品を逸らせることによって行われ、アットラインとオフラインは、自動化ラインで抽出されたサンプルの処理を必要とせずに、検査用に一次ラインからサンプルを抽出することを称し得る。アットライン検査とオフライン検査の違いは、サンプルが産業的ライン状況(例えば、同じ施設)で検査されるかどうかであり、オフライン検査については専用施設(例えば、研究所)で検査される。
更なる追加的態様において、本発明は、投影画像の取得を制御するために放射線イメージングシステムに動作可能に接続され且つイメージングシステムに対して相対的に被検査物品を移動させるためのアクチュエータに動作可能に接続されたプロセッサで実行されると、本発明の実施形態に係る方法を実施するためのコンピュータプログラムプログラムに関する。
本発明の具体的な態様と好ましい態様は添付の独立請求項と従属請求項に与えられている。従属請求項の特徴は、請求項に明示的に記載されていなくとも適切であれば独立請求項の特徴や他の従属請求項の特徴と組み合わせ可能である。
本発明の上記態様と他の態様は、以下で説明される実施形態を参照して明らかとなるものである。
本発明の実施形態に係る方法を示す。 本発明の実施形態に係るシステムを示す。 本発明の実施形態を例示する一例のシステムの幾何学的配置構成を示す。 本発明の実施形態を例示する一例における物品をイメージングするための目標視野角を示す。 本発明の実施形態を例示する一例における目標視野角の近傍の追加の角度パラメータを含む拡張ライブラリを示す。 本発明の実施形態に係る例示的な方法のフローチャートを示す。 本発明の実施形態を例示する一例における角度δの角度推定値の絶対差の誤差を示し、向きパラメータ及び位置パラメータはランダムにサンプリングされ、角度γは既知であると仮定されている。 本発明の実施形態を例示する一例における角度φの角度推定値の絶対差の誤差を示し、向きパラメータ及び位置パラメータはランダムにサンプリングされ、角度γは既知であると仮定されている。 本発明の実施形態を例示する一例における位置成分xの推定値の絶対差の誤差を示し、向きパラメータ及び位置パラメータはランダムにサンプリングされ、角度γは既知であると仮定されている。 本発明の実施形態を例示する一例における位置成分yの推定値の絶対差の誤差を示し、向きパラメータ及び位置パラメータはランダムにサンプリングされ、角度γは既知であると仮定されている。 本発明の実施形態を例示する一例における位置成分zの推定値の絶対差の誤差を示し、向きパラメータ及び位置パラメータはランダムにサンプリングされ、角度γは既知であると仮定されている。 本発明の実施形態を例示する一例における角度γの角度推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態を例示する一例における角度δの角度推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態を例示する一例における角度φの角度推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態を例示する一例における位置成分xの推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態を例示する一例における位置成分yの推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態を例示する一例における位置成分zの推定値の絶対差の誤差を示し、向きと位置はランダムにサンプリングされている。 本発明の実施形態に関する一例における検査用構成要素を含むROI中で計算されたシミュレーションデータについて投影角度の関数としての重み付けされたコントラストの変動のプロットを示す。 本発明の実施形態に関する一例における30個のサンプルのグループに対して行われた線形判別分析のカノニカルプロットを示す。 本発明の実施形態に関する一例におけるウィンドウ(範囲)整列プロセスの結果を示す。
図面は単に概略的で非限定的なものである。図面においては、例示目的で、一部の要素のサイズが誇張されていて、縮尺通りではないものとなり得る。
特許請求の範囲中における参照符号は範囲を限定するものではない。
異なる図面において、同じ参照符号は、同じ又は類似の要素を指称する。
特定の実施形態に関して特定の図面を参照して本発明を説明するが、本発明はそれに限定されるものではなく、特許請求の範囲のみによって限定されるものである。図面は単に概略的で非限定的なものである。図面においては、例示目的で、一部の要素のサイズが誇張されていて、縮尺通りではないものとなり得る。寸法と相対的寸法は、本発明の現実の実施化に対応しているものではない。
特許請求の範囲において用いられる「備える」との用語は、その後に列挙されている手段への限定として解釈されるものではなく、つまり、他の要素やステップを排除するものではないので、記載されている特徴や整数やステップや構成要素の存在を特定しているものとして解釈されるが、一つ以上の他の特徴や整数やステップや構成要素、又はそれらの組の存在や追加を排除するものではない。従って、「手段Aと手段Bを備えるデバイス」との表現の範囲は、構成要素Aと構成要素Bのみから成るデバイスに限定されるものではなく、本発明に関しては、単にデバイス関連の構成要素がAとBであることを意味する。
本明細書全体にわたる「一実施形態」への言及は、その実施形態に関して説明される具体的な特徴や構造や特性が、本発明の少なくとも一つの実施形態に含まれることを意味する。従って、本明細書全体にわたって各所に現れる「一実施形態では」や「一実施形態において」との表現は、必ずしも同じ実施形態を言及しているものではない。更に、特定の複数の特徴や構造や特性は、一つ以上の実施形態において、本開示から当業者に明らかになるものとして、適切に組み合わせ可能である。
同様に、本発明の例示的な実施形態の説明においては、開示を簡素にして、多用な進歩的態様のうち一つ以上の理解の助けとなることを目的として、本発明の多様な特徴が単一の実施形態においてまとめられることもある点を理解されたい。しかしながら、この開示方法は、特許請求される発明が、各請求項に明示的に記載されているもの以上の特徴を要するという意図を反映しているものではない。むしろ、添付の請求項に反映されているように、進歩的な態様は、本開示の単一の実施形態の全ての特徴よりも少ない特徴に存在しているものである。従って、詳細な説明に続く特許請求の範囲は、この詳細な説明に明示的に組み込まれるものであり、各請求項はそれ自体が本発明の別々の実施形態として存在するものである。
更に、本願で説明される一部実施形態は、他の実施形態に含まれる一部の特徴(他の特徴ではない)を含むものであるが、当業者に理解されるように、異なる実施形態の特徴の組み合わせが、本発明の範囲内にあり、異なる実施形態を形成するものである。
本願で与えられる説明では、多数の具体的な詳細が与えられている。しかしながら、本発明の実施形態はそれらの具体的な詳細が無くても実施可能であることを理解されたい。他の場合では、本明細書の理解を曖昧にしないために、周知の方法や構造や手法は詳細に開示されていない。
第一態様において、本発明は、物品の検査用の方法、例えば、産業的プロセスにおける物品のインライン検査やオンライン検査用の方法に関する。産業的プロセスにおける物品検査は、欠陥、不良、寸法変動、不連続性、介在物、変形等を検出するための精密検査に関連している。本方法は、コンピュータで実施される方法であり得る。
本方法は、放射線イメージングシステムを用いて物品の投影画像を取得することを備える。物品検査用の放射線画像投影は、被検査物品が透光性となる種類の放射線を典型的に用いて、放射線の表面検知調査(可視波長での物品の外側境界のカメラ撮像等)では詳細な情報を提供するのに不十分となり得る被検査物品の内部空間深くの信頼性のある調査を可能にする。可視光を用いた放射線画像投影は、被検査物品が可視光に対して少なくとも部分的に透光性であれば、必ずしも除外されるものではなく、例えば、ガラス、透明ポリマー、他の不透明ではない物質を備える透明又は半透明の物品が挙げられる。
本方法は、物品の数値三次元モデルのシミュレーションに基づいて物品の複数のシミュレーションの投影画像を得ることを備え、少なくとも一種の幾何学パラメータが複数のシミュレーションの投影画像にわたって異なる。少なくとも一種の幾何学パラメータは、例えば、シミュレーションの物品と、シミュレーションの放射線源と、シミュレーションの検出面との間の相対的な向きに関係し、例えば相対的な向きを示すものとなる。物品の数値三次元モデルは、一つ以上の構成要素(それら構成要素から物品が組立てられる)を備え得る物品の3Dソリッドモデル(バーチャル)表示、例えばコンピュータ上でのソリッドモデル表示であり得る。数値3Dソリッドモデルは、三次元コンピュータ支援設計(CAD)モデルに対応し得て、例えば、物品の設計及び/又は製造に用いられるものである。CADモデルは、物品、又は物品が構築される構成要素の組み立て体のバーチャルモデル表示である。例えば、CADモデルは、幾何学的又は機械的な相互関係と制約を有する組み立て部品として物品の一つ以上の構成要素を備える組み立てモデルである。例えば、CADモデルは、複数の構成要素同士の整列及び/又は向きの変動を考慮したものであり得る。CADモデルは、体積メッシュとして、暗示的な体積定義を有するポリゴンメッシュとして、物品の境界を表す表面や曲線(曲面)の集合体として、又は、空間領域構成法(CSG,Constructive solid geometry)モデリングとして、物品、また適切であればその構成要素を仮想的に表現し得る。異なる表現は相互転換可能である。物品のCADモデルは、多種多様な利用可能フォーマット、例えば、ステレオリソグラフィ(STL,stereolithography)フォーマットのCADモデルで記憶され得る。3D数値ソリッドモデルは、物品及び/又はその構成要素の形状を記述する統計的形状モデルを更に備え得る。例えば、CADモデルは、パラメトリック曲線(曲面)及び/又は表面を介して、又はパラメータ化されたメッシュ変形を介して物品形状境界をパラメータ化するパラメトリックモデルであり得る。更に、ソリッドモデルは、仮想的に表現された物品の体積に関する物質特性データを典型的には備える。物質特性データは、モデルの構成物質における物体と放射線の相互作用を表現するものであり得て、例えば、モデルに付随するメタデータとして、又はモデル化された物品の構成要素をインデックス(索引)付けする別途のデータ構造としてモデルに含まれる。例えば、特定の単純な実施形態では(実施形態はこれに限定されない)、モデル化された物品が均一な物質組成と均一な(放射線)密度を有し、境界座標によって直接記述可能であるか、又は境界を間接的に記述するパラメータ(例えば、球の半径や位置)を用いて記述可能であるものとし得る。物品のCADモデルについては、他のデータもバーチャル表現に関連し得て、例えば、寸法や角度等の予測又は統計的に推定される製造公差が挙げられる。
本方法は、放射線イメージングシステムに対する物品の相対的な向きと、任意で相対的な位置を決定することを備え、この相対的な向きを決定するステップは、投影画像を複数のシミュレーションの投影画像と比較することを備える。本方法は、少なくとも一つの回転角度と、任意で一つ以上の並進成分を決定すること、視野角と相対的な向きと、任意で相対的な位置を考慮すること、及び、少なくとも一つの回転角度に従って物品及び/又はイメージングシステムを移動させることを備える。本方法は、物品を移動させるステップの後に、物品の更なる投影画像を取得することを備え、更なる投影画像が、視野角からの物品の図(ビュー)に対応するようになっている。以下で詳述するように、本方法は、ユーザ指定の又は計算された複数の所望の視野角(予め決定された所定のものであり得る)に対して反復され得る。
このようにして、物品の位置及び/又は向きが事前には未知である場合、例えば、位置及び/又は向きについて所定の精度でのみ分かっている及び/又は一部のパラメータについてのみ分かっている一方で、位置及び/又は向きの少なくとも一つの他のパラメータについて未知であるか又は所定の精度でしか分かっていない場合、例えば位置及び/又は向きの少なくとも一つのパラメータが確率的に分布し得る場合(これに限定されない)に、所定の視野角から一つ以上の投影画像を動的に取得する方法が開示される。本方法は、未知の物体の向き及び/又は位置を動的に推定することを可能にする。このようなモデル型の検査手法は、例えば、物体のCADモデル、形状モデル、又は、輪郭及び/又は内部(公称)構造を定める他のモデルを介する放射線輸送シミュレーションによって得られたシミュレーション投影画像に基づいて、高速(例えば、ほぼ実時間)の投影型検査を有利に提供し得る。
図1を参照すると、本発明の実施形態に係る物品の検査用の方法1が示されている。
本方法は、放射線イメージングシステムを用いて物品の投影画像を取得すること2を備える。放射線イメージングシステムは、電離放射線イメージングシステム、又は、投影イメージング(例えばテラヘルツイメージングや光透過イメージング)を用いる他のイメージングシステムを備え得る。放射線イメージングシステムは、物品を通して放射線を投射するための放射線源と、物品を通り抜けた放射線がイメージング検出器に当たった際に二次元画像を生成するためのイメージング検出器とを備え得る。放射線イメージングシステムは、放射線源とイメージング検出器を移動させる、例えばイメージングされる物品の周りで放射線源と検出器を回転させるためのアクチュエータを備え得る。放射線イメージングシステムは、物品を移動させるためのアクチュエータ、例えば、回転ステージ(ターンテーブル等)及び/又は並進ステージを備え得る。
本方法は、物品の数値三次元モデル(CADモデル等)のシミュレーションに基づいて物品の複数のシミュレーション投影画像を得ること3を備える。数値モデルは、物品の内部構造を特定する物品のコンピュータ支援設計モデルを得ることを備え得る。数値モデルは、物体の構成物質についての物質と放射線の相互作用を表現する物質特性データ(例えば、シミュレーション用)を備えるか又は関連付けられ得る。
少なくとも一つの幾何学パラメータが、複数のシミュレーション投影画像にわたって異なる。少なくとも一つの幾何学パラメータは、シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する。例えば、少なくとも一つの幾何学パラメータは、物品の向きを定める一つ、二つ又は三つの角度(例えば、オイラー角)を備え得る。少なくとも一つの幾何学パラメータは、物品の位置を定める一つ、二つ又は三つの距離(例えば、三次元空間中の並進ベクトル)を備え得る。
好ましくは、少なくとも一つの幾何学パラメータは、イメージング面に平行に向けられている軸周りでの物品の少なくとも一つの回転角度を備え、複数のシミュレーション投影画像が、単一のシミュレーション投影画像では得ることができない物品の相補的画像情報を含むようにする。
複数のシミュレーション投影画像を得ること3は、複数のシミュレーション投影画のライブラリを得ることを備え得て、複数のシミュレーション投影画像は三次元数値モデルに基づいて事前計算される。
複数のシミュレーション投影画像を得ることは、物品の三次元数値モデルを得ることと、少なくとも一つの幾何学パラメータの複数の値について物品の数値モデルに基づいて複数の投影画像をシミュレーションすることを備え得る。従って、投影画像を複数のシミュレーション投影画像と比較するステップ(例えばオンザフライシミュレーション)において、本方法はライブラリを事前計算することを備え得て、又は、本方法は少なくとも一つの幾何学パラメータの一つの値又は複数の値についてシミュレーション投影画像を計算することを備え得る。複数のシミュレーション投影画像をシミュレーションするステップは、放射線源から数値モデルを通りシミュレーション画像検出器上に電離放射線の多色線を仮想的に投射することを備え得て、放射線イメージングシステムは、その多色線を仮想的に投射するために用いられる幾何学的パラメータ及びスペクトルパラメータに実質的に対応している。例えば、シミュレーションの幾何学パラメータは、検出器サイズ及び又は検出器素子間隔、放射線源‐検出器距離、(少なくとも近似的な)放射線源‐物品距離、及び/又は放射線イメージングシステムの放射線スペクトルを考慮し得る。
多色線のスペクトル分布は、既知の手法によって測定(例えば、本方法において投影画像を取得するための用いられる放射線イメージングシステムについて得られた測定値に基づいた測定)又は推定され得る。また、スペクトル分布はインラインでも決定され得て、例えば、以下で更に説明される反復法に空間分布のパラメータを含めて、測定データの強度値とシミュレーションデータの強度値との間の相違を最小にすることによって行われ得る。
同様に、放射線イメージングシステムの幾何学的構成を記述する幾何学パラメータは、予備的測定値や中間測定値によって制限され得る。例えば、幾何学パラメータは、3Dモデルを用いて決定され得て、又は較正用ファントム、検出器、ファントム、放射線源位置のCADモデルデータを用いる予備較正ステップにおいて決定され得る。例えば、このようなパラメータは山登り法アルゴリズムを用いて最適化され得る。
そこで、本方法は、放射線イメージングシステムの放射線源によって放出された多色線のスペクトル分布を測定又は推定することも備え得る。本方法は、シミュレーションで用いられる放射線イメージングシステムの幾何学パラメータを測定することを備え得る。
本方法は、放射線イメージングシステムに対する物品の相対的な向きを決定すること4を備える。
相対的な向き(場合によっては相対的な位置も)を決定することは、投影画像を複数のシミュレーション投影画像と比較することを備える。物品が実際に受ける相対的な向き及び/又は位置の変動についての事前情報が、相対的な向きを決定する際に考慮され得る。
放射線イメージングシステムに対する物品の相対的な向きを決定すること4は、投影画像と複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めることを備え得る。例えば、そのシミュレーション投影画像は、少なくとも一つの幾何学パラメータの一次推測(例えば、デフォルト(初期設定))又は近似に基づいて選択され得る。例えば、少なくとも一つの幾何学パラメータは、イメージング面に平行な軸周りの物品の回転角度を備え得て、イメージングの際に事前には未知である物品の向きが、この角度のデフォルト値に近いと仮定し得て、又は、この角度の中心値の周りにランダムに分布しているものとし得る。更に、本方法は反復最適化を備え得て、少なくとも一つの幾何学パラメータのより正確な推定が後続ステップで得られ、選択ステップを繰り返すのに使用され得る。このプロセスは一回以上の反復で繰り返され得る。代わりに、その選択は、少なくとも一つの幾何学パラメータに対する投影画像とシミュレーション投影画像との間の画像類似基準の最適化に基づき得る。
投影画像と選択されたシミュレーション投影画像との間の二次元変換は、投影画像と選択されたシミュレーション投影画像との間の画像類似性基準(類似性の相互情報や他の定量的基準)を数値的に最適化することによって求められ得て、二次元変換の一つ以上のパラメータが投影画像面における物品の並進及び/又は回転を示すものとなる。例えば、一つ以上のパラメータは、アフィン変換パラメータ、スケーリングパラメータ、2D並進パラメータ、及び/又は、2D回転パラメータを備え得る。
物品の相対的な向きを決定すること4は、二次元変換によって投影画像を変換して、選択されたシミュレーション投影画像内に物品が実質的に位置決め及び向き決めされている変換投影画像を得ることを更に備え得る。
物品の相対的な向きを決定すること4は、二位次元変換の一つ以上のパラメータを考慮して三次元空間内の物品の位置及び向きを決定することを備え得る。
例えば、3Dでの物品の位置及び向きは、検出器面上での物品の画像の位置及び向きを表す3Dベクトルと3Dでの線源位置を繋ぐ線上の点(又はその十分近傍)として決定され得る。この線に沿った位置は、画像を複数のシミュレーション画像と比較することによって、例えば、有利には、線に沿った異なる位置について物品の異なる縮尺(スケーリング)を用いること及び/又はピクセル値の差を考慮することによって決定され得る。本方法が、複数の異なる視認的幾何学配置構成(例えば、角度)から撮られた複数の投影画像について繰り返される場合、これらの線(各投影画像について入手可能)を数値的に交わらせて、3Dでの位置及び向きの決定(又は以前の推定の改善)を行い得る。複数の投影画像が異なる角度で取得される場合、投影画像の数は、2個から20個の範囲内、例えば、2個から15個の範囲内、2個から10個の範囲内、2個から8個の範囲内、2個から6個の範囲内、2個から5個の範囲内、例えば、3個や4個となり得る。従って、必要な画像取得数が最適化、例えば低減され得て、投影画像を取得するために少数の投影角度で物品の良好な視認性を得ることができる(例えば、画像の良好な相補性が得られる)。
例えば、変換投影画像と複数のシミュレーション投影画像との間の画像類似性基準(構造類似指標等)を、少なくとも一つの幾何学パラメータの関数として最適化して、その少なくとも一つの幾何学的パラメータを決定し得る。画像類似性基準は、ピクセルに基づいたものであって、参照としての完全変換投影画像に対して評価され得て、又は変換投影画像の部分的な情報(低度の参照として機能する)のみを用い得る。他の類似性基準として、視覚的情報の忠実度、平均二乗誤差、(ピーク)信号対雑音比、反復再重み付け線形最小二乗値、スチューデントのt検定統計値が挙げられる。
少なくとも一つの幾何学パラメータを決定するための変換投影画像と複数のシミュレーション投影画像との間の高速照合手順は、典型的には情報検索分野で用いられているような特徴索引(インデックス化)法に更に依拠し得る。例えば、関心領域のスケール共変検出器が、ガウス差分フィルタ、スケール不変特徴変換(SIFT,scale‐invariant feature transform)記述子、及び、局所的な対応関係を確立するために優先度付きキューでのkdツリー型探索に基づいた高速照合子に基づいて実現され得る。
更に、本発明の特定の実施形態によると、少なくとも一つの幾何学パラメータを決定するための変換投影画像と複数のシミュレーション投影画像との間の照合手順は、例えばシミュレータ内で、放射線イメージングのシミュレーションに摂動論(ラドン投影空間における摂動論)を適用することを備え得る。摂動論に基づいて、物品又は少なくとも一つの物品構成要素の表面が十分に平滑であると仮定可能である実施形態では、(例えば、非線形順モデルによって計算される)公称の投影値からの変化を線形化することができる。結果として、変換投影画像を複数のシミュレーション投影画像と比較するステップと、類似性基準を最適化することによって複数のシミュレーション投影画像から一つのシミュレーション投影画像を選択するステップが、取得された投影画像と摂動線形化シミュレーション投影画像との間でより効率的に行われ得る。
代わりに、本発明の特定の実施形態によると、少なくとも一つの幾何学パラメータを決定するための変換投影画像と複数のシミュレーション投影画像との間の反復的でロバストな照合手順が実施され得る。その反復的でロバストな照合手順は、視野角を微調整するために用いられ得る。多重スケールの変形例では、シミュレーション投影画像が事前計算されて、異なる詳細度に分割され得て、例えば、二次元変換を介する整列手順を反復法で行うことができるようになり、例えば、粗い整列からより正確な整列にする。反復手順は、比較的少数の投影画像のみがシミュレーションされる第一段階(例えば、初期高速整列用)で構成され得る。第二段階では、三次元関心領域が、3D数値モデルにおいて定義され、又は所定の変換で3Dモデルの座標空間に変換可能な座標空間において少なくとも定義され、例えば、3Dモデルの座標フレームに関して定義される3Dメッシュ構造や立方体ボリュームにおける三次元関心領域が考慮されて、品質管理を行う必要がある物品の領域に手順を集中させる。第三段階では、検査を受ける単一の物品構成要素のみが考慮され得る。つまり、反復手順は、異なるステップにおいて異なる3Dモデル又はサブモデルに関与し得て、例えば、検査されている物品の粗いモデルから始めて、関心がある物品の特定の領域に集中していき、最終的には、物品又は物品構成要素の詳細なモデルを用いる。関心領域(ROI,region of interest)は予め決定され得て、例えば、3Dモデル中の3D領域として、物品の関心構成要素が見出される領域及び/又は潜在的な欠陥が予測され得る領域として定義され得る。例えば、ROIは、欠陥物品と欠陥のない物品との間の判別を可能にするように決定され得る。更に、比較ステップ及び/又は選択ステップを、例えば反復手順の少なくとも一つのステップにおいて、検査されている構成要素に関連するROIに限定することによって(しかしながら、反復手順の一部のみに必ずしも限定されるものではなく、場合によっては比較及び/又は選択の方法ステップ全体に適用され得る)、部分的な投影図のみを評価すればよくなり得て、例えば、速度を上げることができる。
三次元空間内の物品の位置及び向きは、少なくとも一つの幾何学パラメータと、二次元変換の一つ以上のパラメータを考慮することによって決定され得る。例えば、少なくとも一つの幾何学パラメータは、2D変換からは直接得ることができない物品の位置及び/又は向きの相補的3D情報を備え得る。しかしながら、組み合わせて検討する場合には、物品の3D位置及び向きの完全な特性評価を導出することができる。
また、複数の物品が投影画像において同時にイメージング可能であることも明らかであり、本発明の実施形態に係る方法を各物品に適用して、各物品の相対的な向き及び/又は位置を別々に決定し得る。例えば、分割アルゴリズムを投影画像に適用して、個々の物品を検出し得て、また、各物品を別々に検討して、各物品の3D位置及び向きの完全な特性評価を導出し得る。更に、物品同士の相対的な位置及び/又は向きに対する制約を考慮することができ、例えば、物品の一つ以上の回転角が同一になることを制約すること、及び/又は物品同士の間の相対的な距離を既知の距離に制約することによって考慮する。
上述のように、変換されたシミュレーション画像を反復的に用いて、複数のシミュレーション投影画像からのシミュレーション投影画像の選択を洗練させ得て、シミュレーション投影画像(及びそれに関連する少なくとも一つの幾何学パラメータ)を選択するステップ、2D変換を求めるステップ、及び、投影画像を変換するステップを、例えば収束が達成又は仮定されるまで繰り返す。
更に、事前計算されたシミュレーション投影画像のライブラリやほぼ実時間でのシミュレーション手順を、粗い推定ステップ(例えば、第一角度を決定するための推定ステップ)と、細かな推定ステップ(例えば、視野内の物品毎に三つの相補的なオイラー角の組を決定するための推定ステップ)とにおいて用い得る。
本方法は、視野角及び相対的な向きを考慮して少なくとも一つの回転角度を決定すること5を備える。例えば、イメージングシステムに対する物品の決定された相対的な向き及び/又は位置を用いて、物品及び/又はイメージングシステムの適切な回転及び/又は並進を決定することができ、例えば、初等線形代数演算を用いて、視野角に対応しているイメージングシステムに対する物品の相対的な位置及び/又は向きを得ることができる。
視野角(及び/又は追加の視野角)は予め決定され得て、例えば、ユーザによって物品を検査する必要がある視野角を示すように定められる。しかしながら、本方法は、物品の良好な視認性の一つ以上の角度に対応している又はその周囲に群がっている視野角及び/又は一つ以上の追加の視野角を決定すること10も備え得る。
これらの視野角又は視認角度は、構成要素が最も視認可能である又は欠陥が最も検出可能となる物体の向きを表し得る。複数の視認角度の組み合わせも、集合的に、関心のある物品の欠陥や特性を検出するための最適な(又はほぼ最適な)組み合わせに対応し得る。更に、複数の物品が同時にイメージングされ得て、例えば、イメージングシステムの視野内に同時に配置された際に複数の物品をイメージングし得て、又は大型の物品の複数の構成要素としてイメージングされ得る。従って、複数の視認角度は、各物品の欠陥や特性を検出するための異なる視認角度や、視認角度の組に対応し得る。
つまり、検証の必要がある物品の特性に基づいて、複数の最適な視野の向きを決定することができ、例えば、ユーザによって指定可能であり、自動的に計算可能であり、又は両者の組み合わせとなる。例えば、本方法は、少なくとも一つの幾何学パラメータに対して、視点エントロピー、コントラスト基準、関心領域(ROI)(例えば、評価される構成要素又は潜在的欠陥が物品中で位置する箇所)の他の品質基準を最適化することによって、一つ以上の視野角を計算することを備え得る。このような最適化によって得られる少なくとも一つの幾何学パラメータは、視野角を計算するのに直接的に単純に使用可能である。このプロセスは、品質基準の複数の極大値を得るために、及び/又は、異なる関心領域について複数の視野角を定式化するために繰り返され得る。本発明の実施形態はこのような手法に限定されるものではない。例えば、ディープラーニングや機械学習や人工知能法を適用して視野角の組を決定し得て、その視野角の組が集合的に良好な物品の特性評価及び/又は物品中の欠陥の検出を可能にする。
本方法は、少なくとも一つの回転角度に従って物品及び/又はイメージングシステムを移動させること6、及び、物品の移動6後に物品の更なる投影画像を取得すること7を備え、更なる投影画像が視野角からの物品の図(ビュー)に対応するようになる。
更に、少なくとも一つの回転角度を決定すること5は、少なくとも一つの並進ステップを決定することも備え得て、物品及び/又はイメージングシステムを移動させること6は、少なくとも一つの回転角度と少なくとも一つの並進ステップに従って物品及び/又はイメージングシステムを移動させることも備え得る。移動は、並進を備え得て、例えば、物品を支持している並進テーブルを用いる。移動は、回転を備え得て、例えば、物品を支持しているターンテーブルを用いる。移動は、例えば回転ガントリーを用いて第一角度にわたって、又は、例えば2回転自由度又は3回転自由度を有するロボットアームを用いて複数の相補的な角度にわたって、物品周りでイメージングシステムを回転させることを備え得る。
本発明の実施形態に係る方法では、相対的な向きを決定するステップ4、少なくとも一つの回転角度を決定するステップ5、物品を移動させるステップ6、更なる投影画像を取得するステップ7を一つ以上の更なる視野角について繰り返すこと8を行い得る。次いで、ステップ7で取得した更なる投影画像が、後続の繰り返しループで機能する投影画像として用いられ、例えば、相対的な向きと少なくとも一つの回転角度を決定するために用いられる。
図2を参照すると、第二態様において、本発明は、物品検査用のシステム20に関する。システムは、物品29の投影画像を取得するための放射線イメージングシステム21を備え、例えば、放射線イメージングシステム21は、放射線源と放射線イメージング検出器(例えば、電離放射線源と電離放射線イメージング検出器)を備える。システムは、物品の数値三次元モデルのシミュレーションに基づいて物品の複数のシミュレーション投影画像を提供するためのシミュレータ22又は事前計算ライブラリ22を備え、シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータ(例えば、一つ以上の回転角度)が、複数のシミュレーション投影画像にわたって異なる。
システムは、プロセッサ23を備え、例えば、コンピュータ、中央演算装置(CPU)、フィールドプログラマブルゲートアレイ、特定用途向け集積回路(ASIC)を備える。プロセッサ23は、放射線イメージングシステムに対する物品の相対的な向きを決定するように構成され、相対的な向きを決定することは、投影画像を複数のシミュレーション投影画像と比較することを備える。
プロセッサ23は、投影画像と複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めるように構成され得て、この変換は、投影画像とシミュレーション投影画像との間の画像類似性基準を数値的に最適化することによって求められ、二次元変換の一つ以上のパラメータが、投影画像面内の物品の並進及び/又は回転を示すものとなる。
プロセッサは、二次元変換によって投影画像を変換して、選択されたシミュレーション投影画像内に物品が実質的に位置決め及び向き決めされている変換投影画像を得るように構成され得る。プロセッサは、二次元変換の一つ以上のパラメータを考慮して三次元空間内の物品の位置及び向きを決定するように構成され得る。
プロセッサは、変換投影画像と複数のシミュレーション投影画像との間の画像類似性基準を、少なくとも一つの幾何学パラメータの関数として最適化して、少なくとも一つの幾何学パラメータを決定するように構成され、また、少なくとも一つの幾何学パラメータ及び二次元変換の一つ以上のパラメータを考慮することによって三次元空間内の物品の位置及び向きを決定するように構成され得る。
プロセッサは、視野角(例えば、所定の視野角)と決定された相対的な向きを考慮して少なくとも一つの回転角度を決定するように構成される。
システムはアクチュエータ24を備え、アクチュエータ24は、プロセッサによって制御され、視野角からの物品の図(ビュー)に対応している物品の更なる投影画像を取得するために、決定された少なくとも一つの回転角度に従って物品及び/又はイメージングシステムを移動させて、物品及び/又はイメージングシステムを互いに位置決め及び/又は向き決めするように構成される。
プロセッサは、一つ以上の更なる視野角について繰り返して、相対的な向きを決定すること、少なくとも一つの回転角度を決定すること、物品を移動させること、及び、更なる投影画像を取得することを行うように構成され得て、最後に取得した更なる投影画像が、後続の繰り返しループで機能する投影画像として用いられる。
更なる態様では、本発明は、複数の物品を製造又は取り扱うための製造環境又は取り扱い環境における各物品の品質管理、検査、分類、選択、計測、及び/又は仕分けのための本発明の実施形態に係る方法又はシステムの使用に関する。
追加的な更なる態様では、本発明は、プロセッサで実行されると、本発明の実施形態に係る方法を実施するためのコンピュータプログラムプロダクトに関し、例えば、放射線イメージングシステム及びアクチュエータと連動することによって実施が行われる。
本発明の実施形態に係るデバイス、使用及び/又はコンピュータプログラムプロダクトの他の特徴や、上述の特徴の詳細は、本発明の実施形態に係る方法に関する上述の説明を参照することで明らかとなるものである。
以下、本発明の実施形態の態様を例示するための例を与える。この例は、当業者が本発明を理解して実施するための補助として与えられるものであって、与えられているとおりの例の具体的な特徴に本発明を限定するものではない。
一般性を失うことなく、本例においては、典型的なターンテーブル型のマイクロCT(μCT)設定を用いる。静止しているX線源と検出器との間に位置するμCTシステムのターンテーブルステージ上に物品が配置される。このような設定は、物品が固定位置に配置される一方で、X線源及び/又はX線検出器の位置が変更可能である(例えば物品周りで回転可能である)システムと実質的に等価なものとみなされることを当業者は理解されたい。また、このような等価なシステムにおいて、物品は、静止している、その位置において一時的にのみ静止している、又は静止していないものともなり得ることも理解されたい。例えば、コンベアシステムにおいて、物品が経路に沿って移動しながら、複数の投影角度からイメージングされ得る。物品が一時的に静止して異なる複数の投影図が取得されるものとなり得て、又は、取得した投影図を分析する際に物体の位置の違いを補償することができるように既知の速度で物品が経路に沿って連続的に移動し得る。また、本発明の実施形態はμCTシステムに限定されず、例えば、システムが、トモグラフィ再構築を行うには典型的に不十分となる少数の投影図のみを取得するためのみに用いられることも理解されたい。本発明の実施形態は電離放射線の使用に限定されず、他の種類の投影イメージングも使用可能であり、例えば、テラヘルツイメージング、ガンマ線イメージング、透明又は半透明の物体の光学イメージング、赤外線イメージングが挙げられるがこれらに限定されないことを理解されたい。
本例のμCTシステムに戻ると、ワールド座標系Sが、第一放射線写真に対して定義され、回転ステージの中心Oに中心があるものとして仮定される。ワールド座標系Sは、検出器から放射線源の方向に向けられた単位基底ベクトルx=(1,0,0)と、単位基底ベクトルy及びzによって定義され、基底(x,y,z)が座標系Sの直交基底を成すようにする。従って、基底ベクトルyとzは検出器面に平行に向けられる。サンプル物品の位置と向きは、Sの原点Oに対する並進tx、ty、tzと、主軸δ、γ、φ周りの回転によって定義される。図3は、本例のシステム配置構成を示す。X線源31は、ステージの中心から線源‐物品距離SODに位置する。X線検出器32は線源31から線源‐検出器距離SDDに位置する。物品33がステージ上に配置されると、事前には未知の回転角度の偏差が生じ得て、事前には未知のワールド座標系に対する並進も生じ得る。特に、サンプルの回転角度γは未知であるとされる。例えば、典型的な応用では、回転角度γとδは、イメージング面に平行な軸周りの回転であり得る一方で、回転角度φは、イメージング面に垂直な軸周りの回転を表す。従って、角度φは、画像の2D変換の最適化によって直接決定され得る。更に、物品がターンテーブルに接触する箇所である物品の安定な接触表面を仮定すると、角度δの偏差は、小さく、物品の位置がその安定な平衡状態に自然に緩和することによって抑制されるものとなり得る。従って、サンプルの角度γが、比較的大きな変動を受け得るので最も重要なパラメータとなり得て、異なるビューからの情報を用いること(例えば、角度γの広範な範囲にわたるシミュレーションビューのライブラリを用いること)無しに単一の投影画像から直接導出することができない3D情報を表す。
視野角(視認角度とも称される)の組は、CADモデルとサンプル物品自体の物質特性についての予備知識に基づいて予め決定され得る。視認角度は、構成要素が最も視認可能である又は欠陥が最も検出可能である物品の向きを表す。つまり、検証の必要がある物品特性に基づいて、複数の最適な視認の向きを決定することができ、例えば、ユーザによって指定可能であり、自動的に計算可能であり、又は両者の組み合わせとなり得る。例えば、視認角度の組が、定量的基準(視点エントロピーや、関心領域(ROI)の特定の基準(例えば、コントラスト基準に基づいたもの)を用いて、異なる角度図(角度ビュー)におけるシミュレーション投影図から計算可能である。視認角度は、例えば図4に示されるように、こうした定量的基準がその最高値を有する図(ビュー)でのγVIS,0,…,γVIS,Nとして選択可能である。
本発明の実施形態に係る画像取得手順中に、測定データ(つまり、取得した投影画像)とシミュレーション画像との間の高速整列が行われ得て、数値モデル(例えば、CADモデル)と物品との間の3D整列がもたらされる。高速投影シミュレータを用いて、数値モデル(例えば、CADモデル)を投影し、物品の多様な向きと並進について投影図をシミュレーションし得て、例えば、CADモデルの回転とシフトを行いながら投影図をシミュレーションし得る。取得した投影画像に最も良くマッチするシミュレーション投影図について回転パラメータと並進パラメータを見つけることによって、一枚の投影図のみを用いて3D整列を達成することができる。このような投影シミュレータ(CADプロジェクタとも称される)は、ほぼ実時間又は実質的にほぼ実時間でシミュレーション投影図を得るように効率的に実現可能であり、例えば、(汎用の)画像処理装置(GPU,graphics processing unit)で実現可能である。しかしながら、実時間又は少なくとも十分高速で合成投影図を生成することが実現可能ではない場合には、データを事前計算しておく手法を用いることができる。本例では、手順を以下の二つの主要部に分割する。即ち、第一部で、事前計算可能なデータを記述し、第二部で、未知の物品の向きから開始して、回転ステージの必要な回転角度を計算することによって、視認角度を動的に取得する方法論を記述する。
以下では、システムパラメータが較正済みであり、線源スペクトルが推定済みであって、CADプロジェクタが、多色放射線輸送シミュレーションを用いてCADモデルの投影画像の現実的なシミュレーションを行うことができるものとする。適切なCADプロジェクタと、決定されたシステムパラメータとスペクトルに基づいてCADプロジェクタを構成する手順の一例は非特許文献1に見つけることができるものである。
上述の手順の第一部では、離散化された投影角度及び/又は並進ステップについて、例えば、少なくとも角度γの等間隔角度ステップについて、シミュレーション投影データのライブラリを事前計算することができる。ライブラリの投影データは、較正済みのシステムパラメータと推定済みのスペクトルを考慮する一方で、角度γを変化させるシミュレーションによって生成される(物品が検出器の真ん中に投影される)。ライブラリのメモリ要求を低減するため、シミュレーション投影図の関心領域(ROI)のみを記憶して使用し得る。例えば、ROIは、整列アルゴリズムが適切に機能するのに十分大きなものとなるように定義され得る。ROIのサイズは、離散化された角度ステップ範囲にわたって、品質基準、例えば、画像特性の十分な変化量(コントラスト及び/又はエントロピー等)に基づいて計算され得て、又は、試行錯誤によって決定され得る。図5に示されるように、ライブラリを視認角度近傍で拡張して、φとδの偏差を無視することによって導入された近似を構成し得る。このような拡張が、視認角度における物品サンプルのφとδの潜在的な偏差を考慮することを可能にするが、この例では、このような偏差を回転ステージでは補償することができない。しかしながら、サンプル及び/又は放射源と検出器がロボットアームによって制御される完全3Dシステムでは、最適な視野角を3Dで取得可能である。
取得システム(つまり、放射線イメージングシステム)を操作して、視認角度又はその十分近傍において放射線写真を取得するため、ステージでの物品の位置と向きを推定する。図6には以下説明する動的角度選択方法が概略的に示されている。S、D、u=(0,0,1)、v=(0,1,0)は、それぞれ座標系Sに対する線源位置、検出器の中心点、検出器面を定める二つのベクトルの初期値を表す。γ rot=0度が、初期投影角度である。例示的な手順は、例えば各視認角度について、N回のステップにわたる反復を備え、kが反復数k=1…Nを表す。開始点60は、反復k=1の手順の開始点を示す。
各反復ステップにおいて、投影像の取得61を行い、例えば本例ではμCT走査システムを用いる。一回目の反復では、物品は事前に未知の位置と向きにある。各反復において、次の投影画像取得前に物品の向きを操作して、各視認角度の方向でのイメージング用に物品を向ける。
画像取得後に、2Dでの並進と回転を推定するために剛体変換を求めること62を行う。投影物品の2D姿勢を復元するため、測定された投影図に類似性変換を適用し、即ち、数値モデル(例えば、CADモデル)のデフォルト(初期設定)位置についてのシミュレーション投影図と整列するように回転、並進、スケーリング(縮尺変更)を行う。例えば、一回目の反復について、物品の向きの最良の推測(例えば、統計的中心度)に対応しているデフォルトのシミュレーション画像を選択する。次の反復において、デフォルトのシミュレーション投影図が各視野角に対応し得る。類似性の定量的基準として相互情報を用いる変換は、検出器面内の並進ty,detとtz,det、回転ρについての情報を含む。例えば、変換投影画像とシミュレーション投影画像との間の相互情報(又は同様の基準)を、変換パラメータ(検出器面内の並進ty,detとtz,det、回転ρを明示的又は暗示的に含む)の関数として最適化手順において最大にすることができる。
次いで、向き角度
Figure 0007422689000001
と、並進推定値
Figure 0007422689000002
の三次元推定63を行うことができる。
一回目の反復k=1では、垂直軸周りのサンプル物品回転
Figure 0007422689000003
を、構造類似性指数(SSIM,structure similarity index measure)に基づいてライブラリのルックアップによって推定する。従って、変換投影画像とライブラリ画像との間のSSIMが最大値に達するサンプル回転(ライブラリ中にインデックス化(索引付け)されている)が見つかる。
次の反復については、物品サンプル回転
Figure 0007422689000004
が、以前の反復ループの最終ステップにおいてγVIS,kに更新済みになっている。
次いで、γ rotにわたってS、D、u、vを回転させることによって、S、D、u、vを計算する。検出器面内の物品の向きは、jk,det=D+cos(ρ)+sin(ρ)によって表される。検出器面内の並進は、Dk,det=D+tz,det+ty,detによって定められる。
次の反復k>1については、S+λ(j1,det-S),…,S+λ(jk,det-S)の線同士の間の3D交点Pintを決定し、つまり、各反復について、検出器面内の物品の向きを表す3D点jk,detと3D線源位置Sとを結ぶ線の組の交点を、S,…,Sとj1,det,…jk,detについて計算する。この交点は、残差の最小化(例えば、最小二乗法フィッティング)によって近似され、測定誤差を補償し得る。
物品の向きは単位ベクトルj’=Pint/||Pint||によって定められる。このベクトルは、以下のj’に回転を適用することによって得られる:
Figure 0007422689000005
この式はγに依存しない。その理由は、単一のベクトルは向きについての完全な情報を含まないからである。従って、δとφの値は、γ回転がないと検討する場合にのみ推定可能である。そのため、この式を適用して
Figure 0007422689000006
を復元する前に、ベクトルj’を
Figure 0007422689000007
にわたって回転させる。
次いで、上述のS,…,Sとj,…,jとを結ぶ線の交点(又はその最良の近似)を決定するのと同様にして、S,…,SとD,…,Dとを結ぶ線同士の交点であるOintを計算する。その座標は、
Figure 0007422689000008
の並進推定値である。
次いで、
Figure 0007422689000009
の推定値を、現在値の近傍の拡張ライブラリのルックアップによって、例えば、SSIMA等の類似性基準を用いた最適化を再び用いて、精度向上し得る。
k<Nの場合(k=N条件の確認66)、反復数をk=k+1に増加させること65を行い、システム(例えば、ターンテーブル)を
Figure 0007422689000010
周りで回転させること64を行う。
Figure 0007422689000011
はγVIS,kに設定され、次の反復ループを行う。
そうでない場合(k=N)、67で手順が終了する。
この方法論の精度を確かめるため、δ,φ∈[-3,3]度、γ∈[0,360]度、t,t,t∈[-3,3]mmでランダムに選択して、30回の実験を行った。この時点において、γパラメータは既知のものであるとされ、他のパラメータは推定されたものである。結果が図7から図11に示されている。また、δ,φ∈[-3,3]度、γ∈[0,89.9]度、t,t,t∈[-3,3]mmでランダムに選択して、19回の実験を行った。この時点において、全てのパラメータは推定されたものであり、γパラメータはライブラリのルックアップによって決定されたものである。結果が図12から図17に示されている。
実施例
本実施例では、ロバストで効率的な前方プロジェクタを用いて、インライン検査用のプロセスで使用可能なような限られた時間内で産業的CADモデル(関与している物質の放射線特性を増強させた形状モデル)の投影画像をシミュレーションした。ソフトウェア内にプロジェクタを構築し、汎用のGPU型の処理プラットフォームを利用した。本実施例ではNVIDIA社のOptixライブラリを用いた。用いられた例の利点は、当該分野で既知の手法を用いて、幾何学的配置構成の小さな変動に対するロバスト性が達成可能な点である。X線スペクトルと、モデル構成要素物質の減衰係数と、物理モデルの効率的一次近似を考慮して、X線写真を正確にシミュレーションした。多色X線が線源から仮想的に投射され、CADモデルに侵入して、仮想的検出器に当たる。X線ビームと三角メッシュの衝突点を検出した後に、モデル内部でX線が伝播した線の長さが計算される。シミュレーション投影画像を取得投影画像と比較するため、線源と検出器の位置、物品の質量中心に中心がある基準系に対する回転軸、検出器とピクセルの寸法等の放射線イメージングシステムの幾何学パラメータとスペクトルパラメータが決定される。
物品サンプルと交わる際のビームの挙動を適切にシミュレーションするため、全ての構成要素の物質は所定のものとされる。非特許文献1に記載のスペクトル推定を用いた。この推定は、測定データの強度値とシミュレーションデータの強度値との間の相違を最小にすることによって行われた。この手法は、線源の位置と、回転軸、検出器、ファントムの位置と向きに関して較正ファントムのCADデータを用いた幾何学的較正を可能にするように拡張されているものである。これらのパラメータは、山登り法アルゴリズムを用いて最適化される。
正確な結果を得るためのインライン整列手順中の長い実行時間を避けるため、三つの異なるライブラリを用いたが、これらは全て事前計算されたシミュレーション投影画像を提供するものである。一つ目のライブラリは初期高速整列用の検査中に用いられる或るウィンドウ(範囲)のシミュレーション画像のみを含み、二つの目のライブラリは、より詳細な整列用に品質管理を行う必要がある特定の関心領域のデータ(のみ)を含み、三つ目のライブラリは、検査対象の構成要素、つまり、最終的な精細な整列用のもの、及び/又は、取得放射線写真とシミュレーション放射線写真との間の差分画像及び/又は類似性基準を計算するのに用いられるもののみを含む。欠陥サンプルと欠陥のないサンプルとの間の区別を最良にするためROIが最適化可能である。
インライン検査中において、オリジナルの投影図をウィンドウに整列させた後に、所謂視認角度(つまり、検査部分が最も視認できる投影角度)が特定される。周囲の背景と比較した構成要素の最大コントラストを見つける基準を用いる。部分が他の構成要素によって隠されている視認角度を選択する可能性を排除するため、本手法は、完全な投影の全体的なコントラストでその部分が投影される場合にのみ計算されたコントラストに重み付けを行う。各投影角度について重み付けされたコントラストの値を事前計算してマトリクスで記憶することができ、検査段階において、視認角度が、整列ステップ中に選択された投影角度に対応するものの中からの最大値として選択される。最後に、ピーク信号対雑音比と平均二乗誤差を、画像同士の間の差を定量化するための基準として用いて、判別分析が行われる。
図18は、上述のように、被検査構成要素を含むROI中のシミュレーションデータの投影角度の関数として、重み付けされたコントラストの変動のプロットを示し、構成要素が最も視認できる場合にピークを示している。この手法を、医療法デバイスのインライン走査の測定結果で実証した。各インライン走査について、21個の投影角度を得た。ウィンドウ整列プロセスの結果が図20に示されていて、被検査構成要素が四角で示されている。測定投影図の断面、つまり取得投影画像が一番上に示されていて、シミュレーション投影図の放射線写真ウィンドウが真ん中に示されていて、整列後の差分画像が一番下に示されている。
図19には、30個のサンプルの組に対して行われた線形判別分析(LDA,linear discriminant analysis)のカノニカル(Canonical)プロットが示されていて、平均二乗誤差(MSE,mean squared error)と信号対雑音比(SNR,signal to noise ratio)を用いて、欠陥がない場合と欠陥がある場合にサンプルを分類している。LDAは、本提案の方法論が、欠陥のあるサンプル(DEFECTIVE)から欠陥のないサンプル(「OK」と付されている)を分離する性能(p=0.027)を示している。
20 物品検査用システム
21 放射線イメージングシステム
22 シミュレータ、事前計算ライブラリ
23 プロセッサ
24 アクチュエータ
29 物品
31 X線源
32 X線検出器
33 物品

Claims (24)

  1. 物品を検査するための非破壊的な方法(1)であって、
    放射線イメージングシステムを用いて前記物品の投影画像を取得するステップ(2)と、
    前記物品又は該物品の少なくとも一つの構成要素の数値三次元モデルのシミュレーションに基づいて、前記物品又は該物品の少なくとも一つの構成要素の複数のシミュレーション投影画像を得るステップ(3)であって、シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータが前記複数のシミュレーション投影画像にわたって異なる、ステップと、
    前記放射線イメージングシステムに対する前記物品の相対的な向きを決定するステップ(4)であって、該相対的な向きを決定するステップが、取得した投影画像を前記複数のシミュレーション投影画像と比較するステップ(9)を備える、ステップと、
    視野角と前記相対的な向きを考慮して少なくとも一つの回転角度を決定するステップ(5)と、
    前記少なくとも一つの回転角度に従って前記物品及び/又は前記放射線イメージングシステムを移動させるステップ(6)と、
    前記移動させるステップの後に、前記物品の更なる投影画像を取得するステップ(7)であって、前記更なる投影画像が前記視野角からの物品の図に対応しているようにする、ステップと、を備える方法。
  2. 前記相対的な向きを決定するステップ(4)と、前記少なくとも一つの回転角度を決定するステップ(5)と、前記移動させるステップ(6)と、前記更なる投影画像を取得するステップ(7)とを、一つ以上の更なる視野角に対してループで繰り返すこと(8)を行い、最後に取得した更なる投影画像、又は取得した複数の更なる投影画像の組み合わせが、後続のループにおいて前記放射線イメージングシステムに対する前記物品の相対的な向きを決定するステップ(4)を行う際の基準となる投影図として用いられる、請求項1に記載の方法。
  3. 前記複数のシミュレーション投影画像を得るステップ(3)が、前記複数のシミュレーション投影画像のライブラリを得るステップを備え、前記複数のシミュレーション投影画像が前記数値三次元モデルに基づいて事前計算される、請求項1又は2に記載の方法。
  4. 前記複数のシミュレーション投影画像を得るステップが、前記物品又は該物品の少なくとも一つの構成要素の数値三次元モデルを得るステップと、前記少なくとも一つの幾何学パラメータの複数の値について前記物品又は該物品の少なくとも一つの構成要素の数値三次元モデルに基づいて複数の投影画像をシミュレーションするステップと、を備える、請求項1又は2に記載の方法。
  5. 前記複数の投影画像をシミュレーションするステップが、放射線源から数値三次元モデルを通ってシミュレーション画像検出器上に電離放射線の多色線を仮想的に投射するステップを備え、前記放射線イメージングシステムが前記多色線を仮想的に投射するのに用いられる幾何学パラメータ及びスペクトルパラメータに実質的に対応している、請求項4に記載の方法。
  6. 前記物品の良好な視認性の一つ以上の角度に対応している又は該角度の周りに群がる視野角及び/又は一つ以上の更なる視野角を決定するステップ(10)を更に備える、請求項1から5のいずれか一項に記載の方法。
  7. 前記視野角及び/又は一つ以上の更なる視野角を決定するステップ(10)が、前記少なくとも一つの幾何学パラメータに対する前記複数のシミュレーション投影画像の二次元関心領域の品質基準、及び/又は、前記少なくとも一つの幾何学パラメータに対する前記複数のシミュレーション投影画像の対応二次元領域上に再投影された数値三次元モデルの三次元関心領域の品質基準の最適化によって、一つ以上の視野角を計算するステップを備える、請求項6に記載の方法。
  8. 前記放射線イメージングシステムに対する前記物品の相対的な向きを決定するステップ(4)が、前記投影画像と前記複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めるステップを備え、前記二次元変換が、前記投影画像と前記一つのシミュレーション投影画像との間の画像類似性基準の数値的最適化によって、又は前記複数のシミュレーション投影画像に対して学習させた機械学習アルゴリズムに前記投影画像をインプットとして適用することによって求められ、前記二次元変換の一つ以上のパラメータが、投影画像面内の前記物品の並進及び/又は回転を示す、請求項1から7のいずれか一項に記載の方法。
  9. 前記物品の相対的な向きを決定するステップ(4)が、前記二次元変換によって前記投影画像を変換して、選択された前記一つのシミュレーション投影画像内に前記物品が実質的に位置決め及び向き決めされている変換投影画像を得るステップを備える、請求項8に記載の方法。
  10. 前記物品の相対的な向きを決定するステップ(4)が、前記二次元変換の一つ以上のパラメータを考慮して三次元空間内の前記物品の位置及び向きを決定するステップを備える、請求項8又は9に記載の方法。
  11. 前記物品の相対的な向きを決定するステップ(4)が、前記二次元変換の一つ以上のパラメータを考慮して三次元空間内の前記物品の位置及び向きを決定するステップを備え、
    前記変換投影画像と前記複数のシミュレーション投影画像との間の画像類似性基準を前記少なくとも一つの幾何学パラメータの関数として最適化することによって前記少なくとも一つの幾何学パラメータが決定されるか、又は、前記複数のシミュレーション投影画像及び関連の幾何学パラメータで学習させた機械学習アルゴリズムに前記投影画像を入力として与えた場合の予測によって前記少なくとも一つの幾何学パラメータが決定される、請求項に記載の方法。
  12. 前記三次元空間内の前記物品の位置及び向きが、前記少なくとも一つの幾何学パラメータ及び前記二次元変換の一つ以上のパラメータを考慮することによって決定される、請求項11に記載の方法。
  13. 前記少なくとも一つの回転角度を決定するステップ(5)が、少なくとも一つの並進成分を決定することも備え、前記物品及び/又は前記放射線イメージングシステムを移動させるステップ(6)が、前記少なくとも一つの回転角度及び前記少なくとも一つの並進成分に従って前記物品及び/又は前記放射線イメージングシステムを移動させるステップを備える、請求項1から12のいずれか一項に記載の方法。
  14. 前記複数のシミュレーション投影画像にわたって異なる前記シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータが、前記物品及び/又は前記放射線イメージングシステムを移動させるステップ(6)用の回転自由度及び/又は並進自由度に対応している少なくとも第一幾何学パラメータを備える、請求項1から13のいずれか一項に記載の方法。
  15. 前記少なくとも一つの幾何学パラメータが、前記移動させるステップ(6)によって制御されていない前記放射線イメージングシステムに対する前記物品の回転自由度及び/又は並進自由度に対応している少なくとも第二幾何学パラメータを備える、請求項14に記載の方法。
  16. 前記取得した投影画像を前記複数のシミュレーション投影画像と比較するステップ(9)が、前記取得した投影画像を前記複数のシミュレーション投影画像と比較することを複数の縮尺において繰り返すことを備え、前記複数のシミュレーション投影画像の異なるサブセットが各縮尺における前記物品の数値三次元モデルの異なるレベルのシミュレーションの詳細に関連していて、少なくとも一つのサブセットが前記物品の数値三次元モデルに関連していて、少なくとも一つの更なるサブセットが前記物品の少なくとも一つの構成要素の数値三次元モデルに関連している、請求項1から15のいずれか一項に記載の方法。
  17. 前記物品又は該物品の少なくとも一つの構成要素を所定の組の欠陥分類に分類するステップを更に備え、前記分類するステップが、前記更なる投影画像と該更なる投影画像に対応しているシミュレーション投影画像との間の少なくとも一つの画像類似性基準を分類子に適用するステップを備え、前記分類子が、複数の物品についての前記更なる投影画像と該更なる投影画像に対応しているシミュレーション投影画像との間の画像類似性基準を学習用データとして受けている、請求項1から16のいずれか一項に記載の方法。
  18. 物品を検査するためのシステム(20)であって、
    前記物品の投影画像を取得するための放射線イメージングシステム(21)と、
    前記物品又は該物品の少なくとも一つの構成要素の数値三次元モデルのシミュレーションに基づいて、前記物品又は該物品の少なくとも一つの構成要素の複数のシミュレーション投影画像を提供するためのシミュレータ又は事前計算ライブラリ(22)であって、シミュレーション物品とシミュレーション放射線源とシミュレーション検出面との間の相対的な向きに関する少なくとも一つの幾何学パラメータが前記複数のシミュレーション投影画像にわたって異なる、シミュレータ又は事前計算ライブラリと、
    前記放射線イメージングシステムに対する前記物品の相対的な向きを決定するためのプロセッサ(23)であって、前記相対的な向きを決定することが前記投影画像を前記複数のシミュレーション投影画像と比較することを備え、該プロセッサが視野角及び決定された相対的な向きを考慮して少なくとも一つの回転角度を決定するように更に構成されている、プロセッサと、
    前記プロセッサによって制御されるアクチュエータ(24)であって、前記視野角からの前記物品の図に対応している前記物品の更なる投影画像を取得するために、前記物品及び/又は前記放射線イメージングシステムを位置決め及び/又は向き決めを行うように、前記決定された少なくとも一つの回転角度に従って前記物品及び/又は前記放射線イメージングシステムの移動を行うアクチュエータと、を備えるシステム。
  19. 前記プロセッサが、前記相対的な向きを決定することと、前記少なくとも一つの回転角度を決定することと、前記移動を行うことと、前記更なる投影画像を取得することとを一つ以上の更なる視野角について繰り返すように構成されていて、最後に取得した更なる投影画像が、後続の繰り返しループ用の投影画像として用いられる、請求項18に記載のシステム。
  20. 前記プロセッサが、前記投影画像と前記複数のシミュレーション投影画像から選択された一つのシミュレーション投影画像との間の二次元変換を求めるように構成されていて、前記二次元変換が、前記投影画像と前記一つのシミュレーション投影画像との間の画像類似性基準を数値的に最適化することによって求められ、前記二次元変換の一つ以上のパラメータが投影画像面内の前記物品の並進及び/又は回転を示す、請求項18又は19に記載のシステム。
  21. 前記プロセッサが、前記二次元変換によって前記投影画像を変換して、選択されたシミュレーション投影画像内に前記物品が実質的に位置決め及び向き決めされている変換投影画像を得るように構成され、且つ、前記二次元変換の一つ以上のパラメータを考慮して三次元空間の前記物品の位置及び向きを決定するように構成されている、請求項20に記載のシステム。
  22. 前記プロセッサが、前記変換投影画像と前記複数のシミュレーション投影画像との間の画像類似性基準を前記少なくとも一つの幾何学パラメータの関数として最適化することによって前記少なくとも一つの幾何学パラメータを決定するように構成され、且つ、前記少なくとも一つの幾何学パラメータ及び前記二次元変換の一つ以上のパラメータを考慮することによって三次元空間内の前記物品の位置及び向きを決定するように構成されている、請求項21に記載のシステム。
  23. 複数の物品を製造する又は取り扱う製造環境又は取り扱い環境における各物品の品質管理、検査、分類、選択、計測、及び/又は仕分けのための請求項1から17のいずれか一項に記載の方
  24. プロセッサで実行されると請求項1から17のいずれか一項に記載の方法を実施するためのコンピュータプログラムプロダクトであって、前記プロセッサが、前記物品の投影画像を取得するための放射線イメージングシステム及び前記放射線イメージングシステムに対して前記物品を移動させるためのアクチュエータと連動する、コンピュータプログラ
JP2020573202A 2018-06-29 2019-07-01 投影角度の動的選択による物品検査 Active JP7422689B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18180893.2 2018-06-29
EP18180893 2018-06-29
EP19166687 2019-04-02
EP19166687.4 2019-04-02
PCT/EP2019/067584 WO2020002704A1 (en) 2018-06-29 2019-07-01 Item inspection by dynamic selection of projection angle

Publications (2)

Publication Number Publication Date
JP2021530051A JP2021530051A (ja) 2021-11-04
JP7422689B2 true JP7422689B2 (ja) 2024-01-26

Family

ID=67060421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573202A Active JP7422689B2 (ja) 2018-06-29 2019-07-01 投影角度の動的選択による物品検査

Country Status (6)

Country Link
US (1) US11953451B2 (ja)
EP (1) EP3814758A1 (ja)
JP (1) JP7422689B2 (ja)
KR (1) KR20210049086A (ja)
CN (1) CN112567231B (ja)
WO (1) WO2020002704A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108168B2 (en) * 2009-03-12 2012-01-31 Etegent Technologies, Ltd. Managing non-destructive evaluation data
ES2964215T3 (es) 2018-06-29 2024-04-04 Univ Antwerpen Inspección de artículos mediante obtención de imágenes por radiación usando un enfoque de coincidencia de proyecciones iterativo
US11906441B2 (en) * 2019-06-03 2024-02-20 Nec Corporation Inspection apparatus, control method, and program
IT201900019454A1 (it) * 2019-10-21 2021-04-21 Microtec Srl Metodo e apparecchiatura per l'esecuzione di un esame tomografico di un oggetto
JP7451306B2 (ja) * 2020-05-29 2024-03-18 株式会社東芝 非破壊構造解析装置、非破壊構造検査装置および非破壊構造解析方法
JP7435303B2 (ja) * 2020-06-23 2024-02-21 オムロン株式会社 検査装置、ユニット選択装置、検査方法、及び検査プログラム
US20220086404A1 (en) * 2020-09-17 2022-03-17 Iview Displays (Shenzhen) Company Ltd. Dynamic projection method for target tracking and a dynamic projection equipment
JP7506568B2 (ja) * 2020-09-23 2024-06-26 アンリツ株式会社 X線検査装置およびx線検査方法
EP4222696A1 (en) * 2020-09-29 2023-08-09 Kitov Systems Ltd. Semantic segmentation of inspection targets
DE102020129792B4 (de) * 2020-11-11 2023-03-09 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters
US11900667B2 (en) * 2021-04-28 2024-02-13 International Business Machines Corporation Parametric curves based detector network
KR102710889B1 (ko) * 2022-01-25 2024-09-27 (주) 엠엔비젼 패턴 주사 조명을 이용한 투명 재질의 공산품 결함 검출 시스템
CN114460093B (zh) * 2022-01-29 2024-05-28 新拓三维技术(深圳)有限公司 一种航空发动机缺陷检测方法及系统
JP2023127798A (ja) * 2022-03-02 2023-09-14 オムロン株式会社 ワークの傷検出のシミュレーションを実行する装置、当該シミュレーションを実行する方法、および、当該シミュレーションを実現するプログラム
US12125195B2 (en) * 2022-03-04 2024-10-22 Ricoh Company, Ltd. Inspection system, inspection method, and non-transitory recording medium
DE112023000151T5 (de) * 2022-03-28 2024-04-04 Mitsubishi Heavy Industries, Ltd. Inspektionsunterstützungssystem, inspektionsunterstützungsverfahren und inspektionsunterstützungsprogramm
WO2023232891A1 (en) 2022-05-31 2023-12-07 Deltaray Bv Radiation imaging system for inspection of items having an uncertain pose and method therefor
CN115620030B (zh) * 2022-12-06 2023-04-18 浙江正泰智维能源服务有限公司 一种图像匹配方法、装置、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301517A1 (en) 2014-04-18 2015-10-22 Xyzprinting, Inc. Three dimensional printing apparatus and method for detecting printing anomaly
JP2018044824A (ja) 2016-09-13 2018-03-22 大日本印刷株式会社 造形物検査装置、造形物検査制御装置および造形物検査方法
JP2018514340A (ja) 2015-05-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 2d/2.5d腹腔鏡画像データまたは2d/2.5d内視鏡画像データを3dボリュメトリック画像データに位置合わせするための方法とシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907765B2 (en) * 2001-03-28 2011-03-15 University Of Washington Focal plane tracking for optical microtomography
CN102132149B (zh) * 2008-06-27 2014-05-28 沃尔弗拉姆·R·雅里施 图像重建系统、方法和设备
WO2011039427A1 (fr) * 2009-09-30 2011-04-07 Spectroscan Sarl Procédé d'examen radio -synthétique de spécimens
DE102010040634A1 (de) * 2010-09-13 2012-03-15 Siemens Aktiengesellschaft Verfahren zur 2D/3D-Registrierung
GB201112359D0 (en) * 2011-07-19 2011-08-31 Univ Antwerpen Filter for tomographic reconstruction
DE102012217610A1 (de) * 2012-09-27 2014-04-17 Siemens Aktiengesellschaft Verfahren zur Auswertung n-dimensionaler Projektionsbilder und Röntgeneinrichtung
CN105682559B (zh) * 2013-09-25 2019-07-09 瓦里安医疗系统公司 用于估计散射的方法和系统
WO2015072387A1 (ja) * 2013-11-15 2015-05-21 住友ゴム工業株式会社 弾性材料の変形の観察方法及び弾性材料の投影像撮影装置
GB201504360D0 (en) * 2015-03-16 2015-04-29 Univ Leuven Kath Automated quality control and selection system
KR101717768B1 (ko) * 2015-06-17 2017-03-27 주식회사 쓰리디산업영상 부품 결함 검사 방법 및 그 장치
US10689306B2 (en) 2015-07-20 2020-06-23 Sabic Global Technologies B.V. Fertilizer composition and methods of making and using same
FI20155856A (fi) * 2015-11-18 2017-05-19 Teknologian Tutkimuskeskus Vtt Oy Menetelmiä ja laitteita läpitunkevaa kuvantamista varten
GB2549331A (en) * 2016-04-15 2017-10-18 Univ Antwerpen Mobile imaging of an object using penetrating radiation
FR3070084B1 (fr) 2017-08-10 2019-08-30 Safran Procede de controle automatique non destructif de pieces mecaniques
ES2964215T3 (es) 2018-06-29 2024-04-04 Univ Antwerpen Inspección de artículos mediante obtención de imágenes por radiación usando un enfoque de coincidencia de proyecciones iterativo

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301517A1 (en) 2014-04-18 2015-10-22 Xyzprinting, Inc. Three dimensional printing apparatus and method for detecting printing anomaly
JP2018514340A (ja) 2015-05-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 2d/2.5d腹腔鏡画像データまたは2d/2.5d内視鏡画像データを3dボリュメトリック画像データに位置合わせするための方法とシステム
JP2018044824A (ja) 2016-09-13 2018-03-22 大日本印刷株式会社 造形物検査装置、造形物検査制御装置および造形物検査方法

Also Published As

Publication number Publication date
KR20210049086A (ko) 2021-05-04
US11953451B2 (en) 2024-04-09
CN112567231A (zh) 2021-03-26
CN112567231B (zh) 2024-09-10
WO2020002704A1 (en) 2020-01-02
JP2021530051A (ja) 2021-11-04
EP3814758A1 (en) 2021-05-05
US20210270755A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7422689B2 (ja) 投影角度の動的選択による物品検査
US10825165B2 (en) Inspection method for a manufactured article and system for performing same
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
US11927586B2 (en) Item inspection by radiation imaging using an iterative projection-matching approach
Gamdha et al. Automated defect recognition on X-ray radiographs of solid propellant using deep learning based on convolutional neural networks
WO2015164351A1 (en) Scatterometry-based imaging and critical dimension metrology
JP7576564B2 (ja) 複数の製造物体のインライン寸法制御のための方法及び設備
TW202004171A (zh) 基於形狀度量之晶圓位置評分
Presenti et al. Dynamic few-view X-ray imaging for inspection of CAD-based objects
Fleßner et al. Assessment of the single point uncertainty of dimensional CT measurements
US11719651B2 (en) Part inspection method using computed tomography
JP2022071850A (ja) 測定データの評価に必要な少なくとも1つの幾何学的パラメータを決定するためのコンピュータ実装方法
Presenti et al. CAD-based defect inspection with optimal view angle selection based on polychromatic X-ray projection images
Matsuzaki et al. Material influence in coordinate measurement using X-ray CT
Kang et al. Reference free method for robot CT imaging geometry estimation
Hilpert et al. Simulation-aided computed tomography (CT) for dimensional measurements
EP4160537A2 (en) System and method for accelerated convergence of iterative tomographic reconstruction
US20230186453A1 (en) Computer-implemented method for optimising a determining of measurement data of an object
Pirillo Study on segmentation techniques for geometric measurements in industrial computed tomography
Zanini et al. Experimental investigation on the accuracy of XCT measurement of fiber length in fiber reinforced polymers
Koenig et al. Object pose estimation using a set of local radiographs of a part and its CAD model
Chong et al. The use of collision detection to infer multi-camera calibration quality
CN116538951A (zh) 利用几何模型进行3d临界尺寸测量
Barbuzza et al. Quality assurance of manufactures by means of intelligent tomographic processing
Reiter et al. Distance measurements on inaccessible wires in plastic parts with X-ray computed tomography

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R150 Certificate of patent or registration of utility model

Ref document number: 7422689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150