JP7267611B2 - 検査装置及び検査方法 - Google Patents

検査装置及び検査方法 Download PDF

Info

Publication number
JP7267611B2
JP7267611B2 JP2020079924A JP2020079924A JP7267611B2 JP 7267611 B2 JP7267611 B2 JP 7267611B2 JP 2020079924 A JP2020079924 A JP 2020079924A JP 2020079924 A JP2020079924 A JP 2020079924A JP 7267611 B2 JP7267611 B2 JP 7267611B2
Authority
JP
Japan
Prior art keywords
pixel
luminance value
interest
predetermined
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020079924A
Other languages
English (en)
Other versions
JP2021173716A (ja
Inventor
聖 正岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Roentgen Industries Co Ltd
Original Assignee
Asahi Roentgen Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Roentgen Industries Co Ltd filed Critical Asahi Roentgen Industries Co Ltd
Priority to JP2020079924A priority Critical patent/JP7267611B2/ja
Publication of JP2021173716A publication Critical patent/JP2021173716A/ja
Application granted granted Critical
Publication of JP7267611B2 publication Critical patent/JP7267611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Description

本発明は、被検査物に含まれ得る異物を検出する技術に関する。
従来、被検査物に含まれ得る異物を検出する検査装置が種々開発されている。例えば、特許文献1で開示されている検査装置は、被検査物のX線透過画像から強調線を検出し、その強調線に基づき異物を検出する。
特開2016-156647号公報
しかしながら、被検査物と異物とのX線減弱の差が小さい場合、強調線の検出が困難であり、その結果、異物の検出精度が低くなるという問題が発生する。なお、被検査物と異物とのX線減弱の差が小さい場合としては、例えば、被検査物が魚の身であり、異物が小骨である場合等が挙げられる。
本発明は、上記の状況に鑑み、異物の検出精度が高い検査装置及び検査方法を提供することを目的とするものである。
上記目的を達成するために本発明に係る検査装置は、被検査物をX線撮影の対象とし、前記被検査物と前記X線撮影に用いたX線照射部及びX線検出部との位置関係が異なる複数枚の2次元X線撮影画像を前記X線撮影に用いたX線検出部の検出結果に基づき生成する第1画像生成部と、第1特定部、第1投影部、及び第1除去部か第2投影部、第2特定部、及び第2除去部かのいずれか一方と、を備え、前記第1特定部は、複数枚の前記2次元X線撮影画像それぞれを異物の位置を特定した二値化撮影画像に変換し、前記第1投影部は、複数枚の前記二値化撮影画像それぞれを位置が異なる複数の平面に投影して第1投影画像を生成し、前記第1除去部は、同じ平面に投影された複数枚の前記第1投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去し、前記第2投影部は、複数枚の前記2次元X線撮影画像それぞれを位置が異なる複数の平面に投影して第2投影画像を生成し、前記第2特定部は、複数枚の前記第2投影画像それぞれを異物の位置を特定した二値化投影画像に変換し、前記第2除去部は、同じ平面に投影された複数枚の前記二値化投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去する構成(第1の構成)とする。
上記第1の構成の検査装置において、前記第1特定部又は前記第2特定部は、過去に検査された前記被検査物の前記2次元X線撮影画像又は前記第2投影画像により学習した人工知能を用いて、異物の位置を特定する構成(第2の構成)であってもよい。
上記第1又は第2の構成の検査装置において、前記第1除去部又は前記第2除去部は、投影した平面上の同じ座標に該当する前記第1投影画像又は前記二値化投影画像のピクセル同士を比較し、所定の平面に投影したピクセルを基準とした前記複数の平面それぞれへの前記二値化撮影画像又は前記二値化投影画像におけるピクセルのずれを考慮して、前記比較の結果に基づいて異物の位置特定の誤検出部分を除去する構成(第3の構成)であってもよい。
上記第1~第3いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部によって特定された異物の位置を2次元表示する画像を生成する画像生成部を備える構成(第4の構成)であってもよい。
上記第1~第3いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部によって特定された異物の位置を3次元表示する画像を生成する画像生成部を備える構成(第5の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最大となる第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で最大となる第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で最大となる第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で最大となる第4輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以下になるという第1条件、(b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以下になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第6の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第4輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以下になるという第1条件、(b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以下になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第7の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、前記着目ピクセルの第1方向一方側に前記着目ピクセルから第1所定位置離れて並ぶ第1設定数のピクセル及び前記着目ピクセルの第1方向他方側に第2所定位置離れて並ぶ第2設定数のピクセルの平均輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に前記着目ピクセルから第3所定位置離れて並ぶ第3設定数のピクセル及び前記着目ピクセルの第2方向他方側に前記着目ピクセルから第4所定位置離れて並ぶ第4設定数のピクセルの平均輝度値である第2輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合が第1閾値以下になるという第1条件、(b)前記第2輝度値に対する前記着目ピクセルの輝度値の割合が第2閾値以下になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第8の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最小となる第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で最小となる第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で最小となる第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で最小となる第4輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以上になるという第1条件、(b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以上になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第9の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第4輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以上になるという第1条件、(b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以上になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第10の構成)であってもよい。
上記第1~第5いずれかの構成の検査装置において、前記第1特定部又は前記第2特定部は、前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、前記所定の領域それぞれにおける平均輝度値を算出する算出部と、を備え、着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、前記着目ピクセルの第1方向一方側に前記着目ピクセルから第1所定位置離れて並ぶ第1設定数のピクセル及び前記着目ピクセルの第1方向他方側に第2所定位置離れて並ぶ第2設定数のピクセルの平均輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に前記着目ピクセルから第3所定位置離れて並ぶ第3設定数のピクセル及び前記着目ピクセルの第2方向他方側に前記着目ピクセルから第4所定位置離れて並ぶ第4設定数のピクセルの平均輝度値である第2輝度値を算出し、所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、前記所定の条件は、(a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合が第1閾値以上になるという第1条件、(b)前記第2輝度値に対する前記着目ピクセルの輝度値の割合が第2閾値以上になるという第2条件、(c)前記第1条件及び前記第2条件、のうちのいずれか一つである構成(第11の構成)であってもよい。
上記第6~第11いずれかの構成の検査装置において、前記所定の条件が成立しなければ、前記所定の領域の大きさを変更し、前記第1閾値及び前記第2閾値の少なくとも一方を変更した上で前記所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定する構成(第12の構成)であってもよい。
上記第1~第12いずれかの構成の検査装置において、前記X線検出部は、第1のX線検出部を備え、前記第1のX線検出部を擬似的な複数の第2のX線検出部として用いる構成(第13の構成)であってもよい。
上記目的を達成するために本発明に係る検査方法は、被検査物をX線撮影の対象とし、前記被検査物と前記X線撮影に用いたX線照射部及びX線検出部との位置関係が異なる複数枚の2次元X線撮影画像を前記X線撮影に用いたX線検出部の検出結果に基づき生成する第1画像生成ステップと、第1特定ステップ、第1投影ステップ、及び第1除去ステップか第2投影ステップ、第2特定ステップ、及び第2除去ステップかのいずれか一方と、を備え、前記第1特定ステップは、複数枚の前記2次元X線撮影画像それぞれを異物の位置を特定した二値化撮影画像に変換し、前記第1投影ステップは、複数枚の前記二値化撮影画像それぞれを位置が異なる複数の平面に投影して第1投影画像を生成し、前記第1除去ステップは、同じ平面に投影された複数枚の前記第1投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去し、前記第2投影ステップは、複数枚の前記2次元X線撮影画像それぞれを位置が異なる複数の平面に投影して第2投影画像を生成し、前記第2特定ステップは、複数枚の前記第2投影画像それぞれを異物の位置を特定した二値化投影画像に変換し、前記第2除去ステップは、同じ平面に投影された複数枚の前記二値化投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去する構成(第14の構成)とする。
上記第6~第12いずれかの構成の検査装置において、前記第1画像生成部の代わりに、被検査物をX線撮影の対象とし、2次元X線撮影画像を前記X線撮影に用いたX線検出部の検出結果に基づき生成する第3画像生成部を備え、前記第1特定部、前記第1投影部、及び前記第1除去部の代わりに第3特定部及び第3投影部を備えるか前記第2投影部、前記第2特定部、及び前記第2除去部の代わりに第4投影部及び第4特定部を備えるかのいずれか一方であり、前記第3特定部は、前記2次元X線撮影画像を異物の位置を特定した二値化撮影画像に変換し、前記第3投影部は、前記二値化撮影画像を前記X線検出部の位置を除く所定の位置に設定される平面に投影して第1投影画像を生成し、前記第4投影部は、前記2次元X線撮影画像を前記X線検出部の位置を除く所定の位置に設定される平面に投影して第2投影画像を生成し、前記第4特定部は、前記第2投影画像を異物の位置を特定した二値化投影画像に変換し、前記第3特定部及び前記第4特定部はそれぞれ、前記分割部と、前記算出部と、を備える構成(第15の構成)であってもよい。
本発明によると、異物の検出精度を高くすることができる。
本発明の一実施形態に係る検査装置の概略構成を示す図 本発明の一実施形態に係る検査装置の概略動作を示すフローチャート 座標と投影画像のピクセルとの関係を説明するための図 X軸方向における平面への投影を示す図 Y軸方向における平面への投影を示す図 第k平面への投影画像の領域と第(k-1)平面への投影画像の領域との位置関係を示す図 各投影画像について異物の位置を特定する処理の一例を示すフローチャート 検査装置の第1変形例を示す図 検査装置の第2変形例を示す図 検査装置の第3変形例を示す図 検査装置の第3変形例を示す図 検査装置の第4変形例を示す図 検査装置の第4変形例を示す図
本発明の実施形態について図面を参照して以下に説明する。本明細書においては、言葉の定義として、X線検出部の位置を除く所定の位置に設定される平面で生成される画像において、そのX軸方向、Y軸方向の内少なくともいずれか一方に関して二値化撮影画像又は2次元X線撮影画像を平行移動しているだけで長さが変化しない場合においても、便宜上、平面で生成される画像は、二値化撮影画像又は2次元X線撮影画像を平面に「投影」する処理によって得られるものとし、その平面で生成される画像を「投影画像」とよぶことにする。
<1.検査装置の概略構成>
図1は、本発明の一実施形態に係る検査装置の概略構成を示す図である。図1に示す検査装置100は、第1X線照射部1Aと、第2X線照射部1Bと、第1X線検出部2Aと、第2X線検出部2Bと、ベルトコンベア3と、CPU4と、ROM5と、RAM6と、VRAM7と、表示部8と、HDD9と、入力部10と、を備える。なお、本実施形態では、画像を処理する画像処理装置がCPU4、ROM5、RAM6、及びHDD9によって構成されている。
第1X線照射部1A及び第2X線照射部1Bはそれぞれ、被検査物T1にX線を照射する。第1X線照射部1Aから照射されるX線及び第2X線照射部1Bから照射されるX線はそれぞれ、Y軸に沿って延びるファンビーム形状、より詳細にはナローファンビーム形状である。なお、第1X線照射部1A及び第2X線照射部1Bを共通化して単一のX線照射部にしてもよい。当該単一のX線照射部から照射されるX線は、ワイドファンビーム形状又はコーンビーム形状にすればよい。
第1X線照射部1Aから第1X線検出部2Aに照射されるX線の照射方向と、第2X線照射部1Bから第2X線検出部2Bに照射されるX線の照射方向とは互いに異なる。本実施形態では、第1X線照射部1Aから第1X線検出部2Aに照射されるX線の照射方向はX軸とY軸に直交する方向であり、第2X線照射部1Bから第2X線検出部2Bに照射されるX線の照射方向はX軸とY軸に直交する方向から傾いた方向である。
第1X線検出部2A及び第2X線検出部2Bはそれぞれ、入射するX線に応じたデジタル量の電気信号を一定のフレームレート(ラインレート)で出力する。第1X線検出部2A及び第2X線検出部2Bはそれぞれ、Y軸に沿って延びるラインセンサである。当該ラインセンサは、単一ラインのラインセンサであってもよく、複数ラインのラインセンサであってもよい。第1X線検出部2A及び第2X線検出部2Bはそれぞれ、所定のフレームレートで入射X線を、当該X線の量に応じたデジタル電気量の画像データとして収集することができる。以下、この収集データを「フレームデータ」とする。なお、第1X線検出部2A及び第2X線検出部2Bを共通化して単一のX線検出部にしてもよい。ただし、第1X線照射部1A及び第2X線照射部1Bを共通化する場合には、第1X線検出部2A及び第2X線検出部2Bを共通化しない。
ベルトコンベア3は、第1X線照射部1Aと第1X線検出部2Aの対及び第2X線照射部1Bと第2X線検出部2Bの対に対して、ベルト上に載置された被検査物T1をX軸の負側に向かって移動させる。つまり、ベルトコンベア3の構成部品であるベルトの長手方向はX軸に沿っており、ベルトコンベア3の構成部品であるベルトの幅方向はY軸に沿っている。なお、本実施形態では、第1X線照射部1Aと第1X線検出部2Aの対及び第2X線照射部1Bと第2X線検出部2Bの対に対して、被検査物T1をX軸の負側に向かって移動させる第1移動機構(ベルトコンベア3)を用いたが、第1移動機構の代わりに第1X線照射部1Aと第1X線検出部2Aの対及び第2X線照射部1Bと第2X線検出部2Bの対を、被検査物T1に対してX軸の正側に向かって移動させる第2移動機構を用いてもよい。
CPU4は、ROM5やHDD9に格納されているプログラム及びデータに従って検査装置100全体を制御する。ROM5は固定的なプログラムやデータを記録する。RAM6は作業メモリを提供する。CPUは、HDD9に格納されたプログラムに従って画像を生成する機能を果たすように動作する。つまり、CPU41は画像を生成する画像生成部を兼ねる。
VRAM7は画像データを一時的に記憶する。表示部8はVRAM7に記憶された画像データに基づいて画像を表示する。
HDD9は、X線撮影動作を制御するための撮影制御プログラム、画像を処理するための画像処理プログラム、異物の位置を特定するための異物位置特定処理プログラム等の各種プログラム、各種プログラムを実行する際に用いられる各種パラメータの設定値や画像データ等の各種データを記憶する。
入力部10は、例えばキーボード、ポインティングデバイス等であって、ユーザ操作の内容を入力する。
<2.検査装置の概略動作>
検査装置100の概略動作を図2のフローチャートに従い説明する。まず始めに検査装置100はX線撮影を行う(ステップS1)。具体的には、ベルトコンベア3が被検査物T1を移動させている間に、第1X線照射部1A及び第2X線照射部1BからX線が曝射される。なお、第1X線検出部2A及び第2X線検出部2Bがそれぞれ単一ラインのラインセンサである場合は、ラインセンサの画素サイズと1フレームあたりの被検査物の移動量とを一致させる。第1X線検出部2A及び第2X線検出部2Bがそれぞれ複数ラインのラインセンサである場合は、ラインセンサの画素サイズと1フレームあたりの被検査物の移動量とを必ずしも一致させる必要はなく、1フレームあたりの被検査物の移動量はラインセンサの画素サイズの倍数であってもよい。ただし、当該倍数はラインセンサのライン数以下とする。第1X線照射部1Aから照射されたX線は被検査物T1の撮影領域を透過して第1X線検出部2Aに入射し、第2X線照射部1Bから照射されたX線は被検査物T1の撮影領域を透過して第2X線検出部2Bに入射する。第1X線検出部2A及び第2X線検出部2Bは、前述したように、所定のフレームレートで入射X線を検出し、対応するデジタル電気量のフレームデータをフレーム単位で順次出力する。このフレームデータは、HDD9に保管される。2次元のデジタルデータは、ラインセンサで得られるフレームデータを順番に並べていくことで得られる。なお、第1X線検出部2A及び第2X線検出部2Bがそれぞれ複数ラインのラインセンサである場合は、各ピクセルのデータは複数フレームのデータの和になる。
次に、検査装置100はX線検出部2A及び2Bの位置を除く所定の位置に設定される平面に投影して投影画像を生成する(ステップS2)。具体的には、検査装置100は、2次元のデジタルデータをX線検出部2A及び2Bの位置を除く所定の位置に設定される60個の各平面に投影して投影画像を生成する。本実施形態では、X軸及びY軸に垂直な方向(Z軸方向)に沿って、第1X線照射部1A及び第2X線照射部1B側から第1X線検出部2A及び第2X線検出部2B側に所定のピッチでX線検出部2A及び2Bの位置を除く所定の位置に複数の平面を設定している。なお、本実施形態では、X線検出部2A及び2Bの位置を除く所定の位置は被検査物T1の位置を含むが、本発明はこれに限定されない。
第1X線照射部1A及び第1X線検出部2Aに由来する60個の投影画像は、HDD9に保管される。同様に、第2X線照射部1B及び第2X線検出部2Bに由来する60個の投影画像も、HDD9に保管される。
次に、検査装置100は各投影画像について異物の位置を特定する(ステップS3)。異物の位置を特定する手法の詳細については後述する。各投影画像について異物の位置を特定することによって、単純なX線透過画像等のX線画像について異物の位置を特定する場合と比較して、異物の検出精度を高くすることができる。異物位置の特定結果は、例えば、異物の位置と異物でない位置とを異なる輝度値で示す二値化画像とすることができる。
次に、検査装置100は異物の位置特定の誤検出部分を除去する(ステップS4)。図3に示すように、座標は固定されており、第1X線検出部2Aの出力に基づく2次元のデジタルデータDDを或る平面に投影して得られる投影画像F1の位置と、第2X線検出部2Bの出力に基づく2次元のデジタルデータDDを上記或る平面に投影して得られる投影画像F2の位置とは互いにずれている。したがって、同じ座標に着目した場合、投影画像F1のピクセル位置(水平方向にピクセル単位で何番目であるかを定め垂直方向にピクセル単位で何番目であるかを定めることで決定される投影画像上の位置)と投影画像F2のピクセル位置とは異なる。上記或る平面上に位置する被検査物T1の異物T2は、誤検出部分にならない。なお、図3において、投影画像F1と投影画像F2とはZ軸方向にずれがあるように図示されているが、実際には投影画像F1と投影画像F2とのZ座標は同一である。ステップS4の処理において、具体的には、検査装置100は、Z軸方向において同じ位置の第1X線照射部1A及び第1X線検出部2Aに由来する投影画像と第2X線照射部1B及び第2X線検出部2Bに由来する投影画像について、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像に基づき特定した異物の位置と第2X線照射部1B及び第2X線検出部2Bに由来する投影画像に基づき特定した異物の位置とを比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去する。より具体的には、例えば第1の方法、第2の方法等を実施する。上記第1の方法では、検査装置100は、上記の比較により、両方の投影画像において異物の位置であると特定されたピクセルであって、投影した平面上の同じ座標に該当するピクセルのみを異物の位置として採用し、両方の投影画像において異物の位置であると特定されたピクセルであっても、投影した平面上の同じ座標に該当しないピクセルは異物の位置として採用しない。上記第2の方法では、検査装置100は、一方の投影画像において異物の位置であると特定されたピクセルを記憶し、他方の投影画像において、その記憶したピクセルと投影した平面上の座標が同じピクセルから一定の範囲内に異物の位置であると特定されたピクセルが存在すれば、その記憶したピクセルを異物の位置として採用する。ステップS4の処理は、処理対象である平面に存在する異物はX線の照射角度が異なっていても投影した平面上の同じ座標に該当するピクセルで検出されるのに対して、処理対象である平面に存在しない異物等がX線の照射方向に投影された場合には投影した平面上の同じ座標に該当するピクセルで検出されないことを利用した誤検出部分除去処理である。検査装置100は、この誤検出部分除去処理を全ての平面において実行する。
最後に、検査装置100は、出力画像を生成し、その出力画像を表示部8に表示する(ステップS5)。出力画像としては、例えば、誤検出部分除去処理及び位置補正が反映された異物の位置を示す各投影画像を全て足し合わせて得られる画像、つまり異物の位置を2次元表示する画像を挙げることができる。出力画像の他の例としては、誤検出部分除去処理及び位置補正が反映された異物の位置を示す各投影画像を積層して得られる画像、つまり異物の位置を3次元表示する画像を挙げることができる。
<3.投影画像>
前述したステップS2の処理、すなわち2次元のデジタルデータから投影画像を生成する処理について説明する。
投影画像が含まれ得る領域をX軸方向に十分に長くとる。これにより、X軸方向については、図4Aに示すように、被検査物T1を静止させてX線照射部1とX線検出部2とがベルトコンベア3の移動方向と逆方向に移動させていると考えることができる。したがって、2次元のデジタルデータDDの各平面への投影は、X軸方向に平行移動させたものとなる。X軸方向に平行移動させただけであるので、2次元のデジタルデータDDでのX軸方向に隣接するピクセルの中心同士のX軸方向距離と、投影画像でのX軸方向に隣接するピクセルの中心同士のX軸方向距離とは同一である。一方、Y軸方向については、図4Bに示すように、2次元のデジタルデータDDを幾何学的に縮小したものが、各平面への投影画像となる。
以上により、第k平面への投影画像の領域Rkと第(k-1)平面への投影画像の領域R(k-1)との位置関係は、図5に示すようになる。
ここで、各平面への投影画像におけるピクセルのずれについて説明する。本実施形態では、ピクセルの座標を考慮することなく、図4Aに示す第kmax平面に投影したピクセルを基準にして上記のずれを考えている。第k平面におけるX軸方向のピクセルのずれは、tanθ・(kmax-k)・pdで表される。なお、第0平面と第kmax平面との距離はkmax・pdとなり、第0平面と第k平面との距離はk・pdとなる。そして、ラインセンサの画素サイズをpp、第1X線照射部1Aの照射角度をθ、第2X線照射部1Bの照射角度をθ(>θ)とすると、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像のX軸方向のi番目に位置するピクセルと、そのピクセルの座標と座標が一致する、第2X線照射部1B及び第2X線検出部2Bに由来する投影画像のX軸方向のi’番目に位置するピクセルとのずれをピクセル数換算で示した値Δiは、下記(1)式で表される。
Δi=(tanθ-tanθ)・(kmax-k)・pd/pp …(1)
Δiが整数である場合、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像のピクセルと第2X線照射部1B及び第2X線検出部2Bに由来する投影画像のピクセルとは完全に一致する。一方、 Δiが整数でない場合、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像のピクセルに該当する、第2X線照射部1B及び第2X線検出部2Bに由来する投影画像のピクセルは2つになる。したがって、 Δiが整数でない場合、例えば、第2X線照射部1B及び第2X線検出部2Bに由来する投影画像の2つにまたがるピクセルの内、その占める割合が多い方のピクセルに該当すると考えてもよい。
<4.異物の位置特定>
前述したステップS3の処理、すなわち各投影画像について異物の位置を特定する処理の一例を図6のフローチャートに従い説明する。
CPU4は、まず、投影画像を所定の領域(例えば、16ピクセル×16ピクセルの領域)毎に分割する (ステップS31)。投影画像において所定の領域で埋まらない部分が出る場合には、投影画像の端の部分は検査対象から外し、所定の領域群が投影画像の中央に位置するように、所定の領域群の位置を設定してもよい。
次に、CPU4は、所定の領域それぞれにおける平均輝度値L1を算出する(ステップS32)。
その後、CPU4は、着目ピクセルの輝度値L2が、その着目ピクセルの属する所定の領域における平均輝度値L1よりも所定値V1以上小さいか否かを判定する(ステップS33)。所定値V1としては、例えば着目ピクセルの属する所定の領域内の各ピクセルの輝度値の標準偏差を挙げることができる。
着目ピクセルの輝度値L2が、その着目ピクセルの属する所定の領域における平均輝度値L1よりも所定値V1以上小さいと判定されなかった場合(ステップS33のNO)、CPU4は、着目ピクセルを異物の位置として特定しない。
一方、着目ピクセルの輝度値L2が、その着目ピクセルの属する所定の領域における平均輝度値L1よりも所定値V1以上小さいと判定された場合(ステップS33のYES)、ステップS34に移行する。
ステップS34において、CPU4は、着目ピクセルの横方向負側に並ぶ第1設定数のピクセル内で最大となる第1輝度値を算出し、着目ピクセルの横方向正側に並ぶ第2設定数のピクセル内で最大となる第2輝度値を算出し、着目ピクセルの縦方向負側に並ぶ第3設定数のピクセル内で最大となる第3輝度値を算出し、着目ピクセルの縦方向正側に並ぶ第4設定数のピクセル内で最大となる第4輝度値を算出する。第1設定数~第4設定数は全て同じ値であってもよく、2種類以上4種類以下の異なる値であってもよい。なお、所定の領域が投影画像の端に位置し、第1設定数~第4設定数の少なくとも1つを確保することができない場合は、確保可能なピクセル数で対応し、全く確保できない場合はそのピクセルは検査対象から外す。
次に、CPU4は、第1輝度値に対する着目ピクセルの輝度値L2の割合及び第2輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であるか否かを判定する(ステップS35)。
第1輝度値に対する着目ピクセルの輝度値L2の割合及び第2輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であると判定された場合(ステップS35のYES)、後述するステップS37に移行する。
一方、第1輝度値に対する着目ピクセルの輝度値L2の割合及び第2輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であると判定されなかった場合(ステップS35のNO)、ステップS36に移行する。
ステップS36では、CPU4は、第3輝度値に対する着目ピクセルの輝度値L2の割合及び第4輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であるか否かを判定する(ステップS36)。なお、本実施形態では、ステップS35で用いる閾値とステップS36で用いる閾値とを同じ値にしたが、互いに異なる値にしてもよい。また、本実施形態とは異なり、ステップS35において、第1輝度値に対する着目ピクセルの輝度値L2の割合が閾値TH1以下であるか否かのみを判定してもよい。逆に、ステップS35において、第2輝度値に対する着目ピクセルの輝度値L2の割合が閾値TH1以下であるか否かのみを判定してもよい。ステップS36についても同様の変形を行ってもよい。ステップS36において、第3輝度値に対する着目ピクセルの輝度値L2の割合が閾値TH1以下であるか否かのみを判定してもよい。逆に、ステップS36において、第4輝度値に対する着目ピクセルの輝度値L2の割合が閾値TH1以下であるか否かのみを判定してもよい。
第3輝度値に対する着目ピクセルの輝度値L2の割合及び第4輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であると判定された場合(ステップS36のYES)、後述するステップS37に移行する。
一方、第3輝度値に対する着目ピクセルの輝度値L2の割合及び第4輝度値に対する着目ピクセルの輝度値L2の割合がそれぞれ閾値TH1以下であると判定されなかった場合(ステップS36のNO)、CPU4は、着目ピクセルを異物の位置として特定しない。なお、すぐに着目ピクセルを異物の位置として特定しないことを確定させるのではなく、所定の領域の大きさ及び閾値TH1の値を変えてステップS35に戻り、ステップS35又はステップS36からステップS37に移行できるかを試行してもよい。なお、所定の領域の大きさ及び閾値TH1の値の変更は1回に限らず、2回以上であってもよい。
ステップS37では、CPU4は、着目ピクセルを異物の位置として特定する。
そして、所定の領域に属する全てのピクセルを1つずつ順次「着目ピクセル」として、ステップS33以降の処理を繰り返す。さらに、全ての所定の領域を1つ1つずつ順次「着目ピクセルが属する所定の領域」として、ステップS32以降の処理を繰り返す。
図6のフローチャートによると、所定の領域すなわち微小領域において、微小領域全体の輝度特性に基づいて異物の位置を特定しているため、異物の検出精度を高くすることができる。
なお、被検査物T1としては、例えば「魚」を挙げることができる。被検査物T1が「魚」である場合、異物は「小骨」である。図6のフローチャートの処理は、異物の減弱係数が被検査物T1(ただし、異物を除く)の減弱係数より大きい場合に適用することができる。ただし、投影画像が白黒反転させた画像である場合には、図6のフローチャートの処理において、「小さい」を「大きい」に置き換え、「最大」を「最小」に置き換え、「閾値TH1以下」を「閾値TH1以上」に置き換えるとよい。
異物の減弱係数が被検査物T1(ただし、異物を除く)の減弱係数より小さい場合には、図6のフローチャートの処理をそのまま適用するのではなく、図6のフローチャートの処理において、「小さい」を「大きい」に置き換え、「最大」を「最小」に置き換え、「閾値TH1以下」を「閾値TH1以上」に置き換えるとよい。ただし、投影画像が白黒反転させた画像である場合には図6のフローチャートの処理をそのまま適用すればよい。
<5.その他>
上述した実施形態では、ステップS4の誤検出部分除去処理を実行したが、ステップS4の誤検出部分除去処理を実行しなくても異物の検出精度が要求される仕様を満たすのであれば、ステップS4の誤検出部分除去処理を省略してもよい。ステップS4の誤検出部分除去処理を省略する場合、第1X線照射部1A及び第1X線検出部2Aの対、或いは、第2X線照射部1B及び第2X線検出部2Bの対のいずれかを検査装置100から取り除くとよい。この場合、X線検出部の位置を除く所定の位置に単数又は複数の平面を設定し、当該平面に二値化撮影画像又は2次元X線撮影画像投影すればよい。
上述した実施形態では、ステップS4の誤検出部分除去処理において、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像に基づき特定した異物の位置と第2X線照射部1B及び第2X線検出部2Bに由来する投影画像に基づき特定した異物の位置とが比較され、比較結果に基づいて異物の位置特定の誤検出部分が除去されたが、この誤検出部分除去処理はあくまで一例である。
したがって、X線の照射方向がそれぞれ異なる第1~第m(mは3以上の自然数)X線照射部と、第1~第mX線検出部とを検査装置100に設け、第k(kはm以下の任意の自然数)X線照射部から照射され被検査物T1を透過したX線が第kX線検出部に入射するようにしてもよい。この場合、第kX線照射部から照射されるX線によって得られる投影画像である第k投影画像に基づき異物の位置が特定され、同じ深さの投影画像について、第1~第m投影画像それぞれに基づき特定した異物の位置同士が比較され、比較結果に基づいて異物の位置特定の誤検出部分が除去されるようにすればよい。
上述した実施形態では、ステップS34において、CPU4は、着目ピクセルの横方向負側に並ぶ第1設定数のピクセル内で最大となる第1輝度値を算出し、着目ピクセルの横方向正側に並ぶ第2設定数のピクセル内で最大となる第2輝度値を算出し、着目ピクセルの縦方向負側に並ぶ第3設定数のピクセル内で最大となる第3輝度値を算出し、着目ピクセルの縦方向正側に並ぶ第4設定数のピクセル内で最大となる第4輝度値を算出したが、この算出処理はあくまで一例である。すなわち、上記の「横方向負側」、「横方向正側」、「縦方向負側」、及び「縦方向正側」はそれぞれ、「第1方向一方側」、「第1方向他方側」、「第2方向一方側」、及び「第2方向他方側」に一般化することができる。なお、第1方向と第2方向とは互い異なる方向である。第1方向と第2方向とは直交していなくてもよい。
また、第1輝度値を、着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で着目ピクセルより輝度値が大きく且つ着目ピクセルからできるだけ離れているピクセルの輝度値とし、第2~第4輝度値についても同様の置換を行ってもよい。すなわち、第2輝度値を、着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で着目ピクセルより輝度値が大きく且つ着目ピクセルからできるだけ離れているピクセルの輝度値とする。また、第3輝度値を、着目ピクセルの第2方向一方側に並ぶ第3設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第2方向一方側に並ぶ第3設定数のピクセル内で着目ピクセルより輝度値が大きく且つ着目ピクセルからできるだけ離れているピクセルの輝度値とする。また、第4輝度値を、着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で着目ピクセルより輝度値が大きく且つ着目ピクセルからできるだけ離れているピクセルの輝度値とする。上記の置換を行った場合も、上述した実施形態と同様に、微小領域全体の輝度特性に基づいて異物の位置を特定しているため、異物の検出精度を高くすることができる。ただし、上記の置換を行った場合において、異物の減弱係数が被検査物T1(ただし、異物を除く)の減弱係数より小さい画像について適用するときには、ステップS33の処理において「小さい」を「大きい」に置き換え、ステップS34を置換した処理において「大きい」を「小さい」に置き換え、「閾値TH1以下」を「閾値TH1以上」に置き換えるとよい。また、上記の「着目ピクセルからできるだけ離れているピクセルの輝度値」の代わりに「着目ピクセルからできるだけ近いピクセルの輝度値」としてもよい。
また、第1輝度値を、着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第1方向一方側に着目ピクセルから第1所定位置離れて並ぶ第1設定数のピクセル(例えば着目ピクセルから3ピクセル離れて並ぶ4つのピクセルである場合、着目ピクセルから第1方向一方側に3つ目~6つ目に並んでいるピクセル)及び着目ピクセルの第1方向他方側に着目ピクセルから第2所定位置離れて並ぶ第2設定数のピクセルの平均輝度値とする。そして、ステップS34~S36において、第2輝度値に関する処理を行わないようにする。また、第3輝度値を、着目ピクセルの第2方向一方側に並ぶ第3設定数のピクセル内で最大となる輝度値ではなく、着目ピクセルの第2方向一方側に着目ピクセルから第3所定位置離れて並ぶ第3設定数のピクセル及び着目ピクセルの第2方向他方側に着目ピクセルから第4所定位置離れて並ぶ第4設定数のピクセルの平均輝度値(請求項8における「第2輝度値」に相当)とする。そして、ステップS34~S36において、第4輝度値に関する処理を行わないようにする。上記の置換を行った場合も、上述した実施形態と同様に、微小領域全体の輝度特性に基づいて異物の位置を特定しているため、異物の検出精度を高くすることができる。ただし、上記の置換を行った場合において、異物の減弱係数が被検査物T1(ただし、異物を除く)の減弱係数より小さい画像について適用するときには、ステップS33の処理において「小さい」を「大きい」に置き換え、ステップS34を置換した処理において「閾値TH1以下」を「閾値TH1以上」に置き換えるとよい。
CPU4は、過去に検査された被検査物T1の2次元のデジタルデータ(2次元X線撮影画像)により学習した人工知能を用いて異物の位置を特定してもよい。人工知能を用いることにより、異物の検出精度をより一層高めることができる。人工知能の設けられる場所は特に限定されない。例えばCPU4に人工知能を設けてもよい。また例えば検査装置100が通信ネットワークを介してアクセス可能なクラウド上に人工知能を設けてもよい。
上述した実施形態とは異なり、ステップS5において、誤検出部分除去処理が反映された異物の位置を示す各投影画像を全て足し合わせて得られる画像、つまり異物の位置を2次元表示する画像を出力画像として生成してもよい。
なお、検査装置100の構造上の制約により、第1X線検出部2Aと第2X線検出部2Bとを同じ高さに配置できない場合がある。この場合、図7に示すように第1X線検出部2AのZ軸方向位置と第2X線検出部2BのZ軸方向位置とが異なり、被検査物T1の同じ位置を通過したX線が入射するピクセルが第1X線検出部2Aと第2X線検出部2Bとでずれる。したがって、このずれを考慮して、Y軸方向において、第1X線照射部1A及び第1X線検出部2Aに由来する投影画像のピクセルに該当する、第2X線照射部1B及び第2X線検出部2Bに由来する投影画像のピクセルを特定すればよい。
上述した実施形態のように画素データ(ラインセンサで得られるデータ)を単純に並べること又は単純に積算することで撮影画像(2次元のデジタルデータ)を生成するのではなく、独自の画像処理に基づいて撮影画像を生成してもよい。独自の画像処理に基づいて撮影画像を生成する場合、被検査物T1の移動速度をラインセンサの画素サイズに必ずしも合わせる必要はない。
上述した実施形態では、2次元のデジタルデータから投影画像を生成し、各投影画像について異物の位置を特定し、異物の位置が特定された2枚の投影画像(二値化投影画像)の比較結果から異物の位置特定の誤検出部分を除去するという手順で被検査物T1を検査している。一方、上述した実施形態とは異なり、2次元の各デジタルデータについて異物の位置を特定し、異物の位置を特定して得られる2次元の二値化デジタルデータから投影画像を生成し、2次元の二値化デジタルデータから生成された2枚の投影画像の比較結果から異物の位置特定の誤検出部分を除去するという手順で被検査物T1を検査してもよい。この変形例において、CPU4が、過去に検査された被検査物T1の投影画像(2次元の二値化デジタルデータから生成された投影画像)により学習した人工知能を用いて異物の位置を特定してもよい。なお、本発明は、2枚の投影画像の比較結果から異物の位置特定の誤検出部分を除去する形態に限定されることはなく、2枚を複数枚に一般化することが可能である。したがって、3枚以上の投影画像の比較結果から異物の位置特定の誤検出部分を除去する形態であってもよい。
また、ラインセンサである第1X線検出部2A及び第2X線検出部2Bの代わりに、図8に示すように二次元検出器2Cを用いてもよい。二次元検出器2Cの斜線領域(図8参照)の検出結果を用いることで、二次元検出器2Cを擬似的な2つのラインセンサとすることができる。なお、図8に示す構成においても、図1に示す構成と同様に、第1X線照射部1A及び第2X線照射部1Bを共通化して単一のX線照射部にしてもよい。
また、単一の二次元検出器2Cの代わりに複数の二次元検出器を用い、複数の二次元検出器それぞれの一部領域の検出結果を用いることで、複数の二次元検出器を擬似的な複数のラインセンサとすることができる。
また、単一の二次元検出器2Cの代わりに単一のラインセンサを用い、単一の二次元検出器2Cの場合と同様に単一のラインセンサの複数領域の検出結果を用いることで、単一のラインセンサを擬似的な複数のラインセンサとすることができる。なお、単一のラインセンサは、Y軸方向に沿って延びる複数のラインを有するラインセンサである。
また、ラインセンサである第1X線検出部2A及び第2X線検出部2Bの代わりに、図9及び図10に示すように二次元検出器2D及び2Eを用いてもよい。図9及び図10に示す検査装置100は、例えば次のような動作を行うとよい。第2X線照射部1B及び二次元検出器2Eによる撮影が可能な位置に被検査物T1をベルトコンベア3の駆動により移動させ、その後ベルトコンベア3を停止させ、第2X線照射部1B及び二次元検出器2Eによる撮影が可能な位置に被検査物T1を静止させる(図9参照)。図9に示す静止状態において、第2X線照射部1B及び二次元検出器2Eによって被検査物T1を1ショット撮影する。それから、第1X線照射部1A及び二次元検出器2Dによる撮影が可能な位置に被検査物T1をベルトコンベア3の駆動により移動させ、その後ベルトコンベア3を停止させ、第1X線照射部1A及び二次元検出器2Dによる撮影が可能な位置に被検査物T1を静止させる(図10参照)。図10に示す静止状態において、第1X線照射部1A及び二次元検出器2Dによって被検査物T1を1ショット撮影する。
また、第1X線照射部1A、第2X線照射部1B、並びにラインセンサである第1X線検出部2A及び第2X線検出部2Bの代わりに、図11及び図12に示すようにX線照射部1C並びに二次元検出器2Fを用いてもよい。図11及び図12に示す検査装置100は、例えば次のような動作を行うとよい。被検査物T1を第1の所定位置までベルトコンベア3の駆動により移動させる。このとき被検査物T1の移動に連動して二次元検出器2Fも不図示の移動機構により移動させる。その後ベルトコンベア3及び不図示の移動機構を停止させ、被検査物T1を第1の所定位置に静止させ、二次元検出器2Fを第1の所定位置に対応する位置に静止させる(図11参照)。図11に示す静止状態において、X線照射部1C及び二次元検出器2Fによって被検査物T1を1ショット撮影する。それから、被検査物T1を第2の所定位置までベルトコンベア3の駆動により移動させる。このとき被検査物T1の移動に連動して二次元検出器2Fも不図示の移動機構により移動させる。その後ベルトコンベア3及び不図示の移動機構を停止させ、被検査物T1を第2の所定位置に静止させ、二次元検出器2Fを第2の所定位置に対応する位置に静止させる(図12参照)。図12に示す静止状態において、X線照射部1C及び二次元検出器2Fによって被検査物T1を1ショット撮影する。
以上の説明では、被検査物T1とX線撮影に用いたX線照射部との位置関係がX軸方向においてのみ異なる複数枚の2次元X線撮影画像が生成されたが、被検査物T1とX線撮影に用いたX線照射部との位置関係がY軸方向においてのみ異なる複数枚の2次元X線撮影画像が生成されてもよく、被検査物T1とX線撮影に用いたX線照射部との位置関係がX軸方向、Y軸方向の両方において異なる複数枚の2次元X線撮影画像が生成されてもよい。
1 X線照射部
1A 第1X線照射部
1B 第2X線照射部
1C X線照射部
2 X線検出部
2A 第1X線検出部
2B 第2X線検出部
2C~2F 二次元検出器
3 ベルトコンベア
4 CPU
5 ROM
6 RAM
7 VRAM
8 表示部
9 HDD
10 入力部
100 検査装置

Claims (14)

  1. 被検査物をX線撮影の対象とし、前記被検査物と前記X線撮影に用いたX線照射部及びX線検出部との位置関係が異なる複数枚の2次元X線撮影画像を前記X線撮影に用いたX線検出部の検出結果に基づき生成する第1画像生成部と、
    第1特定部、第1投影部、及び第1除去部か第2投影部、第2特定部、及び第2除去部かのいずれか一方と、
    を備え、
    前記第1特定部は、複数枚の前記2次元X線撮影画像それぞれを異物の位置を特定した二値化撮影画像に変換し、
    前記第1投影部は、複数枚の前記二値化撮影画像のうちの一つを位置が異なる複数の平面である第1平面群に投影し、複数枚の前記二値化撮影画像のうちの残りそれぞれを同様に前記第1平面群に投影して第1投影画像を生成し、
    前記第1除去部は、同じ平面に投影された複数枚の前記第1投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去し、
    前記第2投影部は、複数枚の前記2次元X線撮影画像のうちの一つを位置が異なる複数の平面である第2平面群に投影し、複数枚の前記2次元X線撮影画像のうちの残りそれぞれを同様に前記第2平面群に投影して第2投影画像を生成し、
    前記第2特定部は、複数枚の前記第2投影画像それぞれを異物の位置を特定した二値化投影画像に変換し、
    前記第2除去部は、同じ平面に投影された複数枚の前記二値化投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去することを特徴とする検査装置。
  2. 前記第1特定部又は前記第2特定部は、過去に検査された前記被検査物の前記2次元X線撮影画像又は前記第2投影画像により学習した人工知能を用いて、異物の位置を特定する請求項1に記載の検査装置。
  3. 前記第1除去部又は前記第2除去部は、
    投影した平面上の同じ座標に該当する前記第1投影画像又は前記二値化投影画像のピクセル同士を比較し、
    所定の平面に投影したピクセルを基準とした前記複数の平面それぞれへの前記二値化撮影画像又は前記二値化投影画像におけるピクセルのずれを考慮して、前記比較の結果に基づいて異物の位置特定の誤検出部分を除去する請求項1又は請求項2に記載の検査装置。
  4. 前記第1特定部又は前記第2特定部によって特定された異物の位置を2次元表示する画像を生成する第2画像生成部を備える請求項1~3のいずれか一項に記載の検査装置。
  5. 前記第1特定部又は前記第2特定部によって特定された異物の位置を3次元表示する画像を生成する第2画像生成部を備える請求項1~3のいずれか一項に記載の検査装置。
  6. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、
    前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最大となる第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で最大となる第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で最大となる第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で最大となる第4輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以下になるという第1条件、
    (b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以下になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  7. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、
    前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で前記着目ピクセルより輝度値が大きく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第4輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以下になるという第1条件、
    (b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以下になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  8. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上小さい場合に、
    前記着目ピクセルの第1方向一方側に前記着目ピクセルから第1所定位置離れて並ぶ第1設定数のピクセル及び前記着目ピクセルの第1方向他方側に第2所定位置離れて並ぶ第2設定数のピクセルの平均輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に前記着目ピクセルから第3所定位置離れて並ぶ第3設定数のピクセル及び前記着目ピクセルの第2方向他方側に前記着目ピクセルから第4所定位置離れて並ぶ第4設定数のピクセルの平均輝度値である第2輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合が第1閾値以下になるという第1条件、
    (b)前記第2輝度値に対する前記着目ピクセルの輝度値の割合が第2閾値以下になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  9. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、
    前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で最小となる第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で最小となる第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で最小となる第3輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で最小となる第4輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以上になるという第1条件、
    (b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以上になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  10. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、
    前記着目ピクセルの第1方向一方側に並ぶ第1設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向他方側に並ぶ第2設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第2輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に並ぶ第3設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値である第3輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値を算出し、前記着目ピクセルの第2方向他方側に並ぶ第4設定数のピクセル内で前記着目ピクセルより輝度値が小さく且つ前記着目ピクセルからできるだけ離れているピクセルの輝度値又は前記着目ピクセルからできるだけ近いピクセルの輝度値である第4輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合及び前記第2輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第1閾値以上になるという第1条件、
    (b)前記第3輝度値に対する前記着目ピクセルの輝度値の割合及び前記第4輝度値に対する前記着目ピクセルの輝度値の割合がそれぞれ第2閾値以上になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  11. 前記第1特定部又は前記第2特定部は、
    前記2次元X線撮影画像又は前記第2投影画像を所定の領域毎に分割する分割部と、
    前記所定の領域それぞれにおける平均輝度値を算出する算出部と、
    を備え、
    着目ピクセルの輝度値が、前記着目ピクセルの属する前記所定の領域における前記平均輝度値よりも所定値以上大きい場合に、
    前記着目ピクセルの第1方向一方側に前記着目ピクセルから第1所定位置離れて並ぶ第1設定数のピクセル及び前記着目ピクセルの第1方向他方側に第2所定位置離れて並ぶ第2設定数のピクセルの平均輝度値である第1輝度値を算出し、前記着目ピクセルの第1方向と異なる方向である第2方向一方側に前記着目ピクセルから第3所定位置離れて並ぶ第3設定数のピクセル及び前記着目ピクセルの第2方向他方側に前記着目ピクセルから第4所定位置離れて並ぶ第4設定数のピクセルの平均輝度値である第2輝度値を算出し、
    所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定し、
    前記所定の条件は、
    (a)前記第1輝度値に対する前記着目ピクセルの輝度値の割合が第1閾値以上になるという第1条件、
    (b)前記第2輝度値に対する前記着目ピクセルの輝度値の割合が第2閾値以上になるという第2条件、
    (c)前記第1条件及び前記第2条件、
    のうちのいずれか一つである請求項1~5のいずれか一項に記載の検査装置。
  12. 前記所定の条件が成立しなければ、
    前記所定の領域の大きさを変更し、前記第1閾値及び前記第2閾値の少なくとも一方を変更し、その後、前記所定の領域の大きさを変更し、前記第1閾値及び前記第2閾値の少なくとも一方を変更した状態で前記所定の条件が成立すれば、前記着目ピクセルを異物の位置として特定する請求項6~11のいずれか一項に記載の検査装置。
  13. 前記X線検出部は、第1のX線検出部を備え、前記第1のX線検出部を擬似的な複数の第2のX線検出部として用い、前記第1のX線検出部は二次元検出器又は単一のラインセンサであり、前記疑似的な複数の第2のX線検出部は疑似的な複数のラインセンサである請求項1~12のいずれか一項に記載の検査装置。
  14. 被検査物をX線撮影の対象とし、前記被検査物と前記X線撮影に用いたX線照射部及びX線検出部との位置関係が異なる複数枚の2次元X線撮影画像を前記X線撮影に用いたX線検出部の検出結果に基づき生成する第1画像生成ステップと、
    第1特定ステップ、第1投影ステップ、及び第1除去ステップか第2投影ステップ、第2特定ステップ、及び第2除去ステップかのいずれか一方と、
    を備え、
    前記第1特定ステップは、複数枚の前記2次元X線撮影画像それぞれを異物の位置を特定した二値化撮影画像に変換し、
    前記第1投影ステップは、複数枚の前記二値化撮影画像のうちの一つを位置が異なる複数の平面である第1平面群に投影し、複数枚の前記二値化撮影画像のうちの残りそれぞれを同様に前記第1平面群に投影して第1投影画像を生成し、
    前記第1除去ステップは、同じ平面に投影された複数枚の前記第1投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去し、
    前記第2投影ステップは、複数枚の前記2次元X線撮影画像のうちの一つを位置が異なる複数の平面である第2平面群に投影し、複数枚の前記2次元X線撮影画像のうちの残りそれぞれを同様に前記第2平面群に投影して第2投影画像を生成し、
    前記第2特定ステップは、複数枚の前記第2投影画像それぞれを異物の位置を特定した二値化投影画像に変換し、
    前記第2除去ステップは、同じ平面に投影された複数枚の前記二値化投影画像同士を比較し、比較結果に基づいて異物の位置特定の誤検出部分を除去することを特徴とする検査方法。
JP2020079924A 2020-04-30 2020-04-30 検査装置及び検査方法 Active JP7267611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020079924A JP7267611B2 (ja) 2020-04-30 2020-04-30 検査装置及び検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020079924A JP7267611B2 (ja) 2020-04-30 2020-04-30 検査装置及び検査方法

Publications (2)

Publication Number Publication Date
JP2021173716A JP2021173716A (ja) 2021-11-01
JP7267611B2 true JP7267611B2 (ja) 2023-05-02

Family

ID=78278306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020079924A Active JP7267611B2 (ja) 2020-04-30 2020-04-30 検査装置及び検査方法

Country Status (1)

Country Link
JP (1) JP7267611B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266695A (ja) 1999-03-16 2000-09-29 Shimadzu Corp ゆで卵検査装置
US20050067570A1 (en) 2003-09-05 2005-03-31 Retterath James E. System for automated detection of embedded objects
JP2005172510A (ja) 2003-12-09 2005-06-30 Ishida Co Ltd 放射線異物検査装置および放射線異物検査方法
JP2006258781A (ja) 2005-02-15 2006-09-28 Takashima Giken Kk 異物検査方法及び異物検査装置
CN202101952U (zh) 2011-03-30 2012-01-04 上海高晶检测科技股份有限公司 X射线检测装置
JP2012122927A (ja) 2010-12-10 2012-06-28 Anritsu Sanki System Co Ltd X線異物検出装置
CN103134822A (zh) 2011-11-22 2013-06-05 全友电脑股份有限公司 检测待测物的缺陷深度的系统及方法
KR101445143B1 (ko) 2013-07-12 2014-10-01 (주)자비스 다중 영상 결합을 통한 이물 신호 화상 처리 개선 방법
JP2015078950A (ja) 2013-10-18 2015-04-23 キヤノン株式会社 X線検査装置
JP2015158454A (ja) 2014-02-25 2015-09-03 株式会社 システムスクエア 検査波を用いた検査装置
JP2020020593A (ja) 2018-07-30 2020-02-06 高嶋技研株式会社 放射線検査装置及び放射線検査方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2937324B2 (ja) * 1988-05-26 1999-08-23 株式会社東芝 欠陥異物検出装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266695A (ja) 1999-03-16 2000-09-29 Shimadzu Corp ゆで卵検査装置
US20050067570A1 (en) 2003-09-05 2005-03-31 Retterath James E. System for automated detection of embedded objects
JP2005172510A (ja) 2003-12-09 2005-06-30 Ishida Co Ltd 放射線異物検査装置および放射線異物検査方法
JP2006258781A (ja) 2005-02-15 2006-09-28 Takashima Giken Kk 異物検査方法及び異物検査装置
JP2012122927A (ja) 2010-12-10 2012-06-28 Anritsu Sanki System Co Ltd X線異物検出装置
CN202101952U (zh) 2011-03-30 2012-01-04 上海高晶检测科技股份有限公司 X射线检测装置
CN103134822A (zh) 2011-11-22 2013-06-05 全友电脑股份有限公司 检测待测物的缺陷深度的系统及方法
KR101445143B1 (ko) 2013-07-12 2014-10-01 (주)자비스 다중 영상 결합을 통한 이물 신호 화상 처리 개선 방법
JP2015078950A (ja) 2013-10-18 2015-04-23 キヤノン株式会社 X線検査装置
JP2015158454A (ja) 2014-02-25 2015-09-03 株式会社 システムスクエア 検査波を用いた検査装置
JP2020020593A (ja) 2018-07-30 2020-02-06 高嶋技研株式会社 放射線検査装置及び放射線検査方法

Also Published As

Publication number Publication date
JP2021173716A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
KR101367747B1 (ko) 방사선 촬영장치 및 그 제어 방법
US20050078861A1 (en) Tomographic system and method for iteratively processing two-dimensional image data for reconstructing three-dimensional image data
US20180080763A1 (en) X-ray inspection apparatus and control method
JP2015520846A (ja) Ct密度画像とスパースマルチエネルギーデータを用いてボクセルセットのz−有効値を決定する方法およびシステム{determinationofz−effectivevalueforsetofvoxelsusingctdensityimageandsparsemulti−energydata}
KR102541717B1 (ko) 선형 검출기 어레이를 위한 갭 해상도
US11860111B2 (en) Image reconstruction method for X-ray measuring device, structure manufacturing method, image reconstruction program for X-ray measuring device, and X-ray measuring device
CN113167746A (zh) 用于无损分析测试对象的动态辐射准直
JP7267611B2 (ja) 検査装置及び検査方法
CN108065950B (zh) 一种放射成像方法及其系统
US11022570B2 (en) X-ray transmission inspection apparatus and X-ray transmission inspection method
JP7178620B2 (ja) 検査装置及び検査方法
JP7178621B2 (ja) 画像処理装置及び画像処理方法
JP6591332B2 (ja) 放射線強度分布測定システム及び方法
JP7304077B2 (ja) 検査結果表示装置及び検査結果表示方法
JP6843683B2 (ja) X線検査装置
JP2010005373A (ja) 放射線画像補正方法および装置ならびにプログラム
KR101270002B1 (ko) 임상용 시스템 검출 양자효율 검출 방법 및 그 시스템
JP2012130518A (ja) 画像処理装置、画像処理プログラム、及びx線画像診断装置
JP6803768B2 (ja) 材料分析装置、材料分析方法及びx線ct装置
RU2776469C1 (ru) Динамическое коллимирование излучения для неразрушающего анализа тестовых объектов
JPS63125242A (ja) X線ct装置
Pereira et al. Conveyor belt X-ray CT using domain constrained discrete tomography
FI125985B (fi) Röntgenkuvauslaite, sen kuvankäsittelymenetelmä, ja ohjelma
JP2018183364A (ja) 放射線撮影装置、放射線撮影方法およびプログラム
AZZARELLI AN IMAGE PROCESSING SYSTEM FOR QUALITY ASSURANCE IN DIAGNOSTIC RADIOLOGY X M. LAZZERI L. AZZARELLI

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R150 Certificate of patent or registration of utility model

Ref document number: 7267611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150