JP5297142B2 - Foreign object detection method and apparatus - Google Patents

Foreign object detection method and apparatus Download PDF

Info

Publication number
JP5297142B2
JP5297142B2 JP2008263207A JP2008263207A JP5297142B2 JP 5297142 B2 JP5297142 B2 JP 5297142B2 JP 2008263207 A JP2008263207 A JP 2008263207A JP 2008263207 A JP2008263207 A JP 2008263207A JP 5297142 B2 JP5297142 B2 JP 5297142B2
Authority
JP
Japan
Prior art keywords
image
equivalent thickness
component
ray
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008263207A
Other languages
Japanese (ja)
Other versions
JP2010091483A (en
Inventor
正英 山崎
聖剛 上田
Original Assignee
アンリツ産機システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンリツ産機システム株式会社 filed Critical アンリツ産機システム株式会社
Priority to JP2008263207A priority Critical patent/JP5297142B2/en
Publication of JP2010091483A publication Critical patent/JP2010091483A/en
Application granted granted Critical
Publication of JP5297142B2 publication Critical patent/JP5297142B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description


本発明は、被測定物のデュアルエネルギーX線画像を差分処理して混入異物の有無検出を行う、異物検出方法および異物検出装置に関する。

The present invention relates to a foreign object detection method and a foreign object detection apparatus that perform differential processing on a dual energy X-ray image of an object to be measured to detect the presence or absence of a mixed foreign object.

食品中の外来性異物や食肉中の残骨といった混入異物のX線検査を高コントラストな異成分画像を用い高感度に実施したい場合に有効な標準的方法として、ローエネルギーとハイエネルギーのデュアルエネルギーX線画像をローエネルギーとハイエネルギーの等価厚画像ペアに対数変換してから重み付き差分処理することにより異成分画像を分離するエネルギーサブトラクション(特許文献1参照)が知られている。   Dual energy of low energy and high energy is an effective standard method for performing X-ray inspection of foreign substances such as foreign substances in food and residual bones in meat with high sensitivity using high-contrast different component images. An energy subtraction (see Patent Document 1) is known in which an X-ray image is logarithmically converted into a low energy and high energy equivalent thickness image pair and then subjected to weighted difference processing to separate different component images.


食品や食肉といった被測定物を透過したローエネルギーX線とハイエネルギーX線の強度は、間接変換型X線検出器を複数用いたエネルギー別フォトインテグレーションX線光学系(特許文献2参照)によって、または、X線光子到着毎に当該光子エネルギーを弁別する直接変換型X線検出器を単数用いたエネルギー別フォトカウンティングX線光学系によって、ローエネルギーとハイエネルギーのX線画像ペアすなわちデュアルエネルギーX線画像に変換できる。

The intensities of low energy X-rays and high energy X-rays that have passed through an object to be measured such as food and meat are determined by an energy-specific photointegration X-ray optical system using a plurality of indirect conversion X-ray detectors (see Patent Document 2). Alternatively, a low-energy and high-energy X-ray image pair, that is, dual-energy X-rays, can be obtained by an energy-specific photocounting X-ray optical system using a single direct-conversion X-ray detector that discriminates the photon energy every arrival of X-ray photons. Can be converted to an image.


前記エネルギー別フォトインテグレーションX線光学系の場合、当該X線光学系に依存して発生する前記デュアルエネルギーX線画像の相対位置ずれを無くすためイメージレジストレーション処理が必要になる。前記エネルギー別フォトカウンティングX線光学系の場合、当該相対位置ずれは発生しない。

In the case of the energy-specific photointegration X-ray optical system, an image registration process is required to eliminate the relative positional shift of the dual energy X-ray image generated depending on the X-ray optical system. In the case of the energy-specific photocounting X-ray optical system, the relative displacement does not occur.

混入異物を異成分として高コントラストに検出できるようにエネルギー帯域を適切に設定しておくとともに、前記重み付き差分処理の重みパラメータの設定が最適であれば、相対位置ずれの無いデュアルエネルギーX線画像に前記エネルギーサブトラクションを適用することによって直ちに高コントラストな異成分画像が分離できて、混入異物の有無判定が当該異成分画像に対する簡単な閾値処理で実現できる。   A dual energy X-ray image having no relative positional deviation is set if the energy band is appropriately set so that the mixed foreign matter can be detected as a different component with high contrast and the weight parameter of the weighted difference processing is optimal. By applying the energy subtraction, the high-contrast different-component image can be immediately separated, and the presence / absence determination of the contaminated foreign matter can be realized by simple threshold processing for the different-component image.

特開平04−11473号公報JP 04-11473 A 特開2002−365368号公報JP 2002-365368 A

前記エネルギーサブトラクションは食品中の外来性異物や食肉中の残骨といった混入異物のX線検査を高コントラストな異成分画像を用いて高感度に実施したい場合に効果を発揮する方法ではあるが,デュアルエネルギーX線画像の撮像条件や食品や食肉といった被測定物に依存する前記重み付き差分処理の重みパラメータを最適に設定する作業が微妙で煩わしいという欠点の克服が課題であった。   The energy subtraction is a method that exerts an effect when it is desired to perform X-ray inspection of foreign matters such as extraneous foreign matter in food and residual bone in meat with high sensitivity using high-contrast different component images. It has been a problem to overcome the disadvantage that the work of optimally setting the weighting parameters of the weighted difference processing depending on the imaging condition of the energy X-ray image and the object to be measured such as food and meat is delicate and troublesome.

本発明の目的は、前記重みパラメータを自動設定することによって当該欠点を克服した異物検出方法および異物検出装置の提供にある。 An object of the present invention is to provide a foreign object detection method and a foreign object detection device that can overcome the drawbacks by automatically setting the weight parameter.


本発明の発明者は、食品中の外来性異物や食肉中の残骨といった混入異物のX線吸収スペクトルと食品や食肉といった被測定物のX線吸収スペクトルが異なっている点に着眼して独立成分分析を行った結果、混入異物が被測定物の異成分画像として分離できるという事実を実験により見出していたが、この事実を応用すれば設定が煩わしいエネルギーサブトラクションにおける重みパラメータを最適に自動設定することができると考え、本発明に到達したものである。

The inventor of the present invention pays attention to the fact that the X-ray absorption spectrum of a foreign substance such as an extraneous foreign substance in food or a residual bone in meat is different from the X-ray absorption spectrum of an object to be measured such as food or meat. As a result of component analysis, we have found through experiments that the contaminated foreign matter can be separated as a different component image of the object to be measured. By applying this fact, the weight parameter for energy subtraction, which is troublesome to set, is automatically set optimally. The present invention has been reached.

本発明の請求項1に係わる異物検出方法は、被測定物のデュアルエネルギーX線画像を差分処理して混入異物の有無検出を行う異物検出方法であって、前記デュアルエネルギーX線画像としてローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成する段階と、前記等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める段階と、前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求める段階と、前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離する段階と、前記混入異物の成分画像を閾値処理して異物検出する段階と、を含む構成を有している。   A foreign matter detection method according to claim 1 of the present invention is a foreign matter detection method for detecting the presence or absence of a mixed foreign matter by performing differential processing on a dual energy X-ray image of an object to be measured. Generating an equivalent thickness image pair of an equivalent thickness image and a high energy equivalent thickness image, and applying independent component analysis so as to separate the mixed foreign substance component and the measured object component into the equivalent thickness image pair Obtaining a separation matrix, obtaining a weight parameter for the difference processing based on two separation vectors that are elements of the separation matrix, and performing the difference processing using the weight parameter from the equivalent thickness image pair. The method includes a step of separating a component image of the mixed foreign matter and a step of detecting a foreign matter by performing threshold processing on the component image of the mixed foreign matter.

この構成により、前記差分処理に用いる最適な重みパラメータを被測定物のデュアルエネルギーX線画像に合わせて自動設定することが可能となり高感度な異物検出ができる。   With this configuration, it is possible to automatically set the optimum weight parameter used for the difference processing in accordance with the dual energy X-ray image of the object to be measured, and highly sensitive foreign matter detection can be performed.

本発明の請求項2に係わる異物検出方法は、本発明の請求項1に係わる異物検出方法において、前記等価厚画像ペアに独立成分分析を適用して分離行列を求める段階の前に、前記等価厚画像ペアの画像ノイズを低減する段階を付加したものである。
すなわち被測定物のデュアルエネルギーX線画像を差分処理して混入異物の有無検出を行う異物検出方法であって、前記デュアルエネルギーX線画像としてローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成する段階と、前記等価厚画像ペアの画像ノイズを低減する段階と、前記画像ノイズを低減された等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める段階と、前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求める段階と、前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離する段階と、前記混入異物の成分画像を閾値処理して異物検出する段階と、を含む構成を有している。
The foreign matter detection method according to claim 2 of the present invention is the foreign matter detection method according to claim 1 of the present invention, wherein the equivalent matrix image is obtained before the step of obtaining a separation matrix by applying independent component analysis to the equivalent thickness image pair. A step of reducing the image noise of the thick image pair is added.
In other words, a foreign matter detection method for detecting the presence or absence of mixed foreign matter by performing differential processing on a dual energy X-ray image of an object to be measured, the equivalent thickness of a low energy equivalent thickness image and a high energy equivalent thickness image as the dual energy X-ray image Generating an image pair, reducing image noise of the equivalent thickness image pair, and separating the mixed foreign substance component and the measured object component from the equivalent thickness image pair with reduced image noise Applying independent component analysis to obtain a separation matrix, obtaining a weight parameter for the difference processing based on two separation vectors that are elements of the separation matrix, and the difference using the weight parameter. Separating the component image of the mixed foreign matter from the pair of equivalent thickness images by processing, and detecting the foreign matter by performing threshold processing on the component image of the mixed foreign matter It has a step that, a configuration including a.

この構成により、前記差分処理に用いる最適な重みパラメータを被測定物のノイズ低減されたデュアルエネルギーX線画像に合わせて自動設定することが可能となり高感度な異物検出ができる。   With this configuration, it is possible to automatically set the optimum weight parameter used for the difference processing in accordance with the dual energy X-ray image of the object to be measured with reduced noise, and highly sensitive foreign matter detection can be performed.

本発明の請求項3に係わる異物検出装置は、被測定物3にX線を照射するX線照射手段2と、前記被測定物を透過したX線強度をローエネルギーとハイエネルギーのX線画像ペアに変換するX線検出手段4と、前記X線画像ペアをデュアルエネルギーX線画像として記憶する画像入力手段5と、前記デュアルエネルギーX線画像を差分処理して被測定物に混入している異物の有無を検出する画像処理手段6と、を具備した異物検出装置において、画像処理手段6に請求項1の異物検出方法を用いている。
すなわち請求項1の異物検出方法を用いた前記画像処理手段6は、前記デュアルエネルギーX線画像からローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成する等価厚画像生成手段61と、前記等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める分離行列算出手段63と、前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求めるパラメータ算出手段64と、前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離する異成分画像分離手段67と、前記混入異物の成分画像を閾値処理して異物検出する異物検出手段68と、を具備している。
The foreign object detection apparatus according to claim 3 of the present invention is an X-ray irradiating means 2 for irradiating the object to be measured 3 with X-rays, and the X-ray intensity transmitted through the object to be measured is an X-ray image of low energy and high energy. X-ray detection means 4 for converting into a pair, image input means 5 for storing the X-ray image pair as a dual energy X-ray image, and differential processing of the dual energy X-ray image is mixed into the object to be measured. In the foreign matter detection apparatus comprising the image processing means 6 for detecting the presence or absence of foreign matter, the foreign matter detection method of claim 1 is used for the image processing means 6.
That is, the image processing means 6 using the foreign object detection method according to claim 1 generates an equivalent thickness image generating means 61 for generating an equivalent thickness image pair of a low energy equivalent thickness image and a high energy equivalent thickness image from the dual energy X-ray image. A separation matrix calculating means 63 for obtaining a separation matrix by applying independent component analysis so as to separate the mixed foreign substance component and the measured object component from the equivalent thickness image pair, and elements of the separation matrix A parameter calculation unit 64 for obtaining a weight parameter for the difference processing based on two separation vectors, and a different component for separating the component image of the mixed foreign matter from the equivalent thickness image pair by the difference processing using the weight parameter. An image separation unit 67 and a foreign matter detection unit 68 that detects a foreign matter by performing threshold processing on the component image of the mixed foreign matter are provided.

この構成により、前記差分処理に用いる最適な重みパラメータを被測定物に合わせて自動設定することが可能となり高感度な異物検出装置が実現できる。   With this configuration, it is possible to automatically set the optimum weight parameter used for the difference processing according to the object to be measured, and a highly sensitive foreign matter detection apparatus can be realized.

本発明の請求項4に係わる異物検出装置は、本発明の請求項3に係わる異物検出装置において、前記等価厚画像ペアの画像ノイズを低減する画像ノイズ低減手段62を備え、前記分離行列を求める手段は、ノイズ低減された等価厚画像ペアに対し分離行列を求めるようにしたものである。   A foreign object detection apparatus according to a fourth aspect of the present invention is the foreign object detection apparatus according to the third aspect of the present invention, comprising image noise reduction means 62 for reducing image noise of the equivalent thickness image pair, and obtaining the separation matrix. The means is to obtain a separation matrix for the equivalent thickness image pair with reduced noise.

この構成により、前記差分処理に用いる最適な重みパラメータを被測定物のノイズ低減されたデュアルエネルギーX線画像に合わせて自動設定することが可能となり高感度な異物検出装置が実現できる。   With this configuration, it is possible to automatically set the optimum weight parameter used for the difference processing in accordance with the dual energy X-ray image of the object to be measured with reduced noise, and a highly sensitive foreign matter detection apparatus can be realized.

本発明の請求項5に係わる異物検出装置は、本発明の請求項3または4に係わる異物検出装置において、前記画像処理手段6の中に、パラメータ算出手段64で求められた重みパラメータを記憶させるパラメータ記憶手段69と、前記記憶させた重みパラメータを参照するパラメータ参照手段60と、を付加したものである。   The foreign matter detection apparatus according to claim 5 of the present invention is the foreign matter detection apparatus according to claim 3 or 4 of the present invention, wherein the weight parameter obtained by the parameter calculation means 64 is stored in the image processing means 6. A parameter storage unit 69 and a parameter reference unit 60 for referring to the stored weight parameter are added.

この構成により、特定の被測定物に合わせて求めらた前記差分処理に用いる最適な重みパラメータを記憶させておき、同種の被測定物に対しても毎回行っていた分離行列算出から重みパラメータ算出にいたる計算処理に替えて、当該重みパラメータを参照させることによって、最適な重みパラメータを求めた特定の被測定物と同種の被測定物を高速に検査できるようにした高感度な異物検出装置が実現できる。   With this configuration, the optimum weight parameter used for the difference processing obtained according to the specific object to be measured is stored, and the weight parameter is calculated from the separation matrix calculation that has been performed each time for the same kind of object to be measured. A high-sensitivity foreign matter detection device that can inspect a measurement object of the same type as the specific measurement object for which the optimum weight parameter has been obtained by referring to the weight parameter instead of the calculation process leading to realizable.

本発明の請求項1に係わる異物検出方法は、前記差分処理に用いる最適な重みパラメータを被測定物のデュアルエネルギーX線画像に合わせて自動設定することが可能となり、高感度で安定した異物検出を行うことができる。   In the foreign matter detection method according to claim 1 of the present invention, it is possible to automatically set the optimum weighting parameter used for the difference processing in accordance with the dual energy X-ray image of the object to be measured. It can be performed.

本発明の請求項2に係わる異物検出方法は、前記差分処理に用いる最適な重みパラメータを被測定物のノイズ低減されたデュアルエネルギーX線画像に合わせて自動設定することが可能となり、格段に高感度で安定した異物検出を行うことができる。   In the foreign matter detection method according to claim 2 of the present invention, it is possible to automatically set the optimum weight parameter used for the difference processing according to the dual energy X-ray image of the object to be measured with reduced noise, which is extremely high. Sensitive foreign object detection can be performed with high sensitivity.

本発明の請求項3または4に係わる異物検出装置は、前記差分処理に用いる最適な重みパラメータを被測定物に合わせて自動設定することが可能となるため、高感度で安定した異物検出を行うことができる。   The foreign object detection apparatus according to claim 3 or 4 of the present invention can automatically set the optimum weight parameter used for the difference processing in accordance with the object to be measured, and therefore performs highly sensitive and stable foreign object detection. be able to.

本発明の請求項5に係わる異物検出装置は、特定の被測定物に合わせて求められた前記差分処理に用いる最適な重みパラメータを記憶させておき、当該重みパラメータを参照させることによって、同種の被測定物を高速に検査できるため、高感度で高速な異物検出を行うことができる。   The foreign object detection apparatus according to claim 5 of the present invention stores the optimum weight parameter used for the difference processing obtained in accordance with a specific object to be measured, and refers to the weight parameter to thereby obtain the same kind of weight parameter. Since the object to be measured can be inspected at high speed, high-sensitivity and high-speed foreign object detection can be performed.

以下、本発明の好ましい実施の形態について図面を参照しつつ説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

1.第1実施形態(図1〜図2)
本実施形態の異物検出装置は図1に示すように、被測定物3を搬送する搬送手段1と、被測定物3にX線を照射するX線照射手段(X線源)2と、前記被測定物を透過したX線強度をローエネルギーとハイエネルギーのX線画像ペアに変換するX線検出手段4と、前記X線画像ペアをデュアルエネルギーX線画像として記憶する画像入力手段5と、前記デュアルエネルギーX線画像を差分処理して被測定物に混入している異物の有無を検出する画像処理手段6とを備え、必要に応じて画像表示手段7を備えている。
1. 1st Embodiment (FIGS. 1-2)
As shown in FIG. 1, the foreign object detection apparatus according to the present embodiment includes a conveying unit 1 that conveys a measurement object 3, an X-ray irradiation unit (X-ray source) 2 that irradiates the measurement object 3 with X-rays, X-ray detection means 4 for converting the X-ray intensity transmitted through the object to be measured into a low energy and high energy X-ray image pair; an image input means 5 for storing the X-ray image pair as a dual energy X-ray image; Image processing means 6 for detecting the presence or absence of foreign matter mixed in the object to be measured by performing differential processing on the dual energy X-ray image, and image display means 7 as necessary.

搬送手段1は、例えばX線を良く透過するベルトコンベアで実現され、対向配置されたX線源2とX線検出手段4の間を通して被測定物3を搬送する。X線源2から照射されたX線は、被測定物3による吸収と前記ベルトコンベアによる僅かな吸収を受けてこれらを透過した後、X線検出手段4に到達する。 The transport unit 1 is realized by, for example, a belt conveyor that transmits X-rays well, and transports the object to be measured 3 between the X-ray source 2 and the X-ray detection unit 4 that are opposed to each other. The X-rays irradiated from the X-ray source 2 are absorbed by the object to be measured 3 and slightly absorbed by the belt conveyor, pass through them, and reach the X-ray detection means 4.

X線検出手段4は、例えばX線光子到着毎に当該光子エネルギーを弁別する直接変換型X線ラインセンサで実現され、エネルギー別フォトカウンティングX線光学系を成すことによって、前記X線ラインセンサによる1ライン上のサンプリングピッチと略等しいサンプリングピッチで搬送方向にサンプリングすることによって被測定物3と前記ベルトコンベアを透過したX線強度をエネルギー帯域別の画像データとしてメモリー上に取り込み、ローエネルギーとハイエネルギーのX線画像ペアに変換する。   The X-ray detection means 4 is realized by, for example, a direct conversion type X-ray line sensor that discriminates the photon energy every arrival of an X-ray photon, and forms an energy-specific photocounting X-ray optical system, thereby By sampling in the conveying direction at a sampling pitch substantially equal to the sampling pitch on one line, the X-ray intensity transmitted through the object to be measured 3 and the belt conveyor is taken into the memory as image data for each energy band, and low energy and high Convert to energy X-ray image pairs.

なお図示しないが、X線検出手段4として前記直接変換型X線ラインセンサに替えてローエネルギー用とハイエネルギー用に2台の間接変換型X線ラインセンサを用いることで、エネルギー別フォトインテグレーションX線光学系を成しても良い。 Although not shown in the figure, by using two indirect conversion type X-ray line sensors for the low energy and the high energy instead of the direct conversion type X-ray line sensor as the X-ray detection means 4, the photo-integration X for each energy A linear optical system may be formed.


画像入力手段5は、被測定物3の前記X線画像ペアを相対位置ずれの無いデュアルエネルギーX線画像として記憶し、画像処理手段6に出力する。なお前記エネルギー別フォトインテグレーションX線光学系を成した場合は、メモリー上に取り込まれたX線画像ペアの相対位置ずれを無くすため、ここでイメージレジストレーション処理を行う。

The image input unit 5 stores the X-ray image pair of the DUT 3 as a dual energy X-ray image without a relative positional shift, and outputs it to the image processing unit 6. When the photo-integrated X-ray optical system for each energy is formed, image registration processing is performed here in order to eliminate the relative displacement of the X-ray image pair captured on the memory.


画像処理手段6は画像処理プログラム等が実装されたCPU等で、図2に示す本発明に係わる異物検出方法が実装されており、画像入力手段5から出力された相対位置ずれの無いデュアルエネルギーX線画像の入力を受けて(ステップS101)、等価厚画像生成手段61で対数変換を行うことによってローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成し(ステップS102)、必要に応じて画像ノイズ低減手段62で前記等価厚画像ペアにエッジ保存平滑化処理等を適用して画像ノイズを低減し(ステップS103)、分離行列計算手段63で当該等価厚画像ペアに独立成分分析を適用して分離行列を求め(ステップS104)、分離ベクトル判別手段641でローエネルギーのハイエネルギーからの差分に近い方の分離ベクトルを異成分の分離ベクトルとして判別し(ステップS105)、分離ベクトル正規化手段642で当該異成分の分離ベクトルをローエネルギーからスケーリングされたハイエネルギーが差し引かれる形に正規化し(ステップS106)、パラメータ設定手段643で前記正規化された分離ベクトルを前記差分処理の重みパラメータとして自動設定する(ステップS107)。すなわち手段641〜643(ステップS105〜S107)から構成されるパラメータ算出手段64によって前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求めて自動設定する。さらに、前記自動設定された重みパラメータを用いて異成分画像分離手段67で前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離し(ステップS108)、異物検出手段68で前記混入異物の成分画像を閾値処理して異物検出する(ステップS109)ことによって混入異物の有無検出を行う。

The image processing means 6 is a CPU or the like on which an image processing program or the like is installed, and the foreign matter detection method according to the present invention shown in FIG. 2 is implemented, and the dual energy X output from the image input means 5 without relative positional deviation. In response to the input of the line image (step S101), an equivalent thickness image pair of a low energy equivalent thickness image and a high energy equivalent thickness image is generated by performing logarithmic conversion in the equivalent thickness image generating means 61 (step S102), and necessary. Accordingly, the image noise reduction means 62 applies edge preserving smoothing processing or the like to the equivalent thickness image pair to reduce the image noise (step S103), and the separation matrix calculation means 63 performs independent component analysis on the equivalent thickness image pair. Is applied to obtain a separation matrix (step S104), and the separation vector discriminating means 641 calculates the difference from low energy to high energy. The separation vector of the different component is discriminated as the separation vector of the different component (step S105), and the separation vector normalizing means 642 normalizes the separation vector of the different component into a form in which the high energy scaled from the low energy is subtracted (step S105). In step S106, the parameter setting means 643 automatically sets the normalized separation vector as a weighting parameter for the difference processing (step S107). That is, the parameter calculation means 64 comprising means 641 to 643 (steps S105 to S107) obtains and automatically sets the weighting parameter for the difference processing based on two separation vectors that are elements of the separation matrix. Further, the component image of the mixed foreign matter is separated from the equivalent thickness image pair by the difference processing using the weight parameter by the different component image separation unit 67 using the automatically set weight parameter (Step S108). The detection means 68 detects the presence or absence of the mixed foreign matter by performing threshold processing on the component image of the mixed foreign matter and detecting the foreign matter (step S109).

前記独立成分分析としてはFastICA(Fast
Independent Component Analysis)やSOBI(Second Order Blind Identification)といった一般的で公知な信号分離アルゴリズムを適用することが可能である。独立成分分析の概略を図5に示す。図5(a)はローエネルギー等価厚画像を示し、図5(b)はハイエネルギー等価厚画像を示し、図5(c)は混入異物の成分画像を示し、図5(d)は被測定物の成分画像を示しており、独立成分分析は前記等価厚画像ペアから前記混入異物の成分と前記被測定物の成分とに分離するように分離行列を求めるものである。なお、前記独立成分分析の入力となる等価厚画像ペアには少なくとも被測定物3の主要部分が含まれていることが必要であり、分離対象となる異成分異物は含まれていても含まれていなくても良い。なぜなら、例えばソーセージの異物検査のように、被測定物を略単一成分とみなすことが可能であれば、前記独立成分分析により独立成分として分離できる2種類の信号は被測定物(ソーセージ)の信号とそれ以外(残骨、金属、ガラス、石などの硬質異物)の信号であるとみなすことができるからである。
As the independent component analysis, FastICA (Fast
Common and known signal separation algorithms such as Independent Component Analysis (SOBI) and Second Order Blind Identification (SOBI) can be applied. An outline of the independent component analysis is shown in FIG. FIG. 5 (a) shows a low energy equivalent thickness image, FIG. 5 (b) shows a high energy equivalent thickness image, FIG. 5 (c) shows a component image of a mixed foreign object, and FIG. 5 (d) shows a measured object. The component image of the object is shown, and the independent component analysis is to obtain a separation matrix so as to separate the mixed foreign substance component and the measured object component from the equivalent thickness image pair. It should be noted that the equivalent thickness image pair serving as an input for the independent component analysis needs to include at least the main part of the DUT 3 and includes even a foreign component foreign material to be separated. It does not have to be. For example, if the object to be measured can be regarded as a substantially single component as in the case of foreign matter inspection of sausage, the two types of signals that can be separated as independent components by the independent component analysis are those of the object to be measured (sausage). This is because it can be regarded as a signal and a signal other than that (hard foreign matter such as residual bone, metal, glass, and stone).

ステップS104で計算された分離行列の要素である2つの分離ベクトルを(a,b)、(c,d)とすれば、前記等価厚画像ペアの対応画素における濃度ペアを成分としたベクトル(L,H)に対して、2つの独立成分は X=aL+bH、Y=cL+dH で与えられるが、このままでは、XとYのどちらが異成分画像の濃度に相当するかは不定であり、かつ、XとYの濃度倍率も反転状態を含み不定であり、最適な重みパラメータによるエネルギーサブトラクションに結びつけることができない。 Assuming that the two separation vectors that are elements of the separation matrix calculated in step S104 are (a, b) and (c, d), a vector having a density pair in the corresponding pixel of the equivalent thickness image pair as a component (L , H), the two independent components are given by X = aL + bH and Y = cL + dH. However, it remains undefined which of X and Y corresponds to the density of the different component image, and X and The density magnification of Y is also indefinite including the inverted state, and cannot be linked to energy subtraction by the optimum weight parameter.

そこで、ステップS105では、Lをローエネルギー成分、Hをハイエネルギー成分、正値の重みパラメータをkとして、前記差分処理に該当するところのZ=L−kH なるエネルギーサブトラクションが分離ベクトル(1,−k)によって分離できる成分に等しいことに着目し、(a,b)と(c,d)のうち(1,−k)に近い方を異成分の分離ベクトルとして判別する。具体的には、ローエネルギー等価厚画像はハイエネルギー等価厚画像よりも高コントラストかつ鮮明になるため前記等価厚画像ペアの濃度が同程度になるように前記対数変換しておけばkは1に近い値になるという知見に基き、例えば b/a と d/c の計算値を評価して−1に近い値を算出した方の分離ベクトルを異成分の分離ベクトルと判別すれば良い。 Therefore, in step S105, when L is a low energy component, H is a high energy component, and a positive weight parameter is k, an energy subtraction of Z = L−kH corresponding to the difference processing is a separation vector (1, − Focusing on the fact that it is equal to the component that can be separated by k), one of (a, b) and (c, d) that is closer to (1, -k) is discriminated as a different component separation vector. Specifically, since the low energy equivalent thickness image has a higher contrast and clearer than the high energy equivalent thickness image, k is set to 1 if the logarithmic transformation is performed so that the density of the equivalent thickness image pair is approximately the same. Based on the knowledge that the values are close to each other, for example, the calculated values of b / a and d / c may be evaluated, and the separation vector that has calculated the value close to −1 may be determined as the separation vector of the different component.

そして、ステップS106では、前記判別された分離ベクトルを(a,b)として、(a,b)に倍率 1/a を掛けて、(1,b/a)という形に変形することによって当該分離ベクトルを正規化する。 In step S106, the determined separation vector is (a, b), (a, b) is multiplied by a magnification 1 / a, and transformed into the form (1, b / a). Normalize the vector.

そして、ステップS107では、前記正規化された分離ベクトルを(1,b/a)として、Z=L−kH なる前記差分処理に対して、k=−b/a と自動設定する。 In step S107, the normalized separation vector is set to (1, b / a), and k = −b / a is automatically set for the difference processing with Z = L−kH.

そして、ステップS108では、Z=L−kH なる前記差分処理を実行する。 In step S108, the difference process of Z = L−kH is executed.


画像表示手段7は、異物検出手段68の異物検出結果に対応する検査結果情報をフラットパネルディスプレイ等に表示する。

The image display means 7 displays inspection result information corresponding to the foreign object detection result of the foreign object detection means 68 on a flat panel display or the like.

2.第2実施形態(図3〜図4)
本実施の形態は、第1実施形態の画像処理手段6において、自動設定された重みパラメータを記憶させるためのパラメータ記憶手段69と、前記記憶させた重みパラメータを参照させるためのパラメータ参照手段60と、を付加したものであり、その他の構成に関しては第1実施形態と同様である。それゆえ、パラメータ記憶手段69とパラメータ参照手段60について説明し、第1実施形態と同様の部分は図中に第1実施形態と同じ符号を付して第1実施形態の説明を援用することによって、再度の説明は省略する。
2. Second Embodiment (FIGS. 3 to 4)
In the present embodiment, in the image processing means 6 of the first embodiment, a parameter storage means 69 for storing automatically set weight parameters, and a parameter reference means 60 for referring to the stored weight parameters, The other configurations are the same as those in the first embodiment. Therefore, the parameter storage unit 69 and the parameter reference unit 60 will be described. The same parts as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and the description of the first embodiment is used. The description will not be repeated.


パラメータ記憶手段69は、パラメータ算出手段64で自動設定した前記差分処理の重みパラメータを受けて異成分画像分離手段67に出力するとともに、図示しない運転モード信号がパラメータ記憶を示しているとき、前記パラメータを図示しない参照用メモリーに記憶する(ステップS202)。

The parameter storage means 69 receives the difference processing weight parameter automatically set by the parameter calculation means 64 and outputs it to the different component image separation means 67. When the operation mode signal (not shown) indicates parameter storage, the parameter storage means 69 Is stored in a reference memory (not shown) (step S202).


パラメータ参照手段60は、前記運転モード信号がパラメータ参照を示していないとき、等価厚画像生成手段61が出力した、画像ノイズ低減手段62が存在する場合はさらに画像ノイズ低減手段62を経由した、等価厚画像ペアを受けて分離行列算出手段63に出力する。そして前記運転モード信号がパラメータ参照を示しているとき、前述したステップS104からステップS202までの流れを切り替えて、記憶していた前記差分処理の重みパラメータを前記参照用メモリーから読み出して異成分画像分離手段67に直接出力する(ステップS201)。

When the operation mode signal does not indicate parameter reference, the parameter reference means 60 outputs the equivalent noise image output from the equivalent thickness image generation means 61, and further through the image noise reduction means 62 when the image noise reduction means 62 exists. The thick image pair is received and output to the separation matrix calculation means 63. Then, when the operation mode signal indicates parameter reference, the flow from step S104 to step S202 described above is switched, and the stored weight parameter of the difference processing is read from the reference memory and the different component image separation is performed. Output directly to the means 67 (step S201).


以上説明したように本発明は、高感度で安定した異物検出が容易に行えるよう被測定物のデュアルエネルギーX線画像に合わせて最適なエネルギーサブトラクション用の重みパラメータを自動設定するため、デュアルエネルギーX線データを出力する検出手段を備えた異物検出装置全般に有用である。

As described above, the present invention automatically sets the optimum weight parameter for energy subtraction in accordance with the dual energy X-ray image of the object to be measured so that highly sensitive and stable foreign object detection can be easily performed. The present invention is useful for all foreign object detection devices having detection means for outputting line data.

本発明の第1実施形態に係わる異物検出装置の概略構成を示す図である。It is a figure which shows schematic structure of the foreign material detection apparatus concerning 1st Embodiment of this invention. 本発明の第1実施形態に係わる異物検出方法の概略の流れを示すフローチャートである。It is a flowchart which shows the general | schematic flow of the foreign material detection method concerning 1st Embodiment of this invention. 本発明の第2実施形態に係わる異物検出装置の概略構成を示す図である。It is a figure which shows schematic structure of the foreign material detection apparatus concerning 2nd Embodiment of this invention. 本発明の第2実施形態に係わる異物検出方法の概略の流れを示すフローチャートである。It is a flowchart which shows the general | schematic flow of the foreign material detection method concerning 2nd Embodiment of this invention. 一般的で公知な独立成分分析の概略を示す図である。It is a figure which shows the outline of a general and well-known independent component analysis.

符号の説明Explanation of symbols

1…搬送手段
2…X線源
3…被測定物
4…X線検出手段
5…画像入力手段
6…画像処理手段
7…画像表示手段
60…パラメータ参照手段
61…等価厚画像生成手段
62…画像ノイズ低減手段
63…分離行列算出手段
64…パラメータ算出手段
641…分離ベクトル判別手段
642…分離ベクトル正規化手段
643…パラメータ設定手段
67…異成分画像分離手段
68…異物検出手段
69…パラメータ記憶手段
DESCRIPTION OF SYMBOLS 1 ... Conveyance means 2 ... X-ray source 3 ... DUT 4 ... X-ray detection means 5 ... Image input means 6 ... Image processing means 7 ... Image display means
60 ... Parameter reference means 61 ... Equivalent thickness image generation means 62 ... Image noise reduction means 63 ... Separation matrix calculation means 64 ... Parameter calculation means 641 ... Separation vector discrimination means 642 ... Separation vector normalization means 643 ... Parameter setting means 67 ... Different Component image separation means 68 ... Foreign matter detection means 69 ... Parameter storage means

Claims (5)

被測定物のデュアルエネルギーX線画像を差分処理して混入異物の有無検出を行う異物検出方法であって、前記デュアルエネルギーX線画像としてローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成する段階と、前記等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める段階と、前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求める段階と、前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離する段階と、前記混入異物の成分画像を閾値処理して異物検出する段階と、を含む構成を有していることを特徴とする異物検出方法。 A foreign matter detection method for performing differential processing on a dual energy X-ray image of a measurement object to detect the presence or absence of mixed foreign matter, wherein the dual energy X-ray image is an equivalent thickness image of a low energy equivalent thickness image and a high energy equivalent thickness image. Generating a pair; applying an independent component analysis to the equivalent thickness image pair so as to separate the mixed foreign matter component and the measured object component into a separation matrix; and Obtaining a weight parameter for the difference processing based on two separation vectors that are elements, separating the component image of the contaminated foreign matter from the equivalent thickness image pair by the difference processing using the weight parameter, And a step of detecting a foreign substance by performing threshold processing on a component image of the mixed foreign substance. 前記等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める段階の前に、前記等価厚画像ペアの画像ノイズを低減する段階を付加した請求項1に記載の異物検出方法。 Prior to the step of applying an independent component analysis to obtain a separation matrix so as to separate the contaminated foreign material component and the measured object component from the equivalent thickness image pair, the image noise of the equivalent thickness image pair is determined. The foreign matter detection method according to claim 1, further comprising a reduction step. 被測定物(3)にX線を照射するX線照射手段(2)と、前記被測定物を透過したX線強度をローエネルギーとハイエネルギーのX線画像ペアに変換するX線検出手段(4)と、前記X線画像ペアをデュアルエネルギーX線画像として記憶する画像入力手段(5)と、前記デュアルエネルギーX線画像を差分処理して被測定物に混入している異物の有無を検出する画像処理手段(6)と、を具備した異物検出装置において、前記画像処理手段(6)は、前記デュアルエネルギーX線画像からローエネルギー等価厚画像とハイエネルギー等価厚画像の等価厚画像ペアを生成する等価厚画像生成手段(61)と、前記等価厚画像ペアに対し前記混入異物の成分と前記被測定物の成分とに分離するように独立成分分析を適用して分離行列を求める分離行列算出手段(63)と、前記分離行列の要素である2つの分離ベクトルに基いて前記差分処理の重みパラメータを求めるパラメータ算出手段(64)と、前記重みパラメータを用いた前記差分処理によって前記等価厚画像ペアから前記混入異物の成分画像を分離する異成分画像分離手段(67)と、前記混入異物の成分画像を閾値処理して異物検出する異物検出手段(68)と、を備えたことを特徴とする異物検出装置。 X-ray irradiation means (2) for irradiating the object to be measured (3) with X-rays, and X-ray detection means for converting the X-ray intensity transmitted through the object to be measured into a pair of low energy and high energy X-ray images ( 4), image input means (5) for storing the X-ray image pair as a dual energy X-ray image, and differential processing of the dual energy X-ray image to detect the presence or absence of foreign matter mixed in the object to be measured The image processing means (6), wherein the image processing means (6) generates an equivalent thickness image pair of a low energy equivalent thickness image and a high energy equivalent thickness image from the dual energy X-ray image. An equivalent thickness image generating means (61) to be generated, and a component for obtaining a separation matrix by applying independent component analysis to the equivalent thickness image pair so as to separate the mixed foreign substance component and the measured object component. The matrix calculation means (63), the parameter calculation means (64) for obtaining a weight parameter for the difference processing based on two separation vectors as elements of the separation matrix, and the equivalent processing by the difference processing using the weight parameter. A different component image separating unit (67) for separating the component image of the mixed foreign matter from the thick image pair, and a foreign matter detecting unit (68) for detecting the foreign matter by performing threshold processing on the component image of the mixed foreign matter. A foreign object detection device. 前記等価厚画像ペアの画像ノイズを低減する画像ノイズ低減手段(62)を備え、前記分離行列を求める手段は、ノイズ低減された等価厚画像ペアに対し分離行列を求めることを特徴とする請求項3に記載の異物検出装置。 The image noise reduction means (62) for reducing image noise of the equivalent thickness image pair, wherein the separation matrix obtaining means obtains a separation matrix for the noise-reduced equivalent thickness image pair. 4. The foreign object detection device according to 3. 前記画像処理手段(6)に、前記パラメータ算出手段で求められた重みパラメータを記憶させるパラメータ記憶手段(69)と、前記記憶させた重みパラメータを参照するパラメータ参照手段(60)と、を付加した請求項3または4に記載の異物検出装置。

A parameter storage means (69) for storing the weight parameter obtained by the parameter calculation means and a parameter reference means (60) for referring to the stored weight parameter are added to the image processing means (6). The foreign object detection device according to claim 3 or 4.

JP2008263207A 2008-10-09 2008-10-09 Foreign object detection method and apparatus Expired - Fee Related JP5297142B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008263207A JP5297142B2 (en) 2008-10-09 2008-10-09 Foreign object detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008263207A JP5297142B2 (en) 2008-10-09 2008-10-09 Foreign object detection method and apparatus

Publications (2)

Publication Number Publication Date
JP2010091483A JP2010091483A (en) 2010-04-22
JP5297142B2 true JP5297142B2 (en) 2013-09-25

Family

ID=42254333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008263207A Expired - Fee Related JP5297142B2 (en) 2008-10-09 2008-10-09 Foreign object detection method and apparatus

Country Status (1)

Country Link
JP (1) JP5297142B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4224153A1 (en) * 2022-02-02 2023-08-09 ISHIDA CO., Ltd. X-ray inspection apparatus

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620801B2 (en) * 2010-12-10 2014-11-05 アンリツ産機システム株式会社 X-ray foreign object detection device
JP5651007B2 (en) * 2010-12-28 2015-01-07 アンリツ産機システム株式会社 X-ray inspection equipment
JP5912427B2 (en) * 2011-11-08 2016-04-27 浜松ホトニクス株式会社 Non-destructive inspection apparatus and misalignment detection method using the apparatus
JP5852415B2 (en) 2011-11-08 2016-02-03 浜松ホトニクス株式会社 Non-destructive inspection apparatus and luminance data correction method in the apparatus
US9566615B2 (en) 2014-09-17 2017-02-14 Mitsubishi Electric Corporation Resin piece sorting method and resin piece sorting apparatus
JP6435154B2 (en) 2014-10-14 2018-12-05 株式会社ジョブ Photon counting detector
CN105806856B (en) 2014-12-30 2019-02-19 清华大学 Dual intensity radiographic imaging method and system
EP3287774B8 (en) 2015-04-20 2020-12-02 Job Corporation Data processing device for x-ray examination, and computer implemented data processing method
CN107533019B (en) 2015-10-23 2020-05-05 株式会社蛟簿 X-ray apparatus, data processing apparatus, and data processing method
JP2017122705A (en) * 2016-01-06 2017-07-13 三菱電機株式会社 Calculation method, determination method, selection method, and selection apparatus
JP6491125B2 (en) * 2016-03-10 2019-03-27 アンリツインフィビス株式会社 Foreign object detection device and foreign object detection method
JP6797539B2 (en) * 2016-03-29 2020-12-09 アンリツインフィビス株式会社 Foreign matter detection device and foreign matter detection method
JP6625470B2 (en) * 2016-03-30 2019-12-25 アンリツインフィビス株式会社 Foreign object detection device and foreign object detection method
CN106413236B (en) * 2016-09-08 2018-04-17 沈阳东软医疗系统有限公司 A kind of exposure parameter method of adjustment and device
JP6569070B2 (en) * 2016-10-04 2019-09-04 株式会社 システムスクエア X-ray inspection equipment
JP6663374B2 (en) * 2017-02-28 2020-03-11 アンリツインフィビス株式会社 X-ray inspection equipment
JP6655570B2 (en) * 2017-03-07 2020-02-26 アンリツインフィビス株式会社 Article inspection apparatus and method of switching inspection target varieties
FR3067461B1 (en) * 2017-06-07 2023-02-24 Multix Sa METHOD FOR DETERMINING PHYSICAL PROPERTIES OF A SAMPLE
KR102252847B1 (en) 2017-06-20 2021-05-14 가부시키가이샤 죠부 X-ray device, X-ray inspection method, data processing device, data processing method, and computer program
CN110770607B (en) 2017-10-26 2024-02-13 株式会社蛟簿 Method and device for processing photon counting type X-ray detection data and X-ray device
JP7001327B2 (en) * 2019-11-27 2022-01-19 アンリツ株式会社 Foreign matter detection device and foreign matter detection method
CN112924478B (en) * 2021-01-29 2022-12-06 上海科技大学 Overhead cable detection system based on dual-energy digital X-ray imaging
JP2023113030A (en) * 2022-02-02 2023-08-15 株式会社イシダ X-ray inspection device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0833916B2 (en) * 1986-03-12 1996-03-29 松下電器産業株式会社 Radiation image processing method
JP3263594B2 (en) * 1996-04-23 2002-03-04 三菱重工業株式会社 X-ray foreign matter detection device
JPH10318943A (en) * 1997-05-20 1998-12-04 Shimadzu Corp Foreign article-inspection apparatus
JP2005197792A (en) * 2003-12-26 2005-07-21 Canon Inc Image processing method, image processing apparatus, program, storage medium, and image processing system
JP2007127611A (en) * 2005-11-07 2007-05-24 Mitsubishi Heavy Ind Ltd Foreign matter detection apparatus
JP5519122B2 (en) * 2007-08-15 2014-06-11 富士フイルム株式会社 Image component separation apparatus, method, and program
JP5297087B2 (en) * 2008-01-17 2013-09-25 アンリツ産機システム株式会社 X-ray foreign object detection device
JP5124363B2 (en) * 2008-06-30 2013-01-23 富士フイルム株式会社 Energy subtraction processing apparatus, method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4224153A1 (en) * 2022-02-02 2023-08-09 ISHIDA CO., Ltd. X-ray inspection apparatus

Also Published As

Publication number Publication date
JP2010091483A (en) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5297142B2 (en) Foreign object detection method and apparatus
EP2479559B1 (en) Radiation detecting device
JP5457118B2 (en) Radiation detector
US20130195244A1 (en) X-Ray Inspector
US10845319B2 (en) Dual-energy microfocus radiographic imaging method for meat inspection
JP5289780B2 (en) X-ray foreign object detection device
JP2008268076A (en) Non-destructive discrimination method, and device
JP5224023B2 (en) High speed material identification inspection apparatus and method
JP5404143B2 (en) Nondestructive inspection method and nondestructive inspection device for sealed container
JP5912427B2 (en) Non-destructive inspection apparatus and misalignment detection method using the apparatus
JP7416621B2 (en) Dual energy microfocus X-ray imaging method for meat inspection
JP2009014624A (en) Radiation detection apparatus and radiation detection method
JP5356184B2 (en) Inspection equipment
WO2018097023A1 (en) Radiation detection device, radiation image acquisition device, and radiation image acquisition method
JP7079966B2 (en) X-ray detector
JP4053032B2 (en) Foreign object detection method, foreign object detection program, and foreign object detection device
JP4545638B2 (en) X-ray foreign object detection device
JP3871333B2 (en) Foreign object detection method, foreign object detection program, and foreign object detection device
EP4224153A1 (en) X-ray inspection apparatus
WO2021210617A1 (en) Radiography method, trained model, radiography module, radiography program, radiography system, and machine learning method
TWI352808B (en)
KR20230002303A (en) Radiation examination method, radiation examination apparatus, radiation examination system, and radiation examination program
JP2012068143A (en) X-ray inspection device
JP2010243361A (en) Radiographic inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110928

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130614

R150 Certificate of patent or registration of utility model

Ref document number: 5297142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees