JP4923828B2 - X-ray inspection equipment - Google Patents
X-ray inspection equipment Download PDFInfo
- Publication number
- JP4923828B2 JP4923828B2 JP2006210093A JP2006210093A JP4923828B2 JP 4923828 B2 JP4923828 B2 JP 4923828B2 JP 2006210093 A JP2006210093 A JP 2006210093A JP 2006210093 A JP2006210093 A JP 2006210093A JP 4923828 B2 JP4923828 B2 JP 4923828B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- ray
- frame
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
Description
本発明は、工業製品などの透視検査またはCT検査などを行うためのX線検査装置に関する。 The present invention relates to an X-ray inspection apparatus for performing fluoroscopic inspection or CT inspection of industrial products.
工業製品などの透視検査を行うX線検査装置では、X線発生装置のX線源に対向するようにして、イメージインテンシファイア(以下、IIと略す)とCCDカメラとを組み合わせたX線検出器が配置してある。最近はII、CCDカメラからなるX線検出器に代えて、フラットパネルX線検出器を使用したX線検査装置も利用されている。
これらのX線検査装置は、X線源とX線検出器との間に、ステージを配置し、この上に被測定物を載置して透視X線像を撮影する。
In X-ray inspection equipment that performs fluoroscopic inspection of industrial products and the like, X-ray detection is performed by combining an image intensifier (hereinafter abbreviated as II) and a CCD camera so as to face the X-ray source of the X-ray generator. A vessel is arranged. Recently, an X-ray inspection apparatus using a flat panel X-ray detector is used instead of an X-ray detector composed of II and CCD cameras.
In these X-ray inspection apparatuses, a stage is disposed between an X-ray source and an X-ray detector, and an object to be measured is placed on the stage to photograph a fluoroscopic X-ray image.
X線検査装置による検査では、通常、位置合わせや測定倍率調整、測定角度調整のために視野移動を行う。視野移動は、ステージを移動しつつ被測定物の透視X線動画像を撮影するようにし、これにより被測定物の検査位置を探す。そして、検査位置が見つかると視野移動を停止し、その状態で動画像を観察する。 In the inspection by the X-ray inspection apparatus, the visual field is usually moved for alignment, measurement magnification adjustment, and measurement angle adjustment. In the visual field movement, a fluoroscopic X-ray moving image of the object to be measured is photographed while moving the stage, thereby searching for the inspection position of the object to be measured. When the inspection position is found, the visual field movement is stopped and the moving image is observed in that state.
そして、観察した検査箇所の画像を最終的な検査データとして保存する場合、検査箇所に視野を固定した状態で動画像を撮影し、静止画像として保存する。 When the image of the observed inspection location is stored as final inspection data, a moving image is captured with the field of view fixed at the inspection location and stored as a still image.
ところで、透視X線測定では、X線発生装置の原理に起因してX線のゆらぎが発生するため、ゆらいでいるX線を、X線検出器で検出して撮影した透視X線像のコマ画像データ(動画像を形成する1つ1つの画像データ)には、ちらつきノイズが含まれている。したがって、1つ1つの透視X線像のコマ画像を順次表示させた動画像表示にも、ちらつきノイズが観測されることになる。 By the way, in fluoroscopic X-ray measurement, fluctuations in X-rays occur due to the principle of the X-ray generator. Therefore, a frame of a fluoroscopic X-ray image obtained by detecting the fluctuating X-rays with an X-ray detector. The image data (each image data forming a moving image) includes flicker noise. Therefore, flicker noise is also observed in the moving image display in which the frame images of the respective fluoroscopic X-ray images are sequentially displayed.
このちらつきノイズを低減するために、従来は、動画像を形成する複数のコマ画像を、画像バッファメモリに蓄積し、蓄積した画像データと最新のコマ画像データとの平均化処理(各画素の平均をとる)を行って表示することがなされている。平均化処理を行った平均化画像データは、ちらつきの原因となるノイズ成分が平均化されて平坦となる。しかしながら、その一方で、動画像表示中のコマ画像データの表示更新速度が低下することになる。 In order to reduce this flickering noise, conventionally, a plurality of frame images forming a moving image are accumulated in an image buffer memory, and the averaged processing of the accumulated image data and the latest frame image data (average of each pixel) Display). The averaged image data subjected to the averaging process is flattened by averaging noise components that cause flickering. However, on the other hand, the display update speed of the frame image data during moving image display decreases.
例えば、図8(a)に示すように、X線検出器からの撮影信号に基づいて、コマ画像データ1〜4が順次作成されるときに、2コマのコマ画像データずつ平均化処理を行うとすると、図8(b)に示すように、2コマのコマ画像データを画像バッファメモリに蓄積し、これらの平均化処理演算を行うことにより1つの平均化画像データを作成し、これを表示するという処理を繰り返す。この場合は、2コマのコマ画像データが作成される時間間隔で平均化画像データの更新が行われることになるので、更新の速度が低下することになる。さらに多くのコマ画像データによる平均化を行うと、それだけ更新速度が低下することとなり、その結果、平均化画像データの連続的な動画像表示ができず、コマ送り的な動画像表示になってしまう。
このことは、X線検出器としてフラットパネルX線検出器を用いた場合に顕著となる。すなわち、IIとCCDカメラとを用いたX線検出器に比べて、フラットパネルX線検出器はもともとフレームレートが小さいため、どうしてもコマ送り的な表示になりやすい。
For example, as shown in FIG. 8A, when the frame image data 1 to 4 are sequentially created based on the imaging signal from the X-ray detector, the two frames of frame image data are averaged. Then, as shown in FIG. 8B, two frames of frame image data are accumulated in the image buffer memory, and one averaged image data is created by performing these averaging processing operations, and this is displayed. Repeat the process. In this case, since the averaged image data is updated at a time interval at which two frame image data is created, the update speed is reduced. If averaging with more frame image data is performed, the update speed will be reduced accordingly. As a result, the averaged image data cannot be displayed continuously, and the frame-by-frame moving image display is obtained. End up.
This becomes conspicuous when a flat panel X-ray detector is used as the X-ray detector. That is, compared with an X-ray detector using II and a CCD camera, a flat panel X-ray detector originally has a small frame rate, and therefore it is apt to be frame-by-frame display.
また、表示装置の画面への動画像表示のみではなく、検査結果を高精細な静止画像として保存する場合は、一定時間(通常、少なくとも数秒程度)撮影した動画像(すなわち相当数のコマ画像)の平均化処理を行い、その結果得られる平均化画像データを静止画像データとして保存することになる。
このように動画像の平均化処理を行うことによって、精細な静止画像が得ることができるが、高精細な静止画像を得ようとするほど表示の待ち時間を要することになる。
In addition to displaying moving images on the screen of a display device, when storing inspection results as high-definition still images, moving images taken for a certain period of time (usually at least about a few seconds) (ie, a considerable number of frame images) The averaged image data obtained as a result is stored as still image data.
By performing the moving image averaging process in this way, a fine still image can be obtained. However, as the high-definition still image is obtained, a display waiting time is required.
平均化処理による更新速度の低下を改善するための別方法として、リカーシブフィルタ処理を実行することもなされている(例えば特許文献1参照)。リカーシブフィルタ処理は、図8(c)に示すように、最新のコマ画像データに、ある重み付けをした前回の画像データ(前回の画像データ自身もさらにその前回の画像データのリカーシブフィルタ処理を受けている)を加算して補正することにより、ちらつきノイズを低減させる画像処理方法である。これにより、本来のコマ画像データによる動画像表示と同程度の更新速度にすることができるので、更新速度の低下の点については、リカーシブフィルタ処理により改善することができる。 As another method for improving the decrease in update speed due to the averaging process, recursive filter processing is also performed (see, for example, Patent Document 1). In the recursive filter processing, as shown in FIG. 8C, the latest frame image data is weighted with the previous image data (the previous image data itself is further subjected to the recursive filter processing of the previous image data). This is an image processing method that reduces flicker noise by adding and correcting. As a result, the update speed comparable to that of the moving image display by the original frame image data can be achieved, and the reduction in the update speed can be improved by the recursive filter processing.
また、透視X線測定では、できるだけ画素数を多くすることが画質向上の観点からは好ましいが、画素数の増大とともに動画像表示の負荷が増大し、画像データの更新速度は、画素数の増大に応じて遅くなる。
動画像表示の更新速度を改善するために、隣接する複数の画素を1つの画素とみなして画像データの作成を行うビニング処理を実行して、更新速度を高めることもなされている(例えば特許文献2参照)。
In order to improve the update speed of moving image display, a binning process for creating image data is performed by regarding a plurality of adjacent pixels as one pixel to increase the update speed (for example, Patent Documents). 2).
上述したように、コマ画像データに対して、平均化処理を実行することにより、ちらつきノイズを解消することができるが、更新速度低下の問題が新たに発生する。
リカーシブフィルタ処理によれば、ちらつきノイズと更新速度の低下の問題とを解決できるが、視野移動により被測定物の透視X線像が移動しているときは、表示画面上に被測定物の残像が残り、画像のブレが発生する。被測定物が停止後もしばらく(数秒以上)は、画像のブレが持続し、この間は待ち時間となるので、視野移動に対する追従性が問題となる。
As described above, flicker noise can be eliminated by performing averaging processing on the frame image data, but a problem of a decrease in update speed newly occurs.
The recursive filter processing can solve the problem of flickering noise and a decrease in update speed. However, when the fluoroscopic X-ray image of the object to be measured is moved by the visual field movement, the afterimage of the object to be measured is displayed on the display screen. Will remain and blurring of the image will occur. For a while (several seconds or more) after the object to be measured stops, the blurring of the image continues, and during this time, there is a waiting time.
更新速度の低下に対しては、ビニング処理を実行することにより、動画更新速度を向上させることができる。しかしビニング処理により実質的に画素数を減らした分、解像度が低下し、画質が劣化することになる。また、ビニング処理を実行するモード(実行モード)からビニング処理を実行していないモード(解除モード)に切り替えたり、その逆の切り替えを行ったりするには、ハードウェア上の制約によって、場合によっては数秒程度の切替時間を要する。
このように、画質の向上と、視野移動に対する追従性とは相反する課題であり、これら2つの課題を同時に解決することは困難であった。
In response to a decrease in the update speed, the moving image update speed can be improved by executing a binning process. However, since the number of pixels is substantially reduced by the binning process, the resolution is lowered and the image quality is deteriorated. Also, to switch from the mode that executes the binning process (execution mode) to the mode that does not execute the binning process (release mode), or vice versa, depending on hardware restrictions, Switching time of about several seconds is required.
Thus, improvement in image quality and followability with respect to visual field movement are contradictory problems, and it has been difficult to solve these two problems at the same time.
そこで、本発明は、X線検査装置において、1つは画質改善、他の1つは視野移動に対する追従性改善という2つの相反する課題を解決し、使い勝手のよいX線検査装置を提供することを目的とする。 Accordingly, the present invention provides an easy-to-use X-ray inspection apparatus that solves two conflicting problems, one is an improvement in image quality and the other is an improvement in followability with respect to visual field movement. With the goal.
また、透視検査やCT検査を行う場合に、通常の作業工程は、既述のように、検査箇所を探す視野移動工程、検査箇所について画面上で動画像を観察する観察工程、そして、必要に応じて高精細な静止画像を撮影する撮影工程を行う。したがって、これら各工程に対応して、表示画質、表示追従性の観点から使い勝手のよいX線検査装置を提供することを目的とする。 In addition, when performing fluoroscopic inspection and CT inspection, the normal work process is as described above, the visual field moving process for searching the inspection location, the observation process for observing the moving image on the screen for the inspection location, and as necessary In response, a photographing process for photographing a high-definition still image is performed. Accordingly, an object of the present invention is to provide an X-ray inspection apparatus that is easy to use from the viewpoints of display image quality and display followability, corresponding to these steps.
まず、後述する本発明の前提となる発明について説明する。前提となる発明では、画質優先で動画像表示するか、視野移動に対する追従性優先で動画像表示するかを、状況に応じて切り替えるようにしている。
すなわち、本発明の前提となるX線検査装置は、被測定物に透視用X線を照射するX線発生装置と被測定物の透視X線像を撮影するX線検出器とからなるX線測定光学系と、X線検出器により撮影された映像信号に基づいて透視X線像のコマ画像データを1コマずつ繰り返し作成するコマ画像データ作成部と、画像バッファメモリに精細画像データ作成用の画像データを蓄積し、蓄積した画像データと最新の透視X線像のコマ画像データとを用いて精細画像データを作成する精細画像データ作成部と、画像データを表示する表示装置と、被測定物とX線測定光学系との位置関係を調整して被測定物に対する測定視野を変動させる視野調整部と、測定視野の変動の有無を判定する視野変動判定部と、視野が変動している判定のときはコマ画像データを表示し、視野が一定である判定のときは精細画像データを表示する画像モード切替部とを備えるようにしている。
First, an invention which is a premise of the present invention described later will be described. In the premise invention, switching between moving image display with priority on image quality or moving image display with priority on follow-up to visual field movement is switched according to the situation.
In other words, the X-ray inspection apparatus as a premise of the present invention is an X-ray comprising an X-ray generator that irradiates a measurement object with fluoroscopic X-rays and an X-ray detector that images a fluoroscopic X-ray image of the measurement object A frame image data creation unit that repeatedly creates frame image data of a fluoroscopic X-ray image frame by frame based on a measurement optical system, a video signal photographed by an X-ray detector, and an image buffer memory for creating fine image data Accumulated image data, a fine image data creating unit that creates fine image data using the accumulated image data and the latest fluoroscopic X-ray frame image data, a display device that displays the image data, and an object to be measured A visual field adjustment unit that adjusts the positional relationship between the X-ray measurement optical system and the measurement visual field for the object to be measured, a visual field fluctuation determination unit that determines whether the measurement visual field fluctuates, and a determination that the visual field is fluctuating In case of Display data, when the determined field of view is constant so that and an image mode switching unit for displaying a fine image data.
ここで、X線検出器としては、透視X線像を映像信号として出力することができるものであれば何でもよいが、特に、フレームレートがさほど大きくないフラットパネルX線検出器を用いた場合が本発明の有効性が顕著になる。
また、画像バッファメモリに蓄積される「精細画像データ作成用の画像データ」とは、ちらつきノイズを除去する処理に用いる画像データであり、透視X線像の最新画像データと同一視野の画像データであることが望ましい。具体的には、最新のコマ画像データと同じ視野で過去に撮影したコマ画像データ、あるいは、前回に作成した精細画像データを「精細画像データ作成に用いる画像データ」として蓄積することが好ましい。
また、視野調整部は、被測定物とX線測定光学系との相対的な位置関係を変動することで視野を調整することができるので、被測定物、X線発生装置、X線検出器の少なくともいずれかを移動する機構であればよい。
また、視野変動判定部は、視野変動を発生させるときに送られる視野調整部からの制御信号に基づいて視野変動を判定してもよいし、視野調整部の変動を検出することができるセンサ(例えばステージの位置センサ)を用いて視野変動を判定してもよい。
Here, any X-ray detector may be used as long as it can output a fluoroscopic X-ray image as a video signal, but in particular, a flat panel X-ray detector having a relatively low frame rate may be used. The effectiveness of the present invention becomes remarkable.
The “image data for creating fine image data” stored in the image buffer memory is image data used for the process of removing flicker noise, and is image data having the same field of view as the latest image data of a fluoroscopic X-ray image. It is desirable to be. Specifically, it is preferable to store frame image data captured in the past with the same field of view as the latest frame image data or fine image data created last time as “image data used for fine image data creation”.
In addition, since the visual field adjustment unit can adjust the visual field by changing the relative positional relationship between the object to be measured and the X-ray measurement optical system, the object to be measured, the X-ray generator, the X-ray detector Any mechanism that moves at least one of them may be used.
Further, the visual field variation determination unit may determine the visual field variation based on a control signal from the visual field adjustment unit that is sent when the visual field variation is generated, or a sensor that can detect the variation of the visual field adjustment unit ( For example, the visual field variation may be determined using a stage position sensor.
この発明によれば、コマ画像データ作成部は、X線検出器からの映像信号に基づいて、透視X線像のコマ画像データを1コマずつ次々と作成する。それぞれのコマ画像データは、ちらつきノイズを含んでいる。精細画像データ作成部は、画像バッファメモリに精細画像データ作成用の画像データを蓄積し、蓄積した画像データと最新の透視X線像のコマ画像データとを用いて、最新の精細画像データを作成する。この精細画像データは、平均化などにより、ちらつきノイズが消えた画像データになっている。一方、視野調整部により被測定物に対する測定視野が変動され、視野変動判定部が、測定視野変動の有無を判定する。
画像モード切替部は、視野変動している判定がなされているときはコマ画像データを表示する。すなわち、視野の移動中は観察者が観察箇所を特定するのに最低限の画質があれば十分であり、その一方で、移動中の現在の観察箇所を見失わないように視野移動に対する追従性を良くする必要があることから、コマ画像データ作成部が作成したコマ画像データを表示する。
また、画像モード切替部は、視野変動していない判定がなされているときは、精細画像データを表示する。すなわち、視野変動が終了して固定された状態では、視野追従性は不要であるので、画質のよい画像データを表示する。
このように、視野変動中か視野固定中かの状況に応じて、追従性重視の表示(コマ画像表示)、または画質重視の表示(精細画像モード)を行う。
According to the present invention, the frame image data creation unit sequentially creates frame image data of fluoroscopic X-ray images one by one based on the video signal from the X-ray detector. Each frame image data includes flicker noise. The fine image data creation unit accumulates image data for fine image data creation in the image buffer memory, and creates the latest fine image data using the accumulated image data and the latest frame image data of the fluoroscopic X-ray image. To do. The fine image data is image data from which flicker noise has disappeared due to averaging or the like. On the other hand, the measurement visual field for the object to be measured is changed by the visual field adjustment unit, and the visual field fluctuation determination unit determines the presence or absence of the measurement visual field fluctuation.
The image mode switching unit displays the frame image data when it is determined that the visual field is changing. In other words, it is sufficient for the observer to have the minimum image quality to identify the observation location while the field of view is moving. Since it is necessary to improve, the frame image data created by the frame image data creation unit is displayed.
The image mode switching unit displays fine image data when it is determined that the visual field has not changed. That is, in the state where the visual field variation is finished and fixed, visual field followability is unnecessary, and thus image data with good image quality is displayed.
In this way, display that emphasizes followability (frame image display) or display that emphasizes image quality (fine image mode) is performed depending on whether the field of view is changing or the field of view is fixed.
本発明によれば、画質のよい表示と追従性のよい表示とが、状況に応じて自動的に切り替わるので、使い勝手のよいX線検査装置となる。 According to the present invention, since a display with good image quality and a display with good follow-up are automatically switched according to the situation, the X-ray inspection apparatus is easy to use.
上記発明において、精細画像データ作成部は、画像バッファメモリに蓄積した精細画像作成用の画像データと最新の透視X線像のコマ画像データとを用いてリカーシブフィルタ処理または平均化処理を実行するようにしてもよい。In the above invention, the fine image data creating unit executes recursive filter processing or averaging processing using the image data for fine image creation stored in the image buffer memory and the latest frame image data of the fluoroscopic X-ray image. It may be.
ここで、リカーシブフィルタ処理のときは精細画像作成用の画像データとして前回作成した精細画像データを用いるようにし、平均化処理のときはコマ画像データ作成部が作成した直近の複数コマのコマ画像データを精細画像データとして用いるようにするのが好ましい。
これによれば、直前の精細画像データや直近のコマ画像データは、視野調整部により変動されていない限り、視野が同一であり、画像ブレの少ない精細画像データを得ることができる。
In here, when the recursive filtering to use a definition image data previously created as image data for creating definition image, when the averaging processing of the last of a plurality of frames frame image data creation unit creates frame images The data is preferably used as fine image data.
According to this, fine image data with the same visual field and less image blur can be obtained unless the previous fine image data and the latest frame image data are changed by the visual field adjustment unit.
このとき、さらに精細画像データ作成部は、視野変動判定部によって測定視野が変動していると判定されているときは画像バッファメモリに蓄積した精細画像作成用の画像データを破棄するようにしてもよい。
これによれば、最新のコマ画像データとは測定視野が異なる画像データに基づいて精細画像データを作成することを避けることができるので、画像ブレのない精細画像を作成することができる。
At this time, the fine image data creation unit may discard the fine image creation image data stored in the image buffer memory when the visual field variation determination unit determines that the measurement visual field has changed. Good.
According to this, since it is possible to avoid creating fine image data based on image data having a measurement field of view different from that of the latest frame image data, it is possible to create a fine image without image blur.
また、上記発明において、コマ画像データ作成部は、視野変動判定部によって測定視野が変化している判定されているときはビニング処理を実行してコマ画像データを作成し、測定視野が変化していない判定のときはビニング処理を実行しないでコマ画像データを作成するようにしてもよい。
これによれば、視野変動中は、ビニング処理によりさらに画像の追従性を高めることができ、視野が固定された後は、通常のコマ画像データにより、精細画像を作成することができる。
Further, in the above invention, the frame image data creation unit executes the binning process to create the frame image data when the visual field variation determination unit determines that the measurement visual field has changed, and the measurement visual field has changed. If no determination is made, the frame image data may be created without executing the binning process.
According to this, during visual field fluctuation, the followability of the image can be further improved by binning processing, and after the visual field is fixed, a fine image can be created with normal frame image data.
そして、上述した前提となる発明を、さらに応用することによりなされた本発明のX線検査装置は、被測定物に透視用X線を照射するX線発生装置と被測定物の透視X線像を撮影するX線検出器とからなるX線測定光学系と、X線検出器により撮影された映像信号に基づいて、ビニング処理を実行し、あるいは、ビニング処理を解除して、透視X線像のコマ画像データを1コマずつ繰り返し作成するコマ画像データ作成部と、ビニング処理を実行して作成したコマ画像データをリカーシブフィルタ処理することにより作成された過去の画像データ、または、ビニング処理を実行して作成した少なくとも1つの過去のコマ画像データ、のいずれかを精細画像データ作成用画像データとして画像バッファメモリに蓄積し、蓄積された精細画像データ作成用画像データとビニング処理を実行して作成した最新の透視X線像のコマ画像データとを用いてリカーシブフィルタ処理、または、平均化処理された精細画像データを作成する精細画像データ作成部と、ビニング処理を解除して作成したコマ画像データをリカーシブフィルタ処理することにより作成された過去の画像データ、または、ビニング処理を解除して作成した少なくとも1つの過去のコマ画像データ、のいずれかを静止画像データ作成用画像データとして画像バッファメモリに蓄積し、蓄積した静止画像データ作成用画像データとビニング処理を解除して作成した最新の透視X線像のコマ画像データとを用いてリカーシブフィルタ処理、または、平均化処理された静止画像データを作成する静止画像データ作成部と、画像データを表示する表示装置と、被測定物とX線測定光学系との位置関係を調整して被測定物に対する測定視野を変動させる視野調整部と、測定視野の変動の有無を判定する視野変動判定部と、静止画像作成の指示信号を発生する静止画像作成指示部と、静止画像作成の指示信号の有無に基づいてコマ画像データ作成部に対しビニング処理の実行の有無を切り替えるビニング処理制御部と、静止画像作成の指示信号がない状態でかつ視野が変動している判定のときはコマ画像データを表示し、静止画像の指示信号がない状態でかつ視野が一定である判定のときは精細画像データを表示し、静止画像の指示信号がある状態のときは静止画像データを表示する画像モード切替部とを備えるようにしている。 Further , the X-ray inspection apparatus of the present invention , which is made by further applying the above-mentioned presupposed invention, includes an X-ray generator that irradiates the object to be measured with X-rays for fluoroscopy and a fluoroscopic X-ray image of the object to be measured X-ray measuring optical system comprising an X-ray detector for photographing the image and a binarizing process based on the video signal imaged by the X-ray detector, or canceling the binning process to obtain a fluoroscopic X-ray image A frame image data creation unit that repeatedly creates frame image data for each frame, and past image data created by performing recursive filter processing on the frame image data created by executing binning processing, or binning processing is executed Any one of the at least one past frame image data created in this way is stored in the image buffer memory as image data for creating fine image data, and the stored fine image data is stored in the image buffer memory. A fine image data creation unit that creates fine image data that has been subjected to recursive filter processing or averaging processing using image data for creation and frame image data of the latest fluoroscopic X-ray image created by executing binning processing; Either the past image data created by performing the recursive filter processing on the frame image data created by canceling the binning process, or at least one past frame image data created by canceling the binning process Recursive filter processing using still image data creation image data stored in the image buffer memory and using the stored still image data creation image data and the latest fluoroscopic X-ray frame image data created by canceling the binning process Or a still image data creation unit for creating averaged still image data, and image data A visual field adjustment unit that adjusts the positional relationship between the object to be measured and the X-ray measurement optical system to change the measurement field of view of the object to be measured, and a field variation determination that determines whether or not the measurement field of view varies A still image creation instruction unit that generates a still image creation instruction signal, and a binning process control unit that switches presence / absence of binning processing to the frame image data creation unit based on the presence or absence of the still image creation instruction signal The frame image data is displayed when it is determined that there is no instruction signal for creating a still image and the field of view is changing, and the fine image is displayed when it is determined that there is no instruction signal for a still image and the field of view is constant. An image mode switching unit for displaying data and displaying still image data when there is a still image instruction signal is provided.
ここで、静止画像作成指示部は、静止画像作成の指示信号を発生する。指示信号は、装置の操作者の周知の入力装置による静止画像作成の指示操作があったり、あるいは、自動シーケンスによってあらかじめ設定された検査位置に視野が位置固定されたりしたときに発生するようにすることができる。 Here, the still image creation instruction unit generates a still image creation instruction signal. The instruction signal is generated when there is an instruction operation for creating a still image by a well-known input device of the operator of the apparatus, or when the field of view is fixed at an inspection position set in advance by an automatic sequence. be able to.
この発明によれば、検査箇所を探す視野移動工程、検査箇所について画面上で動画像を観察する観察工程、観察した検査箇所の高精細な静止画像を撮影する撮影工程ごとに分けて、表示する画像の画質と追従性を切り替えるようにしている。
すなわち、静止画像作成指示部が静止画像作成の指示信号を発生していないときは、ビニング処理制御部が、コマ画像データ作成部に対し、ビニング処理を実行したコマ画像データを作成させる制御を行い、静止画像作成指示部が静止画像作成の指示信号を発生したときは、ビニング処理制御部が、コマ画像データ作成部に対し、ビニング処理を解除したコマ画像データを作成させる制御を行う。また、視野変動判定部は、測定視野の変動を判定し、視野移動中か視野固定中かを判定する。
そして、静止画像作成の指示信号が発生してない状態で、かつ、視野が変動している判定のとき(視野移動工程中)は、ビニング処理を実行したコマ画像データ(粗画像データともいう)を表示する。このコマ画像データは、ちらつきノイズを含み、画質はよくないが、高速表示できるので、視野移動中であっても追従性のよい表示ができる。
また、静止画像の指示信号が発生してない状態で、かつ、視野が一定である判定のとき(観察工程)は、精細画像データ作成部が作成した精細画像データ、すなわち、ビニング処理を実行したコマ画像データに対しリカーシブフィルタ処理または平均化処理した画像データである精細画像データを表示する。この精細画像データは、粗画像データよりもちらつきノイズが改善されるが、追従性が悪くなる。しかしながら、視野が固定されているので、追従性はあまり問題とならない。
また、静止画像の指示信号が発生した状態のとき(撮影工程)は、静止画像作成部が作成した静止画像データ、すなわち、ビニング処理を解除したコマ画像データに対しリカーシブフィルタ処理または平均化処理した画像データである静止画像データ(高精細画像データともいう)を表示する。高精細画像データは、粗画像データや精細画像データよりも、画質は一段と改善されるので、検査結果の画像データとして保存するのに適している。
According to the present invention, the visual field moving step for finding the inspection location, the observation step for observing the moving image on the screen for the inspection location, and the imaging step for capturing a high-definition still image of the observed inspection location are displayed separately. The image quality and followability of the image are switched.
That is, when the still image creation instruction unit does not generate a still image creation instruction signal, the binning process control unit controls the frame image data creation unit to create the frame image data that has been subjected to the binning process. When the still image creation instruction unit generates a still image creation instruction signal, the binning process control unit controls the frame image data creation unit to create the frame image data for which the binning process has been canceled. The visual field variation determination unit determines the variation of the measurement visual field, and determines whether the visual field is moving or the visual field is being fixed.
When it is determined that a still image creation instruction signal is not generated and the field of view is changing (during the field of view movement process), the frame image data (also referred to as coarse image data) subjected to the binning process is executed. Is displayed. This frame image data includes flicker noise and the image quality is not good, but it can be displayed at high speed, so that it is possible to display with good follow-up even during visual field movement.
Further, when it is determined that a still image instruction signal is not generated and the field of view is constant (observation step), fine image data created by the fine image data creation unit, that is, binning processing is executed. Fine image data, which is image data obtained by performing recursive filter processing or averaging processing on the frame image data, is displayed. This fine image data is improved in flicker noise than the coarse image data, but the followability is deteriorated. However, since the field of view is fixed, followability is not a problem.
In addition, when a still image instruction signal is generated (photographing process), recursive filter processing or averaging processing is performed on still image data created by the still image creation unit, that is, frame image data for which binning processing has been canceled. Still image data (also referred to as high-definition image data) that is image data is displayed. The high-definition image data is more suitable than the image data of the inspection result because the image quality is further improved as compared with the coarse image data and the fine image data.
また、操作者は、視野移動工程、観察工程、撮影工程を順に実行する場合に、観察工程を終えて撮影工程に移るときの待ち時間に比べて、視野移動工程から観察工程に移るときの待ち時間は気になるものである。ビニング処理を実行した場合に、ビニング処理の実行状態からビニング処理を解除する切り替えに要する待ち時間が気になることがあるが、本発明では、ビニング処理を解除する処理を、観察工程から撮影工程に移るときに行うことができ、視野移動工程と観察工程との間ではビニング処理を実行した状態を維持しているので、操作者にとって待ち時間がさほど気にならないようにすることができる。 In addition, when performing the visual field movement process, the observation process, and the photographing process in order, the operator waits for the transition from the visual field movement process to the observation process compared to the waiting time when the observation process is completed and the photographing process is performed. Time is something you care about. When the binning process is executed, the waiting time required for switching to cancel the binning process from the execution state of the binning process may be anxious. In the present invention, the process for canceling the binning process is changed from the observation process to the imaging process. Since the state where the binning process is executed is maintained between the visual field moving step and the observation step, it is possible to prevent the operator from worrying much about the waiting time.
また、上記発明において、精細画像データ作成部は、視野変動判定部によって測定視野が変動していると判定されているときは、画像バッファメモリに蓄積した精細画像作成用の画像データを破棄するようにしてもよい。
これによれば、測定視野が異なる画像データに基づいて精細画像データを作成することを避けることができるので、画像ブレのない精細画像を作成することができる。
In the above invention, the fine image data creation unit discards the fine image creation image data stored in the image buffer memory when the visual field variation determination unit determines that the measurement visual field is fluctuating. It may be.
According to this, since it is possible to avoid creating fine image data based on image data with different measurement fields of view, it is possible to create a fine image without image blurring.
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and it goes without saying that various aspects are included without departing from the spirit of the present invention.
(実施形態1)
図1は、本発明の一実施形態であるX線検査装置の構成を示すブロック図である。このX線検査装置1は、X線発生装置11とX線検出器12とで構成されるX線測定光学系13と、被測定物の測定視野を調整する視野調整機構14と、装置全体の制御を行う制御系15とにより構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an X-ray inspection apparatus according to an embodiment of the present invention. The X-ray inspection apparatus 1 includes an X-ray measurement optical system 13 including an X-ray generator 11 and an X-ray detector 12, a visual field adjustment mechanism 14 that adjusts a measurement visual field of an object to be measured, and an overall apparatus. And a control system 15 that performs control.
制御系15は汎用のコンピュータ装置により構成されるが、そのハードウェアをさらにブロック化して説明すると、CPU21、キーボード、マウスなどの入力装置22、液晶パネルなどの表示装置23、画像データを蓄積する画像バッファメモリ24により構成される。
また、CPU21が処理する機能をブロック化して説明すると、コマ画像データ作成部31、精細画像データ作成部32、視野調整制御部33、視野変動判定部34、画像モード切替部35、蓄積画像データ消去部36に分けられる。
The control system 15 is configured by a general-purpose computer device. The hardware of the control system 15 is further described. The CPU 21, an input device 22 such as a keyboard and a mouse, a display device 23 such as a liquid crystal panel, and an image for storing image data. The buffer memory 24 is used.
Further, the functions processed by the CPU 21 will be described in block form. The frame image data creation unit 31, the fine image data creation unit 32, the visual field adjustment control unit 33, the visual field variation determination unit 34, the image mode switching unit 35, and the stored image data erasure Divided into parts 36.
X線測定光学系13を構成するX線発生装置11は、透視X線照射用のX線管を備えている。また、X線検出器12には、X線変換層とTFT回路付基板とからなるフラットパネルX線検出器が用いてあり、X線変換層で撮影した透視X線像を、TFT回路に形成された画素電極ごとに読み出し、映像信号として出力するようにしてある。 The X-ray generator 11 constituting the X-ray measurement optical system 13 includes an X-ray tube for fluoroscopic X-ray irradiation. The X-ray detector 12 uses a flat panel X-ray detector composed of an X-ray conversion layer and a substrate with a TFT circuit, and forms a fluoroscopic X-ray image photographed by the X-ray conversion layer in the TFT circuit. Each pixel electrode read out is read out and output as a video signal.
視野調整機構14は、被測定物Sを載置するステージ16と、ステージ16をステージ面方向である二次元XY方向に移動することにより検査位置を調整するとともに、ステージ16をステージ面に垂直な方向であるZ方向に移動することにより測定倍率を調整する三次元駆動機構17とからなり、視野調整制御部33によって制御される。このステージ16の移動により被測定物Sに対する透視X線の視野調整が行われる。すなわち、視野調整機構14と視野調整制御部33とにより視野調整部として機能することになる。 The visual field adjustment mechanism 14 adjusts the inspection position by moving the stage 16 on which the object to be measured S is placed, and the two-dimensional XY direction, which is the stage surface direction, and makes the stage 16 perpendicular to the stage surface. The three-dimensional drive mechanism 17 that adjusts the measurement magnification by moving in the Z direction, which is the direction, is controlled by the visual field adjustment control unit 33. The movement of the stage 16 adjusts the field of view of the fluoroscopic X-ray with respect to the object S to be measured. That is, the visual field adjustment mechanism 14 and the visual field adjustment control unit 33 function as a visual field adjustment unit.
CPU21の各機能ブロックについて説明する。コマ画像データ作成部31は、X線検出器12から送られてきた透視X線像の映像信号に基づいて、次々とデジタル画像化処理を行い、コマ画像データDnを作成する制御を行う。具体的には、例えば8コマ/秒でコマ画像データDnを作成する。なお、作成された1つ1つのコマ画像Dnにはちらつきノイズが含まれている。
また、コマ画像データ作成部31は、映像信号のデジタル画像化処理を行う際に、処理速度を向上するため、隣接する複数の画素(例えば2×2画素)を1つの画素とみなして画像処理を行うビニング処理を行うことができるようにしてある。ビニング処理を実行するか否かは、後述する視野変動判定部34による判定結果に基づいて決定されるようにしてある。
Each functional block of the CPU 21 will be described. Frame image data generating unit 31, based on the video signals fluoroscopic X-ray image sent from the X-ray detector 12 performs one after another digital image processing, and controls to create a frame image data D n. Specifically, to create a frame image data D n, for example, 8 frames / sec. Note that each generated frame image D n includes flicker noise.
In addition, the frame image data creation unit 31 regards a plurality of adjacent pixels (for example, 2 × 2 pixels) as one pixel in order to improve processing speed when performing digital imaging processing of a video signal. Binning processing can be performed. Whether or not to execute the binning process is determined based on a determination result by the visual field variation determination unit 34 described later.
精細画像データ作成部32は、コマ画像データ作成部31が透視X線像の最新のコマ画像データDnを作成するごとに、前回の精細画像作成のときに作成し、画像バッファメモリ24に蓄積した精細画像データCn−1を読み出し、最新のコマ画像データDnを、予め設定してある比率で精細画像データCn−1に加算する画像処理を行い、得られた画像データを最新の精細画像データCnとして画像バッファメモリ24に蓄積する処理(リカーシブフィルタ処理)を行う。これにより、精細画像データCnは、最新のコマ画像データDnが作成されるごとに更新するようにしてある。なお、初めて精細画像データを作成するときは、画像バッファメモリ24に前回の精細画像データが蓄積されていないので、白紙のコマ画像D0が形式的に蓄積されているものとして処理する。過渡期間は、しばらくちらつきノイズが残るが次第に鮮明な精細画像データが形成されていく。 Definition image data creation unit 32, each time frame image data creation unit 31 creates the latest frame image data D n of the perspective X-ray image, created when the previous definition image creation, stored in the image buffer memory 24 The processed fine image data C n-1 is read, and the latest frame image data D n is added to the fine image data C n-1 at a preset ratio, and the obtained image data is updated to the latest Processing (recursive filter processing) for storing the fine image data C n in the image buffer memory 24 is performed. Thereby, the fine image data C n is updated every time the latest frame image data D n is created. Incidentally, when creating the first definition image data, since the image buffer memory 24 the previous definition image data not stored, is treated as a blank frame image D 0 is formally accumulation. During the transition period, flicker noise remains for a while, but clear and fine image data is gradually formed.
視野調整制御部33は、操作者が入力装置22によりステージ16をXY方向、あるいはZ方向に移動させる指示を行ったときに、三次元駆動機構17を制御して、ステージ16を所望の位置に移動する制御を行う。 The visual field adjustment control unit 33 controls the three-dimensional drive mechanism 17 to move the stage 16 to a desired position when the operator gives an instruction to move the stage 16 in the XY direction or the Z direction by the input device 22. Control to move.
視野変動判定部34は、視野調整制御部33から三次元駆動機構17に送る駆動信号に基づいて、視野変動の有無を判定する処理を行う。すなわち、駆動信号が送られているときは、ステージ16が移動することになるので、視野変動中と判定し、駆動信号が送られていないときは視野固定中と判定する。 The visual field variation determination unit 34 performs processing for determining the presence or absence of visual field variation based on the drive signal sent from the visual field adjustment control unit 33 to the three-dimensional drive mechanism 17. That is, when the drive signal is sent, the stage 16 moves, so it is determined that the field of view is changing, and when the drive signal is not sent, it is determined that the field of view is being fixed.
画像モード切替部35は、視野変動判定部34の判定結果に基づいて、視野変動中は表示装置23の画面にコマ画像データDnを表示し、視野固定中は精細画像データCnを表示する制御を行う。
蓄積画像データ消去部36は、視野変動判定部34の判定結果に基づいて、視野変動中は画像バッファメモリ24に蓄積していた画像データを消去する制御を行う。
Based on the determination result of the visual field variation determination unit 34, the image mode switching unit 35 displays the frame image data D n on the screen of the display device 23 during the visual field variation, and displays the fine image data C n while the visual field is fixed. Take control.
The accumulated image data erasure unit 36 performs control to erase the image data accumulated in the image buffer memory 24 during the visual field variation based on the determination result of the visual field variation determination unit 34.
次に、このX線検査装置1による測定動作(表示処理動作)について説明する。図2は、測定動作を示すフローチャートである。
被測定物Sをステージ16上に載置して測定を開始する。ステージ16の制御信号をモニタすることにより、ステージ16が移動中であるか停止状態であるかを判定する(S101)。
Next, the measurement operation (display processing operation) by the X-ray inspection apparatus 1 will be described. FIG. 2 is a flowchart showing the measurement operation.
The measurement object S is placed on the stage 16 and measurement is started. By monitoring the control signal of the stage 16, it is determined whether the stage 16 is moving or stopped (S101).
ステージ16が停止である判定のときは、ビニング処理機能をOFF状態にし(S102)、コマ画像データDnを作成する(S103)。
続いてリカーシブフィルタをON状態にして(S104)、画像バッファメモリ24に蓄積してある精細画像作成用の画像データ(前回作成した精細画像データCn−1)と最新のコマ画像データDnとにより、新たに精細画像データCnを作成して画像バッファメモリ24に蓄積(更新)する(S105)。
そして、作成した最新の精細画像データCnを表示装置23の画面に表示する(S106)。
以後、S101に戻って、処理を繰り返す。
When the decision stage 16 is stopped, and the binning processing function to the OFF state (S102), to create a frame image data D n (S103).
Subsequently, the recursive filter is turned on (S104), image data for fine image creation (fine image data C n-1 created last time) and latest frame image data D n stored in the image buffer memory 24, and Thus, the fine image data C n is newly created and stored (updated) in the image buffer memory 24 (S105).
Then, to display the latest definition image data C n created on the screen of the display device 23 (S106).
Thereafter, the process returns to S101 and the process is repeated.
一方、S101で、ステージ16が移動中である判定のときは、画像ブレの発生を避けるために、画像バッファメモリ24に蓄積された精細画像作成用の画像データ(前回作成した精細画像データCn−1)を消去する(S107)。すなわち、データ処理上は、白紙の精細画像データC0が蓄積されたものとする。
続いて、さらに追従性を優先した処理を実行するため、ビニング処理機能をON状態にし(S108)、ビニング処理を実行して作成したコマ画像データD’nを作成する(S109)。
続いて、リカーシブフィルタをOFF状態にし(S110)、精細画像データC’nは使用されないため、作成せずにおく。画像バッファメモリ24にも、精細画像データC’nは蓄積されない(白紙の精細データC0が蓄積されたものとしてある)。
そして、最新のコマ画像データD’nを表示装置の画面に表示する(S111)。
以後S101に戻って、処理を繰り返す。
On the other hand, when it is determined in S101 that the stage 16 is moving, in order to avoid the occurrence of image blurring, the image data for fine image creation stored in the image buffer memory 24 (the fine image data C n created previously) is stored. -1 ) is deleted (S107). That is, for data processing, it is assumed that blank fine image data C 0 is accumulated.
Subsequently, in order to execute processing that prioritizes followability, the binning processing function is turned on (S108), and frame image data D′ n generated by executing binning processing is generated (S109).
Subsequently, the recursive filter is turned off (S110), and the fine image data C ′ n is not used and is not created. The fine image data C ′ n is not accumulated in the image buffer memory 24 (the fine fine data C 0 is assumed to be accumulated).
Then, the latest frame image data D′ n is displayed on the screen of the display device (S111).
Thereafter, the process returns to S101 and the process is repeated.
図3は、ステージ16を停止後、図2で説明した表示処理を繰り返し実行したときの各回数ごとのコマ画像データ、画像バッファメモリに蓄積される精細画像データ、表示装置23の画面に表示される画像データの一例を説明する図であり、図4は、表示装置23の画面に表示される画像例である。この例では、第7回目表示処理前にステージを移動し、第10回目表示処理前にステージを停止したものとしている。 FIG. 3 shows the frame image data for each number of times when the display process described in FIG. 2 is repeatedly executed after the stage 16 is stopped, the fine image data stored in the image buffer memory, and the screen of the display device 23. FIG. 4 is an example of an image displayed on the screen of the display device 23. In this example, the stage is moved before the seventh display process, and the stage is stopped before the tenth display process.
ここでは、リカーシブフィルタ処理により、ちらつきノイズが消えた画像が表示されるまでには少なくとも4回のリカーシブフィルタ処理の繰り返しが必要であり、それまではちらつきノイズを含んだ仮の精細画像データが表示され、それ以後は、安定した精細画像データが表示されるものとして説明している。 Here, it is necessary to repeat the recursive filter processing at least four times until the image in which the flicker noise disappears is displayed by the recursive filter processing. Until then, temporary fine image data including the flicker noise is displayed. After that, it is assumed that stable fine image data is displayed.
操作者により、測定動作(表示処理)が開始されると、初回の表示処理により、最初のコマ画像データD1が作成され、画像バッファメモリ24には精細画像データC0(白紙精細画像データ)と直前のコマ画像データD1とによるリカーシブフィルタ処理により得られた画像データC1が蓄積される。ただし、画像データC1はちらつきノイズを含んでいるため、仮の精細画像データである。表示装置23には、仮の精細画像データC1が表示される。
同様に、第2回表示処理(第3回表示処理)の表示処理により、コマ画像データD2(D3)が作成され、仮の精細画像データC2(C3)が画像バッファメモリに蓄積されるとともに表示装置23に表示される。
When the measurement operation (display process) is started by the operator, the first frame image data D 1 is created by the first display process, and the fine image data C 0 (blank paper fine image data) is stored in the image buffer memory 24. the image data C 1 obtained by the recursive filtering process is accumulated by the frame image data D 1 of the immediately preceding and. However, since the image data C 1 is containing the flicker noise is a definition image data temporary. On the display device 23, definition image data C 1 of the provisional appears.
Similarly, frame image data D 2 (D 3 ) is created by the display process of the second display process (third display process), and temporary fine image data C 2 (C 3 ) is stored in the image buffer memory. And displayed on the display device 23.
第4回表示処理により、コマ画像データD4が作成される。画像バッファメモリ24に蓄積されている精細画像データC3とによるリカーシブフィルタ処理を実行すると、必要回数のリカーシブフィルタ処理の繰り返しがなされたので、ちらつきノイズのない精細画像データC4が得られる。これを画像バッファメモリ24に蓄積し、表示装置23の画面に最新の精細画像データC4を表示する。図4(a)は、このときの画像例を示したものであり、ちらつきノイズのない精細な画像が表示されている。
以後、第5回目表示処理(第6回目表示処理)では、コマ画像データD5(D6)による精細画像データC5(C6)の更新が行われている。
The 4th display processing, the frame image data D 4 is created. When executing the recursive filtering by the definition image data C 3 stored in the image buffer memory 24, since the repetition of the recursive filtering required number has been made, definition image data C 4 noiseless flickering are obtained. This is stored in the image buffer memory 24 and the latest fine image data C 4 is displayed on the screen of the display device 23. FIG. 4A shows an example of an image at this time, and a fine image without flickering noise is displayed.
Thereafter, in the fifth display process (sixth display process), the fine image data C 5 (C 6 ) is updated with the frame image data D 5 (D 6 ).
第7回表示処理の前に、ステージ16が移動すると、変動に対する追従性を高めるためにビニング処理がON状態になり、ビニング処理によるコマ画像データD’7が作成される。このとき、画像バッファメモリ24に蓄積されていた精細画像データC6は消去され、白紙の精細画像データC0が形式的に蓄積されている状態になる。また、表示装置23の画面にはコマ画像データD’7が表示される。図4(b)はこのときの画像例を示したものであり、ちらつきノイズを含むとともにビニング処理による粗い画像が表示されている。ステージ移動中であるため、画質はこれでも十分であり、しかも被測定物Sの透視X線像が追従性よく表示できている。
第8回表示処理(第9回表示処理)では、コマ画像データD’8(D’9)が作成され、表示装置の画面に表示する画像の更新が行われている。
If the stage 16 is moved before the seventh display process, the binning process is turned on in order to improve the followability to the fluctuation, and the frame image data D ′ 7 is generated by the binning process. At this time, the fine image data C 6 stored in the image buffer memory 24 is erased, and the blank fine image data C 0 is formally stored. Further, the frame image data D ′ 7 is displayed on the screen of the display device 23. FIG. 4B shows an example of an image at this time, and a coarse image including flicker noise and binning processing is displayed. Since the stage is moving, the image quality is sufficient, and the fluoroscopic X-ray image of the object S can be displayed with good followability.
In the eighth display process (the ninth display process), frame image data D ′ 8 (D ′ 9 ) is created, and the image displayed on the screen of the display device is updated.
第10回表示処理前に、ステージ移動が停止すると、ビニング処理はOFF状態になり、通常のコマ画像データD10が作成される。画像バッファメモリ24には形式的な精細画像データC0(白紙精細画像データ)と直前のコマ画像データD10とによるリカーシブフィルタ処理により得られた精細画像データC10が蓄積される。ただし、画像データC10はちらつきノイズを含んでいるため、仮の精細画像データである。表示装置23には、仮の精細画像データC10が表示される。
同様に、第11回表示処理(第12回表示処理)により、コマ画像データD11(D12)が作成され、仮の精細画像データC11(C12)が画像バッファメモリ24に蓄積されるとともに表示装置23に表示される。
さらに、第13回表示処理により、コマ画像データD13が作成され、必要回数のリカーシブフィルタ処理の繰り返しがなされたので、ちらつきノイズのない精細画像データC13が得られる。図4(c)は、このときの画像例を示したものであり、ちらつきノイズのない精細な画像が表示されている。
Before 10th display processing, the stage movement is stopped, binning becomes OFF state, normal frame image data D 10 of being created. Formal definition image data C 0 (blank definition image data) and the immediately preceding frame image data D 10 and definition image data C 10 obtained by recursive filtering by of the image buffer memory 24 is accumulated. However, since the image data C 10 is containing the flicker noise is a definition image data temporary. On the display device 23, definition image data C 10 provisional appears.
Similarly, frame image data D 11 (D 12 ) is created by the eleventh display process (twelfth display process), and temporary fine image data C 11 (C 12 ) is stored in the image buffer memory 24. At the same time, it is displayed on the display device 23.
In addition, the 13th display process is created frame image data D 13, since the repetition of recursive filtering required number has been made, definition image data C 13 noiseless flickering are obtained. FIG. 4C shows an image example at this time, and a fine image without flickering noise is displayed.
以上の処理動作により、ステージ移動により視野が変動している間は、変動に対する追従性がよい動画像表示を行うことができ、ステージが停止状態となり視野が固定されてからは、リカーシブフィルタ処理による精細画像を表示することができるので、状況に応じて最適な表示モードを実現することができ、使い勝手のよいX線検査装置にすることができる。 By the above processing operation, while the visual field fluctuates due to the stage movement, it is possible to perform moving image display with good followability to the fluctuation, and after the stage is stopped and the visual field is fixed, the recursive filter processing is performed. Since a fine image can be displayed, an optimal display mode can be realized according to the situation, and an easy-to-use X-ray inspection apparatus can be obtained.
(実施形態2)
上述したX線検査装置1では、精細画像データを作成する際に、リカーシブフィルタ処理を実行したが、これに代えて、平均化処理を実行することにより、精細画像データを作成するようにしてもよい。
(Embodiment 2)
In the X-ray inspection apparatus 1 described above, the recursive filter process is performed when the fine image data is created. Instead, the fine image data may be created by performing an averaging process. Good.
図5は、平均化処理により精細画像データを作成するX線検査装置2の構成を説明するブロック図である。図において、図1と同じものは同符号を付すことにより、説明を省略する。 FIG. 5 is a block diagram illustrating the configuration of the X-ray inspection apparatus 2 that creates fine image data by averaging processing. In the figure, the same components as those in FIG.
平均化処理を実行するX線検査装置2は、リカーシブフィルタ処理を実行して精細画像データを作成する精細画像データ作成部32に代えて、平均化処理を実行して精細画像データを作成する精細画像データ作成部37を備えている。
精細画像データ作成部37は、コマ画像データ作成部31が透視X線像の最新のコマ画像データDnを作成するごとに、この最新画像データDnとともに、画像バッファメモリ24に蓄積されているコマ画像データDn−4、Dn−3、Dn−2、Dn−1(「精細画像データ作成に用いる画像データ」)を用いて平均化処理(各画素について平均値を求める)行い、新しく精細画像データCnを作成し、作成した最新の精細画像データCnを、最新画像データDnとともに、画像バッファメモリ24に蓄積する制御を行う。このとき、画像バッファメモリ24のメモリ容量を超える量のコマ画像データが蓄積されるときは、古いコマ画像データから破棄される。また、ステージ停止直後のように、画像バッファメモリ24に、必要数のコマ画像データが蓄積されていないときは、例えば形式的に白紙のコマ画像データD0が蓄積されているとして、形式的に平均化処理を実行するようにしてもよい。
このDn−1は、直前(前回)に作成したコマ画像データであり、Dn−2はDn−1の1つ前、Dn−3はDn−2の1つ前、Dn−4はDn−3の1つ前に作成したコマ画像データである。ここでは、便宜上、最新画像データDnと、蓄積された4コマのコマ画像データDn−4、Dn−3、Dn−2、Dn−1との平均化処理を行っているが、蓄積したコマ画像データ数を増やすほど、ちらつきノイズを減らすことができる。ただし、それだけメモリ容量を必要になるので、求める画質に応じて、適切なメモリ容量にしておく。
The X-ray inspection apparatus 2 that executes the averaging process executes the averaging process and creates fine image data instead of the fine image data creating unit 32 that executes the recursive filter process and creates the fine image data. An image data creation unit 37 is provided.
The fine image data creation unit 37 is stored in the image buffer memory 24 together with the latest image data D n every time the frame image data creation unit 31 creates the latest frame image data D n of a fluoroscopic X-ray image. Averaging processing (determining an average value for each pixel) using frame image data D n-4 , D n-3 , D n-2 , D n-1 (“image data used for fine image data creation”) , create a new definition image data C n, latest fine image data C n created, with the latest image data D n, performs control of storing the image buffer memory 24. At this time, when frame image data exceeding the memory capacity of the image buffer memory 24 is accumulated, the old frame image data is discarded. Further, as immediately after the stage stops, the image buffer memory 24, when the necessary number of frame image data is not stored, for example, as formally is frame image data D 0 in the blank are accumulated, formally An averaging process may be executed.
This D n-1 is the frame image data created immediately before (previous), D n-2 is one before D n-1 , D n-3 is one before D n-2 , D n -4 is frame image data created immediately before Dn -3 . For convenience, the latest image data D n, the frame image of the stored four frames data D n-4, D n- 3, is performed averaging processing of the D n-2, D n- 1 As the number of stored frame image data increases, flicker noise can be reduced. However, since such a memory capacity is required, an appropriate memory capacity is set according to the required image quality.
図6は、X線検査装置2による測定動作を示すフローチャートである。図2と異なる部分は、S204(図2ではS104)とS210(図2ではS110)であり、要するにリカーシブフィルタ処理を平均化処理に置換したものであり、処理の流れは同様である。 FIG. 6 is a flowchart showing a measurement operation by the X-ray inspection apparatus 2. The difference from FIG. 2 is S204 (S104 in FIG. 2) and S210 (S110 in FIG. 2). In short, the recursive filter process is replaced with the averaging process, and the process flow is the same.
図7は、図3と同様に、ステージ16を停止後、図6で示したフローチャートの表示処理を繰り返し実行したときの各回数ごとのコマ画像データ、画像バッファメモリ24に蓄積される精細画像データ、表示装置23の画面に表示される画像データの一例を説明する図である。
平均化処理では、画像バッファメモリ24に蓄積される画像データとして、精細画像データCnとともに、複数コマの直近のコマ画像データDn−4、Dn−3、Dn−2、Dn−1が含まれる点が異なるが、基本的に、それ以外は図3と同じである。
このように、平均化処理の場合も、リカーシブフィルタ処理の例と同様に、ステージ移動により視野が変動している間は、変動に対する追従性がよい動画像表示を行うことができ、ステージが停止状態となり視野が固定されてからは、リカーシブフィルタ処理による精細画像を表示することができるので、状況に応じて最適な表示モードを実現することができ、使い勝手のよいX線検査装置にすることができる。
7, similarly to FIG. 3, frame image data for each number of times and fine image data stored in the image buffer memory 24 when the display processing of the flowchart shown in FIG. 6 is repeatedly executed after the stage 16 is stopped. FIG. 4 is a diagram illustrating an example of image data displayed on the screen of the display device 23.
In the averaging processing, as the image data stored in the image buffer memory 24, together with the definition image data C n, the last frame image data of a plurality of frames D n-4, D n- 3, D n-2, D n- 3 is basically the same as FIG. 3 except that 1 is included.
As described above, in the case of the averaging process, as in the case of the recursive filter process, while the field of view is fluctuating due to the stage movement, it is possible to display a moving image with good followability to the fluctuation and the stage is stopped. After the state becomes fixed and the field of view is fixed, it is possible to display a fine image by recursive filter processing, so that an optimal display mode can be realized according to the situation, and an easy-to-use X-ray inspection apparatus can be obtained. it can.
なお、上記2つの実施形態による説明では、いずれもフラットパネルX線検出器を用いたが、IIとCCDカメラとを組み合わせたX線検出器などを用いた場合にも適用できる。また、上記実施形態ではX線透視装置を説明したが、この発明はX線CT装置にも適用することができる。
(実施形態3)
In the above description of the two embodiments, the flat panel X-ray detector is used, but the present invention can also be applied to the case where an X-ray detector that combines II and a CCD camera is used. Moreover, although the X-ray fluoroscopic apparatus has been described in the above embodiment, the present invention can also be applied to an X-ray CT apparatus.
(Embodiment 3)
上述した実施形態では、視野移動中(視野移動工程)と視野固定中(観察工程)との間での使い勝手を改善するようにしているが、以下に説明する実施形態では、さらに観察した箇所の高精細な静止画像を撮影する撮影工程も含めて使い勝手を改善するようにするようにしている。 In the embodiment described above, the usability between the field of view movement (field movement process) and the field fixation (observation process) is improved. However, in the embodiment described below, further observation points are observed. Usability is improved, including the shooting process for shooting high-definition still images.
図9は、本発明の他の一実施形態であるX線検査装置3の構成を説明するブロック図である。図において、図1、図5と同じものは同符号を付すことにより、一部説明を省略する。
このX線検査装置3は、X線測定光学系13と、視野調整機構14とについては、図1、図5のものと同じである。
FIG. 9 is a block diagram illustrating the configuration of an X-ray inspection apparatus 3 that is another embodiment of the present invention. In the figure, the same components as those in FIGS. 1 and 5 are denoted by the same reference numerals, and a part of the description is omitted.
In this X-ray inspection apparatus 3, the X-ray measurement optical system 13 and the visual field adjustment mechanism 14 are the same as those shown in FIGS.
制御系15は汎用のコンピュータ装置により構成されるが、そのハードウェアをさらにブロック化して説明すると、CPU21、キーボード、マウスなどの入力装置22、液晶パネルなどの表示装置23、画像データを蓄積する画像バッファメモリ24により構成される。
CPU21が処理する機能をブロック化して説明すると、コマ画像データ作成部41、精細画像データ作成部42、静止画像データ作成部43、静止画像作成指示部44、ビニング処理制御部45、視野調整制御部33、視野変動判定部34、画像モード切替部46、蓄積画像データ消去部36に分けられる。
The control system 15 is configured by a general-purpose computer device. The hardware of the control system 15 is further described. The CPU 21, an input device 22 such as a keyboard and a mouse, a display device 23 such as a liquid crystal panel, and an image for storing image data. The buffer memory 24 is used.
The functions processed by the CPU 21 will be described as a block. The frame image data creation unit 41, the fine image data creation unit 42, the still image data creation unit 43, the still image creation instruction unit 44, the binning processing control unit 45, and the visual field adjustment control unit. 33, a visual field variation determination unit 34, an image mode switching unit 46, and an accumulated image data erasing unit 36.
CPU21の各機能ブロックについて説明する。コマ画像データ作成部41は、X線検出器12から送られてきた透視X線像の映像信号に基づいて、次々とデジタル画像化処理を行い、ビニング処理を実行したコマ画像データD’n、または、ビニング処理を解除したコマ画像データDnを作成する制御を行う。すなわち、ビニング処理を解除したときは、例えば8コマ/秒でコマ画像データDnを作成するが、ビニング処理を実行したときは、それよりも高速で粗いコマ画像データD’nを作成する。なお、作成された1つ1つのコマ画像Dn、D’nにはちらつきノイズが含まれている。ビニング処理を実行するか否かの切り替えは、後述するビニング処理制御部45による制御信号に基づいて行われる。 Each functional block of the CPU 21 will be described. The frame image data creation unit 41 performs digital imaging processing one after another based on the video signal of the fluoroscopic X-ray image sent from the X-ray detector 12, and the frame image data D ′ n , which has undergone binning processing, or performs control to create a frame image data D n releasing the binning process. That is, when releasing the binning process is to create a frame image data D n, for example, 8 frames / sec, when executing the binning process creates a rough frame image data D 'n faster than it. Note that the generated frame images D n and D ′ n include flicker noise. Switching whether or not to execute the binning process is performed based on a control signal from a binning process control unit 45 described later.
精細画像データ作成部42は、コマ画像データ作成部41がビニング処理を実行しつつ、透視X線像の最新のコマ画像データD’nを作成するごとに、この最新画像データD’nとともに、画像バッファメモリ24に蓄積されているコマ画像データD’n−4、D’n−3、D’n−2、D’n−1(「精細画像データ作成用画像データ」)を用いて平均化処理(各画素について平均値を求める)を行い、新しく精細画像データC’nを作成し、作成した最新の精細画像データC’nを、最新画像データD’nとともに、画像バッファメモリ24に蓄積する制御を行う。このとき、画像バッファメモリ24のメモリ容量を超える量のコマ画像データが蓄積されるときは、古いコマ画像データから破棄される。また、ステージ停止直後のように、画像バッファメモリ24に、必要数のコマ画像データが蓄積されていないときは、例えば形式的に白紙のコマ画像データD’0が蓄積されているとして、形式的に平均化処理を実行するようにしてもよい。
なお、D’n−1は、直前(前回)に作成したコマ画像データであり、D’n−2はD’n−1の1つ前、D’n−3はD’n−2の1つ前、D’n−4はD’n−3の1つ前に作成したコマ画像データである。ここでは、便宜上、最新画像データD’nと、蓄積された4コマのコマ画像データD’n−4、D’n−3、D’n−2、D’n−1との平均化処理を行っているが、蓄積したコマ画像データ数を増やすほど、ちらつきノイズを減らすことができる。ただし、それだけメモリ容量を必要になるので、求める画質に応じて、適切なメモリ容量にしておく。
これにより、精細画像データC’nは、最新のコマ画像データD’nが作成されるごとに更新するようにしてある。なお、初めて精細画像データを作成するときは、画像バッファメモリ24に前回の精細画像データが蓄積されていないので、白紙のコマ画像D’0が形式的に蓄積されているものとして処理する。過渡期間は、しばらくちらつきノイズが残るが次第に鮮明な精細画像データが形成されていく。
The fine image data creation unit 42 creates the latest frame image data D ′ n of the fluoroscopic X-ray image while the frame image data creation unit 41 executes the binning process, together with the latest image data D ′ n , Average using frame image data D ′ n−4 , D ′ n−3 , D ′ n−2 , D ′ n−1 (“fine image data for creating fine image data”) stored in the image buffer memory 24 performs processing (an average value for each pixel), 'create a n, latest definition image data C created' new definition image data C n, the with the latest image data D 'n, in the image buffer memory 24 Perform accumulation control. At this time, when frame image data exceeding the memory capacity of the image buffer memory 24 is accumulated, the old frame image data is discarded. Further, when the required number of frame image data is not stored in the image buffer memory 24 immediately after the stage is stopped, it is assumed that, for example, the blank frame image data D ′ 0 is stored in a formal manner. Alternatively, the averaging process may be executed.
Note that D ′ n−1 is frame image data created immediately before (previous time), D ′ n−2 is one before D ′ n−1 , and D ′ n−3 is D ′ n−2 . The previous image D ′ n−4 is frame image data created immediately before D ′ n−3 . Here, for convenience, the averaging process of the latest image data D ′ n and the accumulated four-frame image data D ′ n−4 , D ′ n−3 , D ′ n−2 , and D ′ n−1. However, flicker noise can be reduced as the number of accumulated frame image data is increased. However, since such a memory capacity is required, an appropriate memory capacity is set according to the required image quality.
Thereby, the fine image data C ′ n is updated every time the latest frame image data D ′ n is created. When fine image data is created for the first time, since the previous fine image data is not accumulated in the image buffer memory 24, processing is performed assuming that a blank frame image D' 0 is formally accumulated. During the transition period, flicker noise remains for a while, but clear and fine image data is gradually formed.
静止画像データ作成部43は、コマ画像データ作成部41がビニング処理を解除した状態で、透視X線像の最新のコマ画像データDnを作成するごとに、この最新画像データDnとともに、画像バッファメモリ24に蓄積されているコマ画像データDn−4、Dn−3、Dn−2、Dn−1(「静止画像データ作成用画像データ」)を用いて平均化処理を行い、新しく静止画像データCnを作成し、作成した最新の精細画像データCnを、最新画像データDnとともに、画像バッファメモリ24に蓄積する制御を行う。このとき、画像バッファメモリ24のメモリ容量を超える量のコマ画像データが蓄積されるときは、古いコマ画像データから破棄される。また、ステージ停止直後のように、画像バッファメモリ24に、必要数のコマ画像データが蓄積されていないときは、例えば形式的に白紙のコマ画像データD0が蓄積されているとして、形式的に平均化処理を実行するようにしてもよい。
このDn−1は、直前(前回)に作成したコマ画像データであり、Dn−2はDn−1の1つ前、Dn−3はDn−2の1つ前、Dn−4はDn−3の1つ前に作成したコマ画像データである。ここでは、便宜上、最新画像データDnと、蓄積された4コマのコマ画像データDn−4、Dn−3、Dn−2、Dn−1との平均化処理を行っているが、蓄積したコマ画像データ数を増やすほど、ちらつきノイズを減らすことができる。ただし、それだけメモリ容量を必要になるので、求める画質に応じて、適切なメモリ容量にしておく。
これにより、静止画像データCnは、最新のビニング処理が解除されたコマ画像データDnが作成されるごとに更新するようにしてある。静止画像データCnは、精細画像データC’nに比べて、画質が改善されているが、更新に時間が必要になる。なお、初めて静止画像データを作成するときは、画像バッファメモリ24に前回の静止画像データが蓄積されていないので、白紙のコマ画像D0が形式的に蓄積されているものとして処理する。過渡期間は、しばらくちらつきノイズが残るが次第に高精細な静止画像データが形成されていく。
静止画像データ作成部43は、次に説明する静止画像作成指示部44の指示信号の発生により実行が開始される。
Still image data generating unit 43, in a state where the frame image data generating unit 41 releases the binning process every time to create the latest frame image data D n of the perspective X-ray image, with the latest image data D n, the image An averaging process is performed using the frame image data D n−4 , D n−3 , D n−2 , and D n−1 (“image data for creating still image data”) stored in the buffer memory 24, create a new still image data C n, the latest definition image data C n created, with the latest image data D n, performs control of storing the image buffer memory 24. At this time, when frame image data exceeding the memory capacity of the image buffer memory 24 is accumulated, the old frame image data is discarded. Further, as immediately after the stage stops, the image buffer memory 24, when the necessary number of frame image data is not stored, for example, as formally is frame image data D 0 in the blank are accumulated, formally An averaging process may be executed.
This D n-1 is the frame image data created immediately before (previous), D n-2 is one before D n-1 , D n-3 is one before D n-2 , D n -4 is frame image data created immediately before Dn -3 . For convenience, the latest image data D n, the frame image of the stored four frames data D n-4, D n- 3, is performed averaging processing of the D n-2, D n- 1 As the number of stored frame image data increases, flicker noise can be reduced. However, since such a memory capacity is required, an appropriate memory capacity is set according to the required image quality.
As a result, the still image data C n is updated every time the frame image data D n for which the latest binning processing is canceled is created. The still image data C n has an improved image quality as compared with the fine image data C ′ n , but requires time for updating. Incidentally, when creating the first still image data, since the image buffer memory 24 the previous still image data not stored, is treated as a blank frame image D 0 is formally accumulation. During the transition period, flickering noise remains for a while, but high-definition still image data is gradually formed.
Execution of the still image data creation unit 43 is started by generation of an instruction signal from a still image creation instruction unit 44 described below.
静止画像作成指示部44は、静止画像作成の指示信号を発生する制御を行う。具体的には、操作者が検査箇所を観察し、静止画像を保存しようとしたときに、入力装置22を操作することによって、これを検出し、静止画像を作成するための指示信号が発生するようにしてある。この場合は、手動操作の検出によるが、自動シーケンスプログラムを作成しておくことによって、自動化してもよい。例えば、検査対象物の形状が一定であり、検査箇所も常に同じ位置である場合には、いわゆる周知のティーチング機能を利用することで、観察する座標位置を記憶させておくことにより、自動的に位置を移動し、該当位置で自動的に観察(例えばあらかじめ記憶させてある標準画像とパターン比較する)を行って確認した上で、静止画像作成の指示信号を発生する制御を行うようにしてもよい。静止画像作成の指示信号は、次に説明するビニング処理制御部45に送られる。 The still image creation instruction unit 44 performs control to generate a still image creation instruction signal. More specifically, when an operator observes an inspection location and tries to save a still image, the operator operates the input device 22 to detect this and generate an instruction signal for creating a still image. It is like that. In this case, although it depends on detection of manual operation, it may be automated by creating an automatic sequence program. For example, when the shape of the inspection object is constant and the inspection location is always at the same position, the coordinate position to be observed is automatically stored by using a so-called known teaching function. After moving the position and automatically observing (for example, pattern comparison with a standard image stored in advance) at the corresponding position and confirming it, control to generate a still image creation instruction signal may be performed. Good. A still image creation instruction signal is sent to a binning processing control unit 45 described below.
ビニング処理制御部45は、静止画像作成の指示信号の発生の有無を監視し、指示信号が発生していないときは、コマ画像データ作成部41に対し、ビニング処理を実行しつつコマ画像を作成する制御を行い、さらに指示信号が発生したときは、コマ画像データ作成部41に対し、ビニング処理を解除してコマ画像を作成する制御を行う。 The binning processing control unit 45 monitors whether or not an instruction signal for generating a still image is generated. If no instruction signal is generated, the binning processing control unit 45 generates a frame image while performing a binning process on the frame image data generating unit 41. When an instruction signal is generated, the frame image data creation unit 41 is controlled to cancel the binning process and create a frame image.
視野調整制御部33、視野変動判定部34については、図1、図5で説明したものと同じであり、画像モード切替部35は、静止画像作成指示部44による指示信号の発生、および、視野変動判定部34の判定結果に基づいて、表示画像を切り替える制御を行う。
具体的には、静止画像作成の指示信号がない状態でかつ視野が変動している判定のときは最新のビニング処理を実行したコマ画像データ(粗画像データ)を表示し、静止画像の指示信号がない状態でかつ視野が一定である判定のときは精細画像データを表示し、静止画像の指示信号がある状態のときは静止画像データ(高精細画像データ)を表示するようにしている。
The visual field adjustment control unit 33 and the visual field fluctuation determination unit 34 are the same as those described with reference to FIGS. 1 and 5, and the image mode switching unit 35 generates an instruction signal by the still image creation instruction unit 44, and the visual field Based on the determination result of the fluctuation determination unit 34, control for switching the display image is performed.
Specifically, when it is determined that there is no still image creation instruction signal and the field of view is changing, the frame image data (coarse image data) that has been subjected to the latest binning process is displayed, and the still image instruction signal is displayed. When it is determined that there is no image and the field of view is constant, fine image data is displayed, and when there is a still image instruction signal, still image data (high-definition image data) is displayed.
蓄積画像データ消去部36は、視野変動判定部34の判定結果に基づいて、視野変動中は画像バッファメモリ24に蓄積していた画像データを消去する制御を行う。 The accumulated image data erasure unit 36 performs control to erase the image data accumulated in the image buffer memory 24 during the visual field variation based on the determination result of the visual field variation determination unit 34.
次に、このX線検査装置3による測定動作(表示処理動作)について説明する。図10は、測定動作を示すフローチャートである。
被測定物Sをステージ16上に載置して測定を開始すると、表示処理が開始される。表示装置23による画像データの動画表示が可能になり、画像データが送られると順次画面表示するようになる(S301)。
Next, the measurement operation (display processing operation) by the X-ray inspection apparatus 3 will be described. FIG. 10 is a flowchart showing the measurement operation.
When the measurement object S is placed on the stage 16 and measurement is started, display processing is started. The moving image of the image data can be displayed on the display device 23, and when the image data is sent, the screen is sequentially displayed (S301).
測定開始時は、静止画像作成の指示信号が発生していないので、ビニング処理を実行したコマ画データ像が作成される(S302)。したがってこのとき作成されるコマ画像データは、ちらつきノイズを含んだ粗画像データである
続いて、ステージ16の制御信号をモニタすることにより、ステージ16が移動中であるか停止状態であるかを判定する(S303)。ステージが移動中のときはS304へ進み、ステージが停止中のときはS308に進む。
At the start of measurement, no still image creation instruction signal is generated, so a frame image data image on which binning processing has been executed is created (S302). Therefore, the frame image data created at this time is coarse image data including flickering noise. Subsequently, the stage 16 is monitored to determine whether the stage 16 is moving or stopped. (S303). When the stage is moving, the process proceeds to S304, and when the stage is stopped, the process proceeds to S308.
ステージ16が移動状態である判定のときは、メモリ24に蓄積された画像データを消去し(S304)、ビニング処理を実行したコマ画像データを作成する(S305)。
続いて、平均化処理機能をOFF状態にしておくことにより平均化処理を行わないようにし(S306)、作成された最新のコマ画像データを表示装置23に表示して(S307)、再びS303に戻り、同様の処理を繰り返す。表示される画像は、ちらつきノイズが含まれるが、高速表示が可能であり追従性に優れている。
When it is determined that the stage 16 is in the moving state, the image data stored in the memory 24 is deleted (S304), and frame image data subjected to binning processing is created (S305).
Subsequently, the averaging process function is turned off so that the averaging process is not performed (S306), the latest frame image data created is displayed on the display device 23 (S307), and the process returns to S303 again. Return and repeat the same process. The displayed image contains flickering noise, but can be displayed at high speed and has excellent followability.
ステージ16が停止状態である判定のとき、最新のビニング処理を実行したコマ画データ像を作成する(S308)。したがって作成されるコマ画像データは、粗画像データである。
続いて、平均化処理機能をON状態にすることにより平均化処理を行い(S309)、画像バッファメモリ24に蓄積してある精細画像作成用画像データと最新のコマ画像データとを用いて、最新の精細画像データを作成し(S310)、これを表示装置23に表示する(S311)。
表示された画像は平均化処理によりちらつきノイズが除去された精細画像が表示される。このときの画像は平均化処理に要する時間がかかるため、表示速度が少し遅くなるが、停止状態のため、あまり問題とならない。
When it is determined that the stage 16 is in the stopped state, a frame image data image for which the latest binning processing has been executed is created (S308). Therefore, the created frame image data is coarse image data.
Subsequently, averaging processing is performed by turning on the averaging processing function (S309), and the latest image data for fine image creation stored in the image buffer memory 24 and the latest frame image data are used to update the latest processing. Are generated (S310) and displayed on the display device 23 (S311).
The displayed image is a fine image from which flicker noise has been removed by the averaging process. Since the image at this time takes time required for the averaging process, the display speed is slightly slow, but it is not a problem because it is stopped.
続いて、静止画像作成の指示信号が発生したかを判定し(S312)、指示信号が発生していないときはS303に戻って同様の処理を繰り返し、指示信号が発生するとS313に進む。 Subsequently, it is determined whether an instruction signal for generating a still image has been generated (S312). If no instruction signal has been generated, the process returns to S303 and the same processing is repeated, and if an instruction signal has been generated, the process proceeds to S313.
S312において、静止画像作成の指示信号が発生したと判定されると、ビニング処理を解除(OFF状態)する(S313)。これにより、以後は、ビニング処理を解除したコマ画像データが作成される。
続いて、ビニング処理を解除したコマ画像データを用いて平均化処理を行い(S314)、静止画像データが作成される(S315)。以後、設定回数になるまで平均化処理と静止画像データ作成とを繰り返し(S316)、設定回数に達すると静止画像の保存処理を行ってメモリに記憶する(S317)。
If it is determined in S312 that a still image creation instruction signal has been generated, the binning process is canceled (OFF state) (S313). Thereby, the frame image data from which the binning process is canceled is created thereafter.
Subsequently, an averaging process is performed using the frame image data for which the binning process has been canceled (S314), and still image data is created (S315). Thereafter, the averaging process and still image data creation are repeated until the set number of times is reached (S316), and when the set number of times is reached, the still image is saved and stored in the memory (S317).
図11は、図10で説明した表示処理を実行したときの各回数ごとのコマ画像データ、画像バッファメモリに蓄積される画像データ、表示装置23の画面に表示される画像データの一例を説明する図であり、図12は、表示装置23の画面に表示される画像例である。この例では、初回目から第3回目までステージを移動し、第4回目から第8回目まではステージを停止して観察し、第9回目前に静止画像撮影の入力操作が行われたものとしている。なお、この例では、初回にステージ移動が開始されるので、初回目以前にステージ停止状態が続いている場合も同じである。 FIG. 11 illustrates an example of frame image data for each number of times when the display process described with reference to FIG. 10 is executed, image data stored in the image buffer memory, and image data displayed on the screen of the display device 23. FIG. 12 is an example of an image displayed on the screen of the display device 23. In this example, it is assumed that the stage is moved from the first time to the third time, the stage is stopped and observed from the fourth time to the eighth time, and an input operation of still image shooting is performed before the ninth time. Yes. In this example, since the stage movement is started for the first time, the same applies when the stage is stopped before the first time.
また、ここでは、ステージ移動停止後、平均化処理により、ちらつきノイズが消えた精細画像が表示されるまでには少なくとも4回の平均化処理の繰り返しが必要であり、それまではちらつきノイズを含んだ仮の精細画像データが表示され、それ以後は、安定した精細画像データが表示されるものとして説明している。さらに、静止画像作成の指示信号の発生後、平均化処理により、ちらつきノイズが消え、高精細な静止画像データが表示されるまでに5回の平均化処理の繰り返しが必要であり、それまではちらつきノイズを含んだ仮の高精細画像データが表示されるものとして説明している。 Here, after the stage movement is stopped, it is necessary to repeat the averaging process at least four times until the display of the fine image from which the flicker noise disappears by the averaging process. It is assumed that temporary fine image data is displayed, and thereafter stable fine image data is displayed. Furthermore, after the generation of the still image generation instruction signal, the averaging process eliminates the flicker noise, and it is necessary to repeat the averaging process five times until high-definition still image data is displayed. It is assumed that temporary high-definition image data including flicker noise is displayed.
ステージ移動中に,初回の表示処理により、最初のビニング処理を実行したコマ画像データD’1が作成される。画像バッファメモリ24には過去に作成され蓄積されていた画像データが破棄され(画像ブレ防止のため)、仮の精細画像データC0(白紙精細画像データ)が蓄積される。そして、表示画面23には、コマ画像データD’1が表示される。画像データD’1はちらつきノイズを含んでおり、しかも、ビニング処理された粗画像データであるが、追従性に優れているため、移動中の状態変化を表示することができる。
同様に、第2回表示処理(第3回表示処理)の表示処理により、コマ画像データD’2(D’3)が作成され、ステージ移動中の状態変化が追従性よく表示装置23に表示される。
図12(a)は、このときの画像例であり、ちらつきノイズが含まれた粗画像が表示されている。そして第3回目表示処理の後に、ステージ16が停止される。
During the stage movement, the frame image data D ′ 1 in which the first binning process is executed is created by the first display process. In the image buffer memory 24, image data that has been created and stored in the past is discarded (to prevent image blurring), and temporary fine image data C 0 (blank paper fine image data) is stored. Then, the frame image data D ′ 1 is displayed on the display screen 23. The image data D ′ 1 includes flicker noise and is rough image data subjected to binning processing. However, since the image data D ′ 1 is excellent in followability, it is possible to display a state change during movement.
Similarly, the frame image data D ′ 2 (D ′ 3 ) is created by the display process of the second display process (third display process), and the state change during the stage movement is displayed on the display device 23 with good followability. Is done.
FIG. 12A shows an image example at this time, and a coarse image including flickering noise is displayed. Then, after the third display process, the stage 16 is stopped.
第4回目表示処理により、ビニング処理を実行したコマ画像データD’4が作成される。画像バッファメモリ24に蓄積されている平均化処理用画像データと最新のコマ画像データD’4とによる平均化処理を実行し(ただし第4回目表示処理では平均化処理用画像データが蓄積されていないので形式的に行われる)、仮の精細画像データC’4が作成される。
第3回目表示処理から第4回目表示処理に移り変わる際に、ビニング処理自体は、引き続き実行されたまま維持されているので、ビニング処理を解除する際に発生するような待ち時間は生じない。
以後、第5回目表示処理(第6回目表示処理)では、コマ画像データD5(D6)による仮の精細画像データC’5(C’6)の更新が行われている。そして、第7回目表示処理では、必要回数のデータによる平均化処理がなされたので、ちらつきノイズのない精細画像データC’7が得られる。これを画像バッファメモリ24に蓄積し、表示装置23の画面に最新の精細画像データC’7を表示する。図12(b)は、このときの画像例を示したものであり、ちらつきノイズのない精細画像データが表示されている。
続いて、第8回目表示処理では、コマ画像データD’8による更新が行われ、精細画像データC’8が表示される。
そして、第8回目の表示処理の後に、静止画像作成の指示信号が発生される。
By the fourth display process, the frame image data D′ 4 subjected to the binning process is created. An averaging process is executed using the averaging process image data stored in the image buffer memory 24 and the latest frame image data D′ 4 (however, the averaging display image data is stored in the fourth display process). Since it does not exist, it is carried out formally), and temporary fine image data C ′ 4 is created.
When the transition from the third display process to the fourth display process is performed, the binning process itself continues to be executed, so that no waiting time occurs when the binning process is canceled.
Thereafter, in the fifth display process (sixth display process), the temporary fine image data C ′ 5 (C ′ 6 ) is updated with the frame image data D 5 (D 6 ). In the seventh display process, since the averaging process is performed using the required number of data, fine image data C ′ 7 without flickering noise is obtained. This is stored in the image buffer memory 24 and the latest fine image data C ′ 7 is displayed on the screen of the display device 23. FIG. 12B shows an image example at this time, and fine image data without flickering noise is displayed.
Subsequently, in the eighth display process, the frame image data D ′ 8 is updated, and the fine image data C ′ 8 is displayed.
Then, after the eighth display process, a still image creation instruction signal is generated.
静止画像作成の指示信号が発生により、ビニング処理が解除される。第9回目表示処理では、画像バッファメモリ24に過去に蓄積された画像データが破棄され、ビニング処理を解除して新たに作成されたコマ画像データD9が作成される。そして、コマ画像データD9と平均化処理用画像データとにより平均化処理した仮の高精細画像データC9が蓄積される(ただし第9回目表示処理ではビニング処理が解除されたため、以前の平均化処理用画像データが蓄積されていないので形式的に平均化処理が行われる)。そして、表示装置23の画面に仮の高精細画像データC9を表示する。
ビニング処理の解除に伴い、切り替えに数秒の待ち時間が生じる場合があるが、この時点での待ち時間は、上述したように、操作者にとっては第4回目表示処理のときほどは時間が気にならない。
Binning processing is canceled when a still image creation instruction signal is generated. In 9th display processing is discarded images stored in the past in the image buffer memory 24 data, the frame image data D 9 newly created by releasing the binning process is created. Then, since the binning process is canceled by the averaging processing, high-definition image data C 9 is accumulated in the temporary (although 9th display process by the frame image data D 9 and an averaging processing image data, the average previous Since the image processing image data is not accumulated, the averaging processing is performed formally). Then, temporary high-definition image data C 9 is displayed on the screen of the display device 23.
With the cancellation of the binning process, there may be a waiting time of several seconds for switching. However, as described above, the waiting time at this point is more time-consuming for the operator than the fourth display process. Don't be.
第10回目表示処理から第12回目表示処理まで、ビニング処理が解除されたコマ画像データD9、D10、D11、D12が作成され、平均化処理を繰り返して、仮の高精細画像データC9、C10、C11、C12ととともに蓄積される。第13回目表示処理によりビニング処理が解除されたコマ画像データD13が作成され、高精細画像データに必要な回数の平均化処理がなされた高精細画像データC13が作成されると、これが表示画面23に表示される。
図12(c)は、このときの画像例を示したものであり、ちらつきノイズがなく、高精細な画像が表示されることになる。
From the tenth display process to the twelfth display process, frame image data D 9 , D 10 , D 11 , D 12 from which the binning process has been canceled are created, and the averaging process is repeated to tentative high-definition image data Accumulated with C 9 , C 10 , C 11 , C 12 . Frame image data D 13 to the binning process is canceled is created by the 13 th display process, the high-resolution image data C 13 averaging processing times required for high definition image data is made is created, which is displayed It is displayed on the screen 23.
FIG. 12C shows an example of an image at this time, and a high-definition image is displayed without flickering noise.
以上の処理動作により、ステージ移動により視野が変動している間は、変動に対する追従性がよい動画像表示を行うことができ、ステージが停止状態となり視野が固定されてからは、平均化処理により精細画像を表示することができ、さらに静止画像データを作成する際には、ビニング処理を解除した高精細画像を作成するので、状況に応じて最適な表示を実現することができ、しかも、ビニング処理の切り替えに伴う待ち時間も気にならないようにすることができるので、使い勝手のよいX線検査装置にすることができる。 With the above processing operation, while the visual field is fluctuating due to the stage movement, it is possible to display a moving image with good follow-up to the fluctuation, and after the stage is stopped and the visual field is fixed, the averaging process is performed. High-definition images can be displayed, and when creating still image data, a high-definition image with the binning process canceled is created, so that optimal display can be realized according to the situation, and binning Since it is possible not to worry about the waiting time associated with the process switching, it is possible to provide an easy-to-use X-ray inspection apparatus.
なお、上記実施形態では、ビニング処理を実行しているときの平均化処理の回数を、ビニング処理を解除したときの平均化の回数より増加させているが、平均化処理の回数は、それぞれ観察工程中、静止画像撮影工程中に要求される画質に応じて、適宜設定できるようにしてもよい。 In the above-described embodiment, the number of averaging processes when the binning process is executed is increased from the number of averaging processes when the binning process is canceled. During the process, it may be set as appropriate according to the image quality required during the still image capturing process.
また、上記実施形態では、静止画像作成の指示信号があったときは、ビニング処理を実行した状態から解除するようにしたが、自動シーケンスプログラムによる運転を実施している場合等で、視野の固定時間が十分にとれない場合は、ビニング処理を解除せずにビニング処理を実行したまま静止画像作成を進めるようにしてもよい。 Further, in the above embodiment, when there is a still image creation instruction signal, the binning process is released from the executed state. However, when the operation by the automatic sequence program is performed, the field of view is fixed. If sufficient time is not available, still image creation may be performed while the binning process is performed without canceling the binning process.
また、上記説明では、平均化処理によりちらつきノイズを消去するようにしたが、これに代えて、実施例1で説明したようなリカーシブフィルタ処理を用いた場合でも同様である。この場合は、図10におけるS306、S309、S314の平均化処理をリカーシブフィルタ処理に置換することになる。 In the above description, the flicker noise is eliminated by the averaging process. However, the same applies to the case where the recursive filter process as described in the first embodiment is used instead. In this case, the averaging process of S306, S309, and S314 in FIG. 10 is replaced with the recursive filter process.
本発明は、視野変動中であるか視野固定中であるかの状態に応じて、表示態様を切り替えるX線検査装置に利用することができる。 The present invention can be used for an X-ray inspection apparatus that switches display modes depending on whether the visual field is changing or the visual field is fixed.
1、2、3: X線検査装置
11: X線発生装置
12: X線検出器
13: X線測定光学系
14: 視野調整機構
16: ステージ
17: 三次元駆動機構
22: 入力装置
23: 表示装置
24: 画像バッファメモリ
31: コマ画像データ作成部
32: 精細画像データ作成部(リカーシブフィルタ処理用)
33: 視野調整制御部
34: 視野変動判定部
35: 画像モード切替部
36: 蓄積画像データ消去部
37: 精細画像データ作成部(平均化処理用)
41: コマ画像データ作成部
42: 精細画像データ作成部
43: 静止画像データ作成部
44: 静止画像作成指示部
45: ビニング処理制御部
46: 画像モード切替部
1, 2, 3: X-ray inspection device 11: X-ray generator 12: X-ray detector 13: X-ray measurement optical system 14: Field adjustment mechanism 16: Stage 17: Three-dimensional drive mechanism 22: Input device 23: Display Device 24: Image buffer memory 31: Frame image data creation unit 32: Fine image data creation unit (for recursive filter processing)
33: Field adjustment control unit 34: Field variation determination unit 35: Image mode switching unit 36: Accumulated image data erasing unit 37: Fine image data creation unit (for averaging processing)
41: Frame image data creation unit 42: Fine image data creation unit 43: Still image data creation unit 44: Still image creation instruction unit 45: Binning processing control unit 46: Image mode switching unit
Claims (2)
X線検出器により撮影された映像信号に基づいて、ビニング処理を実行し、あるいは、ビニング処理を解除して、透視X線像のコマ画像データを1コマずつ繰り返し作成するコマ画像データ作成部と、
ビニング処理を実行して作成したコマ画像データをリカーシブフィルタ処理することにより作成された過去の画像データ、または、ビニング処理を実行して作成した少なくとも1つの過去のコマ画像データ、のいずれかを精細画像データ作成用画像データとして画像バッファメモリに蓄積し、蓄積された精細画像データ作成用画像データとビニング処理を実行して作成した最新の透視X線像のコマ画像データとを用いてリカーシブフィルタ処理、または、平均化処理された精細画像データを作成する精細画像データ作成部と、
ビニング処理を解除して作成したコマ画像データをリカーシブフィルタ処理することにより作成された過去の画像データ、または、ビニング処理を解除して作成した少なくとも1つの過去のコマ画像データ、のいずれかを静止画像データ作成用画像データとして画像バッファメモリに蓄積し、蓄積した静止画像データ作成用画像データとビニング処理を解除して作成した最新の透視X線像のコマ画像データとを用いてリカーシブフィルタ処理、または、平均化処理された静止画像データを作成する静止画像データ作成部と、
画像データを表示する表示装置と、
被測定物とX線測定光学系との位置関係を調整して被測定物に対する測定視野を変動させる視野調整部と、
測定視野の変動の有無を判定する視野変動判定部と、
静止画像作成の指示信号を発生する静止画像作成指示部と、
静止画像作成の指示信号の有無に基づいてコマ画像データ作成部に対しビニング処理の実行の有無を切り替えるビニング処理制御部と、
静止画像作成の指示信号がない状態でかつ視野が変動している判定のときはコマ画像データを表示し、静止画像の指示信号がない状態でかつ視野が一定である判定のときは精細画像データを表示し、静止画像の指示信号がある状態のときは静止画像データを表示する画像モード切替部とを備えたことを特徴とするX線検査装置。 An X-ray measurement optical system comprising an X-ray generator for irradiating the object to be measured with X-rays for fluoroscopy and an X-ray detector for capturing a fluoroscopic X-ray image of the object to be measured;
A frame image data creation unit that executes binning processing based on a video signal captured by an X-ray detector or cancels binning processing and repeatedly creates frame image data of a fluoroscopic X-ray image one by one; ,
Either the past image data created by performing the recursive filter process on the frame image data created by executing the binning process or at least one past frame image data created by executing the binning process is finely defined. Recursive filter processing using image data for image data creation stored in an image buffer memory, and using the accumulated image data for fine image data creation and the latest frame image data of a fluoroscopic X-ray image created by executing binning processing Or a fine image data creation unit that creates fine image data that has been averaged,
Either past image data created by recursive filter processing of frame image data created by canceling binning processing or at least one past frame image data created by canceling binning processing is stopped. Recursive filter processing using image data for image data creation stored in the image buffer memory, and using the stored still image data creation image data and the latest perspective X-ray image frame image data created by canceling the binning process, Alternatively, a still image data creation unit that creates the averaged still image data;
A display device for displaying image data;
A field adjustment unit that adjusts the positional relationship between the object to be measured and the X-ray measurement optical system to change the measurement field of view of the object to be measured;
A visual field variation determination unit that determines whether or not the measurement visual field varies,
A still image creation instruction unit for generating a still image creation instruction signal;
A binning processing control unit that switches the presence / absence of the binning process to the frame image data generation unit based on the presence / absence of an instruction signal for still image generation;
When it is determined that there is no still image creation instruction signal and the field of view is fluctuating, frame image data is displayed. When it is determined that there is no still image instruction signal and the field of view is constant, fine image data is displayed. And an image mode switching unit for displaying still image data when there is a still image instruction signal.
Definition image data creating unit according to claim 1, characterized in that discarding the image data for definition image created accumulated in the image buffer memory when the measuring field by the field variation determining unit is determined to be varied X-ray inspection apparatus described in 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006210093A JP4923828B2 (en) | 2005-09-07 | 2006-08-01 | X-ray inspection equipment |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005259820 | 2005-09-07 | ||
JP2005259820 | 2005-09-07 | ||
JP2006210093A JP4923828B2 (en) | 2005-09-07 | 2006-08-01 | X-ray inspection equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007101529A JP2007101529A (en) | 2007-04-19 |
JP4923828B2 true JP4923828B2 (en) | 2012-04-25 |
Family
ID=38028595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006210093A Expired - Fee Related JP4923828B2 (en) | 2005-09-07 | 2006-08-01 | X-ray inspection equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4923828B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4840313B2 (en) * | 2007-09-26 | 2011-12-21 | 株式会社島津製作所 | X-ray inspection equipment |
CN103901059B (en) * | 2014-03-24 | 2016-04-20 | 佛山市南海区宏乾电子有限公司 | X-ray electronic device test systems |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2716949B2 (en) * | 1995-05-08 | 1998-02-18 | 株式会社東芝 | X-ray diagnostic equipment |
JPH10225449A (en) * | 1997-02-14 | 1998-08-25 | Hitachi Medical Corp | Fluoroscopic ccd camera device |
JP2000316835A (en) * | 1999-05-07 | 2000-11-21 | Ge Yokogawa Medical Systems Ltd | Image processing method and device and radiographic apparatus |
JP2004258198A (en) * | 2003-02-25 | 2004-09-16 | Fuji Photo Film Co Ltd | Image display device |
JP4405773B2 (en) * | 2003-10-07 | 2010-01-27 | 東芝Itコントロールシステム株式会社 | Radiation inspection apparatus and image operation program |
JP4613758B2 (en) * | 2005-09-07 | 2011-01-19 | 株式会社島津製作所 | X-ray inspection equipment |
-
2006
- 2006-08-01 JP JP2006210093A patent/JP4923828B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007101529A (en) | 2007-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4152398B2 (en) | Image stabilizer | |
JP4342493B2 (en) | Image stabilizer | |
JP4613758B2 (en) | X-ray inspection equipment | |
JPH0284888A (en) | Optical image processing method and system for x-ray photographing | |
JP2006129236A (en) | Ringing eliminating device and computer readable recording medium with ringing elimination program recorded thereon | |
US9482855B2 (en) | Microscope system | |
JP2000298300A (en) | Hand shake image correcting method, recording medium, and image pickup device | |
KR20140039939A (en) | Photograph image generating method, apparatus therof, and medium storing program source thereof | |
US20140193082A1 (en) | Image processing apparatus and method | |
JP2015096912A (en) | Observation device | |
US20090034679A1 (en) | Radiographic apparatus and radiation detection signal processing method | |
JP4923828B2 (en) | X-ray inspection equipment | |
JP2002058665A (en) | X-ray tv apparatus | |
JPWO2011074471A1 (en) | X-ray diagnostic imaging apparatus, X-ray exposure control method and program | |
JP2005000369A (en) | X-ray irradiating condition controller | |
JP4840313B2 (en) | X-ray inspection equipment | |
JP2007200784A (en) | Sample drift correcting device, image forming optical system equipped with it, and sample drift correcting method | |
JP4740008B2 (en) | Camera shake detection device and digital camera | |
JP4622814B2 (en) | X-ray inspection equipment | |
JP2012147044A (en) | Digital microscope | |
JP2005198975A (en) | X-ray diagnostic apparatus and its method | |
JP3193542U (en) | X-ray inspection equipment | |
JP2007244484A (en) | X-ray diagnostic equipment | |
JP3473224B2 (en) | X-ray fluoroscope | |
WO2010097941A1 (en) | X-ray image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081010 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4923828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |