JPWO2012108278A1 - X-ray inspection apparatus and method - Google Patents

X-ray inspection apparatus and method Download PDF

Info

Publication number
JPWO2012108278A1
JPWO2012108278A1 JP2012556828A JP2012556828A JPWO2012108278A1 JP WO2012108278 A1 JPWO2012108278 A1 JP WO2012108278A1 JP 2012556828 A JP2012556828 A JP 2012556828A JP 2012556828 A JP2012556828 A JP 2012556828A JP WO2012108278 A1 JPWO2012108278 A1 JP WO2012108278A1
Authority
JP
Japan
Prior art keywords
ray
edge
image
individual
edges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012556828A
Other languages
Japanese (ja)
Inventor
智晴 長尾
智晴 長尾
紀子 矢田
紀子 矢田
裕二郎 ▲高▼田
裕二郎 ▲高▼田
幹 森田
幹 森田
酒井 康雄
康雄 酒井
博司 野村
博司 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Inspection and Instrumentation Co Ltd
Yokohama National University NUC
Original Assignee
IHI Inspection and Instrumentation Co Ltd
Yokohama National University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Inspection and Instrumentation Co Ltd, Yokohama National University NUC filed Critical IHI Inspection and Instrumentation Co Ltd
Publication of JPWO2012108278A1 publication Critical patent/JPWO2012108278A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/414Imaging stereoscopic system

Abstract

対象物1に対し複数の方向からX線を照射し視差のある複数のX線透過画像を撮像するX線照射装置10と、複数のX線透過画像から対象物1を検査する画像処理装置20とを備える。例えば進化計算法を用いた画像処理装置により、対象物1のエッジの対応付けと、対象物1のエッジの両端を決定し(S2〜S7)、次いで対象物1の位置を立体計測する(S8)。An X-ray irradiation apparatus 10 that irradiates the object 1 with X-rays from a plurality of directions and captures a plurality of X-ray transmission images with parallax, and an image processing apparatus 20 that inspects the object 1 from the plurality of X-ray transmission images. With. For example, the image processing apparatus using the evolution calculation method determines the correspondence between the edges of the object 1 and both ends of the edges of the object 1 (S2 to S7), and then three-dimensionally measures the position of the object 1 (S8). ).

Description

本発明は、視差が大きい複数のX線画像に基づき対象物を検査するX線検査装置及び方法に関する。   The present invention relates to an X-ray inspection apparatus and method for inspecting an object based on a plurality of X-ray images having large parallax.

視差のある複数の画像に基づき、各画像上の対応点を検出することを「ステレオマッチング」という。また、個体集団に対する自然淘汰、交差、突然変異などの操作によって新しい個体を生成し、目的に合った個体を探索するアルゴリズムを「遺伝的アルゴリズム」と呼ぶ。   The detection of corresponding points on each image based on a plurality of images with parallax is called “stereo matching”. In addition, an algorithm that generates a new individual by operations such as natural selection, crossing, and mutation on an individual group and searches for an individual that meets the purpose is called a “genetic algorithm”.

X線画像に基づくステレオマッチングは特許文献1に、一般的なステレオマッチングは特許文献2,3に、遺伝的アルゴリズムは例えば特許文献4〜6に開示されている。   Stereo matching based on an X-ray image is disclosed in Patent Document 1, general stereo matching is disclosed in Patent Documents 2 and 3, and genetic algorithms are disclosed in Patent Documents 4 to 6, for example.

例えば、一般の可視光画像ではなく、X線透過画像を用い、人間の両眼に近い視差で撮像された2枚のステレオX線透過画像をステレオビュアなどで呈示し、検査者に立体画像(覗いて見ると奥行きを知覚できる画像)として見せる装置が、特許文献1で既に開示されている。   For example, instead of a general visible light image, an X-ray transmission image is used, and two stereo X-ray transmission images captured with parallax close to human eyes are presented by a stereo viewer or the like, and a stereoscopic image ( A device that can be viewed as an image whose depth can be perceived when viewed through is already disclosed in Patent Document 1.

特開昭64−2628号公報、「立体X線診断装置」JP-A 64-2628, “stereoscopic X-ray diagnostic apparatus” 特開2000−99760号公報、「3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体」Japanese Unexamined Patent Publication No. 2000-99760, “3D Object Model Generation Method and Computer-Readable Recording Medium Recording a 3D Object Model Generation Program” 特開2010−44438号公報、「特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム」JP 2010-44438 A, “Feature Extraction Device, Feature Extraction Method, Image Processing Device, and Program” 特開平10−21385号公報、「画像処理方法及び装置」JP-A-10-21385, “Image processing method and apparatus” 特表2004−038660号公報、「画像処理方法および画像処理装置」JP-T-2004-038660, “Image processing method and image processing apparatus” 特開2005−346297号公報、「立体物認識装置」JP 2005-346297 A, “Solid Object Recognition Device”

図1は、ステレオ計測法の原理図である。
この図に示すように、複数の(視差のある)画像間の対応付けに基づいて対象物の計測点Pまでの距離や対象物の凹凸を計測する方式はステレオ計測法として確立されている。この際、左画像による計測点Pの右画像中の対応点Pを求める必要がある。これをステレオマッチングと呼ぶ。
FIG. 1 is a principle diagram of the stereo measurement method.
As shown in this figure, a method for measuring the distance to the measurement point P of the object and the unevenness of the object based on the association between a plurality of (with parallax) images has been established as a stereo measurement method. In this case, it is necessary to obtain the corresponding point P R in the right image of the measurement point P L by the left image. This is called stereo matching.

図2は、ステレオマッチングの一例であるブロックマッチング法の模式図である。
ブロックマッチング法は、ステレオマッチングの典型的な1手段であり、左画像の注目点(いまはP)を中心とする一定の大きさのウィンドウで画像を切り出してテンプレートとし、そのテンプレートを右画像上で左右に移動させて、パターンが最も一致する点(ここではP)を求めて対応点とし、これを全点について行うものである。
この方法は単純であり、図2の頂点部分のように特徴的な点については対応点の決定が比較的容易である。しかし、特徴的ではない点や、一方では隠れてしまう点などの対応点を正しく決めることは困難である。このため、ブロックマッチング法に基づく距離計測の結果には多くのノイズが含まれる問題点がある。
FIG. 2 is a schematic diagram of a block matching method which is an example of stereo matching.
The block matching method is a typical means of stereo matching, and an image is cut out with a window of a certain size centered on the attention point (now P L ) of the left image, and the template is used as the right image. By moving left and right above, a point (P R in this case) that matches the pattern is obtained as a corresponding point, and this is performed for all points.
This method is simple, and it is relatively easy to determine the corresponding points for characteristic points such as the vertex portions in FIG. However, it is difficult to correctly determine corresponding points such as non-characteristic points and hidden points on the other hand. For this reason, there is a problem that a lot of noise is included in the result of distance measurement based on the block matching method.

図3は、対象物と視点との位置関係を示す図である。
この図において、例えば視点Aや視点Bのように視差が大きい2枚の画像が与えられたとき、その間の視点(例えば視点CやDなど)での画像を合成する技術は、主として多視点テレビのための方式として研究されている。
しかし、この際に生成される画像の信頼性は、視点A、B間の視差の大きさに比例して低下する。そのため、原画像(視点A、B)の視差が大き過ぎると、図形の変形が大き過ぎるため従来のステレオマッチングに失敗し、良好な中間画像を作ることができない問題点がある。
FIG. 3 is a diagram illustrating a positional relationship between the object and the viewpoint.
In this figure, for example, when two images having a large parallax such as the viewpoint A and the viewpoint B are given, a technique for synthesizing an image at a viewpoint (for example, the viewpoint C or D) between them is mainly a multi-view TV. Has been studied as a method for.
However, the reliability of the image generated at this time decreases in proportion to the magnitude of the parallax between the viewpoints A and B. For this reason, if the parallax of the original images (viewpoints A and B) is too large, there is a problem that the conventional stereo matching fails due to excessive deformation of the figure and a good intermediate image cannot be created.

図4Aは、視差が大きくかつ変形が小さい場合の画像を示す図であり、図4Bは、視差が大きくかつ変形が大きい場合の画像を示す図である。
この図に示すように、同じ「円筒形の缶」でも図4Aの置き方の場合は偶然、変形は小さいが、図4Bの置き方では大きく変形する。
そのため、視差が通常のステレオ画像よりもはるかに大きい場合、対象物は左右画像では大きく変形する場合が多く、図2に示したような「パターンを基準とする」ステレオマッチングでは対応点を決定することができなかった。
4A is a diagram illustrating an image when the parallax is large and the deformation is small, and FIG. 4B is a diagram illustrating an image when the parallax is large and the deformation is large.
As shown in this figure, even with the same “cylindrical can”, in the case of the arrangement shown in FIG. 4A, the deformation is small by chance, but in the arrangement shown in FIG.
Therefore, when the parallax is much larger than that of a normal stereo image, the object is often greatly deformed in the left and right images, and corresponding points are determined in the stereo matching based on the pattern as shown in FIG. I couldn't.

また、X線画像から対象物の断面画像を構築する手段としてX線CT(Computed Tomography)が知られている。しかし、X線手荷物検査等にX線CTを適用すると、X線源やディテクターに稼働部(あるいは回転部)が存在するため、装置全体が大型化し、処理が複雑化し、処理時間が長くなり、装置が高価になる等の問題点があった。   Also, X-ray CT (Computed Tomography) is known as means for constructing a cross-sectional image of an object from an X-ray image. However, when X-ray CT is applied to X-ray baggage inspection etc., since the operating part (or rotating part) exists in the X-ray source and detector, the whole apparatus becomes large, processing becomes complicated, processing time becomes long, There was a problem that the device was expensive.

本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、従来のステレオマッチングが困難又は実質的に不可能であるような視差が大きい複数のX線画像に基づき、小型かつ安価に、簡単な処理で短時間に、対象物を検査することができるX線検査装置及び方法を提供することにある。   The present invention has been developed to solve the above-described problems. That is, the object of the present invention is based on a plurality of X-ray images having large parallax, which makes conventional stereo matching difficult or substantially impossible, and is small and inexpensive, with simple processing and in a short time. It is an object of the present invention to provide an X-ray inspection apparatus and method that can inspect the above.

本発明によれば、対象物に対し複数の方向からX線を照射し視差のある複数のX線透過画像を撮像するX線照射装置と、
前記複数のX線透過画像から前記対象物を検査する画像処理装置と、を備え、
画像処理装置により、対象物のエッジの対応付けと、対象物のエッジの両端を決定し、次いで対象物の位置を立体計測する、ことを特徴とするX線検査装置が提供される。
According to the present invention, an X-ray irradiation apparatus that irradiates an object with X-rays from a plurality of directions and captures a plurality of X-ray transmission images with parallax;
An image processing device for inspecting the object from the plurality of X-ray transmission images,
There is provided an X-ray inspection apparatus characterized in that an image processing apparatus determines correspondence between edges of an object, both ends of the edge of the object, and then three-dimensionally measures the position of the object.

また本発明によれば、(A)対象物に対し複数の方向からX線を照射し視差のある複数のX線透過画像を撮像し、
(B)前記複数のX線透過画像から、画像処理装置により、対象物のエッジの対応付けと、対象物のエッジの両端を決定し、
(C)次いで対象物の位置を立体計測する、ことを特徴とするX線検査方法が提供される。
According to the present invention, (A) an object is irradiated with X-rays from a plurality of directions, and a plurality of X-ray transmission images with parallax are captured,
(B) From the plurality of X-ray transmission images, the image processing device determines correspondence between the edges of the object and both ends of the edge of the object,
(C) Next, an X-ray inspection method is provided, in which the position of an object is three-dimensionally measured.

上記本発明の装置及び方法によれば、複数のX線画像から、例えば進化計算法を用いた画像処理装置により、(1)対象物のエッジの対応付けと、(2)対象物のエッジの両端を決定するので、視差が大きく、従来のステレオマッチングが困難又は実質的に不可能であるような場合でも、対象物のエッジの対応付けと、対象物のエッジの両端の決定を、簡単な処理で短時間にできる。
従って、その結果に基づく、対象物の位置の立体計測により、対象物の立体画像、対象物中の点の距離計測、各対象物の前後関係、床面からの距離、等を求めることができるので、対象物を検査することができる。
According to the apparatus and method of the present invention, from a plurality of X-ray images, for example, by an image processing apparatus using an evolutionary calculation method, (1) association of an edge of an object and (2) edge of an object Since both ends are determined, even when parallax is large and conventional stereo matching is difficult or practically impossible, it is easy to associate the edges of the object and determine both ends of the object edge. Processing can be done in a short time.
Therefore, the three-dimensional measurement of the position of the target object based on the result can determine the three-dimensional image of the target object, the distance measurement of points in the target object, the front-rear relationship of each target object, the distance from the floor surface, and the like. So the object can be inspected.

また、本発明の装置は、X線源とディテクターがそれぞれ1つである従来の装置と比較して、装置の長手方法(コンベア進行方向)にX線源とディテクターを追加するだけで構成でき、X線CTと比較して小型かつ安価にできる。
In addition, the apparatus of the present invention can be configured only by adding an X-ray source and a detector to the longitudinal direction of the apparatus (conveyor traveling direction) as compared to a conventional apparatus having one X-ray source and one detector. Compared to X-ray CT, it can be made smaller and less expensive.

ステレオ計測法の原理図である。It is a principle diagram of the stereo measurement method. ステレオマッチングの一例であるブロックマッチング法の模式図である。It is a schematic diagram of the block matching method which is an example of stereo matching. 対象物と視点との位置関係を示す図である。It is a figure which shows the positional relationship of a target object and a viewpoint. 視差が大きくかつ変形が小さい場合の画像を示す図である。It is a figure which shows an image when parallax is large and a deformation | transformation is small. 視差が大きくかつ変形が大きい場合の画像を示す図である。It is a figure which shows an image in case a parallax is large and a deformation | transformation is large. 本発明によるX線検査装置の模式的斜視図である。It is a typical perspective view of the X-ray inspection apparatus by this invention. 上流側のX線源16aとディテクター18aの配置図である。It is a layout view of the upstream X-ray source 16a and the detector 18a. 下流側のX線源16bとディテクター18bの上流側から見た配置図である。It is the arrangement | positioning figure seen from the upstream of the X-ray source 16b and the detector 18b of the downstream side. 本発明によるX線検査方法の全体フロー図である。It is a whole flowchart of the X-ray inspection method by this invention. 取得した左画像(X線透過画像)を示す模式図である。It is a schematic diagram which shows the acquired left image (X-ray transmission image). 取得した右画像(X線透過画像)を示す模式図である。It is a schematic diagram which shows the acquired right image (X-ray transmission image). 図7Aから同一高さ(ライン)の画像を切り出した左画像である。It is the left image which cut out the image of the same height (line) from FIG. 7A. 図7Bから同一高さ(ライン)の画像を切り出した右画像である。It is the right image which cut out the image of the same height (line) from FIG. 7B. (1+λ)ESにおける世代交代のイメージ図である。It is an image figure of the generation change in (1 + λ) ES. エッジのもつ特徴量を示す模式図である。It is a schematic diagram which shows the feature-value which an edge has. 縦方向のエッジを検出するため水平方向の微分フィルタfxの近傍に掛ける係数である。This coefficient is applied to the vicinity of the differential filter fx in the horizontal direction in order to detect the vertical edge. 横方向のエッジを検出するため垂直方向の微分フィルタfyの近傍に掛ける係数である。This coefficient is applied to the vicinity of the differential filter fy in the vertical direction in order to detect the edge in the horizontal direction. 同一対象物の両端のエッジを示す図である。It is a figure which shows the edge of the both ends of the same target object.

以下、本発明の好ましい実施形態を、図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each figure, common portions are denoted by the same reference numerals, and redundant description is omitted.

図5Aは本発明によるX線検査装置の模式的斜視図、図5Bは上流側のX線源16aとディテクター18aの配置図、図5Cは下流側のX線源16bとディテクター18bの上流側から見た配置図である。
この図に示すように、本発明のX線検査装置は、対象物1に対し複数の方向からX線を照射し視差のある複数のX線画像を撮像するX線照射装置10と、複数のX線画像から対象物1を検査する画像処理装置20とを備える。
X線照射装置10は、対象物1を水平搬送するコンベア装置12、コンベア装置12の一部を囲む遮蔽装置14、遮蔽装置14の内部に設けられた1対のX線源16a,16b及び1対のディテクター(X線検出器)18a,18bを備える。
5A is a schematic perspective view of the X-ray inspection apparatus according to the present invention, FIG. 5B is an arrangement diagram of the upstream X-ray source 16a and the detector 18a, and FIG. 5C is from the upstream side of the downstream X-ray source 16b and the detector 18b. FIG.
As shown in this figure, an X-ray inspection apparatus according to the present invention includes an X-ray irradiation apparatus 10 that irradiates an object 1 with X-rays from a plurality of directions and picks up a plurality of X-ray images with parallax, and a plurality of X-ray irradiation apparatuses 10. And an image processing device 20 for inspecting the object 1 from the X-ray image.
The X-ray irradiation apparatus 10 includes a conveyor device 12 that horizontally conveys the object 1, a shielding device 14 that surrounds a part of the conveyor device 12, and a pair of X-ray sources 16 a, 16 b and 1 provided inside the shielding device 14. A pair of detectors (X-ray detectors) 18a and 18b are provided.

この例において、第1X線源16aと第1ディテクター18aは、遮蔽装置14の上流側に設けられ、対象物1の第1X線透過画像を撮像する。また、第2X線源16bと第2ディテクター18bは、遮蔽装置14の下流側に設けられており、対象物1の第1X線透過画像に対して視差が大きい第2X線透過画像を撮像する。
なお、X線源とディテクターは、この例では2組であるが、3組以上を配置してもよい。
In this example, the first X-ray source 16 a and the first detector 18 a are provided on the upstream side of the shielding device 14 and capture a first X-ray transmission image of the object 1. The second X-ray source 16b and the second detector 18b are provided on the downstream side of the shielding device 14 and capture a second X-ray transmission image having a large parallax with respect to the first X-ray transmission image of the object 1.
In this example, two sets of X-ray sources and detectors are provided, but three or more sets may be arranged.

ここで、「視差が大きい」とは、従来のステレオマッチングが困難又は実質的に不可能であるような視差を意味する。従来のステレオマッチングが可能な視差は、例えば人の両眼に相当する間隔を隔てた2点からの視差である。これに対し、本願における「大きい視差」は、対象物に対する角度が例えば30°以上、90°以下の視差を意味する。
なお、本発明は、このような「大きい視差」に特に有用であるがこれに限定されず、従来のステレオマッチングが可能な視差であってもよい。
Here, “large parallax” means parallax for which conventional stereo matching is difficult or substantially impossible. Conventional parallax that can be stereo-matched is, for example, parallax from two points separated by an interval corresponding to human eyes. On the other hand, “large parallax” in the present application means parallax having an angle with respect to an object of, for example, 30 ° or more and 90 ° or less.
Note that the present invention is particularly useful for such “large parallax”, but is not limited thereto, and may be parallax capable of conventional stereo matching.

上述した本発明のX線検査装置は、X線源とディテクターがそれぞれ1つである従来の装置と比較して、装置の長手方法(コンベア進行方向)にX線源とディテクターを追加するだけの構成により、X線CTと比較して省コスト化、省スペース化ができる特徴がある。   The above-described X-ray inspection apparatus of the present invention only adds an X-ray source and a detector to the longitudinal method of the apparatus (conveyor traveling direction) as compared with the conventional apparatus having one X-ray source and one detector. Due to the configuration, there is a feature that cost and space can be saved as compared with X-ray CT.

画像処理装置20は、例えば記憶装置、演算装置、及び表示装置を備えたPC(コンピュータ)であり、複数のX線透過画像から、進化計算法により、対象物のエッジの対応付けと、対象物のエッジの両端を決定し、次いで対象物の位置を立体計測するようになっている。
「進化計算法」とは、進化戦略、進化的プログラミング、及び遺伝的アルゴリズムを含み、目的とする最適解を求める手法を意味する。
進化計算法における処理の詳細は後述する。
The image processing device 20 is, for example, a PC (computer) including a storage device, a calculation device, and a display device. From a plurality of X-ray transmission images, an object is associated with an edge of an object by an evolutionary calculation method. Both ends of the edge are determined, and then the position of the object is three-dimensionally measured.
The “evolution calculation method” means a method for obtaining a target optimum solution including an evolution strategy, evolutionary programming, and a genetic algorithm.
Details of processing in the evolutionary calculation method will be described later.

図6は、本発明によるX線検査方法の全体フロー図である。この図において、本発明のX線検査方法は、S1〜S10の各ステップ(工程)からなる。   FIG. 6 is an overall flowchart of the X-ray inspection method according to the present invention. In this figure, the X-ray inspection method of the present invention comprises steps (processes) S1 to S10.

図6のS1において、上述したX線照射装置10を用いて対象物1に対し複数の方向からX線を照射し、視差のある複数のX線透過画像を撮像する。以下、X線透過画像を、特に必要な場合を除き、単に「画像」と略称する。
また、複数の画像は、左右の2枚の画像である場合を説明する。
In S <b> 1 of FIG. 6, the X-ray irradiation apparatus 10 described above is used to irradiate the target 1 with X-rays from a plurality of directions, thereby capturing a plurality of X-ray transmission images having parallax. Hereinafter, the X-ray transmission image is simply abbreviated as “image” unless particularly necessary.
A case where the plurality of images are two images on the left and right will be described.

図7Aは、取得した左画像(X線透過画像)を示す模式図であり、図7Bは、取得した右画像(X線透過画像)を示す模式図である。各図において、A〜Eは、複数の対象物1を示している。   FIG. 7A is a schematic diagram showing the acquired left image (X-ray transmission image), and FIG. 7B is a schematic diagram showing the acquired right image (X-ray transmission image). In each figure, A to E indicate a plurality of objects 1.

また、図6のS2において、取得した左右の画像から同一ライン上の画像を切り出す。ここで「同一ライン」とは、左右の画像上において共通する領域であり、例えば、同一高さに相当する矩形領域を意味する。   In S2 of FIG. 6, images on the same line are cut out from the acquired left and right images. Here, the “same line” is a common area on the left and right images, and means, for example, a rectangular area corresponding to the same height.

図7Cは、図7Aから同一高さ(ライン)の画像を切り出した左画像であり、図7Dは、図7Bから同一高さ(ライン)の画像を切り出した右画像である。
図7Cと図7Dにおいて、図中の数字(1〜10)は、各画像内の対象物1の対応するエッジ(輪郭線)を示している。
7C is a left image obtained by cutting out an image with the same height (line) from FIG. 7A, and FIG. 7D is a right image obtained by cutting out an image with the same height (line) from FIG. 7B.
In FIG. 7C and FIG. 7D, numerals (1 to 10) in the drawings indicate corresponding edges (contour lines) of the object 1 in each image.

図6のS3〜S8において、進化計算法により、各画像間の対象物1のエッジの対応付けと、各画像内の対象物1のエッジの両端を決定し(S3〜S7)、次いで対象物1の位置を立体計測する(S8)。   In S3 to S8 in FIG. 6, the evolution calculation method is used to determine the correspondence between the edges of the object 1 between the images and the both ends of the edge of the object 1 in each image (S3 to S7). The position of 1 is three-dimensionally measured (S8).

以下、本発明による進化計算法を説明する。   Hereinafter, the evolution calculation method according to the present invention will be described.

1.進化計算法における個体の記述(S3)
図7Cと図7Dに示したように、左画像(図7C)中のあるライン上のエッジをL1〜Lm、右画像(図7D)中の同一ライン上のエッジをR1〜Rnとして、左右のエッジ間の対応を表1、左画像中のエッジの対応を表2のように表示する。
1. Individual description in evolutionary computation (S3)
As shown in FIGS. 7C and 7D, L1 to Lm are edges on a certain line in the left image (FIG. 7C), and R1 to Rn are edges on the same line in the right image (FIG. 7D). Table 1 shows the correspondence between edges, and Table 2 shows the correspondence between edges in the left image.

Figure 2012108278
Figure 2012108278

Figure 2012108278
Figure 2012108278

表1はm×nビット、表2はm×(m−1)/2ビットの表であり、これらの表がこの問題の解、すなわち、進化計算法における1個体を表現する染色体であると考える。
すなわち、染色体は全部でm×n+m×(m−1)/2=m×(2n+m−1)/2ビットとなる。例えば、m=n=10なら10×(20+10−1)/2=5×29=145ビットで1つの解が表現されることになる。
Table 1 is an m × n bit table, and Table 2 is an m × (m−1) / 2 bit table, and these tables are the solutions to this problem, that is, chromosomes representing one individual in the evolutionary calculation method. Think.
That is, the chromosome is mxn + mx (m-1) / 2 = mx (2n + m-1) / 2 bits in total. For example, if m = n = 10, one solution is represented by 10 × (20 + 10−1) / 2 = 5 × 29 = 145 bits.

なお、この染色体は次の制約条件(染色体条件1,2)をすべて満たすときにのみ解であるとみなされる。
(染色体条件1)
表1において、左右の対応関係は1対1または1対2のいずれかとなっている。すなわち、対応がないエッジや、1対3以上の1対多対応は許されない。
(染色体条件2)
表2において、エッジ右の対応関係は1対1または1対2のいずれかとなっている。すなわち、対応がないエッジや、1対3以上の1対多対応は許されない。
This chromosome is regarded as a solution only when all of the following constraint conditions (chromosome conditions 1 and 2) are satisfied.
(Chromosome condition 1)
In Table 1, the correspondence between the left and right is either 1: 1 or 1: 2. That is, an edge having no correspondence and a one-to-many correspondence of one to three or more are not allowed.
(Chromosome condition 2)
In Table 2, the correspondence on the right side of the edge is either one-to-one or one-to-two. That is, an edge having no correspondence and a one-to-many correspondence of one to three or more are not allowed.

2.進化方法(世代交代方法・子個体生成方法)
本発明で用いる進化方法は、基本的には、進化計算法の一種である(1+λ)ES(ES:Evolution Strategy、進化戦略)に位置づけられる。
2. Evolution method (generation change method, offspring generation method)
The evolution method used in the present invention is basically positioned as (1 + λ) ES (ES: Evolution Strategy), which is a kind of evolution calculation method.

図8は、(1+λ)ESにおける世代交代のイメージ図である。
(1+λ)ESの1は親個体を表し、λはその親個体から乱数を用いて一部を変更することで作られる子個体を指す。そして、1個の親個体からλ個の子個体を作り、(1+λ)個の個体中の最適個体1個を選び、最終的な次世代の個体とする。
λはこの例では4としているが、λの最適値は、探索対象の空間の統計的特徴を調べて決定することが好ましい。
FIG. 8 is an image diagram of generational change in (1 + λ) ES.
1 of (1 + λ) ES represents a parent individual, and λ represents a child individual created by changing a part of the parent individual using a random number. Then, λ child individuals are created from one parent individual, and one optimal individual among (1 + λ) individuals is selected to be the final next-generation individual.
Although λ is 4 in this example, the optimum value of λ is preferably determined by examining the statistical characteristics of the space to be searched.

図6のS3において親個体を生成し、S4において子個体を生成する。
個体生成の具体的な方法を次に示す。子個体の生成(S4)は、本発明では突然変異(mutation)だけを用いる。
A parent individual is generated in S3 of FIG. 6, and a child individual is generated in S4.
The specific method of individual generation is shown below. For the generation of offspring (S4), only mutation is used in the present invention.

(個体生成の手順)
(1)元になる個体A(親個体)の染色体中の遺伝子(0または1、全部でm×(2n+m−1)/2個)のうち、一定の比率(この比率を「突然変異率」と呼ぶ)のビットをランダムに選んで反転(0なら1に変え、1なら0に変える)させることで個体B(子個体)を生成する。
(2)個体Bの染色体中のビット列が、先に示した(染色体条件1)と(染色体条件2)の両方を満たすかどうかを調べる。もし満たしていれば、個体Bを正式な子個体の1つとみなす。もし、いずれか、あるいは両方の条件を満たさない場合は個体Bを「非解」とみなして棄却し、(1)に戻り別の個体Bを生成する。「解」となり得る個体が生成されるまで、(2)を繰り返し実行する。
(3)複数の個体を生成する場合は、必要な回数(λに相当、今回は4回)だけ上記(1)(2)の処理を繰り返すことで必要な数の子個体を生成する。
なお、初期個体(最初の個体)1個を作るときも、上記の2つの条件を満たす個体をランダムに生成して初期個体(親個体)とする。
(Individual generation procedure)
(1) A certain ratio (this ratio is referred to as “mutation rate”) among genes (0 or 1, in total m × (2n + m−1) / 2) in the chromosome of the original individual A (parent individual) The individual B (child individual) is generated by randomly selecting and inverting the bit (referred to as 0).
(2) It is examined whether the bit string in the chromosome of the individual B satisfies both (chromosome condition 1) and (chromosome condition 2) described above. If so, individual B is considered one of the official offspring. If either or both of the conditions are not satisfied, the individual B is regarded as “unanswered” and rejected, and the process returns to (1) to generate another individual B. (2) is repeatedly executed until an individual that can be a “solution” is generated.
(3) When a plurality of individuals are generated, the necessary number of child individuals are generated by repeating the processes (1) and (2) as many times as necessary (corresponding to λ, this time 4 times).
Even when one initial individual (first individual) is created, an individual that satisfies the above two conditions is randomly generated and used as the initial individual (parent individual).

3.適応度関数
本発明において、適応度関数fitnessを、次式(1)のように3つの評価値(f〜f)の線形和で表す。
fitness=f+f+f ・・・・・・・・・(1)
3. Fitness Function In the present invention, the fitness function fitness is represented by a linear sum of three evaluation values (f 1 to f 3 ) as in the following equation (1).
fitness = f 1 + f 2 + f 3 (1)

ここで、f〜fは、次に示す評価基準に基づく評価値である。
(f:評価基準1)表1に関する評価値。表1で「対応する」とされている左右エッジ間の対応関係の妥当性に基づくもの。
(f:評価基準2)表2に関する評価値。表2で「対応する」とされている左画像中のエッジペアの信頼性に基づくもの。
(f:評価基準3)表1と表2から決定される右画像中のエッジペアの信頼性に基づくもの。
Here, f 1 to f 3 are evaluation values based on the following evaluation criteria.
(F 1 : Evaluation criteria 1) Evaluation values for Table 1. This is based on the validity of the correspondence between the left and right edges that are “corresponding” in Table 1.
(F 2 : Evaluation Criteria 2) Evaluation values related to Table 2. This is based on the reliability of the edge pair in the left image that is “corresponding” in Table 2.
(F 3 : Evaluation criteria 3) Based on the reliability of the edge pair in the right image determined from Tables 1 and 2.

では、対応するエッジが「A:同じ対象物の左(あるいは右)のエッジとして妥当か?」ということ、
では、対応するエッジが「B:同じ対象物の左と右(=両端)のエッジとして妥当か?」ということ、
では、対応するエッジが「B:同じ対象物の左と右(=両端)のエッジとして妥当か?」ということを評価するものです。
3つの評価値(f〜f)の具体的な計算方法を次に示す。
In f 1 , the corresponding edge is “A: is it valid as the left (or right) edge of the same object?”
In f 2, the corresponding edge: that the "B? reasonable or as left and right edge (= both ends) of the same object",
In f 3, the corresponding edge is: what to evaluate that "B reasonable or as left and right edge (= both ends) of the same object?".
A specific calculation method of the three evaluation values (f 1 to f 3 ) will be described below.

3.1 「A:同じ対象物の左(あるいは右)のエッジとして妥当か?」の計算
これは表1の妥当性に関するものであり、左エッジ(m本)と右エッジ(n本)の対応関係の妥当性を評価する。
ここで、必ずしもm=nとならないことを想定している。この理由は、何らかの理由でどちらかのエッジに抽出洩れがある場合や、2つの対象物の端部が重なっていて一見エッジの本数が少なく見えている場合があると考えられるからである。
この評価に当たっては、どちらを基準にしても構わないが、ここでは左画像を基準として左右エッジの一致度の評価値を数1の式(2)から計算する。
3.1 Calculation of “A: Valid for the left (or right) edge of the same object?” This is related to the validity of Table 1, with the left edge (m) and the right edge (n) Evaluate the validity of the correspondence.
Here, it is assumed that m = n is not always satisfied. This is because it is considered that there is a case where there is an omission of extraction at one of the edges for some reason, or there are cases where the ends of two objects are overlapped and the number of edges is seemingly small.
In this evaluation, either may be used as a reference, but here, the evaluation value of the degree of coincidence between the left and right edges is calculated from the expression (2) of Formula 1 with the left image as a reference.

Figure 2012108278
Figure 2012108278

ここで、Liは左画像のi番目のエッジ、R(Li)はLiが対応するとされた右画像のエッジを表す。また、S(Li,R(Li))は、エッジLiとR(Li)が対応するエッジであるとしたときの類似度であり、0から1までの値を取り、1に近いほど両エッジが対応する信頼性が高いとみなされる。Here, Li represents the i-th edge of the left image, and R (Li) represents the edge of the right image to which Li corresponds. S 1 (Li, R (Li)) is the similarity when the edges Li and R (Li) are the corresponding edges, and takes a value from 0 to 1, and the closer to 1, both The reliability to which the edge corresponds is considered high.

(Li,R(Li))の計算方法について、左エッジに対応する右エッジが1つだけの場合(1対1の場合)と、左エッジに対応する右エッジが2つある場合(1対2の場合)に分けて次に示す。Regarding the calculation method of S 1 (Li, R (Li)), when there is only one right edge corresponding to the left edge (one-to-one case) and when there are two right edges corresponding to the left edge ( (1 to 2)

(1対1の場合)
図9は、エッジのもつ特徴量を示す模式図である。
図9に示すエッジの方向、強度、左と右の階調値(X線透過濃度値)の4つの特徴量をまず求める。
(1 to 1)
FIG. 9 is a schematic diagram illustrating the feature amount of the edge.
First, four feature amounts of the edge direction, intensity, and left and right tone values (X-ray transmission density values) shown in FIG. 9 are obtained.

図10は、縦方向のエッジを検出するため水平方向の微分フィルタfxの近傍に掛ける係数であり、3×11近傍であり、斜線部が注目画素である。
また図11は、横方向のエッジを検出するため垂直方向の微分フィルタfyの近傍に掛ける係数であり、11×3近傍であり、斜線部が注目画素である。
図10と図11に示すフィルタを用いたときの値(絶対値)をそれぞれFx,Fyとすると、画像fの座標(x,y)におけるエッジの方向θは、次式(3)で計算される。
θ(f,x,y)=arctan(Fy/Fx) ・・・(3)
FIG. 10 is a coefficient applied to the vicinity of the horizontal differential filter fx in order to detect the vertical edge, which is near 3 × 11, and the hatched portion is the target pixel.
FIG. 11 shows coefficients applied to the vicinity of the differential filter fy in the vertical direction in order to detect the edge in the horizontal direction, which is in the vicinity of 11 × 3, and the hatched portion is the target pixel.
If the values (absolute values) when using the filters shown in FIGS. 10 and 11 are Fx and Fy, respectively, the edge direction θ at the coordinates (x, y) of the image f is calculated by the following equation (3). The
θ (f, x, y) = arctan (Fy / Fx) (3)

同様に、エッジの強度Eは次式(4)で表される。
E(f,x,y)=(Fx+Fy0.5 ・・・(4)
Similarly, the edge strength E is expressed by the following equation (4).
E (f, x, y) = (Fx 2 + Fy 2 ) 0.5 (4)

また、座標(x,y)における左側の階調値Leftは数2の式(A1)で、右側の階調値Rightは式(B1)で表される。Kは5程度である。   In addition, the left gradation value Left in the coordinates (x, y) is expressed by Equation (A1) in Equation 2, and the right gradation value Right is expressed by Equation (B1). K is about 5.

Figure 2012108278
Figure 2012108278

上記の計算を、対応するとされた右画像の注目画素g(x,y)に対して求めることで、次の式(3a)(4a)と数3の(A2)(B2)の4つの特徴量を求める。なお、fx,fy,Fx,Fyに対応する右画像の値をgx,gy,Gx,Gyとしている。
θ(g,x,y)=arctan(Gy/Gx) ・・・(3a)
E(g,x,y)=(Gx+Gy0.5 ・・・(4a)
By calculating the above calculation with respect to the target pixel g (x, y) of the right image that is supposed to correspond, four characteristics of the following formulas (3a) and (4a) and (A2) and (B2) of Formula 3 are obtained. Find the amount. Note that the values of the right image corresponding to fx, fy, Fx, and Fy are gx, gy, Gx, and Gy.
θ (g, x, y) = arctan (Gy / Gx) (3a)
E (g, x, y) = (Gx 2 + Gy 2 ) 0.5 (4a)

Figure 2012108278
Figure 2012108278

以上の特徴量を用いて、S(Li,R(Li))を数4の式(5)のように計算する。S(Li,R(Li))は0〜1の間の実数値をとる。Using the above feature quantities, S 1 (Li, R (Li)) is calculated as shown in Equation (5). S 1 (Li, R (Li)) takes a real value between 0 and 1 .

Figure 2012108278
Figure 2012108278

ここで、Emaxはエッジ強度の最大値である。
このS(Li,R(Li))をiを変えながら求めることで、左右の対応エッジの一致度f(式(2))を計算する。
Here, E max is the maximum value of the edge strength.
By obtaining S 1 (Li, R (Li)) while changing i, the matching degree f 1 (equation (2)) of the left and right corresponding edges is calculated.

(1対2の場合)
ある左エッジLiに対応する右エッジが2つ(Rj,Rkとする)ある場合は、LiとRjの一致度、LiとRkの類似度を、それぞれ式(5)を用いて計算した後、それらの和を2で割って平均値を求め、Liに対応するエッジの一致度であるとみなす。これをiを変えながら求めることで、左右の対応エッジの一致度f(式(2))を計算する。
(1 to 2)
When there are two right edges (Rj, Rk) corresponding to a certain left edge Li, the degree of coincidence between Li and Rj and the degree of similarity between Li and Rk are calculated using the equation (5), respectively. The sum is divided by 2 to obtain an average value, which is regarded as the degree of coincidence of edges corresponding to Li. By obtaining this while changing i, the matching degree f 1 (equation (2)) of the left and right corresponding edges is calculated.

3.2 「B:同じ対象物の左と右(=両端)のエッジとして妥当か?」
次に、左画像内の2つのエッジが、同一の対象物1の左右のエッジとなるか否かを判断するための妥当性fを数5の式(6)で計算する。
3.2 “B: Is it valid as the left and right (= both ends) edges of the same object?”
Next, validity f 2 for determining whether or not the two edges in the left image are the left and right edges of the same object 1 is calculated by Expression (6) of Formula 5.

Figure 2012108278
Figure 2012108278

ここで、Liは左画像中のi番目のエッジペアのうちの左側(x座標値で判断する)のエッジ、Riは右側のエッジを表す。また、S(Li,Ri)は、エッジLiとRiが同一対象物の両端のエッジであるとしたときの妥当性を表す量であり、0から1までの値を取り、1に近いほど両エッジが対象物の両端である妥当性が高いとみなす。
具体的には、3.1と同様にして計算するが、この例ではエッジの向きは当てにならないので、それ以外の3つの特徴量、すなわち、エッジの強度と左と右の階調値(X線透過濃度値)からS(Li,Ri)を計算する。
Here, Li represents the left edge (determined by the x coordinate value) of the i-th edge pair in the left image, and Ri represents the right edge. S 2 (Li, Ri) is an amount representing validity when the edges Li and Ri are edges at both ends of the same object, and takes a value from 0 to 1 and is closer to 1. We consider that both edges are both valid edges of the object.
Specifically, the calculation is performed in the same manner as in 3.1. However, in this example, the direction of the edge is not reliable, so the other three feature quantities, that is, the edge strength and the left and right tone values ( S 2 (Li, Ri) is calculated from the X-ray transmission density value.

いま、エッジLiをf(xL,yL)、Riをf(xR,yR)とする。このとき、3.1で述べた方法と全く同じ方法によって次の量を計算する。
エッジ強度:E(f,xL,yL),E(f,xR,yR)は、上述した式(4)で計算する。
注目エッジの左側の階調値Leftは数6の式(A3)と式(A4)で、注目エッジの右側の階調値Rightは、式(B3)と式(B4)で計算する。
Now, let the edge Li be f (xL, yL) and Ri be f (xR, yR). At this time, the next quantity is calculated by the same method as described in 3.1.
Edge strength: E (f, xL, yL) and E (f, xR, yR) are calculated by the above-described equation (4).
The gradation value Left on the left side of the target edge is calculated by Expressions (A3) and (A4) of Equation 6, and the gradation value Right on the right side of the target edge is calculated by Expressions (B3) and (B4).

Figure 2012108278
Figure 2012108278

このとき、図12に示すように、同一対象物1の両端のエッジの場合、(1)左側エッジの右側の階調値と右側エッジの左側の階調値は類似している確率が高いと考えられ、かつ(2)左側のエッジの左側と右側のエッジの右側階調値はあまり関係がないと考えられる。
よって、上記の特徴量のうち、Right(f,xL,yL)とLeft(f,xR,yR)の類似性を仮定できる。これらから、最終的にS(Li,Ri)を数7の式(7)から計算する。この式において、Left(f,xL,yL)とRight(f,xR,yR)は用いていない。
At this time, as shown in FIG. 12, in the case of the edges at both ends of the same object 1, (1) the probability that the gradation value on the right side of the left edge is similar to the gradation value on the left side of the right edge is high. And (2) the right gradation value of the left edge and the right edge of the left edge is considered to have little relation.
Therefore, it is possible to assume the similarity between Right (f, xL, yL) and Left (f, xR, yR) among the above feature quantities. From these, S 2 (Li, Ri) is finally calculated from Equation (7) of Equation 7. In this equation, Left (f, xL, yL) and Right (f, xR, yR) are not used.

Figure 2012108278
Figure 2012108278

(Li,Ri)は0から1までの実数値をとり、1に近いほどこれら2つのエッジが同一対象物の両端のエッジである可能性が高い。このS(Li,Ri)を式(6)に代入することによって左画像中のエッジペアの妥当性fを計算する。S 2 (Li, Ri) takes a real value from 0 to 1, and the closer to 1, the higher the possibility that these two edges are the edges of both ends of the same object. By substituting this S 2 (Li, Ri) into equation (6), the validity f 2 of the edge pair in the left image is calculated.

表2において1対2の関係がある場合、すなわち、あるエッジが2つの対象物の左端あるいは右端を兼ねているとみなされる場合は、それぞれについてS(Li,Ri)を求めて、fの計算に反映させる。すなわち、考えられる全てのエッジペアについてS(Li,Ri)を求める。
同様にして、右画像中のエッジペアの妥当性fを計算する。
When there is a one-to-two relationship in Table 2, that is, when an edge is considered to serve as the left end or the right end of two objects, S 2 (Li, Ri) is obtained for each, and f 2 It is reflected in the calculation. That is, S 2 (Li, Ri) is obtained for all possible edge pairs.
Similarly, to calculate the validity f 3 of the edge pair in the right image.

3.3 適応度の計算方法について
3.2で述べた方法によって評価値f、f、fを求め、最終的な適応度fitnessをそれらの線形和として先に示した式(1)から計算する。
3.3 Method for calculating fitness The evaluation values f 1 , f 2 , and f 3 are obtained by the method described in 3.2, and the final fitness fitness is expressed as a linear sum thereof (1) Calculate from

なお、本発明は、上述した適応度関数に限定されず、その他の適応度関数を用いてもよい。
ただし、「左右エッジの対応関係の妥当性(f)」、「左画像中の同一対象物の両端エッジの妥当性(f)」、「右画像中の同一対象物の両端エッジの妥当性(f)」の3つの観点から総合的に判断する必要がある。
The present invention is not limited to the fitness function described above, and other fitness functions may be used.
However, “Validity of correspondence between left and right edges (f 1 )”, “Validity of both edges of the same object in the left image (f 2 )”, “Validity of both edges of the same object in the right image It is necessary to judge comprehensively from the three viewpoints of “sex (f 3 )”.

なお、これらに対して、さらに他の情報、例えば、「上下のラインでのエッジの対応関係との相関」を考慮することで、画像全体のエッジ対応の信頼性を上げることが好ましい。   In addition, it is preferable to improve the reliability of edge correspondence of the entire image by considering other information, for example, “correlation with edge correspondence in the upper and lower lines”.

図6のS5において、上述した適用度を計算し、S6において最適個体を決定し、S7において最適個体が実用解であるかを判断する。
S3〜S7のステップは、実用解が求まるまで繰り返し、実用解が求まれば実用解を解として終了する。
In S5 of FIG. 6, the above-mentioned applicability is calculated, the optimum individual is determined in S6, and it is determined in S7 whether the optimum individual is a practical solution.
Steps S3 to S7 are repeated until a practical solution is obtained, and when a practical solution is obtained, the practical solution is terminated as a solution.

次いで、S8において、各画像間の対象物のエッジの対応付けと、各画像内の対象物のエッジの両端(エッジペア)から、画像全体の対象物の位置を三角測量して、対象物の位置を立体計測する。   Next, in S8, the position of the object is triangulated from the correspondence between the edges of the object between the images and the both ends (edge pairs) of the edges of the object in each image, 3D measurement.

上述したS2〜S8の進化計算法により、従来のステレオマッチングが困難又は実質的に不可能である視差が大きい左右のX線画像のステレオマッチングを可能にすることができる。   By the evolution calculation method of S2 to S8 described above, it is possible to make stereo matching of left and right X-ray images with large parallax, which makes conventional stereo matching difficult or substantially impossible.

次に、この例ではS9において、中間画像を作成し、S10において複数点からの立体画像を表示する。この対象物の立体画像により対象物を目視で検査することができる。
すなわち、対象物の立体計測(S8)により、各対象物1を抽出することができるため、それを、視差を調整して人が見たときに立体に見えるようにして画面に立体表示することができる。
Next, in this example, an intermediate image is created in S9, and stereoscopic images from a plurality of points are displayed in S10. The object can be visually inspected by the stereoscopic image of the object.
That is, each object 1 can be extracted by the three-dimensional measurement (S8) of the object, so that it is displayed in a three-dimensional manner on the screen so that the object looks like a three-dimensional image when the parallax is adjusted. Can do.

なお、左右の領域の左端・右端を表すエッジ部分の対応付けが正しく行えることから、立体画像表示以外に、対象物中の点の距離計測、各対象物の前後関係、床面からの距離、等を計測することもできる。
また、これによって「その奥行き距離にある、上下方向のエッジがつながった領域」、として、特定の領域だけを選択的に抽出し、領域の形状などの特徴からそれが何であるかを認識することができる。
さらに、立体画像表示の際、各対象物の色付けや、実際の奥行き距離より距離方向を強調するなどにより、対象物を1つずつ分離して表示することができる。
In addition, since it is possible to correctly associate the edge portions representing the left and right edges of the left and right regions, in addition to stereoscopic image display, distance measurement of points in the object, the front-rear relationship of each object, the distance from the floor, Etc. can also be measured.
In addition, this allows you to selectively extract only a specific area and recognize what it is from features such as the shape of the area. Can do.
Furthermore, when displaying a stereoscopic image, it is possible to separate and display the objects one by one by coloring each object or emphasizing the distance direction from the actual depth distance.

また、さらに、重畳している対象物1を距離情報を用いて分離した後に自動認識する機能や、特定の性質をもった対象物(電子回路等)を自動抽出する機能を付加することもできる。   Further, a function of automatically recognizing the superposed target object 1 after separating it using distance information and a function of automatically extracting a target object (such as an electronic circuit) having a specific property can be added. .

上述した本発明の装置及び方法によれば、複数のX線画像から、例えば進化計算法を用いた画像処理装置により、(1)対象物1のエッジの対応付けと、(2)対象物1のエッジの両端を決定するので、視差が大きく、従来のステレオマッチングが困難又は実質的に不可能であるような場合でも、対象物1のエッジの対応付けと、対象物1のエッジの両端の決定を、簡単な処理で短時間にできる。
従って、その結果に基づく、対象物1の位置の立体計測により、対象物1の立体画像、対象物1中の点の距離計測、各対象物1の前後関係、床面からの距離、等を求めることができるので、対象物1を検査することができる。
According to the above-described apparatus and method of the present invention, (1) the association of the edge of the object 1 and (2) the object 1 from the plurality of X-ray images, for example, by the image processing apparatus using the evolution calculation method. Since the parallax is large and the conventional stereo matching is difficult or substantially impossible, the correspondence between the edges of the object 1 and the edges of the edges of the object 1 are determined. Decisions can be made in a short time with simple processing.
Therefore, based on the result of the three-dimensional measurement of the position of the target object 1, the three-dimensional image of the target object 1, the distance measurement of the points in the target object 1, the context of each target object 1, the distance from the floor, etc. Since it can obtain | require, the target object 1 can be test | inspected.

また、本発明の装置は、X線源とディテクターがそれぞれ1つである従来の装置と比較して、装置の長手方法(コンベア進行方向)にX線源とディテクターを追加するだけで構成でき、X線CTと比較して小型かつ安価にできる。   In addition, the apparatus of the present invention can be configured only by adding an X-ray source and a detector to the longitudinal direction of the apparatus (conveyor traveling direction) as compared to a conventional apparatus having one X-ray source and one detector. Compared to X-ray CT, it can be made smaller and less expensive.

なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。   In addition, this invention is not limited to embodiment mentioned above, Of course, it can change variously in the range which does not deviate from the summary of this invention.

1 対象物、10 X線照射装置、
12 コンベア装置、14 遮蔽装置、
16a,16b X線源、
18a,18b ディテクター(X線検出器)、
20 画像処理装置
1 object, 10 X-ray irradiation device,
12 conveyor devices, 14 shielding devices,
16a, 16b X-ray source,
18a, 18b detector (X-ray detector),
20 Image processing device

Claims (7)

対象物に対し複数の方向からX線を照射し視差のある複数のX線透過画像を撮像するX線照射装置と、
前記複数のX線透過画像から前記対象物を検査する画像処理装置と、を備え、
画像処理装置により、対象物のエッジの対応付けと、対象物のエッジの両端を決定し、次いで対象物の位置を立体計測する、ことを特徴とするX線検査装置。
An X-ray irradiation apparatus that irradiates an object with X-rays from a plurality of directions and captures a plurality of X-ray transmission images with parallax;
An image processing device for inspecting the object from the plurality of X-ray transmission images,
An X-ray inspection apparatus characterized in that, by an image processing apparatus, an edge of an object is associated, both ends of the edge of the object are determined, and then the position of the object is three-dimensionally measured.
前記画像処理装置によるエッジの対応付けとエッジの両端決定に進化計算法を用いる、ことを特徴とする請求項1に記載のX線検査装置。   The X-ray inspection apparatus according to claim 1, wherein an evolution calculation method is used for edge association and edge both end determination by the image processing apparatus. 前記X線照射装置は、対象物を水平搬送するコンベア装置と、
該コンベア装置の一部を囲む遮蔽装置と、
該遮蔽装置の上流側に設けられ対象物の第1X線透過画像を撮像する第1X線源及び第1ディテクターと、
遮蔽装置の下流側に設けられ対象物の前記第1X線透過画像に対して視差が大きい第2X線透過画像を撮像する第2X線源及び第2ディテクターと、を備える、ことを特徴とする請求項1に記載のX線検査装置。
The X-ray irradiation device includes a conveyor device that horizontally conveys an object;
A shielding device surrounding a part of the conveyor device;
A first X-ray source and a first detector provided on the upstream side of the shielding device for capturing a first X-ray transmission image of the object;
A second X-ray source and a second detector, which are provided on the downstream side of the shielding device and capture a second X-ray transmission image having a large parallax with respect to the first X-ray transmission image of the object. Item 2. The X-ray inspection apparatus according to Item 1.
(A)対象物に対し複数の方向からX線を照射し視差のある複数のX線透過画像を撮像し、
(B)前記複数のX線透過画像から、画像処理装置により、対象物のエッジの対応付けと、対象物のエッジの両端を決定し、
(C)次いで対象物の位置を立体計測する、ことを特徴とするX線検査方法。
(A) A plurality of X-ray transmission images with parallax are captured by irradiating an object with X-rays from a plurality of directions,
(B) From the plurality of X-ray transmission images, the image processing device determines correspondence between the edges of the object and both ends of the edge of the object,
(C) Next, an X-ray inspection method characterized in that the position of the object is three-dimensionally measured.
前記画像処理装置によるエッジの対応付けとエッジの両端決定に進化計算法を用いる、ことを特徴とする請求項4に記載のX線検査方法。   5. The X-ray inspection method according to claim 4, wherein an evolution calculation method is used for edge association and edge both end determination by the image processing apparatus. 前記(B)において、
(a)親個体を進化計算法における1個体を表現する染色体で表現し、
(b)親個体の染色体の一部を変更して子個体を生成し、
(c)子個体の適応度を計算して最適個体を決定し、
(d)該最適個体が所望の実用解であるかを判断し、
(e)実用解でない場合は最適個体を親個体として(a)〜(d)を繰返し、実用解である場合は最適個体を解とする、ことを特徴とする請求項4に記載のX線検査方法。
In (B) above,
(A) A parent individual is represented by a chromosome representing one individual in the evolutionary calculation method,
(B) changing a part of the chromosome of the parent individual to generate a child individual;
(C) calculating the fitness of the child individual to determine the optimal individual;
(D) determining whether the optimum individual is a desired practical solution;
5. The X-ray according to claim 4, wherein (e) when the solution is not a practical solution, the optimal individual is set as a parent individual and (a) to (d) are repeated, and when the solution is a practical solution, the optimal individual is set as a solution. Inspection method.
前記(c)において、適応度を、「対象物のエッジの対応関係の妥当性」と「対象物のエッジの両端の信頼性」に基づく適応度関数を用いて計算する、ことを特徴とする請求項6に記載のX線検査方法。

In (c), the fitness is calculated by using an fitness function based on “the validity of the correspondence between the edges of the object” and “the reliability of both ends of the edges of the object”. The X-ray inspection method according to claim 6.

JP2012556828A 2011-02-09 2012-01-27 X-ray inspection apparatus and method Pending JPWO2012108278A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011025913 2011-02-09
JP2011025913 2011-02-09
PCT/JP2012/051749 WO2012108278A1 (en) 2011-02-09 2012-01-27 X-ray inspection device and method

Publications (1)

Publication Number Publication Date
JPWO2012108278A1 true JPWO2012108278A1 (en) 2014-07-03

Family

ID=46638495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012556828A Pending JPWO2012108278A1 (en) 2011-02-09 2012-01-27 X-ray inspection apparatus and method

Country Status (2)

Country Link
JP (1) JPWO2012108278A1 (en)
WO (1) WO2012108278A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097407A (en) 2016-05-30 2016-11-09 清华大学 Image processing method and image processing apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6387552U (en) * 1986-11-28 1988-06-07
JPS642628A (en) * 1987-06-25 1989-01-06 Toshiba Corp Stereoroentgenographic diagnostic apparatus
US6763083B2 (en) * 2002-08-30 2004-07-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Article screening system
JP2008298480A (en) * 2007-05-29 2008-12-11 Beamsense Co Ltd Stereo fluoroscopic device, and stereo observation method using therefor
CN101358936B (en) * 2007-08-02 2011-03-16 同方威视技术股份有限公司 Method and system for discriminating material by double-perspective multi energy transmission image

Also Published As

Publication number Publication date
WO2012108278A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
KR101792927B1 (en) Object inspection method, display method and device
US20170227942A1 (en) Surface data acquisition, storage, and assessment system
JP5821012B2 (en) Modeling device, three-dimensional model generation device, modeling method, program, layout simulator
CN104567758B (en) Stereo imaging system and its method
KR20210049086A (en) Article inspection by dynamic selection of projection angle
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
US20100195891A1 (en) Image reconstructing methjod using x-ray volume photography
WO2008080281A1 (en) Radiation imaging method and system for dual-view scanning
TW201351347A (en) Defect classification using topographical attributes
CN109141384A (en) Acquisition and preprocess method to data before the detection after subway tunnel completion
CN105095581B (en) A kind of casting shrinking hole defect image generation method
JP2020134187A (en) Flaw inspection device and method
JP2019029915A (en) Creation method, creation system, creation device and creation system of radio wave propagation simulation model
JP2021056017A (en) Synthetic processing apparatus, synthetic processing system and synthetic processing method
Wang et al. How data quality affects model quality in scan-to-BIM: A case study of MEP scenes
JP7180283B2 (en) Image processing device and image processing method
Lee et al. Modeling and simulation of pulmonary acoustic signal and imaging for lung function assessment
WO2012108278A1 (en) X-ray inspection device and method
Asaturyan et al. A framework for automatic morphological feature extraction and analysis of abdominal organs in MRI volumes
CN104980725B (en) Device and method for forming three-dimensional scence
US20230136883A1 (en) Joint surface safety evaluation apparatus
CN111340127B (en) Energy spectrum CT iterative material decomposition method and device based on material clustering
Park et al. Creating a digital outcrop model by using hyper-spectrometry and terrestrial LiDAR
JP6326264B2 (en) Lung disease discrimination program, recording medium, and lung disease discrimination method
JP2015170116A (en) Information processing apparatus, method for controlling information processing apparatus, and program

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20131021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028