WO2015062352A1 - 立体成像系统及其方法 - Google Patents

立体成像系统及其方法 Download PDF

Info

Publication number
WO2015062352A1
WO2015062352A1 PCT/CN2014/085153 CN2014085153W WO2015062352A1 WO 2015062352 A1 WO2015062352 A1 WO 2015062352A1 CN 2014085153 W CN2014085153 W CN 2014085153W WO 2015062352 A1 WO2015062352 A1 WO 2015062352A1
Authority
WO
WIPO (PCT)
Prior art keywords
detector
detectors
depth information
image
images
Prior art date
Application number
PCT/CN2014/085153
Other languages
English (en)
French (fr)
Inventor
陈志强
屠卓文
李亮
赵自然
张多坤
彭志
崔锦
林东
Original Assignee
同方威视技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同方威视技术股份有限公司 filed Critical 同方威视技术股份有限公司
Publication of WO2015062352A1 publication Critical patent/WO2015062352A1/zh

Links

Classifications

    • G01V5/228—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022—Stereoscopic imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/42—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the present application relates to the field of radiation imaging, and in particular to a stereo imaging system for a single source multi-detector and a method thereof. Background technique
  • the safety inspection is dominated by a radiation imaging system.
  • the acquired data is a two-dimensional image
  • the detected image has a material depth information loss, and the image information projection overlaps seriously, affecting people's object to the object. Identification and identification of shapes. Summary of the invention
  • a stereo imaging system comprising: a radiation source emitting a plurality of ray fan beams; and a plurality of column detectors respectively disposed opposite to the radiation source at a predetermined angle, when the object to be inspected is along
  • the plurality of columns of detectors respectively detect the intensity values of the respective ray fan beams transmitted through the object to be inspected to form a transmission image corresponding to each column of detectors when moving in a direction intersecting the ray fan beam;
  • any two transmission images in the plurality of transmission images are used to calculate the depth information of the object on the transmission image, and the calculated depth information is superimposed and merged to obtain three-dimensional information of the object to be inspected, and the three-dimensional reconstruction is performed.
  • the reconstruction device calculates depth information based on a difference in position between two images of objects of different depths.
  • the reconstruction device corrects the X and y coordinates using the calculated depth information z.
  • the multi-column detectors are all L-shaped arms, and the reconstruction device corrects the resolution in the direction of the detector column by using the following formula:
  • N N ' D + ⁇
  • S represents the direction of the detector column direction
  • N represents the number of detection modules in the detector column
  • D represents the distance from the source to the main beam direction detector module
  • ⁇ represents the other detector module relative to the main beam direction detector module. The distance changes.
  • the reconstruction device calculates depth information as follows:
  • the reconstruction device identifies the bin based on one of the plurality of transmissive images, determines the position of the bin, and models the bin three-dimensionally.
  • a method of a stereoscopic imaging system comprising a source of radiation and a plurality of columns of detectors respectively disposed opposite the source of radiation at a predetermined angle, the method comprising the steps of:
  • the ray source emits a plurality of ray fan beams; and when the object to be inspected moves in a direction intersecting the ray fan beam, the plurality of columns of detectors respectively detect the intensity values of the corresponding ray fan beams transmitted through the object to be inspected, Forming a transmission image corresponding to each column of detectors; using any two of the plurality of transmission images as a two-view image, calculating depth information of the object on the transmission image, superimposing and integrating the calculated depth information, and obtaining the checked The three-dimensional information of the object is reconstructed in three dimensions.
  • the transmission image acquired by the multi-column linear detector with a certain angle is used for three-dimensional reconstruction to recover the depth information of the transmitted image loss, so that the transmitted object presents a certain stereoscopic effect at different viewing angles, which facilitates better image analysis. . DRAWINGS
  • FIG. 1 shows a top view of an image acquisition system in accordance with an embodiment of the present invention
  • FIG. 2 shows a side view of an image acquisition system in accordance with an embodiment of the present invention
  • FIG. 3 is a schematic diagram describing a depth information obtaining process
  • Figure 4 is a schematic diagram showing the layout of the detector column direction
  • Figure 5 is a schematic view showing the principle of geometric correction in the column direction;
  • Figure 6 shows a schematic view of a container truck;
  • Figure 7 shows the process of tank identification and modeling
  • Figure 8 shows the process of vehicle body modeling
  • FIG. 9 is a schematic diagram showing a three-dimensional reconstruction effect implemented by a technique according to an embodiment of the present invention. detailed description
  • 3D images have a wide range of applications in real life. Compared with 2D images, they can better describe real-life scenes and achieve more vivid visual effects.
  • CT imaging can reconstruct the three-dimensional structure of objects well, but 3D CT imaging has the disadvantages of complex scanning equipment and long measurement time. Therefore, the use of multiple perspectives to solve stereoscopic imaging problems for fluoroscopic images, in addition to good academic value, also has good application value:
  • Radiation image multi-view stereo imaging technology can give an approximate three-dimensional image, using a small angle of rotation Or use the three-dimensional display terminal display to give the examiner stereo perception and enhance the user experience.
  • the transmission image acquired by the multi-column linear detector with a certain angle is used to perform three-dimensional reconstruction, and the depth information of the lost transmission image is restored, so that the transmitted object is presented at different viewing angles.
  • a certain stereo effect makes it easier to perform image analysis. For example, in the field of container security inspection, X-rays can be used to scan the container without opening the box, and then some of the three-dimensional information can be restored. This part of the information can be used to provide users with new visual aids in a new way. Experience.
  • a stereoscopic imaging system includes a source of radiation, a multi-column detector, and a reconstruction device such as a computer.
  • the ray source emits a plurality of ray fan beams. a plurality of columns of detectors respectively disposed opposite to the source of radiation at a predetermined angle, wherein the plurality of detectors respectively detect the corresponding beam beam transmission when the object to be inspected moves in a direction intersecting the beam of the beam
  • the intensity values of the objects to be inspected form a transmission image corresponding to each column of detectors.
  • the reconstruction device uses any two transmission images of the plurality of transmission images as a double-view image to calculate depth information of the object on the transmission image, and superimposes the calculated depth information to obtain three-dimensional information of the object to be inspected, and performs three-dimensional reconstruction.
  • Figure 1 shows a top view of the image acquisition system.
  • the figure takes three perspectives as an example. In practical applications, the angle of view can be appropriately increased according to actual needs.
  • the ray beam of the ray source 110 to the left, middle, and right columns of the detectors 120, 130, 140 forms a predetermined opening angle, such as an angle ⁇ between the left detector column and the middle detector column, and the right detector column and the middle detector The columns are also angled ⁇ , and three images at different angles are obtained by scanning.
  • the middle ray is in the main beam direction of the X-ray, and the left and right rays are symmetrically distributed on both sides of the main beam direction.
  • the embodiment of the present invention takes three viewing angles as an example, and can form a pair of viewing angles symmetrically on both sides of the main beam direction of the X-ray to form an image capturing system.
  • Figure 2 shows a side view of an image acquisition system that primarily includes a source 110, a collimation device (not shown), a data acquisition system (not shown), and the like.
  • a plurality of images corresponding to the number of detector columns can be simultaneously generated, that is, the number of images and the number of detector columns are the same.
  • an appropriate reference coordinate system can be established to perform three-dimensional reconstruction and multi-view viewing of the acquired multi-view image.
  • Figure 3 shows the principle of using two perspective views to obtain depth information.
  • Objects of different depths have a certain position difference in the two images, and the depth information can be extracted by this position difference.
  • the relative depth of the object is proportional to the relative position difference of the object in the left and right images.
  • any combination of two different perspective views can be used to solve the depth information of the object on the image, and the three-dimensional information is superimposed and merged, so that the three-dimensional information can be restored to the maximum extent.
  • the present invention takes three viewing angles as an example, and can simultaneously acquire three images, the left image, the middle image and the right image, and the two-two combination has three combinations.
  • the coordinate system of one of the images is used as the reference coordinate system, and the three-dimensional coordinates can be solved by the following formula:
  • V is the velocity at which the object passes through the acquisition region
  • f is the frequency at which the ray occurs
  • ⁇ is the difference in the position of the same feature point in different views.
  • the distance from the X-ray source to the plane of the detector is 1 ⁇ .
  • the calibration step in the similar optical image may not be considered. Just select the appropriate reference coordinate system.
  • the following algorithm is used to obtain the point matching of two views: First, the correspondence of two view feature points is established by using the traditional feature extraction and matching method; then the Hilbert is established centering on the feature points. Kernel, superposition establishes Hilbert space, and uses spatial smoothness constraint iteration to obtain a smooth space vector field. This space vector field represents the point-to-point correspondence between the two images.
  • the SIFT flow algorithm can also solve the point-to-point correspondence between the two images.
  • the basic principle of the SIFT flow algorithm is to first calculate the SIFT feature vector for each pixel on the image, namely Dense SIFT, and then use the flow estimation algorithm to match the SIFT vector description.
  • SIFT Flow treats all pixels of the image to be matched equally, ignoring the difference in image pixels. For a picture, each image The amount of information in the prime is different. The amount of pixel information in the highlighted object is large, while the background (such as the background in pure black) is small. Because of the equivalent treatment, the matching value of pixels with little information or less information will affect the matching value of important pixels, which is equivalent to introducing interference to the matching process, resulting in inaccurate overall results.
  • this patent uses an improved energy function that increases the proportion of the influence of the region with a large amount of information, weakens the proportion of the influence of the background region, and shields the influence of the background region on the matching process, in order to obtain a more accurate matching result. creating condition.
  • the Belief propagation algorithm is used to optimize the objective function. This can be used to find an optimal flow field. This optimal flow field is the correspondence between the two images.
  • the linear detectors are arranged in a fan shape (arc) to adapt to the characteristics of X-rays and reduce geometric distortion. It can be seen that the detector uses a sector (arc) arrangement that is the optimal choice. However, in practical applications, the arrangement of the detector is affected by the mechanical structure and space. Sometimes it can only be arranged in an approximate fan shape (arc).
  • Figure 4 shows an example of the arrangement of the detector.
  • the detectors can be mounted linearly on a vertical boom or linearly mounted on a crossarm or both, ie an L-arm.
  • the L-shaped detector array includes a plurality of detector modules 131, 132, and 133, etc., and receives a beam of rays from a source 110.
  • the angles of the two booms can be adjusted as appropriate. In an actual application, an appropriate arrangement can be selected according to the mechanical structural requirements.
  • an L-shaped boom is used. This approximate fan-shaped (arc-shaped) arrangement, with different fan-shaped radii, reduces geometric distortion in the direction of the detector column but cannot be eliminated. This geometric distortion can seriously affect the effect of 3D reconstruction and requires geometric correction during the reconstruction process.
  • Figure 5 shows the principle of geometric correction. If the detector column size is S and the number of probes is N, the resolution in the direction of the X-ray main beam is ⁇ and is considered to be the standard resolution. The distance from the source 0 to the main beam of the ray detector module is that the fan radius is D, and the distance of other modules is ⁇ . The ⁇ of different modules can be obtained according to the detector layout. Then the size of the relative X-ray main beam direction module of the module is S1
  • FIG. 6 shows one of the three views collected in the embodiment of the invention for a container truck to be inspected.
  • the cargo in the container is the content of interest, and the container itself is a regular cube.
  • the three-dimensional information of the box can be perfectly restored.
  • the obtained three-dimensional information can also be used as a reference for three-dimensional reconstruction of cargo in the box.
  • Figure 7 shows the flow of tank location identification and modeling, as detailed below:
  • step S110 the effect of dose instability is eliminated
  • step S120 looking for the top edge
  • the Hough transform is used to detect the upper edge of the container. If not, an error is returned in step S150.
  • step S140 the body head is removed, and only the box portion is reserved.
  • the upper edge portion of the container truck chassis is detected, and the processing method is the same as that of the upper edge of the container.
  • step S160 the box modeling
  • the truck part is often not the focus of inspection for the container trucks to be inspected.
  • the modeling method can be used to quickly and effectively recover its three-dimensional information. The first thing to do is to identify the location and size of the truck as a feature, and then find the most suitable three-dimensional truck template in the template library.
  • Figure 8 shows the flow of vehicle body identification and modeling.
  • the edge information is used as the main basis to judge the position of the vehicle in the image, and on the premise of the identification of the box, the model and the position of the truck are identified.
  • the processing method is divided into three steps: preprocessing removes the fringes, and obtains a smooth background image; obtains a gradient for the image, and quantizes the gradient map to remove the influence of the small gradient fluctuation; In the value quantization gradient map, the maximum continuous area of the horizontal and vertical projection, that is, the vehicle position, is obtained.
  • step S210 the pre-processing stripe removing method is performed: striping is respectively performed in the horizontal and vertical directions. Taking the level as an example, first find the projection sequence of the image in the vertical direction. Projection performs median filtering on Projection. Wave, the difference between the filter before and after the filter is judged as a stripe, and the value of this row is replaced by the value of the row of the most recent non-streaked image.
  • step S220 the gradient method is: quantizing the image, and then obtaining the gradient after quantization.
  • Find the vehicle position Calculate the horizontal and vertical directions of the gradient map, and detect the maximum continuous area after subtracting the minimum value (that is, removing the influence of the stripes that may still exist). This area is the location of the vehicle.
  • step S230 the cabinet identification is performed by the aforementioned method.
  • step S240 the position and orientation of the vehicle body are determined by recognizing the vehicle body on the premise of the tank modeling.
  • the 3D model of the vehicle in the template library can be used instead of the reconstruction of the body part.
  • stereoscopic reconstruction of fluoroscopic images is intended to aid inspection and does not require accurate measurements. Therefore, the present invention is more focused on stereoscopically illuminating a fluoroscopic image using depth information of a fluoroscopic image in order to hierarchically display the fluoroscopic images of the overlapping objects.
  • 3D display tools such as OpenGL to develop 3D display software, use different angles of rotation to display 3D effects
  • the 3D display shows 3D data.
  • Figure 9 depicts the 3D reconstruction effect demonstrated using the OpenGL software package.
  • the depth information of the two-dimensional image is obtained based on the multi-view perspective image, and the two-dimensional perspective image is stereoscopically provided to provide an auxiliary inspection scheme.
  • modeling technology is used to realize three-dimensional modeling of containers to improve the accuracy of three-dimensional reconstruction.
  • the three-dimensional effect can be displayed from different angles, and the hardware display terminal is combined to improve the three-dimensional display effect.
  • signal bearing media include, but are not limited to, recordable media such as floppy disks, hard drives, compact disks (CDs), digital versatile disks (DVDs), digital tapes, computer memories, and the like; and transmission-type media such as digital and / or analog communication media (eg, fiber optic cable, waveguide, wired communication link, wireless communication link, etc.).

Abstract

公开了一种立体成像系统及其方法。该系统包括：射线源，发出多个射线扇束；多列探测器，分别以预定的角度与所述射线源相对设置，当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度值，形成与各列探测器相对应的透射图像；重建装置，将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体的深度信息，对计算的深度信息进行叠加融合，得到被检查物体的三维信息，进行三维重建。利用具有一定角度的多列线性探测器采集到的透射图像，进行三维重构，恢复透射图像丢失的深度信息，使被透射物品在不同视角上呈现一定的立体效果，便于更好地进行图像分析。

Description

立体成像系统及其方法 技术领域
本申请涉及辐射成像领域， 具体涉及一种单源多探测器的立体成像系统及其方 法。 背景技术
安全检查在反恐、 打击贩毒走私等领域有十分重要的意义。 世界各国对公共场 所的安全检查也越来越重视， 对海关集装箱、 行李物品等的检查要求也越来越高。
目前安全检查以辐射成像系统为主流， 对采用线性探测器成像的普通透射图像 而言， 获取到得数据为二维图像， 检测图像存在物质深度信息丢失， 图像信息投影 重叠严重， 影响人们对物体形状的辨认和识别。 发明内容
针对现有技术中的一个或多个问题， 提出了一种立体成像系统及其方法。 在本发明的一个方面， 提出了一种立体成像系统， 包括： 射线源， 发出多个 射线扇束； 多列探测器， 分别以预定的角度与所述射线源相对设置， 当被检查物 体沿着与所述射线扇束相交的方向运动时， 所述多列探测器分别探测相应的射线 扇束透射所述被检查物体的强度值， 形成与各列探测器相对应的透射图像； 重建 装置， 将多幅透射图像中的任何两幅透射图像作为双视角图， 计算透射图像上物 体的深度信息， 对计算的深度信息进行叠加融合， 得到被检查物体的三维信息， 进行三维重建。
根据一些实施例，所述重建装置基于不同深度的物体在两幅图像之间的位置 差来计算深度信息。
根据一些实施例，所述重建装置利用计算的深度信息 z对 X和 y坐标进行校 正。
根据一些实施例， 所述多列探测器均为 L形臂架， 所述重建装置利用下式 对探测器列方向上的分辨率进行校正：
S D
N ' D + Δϋ 其中， S表示探测器列方向尺寸， N表示探测器列中探测模块的个数， D表 示射线源到射线主束方向探测器模块距离， Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。
根据一些实施例， 所述重建装置如下计算深度信息：
设有不同深度的 Α， Β两点， 在右探测器扫描图像中 Β在 Α右， 在左探测 器扫描图像中 B在 A左， 两点的相对位置差为 L， 由 L和张角 α可以得到 A， B 两点深度差 H:
根据一些实施例， 所述重建装置基于多幅透射图像中的一幅透射图像来识别 箱体， 确定箱体的位置， 并且对所述箱体进行三维建模。
在本发明的另一方面， 提出了一种立体成像系统的方法， 所述系统包括射线 源和分别以预定的角度与所述射线源相对设置的多列探测器， 所述方法包括步 骤： 从射线源发出多个射线扇束； 当被检查物体沿着与所述射线扇束相交的方向 运动时， 所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度 值， 形成与各列探测器相对应的透射图像； 将多幅透射图像中的任何两幅透射图 像作为双视角图， 计算透射图像上物体的深度信息， 对计算的深度信息进行叠加 融合， 得到被检查物体的三维信息， 进行三维重建。
利用具有一定角度的多列线性探测器采集到的透射图像， 进行三维重构， 恢复透射图像丢失的深度信息， 使被透射物品在不同视角上呈现一定的立体效 果， 便于更好地进行图像分析。 附图说明
下面的附图表明了本发明的实施方式。 这些附图和实施方式以非限制性、 非 穷举性的方式提供了本发明的一些实施例， 其中：
图 1 示出了根据本发明实施例的图像获取系统的俯视图；
图 2示出了根据本发明实施例的图像获取系统的侧视图；
图 3是描述深度信息求取过程的示意图；
图 4 是描述探测器列方向上布局示意图；
图 5是描述列方向几何校正原理的示意图； 图 6示出了集装箱卡车的示意图；
图 7示出了箱体识别及建模的过程；
图 8示出了车体建模的过程；
图 9示出了根据本发明实施例的技术实现的三维重建效果的示意图。 具体实施方式
下面将详细描述本发明的具体实施例， 应当注意， 这里描述的实施例只用于 举例说明， 并不用于限制本发明。在以下描述中， 为了提供对本发明的透彻理解， 阐述了大量特定细节。 然而， 对于本领域普通技术人员显而易见的是： 不必采用 这些特定细节来实行本发明。 在其他实例中， 为了避免混淆本发明， 未具体描述 公知的结构、 电路、 材料或方法。
在整个说明书中，对 "一个实施例" 、 "实施例" 、 "一个示例" 或 "示例" 的提及意味着： 结合该实施例或示例描述的特定特征、 结构或特性被包含在本发 明至少一个实施例中。 因此， 在整个说明书的各个地方出现的短语 "在一个实施 例中" 、 "在实施例中" 、 "一个示例"或 "示例"不一定都指同一实施例或示 例。此外， 可以以任何适当的组合和 /或子组合将特定的特征、 结构或特性组合在 一个或多个实施例或示例中。 此外， 本领域普通技术人员应当理解， 这里使用的 术语 "和 /或"包括一个或多个相关列出的项目的任何和所有组合。
三维图像在现实生活中有着广泛的应用，相比二维图像， 它能更好的描述现 实场景， 可以获得更加生动的视觉效果。 在辐射成像领域， CT 成像可以很好的 重建物体三维结构， 但是三维 CT成像又存在扫描设备结构复杂， 测量时间耗时 较长等缺点。 因此， 针对透视图像利用多个视角解决立体成像问题， 除了具有很 好的学术价值外， 也有很好的应用价值： 辐射图像多视角立体成像技术可以给出 一个近似三维的图像， 利用小角度转动或者利用三维显示终端展示， 给查验人员 立体感知， 提升用户体验。
针对上述问题， 在本发明的实施例中， 利用具有一定角度的多列线性探测器 采集到的透射图像， 进行三维重构， 恢复透射图像丢失的深度信息， 使被透射物 品在不同视角上呈现一定的立体效果， 便于更好地进行图像分析。 例如， 在集装 箱安检领域， 能够在不开箱的情况下， 利用 X射线对集装箱进行扫描， 然后恢复 其部分三维信息， 利用这部分信息以全新的展示方式， 给用户以新的看图辅助和 体验。
根据本发明的实施例， 提出了一种立体成像系统， 包括射线源、 多列探测器 和诸如计算机之类的重建装置。 射线源发出多个射线扇束。 多列探测器， 分别以 预定的角度与所述射线源相对设置， 当被检查物体沿着与所述射线扇束相交的方 向运动时， 所述多列探测器分别探测相应的射线扇束透射所述被检查物体的强度 值， 形成与各列探测器相对应的透射图像。 重建装置， 将多幅透射图像中的任何 两幅透射图像作为双视角图， 计算透射图像上物体的深度信息， 对计算的深度信 息进行叠加融合， 得到被检查物体的三维信息， 进行三维重建。
图 1给出了图像获取系统俯视图， 图中以三个视角为例， 在实际应用中可以 根据现实需求适当增加视角。 射线源 110到左中右三列探测器 120、 130、 140的 射线扇束形成预定的张角， 例如左探测器列与中探测器列之间成角度 θ， 右探测 器列与中探测器列之间同样成角度 θ， 通过扫描得到不同角度下的三幅图像。 中 间的射线在 X射线的主束方向， 左右射线对称分布在主束方向两侧。本发明的实 施例以三个视角为例，在 X射线主束方向的两侧可以对称的增加成对视角来构成 图像采集系统。
图 2给出图像获取系统的侧视图， 该成像系统主要包括射线源 110、 准直装 置 （未示出）、 数据采集系统 （未示出） 等。 当被检测的物体以一定的速度经过 检测区域时， 可同时产生与探测器列的数目相对应的多幅图像， 也就是图像的数 目和探测器列数目相同。 在这种成像模型中， 可以建立适当的参考坐标系， 对获 取的多视角图进行三维重建和多视角查看。
图 3展示了利用两个视角图求取深度信息的原理。不同深度的物体在两幅图 像中会有一定的位置差，通过这个位置差即可提取深度信息。设有不同深度的 Α， Β两点， 在右探测器扫描图像中 Β在 Α右， 在左探测器扫描图像中 B在 A左， 两点的相对位置差为 L， 由 L和张角 e可以得到 A， B两点深度差 H: 一 L
H = a
2tan-
2
当射线束夹角 C很小时
L
H « - 即物体的相对深度与物体在左右两幅图像中的相对位置差成正比。
对获取的多幅不同视角图任意两幅组合可以求解出图像上物体的深度信 息， 并对求解出的三维信息叠加融合， 这样可以最大限度的恢复三维信息。 本发 明以三个视角为例， 同时可以采集三幅图像， 左图、 中图和右图， 两两组合则有 三种组合方式。 对于左、 右视图两幅图像组合的情况， 以其中一幅图像的坐标系 为参考坐标系， 三维坐标可以利用以下公式求解：
Figure imgf000007_0001
其中 V是物体通过采集区域的速度， f 为射线发生频率， （是两个视角的夹 角， Δχ分别为同一特征点在不同视图上位置的差异。 X射线源到探测器所在平面 的距离为 1^。 以左视角图为参考图， 利用求解出的深度信息 ζ对 x,y坐标修正如 下：
z · (yi · dy - L2)
y = yi [ α
χ = Xi— ζ · tan― 其中 , yi为图像上点坐标， dy为 y方向的分辨率， 对于其他的图像组合方 式可以利用类似的求解方法求解， 但坐标求取和修正公式需要适当调整。
另外， 在探测器列方向上存在几何畸变， 这就需要在探测器列方向上进 行几何校正， 下文详细介绍存在几何畸变的原因及校正方案。
在图像获取过程中， 由于设备的位置和张角等参数相对固定， 类似光学图像 中的标定步骤可以不必考虑。 只需要选择适当的参考坐标系即可。
根据本发明的一些实施例，采用以下算法来获取两个视图的点点匹配： 首先 利用传统的特征提取、 匹配方法， 建立两个视图特征点的对应； 然后以特征点为 中心建立希尔伯特核， 叠加建立希尔伯特空间， 利用空间平滑性约束迭代求取一 个平滑的空间向量场。 这个空间向量场就代表了这两幅图像上点点对应关系。
另外， SIFT flow算法也可以很好的求解出两幅图之间的点点对应关系。 SIFT flow算法的基本原理是：首先对图像上的每个像素计算 SIFT特征向量， 即 Dense SIFT, 然后利用流估计算法来匹配 SIFT向量描述。 但是， SIFT Flow将待匹配图 像的所有像素等同对待， 忽略了图像像素的差异性。 对于一张图片来说， 每个像 素的信息量是不同的， 图片中突出的物体像素信息量大， 而背景 （如纯黑色的背 景） 则信息量小。 由于等同对待， 几乎不含信息或含信息量少的像素的匹配值则 会影响重要像素的匹配值， 相当于给匹配过程引入了干扰， 造成整体结果的不准 确。 因此， 本专利使用了改进的能量函数， 该能量函数增加了信息量大的区域的 影响比重， 减弱了背景区域的影响比重， 屏蔽了背景区域对匹配过程的影响， 为 得到更加准确的匹配结果创造条件。 此外， 利用 Belief propagation算法来优化目 标函数。这样可以求得一个最优的 flow field。这个最优的流场就是两幅图像之间 的对应关系。
针对探测器列方向上存在几何畸变， 由于 X射线的辐射状特征， 线性探测 器按照扇形 （弧形） 排布， 可以适应 X射线的特征， 减少几何畸变。 可见， 探测 器使用扇形 （弧形） 排布是最优的选择。 但是， 在实际应用中探测器的排布受机 械结构和空间的影响， 有时只能采用近似扇形 （弧形） 排布， 图 4给出了探测器 排布的一种示例。 探测器可以线形安装在竖直臂架上或者线形安装在横臂架上， 也可以都安装， 即 L形臂架。 例如， L形探测器列包括多个探测器模块 131、 132 和 133等，接收射线源 110发出的射线束。并且，两个臂架的角度可以适当调整。 在实际应用中， 可以根据机械结构要求， 选择合适的排布方式， 本发明实施例中 采用 L形臂架。 这种近似扇形 （弧形） 的排布方式， 扇形的半径不同， 虽然减少 了探测器列方向上的几何畸变， 但是无法消除。 这种几何畸变会严重影响三维重 建的效果， 需要在重建的过程中进行几何校正处理。
图 5给出了几何校正的原理，设探测器列方向尺寸为 S,探测笔的个数为 N， 则 X射线主束方向上的分辨率为^ 且认为是标准分辨率。 射线源 0到射线主束 方向探测器模块距离，即扇形半径为 D，其他模块距离变化为 Δϋ，不同模块的 Δϋ可 以根据探测器布局图获得。 那么该模块的相对 X射线主束方向模块的尺寸 S1为
D+AD 则该模块的分辨率为
S D
Ν D+Δϋ 。 根据分辨率的不同， 利用图像差值的方法实现探测器列方向上几何校正。 图 6展示了待检的集装箱卡车， 本发明实施例中采集的三幅视图中的一幅。 对于待检的集装箱卡车， 集装箱内货物是感兴趣的内容， 而且集装箱本身是 一个规则的立方体， 通过对箱体三维建模， 可以完美恢复箱体三维信息。 得到的 三维信息还可以作为箱体内货物三维重建的参考。 图 7展示了箱体位置识别及建 模的流程， 详细说明如下：
在步骤 S110， 消除剂量不稳定的影响
利用先验信息， 消除剂量不稳定对算法的影响
Ux = -log (I/a)
其中 a为图像当前列的空气值 （采集区域只有空气时采集的图像）， I为当前 列某探测器笔的读数， 转换后的图像灰度值 Ux对剂量不稳定现象不敏感。
在步骤 S120, 寻找顶部边缘
例如， 利用形态学的方法， 求解形态学梯度， 利用 Hough变换进行集装箱 上边缘的检测。 如果没有， 则在步骤 S150返回错误。
在步骤 S140， 去掉车体头部， 只保留箱体部分
检测集装箱卡车底盘的上边缘部分，处理方法和集装箱上边缘的处理方法相 同。
然后， 确定箱体的具体位置
有了箱体上边缘和车辆底盘的上边缘， 就得到了箱体的具体位置和尺寸。 在步骤 S160， 箱体建模
利用监测出来的箱体位置和尺寸，确定集装箱的类型并在模板库中选择适当 的三维模型， 在三维重建时导入。
在安检过程中， 对于待检的集装箱卡车， 卡车部分很多时候都不是检查的重 点， 三维重建的时候可以利用建模的方法快速、 有效恢复其三维信息。 首先要识 别卡车的位置和尺寸并作为特征， 然后在模板库寻找最合适的卡车三维模板。
图 8展示了车体识别及建模的流程。本发明中以边缘信息作为主要依据，判 断图像中车辆位置， 在箱体识别的前提下， 识别卡车的型号和车头位置。 在检测 车辆位置时， 为得到鲁棒的结果， 处理方式分三步为： 预处理去除条纹， 得到背 景变化平缓的图像； 对图像求梯度， 并量化梯度图， 去掉小梯度波动影响； 在二 值量化梯度图中， 求水平、 垂直投影的最大连续区域， 即车辆位置。
在步骤 S210, 预处理去除条纹方法： 在水平、 竖直方向分别去条纹。 以水 平为例， 先求图像在垂直方向的投影序列 Projection 对于 Projection进行中值滤 波， 滤波前后差值大的即判断为条纹， 将这一行的值代替为最近一行非条纹图像 行的值。
在步骤 S220, 求梯度方法为： 对图像进行量化， 量化后求梯度。
求车辆位置： 对梯度图求水平、 竖直方向投影， 分别检测减掉最小值后 (即 去掉可能还存在的条纹影响)的最大连续区域。 这个区域就是车辆位置。
在步骤 S230， 利用前述的方法进行箱体识别。
在步骤 S240, 在箱体建模的前提下， 通过识别车体， 从而判断出车体的位 置和朝向。 在三维重建时， 可以利用模板库中车的三维模型来代替车体部分的重 建。
安检行业中， 透视图像的立体重建， 目的是为了辅助查验， 并不需要精确测 量。 所以本发明更关注于利用透视图像的深度信息对透视图像进行立体化， 目的 是将重叠在一起的物体透视影像分层显示出来。 基于此， 可以利用两种方式来展 示立体效果： 第一， 利用 OpenGL等三维展示工具， 开发三维展示软件， 利用不 同角度旋转来展示三维效果； 第二， 利用硬件展示终端， 本发明中使用裸眼 3D 显示器展示三维数据。图 9描述了利用 OpenGL软件包展示出来的三维重建效果。
利用上述实施例的方法， 基于多视角透视图像求取二维图像的深度信息，将 二维透视图像立体化， 提供一种辅助检查方案。 此外， 利用建模技术实现集装箱 的三维建模， 提升三维重建的精度。 第三， 利用建模技术实现卡车的三维建模， 提高三维展示效果。
再者， 利用展示软件， 可以不同角度展示三维效果， 结合硬件展示终端， 提 高三维展示效果。
以上的详细描述通过使用示意图和 /或示例， 已经阐述了立体成像系统及其 方法的众多实施例。 在这种示意图和 /或示例包含一个或多个功能和 /或操作的情 况下，本领域技术人员应理解，这种示例中的每一功能和 /或操作可以通过各种硬 件、软件、固件或实质上它们的任意组合来单独和 /或共同实现。在一个实施例中， 本发明的实施例所述主题的若干部分可以通过专用集成电路 （ASIC)、 现场可编 程门阵列 （FPGA)、 数字信号处理器 （DSP )、 或其他集成格式来实现。 然而， 本领域技术人员应认识到， 这里所公开的实施例的一些方面在整体上或部分地可 以等同地实现在集成电路中， 实现为在一台或多台计算机上运行的一个或多个计 算机程序 （例如， 实现为在一台或多台计算机系统上运行的一个或多个程序）， 实现为在一个或多个处理器上运行的一个或多个程序（例如， 实现为在一个或多 个微处理器上运行的一个或多个程序）， 实现为固件， 或者实质上实现为上述方 式的任意组合， 并且本领域技术人员根据本公开，将具备设计电路和 /或写入软件 和 /或固件代码的能力。此外， 本领域技术人员将认识到， 本公开所述主题的机制 能够作为多种形式的程序产品进行分发， 并且无论实际用来执行分发的信号承载 介质的具体类型如何， 本公开所述主题的示例性实施例均适用。 信号承载介质的 示例包括但不限于： 可记录型介质， 如软盘、 硬盘驱动器、 紧致盘 （CD )、 数字 通用盘 （DVD)、 数字磁带、 计算机存储器等； 以及传输型介质， 如数字和 /或模 拟通信介质 （例如， 光纤光缆、 波导、 有线通信链路、 无线通信链路等）。
虽然已参照几个典型实施例描述了本发明， 但应当理解， 所用的术语是说明 和示例性、 而非限制性的术语。 由于本发明能够以多种形式具体实施而不脱离发 明的精神或实质， 所以应当理解， 上述实施例不限于任何前述的细节， 而应在随 附权利要求所限定的精神和范围内广泛地解释， 因此落入权利要求或其等效范围 内的全部变化和改型都应为随附权利要求所涵盖。

Claims

权利要求
1、 一种立体成像系统， 包括：
射线源， 发出多个射线扇束；
多列探测器， 分别以预定的角度与所述射线源相对设置， 当被检查物体沿着 与所述射线扇束相交的方向运动时， 所述多列探测器分别探测相应的射线扇束透 射所述被检查物体的强度值， 形成与各列探测器相对应的透射图像；
重建装置， 将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射 图像上物体的深度信息， 对计算的深度信息进行叠加融合， 得到被检查物体的三 维信息， 进行三维重建。
2、 如权利要求 1所述的立体成像系统， 其中， 所述重建装置基于不同深度 的物体在两幅图像之间的位置差来计算深度信息。
3、 如权利要求 1所述的立体成像系统， 其中， 所述重建装置利用计算的深 度信息 z对 X和 y坐标进行校正。
4、 如权利要求 1所述的立体成像系统， 其中， 所述多列探测器均为 L形臂 架， 所述重建装置利用下式对探测器列方向上的分辨率进行校正：
S D
N ' D + Δϋ 其中， S表示探测器列方向尺寸， Ν表示探测器列中探测模块的个数， D表 示射线源到射线主束方向探测器模块距离， Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。
5、 如权利要求 1所述的立体成像系统， 其中， 所述重建装置如下计算深度 自 . 设有不同深度的 Α， Β两点， 在右探测器扫描图像中 Β在 Α右， 在左探测 器扫描图像中 B在 A左， 两点的相对位置差为 L， 由 L和张角 e可以得到 A， B 两点深度差 H:
6、 如权利要求 1所述的立体成像系统， 其中， 所述重建装置基于多幅透射 图像中的一幅透射图像来识别箱体， 确定箱体的位置， 并且对所述箱体进行三维 建模。
7、 一种立体成像系统的方法， 所述系统包括射线源和分别以预定的角度与 所述射线源相对设置的多列探测器， 所述方法包括步骤：
从射线源发出多个射线扇束；
当被检查物体沿着与所述射线扇束相交的方向运动时，所述多列探测器分别 探测相应的射线扇束透射所述被检查物体的强度值， 形成与各列探测器相对应的 透射图像；
将多幅透射图像中的任何两幅透射图像作为双视角图，计算透射图像上物体 的深度信息， 对计算的深度信息进行叠加融合， 得到被检查物体的三维信息， 进 行三维重建。
8、 如权利要求 7所述的方法， 其中， 基于不同深度的物体在两幅图像之间 的位置差来计算深度信息。
9、 如权利要求 7所述的方法， 其中， 利用计算的深度信息 z对 X和 y坐标 进行校正。
10、 如权利要求 7所述的方法， 其中， 所述多列探测器均为 L形臂架， 利 用下式对探测器列方向上的分辨率进行校正：
S D
N ' D + Δϋ 其中， S表示探测器列方向尺寸， Ν表示探测器列中探测模块的个数， D表 示射线源到射线主束方向探测器模块距离， Δϋ表示其他探测器模块相对于主束方 向探测器模块的距离变化。
11、 如权利要求 7所述的方法， 其中， 如下计算深度信息：
设有不同深度的 Α， Β两点， 在右探测器扫描图像中 Β在 Α右， 在左探测 器扫描图像中 B在 A左， 两点的相对位置差为 L， 由 L和张角 e可以得到 A， B 两点深度差 H:
PCT/CN2014/085153 2013-10-29 2014-08-26 立体成像系统及其方法 WO2015062352A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310521748.1A CN104567758B (zh) 2013-10-29 2013-10-29 立体成像系统及其方法
CN201310521748.1 2013-10-29

Publications (1)

Publication Number Publication Date
WO2015062352A1 true WO2015062352A1 (zh) 2015-05-07

Family

ID=51846478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/085153 WO2015062352A1 (zh) 2013-10-29 2014-08-26 立体成像系统及其方法

Country Status (4)

Country Link
US (1) US9763630B2 (zh)
EP (1) EP2869094B1 (zh)
CN (1) CN104567758B (zh)
WO (1) WO2015062352A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018188653A1 (zh) * 2017-04-14 2018-10-18 清华大学 检查方法和检查设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809655B (zh) * 2014-12-30 2021-06-29 清华大学 车辆检查方法和系统
CN106296825B (zh) * 2016-07-27 2019-02-05 中国科学院半导体研究所 一种仿生三维信息生成系统及方法
CN107228867A (zh) * 2017-06-21 2017-10-03 同方威视技术股份有限公司 安检图像显示方法、设备和安检系统
CN112930468B (zh) * 2018-11-08 2022-11-18 成都频泰鼎丰企业管理中心（有限合伙） 三维测量设备
CN111221049B (zh) * 2020-03-18 2022-08-26 苏州瑞迈斯医疗科技有限公司 一种三维断层成像设备
CN111399073A (zh) * 2020-03-26 2020-07-10 浙江大华技术股份有限公司 一种智能安检方法、智能安检机及计算机可读存储介质
CN111626930A (zh) * 2020-04-30 2020-09-04 兰州大学 全方位的三维照相方法
CN113595608B (zh) * 2021-06-23 2022-04-12 清华大学 基于视觉感知的毫米波/太赫兹通信方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054475B2 (en) * 2001-12-28 2006-05-30 General Electric Company Apparatus and method for volumetric reconstruction of a cyclically moving object
CN101210895A (zh) * 2006-12-28 2008-07-02 清华同方威视技术股份有限公司 一种双视角扫描辐射成像的方法及系统
US20090232277A1 (en) * 2008-03-14 2009-09-17 General Electric Company System and method for inspection of items of interest in objects
CN102411157A (zh) * 2011-08-05 2012-04-11 北京睿思厚德辐射信息科技开发有限公司 物体单侧扫描双侧立体成像的方法及装置
CN103226114A (zh) * 2013-04-02 2013-07-31 清华大学 多视角立体辐射成像系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493595A (en) * 1982-02-24 1996-02-20 Schoolman Scientific Corp. Stereoscopically displayed three dimensional medical imaging
GB2390005A (en) * 2002-06-17 2003-12-24 Royal Holloway University Of L Screening Apparatus
DE102004022427B4 (de) * 2004-05-06 2007-02-08 Yxlon International Security Gmbh Verfahren zur Überprüfung eines Gepäckstücks
JP4649219B2 (ja) * 2005-02-01 2011-03-09 キヤノン株式会社 立体画像生成装置
CN200956018Y (zh) * 2006-05-08 2007-10-03 清华大学 一种多视角航空集装箱安全检查系统
DE102006055641B4 (de) * 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
CN201043955Y (zh) * 2006-12-28 2008-04-02 同方威视技术股份有限公司 双视角扫描辐射成像装置
CN101347335B (zh) * 2007-03-14 2010-11-03 张迎光 能产生立体视觉效果的x射线发生装置及医用x射线设备
FR2919780B1 (fr) * 2007-08-02 2017-09-08 Nuctech Co Ltd Procede et systeme d'identification de matiere a l'aide d'images binoculaires stereoscopiques et par transmission multi-energie
US20090285353A1 (en) * 2008-05-19 2009-11-19 Reveal Imaging Technologies, Inc. Array CT
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
CN202903699U (zh) * 2012-07-30 2013-04-24 公安部第一研究所 一种通道式四视角x射线液态物品安全检查系统
EP2888720B1 (en) * 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
CN203012155U (zh) * 2012-12-27 2013-06-19 同方威视技术股份有限公司 一种无机架ct装置
CN203084216U (zh) * 2012-12-27 2013-07-24 同方威视技术股份有限公司 固定式ct装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054475B2 (en) * 2001-12-28 2006-05-30 General Electric Company Apparatus and method for volumetric reconstruction of a cyclically moving object
CN101210895A (zh) * 2006-12-28 2008-07-02 清华同方威视技术股份有限公司 一种双视角扫描辐射成像的方法及系统
US20090232277A1 (en) * 2008-03-14 2009-09-17 General Electric Company System and method for inspection of items of interest in objects
CN102411157A (zh) * 2011-08-05 2012-04-11 北京睿思厚德辐射信息科技开发有限公司 物体单侧扫描双侧立体成像的方法及装置
CN103226114A (zh) * 2013-04-02 2013-07-31 清华大学 多视角立体辐射成像系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018188653A1 (zh) * 2017-04-14 2018-10-18 清华大学 检查方法和检查设备
CN108734183A (zh) * 2017-04-14 2018-11-02 清华大学 检查方法和检查设备

Also Published As

Publication number Publication date
EP2869094A1 (en) 2015-05-06
US20150117602A1 (en) 2015-04-30
US9763630B2 (en) 2017-09-19
EP2869094B1 (en) 2020-05-20
CN104567758A (zh) 2015-04-29
CN104567758B (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
WO2015062352A1 (zh) 立体成像系统及其方法
US10297050B2 (en) Methods for positioning a target in a three-dimensional CT image and CT systems for security inspection
CN103226114B (zh) 多视角立体辐射成像系统及方法
WO2008080281A1 (fr) Procédé et système d'imagerie radiologique pour balayage à double observation
CN101243331B (zh) 使用探测器响应函数的正电子发射断层扫描仪飞行时间列表模式重构
CN103900494B (zh) 用于双目视觉三维测量的同源点快速匹配方法
US8687861B2 (en) Image reconstructing method using X-ray volume photography
JP2005530153A (ja) 三次元座標を取得するための立体ｘ線撮像装置
US8670522B2 (en) Stereo X-ray inspection apparatus and method for forming three-dimensional image through volume reconstruction of image acquired from the same
US10068322B2 (en) Inspection system
JP6538811B2 (ja) 検査装置及びコンテナを検査する方法
CA3031397A1 (en) Inspection method for a manufactured article and system for performing same
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP4843544B2 (ja) ３次元画像補正方法及びその装置
CN104658034B (zh) Ct图像数据的融合绘制方法
CN107771058A (zh) 线性检测器阵列的间隙分辨率
CN103908278A (zh) 图像重建方法及装置、医疗成像系统
CN106443806B (zh) 辐射成像系统和图像处理方法
CN105261048B (zh) 一种小球中心锥束投影位置的精确定位方法
EP3112909B1 (en) Method for positioning target in three-dimensional ct image and security check ct system
KR102265248B1 (ko) 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법
Chiang et al. Active stereo vision system with rotated structured light patterns and two-step denoising process for improved spatial resolution
WO2016101829A1 (zh) 一种安检ct三维图像的操作方法和装置
JP2009237704A (ja) ３次元画像化方法およびｘ線断層像撮影装置
CN114004765A (zh) 一种安检设备中dr透视图像的畸变校正方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14859041

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14859041

Country of ref document: EP

Kind code of ref document: A1