JP2024529423A - 保安検査ｃｔ対象物認識方法及び装置 - Google Patents

保安検査ｃｔ対象物認識方法及び装置 Download PDF

Info

Publication number
JP2024529423A
JP2024529423A JP2024504228A JP2024504228A JP2024529423A JP 2024529423 A JP2024529423 A JP 2024529423A JP 2024504228 A JP2024504228 A JP 2024504228A JP 2024504228 A JP2024504228 A JP 2024504228A JP 2024529423 A JP2024529423 A JP 2024529423A
Authority
JP
Japan
Prior art keywords
dimensional
image
security inspection
semantic
views
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024504228A
Other languages
English (en)
Inventor
志▲強▼ ▲陳▼
▲麗▼ ▲張▼
▲運▼▲達▼ ▲孫▼
娟 ▲鄭▼
▲ル▼ 王
涛 ▲楊▼
▲棟▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of JP2024529423A publication Critical patent/JP2024529423A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明は、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を含む、保安検査ＣＴ対象物認識方法及び装置に関する。

Description

本発明は、保安検査ＣＴ分野に関し、特に、保安検査ＣＴ対象物認識方法及び装置に関する。
現在、保安検査分野において、ＣＴ装置は、例えば、禁制品などの対象物の認識に用いられることが多い。保安検査ＣＴ装置を利用して対象物認識を行う場合、従来技術は、主に、ＣＴ再構成技術を利用して物質属性情報を含む三次元断層画像を取得し、三次元画像を若干の容疑物に分割し、容疑物に対して物質属性の統計及び分類を行う。
しかしながら、上記のような従来技術によれば、爆発物、毒品などの物質属性上で強い区別性を有する禁制品の認識において良好な性能を有するものの、強い三次元形状特徴を有し且つ物質組成と物理的属性が比較的複雑である対象物の認識に対して明らかな制限性がある。
このような制限性を解決するために、特許文献１は、物体の三次元断層画像と二次元画像をそれぞれ認識し、前者により爆発物の認識結果を取得し、後者により他の禁制品の認識結果を得るＣＴ検出方法及び装置を提案している。
特許文献１：１０９９７５３３５Ａ
上記のように特許文献１では上記の制限性を改善しようとしているが、本発明の発明者が研究により、特許文献１には依然として以下の技術的課題が存在すること分った。
（１）検出過程における物体の進行方向（Ｚ方向）の直交方向のみに沿って投影すると、物体のいくつかの配置姿勢において、投影面積が小さすぎ、形状情報の表現が不完全であり、対象物を正確に認識することができない。また、このように投影すれば、当該物体が他の物体によって遮蔽される可能性もあり、この場合、当該物体の形状情報も失われ、対象物を正確に認識することができない。
（２）この方法では、爆発物を除く他の禁制品の認識において、三次元断層画像から得られる二次元投影画像を利用してもよいが、認識操作は二次元平面のみに限られ、三次元空間における認識結果が得られない。二次元画像の情報量が三次元データよりも著しく低いため、二次元認識結果を効果的に統合することができないと、保安検査ＣＴ装置の利点を十分に発揮することができない。
本願は、三次元形状対象物に対する認識効果を向上させることができる保安検査ＣＴ対象物認識方法及び装置を提供する。
本出願の第１態様は、保安検査ＣＴ対象物認識方法を提供し、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、
二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することと、を含む。
上記の保安検査ＣＴ対象物認識方法において、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することは、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することと、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することと、を含む。
上記の保安検査ＣＴ対象物認識方法において、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することは、ボクセル駆動または画素駆動により二次元セマンティック記述集合から三次元空間へのマッピングを行い、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することを含む。
上記の保安検査ＣＴ対象物認識方法において、ボクセル駆動は、三次元ＣＴデータにおける各ボクセルを各二次元ビューにおける画素に対応付け、画素に対応する二次元セマンティック記述情報を照会して累積し、セマンティック特徴行列を生成することを含み、画素駆動は、二次元ビューにおける各画素が三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素、又は二次元セマンティック記述集合によって与えられる関心領域の各画素をトラバースし、直線に沿って当該画素に対応する二次元セマンティック記述情報を三次元空間に伝播して、セマンティック特徴行列を生成することを含む。
上記の保安検査ＣＴ対象物認識方法において、ボクセル駆動又は画素駆動において、マッピング関数又はルックアップテーブルによりボクセルと画素との対応関係を取得する。
上記の保安検査ＣＴ対象物認識方法において、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することは、三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を取得し、三次元認識結果とすることを含む。
上記の保安検査ＣＴ対象物認識方法において、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することは、三次元確率マップを二値化し、三次元二値画像を取得することと、三次元二値画像に対して連通領域分析を行い、連通領域を取得することと、連通領域に対して三次元画像セマンティック記述集合を生成することと、を含む。
上記の保安検査ＣＴ対象物認識方法において、連通領域分析は、三次元二値画像に対して連通成分標識を行い、各標識領域に対してマスク操作を行い、連通領域を取得することを含む。
上記の保安検査ＣＴ対象物認識方法において、連通領域に対して三次元画像セマンティック記述集合を生成することは、連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、分析集合を物体有効ボクセル領域として、三次元画像セマンティック記述集合を統計することを含む。
上記の保安検査ＣＴ対象物認識方法において、三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、或いは、三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む。
上記の保安検査ＣＴ対象物認識方法において、位置情報は、三次元バウンディングボックスを含む。
上記の保安検査ＣＴ対象物認識方法において、二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、或いは、二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む。
上記の保安検査ＣＴ対象物認識方法において、複数の二次元ビューの各々に対して対象物認識を行うことは、二次元画像用の画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して対象物認識を行うことを含む。
上記の保安検査ＣＴ対象物認識方法において、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することは、三次元ＣＴデータに対して複数の方向を設定することと、複数の方向に従って投影又はレンダリングを行うことと、を含む。
上記の保安検査ＣＴ対象物認識方法において、複数の方向は任意の方向であり、検出過程における物体の進行方向の直交方向に限定されない。
上記の保安検査ＣＴ対象物認識方法において、複数の二次元ビューは、二次元ＤＲ画像をさらに含み、二次元ＤＲ画像は、ＤＲイメージング装置によって得られる。
上記の保安検査ＣＴ対象物認識方法において、三次元認識結果を二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する。
本出願の第２態様は、保安検査ＣＴ対象物認識装置を提供し、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する次元削減モジュールと、複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する二次元認識モジュールと、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する次元拡張モジュールと、を含む。
本出願の第３態様は、コンピュータ可読記憶媒体を提供し、コンピュータに、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得ことと、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することと、を実行させるプログラムが記憶される。
以上のように、本出願において、三次元ＣＴデータから次元削減を行うことによって複数の二次元次元削減ビューを生成し、これら複数の二次元次元削減ビューを含む複数の二次元ビューを利用して対象物認識を行い、二次元セマンティック記述集合を取得し、さらに二次元セマンティック記述集合に対して次元拡張を行って三次元認識結果を取得し、即ち、まず三次元から二次元に次元削減して認識した後に次元拡張して三次元結果を生成し、これにより、二次元に基づく認識により、物質組成及び物理的属性が比較的複雑で形状特徴を有する対象物を効果的に認識することができるとともに、二次元認識結果を効果的に統合し、情報量が豊富な三次元認識結果を提供することができる。したがって、対象物に対する認識効果を高めることができる。また、保安検査のリアルタイム性の要求も満たすことができる。
図１は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。 図２は、次元削減処理の具体例を示すフローチャートである。 図３は、次元拡張処理の具体例を示すフローチャートである。 図４は、三次元特徴抽出の具体例を示すフローチャートである。 図５は、第２実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。 図６は、第３実施形態に係る保安検査ＣＴ対象物認識装置の一例を示す模式図である。 図７は、第３実施形態に係る保安検査ＣＴ対象物認識装置の他の例を示す模式図である。
以下、添付図面を参照しながら本発明の例示的な実施形態または実施例について詳細に説明する。添付図面には、本発明の例示的な実施例が示されているが、本発明を様々な形態で実現することができ、ここで説明される実施形態又は実施例により制限されるべきではないことが理解されるべきである。逆には、これらの実施形態または実施例は、本発明を明確に理解するために提供される。
本出願の明細書及び特許請求の範囲における「第１」、「第２」等の用語は、特定の順序又は順次を記述するためのものではなく、類似する対象を区別するためのものである。理解できるように、このようにして使用されるデータは、ここで説明される本出願の実施形態または実施例が図示または記述された順序以外の順序で実施することができるように、適宜、交換することができる。また、「含む」及び「有する」という用語及びそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置が、明確に列挙されたステップ又はユニットに限定されず、明確に示されていない他のステップ又はユニットを含んでもよい。同一又は類似の符号は、同一又は類似の機能を有する構成要素を示す。
＜第１実施形態＞
本出願の第１実施形態として、保安検査ＣＴ対象物認識方法が提供される。図１は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。保安検査ＣＴ対象物認識方法は、保安検査ＣＴシステムに適用され、例えば、保安検査ＣＴ装置、又は、保安検査ＣＴ装置に接続されたサーバ等において実行されてもよい。
図１に示すように、Ｓ１０ステップでは、次元削減処理を行う。すなわち、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する。
具体的には、図２に示すように、Ｓ１０ステップは、Ｓ１１ステップ及びＳ１２ステップを含んでもよい。
Ｓ１１ステップでは、三次元ＣＴデータに対して複数の方向を設定する。ここで、複数の方向は、検出過程における物体の進行方向の直交方向という特定の方向に限らず、任意の方向である。
また、複数の方向を設定すると同時に、又は複数の方向を設定する前後で、選択的には、例えば、無効ボクセルのフィルタリング、投影又はレンダリングに必要な幾何パラメータの予め計算という一定の三次元ボリュームデータの前処理操作を行うことができ、これにより、後続の処理速度を向上させることができる。
Ｓ１２において、複数の方向に従って投影又はレンダリングを行い、複数の二次元次元削減ビューを取得する。
一例として、ＣＴ画像スライスシーケンスに基づいて放射線又は光線を投射し、画像の各画素から特定の方向に沿って１本の放射線又は光線を発射し、放射線又は光線が画像シーケンス全体を横断し、この過程において、画像シーケンスをサンプリングして属性又は色情報を取得し、同時に、放射線又は光線が画像シーケンス全体を横断するまでに、一定のモデルに基づいて属性又は色値を累積し、最後に得られた属性又は色値を次元削減後の二次元ビューとすることができる。
本出願において、任意の方向に従って投影することにより二次元次元削減ビューを取得することで、特定の方向のみに沿って次元削減を行うことを回避することができ、例えば、検出過程における物体の進行方向の直交方向に沿って次元削減を行うことを回避することができ、これにより、（１）物体のいくつかの配置姿勢において、物体が次元削減された後の面積が小さすぎて、形状情報の表現が不完全であることにより、正確に認識することができず、（２）当該物体が他の物体によって遮られることにより当該物体の形状情報が失われ、対象物を正確に認識することができないという特定の方向のみに沿って次元削減を行う場合に存在する問題を解決することができる。
Ｓ２０ステップでは、二次元認識処理を行う。即ち、複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、複数の二次元ビューは、上述したＳ１０のステップで得られた複数の二次元次元削減ビューを含む。
具体的には、二次元ビューの対象物認識方法として、二次元画像に用いられる画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用することができる。
例えば、二次元ビューを入力としてニューラルネットワークモデルに入力し、出力として二次元セマンティック記述集合を取得する。
具体的には、ディープラーニングに基づく目標検出ニューラルネットワークを用いて対象物の二次元位置検出を行うことができる。目標検出タスクで使用される畳み込みニューラルネットワークは、コンピュータビジョンタスクにおけるディープラーニングの典型的な構造であり、このような畳み込みニューラルネットワークは、ローカル接続、重み共有、および空間上のリサンプリングなどの特性を有する。これらの特性により、畳み込みニューラルネットワークはある程度の並進スケーリングの不変性を有する。ここで、二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、又は、前記二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む。ここで、カテゴリ情報は、対象物が属するカテゴリ、例えば、銃、ナイフなどを示す。位置情報は、中心座標、バウンディングボックス等を含んでよい。信頼度は、対象物が存在する可能性の大きさを表し、正規化されたスカラーまたはベクトルであってもよい。
言い換えれば、二次元セマンティック記述集合は、ある画素が対象物に属するカテゴリ情報、信頼度など；ある関心領域に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度など；ある二次元画像に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度などのうちの少なくとも１つの情報を含む。ここで、少なくとも１つの情報は、１組に含まれる情報であってもよいし、異なる組にそれぞれ含まれる情報であってもよい。
また、二次元セマンティック情報の記述集合は、カテゴリ情報、信頼度、位置情報のほか、対象物の姿勢、対象物の数などの他のセマンティック情報を含んでもよい。
本出願の二次元ビューの対象物認識方法は、二次元ビューに基づいて上述の二次元セマンティック記述集合を取得できる方法であれば、特に限定されない。
以上のように、本出願において、二次元セマンティック記述集合の方式で対象物の二次元認識結果を表し、このような二次元セマンティック記述集合が入力としてＳ３０ステップに入力され、三次元に次元拡張され、これにより、二次元認識結果を三次元に統合することができる。また、二次元セマンティック記述集合の方式が柔軟であるため、含まれる情報を豊かにすることができる。
Ｓ３０ステップでは、次元拡張処理を行う。即ち、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する。
具体的には、図３に示すように、Ｓ３０ステップは、Ｓ３１ステップ及びＳ３２ステップを含んでもよい。
Ｓ３１ステップにおいて、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得する。逆投影は、投影の逆過程と考えることができる。
選択的に、逆投影プロセスは、ボクセル駆動または画素駆動などの方式で実現されてもよい。具体的には、ボクセル駆動又は画素駆動により、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することができる。
ここで、ボクセル駆動は、三次元ＣＴデータにおける各ボクセルを各二次元ビューにおける画素に対応付け、画素に対応する二次元セマンティック記述情報を照会して累積し、セマンティック特徴行列を生成することを含む。
ボクセルから画素への対応関係は、マッピング関数又はルックアップテーブルを構築して計算速度を向上させることができる。
上記のように、ボクセル駆動に従って、三次元ＣＴデータにおける各ボクセルをトラバースし、そのセマンティック特徴行列を順次取得し、最後にセマンティック特徴行列を圧縮して三次元確率マップを取得する。
ボクセル駆動は、ボクセル毎に並列演算することができ、これにより、演算速度が速く、保安検査のリアルタイム性を高めることができる。
画素駆動は、二次元ビューにおける各画素が三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素又は関心領域の各画素をトラバースし、直線に沿って三次元空間に当該画素に対応する二次元セマンティック記述情報を伝播し、セマンティック特徴行列を生成することを含み、ここで、関心領域は二次元セマンティック記述集合によって与えられる。ここで、マッピング関数又はルックアップテーブルによりボクセルと画素との対応関係を取得してもよい。
以上のように、画素駆動に従って、複数の二次元ビューにおける各画素について、そのセマンティック特徴行列を順次に取得し、最後にセマンティック特徴行列を圧縮して三次元確率マップを取得する。
画素駆動は、画素毎に並列演算を行うこともでき、演算速度を向上させ、保安検査のリアルタイム性を向上させること寄与する。
上記のようなボクセル駆動及び画素駆動についての説明から分かるように、セマンティック特徴行列は、二次元セマンティック記述情報からその空間的対応関係に基づいて生成されたものであり、二次元セマンティック記述情報に基づいてデジタル化及び集約化を行って得られた行列である。例えば、二次元セマンティック記述集合におけるカテゴリ情報に対して、各対象物のカテゴリ毎に、それぞれセマンティック特徴行列を取得することができる。例えば、当該カテゴリに属する場合にセマンティック特徴行列における対応する数値が１であり、当該カテゴリに属さない場合にセマンティック特徴行列における対応する数値が０であると仮定することができる。また、二次元セマンティック記述集合における他のセマンティック情報についても類似方式によってセマンティック特徴行列を取得することもできる。
セマンティック特徴行列を圧縮する典型的な方法としては、加重平均、主成分分析などがある。この場合、入力はセマンティック特徴行列であり、出力は確率マップである。
一例として、２つの二次元ビューがあると仮定すれば、２つの二次元セマンティック記述集合があり、そのうち、ある画素（又は関心領域又は二次元画像）におけるセマンティック情報を数値で表示すれば１又は０であり、逆投影法を用いて三次元空間にマッピングし、対応する三次元空間のセマンティック特徴行列を生成することができ、この行列における値は０又は１からなるベクトルであり、加重平均方法を用いて、対応する三次元空間におけるボクセルの確率マップ値を算出することができ、例えば、あるボクセルのセマンティック特徴行列値はｖ＝［０、１］であり、重みが同じである場合、該ボクセルの確率マップ値は０．５である。全ての対象物カテゴリに対応するセマンティック特徴行列を圧縮する場合、出力される確率マップ値の次元は、対象物カテゴリの数量によって決定される。ここで説明した確率マップ値を取得する方式は一例であり、他の方式で確率マップ値を取得してもよい。例えば、重みが異なってもよく、セマンティック特徴行列値に対して異なる重みで重み付けを行って確率マップ値を得ることができる。
別の例として、三次元セマンティック特徴行列における１つ又は複数のベクトルを主成分分析における入力変数とし、このような入力変数に対して主成分分析を行い、主成分としての出力変数を取得し、該出力変数を正規化してボクセルに対応する確率マップ値としてもよい。
上記のような演算方法を用いることにより、演算のリアルタイム性を保証するだけでなく、二次元認識結果を効果的に統合し、最終的な認識効果を向上させることができる。
Ｓ３２ステップにおいて、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得する。
具体的には、三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を前記三次元認識結果として取得する。
一例として、三次元確率マップを入力としてディープラーニングモデルに入力し、出力として信頼度と三次元バウンディングボックスなどの三次元認識結果を取得する。ここで使用されるディープラーニングモデルは、層数が少ない分類ニューラルネットワーク又は目標検出ネットワーク等の技術を採用することができる。このような技術を採用することにより、元の三次元ＣＴデータに含まれる情報量は、上記のステップによって処理された後に、効果的に簡潔化および抽象化され、禁制品の認識の最終目標により近く、簡単な特徴抽出方法を応用すれば、三次元セマンティック記述集合を迅速かつ正確に抽出することができる。
ここで、三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、又は、三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む。三次元ＣＴ画像における対象物の位置情報は、三次元バウンディングボックスを含んでよい。
言い換えれば、三次元画像セマンティック記述集合は、あるボクセルが対象物に属するカテゴリ情報、信頼度など；ある三次元関心領域（ＶＯＩ）に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度など；ある三次元ＣＴ画像に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度などのうちの少なくとも１つの情報を含む。ここで、少なくとも１つの情報は、１組に含まれる情報であってもよいし、異なる組にそれぞれ含まれる情報であってもよい。
三次元画像セマンティック記述集合は、二次元セマンティック記述集合に基づいて生成された三次元確率マップから生成されるため、三次元画像セマンティック記述集合に含まれるセマンティック情報の種類及び二次元セマンティック記述集合に含まれるセマンティック情報の種類は一致性又は相互変換性を有する。
本出願において、上記の次元拡張処理により、二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得し、これにより、次元削減だけで二次元認識を行う場合に情報量が著しく低下する問題を解決し、二次元認識を採用すると同時に、情報量の損失を減少させ、保安検査のリアルタイム性と正確性を両立させることができる。
Ｓ３２ステップの別の例として、例えば、画像処理方法を採用してもよく、図４に示すように、Ｓ３２ステップは、Ｓ３２１－Ｓ３２３ステップを含んでもよい。
Ｓ３２１ステップでは、三次元確率マップを二値化し、三次元二値画像を取得する。
Ｓ３２２ステップでは、三次元二値画像に対して連通領域分析を行い、連通領域を取得する。
一例として、三次元二値画像に対して連通成分標識を行い、標識領域毎にマスク操作を行い、連通領域を取得することができる。
Ｓ３２３ステップでは、連通領域に対して三次元画像セマンティック記述集合を生成する。
この場合、三次元画像セマンティック記述集合は三次元バウンディングボックスを含んでもよく、三次元バウンディングボックスを含むことで、三次元画像における対象物の空間境界を与えることができ、対象物の位置、範囲、姿勢、形状などをより直観的に示すことができ、保安検査員が対象物が危険物であるか否かを判断する正確度に有利である。
一例として、連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、分析集合を物体有効ボクセル領域とすることができる。有効ボクセル領域に対して三次元画像セマンティック記述集合を統計する。これにより、三次元認識の正確度をさらに高めることができる。
第１実施形態において、三次元ＣＴデータから次元削減を行うことによって複数の二次元次元削減ビューを生成し、これら複数の二次元次元削減ビューを含む複数の二次元ビューを用いて対象物認識を行い、二次元セマンティック記述集合を取得し、さらに二次元セマンティック記述集合に対して次元拡張を行うことによって三次元認識結果を取得し、すなわち、三次元から二次元に次元削減して認識した後に、さらに次元拡張して三次元結果を生成し、これにより、二次元に基づく認識によって、物質組成と物理属性が比較的複雑で形状特徴を有する対象物を効果的に認識することができるとともに、二次元認識結果を効果的に統合し、情報量が豊富な三次元認識結果を提供することができる。したがって、対象物に対する認識効果を高めることができ、また、保安検査のリアルタイム性の要求も満たすことができる。
＜第２実施形態＞
本出願の第２実施形態として、別の保安検査ＣＴ対象物認識方法を提供する。図５は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。
第２実施形態と第１実施形態との違いは、第２実施形態では、三次元ＣＴデータから次元削減して生成された二次元次元削減画像だけでなく、二次元ＤＲデータも利用して対象物認識を行う点である。
具体的には、Ｓ２０ステップにおいて、複数の二次元ビューは、二次元ＤＲ画像をさらに含み、当該二次元ＤＲ画像に対しても対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、この二次元ＤＲ画像は、保安検査ＣＴ機器とは別体に配置されたＤＲイメージング装置によって得られる。この二次元ＤＲ画像は、三次元ＣＴデータと同じ保安検査対象に対する画像である。
第２実施形態では、図５に示すように、Ｓ２０ステップの前に、Ｓ４０ステップをさらに有していてもよい。Ｓ４０ステップでは、ＤＲイメージング装置から二次元ＤＲ画像を取得し、それを複数の二次元ビューの１つとする。このＳ４０ステップは、Ｓ１０ステップと並行して行われてもよい。
この場合、Ｓ３０ステップにおいて、二次元次元削減画像の二次元セマンティック記述集合に対して次元拡張を行うだけでなく、二次元ＤＲ画像の二次元セマンティック記述集合に対しても次元拡張を行い、これにより、三次元認識結果を取得する。
二次元ＤＲ画像は、原理および性質が三次元ＣＴデータを次元削減して生成した二次元次元削減画像と異なる二次元画像であり、このような二次元ＤＲ画像も対象物認識に用いることで、認識に用いる情報量を増やすことができ、これにより、認識の正確度を高めることができる。
第２実施形態では、図５に示すように、Ｓ３０ステップの後、選択的には、Ｓ５０ステップをさらに有してもよい。Ｓ５０ステップでは、Ｓ３０ステップで生成された三次元認識結果を二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する。
作業習慣及びニーズにより、一部の保安検査員は、二次元ＤＲ画像で認識結果を確認したいが、二次元ＤＲ画像の認識結果を直接使用すると、ＤＲ画像において対象物が深刻に遮蔽され、又は特殊な配置姿勢が存在する場合、対象物の情報が不完全で認識精度に影響を与え、これに対し、三次元認識結果が幾つかの二次元ビューのセマンティック情報を効果的に統合することで、より正確で信頼でき、そのため、三次元認識結果を二次元ＤＲ画像に投影して認識結果として出力することにより、保安検査員が二次元ＤＲ画像によって認識結果を確認する作業ニーズを満たすとともに、認識結果の正確性も向上させることができる。
なお、Ｓ３０ステップの結果とＳ５０ステップの結果とを同時に出力してもよい。
この場合、三次元認識結果と二次元ＤＲ画像における認識結果に対して互いに照合及び検証を行うことにより、保安検査員が対象物が危険物であるか否かをより正確に判断することに有利である。
＜第３実施形態＞
本出願の第３実施形態として、保安検査ＣＴ対象物認識装置が提供される。図６は、第１実施形態に係る保安検査ＣＴ対象物認識装置を示す模式図である。
図６に示すように、本実施形態に係る保安検査ＣＴ対象物認識装置１００は、次元削減モジュール１０と、二次元認識モジュール２０と、次元拡張モジュール３０とを含む。
次元削減モジュール１０は、三次元ＣＴデータを次元削減して複数の二次元次元削減ビューを生成する。すなわち、上記第１、第２実施形態におけるＳ１０ステップの処理を実行することができる。
二次元認識モジュール２０は、複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、複数の二次元ビューは、前記複数の二次元次元削減ビューを含む。すなわち、上記第１、第２実施形態におけるＳ２０ステップの処理を実行することができる。
次元拡張モジュール３０は、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する。すなわち、上記第１、第２実施形態におけるＳ３０ステップの処理を実行することができる。
次元削減モジュール１０、二次元認識モジュール２０、次元拡張モジュール３０の具体的な処理は、上述した第１、第２実施形態を参照することができるため、ここでは繰り返さない。
また、図７に示すように、保安検査ＣＴ対象物認識装置１００は、ＤＲイメージング装置から二次元ＤＲ画像を取得し、複数の二次元ビューの１つとするＤＲ画像取得モジュール４０をさらに含んでもよい。すなわち、ＤＲ画像取得モジュール４０は、第２実施形態におけるＳ４０ステップの処理を実行することができる。
保安検査ＣＴ対象物認識装置１００は、次元拡張モジュール３０によって生成された三次元認識結果を二次元ＤＲ画像に投影し、二次元ＤＲ画像の認識結果として出力するＤＲ出力モジュール５０をさらに含んでもよい。すなわち、ＤＲ出力モジュール５０は、第２実施形態におけるＳ５０ステップの処理を実行することができる。
本出願において、保安検査ＣＴ対象物認識装置１００は、ハードウェアで実現されてもよく、又は１つ又は複数のプロセッサで実行されるソフトウェアモジュールで実現されてもよく、又はそれらの組み合わせで実現されてもよい。
例えば、保安検査ＣＴ対象物認識装置１００は、プロセッサが設けられたデスクトップコンピュータ、タブレットコンピュータ、スマートフォン、サーバ等の任意の適切な電子機器によって、ソフトウェアハードウェアの組み合わせの形態で実現されてもよい。例えば、保安検査ＣＴ対象物認識装置１００は、保安検査ＣＴシステムの制御用コンピュータ、又は、保安検査ＣＴシステムにおいて保安検査ＣＴスキャンデバイスに接続されるサーバ等であってもよい。
また、保安検査ＣＴ対象物認識装置１００は、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、サーバ等の任意の適切な電子機器におけるソフトウェアモジュールの形態で実現されてもよい。例えば、保安検査ＣＴシステムの制御用コンピュータにインストールされたソフトウェアモジュール、又は、保安検査ＣＴシステムにおける保安検査ＣＴスキャンデバイスに接続されたサーバにインストールされたソフトウェアモジュールであってもよい。
保安検査ＣＴ対象物認識装置１００のプロセッサは、後述する保安検査ＣＴ対象物認識方法を実行することができる。
保安検査ＣＴ対象物認識装置１００は、メモリ（図示せず）及び通信モジュール（図示せず）などをさらに含んでもよい。
保安検査ＣＴ対象物認識装置１００のメモリは、後述する保安検査ＣＴ対象物認識方法を実行するステップと、保安検査ＣＴ対象物認識を行うためのデータ等を記憶してもよい。メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ｉｍａｇｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であってもよい。メモリは、上記の保安検査ＣＴ対象物認識方法における任意のステップを実行するためプログラムコードの記憶空間を有する。これらのプログラムコードがプロセッサによって読み取られて実行されると、上記の保安検査ＣＴ対象物認識方法が実行される。これらのプログラムコードは、１つ又は複数のコンピュータプログラム製品から読み出され、または１つ又は複数のコンピュータプログラム製品に書き込まれてもよい。これらのコンピュータプログラム製品は、例えばハードディスク、コンパクトディスク（ＣＤ）、メモリカード、フレキシブルディスクなどのプログラムコードキャリアを含む。このようなコンピュータプログラム製品は、通常、携帯型又は固定的な記憶ユニットである。上記方法における任意のステップを実行するためのプログラムコードは、ネットワークを介してダウンロードされてもよい。プログラムコードは、例えば、適宜の形式で圧縮されてもよい。
保安検査ＣＴ対象物認識装置１００における通信モジュールは、保安検査ＣＴ対象物認識装置１００と外部電子装置との間に直接（例えば、有線）通信チャネル又は無線通信チャネルを確立し、確立された通信チャネルを介して通信を実行することをサポートすることができる。例えば、通信モジュールは、ネットワークを介してＣＴスキャナ装置から三次元ＣＴデータ等を受信する。
また、保安検査ＣＴ対象物認識装置１００は、対象物認識結果を出力するように、ディスプレイ、マイク、スピーカなどの出力部をさらに含んでもよい。
上述した保安検査ＣＴ対象物認識装置１００により、上記第１、第２実施形態と同様の効果を取得することができる。
以上、図面を参照して本発明の実施形態及び具体的な実施例を説明したが、当業者は、本発明の精神及び範囲から逸脱することなく、様々な修正及び変形を行うことができ、このような修正及び変形は、いずれも上記特許請求の範囲によって規定される範囲内に含まれる。
１００ 保安検査ＣＴ対象物認識装置
１０ 次元削減モジュール
２０ 二次元認識モジュール
３０ 次元拡張モジュール
４０ ＤＲ画像取得モジュール
５０ ＤＲ出力モジュール

Claims (19)

  1. 保安検査ＣＴ対象物認識方法であって、
    三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
    前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、
    前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を含む
    ことを特徴とする保安検査ＣＴ対象物認識方法。
  2. 前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することは、
    逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することと、
    前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することと、を含む
    ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。
  3. 逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することは、
    ボクセル駆動または画素駆動により二次元セマンティック記述集合から三次元空間へのマッピングを行い、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することを含む
    ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。
  4. 前記ボクセル駆動は、
    前記三次元ＣＴデータにおける各ボクセルを各前記二次元ビューにおける画素に対応付け、前記画素に対応する二次元セマンティック記述情報を照会して累積し、前記セマンティック特徴行列を生成することを含み、
    前記画素駆動は、
    前記二次元ビューにおける各画素が前記三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素、又は前記二次元セマンティック記述集合によって与えられる関心領域の各画素をトラバースし、直線に沿って当該画素に対応する二次元セマンティック記述情報を三次元空間に伝播して、前記セマンティック特徴行列を生成することを含む
    ことを特徴とする請求項３に記載の保安検査ＣＴ対象物認識方法。
  5. 前記ボクセル駆動又は前記画素駆動において、マッピング関数又はルックアップテーブルにより前記ボクセルと前記画素との対応関係を取得する
    ことを特徴とする請求項４に記載の保安検査ＣＴ対象物認識方法。
  6. 前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
    前記三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を取得し、前記三次元認識結果とすることを含む
    ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。
  7. 前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
    三次元確率マップを二値化し、三次元二値画像を取得することと、
    三次元二値画像に対して連通領域分析を行い、連通領域を取得することと、
    前記連通領域に対して三次元画像セマンティック記述集合を生成することと、を含む
    ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。
  8. 前記連通領域分析は、
    前記三次元二値画像に対して連通成分標識を行い、各標識領域に対してマスク操作を行い、前記連通領域を取得することを含む
    ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。
  9. 前記連通領域に対して三次元画像セマンティック記述集合を生成することは、
    前記連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、前記分析集合を前記物体有効ボクセル領域として、三次元画像セマンティック記述集合を統計することを含む
    ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。
  10. 前記三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
    或いは、前記三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む
    ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。
  11. 前記位置情報は、三次元バウンディングボックスを含む
    ことを特徴とする請求項１０に記載の保安検査ＣＴ対象物認識方法。
  12. 前記二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
    或いは、前記二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む
    ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。
  13. 前記複数の二次元ビューの各々に対して対象物認識を行うことは、
    二次元画像用の画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して対象物認識を行うことを含む
    ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。
  14. 三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することは、
    前記三次元ＣＴデータに対して複数の方向を設定することと、
    前記複数の方向に従って投影又はレンダリングを行うことと、を含む
    ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。
  15. 前記複数の方向は任意の方向であり、検出過程における物体の進行方向の直交方向に限定されない
    ことを特徴とする請求項１４に記載の保安検査ＣＴ対象物認識方法。
  16. 前記複数の二次元ビューは、二次元ＤＲ画像をさらに含み、
    前記二次元ＤＲ画像は、ＤＲイメージング装置によって得られる
    ことを特徴とする請求項１から１５のいずれか一項に記載の保安検査ＣＴ対象物認識方法。
  17. 前記三次元認識結果を前記二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する
    ことを特徴とする請求項１６に記載の保安検査ＣＴ対象物認識方法。
  18. 保安検査ＣＴ対象物認識装置であって、
    三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する次元削減モジュールと、
    前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する二次元認識モジュールと、
    前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得する次元拡張モジュールと、を含む
    ことを特徴とする保安検査ＣＴ対象物認識装置。
  19. コンピュータに、
    三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
    前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得ことと、
    前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を実行させるプログラムが記憶される
    コンピュータ可読記憶媒体。
JP2024504228A 2021-08-27 2022-07-08 保安検査ｃｔ対象物認識方法及び装置 Pending JP2024529423A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110998653.3A CN113792623B (zh) 2021-08-27 2021-08-27 安检ct目标物识别方法和装置
CN202110998653.3 2021-08-27
PCT/CN2022/104606 WO2023024726A1 (zh) 2021-08-27 2022-07-08 安检ct目标物识别方法和装置

Publications (1)

Publication Number Publication Date
JP2024529423A true JP2024529423A (ja) 2024-08-06

Family

ID=79182374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024504228A Pending JP2024529423A (ja) 2021-08-27 2022-07-08 保安検査ｃｔ対象物認識方法及び装置

Country Status (6)

Country Link
US (1) US20240212336A1 (ja)
EP (1) EP4394696A1 (ja)
JP (1) JP2024529423A (ja)
KR (1) KR20240025683A (ja)
CN (2) CN115661810A (ja)
WO (1) WO2023024726A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168387A (zh) * 2021-08-09 2023-05-26 牧今科技 用于物体检测的系统和方法
CN115661810A (zh) * 2021-08-27 2023-01-31 同方威视技术股份有限公司 安检ct目标物识别方法和装置
CN116453063B (zh) * 2023-06-12 2023-09-05 中广核贝谷科技有限公司 基于dr图像与投影图融合的目标检测识别方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901489B (zh) * 2012-12-27 2017-07-21 清华大学 检查物体的方法、显示方法和设备
CN104658028B (zh) * 2013-11-18 2019-01-22 清华大学 在三维图像中快速标记目标物的方法和装置
WO2017066248A1 (en) * 2015-10-16 2017-04-20 Varian Medical Systems, Inc. Iterative image reconstruction in image-guided radiation therapy
JP7005622B2 (ja) * 2017-07-12 2022-01-21 株式会社ソニー・インタラクティブエンタテインメント 認識処理装置、認識処理方法及びプログラム
CN109166183B (zh) * 2018-07-16 2023-04-07 中南大学 一种解剖标志点识别方法及识别设备
CN111126242B (zh) * 2018-10-16 2023-03-21 腾讯科技（深圳）有限公司 肺部图像的语义分割方法、装置、设备及存储介质
CN109493417B (zh) * 2018-10-31 2023-04-07 深圳大学 三维物体重建方法、装置、设备和存储介质
CN109975335B (zh) 2019-03-07 2024-01-12 北京航星机器制造有限公司 一种ct检测方法及装置
CN112444784B (zh) * 2019-08-29 2023-11-28 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
CN111652966B (zh) * 2020-05-11 2021-06-04 北京航空航天大学 一种基于无人机多视角的三维重建方法及装置
CN111968240B (zh) * 2020-09-04 2022-02-25 中国科学院自动化研究所 基于主动学习的摄影测量网格的三维语义标注方法
CN112598619A (zh) * 2020-11-23 2021-04-02 西安科锐盛创新科技有限公司 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法
CN115661810A (zh) * 2021-08-27 2023-01-31 同方威视技术股份有限公司 安检ct目标物识别方法和装置

Also Published As

Publication number Publication date
US20240212336A1 (en) 2024-06-27
EP4394696A1 (en) 2024-07-03
KR20240025683A (ko) 2024-02-27
CN113792623A (zh) 2021-12-14
CN115661810A (zh) 2023-01-31
WO2023024726A1 (zh) 2023-03-02
CN113792623B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
Lin et al. Line segment extraction for large scale unorganized point clouds
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
JP2024529423A (ja) 保安検査ｃｔ対象物認識方法及び装置
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
US20160027208A1 (en) Image analysis method
US20170308736A1 (en) Three dimensional object recognition
Cheng et al. Fabric defect detection based on separate convolutional UNet
JP2012226745A (ja) 奥行き画像内の物体を検出する方法およびシステム
CN112927353A (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN108830319B (zh) 一种图像分类方法和装置
US11816857B2 (en) Methods and apparatus for generating point cloud histograms
CN112819796A (zh) 烟丝异物识别方法及设备
CN113592807A (zh) 一种训练方法、图像质量确定方法及装置、电子设备
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
CN112669300A (zh) 瑕疵检测方法及装置、计算机设备和存储介质
Zhao et al. Region-based saliency estimation for 3D shape analysis and understanding
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
Bolten et al. Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams.
Chagnon-Forget et al. Enhanced visual-attention model for perceptually improved 3D object modeling in virtual environments
JP2021189718A (ja) 画像からぶどう粒を検出する情報処理装置、プログラム、システム、及び方法
CN117058472B (zh) 基于自注意力机制的3d目标检测方法、装置、设备
TWI779696B (zh) 視角影像的生成系統與生成方法
Pan et al. Accuracy improvement of deep learning 3D point cloud instance segmentation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240123