JP6338674B2 - 貨物を自動で分類認識する透視検査システム及び方法 - Google Patents
貨物を自動で分類認識する透視検査システム及び方法 Download PDFInfo
- Publication number
- JP6338674B2 JP6338674B2 JP2016543181A JP2016543181A JP6338674B2 JP 6338674 B2 JP6338674 B2 JP 6338674B2 JP 2016543181 A JP2016543181 A JP 2016543181A JP 2016543181 A JP2016543181 A JP 2016543181A JP 6338674 B2 JP6338674 B2 JP 6338674B2
- Authority
- JP
- Japan
- Prior art keywords
- cargo
- sub
- image
- features
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007689 inspection Methods 0.000 title claims description 50
- 238000000034 method Methods 0.000 title claims description 50
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims 1
- 239000000047 product Substances 0.000 description 20
- 239000013598 vector Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 239000003981 vehicle Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 241000208125 Nicotiana Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000003746 feather Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000010437 gem Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 239000005416 organic matter Substances 0.000 description 2
- 239000010970 precious metal Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 229920001131 Pulp (paper) Polymers 0.000 description 1
- 239000010775 animal oil Substances 0.000 description 1
- 239000012164 animal wax Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000010425 asbestos Substances 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003610 charcoal Substances 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 239000010984 cultured pearl Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000007857 degradation product Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000019441 ethanol Nutrition 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- -1 inorganic matter Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011050 natural pearl Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 239000010893 paper waste Substances 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 229910052895 riebeckite Inorganic materials 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 235000015112 vegetable and seed oil Nutrition 0.000 description 1
- 239000008158 vegetable oil Substances 0.000 description 1
- 239000012178 vegetable wax Substances 0.000 description 1
- 235000021419 vinegar Nutrition 0.000 description 1
- 239000000052 vinegar Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30112—Baggage; Luggage; Suitcase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Geophysics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Description
本発明は、放射透視によりコンテナをイメージングする安全検査システムに関し、具体的には、コンテナの大量貨物の自動分析及びインテリジェント検査方法、コンテナの大量貨物の自動分類及び認識方法、大量貨物の走査画像の語義分割及び分類に関し、且つ、コンテナの不法密輸貨物分析、貨物数推定、税額算出等のインテリジェント検査方法に関する。
インテリジェント検査は、コンテナセキュリティチェック分野では避けられない発展傾向にある。貨物自動分類認識は、インテリジェント検査の重要なコア内容である。現在では、エネルギスペクトル分析に基づく材料認識技術は、Ｘ線二重エネルギ材料認識技術と、中性子-Ｘ線技術とがある。二重エネルギ技術は、有機物、無機物、混合物及び重金属という４つの種別しか認識できず、認識の種別が少ない。中性子-Ｘ線技術は、多くの種別を認識することができるが、中性子発生装置は非常に高価であり、中性子の放射線は保護が困難であり、有機物に対する透過力が弱い。これらの欠陥に起因して、中性子-Ｘ線技術をコンテナ貨物のセキュリティチェックに適用することは、困難である。
走査画像の画像分析に基づく貨物自動分類認識技術の研究は、長年にわたって進行が緩慢であり、アルゴリズム機能がまだユーザの実際のニーズを満足することができない。この問題を招来する理由は、下記の通りである。一方、貨物は多様かつ複雑であり、有効な分類のための有効な特徴及び規律を見つけることは困難である。他方、走査機器が分散し、各税関が走査画像を秘密にすることから、分類器を教習するために全面的な画像データを取得することは、困難である。また、大量データ分析に基づく画像分類認識は、アルゴリズム及び算出ハードウェアに対する要求が高くて、研究へ一定の困難をもたらす。
現在では、貨物の分類認識の研究が必要且つ実現可能である。一方、インテリジェント検査中に存在する問題は、業界や学術分野でも認識されている。例えば、欧州連合は、ＦＰ７計画にＸｔＲＡＹｎｅｒプロジェクトを作成しており、それは、クロスマニファクチャー（ｃｒｏｓｓ−ｍａｎｕｆａｃｔｕｒｅ）のインテリジェント検査プラットフォームである。その主な目的は、データを収集し、注釈を付け、且つ、基本的なアルゴリズムの研究を計画することにある。他方、画像理解及びパターン認識が近年来で急速に発展し、大量データの分類認識に適した先端的なアルゴリズム、例えば、条件付き確率場、ディープラーニング理論がだんだん完璧になっていることから、コンテナ走査画像の自動分類及び認識は可能になっている。
上記の観点から、貨物を自動で分類認識可能な透視検査システム及び方法を提供することは、望まれている。
本発明の１態様によれば、貨物を自動で分類認識する透視検査システムを提供する。前記システムは、Ｘ線走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、前記サブ領域から特徴を抽出するための特徴抽出手段と、注釈付きの画像に基づいて分類器を生成するための教習手段と、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備える。
本発明に係る、貨物を自動で分類認識する透視検査システムによれば、コンテナ走査画像を分析し、特徴類似性に基づいて画像をいくつかの部分に割り当て、かつ、各部分の対応する貨物がどの種別の貨物に属するかを分析することができる。ここで、抽出された特徴を用いて走査画像における各サブ領域が各種別の貨物に属する確率を判断し、それから、サブ領域を融合してマクロ領域の種別を取得するというポリシーは、貨物全体認識の効率及び正確性を向上させ、且つ、本発明の実施例に記載の構成を用いることで、貨物認識量の累積に従って、貨物認識の効率及び正確性をさらに向上することができる。本発明によれば、種別情報に基づいて税関申告書と対比することで、不法密輸を発見することができ、貨物の種別及び画像中の面積に基づいて、貨物数を推定することができ、推定された貨物数と税関申告書とを対比することで、貨物数を隠す密輸状況を発見することができ、さらに、貨物数に基づいて、自動で税率に従って税額推定を行うことができる。
好ましくは、前記分類認識手段は、さらに、サブ領域を融合してマクロ領域及びその種別を取得する。
好ましくは、前記システムは、検査端末をさらに備え、前記分類認識手段は、さらに、各種別の貨物の数を推定し、その結果を検査端末に伝達する。これによって、検査者は、前記結果に応じて画像をさらに分析することができ、かつ、税関申告書と対比することで、貨物の種別、数、税額が正確であるか否かをチェックすることができる。
好ましくは、貨物の分類認識は、教習段階と認識段階とを含む。
教習段階では、コンテナ貨物の走査画像が大量必要とされ、オーダが１０万幅以上とされる。好ましくは、教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割する必要があり、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、これらのサブ領域をスーパ画素(Ｓｕｐｅｒｐｉｘｅｌ)と呼び、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、すなわち、各サブ領域がどの種別の貨物に属するかについて明確に注釈を付ける必要があり、種別が同じ且つ隣接或いは連通するサブ領域を直接にマクロ領域に融合し、それをクラスタ(Ｃｌｕｓｔｅｒ)と称し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。ここで、認識段階で認識することができる種別の数は、注釈付け段階で貨物が分類される種別の数によって異なる。走査画像の透過性及び投影性のため、実物の表面輪廓の特徴が全て失われて、認識に大きな困難をもたらす。分類される種別が多すぎると、正確率を低減させてしまう。分類結果がより実用価値を有するために、発明者は、『中華人民共和国税関輸出入商品規范申告目録』等の相関規定に従って、貨物を２２類別に分類する。
特徴抽出の方法としては、ＳＩＦＴ(Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ)、ＭＲ８(Ｍａｘｉｍｕｍ Ｒｅｓｐｏｎｓｅ Ｓｅｔｓ)等の演算子を用いて複数の特徴を取得し、それから、特徴融合(Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ)または決定融合(Ｄｅｃｉｓｉｏｎ Ｆｕｓｉｏｎ)の方法を用いて複数の特徴を融合して、キー特徴を取得しても良い。
教習段階では、各画像における各サブ領域(スーパ画素)は、多くの特徴を含む。これによって、教習画像データベースは、大量の特徴データベースを生成することができる。辞書方法(Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ)を用いてこれらの特徴を効果的に組織しても良い。具体的には、類似する特徴を単語にクラスタリングし、多くの単語を最終的に辞書に構成する。このように、各サブ領域の特徴は、辞書内の単語のヒストグラムに変換される。このヒストグラムは、当該サブ領域の最終的な特徴として考えられる。種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域(クラスタ)に融合した後、１つのマクロ領域は、一クラスタのヒストグラム特徴を含み、この一クラスタのヒストグラムは、同一種別に属する。ここで、辞書は２つの方法で形成されており、Ｋｍｅａｎｓで、それから、ＢＯＷ(ｂａｇ ｏｆ ｗｏｒｄｓ)を用いて領域を記述しても良いし、Ｋ-ＳＶＤ(Ｋ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ)で、ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎを用いて領域を記述しても良い。
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
好ましくは、認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域(スーパ画素)を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。ここで、確率グラフィックモデルとしては、隠れマルコフモデル(ＨＭＭ、Ｈｉｄｅ Ｍａｒｋｏｖ Ｍｏｄｅ)、条件付き確率場モデル(ＣＲＦ、Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ)または構造出力予測モデル(ＳＯＰ、Ｓｔｒｕｃｔｕｒｅ Ｏｕｔｐｕｔ Ｐｒｅｄｉｃｔｉｏｎ)を用いても良いし、これらの複雑なモデルを構築することなく、類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力しても良い。
本発明の別の態様によれば、貨物を自動で分類認識する透視検査方法を提供する。前記方法は、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、前記サブ領域から特徴を抽出するステップと、注釈付きの画像に基づいて分類器を生成するステップと、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含む。
好ましくは、前記方法は、各種別の貨物の数を推定し、その結果を検査端末に伝達するステップをさらに含む。
好ましくは、前記方法は、教習段階と認識段階とを含む。
好ましくは、前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。
好ましくは、前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織する。
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
好ましくは、前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。
好ましくは、前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力する。
本発明の貨物を自動で分類認識する透視検査システム及び方法によれば、コンテナ走査画像における大量貨物を分割し、貨物分類認識を図り、さらに、貨物数を推定することができ、かつ、画像において各種別の貨物に対して対応する擬似色を追加し、これは画像検査に大きく寄与する。若し、画像分類の種別数と税関申告書貨物の種別数とが不一致し、または数が不一致すれば、貨物を隠蔽することを検査者に提示する。若し、各種別の貨物の税率が検索できれば、システムはさらに、参照のために税額を推定することが可能である。
以下に記載の実施例を参照すると、本発明のこれらの実施態様及び他の態様を明らかに説明する。図面において、
本発明の目的、構造及びメリットをより明瞭にするために、以下に、図面を参照しながら本発明をさらに詳細に説明する。簡素化のため、図面及び明細書には、複数の可能な構成のうちの１つのみが示される。当業者は、本発明の要旨を逸脱しない範囲で、本発明の以下の実施例に対する様々な補正や変更が可能であると理解されるべきである。
種別記述
本発明では、世界税関機構によって組織的に制定された『統計品目番号』(ＨＳ、Ｔｈｅ Ｈａｒｍｏｎｉｚｅｄ Ｃｏｍｍｏｄｉｔｙ Ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ)及び『中華人民共和国税関輸出入商品規范申告目録』の相関規定に従って、走査貨物を２２類別に分類し、これら種別はだいたい下記のように記述されている。
１、動物（生きているものに限る。）及び動物性生産品。
２、植物性生産品。
３、動物性又は植物性の油脂及びその分解生産物、調製食用脂並びに動物性又は植物性のろう。
４、調製食料品、飲料、アルコール、食酢、たばこ及び製造たばこ代用品。
５、鉱物性生産品。
６、化学工業（類似の工業を含む。）の生産品。
７、プラスチック及びゴム並びにこれらの製品。
８、皮革及び毛皮並びにこれらの製品、動物用装着具並びに旅行用具、ハンドバッグその他これらに類する容器並びに腸の製品。
９、木材及びその製品、木炭、コルク及びその製品並びにわら、エスパルトその他の組物材料の製品並びにかご細工物及び枝条細工物。
１０、木材パルプ、繊維素繊維を原料とするその他のパルプ、古紙並びに紙及び板紙並びにこれらの製品。
１１、紡織用繊維及びその製品。
１２、履物、帽子、傘、つえ、シートステッキ及びむち並びにこれらの部分品、調製羽毛、羽毛製品、造花並びに人髪製品。
１３、石、プラスター、セメント、石綿、雲母その他これらに類する材料の製品、陶磁製品並びにガラス及びその製品。
１４、天然又は養殖の真珠、貴石、半貴石、貴金属及び貴金属を張った金属並びにこれらの製品、身辺用模造細貨類並びに貨幣。
１４、天然又は養殖の真珠、貴石、半貴石、貴金属及び貴金属を張った金属並びにこれらの製品、身辺用模造細貨類並びに貨幣。
１５、卑金属及びその製品。
１６、機械類及び電気機器並びにこれらの部分品並びに録音機、音声再生機並びにテレビジョンの映像及び音声の記録用又は再生用の機器並びにこれらの部分品及び附属品。
１７、車両、航空機、船舶及び輸送機器関連品。
１８、光学機器、写真用機器、映画用機器、測定機器、検査機器、精密機器、医療用機器、時計及び楽器並びにこれらの部分品及び附属品。
１９、武器及び銃砲弾並びにこれらの部分品及び附属品。
２０、雑品。
２１、美術品、収集品及びこつとう。
２２、不明。
なお、本発明では、単に実際応用に適応するために、貨物を上記２２類別に分類する。実際には、さらに、この２２類別のサブセット、または、より洗練された（例えば、この２２種別の下で定義される９８種類）分類定義を採用しても良い。
本発明の実施例によれば、貨物を自動で分類認識する透視検査システムは、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、前記サブ領域から特徴を抽出するための特徴抽出手段と、注釈付きの画像に基づいて分類器を生成するための教習手段と、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備える。
図１は、本発明の実施例による検査を示すフローチャートである。ここで、車載コンテナの検査を例としており、車両の検査が開始した後、システムは先ず、車両を走査して透視画像を取得する。下記に詳細に記述される画像分析及び分類認識を文字補助情報とともに用いて、画像を検査する。分類認識結果を取得した後、前記結果を検査端末へ送信することができる。車両の検査が完了した後、検査結果を送信する。
本発明に係る、貨物を自動で分類認識する透視検査システムによれば、コンテナ走査画像を分析し、特徴類似性に基づいて画像をいくつかの部分に割り当て、かつ、各部分の対応する貨物がどの種別の貨物に属するかを分析することができる。ここで、抽出された特徴を用いて走査画像における各サブ領域が各種別の貨物に属する確率を判断することで、貨物全体認識の効率及び正確性を向上させ、且つ、本発明の実施例に記載の構成を用いることで、貨物認識量の累積に従って、貨物認識の効率及び正確性をさらに向上することができる。本発明では、種別情報に基づいて税関申告書と対比することで、不法密輸を発見することができ、貨物の種別及び画像中の面積に基づいて、貨物数を推定することができ、推定された貨物数と税関申告書とを対比することで、貨物数を隠す密輸状況を発見することができ、さらに、貨物数に基づいて、自動で税率に従って税額推定を行うことができる。
好ましくは、前記システムによる貨物の自動分類認識は、教習段階と認識段階とを含む。しかしながら、実際操作において、十分な数のサブ種別サンプルを有する場合、前記システムによる貨物の自動分類認識は、教習段階を含まなくても良く、その理由としては、この時、システムは、特徴によって集約された十分な「単語」を既に取得したからであるということは、当業者に理解されるべきである。
教習段階(図２に示されている)
１、画像取得
分類器教習の要求を満足するために、各種別の貨物に対して約１００幅の画像を採集し、これらの画像にできるだけ異なる物品を含ませる。例えば、調製食料品に関しては、できるだけ様々な異なる種類、異なる形態及びパッケージの調製食料品を含ませる。また、取得することが困難である貨物、例えば、動物性生産品または武器に関しては、類似するシミュレート物を用いて走査を行う。
２、種別の手動注釈付け
採集された画像に対して注釈を手動で付ける(すなわち、注釈付きの画像)。一般的な方法としては、画像における各画素またはどの領域がどの種別に属するかについて、詳細に注釈を付ける。注釈付け後、図１におけるサブ種別画像データベースが形成される。注釈付きの画像に基づいて、分類器を生成する。
３、特徴抽出
先ず、画像における種別注釈付きを有する領域に対して特徴を抽出する。一般的には、高密度の画像記述子(Ｉｍａｇｅ Ｄｅｓｃｒｉｐｔｏｒ)を用いて特徴を表す。画像記述子は、様々なアルゴリズム、例えば、方向勾配ヒストグラム(ＨＯＧ-Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ)特徴、最大応答セット(Ｍａｘｉｍｕｍ Ｒｅｓｐｏｎｓｅ Ｓｅｔｓ、または、ＭＲ８と称する)、スケール不変特徴変換(ＳＩＦＴ-Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ)等を用いても良い。好ましくは、本発明では、３種の特徴を用いて決定融合(Ｄｅｃｉｓｉｏｎ Ｆｕｓｉｏｎ)を行う。したがって、特徴を抽出するとき、それぞれ高密度のＨＯＧ、ＭＲ８、ＳＩＦＴ特徴を抽出する（ここで言う高密度とは、小さい均一な間隔で画像に特徴抽出点を設定する位置を指す）。アルゴリズの実現は、オープンソースソフトウェア、例えば、ｏｐｅｎｃｖ、ｖｌｆｅａｔ等のオープンソースライブラリを用いても良い。
画像分割アルゴリズムを用いて画像を分割する。一般的には、統計領域マージ(Ｓｔａｔｉｓｔｉｃａｌ Ｒｅｇｉｏｎ Ｍｅｒｇｉｎｇ)方法を用いて分割を行い、分割して得られた領域をスーパ画素と呼ぶ。スーパ画素領域内における抽取された３種の特徴を平均化すれば、このスーパ画素の特徴記述を取得する。同じ画像における、同一種別に属し且つ種別が隣接或いは連通するサブ領域をマクロ領域に融合し、それをクラスタと称する。クラスタには、少なくとも１つのスーパ画素が含まれている。事実には、１つのクラスタは、通常、スーパ画素を数十乃至何百も含んでいる。好ましくは、バッグオフワード(ＢＯＷ-Ｂａｇ ｏｆ Ｗｏｒｄｓ)を用いてクラスタの特徴を記述する。ＨＯＧ意味の下で生成されたＢＯＷ特徴をＨＯＧ-ＢＯＷと称し、ＭＲ８意味の下で生成されたＢＯＷ特徴をＭＲ８-ＢＯＷと称し、ＳＩＦＴ意味の下で生成された特徴をＳＩＦＴ-ＢＯＷと称する。サンプルを十分に使用するために、クラスタの面積に応じて、クラスタは、それぞれが少なくとも２０個のＢＯＷ特徴を含むように、ブロックに均一に分割される。このとき、各ＢＯＷ特徴は、{ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷ}という３つの高次元ベクトルによって構成される。
分類器教習
第３ステップで得られた特徴を用いて分類器を教習する。上述した通り、３種の特徴については、３種の分類器、すなわち、ＨＯＧ分類器、ＭＲ８分類器及びＳＩＦＴ分類器を構築する。各種別は、約１００幅の画像を有し、各画像は、少なくとも２０個のＢＯＷ特徴を有する。したがって、各分類器は、何れも２２種別の分類器であり、各種別は、少なくとも２０００個の特徴サンプルを有する。分類器としては、様々な線形、非線形、集積分類器、ニューラルネットワーク、例えば、Ｆｉｓｈｅｒ分類器、サポートベクトルマシン(ＳＶＭ)、ブースティング(Ｂｏｏｓｔｉｎｇ)、ランダムフォレスト、多層パーセプトロン等を用いても良い。一般的には、本実施例では、ＳＶＭ分類器を用いる。当該分類器は、様々なオープンソースソフトウェアの実現案、例えば、ＬｉｂＳＶＭ等がある。
また、３種の特徴に対して特徴融合(Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ)を行っても良い。しかし、３種の特徴の次元が全て高いので、ここでは、好ましくは決定融合ポリシーを用いる。
分類器が得られた後、分類算出を行うことができる。
分類認識段階(図３に示されている)
画像分割
未知画像の分割方法は、教習段階の第３のステップにおける画像分割と同じである。分割によって得られた領域は、何れもスーパ画素である。
特徴抽出
特徴抽出の基本的な方法は、教習段階の第３ステップにおける特徴抽出方法と類似し、異なるのは、ここでは種別情報がなく、クラスタの特徴を正確に得ることができないことにある。したがって、各スーパ画素に関して、スーパ画素の周囲の特定の面積(クラスタ生成時に分割された領域の面積を参照)内で生成された特徴を１つの仮想の局部クラスタに生成し、このクラスタのＢＯＷ特徴を算出する。このとき、スーパ画素における複数の特徴を平均せず、その代わりに、直接にＢＯＷ特徴を生成する。
教習時に各クラスタが少なくとも２０個のＢＯＷ特徴を含む場合とは異なり、この場合には、局部クラスタは、一つだけのＢＯＷ特徴を含み、この特徴は、{ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷ}という３つの高次元ベクトルから構成される。
３、分類
ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷという３つの高次元ベクトルをそれぞれ教習された分類器によって分類すると、３つのベクトルが２２個の種別に属する３次元信頼度ベクトルを取得する。ベクトルにおける各値は、当該特徴が種別に属する信頼性を示す。
３次元信頼度ベクトルの総和、平均値、及び最大値のいずれかを求めることによって、決定融合の結果を取得する。好ましくは、ここでは、３次元信頼度ベクトルの平均値を求めることによって、１次元信頼度ベクトルを取得する。各値は、スーパ画素が種別に属する信頼度である。このベクトルの最大値は、スーパ画素の種別及び信頼度を示す。
好ましくは、各スーパ画素の信頼度を取得した後に、信頼度図に対して後処理を施しても良い。一般的には、より正確な結果を得るために、条件付き確率場(ＣＲＦ-Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ)を用いても良い。
貨物重量推定
放射線イメージングシステムでは、各物質の単位厚さ（例えば１ｃｍ）におけるイメージング階調値が算出可能であり、または、特定され得る。したがって、２２種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築する。
認識段階の第３ステップでは、貨物の種別を既に取得した。さらに、画像階調及び上記階調表を参照することにより、貨物の最小可能重量及び最大可能重量を容易に取得する。
ヒューマンマシンインタラクション方式
本発明に係る分類及び認識方法としては、画像をより効果的に分析することを機器のオペレータに支援するために、様々なヒューマンマシンインタラクション方法を用いても良い。その方法は、下記の方法であっても良いが、それらに限定されない。
１、ヒューマンマシンインタラクションの一方法として、分類認識後、貨物の種別に応じて、異なる貨物を異なる色で表示し、画像に何種別の貨物が含まれているか、各種別の貨物が２２類別のうちのどれに属するかを機器のオペレータに提示しても良い。
２、ヒューマンマシンインタラクションの一方法として、分類認識後、オペレータのクリック操作に応じて、ある領域(例えば、マウスのカーソル近傍)にクリック位置の貨物の種別及び当該種別の貨物の最小可能重量並びに最大可能重量を表示しても良い。
３、ヒューマンマシンインタラクションの一方法として、機器のオペレータは貨物の種別(どの認識に属するか)を手動で入力しても良い。分類認識後、結果が手動で入力した種別番号とは異なる場合、画像に相違箇所を著しい色でマークする。
４、ヒューマンマシンインタラクションの一方法として、システムは、税関申告書(電子税関申告書または文字により認識されたデジタル税関申告書)を自動で分析することにより、貨物の種別及び対応する重量情報を取得する。分類認識後、結果が自動分析結果とは異なる場合、画像に相違箇所を著しい色でマークする。
本発明の実施例によれば、貨物を自動で分類認識する透視検査方法をさらに伝達する。前記方法は、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、前記サブ領域から特徴を抽出するステップと、注釈付きの画像に基づいて分類器を生成するステップと、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含む。
好ましくは、前記方法は、各種別の貨物の数を推定し、結果を検査端末に伝達するステップをさらに含む。
好ましくは、前記方法は、教習段階と認識段階とを含む。
好ましくは、前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。
好ましくは、前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織する。
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
好ましくは、前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。
好ましくは、前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築するか、または直接に類似性に基づいて融合し、それから、１つの総合種別を融合領域の種別として出力する。
本発明の貨物を自動で分類認識する透視検査システム及び方法によれば、コンテナ走査画像における大量貨物を分割し、貨物分類認識を図り、さらに、貨物数を推定することができ、かつ、画像において各種別の貨物に対して対応する擬似色を追加し、これは画像検査に大きく寄与する。若し、画像分類の種別数と税関申告書貨物の種別数とが不一致し、または数が不一致すれば、貨物を隠蔽することを検査者に提示する。若し、貨物の様々な種類の税率が検索できれば、システムは、参照のために税額を推定することが可能である。
図面及び前述記述には、本発明を詳細に説明及び記述したが、当該説明及び記述は、限定的なものではなく、説明的または例示的なものと見なされる。本発明は、開示された実施例に限定されるものではない。当業者は、本発明を実践するとき、図面、開示内容及び添付する特許請求の範囲を研究することによって、開示された実施例の他の変化を理解且つ実現することができる。
請求項には、言葉「含む」、「備える」は、他の元素またはステップを排除するものではなく、「一」は、複数個を排除するものではない。単個の元素または他のユニットは、請求項に記載の若干の機能を実現することができる。
特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。請求項における任意の図面符号は、範囲を限定するものとして解釈されるべきではない。
特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。請求項における任意の図面符号は、範囲を限定するものとして解釈されるべきではない。
本願は、出願番号が２０１３１０７３４３７３.７であり、出願日が２０１３年１２月２７日である中国特許出願に基づいて優先権を主張する。当該中国特許出願の全ての内容は、ここに参考として引用される。
Claims (17)
- Ｘ線走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、
前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、
前記サブ領域から特徴を抽出するための特徴抽出手段と、
注釈付きの画像に基づいて分類器を生成し、および/または、既存の分類器を記憶或いは更新するための教習手段と、
抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備え、
前記貨物の分類認識は、教習段階を含み、
前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習することを特徴とする貨物を自動で分類認識する透視検査システム。 - 検査端末をさらに備え、
前記分類認識手段は、さらに、各種別の貨物の数を推定して、その結果を検査端末に伝達することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。 - 前記システムによる貨物の自動分類認識は、認識段階をさらに含み、または、教習段階の完了後、認識段階のみを含むことを特徴とする請求項１または２に記載の貨物を自動で分類認識する透視検査システム。
- 前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得してから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。
- 前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。
- 前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了することを特徴とする請求項３に記載の貨物を自動で分類認識する透視検査システム。
- 前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力することを特徴とする請求項６に記載の貨物を自動で分類認識する透視検査システム。
- 前記認識段階では、各種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築するステップと、画像階調と上記最大可能階調及び最小可能階調のテーブルとを参照して、貨物の最小可能重量及び最大可能重量を取得するステップと、をさらに含むことを特徴とする請求項６に記載の貨物を自動で分類認識する透視検査システム。
- １)前記認識段階後、貨物の種別に応じて、異なる貨物を異なる色で表示し、画像に何種別の貨物が含まれているか、および各種別の貨物がどの類別に属するかを機器のオペレータに提示する方式と、
２)前記認識段階後、オペレータのクリック操作に応じて、クリック位置での貨物の種別、当該種別の貨物の最小可能重量および最大可能重量をある領域において表示する方式と、
３)前記認識段階後、結果が手動で入力された種別番号とは異なる場合、画像に相違箇所を著しい色でマークする方式と、
４)前記認識段階後、システムは、税関申告書を自動で分析することにより、貨物の種別及び対応する重量情報を取得し、結果が自動分析結果とは異なる場合、画像に相違箇所を著しい色でマークする方式と、のうちの１つまたは複数で構成されるユーザインターフェースを有することを特徴とする請求項８に記載の貨物を自動で分類認識する透視検査システム。 - 貨物を自動で分類認識する透視検査方法であって、
Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、
前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、
前記サブ領域から特徴を抽出するステップと、
注釈付きの画像に基づいて分類器を生成し、または既存の分類器を更新するステップと、
抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含み、
前記透視検査方法は、教習段階をさらに含み、
前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習することを特徴とする貨物を自動で分類認識する透視検査方法。 - 各種別の貨物の数を推定して、その結果を検査端末に伝達するステップをさらに含むことを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
- 認識段階をさらに含み、または、教習段階の完了後、認識段階のみを含むことを特徴とする請求項１０または１１に記載の貨物を自動で分類認識する透視検査方法。
- 前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織することを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
- 前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得することを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
- 前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了することを特徴とする請求項１２に記載の貨物を自動で分類認識する透視検査方法。
- 前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力することを特徴とする請求項１５に記載の貨物を自動で分類認識する透視検査方法。
- 前記認識段階では、各種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築するステップと、画像階調と上記最大可能階調及び最小可能階調のテーブルとを参照して、貨物の最小可能重量及び最大可能重量を取得するステップと、をさらに含むことを特徴とする請求項１５に記載の貨物を自動で分類認識する透視検査方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310734373.7A CN104751163B (zh) | 2013-12-27 | 2013-12-27 | 对货物进行自动分类识别的透视检查系统和方法 |
| CN201310734373.7 | 2013-12-27 | ||
| PCT/CN2014/094494 WO2015096677A1 (zh) | 2013-12-27 | 2014-12-22 | 对货物进行自动分类识别的透视检查系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017507391A JP2017507391A (ja) | 2017-03-16 |
| JP6338674B2 true JP6338674B2 (ja) | 2018-06-06 |
Family
ID=52278444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016543181A Expired - Fee Related JP6338674B2 (ja) | 2013-12-27 | 2014-12-22 | 貨物を自動で分類認識する透視検査システム及び方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10122973B2 (ja) |
| EP (1) | EP2889838B1 (ja) |
| JP (1) | JP6338674B2 (ja) |
| KR (1) | KR101873135B1 (ja) |
| CN (1) | CN104751163B (ja) |
| ES (1) | ES2656315T3 (ja) |
| PL (1) | PL2889838T3 (ja) |
| WO (1) | WO2015096677A1 (ja) |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
| FR3019957B1 (fr) * | 2014-04-09 | 2016-05-27 | Actility | Procedes de codage et decodage de trames dans un reseau de telecommunication |
| CN106353828B (zh) | 2015-07-22 | 2018-09-21 | 清华大学 | 在安检系统中估算被检查物体重量的方法和装置 |
| SG10201914036PA (en) | 2015-08-03 | 2020-03-30 | Angel Playing Cards Co Ltd | Fraud detection system in casino |
| CN106706677B (zh) * | 2015-11-18 | 2019-09-03 | 同方威视技术股份有限公司 | 检查货物的方法和系统 |
| EP3363507B1 (en) | 2015-11-19 | 2024-02-14 | Angel Playing Cards Co., Ltd. | Management system for table games and substitute currency for gaming |
| CN105426845A (zh) * | 2015-11-22 | 2016-03-23 | 华北水利水电大学 | 一种料场物料种类自动识别装置和方法 |
| EP3479879A4 (en) | 2016-08-02 | 2020-01-01 | Angel Playing Cards Co., Ltd. | GAME MANAGEMENT SYSTEM |
| US11460572B2 (en) | 2016-08-12 | 2022-10-04 | University Of Washington | Millimeter wave imaging systems and methods using direct conversion receivers and/or modulation techniques |
| CN106503121B (zh) * | 2016-10-19 | 2019-12-06 | 公安部第三研究所 | 一种x光安检图像的结构化描述方法及系统 |
| US11555916B2 (en) * | 2016-12-08 | 2023-01-17 | University Of Washington | Millimeter wave and/or microwave imaging systems and methods including examples of partitioned inverse and enhanced resolution modes and imaging devices |
| US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| CN108572183B (zh) * | 2017-03-08 | 2021-11-30 | 清华大学 | 检查设备和分割车辆图像的方法 |
| CN107122713B (zh) * | 2017-03-27 | 2020-07-28 | 华南理工大学 | 一种基于深度学习的似物性检测方法 |
| CN107045727B (zh) * | 2017-03-27 | 2020-07-24 | 中国科学院深圳先进技术研究院 | 一种纹理合成方法及其装置 |
| CN108694404B (zh) * | 2017-04-06 | 2021-04-23 | 同方威视技术股份有限公司 | 基于辐射图像进行货物检查的方法及装置 |
| CN108734183A (zh) * | 2017-04-14 | 2018-11-02 | 清华大学 | 检查方法和检查设备 |
| US10832391B2 (en) * | 2017-05-22 | 2020-11-10 | L-3 Security & Detection Systems, Inc. | Systems and methods for image processing |
| CN109214235A (zh) * | 2017-06-29 | 2019-01-15 | 沈阳新松机器人自动化股份有限公司 | 室外场景分类方法及系统 |
| CN109598517B (zh) * | 2017-09-29 | 2023-09-12 | 阿里巴巴集团控股有限公司 | 商品通关处理、对象的处理及其类别预测方法和装置 |
| CN107742122A (zh) * | 2017-10-27 | 2018-02-27 | 浙江大华技术股份有限公司 | 一种x光图像的分割方法及装置 |
| CN108021939A (zh) * | 2017-11-30 | 2018-05-11 | 安徽理工大学 | 一种旧图书的自动分类方法 |
| KR101884575B1 (ko) * | 2017-12-06 | 2018-08-02 | 한국공항공사 | 보안 검색 시스템 |
| CN108256549B (zh) * | 2017-12-13 | 2019-03-15 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置及终端 |
| CN107886136A (zh) * | 2017-12-18 | 2018-04-06 | 南京云计趟信息技术有限公司 | 一种基于深度学习技术识别货物介质种类的方法 |
| CN109978985B (zh) * | 2017-12-28 | 2023-11-07 | 同方威视科技江苏有限公司 | 数据处理方法及装置、存储介质、电子设备 |
| KR101969022B1 (ko) * | 2017-12-29 | 2019-04-15 | (주)제이엘케이인스펙션 | 영상 분석 장치 및 방법 |
| KR20210126163A (ko) * | 2018-02-14 | 2021-10-19 | 가부시끼가이샤 이시다 | 검사 장치 |
| KR101981031B1 (ko) * | 2018-05-18 | 2019-05-23 | 제이에이치데이터시스템 주식회사 | 인공지능 기반 철 스크랩 플랫폼 |
| CN110610495B (zh) * | 2018-06-15 | 2022-06-07 | 北京京东尚科信息技术有限公司 | 图像处理方法、系统和电子设备 |
| CN110715939A (zh) * | 2018-07-12 | 2020-01-21 | 卓峰智慧生态有限公司 | 基于人工智能的皮革检测方法以及皮革制品生产方法 |
| JP7476194B2 (ja) * | 2018-08-10 | 2024-04-30 | レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド | 画像処理のためのシステムおよび方法 |
| CN110569692B (zh) * | 2018-08-16 | 2023-05-12 | 创新先进技术有限公司 | 多车识别方法、装置及设备 |
| KR102032796B1 (ko) * | 2018-12-07 | 2019-11-08 | (주)제이엘케이인스펙션 | 영상 분석 장치 및 방법 |
| CN109711773B (zh) * | 2018-12-11 | 2022-08-26 | 武汉理工大学 | 一种基于聚类算法的集装箱货物流向流量统计方法 |
| CN111325217B (zh) * | 2018-12-14 | 2024-02-06 | 京东科技信息技术有限公司 | 数据处理方法、装置、系统和介质 |
| CN109726661B (zh) * | 2018-12-21 | 2021-12-17 | 网易有道信息技术（北京）有限公司 | 图像处理方法及装置、介质和计算设备 |
| CN109685796B (zh) * | 2018-12-26 | 2021-05-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、设备和存储介质 |
| CN111461152B (zh) * | 2019-01-21 | 2024-04-05 | 同方威视技术股份有限公司 | 货物检测方法及装置、电子设备和计算机可读介质 |
| CN111723601A (zh) * | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种图像处理的方法及装置 |
| US20220244194A1 (en) * | 2019-06-05 | 2022-08-04 | Lynx Inspection Inc. | Automated inspection method for a manufactured article and system for performing same |
| CN112528705A (zh) * | 2019-09-17 | 2021-03-19 | 同方威视技术股份有限公司 | 基于语义的图像识别系统及其方法 |
| CN111191723B (zh) * | 2019-12-30 | 2023-06-20 | 创新奇智(北京)科技有限公司 | 基于级联分类器的少样本商品分类系统及分类方法 |
| CN111275682A (zh) * | 2020-01-19 | 2020-06-12 | 上海箱云物流科技有限公司 | 集装箱检测方法、装置及计算机可读存储介质 |
| CN111368789B (zh) * | 2020-03-18 | 2023-05-26 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111553914B (zh) * | 2020-05-08 | 2021-11-12 | 深圳前海微众银行股份有限公司 | 基于视觉的货物检测方法、装置、终端及可读存储介质 |
| CN113870168A (zh) * | 2020-06-11 | 2021-12-31 | 三赢科技（深圳）有限公司 | 物料计数方法、系统、计算机装置及存储介质 |
| CN111860361B (zh) * | 2020-07-24 | 2023-07-25 | 吉林大学 | 一种绿色通道货物扫描图像夹带自动识别器及识别方法 |
| KR102378742B1 (ko) | 2020-07-30 | 2022-03-28 | 한국과학기술연구원 | 사용자의 x-ray 영상 판독을 지원하는 시스템 및 방법 |
| JP2020189169A (ja) * | 2020-08-24 | 2020-11-26 | エンゼルプレイングカード株式会社 | テーブルゲームの管理システムおよび遊戯用代用貨幣 |
| CN112326699A (zh) * | 2020-11-02 | 2021-02-05 | 合肥格泉智能科技有限公司 | 一种基于x光机货物图像管理系统 |
| TWI764473B (zh) * | 2020-12-25 | 2022-05-11 | 鴻海精密工業股份有限公司 | 物體檢測方法、裝置、電子設備及存儲介質 |
| US20220215452A1 (en) * | 2021-01-05 | 2022-07-07 | Coupang Corp. | Systems and method for generating machine searchable keywords |
| CN112784729A (zh) * | 2021-01-19 | 2021-05-11 | 澜途集思生态科技集团有限公司 | 一种水体漂浮物自动识别方法 |
| CN113723388B (zh) * | 2021-08-06 | 2023-12-29 | 盛视科技股份有限公司 | 一种基于x光图像的袋装垃圾分类检测方法 |
| CN114581376B (zh) * | 2022-01-31 | 2023-03-24 | 南通摩瑞纺织有限公司 | 基于图像识别的纺织用蚕茧自动拣选方法及系统 |
| CN116664883A (zh) * | 2023-05-12 | 2023-08-29 | 海南港航物流有限公司 | 一种基于卷积神经网络的货物图像识别方法和系统 |
| CN117911795B (zh) * | 2024-03-18 | 2024-06-11 | 杭州食方科技有限公司 | 食品图像识别方法、装置、电子设备和计算机可读介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2632671Y (zh) * | 2003-07-04 | 2004-08-11 | 清华同方威视技术股份有限公司 | 一种机械结构模块化的集装货物/车辆检查装置 |
| CA2608119A1 (en) * | 2005-05-11 | 2006-11-16 | Optosecurity Inc. | Method and system for screening luggage items, cargo containers or persons |
| CN101389004B (zh) * | 2007-09-13 | 2010-06-09 | 中国科学院自动化研究所 | 一种基于在线学习的运动目标分类方法 |
| CN102175698B (zh) * | 2007-11-15 | 2013-09-04 | 同方威视技术股份有限公司 | 物质识别系统中创建分类曲线的方法和设备 |
| CN101614683B (zh) * | 2008-06-27 | 2011-10-05 | 清华大学 | 物质识别系统中的实时标定设备和方法 |
| US8391617B2 (en) * | 2008-11-04 | 2013-03-05 | Eastman Kodak Company | Event recognition using image and location information |
| CN101900695B (zh) * | 2009-05-27 | 2011-11-23 | 清华大学 | 伪双能欠采样物质识别系统和方法 |
| US9659364B2 (en) * | 2010-03-11 | 2017-05-23 | Koninklijke Philips N.V. | Probabilistic refinement of model-based segmentation |
| CN102651136B (zh) * | 2011-02-28 | 2014-11-26 | 国际商业机器公司 | 图像的颜色映射方法及装置 |
| CN103345631B (zh) * | 2013-06-04 | 2016-12-28 | 北京大学深圳研究生院 | 图像特征提取、训练、检测方法及模块、装置、系统 |
-
2013
- 2013-12-27 CN CN201310734373.7A patent/CN104751163B/zh active Active
-
2014
- 2014-12-22 WO PCT/CN2014/094494 patent/WO2015096677A1/zh active Application Filing
- 2014-12-22 JP JP2016543181A patent/JP6338674B2/ja not_active Expired - Fee Related
- 2014-12-22 KR KR1020167020383A patent/KR101873135B1/ko active IP Right Grant
- 2014-12-23 EP EP14200148.6A patent/EP2889838B1/en active Active
- 2014-12-23 ES ES14200148.6T patent/ES2656315T3/es active Active
- 2014-12-23 PL PL14200148T patent/PL2889838T3/pl unknown
- 2014-12-23 US US14/580,488 patent/US10122973B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104751163A (zh) | 2015-07-01 |
| JP2017507391A (ja) | 2017-03-16 |
| EP2889838A1 (en) | 2015-07-01 |
| CN104751163B (zh) | 2018-06-19 |
| ES2656315T3 (es) | 2018-02-26 |
| WO2015096677A1 (zh) | 2015-07-02 |
| EP2889838B1 (en) | 2017-11-01 |
| KR101873135B1 (ko) | 2018-06-29 |
| PL2889838T3 (pl) | 2018-07-31 |
| KR20160108373A (ko) | 2016-09-19 |
| US10122973B2 (en) | 2018-11-06 |
| US20150189239A1 (en) | 2015-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6338674B2 (ja) | 貨物を自動で分類認識する透視検査システム及び方法 | |
| Nguyen et al. | Understanding neural networks via feature visualization: A survey | |
| Geirhos et al. | ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness | |
| Gupta et al. | Deep learning (CNN) and transfer learning: a review | |
| Carneiro et al. | Artistic image classification: An analysis on the printart database | |
| CN106096542B (zh) | 基于距离预测信息的图像视频场景识别方法 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| Alarifi et al. | Facial skin classification using convolutional neural networks | |
| Jolly et al. | How do convolutional neural networks learn design? | |
| Xie et al. | Robust segmentation of nucleus in histopathology images via mask R-CNN | |
| Soysal et al. | An introduction to zero-shot learning: An essential review | |
| Pinto et al. | Image feature extraction via local binary patterns for marbling score classification in beef cattle using tree-based algorithms | |
| Kamila | Handbook of research on emerging perspectives in intelligent pattern recognition, analysis, and image processing | |
| Štepec et al. | Image synthesis as a pretext for unsupervised histopathological diagnosis | |
| KR20200071021A (ko) | 영상 분석 장치, 영상 분석 방법 및 기록 매체 | |
| US11222194B2 (en) | Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen | |
| Mazo et al. | Tissues classification of the cardiovascular system using texture descriptors | |
| CN113780084B (zh) | 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质 | |
| Hauri | Detecting signatures in scanned document images | |
| Gravina et al. | FEAD-D: Facial Expression Analysis in Deepfake Detection | |
| Younis et al. | Distinguish musical symbol printed using the linear discriminant analysis LDA and similarity scale | |
| Samanta et al. | SBGAN: Sequential Bengali Word Image Generation Model | |
| Rocha et al. | Random forests in the supervised classification of multidimensional images of the tetrazolium test | |
| US12100090B1 (en) | Systems and methods for automatically adding interactivity to a three-dimensional scene | |
| Bhanumathi et al. | Underwater Fish Species Classification Using Alexnet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6338674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |