KR20190139254A - 검사 방법 및 검사 장비 - Google Patents

검사 방법 및 검사 장비 Download PDF

Info

Publication number
KR20190139254A
KR20190139254A KR1020197033257A KR20197033257A KR20190139254A KR 20190139254 A KR20190139254 A KR 20190139254A KR 1020197033257 A KR1020197033257 A KR 1020197033257A KR 20197033257 A KR20197033257 A KR 20197033257A KR 20190139254 A KR20190139254 A KR 20190139254A
Authority
KR
South Korea
Prior art keywords
vector
category
container
image
cargo
Prior art date
Application number
KR1020197033257A
Other languages
English (en)
Inventor
지엔 장
잔용 자오
지엔핑 구
야오홍 리우
즈란 자오
Original Assignee
칭화대학교
눅테크 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칭화대학교, 눅테크 컴퍼니 리미티드 filed Critical 칭화대학교
Publication of KR20190139254A publication Critical patent/KR20190139254A/ko

Links

Images

Classifications

    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G06F17/27—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

검사 장비 및 검사 방법을 제공한다. 피검사 컨테이너에 대해 X선 스캔을 진행하여 투과 이미지를 얻은 후, 콘벌루션 신경망을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성함과 동시에, 순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여 제2 벡터로 한다. 제1 벡터와 제2 벡터를 통합하여, 투과 이미지 및 문자적인 표현을 나타내는 제3 벡터를 얻는다. 제3 벡터에 기초하여, 컨테이너 속의 화물이 속하는 카테고리를 판별한다. 본 발명의 실시예에 의하면, 목표 화물의 대략적인 카테고리를 초보적으로 판단할 수 있어, 이미지 검사자의 후속적인 판단을 용이하게 할 수 있다.

Description

검사 방법 및 검사 장비
본 발명의 실시예는 보안 검사에 관한 것으로, 구체적으로는, 이미지 정보 및 텍스트 정보에 기반한 컨테이너와 같은 화물을 검사하는 방법 및 장비에 관한 것이다.
현재, 방사선을 이용한 보안 검사 시스템은, 주로 화물의 X선 이미지에 대한 분석에 집중하고 있다. 예를 들어, 이미지 이해에 관한 지식을 활용하여 화물의 분류 및 식별임무를 수행한다. 하지만, 구별이 어려운 화물에 대해서는, 현재로서는 여전히 주로 인위적인 식별에 의해 구분 및 판단을 진행하고 있고, "인간-기계간 협력"은 아직 실질적인 "협력"정도에 도달하지 못한 것이 현실이다.
본 발명은 종래 기술의 상기와 같은 문제점을 감안하여 제안한 것으로서, 예를 들어, 컨테이너와 같은 화물을 검사하는 방법 및 장비를 제공하는 것을 목적으로 한다.
본 발명의 어느 한 측면에 따르면, 피검사 컨테이너에 대해 X선 스캔을 진행하여 투과 이미지를 얻는 단계, 콘벌루션 신경망(Convolutional Neural Network, CNN)을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성하는 단계, 순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여 제2 벡터로 하는 단계, 상기 제1 벡터와 상기 제2 벡터를 통합하여, 상기 투과 이미지와 상기 문자적인 표현을 나타내는 제3 벡터를 얻는 단계, 및 상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하는 단계를 포함하는 컨테이너를 검사하는 방법을 제공한다.
본 발명의 실시예에 의하면, 상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하는 단계는, 확률 함수에 기초하여, 상기 제3 벡터로부터 컨테이너 속의 화물이 어느 카테고리에 속하는 것을 의미하는 확률치를 생성하는 단계, 및 최대 확률치를 가지는 카테고리를 상기 화물이 속하는 카테고리로 판정하는 단계를 더 포함한다.
본 발명의 실시예에 의하면, 상기의 방법은, 판별된 카테고리에 따라, 사용자에게 상기 카테고리에 관련된 대표적인 투과 이미지를 표시하는 단계를 더 포함한다.
본 발명의 실시예에 의하면, 단어 벡터를 생성하는 단계는, 상기 컨테이너 속의 화물의 문자적인 표현에 대해 단어 분류 조작을 진행하는 단계, 및 단어 분류 조작을 거친 후의 문자적인 표현을 벡터화하여, 단어 벡터를 얻는 단계를 포함한다.
본 발명의 실시예에 의하면, 상기의 방법은, 상기 단어 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하는 단계, 및 사용자에게 검색된 대표적인 투과 이미지를 표시하는 단계를 더 포함한다.
본 발명의 실시예에 의하면, 상기의 방법은, 상기 제1 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하는 단계, 및 사용자에게 검색된 대표적인 투과 이미지를 표시하는 단계를 더 포함한다.
본 발명의 다른 한 측면에 따르면, 피검사 컨테이너에 대해 X선 스캔을 진행하여 투과 이미지를 얻는 X선 검사 시스템, 상기 투과 이미지를 저장하는 메모리, 및 콘벌루션 신경망을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성하고, 순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여 제2 벡터로 하고, 상기 제1 벡터와 상기 제2 벡터를 통합하여, 상기 투과 이미지와 상기 문자적인 표현을 나타내는 제3 벡터를 얻고, 상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하도록 배치된 프로세서를 포함하는 검사 장비를 제공한다.
본 발명의 실시예에 의하면, 상기 프로세서는, 확률 함수에 기초하여, 상기 제3 벡터로부터 컨테이너 속의 화물이 어느 카테고리에 속하는 것을 의미하는 확률치를 생성하고, 최대 확률치를 가지는 카테고리를 상기 화물이 속하는 카테고리로 판정하도록 배치된다.
본 발명의 실시예에 의하면, 상기 프로세서는, 나아가서, 판별된 카테고리에 따라, 사용자에게 상기 카테고리에 관련된 대표적인 투과 이미지를 표시하도록 배치된다.
본 발명의 실시예에 의하면, 상기 프로세서는, 상기 컨테이너 속의 화물의 문자적인 표현에 대해 단어 분류 조작을 진행하고, 단어 분류 조작을 거친 후의 문자적인 표현을 벡터화하여, 단어 벡터를 얻도록 배치된다.
본 발명의 실시예에 의하면, 상기 프로세서는, 나아가서, 상기 단어 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하고, 사용자에게 검색된 대표적인 투과 이미지를 표시하도록 배치된다.
상기의 실시예의 기술안을 이용하여, 목표 화물의 대략적인 카테고리를 초보적으로 판단할 수 있어, 이미지 검사자의 후속적인 판단을 용이하게 할 수 있다.
본 발명을 보다 쉽게 이해하기 위해, 이하의 도면을 참조하면서 본 발명을 상세하게 설명한다.
도 1은, 본 발명의 실시예에 따른 검사 장비의 구성 모식도이다.
도 2는, 도 1에 도시된 바와 같은 검사 장비에 포함되는 계산 수단의 구성을 나타내는 모식도이다.
도 3은, 본 발명의 실시예에 따른 검사 장비의 모식적인 블록 구성도이다.
도 4는, 본 발명의 실시예에 따른 검사 방법의 모식적인 흐름도이다.
도 5는, 본 발명의 실시예에 따른 화물 이미지와 카테고리 정보를 매칭시키는 모식도이다.
도 6은, 본 발명의 실시예에 있어서, 콘벌루션 신경망을 이용하여 화물의 카테고리를 판단하는 모식도이다.
도 7은, 본 발명의 다른 실시예에 있어서, 카테고리 정보로부터 대표적인 투시 이미지를 검색하는 모식도이다.
도 8은, 본 발명의 실시예에 따른 방법에 사용되는 단어 벡터 공간 관계도이다.
도 9는, 본 발명의 실시예에 따른 방법에 사용되는 순환 신경망의 단위 구성도이다.
도 10은, 본 발명의 실시예에 있어서, 이미지 벡터와 단어 벡터로부터 카테고리 정보를 생성하는 모식도이다.
이하, 본 발명의 구체적인 실시예를 상세하게 설명한다. 또한, 여기서 설명하는 실시예는, 예시적인 것으로서, 본 발명을 한정하는 것이 아님을 유의해야 한다. 이하의 설명에 있어서, 본 발명을 충분히 이해할 수 있도록, 다수의 특정적인 세부적 특징을 기술한다. 하지만, 당업자라면, 반드시 이러한 특정적인 세부적 구성을 사용하여 본 발명을 실행해야 하는 것이 아님을 이해할 것이다. 다른 실시예에 있어서, 본 발명의 취지를 불필요하게 흐리지 않도록, 주지의 구성, 재료 또는 방법에 대한 구체적인 설명은 생략한다.
본 명세서에 있어서, "일 실시예", "실시예", "일 실예" 또는 "실예"라고 기재할 경우, 해당 실시예 또는 실예를 사용하여 설명하는 특정적인 특징, 구조 또는 특성이, 본 발명의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 명세서의 각 부분에 기재된 "일 실시예에 있어서", "실시예에 있어서", "일 실예" 또는 "실예"가 꼭 동일한 실시예 또는 실예를 의미하는 것은 아니다. 또한, 임의의 적당한 조합 및/또는 서브 조합에 의해, 특정적인 특징, 구성 또는 특성을 하나 또는 복수의 실시예 또는 실예에 조합할 수 있다. 또한, 당업자라면 여기서 사용되는 "및/또는"이란 용어가 나열된 하나 또는 복수의 관련된 아이템의 임의의 조합 및 전부의 조합을 포함함을 이해할 것이다.
종래 기술의 문제점을 감안하여, 본 발명의 실시예는, X선 이미지와 텍스트 표현에 기반한 "인간-기계간 협력"적인 검사 기술을 제안하여, 특정적인 영역(관심 영역)의 화물에 대한 분류 및 검사를 진행하는 지능적인 분석 툴을 완성한다. 실제 화물 검사 과정에 있어서, 검사자가 이미지의 국부적인 영역에 대해 판단을 진행하는 경우가 더 많고, 이는 "인간-기계간 협력"에 있어서 가장 밀접하고 필요한 부분이기도 하다. 이 기술은, 컴퓨터의 데이터 분석 및 이미지 이해 능력을 이용하여, 목표 화물의 대략적인 카테고리를 초보적으로 판단한다. 또한, 인류 감지 정보, 특히, 국부적인 돌출 영역의 종합적 인지를 도입하여, 보다 정확한 분류 결과를 제공함으로써, 검사 제안의 유효성을 향상시킨다.
도 1은, 본 발명의 실시예에 따른 검사 장비의 구성 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 검사 장비(100)는, X선 소스(110), 검출기(130), 데이터 수집 장치(150), 컨트롤러(140), 및 계산 수단(160)을 포함하고, 컨테이너 트럭과 같은 피검사 물체(120)에 대해 보안 검사를 진행하는 바, 예를 들어, 총/마약과 같은 위험품 및/또는 의심되는 물품이 포함되어 있는지 판단한다. 이 실시예에서는, 검출기(130)와 데이터 수집 장치(150)를 개별적으로 설명하고 있지만, 당업자라면, 이들을 집적화하여 X선 검출 및 데이터 수집 수단으로 구성할 수도 있음을 이해할 것이다.
일부 실시예에 의하면, 상기의 X선 소스(110)는 동위원소일 수도 있고, X선기 또는 가속기 등일 수도 있다. X선 소스(110)는, 싱글 에너지 타입일 수도 있고, 더블 에너지 타입일 수도 있다. 이렇게 하여, X선 소스(110)와 검출기(150) 및 컨트롤러(140)와 계산 수단(160)에 의해 피검사 물체(120)에 대해 투과 스캔을 진행하여, 검출 데이터를 얻는다. 예를 들어, 피검사 물체(120)의 행진 중에, 작업자는, 계산 수단(160)의 HMI(Human-Machine Interaction) 인터페이스를 이용하여, 컨트롤러(140)를 통해 명령을 보내어, X선 소스(110)가 X선을 방출하도록 명령하고, 피검사 물체(120)를 투과한 X선은 검출기(130) 및 데이터 수집장비(150)에 의해 접수됨과 동시에, 계산 수단(160)을 이용하여 데이터를 처리하여, 투과 이미지를 취득할 수 있고, 나아가서는, 트레이닝된 콘벌루션 신경망을 이용하여, 투과 이미지로부터 국부적인 투과 이미지를 표현하는 이미지 벡터(제1 벡터)를 생성하고, 트레이닝된 순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터(제2 벡터)를 생성한다. 그 다음, 계산 수단(160)은, 이미지 벡터 및 단어 벡터에 기초하여, 컨테이너 속의 화물이 속하는 카테고리를 판단한다. 예를 들어, 계산 수단(160)은, 제1 벡터와 제2 벡터를 통합하여, 투과 이미지와 문자적인 표현을 나타내는 제3 벡터를 얻고, 제3 벡터에 기초하여 상기 컨테이너 속의 화물이 속하는 카테고리를 판별한다.
도 2는, 도 1에 도시된 바와 같은 계산 수단의 구성 모식도를 나타낸다. 도 2에 도시된 바와 같이, 검출기(130)에 의해 검출된 신호는, 데이터 수집기에 의해 수집되고, 데이터는 인터페이스 유닛(167)과 버스(163)를 통해 메모리(161)에 저장된다. ROM(Read Only Memory)(162)에는, 컴퓨터 데이터 프로세서의 배치 정보 및 프로그램이 저장되어 있다. RAM(Random Access Memory)(163)은, 프로세서(165)의 동작 중에 일시적으로 각종 데이터를 저장한다. 또한, 메모리(161)에는, 예를 들어, 데이터 처리를 위한 물질 인식 프로그램이나 이미지 처리 프로그램 등과 같은 컴퓨터 프로그램이 더 저장되어 있다. 내부 버스(163)는 상기의 메모리(161), ROM(162), RAM(163), 입력 장치(164), 프로세서(165), 표시 장치(166) 및 인터페이스 유닛(167)을 연결한다.
사용자가 키보드나 마우스 등과 같은 입력 장치(164)를 이용하여 조작 명령을 입력한 후, 컴퓨터 프로그램의 명령 코드는, 프로세서(165)가 예정된 데이터 처리 알고리즘을 실행하도록 명령하고, 데이터 처리 결과를 취득한 후, 이를 LCD(Liquid Crystal Display) 디스플레이와 같은 표시 장치(167)에 표시하거나, 또는, 직접 프린터하는 등 하드 카피 방식으로 처리 결과를 출력한다.
도 3은, 본 발명의 실시예에 따른 검사 장비의 모식적인 블록 구성도이다. 도 3에 도시된 바와 같이, 본 발명의 실시예에 의하면, 검사 장비의 계산 수단(160)에는, 소프트웨어 프로그램이 설치되어 있어, 컨테이너 속의 화물의 투과 이미지 및 해당 화물을 설명하는 문자적인 정보에 기초하여, 화물의 카테고리, 예를 들어, HSCODE를 확정할 수 있다. 예를 들어, 콘벌루션 신경망에 기반한 이미지 이해 모듈(310)은 입력된 투과 이미지를 처리하여, 이미지 벡터를 얻는다. 순환 신경망이 기반한 텍스트 이해 모듈(320)은 입력된 텍스트 정보를 처리하여, 단어 벡터를 얻는다. 분석 및 러닝 모듈(330)은, 이미지 벡터 및 단어 벡터에 기초하여 화물이 속하는 카테고리를 확정한다.
도 4는, 본 발명의 실시예에 따른 검사 방법의 모식적인 흐름도이다. 도 4에 도시된 바와 같이, 단계 S410에 있어서, 예를 들어 도 1에 도시된 바와 같은 검사 장비를 이용하여 피검사 컨테이너에 대해 X선 스캔을 진행하여, 투과 이미지를 얻는다.
단계 S420에 있어서, 콘벌루션 신경망을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성한다. 예를 들어, 컨테이너 투과 이미지의 국부적인 영역을 입력으로 하여 콘벌루션 커널 풀링(Pooling) 조작을 진행한 후, 풀 콘벌루션 조작을 진행하고, 해당 투과 이미지의 벡터적 표현을 출력하여, 제1 벡터로 한다. 보다 구체적으로는, 컨테이너 투과 이미지의 국부적인 영역을 입력으로 하여, 5단의 콘벌루션, 풀링 조작(각 단은, 한 조의 콘벌루션 커널 및 하나의 풀링 레이어(Pooling Layer)에 대응되고, 콘벌루션 커널의 수 및 사이즈는 각각 독립적이다)을 진행한 후, 3 레이어의 풀 콘벌루션 조작을 더 진행함으로써, 네트웍은 하나의 해당 투과 이미지의 벡터적 표현을 출력할 수 있다. 상기의 실시예에 있어서, 5단의 콘벌루션과 3 레이어의 풀 콘벌루션 조작을 예로 들어 설명하였지만, 당업자라면, 다른 콘벌루션 신경망을 사용할 수 있음을 생각해낼 수 있을 것이다.
본 발명의 실시예에 의하면, 콘벌루션 신경망에 기반한 이미지 이해 모듈(310)은 X선 이미지의 화물 판별 및 분석을 책임진다. 실제 응용에 있어서, 해당 모듈(310)은, 주로 콘벌루션 네트웍을 이용한 화물 카테고리 판단과 대표적인 템플릿 매칭의 2개의 부분을 포함한다.
X선 화물 검사의 목적에 맞게, 국부적인 민감한 영역의 이미지는, 해당 카테고리의 화물의 풍부한 텍스처 정보를 포함하고 있다. 주로 텍스처 분석을 진행하는 카테고리 식별에 있어서는, 해당 영역에 대한 이해에 주목하면 된다. 콘벌루션 신경망의 화물 카테고리 판단에 있어서는, 특정된 국부적인 영역 이미지를 입력으로 하여, 다단의 메트릭 조작을 진행함으로써, 국부적인 영역 이미지의 벡터적 표현을 생성할 수 있고, 또한, 이 벡터를 이용하여 속하는 카테고리의 정보를 추정할 수 있다. 도 5에 도시된 바와 같이, 해당 정보는 화물 종류의 HSCODE와 이에 대응되는 신뢰 확률의 형태로 표현된다.
도 6은, 본 발명의 실시예에 있어서, 콘벌루션 신경망을 사용하여 화물의 카테고리를 판단하는 모식도이다. 본 발명의 실시예에 의하면, 콘벌루션 신경망이 사용하는 네트웍 구성은, VGG(Visual Geometry Group)-Net가 바람직하고, 당업자라면, 다른 실시예에 있어서, 이 구성에 한정되지 않음을 이해할 것이다. 콘벌루션 신경망의 입력은 화물의 X선 이미지의 국부적인 영역이고, 다단 콘벌루션, 풀링, 풀 커넥션(Full Connection) 등의 조작을 진행함으로써, 최종적으로 해당 이미지의 정보를 표현하기 위한 하나의 벡터를 얻을 수 있다.
콘벌루션 조작은, 아날로그 필터가 이미지의 정보를 충분히 추출하기 위해 이미지의 특징을 러닝하는 과정이다. 이미지의 콘벌루션 조작을 진행할 때, 복수의 서로 독립적이고 다른 콘벌루션 커널을 이용하게 되는데, 각 콘벌루션 커널은 각각 입력에 대해 콘벌루션 조작을 진행하고, 전부의 콘벌루션 결과를 다음 조작으로 전송한다.
풀링 조작은, 멀티 스케일 문제에 대한 알고리즘의 적응 능력을 효율적으로 향상시킬 수 있다. 여기서는, 최대 풀 샘플링 방법을 사용하는 것이 바람직하다. 구체적으로는, 콘벌루션을 진행한 후의 출력 메트릭을 각각 n*m 개의 그리드로 분할하고, 각 그리드에 대해, 그 중의 최대치를 해당 그리드의 출력치로 함으로써, 최종적으로는 하나의 사이즈 n*m의 메트릭을 얻을 수 있다. 이 메트릭은, 풀링 조작의 출력이다. 여기서, n 및 m는, 각각 그리드의 행 및 열의 수를 의미한다.
풀 커넥션 과정은, 멀티 레이어 콘벌루션, 풀링 조작을 거친 후의 출력 메트릭에 대해 벡터화를 진행함과 동시에, 풀 커넥션 메트릭을 이용하여 데이터에 대해 하나의 매핑 조작을 추가한다. 이는 러닝성을 향상시킴과 동시에, 출력 메트릭을 카테고리 수와 동일한 길이를 가진 하나의 벡터로 변환하여 표현할 수 있어, 후속적인 분류 조작을 편리하게 한다. 마지막으로, 이 벡터에 대해 확률화 처리를 진행하게 되는데, 여기서는, Softmax 함수를 사용한다. 즉, 벡터의 각 요소가 하나의 확률치를 나타내도록 하여, 피측정 목표가 어느 카테고리에 속하는 확률의 크기에 각각 대응되도록 한다. Softmax 함수의 확률화 공식은, 하기와 같이 표시될 수 있다.
Figure pct00001
여기서, v는 풀 커넥션을 진행한 후의 출력 벡터를 의미하고, vi는 v의 i번째 요소를 의미하고, k는 해당 벡터의 길이를 의미하고, ci는 i번째 카테고리를 의미하고, p(ci|v)는 입력으로부터 i번째 카테고리에 속한다고 예측되는 확률치이다. 이에 대응하여, 최대의 확률치를 가진 카테고리를 제1 단계의 예측 결과로 할 수 있다.
또한, 검사자의 경험의 차이에 따라, 일부 카테고리의 화물 이미지를 기억하는 정도에도 차이가 있을 수 있다. 이 경우, 도 7에 도시된 바와 같이, 대표적인 템플릿 매칭 기능은, 콘벌루션 신경망에 의해 제공된 HSCODE를 이용하여, 시각적으로 확인 가능한 해당 카테고리의 화물의 대표적인 텍스처 이미지 블록 데이터를 제공함으로써, 상기의 추정 정보가 신뢰 가능한 지 확인할 수 있다.
본 발명의 다른 실시예에 의하면, 콘벌루션 신경망에 의해 제공된 예측 결과에 따라, 대응하는 HSCODE를 가지는 대표적인 화물 이미지를 불러내서, 바둑판의 형태로 표시할 수 있다. 이에 대응하여, 검사자는 피검사 화물의 이미지와 대표적인 데이터를 비교함으로써, 보다 정확한 판단을 진행할 수 있다.
단계 S430에 있어서, 순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여, 제2 벡터로 한다. 예를 들어, 컨테이너 속의 화물의 문자적인 표현을 네트웍의 입력으로 하고, 단어 분류 조작을 진행하여 문자적인 표현을 리스트로 변환시킨다. 그 다음, 사전을 검색함으로써, 리스트 중의 각 단어의 벡터적 표현을 얻어 제2 벡터로 한다. 보다 구체적으로는, 검사자의 문자적인 표현을 네트웍의 입력으로 한다. 기본적인 단어 분류 조작을 진행하여, 한 구절의 문자적인 표현 문구를 대응하는 단어로 구성된 리스트(일부 실예에 있어서는, 중복되는 단어를 삭제하거나 또는 단어에 가중치를 부여할 수 있다)로 변환시킨다. 그 다음, 사전에 준비한 사전을 검색하여, 이를 단어 부호로 변환시키고, 리스트 중의 각 단어의 벡터적 표현을 추출한다. 그리고, 단어 리스트 중의 단어를 전후 순서에 따라 하나하나씩 LSTM(Long-Short Term Memory) 네트웍에 입력하여 예측을 진행한다. 리스트 중의 전부의 단어에 대해 순환 신경망 처리를 실행한 후, 텍스트 이해의 최종 벡터적 표현을 생성할 수 있다.
본 발명의 실시예에 의하면, 순환 신경망에 기반한 텍스트 이해 모듈(320)은, 문자적인 표현을 입력으로 하고, 시스템 처리를 진행하여 마지막에 문자적인 표현에 맞는 대표적인 이미지를 출력하여, 검사자를 위해 보다 인성화된 형태로 유효한 정보를 제공하여 판단을 진행하도록 한다. 해당 모듈은, 단어 분류 조작 부분, 단어 벡터 생성 부분, 대표적인 이미지 표시 부분 등을 포함한다.
도 8은, 본 발명의 실시예에 따른 방법에 사용되는 단어 벡터 공간 관계도이다. 문자 이해 모듈의 대표적인 이미지 표시 부분은, 주로 종래의 검사 시스템이 기본적으로 이미지를 입력으로 하고, 이미지에 대한 컴퓨터의 이해 능력에만 의뢰할 수 밖에 없고, 인류 감지 기능이 충분히 이용되지 못한 현실을 감안하여 도입한 것이다. 일부 특정적인 조건에 있어서, 검사자는 이미지가 어느 카테고리에 속하는지 판단하기 어려울 때가 있으며, 관련되는 텍스처, 형상 등의 설명에 의해 화물의 특징을 표현함으로써, 대표적인 종래의 이미지를 불러내서 비교할 수 밖에 없다. 종래의 검사 시스템을 사용할 경우, 검색어 정보를 제공할 필요가 있는데, 이는 간접적으로 검사자의 부담을 가중시킨다. 순환 신경망에 의해 표현에 대응되는 단어 벡터를 생성하게 되면, 자연적으로 유사한 단어에 대해 거리 러닝(도 8 참조)을 진행하는 능력을 갖게 되고, 결과적으로, 실제 조작을 진행할 때, 완전히 정확한 화물의 고정 검색어를 입력하지 않더라도 편리하게 그리고 정확하게 필요한 이미지를 검색할 수 있게 된다.
단어 분류 조작은, 구절(중국어일 경우, 특히 현저하게 나타남)을 데이터로서 입력하는 시스템의 전처리 조작이다. 종래의 속성 또는 검색어를 입력으로 하여 템플릿 데이터 검색을 진행하는 경우와 달리, 해당 모듈을 이용함으로써, 사용자는 구절 전체의 형태로 보다 유연하고 보다 완전하게 필요로 하는 정보를 입력할 수 있게 되지만, 구절을 기본적인 정보 단위로 하는 동작 방식은 복잡하고 효율이 낮기 때문에, 구절을 적당하게 단어 단위로 분해할 필요가 있다. 단어 분류 조작은, 언어에 대한 인류의 이해 방식을 모방하여, 사전을 이용하여 구절을 단어(어휘 또는 관용구)를 요소로 하는 배열(또는 벡터)로 분해하여 표현함으로써, 컴퓨터가 이해하기 쉽도록 한다.
텍스트 이해는, 자연 언어 처리 범주에 속하는 것으로, 단어 분류 기술은 텍스트 발굴의 기초이다. 특히, 중국어 입력에 있어서, 언어 구조 상의 특수성으로 인해, 중국어의 표현에 있어서는, 구절, 단락 등에 대한 명확한 표기만 있고, 개별적인 단어에 대한 명확한 표기가 적으므로, 문자적인 표현에 대한 명확한 구분이 텍스트 이해의 전제 조건으로 된다. 여기서는, 통계 및 머신 러닝에 기반한 방식을 통해 단어 분류 조작을 진행하는 것이 바람직하다. 실제 응용에 있어서는, 종래의 지식에 기초하여 하나의 사전을 구축하고, 단어 분류를 진행할 때도, 먼저 일부 룰에 따라 문자열의 매칭을 진행하고, 혼선의 여지가 있는 단어나 사전에 수록되어 있지 않는 단어에 대해서는 CRF(conditional random fields)의 방식으로 진행한다. 구체적으로는, 구절에 대해, 단어 위치(단어의 헤드, 중간, 마지막 및 서브 워드)에 따라 코멘트를 작성한 후, CRF를 통해 단어 분류 조작을 진행함과 동시에, 사전에 수록되어 있지 않는 신규 단어를 추가하여, 후속적인 매칭을 편리하게 한다.
단어 벡터는, 언어적인 표현을 컴퓨터가 이해 및 조작하기 쉬운 특징으로 변환하는 과정이고, 이 과정은 전적으로 순환 신경망에 의해 실현된다. 순환 신경망은, 선천적으로 서열화된 관련 데이터에 대한 처리 및 분석 능력을 가지고 있으며, 긴 단락의 정보를 몇 개의 핵심 요소로 종합할 수 있고, 서로 별로 관련이 없는 단어를 인류가 이해하기 쉬운 완전한 정보로 확충할 수도 있다. 이 시스템에 있어서, 단어 분류를 진행한 후의 데이터는 벡터의 형태로 네트웍에 입력되고, 마지막 단어의 처리가 끝날 때까지, 매번 하나의 단어에 대해 분석 및 러닝을 진행함으로써, 단어 벡터로 불리는 하나의 벡터적 표현을 생성할 수 있다. 이 벡터는 구절 전체의 정보를 포함하고 있으며, 이 벡터를 이용함으로써, 어투에 맞는 대표적인 이미지를 검색할 수 있고, 또는, 후속적인 카테고리 판정을 진행할 수 있다.
단어 벡터는, 단어 분류 조작을 거친 문자적인 표현을 벡터화하는 과정이다. 여기서는, LSTM(Long-Short Term Memory) 순환 신경망을 통해 진행하는 것이 바람직하다. 구체적인 동작으로서는, 우선, 문자적인 표현 중의 각 단어를 하나의 벡터로 변환시키고, 이때, one-hot를 이용하여 코딩을 진행할 수도 있고, 또는, 행의 수가 사전의 단어 수이고, 열의 수가 지정된 크기인 매핑 메트릭을 이용하여 변환할 수도 있는데, 여기서는, 후자를 이용하는 것이 바람직하다.
도 9는, 본 발명의 실시예에 따른 방법에 사용되는 순환 신경망의 단위 구성도이다. 전부의 단어를 벡터화한 후, 이들을 문자적인 표현의 전후 순서에 따라 역순서 조작을 진행하고, 그 다음, 순차적으로 매번 하나의 단어의 초기 벡터를 선택하고, 순서에 따라 LSTM의 네트웍 유닛에 입력한다. LSTM 유닛의 계산 과정은, 하기와 같이 표시할 수 있다.
Figure pct00002
여기서, xt는 t번째 단어의 초기 벡터를 의미하고, ht- 1는 앞의 LSTM 유닛의 출력이고, W는 가중치 메트릭으로서, 앞의 샘플을 이용하여 사전에 트레이닝된 파라미터 메트릭이고, it, ct, ft 및 ot는 t번째 단어의 네트웍 중간 상태이고, mt- 1는 앞의 단어의 중간 상태의 전달치이고, sigmoid() 및 tanh()는 활성화 함수이고, mt는 t번째 단어의 상태 전달치이고, ht는 앞의 t개의 단어로부터 생성된 단어 벡터이고, 입력된 문자적인 표현이 합계 k개의 단어를 포함한다고 가정하면, k번의 LSTM 유닛의 처리를 진행함으로써, 최종적으로 해당 설명 정보를 포함한 하나의 최종 단어 벡터 hk를 생성하게 된다.
문자적인 표현의 대표적인 이미지 표시 부분은, 종래 시스템에 있어서 이미지 이해를 검사 시스템이 결과를 제공하고, 유사한 표시를 진행하는 유일한 표준으로 삼는 것을 변경하여, 문자를 이용하여 검사자의 감지를 구체화한다. 우선, 대표적인 이미지 템플릿 데이터에 대해 인위적으로 표현 정보에 대한 코멘트를 달고, 그 다음, BOW(Bag of Words) 방법을 이용하여 코멘트를 단 정보를 분류함으로써, 각 카테고리의 이미지의 하나의 BOW 특징을 얻을 수 있다. 사용할 때는, 검사자에 의해 입력된 문자적인 표현을 벡터화하여 표현한 후, 이 벡터와 대표적인 이미지의 BOW 특징과의 관련성 계산을 진행한다. 그리고, 관련성이 가장 높은 3개의 BOW 특징에 대응하는 카테고리를 선출하여, 해당 카테고리의 대표적인 이미지를 추출하여 시각적으로 확인 가능하게 표시한다.
단계 S440에 있어서, 제1 벡터와 제2 벡터를 통합하여, 투과 이미지 및 문자적인 표현을 나타내는 제3 벡터를 얻는다. 단계 S450에 있어서, 제3 벡터에 기초하여, 컨테이너 속의 화물이 속하는 카테고리를 판별한다. 예를 들어, 확률 함수(예를 들어, Softmax 함수)에 기초하여 제3 벡터로부터 컨테이너 속의 화물이 어느 카테고리에 속하는 것을 의미하는 확률치를 생성하고, 가장 큰 확률치를 가진 카테고리를 화물이 속하는 카테고리로 판정한다.
도 10은, 본 발명의 실시예에 있어서 이미지 벡터와 단어 벡터로부터 카테고리 정보를 생성하는 모식도이다. 도 10에 도시된 바와 같이, 분석 및 트레이닝 모듈(330)은, 컴퓨터의 이미지 이해 능력과 인류 감지 능력을 조합함으로써, 보다 정확하게 검사 임무를 완성할 수 있는 신규 수단이다. 콘벌루션 신경망에 기반한 이미지 이해 모듈 및 콘벌루션 신경망에 기반한 문자 이해 모듈은, 개별적으로 이미지 또는 문자적인 표현에 대한 분석을 진행하여, 대응되는 결과를 제공할 수 있고, 종합 분석 및 트레이닝 모듈은, 양자의 능력을 조합하여, 이미지 이해 부분의 이미지 벡터와 문자 이해 부분의 단어 벡터를 병합하고, 나아가서는, 공동 분석의 과정을 거침으로써, 서로 러닝하는 과정을 완성할 수 있을뿐더러, 출력은 보다 정확한 예측 결과가 될 수 있다.
본 발명의 실시예에 의하면, 여기까지는, 콘벌루션 신경망에 기반한 이미지 이해 모듈 및 순환 콘벌루션 네트웍에 기반한 문자 이해 모듈은, 여전히 개별적으로 이미지 및 문자적인 표현에 대해 각각 화물 검사의 기능을 발휘하고 있지만, 이 시스템의 종합 분석 및 트레이닝 모듈은 양자를 효과적으로 조합하여, 검사자를 보조하여 보다 효율적으로 검사의 목적을 달성할 수 있다.
예를 들어, 이미지 이해를 위한 콘벌루션 네트웍 및 문자 이해를 위한 순환 네트웍에 대해 개별적으로 트레이닝을 진행하고, 이들의 손실을 각각 계산함으로써, 2개의 네트웍의 초기의 러닝을 진행할 수 있고, 그 다음, 콘벌루션 네트웍의 이미지를 통해 표현되는 벡터와 순환 네트웍이 출력한 단어 벡터를 통합하고, 나아가서는, 투영 매핑을 진행한 후, Softmax 함수를 이용하여 2개의 네트웍을 조합하여 얻어지는 예측 카테고리를 얻는다. 이렇게 함으로써, 2개의 종류의 정보를 효과적으로 조합할 수 있고, 또한, 트레이닝 단계에 있어서, 2개의 네트웍은 공동 트레이닝의 과정을 거치게 되므로, 피드백을 통해 조절을 진행할 때, 어느 한 네트웍의 조절에도 다른 네트웍의 간섭 및 조절이 존재하게 되므로, 시스템 전체의 러닝성을 향상시킬 수 있다.
보다 구체적으로는, 이미지 이해를 위한 콘벌루션 신경망에서는, 컨테이너의 투과 이미지의 국부적인 영역을 VGG 네트웍의 입력으로 하고, 5단의 콘벌루션, 풀링 조작(각 단은, 한 조의 콘벌루션 커널 및 하나의 풀링 레이어(Pooling Layer)에 대응되고, 콘벌루션 커널의 수 및 사이즈는 각각 독립적이다)을 진행한 후, 3 레이어 풀 콘벌루션 조작을 더 진행하고, 마지막 하나의 콘벌루션 레이어의 출력은, 해당 투과 이미지의 벡터적 표현(I)으로 된다. 텍스트 이해를 위한 순환 신경망에서는, 검사자의 문자적인 표현을 네트웍의 입력으로 하고, 기본적인 단어 분류 조작을 진행하여, 한 구절의 문자적인 표현 문구를 대응하는 단어로 구성된 리스트(여기서는, 중복되는 단어를 삭제하거나 또는 단어에 가중치를 부여할 수 있다)로 변환시키고, 그 다음, 사전에 준비된 사전을 검색하는 조작을 통해, 이들을 단어 부호로 변환시키고, 리스트 중의 각 단어의 벡터적 표현을 추출한 후, 단어 리스트 중의 단어를 전후 순서에 따라 하나하나씩 LSTM 네트웍에 입력하고, 리스트 중의 전부의 단어에 대해 순환 신경망 처리를 실행한 후, 하나의 최종적인 텍스트 이해의 벡터적 표현(T)을 생성할 수 있다. 이어서, 이미지의 벡터적 표현(I)과 텍스트의 벡터적 표현(T)을 하나의 벡터로 합성하고, 나아가서, 2 레이어 풀 콘벌루션 네트웍을 거친 후, Softmax 레이어를 이용하여 카테고리 예측을 진행한다. 이렇게 되면, 이미지와 텍스트 정보를 조합한 컨테이너 속의 화물의 카테고리 예측 제시 기능을 실현할 수 있다. 네트웍 트레이닝 및 러닝 과정에 있어서는, SGD(Stochastic Gradient Descent), BGD(Stochastic Gradient Descent) 등의 방법을 사용하여 러닝 네트웍의 파라미터를 최적화할 수 있다. 전반적인 네트웍 구조는, 각자(이미지, 텍스트)의 처리 네트웍을 포함하고, 2개의 종류의 정보를 조합한 공동 러닝 과정도 포함하며, 각 네트웍을 조절할 때는, 어느 정도로 다른 네트웍의 간섭과 조절을 받게 되고, 이는 이 시스템의 정보 이용 및 러닝성을 향상시킨다.
상기의 실시예에 의하면, 컴퓨터의 데이터 분석 능력 및 이미지 이해 능력을 이용하여, 목표 화물의 대략적인 카테고리를 초보적으로 판단한다. 또한, 인류 감지 정보, 특히, 국부적인 돌출 영역의 종합적 인지를 도입하여, 보다 정확한 분류 결과를 제공함으로써, 검사 제안의 유효성을 향상시킬 수 있다.
이상의 상세한 설명에 있어서, 모식도, 흐름도 및/또는 예시를 통해, 검사 장비 및 방법에 따른 다수의 실시예를 설명하였다. 이와 같은 모식도, 흐름도 및/또는 예시가 하나 또는 복수의 기능 및/또는 조작을 포함할 경우, 당업자라면, 이와 같은 모식도, 흐름도 또는 예시 중의 각 기능 및/또는 조작이 여러 가지 구성, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 실질적인 임의의 조합에 의해 개별적으로 및/또는 공동으로 실현될 수 있음을 이해할 것이다. 일 실시예에 있어서, 본 발명의 실시예에 기재된 주제의 몇 개 부분은, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), DSP(Digital Signal Processing), 또는 기타 집적 포맷을 통해 실현할 수 있다. 그러나, 당업자라면, 여기서 개시된 실시예의 일부 측면이 전체적으로 또는 부분적으로 집적 회로를 통해 등가적으로 실현될 수 있음을 이해할 것이다. 하나 또는 복수의 컴퓨터에서 실행되는 하나 또는 복수의 컴퓨터 프로그램(예를 들어, 하나 또는 복수의 컴퓨터 시스템에서 실행되는 하나 또는 복수의 프로그램)을 통해 실현할 수도 있고, 하나 또는 복수의 프로세스에서 실행되는 하나 또는 복수의 프로그램(예를 들어, 하나 또는 복수의 마이크로 프로세스에서 실행되는 하나 또는 복수의 프로그램)을 통해 실현할 수도 있고, 펌웨어를 통해 실현할 수도 있고, 또는, 실질적으로 상기 형태의 임의의 조합을 통해 실현할 수도 있다. 또한, 당업자라면, 본 발명에 기초하여, 회로의 설계 및/또는 소프트웨어 및/또는 펌웨어 코드를 작성할 수 있는 능력을 가진다. 또한, 당업자라면, 본 발명에 기재된 주제의 메카니즘이 여러 가지 형태의 프로그램 제품을 통해 배포될 수 있고, 또한, 실제적으로 배포를 실행하는 신호 캐리어 매체의 구체적인 유형과 관계없이, 본 발명에 기재된 주제의 예시적인 실시예는 여전히 적용 가능함을 이해할 것이다. 신호 캐리어 매체의 예로는, 예를 들어, FD(Floppy Disk), HDD, CD(Compact Disc), DVD(Digital Versatile Disc), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록 가능한 기록 매체와 디지털 및/또는 아날로그 통신 매체(예를 들어, 파이버 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은 전송 매체를 포함할 수 있는데, 이에 한정되지는 않는다.
이상에서는, 본 발명의 몇 개의 대표적인 실시예를 참조하여 본 발명을 설명하였으나, 사용된 용어는 설명 및 예시를 위한 것으로, 본 발명을 한정하기 위한 것은 아니다. 본 발명은, 발명의 정신 및 취지를 이탈하지 않는 범위에서, 여러 가지 형태로 구체적으로 실시할 수 있으므로, 상기의 실시예는, 상술한 세부적인 특징에 한정되지 않고, 청구의 범위에 의해 한정된 정신 및 범위 내에서 폭 넓게 해석하여야 한다. 따라서, 청구의 범위 또는 이와 균등한 범위 내에서의 모든 변경이나 수정도 첨부의 청구의 범위에 속한다.

Claims (11)

  1. 피검사 컨테이너에 대해 X선 스캔을 진행하여 투과 이미지를 얻는 단계;
    콘벌루션 신경망을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성하는 단계;
    순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여 제2 벡터로 하는 단계;
    상기 제1 벡터와 상기 제2 벡터를 통합하여, 상기 투과 이미지와 상기 문자적인 표현을 나타내는 제3 벡터를 얻는 단계; 및
    상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하는 단계
    를 포함하는, 컨테이너를 검사하는 방법.
  2. 제1항에 있어서,
    상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하는 단계는,
    확률 함수에 기초하여, 상기 제3 벡터로부터 컨테이너 속의 화물이 어느 카테고리에 속하는 것을 의미하는 확률치를 생성하는 단계; 및
    최대 확률치를 가지는 카테고리를 상기 화물이 속하는 카테고리로 판정하는 단계
    를 더 포함하는, 컨테이너를 검사하는 방법.
  3. 제2항에 있어서,
    판별된 카테고리에 따라, 사용자에게 상기 카테고리에 관련된 대표적인 투과 이미지를 표시하는 단계를 더 포함하는, 컨테이너를 검사하는 방법.
  4. 제1항에 있어서,
    단어 벡터를 생성하는 단계는,
    상기 컨테이너 속의 화물의 문자적인 표현에 대해 단어 분류 조작을 진행하는 단계; 및
    단어 분류 조작을 거친 후의 문자적인 표현을 벡터화하여, 상기 단어 벡터를 얻는 단계
    를 포함하는, 컨테이너를 검사하는 방법.
  5. 제4항에 있어서,
    상기 단어 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하는 단계; 및
    사용자에게 검색된 대표적인 투과 이미지를 표시하는 단계
    를 더 포함하는, 컨테이너를 검사하는 방법.
  6. 제1항에 있어서,
    상기 제1 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하는 단계; 및
    사용자에게 검색된 대표적인 투과 이미지를 표시하는 단계
    를 더 포함하는, 컨테이너를 검사하는 방법.
  7. 피검사 컨테이너에 대해 X선 스캔을 진행하여 투과 이미지를 얻는 X선 검사 시스템;
    상기 투과 이미지를 저장하는 메모리; 및
    콘벌루션 신경망을 이용하여 투과 이미지로부터 국부적인 투과 이미지를 표현하는 제1 벡터를 생성하고,
    순환 신경망을 이용하여 컨테이너 속의 화물의 문자적인 표현으로부터 단어 벡터를 생성하여 제2 벡터로 하고,
    상기 제1 벡터와 상기 제2 벡터를 통합하여, 상기 투과 이미지와 상기 문자적인 표현을 나타내는 제3 벡터를 얻고,
    상기 제3 벡터에 기초하여, 상기 컨테이너 속의 화물이 속하는 카테고리를 판별하도록
    배치된 프로세서
    를 포함하는, 검사 장비.
  8. 제7항에 있어서,
    상기 프로세서는,
    확률 함수에 기초하여, 상기 제3 벡터로부터 컨테이너 속의 화물이 어느 카테고리에 속하는 것을 의미하는 확률치를 생성하고,
    최대 확률치를 가지는 카테고리를 상기 화물이 속하는 카테고리로 판정하도록
    배치되는, 검사 장비.
  9. 제8항에 있어서,
    상기 프로세서는, 나아가서, 판별된 카테고리에 따라, 사용자에게 상기 카테고리에 관련된 대표적인 투과 이미지를 표시하도록 배치되는, 검사 장비.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 컨테이너 속의 화물의 문자적인 표현에 대해 단어 분류 조작을 진행하고,
    단어 분류 조작을 거친 후의 문자적인 표현을 벡터화하여, 단어 벡터를 얻도록
    배치되는, 검사 장비.
  11. 제10항에 있어서,
    상기 프로세서는, 나아가서,
    상기 단어 벡터에 기초하여, 대표적인 투과 이미지 데이터 베이스로부터 대응하는 대표적인 투과 이미지를 검색하고,
    사용자에게 검색된 대표적인 투과 이미지를 표시하도록
    배치되는, 검사 장비.
KR1020197033257A 2017-04-14 2018-04-13 검사 방법 및 검사 장비 KR20190139254A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710243591.9 2017-04-14
CN201710243591.9A CN108734183A (zh) 2017-04-14 2017-04-14 检查方法和检查设备
PCT/CN2018/083012 WO2018188653A1 (zh) 2017-04-14 2018-04-13 检查方法和检查设备

Publications (1)

Publication Number Publication Date
KR20190139254A true KR20190139254A (ko) 2019-12-17

Family

ID=63792302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033257A KR20190139254A (ko) 2017-04-14 2018-04-13 검사 방법 및 검사 장비

Country Status (5)

Country Link
EP (1) EP3611666A4 (ko)
JP (1) JP2020516897A (ko)
KR (1) KR20190139254A (ko)
CN (1) CN108734183A (ko)
WO (1) WO2018188653A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522913B (zh) * 2017-09-18 2022-07-19 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
CN111461152B (zh) * 2019-01-21 2024-04-05 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN110472728B (zh) * 2019-07-30 2023-05-23 腾讯科技（深圳）有限公司 目标信息确定方法、目标信息确定装置、介质及电子设备
CN113496046B (zh) * 2021-01-18 2024-05-10 华翼(广东)电商科技有限公司 一种基于区块链的电商物流系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174554A1 (en) * 2005-05-11 2009-07-09 Eric Bergeron Method and system for screening luggage items, cargo containers or persons
CA2849398C (en) * 2011-09-07 2020-12-29 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
CN104567758B (zh) * 2013-10-29 2017-11-17 同方威视技术股份有限公司 立体成像系统及其方法
CN104751163B (zh) * 2013-12-27 2018-06-19 同方威视技术股份有限公司 对货物进行自动分类识别的透视检查系统和方法
CN105784732B (zh) * 2014-12-26 2019-02-22 同方威视技术股份有限公司 检查方法和检查系统
CN105808555B (zh) * 2014-12-30 2019-07-26 清华大学 检查货物的方法和系统
JP6543986B2 (ja) * 2015-03-25 2019-07-17 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
CN105574133A (zh) * 2015-12-15 2016-05-11 苏州贝多环保技术有限公司 一种多模态的智能问答系统及方法
CN105975457A (zh) * 2016-05-03 2016-09-28 成都数联铭品科技有限公司 基于全自动学习的信息分类预测系统
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置

Also Published As

Publication number Publication date
EP3611666A1 (en) 2020-02-19
WO2018188653A1 (zh) 2018-10-18
CN108734183A (zh) 2018-11-02
JP2020516897A (ja) 2020-06-11
EP3611666A4 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
KR20190139254A (ko) 검사 방법 및 검사 장비
KR101811270B1 (ko) 화물을 검사하는 방법 및 그 시스템
CN109447078A (zh) 一种自然场景图像敏感文字的检测识别方法
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
KR102240058B1 (ko) 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
CN111582225B (zh) 一种遥感图像场景分类方法及装置
CN112597038B (zh) 软件缺陷预测方法及系统
Menshawy Deep Learning By Example: A hands-on guide to implementing advanced machine learning algorithms and neural networks
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN116643989A (zh) 一种采用图结构进行深层语义理解的缺陷预测方法
CN113065356A (zh) 一种基于语义分析算法的it设备运维故障建议处理方法
Yang et al. Uncertainty quantification and estimation in medical image classification
Soltanian et al. Covid-19 recognition from cough sounds using lightweight separable-quadratic convolutional network
CN115965818A (zh) 一种基于相似度特征融合的小样本图像分类方法
CN115130591A (zh) 一种基于交叉监督的多模态数据分类方法及装置
Bharambe et al. Used car price prediction using different machine learning algorithms
KR102172727B1 (ko) 설비 결함 검출 장치 및 방법
US20050021338A1 (en) Recognition device and system
CN115391523A (zh) 风电场多源异构数据处理方法及装置
CN114882409A (zh) 一种基于多模态特征融合的智能暴力行为检测方法及装置
Marques et al. Detection of covid-19 in computed tomography images using deep learning
Dadvar Poem: Pattern-oriented explanations of CNN models
CN112102285A (zh) 一种基于多模态对抗训练的骨龄检测方法
CN116503674B (zh) 一种基于语义指导的小样本图像分类方法、装置及介质
CN115861720B (zh) 一种小样本亚类图像分类识别方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application