KR102325017B1 - 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 - Google Patents
딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 Download PDFInfo
- Publication number
- KR102325017B1 KR102325017B1 KR1020200031849A KR20200031849A KR102325017B1 KR 102325017 B1 KR102325017 B1 KR 102325017B1 KR 1020200031849 A KR1020200031849 A KR 1020200031849A KR 20200031849 A KR20200031849 A KR 20200031849A KR 102325017 B1 KR102325017 B1 KR 102325017B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cargo
- cargo identification
- identification model
- learning
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims description 11
- 230000005855 radiation Effects 0.000 claims abstract description 68
- 238000007689 inspection Methods 0.000 claims abstract description 38
- 238000010191 image analysis Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000333 X-ray scattering Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004081 narcotic agent Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G01V5/222—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of nuclear radiation, e.g. of natural or induced radioactivity
- G01V5/0008—Detecting hidden objects, e.g. weapons, explosives
- G01V5/0016—Active interrogation, i.e. using an external radiation source, e.g. using pulsed, continuous or cosmic rays
- G01V5/0025—Measuring scattered radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/05—Investigating materials by wave or particle radiation by diffraction, scatter or reflection
- G01N2223/053—Investigating materials by wave or particle radiation by diffraction, scatter or reflection back scatter
Abstract
본 발명의 일 측면에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치는, 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상을 획득하는 영상 획득부; 상기 제1 영상 및 제2 영상 중 적어도 하나를 포함하는 검사 대상 영상을 결정하는 영상 처리부; 및 미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하여, 상기 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함하는 화물 식별 정보를 생성하는 영상 분석부;를 포함한다.
Description
본 발명은 화물 식별 기술에 관한 것으로, 보다 상세하게는, 공항, 항구 등에서 수행되는 화물 검사에 활용될 수 있는 화물 검사 기술로서, 화물 검사에 대한 시간 효율성 및 식별 정확도를 보다 향상시킬 수 있는 기술에 관한 것이다.
공항이나 항구 등에서 화물 또는 컨테이너와 같은 대형, 대량의 화물이 통관되는 경우, 통관 관련 작업자가 일일이 육안으로 검사하는 것은 현실적으로 한계가 있다. 이러한 문제점을 해결하기 위하여, 한국 등록특허공보 제1,778,503 등과 같은 선행 기술에서는 1차적으로 방사선 검사 장치를 이용한 화물 식별 작업이 수행되되, 이후 위험물로 식별되거나 신고되지 않은 물품이 적재되어 있다고 판단되는 경우, 작업자가 화물 개폐 작업을 진행할 수 있도록 관련 정보를 제공함으로써, 화물 검사의 시간 효율성을 향상시키고 있다.
그러나, 이러한 종래 기술에 따르면, 검시관이 방사선 영상을 기초로 신고되지 않은 물품이나 위험 물품이 화물에 포함되어 있는지 여부를 식별함에 따라, 식별 정확도에 한계가 있으며, 이에 불필요한 개폐 작업이 이루어짐에 따라 시간 효율 측면에서 단점이 있었다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 화물 검사에 대한 시간 효율성 및 식별 정확도를 보다 향상시킬 수 있는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법을 제공하고자 한다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예들을 통하여 보다 명확해 질 것이다.
본 발명의 일 측면에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치는, 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상을 획득하는 영상 획득부; 상기 제1 영상 및 제2 영상 중 적어도 하나를 포함하는 검사 대상 영상을 결정하는 영상 처리부; 및 미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하여, 상기 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함하는 화물 식별 정보를 생성하는 영상 분석부;를 포함한다.
일 실시예에서, 상기 영상 처리부는 상기 화물과 관련된 적하 목록에 기초하여, 상기 제1 영상 또는 제2 영상 중 어느 하나를 상기 검사 대상 영상으로 결정할 수 있다.
일 실시예에서, 상기 영상 분석부는 복수의 객체에 대한 방사선 산란 영상 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델; 및 복수의 객체에 대한 방사선 투과 영상 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델;을 포함할 수 있다.
일 실시예에서, 상기 영상 분석부는 상기 방사선 산란 영상에서 적어도 하나의 제1 객체 영역을 결정하여 제1 학습 영상을 생성하고, 상기 방사선 투과 영상에서 상기 적어도 하나의 제1 객체 영역에 대응하는 제2 객체 영역을 결정하여 제2 학습 영상을 생성할 수 있다.
일 실시예에서, 상기 영상 처리부는 상기 제1 영상 및 제2 영상을 정합한 제3 영상을 생성할 수 있다.
일 실시예에서, 상기 영상 처리부는 상기 화물과 관련된 적하 목록에 기초하여, 상기 제1 영상. 제2 영상 및 제3 영상 중 적어도 하나를 상기 검사 대상 영상으로 결정할 수 있다.
일 실시예에서, 상기 영상 분석부는 복수의 객체에 대한 방사선 산란 영상 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델; 복수의 객체에 대한 방사선 투과 영상 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델; 및 복수의 객체 각각에 대한 방사선 산란 영상과 방사선 투과 영상이 정합된 복합 영상 및 객체 식별 정보에 기초하여 학습된 제3 화물 식별 모델;을 포함할 수 있다.
일 실시예에서, 상기 영상 분석부는 상기 방사선 산란 영상에서 적어도 하나의 제1 객체 영역을 결정하여 제1 학습 영상을 생성하고, 상기 방사선 투과 영상에서 상기 적어도 하나의 제1 객체 영역에 대응하는 제2 객체 영역을 결정하여 제2 학습 영상을 생성하고, 상기 제1 학습 영상 및 제2 학습 영상을 정합한 제3 학습 영상을 생성할 수 있다.
일 실시예에서, 상기 영상 분석부는 상기 검사 대상 영상의 분석 결과, 상기 화물에 위험 물체가 포함되어 있는 것으로 나타나는 경우, 상기 화물 내부에서 상기 위험 물체의 위치를 나타내는 위험 물체 위치 정보를 생성할 수 있다.
본 발명의 다른 일 측면에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 방법은, 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상을 획득하는 단계; 상기 제1 영상 및 제2 영상 중 적어도 하나를 포함하는 검사 대상 영상을 결정하는 단계; 및 미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하여, 상기 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함하는 화물 식별 정보를 생성하는 단계;를 포함한다.
본 발명에 따르면, 상이한 방식으로 획득되는 이종의 방사선 영상을 학습한 화물 식별 모델을 이용하여, 검사 대상인 화물에 포함되는 물품의 종류 및 위험 여부를 식별함으로써, 화물 검사에 대한 시간 효율성 및 식별 정확도를 보다 향상시킬 수 있다.
도 1 및 2는 본 발명에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치를 설명하기 위한 블록도이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다.
도 6 내지 7은 본 발명의 다른 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다.
도 6 내지 7은 본 발명의 다른 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치는 화물, 컨테이너, 차량 등 다양한 검사 대상물(이하, 피검물)에 대한 비파괴 검사를 위한 장치로, 항만, 출입국 관리소 등 화물 검사를 위한 다양한 장소에 배치되어 이하 설명하는 동작을 수행할 수 있다.
이하에서는, 도 1 내지 도 7을 참조하여, 본 발명 및 본 발명의 다양한 실시예에 따른 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치의 동작에 대하여 상세하게 설명한다.
도 1 및 2는 본 발명에 따른 딥러닝 기반의 화물 식별 모델(이하, 화물 식별 장치)을 이용한 화물 식별 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 화물 식별 장치(100)는 화물에 대한 방사선 영상(10)을 입력받아, 딥러닝 기반의 화물 식별 모델을 이용해 방사선 영상(10)을 분석하여, 화물 식별 정보를 분석 결과로 출력하는 장치이다. 여기에서, 화물 식별 장치(100)는 영상 처리 및 분석을 위한 프로세서 및 메모리를 포함하는 컴퓨팅 장치에 해당할 수 있다.
일 실시예에서, 화물 식별 장치(100)는 상이한 방식으로 획득되는 이종의 방사선 영상을 분석 대상 영상으로서 입력받을 수 있으며, 이종의 방사선 영상은 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상(11)과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상(12)을 포함할 수 있다. 즉, 본 발명에 따른 화물 식별 장치(100)는 화물에 대한 방사선 후방 산란 영상 및 방사선 투과 영상을 분석하여 화물 식별 정보를 생성할 수 있다.
도 2를 참조하면, 화물 식별 장치(100)는 영상 획득부(110), 영상 처리부(120), 영상 분석부(130), 결과 출력부(140) 및 제어부(150)를 포함하여 구성될 수 있다.
영상 획득부(110)는 화물에 대한 방사선 영상을 획득한다. 여기에서, 영상 획득부(110)는 방사선 영상 생성 장치(미도시)와 연결될 수 있으며, 방사선 영상 생성 장치로부터 화물에 대한 방사선 영상을 획득할 수 있다.
일 실시예에서, 방사선 영상 생성 장치는 방사선 소스 및 디텍터를 포함하여 구성될 수 있다. 여기에서, 방사선 소스는 X 선 소스에 해당할 수 있으며, 화물에 대한 X선 투과 영상 및 X선 산란 영상을 생성할 수 있다.
일 실시예에서, 영상 획득부(110)는 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상(11)과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상(12)을 획득할 수 있다. 즉, 영상 획득부(110)는 화물에 대한 방사선 산란 영상(11) 및 방사선 투과 영상(12)을 획득할 수 있다.
영상 처리부(120)는 영상 획득부(110)에 의하여 획득된 제1 영상(11) 및 제2 영상(12) 중 적어도 하나를 포함하는 검사 대상 영상을 결정한다. 보다 구체적으로, 영상 처리부(120)는 방사선 산란 영상(11) 또는 방사선 투과 영상(12) 어느 하나를 검사 대상 영상으로 결정하거나, 방사선 산란 영상(11) 및 방사선 투과 영상(12)을 모두 검사 대상 영상으로 결정할 수 있다.
일 실시예에서, 영상 처리부(120)는 화물과 관련된 적하 목록에 기초하여, 제1 영상(11) 또는 제2 영상(12) 중 어느 하나를 검사 대상 영상으로 결정할 수 있다. 보다 구체적으로, 물체의 종류 및 성분에 따라 특정 방식의 방사선 영상이 식별 정확도가 높을 수 있다. 이에, 영상 처리부(120)는 해당 화물에 관하여 사전 신고된 적하 목록을 확인하고, 적하 목록에 포함된 물품의 종류 또는 성분에 적합한 방사선 영상의 종류(산란 영상 또는 투과 영상)를 검사 대상 영상으로 결정할 수 있다. 여기에서, 물품의 종류 또는 성분마다 최적의 방사선 영상의 종류가 매칭된 매칭 정보가 기저장될 수 있으며, 영상 처리부(120)는 기정의된 매칭 정보를 확인하여 최적의 검사 대상 영상을 결정할 수 있다.
영상 분석부(130)는 영상 처리부(120)에 의하여 결정된 검사 대상 영상을 분석하여 화물 식별 정보를 생성한다. 여기에서, 영상 분석부(130)는 미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 검사 대상 영상을 분석함으로써 화물 식별 정보를 생성할 수 있다. 한편, 본 발명에 따른 화물 식별 모델에 대한 상세한 설명은 후술한다.
일 실시예에서, 화물 식별 정보는 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함할 수 있다. 보다 구체적으로, 화물 식별 정보는 화물에 포함된 물품의 종류(예 : 칼, 폭발물, 마약 등), 또는 화물에 위험물이 포함되어 있는지 여부(예 : 위험물 포함 또는 위험물 미포함), 또는 화물의 위험도(예 : 위험도 80%) 등의 정보를 포함할 수 있다.
일 실시예에서, 영상 분석부(130)의 검사 대상 영상에 대한 분석 결과, 화물에 위험 물체가 포함되어 있는 것으로 나타나는 경우, 영상 분석부(130)는 화물 내부에서 해당 위험 물체의 위치를 나타내는 위험 물체 위치 정보를 생성할 수 있다. 여기에서, 위험 물체 위치 정보는 화물 식별 정보에 포함될 수 있다.
일 실시예에서, 위험 물체 위치 정보는 화물 내부에 위험 물체가 위치하는 지점을 나타내는 정보를 의미할 수 있으며, 예를 들어, [화물 좌측 상부]와 같은 텍스트의 형태로 구현되거나, 해당 화물에 대한 방사선 영상 상에서 해당 위험 물체가 위치하는 영역에 특정 색상으로 표시되는 식별자로 구현될 수 있다. 한편, 이러한 예시는 본 발명의 권리범위를 한정하고자 하는 것은 아니며, 본 발명에 따른 위험 물체 위치 정보는 위험 물체의 위치를 나타내는 다양한 형태로 구현될 수 있음은 물론이다.
결과 출력부(140)는 영상 분석부(130)에 의하여 생성된 화물 식별 정보를 외부 장치 또는 시스템으로 출력한다. 일 실시예에서, 결과 출력부(140)는 검시자 단말, 개폐 작업을 수행하는 작업자 단말, 화주 단말, 항만 운영 정보 시스템 및 통합 위험 관리 시스템 중 적어도 하나에 화물 식별 정보를 송신할 수 있다. 여기에서, 화물 식별 정보가 개폐 작업을 수행하는 작업자 단말로 전송되는 경우, 화물에 대한 개폐 작업이 선별적으로 이루어짐에 따라 검사 효율이 향상될 수 있으며, 특히, 화물 식별 정보에 위험 물체 위치 정보가 포함되는 경우 개폐 작업 효율이 더욱 향상될 수 있다.
제어부(150)는 영상 획득부(110), 영상 처리부(120), 영상 분석부(130) 및 결과 출력부(140)의 동작 및 데이터의 흐름을 제어할 수 있다.
이하에서는, 도 3 내지 5를 참조하여, 본 발명의 일 실시예에 따른 화물 식별 모델을 보다 상세하게 설명한다. 도 3 내지 5는 본 발명의 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다. 한편, 도 5에 도시된 방사선 산란 영상(21) 및 방사선 투과 영상(22)는 본 발명의 기술적 사상을 보다 명확하게 설명하고자 참조된 예시 이미지(출처 : Dan-Cristian Dinca, Jeffrey R. Schubert, J. Callerame, "X-ray backscatter imaging" Proc. SPIE 6945, Optics and Photonics in Global Homeland Security IV, 694516 (25 April 2008); doi: 10.1117/12.773334)에 해당하며, 도 5에 도시된 방사선 영상 이외 다양한 영상으로 변경될 수 있음은 물론이다.
도 3을 참조하면, 영상 분석부(130)는 적어도 하나의 화물 식별 모델을 포함하여 구성될 수 있다. 여기에서, 화물 식별 모델은 복수의 객체에 대한 방사선 영상 및 객체 식별 정보를 딥러닝 방식으로 학습한 학습 모델에 해당할 수 있다. 예를 들어, 화물 식별 모델은 방대한 양의 방사선 영상 및 각 방사선 영상에 대한 객체 식별 정보(예 : 객체의 종류 또는 성분 등)를 학습한 학습 모델에 해당할 수 있다. 여기에서, 화물 식별 모델은 합성곱 신경망, 순환 신경망, 심층 신뢰 신경망 중 적어도 하나의 방식으로 방사선 영상 및 객체 식별 정보를 학습한 학습 모델에 해당할 수 있다. 한편, 이러한 예시는 본원발명의 권리범위를 한정하고자 하는 것은 아니며, 본 발명에 따른 화물 식별 모델의 학습 방식은 다양한 공지의 방식으로 구현될 수 있음은 물론이다.
일 실시예에서, 영상 분석부(130)는 복수의 객체에 대한 방사선 산란 영상(21) 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델(131)과, 복수의 객체에 대한 방사선 투과 영상(22) 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델(132)을 포함할 수 있다. 즉, 제1 화물 식별 모델(131)은 방사선 산란 영상(21)에 기초한 학습 모델이며, 제2 화물 식별 모델(132)는 방사선 투과 영상(22)에 기초한 학습 모델에 해당할 수 있다.
일 실시예에서, 영상 분석부(130)는 방사선 산란 영상(21)에서 적어도 하나의 제1 객체 영역(a)을 결정하여 제1 학습 영상(23)을 생성할 수 있다. 예를 들어, 도 5(A)를 참조하면, 영상 분석부(130)는 특정 화물에 대한 방사선 산란 영상(21)에서 하나의 객체(예 : 권총)를 포함하는 영역을 제1 객체 영역(a)으로 결정할 수 있다. 여기에서, 영상 분석부(130)는 공지의 외곽선 검출 알고리즘, 외곽 영역 검출 알고리즘 및 엣지 검출 알고리즘 중 적어도 하나를 활용하여 객체 단위를 식별할 수 있으며, 식별된 객체 단위를 포함하는 일정 영역을 제1 객체 영역(a)으로 결정할 수 있다. 이후, 영상 분석부(130)는 결정된 제1 객체 영역(a)에 대응하는 부분 영상을 제1 학습 영상(23)으로서 생성할 수 있다. 영상 분석부(130)는 생성된 제1 학습 영상(23)과 해당 객체에 대한 객체 식별 정보를 기초 데이터로 하여 제1 화물 식별 모델(131)을 학습시킬 수 있다.
일 실시예에서, 영상 분석부(130)는 방사선 투과 영상(22)에서 제1 객체 영역(a)에 대응하는 제2 객체 영역(b)을 결정하여 제2 학습 영상(24)을 생성할 수 있다. 예를 들어, 도 5(A) 및 (B)를 참조하면, 영상 분석부(130)는 방사선 투과 영상(22)에서 제1 객체 영역(a)과 대응되는 부분 영역을 제2 객체 영역(b)으로 결정할 수 있다. 이후, 영상 분석부(130)는 방사선 투과 영상(22)에서 제2 객체 영역(b)에 대응하는 부분 영상을 제2 학습 영상(24)으로서 생성할 수 있다. 영상 분석부(130)는 생성된 제2 학습 영상(24)과 해당 객체에 대한 객체 식별 정보를 기초 데이터로 하여 제2 화물 식별 모델(132)을 학습시킬 수 있다. 일반적으로, 방사선 투과 영상(22)은 화물에 포함되는 객체들의 내부를 식별하는데 유리한 영상으로, 방사선 투과 영상(22)에서 객체 단위의 부분 영상을 생성하는 것은 한계가 있다. 이에, 본 실시예에 따르면, 방사선 산란 영상(21)에서의 객체 단위 식별 결과를 참조하여, 방사선 투과 영상(22)에서 객체 단위의 영역을 추출함으로써, 보다 용이하고 높은 정확도로 추출할 수 있으며, 화물 식별 모델이 추출된 객체 단위의 영상을 학습하도록 함으로써, 화물 식별 모델의 분석 정확도를 더욱 향상시킬 수 있다.
일 실시예에서, 영상 분석부(130)는 영상 처리부(120)에 의하여 결정된 검사 대상 영상의 종류에 기초하여 적어도 하나의 화물 식별 모델을 결정하고, 결정된 화물 식별 모델을 이용하여 검사 대상 영상을 분석할 수 있다. 예를 들어, 영상 분석부(130)는 검사 대상 영상이 제1 영상(11)에 해당하는 경우, 방사선 산란 영상(21)을 학습한 제1 화물 식별 모델(131)을 이용하여 검사 대상 영상을 분석할 수 있다. 다른 예를 들어, 영상 분석부(130)는 검사 대상 영상이 제2 영상(12)에 해당하는 경우, 방사선 투과 영상(22)을 학습한 제2 화물 식별 모델(132)을 이용하여 검사 대상 영상을 분석할 수 있다. 또 다른 예를 들어, 영상 분석부(130)는 검사 대상 영상이 제1 영상(11) 및 제2 영상(12)에 해당하는 경우, 제1 및 제2 화물 식별 모델(131, 132)을 이용하여 검사 대상 영상을 분석할 수 있다. 여기에서, 영상 분석부(130)는 각 화물 식별 모델(131, 132)을 기초로 화물 식별 정보를 생성할 수 있다.
이하에서는, 도 6 내지 7을 참조하여, 본 발명의 다른 일 실시예에 따른 화물 식별 모델을 보다 상세하게 설명한다. 도 6 내지 7은 본 발명의 다른 일 실시예에 따른 화물 식별 모델을 설명하기 위한 참조도이다.
도 6을 참조하면, 영상 분석부(130)는 도 3 및 4에 도시된 실시예와 달리, 제1 화물 식별 모델(131) 및 제2 화물 식별 모델(132) 이외, 제3 화물 식별 모델(133)을 더 포함하여 구성될 수 있다. 여기에서, 제3 화물 식별 모델(133)은 복수의 객체 각각에 대한 방사선 산란 영상(21)과 방사선 투과 영상(22)이 정합된 복합 영상(25) 및 객체 식별 정보에 기초하여 학습된 학습 모델에 해당할 수 있다.
일 실시예에서, 영상 분석부(130)는 방사선 산란 영상(21)과 방사선 투과 영상(22)을 정합하여 복합 영상(25)을 생성할 수 있다. 여기에서, 영상 분석부(130)는 공지된 이미지 정합 알고리즘을 이용하여 방사선 산란 영상(21)과 방사선 투과 영상(22)을 정합 또는 병합할 수 있다. 일 실시예에서, 복합 영상(25)은 동일한 사이즈의 방사선 산란 영상(21)과 방사선 투과 영상(22)이 겹쳐진 하나의 영상에 해당할 수 있다.
일 실시예에서, 영상 분석부(130)는 제1 학습 영상(23)과 제2 학습 영상(24)을 정합하여 제3 학습 영상(26)을 생성할 수 있으며, 생성된 제3 학습 영상(26)과 해당 객체에 대한 객체 식별 정보를 기초 데이터로 하여 제3 화물 식별 모델(133)을 학습시킬 수 있다. 즉, 제3 화물 식별 모델(133)은 객체 단위로 분할된 산란 영상 및 투과 영상을 병합한 복합 영상을 기초 데이터로 하여 학습될 수 있다.
일 실시예에서, 영상 처리부(120)는 제1 영상(11) 및 제2 영상(12)을 정합한 제3 영상을 생성할 수 있다. 보다 구체적으로, 영상 획득부(110)는 화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상(11)과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상(12)을 획득할 수 있으며, 획득된 제1 영상(11) 및 제2 영상(12)을 정합한 제3 영상을 생성할 수 있다.
일 실시예에서, 영상 처리부(120)는 제1 영상(11), 제2 영상(12) 및 제3 영상 중 적어도 하나를 검사 대상 영상으로 결정할 수 있다. 여기에서, 영상 처리부(120)는 화물과 관련된 적하 목록에 기초하여, 제1 영상(11), 제2 영상(12) 및 제3 영상 중 어느 하나를 검사 대상 영상으로 결정할 수 있다. 한편, 상술한 바와 같이, 물품의 종류 또는 성분마다 최적의 방사선 영상의 종류가 매칭된 매칭 정보가 기저장될 수 있으며, 영상 처리부(120)는 기정의된 매칭 정보를 확인하여 최적의 검사 대상 영상을 결정할 수 있다.
일 실시예에서, 영상 분석부(130)는 영상 처리부(120)에 의하여 결정된 검사 대상 영상의 종류에 기초하여 적어도 하나의 화물 식별 모델을 결정하고, 결정된 화물 식별 모델을 이용하여 검사 대상 영상을 분석할 수 있다. 예를 들어, 영상 분석부(130)는 검사 대상 영상이 제3 영상에 해당하는 경우, 방사선 산란 영상과 방사선 투과 영상이 정합된 제3 학습 영상(26)을 학습한 제3 화물 식별 모델(133)을 이용하여 검사 대상 영상을 분석할 수 있다. 다른 예를 들어, 영상 분석부(130)는 검사 대상 영상이 제1 영상(11), 제2 영상(12) 및 제3 영상에 해당하는 경우, 제1 내지 제3 화물 식별 모델(131, 132, 133)을 이용하여 검사 대상 영상을 분석할 수 있다. 여기에서, 영상 분석부(130)는 각 화물 식별 모델(131, 132, 133)을 기초로 화물 식별 정보를 생성할 수 있다.
본 실시예에 따르면, 화물에 대한 방사선 산란 영상(21) 및 방사선 투과 영상(22)을 정합한 복합 영상을 검사 대상 영상으로 하며, 객체 단위로 분할된 방대한 양의 복합 영상을 학습한 학습 모델(133)을 이용하여 화물을 식별함으로써, 보다 높은 정확도로 화물에 대한 식별 정보를 생성할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 방사선 영상
11 : 제1 영상
12 : 제2 영상
100 : 화물 식별 장치
110 : 영상 획득부
120 : 영상 처리부
130 : 영상 분석부
131 : 제1 화물 식별 모델
132 : 제2 화물 식별 모델
133 : 제3 화물 식별 모델
140 : 결과 출력부
150 : 제어부
21 : 방사선 산란 영상
22 : 방사선 투과 영상
23 : 제1 학습 영상
24 : 제2 학습 영상
25 : 복합 영상
26 : 제3 학습 영상
11 : 제1 영상
12 : 제2 영상
100 : 화물 식별 장치
110 : 영상 획득부
120 : 영상 처리부
130 : 영상 분석부
131 : 제1 화물 식별 모델
132 : 제2 화물 식별 모델
133 : 제3 화물 식별 모델
140 : 결과 출력부
150 : 제어부
21 : 방사선 산란 영상
22 : 방사선 투과 영상
23 : 제1 학습 영상
24 : 제2 학습 영상
25 : 복합 영상
26 : 제3 학습 영상
Claims (10)
- 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치에 있어서,
화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상을 획득하는 영상 획득부;
상기 제1 영상 및 제2 영상 중 적어도 하나를 포함하는 검사 대상 영상을 결정하는 영상 처리부; 및
미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하여, 상기 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함하는 화물 식별 정보를 생성하는 영상 분석부;를 포함하고,
상기 영상 처리부는
상기 화물과 관련된 적하 목록에 기초하여 상기 제1 영상 또는 제2 영상 중 어느 하나를 상기 검사 대상 영상으로 결정하되,
물품의 종류 또는 성분 별로 최적 식별도를 나타내는 방사선 영상 종류에 대한 정보를 포함하는 매칭 정보에 기초하여 상기 적하 목록에 포함된 물품의 종류 또는 성분에 적합한 방사선 영상을 상기 검사 대상 영상으로 결정하며,
상기 영상 분석부는
복수의 객체에 대한 방사선 산란 영상 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델; 및
복수의 객체에 대한 방사선 투과 영상 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델;을 포함하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 삭제
- 삭제
- 제1항에 있어서, 상기 영상 분석부는
상기 방사선 산란 영상에서 적어도 하나의 제1 객체 영역을 결정하여 제1 학습 영상을 생성하고,
상기 방사선 투과 영상에서 상기 적어도 하나의 제1 객체 영역에 대응하는 제2 객체 영역을 결정하여 제2 학습 영상을 생성하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 제1항에 있어서, 상기 영상 처리부는
상기 제1 영상 및 제2 영상을 정합한 제3 영상을 생성하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 제5항에 있어서, 상기 영상 처리부는
상기 화물과 관련된 적하 목록에 기초하여, 상기 제1 영상. 제2 영상 및 제3 영상 중 적어도 하나를 상기 검사 대상 영상으로 결정하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 제5항에 있어서, 상기 영상 분석부는
복수의 객체에 대한 방사선 산란 영상 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델;
복수의 객체에 대한 방사선 투과 영상 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델; 및
복수의 객체 각각에 대한 방사선 산란 영상과 방사선 투과 영상이 정합된 복합 영상 및 객체 식별 정보에 기초하여 학습된 제3 화물 식별 모델;
을 포함하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 제7항에 있어서, 상기 영상 분석부는
상기 방사선 산란 영상에서 적어도 하나의 제1 객체 영역을 결정하여 제1 학습 영상을 생성하고,
상기 방사선 투과 영상에서 상기 적어도 하나의 제1 객체 영역에 대응하는 제2 객체 영역을 결정하여 제2 학습 영상을 생성하고,
상기 제1 학습 영상 및 제2 학습 영상을 정합한 제3 학습 영상을 생성하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 제1항에 있어서, 상기 영상 분석부는
상기 검사 대상 영상의 분석 결과, 상기 화물에 위험 물체가 포함되어 있는 것으로 나타나는 경우, 상기 화물 내부에서 상기 위험 물체의 위치를 나타내는 위험 물체 위치 정보를 생성하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치.
- 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 방법에 있어서,
화물로부터 후방 산란되는 방사선을 검출하여 생성되는 제1 영상과, 화물을 투과하는 방사선을 검출하여 생성되는 제2 영상을 획득하는 단계;
상기 제1 영상 및 제2 영상 중 적어도 하나를 포함하는 검사 대상 영상을 결정하는 단계; 및
미리 학습된 딥러닝 기반의 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하여, 상기 화물에 대한 물품 종류 정보 및 위험 정보 중 적어도 하나를 포함하는 화물 식별 정보를 생성하는 단계;를 포함하고,
상기 검사 대상 영상을 결정하는 단계는
상기 화물과 관련된 적하 목록에 기초하여 상기 제1 영상 또는 제2 영상 중 어느 하나를 상기 검사 대상 영상으로 결정하는 단계; 및
물품의 종류 또는 성분 별로 최적 식별도를 나타내는 방사선 영상 종류에 대한 정보를 포함하는 매칭 정보에 기초하여, 상기 적하 목록에 포함된 물품의 종류 또는 성분에 적합한 방사선 영상을 상기 검사 대상 영상으로 결정하는 단계;를 포함하며,
상기 화물 식별 정보를 생성하는 단계는
복수의 객체에 대한 방사선 산란 영상 및 객체 식별 정보에 기초하여 학습된 제1 화물 식별 모델 및 복수의 객체에 대한 방사선 투과 영상 및 객체 식별 정보에 기초하여 학습된 제2 화물 식별 모델을 이용해 상기 검사 대상 영상을 분석하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200031849A KR102325017B1 (ko) | 2020-03-16 | 2020-03-16 | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200031849A KR102325017B1 (ko) | 2020-03-16 | 2020-03-16 | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210115695A KR20210115695A (ko) | 2021-09-27 |
| KR102325017B1 true KR102325017B1 (ko) | 2021-11-10 |
Family
ID=77925651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200031849A KR102325017B1 (ko) | 2020-03-16 | 2020-03-16 | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102325017B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102657570B1 (ko) * | 2023-12-27 | 2024-04-15 | 한국해양과학기술원 | 엑스선 영상 획득 및 방사성 물질 검출의 동시 수행을 위한 교차 검색 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101995294B1 (ko) * | 2018-12-24 | 2019-07-03 | (주)제이엘케이인스펙션 | 영상 분석 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150045334A (ko) * | 2013-10-18 | 2015-04-28 | 삼성전자주식회사 | 영상 처리 장치, 그에 따른 영상 처리 방법, 및 그에 따른 영상 처리 시스템 |
| KR101778503B1 (ko) | 2016-03-25 | 2017-09-14 | 한국해양과학기술원 | 화물 검사 정보 제공 방법, 이를 수행하는 화물 검사 정보 제공 장치 및 이를 저장한 기록매체 |
| CN108169254A (zh) * | 2016-12-07 | 2018-06-15 | 清华大学 | 检查设备和检查方法 |
-
2020
- 2020-03-16 KR KR1020200031849A patent/KR102325017B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101995294B1 (ko) * | 2018-12-24 | 2019-07-03 | (주)제이엘케이인스펙션 | 영상 분석 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210115695A (ko) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106485268B (zh) | 一种图像识别方法及装置 | |
| US8116428B2 (en) | Method and apparatus for assessing characteristics of liquids | |
| US9772426B2 (en) | Systems and methods for automated, rapid detection of high-atomic-number materials | |
| US10163200B2 (en) | Detection of items in an object | |
| JP5591849B2 (ja) | 異物検査装置、異物検査プログラム、異物検査方法 | |
| CA2757160C (en) | Transport bin identification | |
| WO2006011899A1 (en) | Security system for detecting nuclear masses | |
| WO2018003160A1 (ja) | Ｘ線自動判定装置、ｘ線自動判定方法 | |
| US11182637B2 (en) | X-ray image processing system and method, and program therefor | |
| KR102387529B1 (ko) | 검사 장치 | |
| KR101778503B1 (ko) | 화물 검사 정보 제공 방법, 이를 수행하는 화물 검사 정보 제공 장치 및 이를 저장한 기록매체 | |
| KR102325017B1 (ko) | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 | |
| CN104865279A (zh) | 一种用于海关监管物项的快速检查设备和方法 | |
| JP7295568B2 (ja) | 検査装置及びプログラム | |
| KR20180009904A (ko) | 항공보안검색시스템 및 방법 | |
| JP7422023B2 (ja) | Ｘ線画像処理装置およびｘ線画像処理方法 | |
| WO2024043190A1 (ja) | 検査装置、検査システムおよび検査方法 | |
| Glover et al. | Testing the image quality of cabinet x-ray systems for security screening: The revised ASTM F792 standard | |
| EP4137801A1 (en) | Monitoring reliability of analysis of elemental composition of a sample | |
| JP2024038865A (ja) | 検査装置、検査システム、情報管理システムおよび検査方法 | |
| KR101778501B1 (ko) | 중첩 물체 성분 검사 방법, 이를 수행하는 중첩 물체 성분 검사 장치 및 이를 저장한 기록매체 | |
| CN117957439A (en) | Display processing device, display processing method, and display processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |