KR102101481B1 - 인공지능 기반의 휴대용 보안영상 학습장치 및 방법 - Google Patents

Abstract

본 발명에 따르면, 인공지능 기반의 휴대용 보안영상 학습장치가 제공될 수 있다. 상기 인공지능 기반의 휴대용 보안영상 학습장치는 보안영상을 학습하는 장치에 있어서, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부를 포함할 수 있다.

Description

인공지능 기반의 휴대용 보안영상 학습장치 및 방법{APPARATUS FOR LENRNING PORTABLE SECURITY IMAGE BASED ON ARTIFICIAL INTELLIGENCE AND METHOD FOR THE SAME}

본 개시는 영상 분석 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 딥러닝 기반의 학습모델을 구축하는 장치 및 방법에 관한 것이다.

딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.

한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.

전술한, 딥러닝을 이용한 영상 분석 기술은 전자 통관 시스템에 적용될 수 있다. 전자 통관 시스템에서 이용되는 영상은, 보다 효과적인 영상 판독을 위해 일반적으로 영상에 포함되어 있는 객체들의 물성(예를 들어, 해당 객체가 유기물, 무기물, 금속 등인지 여부)에 따라 다른 색상이 사용된다. 그러나, 해당 객체의 외형적인 형상, 명암의 차이, 객체 고유의 X-Ray 감쇄율, 관측 각도 등의 다양한 요인으로 인해 영상에서 해당 객체들을 명확하게 파악하기 어렵다는 문제가 있다.

또한, 고성능의 촬영장치를 통해 촬영한 영상을 사용하여 목적물을 정확하게 검출할 수는 있으나, 물리적인 제약으로 인해 고성능의 촬영장치를 설치하지 못할 수 있다. 이와 같이, 고성능의 촬영장치를 설치하기 어려운 장소에는 간이 촬영장치나, 휴대용 장치를 사용하여 대상물을 분석할 필요가 있다.

나아가, 간이 촬영장치나, 휴대용 장치에서 촬영되는 영상은, 고성능의 촬영장치에서 촬영되는 영상과 해상도, 색상 등이 다르게 구성되므로, 고성능의 촬영장치에서 촬영되는 영상을 기반으로 구축된 데이터 셋이나, 학습모델을 사용하지 못하고, 간이 촬영장치나, 휴대용 장치에서 촬영되는 영상을 분석하기 위한 새로운 데이터 셋이나, 학습모델을 구축해야 하는 문제가 있다.

본 개시의 기술적 과제는, 기존에 미리 구축된 데이터 셋을 사용하여 간이 촬영장치나, 휴대용 장치에서 촬영된 영상을 위한 학습모델을 구축할 수 있는 휴대용 보안영상 학습장치 및 방법을 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 휴대용 보안영상 학습장치가 제공될 수 있다. 상기 장치는, 보안영상을 학습하는 장치에 있어서, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부를 포함할 수 있다.

본 개시의 다른 양상에 따르면, 휴대용 보안영상 학습방법이 제공될 수 있다. 상기 방법은, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 수행하는 과정과, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 과정을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 기존에 미리 구축된 데이터 셋을 사용하여 간이 촬영장치나, 휴대용 장치에서 촬영된 영상을 위한 학습모델을 구축할 수 있는 휴대용 보안영상 학습장치 및 방법이 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치의 구성을 나타내는 블록도이다.
도 2a 및 도 2b는 도 1의 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 휴대용 보안영상 및 컬러 보안영상을 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 학습 데이터 셋을 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델의 세부 구성을 예시하는 도면이다.
도 5a 내지 도 5c는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델을 예시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법의 순서를 도시하는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 병변 통합 학습 장치에 의해 구축된 중증도 통합학습모델을 예시하는 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치의 구성을 나타내는 블록도이고, 도 2a 및 도 2b는 도 1의 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에서 사용되는 휴대용 보안영상 및 컬러 보안영상을 예시하는 도면이다.

도 1을 참조하면, 휴대용 보안영상 학습장치(100)는 영상 보정 학습부(110) 및 객체 검출 학습부(150)를 포함할 수 있다.

우션, 본 개시의 일 실시예에서, 휴대용 보안영상(210)은 휴대용 촬영 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 휴대용 보안영상(210)은 2차원 X-ray 영상일 수 있으며, 그레이 색상(gray color)으로 이루어질 수 있다.

한편, 본 개시의 일 실시예에서, 휴대용 보안영상(210)에 대비되는 영상으로서, 컬러 보안영상(250)이 사용될 수 있는데, 컬러 보안영상(250)은 고정형 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 컬러 보안영상(250)은 고정형 X-ray 장비에 의해 촬영된 영상일 수 있으며, RGB 색상(RGB color)으로 이루어질 수 있다.비록, 본 개시의 일 실시예에서, 휴대용 보안영상(210)이 그레이 색상(gray color)으로 이루어지고, 컬러 보안영상(250)이 RGB 색상(RGB color)으로 이루어지는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 휴대용 보안영상(210)은 휴대용 촬영 장비에 의해 촬영되고, 컬러 보안영상(250)은 고정형 X-ray 장비에 의해 촬영될 수 있으면 충분하다. 나아가, 휴대용 보안영상(210)은 휴대용 촬영 장비에 의해 촬영되므로, 고정형 X-ray 장비에 의해 촬영되는 컬러 보안영상(250)보다 상대적으로 적은 수의 색상으로 이루어질 수 있다.

또한, 휴대용 보안영상(210) 및 컬러 보안영상(250)의 해상도는 휴대용 촬영 장비 또는 고정형 X-ray 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있다. 예컨대, 휴대용 보안영상(210)은 컬러 보안영상(250)에 비하여 상대적으로 높은 해상도를 나타낼 수 있다. 이에 기초하여, 휴대용 보안영상(210)으로부터 목적물, 비목적물, 배경 등을 정확하게 검출하는 것이 가능하다.휴대용 보안영상 학습장치(100)는 영상 보정 학습부(110) 및 객체 검출 학습부(150)의 학습에 필요한 학습 데이터 셋(300, 도 3참조)을 준비할 수 있다. 학습 데이터 셋(300)은 휴대용 보안영상(301, 302, 303), 컬러 보안영상(311, 312, 313), 및 객체정보(321, 322, 323)를 포함할 수 있다.

영상 보정 학습부(110)는 휴대용 보안영상(301, 302, 303)과 컬러 보안영상(311, 312, 313)을 사용하여, 영상 보정 학습모델(111)에 대한 학습을 수행할 수 있다. 전술한 바와 같이, 휴대용 보안영상(301, 302, 303)은 컬러 보안영상(311, 312, 313)에 비하여 상대적으로 낮은 색상의 수로 이루어질 수 있으므로, 휴대용 보안영상(301, 302, 303)과 컬러 보안영상(311, 312, 313) 사이의 차이를 줄일 수 있도록, 보정이 요구된다. 이에 따라, 영상 보정 학습부(110)는, 영상 보정 학습모델(111)가 컬러 보안영상(311, 312, 313)을 입력받고, 이를 휴대용 보안영상(301, 302, 303)에 대응되도록 보정하는 학습을 수행할 수 있다.

특히, 영상 합성부(190)는 영상 보정 학습모델(111)의 학습에 필요한 합성영상을 구성 및 제공할 수 있으며, 합성영상은 학습 데이터 셋(300)의 일부 데이터로서 사용될 수 있다. 예를 들어, 영상 합성부(190)는 영상 저장부(170)에 저장된 검출정보를 확인하고, 검출정보에 포함된 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있다. 그리고, 부분영상을 랜덤하게 구성하여 새로운 휴대용 보안영상, 즉, 합성영상(331,332, 333)을 생성할 수 있으며, 생성된 합성영상(331,332, 333)을 학습 데이터 셋(300)에 추가할 수 있다. 이에 대응하여, 영상 보정 학습부(110)는 합성영상(331,332, 333)을 영상 보정 학습모델(111)의 입력으로 사용할 수 있으며, 영상 보정 학습모델(111)이 휴대용 보안영상(301, 302, 303)과 합성영상(331,332, 333) 사이의 차이를 줄일 수 있도록 학습시킬 수 있다.

영상 보정 학습모델(111)의 세부 학습동작은 하기의 도 4, 도 5a, 도 5b 등을 통해 상세히 설명한다.

한편, 객체 검출 학습부(150)는 영상 보정 학습모델(111)에서 출력되는 보정영상과 객체정보(321, 322, 323)를 사용하여, 객체 검출 학습모델(151)에 대한 학습을 수행할 수 있다.

구체적으로, 객체 검출의 대상이되는 영상, 즉, 보정영상에는 목적물, 비목적물, 배경 등이 포함될 수 있는데, 목적물은 영상 내에 포함된 다양한 객체 중, 특정한 물체 또는 특정한 물질로 이루어진 물체를 의미하며, 비목적물은 영상 내에 포함된 다양한 객체 중 특정한 물체 또는 특정한 물질로 이루어진 물체로 지정되지 않은 나머지 객체를 의미한다. 그리고, 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다.

이에 기초하여, 객체 검출 학습부(150)는 보정영상을 객체 검출 학습모델(151)에 입력하고, 보정영상에서 목적물, 비목적물, 배경 등을 목적변수로서 설정할 수 있다. 이에 따라, 객체 검출 학습모델(151)은 보정영상에서 목적물, 비목적물, 배경 등과 같은 검출정보를 추출하여 출력할 수 있도록 학습될 수 있다.

나아가, 영상의 배경은 영상의 촬영 방법 또는 촬영 장치에 따라 소정의 색상으로 표현될 수 있다. 예컨대, 상기 소정의 색상은 흰색일 수 있다. 영상의 배경을 표현하는 색상이 특정된 경우, 객체 검출 학습부(150)는 우선적으로 특정된 배경 색상에 기초하여 배경을 목적변수로서 설정하도록 구성될 수 있다. 그리고, 객체 검출 학습부(150)는 목적물, 비목적물 등을 입력할 수 있는 사용자 인터페이스를 제공할 수 있으며, 사용자 인터페이스를 통해 입력되는 정보를 바탕으로 목적물, 비목적물 등의 목적변수를 설정할 수 있다.

또한, 휴대용 보안영상 학습장치(100)에 의해 구축된 객체 검출 학습모델(151)은 휴대용 보안영상 검출장치(10)에 제공될 수 있으며, 휴대용 보안영상 검출장치(10)는 객체 검출 학습모델(151)을 사용하여 검출정보를 추출할 수 있다. 휴대용 보안영상 학습장치(100)는 휴대용 보안영상 검출장치(10)와 연동될 수 있으며, 휴대용 보안영상 검출장치(10)에서 생성되는 정보를 사용하여 영상 보정 학습모델(111) 및 객체 검출 학습모델(151) 등을 업데이트할 수 있다.

구체적으로, 휴대용 보안영상 검출장치(10)는 객체 검출 학습모델(151)을 사용하여 휴대용 보안영상의 입력에 대한 결과값으로서, 검출정보를 출력할 수 있다. 영상 저장부(170)는 휴대용 보안영상 검출장치(10)가 사용하는 휴대용 보안영상 및 검출정보를 확인할 수 있으며, 이(휴대용 보안영상 및 검출정보)를 구분하여 저장할 수 있다. 예를 들어, 영상 저장부(170)는 휴대용 보안영상과, 검출정보를 별도의 디렉토리에 각각 저장할 수 있다. 이렇게 영상 저장부(170)에 저장된 데이터는 영상 합성부(190) 또는 전술한 영상 보정 학습부(110) 등에 제공될 수 있다.

이에 기초하여, 영상 합성부(190)는 전술한 바와 같이 합성영상을 구성 및 제공할 수 있으며, 영상 보정 학습부(110)는 합성영상을 사용하여 영상 보정 학습모델(111)에 대한 학습을 수행하여 업데이트할 수 있으며, 학습을 통해 업데이트된 영상 보정 학습모델(111)을 휴대용 보안영상 검출장치(10)에 제공할 수 있다.

한편, 도 4는 본 개시의 일 실시예에 따른 휴대용 보안영상 학습장치에 구비된 영상 보정 학습모델의 세부 구성을 예시하는 도면이다.

도 4를 참조하면, 영상 보정 학습모델(400)은 디스크리미네이터(Discriminator)(401) 및 제너레이터(Generator)(405)를 포함할 수 있다.

우선, 디스크리미네이터(401)는 휴대용 보안영상에 대한 학습을 선행적으로 수행하여, 휴대용 보안영상에 대한 특성을 학습한다. 디스크리미네이터(401)가 휴대용 보안영상에 대한 학습을 선행적으로 수행한 상태에서, 제너레이터(405)는 컬러 보안영상 또는 합성영상을 입력받고 이에 대응되는 휴대용 보안영상을 생성할 수 있다. 그리고, 디스크리미네이터(401)는 제너레이터(405)에서 생성된 휴대용 보안영상을 휴대용 보안영상으로 분류하도록 학습될 수 있다.

전술한 영상 보정 학습모델(400)의 학습을 통해, 제너레이터(405)는 휴대용 보안영상과 컬러 보안영상 또는 합성영상 사이의 차이를 보정할 수 있도록 구성된다.

예를 들어, 도 5a에 예시되는 바와 같이, 디스크리미네이터(401)는 영상 저장부(170)에 저장된 휴대용 보안영상에 대한 학습을 수행하여, 휴대용 보안영상에 대한 특성을 학습할 수 있다.

그리고, 도 5b에 예시되는 바와 같이, 제너레이터(405)가 기존 학습 데이터 영상(컬러 보안영상, 합성영상 등)을 휴대용 보안영상과 같은 특성을 가지도록 보정하기 위해서는, 디스크리미네이터(401)가 휴대용 보안영상에 일반화되는 것이 요구된다. 휴대용 보안영상이 영상 저장부(1710)에 축적될수록 디스크리미네이터(401)가 학습에 사용하는 데이터가 증가되므로, 디스크리미네이터(401)는 휴대용 보안영상의 특성에 일반화될 수 있다. 또한, 영상 보정 학습모델(400)은 구축된 학습 데이터 영상뿐만 아니라 다른 특성을 가지는 영상에 대해서도 휴대용 보안영상으로 보정하기 위해 사용될 수 있다. 즉, 영상 보정 학습모델(400)은 지속적으로 사용될수록 개선되는 디스크리미네이터(401)를 생성하는 구조를 가진다. 제너레이터(405)는 미리 구축된 학습 데이터 영상을 입력으로 하고, 이에 대응되는 보정영상을 출력하여 선행 학습된 디스크리미네이터(401)에 제공하고, 디스크리미네이터(401)가 높은 확률로 휴대용 보안영상이라고 판별할 때까지 학습을 지속한다. 이를 통해, 어떤 장비로부터 구축된 데이터에 대해서도 휴대용 보안영상의 포맷으로 보정하여 재생성할 수 있는 구조를 가진다.

나아가, 휴대용 보안영상(210) 및 컬러 보안영상(250)은 각각 휴대용 촬영 장비 및 고정형 X-ray 장비에 의해 촬영되므로, 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있지만, 영상에 포함되는 객체(예, 목적물, 비목적물 등)의 형태는 유사하게 구성될 수 있다. 따라서, 제너레이터(405)를 통해 영상이 보정되더라도 보정된 영상에서 객체의 형태는 크게 다르지 않게 구성될 수 있으며, 이렇게 보정된 영상을 다시 원본의 영상으로 생성되도록 제약을 걸기 위해, 제너레이터(405)는 보정된 학습 영상을 원본 영상으로 다시 되돌릴 수 있는 구조로 이루어질 수 있다.

구체적으로, 도 5c를 참조하면, 제너레이터(405)는 제1제너레이터(405a) 및 제2제너레이터(405b)를 포함할 수 있다. 제1제너레이터(405a)는 컬러 보안영상, 합성영상 등을 입력으로 하고, 이에 대응되는 보정영상을 학습하도록 구성될 수 있다. 그리고, 제2제너레이터(405b)는 보정영상을 입력으로 하고, 이에 대응되는 원본영상(예, 컬러 보안영상, 합성영상 등)을 학습하도록 구성될 수 있다. 특히, 영상의 특성에 따라 제약의 정도를 조정할 경우에는 보정된 영상을 원본 영상으로 되돌리는 제2제너레이터(405b)에서 생성되는 loss에 가중치를 제어하여 조정할 수 있다. 이와 같이 제너레이터(405)는 학습과정에서 제1제너레이터(405a) 및 제2제너레이터(405b)를 포함하는 구조로 학습이 이루어질 수 있다.

보정된 영상에서 객체의 형태가 달라지면 원본 영상으로 되돌리기 어려워지지만, 전술한 본 발명의 일 실시예의 제너레이터(405) 구조를 통해 객체(예, 목적물, 비목적물 등)의 형태를 원본 영상에서와 유사하게 유지할 수 있다.

도 6은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법의 순서를 도시하는 흐름도이다.

본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법은 전술한 휴대용 보안영상 학습 장치에 의해 수행될 수 있다

S600 단계에서, 휴대용 보안영상 학습 장치는 영상 보정 학습모델 및 객체 검출 학습모델의 학습에 필요한 학습 데이터 셋을 준비할 수 있다. 학습 데이터 셋은 휴대용 보안영상, 컬러 보안영상, 합성영상, 및 검출정보를 포함할 수 있다.

휴대용 보안영상은 휴대용 촬영 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 휴대용 보안영상은 2차원 X-ray 영상일 수 있으며, 그레이 색상(gray color)으로 이루어질 수 있다. 또한, 휴대용 보안영상에 대비되는 영상으로서, 컬러 보안영상이 사용될 수 있는데, 컬러 보안영상은 고정형 장비를 사용하여 대상물을 촬영한 영상일 수 있다. 예컨대, 컬러 보안영상은 고정형 X-ray 장비에 의해 촬영된 영상일 수 있으며, RGB 색상(RGB color)으로 이루어질 수 있다.

비록, 본 개시의 일 실시예에서, 휴대용 보안영상이 그레이 색상(gray color)으로 이루어지고, 컬러 보안영상이 RGB 색상(RGB color)으로 이루어지는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 휴대용 보안영상은 휴대용 촬영 장비에 의해 촬영되고, 컬러 보안영상은 고정형 X-ray 장비에 의해 촬영될 수 있으면 충분하다. 나아가, 휴대용 보안영상은 휴대용 촬영 장비에 의해 촬영되므로, 고정형 X-ray 장비에 의해 촬영되는 컬러 보안영상보다 상대적으로 적은 수의 색상으로 이루어질 수 있다.

한편, 미리 저장된 저장된 검출정보, 예컨대, 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있으며, 이러한 부분영상을 랜덤하게 구성하여 새로운 휴대용 보안영상, 즉, 합성영상을 구성할 수 있다. 따라서, 합성영상은 휴대용 보안영상을 기반으로 추출된 목적물, 비목적물, 배경 등의 부분영상의 조합으로 이루어진 영상일 수 있다.

또한, 휴대용 보안영상 및 컬러 보안영상의 해상도는 휴대용 촬영 장비 또는 고정형 X-ray 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있으므로, 휴대용 보안영상 및 컬러 보안영상의 해상도는 다양하게 이루어질 수 있다. 예컨대, 휴대용 보안영상은 컬러 보안영상에 비하여 상대적으로 높은 해상도로 이루어질 수 있다. 이에 기초하여, 휴대용 보안영상으로부터 목적물, 비목적물, 배경 등을 정확하게 검출하는 것이 가능하다.

그리고, 객체 검출의 대상이되는 영상, 즉, 보정영상에는 목적물, 비목적물, 배경 등이 포함될 수 있는데, 목적물은 영상 내에 포함된 다양한 객체 중, 특정한 물체 또는 특정한 물질로 이루어진 물체를 의미하며, 비목적물은 영상 내에 포함된 다양한 객체 중 특정한 물체 또는 특정한 물질로 이루어진 물체로 지정되지 않은 나머지 객체를 의미한다. 그리고, 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다. 이에 기초하여, 검출정보는, 소정의 영상에서 목적물, 비목적물, 배경 등을 추출한 정보일 수 있다.

휴대용 보안영상 학습 장치는 영상 보정 학습모델을 포함할 수 있는데, 영상 보정 학습모델은 디스크리미네이터와 제너에이터를 포함할 수 있다. 디스크리미네이터는, 휴대용 보안영상에 대한 학습을 선행적으로 수행하여, 휴대용 보안영상에 대한 특성을 학습할 수 있다(S601). 그리고, 디스크리미네이터가 휴대용 보안영상에 대한 학습을 선행적으로 수행한 상태에서, 제너레이터는 컬러 보안영상 또는 합성영상을 입력받고 이에 대응되는 휴대용 보안영상을 생성할 수 있다(S602).

이후, 디스크리미네이터는 제너레이터에서 생성된 휴대용 보안영상을 휴대용 보안영상으로 분류하도록 학습될 수 있다(S603).

휴대용 보안영상 학습 장치는 전술한 S602 및 S603 단계를 반복적으로 수행하여, 영상 보정 학습모델이 컬러 보안영상 또는 합성영상과 휴대용 보안영상 사이의 차이를 보정할 수 있도록 구축할 수 있다.

나아가, 휴대용 보안영상 및 컬러 보안영상은 각각 휴대용 촬영 장비 및 고정형 X-ray 장비에 의해 촬영되므로, 장비의 종류 또는 성능에 따라 다양하게 변경될 수 있지만, 영상에 포함되는 객체(예, 목적물, 비목적물 등)의 형태는 유사하게 구성될 수 있다. 따라서, 제너레이터를 통해 영상이 보정되더라도 보정된 영상에서 객체의 형태는 크게 다르지 않게 구성될 수 있으며, 이렇게 보정된 영상을 다시 원본의 영상으로 생성되도록 제약을 걸기 위해, 제너레이터는 보정된 학습 영상을 원본 영상으로 다시 되돌릴 수 있는 구조로 이루어질 수 있다.

구체적으로, 제너레이터는 제1제너레이터 및 제2제너레이터를 포함하도록 구성될 수 있으며, 제1제너레이터는 컬러 보안영상, 합성영상 등을 입력으로 하고, 이에 대응되는 보정영상을 학습하도록 구성될 수 있다. 그리고, 제2제너레이터는 보정영상을 입력으로 하고, 이에 대응되는 원본영상(예, 컬러 보안영상, 합성영상 등)을 학습하도록 구성될 수 있다. 특히, 영상의 특성에 따라 제약의 정도를 조정할 경우, 제2제너레이터에서 생성되는 loss에 가중치를 제어하여 조정할 수 있다.

보정된 영상에서 객체의 형태가 달라지면 원본 영상으로 되돌리기 어려워지지만, 전술한 본 발명의 일 실시예의 제너레이터 구조를 통해 객체(예, 목적물, 비목적물 등)의 형태를 원본 영상에서와 유사하게 유지할 수 있다.

S604 단계에서, 휴대용 보안영상 학습 장치는 객체 검출 학습모델에 대한 학습을 수행할 수 있다. 즉, 휴대용 보안영상 학습 장치는 객체 검출 학습모델에 보정영상을 입력하고, 목적변수로서 목적물, 비목적물, 배경 등과 같은 검출정보를 제공할 수 있다.

특히, 영상의 배경은 영상의 촬영 방법 또는 촬영 장치에 따라 소정의 색상으로 표현될 수 있다. 예컨대, 상기 소정의 색상은 흰색일 수 있다. 영상의 배경을 표현하는 색상이 특정된 경우, 휴대용 보안영상 학습 장치는 우선적으로 특정된 배경 색상에 기초하여 배경을 목적변수로서 설정하도록 구성될 수 있다. 그리고, 휴대용 보안영상 학습 장치는 목적물, 비목적물 등을 입력할 수 있는 사용자 인터페이스를 제공할 수 있으며, 사용자 인터페이스를 통해 입력되는 정보를 바탕으로 목적물, 비목적물 등의 목적변수를 설정할 수 있다.

나아가, 휴대용 보안영상 학습장치에서 구축된 객체 검출 학습모델은 휴대용 보안영상 검출장치에 제공될 수 있으며, 휴대용 보안영상 검출장치는 객체 검출 학습모델을 사용하여 검출정보를 추출할 수 있다. 휴대용 보안영상 학습장치는 휴대용 보안영상 검출장치와 연동될 수 있으며, 휴대용 보안영상 검출장치에서 생성되는 정보를 사용하여 영상 보정 학습모델 및 객체 검출 학습모델 등을 업데이트할 수 있다. 이를 위해, 휴대용 보안영상 학습장치는 휴대용 보안영상 검출장치에서 획득된 정보를 확인 및 저장할 수 있다(S605).

구체적으로, 휴대용 보안영상 검출장치가 사용하는 휴대용 보안영상 및 검출정보를 확인할 수 있으며, 이(휴대용 보안영상 및 검출정보)를 구분하여 저장할 수 있다. 예를 들어, 휴대용 보안영상 검출장치는 휴대용 보안영상과, 검출정보를 별도의 디렉토리에 각각 저장할 수 있다.

S606 단계에서, 휴대용 보안영상 학습 장치는 S605 단계에서 저장되는 정보를 사용하여, 학습 데이터 셋으로서 사용되는 데이터, 예컨대, 휴대용 보안영상을 구성할 수 있다. 예를 들어, 휴대용 보안영상 학습 장치는 저장된 검출정보를 확인하고, 검출정보에 포함된 목적물, 비목적물, 배경 등에 대응되는 부분영상을 추출할 수 있다. 그리고, 부분영상을 랜덤하게 구성하여 미리 저장된 휴대용 보안영상 또는 보정영상과 병합하여 새로운 휴대용 보안영상, 즉, 합성영상을 생성할 수 있으며, 생성된 합성영상을 학습 데이터 셋에 추가할 수 있다.

이에 기초하여, 휴대용 보안영상 학습 장치는 합성영상을 사용하여 영상 보정 학습모델에 대한 학습을 수행하여 업데이트할 수 있으며, 추가 학습을 통해 업데이트된 영상 보정 학습모델을 휴대용 보안영상 검출장치에 제공할 수 있다.

도 7은 본 개시의 일 실시예에 따른 휴대용 보안영상 학습 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (16)

1. 보안영상을 학습하는 장치에 있어서,
   컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 처리하는 영상 보정 학습부와,
   상기 보정영상을 입력받고 목적물, 비목적물, 및 배경을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 객체 검출 학습부와,
   상기 휴대용 보안영상이 상기 객체 검출 학습모델에 입력되어 검출된 검출정보를 확인하고, 상기 휴대용 보안영상 및 검출정보를 구분하여 저장하는 학습 데이터 저장부와,
   상기 학습 데이터 저장부의 상기 검출정보에 포함된 상기 목적물, 비목적물, 및 배경 중 적어도 하나를 포함하는 부분영상을 추출하고, 상기 부분영상을 조합하여 합성영상을 생성하는 영상 합성부를 포함하고,
   상기 영상 보정 학습부는, 상기 합성영상을 상기 영상 보정 학습모델에 입력하여 영상 보정 학습모델의 학습을 수행하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
2. 제1항에 있어서,
   상기 영상 보정 학습모델은,
   상기 휴대용 보안영상에 대한 특성을 학습하는 디스크리미네이터와,
   상기 컬러 보안영상을 보정한 상기 보정영상을 구성하여, 상기 디스크리미네이터에 제공하는 제너레이터를 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
3. 제2항에 있어서,
   상기 디스크리미네이터는,
   상기 제너레이터로부터 제공되는 보정영상이 상기 휴대용 보안영상에 대응되는지를 분류하는 학습을 수행하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
4. 삭제
5. 삭제
6. 삭제
7. 제2항에 있어서,
   상기 제너레이터는,
   상기 컬러 보안영상에 대응되는 상기 보정영상을 출력하도록 학습된 제1제너레이터와,
   상기 상기 보정영상에 대응되는 상기 컬러 보안영상을 출력하도록 학습된 제2제너레이터를 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
8. 제7항에 있어서,
   상기 영상 보정 학습부는,
   상기 학습 데이터 저장부에 저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 생성된 합성영상을 상기 제1제너레이터의 입력과, 상기 제2제너레이터의 출력으로 제공하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습장치.
9. 적어도 하나의 프로세서, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치를 포함하는 전자장치가, 보안영상을 학습하는 방법에 있어서,
   상기 적어도 하나의 프로세서가, 컬러 보안영상과 휴대용 보안영상 사이의 차이를 검출하고, 상기 컬러 보안영상의 입력에 대응되는 보정영상을 출력하는 영상 보정 학습모델에 대한 학습을 수행하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 보정영상을 입력받고 목적물 및 비목적물을 포함하는 검출정보를 출력하는 객체 검출 학습모델을 학습하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 휴대용 보안영상이 상기 객체 검출 학습모델에 입력되어 검출된 검출정보를 확인하고, 상기 휴대용 보안영상 및 검출정보를 구분하여 저장하는 과정과,
   상기 적어도 하나의 프로세서가, 저장된 상기 검출정보에 포함된 상기 목적물, 비목적물, 배경 중 적어도 하나를 포함하는 부분영상을 추출하고, 상기 부분영상을 조합하여 합성영상을 생성하는 과정과,
   상기 적어도 하나의 프로세서가, 상기 합성영상을 상기 영상 보정 학습모델에 입력하여 영상 보정 학습모델의 학습을 수행하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
10. 제9항에 있어서,
    상기 영상 보정 학습모델에 대한 학습을 수행하는 과정은,
    디스크리미네이터를 통해 상기 휴대용 보안영상에 대한 특성을 선행적으로 학습하는 과정과,
    제너레이터를 통해 상기 컬러 보안영상을 보정한 상기 보정영상을 구성하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
11. 제10항에 있어서,
    상기 제너레이터로부터 제공되는 보정영상이 상기 휴대용 보안영상에 대응되는지를 분류하는 학습을 수행하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
12. 삭제
13. 삭제
14. 삭제
15. 제10항에 있어서,
    상기 영상 보정 학습모델에 대한 학습을 수행하는 과정은,
    상기 컬러 보안영상에 대응되는 상기 보정영상을 출력하도록 제1제너레이터를 학습하는 과정과,
    상기 보정영상에 대응되는 상기 컬러 보안영상을 출력하도록 제2제너레이터를 학습하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
16. 제15항에 있어서,
    상기 제1제너레이터를 학습하는 과정은,
    저장된 상기 휴대용 보안영상 및 검출정보를 기반으로 생성된 합성영상을 입력받고, 이에 대응되는 보정영상을 출력하도록 학습을 수행하는 과정을 포함하고,
    상기 제2제너레이터를 학습하는 과정은,
    상기 보정영상을 입력받고, 상기 합성영상을 출력하도록 학습을 수행하는 과정을 포함하는 과정을 더 포함하는 것을 특징으로 하는 인공지능 기반의 휴대용 보안영상 학습방법.
    

Images