KR101932009B1 - 다중 객체 검출을 위한 영상 처리 장치 및 방법 - Google Patents

Abstract

단일 객체를 포함하는 복수의 영상을 이용하여 다중 객체 검출을 위한 딥러닝 모델을 학습하는 영상 처리 방법 및 장치가 제공된다. 본 개시의 영상 처리 방법은 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 제1 영상 및 제2 영상의 각각에 대해 객체와 배경을 구분하는 객체 영역 추출 단계, 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성 단계, 제1 객체의 위치 정보 및 제2 객체의 위치 정보에 기초하여, 제1 객체 및 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성 단계 및 제1 객체의 위치 정보, 제2 객체의 위치 정보 및 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습 단계를 포함한다.

Description

다중 객체 검출을 위한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR MULTIPLE OBJECT DETECTION}

본 개시는 다중 객체 검출을 위한 영상 처리 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 단일 객체를 포함하는 복수의 영상을 이용하여 다중 객체 검출을 위한 딥러닝 모델을 학습하는 장치, 방법 및 본 개시의 영상 처리 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.

객체 인식은 임의의 영상 내에서 객체로 인식된 영역을 기설정된 복수의 부류(class) 중 하나로 인식하는 프로세싱으로서, 객체란 영상 내의 특정한 물체를 의미할 수 있다.

한편, 딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것으로서, 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.

그러나, 기존의 관세 전자 통관 시스템에서는 영상 내 객체를 분석하는 작업과 관련하여 이러한 딥러닝 등의 기술을 활용한 보다 효율적이고 정확한 데이터 분석에 관한 연구가 부족한 실정이다.

본 개시의 기술적 과제는, 영상을 학습하기 위한 영상 처리 장치 및 방법을 제공하는 것이다.

본 개시의 다른 기술적 과제는, 단일 객체를 포함하는 복수의 영상을 이용하여 다중 객체 검출을 위한 딥러닝 모델을 학습하는 영상 처리 장치 및 방법을 제공하는 것이다.

본 개시의 또 다른 기술적 과제는, 단일 객체를 포함하는 영상으로부터 객체와 배경을 구분하고, 객체 위치 정보를 생성하는 영상 처리 장치 및 방법을 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 상기 제1 영상 및 상기 제2 영상의 각각에 대해 상기 객체와 배경을 구분하는 객체 영역 추출부; 상기 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성부; 상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보에 기초하여, 상기 제1 객체 및 상기 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성부; 및 상기 제1 객체의 위치 정보, 상기 제2 객체의 위치 정보 및 상기 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습부를 포함하는 영상 처리 장치가 제공될 수 있다.

본 개시의 다른 양상에 따르면, 객체를 포함하는 영상을 입력 받아, 상기 객체와 배경을 구분하는 객체 영역 추출부를 포함하고, 상기 객체 영역 추출부는, 상기 입력 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고, 상기 이진화된 픽셀값을 그룹핑함으로써 상기 입력 영상에 포함된 객체를 구분하는 영상 처리 장치가 제공될 수 있다.

본 개시의 또 다른 양상에 따르면, 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 상기 제1 영상 및 상기 제2 영상의 각각에 대해 상기 객체와 배경을 구분하는 객체 영역 추출 단계; 상기 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성 단계; 상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보에 기초하여, 상기 제1 객체 및 상기 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성 단계; 및 상기 제1 객체의 위치 정보, 상기 제2 객체의 위치 정보 및 상기 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습 단계를 포함하는 영상 처리 방법이 제공될 수 있다.

본 개시의 또 다른 양상에 따르면, 객체를 포함하는 영상을 입력 받아, 상기 객체와 배경을 구분하는 객체 영역 추출 단계를 포함하고, 상기 객체 영역 추출 단계는, 상기 입력 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고, 상기 이진화된 픽셀값을 그룹핑함으로써 상기 입력 영상에 포함된 객체를 구분하는 영상 처리 방법이 제공될 수 있다.

본 개시의 또 다른 양상에 따르면, 본 개시의 영상 처리 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 다중 객체 영상이 보다 정확히 검출될 수 있도록 딥러닝 모델을 학습하는 영상 처리 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 단일 객체를 포함하는 복수의 영상을 이용하여 다중 객체 검출을 위한 딥러닝 모델을 학습하는 영상 처리 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 단일 객체를 포함하는 영상으로부터 객체와 배경을 구분하고, 객체 위치 정보를 생성하는 영상 처리 장치 및 방법이 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 에에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 영상에서, 객체와 배경을 구분하고, 객체의 위치 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 두 개의 영상을 이용하여 다중 객체 영상을 생성하는 과정을 나타내는 도면이다.
도 4는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 다중 객체 영상을 이용하여 합성곱 신경망을 학습시키는 과정을 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 영상 처리 장치를 이용하여 실제 영상을 분석하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시 에에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 영상 처리 장치(100)는 객체 영역 추출부(110), 객체 위치 정보 생성부(120), 영상 합성부(130) 및/또는 객체 검출 딥러닝 모델 학습부(140)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 영상 처리 장치(100)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.

일 실시 예에 따른 영상 처리 장치(100)는 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 제1 영상 및 제2 영상의 각각에 대해 객체와 배경을 구분하고, 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하고, 제1 객체의 위치 정보 및 제2 객체의 위치 정보에 기초하여, 제1 객체 및 제2 객체를 포함하는 제3 영상을 생성하고, 제1 객체의 위치 정보, 제2 객체의 위치 정보 및 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습할 수 있다.

도 1을 참조하면, 입력 영상(150)은 단일 객체를 포함하는 영상을 포함할 수 있다. 예컨대, 입력 영상(150)은 하나의 객체를 포함하는 화물에 관한 영상일 수 있다. 또한 예컨대, 입력 영상(150)은 X-Ray 판독 기기가 촬영한 화물에 관한 X-Ray 영상일 수 있다. 상기 영상은 X-Ray 영상 기기가 촬영한 로(raw) 이미지이거나 상기 로 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다. 상기 영상은 X-Ray 판독 기기가 촬영하여 모니터와 같은 출력 장치로 전송하는 영상 정보를 캡쳐하여 데이터화함으로써 획득될 수도 있다.

객체 영역 추출부(110)는 단일 객체를 포함하는 영상(150)을 수신하고 수신된 영상을 객체와 배경으로 구분할 수 있다. 객체는 영상 내의 특정한 물체를 의미하고, 배경은 영상에서 객체를 제외한 부분을 의미할 수 있다. 일 실시예에 따른 객체 영역 추출부(110)는 입력 영상(150)의 픽셀값과 소정의 임계값을 비교하여 픽셀값을 이진화하고, 이진화된 픽셀값을 그룹핑함으로써 입력 영상(150)에 포함된 객체를 구분할 수 있다. 객체를 추출하는 구체적인 과정은 도 2를 참고하여 후술한다.

객체 위치 정보 생성부(120)는 객체 영역 추출부(110)로부터 추출된 객체의 위치를 결정할 수 있다. 예컨대, 객체 위치 정보 생성부(120)는 객체 영역을 둘러싸는 사각형 박스(bounding box)를 특정하고, 특정된 사각형 박스에 기초하여, 객체 영역 추출부(110)에서 구분된 객체의 위치 정보를 생성할 수 있다. 객체의 위치 정보를 생성하는 구체적인 과정은 도 2를 참고하여 보다 상세히 설명한다.

도 2는 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 영상에서, 객체와 배경을 구분하고, 객체의 위치 정보를 생성하는 과정을 설명하기 위한 도면이다. 도 2의 객체 영역 추출부(200) 및 객체 위치 정보 생성부(260)는 각각 도 1의 객체 영역 추출부(110) 및 객체 위치 정보 생성부(120)의 일 실시 예일 수 있다. 입력 영상(210)은 도 1을 참조하여 설명한 입력 영상(150)일 수 있으며, 예컨대, 단일 객체로서 가방(212)을 포함하는 화물에 관한 영상일 수 있다. 객체 영역 추출부(200)는 먼저 하나의 가방(212)을 포함하는 입력 영상(210)에 대해 크로핑(cropping) 연산을 수행함으로써 가방(212)을 기준으로 주변 영역을 대략적으로(roughly) 잘라버린, 크로핑된 영상(220)을 획득할 수 있다. 그런 다음 객체 영역 추출부(200)는 크로핑된 영상(220)의 픽셀값과 소정의 임계값을 비교(thresholding)하여 픽셀값을 이진화함으로써 이진화된 영상(230)을 획득할 수 있다. 그리고, 객체 영역 추출부(200)는 이진화된 영상(230)에서 객체에 대한 부분을 선택하기 위해 근접한 픽셀끼리 그룹핑(군집화, morphology, closing) 함으로써, 그룹핑된 영상(240)을 획득할 수 있다. 그런 다음, 객체 영역 추출부(200)는 그룹핑된 영상(240)에 대해 라벨링(labeling) 및 홀 채우기(hole filling) 연산을 수행하여 가장 큰 형태로 형성된 픽셀 그룹을 객체에 대한 영역(252)으로 결정하고, 나머지를 배경에 대한 영역(254)으로 결정함으로써 객체 영역 영상(250)을 획득할 수 있다.

또한, 객체 위치 정보 생성부(260)는 객체 영역 추출부(200)에서 추출된 객체 영역 영상에 대한 정보를 이용하여 입력 영상(210) 내에서의 객체의 위치를 결정할 수 있다. 예컨대, 객체 위치 정보 생성부(260)는 객체 영역을 둘러싸는 사각형 박스(bounding box)를 특정하고, 특정된 사각형 박스에 기초하여, 객체 영역 추출부(200)에서 구분된 객체의 위치 정보를 생성할 수 있다. 도 2를 참조하면, 객체 위치 정보 생성부(260)는 가방(212)을 둘러싸는 사각형 박스(262)를 특정하고, 특정된 사각형 박스에 기초하여, 가방(212)의 위치 정보를 획득할 수 있다. 예컨대, 가방(212)의 위치 정보는 사각형 박스(262)를 형성하는 네 개의 꼭지점의 위치 정보일 수 있으나, 이에 한정되지 않는다. 예컨대, 위치 정보는 사각형 박스(262)의 하나의 꼭지점의 좌표 (x, y) 및 사각형 박스의 가로 길이(width), 세로 길이(height)에 의해 표현될 수도 있다. 상기 하나의 꼭지점의 좌표 (x, y)는 사각형 박스(262)의 좌측 상단 꼭지점의 좌표일 수 있다. 상기 꼭지점의 좌표 (x, y)는 입력 영상(210)의 좌측 상단 꼭지점의 좌표 (0, 0)을 기준으로 특정될 수 있다.

본 개시의 일 실시 예에 따르면, 영상에 포함된 객체의 위치 정보가 자동으로 생성될 수 있으므로, 인공지능 학습을 위해 판독원이 각각의 영상마다 객체의 위치 정보를 직접 입력해야 하는 번거로움을 피할 수 있다.

다시 도 1을 참조하여, 영상 합성부(130)는 객체 영역 추출부(110) 및 객체 위치 정보 생성부(120)를 거쳐 객체의 위치 정보가 획득된 복수의 단일 객체 영상을 이용하여 다중 객체 영상을 생성할 수 있다. 예컨대, 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상에 대해, 각각 객체 영역 추출부(110) 및 객체 위치 정보 생성부(120)를 거쳐 제1 객체의 위치 정보 및 제2 객체의 위치 정보가 획득되고, 영상 합성부(130)는 획득된 제1 객체의 위치 정보 및 제2 객체의 위치 정보에 기초하여 제1 객체 및 제2 객체를 포함하는 제3 영상을 생성할 수 있다. 다중 객체 영상을 생성하는 구체적인 과정에 대해 도 3을 참고하여 보다 상세히 설명한다.

도 3은 본 개시의 일 실시 예에 따른 단일 객체를 포함하는 두 개의 영상을 이용하여 다중 객체 영상을 생성하는 과정을 나타내는 도면이다. 도 3의 영상 합성부(300)는 도 1의 영상 합성부(130)의 일 실시 예이다. 도 3을 참조하면, 영상 합성부(300)는 객체 영역 추출부 및 객체 위치 정보 생성부를 통해 획득된 제1 단일 객체 영상(310), 제2 단일 객체 영상(320) 및 제1 단일 객체 영상(310)과 제2 단일 객체 영상(320)의 위치 정보를 이용하여, 제1 단일 객체 영상(310)과 제2 단일 객체 영상이 합성된 다중 객체 영상(340) 및 다중 객체 영상(340)에 포함된 객체들에 대한 위치 정보(350)를 획득할 수 있다. 한편, 영상 합성부(300)는 제1 단일 객체 영상(310)과 제2 단일 객체 영상(320)의 합성 시 객체로부터 구분된 배경에 대한 영상(330)도 함께 이용할 수도 있다.

다시 도 1을 참조하여, 객체 검출 딥러닝 모델 학습부(140)는 제1 객체의 위치 정보, 제2 객체의 위치 정보 및 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습시킬 수 있다. 예컨대, 객체 검출 딥러닝 모델 학습부(140)는 합성곱 신경망 모델을 학습시킬 수 있다. 합성곱 신경망 모델의 학습을 위해 제1 객체의 위치 정보, 제2 객체의 위치 정보 및 제3 영상이 이용될 수 있다. 합성곱 신경망 모델에 대해 도 4 및 5를 참조하여 보다 상세히 설명한다.

도 4는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.

본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 “특징들(features)”을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망 기반의 영상 처리는 다양한 분야에 활용될 수 있다. 예컨대, 영상의 객체 인식(object recognition)을 위한 영상 처리 장치, 영상 복원(image reconstruction)을 위한 영상 처리 장치, 시맨틱 세그먼테이션(semantic segmentation)을 위한 영상 처리 장치, 장면 인식(scene recognition)을 위한 영상 처리 장치 등에 이용될 수 있다.

도 4를 참조하면, 입력 영상(410)은 합성곱 신경망(400)을 통해 처리됨으로써 특징맵 영상을 출력할 수 있다. 출력된 특징맵 영상은 전술한 다양한 분야에 활용될 수 있다.

합성곱 신경망(400)은 복수의 계층들(420, 430, 440)을 통해 처리될 수 있으며, 각 계층은 다채널 특징맵 영상들(425, 435)을 출력할 수 있다. 일 실시예에 따른 복수의 계층들(420, 430, 440)은 입력받은 데이터의 좌측 상단으로부터 우측 하단까지 일정한 크기의 필터를 적용하여 영상의 특징을 추출할 수 있다. 예를 들어, 복수의 계층들(420, 430, 440)은 입력 데이터의 좌측 상단 NxM 픽셀에 가중치를 곱해서 특징맵의 좌측 상단의 한 뉴런에 매핑시킨다. 이 경우, 곱해지는 가중치도 NxM가 될 것이다. 상기 NxM은 예컨대, 3x3일 수 있으나, 이에 한정되지 않는다. 이후, 동일한 과정으로, 복수의 계층들(420, 430, 440)은 입력 데이터를 좌측에서 우측으로, 그리고 상단에서 하단으로 k 칸씩 스캔하면서 가중치를 곱하여 특징맵의 뉴런에 매핑한다. 상기 k 칸은 합성곱 수행시 필터를 이동시킬 간격(stride)을 의미하며, 출력 데이터의 크기를 조절하기 위해 적절히 설정될 수 있다. 예컨대, k는 1일 수 있다. 상기 NxM 가중치는 필터 또는 필터 커널이라고 한다. 즉, 복수의 계층들(420, 430, 440)에서 필터를 적용하는 과정은 필터 커널과의 컨볼루션 연산을 수행하는 과정이며, 그 결과 추출된 결과물을 “특징맵(feature map)” 또는 “특징맵 영상”이라고 한다. 또한, 컨볼루션 연산이 수행된 계층을 합성곱 계층이라 할 수 있다.

“다채널 특징맵(multiple-channel feature map)”의 용어는 복수의 채널에 대응하는 특징맵들의 세트를 의미하고, 예를 들어 복수의 영상 데이터일 수 있다. 다채널 특징맵들은 합성곱 신경망의 임의의 계층에서의 입력일 수 있고, 컨볼루션 연산 등의 특징맵 연산 결과에 따른 출력일 수 있다. 일 실시예에 따르면, 다채널 특징맵들(425, 435)은 합성곱 신경망의 “특징 추출 계층들” 또는 “컨볼루션 계층들”이라고도 불리는 복수의 계층들(420, 430, 440)에 의해 생성된다. 각각의 계층은 순차적으로 이전 계층에서 생성된 다채널 특징맵들을 수신하고, 출력으로서 그 다음의 다채널 특징맵들을 생성할 수 있다. 최종적으로 L(L은 정수)번째 계층(440)에서는 L-1번째 계층(미도시)에서 생성한 다채널 특징맵들을 수신하여 미도시의 다채널 특징맵들을 생성할 수 있다.

도 4를 참조하면, 채널 K1개를 가지는 특징맵들(425)은 입력 영상(410)에 대해 계층 1에서의 특징맵 연산(420)에 따른 출력이고, 또한 계층 2에서의 특징맵 연산(430)을 위한 입력이 된다. 또한, 채널 K2개를 가지는 특징맵들(435)은 입력 특징맵들(425)에 대해 계층 2에서의 특징맵 연산(430)에 따른 출력이고, 또한 계층 3에서의 특징맵 연산(미도시)을 위한 입력이 된다.

도 4를 참조하면, 첫 번째 계층(420)에서 생성된 다채널 특징맵들(425)은 K1(K1은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 또한, 두 번째 계층(430)에서 생성된 다채널 특징맵들(435)은 K2(K2은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 여기서, 채널의 개수를 나타내는 K1 및 K2는, 첫 번째 계층(420) 및 두 번째 계층(430)에서 각각 사용된 필터 커널의 개수와 대응될 수 있다. 즉, M(M은 1 이상 L-1 이하의 정수)번째 계층에서 생성된 다채널 특징맵들의 개수는 M번째 계층에서 사용된 필터 커널의 개수와 동일할 수 있다.

도 5는 본 개시의 일 실시 예에 따른 다중 객체 영상을 이용하여 합성곱 신경망을 학습시키는 과정을 나타내는 도면이다. 도 5의 객체 검출 딥러닝 모델 학습부(500)는 도 1의 객체 검출 딥러닝 모델 학습부(140)의 일 실시 예이다. 도 5를 참조하면, 학습에 필요한 데이터로서 단일 객체 영상들과 객체들의 위치 정보를 이용하여 합성된 다중 객체 영상(510)을 이용할 수 있다. 객체 검출 딥러닝 모델 학습부(500)는 다중 객체 영상(510)에 대해 단일 객체 각각의 위치 정보를 함께 사영시킴으로써 합성곱 신경망(520)을 학습시킬 수 있다. 일 실시 예에 따를 때, 전자 통관 시스템에서 X-Ray 검색기를 통과하는 화물 내에 복수의 객체가 존재하면, 복수의 객체들이 겹쳐진 X-Ray 영상이 획득될 수 있는데, 본 개시에 따르면, 영상 내의 복수의 객체의 위치 정보와 함께 각각의 객체의 형상을 이용하여 합성곱 신경망을 학습시키기 때문에, 객체 간 겹침이 발생하여도 보다 정확한 검출 결과가 획득될 수 있다.

도 6은 본 개시의 일 실시 예에 따른 영상 처리 장치를 이용하여 실제 영상을 분석하는 과정을 설명하기 위한 도면이다.

도 6의 영상 처리 장치(600)는 도 1의 영상 처리 장치(100)의 일 실시 예이다. 도 6의 영상 처리 장치(600)가 포함하는 객체 영역 추출부(604), 객체 위치 정보 생성부(606), 영상 합성부(608) 및 객체 검출 딥러닝 모델 학습부(610)의 동작은 도 1의 영상 처리 장치(100)에 포함된 객체 영역 추출부(110), 객체 위치 정보 생성부(120), 영상 합성부(130) 및 객체 검출 딥러닝 모델 학습부(140)의 동작과 동일하다. 따라서, 영상 처리 장치(600)는 복수의 단일 객체 영상(602)에 대해 객체 영역 추출부(604), 객체 위치 정보 생성부(606), 영상 합성부(608) 및 객체 검출 딥러닝 모델 학습부(610)에서의 동작을 수행함으로써 학습된 합성곱 신경망 모델을 생성할 수 있다. 객체 검출 장치(620)는 실제 환경의 다중 객체를 포함하는 영상(622)에 대해 영상 처리 장치(600)에서 학습된 합성곱 신경망 모델을 이용하여 각각의 객체를 검출할 수 있다. 일 실시 예에 따를 때, 전자 통관 시스템에 본 개시의 발명이 적용되는 경우, 본 개시의 영상 처리 장치(600)는 X-Ray 영상 내 단일 객체 영역 추출을 기반으로 새롭게 다중 객체 포함 영상을 생성할 수 있다. 또한 객체 검출 장치(620)는 X-Ray 검색기를 통과하는 화물 내 포함된 다중 객체가 존재하는 영역을 찾을 수 있다. 따라서, X-Ray 영상에 대해 객체의 위치를 자동적으로 추출함으로써, 판독원이 보다 수월하게 영상 검사 작업을 수행할 수 있도록 할 수 있고, 또한 추출된 객체와 화물 내 객체의 수량 정보 등을 포함하는 전산 정보를 비교하는 업무 등에 이용될 수 있다.

도 7은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다.

S700 단계에서, 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 제1 영상 및 제2 영상의 각각에 대해 객체와 배경을 구분할 수 있다. 예컨대, 입력 영상의 픽셀값과 소정의 임계값을 비교하여 픽셀값을 이진화하고, 이진화된 픽셀값을 그룹핑함으로써 입력 영상에 포함된 객체를 구분할 수 있다.

S710 단계에서, 구분된 제1 객체 및 제2 객체의 위치 정보를 생성할 수 있다. 예컨대, 객체 영역을 둘러싸는 사각형 박스를 특정하고, 특정된 사각형 박스에 기초하여, S700 단계에서 구분된 객체의 위치 정보를 생성할 수 있다.

S720 단계에서, 제1 객체의 위치 정보 및 제2 객체의 위치 정보에 기초하여, 제1 객체 및 제2 객체를 포함하는 제3 영상을 생성할 수 있다. 예컨대, S710 단계에서 획득된 제1 객체의 위치 정보 및 제2 객체의 위치 정보에 기초하여 제1 객체 및 제2 객체를 포함하는 제3 영상을 생성할 수 있다.

S730 단계에서, 제1 객체의 위치 정보, 제2 객체의 위치 정보 및 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습할 수 있다. 예컨대, 합성곱 신경망 모델을 학습시킬 수 있으며, 합성곱 신경망 모델의 학습을 위해 S710 단계에서 생성된 제1 객체의 위치 정보와 제2 객체의 위치 정보 및 S720 단계에서 생성된 제3 영상이 이용될 수 있다.

도 1 내지 도 7을 참조하여 설명한 실시 예에서는 단일 객체를 포함하는 영상을 입력 받아, 객체와 배경을 분리하는 예를 설명하였다. 그러나, 반드시 이에 한정되지 않으며, 입력 영상이 둘 이상의 객체를 포함하는 영상일 수도 있다. 이 경우, 입력 영상으로부터 둘 이상의 객체와 배경을 구분하고, 둘 이상의 객체의 각각에 대해 위치 정보를 생성하여 이용할 수도 있다. 또한, 이 경우, 도 2를 참조한 설명에서, 복수의 픽셀 그룹이 형성된 경우, 가장 큰 형태로 형성된 픽셀 그룹뿐만 아니라 다른 픽셀 그룹에 대해서도 각각 객체에 대한 영역인 것으로 결정할 수 있다. 각각의 결정된 객체의 위치 정보를 생성하는 과정은 하나의 객체를 포함하는 영상에 대해 설명한 바와 동일하다.

또한, 상기 설명한 실시 예에서는 2개의 단일 객체 영상 및 각 객체의 위치 정보에 기초하여 제3 영상을 생성하는 것으로 설명하였다. 그러나, 반드시 이에 한정되지 않으며, 둘 이상의 단일 객체 영상 및 각 객체의 위치 정보를 이용하여 제3 영상을 생성할 수도 있다. 즉, 본 개시에 따른 영상 처리 방법 및 장치는 각각이 하나 이상의 객체를 포함하는 둘 이상의 영상 및 각 객체의 위치 정보에 기초하여 제3 영상을 생성할 수 있다.

또한, 본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

100 : 영상 처리 장치
110 : 객체 영역 추출부
120 : 객체 위치 정보 생성부
130 : 영상 합성부
140 : 객체 검출 딥러닝 모델 학습부

Claims (14)

1. 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 상기 제1 영상 및 상기 제2 영상의 각각에 대해 상기 객체와 배경을 구분하는 객체 영역 추출부;
   상기 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성부;
   상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보에 기초하여, 상기 제1 객체 및 상기 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성부; 및
   상기 제1 객체의 위치 정보, 상기 제2 객체의 위치 정보 및 상기 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습부를 포함하고,
   상기 제1 객체의 위치 정보는 상기 제1 영상 내에서의 상기 제1 객체의 위치를 나타내고, 상기 제2 객체의 위치 정보는 상기 제2 영상 내에서의 상기 제2 객체의 위치를 나타내고,
   상기 객체 위치 정보 생성부는,
   상기 구분된 객체를 둘러싸는 사각형 박스(bounding box)를 특정하고,
   상기 특정된 사각형 박스에 기초하여, 상기 구분된 객체의 객체 위치 정보를 생성하는 영상 처리 장치.
2. 제1항에 있어서,
   상기 객체 영역 추출부는,
   상기 입력 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고,
   상기 이진화된 픽셀값을 그룹핑함으로써 상기 입력 영상에 포함된 객체를 구분하는 영상 처리 장치.
3. 삭제
4. 제1항에 있어서,
   상기 객체 검출 딥러닝 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 포함하고,
   상기 객체 검출 딥러닝 모델 학습부는,
   상기 제3 영상을 학습할 때, 상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보를 함께 사영시킴으로써, 상기 합성곱 신경망의 특징 맵(feature map)을 생성하는 영상 처리 장치.
5. 삭제
6. 삭제
7. 제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 상기 제1 영상 및 상기 제2 영상의 각각에 대해 상기 객체와 배경을 구분하는 객체 영역 추출 단계;
   상기 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성 단계;
   상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보에 기초하여, 상기 제1 객체 및 상기 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성 단계; 및
   상기 제1 객체의 위치 정보, 상기 제2 객체의 위치 정보 및 상기 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습 단계를 포함하고,
   상기 제1 객체의 위치 정보는 상기 제1 영상 내에서의 상기 제1 객체의 위치를 나타내고, 상기 제2 객체의 위치 정보는 상기 제2 영상 내에서의 상기 제2 객체의 위치를 나타내고,
   상기 객체 위치 정보 생성 단계는,
   상기 구분된 객체를 둘러싸는 사각형 박스(bounding box)를 특정하고,
   상기 특정된 사각형 박스에 기초하여, 상기 구분된 객체의 객체 위치 정보를 생성하는 영상 처리 방법.
8. 제7항에 있어서,
   상기 객체 영역 추출 단계는,
   상기 입력 영상의 픽셀값과 소정의 임계값을 비교하여 상기 픽셀값을 이진화하고,
   상기 이진화된 픽셀값을 그룹핑함으로써 상기 입력 영상에 포함된 객체를 구분하는 영상 처리 방법.
9. 삭제
10. 제7항에 있어서,
    상기 객체 검출 딥러닝 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 포함하고,
    상기 객체 검출 딥러닝 모델 학습 단계는,
    상기 제3 영상을 학습할 때, 상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보를 함께 사영시킴으로써, 상기 합성곱 신경망의 특징 맵(feature map)을 생성하는 영상 처리 방법.
11. 삭제
12. 삭제
13. 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체로서,
    상기 프로그램은,
    제1 객체를 포함하는 제1 영상 및 제2 객체를 포함하는 제2 영상을 입력 받아, 상기 제1 영상 및 상기 제2 영상의 각각에 대해 상기 객체와 배경을 구분하는 객체 영역 추출 단계;
    상기 구분된 제1 객체 및 제2 객체의 위치 정보를 생성하는 객체 위치 정보 생성 단계;
    상기 제1 객체의 위치 정보 및 상기 제2 객체의 위치 정보에 기초하여, 상기 제1 객체 및 상기 제2 객체를 포함하는 제3 영상을 생성하는 영상 합성 단계; 및
    상기 제1 객체의 위치 정보, 상기 제2 객체의 위치 정보 및 상기 제3 영상을 이용하여 객체 검출 딥러닝 모델을 학습하는 객체 검출 딥러닝 모델 학습 단계를 실행하고,
    상기 제1 객체의 위치 정보는 상기 제1 영상 내에서의 상기 제1 객체의 위치를 나타내고, 상기 제2 객체의 위치 정보는 상기 제2 영상 내에서의 상기 제2 객체의 위치를 나타내고,
    상기 객체 위치 정보 생성 단계는,
    상기 구분된 객체를 둘러싸는 사각형 박스(bounding box)를 특정하고,
    상기 특정된 사각형 박스에 기초하여, 상기 구분된 객체의 객체 위치 정보를 생성하는 컴퓨터로 판독 가능한 기록 매체.
14. 삭제

Images