KR102087296B1 - 머신러닝 기반 영상의 장애물 제거 장치 및 방법 - Google Patents

Abstract

본 발명은 영상에 포함된 장애물을 제거하는 기술에 관한 것으로서, 상세하게는 머신러닝 기반으로 영상 내 장애물의 위치정보를 예측하여 장애물을 제거하고 영상을 복원함으로써 선명한 영상을 획득할 수 있는 머신러닝 기반 영상의 장애물 제거 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치는 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 입력 영상을 분석하여 영상 내의 장애물을 검출하는 검출부와, 상기 검출된 장애물의 위치정보를 이용하여 영상 내 장애물을 제외한 부분에 초점을 맞추는 자동 초점 설정부와, 상기 초점이 맞춰진 영상에 대해 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 장애물이 없는 영상을 출력하는 영상 복원부를 포함한다.

Description

머신러닝 기반 영상의 장애물 제거 장치 및 방법{Apparatus and method for eliminating obstacles in image based on learning-machine}

본 발명은 영상에 포함된 장애물을 제거하는 기술에 관한 것으로서, 상세하게는 머신러닝 기반으로 영상 내 장애물의 위치정보를 예측하여 장애물을 제거하고 영상을 복원함으로써 선명한 영상을 획득할 수 있는 머신러닝 기반 영상의 장애물 제거 장치 및 방법에 관한 것이다.

보안, 안전 또는 군사적 상황으로 인해 특정 장소에 카메라 또는 CCTV 등의 센서를 설치하지 못하고 외부에 설치하는 경우가 많다. 특히, 철조망 밖에서 카메라 또는 CCTV를 이용하여 사진이나 동영상을 촬영하는 경우 철조망에 가리어 완벽한 영상을 취득하는 것이 어렵다.

예를 들어, 군인들이 작전 수행 중에 철조망 밖의 적군을 감시해야 하는 경우, 야구장 등의 경기장에서 안전을 위해 그물망을 설치한 경우, 동물원의 철조망 밖에서 관람을 하는 경우와 같이 철조망이나 그물망 등의 장애물 안쪽으로 들어가지 못하고 밖에서 영상을 촬영해야 한다.

이때 초점이 철조망이나 그물망에 맞춰질 경우 우리가 원하는 대상이 흐려지거나 대상에 초점이 맞춰지더라도 철조망이나 그물망에 가리어져 완벽한 영상을 획득하는 것이 불가능하다.

이러한 문제는 다양한 환경에서 발생할 수 있다.

즉, 고정된 철조망을 향해 카메라 또는 CCTV가 고정 설치되어 촬영하는 경우뿐만 아니라 고정된 철조망을 향해 카메라 또는 CCTV가 이동하면서 촬영하거나, 철조망이 이동하는 가운데 카메라 또는 CCTV도 이동하면서 촬영하는 경우이다.

미국등록특허 제9542735호

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 철조망이나 그물망 등의 장애물이 있는 영상으로부터 장애물이 제거된 선명한 영상을 획득하는 것이다.

이를 위해, 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치는 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 입력 영상을 분석하여 영상 내의 장애물을 검출하는 검출부와, 상기 검출된 장애물의 위치정보를 이용하여 영상 내 장애물을 제외한 부분에 초점을 맞추는 자동 초점 설정부와, 상기 초점이 맞춰진 영상에 대해 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 장애물이 없는 영상을 출력하는 영상 복원부를 포함한다.

또한, 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 방법은 영상의 장애물 제거 장치에서 머신러닝 기반으로 영상에 포함된 장애물을 제거하는 방법으로서, 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 입력 영상을 분석하여 영상 내의 장애물을 검출하는 장애물 검출 단계와, 상기 검출된 장애물의 위치정보를 이용하여 영상 내 장애물을 제외한 부분에 초점을 맞추는 자동 초점 설정 단계와, 상기 초점이 맞춰진 영상에 대해 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 장애물이 없는 영상을 출력하는 영상 복원 단계를 포함한다.

상술한 바와 같이, 본 발명은 딥 러닝 기반으로 영상 내의 장애물을 검출하고 장애물이 아닌 부분에 자동 초점을 맞추어 영상 내에서 장애물을 제거함으로써 장애물이 없는 선명한 영상을 획득할 수 있는 효과가 있다.

도 1은 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치의 내부 구성도.
도 2는 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 과정에서 단계별 처리되는 영상의 모습을 나타낸 도면.
도 3은 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치에서 검출부의 내부 구성도.
도 4는 본 발명에 따른 가시화 마스크 생성기에서의 처리 과정을 설명하기 위한 도면.
도 5는 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 방법의 순서도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

도 1은 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치의 내부 구성을 개략적으로 나타낸 것이다.

도 1을 참조하면, 머신러닝 기반 영상의 장애물 제거 장치는 검출부(10), 자동 초점 설정부(20), 영상 복원부(30), 화질 개선부(40) 등을 포함한다.

검출부(10)는 카메라 또는 CCTV 등으로부터 영상을 입력받고 영상에 포함된 장애물을 검출한다. 영상에 포함된 장애물로는 대표적으로 철조망, 그물망 등이 있으며, 본 발명의 실시예에서는 장애물로 철조망, 그물망 등을 가정하고 이러한 장애물을 메쉬(mesh)라고 통칭한다.

영상 내에서 이러한 메쉬를 찾기 위해, 본 발명은 약한 지도 학습(weakly supervised learning) 기반의 딥 러닝(deep-learning) 모델을 제안한다. 즉, 학습 영상으로서 메쉬가 있는 영상과 메쉬가 없는 영상을 준비하여 딥 러닝 기반으로 검출부(10)를 사전 학습시킨다.

검출부(10)는 딥 러닝 기반으로 학습된 모델에 따라 영상을 분석하여 메쉬가 있는 영상은 0으로 분류하고, 메쉬가 없는 영상은 1로 분류한다. 검출부(10)에 적용되는 딥 러닝 기반의 학습 모델을 제1 모델이라고 칭한다.

자동 초점 설정부(20)는 검출부(10)에서 검출한 메쉬의 위치정보를 이용하여 영상에 대한 자동 초점 기능을 수행한다. 즉, 자동 초점 설정부(20)는 메쉬의 위치정보를 알고 있으므로 영상 내 메쉬 부분을 제외한 부분에 초점을 맞춘다.

이렇게 메쉬를 제외한 부분에 카메라의 초점을 맞추게 되면 영상 내에서 메쉬 장애물은 흐려지고 메쉬 장애물이 아닌 부분은 선명해진다.

영상 복원부(30)는 자동 초점 설정부(20)에서 초점이 맞춰진 영상으로부터 메쉬가 없는 영상을 생성한다.

영상 내에서 메쉬를 제거하여 메쉬가 없는 영상을 생성하기 위해, 본 발명은 딥 러닝의 하나인 오토 인코더(auto-encoder) 기술을 사용한다.

오토 인코더는 하나의 히든 레이어(hidden layer)가 있는 신경망 구조로서, 입력 영상이 그대로 출력되도록 학습하는 방법이다. 오토 인코더는 지도 과정이 필요 없는 비지도 학습의 대표적인 모델이다.

영상 복원부(30)는 오터 인코더 기반으로 학습된 모델에 따라 자동 초점 조절된 영상으로부터 메쉬가 없는 영상을 출력할 수 있다. 영상 복원부(30)에서 적용된 딥 러닝 기반의 학습 모델을 제2 모델이라고 칭한다.

화질 개선부(40)는 영상 복원부(30)에서 출력된 메쉬가 없는 영상에서 발생하는 블러(blur) 현상을 제거한다.

오토 인코더는 영상의 특징을 압축한 후 그 특징을 이용하여 영상을 복원하는 구조이므로 정보의 손실이 일어나고 이러한 정보의 손실로 인해 영상이 흐릿해지는 블러(blur) 현상이 발생한다.

화질 개선부(40)는 영상 복원부(30)의 출력단에 별도로 설치될 수 있으나, 영상 복원부(30)에 포함될 수도 있다. 즉, 화질 개선부(40)의 화질 개선 기능은 영상 처리 기법에 따라 구현되거나, 오토 인코더 구조 안에서 한 번에 학습될 수도 있다.

도 2는 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 과정에서 단계별 처리되는 영상의 모습을 나타낸 것이다.

도 2를 참조하면, 도 2의 (a)는 카메라 또는 CCTV에서 촬영한 메쉬가 있는 영상을 나타내고, (b)는 영상 내에서 메쉬가 검출된 것을 나타내고, (c)는 메쉬를 제외한 부분에 초점이 맞춰진 것을 나타내고, (d)는 메쉬가 제거되어 메쉬가 없는 영상을 나타낸다.

특히, 도 2의 (c)에서 메쉬가 아닌 부분에 초점(적색 점선이 가리키는 곳)이 맞춰짐으로써 메쉬는 흐릿하게 보이고 메쉬를 제외한 부분은 선명하게 보이는 것을 알 수 있다.

도 3은 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 장치에서 검출부의 내부 구성을 나타낸 것이다.

도 3을 참조하면, 검출부(10)는 CNN(Convolution Neural Network)(101), 분류기(classifier)(102), 가시화 마스크 생성기(103), 이진화(binarization) 모듈(104), 분할(segmentation) 모듈(105) 등을 포함한다.

카메라 또는 CCTV로부터 영상이 CNN(101)에 입력되면, CNN(101)은 입력 영상으로부터 특징 맵(feature map)을 추출한다.

CNN(101)에서 추출된 특징 맵은 분류기(102)로 입력되어, 분류기(102)는 특징 맵을 심층 신경망에 적용하여 메쉬가 있는 영상 또는 메쉬가 없는 영상으로 분류한다. 메쉬가 있는 영상은 라벨 0으로 분류되고, 메쉬가 없는 영상은 라벨 1로 분류된다.

메쉬가 있는 영상으로 분류되면, 가시화 마스크 생성기(103)는 메쉬가 있는 영상의 특징 맵을 이용하여 입력 영상과 같은 크기로 매핑된 가시화 마스크(visualization mask)를 출력한다. 가시화 마스크에서 메쉬 장애물 부분은 상대적으로 큰 값을 가지고, 메쉬 장애물이 아닌 부분은 상대적으로 작은 값을 가진다.

이진화 모듈(104)은 가시화 마스크의 값을 0 또는 1로 이진화하고, 분할 모듈(105)는 이진화 영상에서 1인 부분을 메쉬로 인식하고, 0인 부분은 메쉬가 아닌 것으로 인식하여 1인 부분의 좌표 값만 저장함으로써 메쉬의 위치정보를 획득하게 된다.

도 4는 본 발명에 따른 가시화 마스크 생성기에서의 처리 과정을 구체적으로 나타낸 것이다.

도 4를 참조하면, 먼저 CNN(101)으로 영상이 입력되면 합성 곱(convolution) 과정과 서브샘플링(sub-sampling) 과정을 반복 수행하여 특징 맵(12-1, 12-2, ..., 12-n)을 생성한다.

마지막 생성된 특징 맵(12-n)이 분류기(102)로 입력되면 분류기(102)는 심층 신경망을 통해 입력 영상을 메쉬가 있는 영상 또는 메쉬가 없는 영상으로 분류한다.

분류 결과, 메쉬가 있는 영상으로 분류되면, 가시화 마스크 생성기(103)는 메쉬가 있는 영상의 특징 맵(12-1, 12-2, ..., 12-n)을 이용하여 최종 가시화 마스크(16-n)을 생성하게 된다.

구체적으로, 가시화 마스크 생성기(103)에서 최종 n 번째 특징 맵(12-n)이 평균화되어 제1 평균 특징 맵(14-1)이 생성되고, 제1 평균 특징 맵(14-1)의 크기가 조절되어 제1 마스크(16-1)가 생성된다.

제1 마스크(16-1)는 n-1번째 특징 맵(12-(n-1))의 평균 특징 맵인 제2 평균 특징 맵(14-2)과 픽셀별 곱(pointwise multiplication) 연산되어 제1 픽셀별 곱 결과(15-1)가 생성되고, 제1 픽셀별 곱 결과(15-1)의 크기가 조절되어 제2 마스크가 생성된다.

이와 같이, 메쉬가 있는 영상의 특징 맵 그룹에서 현재 레이어의 평균 특징 맵과 이전 레이어의 마스크가 픽셀별 곱 연산되는 과정이 역방향으로 순차 진행된다.

즉, 마지막 단계에서, n 번째 특징 맵(12-1)의 평균 특징 맵인 제n 평균 특징 맵(14-n)과 제n-1 마스크(16-(n-1))가 픽셀별 곱 연산되어 제n-1 픽셀별 곱 결과(15-(n-1))가 생성되고, 제n-1 픽셀별 곱 결과(15-(n-1))의 크기가 조절되어 최종적으로 입력 영상과 같은 크기로 매핑된 가시화 마스크(16-n)가 생성된다.

도 5는 본 발명에 따른 머신러닝 기반 영상의 장애물 제거 과정을 나타낸 것이다.

도 5를 참조하면, 먼저 머신러닝 기반 영상의 장애물 제거 장치는 영상을 입력받아 제1 모델에 따라 라벨 0 즉, 영상을 장애물이 있는 영상과 라벨 1 즉, 장애물이 없는 영상으로 분류한다(S10).

영상의 분류 결과를 확인하여(S20), 라벨이 0이면, 상술한 과정을 통해 입력 영상과 같은 크기로 매핑된 가시화 마스크를 생성한다(S30). 가시화 마스크는 장애물이 있는 부분에서 상대적으로 큰 값을 갖고 장애물이 없는 부분에서 상대적으로 작은 값을 갖는다.

장애물이 있는 부분과 없는 부분에서 다른 값을 가진 가시화 마스크를 생성하면, 가시화 마스크의 값을 0 또는 1로 이진화하여 이진화 영상을 생성한다(S40).

이진화 영상을 생성하면, 이진화 영상에서 1인 부분을 장애물로 인식하고, 0인 부분은 장애물이 아닌 것으로 인식하여 1인 부분의 좌표 값만 저장함으로써 장애물의 위치정보를 획득한다(S50).

장애물의 위치정보를 획득하면, 머신러닝 기반의 영상 제거 장치는 오토 인코더 기반의 제2 모델에 따라 장애물을 제거하여 장애물이 없는 영상을 복원한다(S70).

장애물이 없는 영상을 복원하면, 복원한 영상에서 발생한 블러(blur) 현상을 제거하여 영상의 화질을 개선한다(S80).

영상의 화질 개선 단계(S80)에서는 영상 복원 단계(S70)의 제2 모델을 사용하거나 제2 모델과 독립적인 영상 처리 기술을 사용할 수도 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.

따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

1: 장애물이 포함된 원본 영상 2: 장애물이 검출된 영상
3: 자동 초점 영상 4: 장애물이 제거된 영상
10: 검출부 12: 특징 맵
14: 평균 특징 맵 15: 픽셀별 곱 결과
16: 마스크 20: 자동 초점 설정부
30: 영상 복원부 40: 화질 개선부
101: CNN 102: 분류기
103: 가시화 마스크 생성기 104: 이진화 모듈
105: 분할 모듈

Claims (10)

1. 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 입력 영상을 분석하여 영상 내의 장애물을 검출하는 검출부와,
   상기 검출된 장애물의 위치정보를 이용하여 영상 내 장애물을 제외한 부분에 초점을 맞추어 장애물은 흐리고 장애물이 아닌 부분은 선명한 영상을 생성하는 자동 초점 설정부와,
   상기 초점이 맞춰진 영상에 대해 비지도 학습의 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 장애물이 없는 영상을 출력하는 영상 복원부를 포함하는 머신러닝 기반 영상의 장애물 제거 장치.
2. 제1항에서,
   상기 검출부는 입력 영상으로부터 특징 맵(feature map)을 추출하고 특징 맵을 심층 신경망에 적용하여 영상을 장애물이 있는 영상과 장애물이 없는 영상을 분류하고, 장애물이 있는 영상의 특징 맵을 이용하여 영상 내의 장애물의 위치정보를 예측하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 장치.
3. 제2항에서,
   상기 검출부는 상기 장애물이 있는 영상의 특징 맵 그룹에서 현재 레이어(layer)의 평균 특징 맵과 이전 레이어의 마스크(mask)를 픽셀별 곱(pointwise multiplication) 연산하는 과정을 역방향으로 순차 진행함으로써 입력 영상과 같은 크기로 매핑된 가시화 마스크(visualization mask)를 출력하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 장치.
4. 제3항에서,
   상기 검출부는 상기 가시화 마스크에 대해 이진화를 수행하여 이진화 영상을 생성하고 이진화 영상으로부터 장애물의 위치정보를 추출하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 장치.
5. 제1항에서,
   상기 영상 복원부로부터 출력된 장애물이 없는 영상에서 발생하는 블러(blur) 현상을 제거하는 화질 개선부를 더 포함하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 장치.
6. 영상의 장애물 제거 장치에서 머신러닝 기반으로 영상에 포함된 장애물을 제거하는 방법에 있어서,
   딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 입력 영상을 분석하여 영상 내의 장애물을 검출하는 장애물 검출 단계와,
   상기 검출된 장애물의 위치정보를 이용하여 영상 내 장애물을 제외한 부분에 초점을 맞추어 장애물은 흐리고 장애물이 아닌 부분은 선명한 영상을 생성하는 자동 초점 설정 단계와,
   상기 초점이 맞춰진 영상에 대해 비지도 학습의 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 장애물이 없는 영상을 출력하는 영상 복원 단계를 포함하는 머신러닝 기반 영상의 장애물 제거 방법.
7. 제6항에서,
   상기 장애물 검출 단계는 입력 영상으로부터 특징 맵(feature map)을 추출하고 특징 맵을 심층 신경망에 적용하여 영상을 장애물이 있는 영상과 장애물이 없는 영상을 분류하는 과정과,
   장애물이 있는 영상의 특징 맵을 이용하여 영상 내의 장애물의 위치정보를 예측하는 과정을 포함하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 방법.
8. 제7항에서,
   상기 장애물의 위치정보를 예측하는 과정은 상기 장애물이 있는 영상의 특징 맵 그룹에서 현재 레이어(layer)의 평균 특징 맵과 이전 레이어의 마스크(mask)를 픽셀별 곱(pointwise multiplication) 연산하는 과정을 역방향으로 순차 진행함으로써 입력 영상과 같은 크기로 매핑된 가시화 마스크(visualization mask)를 출력하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 방법.
9. 제8항에서,
   상기 장애물의 위치정보를 예측하는 과정은 상기 가시화 마스크에 대해 이진화를 수행하여 이진화 영상을 생성하고 이진화 영상으로부터 장애물의 위치정보를 추출하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 방법.
10. 제6항에서,
    상기 영상 복원 단계에서 출력된 장애물이 없는 영상에서 발생하는 블러(blur) 현상을 제거하는 화질 개선 단계를 더 포함하는 것을 특징으로 하는 머신러닝 기반 영상의 장애물 제거 방법.

Images