KR102282364B1 - Mms에 수집된 영상의 지정 구간별 실시간 블러 처리시스템 - Google Patents

Abstract

본 발명은 MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템에 관한 것으로,
MMS 영상을 저장하는 MMS영상저장DB(10)와;
딥러닝을 위한 최초 기본정보를 저장하는 기본정보DB(21)와, 딥러닝을 위한 학습정보가 저장되는 학습정보DB(22)를 갖추고서, 기본정보와 학습정보로 이루어진 딥러닝정보를 저장하는 딥러닝정보DB(20)와;
MMS 영상 상에서 구성 객체를 탐색하고, 딥러닝정보DB(20)에 저장된 딥러닝정보를 기반으로 딥러닝해서 MMS 영상 내에서 사람 신체 이미지를 추출하는 사람신체이미지추출딥러닝모듈(30)과;
사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지를 분석해서, 사람 신체 이미지 상에 마스크 이미지가 존재하는지를 파악하고, 사람 신체 이미지 상에 마스크 이미지가 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류하는 마스크이미지분석모듈(40)과;
마스크이미지분석모듈(40)에 의해 블러링불처리이미지로 분류되지 않은 사람 신체 이미지를 분석해서, 사람 얼굴을 파악하는 사람얼굴이미지분석모듈(50)과;
사람얼굴이미지분석모듈(50)에서 파악된 사람 얼굴을 블러링처리하는 블러링처리모듈(60)
을 포함하는 것을 특징으로 한다.

Description

MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템{Image Blurring Processing System}

본 발명은 MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템에 관한 것이다.

MMS(Mobile Mapping System)의 데이터수집장치는, 차량에 설치되고 라이다와 카메라와 GPS장치를 구성해서 현 위치를 중심으로 한 주변공간의 형상적 구조 정보와 수집영상 이미지 정보와 현 위치의 위치정보를 수집한다.

이렇게 수집한 형상적 구조 정보는 3D 수치지도 영상의 도화 자료로 활용되고, 수집영상 이미지 정보는 인터넷 포털사이트에서 제공하는 거리현장의 이미지 제공 서비스(이하 '거리뷰 서비스') 등으로 활용된다.

그런데 상기 데이터수집장치를 통해 촬영한 거리현장의 수집영상 이미지에는 보행자의 얼굴을 포함한다. 즉 MMS를 통한 정보 수집 당시에 보행자의 개인 정보가 그대로 노출되는 것이다.

따라서 수집영상 이미지 내에 거리뷰 서비스 제공 이전에 제3자가 식별할 수 없도록 블러링 처리 되어야 한다.

종래에는 사람의 얼굴을 블러링 처리하기 위해 MMS 영상에서 사람 얼굴을 일일이 찾는 이미지 분석 방법이 사용되었다.

상기 이미지 분석 방법은, MMS 영상 전체에서 픽셀 값(RGB 값)을 분석하여, 사람 얼굴 찾는 것으로, MMS 영상 전체의 픽셀 값을 분석해서 사람 얼굴을 찾아야 하기 때문에, 정확도는 향상되도라도 처리 시간이 오래 걸리는 문제가 있었다.

한편, 최근에는 바이러스 유행으로 인해, 대부분의 사람들이 마스크를 착용한다. 이와 같이 마스크를 착용한 사람은 얼굴 노출이 부정확하게 이루어져 굳이 블러링 처리를 할 필요가 없다.

대한민국 등록특허 10-1979913호

본 발명은, 상기와 같은 과제를 해결하기 위한 것으로, MMS 영상에서 딥러닝 방식을 통해 사람 신체 이미지를 신속하게 추출한 후, 상기 추출된 사람 신체 이미지의 이미지 분석을 통해 사람 신체 이미지에서 얼굴 이미지를 정확하게 찾아 낸 후, 해당 얼굴 이미지에 대해 블러링 처리를 함으로써, 보다 빠르고 정확한 사람 얼굴 블러링 처리가 가능한 'MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템'을 제공하는 것을 해결하고자 하는 과제로 한다.

또한, 본 발명은 딥러닝을 통해 추출된 사람 신체 이미지 중, 마스크 이미지가 존재하는 사람 신체 이미지를 제외한 후, 마스크가 존재하지 않는 사람 신체 이미지에 대해서만 사람 얼굴을 찾아 블러링 처리 함으로써, MMS 영상 내에서의 사람 얼굴 블러링 처리 속도가 향상되는 'MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템'을 제공하는 것을 해결하고자 하는 과제로 한다.

상기와 같은 과제를 해결하기 위한 본 발명은,

MMS 영상을 저장하는 MMS영상저장DB(10)와;

딥러닝을 위한 최초 기본정보를 저장하는 기본정보DB(21)와, 딥러닝을 위한 학습정보가 저장되는 학습정보DB(22)를 갖추고서, 기본정보와 학습정보로 이루어진 딥러닝정보를 저장하는 딥러닝정보DB(20)와;

딥러닝정보DB(20)에 저장된 딥러닝정보를 기반으로 딥러닝해서 MMS 영상 내에서 사람 신체 이미지를 추출하는 사람신체이미지추출딥러닝모듈(30)과;

사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지를 픽셀 RGB 분석 및 패턴 분석을 해서, 사람 신체 이미지 상에 마스크 이미지가 존재하는지를 파악하고, 사람 신체 이미지 상에 마스크 이미지가 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류하는 마스크이미지분석모듈(40)과;

마스크이미지분석모듈(40)에 의해 블러링불처리이미지로 분류되지 않은 사람 신체 이미지를 픽셀 RGB 분석 및 패턴 분석을 해서, 사람 얼굴을 파악하는 사람얼굴이미지분석모듈(50)과;

사람얼굴이미지분석모듈(50)에서 파악된 사람 얼굴을 블러링처리하는 블러링처리모듈(60)

을 포함하는 것을 특징으로 한다.

상기와 같은 과제의 해결 수단에 따른 본 발명은, MMS 영상에서 딥러닝 방식을 통해 사람 신체 이미지를 신속하게 추출한 후, 상기 추출된 사람 신체 이미지의 이미지 분석을 통해 사람 신체 이미지에서 얼굴 이미지를 정확하게 찾아 낸 후, 해당 얼굴 이미지에 대해 블러링 처리를 함으로써, 보다 빠르고 정확한 사람 얼굴 블러링 처리가 가능한 효과가 있다.

또한, 본 발명은, 딥러닝을 통해 추출된 사람 신체 이미지 중, 마스크 이미지가 존재하는 사람 신체 이미지를 제외한 후, 마스크가 존재하지 않는 사람 신체 이미지에 대해서만 사람 얼굴을 찾아 블러링 처리 함으로써, MMS 영상 내에서의 사람 얼굴 블러링 처리 속도가 향상되는 효과가 있다.

도 1은 본 발명의 구성을 설명하기 위한 시스템도이고,
도 2는 본 발명에 따른 블러링 처리 과정을 설명하기 위한 순서도이고,
도 3은 기본정보DB에 저장된 사람 신체 이미지를 설명하기 위한 도면이고,
도 4는 기본정보DB 및 학습정보DB에 저장된 사람 신체 이미지를 설명하기 위한 도면이고,
도 5는 블러링 처리 이전의 MMS 영상을 설명하기 위한 도면이고,
도 6은 블러링 처리 이후의 MMS 영상을 설명하기 위한 도면이다.

이하 본 발명을 통상의 기술자가 쉽게 실시할 수 있도록 설명한다.

도 1은 본 발명의 구성을 설명하기 위한 시스템도로서, 도 1을 참조하여 본 발명에 따른 구성을 설명하면 다음과 같다.

본 발명에 따른 MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템은 MMS영상저장DB(10)와, 딥러닝정보DB(20)와, 사람신체이미지추출딥리닝모듈(30)과, 마스크이미지분석모듈(40)과, 사람얼굴이미지분석모듈(50) 및, 블러링처리모듈(60)을 포함한다.

상기 MMS저장DB(10)는 데이터수집장치(DC)에서 수집한 MMS 영상을 저장한다. 본 실시예에서 데이터수집장치(DC)는, 차량(V)에 탑재되고, 카메라(DC1)를 이용하여 MMS 영상을 수집한다. 본 실시예에서 사용되는 데이터수집장치(DC)는 통상의 MMS(Mobile Mapping System)에 구비되는 구성으로, 카메라(DC1)에 더해, GPS장치, 라이다장치, 측위센서 등 MMS 영상 수집을 위한 다양한 구성을 포함한다.

상기 딥러닝정보DB(20)는 기본정보와, 학습정보로 이루어진 딥러닝정보를 저장한다.

상기 기본정보DB(21)는 딥러닝(Deep Learning; 기계 학습)을 위한 최초 기본정보를 저장한다. 본 실시예에서 기본정보DB(21)는 다양한 형태의 사람 신체 이미지를 최초 기본정보로 저장한다.

상기 학습정보DB(22)는 딥러닝을 위한 학습정보가 저장된다. 본 실시예에서 학습정보DB(22)는 사람신체이미지추출딥러닝모듈(30)에 의해 학습된 다양한 형태의 사람 신체 이미지를 학습정보로 저장한다.

상기 사람신체이미지추출딥러닝모듈(30)은, MMS 영상 상에서 구성 객체를 탐색하고, 딥러닝정보DB(20)에 저장된 딥러닝정보를 기반으로 딥러닝해서 MMS 영상 내에서 사람 신체 이미지를 추출한다.

일예로, 상기 사람신체이미지추출딥러닝모듈(30)은, 기본정보DB(21)에 저장된 최초 사람 신체 이미지와, 상기 최초 사람 신체 이미지와 유사한(예를 들어 유사도 70~80%) 일정 영역을 갖는 MMS 영상 상의 사람 신체 이미지를 탐색한다.

여기서, 작업자는, 사람신체이미지추출딥러닝모듈(30)에서 탐색된 사람 신체 이미지를 확인하여, 탐색된 상기 사람 신체 이미지가 기본정보DB(21)에 저장된 최초 사람 신체 이미지와 기준 이하로 유사할 경우(유사도 범위 이하일 경우), 해당 탐색 사람 신체 이미지가 사람신체이미지추출딥러닝모듈(30)에 의해 학습정보DB(22)에 저장되지 않도록 지정한다.

그러면, 사람신체이미지추출디러닝모듈(30)은, 탐색된 사람 신체 이미지 중, 기본정보DB(21)에 저장된 최초 사람 신체 이미지와 100% 동일한 탐색 사람 신체 이미지와, 상기 학습정보DB(22)에 저장되지 않게 지정된 탐색 사람 신체 이미지를 제외한 후, 나머지 탐색 사람 신체 이미지를 학습정보DB(22)에 저장한다.

한편, 기본정보DB(21)에 저장된 최초 사람 신체 이미지를 기반으로 딥러닝이 이루어지면, 이후에는 딥러닝정보DB(20)에 저장된 사람 신체 이미지를 기반으로 딥러닝이 이루어진다.

본 실시예에서는 상기와 같은 딥러닝 방식으로 딥러닝이 이루어지지만, 기존의 다양한 딥러닝 방식을 통해 사람 신체 이미지를 탐색할 수도 있다.

상기 마스크이미지분석모듈(40)은, 사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지를 분석해서, 사람 신체 이미지 상에 마스크 이미지가 존재하는지를 파악하고, 사람 신체 이미지 상에 마스크 이미지가 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류한다.

일예로, 상기 마스크이미지분석모듈(40)은, 픽셀 RGB 분석, 패턴 분석을 통해, 사람신체이미지추출딥러닝모듈(30)에서 추출된 사람 신체 이미지 상에, 마스크 형상(예를 들어 흰색 또는 검은색으로 이루어진 사각형, 타원형, 마름모형 등)이 존재하는지를 파악하고, 상기 사람 신체 이미지 상에 마스크 형상이 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류한다. 이를 통해 본 실시예에서는 마스크를 착용한 사람 얼굴에 대해서는 블러링 처리 작업을 하지 않아, 작업 속도를 향상시킬 수 있다.

상기 사람얼굴이미지분석모듈(50)은, 마스크이미지분석모듈(40)에 의해 블러링불처리이미지로 분류되지 않은 사람 신체 이미지를 분석해서, 사람 얼굴을 파악한다. 일예로 사람얼굴이미지분석모듈(50)은, 픽셀 RGB 분석, 패턴 분석을 통해, 사람 신체 이미지에서 눈, 코, 입이 존재하는 부분을 찾아 사람 얼굴을 파악한다.

상기 블러링처리모듈(60)은, 사람얼굴이미지분석모듈(50)에서 파악된 사람 얼굴을 실시간으로 블러링 처리(또는 블러 처리)한다.

한편, 본 발명에서는 데이터 신호 입력을 위한 입력유닛(IP) 및 데이터 신호 출력을 위한 디스플레이유닛(DS)을 더 구비할 수 있다.

도 2는 본 발명에 따른 블러링 처리 과정을 설명하기 위한 순서도이고, 도 3은 기본정보DB에 저장된 사람 신체 이미지를 설명하기 위한 도면이고, 도 4는 기본정보DB 및 학습정보DB에 저장된 사람 신체 이미지를 설명하기 위한 도면이고, 도 5는 블러링 처리 이전의 MMS 영상을 설명하기 위한 도면이고, 도 6은 블러링 처리 이후의 MMS 영상을 설명하기 위한 도면으로서, 도 2 내지 도 6을 참조하여 본 발명의 작용을 설명하면 다음과 같다.

우선, 데이터수집장치(DC)에 의해 수집된 MMS 영상은, 본 발명과 데이터수집장치(DC) 간의 통신(유선 또는 무선 통신)을 통해 MMS영상저장DB(10)에 전달된다. 이때 MMS 영상에는 일정 구간 별로 지정이 되어 있어, 해당 구간 MMS 영상을 불러온 후 데이터 처리를 할 수 있다.

여기서, 본 발명에 의한 사람 얼굴 블러링 처리 과정의 일예를 살펴보면 다음과 같다.

우선, 기본정보DB(21)에는 딥러닝을 위한 최초 기본정보가 저장되어 있다.

상기 최초 기본정보로는 도 3에 도시된 바와 같이 다양한 사람 신체 이미지가 저장된다.

본 실시예에서는 기본정보DB(21)에 100개의 사람 신체 이미지가 저장된다.

이러한 상태에서 사람신체이미지추출딥러닝모듈(30)이, MMS 영상 상에서 구성 객체를 탐색하고, 기본정보DB(21)에 저장된 최초 사람 신체 이미지와, 상기 최초 사람 신체 이미지와 유사한(예를 들어 유사도 70~80%) 일정 영역을 갖는 MMS 영상 상의 사람 신체 이미지를 탐색한다.

이때, 사람신체이미지추출딥러닝모듈(30)은 일예로 1000개의 사람 신체 이미지를 탐색한다.

상기 1000개의 사람 신체 이미지에는 일예로 최초 사람 신체 이미지와 100% 동일한 동일사람신체이미지가 200개 있고, 70~80%의 유사도를 갖는 적합사람신체이미지가 650개 있으며, 70~80% 미만의 유사도를 갖는 비적합사람신체이미지가 150개 있을 수 있다.

여기서, 상기 동일사람신체이미지는 최초 사람 신체 이미지와 동일하기 때문에, 사람신체이미지추출딥러닝모듈(30)은 학습정보DB(22)에 동일사람신체이미지를 학습하여 저장할 필요가 없다.

또한, 상기 비적합사람신체이미지는 실제 사람 신체와 유사하지 않기 때문에, 사람신체이미지추출딥러닝모듈(30)은 학습정보DB(22)에 비적합사람신체이미지를 학습하여 저장할 필요가 없다.

따라서, 본 실시예에서는 작업자는, 사람신체이미지추출딥러닝모듈(30)에서 탐색한 사람 신체 이미지를 확인한 후, 상기 동일사람신체이미지 및 상기 비적합사람신체이미지가 사람신체이미지추출딥러닝모듈(30)에 의해 학습정보DB(22)에 저장되지 않도록 지정한다.

그러면, 사람신체이미지추출딥러닝모듈(30)은, 탐색된 사람 신체 이미지 중, 상기 동일사람신체이미지 200개와, 상기 비적합사람신체이미지 150개를 제외한 후, 적합사람신체이미지 650개를 학습정보DB(22)에 저장한다. 이에 따라 딥러닝정보DB(20)에는 도 4와 같이 750개의 사람 신체 이미지가 저장된다.

한편, 기본정보DB(21)에 저장된 최초 사람 신체 이미지를 기반으로 딥러닝이 이루어지면, 이후에는 딥러닝정보DB(20)에 저장된 사람 신체 이미지를 기반으로 딥러닝이 이루어진다.

상기와 같은 딥러닝 처리를 통해, 사람신체이미지추출딥러닝모듈(30)은 상기 유사도(유사도 70~80%)에 부합하는 사람 신체 이미지를 추출한다.

이후, 마스크이미지분석모듈(40)은, RGB 픽셀 분석, 패턴 분석을 통해, 사람신체이미지추출딥러닝모듈(30)에서 추출된 사람 신체 이미지 상에, 마스크 형상(예를 들어 흰색 또는 검은색으로 이루어진 사각형, 타원형, 마름모형 등)이 존재하는지를 파악하고, 상기 사람 신체 이미지 상에 마스크 형상이 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류한다.

그리고, 사람얼굴이미지분석모듈(50)은, 픽셀 RGB 분석, 패턴 분석을 통해, 블러링불처리이미지로 분류되지 않은 사람 신체 이미지에서, 눈, 코, 입이 존재하는 부분을 찾아 사람 얼굴을 파악한다.

이와 같이 사람얼굴이미지분석모듈(50)에 의해 사람 신체 이미지에서 사람 얼굴이 파악되면, 블러링처리모듈(60)은 파악된 사람 얼굴을 실시간으로 블러링처리한다.

상기와 같은 방식을 통해, 도 5와 같은 MMS 영상에서 사람 얼굴을 탐색하여, 블러링 처리 하되, 마스크를 착용한 사람 얼굴을 제외한 후, 도 6와 같이 블러링 처리를 할 수 있다.

본 실시예에서는 사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지 중에서 마스크가 착용된 사람 신체 이미지를 제외한 후, 마스크가 착용되지 않은 사람 신체 이미지에 대해서만 사람 얼굴을 파악하여 해당 사람 얼굴에 대해 블러링 처리를 한다. 하지만 본 발명에서는 마스크 착용을 고려하지 않고 사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지에서 사람 얼굴을 파악한 후 해당 사람 얼굴을 블러링 처리할 수도 있다.

한편, 픽셀 RGB 분석을 통한 이미지 추출 방식을 이용하여 사람 얼굴 이미지를 일일이 찾을 시에는, MMS 영상 내의 수 많은 픽셀 RGB 값을 일일이 분석하고 각 패턴을 일일이 분석해야 하기 때문에, 정확도는 있지만 사람 얼굴을 파악하는 데 시간이 매우 오래 걸린다.

따라서, 본 발명은 딥러닝 방식을 통해 MMS 영상 내에서 큰 크기를 갖는 사람 신체 이미지를 추출한 후, 픽셀 RGB 분석을 통해 추출된 사람 신체 이미지에서 사람 얼굴을 파악함으로써, 빠르고 정확하게 MMS 영상 내에서 사람 얼굴을 파악할 수 있다.

이때, 딥러닝 방식의 이미지 추출은, 딥러닝정보DB(20)에 저장된 딥러닝 정보를 기반으로 MMS 영상 내에서 일정 유사도를 갖는 사람 신체 이미지를 탐색하기 때문에, RGB 픽셀 분석을 통한 이미지 추출 방식에 비해 사람 신체 이미지를 탐색하는 처리 속도가 빠르다.

또한, 본 발명은, MMS 영상에서 사람 신체 이미지를 추출하고, 사람 신체 이미지에서 사람 얼굴을 파악하여, 해당 사람 얼굴을 블러링 처리하는 데 있어, 마스크를 착용한 사람 얼굴을 블러링 처리 하지 않을 수 있다. 마스크를 착용한 사람 얼굴은 그 자체로도 식별이 용이하지 않기 때문에 굳이 블러링 처리를 할 필요가 없어, 본 발명과 같이 마스크를 착용한 사람 얼굴을 제외한 후 MMS 영상 내의 사람 얼굴을 블러링 처리할 시 작업 속도를 향상시킬 수 있다.

10; MMS영상저장DB 20; 딥러닝정보DB
21; 기본정보DB 22; 학습정보DB
30; 사람신체이미지추출딥러닝모듈 40; 마스크이미분석모듈
50; 사람얼굴이미지분석모듈 60; 블러링처리모듈

Claims (1)

1. MMS 영상을 저장하는 MMS영상저장DB(10)와;
   딥러닝을 위한 최초 기본정보를 저장하는 기본정보DB(21)와, 딥러닝을 위한 학습정보가 저장되는 학습정보DB(22)를 갖추고서, 기본정보와 학습정보로 이루어진 딥러닝정보를 저장하는 딥러닝정보DB(20)와;
   딥러닝정보DB(20)에 저장된 딥러닝정보를 기반으로 딥러닝해서 MMS 영상 내에서 사람 신체 이미지를 추출하는 사람신체이미지추출딥러닝모듈(30)과;
   사람신체이미지추출딥러닝모듈(30)에 의해 추출된 사람 신체 이미지를 픽셀 RGB 분석 및 패턴 분석을 해서, 사람 신체 이미지 상에 마스크 이미지가 존재하는지를 파악하고, 사람 신체 이미지 상에 마스크 이미지가 존재하면 해당 사람 신체 이미지를 블러링불처리이미지로 분류하는 마스크이미지분석모듈(40)과;
   마스크이미지분석모듈(40)에 의해 블러링불처리이미지로 분류되지 않은 사람 신체 이미지를 픽셀 RGB 분석 및 패턴 분석을 해서, 사람 얼굴을 파악하는 사람얼굴이미지분석모듈(50)과;
   사람얼굴이미지분석모듈(50)에서 파악된 사람 얼굴을 블러링처리하는 블러링처리모듈(60)
   을 포함하는 것을 특징으로 하는 MMS에 수집된 영상의 지정 구간별 실시간 블러 처리시스템.
   

Images