KR101979115B1

KR101979115B1 - 실시간 영상의 정보 보호를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Info

Publication number: KR101979115B1
Application number: KR1020170155019A
Authority: KR
Inventors: 정기현
Original assignee: 경일대학교산학협력단
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2019-05-15

Abstract

본 발명은 실시간 영상의 정보 보호를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 원본 영상에서 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역을 구분하여 검출하는 설정부와, 스테가노그래피 기법에 따라 상기 비보호 영역에 데이터를 은닉하는 은닉부를 포함하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치와, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

Description

실시간 영상의 정보 보호를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for protecting personal information of real time image, method thereof and computer recordable medium storing program to perform the method}

본 발명은 정보 보호를 위한 기술에 관한 것으로, 보다 상세하게는, 실시간으로 촬영되는 영상에 포함된 특정 정보를 보호하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.

데이터 은닉 기술은 음악, 영상, 동 영상, 전자 문서, 교육 자료, 애니메이션과 같은 디지털 미디어 콘텐츠에 기밀 정보를 비가시적으로 삽입하는 기술이다.

한국공개특허 제2011-0098077호 2011년 09월 01일 공개 (명칭: 비트플레인의 블록패턴 매칭을 이용한 비밀정보 삽입장치 및 그 방법)

본 발명의 목적은 실시간으로 촬영되는 영상에 포함된 보호 대상 정보를 자동으로 탐지하고, 탐지된 정보를 권한이 있는 사용자 외에는 볼 수 없도록 은닉하여 정보 유출을 보호하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 실시간 영상의 정보 보호를 위한 장치는 원본 영상에서 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역을 구분하는 설정부와, 스테가노그래피 기법에 따라 상기 비보호 영역에 데이터를 은닉하는 은닉부를 포함한다.

상기 설정부는 상기 원본 영상을 검출 격자 이용하여 균등 분할하여 복수의 격자 영상으로 구분하고, 상기 검출 격자의 크기를 증가시키면서 상기 복수의 격자 영상 각각을 상기 보호 영역 및 비보호 영역으로 구분하여 검출하되, 상기 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정하는 것을 특징으로 한다.

상기 장치는 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층을 포함하며, 상기 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층 각각이 가중치가 적용되는 적어도 하나의 연산을 수행하는 인공신경망;을 더 포함한다.

상기 설정부는 상기 입력계층의 행렬의 크기에 맞춰 상기 원본 영상이 상기 검출 격자에 의해 균등 분할된 복수의 격자 영상 각각의 픽셀값을 상기 입력계층에 입력하고, 상기 입력에 따른 상기 인공신경망의 출력값에 따라 상기 복수의 격자 영상 각각을 상기 보호 영역과 비보호 영역으로 구분하여 검출하는 것을 특징으로 한다.

상기 은닉부는 상기 기준 격자에 의해 검출된 비보호 영역을 미리 설정된 규칙에 따라 상기 기준 격자 단위로 선택하여 은닉 영역을 구성하고, 상기 은닉 영역에 스테가노그래피 기법에 따라 데이터를 은닉하여 은닉 영상을 생성하는 것을 특징으로 한다.

상기 변환부는 상기 보호 영역 중 개인정보를 포함하는 보호 영역을 상기 인공신경망의 학습에 이용된 적어도 하나의 학습 데이터를 이용하여 상기 개인정보를 포함하는 보호 영역의 이미지를 변경하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 실시간 영상의 정보 보호를 위한 장치는 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역이 구분된 원본 영상에 스테가노그래피 기법에 따라 데이터가 은닉된 은닉 영상에서 상기 보호 영역과 비보호 영역을 구분하여 검출하는 설정부와, 스테가노그래피 기법에 따라 상기 비보호 영역에 은닉된 데이터를 추출하는 은닉부를 포함한다.

상기 장치는 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층을 포함하며, 상기 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층 각각이 가중치가 적용되는 적어도 하나의 연산을 수행하는 인공신경망을 더 포함한다.

상기 설정부는 상기 은닉 영상을 검출 격자에 의해 균등 분할된 복수의 격자 영상 각각의 픽셀값을 상기 입력계층의 행렬의 크기에 맞춰 상기 입력계층에 입력하고, 상기 입력에 따른 상기 인공신경망의 출력값에 따라 상기 복수의 영상 각각을 상기 보호 영역과 비보호 영역으로 구분하여 검출하되, 상기 검출 격자의 크기를 증가시킴에 따라 상기 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 상기 은닉 영상의 보호 영역으로 설정하는 것을 특징으로 한다.

상기 은닉부는 상기 기준 격자에 의해 검출된 비보호 영역을 미리 설정된 규칙에 따라 상기 기준 격자 단위로 선택하여 은닉 영역을 구성하고, 상기 은닉 영역으로부터 스테가노피 기법에 따라 은닉된 데이터를 추출하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 보호장치의 실시간 영상의 정보 보호를 위한 방법은 원본 영상에서 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역을 구분하여 검출하는 단계와, 스테가노그래피 기법에 따라 상기 비보호 영역에 데이터를 은닉하는 단계를 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 보호장치의 실시간 영상의 정보 보호를 위한 방법은 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역이 구분된 원본 영상에 스테가노그래피 기법에 따라 데이터가 은닉된 은닉 영상에서 상기 보호 영역과 비보호 영역을 구분하여 검출하는 단계와, 스테가노그래피 기법에 따라 상기 비보호 영역에 은닉된 데이터를 추출하는 단계를 포함한다.

본 발명의 다른 견지에 따르면, 전술한 실시간 영상의 정보 보호를 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

본 발명의 실시예에 따르면, 원본 영상에서 정보 보호가 필요한 이미지를 자동으로 검출하고, 검출된 정보 보호가 필요한 이미지를 보호하면서도 데이터를 은닉할 수 있고, 필요한 경우, 해당 데이터를 검출할 수 있다. 특히, 정보 보호가 필요한 이미지를 공개하지 않고도 데이터를 은닉하거나, 검출할 수 있다.

도 1은 본 발명의 실시예에 따른 실시간 영상의 정보 보호를 위한 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 인공신경망의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 데이터를 은닉하여 정보를 보호하는 방법을 설명하기 위한 흐름도이다.
도 4는 도 3과 같이 은닉된 데이터를 추출하는 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 보호 영역과 비보호 영역을 구분하여 설정하는 방법을 설명하기 위한 화면 예이다.
도 8 및 도 9는 본 발명의 실시예에 따른 비보호 영역 중 은닉 영역을 설정하는 방법을 설명하기 위한 화면 예이다.
도 10 내지 도 12는 은닉 영역의 이미지를 변환하는 방법을 설명하기 위한 화면 예이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

먼저, 본 발명의 실시예에 따른 실시간 영상의 정보 보호를 위한 장치의 구성에 대해서 보다 상세하게 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 실시간 영상의 정보 보호를 위한 장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 보호장치(100)는 카메라부(110), 입력부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함한다.

카메라부(110)는 실시간으로 영상을 촬영하기 위한 것으로, 적어도 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(110)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부(150)로 출력할 수 있다.

입력부(120)는 보호장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(150)에 전달한다. 입력부(120)는 보호장치(100)를 제어하기 위한 각종 키들을 포함할 수 있다. 입력부(120)는 표시부(130)이 터치스크린으로 이루어진 경우, 각종 키들의 기능이 표시부(130)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(120)는 생략될 수도 있다.

표시부(130)는 보호장치(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(130)는 보호장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 표시부(130)는 카메라부(110)가 촬영한 영상을 화면으로 출력하는 기능을 수행한다. 표시부(130)는 하나의 표시장치(screen)으로 구성되거나, 복수의 표시장치(screen)로 구성될 수 있다. 이러한 표시부(130)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(130)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(130)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(150)로 전송한다. 특히, 표시부(130)이 터치스크린으로 이루어진 경우, 입력부(120) 기능의 일부 또는 전부는 표시부(130)을 통해 이루어질 수 있다.

저장부(140)는 보호장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(140)는 심리 평가를 위한 영상을 저장할 수 있다. 저장부(140)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.

제어부(150)는 보호장치(100)의 전반적인 동작 및 보호장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(150)는 기본적으로, 보호장치(100)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(150)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등을 예시할 수 있다. 특히, 제어부(150)는 본 발명의 실시예에 따른 정보 보호를 위해 설정부(200), 변환부(400), 은닉부(300) 및 인공신경망(500)을 포함할 수 있다. 설정부(200)은 본 발명의 실시예에 따른 보호 영역을 특정하기 위한 것이다. 원본 영상에는 다양한 종류의 정보가 포함된다. 이러한 다양한 정보는 그 정보의 종류에 따라 권리 없는 자가 볼 수 없도록 그 정보를 보호해야 한다. 예컨대, 원본 영상은 개인의 얼굴, 주소, 자동차 번호판 등의 개인의 신상에 대한 정보를 나타내는 개인정보, 총, 칼, 도끼 등의 폭력적인 장면을 나타내는 폭력성 정보, 나체, 성기 등의 음란 장면을 나타내는 음란물 정보 등이 포함될 수 있다. 개인정보는 본인 혹은 정당한 권한을 부여받은 수사권자 외에 공개되어서는 안 되며, 폭력성 정보, 음란물 정보 등은 미성년자 등에게 공개되어서는 안 된다. 한편, 원본 영상에 포함된 공공건물, 자연환경 등은 누구에게나 공개되어도 무방하다. 즉, 원본 영상의 일부는 해당 영역이 제공하는 정보의 종류에 따라 정보 보호가 필요할 수 있다. 따라서 본 발명의 실시예에서 설정부(200)은 원본 영상의 각 영역을 그 정보의 종류에 따라 특정할 수 있다. 특히, 설정부(200)은 보호가 필요한 종류의 정보를 나타내는 영역을 그 정보의 종류에 따라 특정할 수 있다. 이를 위하여, 설정부(200)은 인공신경망(500)을 이용할 수 있다. 은닉부(300)은 비밀 데이터를 원본 영상에서 설정부(200)이 특정한 보호 영역을 제외한 영역에 비밀 데이터를 스테가노그래피 기법에 따라 은닉한다. 변환부(400)은 설정부(200)가 설정한 보호 영역에 포함된 정보가 노출되지 않도록 정보 보호가 필요한 이미지를 변환하기 위한 것이다. 이러한 설정부(200), 은닉부(300), 변환부(400) 및 인공신경망(500)을 포함하는 제어부(150)에 대해서는 아래에서 더 상세하게 설명될 것이다.

다음으로, 본 발명의 실시예에 따른 인공신경망(500)에 대해서 보다 자세히 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 인공신경망의 구성 및 동작을 설명하기 위한 도면이다.

원본 영상에는 다양한 종류의 정보가 포함된다. 이러한 다양한 정보는 그 정보의 종류에 따라 권리 없는 자가 볼 수 없도록 그 정보를 보호해야 한다. 예컨대, 원본 영상은 개인의 얼굴, 주소, 자동차 번호판 등의 개인의 신상에 대한 정보를 나타내는 개인정보, 총, 칼, 도끼 등의 폭력적인 장면을 나타내는 폭력성 정보, 나체, 성기 등의 음란 장면을 나타내는 음란물 정보 등이 포함될 수 있다. 개인정보는 본인 혹은 정당한 권한을 부여받은 수사권자 외에 공개되어서는 안 되며, 폭력성 정보, 음란물 정보 등은 미성년자 등에게 공개되어서는 안 된다. 한편, 원본 영상에 포함된 공공건물, 자연환경 등은 누구에게나 공개되어도 무방하다. 즉, 원본 영상의 일부는 해당 영역이 제공하는 정보의 종류에 따라 정보 보호가 필요할 수 있다. 따라서 본 발명의 실시예에서 설정부(200)은 원본 영상의 각 영역을 그 정보의 종류에 따라 특정할 수 있다. 특히, 설정부(200)은 보호가 필요한 종류의 정보를 나타내는 영역을 그 정보의 종류에 따라 특정할 수 있다. 이를 위하여, 설정부(200)는 인공신경망(500)을 이용할 수 있다.

본 발명의 실시예에 따른 인공신경망(500)은 컨볼루션신경망(CNN: convolutional neural network)이 될 수 있다. 도 2에 본 발명의 실시예에 따른 인공신경망(500)의 내부 구성의 일예가 도시되었다. 인공신경망(500)은 복수의 계층을 포함한다. 인공신경망(500)은 입력계층(input layer: IL), 컨볼루션계층(convolution layer: CL), 풀링계층(pooling layer: PL), 완전연결계층(fully-connected layer: FL) 및 출력계층(output layer: OL)을 포함한다. 여기서, 컨볼루션 계층(CL)과 풀링 계층(PL)은 복수개가 될 수 있다. 이 실시예에서 인공신경망(500)은 제1 컨볼루션 계층(CL1), 제1 풀링 계층(PL1), 제2 컨볼루션 계층(CL2) 및 제2 풀링 계층(PL2)을 포함한다.

입력계층(IL)은 소정 크기의 행렬로 이루어지며, 행렬의 각 원소의 값은 이미지의 픽셀값에 대응한다. 설정부(200)은 이미지를 입력 행렬(IM)의 크기에 맞게 변환하여 입력 행렬(IM)에 입력한다. 여기서, 입력되는 이미지는 학습 데이터 혹은 원본 영상의 일부, 즉, 상기 원본 영상을 검출 격자를 이용하여 균등 분할하여 구분한 복수의 격자 영상 각각이 될 수 있다.

컨볼루션계층(CL: CL1, CL2)과 풀링 계층(PL: PL1, PL2) 각각은 복수의 특징 지도(Feature Map)로 이루어지며, 이러한 특징 지도 각각은 소정 크기의 행렬이다. 특징 지도를 이루는 행렬의 원소 각각의 값은 커널을 이용한 컨볼루션 연산(convolution) 혹은 풀링 연산(pooling 혹은 subsampling)을 통해 산출된다. 여기서, 여기서, 커널은 소정 크기의 행렬이며, 그 행렬은 가중치(w)가 된다.

완전연결계층(FL)은 복수의 노드(혹은 sigmoid: F1, F2, F3, ..., Fn)를 포함하며, 완전연결계층의 연산 또한 가중치(w)가 적용되어 출력계층(OL)의 복수의 노드(N1, N2, N3, ...)에 입력된다.

출력계층(OL)은 복수의 노드(혹은 sigmoid: N1, N2, N3, ...)로 구성될 수 있다. 인공신경망(500)의 입력은 이미지이며, 출력은 해당 이미지가 제공하는 정보의 종류를 나타낸다. 복수의 출력 노드(N1, N2, N3, ...) 각각은 이미지에 포함된 정보 종류에 대응하며, 복수의 출력 노드(N1, N2, N3, ...) 각각의 출력값은 입력된 이미지에 포함된 정보 종류의 확률을 나타낸다. 예를 들면, 제1 출력 노드(N1)의 출력값은 입력된 이미지에 포함된 정보가 개인정보일 확률을 나타내며, 제2 출력 노드(N2)의 출력값은 입력된 이미지에 포함된 정보가 폭력성 정보일 확률을 나타내고 제3 출력 노드(N3)의 출력값은 입력된 이미지에 포함된 정보가 음난물 정보일 확률을 나타낼 수 있다.

인공신경망(500)의 복수의 계층(IL, CL, PL, FL, OL) 각각은 복수의 연산을 포함한다. 특히, 인공신경망(500)의 복수의 계층의 복수의 연산 각각은 가중치(w)가 적용되어 그 결과가 다음 계층으로 전달되어 다음 계층의 입력이 된다. 좀 더 자세히, 도 2에 도시된 바를 예로 하여 인공신경망(500)의 각 계층의 연산과 그 가중치(w)에 대해 설명하기로 한다.

예컨대, 도시된 바에 따르면, 입력계층(IL)은 32ㅧ32 크기의 행렬이 될 수 있다. 설정부(200)은 이미지의 각 픽셀값을 32 ㅧ 32 크기의 행렬로 변환하여 입력계층(IL)에 입력한다. 그러면, 입력계층 행렬에 대해 커널(w)을 이용한 컨벌루션 연산(convolution)을 수행하여, 제1 컨벌루션 계층(CL1)의 복수의 특징지도에 입력된다. 여기서, 커널(w)은 5ㅧ5 크기의 행렬을 이용한다. 제1 컨벌루션 계층(CL1)의 복수의 특징지도 각각은 28ㅧ28 크기의 행렬이다. 그런 다음, 제1 컨벌루션 계층(CL1)의 복수의 특징 지도에 대해 2ㅧ2 크기의 행렬인 커널(w)을 이용한 풀링 연산(subsampling)을 수행하여 각각이 14ㅧ14 크기의 행렬인 6개의 특징 지도로 이루어진 제1 풀링 계층(PL1)을 구성한다. 이어서, 제1 폴링 계층(PL1)의 복수의 특징 지도에 대해 5ㅧ5 크기의 행렬인 커널을 이용한 컨벌루션 연산(convolution)을 수행하여, 각각이 10ㅧ10 크기의 행렬인 16개의 특징 지도로 이루어진 제2 컨벌루션 계층(CL2)을 구성한다. 다음으로, 제2 컨벌루션 계층(CL2)의 복수의 특징 지도에 대해 2ㅧ2 크기의 행렬인 커널을 이용한 풀링 연산(subsampling)을 수행하여 각각이 5ㅧ5 크기의 행렬인 16개의 특징 지도로 이루어진 제2 풀링 계층(PL2)을 구성한다. 그런 다음, 제2 폴링 계층(PL2)의 복수의 특징 지도에 대해 5ㅧ5 크기의 행렬인 커널을 이용한 컨벌루션 연산(convolution)을 수행하여, 완전연결계층(FL)의 복수의 노드(F1 내지 Fn)에 입력된다. 완전연결계층(FL)의 복수의 노드(F1 내지 Fn) 각각은 제2 폴링 계층(PL2)으로부터 입력에 대해 전달함수 등을 이용한 소정의 연산을 수행하고, 그 연산에 가중치를 적용하여 출력계층(OL)의 각 노드에 입력한다. 이에 따라, 출력계층(OL)의 복수의 노드(N1, N2, N3, ...)는 완전연결계층(FL)으로부터 입력된 값에 대해 소정의 연산을 수행하고, 그 결과를 출력한다. 전술한 바와 같이, 복수의 출력 노드(N1, N2, N3, ...) 각각의 출력값은 입력된 이미지에 포함된 정보 종류의 확률을 나타낸다. 예컨대, 제1 출력 노드(N1)의 출력값은 입력된 이미지에 포함된 정보가 개인정보일 확률이고, 제2 출력 노드(N2)의 출력값은 입력된 이미지에 포함된 정보가 폭력성 정보일 확률이며, 제3 출력 노드(N3)의 출력값은 입력된 이미지에 포함된 정보가 음란물 정보일 확률이라고 가정한다. 만약, 제1 출력 노드(N1)의 출력값이 제2 및 제3 출력 노드(N2, N3)의 출력값에 비해 높은 값을 가지면, 해당 이미지에 포함된 정보는 개인정보인 것으로 판단할 수 있다. 따라서 설정부(200)은 복수의 출력 노드(N1, N2, N3, ...)의 출력값 중 가장 높은 값을 가지는 출력 노드에 대응하는 정보가 해당 이미지에 포함되어 있는 것으로 인식한다.

인공신경망(500)을 통해 영상에 포함된 정보를 인식하기 위하여, 설정부(200)은 복수의 학습 데이터를 이용하여 인공신경망(500)을 학습(learning)시킨다. 이러한 학습 방법에 대해서 설명하기로 한다. 전술한 바와 같이, 인공신경망(300)의 복수의 계층 각각은 복수의 연산으로 이루어지며, 어느 하나의 계층의 그 연산 결과는 가중치(w)가 적용되어 다른 하나의 계층의 입력이 된다. 이때, 어느 하나의 계층의 출력은 가중치(w)가 곱해진 후, 다음 계층의 입력이 될 수 있다. 예컨대, 전술한 바와 같이, 32ㅧ32 크기의 행렬인 입력계층(IL)에 대해 5ㅧ5 크기의 행렬인 커널을 이용한 컨벌루션 연산을 수행하여, 각각이 28ㅧ28 크기의 행렬인 6개의 특징 지도로 이루어진 제1 컨벌루션 계층(CL1)을 구성한다. 이때, 커널의 크기 5ㅧ5, 입력 행렬의 수 1 그리고 특징 지도의 수 6을 고려하면, 1 ㅧ 5 ㅧ 5 ㅧ 6개의 가중치(w)가 존재한다. 다른 예로, 완전연결계층(FL)이 120개의 노드(F1~F120)으로 이루어진 것으로 가정하면, 16개의 특징 지도를 가지는 제2 풀링계층(PL2)의 출력은 120개의 노드를 가지는 완전연결계층(FL)의 입력이 된다. 제2 풀링 계층(PL2)은 5ㅧ5 행렬로 이루어진 커널을 통해 컨볼루션 연산의 결과가 출력된다. 또한, 하나의 노드 당 16개의 입력이 있으며, 120개의 노드가 존재하기 때문에 5 ㅧ 16 ㅧ 120개의 가중치가 존재한다. 또 다른 예로, 120개의 노드를 가지는 완전연결 계층(FL)의 출력은 3개의 출력노드(N1, N2, N3)를 가지는 출력 계층에 입력된다. 이에 따라, 120 ㅧ 3개의 가중치가 존재할 수 있다.

본 발명의 실시예에 따른 본 발명의 실시예에 따른 학습 데이터는 포함된 정보가 알려진 영상을 의미한다. 예를 들면, 학습 데이터는 개인정보가 포함된 영상이라고 가정한다. 설정부(200)는 이러한 학습 데이터를 인공신경망(500)에 입력하며, 인공신경망(500)은 가중치가 적용되는 복수의 연산을 수행한 후, 그 출력값을 출력할 것이다.

입력된 학습 데이터는 개인정보를 포함하는 영상이기 때문에 인공신경망(500)의 출력값은 개인정보를 나타내어야 한다. 이와 같이, 학습 데이터에 따라 기대하는 출력값을 목표값이라고 한다. 설정부(200)는 역전파 기법에 따라 출력값과 목표값의 차이가 되도록 차이값이 최소가 되도록 역전파 기법에 따라 가중치(w)를 수정한다. 동일한 학습 데이터를 인공신경망(500)에 반복하여 입력한 경우에도 결과값이 더 이상 변경되지 않으면 인공신경망(500)이 충분히 학습된 것으로 판단한다. 따라서 학습은 충분히 학습될 때까지 다양한 학습 데이터를 이용하여 반복하여 수행할 수 있다.

다음으로, 본 발명의 실시예에 따른 정보 보호를 위한 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 데이터를 은닉하여 정보를 보호하는 방법을 설명하기 위한 흐름도이다. 도 4는 도 3과 같이 은닉된 데이터를 추출하는 방법을 설명하기 위한 흐름도이다. 도 5 내지 도 7은 본 발명의 실시예에 따른 보호 영역과 비보호 영역을 구분하여 설정하는 방법을 설명하기 위한 화면 예이다. 도 8 및 도 9는 본 발명의 실시예에 따른 비보호 영역 중 은닉 영역을 설정하는 방법을 설명하기 위한 화면 예이다. 그리고 도 10 내지 도 12는 은닉 영역의 이미지를 변환하는 방법을 설명하기 위한 화면 예이다.

먼저, 도 3 및 도 5 내지 도 11을 참조하여, 데이터를 은닉하여 정보를 보호하는 방법을 설명하기로 한다.

설정부(200)는 S110 단계에서 원본 영상에서 정보 보호가 요구되는 보호 영역과 보호 영역 이외의 영역인 비보호 영역을 구분하여 설정한다. 좀 더 자세히, 도 5 내지 도 7을 참조하여 S110 단계에서 대해 설명하면 다음과 같다.

S111: 설정부(200)는 도 5에 도시된 원본 영상을 도 6에 도시된 바와 같이 소정 크기의 검출 격자를 이용하여 균등 분할하여 복수의 격자 영상으로 구분한다.

S112: 이때, 도 2를 참조로 설명된 봐와 같이, 인공신경망(500)이 충분히 학습된 상태라고 가정한다. 그러면, 설정부(200)는 인공신경망(500)의 입력계층(IL)의 행렬의 크기에 맞춰 복수의 격자 영상 각각의 픽셀값을 입력계층(IL)에 입력한다.

S113: 설정부(200)는 격자 영상의 입력에 대응하여 인공신경망(500)의 출력값에 따라 복수의 격자 영상 각각을 보호 영역과 비보호 영역으로 구분하여 검출한다. 즉, 인공신경망(500)에 격자 영상을 입력했을 때, 인공신경망(500)의 출력값이 해당 영상이 보호가 필요한 정보를 포함하는 것을 나타난 경우, 해당 격자 영상을 보호 영역으로 설정한다.

S114: 설정부(200)는 격자 영상의 크기를 점진적으로 증가시키면서 전술한 S111, S112 및 S113 단계를 반복한다.

S115: 격자 영상의 크기를 점진적으로 증가시키면, 검출된 보호 영역의 수는 점차 증가하다가 감소할 것이다. 이에 따라, 설정부(200)는 격자 영상의 크기를 점진적으로 증가시키면서 검출된 보호 영역의 수가 최대가 되는 순간의 검출 격자를 기준 격자로 설정하고, 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정한다. 예컨대, 도 6에 도시된 바와 같이, 기준 격자의 크기가 작은 경우(x1*y1), 정보 보호가 필요한 영역이 하나의 격자 영역으로 설정되지 않아 인공신경망(500)이 정보 보호가 필요한 영역을 인식하지 못한다. 이에 따라, 검출 격자의 크기를 점증적으로 증가시키는 경우, 도 7과 같이, 정보 보호가 필요한 모든 부분이 개별 격자 영역(x2*y2)에 포함된다. 이러한 경우, 인공신경망(500)이 정보 보호가 필요한 영역을 모두 인식할 수 있다.

따라서 본 발명의 실시예에 따르면, 설정부(200)는 도 7에 도시된 바와 같이, 정보 보호가 필요한 모든 부분이 개별 격자 영역에 포함되어, 인공신경망(500)에 의해 인식된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정한다.

전술한 바와 같이, 보호 영역이 설정되면, 은닉부(300)는 스테가노그래피 기법에 따라 비보호 영역에 데이터를 은닉하여 은닉 영상을 생성한다. 보다 자세히, 은닉부(300)는 S120 단계에서 미리 설정된 규칙에 따라 비보호 영역 중 적어도 일부를 기준 격자 단위로 선택하여 은닉 영역을 구성하고, S130 단계에서 구성된 은닉 영역에 스테가노그래피 기법에 따라 데이터를 은닉하여 은닉 영상을 생성한다.

여기서, 도 7 내지 도 9를 참조하여 S120 단계의 은닉 영역을 설정하는 방법에 대해서 자세히 설명하기로 한다. 도 7에 도시된 바와 같이, 원본 영상은 기준 격자로 구분된 상태이며, 기준 격자 단위로 3개의 보호 영역이 설정된 상태라고 가정한다. 이를 행렬 좌표로 표현하는 경우, 도 8의 (A) 및 도 9의 (C)에 도시된 바와 같이, (1, 1), (2, 4) 및 (3, 1) 부분이 보호 영역이고, 나머지 영역은 비보호 영역이다. 일 실시예에 따르면, 도 8의 (B)에 도시된 바와 같이, 은닉부(300)는 재배열하지 않고 비보호 영역 중 기준 격자 단위로 생성할 수 있는 가장 큰 직사각형 영역을 은닉 영역으로 생성할 수 있다. 스테가노그래피 기법 중 원본 영상을 주파수 영역으로 변환하여 데이터를 은닉하는 기법을 사용하여 데이터를 은닉하는 경우, 원본 영상을 재배열한 후, 주파수 영역으로 변환하고, 데이터를 은닉한다면, 은닉된 데이터를 검출하지 못하거나, 원본 영상을 복원하지 못할 수도 있다. 따라서 원본 영상을 주파수 영역으로 변환하여 데이터를 은닉하는 기법을 사용하는 경우, 본 실시예를 사용하는 것이 바람직하다. 다른 실시예에 따르면, 도 9의 (D)에 도시된 바와 같이, 은닉부(300)는 재배열을 통해 비보호 영역 중 기준 격자 단위로 생성할 수 있는 가장 큰 직사각형 영역을 은닉 영역으로 생성할 수 있다. 스테가노그래피 기법 중 원본 영상을 주파수 영역으로 변환하지 않고, 데이터를 은닉하는 기법을 사용하여 데이터를 은닉하는 경우, 원본 영상이 재배열되는 경우에도 은닉된 데이터의 검출 및 원본 영상 복원이 가능하다. 따라서 많은 용량의 데이터를 은닉할 수 있기 때문에 시간 영역에서 데이터를 은닉하는 기법을 사용하는 경우, 본 실시예를 사용하는 것이 바람직하다.

전술한 바와 같이, 데이터를 은닉한 후, 변환부(400)는 S140 단계에서 보호 영역 내에 정보 보호가 필요한 부분의 이미지(정보 보호 이미지)를 변환할 수 있다. 이러한 S140 단계는 선택적인 단계로 필요에 따라 수행하지 않을 수 있다. 일 실시예에 따르면, 변환부(400)는 픽셀의 특징값을 이용하여 보호 영역 내에 정보 보호가 필요한 부분의 이미지의 윤곽선을 도출하여 그 이미지를 특정할 수 있다. 픽셀의 특징값은 픽셀값 자체, 명도, 채도, 밝기 등을 예시할 수 있다. 예컨대, 도 10에 도시된 바와 같이, 일례로, 변환부(400)는 정보 보호가 필요한 부분인 얼굴 부분(S)과 얼굴 이외의 부분(E)은 명도에서 차이가 있으며, 이러한 차이를 이용하여 어굴 부분(S)과 얼굴 이외의 부분(E)의 경계(M)를 검출하고, 그 경계를 연결하여 얼굴의 윤곽선을 도출할 수 있다. 이에 따라, 변환부(400)는 도출된 윤곽선에 따라 정보 보호가 필요한 부분의 이미지를 특정할 수 있다. 그런 다음, 도 11에 도시된 바와 같이, 특정된 정보 보호가 필요한 부분의 이미지에 대해 비밀키를 이용하여 스크램블링을 수행할 수 있다.

다른 실시예에 따르면, 변환부(400)는 보호 영역 중 개인 정보를 포함하는 보호 영역의 보호가 필요한 이미지(정보 보호 이미지) 중 적어도 일부를 인공신경망(500)의 학습에 이용된 적어도 하나의 학습 데이터 중 일부를 이용하여 변환할 수 있다. 학습 데이터를 이용하여 정보 보호 이미지를 변환하는 것의 일례가 도 12에 도시되었다. 도시된 바와 같이, 도면 부호 610 및 620은 정보 보호 이미지이며, 도면 부호 710 및 720은 학습 데이터의 일부이다. 도시된 바와 같이, 학습 데이터의 일부를 이용하여 정보 보호 이미지를 대체하는 경우, 개인 정보를 보호할 수 있다. 이와 같이, 정보 보호 이미지를 변환한 경우, 정보 보호 이미지를 복원하여 개인 정보를 노출하지 않고도 본 발명의 실시예에 따라 은닉된 데이터를 복원할 수 있다.

다음으로, 도 4 및 도 5 내지 도 12를 참조하여, 원본 영상에 데이터가 은닉된 은닉 영상에서 은닉된 데이터를 검출하는 방법에 대해서 설명하기로 한다.

도 4를 참조하면, 변환부(400)는 S210 단계에서 은닉 영상에서 정보 보호 이미지를 변환한 방식의 역으로 변환하여 정보 보호 이미지를 복원한다. 이러한 S210 단계는 선택적인 단계로 필요에 따라 수행하지 않을 수 있다. 특히, 개인 정보를 노출하고자 하지 않는 경우, 개인 정보를 포함하는 정보 보호 이미지에 대해서 해당 단계를 생략할 수 있다.

다음으로, 설정부(200)는 S220 단계에서 은닉 영상에서 정보 보호가 요구되는 보호 영역과 보호 영역 이외의 영역인 비보호 영역을 구분하여 설정한다. 보다 상세히 설명하면 다음과 같다.

S221: 설정부(200)는 소정 크기의 검출 격자를 이용하여 은닉 영상을 균등 분할하여 복수의 격자 영상으로 구분한다.

S222: 설정부(200)는 인공신경망(500)의 입력계층(IL)의 행렬의 크기에 맞춰 복수의 격자 영상 각각의 픽셀값을 입력계층(IL)에 입력한다.

S223: 설정부(200)는 격자 영상의 입력에 대응하여 인공신경망(500)의 출력값에 따라 복수의 격자 영상 각각을 보호 영역과 비보호 영역으로 구분하여 검출한다. 즉, 인공신경망(500)에 격자 영상을 입력했을 때, 인공신경망(500)의 출력값이 해당 영상이 보호가 필요한 정보를 포함하는 것을 나타난 경우, 해당 격자 영상을 보호 영역으로 설정한다.

S224: 설정부(200)는 격자 영상의 크기를 증가시키면서 전술한 S221, S222 및 S223 단계를 반복한다.

S225: 이에 따라, 설정부(200)는 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정한다.

이와 같이, S220 단계(S221 내지 S225 단계)는 앞서 S111 내지 S115 단계에서 설명된 바와 동일한 방식으로 수행한다. 따라서 S110 단계의 원본 영상에 설정한 것과 동일하게 보호 영역과 비보호 영역을 구분하여 설정할 수 있다. 특히, 개인 정보를 포함하는 정보 보호 이미지는 학습 데이터 중 일부를 이용하여 변환하였기 때문에 S210 단계를 생략한 경우에도 데이터 은닉 전 원본 영상에 설정한 것과 동일하게 보호 영역과 비보호 영역을 구분하여 설정할 수 있다.

전술한 바와 같이, 보호 영역이 설정되면, 은닉부(300)는 S230 단계에서 S120 단계에서 설정된 규칙과 동일한 규칙에 따라 비보호 영역 중 적어도 일부를 기준 격자 단위로 선택하여 은닉 영역을 구성한다. 앞서, S110 단계의 원본 영상에 설정한 것과 동일하게 보호 영역과 비보호 영역을 구분하여 설정하였기 때문에 S120 단계에서 설정된 것과 동일한 은닉 영역을 구성할 수 있다.

다음으로, 은닉부(300)는 S240 단계에서 은닉 영역으로부터 앞서 S130 단계에서 사용된 스테가노그래피 기법에 따라 은닉된 데이터를 검출한다. 이에 따라, 은닉부(300)는 앞서 S120 단계에서 설정된 것과 동일한 은닉 영역을 구성할 수 있기 때문에 동일한 스테가노그래피 기법을 이용하는 경우, 은닉 영상으로부터 은닉된 데이터를 검출할 수 있다.

전술한 바와 같이, 본 발명의 실시예에 따르면, 원본 영상의 정보 보호가 필요한 이미지를 보호하면서도 데이터를 은닉할 수 있고, 필요한 경우, 해당 데이터를 검출할 수 있다.

한편, 앞서 설명된 본 발명의 실시예로 설명된 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100: 보호장치 110: 카메라부
120: 입력부 130: 표시부
140: 저장부 150: 제어부
200: 설정부 300: 은닉부
400: 변환부 500: 인공신경망

Claims

실시간 영상의 정보 보호를 위한 장치에 있어서,
원본 영상에서 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역을 구분하는 설정부; 및
스테가노그래피 기법에 따라 상기 비보호 영역에 데이터를 은닉하는 은닉부;를 포함하며,
상기 설정부는
상기 원본 영상을 검출 격자를 이용하여 균등 분할하여 복수의 격자 영상으로 구분하고, 상기 검출 격자의 크기를 증가시키면서 상기 복수의 격자 영상 각각을 상기 보호 영역 및 비보호 영역으로 구분하여 검출하되, 검출된 모든 보호 영역이 개별 격자 영역에 포함되면서, 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
삭제
제1항에 있어서,
상기 장치는
입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층을 포함하며, 상기 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층 각각이 가중치가 적용되는 적어도 하나의 연산을 수행하는 인공신경망;을 더 포함하며,
상기 설정부는 상기 입력계층의 행렬의 크기에 맞춰 상기 원본 영상이 상기 검출 격자에 의해 균등 분할된 복수의 격자 영상 각각의 픽셀값을 상기 입력계층에 입력하고, 상기 입력에 따른 상기 인공신경망의 출력값에 따라 상기 복수의 격자 영상 각각을 상기 보호 영역과 비보호 영역으로 구분하여 검출하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
제3항에 있어서,
상기 은닉부는
상기 기준 격자에 의해 검출된 비보호 영역을 미리 설정된 규칙에 따라 상기 기준 격자 단위로 선택하여 은닉 영역을 구성하고, 상기 은닉 영역에 스테가노그래피 기법에 따라 데이터를 은닉하여 은닉 영상을 생성하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
제3항에 있어서,
상기 보호 영역 중 개인정보를 포함하는 보호 영역을 상기 인공신경망의 학습에 이용된 적어도 하나의 학습 데이터를 이용하여 상기 개인정보를 포함하는 보호 영역의 이미지를 변경하는 변환부;를 더 포함하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
실시간 영상의 정보 보호를 위한 장치에 있어서,
정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역이 구분된 원본 영상에 스테가노그래피 기법에 따라 데이터가 은닉된 은닉 영상에서 상기 보호 영역과 비보호 영역을 구분하여 검출하는 설정부;
스테가노그래피 기법에 따라 상기 비보호 영역에 은닉된 데이터를 추출하는 은닉부; 및
입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층을 포함하며, 상기 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층 각각이 가중치가 적용되는 적어도 하나의 연산을 수행하는 인공신경망;을 포함하며,
상기 설정부는
상기 은닉 영상을 검출 격자에 의해 균등 분할된 복수의 격자 영상 각각의 픽셀값을 상기 입력계층의 행렬의 크기에 맞춰 상기 입력계층에 입력하고, 상기 입력에 따른 상기 인공신경망의 출력값에 따라 상기 복수의 영상 각각을 상기 보호 영역과 비보호 영역으로 구분하여 검출하되, 검출된 모든 보호 영역이 개별 격자 영역에 포함되면서, 검출 격자의 크기를 증가시킴에 따라 상기 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 상기 은닉 영상의 보호 영역으로 설정하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
삭제
제6항에 있어서,
상기 은닉부는
상기 기준 격자에 의해 검출된 비보호 영역을 미리 설정된 규칙에 따라 상기 기준 격자 단위로 선택하여 은닉 영역을 구성하고, 상기 은닉 영역으로부터 스테가노그래피 기법에 따라 은닉된 데이터를 추출하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 장치.
보호장치의 실시간 영상의 정보 보호를 위한 방법에 있어서,
원본 영상에서 정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역을 구분하여 검출하는 단계; 및
스테가노그래피 기법에 따라 상기 비보호 영역에 데이터를 은닉하는 단계;를 포함하며,
상기 검출하는 단계는
상기 원본 영상을 검출 격자를 이용하여 균등 분할하여 복수의 격자 영상으로 구분하고, 상기 검출 격자의 크기를 증가시키면서 상기 복수의 격자 영상 각각을 상기 보호 영역 및 비보호 영역으로 구분하여 검출하되, 검출된 모든 보호 영역이 개별 격자 영역에 포함되면서, 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 보호 영역으로 설정하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 방법.
입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층을 포함하며, 상기 입력계층, 컨볼루션계층, 풀링계층, 완전연결계층 및 출력계층 각각이 가중치가 적용되는 적어도 하나의 연산을 수행하는 인공신경망을 포함하는 보호장치의 실시간 영상의 정보 보호를 위한 방법에 있어서,
정보 보호가 요구되는 보호 영역과 상기 보호 영역 이외의 영역인 비보호 영역이 구분된 원본 영상에 스테가노그래피 기법에 따라 데이터가 은닉된 은닉 영상에서 상기 보호 영역과 비보호 영역을 구분하여 검출하는 단계; 및
스테가노그래피 기법에 따라 상기 비보호 영역에 은닉된 데이터를 추출하는 단계;를 포함하며,
상기 검출하는 단계는
상기 은닉 영상을 검출 격자에 의해 균등 분할된 복수의 격자 영상 각각의 픽셀값을 상기 입력계층의 행렬의 크기에 맞춰 상기 입력계층에 입력하고, 상기 입력에 따른 상기 인공신경망의 출력값에 따라 상기 복수의 영상 각각을 상기 보호 영역과 비보호 영역으로 구분하여 검출하되, 검출된 모든 보호 영역이 개별 격자 영역에 포함되면서, 검출 격자의 크기를 증가시킴에 따라 상기 검출된 보호 영역의 수가 최대인 검출 격자를 기준 격자로 설정하고, 상기 기준 격자에 의해 검출된 보호 영역을 최종으로 상기 은닉 영상의 보호 영역으로 설정하는 것을 특징으로 하는 실시간 영상의 정보 보호를 위한 방법.
제9항 또는 제10항에 따른 사용자장치의 실시간 영상의 정보 보호를 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.