KR102366143B1 - 스테가노그래피 방법 - Google Patents
스테가노그래피 방법 Download PDFInfo
- Publication number
- KR102366143B1 KR102366143B1 KR1020210114766A KR20210114766A KR102366143B1 KR 102366143 B1 KR102366143 B1 KR 102366143B1 KR 1020210114766 A KR1020210114766 A KR 1020210114766A KR 20210114766 A KR20210114766 A KR 20210114766A KR 102366143 B1 KR102366143 B1 KR 102366143B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- image
- discriminant
- generated
- hidden message
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/606—Protecting data by securing the transmission between two devices or processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/95—Pattern authentication; Markers therefor; Forgery detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
- G09C1/00—Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
- G09C1/02—Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system by using a ciphering code in chart form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
본 출원은 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치에 관한 것이다. 본 출원의 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치에 의하면, 스테가노그래피 엔코딩 및 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 또한 학습방법에 따라 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있고, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다. 또한, 본 출원의 스테가노그래피 방법에 의하면, 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
Description
본 출원은 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치에 관한 것이다.
개방된 통신망에서의 데이터 송수신간 중요 정보의 은닉과 보호에 관한 필요성은 지속적으로 요구되고 있으며, 암호키, 알고리즘 등을 활용한 정보 송수신 분야와 이를 탐지, 식별, 제거하는 것에 중점을 두고 있는 정보보안 분야 또한 지속적으로 발전을 이루고 있는 실정이다.
이 중 하나가 전달하려는 정보를 이미지, 소리 등의 파일에 인간이 감지할 수 없도록 숨겨 상대방에게 전달하는 스테가노그래피(steganography) 기술이다.
이러한 스테가노그래피의 경우 종래에는 이미지 파일 내부에 데이터를 조작하거나 은닉하였으나, 최근에는 대용량 데이터를 숨기기 위해 영상매체를 활용한 다양한 은닉 방식이 개발되고 있어, 스테가노그래피 기술을 활용하여 영상매체 내부에 자료를 은닉하는 과정이 이미지 기반 은닉 과정에 비해 고려해야 하는 부분이 많은 편이다. 메시지 은닉을 위하여, 변조된 영상과 원본 커버 영상의 프레임 내 픽셀의 시각적 차이, 비디오 스트림, 압축영역, 미디어 헤더와 데이터 영역 내부의 숨겨진 용적(Hidden volume) 등을 비교하여 활용하고 있으나, 다량의 데이터 정제 및 프레임 변조를 위한 시간 소모가 크고, 변조된 영상 품질이 저하될 수 있다는 문제점이 있다. 따라서, 이러한 문제를 해결하기 위한 스테가노그래피 방법이 요구되고 있다.
본 출원의 과제는 스테가노그래피 엔코딩 및 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자(Generator)와 판별자(Discriminator)가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 또한 학습방법에 따라 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있고, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있는 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치를 제공하는 것이다.
또한, 본 출원의 과제는 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있는 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치를 제공하는 것이다.
상기 과제를 해결하기 위하여, 본 출원의 스테가노그래피 방법은 제 1 생성 신경망을 적용하여 원본 커버 영상에 원본 은닉 메시지를 임베딩하여 제 1 스테고 영상을 생성하는 제 1 생성 신경망 적용 단계; 제 1 판별 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 제 1 판별보정 단계; 상기 제 1 생성 신경망 적용 단계에서 생성된 제 1 스테고 영상이 제 1 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망을 훈련하는 제 1 학습 단계; 상기 제 1 판별 신경망이 상기 제 1 판별보정 단계에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 훈련하는 제 2 학습 단계; 및 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 제 2 스테고 영상을 획득하는 제 2 스테고 영상 획득 단계를 포함한다.
상기 원본 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함할 수 있다.
또한, 상기 원본 은닉 메시지는 상기 원본 커버 영상의 초당 프레임에 임베딩할 수 있다.
또한, 상기 임베딩 방식은 프리 임베딩(Pre-embedding), 인트라 임베딩(Intra-embedding) 또는 포스트 임베딩(Post-embedding) 방식일 수 있다.
또한, 상기 제 1 판별보정 단계는 제 1 생성적 적대 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상의 초당 프레임과 상기 원본 커버 영상의 초당 프레임을 각각 비교하는 과정을 2회 이상 반복하여 상기 생성된 제 1 스테고 영상과 상기 원본 커버 영상의 차이가 최소화되도록 보정하는 단계일 수 있다.
또한, 상기 제 1 스테고 영상의 초당 프레임 및 상기 원본 커버 영상의 초당 프레임은 프레임 내 픽셀, 비디오 스트림, 압축 영역 및 미디어 헤더와 데이터 영역 내부에 숨겨진 용적(Hidden volume) 중 선택된 하나 이상일 수 있다.
또한, 상기 스테가노그래피 방법은 제 2 생성 신경망을 적용하여 상기 제 2 스테고 영상 획득 단계에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하는 제 2 생성 신경망 적용 단계; 제 2 판별 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 제 2 판별보정 단계; 상기 제 2 생성 신경망 적용 단계에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망을 훈련하는 제 3 학습 단계; 상기 제 2 판별 신경망이 상기 제 2 판별보정 단계에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 훈련하는 제 4 학습 단계; 및 상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 2 생성적 적대 신경망을 이용하여 디코딩된 은닉 메시지를 획득하는 은닉 메시지 획득 단계를 더 포함할 수 있다.
또한, 상기 디코딩된 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함할 수 있다.
또한, 상기 제 2 생성 신경망과 제 2 판별 신경망이 상호작용하여 차이가 발생하는 부분은 은닉 메시지 데이터 정합성 차이, 및 헤더와 데이터 영역 변조여부 차이 중 선택된 하나 이상일 수 있다.
또한, 상기 제 2 판별보정 단계는 제 2 생성적 적대 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 변환된 은닉 메시지와 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지를 비교하는 과정을 2회 이상 반복하여 상기 변환된 은닉 메시지와 상기 원본 은닉 메시지의 차이가 최소화되도록 보정하는 단계일 수 있다.
본 출원은 또한, 상기 스테가노그래피 방법을 이용한 스테가노그래피 장치에 관한 것으로, 제 1 생성 신경망을 적용하여 원본 커버 영상에 원본 은닉 메시지를 임베딩하여 제 1 스테고 영상을 생성하는 제 1 생성 신경망 적용부; 제 1 판별 신경망을 이용하여 상기 제 1 생성 신경망 적용부에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 제 1 판별보정부; 상기 제 1 생성 신경망 적용부에서 생성된 제 1 스테고 영상이 제 1 판별보정부에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망을 훈련하는 제 1 학습부; 상기 제 1 판별 신경망이 상기 제 1 판별보정부에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 훈련하는 제 2 학습부; 및 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 제 2 스테고 영상을 획득하는 제 2 스테고 영상 획득부를 포함한다.
상기 스테가노그래피 장치는 제 2 생성 신경망을 적용하여 상기 제 2 스테고 영상 획득부에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하는 제 2 생성 신경망 적용부; 제 2 판별 신경망을 이용하여 상기 제 2 생성 신경망 적용부에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용부에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 제 2 판별보정부; 상기 제 2 생성 신경망 적용부에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정부에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망을 훈련하는 제 3 학습부; 상기 제 2 판별 신경망이 상기 제 2 판별보정부에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 훈련하는 제 4 학습부; 및 상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 2 생성적 적대 신경망을 이용하여 디코딩된 은닉 메시지를 획득하는 은닉 메시지 획득부를 더 포함할 수 있다.
본 출원의 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치에 의하면, 스테가노그래피 엔코딩 및 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 또한 학습방법에 따라 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있고, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
또한, 본 출원의 스테가노그래피 방법 및 이를 이용한 스테가노그래피 장치에 의하면, 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
도 1은 본 출원의 일 실시예에 따른 스테가노그래피 방법을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 2는 제 2 스테고 영상을 획득하기 위해 엔코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 3은 디코딩하는 과정을 더 포함하는 본 출원의 일 실시예에 따른 스테가노그래피 방법을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 4는 은닉 메시지를 획득하기 위해 디코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 2는 제 2 스테고 영상을 획득하기 위해 엔코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 3은 디코딩하는 과정을 더 포함하는 본 출원의 일 실시예에 따른 스테가노그래피 방법을 예시적으로 설명하기 위하여 나타낸 도면이다.
도 4는 은닉 메시지를 획득하기 위해 디코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다.
이하, 첨부된 도면을 참조로 본 출원의 스테가노그래피 방법을 설명하며, 첨부된 도면은 예시적인 것으로, 본 출원의 스테가노그래피 방법이 첨부된 도면에 제한되는 것은 아니다.
도 1은 본 출원의 일 실시예에 따른 스테가노그래피 방법을 예시적으로 설명하기 위하여 나타낸 도면이다. 도 1에 나타낸 바와 같이, 스테가노그래피 방법은 제 1 생성 신경망 적용 단계(S1010), 제 1 판별보정 단계(S1020), 제 1 학습 단계(S1030), 제 2 학습 단계(S1040) 및 제 2 스테고 영상 획득 단계(S1050)를 포함한다. 상기 스테가노 그래피 방법은 컴퓨터 프로그램에 의해 수행되며, 전술한 단계를 포함함으로써, 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자(Generator)와 판별자(Discriminator)가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 또한 학습방법에 따라 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있고, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
상기 제 1 생성 신경망 적용 단계는 원본 커버 영상에 원본 은닉 메시지를 임베딩(embedding)하여 제 1 스테고 영상을 생성(encoding)하는 단계로서, 제 1 생성 신경망을 적용하여 수행된다. 본 명세서에서 용어 「생성 신경망」은 주어진 자료(Input vector)를 활용하여 목적에 맞는 예제(Example)를 생성하여 판별 신경망을 최대한 속일 수 있도록 훈련하는 기계학습 모델을 의미하고, 본 명세서에서 용어 「판별 신경망」은 생성 신경망이 제시하는 가짜 예제와 실제 원본 자료를 구분할 수 있도록 훈련하는 기계학습 모델을 의미한다. 또한, 본 명세서에서 용어 「제 1 생성 신경망」은 원본 커버 영상에 원본 은닉 메시지를 임베딩하여 제 1 스테고 영상을 생성 후 제 1 판별 신경망을 최대한 속일 수 있도록 훈련하는 기계학습 모델을 의미하고, 본 명세서에서 용어 「제 1 판별 신경망」은 제 1 생성 신경망이 제시하는 제 1 스테고 영상과 실제 원본 자료를 구분할 수 있도록 훈련하는 기계학습 모델을 의미한다. 또한, 본 명세서에서 용어 「스테고 영상」은 원본 커버 영상에 은닉 메시지를 숨긴 영상을 의미하고, 본 명세서에서 용어 「제 1 스테고 영상」은 제 1 판별보정 단계를 거치지 않은 스테고 영상을 의미하며, 본 명세서에서 용어 「제 2 스테고 영상」은 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 비인지성이 향상된 최종 스테고 영상을 의미한다. 또한, 본 명세서에서 용어 「임베딩」은 원본 커버 영상에 원본 은닉 메시지를 붙여 넣는 것을 의미한다. 이를 통해 원본 커버 영상에 원본 은닉 메시지가 임베딩되어 제 1 스테고 영상을 생성할 수 있다.
상기 원본 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함할 수 있다. 예를 들어, 상기 이미지는 배경, 전경, 인물 등일 수 있고, 상기 소리는 사람, 동물, 사물 등에서 나오는 소리일 수 있다. 즉 상기 원본 은닉 메시지를 전술한 종류의 이미지 및/또는 소리에 임베딩할 수 있다. 이를 통해 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있다.
하나의 예시에서, 상기 원본 은닉 메시지는 상기 원본 커버 영상의 초당 프레임에 임베딩할 수 있다. 상기 원본 은닉 메시지를 상기 원본 커버 영상의 초당 프레임에 임베딩함으로써, 고용량의 은닉처를 확보할 수 있다.
상기 임베딩 방식은 프리 임베딩(Pre-embedding), 인트라 임베딩(Intra-embedding) 또는 포스트 임베딩(Post-embedding) 방식일 수 있다. 상기 프리 임베딩 방식은 압축되지 않은 원본 커버 영상(비디오 스트림)에 원본 은닉 메시지를 은닉하는 기법일 수 있다. 구체적으로, 상기 프리 임베딩 방식은 공간영역을 기반으로 하는 방식 또는 변환영역(주파수 등)을 기반으로 하는 방식 등으로 나뉠 수 있다. 또한, 상기 인트라 임베딩 방식은 원본 커버 영상의 압축영역에서 원본 은닉 메시지를 은닉하는 기법일 수 있다. 또한, 상기 포스트 임베딩 방식은 압축된 원본 커버 영상(비디오 스트림)에 원본 은닉 메시지를 직접 삽입하는 기법일 수 있다.
상기 제 1 판별보정 단계는 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 단계로서, 제 1 판별 신경망을 이용하여 수행된다. 구체적으로, 상기 제 1 판별보정 단계는 상기 제 1 생성 신경망 적용 단계에서 생성자(Generator)에 의해 생성되는 제 1 스테고 영상과 상기 원본 커버 영상을 판별자(Discriminator)가 비교한 후, 상기 제 1 스테고 영상과 원본 커버 영상이 차이가 없다고 판단될 때까지 제 1 생성 신경망과 제 1 판별 신경망이 상호작용하여 차이가 발생하는 부분을 반복 보정하는 과정을 2회 이상 반복 수행시키고, 생성적 적대 신경망, 즉, AI가 이를 스스로 학습할 수 있도록 할 수 있다. 이를 통해 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 반복 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다. 본 명세서에서 용어 「생성적 적대 신경망(GAN)」은 생성 신경망과 판별 신경망이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습(ML: Machine Learning) 방식의 하나를 의미할 수 있다.
본 명세서에서 용어 「2회 이상」은 복수 회를 의미하며, 차이가 없다고 판별될 때까지 판별보정 단계를 수행해야 한다는 점에서 상한은 특별히 제한되는 것은 아니다.
하나의 예시에서, 상기 제 1 판별보정 단계는 제 1 생성적 적대 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상의 초당 프레임과 상기 원본 커버 영상의 초당 프레임을 각각 비교하는 과정을 2회 이상 반복하여 상기 생성된 제 1 스테고 영상과 상기 원본 커버 영상의 차이가 최소화되도록 보정하는 단계일 수 있다. 이를 통해 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
예를 들어, 상기 제 1 스테고 영상의 초당 프레임 및 상기 원본 커버 영상의 초당 프레임은 프레임 내 픽셀, 비디오 스트림, 압축 영역 및 미디어 헤더와 데이터 영역 내부에 숨겨진 용적(Hidden volume) 중 선택된 하나 이상일 수 있다.
상기 제 1 학습 단계는 상기 제 1 생성 신경망을 훈련하는 단계로서, 상기 제 1 생성 신경망 적용 단계에서 생성된 제 1 스테고 영상이 제 1 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망의 기계학습을 수행한다. 이를 통해, 상기 제 1 생성 신경망은 제 1 판별 신경망이 제 1 스테고 영상을 실제 영상이라고 판별할 수 있도록 속일 수 있다.
상기 제 2 학습 단계는 상기 제 1 판별 신경망을 훈련하는 단계로서, 상기 제 1 판별보정 단계에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 상기 제 1 판별 신경망의 기계학습을 수행한다. 이를 통해, 상기 제 1 판별 신경망은 상기 제 1 생성 신경망으로부터 도출된 영상, 즉, 제 1 스테고 영상을 가짜라고 판별할 수 있다.
상기 제 2 스테고 영상 획득 단계는 비인지성이 향상된, 즉, 원본 커버 영상과 매우 유사한 것으로 판단된 제 2 스테고 영상을 획득하는 단계로서, 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도된 제 1 생성적 적대 신경망을 이용하여 수행된다. 이를 통해 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
예를 들어, 도 2는 제 2 스테고 영상을 획득하기 위해 엔코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다. 도 2에 나타낸 바와 같이, 제 1 생성 신경망을 적용하여 원본 커버 영상(2011)에 원본 은닉 메시지(2012)를 임베딩하여 제 1 스테고 영상(2013)을 생성하는 제 1 생성 신경망 적용 단계(S2010)를 수행하고, 제 1 판별 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성된 제 1 스테고 영상이 상기 원본 커버 영상과 차이가 없다고 판별될 때까지 비교하고 보정하는 제 1 판별보정 단계(S2020)를 수행한 후, 상기 제 1 생성 신경망 적용 단계에서 생성된 제 1 스테고 영상을 제 1 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망을 훈련하는 제 1 학습단계(S2030) 및 상기 제 1 판별 신경망이 상기 제 1 판별보정 단계에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 훈련하는 제 2 학습단계(S2040)를 수행하고, 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 비인지성이 향상된 제 2 스테고 영상(2054)을 획득하는 제 2 스테고 영상 획득 단계(S2050)를 수행할 수 있다. 이를 통해 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
도 3은 디코딩하는 과정을 더 포함하는 본 출원의 일 실시예에 따른 스테가노그래피 방법을 예시적으로 설명하기 위하여 나타낸 도면이다. 도 3에 나타낸 바와 같이, 스테가노그래피 방법은 제 2 생성 신경망 적용 단계(S3060), 제 2 판별보정 단계(S3070), 제 3 학습 단계(S3080), 제 4 학습 단계(S3090) 및 은닉 메시지 획득 단계(S3100)를 더 포함할 수 있다. 상기 스테가노그래피 방법은 전술한 단계를 더 포함함으로써, 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
상기 제 2 생성 신경망 적용 단계는 제 2 스테고 영상 획득 단계에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하기 위한 단계로서, 제 2 생성 신경망을 적용하여 수행될 수 있다. 본 명세서에서 용어 「제 2 생성 신경망」은 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상과 디코딩된 은닉 메시지를 생성한 후, 제 2 판별 신경망을 최대한 속일 수 있도록 훈련하는 기계학습 모델을 의미하고, 「제 2 판별 신경망」은 제 2 생성 신경망이 제시하는 디코딩된 은닉 메시지와 실제 원본 메시지를 구분할 수 있도록 훈련하는 기계학습 모델을 의미한다. 또한, 본 명세서에서 용어 「디코딩」은 제 2 스테고 영상으로부터 커버 영상과 은닉 메시지로 분리하는 것을 의미한다. 이를 통해 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환할 수 있다.
상기 디코딩된 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함할 수 있다. 예를 들어, 상기 이미지는 배경, 전경, 인물 등일 수 있고, 상기 소리는 사람, 동물, 사물 등에서 나오는 소리일 수 있다. 즉 상기 디코딩된 은닉 메시지를 전술한 종류의 이미지 및/또는 소리로부터 디코딩할 수 있다. 이를 통해 이미지 및/또는 소리로부터 디코딩된 은믹 메시지를 복구할 수 있다.
상기 제 2 판별보정 단계는 상기 제 2 생성 신경망 적용 단계에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 단계로서, 제 2 판별 신경망을 이용하여 수행될 수 있다. 구체적으로, 상기 제 2 판별보정 단계는 상기 제 2 생성 신경망 적용 단계에서 생성자(generator)에 의해 변환되는 디코딩된 커버 영상 및 디코딩된 은닉 메시지 중 상기 디코딩된 은닉 메시지와 상기 원본 은닉 메시지를 판별자(discriminator)가 비교한 후, 상기 디코딩된 은닉 메시지와 원본 은닉 메시지의 차이가 없다고 판단될 때까지 비교하고 제 2 생성 신경망과 제 2 판별 신경망이 상호작용하여 차이가 발생하는 부분을 반복 보정하는 과정을 2회 이상 반복 수행 수행시키고, 생성적 적대 신경망, 즉, AI가 이를 스스로 학습할 수 있도록 할 수 있다. 이를 통해 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
예를 들어, 상기 제 2 생성 신경망과 제 2 판별 신경망이 상호작용하여 차이가 발생하는 부분은 은닉 메시지 데이터 정합성 차이, 및 헤더와 데이터 영역 변조여부 차이 중 선택된 하나 이상일 수 있다.
하나의 예시에서, 상기 제 2 판별보정 단계는 제 2 생성적 적대 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 변환된 은닉 메시지와 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지를 비교하는 과정을 2회 이상 반복하여 상기 변환된 은닉 메시지와 상기 원본 은닉 메시지의 차이가 최소화되도록 보정하는 단계일 수 있다. 이를 통해 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
상기 제 3 학습 단계는 상기 제 2 생성 신경망을 훈련하는 단계로서, 상기 제 2 생성 신경망 적용 단계에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망의 기계학습을 수행할 수 있다. 이를 통해, 상기 제 2 생성 신경망은 제 2 판별 신경망이 디코딩된 은닉 메시지를 실제 영상이라고 판별할 수 있도록 속일 수 있다.
상기 제 4 학습 단계는 상기 제 2 판별 신경망을 훈련하는 단계로서, 상기 제 2 판별보정 단계에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 상기 제 2 판별 신경망의 기계학습을 수행할 수 있다. 이를 통해, 상기 제 2 판별 신경망은 상기 제 2 생성 신경망으로부터 도출된 메시지, 즉, 디코딩된 은닉 메시지를 가짜라고 판별할 수 있다.
상기 제 2 스테고 영상 획득 단계는 비인지성이 향상된, 즉, 원본 커버 영상과 매우 유사한 것으로 판단된 제 2 스테고 영상을 획득하는 단계로서, 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도된 제 1 생성적 적대 신경망을 이용하여 수행된다.
상기 은닉 메시지 획득 단계는 인지성이 향상된, 즉, 원본 은닉 메시지와 가까운 디코딩된 은닉 메시지를 획득하는 단계로서, 상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도된 제 2 생성적 적대 신경망을 이용하여 수행될 수 있다. 이를 통해 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
예를 들어, 도 4는 은닉 메시지를 획득하기 위해 디코딩하는 과정을 예시적으로 설명하기 위하여 나타낸 도면이다. 도 4에 나타낸 바와 같이, 제 2 생성 신경망을 적용하여 상기 제 2 스테고 영상 획득 단계에서 획득된 제 2 스테고 영상(4054)을 디코딩하여 디코딩된 커버 영상(4065) 및 디코딩된 은닉 메시지(4066)로 변환하는 제 2 생성 신경망 적용 단계(S4060)를 수행하고, 제 2 판별 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 디코딩된 은닉 메시지가 상기 원본 은닉 메시지(4012)와 차이가 없다고 판별될 때까지 비교하고 보정하는 제 2 판별보정 단계(S4070)를 수행한 후, 상기 제 2 생성 신경망 적용 단계에서 변환된 디코딩된 은닉 메시지를 제 2 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망을 훈련하는 제 3 학습단계(S4080) 및 상기 제 2 판별 신경망이 상기 제 2 판별보정 단계에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 훈련하는 제 4 학습단계(S4090)를 수행하며, 상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 2 생성적 적대 신경망을 이용하여 인지성이 향상된 디코딩된 은닉 메시지(4170)를 획득하는 은닉 메시지 획득 단계(S4100)를 수행할 수 있다. 이를 통해 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
본 출원은 또한, 스테가노그래피 장치에 관한 것이다. 상기 스테가노그래피 장치는 전술한 스테가노그래피 방법을 이용한 장치에 관한 것으로, 후술하는 스테가노그래피 방법에 대한 구체적인 사항은 상기 스테가노그래피 방법에서 기술한 내용이 동일하게 적용될 수 있으므로, 이를 생략하기로 한다.
상기 스테가노그래피 장치는 전술한 스테가노그래피 방법을 이용한 장치로서, 제 1 생성 신경망 적용부, 제 1 판별보정부, 제 1 학습부, 제 2 학습부 및 제 2 스테고 영상 획득부를 포함한다. 상기 스테가노 그래피 장치는 전술한 부분을 포함함으로써, 스테가노그래피 엔코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자(Generator)와 판별자(Discriminator)가 상호학습을 진행함에 따라 커버 영상에 가까운 고화질의 스테고 영상을 생성하여 숨겨진 정보에 대한 비인지성(Imperceptibility)을 향상시킬 수 있으며, 또한 학습방법에 따라 이미지 및/또는 소리에 메시지를 숨길 수 있어 고용량의 은닉처를 확보할 수 있고, 물리적, 기술적 탐지시스템(감시장비, 감청장비 및 보안장비 등)의 탐지 및 회피 방법 학습 시 제3자의 탐지, 감시 및 제거 공격에 대한 강건성을 확보할 수 있다.
상기 제 1 생성 신경망 적용부는 원본 커버 영상에 원본 은닉 메시지를 임베딩(embedding)하여 제 1 스테고 영상을 생성하는 부분으로서, 제 1 생성 신경망을 적용하여 수행된다. 상기 제 1 생성 신경망 적용부에 대한 구체적인 설명은 상기 제 1 생성 신경망 적용 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 1 판별보정부는 상기 제 1 생성 신경망 적용부에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 부분으로서, 제 1 판별 신경망을 이용하여 수행된다. 상기 제 1 판별보정부에 대한 구체적인 설명은 상기 제 1 판별보정 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 1 학습부는 상기 제 1 생성 신경망을 훈련하는 부분으로서, 상기 제 1 생성 신경망 적용부에서 생성된 제 1 스테고 영상이 제 1 판별보정부에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망의 기계학습을 수행한다. 상기 제 1 학습부에 대한 구체적인 설명은 상기 제 1 학습 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 2 학습부는 상기 제 1 판별 신경망을 훈련하는 부분으로서, 상기 제 1 판별보정부에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 상기 제 1 판별 신경망의 기계학습을 수행한다. 상기 제 2 학습부에 대한 구체적인 설명은 상기 제 2 학습 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 2 스테고 영상 획득부는 비인지성이 향상된, 즉, 원본 커버 영상과 매우 유사한 것으로 판단된 제 2 스테고 영상을 획득하는 부분으로서, 상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도된 제 1 생성적 적대 신경망을 이용하여 수행된다. 상기 제 2 스테고 영상 획득부에 대한 구체적인 설명은 상기 제 2 스테고 영상 획득 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
본 출원의 스테가노그래피 장치는 제 2 생성 신경망 적용부, 제 2 판별보정부, 제 3 학습부, 제 4 학습부 및 은닉 메시지 획득부를 더 포함할 수 있다. 상기 스테가노그래피 장치는 전술한 부분을 더 포함함으로써, 스테가노그래피 디코딩 관련 대량의 데이터를 AI가 스스로 학습함에 따라 지도 학습방식 대비 데이터 정제 과정을 간소화할 수 있고, 생성자와 판별자가 상호학습을 진행함에 따라 원본 은닉 메시지에 가까운 은닉 메시지로 복구하여 숨겨진 정보에 대한 인지성(perceptibility)을 향상시킬 수 있다.
상기 제 2 생성 신경망 적용부는 제 2 스테고 영상 획득부에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하기 위한 부분으로서, 제 2 생성 신경망을 적용하여 수행될 수 있다. 상기 제 2 생성 신경망 적용부에 대한 구체적인 설명은 상기 제 2 생성 신경망 적용 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 2 판별보정부는 상기 제 2 생성 신경망 적용부에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용부에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 부분으로서, 제 2 판별 신경망을 이용하여 수행될 수 있다. 상기 제 2 판별보정부에 대한 구체적인 설명은 상기 제 2 판별보정 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 3 학습부는 상기 제 2 생성 신경망을 훈련하는 부분으로서, 상기 제 2 생성 신경망 적용부에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정부에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망의 기계학습을 수행할 수 있다. 상기 제 3 학습부에 대한 구체적인 설명은 상기 제 3 학습 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 제 4 학습부는 상기 제 2 판별 신경망을 훈련하는 단계로서, 상기 제 2 판별보정부에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 상기 제 2 판별 신경망의 기계학습을 수행할 수 있다. 상기 제 4 학습부에 대한 구체적인 설명은 상기 제 4 학습 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
상기 은닉 메시지 획득부는 인지성이 향상된, 즉, 원본 은닉 메시지와 가까운 디코딩된 은닉 메시지를 획득하는 부분으로서, 상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도된 제 2 생성적 적대 신경망을 이용하여 수행될 수 있다. 상기 은닉 메시지 획득부에 대한 구체적인 설명은 상기 은닉 메시지 획득 단계에서 기술한 바와 동일하므로, 이를 생략하기로 한다.
S1010, S2010: 제 1 생성 신경망 적용 단계
S1020, S2020: 제 1 판별보정 단계
S1030, S2030: 제 1 학습 단계
S1040, S2040: 제 2 학습 단계
S1050, S2050: 제 2 스테고 영상 획득 단계
S3060, S4060: 제 2 생성 신경망 적용 단계
S3070, S4070: 제 2 판별보정 단계
S3080, S4080: 제 3 학습 단계
S3090, S4090: 제 4 학습 단계
S3100, S4100: 은닉 메시지 획득 단계
2011: 원본 커버 영상
2012, 4012: 원본 은닉 메시지
2013: 제 1 스테고 영상
2054, 4054: 제 2 스테고 영상
4065: 디코딩된 커버 영상
4066: 디코딩된 은닉 메시지
4170: 인지성이 향상된 디코딩된 은닉 메시지
S1020, S2020: 제 1 판별보정 단계
S1030, S2030: 제 1 학습 단계
S1040, S2040: 제 2 학습 단계
S1050, S2050: 제 2 스테고 영상 획득 단계
S3060, S4060: 제 2 생성 신경망 적용 단계
S3070, S4070: 제 2 판별보정 단계
S3080, S4080: 제 3 학습 단계
S3090, S4090: 제 4 학습 단계
S3100, S4100: 은닉 메시지 획득 단계
2011: 원본 커버 영상
2012, 4012: 원본 은닉 메시지
2013: 제 1 스테고 영상
2054, 4054: 제 2 스테고 영상
4065: 디코딩된 커버 영상
4066: 디코딩된 은닉 메시지
4170: 인지성이 향상된 디코딩된 은닉 메시지
Claims (12)
- 제 1 생성 신경망을 적용하여 원본 커버 영상에 원본 은닉 메시지를 임베딩하여 제 1 스테고 영상을 생성하는 제 1 생성 신경망 적용 단계;
제 1 판별 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 제 1 판별보정 단계;
상기 제 1 생성 신경망 적용 단계에서 생성된 제 1 스테고 영상이 제 1 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망을 훈련하는 제 1 학습 단계;
상기 제 1 판별 신경망이 상기 제 1 판별보정 단계에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 훈련하는 제 2 학습 단계;
상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 제 2 스테고 영상을 획득하는 제 2 스테고 영상 획득 단계;
제 2 생성 신경망을 적용하여 상기 제 2 스테고 영상 획득 단계에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하는 제 2 생성 신경망 적용 단계;
제 2 판별 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 제 2 판별보정 단계;
상기 제 2 생성 신경망 적용 단계에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정 단계에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망을 훈련하는 제 3 학습 단계;
상기 제 2 판별 신경망이 상기 제 2 판별보정 단계에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 훈련하는 제 4 학습 단계; 및
상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 2 생성적 적대 신경망을 이용하여 디코딩된 은닉 메시지를 획득하는 은닉 메시지 획득 단계를 포함하며,
상기 제 2 생성 신경망과 제 2 판별 신경망이 상호작용하여 차이가 발생하는 부분은 은닉 메시지 데이터 정합성 차이, 및 헤더와 데이터 영역 변조여부 차이 중 선택된 하나 이상인 스테가노그래피 방법. - 제 1 항에 있어서, 상기 원본 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함하는 스테가노그래피 방법.
- 제 1 항에 있어서, 상기 원본 은닉 메시지는 상기 원본 커버 영상의 초당 프레임에 임베딩하는 스테가노그래피 방법.
- 제 1 항 또는 제 3 항에 있어서, 상기 임베딩 방식은 프리 임베딩(Pre-embedding), 인트라 임베딩(Intra-embedding) 또는 포스트 임베딩(Post-embedding) 방식인 스테가노그래피 방법.
- 제 1 항에 있어서, 상기 제 1 판별보정 단계는 제 1 생성적 적대 신경망을 이용하여 상기 제 1 생성 신경망 적용 단계에서 생성되는 제 1 스테고 영상의 초당 프레임과 상기 원본 커버 영상의 초당 프레임을 각각 비교하는 과정을 2회 이상 반복하여 상기 생성된 제 1 스테고 영상과 상기 원본 커버 영상의 차이가 최소화되도록 보정하는 단계인 스테가노그래피 방법.
- 제 5 항에 있어서, 상기 제 1 스테고 영상의 초당 프레임과 상기 원본 커버 영상의 초당 프레임의 차이는 프레임 내 픽셀의 시각적 차이, 비디오 스트림 차이, 압축 영역 차이 및 미디어 헤더와 데이터 영역 내부에 숨겨진 용적(Hidden volume) 차이 중 선택된 하나 이상인 스테가노그래피 방법.
- 삭제
- 제 1 항에 있어서, 상기 디코딩된 커버 영상은 이미지 및 소리 중 어느 하나 이상을 포함하는 스테가노그래피 방법.
- 삭제
- 제 1 항에 있어서, 상기 제 2 판별보정 단계는 제 2 생성적 적대 신경망을 이용하여 상기 제 2 생성 신경망 적용 단계에서 변환된 은닉 메시지와 상기 제 1 생성 신경망 적용 단계에서 사용된 원본 은닉 메시지를 비교하는 과정을 2회 이상 반복하여 상기 변환된 은닉 메시지와 상기 원본 은닉 메시지의 차이가 최소화되도록 보정하는 단계인 스테가노그래피 방법.
- 제 1 항에 따른 스테가노그래피 방법을 이용한 장치에 관한 것으로,
제 1 생성 신경망을 적용하여 원본 커버 영상에 원본 은닉 메시지를 임베딩하여 제 1 스테고 영상을 생성하는 제 1 생성 신경망 적용부;
제 1 판별 신경망을 이용하여 상기 제 1 생성 신경망 적용부에서 생성되는 제 1 스테고 영상을 상기 원본 커버 영상과 2회 이상 비교하고 보정하는 제 1 판별보정부;
상기 제 1 생성 신경망 적용부에서 생성된 제 1 스테고 영상이 제 1 판별보정부에서 실제 영상이라고 판별되도록 상기 제 1 생성 신경망을 훈련하는 제 1 학습부;
상기 제 1 판별 신경망이 상기 제 1 판별보정부에 원본 커버 영상을 입력하면 진짜라고 판별하고, 상기 제 1 생성 신경망으로부터 도출된 영상을 입력하면 가짜라고 판별하도록 훈련하는 제 2 학습부;
상기 제 1 생성 신경망 및 제 1 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 1 생성적 적대 신경망을 이용하여 제 2 스테고 영상을 획득하는 제 2 스테고 영상 획득부;
제 2 생성 신경망을 적용하여 상기 제 2 스테고 영상 획득부에서 획득된 제 2 스테고 영상을 디코딩하여 디코딩된 커버 영상 및 디코딩된 은닉 메시지로 변환하는 제 2 생성 신경망 적용부;
제 2 판별 신경망을 이용하여 상기 제 2 생성 신경망 적용부에서 디코딩된 은닉 메시지를 상기 제 1 생성 신경망 적용부에서 사용된 원본 은닉 메시지와 2회 이상 비교하고 보정하는 제 2 판별보정부;
상기 제 2 생성 신경망 적용부에서 변환된 디코딩된 은닉 메시지가 제 2 판별보정부에서 실제 영상이라고 판별되도록 상기 제 2 생성 신경망을 훈련하는 제 3 학습부;
상기 제 2 판별 신경망이 상기 제 2 판별보정부에 원본 은닉 메시지를 입력하면 진짜라고 판별하고, 상기 제 2 생성 신경망으로부터 도출된 디코딩된 은닉 메시지를 입력하면 가짜라고 판별하도록 훈련하는 제 4 학습부; 및
상기 제 2 생성 신경망 및 제 2 판별 신경망의 상호 적대적 관계를 통해 유도(adversarial training)된 제 2 생성적 적대 신경망을 이용하여 디코딩된 은닉 메시지를 획득하는 은닉 메시지 획득부를 포함하며,
상기 제 2 생성 신경망과 제 2 판별 신경망이 상호작용하여 차이가 발생하는 부분은 은닉 메시지 데이터 정합성 차이, 및 헤더와 데이터 영역 변조여부 차이 중 선택된 하나 이상인 스테가노그래피 장치. - 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210114766A KR102366143B1 (ko) | 2021-08-30 | 2021-08-30 | 스테가노그래피 방법 |
| US17/897,246 US20230066458A1 (en) | 2021-08-30 | 2022-08-29 | Steganography method |
| EP22192860.9A EP4141747A1 (en) | 2021-08-30 | 2022-08-30 | Steganography method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210114766A KR102366143B1 (ko) | 2021-08-30 | 2021-08-30 | 스테가노그래피 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102366143B1 true KR102366143B1 (ko) | 2022-02-23 |
Family
ID=80495533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210114766A KR102366143B1 (ko) | 2021-08-30 | 2021-08-30 | 스테가노그래피 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230066458A1 (ko) |
| EP (1) | EP4141747A1 (ko) |
| KR (1) | KR102366143B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102616344B1 (ko) | 2023-04-05 | 2023-12-20 | 이은주 | 영상 변환 장치 및 그 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021005745A (ja) * | 2019-06-25 | 2021-01-14 | 公立大学法人会津大学 | 秘密データの通信方法、秘密データの通信プログラム及び秘密データの通信システム |
-
2021
- 2021-08-30 KR KR1020210114766A patent/KR102366143B1/ko active IP Right Grant
-
2022
- 2022-08-29 US US17/897,246 patent/US20230066458A1/en active Pending
- 2022-08-30 EP EP22192860.9A patent/EP4141747A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021005745A (ja) * | 2019-06-25 | 2021-01-14 | 公立大学法人会津大学 | 秘密データの通信方法、秘密データの通信プログラム及び秘密データの通信システム |
Non-Patent Citations (4)
| Title |
|---|
| Chong Yu, "INTEGRATED STEGANOGRAPHY AND STEGANALYSIS WITH GENERATIVE ADVERSARIAL NETWORKS", ICLR 2019 Conference Blind Submission (2018.09.28.)* * |
| Dule Shu ET AL:"Encrypted Rich-data Steganography using Generative Adversarial Networks", WiseML '20: Proceedings of the 2nd ACM Workshop on Wireless Security and Machine Learning (2020.06.01.)* * |
| Zihan Wang ET AL:"SSteGAN: Self-learning Steganography Based on Generative Adversarial Networks", ICONIP 2018: Neural Information Processing pp 253-264 (2018.11.18.) * |
| 강다영, "영상의 통계적 특성과 딥러닝을 활용한 스테가노그래피 판별 복원 기법" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102616344B1 (ko) | 2023-04-05 | 2023-12-20 | 이은주 | 영상 변환 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230066458A1 (en) | 2023-03-02 |
| EP4141747A1 (en) | 2023-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | An automated and robust image watermarking scheme based on deep neural networks | |
| Zhang et al. | A watermark strategy for quantum images based on quantum Fourier transform | |
| KR100878579B1 (ko) | 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치 | |
| CN103973937B (zh) | 基于无线多媒体传感器网络的信息隐藏方法 | |
| KR101962275B1 (ko) | 동영상 스테가노그래피 데이터의 암호화 및 복호화 방법 | |
| KR102366143B1 (ko) | 스테가노그래피 방법 | |
| Ashour et al. | Security of multimedia contents: a brief | |
| JP4143441B2 (ja) | 情報処理方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| Neekhara et al. | FaceSigns: semi-fragile neural watermarks for media authentication and countering deepfakes | |
| Chanchal et al. | A comprehensive survey on neural network based image data hiding scheme | |
| Christian et al. | Digital video forgery detection and authentication technique-A review | |
| Tran et al. | Lsb data hiding in digital media: a survey | |
| Mondal et al. | A new approach to enhance security of visual cryptography using steganography (VisUS) | |
| Queluz et al. | Spatial watermark for image verification | |
| Huang et al. | Digital-invisible-ink data hiding based on spread-spectrum and quantization techniques | |
| Sairam et al. | Computational intelligence-based steganalysis comparison for RCM-DWT and PVA-MOD methods | |
| Maheswari et al. | Different methodology for image steganography-based data hiding | |
| Asif et al. | High-Capacity Reversible Data Hiding using Deep Learning | |
| Gupta et al. | A visual cryptographic scheme to secure image shares using digital watermarking | |
| Cañadas et al. | Extended visual cryptography scheme with an artificial cocktail party effect | |
| Naoum et al. | Enhanced image steganography system based on discrete wavelet transformation and resilient back-propagation | |
| CN117951754B (zh) | 一种基于深度学习的电子印章加解密方法、装置及介质 | |
| Arifianto et al. | EDGAN: Disguising text as image using generative adversarial network | |
| Verma et al. | Review Paper on Security Measures in Digital Watermarking | |
| Sudha et al. | Efficient Analysis And Secure Client Side Image Using Fingerprint Embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |