KR102629848B1 - 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 - Google Patents
가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 Download PDFInfo
- Publication number
- KR102629848B1 KR102629848B1 KR1020210113143A KR20210113143A KR102629848B1 KR 102629848 B1 KR102629848 B1 KR 102629848B1 KR 1020210113143 A KR1020210113143 A KR 1020210113143A KR 20210113143 A KR20210113143 A KR 20210113143A KR 102629848 B1 KR102629848 B1 KR 102629848B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- noise
- forged
- input
- altered
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 238000010801 machine learning Methods 0.000 claims abstract description 32
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 230000001815 facial effect Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
가짜 영상 탐지 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치는 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 의심 영상을 획득하기 위한 명령, 상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하기 위한 명령 및 상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하기 위한 명령을 포함한다.
Description
본 발명의 실시예들은 가짜 영상 탐지 기술과 관련된다.
디지털 카메라 및 모바일 폰의 발전으로 누구나 고화질의 디지털 이미지를 생성할 수 있게 되었으며, 특히 소셜 네트워크 서비스 (Social Network Services, SNS)의 영향으로 이미지를 업로드하고 공유하여 타인에게 사진을 유통할 수 있다.
또한, 어도비 포토샵 (Adobe PhotoShop)과 같은 정교한 이미지 편집 소프트웨어와 소셜 네트워크 서비스 자체 이미지 편집 기능, 그리고, 다수 이미지 편집 어플리케이션 (application)의 보급으로 인해 원본 이미지를 쉽게 수정할 수 있게 되었다.
최근에는 딥러닝 기술의 발전으로 특정 인물의 얼굴 등을 특정 영상에 합성하는 딥페이크(Deepfake)가 늘어나고 있으며, 특히, 딥페이크는 간단하고 정교하게 이루어지고 있어 이로 인한 피해 역시 늘어나고 있다.
그러나, 이러한 가짜 이미지 또는 가짜 영상을 일일이 확인하기 어려울 뿐만 아니라 육안으로 위변조 여부를 파악하기 어려운 실정이다.
본 발명의 실시예들은 딥러닝 기술을 이용하여 업로드된 영상의 위변조 여부를 탐지하기 위한 것이다.
또한, 본 발명의 실시예들은 업로드된 영상의 탐지 결과를 제공하고 신고 기능을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 메모리, 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 의심 영상을 획득하기 위한 명령, 상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하기 위한 명령 및 상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하기 위한 명령을 포함하는 컴퓨팅 장치가 제공된다.
상기 분석하기 위한 명령은 상기 획득한 의심 영상의 프레임에서 얼굴 이미지를 추출하여 데이터 세트를 생성하기 위한 명령 및 머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력받고, 상기 데이터 세트로부터 상기 의심 영상의 위변조 여부를 분류하기 위한 명령을 더 포함할 수 있다.
상기 데이터 세트를 생성하기 위한 명령은 상기 획득한 의심 영상에 포함된 각각의 영상 프레임을 추출하기 위한 명령, 상기 추출된 각각의 영상 프레임에서 얼굴 영역을 추출하여 상기 얼굴 이미지를 생성하기 위한 명령 및 상기 얼굴 이미지를 각각 동일한 픽셀로 크기를 조정하기 위한 명령을 더 포함할 수 있다.
상기 의심 영상의 위변조 여부를 분류하기 위한 명령은 노이즈 제거 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지를 생성하기 위한 명령, 특징 추출 모듈을 이용하여 상기 노이즈 제거 이미지를 입력 받고, 상기 노이즈 제거 이미지의 특징값을 추출하기 위한 명령 및 분류 모듈을 이용하여 상기 노이즈 제거 이미지의 특징값을 입력 받고, 상기 노이즈 제거 이미지의 특징값을 기반으로 상기 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행하기 위한 명령을 더 포함할 수 있다.
상기 특징 추출 모듈은 입력 영상으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하며, 상기 설정된 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 상기 입력 영상으로부터 입력된 노이즈 제거 이미지의 특징값을 추출하도록 학습될 수 있다.
상기 분류 모듈은 상기 추출된 노이즈 제거 이미지의 특징값을 입력받고, 상기 정상 영상으로부터 추출된 노이즈 제거 이미지의 특징값 및 상기 위변조 영상으로부터 추출된 노이즈 제거 이미지의 특징값을 기반으로 상기 입력 영상으로부터 추출된 노이즈 제거 이미지의 특징값에 대한 카테고리를 분류하도록 학습될 수 있다.
상기 분석 정보를 생성하기 위한 명령은 상기 분석 결과를 기반으로 상기 의심 영상에서 얼굴 영역에 대한 위변조 확률 및 위변조 의심 영역을 표시하여 사용자에게 제공하기 위한 명령 및 상기 분석 결과에 따라 상기 사용자에게 신고 기능을 제공하기 위한 명령을 더 포함할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 가짜 영상 탐지 방법으로서, 의심 영상을 획득하는 단계, 상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하는 단계 및 상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하는 단계를 포함하는 가짜 영상 탐지 방법이 제공된다.
상기 분석하는 단계는 상기 획득한 의심 영상의 프레임에서 얼굴 이미지를 추출하여 데이터 세트를 생성하는 단계 및 머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력받고, 상기 데이터 세트로부터 상기 의심 영상의 위변조 여부를 분류하는 단계를 더 포함할 수 있다.
상기 데이터 세트를 생성하는 단계는 상기 획득한 의심 영상에 포함된 각각의 영상 프레임을 추출하는 단계, 상기 추출된 각각의 영상 프레임에서 얼굴 영역을 추출하여 상기 얼굴 이미지를 생성하는 단계 및 상기 얼굴 이미지를 각각 동일한 픽셀로 크기를 조정하는 단계를 더 포함할 수 있다.
상기 의심 영상의 위변조 여부를 분류하는 단계는 노이즈 제거 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지를 생성하는 단계, 특징 추출 모듈을 이용하여 상기 노이즈 제거 이미지를 입력 받고, 상기 노이즈 제거 이미지의 특징값을 추출하는 단계 및 분류 모듈을 이용하여 상기 노이즈 제거 이미지의 특징값을 입력 받고, 상기 노이즈 제거 이미지의 특징값을 기반으로 상기 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행하는 단계를 더 포함할 수 있다.
상기 특징 추출 모듈은 입력 영상으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하며, 상기 설정된 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 상기 입력 영상으로부터 입력된 노이즈 제거 이미지의 특징값을 추출하도록 학습될 수 있다.
상기 분류 모듈은 상기 추출된 노이즈 제거 이미지의 특징값을 입력받고, 상기 정상 영상으로부터 추출된 노이즈 제거 이미지의 특징값 및 상기 위변조 영상으로부터 추출된 노이즈 제거 이미지의 특징값을 기반으로 상기 입력 영상으로부터 추출된 노이즈 제거 이미지의 특징값에 대한 카테고리를 분류하도록 학습될 수 있다.
상기 분석 정보를 생성하는 단계는 상기 분석 결과를 기반으로 상기 의심 영상에서 얼굴 영역에 대한 위변조 확률 및 위변조 의심 영역을 표시하여 사용자에게 제공하는 단계 및 상기 분석 결과에 따라 상기 사용자에게 신고 기능을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 의심 영상을 획득하고, 상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하고, 그리고, 상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하도록 하는 컴퓨터 프로그램이 제공된다.
본 발명의 실시예들에 따르면, 딥러닝 기술을 이용하여 업로드된 영상의 위변조 여부를 탐지함으로써, 누구나 영상의 위변조 여부를 확인할 수 있으며, 빠르게 위변조 여부를 확인하고, 탐지 정확도를 높일 수 있다.
또한, 본 발명의 실시예들에 따르면, 업로드된 영상의 탐지 결과 및 신고 기능을 제공함으로써, 사용자가 간편하게 신고할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치를 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치의 영상 분석 모듈을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 가짜 영상 탐지 방법을 설명하기 위한 흐름도
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치의 영상 분석 모듈을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 가짜 영상 탐지 방법을 설명하기 위한 흐름도
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치를 나타낸 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치(100)는 영상 획득 모듈(110), 영상 분석 모듈(120) 및 결과 제공 모듈(130)을 포함할 수 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
영상 획득 모듈(110)은 위변조가 의심되는 영상(의심 영상)을 획득할 수 있다. 예를 들어, 영상 획득 모듈(110)은 위변조된 영상을 발견한 사용자 단말로부터 의심 영상을 획득할 수 있다. 또한, 영상 획득 모듈(110)은 외부서버(예를 들어, 소셜 네트워크 서비스(SNS))에 업로드된 영상 중에서 의심 영상을 획득할 수 있다. 여기서, 의심 영상은 특정 인물의 얼굴 등을 특정 영상에 합성한 딥페이크(Deepfake) 영상일 수 있다.
영상 획득 모듈(110)은 획득한 의심 영상을 영상 분석 모듈(120)로 제공할 수 있다.
영상 분석 모듈(120)은 의심 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 의심 영상의 위변조 여부를 분석할 수 있다. 영상 분석 모듈(120)의 동작 및 구성에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.
결과 제공 모듈(130)은 영상 분석 모듈(120)로부터 출력된 분석 결과를 기반으로 분석 정보를 생성하여 사용자에게 제공할 수 있다. 예를 들어, 결과 제공 모듈(130)은 획득한 의심 영상에서 얼굴 영역에 대한 위변조 확률을 표시하고, 위변조 의심 영역에 대한 정보를 사용자에게 제공할 수 있다. 여기서, 위변조 의심 영역에 대한 정보는 위변조 의심 영역을 표시하고, 변조 흔적이 탐지된 의심 영역에 대한 상세 이미지 등일 수 있다.
또한, 결과 제공 모듈(130)은 분석 결과에 따라 신고 기능을 제공할 수 있다. 예를 들어, 결과 제공 모듈(130)은 분석 정보를 문서 수정이 불가하게 처리된 pdf 파일로 사용자에게 제공할 수 있다. 또한, 결과 제공 모듈(130)은 분석 결과에 따라 의심 영상이 위변조 영상으로 판단된 경우, 신고 기능을 활성화할 수 있다. 이를 통하여 사용자는 신고 기능을 통하여 사이버 수사대의 사이버범죄 신고시스템(Electronic Cyvercrime Report & Management system; ECRM)으로 연결될 수 있으며, 결과 제공 모듈(130)에서 제공하는 분석 정보(pdf 파일)을 이용하여 ECRM으로 위변조 영상을 신고할 수 있다.
따라서, 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치는 딥러닝 기술을 이용하여 업로드된 영상의 위변조 여부를 탐지함으로써, 누구나 영상의 위변조 여부를 확인할 수 있으며, 빠르게 위변조 여부를 확인하고, 탐지 정확도를 높일 수 있다.
또한, 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치는 업로드된 영상의 탐지 결과 및 신고 기능을 제공함으로써, 사용자가 간편하게 신고할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가짜 영상 탐지 장치의 영상 분석 모듈을 설명하기 위한 블록도이다.
도 2를 참조하면, 영상 분석 모듈(120)은 전처리 모듈(121) 및 머신러닝 모듈(122)을 포함할 수 있다.
전처리 모듈(121)은 영상 획득 모듈(110)로부터 입력된 영상의 프레임에서 얼굴 이미지(의심 영상에서 얼굴 영역을 추출한 이미지)를 추출하여 데이터 세트를 생성할 수 있다. 구체적으로, 전처리 모듈(121)은 영상 획득 모듈(110)로부터 입력된 영상에 포함된 각각의 영상 프레임을 추출하고, 추출된 각각의 영상 프레임에서 얼굴 영역을 추출하여 데이터 세트를 생성할 수 있다. 한편, 전처리 모듈(121)은 기 공지된 얼굴 검출 기법을 이용하여 얼굴 영역을 추출할 수 있다. 예를 들어, 전처리 모듈(121)은 얼굴을 검출해내는 Face Detection 태스크, 눈, 코 입의 좌표를 알아내는 Face Alignment 태스크 및 얼굴 위치를 나타내는 박스의 위치를 세밀하게 조절해주는 Bounding box regression 태스크 중 적어도 하나를 이용할 수 있다. 또한, 전처리 모듈(121)은 추출된 얼굴 영역을 각각 동일한 크기(예를 들어, 380 * 380)로 재조정할 수 있다.
전처리 모듈(121)은 생성된 데이터 세트를 머신러닝 모듈(122)로 전달할 수 있다.
머신러닝 모듈(122)은 전처리 모듈(121)로부터 제공된 데이터 세트가 입력되면, 머신러닝(Machine Learning) 기반 기술을 사용하여 의심 영상의 위변조 여부를 분류(REAL 또는 FAKE)하도록 학습된다. 즉, 머신러닝 모듈(122)은 전처리 모듈(121)로부터 데이터 세트를 입력 받고, 데이터 세트에 포함된 각각의 얼굴 이미지의 특징값을 추출하여 의심 영상의 위변조 여부를 분류하도록 학습된 머신러닝 모델로 구현될 수 있다.
예시적인 실시예에서, 머신러닝 모듈(122)은 노이즈 제거 모듈(122a), 특징 추출 모듈(122b) 및 분류 모듈(122c)을 포함할 수 있다.
노이즈 제거 모듈(122a)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 노이즈 제거 모듈(122a)은 입력되는 데이터 세트에 포함된 각각의 얼굴 이미지에 대한 노이즈를 제거할 수 있다.
예시적인 실시예에서, 노이즈 제거 모듈(122a)은 전처리 모듈(121)로부터 데이터 세트를 입력받아 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지(노이즈가 제거된 얼굴 이미지)를 생성할 수 있다. 이 때, 노이즈 제거 모듈(122a)은 데이터 세트를 입력받고, 데이터 세트에 포함된 얼굴이미지 중에서 적대적 이미지(adversarial image)의 노이즈(왜곡)를 제거하도록 학습될 수 있다. 예를 들어, 노이즈 제거 모듈(122a)은 NSL(Neural Structured Learning) 알고리즘을 이용하여 얼굴 이미지에 대한 노이즈를 제거할 수 있다. 여기서, 적대적 이미지란 샘플(이미지)을 잘못 분류하도록 이미지의 손실 함수를 최대화한 이미지일 수 있다. 즉, 딥페이크 영상에는 머신러닝 모델에서 위변조 탐지를 오도(誤導)하도록 노이즈가 추가되어 있을 수 있다. 이러한 노이즈에 의하여 머신러닝 모듈(122)이 딥페이크 영상에서 얼굴 이미지를 왜곡하여 인식하게 됨으로써, 의심 영상에 대한 위변조 탐지율이 저하될 수 있다. 따라서, 노이즈 제거 모듈(122a)은 NSL(Neural Structured Learning) 알고리즘을 이용하여 얼굴 이미지에 대한 노이즈를 제거함으로써, 머신러닝 모듈(122)의 탐지 정확도가 높아질 수 있다. 한편, 본 발명에서는 NSL 알고리즘을 이용하여 노이즈를 제거하였으나, 이에 한정되는 것은 아니다.
특징 추출 모듈(122b)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 특징 추출 모듈(122b)은 노이즈 제거 이미지의 특징값을 추출할 수 있다.
예시적인 실시예에서, 특징 추출 모듈(122b)은 노이즈 제거 모듈(122a)로부터 노이즈 제거 이미지를 입력받아 노이즈 제거 이미지에서 기 설정된 특징점 영역을 추출하고, 해당 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 노이즈 제거 이미지의 특징값을 추출할 수 있다. 이 때, 특징 추출 모듈(122b)은 입력 영상(정상 영상 또는 위변조 영상)으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하여 해당 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 해당 노이즈 제거 이미지의 특징값을 추출하도록 학습될 수 있다. 여기서, 특징점 영역은 얼굴 영역(얼굴 이미지)에서 인접 픽셀들 간의 일관성을 판단(학습)하여 설정할 수 있으며, 일관성 여부의 판단은 인접 픽셀들 간의 RGB의 급격한 변화에 따라 결정될 수 있다. 예를 들어, 특징 추출 모듈(122b)은 CNN(Convolutional Neural Network)을 이용하여 노이즈 제거 이미지의 특징값을 추출할 수 있다. 한편, 본 발명에서는 CNN을 이용하여 이미지의 특징을 추출하였으나, 이에 한정되는 것은 아니다.
분류 모듈(122c)은 머신러닝 모듈(122)의 일부를 구성하는 신경망일 수 있다. 분류 모듈(122c)은 추출된 노이즈 제거 이미지의 특징값을 기반으로 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행할 수 있다.
예시적인 실시예에서, 분류 모듈(122c)은 특징 추출 모듈(122b)로부터 노이즈 제거 이미지의 특징값을 입력받아 의심 영상이 진실(real)인지 또는 거짓(fake)인지와 같은 위변조 여부를 분류할 수 있다. 이 때, 분류 모듈(122c)은 입력 영상(정상 영상 또는 위변조 영상)으로부터 추출된 노이즈 제거 이미지의 특징값을 입력받고, 정상 영상으로부터 추출된 노이즈 제거 이미지의 특징값 및 위변조 영상으로부터 추출된 노이즈 제거 이미지의 특징값을 기반으로 입력 영상으로부터 추출된 노이즈 제거 이미지의 특징값에 대한 카테고리를 분류(진실(정상 영상으로부터 추출된 특징값과 유사) 또는 거짓(위변조 영상으로부터 추출된 특징값과 유사))하도록 학습될 수 있다. 즉, 분류 모듈(122c)은 추출된 노이즈 제거 이미지의 특징값이 입력되는 경우, 머신러닝 모델에 의해 노이즈 제거 이미지의 특징값을 기반으로 의심 영상을 기 저장된 카테고리(진실, 거짓)에 따라 분류할 수 있다. 예를 들어, 분류 모듈(122c)은 SVM(Support Vector Machine)을 이용하여 카테고리 분류를 수행할 수 있다. 한편, 본 발명에서는 SVM을 이용하여 카테고리 분류를 수행하였으나, 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른 가짜 영상 탐지 방법을 설명하기 위한 흐름도이다. 도 3에 도시된 방법은 예를 들어, 전술한 가짜 영상 탐지 장치에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
영상 획득 모듈(110)은 위변조가 의심되는 영상(의심 영상)을 획득한다(S302). 예를 들어, 영상 획득 모듈(110)은 위변조된 영상을 발견한 사용자 단말로부터 의심 영상을 획득할 수 있다. 또한, 영상 획득 모듈(110)은 외부서버(예를 들어, 소셜 네트워크 서비스(SNS))에 업로드된 영상 중에서 의심 영상을 획득할 수 있다. 여기서, 의심 영상은 특정 인물의 얼굴 등을 특정 영상에 합성한 딥페이크(Deepfake) 영상일 수 있다.
그 다음, 영상 분석 모듈(120)은 의심 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 의심 영상의 위변조 여부를 판단한다(S304). 구체적으로, 영상 분석 모듈(120)은 영상 획득 모듈(110)로부터 입력된 의심 영상의 프레임에서 얼굴 이미지(의심 영상에서 얼굴 영역을 추출한 이미지)를 추출하여 데이터 세트를 생성하고, 머신러닝 모듈(122)을 통하여 데이터 세트에 포함된 각각의 얼굴 이미지의 특징값을 추출하여 의심 영상의 위변조 여부를 분류할 수 있다. 머신러닝 모듈(122)은 데이터 세트로부터 의심 영상의 위변조 여부를 분류하도록 학습되는 머신러닝 모델을 포함할 수 있다.
마지막으로, 결과 제공 모듈(130)은 영상 분석 모듈(120)로부터 출력된 분석 결과를 기반으로 분석 정보를 생성하여 사용자에게 제공한다(S306). 예를 들어, 결과 제공 모듈(130)은 획득한 의심 영상에서 얼굴 영역에 대한 위변조 확률을 표시하고, 위변조 의심 영역에 대한 정보를 사용자에게 제공할 수 있다. 여기서, 위변조 의심 영역에 대한 정보는 위변조 의심 영역을 표시하고, 변조 흔적이 탐지된 의심 영역에 대한 상세 이미지 등일 수 있다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 가짜 영상 탐지 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 가짜 영상 탐지 장치
110 : 영상 획득 모듈
120 : 영상 분석 모듈
121 : 전처리 모듈
122 : 머신러닝 모듈
122a : 노이즈 제거 모듈
122b : 특징 추출 모듈
122c : 분류 모듈
130 : 결과 제공 모듈
110 : 영상 획득 모듈
120 : 영상 분석 모듈
121 : 전처리 모듈
122 : 머신러닝 모듈
122a : 노이즈 제거 모듈
122b : 특징 추출 모듈
122c : 분류 모듈
130 : 결과 제공 모듈
Claims (15)
- 하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
의심 영상을 획득하기 위한 명령;
상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하기 위한 명령; 및
상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하기 위한 명령을 포함하며,
상기 분석하기 위한 명령은,
상기 획득한 의심 영상의 프레임에서 얼굴 이미지를 추출하여 데이터 세트를 생성하기 위한 명령; 및
머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력받고, 상기 데이터 세트로부터 상기 의심 영상의 위변조 여부를 분류하기 위한 명령을 더 포함하며,
상기 의심 영상의 위변조 여부를 분류하기 위한 명령은,
노이즈 제거 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지를 생성하기 위한 명령;
특징 추출 모듈을 이용하여 상기 노이즈 제거 이미지를 입력 받고, 상기 노이즈 제거 이미지의 특징값을 추출하기 위한 명령; 및
분류 모듈을 이용하여 상기 노이즈 제거 이미지의 특징값을 입력 받고, 상기 노이즈 제거 이미지의 특징값을 기반으로 상기 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행하기 위한 명령을 더 포함하며,
상기 특징 추출 모듈은,
입력 영상으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하며, 상기 설정된 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 상기 입력 영상으로부터 입력된 노이즈 제거 이미지의 특징값을 추출하도록 학습되며,
상기 특징점 영역은, 상기 노이즈 제거 이미지에서 인접 픽셀들간의 RGB값의 급격한 변화에 따라 일관성을 판단하여 설정되는, 컴퓨팅 장치.
- 삭제
- 청구항 1에 있어서,
상기 데이터 세트를 생성하기 위한 명령은,
상기 획득한 의심 영상에 포함된 각각의 영상 프레임을 추출하기 위한 명령;
상기 추출된 각각의 영상 프레임에서 얼굴 영역을 추출하여 상기 얼굴 이미지를 생성하기 위한 명령; 및
상기 얼굴 이미지를 각각 동일한 픽셀로 크기를 조정하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 분류 모듈은,
상기 추출된 노이즈 제거 이미지의 특징값을 입력받고, 상기 정상 영상으로부터 추출된 노이즈 제거 이미지의 특징값 및 상기 위변조 영상으로부터 추출된 노이즈 제거 이미지의 특징값을 기반으로 상기 입력 영상으로부터 추출된 노이즈 제거 이미지의 특징값에 대한 카테고리를 분류하도록 학습되는, 컴퓨팅 장치.
- 청구항 1에 있어서,
상기 분석 정보를 생성하기 위한 명령은,
상기 분석 결과를 기반으로 상기 의심 영상에서 얼굴 영역에 대한 위변조 확률 및 위변조 의심 영역을 표시하여 사용자에게 제공하기 위한 명령; 및
상기 분석 결과에 따라 상기 사용자에게 신고 기능을 제공하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 가짜 영상 탐지 방법으로서,
의심 영상을 획득하는 단계;
상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하는 단계; 및
상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하는 단계를 포함하며,
상기 분석하는 단계는,
상기 획득한 의심 영상의 프레임에서 얼굴 이미지를 추출하여 데이터 세트를 생성하는 단계; 및
머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력받고, 상기 데이터 세트로부터 상기 의심 영상의 위변조 여부를 분류하는 단계를 더 포함하며,
상기 의심 영상의 위변조 여부를 분류하는 단계는,
노이즈 제거 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지를 생성하는 단계;
특징 추출 모듈을 이용하여 상기 노이즈 제거 이미지를 입력 받고, 상기 노이즈 제거 이미지의 특징값을 추출하는 단계; 및
분류 모듈을 이용하여 상기 노이즈 제거 이미지의 특징값을 입력 받고, 상기 노이즈 제거 이미지의 특징값을 기반으로 상기 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행하는 단계를 더 포함하며,
상기 특징 추출 모듈은,
입력 영상으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하며, 상기 설정된 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 상기 입력 영상으로부터 입력된 노이즈 제거 이미지의 특징값을 추출하도록 학습되며,
상기 특징점 영역은, 상기 노이즈 제거 이미지에서 인접 픽셀들간의 RGB값의 급격한 변화에 따라 일관성을 판단하여 설정되는, 가짜 영상 탐지 방법.
- 삭제
- 청구항 8에 있어서,
상기 데이터 세트를 생성하는 단계는,
상기 획득한 의심 영상에 포함된 각각의 영상 프레임을 추출하는 단계;
상기 추출된 각각의 영상 프레임에서 얼굴 영역을 추출하여 상기 얼굴 이미지를 생성하는 단계; 및
상기 얼굴 이미지를 각각 동일한 픽셀로 크기를 조정하는 단계를 더 포함하는, 가짜 영상 탐지 방법.
- 삭제
- 삭제
- 청구항 8에 있어서,
상기 분류 모듈은,
상기 추출된 노이즈 제거 이미지의 특징값을 입력받고, 상기 정상 영상으로부터 추출된 노이즈 제거 이미지의 특징값 및 상기 위변조 영상으로부터 추출된 노이즈 제거 이미지의 특징값을 기반으로 상기 입력 영상으로부터 추출된 노이즈 제거 이미지의 특징값에 대한 카테고리를 분류하도록 학습되는, 가짜 영상 탐지 방법.
- 청구항 8에 있어서,
상기 분석 정보를 생성하는 단계는,
상기 분석 결과를 기반으로 상기 의심 영상에서 얼굴 영역에 대한 위변조 확률 및 위변조 의심 영역을 표시하여 사용자에게 제공하는 단계; 및
상기 분석 결과에 따라 상기 사용자에게 신고 기능을 제공하는 단계를 더 포함하는, 가짜 영상 탐지 방법.
- 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
의심 영상을 획득하고;
상기 의심 영상에서 얼굴 영역을 추출하고, 상기 추출된 얼굴 영역으로부터 머신러닝(Machine Learning) 기반 기술을 사용하여 상기 의심 영상의 위변조 여부를 분석하고; 그리고
상기 의심 영상의 위변조 여부를 분석한 분석 결과를 기반으로 분석 정보를 생성하도록 하며,
상기 컴퓨터 프로그램은, 상기 분석하기 위하여, 상기 컴퓨팅 장치로 하여금,
상기 획득한 의심 영상의 프레임에서 얼굴 이미지를 추출하여 데이터 세트를 생성하고, 그리고
머신러닝(Machine Learning) 모듈을 이용하여 상기 데이터 세트를 입력받고, 상기 데이터 세트로부터 상기 의심 영상의 위변조 여부를 분류하도록 하며,
상기 컴퓨터 프로그램은, 상기 의심 영상의 위변조 여부를 분류하기 위하여, 상기 컴퓨팅 장치로 하여금,
노이즈 제거 모듈을 이용하여 상기 데이터 세트를 입력 받고, 상기 데이터 세트에 포함된 각각의 얼굴 이미지에서 노이즈를 제거하여 노이즈 제거 이미지를 생성하고,
특징 추출 모듈을 이용하여 상기 노이즈 제거 이미지를 입력 받고, 상기 노이즈 제거 이미지의 특징값을 추출하고, 그리고
분류 모듈을 이용하여 상기 노이즈 제거 이미지의 특징값을 입력 받고, 상기 노이즈 제거 이미지의 특징값을 기반으로 상기 의심 영상에 대한 위변조 여부를 분석하기 위하여 카테고리 분류를 수행하도록 하며,
상기 특징 추출 모듈은,
입력 영상으로부터 노이즈 제거 이미지를 입력받고, 정상 영상의 노이즈 제거 이미지와 위변조 영상의 노이즈 제거 이미지를 비교하여 특징점 영역을 설정하며, 상기 설정된 특징점 영역에 포함된 픽셀들의 RGB값을 기반으로 상기 입력 영상으로부터 입력된 노이즈 제거 이미지의 특징값을 추출하도록 학습되며,
상기 특징점 영역은, 상기 노이즈 제거 이미지에서 인접 픽셀들간의 RGB값의 급격한 변화에 따라 일관성을 판단하여 설정되는, 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113143A KR102629848B1 (ko) | 2021-08-26 | 2021-08-26 | 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210113143A KR102629848B1 (ko) | 2021-08-26 | 2021-08-26 | 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230030907A KR20230030907A (ko) | 2023-03-07 |
| KR102629848B1 true KR102629848B1 (ko) | 2024-01-25 |
Family
ID=85513002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210113143A KR102629848B1 (ko) | 2021-08-26 | 2021-08-26 | 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102629848B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557947B (zh) * | 2024-01-11 | 2024-04-12 | 湖北微模式科技发展有限公司 | 一种基于均方误差的静态场景视频真伪鉴定方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670491A (zh) * | 2019-02-25 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 鉴别人脸图像的方法、装置、设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101159164B1 (ko) | 2010-02-04 | 2012-06-22 | 목포대학교산학협력단 | 위조 영상 판별 장치 및 그 방법 |
| KR102294574B1 (ko) * | 2019-12-03 | 2021-08-26 | 주식회사 포스코아이씨티 | 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템 |
| KR102286468B1 (ko) * | 2019-01-23 | 2021-08-06 | 건국대학교 산학협력단 | 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 |
-
2021
- 2021-08-26 KR KR1020210113143A patent/KR102629848B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670491A (zh) * | 2019-02-25 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 鉴别人脸图像的方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230030907A (ko) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188789B2 (en) | Detecting poisoning attacks on neural networks by activation clustering | |
| CN108875676B (zh) | 活体检测方法、装置及系统 | |
| US9754164B2 (en) | Systems and methods for classifying objects in digital images captured using mobile devices | |
| US10194203B2 (en) | Multimodal and real-time method for filtering sensitive media | |
| US11610084B1 (en) | Apparatuses, methods, and systems for 3-channel dynamic contextual script recognition using neural network image analytics and 4-tuple machine learning with enhanced templates and context data | |
| US10140510B2 (en) | Machine print, hand print, and signature discrimination | |
| CN110059596B (zh) | 一种图像识别方法、装置、介质和电子设备 | |
| US20120141017A1 (en) | Reducing false detection rate using local pattern based post-filter | |
| KR101268520B1 (ko) | 영상 인식 장치 및 방법 | |
| KR102629848B1 (ko) | 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 | |
| JP2014535101A (ja) | 画像中のテキストの検出を容易にする方法及び装置 | |
| JP2019220014A (ja) | 画像解析装置、画像解析方法及びプログラム | |
| WO2022246989A1 (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
| US10121250B2 (en) | Image orientation detection | |
| CN111274447A (zh) | 基于视频的目标表情生成方法、装置、介质、电子设备 | |
| US20220076005A1 (en) | Person authentication apparatus, control method, and non-transitory storage medium | |
| CN115223022B (zh) | 一种图像处理方法、装置、存储介质及设备 | |
| WO2023000792A1 (zh) | 构建活体识别模型和活体识别的方法、装置、设备及介质 | |
| CN113095272B (zh) | 活体检测方法、设备、介质及计算机程序产品 | |
| CN115546906A (zh) | 检测图像中人脸活度的系统和方法及电子设备 | |
| KR20220057389A (ko) | 행동 인식 장치 및 방법 | |
| CN114764839A (zh) | 动态视频生成方法、装置、可读存储介质及终端设备 | |
| CN110427891A (zh) | 用于识别合同的方法、装置、系统及介质 | |
| CN114760484B (zh) | 直播视频识别方法、装置、计算机设备和存储介质 | |
| KR102388781B1 (ko) | 인공지능 딥러닝을 이용한 문서 처리 서비스를 제공하는 방법 및 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |