KR20200091799A - 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 - Google Patents

딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 Download PDF

Info

Publication number
KR20200091799A
KR20200091799A KR1020190169947A KR20190169947A KR20200091799A KR 20200091799 A KR20200091799 A KR 20200091799A KR 1020190169947 A KR1020190169947 A KR 1020190169947A KR 20190169947 A KR20190169947 A KR 20190169947A KR 20200091799 A KR20200091799 A KR 20200091799A
Authority
KR
South Korea
Prior art keywords
person
video
blinks
fake
eye
Prior art date
Application number
KR1020190169947A
Other languages
English (en)
Other versions
KR102286468B1 (ko
Inventor
김기천
정택현
진정하
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Publication of KR20200091799A publication Critical patent/KR20200091799A/ko
Application granted granted Critical
Publication of KR102286468B1 publication Critical patent/KR102286468B1/ko

Links

Images

Classifications

    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템이 개시된다. 일 실시예에 따른 가짜 동영상 무결성 검증 방법은, 인물이 포함된 동영상을 수신하는 단계와, 상기 동영상으로부터 상기 인물의 눈 깜빡임 횟수, 상기 인물의 성별/나이에 대한 제1 예측 정보, 및 상기 인물의 행동에 대한 제2 예측 정보를 생성하는 단계와, 상기 인물의 눈 깜빡임 횟수, 상기 제1 예측 정보 및 상기 제2 예측 정보에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계를 포함한다.

Description

딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템{METHOD AND SYSTEM FOR INTEGRITY VERIFICATION OF FAKE VIDEO CREATED THROUGH DEEP LEARNING}
아래 실시예들은 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템에 관한 것이다.
최근 GANs(Generative Adversarial Networks) 모델을 악용하여 생성되는 가짜 동영상(deepfake)이 사회적 문제로 대두되고 있다. 가짜 동영상은 서로 대립하는 2개의 ‹K러닝(Deep-Learning) 모델을 통해 실제 데이터 기반의 가짜 동영상 생성과 검증 작업을 반복하여 완성된다. 즉, 가짜 동영상은 동영상이나 사진속 인물의 얼굴이나 특정한 신체 부위를 자연스럽게 다른 인물의 정보로 합성하는 것이 가능하다.
가짜 동영상 기술이 최초로 개발된 초기 단계에서는 이미지의 안면 윤곽이나 피부 색조에 부자연스러운 잔상이 발생하는 무너짐(Collapse) 현상이나 잔상(Visual Artifact)이 빈번하게 나타났다. 따라서, 가짜 동영상 기술의 초기 단계에서는 가짜 동영상의 진위를 육안으로도 구분할 수 있었지만, 가짜 동영상 기술의 발전에 따라 점차 자연스럽고 구분하기 어려울 정도로 고도화되었다.
가짜 동영상 기술이 고도화됨에 따라 이를 악용하는 사례도 점차 증가하고 있다. 실제로 정계 또는 연예계의 유명인들을 소재로 하는 가짜 포르노(Porn) 영상과 선전·선동을 목적으로 하는 가짜 뉴스(News)가 대량으로 제작되었고, 이는 사회적으로 많은 문제점을 발생시키고 있다. 워싱턴포스트(WP)의 보도에 따르면, 이러한 가짜 포르노 영상의 범죄 피해가 일반인에까지 확대되고 있다. 즉, 가짜 포르노 영상은 당사자의 동의 없이 무단으로 소셜 네트워크 서비스(SNS) 등에서 획득한 얼굴 사진과 포르노를 교묘하게 합성해 유포되고 있으며, 이를 전문적으로 서비스하는 업체 또한 생겨나서 많은 논란이 되고 있다.
따라서 가짜 동영상의 무결성(integrity)을 검증하는 방법의 필요성이 점차 주목받고 있으며, 이를 위해 다양한 연구가 진행되고 있다. 현재 가짜 동영상의 무결성 검증의 방법으로는 가짜 동영상에서 발생하는 픽셀의 무너짐 현상과 잔상의 탐지가 가장 활발히 연구되고 있다. 픽셀을 기반으로 무결성을 검증하는 방법은 초기에는 높은 탐지율을 보이므로 실전성에서 강점을 보였다. 하지만, GANs 모델의 Generator와 Discriminator가 이러한 검증을 우회하기 위해 더욱 고도화되면서 픽셀을 기반으로 무결성을 검증하는 방법은 활용성이 떨어졌다.
실시예들은 동영상에 포함된 인물의 눈 깜빡임에 기초하여 동영상이 가짜 동영상인지 여부를 결정하는 기술을 제공할 수 있다.
일 실시예에 따른 가짜 동영상 무결성 검증 방법은, 인물이 포함된 동영상을 수신하는 단계와, 상기 동영상으로부터 상기 인물의 눈 깜빡임 횟수, 상기 인물의 성별/나이에 대한 제1 예측 정보, 및 상기 인물의 행동에 대한 제2 예측 정보를 생성하는 단계와, 상기 인물의 눈 깜빡임 횟수, 상기 제1 예측 정보 및 상기 제2 예측 정보에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계를 포함한다.
상기 생성하는 단계는, 상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하는 단계와, 상기 전체 영역으로부터 상기 인물의 눈 영역을 추출하는 단계와, 상기 눈 영역을 이용하여 상기 인물의 눈 깜빡임 횟수를 계산하는 단계를 포함할 수 있다.
상기 계산하는 단계는, 상기 눈 영역을 이용하여 상기 인물의 눈의 종횡비를 계산하는 단계와, 상기 동영상에서 상기 눈의 종횡비가 임계값 이하인 경우를 상기 인물의 눈 깜빡임으로 판단하여 상기 인물에 대한 상기 눈 깜빡임 횟수를 계산하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하는 단계와, 상기 전체 영역으로부터 상기 인물의 얼굴 영역을 추출하는 단계와, 상기 얼굴 영역을 이용하여 상기 인물의 성별/나이에 대한 상기 제1 예측 정보를 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 제1 예측 정보에 대응하는 성별 및 나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택하는 단계와, 상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하는 단계와, 상기 평균 횟수에 상기 제1 가중치를 연산하여 제1 기준 횟수를 계산하는 단계와, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계를 포함할 수 있다.
상기 가짜 동영상인지 여부를 결정하는 단계는, 상기 제1 예측 정보에 대응하는 기준 인물의 성별 및 인물의 나이에 따라 정의된 눈 깜빡임의 평균 횟수를 선택하는 단계와, 상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하는 단계와, 상기 동영상이 촬영된 시간대에 대응하는 기준 인물의 눈 깜빡임 횟수에 대한 제2 가중치를 선택하는 단계와, 상기 평균 횟수에 상기 제1 가중치 및 상기 제2 가중치를 연산하여 제2 기준 횟수를 계산하는 단계와, 상기 인물의 눈 깜빡임 횟수와 상기 제2 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계를 포함할 수 있다.
상기 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계는, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내일 때 상기 동영상을 진짜 동영상으로 결정하는 단계와, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 외일 때 상기 동영상을 가짜 동영상으로 결정하는 단계를 포함할 수 있다.
상기 방법은, 상기 동영상으로부터 상기 인물의 눈 깜빡임이 발생한 시간, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간을 생성하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 동영상에서 상기 인물의 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 때, 상기 인물의 눈 깜빡임 횟수, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 가짜 동영상 무결성 검증 장치는, 가짜 동영상 무결성 검증을 위한 인스트럭션들을 저장하는 메모리와, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 인물이 포함된 동영상을 수신하고, 상기 동영상으로부터 상기 인물의 눈 깜빡임 횟수, 상기 인물의 성별/나이에 대한 제1 예측 정보, 및 상기 인물의 행동에 대한 제2 예측 정보를 생성하고, 상기 인물의 눈 깜빡임 횟수, 상기 제1 예측 정보 및 상기 제2 예측 정보에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정한다.
상기 컨트롤러는, 상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하고, 상기 전체 영역으로부터 상기 인물의 눈 영역을 추출하고, 상기 눈 영역을 이용하여 상기 인물의 눈 깜빡임 횟수를 계산할 수 있다.
상기 눈 영역을 이용하여 상기 인물의 눈의 종횡비를 계산하고, 상기 동영상에서 상기 눈의 종횡비가 임계값 이하인 경우를 상기 인물의 눈 깜빡임으로 판단하여 상기 인물에 대한 상기 눈 깜빡임 횟수를 계산할 수 있다.
상기 컨트롤러는, 상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하고, 상기 전체 영역으로부터 상기 인물의 얼굴 영역을 추출하고, 상기 얼굴 영역을 이용하여 상기 인물의 성별/나이에 대한 상기 제1 예측 정보를 생성할 수 있다.
상기 컨트롤러는, 상기 제1 예측 정보에 대응하는 성별 및 나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택하고, 상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하고, 상기 평균 횟수에 상기 제1 가중치를 연산하여 제1 기준 횟수를 계산하고, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
상기 컨트롤러는, 상기 제1 예측 정보에 대응하는 기준 인물의 성별 및 인물의 나이에 따라 정의된 눈 깜빡임의 평균 횟수를 선택하고, 상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하고, 상기 동영상이 촬영된 시간대에 대응하는 기준 인물의 눈 깜빡임 횟수에 대한 제2 가중치를 선택하고, 상기 평균 횟수에 상기 제1 가중치 및 상기 제2 가중치를 연산하여 제2 기준 횟수를 계산하고, 상기 인물의 눈 깜빡임 횟수와 상기 제2 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
상기 컨트롤러는, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내일 때 상기 동영상을 진짜 동영상으로 결정하고, 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 외일 때 상기 동영상을 가짜 동영상으로 결정할 수 있다.
상기 컨트롤러는, 상기 동영상으로부터 상기 인물의 눈 깜빡임이 발생한 시간, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간을 생성할 수 있다.
상기 컨트롤러는, 상기 동영상에서 상기 인물의 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 때, 상기 인물의 눈 깜빡임 횟수, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
도 1은 일 실시예에 따른 검증 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 검증 장치를 개략적으로 나타낸 도면이다.
도 3 내지 도 5는 검증 장치가 눈 영역 및 얼굴 영역을 추출하는 동작을 설명하기 위한 도면이다.
도 6 내지 도 11은 검증 장치가 눈 깜빡임을 검출하는 동작을 설명하기 위한 도면이다.
도 12 내지 도 15는 검증 장치가 여러 동영상을 대상으로 눈 깜빡임 횟수 및 EAR을 계산한 결과를 나타낸다.
도 16 내지 도 26은 검증 장치가 예측 정보를 생성하고, 가중치를 연산하는 동작을 설명하기 위한 도면이다.
도 27 내지 도 30은 검증 장치가 동영상이 가짜 동영상인지 여부를 결정하는 동작을 설명하기 위한 도면이다.
도 31 내지 도 34는 검증 장치에 대한 성능 실험을 나타낸 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2 등의 용어가 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 1은 일 실시예에 따른 검증 시스템을 나타낸 도면이다.
검증 시스템(10)은 서버(100) 및 검증 장치(300)를 포함한다.
검증 시스템(10)은 인간의 자발적, 비의식적 행동인 눈 깜빡임에 기초하여 가짜 동영상(deepfake)을 검증할 수 있다.
검증 시스템(10)은 동영상에 포함된 인물의 눈 깜빡임의 변화를 기계 학습(muchine learning) 및 여러 알고리즘과 의학, 생물학 및 뇌공학 연구결과에 기반을 둔 휴리스틱(Heuristic)을 통해 검증함으로써, 동영상에 대한 무결성을 검증할 수 있다.
검증 시스템(10)은 불규칙하게 나타나는 눈 깜빡임의 패턴을 정형화하여 분석함으로써, 동영상의 무결성을 검증할 수 있다.
검증 시스템(10)은 눈 깜빡임에 영향을 미치는 인간의 여러 인지 및 행동 지표들을 적용하여 인간의 자발적, 비의식적 행동인 눈 깜빡임의 패턴 정보를 분석하고, 이에 기초하여 가짜 동영상을 식별할 수 있다.
서버(100)는 동영상을 검증 장치(300)로 전송할 수 있다. 동영상은 진짜 동영상 또는 가짜(deepfake) 동영상일 수 있다. 가짜 동영상은 동영상 속 인물의 얼굴 및/또는 신체 부위가 다른 인물의 얼굴 및/또는 신체 부위로 합성된 동영상을 의미할 수 있다.
검증 장치(300)는 동영상에 포함된 인물의 눈 깜빡임에 기초하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다. 검증 장치(300)는 결정 결과를 검증 데이터로 생성할 수 있다. 검증 장치(300)는 검증 데이터를 서버(100)로 전송할 수 있다. 검증 장치(300)는 검증 데이터를 다른 장치(미도시)로 전송할 수 있다.
도 2는 도 1에 도시된 검증 장치를 개략적으로 나타낸 도면이다.
검증 장치(300)는 통신 모듈(310), 프로세서(330), 및 메모리(350)를 포함한다. 검증 장치(300)는 통신 모듈(310)을 통해 네트워크에 연결되고, 서버(100)와 통신할 수 있다.
통신 모듈(310)은 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 서버(100) 등과 통신할 수 있다. 통신 모듈(310)은 인물이 포함된 동영상을 수신할 수 있다. 통신 모듈(310)은 인물이 포함된 동영상을 프로세서(330)로 전송할 수 있다. 통신 모듈(310)은 프로세서(330)의 검증 데이터를 서버(100) 및/또는 다른 장치들(미도시)로 전송할 수 있다.
프로세서(330)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor) 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(330)는 검증 장치(300)의 적어도 하나의 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 프로세서(330)는 메모리(350)에 저장된 어플리케이션 및/또는 소프트웨어 등을 실행할 수 있다.
프로세서(330)는 통신 모듈(310)이 수신한 데이터 및 메모리(350)에 저장된 데이터를 처리할 수 있다. 프로세서(330)는 메모리(350)에 저장된 데이터를 처리할 수 있다. 프로세서(330)는 메모리(350)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(330)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(330)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(330)는 인물이 포함된 동영상으로부터 인물의 눈 깜빡임 횟수를 생성할 수 있다.
프로세서(330)는 동영상으로부터 인물에 대한 전체 영역을 추출할 수 있다. 프로세서(330)는 전체 영역으로부터 인물의 눈 영역을 추출할 수 있다. 프로세서(330)는 눈 영역을 이용하여 인물의 눈 깜빡임 횟수를 계산할 수 있다.
프로세서(330)는 눈 영역을 이용하여 상기 인물의 눈의 종횡비를 계산할 수 있다. 프로세서(330)는 동영상에서 눈의 종횡비가 임계값 이하인 경우를 인물의 눈 깜빡임으로 판단하여 인물에 대한 눈 깜빡임 횟수를 계산할 수 있다.
프로세서(330)는 인물의 성별/나이에 대한 제1 예측 정보를 생성할 수 있다.
프로세서(330)는 동영상으로부터 인물에 대한 전체 영역을 추출할 수 있다. 프로세서(330)는 전체 영역으로부터 인물의 얼굴 영역을 추출할 수 있다. 프로세서(330)는 얼굴 영역을 이용하여 인물의 성별/나이에 대한 제1 예측 정보를 생성할 수 있다.
프로세서(330)는 인물의 행동에 대한 제2 예측 정보를 생성할 수 있다.
프로세서(330)는 인물의 눈 깜빡임 횟수, 제1 예측 정보 및 제2 예측 정보에 기초하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
프로세서(330)는 제1 예측 정보에 대응하는 성별 및 나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택할 수 있다.
프로세서(330)는 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택할 수 있다. 프로세서(330)는 동영상이 촬영된 시간대에 대응하는 기준 인물의 눈 깜빡임 횟수에 대한 제2 가중치를 선택할 수 있다.
프로세서(330)는 평균 횟수에 제1 가중치를 연산하여 제1 기준 횟수를 계산할 수 있다. 프로세서(330)는 평균 횟수에 제1 가중치 및 제2 가중치를 연산하여 제2 기준 횟수를 계산할 수 있다.
프로세서(330)는 인물의 눈 깜빡임 횟수와 제1 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 동영상이 가짜 동영상인지 여부를 결정할 수 있다. 프로세서(330)는 인물의 눈 깜빡임 횟수와 제2 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
프로세서(330)는 인물의 눈 깜빡임 횟수와 제1 기준 횟수의 차가 임계 범위 내일 때 동영상을 진짜 동영상으로 결정할 수 있다. 프로세서(330)는 상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 외일 때 상기 동영상을 가짜 동영상으로 결정할 수 있다.
프로세서(330)는 동영상으로부터 인물의 눈 깜빡임이 발생한 시간, 인물의 눈 깜빡임 주기 및 인물의 눈 깜빡임에 걸리는 시간을 생성할 수 있다.
프로세서(330)는 동영상에서 인물의 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 때, 인물의 눈 깜빡임 횟수, 인물의 눈 깜빡임 주기 및 인물의 눈 깜빡임에 걸리는 시간에 기초하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
프로세서(330)는 결정 결과를 검증 데이터로 생성할 수 있다. 프로세서(330)는 검증 데이터를 통신 모듈(310)로 전송할 수 있다.
메모리(350)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(350)는, 검증 장치(300)의 적어도 하나의 다른 구성요소에 관계된 명령 및/또는 데이터를 저장할 수 있다.
메모리(350)는 소프트웨어(software) 및/또는 프로그램(program) 등을 저장할 수 있다. 예를 들어, 메모리(350)는 가짜 동영상 무결성 검증을 위한 어플리케이션 및 소프트웨어 등을 저장할 수 있다.
도 3 내지 도 5는 검증 장치가 눈 영역 및 얼굴 영역을 추출하는 동작을 설명하기 위한 도면이다.
검증 장치(300)는 동영상에 포함된 인물의 눈 깜빡임의 변화 패턴을 추출하여 인물을 분석할 수 있다. 즉, 검증 장치(300)는 동영상에서 무결성을 검증하고자 하는 데이터의 주체를 사람으로 정의할 수 있다. 따라서, 검증 장치(300)는 선행적으로 동영상에서 인물을 추출하는 동작을 수행할 수 있다. 검증 장치(300)는 인물을 추출하는 과정에서 인물의 얼굴과 눈을 중심으로 분석을 수행할 수 있다.
예를 들어, 검증 장치(300)는 인물의 얼굴을 검출하기 위해 동영상의 색상을 흑백 또는 회색조로 처리할 수 있다. 이는, 이미지의 밝은 부분과 어두운 부분의 흐름을 명확히 구분하는 Gradients를 얻기 위함이며, 개체 인식의 정확도에 높은 영향을 줄 수 있다.
다른 예를 들어, 검증 장치(300)는 HOG(Histogram of Gradients)를 이용하여 동영상에서 인물을 추출할 수 있다. 객체 인식은 흑백과 회색조로 처리된 동영상보다 HOG로 처리된 동영상이 더 높은 인식률을 보일 수 있다.
검증 장치(300)는 HOG를 이용하여 수학식 1을 통해 Gradients의 크기를 계산할 수 있다. 검증 장치(300)는 HOG를 이용하여 Gradients의 방향을 수학식 2를 통해 계산할 수 있다.
Figure pat00001
Figure pat00002
즉, 검증 장치(300)는 도 3과 같은 동영상을 HOG를 이용하여 프레임 단위로 도 4와 같이 동영상의 픽셀의 경계가 명확히 구분된 전체 영역(Gradients; 400)을 생성할 수 있다.
도 5를 참조하면, 검증 장치(300)는 전체 영역(400)에 Face Landmark Estimation을 적용하여 얼굴 영역(510)을 검출할 수 있다. 검증 장치(300)는 전체 영역(400)에 Face Landmark Estimation을 적용하여 눈 영역(551 및 555)을 검출할 수 있다. Face Landmark Estimation은 얼굴에 Landmarks로 정의되는 여러 개의 포인트를 턱의 상단, 눈의 가장자리, 눈썹 등 얼굴의 특정 부위에 표시할 수 있다. Face Landmark Estimation의 성능은 픽셀의 경계가 명확할수록 높아지므로, 앞서 적용한 HOG가 Face Landmark Estimation의 성능 향상과 큰 상관 관계를 가질 수 있다.
검증 장치(300)는 눈 깜빡임의 횟수와 패턴을 효과적으로 분석하기 위해서 눈 영역(551 및 555)만을 이용할 수 있다. 즉, 검증 장치(300)는 동영상에서 이용할 부분만을 따로 추출함으로써, 탐지 성능을 향상시키고, 처리해야 하는 데이터의 양도 감소시킬 수 있다. 이를 통해, 검증 장치(300)는 하드웨어 자원 점유의 측면에서도 도움이 되도록 동작을 수행할 수 있다.
도 6 내지 도 11은 검증 장치가 눈 깜빡임을 검출하는 동작을 설명하기 위한 도면이고, 도 12 내지 도 15는 검증 장치가 여러 동영상을 대상으로 눈 깜빡임 횟수 및 EAR을 계산한 결과를 나타낸다.
인간의 눈 깜빡임(Eye blink)은 인간의 성별, 나이, 감정의 상태, 각성 정도 및 시간 등과 같은 전반적인 신체 조건과 인간의 인지 활동, 생물학적 요인 및 정보 처리의 정도에 따라 유의하게 변화될 수 있다. 눈 깜빡임은 인간의 일상 행동 속에서 반복적이면서도 비의식적으로 나타날 수 있다.
눈 깜빡임이 수행되는 원인은 일차적으로 각막의 눈물층의 두께를 일정하게 유지하기 위함일 수 있다. 하지만, 일상에서의 눈 깜빡임은 단순히 각막의 건조를 방지하기 위한 것보다 훨씬 다양한 변수로 인해 일어날 수 있다. 대표적으로, 성인과 영아의 눈 깜빡임의 횟수에는 차이가 있으며, 이러한 사실은 눈 깜빡임이 물리적인 각막의 건조뿐 아니라 여러 조건에 의해 영향을 받고 있음을 시사할 수 있다.
눈 깜빡임의 특징을 자세히 살펴보면, 눈 깜빡임은 제시된 시각 정보를 다시 상기(rehearsal)하거나 특정 문장을 소리 내어 읽을 때는 그 횟수가 증가할 수 있다. 하지만, 눈 깜빡임은 시각 정보에 집중하거나 제시된 문장을 눈으로 읽을 때는 그 횟수가 감소할 수 있다. 또한, 1928년 Ponder의 연구에 따르면, 사람들은 서로 대화할 때 눈 깜빡임이 더욱 많아진다는 연구 결과가 있다. 이는 눈 깜빡임이 인지 활동과 행동요인에도 영향을 받고 있음을 시사할 수 있다.
눈 깜빡임의 횟수는 하루 중에도 시간에 따라 다양하게 변화하며, 주로 저녁 시간(예를 들어, 오후 8시)에 가장 증가할 수 있다. 따라서, 눈 깜빡임은 인간의 성별, 나이, 감정의 상태, 각성 정도 및 시간 등과 같은 전반적인 신체 조건과 인간의 인지 활동, 생물학적 요인 및 정보 처리의 정도에 따라 유의하게 변화하는 것을 알 수 있다.
이러한 사실들을 이용하여, 검증 장치(300)는 눈 영역(551 및 555)의 이미지를 EAR(Eye-Aspect-Ratio)을 이용하여 눈 깜빡임 횟수를 계산할 수 있다. EAR은 눈의 종횡비를 계산하여 눈 깜빡임을 탐지하는 방법일 수 있다.
도 6을 참조하면,
Figure pat00003
및
Figure pat00004
는 눈의 면적 중 가로축을 의미하고,
Figure pat00005
,
Figure pat00006
,
Figure pat00007
,
Figure pat00008
은 세로축을 의미할 수 있다. 검증 장치(300)는 가로축과 세로축을 통해 눈의 종횡비(EAR)를 수학식 3을 통해 계산할 수 있다.
Figure pat00009
검증 장치(300)는 눈 깜빡임은 일반적으로 양쪽 눈 모두에서 동시적으로 발생하므로, 양쪽 눈의 종횡비(
Figure pat00010
)를 수학식 4를 통해 계산할 수 있다.
Figure pat00011
Figure pat00012
는 왼쪽 눈의 종횡비,
Figure pat00013
는 오른쪽 눈의 종횡비를 의미할 수 있다.
도 7을 참조하면, 검증 장치(300)는 양쪽 눈의 종횡비(
Figure pat00014
)가 임계값(threshold) 이하인 경우 눈 깜빡임(700)으로 판단할 수 있다. 즉, 검증 장치(300)는 양쪽 눈의 종횡비(
Figure pat00015
)에 임계값을 설정하여, 임계값보다 작아지는 경우를 눈 깜빡임으로 판단할 수 있다.
도 8은 검증 장치(300)가 눈 영역(551 및 555)을 대상으로 EAR을 적용한 이미지를 나타낼 수 있다. 검증 장치(300)는 수학식 3을 통해 계산된 눈의 종횡비(EAR)를 모든 프레임에서 연속적으로 계산할 수 있다. 검증 장치(300)는 모든 프레임에서 계산한 눈의 종횡비(EAR)를 이용하여 양쪽 눈의 종횡비(
Figure pat00016
)를 계산할 수 있다.
도 9를 참조하면, 검증 장치(300)는 도 9의 알고리즘을 통해 눈 깜빡임을 판단할 수 있다. 검증 장치(300)는 도 9의 알고리즘을 통해 눈 깜빡임 횟수, 눈 깜빡임이 발생한 시간, 눈 깜빡임 주기 및 눈 깜빡임에 걸리는 시간을 계산할 수 있다.
도 10을 참조하면, 검증 장치(300)는 눈 깜빡임에 걸리는 시간을 계산할 수 있다. 검증 장치(300)는 양쪽 눈의 종횡비(
Figure pat00017
)가 임계값 이하인 경우(1050)를 눈이 감긴 것으로 정의할 수 있다. 검증 장치(300)는 값이 다시 일정 수준으로 복원되는 구간(1010)을 눈을 뜨는 것으로 정의할 수 있다. 검증 장치(300)는 눈 깜빡임에 걸리는 시간을 밀리세컨드(ms) 단위로 계산할 수 있다. 또한, 검증 장치(300)는 도 10과 같은 일련의 과정을 눈 깜빡임의 횟수로 하나씩 증감하며, 분당 수행되는 눈 깜빡임 횟수를 계산할 수 있다.
도 11은 검증 장치가 눈 깜빡임 주기를 계산하는 동작을 설명하기 위한 도면이다. 검증 장치(300)는 양쪽 눈의 종횡비(
Figure pat00018
)를 기준으로 눈 깜빡임 사이의 시간(1110)을 밀리세컨드(ms) 단위로 계산할 수 있다.
검증 장치(300)는 눈 깜빡임 주기를 그 자체로도 무결성 검증에 활용할 수 있지만, 눈 깜박임 주기의 평균값(Average)을 추가로 계산할 수 있다. 검증 장치(300)는 반복문, 특정 알고리즘 등을 통해 임의로 생성한 눈 깜빡임에 대한 비정상적인 패턴을 탐지하는데 눈 깜빡임 주기의 평균값을 활용할 수 있다.
도 12 내지 도 15는 검증 장치가 여러 동영상을 대상으로 눈 깜빡임 횟수(1210, 1310, 1410 및 1510) 및 EAR(1230, 1330, 1430 및 1530)을 계산한 결과를 나타낸다. 즉, 검증 장치(300)는 여러 동영상에서 눈 깜빡임을 판단하는데 높은 성능을 보일 수 있다. 또한, 검증 장치(300)는 분당 눈 깜빡임 횟수, 눈 깜빡임 주기, 눈 깜빡임에 걸리는 시간 등의 정보를 정확히 생성할 수 있다.
도 16 내지 도 26은 검증 장치가 예측 정보를 생성하고, 가중치를 연산하는 동작을 설명하기 위한 도면이다.
예를 들어, 검증 장치(300)는 도 16에 도시된 CNN(Convolution Neural Network)을 활용하여 동영상에 포함된 인물의 성별 및 나이를 예측하는 제1 예측 정보를 생성할 수 있다. CNN은 이미지 분류에서 가장 많이 사용되면서, 높은 성능을 보장하는 알고리즘일 수 있다. 검증 장치(300)는 ImageNet을 활용한 사전 훈련단계를 수행하여, 가중치를 획득하고, 재훈련(Retrain)의 개념으로 성별과 나이 그룹의 데이터를 구분하여 학습시킬 수 있다.
도 17은 검증 장치(300)가 CNN을 학습시키는데 사용된 이미지 데이터셋일 수 있다. 예를 들어, 검증 장치(300)는 직관적인 결과를 위해 인물의 나이 그룹을 20대 미만과 40대에서 50대 그리고 65세 이상으로 정의할 수 있다.
도 18은 검증 장치(300)가 인물의 성별/나이를 예측한 결과(1850; Female(<20))로, 높은 확률의 정확성(Accuracy)을 보이는 것을 알 수 있다. 영상 속의 인물은 실제로 2004년생 14세의 여성일 수 있다. 도 19 내지 도 22는 검증 장치(300)가 여러 동영상을 대상으로 성별/나이에 대해 생성한 제1 예측 정보(1950, 2050, 2150 및 2250)를 나타낸 도면이다. 제1 예측 정보(1950, 2050, 2150 및 2250)는 여러 동영상에 포함된 인물의 실제 성별/나이와 일치할 수 있다. 즉, 검증 장치(300)는 동영상에 포함된 인물의 성별/나이를 정확히 예측할 수 있다.
도 23을 참조하면, 검증 장치(300)는 제1 예측 정보(1950, 2050, 2150 및 2250)에 대응하는 성별/나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택할 수 있다. 예를 들어, 검증 장치(300)는 첫 번째 그룹(<20 Male)의 경우 20대 미만의 남성들의 평균적인 분당 눈 깜빡임의 횟수를 선택할 수 있다.
도 24는 검증 장치(300)가 수행하는 인물의 행동에 대한 예측의 수준과 분류를 나타낼 수 있다. 검증 장치(300)는 동영상에 포함된 인물의 특정 행동을 딥 러닝 등의 알고리즘을 기반으로 예측할 수 있다.
도 25를 참조하면, 검증 장치(300)는 인물의 행동과 눈 깜빡임과의 상관성에 따른 제1 가중치(
Figure pat00019
)를 부여할 수 있다.
예를 들어, 검증 장치(300)는 시각 정보에 집중하는 “책을 읽는다”와 같은 행동을 수행할 때는 평상시보다 눈 깜빡임 횟수가 감소한다는 특성을 이용하여, 눈 깜빡임 횟수에 제1 가중치(
Figure pat00020
)를 연산하여 눈 깜빡임 횟수에 대한 감산을 수행할 수 있다. 검증 장치(300)는 제1 가중치(
Figure pat00021
)는 행동 분류별로 차등하게 부여할 수 있다. 예를 들어, 검증 장치(300)는 제1 가중치(
Figure pat00022
)의 증가(Increase)와 감소(Decrease)를 각각 3단계로 정의할 수 있다. 제1 가중치(
Figure pat00023
)는 단계가 높을수록 더 큰 수치를 가질 수 있다. 따라서, 검증 장치(300)는 동영상에 나타나는 인물의 행동을 고찰하여 눈 깜빡임의 횟수와 상관 관계를 갖는 유형의 행동이 식별되면, 적절한 제1 가중치(
Figure pat00024
)의 증가(Increase)와 감소(Decrease)를 수행할 수 있다.
도 26을 참조하면, 눈 깜빡임은 시간의 흐름에 따라 그 횟수가 유의하게 변화할 수 있다. 검증 장치(300)는 동영상이 촬영된 시간대(h)를 추론하여 눈 깜빡임 횟수에 제2 가중치(
Figure pat00025
)를 부여할 수 있다. 도 26은 검증 장치(300)가 출력하는 동영상이 촬영된 시간대를 기반으로 부여되는 제2 가중치(
Figure pat00026
)를 나타낸다. 검증 장치(300)는 제2 가중치(
Figure pat00027
)를 시간대별로 차등하게 부여할 수 있으며 총 6단계로 정의할 수 있다.
도 27 내지 도 30은 검증 장치가 동영상이 가짜 동영상인지 여부를 결정하는 동작을 설명하기 위한 도면이다.
검증 장치(300)는 인간의 자발적, 비의식적 행동인 눈 깜빡임의 패턴과 탐지된 눈 깜빡임의 패턴이 유사한지를 분석할 수 있다. 검증 장치(300)는 도 27의 알고리즘 2(Algorithm 2)을 통해 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
검증 장치(300)는 동영상에 포함된 인물이 해당하는 성별과 나이 그룹의 평균 눈 깜빡임 횟수(
Figure pat00028
)에 행동 기반의 제1 가중치(
Figure pat00029
)의 연산을 수행하여 제1 기준 횟수를 계산할 수 있다. 검증 장치(300)는 동영상에 포함된 인물이 해당하는 성별과 나이 그룹의 평균 눈 깜빡임 횟수(
Figure pat00030
)에 행동 기반의 제1 가중치(
Figure pat00031
)와 시간 기반의 제2 가중치(
Figure pat00032
)의 연산을 수행하여 제2 기준 횟수를 계산할 수 있다. 검증 장치(300)는 연산 결과를 인물의 눈 깜빡임 횟수(
Figure pat00033
)와 비교하여 차이값(
Figure pat00034
)을 계산할 수 있다.
검증 장치(300)는 차이값(
Figure pat00035
)이 임계 범위(
Figure pat00036
) 내인지 여부를 확인하여, 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
도 28을 참조하면, 검증 장치(300)는 눈 깜빡임의 주기(2810)에 기초하여 동영상의 무결성을 검증할 수 있다. 즉, 검증 장치(300)는 눈 깜빡임은 무의식에서 자발적(Spontaneous)으로 일어나기 때문에, 유사한 주기를 반복할 수 없다는 점을 무결성 검증에 이용할 수 있다.
검증 장치(300)는 수학식 5를 통해 눈 깜빡임 주기(
Figure pat00037
)의 평균을 구하고, 그 값이 반복성 혹은 일정한 연관성을 가지는지 확인하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
Figure pat00038
또한, 검증 장치(300)는 눈 깜빡임 주기(
Figure pat00039
)가 너무 짧거나 긴 경우도 가짜 동영상으로 판단할 수 있다. 검증 장치(300)는 눈 깜빡임 주기(
Figure pat00040
)의 비교에 사용되는
Figure pat00041
주기 허용 범위를 여러 실험을 통해 얻은 결과에서 휴리스틱(Heuristic)을 통해 선택할 수 있다. 검증 장치(300)는 눈 깜빡임 주기(
Figure pat00042
)가 주기 허용 범위 내에 있는지 여부에 따라 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
도 29는 검증 장치(300)는 눈 깜빡임에 걸리는 시간에 기초하여 동영상의 무결성을 검증할 수 있다. 즉, 검증 장치(300)는 눈 깜빡임에 걸리는 시간은 유사한 주기를 반복할 수 없다는 점을 무결성 검증에 이용할 수 있다.
따라서, 검증 장치(300)는 수학식 6을 통해 눈 깜빡임에 걸리는 시간(
Figure pat00043
)의 평균을 계산하고, 그 값이 반복성 혹은 일정한 연관성을 가지는지를 확인하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
Figure pat00044
또한, 검증 장치(300)는 눈 깜빡임에 걸리는 시간(
Figure pat00045
)이 너무 짧거나 긴 경우도 가짜 동영상으로 판단할 수 있다. 검증 장치(300)는 눈 깜빡임에 걸리는 시간(
Figure pat00046
)의 비교에 사용되는
Figure pat00047
시간 허용 범위를 여러 실험을 통해 얻은 결과에서 휴리스틱을 통해 선택할 수 있다. 검증 장치(300)는 눈 깜빡임에 걸리는 시간(
Figure pat00048
)이 시간 허용 범위 내에 있는지 여부에 따라 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
도 30은 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 경우를 나타낼 수 있다. 검증 장치(300)는 실제 인간의 경우, 짧은 순간에 연속적인 눈 깜빡임이 가끔 발생할 수 있다는 점을 이용하여 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
검증 장치(300)는 짧은 순간(임계 시간; 3000) 동안에 연속적으로 반복되는 눈 깜빡임이 식별되는 경우, 그 눈 깜빡임 주기와 눈깜빡임 횟수(반복 횟수) 및 눈 깜빡임에 걸리는 시간을 기준으로 동영상이 가짜 동영상인지 여부를 결정할 수 있다.
검증 장치(300)의 휴리스틱 기반 검증은 만일 가짜 동영상을 만드는 공격자가 가짜 동영상에 임의로 눈 깜빡임을 생성하고자 한다면 무결성 검증에 중요한 요소가 될 수 있다.
도 31 내지 도 34는 검증 장치에 대한 성능 실험을 나타낸 도면이다.
성능 실험에 사용한 동영상은 실제로 인터넷에 게시된 불법 딥페이크(Deep-Fake) 동영상일 수 있다.
사례 1(Case 1)은 검증 장치(300)가 도 32와 같이 동영상에서 추출한 대상의 눈 깜빡임(0회/분)이 전혀 수행되지 않은 것으로 검출하였을 수 있다. 따라서, 검증 장치(300)는 사례 1(Case 1)의 동영상은 가짜 동영상으로 결정하였을 수 있다.
사례 2(Case 2)는 검증 장치(300)가 동영상에서 추출한 대상의 눈 깜빡임의 횟수(22회/분)와 40-50대 여성의 평균적인 눈 깜빡임 횟수에 여러 가중치를 통해 계산한 결과가 허용 범위 내인 것을 검증하였을 수 있다. 따라서 검증 장치(300)는 사례 2(Case 2)의 동영상을 가짜 동영상이 아닌 것으로 결정하였을 수 있다.
사례 3(Case 3)은 검증 장치(300)가 동영상에서 추출한 인물의 눈 깜빡임의 횟수(38회/분)와 40-50대 남성의 평균적인 눈 깜빡임 횟수에 여러 가중치를 통해 계산한 결과(15.8회/분)가 허용 범위 외인 것을 검증하였을 수 있다. 따라서, 검증 장치(300)는 사례 3(Case 3)의 동영상을 가짜 동영상으로 결정하였을 수 있다.
사례 4(Case 4)는 검증 장치(300)가 동영상에서 추출한 인물의 눈 깜빡임의 횟수(24회/분)와 눈 깜빡임 주기(2.0)를 분석한 결과 눈 깜빡임이 2초 간격으로 반복적으로 수행됨을 검출하였을 수 있다. 따라서, 해당 동영상은 검증 장치(300)가 가짜 동영상으로 결정하였을 수 있다.
사례 5(Case 5)는 검증 장치(300)가 동영상에서 추출한 인물의 눈 깜빡임의 횟수(4회/분), 눈 깜빡임 주기(15/평균) 및 눈 깜빡임에 걸리는 시간(0.378123/평균) 모두를 비정상에 해당한다고 결정하였을 수 있다. 특히 깜빡임에 걸리는 시간은 표준편차 보다 약 3배 이상 높으므로, 검증 장치(300)는 사례 5(Case 5)의 동영상을 가짜 동영상으로 결정하였을 수 있다.
사례 6(Case 6)은 검증 장치(300)가 동영상에서 추출한 대상의 눈 깜빡임의 횟수(2회/분)와 주기(30/평균)는 모두 비정상에 해당한다고 판단하였을 수 있다. 특히, 검증 장치(300)는 눈 깜빡임 횟수가 20대 미만의 여성의 평균적인 눈 깜빡임의 횟수에 여러 가중치를 통해 계산된 결과(13회/분)와 매우 큰 차이를 보이는 것을 계산하였을 수 있다. 따라서, 사례 6(Case 6)의 동영상은 검증 장치(300)가 가짜 동영상으로 결정하였을 수 있다.
도 33을 참조하면, 사례 7(Case 7)은 검증 장치(300)가 동영상(YouTube에 업로드된 “Joker trying to impress achristian lady [DeepFake])에서 추출한 인물의 눈 깜빡임(0회/분)이 전혀 수행되지 않았기 때문에 가짜 동영상으로 결정하였을 수 있다.
도 34를 참조하면, 사례 8(Case 8)은 검증 장치(300)가 동영상(YouTube에 업로드된 “Cage will survive”)에서 추출한 대상의 눈 깜빡임의 횟수(1회/분)가 일반적인 눈 깜빡임 횟수의 표준편차에 비해 매우 낮은 것으로 검출하였을 수 있다. 따라서, 검증 장치(300)는 사례 8(Case 8)의 동영상을 가짜 동영상으로 결정하였을 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (18)

  1. 인물이 포함된 동영상을 수신하는 단계;
    상기 동영상으로부터 상기 인물의 눈 깜빡임 횟수, 상기 인물의 성별/나이에 대한 제1 예측 정보, 및 상기 인물의 행동에 대한 제2 예측 정보를 생성하는 단계; 및
    상기 인물의 눈 깜빡임 횟수, 상기 제1 예측 정보 및 상기 제2 예측 정보에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하는 단계;
    상기 전체 영역으로부터 상기 인물의 눈 영역을 추출하는 단계; 및
    상기 눈 영역을 이용하여 상기 인물의 눈 깜빡임 횟수를 계산하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  3. 제2항에 있어서,
    상기 계산하는 단계는,
    상기 눈 영역을 이용하여 상기 인물의 눈의 종횡비를 계산하는 단계; 및
    상기 동영상에서 상기 눈의 종횡비가 임계값 이하인 경우를 상기 인물의 눈 깜빡임으로 판단하여 상기 인물에 대한 상기 눈 깜빡임 횟수를 계산하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하는 단계;
    상기 전체 영역으로부터 상기 인물의 얼굴 영역을 추출하는 단계; 및
    상기 얼굴 영역을 이용하여 상기 인물의 성별/나이에 대한 상기 제1 예측 정보를 생성하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  5. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 제1 예측 정보에 대응하는 성별 및 나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택하는 단계;
    상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하는 단계;
    상기 평균 횟수에 상기 제1 가중치를 연산하여 제1 기준 횟수를 계산하는 단계; 및
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  6. 제1항에 있어서,
    상기 가짜 동영상인지 여부를 결정하는 단계는,
    상기 제1 예측 정보에 대응하는 기준 인물의 성별 및 인물의 나이에 따라 정의된 눈 깜빡임의 평균 횟수를 선택하는 단계;
    상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하는 단계;
    상기 동영상이 촬영된 시간대에 대응하는 기준 인물의 눈 깜빡임 횟수에 대한 제2 가중치를 선택하는 단계; 및
    상기 평균 횟수에 상기 제1 가중치 및 상기 제2 가중치를 연산하여 제2 기준 횟수를 계산하는 단계; 및
    상기 인물의 눈 깜빡임 횟수와 상기 제2 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  7. 제5항에 있어서,
    상기 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계는,
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내일 때 상기 동영상을 진짜 동영상으로 결정하는 단계; 및
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 외일 때 상기 동영상을 가짜 동영상으로 결정하는 단계
    를 포함하는 가짜 동영상 무결성 검증 방법.
  8. 제1항에 있어서,
    상기 동영상으로부터 상기 인물의 눈 깜빡임이 발생한 시간, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간을 생성하는 단계
    를 더 포함하는 가짜 동영상 무결성 검증 방법.
  9. 제8항에 있어서,
    상기 동영상에서 상기 인물의 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 때, 상기 인물의 눈 깜빡임 횟수, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는 단계
    를 더 포함하는 가짜 동영상 무결성 검증 방법.
  10. 가짜 동영상 무결성 검증을 위한 인스트럭션들을 저장하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는,
    인물이 포함된 동영상을 수신하고,
    상기 동영상으로부터 상기 인물의 눈 깜빡임 횟수, 상기 인물의 성별/나이에 대한 제1 예측 정보, 및 상기 인물의 행동에 대한 제2 예측 정보를 생성하고,
    상기 인물의 눈 깜빡임 횟수, 상기 제1 예측 정보 및 상기 제2 예측 정보에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는
    가짜 동영상 무결성 검증 장치.
  11. 제10항에 있어서,
    상기 컨트롤러는,
    상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하고,
    상기 전체 영역으로부터 상기 인물의 눈 영역을 추출하고,
    상기 눈 영역을 이용하여 상기 인물의 눈 깜빡임 횟수를 계산하는
    가짜 동영상 무결성 검증 장치.
  12. 제11항에 있어서,
    상기 컨트롤러는,
    상기 눈 영역을 이용하여 상기 인물의 눈의 종횡비를 계산하고,
    상기 동영상에서 상기 눈의 종횡비가 임계값 이하인 경우를 상기 인물의 눈 깜빡임으로 판단하여 상기 인물에 대한 상기 눈 깜빡임 횟수를 계산하는
    가짜 동영상 무결성 검증 장치.
  13. 제10항에 있어서,
    상기 컨트롤러는,
    상기 동영상으로부터 상기 인물에 대한 전체 영역을 추출하고,
    상기 전체 영역으로부터 상기 인물의 얼굴 영역을 추출하고,
    상기 얼굴 영역을 이용하여 상기 인물의 성별/나이에 대한 상기 제1 예측 정보를 생성하는
    가짜 동영상 무결성 검증 장치.
  14. 제10항에 있어서,
    상기 컨트롤러는,
    상기 제1 예측 정보에 대응하는 성별 및 나이에 따라 정의된 기준 인물의 눈 깜빡임의 평균 횟수를 선택하고,
    상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하고,
    상기 평균 횟수에 상기 제1 가중치를 연산하여 제1 기준 횟수를 계산하고,
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는
    가짜 동영상 무결성 검증 장치.
  15. 제10항에 있어서,
    상기 컨트롤러는,
    상기 제1 예측 정보에 대응하는 기준 인물의 성별 및 인물의 나이에 따라 정의된 눈 깜빡임의 평균 횟수를 선택하고,
    상기 제2 예측 정보에 대응하는 행동에 따라 정의된 기준 인물의 눈 깜빡임 횟수에 대한 제1 가중치를 선택하고,
    상기 동영상이 촬영된 시간대에 대응하는 기준 인물의 눈 깜빡임 횟수에 대한 제2 가중치를 선택하고,
    상기 평균 횟수에 상기 제1 가중치 및 상기 제2 가중치를 연산하여 제2 기준 횟수를 계산하고,
    상기 인물의 눈 깜빡임 횟수와 상기 제2 기준 횟수의 차가 임계 범위 내에 있는지 여부에 따라 상기 동영상이 가짜 동영상인지 여부를 결정하는
    가짜 동영상 무결성 검증 장치.
  16. 제14항에 있어서,
    상기 컨트롤러는,
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 내일 때 상기 동영상을 진짜 동영상으로 결정하고,
    상기 인물의 눈 깜빡임 횟수와 상기 제1 기준 횟수의 차가 임계 범위 외일 때 상기 동영상을 가짜 동영상으로 결정하는
    가짜 동영상 무결성 검증 장치.
  17. 제10항에 있어서,
    상기 컨트롤러는,
    상기 동영상으로부터 상기 인물의 눈 깜빡임이 발생한 시간, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간을 생성하는
    가짜 동영상 무결성 검증 장치.
  18. 제17항에 있어서,
    상기 컨트롤러는,
    상기 동영상에서 상기 인물의 눈 깜빡임 횟수가 임계 시간동안 임계 횟수 이상인 때, 상기 인물의 눈 깜빡임 횟수, 상기 인물의 눈 깜빡임 주기 및 상기 인물의 눈 깜빡임에 걸리는 시간에 기초하여 상기 동영상이 가짜 동영상인지 여부를 결정하는
    가짜 동영상 무결성 검증 장치.
KR1020190169947A 2019-01-23 2019-12-18 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 KR102286468B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190008908 2019-01-23
KR20190008908 2019-01-23

Publications (2)

Publication Number Publication Date
KR20200091799A true KR20200091799A (ko) 2020-07-31
KR102286468B1 KR102286468B1 (ko) 2021-08-06

Family

ID=71834732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190169947A KR102286468B1 (ko) 2019-01-23 2019-12-18 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102286468B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
CN113642451A (zh) * 2021-08-10 2021-11-12 瑞庭网络技术（上海）有限公司 确定视频的匹配性的方法、装置、设备及可读记录介质
KR20220144101A (ko) 2021-04-19 2022-10-26 스냅태그 주식회사 Ood 탐지 기반 위변조 이미지 판정 방법 및 그 장치
KR20220154576A (ko) 2021-05-13 2022-11-22 스냅태그 주식회사 위변조 이미지 판정 모델의 학습 방법 및 그 장치
KR20230006939A (ko) 2021-07-05 2023-01-12 주식회사 플렉스윌 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치
KR20230030907A (ko) * 2021-08-26 2023-03-07 세종대학교산학협력단 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치
KR20240001729A (ko) 2022-06-23 2024-01-04 주식회사 이엔터 위조 영상 검출방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240054681A (ko) 2022-10-19 2024-04-26 울산과학기술원 페이크 영상 검증 방법 및 그 시스템
KR20240054682A (ko) 2022-10-19 2024-04-26 울산과학기술원 페이크 이미지 검출을 위한 특징 추출 방법 및 그 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100880256B1 (ko) * 2008-07-11 2009-01-28 주식회사 다우엑실리콘 실물 인식을 이용한 얼굴 인식 시스템 및 방법
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
JP2014041433A (ja) * 2012-08-21 2014-03-06 Sharp Corp 表示装置、表示方法、テレビジョン受信機及び表示制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100880256B1 (ko) * 2008-07-11 2009-01-28 주식회사 다우엑실리콘 실물 인식을 이용한 얼굴 인식 시스템 및 방법
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
JP2014041433A (ja) * 2012-08-21 2014-03-06 Sharp Corp 表示装置、表示方法、テレビジョン受信機及び表示制御装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
KR20220144101A (ko) 2021-04-19 2022-10-26 스냅태그 주식회사 Ood 탐지 기반 위변조 이미지 판정 방법 및 그 장치
KR20230066278A (ko) 2021-04-19 2023-05-15 스냅태그 주식회사 Ood 탐지 기반 위변조 이미지 판정 방법 및 그 장치
KR20220154576A (ko) 2021-05-13 2022-11-22 스냅태그 주식회사 위변조 이미지 판정 모델의 학습 방법 및 그 장치
KR20230149279A (ko) 2021-05-13 2023-10-26 스냅태그 주식회사 위변조 이미지 판정 모델의 학습 방법 및 그 장치
KR20230006939A (ko) 2021-07-05 2023-01-12 주식회사 플렉스윌 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치
KR20230151947A (ko) 2021-07-05 2023-11-02 주식회사 플렉스윌 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치
CN113642451A (zh) * 2021-08-10 2021-11-12 瑞庭网络技术（上海）有限公司 确定视频的匹配性的方法、装置、设备及可读记录介质
CN113642451B (zh) * 2021-08-10 2022-05-17 瑞庭网络技术（上海）有限公司 确定视频的匹配性的方法、装置、设备及可读记录介质
KR20230030907A (ko) * 2021-08-26 2023-03-07 세종대학교산학협력단 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치
KR20240001729A (ko) 2022-06-23 2024-01-04 주식회사 이엔터 위조 영상 검출방법

Also Published As

Publication number Publication date
KR102286468B1 (ko) 2021-08-06

Similar Documents

Publication Publication Date Title
KR102286468B1 (ko) 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템
US20200242416A1 (en) Systems and methods for machine learning enhanced by human measurements
CN108629168B (zh) 脸部验证方法、设备以及计算设备
Zhang et al. Continuous authentication using eye movement response of implicit visual stimuli
CN108073889B (zh) 虹膜区域提取的方法和设备
CN106997452B (zh) 活体验证方法及装置
De Marsico et al. Mobile iris challenge evaluation (MICHE)-I, biometric iris dataset and protocols
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
CN108182409A (zh) 活体检测方法、装置、设备及存储介质
CN103514440A (zh) 面部识别
CN109784277B (zh) 一种基于智能眼镜的情绪识别方法
CN107832721B (zh) 用于输出信息的方法和装置
KR20200012355A (ko) Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
Kholerdi et al. Driver's drowsiness detection using an enhanced image processing technique inspired by the human visual system
CN111902821A (zh) 检测动作以阻止识别
CN110738116A (zh) 活体检测方法及装置和电子设备
Menchetti et al. Pain detection from facial videos using two-stage deep learning
Soldera et al. Facial biometrics and applications
Cimmino et al. M2FRED: Mobile masked face REcognition through periocular dynamics analysis
Bazzani et al. Analyzing groups: a social signaling perspective
Lucey et al. Improving pain recognition through better utilisation of temporal information
Campbell et al. Saliency-based bayesian modeling of dynamic viewing of static scenes
US20230316809A1 (en) Facial Emotion Recognition System
Bhaskar et al. Advanced algorithm for gender prediction with image quality assessment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right