KR102598080B1 - 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치 - Google Patents

인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치 Download PDF

Info

Publication number
KR102598080B1
KR102598080B1 KR1020230036608A KR20230036608A KR102598080B1 KR 102598080 B1 KR102598080 B1 KR 102598080B1 KR 1020230036608 A KR1020230036608 A KR 1020230036608A KR 20230036608 A KR20230036608 A KR 20230036608A KR 102598080 B1 KR102598080 B1 KR 102598080B1
Authority
KR
South Korea
Prior art keywords
person
image
face
model
content
Prior art date
Application number
KR1020230036608A
Other languages
English (en)
Inventor
김재문
노성운
김상용
Original Assignee
(주)노웨어소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)노웨어소프트 filed Critical (주)노웨어소프트
Priority to KR1020230036608A priority Critical patent/KR102598080B1/ko
Application granted granted Critical
Publication of KR102598080B1 publication Critical patent/KR102598080B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

인공지능(artificial intelligence, AI) 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치가 개시된다. 본 개시의 일 실시예에 따른, 장치에 의해 수행되는, AI 알고리즘에 기초하여 초상권을 보호하는 방법은, 사용자로부터 업로드된 컨텐츠를 제1 AI 모델에 입력하여 상기 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득하되, 상기 하나 이상의 인물에 대한 정보는 i) 상기 컨텐츠를 구성하는 복수의 프레임에서 상기 하나 이상의 인물의 등장 횟수 및 ii) 상기 하나 이상의 인물에 대한 이미지를 포함하는 단계; 상기 하나 이상의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 상기 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득하는 단계; 상기 확률이 제2 임계값을 초과함에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화하는 단계; 및 상기 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 상기 사용자가 이용하는 단말 장치로 전송하는 단계를 포함할 수 있다.

Description

인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치{METHOD AND APPARATUS FOR FILTERING HARMFUL CONTENT USING ARTIFICIAL INTELLIGENCE-BASED SENTIMENT ANALYSIS}
본 개시는 초상권 보호 분야에 관한 것으로서, 더욱 상세하게는 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치에 관한 것이다.
인공지능(artificial intelligence, AI) 딥러닝 기술을 활용해 기존 인물의 얼굴이나 특정 신체 분위를 영상에 합성하는 딥페이크(deepfake) 기술이 다양한 분야에 사용됨에 따라 영상 제작비의 절감 등 많은 기술적 효과가 도출되고 있다.
다만, 딥페이크 기술이 악의적으로 조작된 음성, 영상, 이미지 생성에도 이용됨에 따라 사회적 이슈로 대두되고 있다. 또한, 스마트 기기 활용이 보편화되면서 딥페이크 기술의 역기능이 강화됨에 따라 초상권 침해 문제가 빈번하게 발생하고 있다.
공개특허공보 제10-2022-0061793 호, 2022.05.13
본 개시는 상술된 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치를 제공함에 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른, 장치에 의해 수행되는, 인공지능(artificial intelligence, AI) 알고리즘에 기초하여 초상권을 보호하는 방법은, 사용자로부터 업로드된 컨텐츠를 제1 AI 모델에 입력하여 상기 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득하되, 상기 하나 이상의 인물에 대한 정보는 i) 상기 컨텐츠를 구성하는 복수의 프레임에서 상기 하나 이상의 인물의 등장 횟수 및 ii) 상기 하나 이상의 인물에 대한 이미지를 포함하는 단계; 상기 하나 이상의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 상기 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득하는 단계; 상기 확률이 제2 임계값을 초과함에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화하는 단계; 및 상기 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 상기 사용자가 이용하는 단말 장치로 전송하는 단계를 포함할 수 있다.
그리고, 상기 제1 AI 모델은, 하나 이상의 컨볼루션 레이어(convolutional layer), 하나 이상의 LSTM(long short term memory) 레이어, 및 소프트 맥스(softmax) 레이어 중의 적어도 하나를 포함할 수 있다.
그리고, 상기 제2 AI 모델은, 상기 제1 인물에 대한 이미지에서 상기 제1 인물의 얼굴 영역 및 상기 제1 인물의 얼굴 이외의 영역을 구분하고, i) 상기 제1 인물의 얼굴 영역의 경계 및 상기 제1 인물의 얼굴 이외의 영역의 경계 간의 매칭률 및 ii) 상기 제1 인물의 얼굴 영역에 대응되는 이미지 변화 정보에 기초하여 상기 확률을 산출할 수 있다.
그리고, 상기 방법은, 상기 사용자가 이용하는 단말 장치로부터 상기 사용자가 상기 제2 인물의 초상권을 가지고 있음을 증명하는 메시지가 수신됨에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제하는 단계를 더 포함할 수 있다.
그리고, 상기 방법은, 상기 확률이 특정 범위 내의 값임에 기반하여, 상기 컨텐츠 및 상기 제1 인물에 대한 이미지를 관리자가 이용하는 단말 장치로 전송하는 단계; 및 상기 관리자가 이용하는 단말 장치로부터 상기 제1 인물에 대한 이미지가 상기 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부를 나타내는 메시지를 수신하는 단계; 및 상기 관리자가 이용하는 단말 장치로부터 수신된 메시지에 기초하여 상기 제2 AI 모델을 추가 학습시키는 단계를 더 포함할 수 있다.
그리고, 상기 특정 범위는, 상기 제1 임계값 이하 제2 임계값을 초과하는 값으로 설정될 수 있다.
그리고, 상기 방법은, 상기 사용자가 이용하는 단말 장치로부터 상기 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 상기 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 상기 제2 인물에 대한 정보를 검색하는 단계; 및 상기 제2 인물에 대한 정보 중 상기 제2 인물의 연락 정보를 이용하여, 상기 컨텐츠를 상기 제2 인물에게 제공하는 단계를 포함할 수 있다.
본 개시의 또 다른 실시예로, 인공지능(artificial intelligence, AI) 알고리즘에 기초하여 초상권을 보호하는 장치는, 적어도 하나의 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, AI 모델 추론 모듈 및 초상권 보호 모듈을 포함하고, 상기 AI 모델 추론 모듈은, 사용자로부터 업로드된 컨텐츠를 제1 AI 모델에 입력하여 상기 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득하되, 상기 하나 이상의 인물에 대한 정보는 i) 상기 컨텐츠를 구성하는 복수의 프레임에서 상기 하나 이상의 인물의 등장 횟수 및 ii) 상기 하나 이상의 인물에 대한 이미지를 포함하고, 상기 하나 이상의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 상기 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득하고, 상기 초상권 보호 모듈은, 상기 확률이 제2 임계값을 초과함에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화하고, 상기 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 상기 사용자가 이용하는 단말 장치로 전송할 수 있다.
그리고, 상기 사용자가 이용하는 단말 장치로부터 상기 사용자가 상기 제2 인물의 초상권을 가지고 있음을 증명하는 메시지가 수신됨에 기반하여, 상기 초상권 보호 모듈은 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제할 수 있다.
그리고, 상기 초상권 보호 모듈은, 상기 확률이 특정 범위 내의 값임에 기반하여, 상기 컨텐츠 및 상기 제1 인물에 대한 이미지를 관리자가 이용하는 단말 장치로 전송하고, 상기 관리자가 이용하는 단말 장치로부터 상기 제1 인물에 대한 이미지가 상기 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부를 나타내는 메시지를 수신하고, 상기 적어도 하나의 프로세서에 포함된 AI 모델 학습 모듈은, 상기 관리자가 이용하는 단말 장치로부터 수신된 메시지에 기초하여 상기 제2 AI 모델을 추가 학습시킬 수 있다.
그리고, 상기 초상권 보호 모듈은, 상기 사용자가 이용하는 단말 장치로부터 상기 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 상기 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 상기 제2 인물에 대한 정보를 검색하고; 및 상기 제2 인물에 대한 정보 중 상기 제2 인물의 연락 정보를 이용하여, 상기 컨텐츠를 상기 제2 인물에게 제공할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 다양한 실시예에 의해, 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시의 다양한 실시예에 의해, 사용자로부터 업로드된 컨텐츠 상의 불특정 다수의 얼굴 이미지 등을 비식별화함에 따라 초상권을 보호하는 방법 및 장치가 제공될 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른, 인공지능 알고리즘에 기초하여 초상권을 보호하는 시스템을 간략히 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른, 인공지능 알고리즘에 기초하여 초상권을 보호하는 장치의 구성을 도시한 블록도이다.
도 3은 본 개시에 적용될 수 있는 제1 AI 모델의 아키텍처를 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른, 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법을 설명하기 위한 순서도이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/ 또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도 형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력데이터)의 해답(출력데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱 신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; Recurrent Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.
본 장치와 시스템은 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른, 인공지능 알고리즘에 기초하여 초상권을 보호하는 시스템을 간략히 도시한 도면이다.
도 1에 도시된 바와 같이, 인공지능 알고리즘에 기초하여 초상권을 보호하는 시스템(1000)은, 장치(100), 사용자가 이용하는 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 초상권자가 이용하는 단말 장치(200-3) 및 데이터 서버(300)(예로, AI 모델을 학습시키기 위한 학습 데이터 등이 포함된 데이터 서버)를 포함할 수 있다.
도 1에서 장치(100)는 데스크톱(desktop)으로 구현된 경우를 개시하고 있으며 사용자가 이용하는 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 및 초상권자가 이용하는 단말 장치(200-3)는 스마트폰으로 구현된 경우를 개시하고 있으나, 이에 제한되는 것은 아니다.
일 예로, 장치(100) 및 사용자가 이용하는 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 및 초상권자가 이용하는 단말 장치(200-3)는 다양한 유형의 전자 장치(예로, 노트북, 데스크톱, 랩톱(laptop), 태블릿 PC, 슬레이트 PC 장치, 서버 장치 등)로 구현될 수 있으며, 하나 이상의 유형의 장치가 연결된 장치 군으로도 구현될 수 있다.
시스템(1000)에 포함된 장치(100) 및 사용자가 이용하는 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 및 초상권자가 이용하는 단말 장치(200-3)는 네트워크(W)를 통해 통신을 수행할 수 있다.
여기서, 네트워크(W)는 유선 네트워크와 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등의 다양한 네트워크를 포함할 수 있다.
또한, 네트워크(W)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 개시의 실시예에 따른 네트워크(W)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크, 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.
장치(100)는 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링하는 동작을 수행할 수 있다. 추가적으로, 장치(100)는 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링할 수 있는 웹 기반 및/또는 어플리케이션 기반의 소프트웨어를 생성/실행할 수 있다.
사용자가 이용하는 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 및 초상권자가 이용하는 단말 장치(200-3)는 장치(100)에 의해 생성된 웹 기반 및/또는 어플리케이션 기반의 소프트웨어를 실행할 수 있다. 따라서, 단말 장치(200-1), 관리자가 이용하는 단말 장치(200-2), 및 초상권자가 이용하는 단말 장치(200-3) 역시 본 개시에서 장치(100)에 의해 실행되는 인공지능 알고리즘에 기초한 초상권을 보호하는 방법을 실행할 수 있다.
장치(100)는 사용자로부터 업로드된 컨텐츠에 등장하는 인물 중 등장 빈도가 제1 임계값을 초과하는 인물의 이미지를 추출하고, 추출된 인물의 이미지가 다른 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득할 수 있다.
즉, 딥페이크 기술 등을 이용하여 다른 인물의 얼굴을 합성한 이미지가 포함된 컨텐츠가 업로드될 경우, 장치(100)는 사용자가 다른 인물의 초상권을 가지고 있는지 여부를 확인할 때까지 추출된 이미지의 인물의 이미지 중 얼굴 영역을 비식별화할 수 있다.
이와 관련된 동작은 도 2 내지 도 4를 참조하여 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시예에 따른, 인공지능 알고리즘에 기초하여 초상권을 보호하는 장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 장치(100)는 메모리(110), 통신 모듈(120), 디스플레이(130), 및 프로세서(140)를 포함할 수 있다.
메모리(110)는 프로세서(140)가 각종 동작을 수행하기 위한 하나 이상의 인스트럭션(instruction)을 저장할 수 있다. 메모리(110)는 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(140)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 학습 데이터, 사용자로부터 입력된 컨텐츠 등)을 저장할 수 있다.
메모리(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신 모듈(120)은 외부 장치(예로, 데이터 서버 또는/및 사용자가 이용하는 단말 장치 등)와의 통신이 가능하게 하는 회로를 포함하는 하나 이상의 구성 요소를 포함할 수 있다. 예를 들어, 통신 모듈(120)은 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다. 통신 모듈(120)은 외부 장치로부터 모니터링 데이터를 수신할 수 있다.
디스플레이(130)는 장치(100)에서 처리되는 정보(예를 들어, 사용자로부터 업로드된 컨텐츠, 컨텐츠에서 추출된 인물의 이미지 등)를 표시(출력)한다.
예를 들어, 디스플레이는 본 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
프로세서(140)는 메모리(110)에 저장된 하나 이상의 인스트럭션(instruction)을 실행함으로써 인공지능 알고리즘에 기초하여 초상권을 보호하는 동작을 수행할 수 있다. 즉, 프로세서(140)는 장치(100)의 각 구성 요소를 이용하여 전반적인 동작 및 기능을 제어할 수 있다. 이때, 메모리(110)와 프로세서(140)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리(110)와 프로세서(140)는 단일 칩으로 구현될 수도 있다.
프로세서(140)는 AI 모델 학습 모듈(140-1), AI 모델 추론 모듈(140-2), 및 초상권 보호 모듈(140-3)을 포함할 수 있다. AI 모델 학습 모듈(140-1), AI 모델 추론 모듈(140-2), 및 초상권 보호 모듈(140-3)은 프로세서(140)에 의해 제어될 수 있다.
AI 모델 학습 모듈(140-1)은 입력된 (영상) 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 출력하도록 제1 AI 모델을 학습시킬 수 있다. 여기서, 컨텐츠에 등장하는 인물에 대한 정보는 컨텐츠를 구성하는 복수의 프레임에서 하나 이상의 인물의 등장 횟수 및 ii) 하나 이상의 인물에 대한 이미지를 포함할 수 있다.
일 예로, 도 3에 도시된 바와 같이, 제1 AI 모델은 하나 이상의 컨볼루션 레이어(convolutional layer), 하나 이상의 LSTM(long short term memory) 레이어, 및 소프트 맥스(softmax) 레이어 중의 적어도 하나를 포함할 수 있다.
컨텐츠를 구성하는 복수의 프레임이 하나 이상의 컨볼루션 레이어에 입력됨에 따라 복수의 프레임에 대응되는 특징 데이터가 추출될 수 있다. 복수의 프레임에 대응되는 특징 데이터는 하나 이상의 LSTM 레이어 및/또는 소프트 맥스 레이어에 입력되어 복수의 프레임 상에 등장하는 하나 이상의 인물에 대한 정보를 출력할 수 있다.
AI 모델 학습 모듈(140-1)은 입력된 특정 인물의 얼굴 영역에 대응되는 이미지가 다른 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 출력하도록 제2 AI 모델을 학습시킬 수 있다. 즉, AI 모델 학습 모듈(140-1)은 특징 인물에 대한 이미지 중 얼굴 영역에 다른 인물의 얼굴 이미지가 합성되었을 확률을 출력하도록 제2 AI 모델을 학습시킬 수 있다.
AI 모델 추론 모듈(140-2)은 AI 모델 학습 모듈(140-1)을 통해 학습된 AI 모델을 이용하여 특정 인물에 대한 이미지 중 얼굴 영역 상에 다른 인물의 얼굴 이미지가 합성되었을 확률을 획득할 수 있다.
일 예로, 제2 AI 모델은, 특정 인물에 대한 이미지에서 특정 인물의 얼굴 영역 및 특정 인물의 얼굴 이외의 영역을 구분할 수 있다. 제2 AI 모델은 제1 인물의 얼굴 영역의 경계 및 특정 인물의 얼굴 이외의 영역의 경계 간의 매칭률 및 ii) 특정 인물의 얼굴 영역에 대응되는 이미지 변화 정보에 기초하여, 특징 인물의 이미지 중 얼굴 영역에 다른 인물의 얼굴 이미지가 합성되었을 확률을 산출할 수 있다.
일 예로, 특정 인물의 얼굴 영역의 경계 및 특정 인물의 얼굴 이외의 영역의 경계 간의 매칭률이 낮을수록, 특징 인물에 대한 이미지 중 얼굴 영역에 다른 인물의 얼굴 이미지가 합성되었을 확률이 높아질 수 있다. 또한, 특정 인물의 얼굴 영역에 대응되는 이미지 변화가 클수록, 특징 인물에 대한 이미지 중 얼굴 영역에 다른 인물의 얼굴 이미지가 합성되었을 확률이 높아질 수 있다.
즉, 제2 AI 모델은 특정 인물에 대한 이미지 중 얼굴 영역이 (딥 페이크 기술 등을 통해) 다른 인물의 얼굴 이미지에 기초하여 합성되었을 확률을 출력할 수 있다.
본 개시의 일 예로, AI 모델 추론 모듈(140-2)은 컨텐츠에 등장하는 하나 이상의 인물 중 등장 횟수(즉, 컨텐츠를 구성하는 복수의 프레임에서 하나 이상의 인물 각각의 등장 횟수)가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 제1 인물에 대한 이미지가 제2 인물(즉, 다른 인물)의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득할 수 있다.
이에 따라, AI 모델 추론 모듈(140-2)은 컨텐츠에 등장하는 주된 인물의 얼굴 영역에 대응되는 이미지가 다른 인물의 얼굴로 합성됨에 따라 다른 인물의 초상권이 침해되는지 여부를 판단할 수 있다.
제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률이 제2 임계값을 초과함에 기반하여, 초상권 보호 모듈(140-3)은 컨텐츠 상에서 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화할 수 있다.
일 예로, 초상권 보호 모듈(140-3)은 제1 인물의 얼굴 영역에 대응되는 이미지에 대해 블러(blur)/모자이크/마스킹(masking) 처리할 수 있다. 또 다른 예로, 초상권 보호 모듈(140-3)은 제1 인물의 얼굴 영역에 임의의 이미지를 부가할 수 있다.
초상권 보호 모듈(140-3)은 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 사용자가 이용하는 단말 장치로 전송할 수 있다.
사용자가 이용하는 단말 장치로부터 사용자가 제2 인물의 초상권을 가지고 있음을 증명하는 메시지(예로, 제2 인물과의 초상권 계약서 등)가 수신됨에 기반하여, 초상권 보호 모듈(140-3)은 컨텐츠 상에서 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제할 수 있다.
이 때, 초상권 보호 모듈(140-3)은 사용자가 제2 인물의 초상권을 가지고 있음을 증명하는 메시지를 검증하기 위하여 해당 메시지를 관리자가 이용하는 단말 장치로 전송할 수도 있다. 초상권 보호 모듈(140-3)은 관리자가 이용하는 단말 장치로부터 수신된 메시지에 따라 사용자가 제2 인물의 초상권을 가지고 있음을 증명하는 메시지의 진위 여부를 판단할 수 있다.
또 다른 예로, 사용자가 이용하는 단말 장치로부터 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 초상권 보호 모듈(140-3)은 제2 인물에 대한 정보(예로, 제2 인물의 연락 정보, 제2 인물이 소속되어 있는 기관의 연락 정보 등)를 검색할 수 있다.
초상권 보호 모듈(140-3)은 제2 인물의 연락 정보 등을 이용하여 사용자가 업로드한 컨텐츠를 제2 인물에게(예로, 제2 인물이 이용하는 단말 장치 등) 제공할 수 있다. 이에 따라, 제2 인물은 자신의 초상권이 사용자에 의해 침해되고 있음을 파악할 수 있다.
본 개시의 또 다른 예로, 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률이 특정 범위 내의 값임에 기반하여, 초상권 보호 모듈(140-3)은 컨텐츠 및 제1 인물에 대한 이미지를 관리자가 이용하는 단말 장치로 전송할 수 있다. 여기서, 특정 범위는 제1 임계값 이하 제2 임계값 이상의 값으로 설정될 수 있다.
즉, 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률이 특정 범위 내의 값이라는 것은 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부가 확실하지 않음을 의미할 수 있다.
초상권 보호 모듈(140-3)은 관리자가 이용하는 단말 장치로부터 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부를 나타내는 메시지를 수신할 수 있다. 초상권 보호 모듈(140-3)은 관리자가 이용하는 단말 장치로부터 수신된 메시지에 따라 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화할지 여부를 결정할 수 있다.
그리고, AI 모델 학습 모듈(140-1)은 관리자가 이용하는 단말 장치로부터 수신된 메시지에 제2 AI 모델을 추가 학습시킬 수 있다.
예로, 관리자가 이용하는 단말 장치로부터 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지라는 메시지가 수신됨에 기반하여, AI 모델 학습 모듈(140-1)은 제1 인물에 대한 이미지를 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지로 판단하도록 AI 모델을 학습시킬 수 있다.
도 4는 본 개시의 일 실시예에 따른, 장치에 의해 수행되는 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법을 설명하기 위한 순서도이다.
장치는 사용자로부터 업로드된 컨텐츠(예로, 영상 컨텐츠)를 제1 AI 모델에 입력하여 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득할 수 있다(S410).
여기서, 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보는 컨텐츠를 구성하는 복수의 프레임에서 하나 이상의 인물의 등장 총 횟수 및 ii) 하나 이상의 얼굴에 대한 이미지를 포함할 수 있다. 즉, 제1 AI 모델은 컨텐츠를 구성하는 프레임에서 하나 이상의 인물 별 등장 횟수 및 각 하나 이상의 인물의 이미지를 추출할 수 있다.
장치는 적어도 하나의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득할 수 있다(S420).
제2 AI 모델은 제1 인물에 대한 이미지 중 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지로 합성되었을 확률을 산출할 수 있다. 여기서, 제1 인물은 컨텐츠의 주된 등장 인물을 의미할 수 있다.
확률이 제2 임계값을 초과함에 기반하여, 장치는 컨텐츠 상에서 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화할 수 있다(S430).
그리고, 장치는 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 사용자가 이용하는 단말 장치로 전송할 수 있다(S440). 즉, 장치는 사용자가 제2 인물의 초상권을 가지고 있는지 여부가 확인되기 전까지 컨텐츠 상에서 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화할 수 있다.
일 예로, 사용자가 이용하는 단말 장치로부터 사용자가 상기 제2 인물의 초상권을 가지고 있음을 증명하는 메시지가 수신됨에 기반하여, 장치는 컨텐츠 상에서 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제할 수 있다.
사용자가 이용하는 단말 장치로부터 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 장치는 제2 인물에 대한 정보를 검색할 수 있다. 예로, 장치는 제2 인물에 대한 정보를 포탈 사이트 등을 통해 검색할 수 있다.
장치는 제2 인물에 대한 정보 중 제2 인물의 연락 정보를 이용하여 컨텐츠를 제2 인물에게 제공할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100 : 장치
110 : 메모리
120 : 통신 모듈
130 : 디스플레이
140 : 프로세서

Claims (14)

  1. 장치에 의해 수행되는, 인공지능(artificial intelligence, AI) 알고리즘에 기초하여 초상권을 보호하는 방법에 있어서, 상기 방법은:
    사용자로부터 업로드된 컨텐츠를 제1 AI 모델에 입력하여 상기 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득하되, 상기 하나 이상의 인물에 대한 정보는 i) 상기 컨텐츠를 구성하는 복수의 프레임에서 상기 하나 이상의 인물의 등장 횟수 및 ii) 상기 하나 이상의 인물에 대한 이미지를 포함하는 단계;
    상기 하나 이상의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 상기 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득하는 단계;
    상기 확률이 제2 임계값을 초과함에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화하는 단계; 및
    상기 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 상기 사용자가 이용하는 단말 장치로 전송하는 단계를 포함하고,
    상기 제2 AI 모델은,
    상기 제1 인물에 대한 이미지에서 상기 제1 인물의 얼굴 영역 및 상기 제1 인물의 얼굴 이외의 영역을 구분하고,
    i) 상기 제1 인물의 얼굴 영역의 경계 및 상기 제1 인물의 얼굴 이외의 영역의 경계 간의 매칭률 및 ii) 상기 제1 인물의 얼굴 영역에 대응되는 이미지 변화 정보에 기초하여 상기 확률을 산출하되,
    상기 제 1 인물의 얼굴 영역의 경계 및 상기 제 1 인물의 얼굴 이외의 영역의 경계 간의 매칭률이 낮을수록 상기 제 1 인물의 얼굴 영역에 대응되는 이미지가 제 2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 높게 산출하고,
    상기 제 1 인물의 얼굴 영역에 대응되는 이미지 변화가 클수록 상기 제 1 인물의 얼굴 영역에 대응되는 이미지가 제 2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 높게 산출하고,
    상기 방법은,
    상기 확률이 특정 범위 내의 값임에 기반하여, 상기 컨텐츠 및 상기 제1 인물에 대한 이미지를 관리자가 이용하는 단말 장치로 전송하는 단계; 및
    상기 관리자가 이용하는 단말 장치로부터 상기 제1 인물에 대한 이미지가 상기 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부를 나타내는 메시지를 수신하는 단계; 및
    상기 관리자가 이용하는 단말 장치로부터 수신된 메시지에 기초하여 상기 제2 AI 모델을 추가 학습시키는 단계를 더 포함하고,
    상기 특정 범위는, 상기 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부가 확실하지 않음을 나타내는 상기 제1 임계값 이하 제2 임계값을 초과하는 값으로 설정되는, 방법.
  2. 제1항에 있어서,
    상기 제1 AI 모델은,
    하나 이상의 컨볼루션 레이어(convolutional layer), 하나 이상의 LSTM(long short term memory) 레이어, 및 소프트 맥스(softmax) 레이어 중의 적어도 하나를 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 사용자가 이용하는 단말 장치로부터 상기 사용자가 상기 제2 인물의 초상권을 가지고 있음을 증명하는 메시지가 수신됨에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제하는 단계를 더 포함하는, 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 사용자가 이용하는 단말 장치로부터 상기 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 상기 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 상기 제2 인물에 대한 정보를 검색하는 단계; 및
    상기 제2 인물에 대한 정보 중 상기 제2 인물의 연락 정보를 이용하여, 상기 컨텐츠를 상기 제2 인물에게 제공하는 단계를 포함하는, 방법.
  8. 인공지능(artificial intelligence, AI) 알고리즘에 기초하여 초상권을 보호하는 장치에 있어서,
    적어도 하나의 메모리; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는, AI 모델 추론 모듈 및 초상권 보호 모듈을 포함하고,
    상기 AI 모델 추론 모듈은,
    사용자로부터 업로드된 컨텐츠를 제1 AI 모델에 입력하여 상기 컨텐츠에 등장하는 하나 이상의 인물에 대한 정보를 획득하되, 상기 하나 이상의 인물에 대한 정보는 i) 상기 컨텐츠를 구성하는 복수의 프레임에서 상기 하나 이상의 인물의 등장 횟수 및 ii) 상기 하나 이상의 인물에 대한 이미지를 포함하고,
    상기 하나 이상의 인물 중 등장 횟수가 제1 임계값 이상인 제1 인물에 대한 이미지를 제2 AI 모델에 입력하여 상기 제1 인물의 얼굴 영역에 대응되는 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 획득하고,
    상기 초상권 보호 모듈은,
    상기 확률이 제2 임계값을 초과함에 기반하여, 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지를 비식별화하고,
    상기 제2 인물의 초상권을 가지고 있는지 여부를 문의하는 메시지를 상기 사용자가 이용하는 단말 장치로 전송하고,
    상기 제2 AI 모델은,
    상기 제1 인물에 대한 이미지에서 상기 제1 인물의 얼굴 영역 및 상기 제1 인물의 얼굴 이외의 영역을 구분하고,
    i) 상기 제1 인물의 얼굴 영역의 경계 및 상기 제1 인물의 얼굴 이외의 영역의 경계 간의 매칭률 및 ii) 상기 제1 인물의 얼굴 영역에 대응되는 이미지 변화 정보에 기초하여 상기 확률을 산출하되,
    상기 제 1 인물의 얼굴 영역의 경계 및 상기 제 1 인물의 얼굴 이외의 영역의 경계 간의 매칭률이 낮을수록 상기 제 1 인물의 얼굴 영역에 대응되는 이미지가 제 2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 높게 산출하고,
    상기 제 1 인물의 얼굴 영역에 대응되는 이미지 변화가 클수록 상기 제 1 인물의 얼굴 영역에 대응되는 이미지가 제 2 인물의 얼굴 이미지에 기초하여 합성된 이미지일 확률을 높게 산출하고,
    상기 초상권 보호 모듈은,
    상기 확률이 특정 범위 내의 값임에 기반하여, 상기 컨텐츠 및 상기 제1 인물에 대한 이미지를 관리자가 이용하는 단말 장치로 전송하고,
    상기 관리자가 이용하는 단말 장치로부터 상기 제1 인물에 대한 이미지가 상기 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부를 나타내는 메시지를 수신하고,
    상기 적어도 하나의 프로세서에 포함된 AI 모델 학습 모듈은,
    상기 관리자가 이용하는 단말 장치로부터 수신된 메시지에 기초하여 상기 제2 AI 모델을 추가 학습시키고,
    상기 특정 범위는, 상기 제1 인물에 대한 이미지가 제2 인물의 얼굴 이미지에 기초하여 합성된 이미지인지 여부가 확실하지 않음을 나타내는 상기 제1 임계값 이하 제2 임계값을 초과하는 값으로 설정되는, 장치.
  9. 제8항에 있어서,
    상기 제1 AI 모델은,
    하나 이상의 컨볼루션 레이어(convolutional layer), 하나 이상의 LSTM(long short term memory) 레이어, 및 소프트 맥스(softmax) 레이어 중의 적어도 하나를 포함하는, 장치.
  10. 삭제
  11. 제8항에 있어서,
    상기 사용자가 이용하는 단말 장치로부터 상기 사용자가 상기 제2 인물의 초상권을 가지고 있음을 증명하는 메시지가 수신됨에 기반하여, 상기 초상권 보호 모듈은 상기 컨텐츠 상에서 상기 제1 인물의 얼굴 영역에 대응되는 이미지의 비식별화를 해제하는, 장치.
  12. 삭제
  13. 삭제
  14. 제8항에 있어서,
    상기 초상권 보호 모듈은,
    상기 사용자가 이용하는 단말 장치로부터 상기 제2 인물의 초상권을 가지고 있다는 메시지가 미리 설정된 기간 동안 수신되지 않거나 상기 제2 인물의 초상권을 가지고 있지 않다는 메시지가 수신됨에 기반하여, 상기 제2 인물에 대한 정보를 검색하고; 및
    상기 제2 인물에 대한 정보 중 상기 제2 인물의 연락 정보를 이용하여, 상기 컨텐츠를 상기 제2 인물에게 제공하는, 장치.
KR1020230036608A 2023-03-21 2023-03-21 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치 KR102598080B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230036608A KR102598080B1 (ko) 2023-03-21 2023-03-21 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230036608A KR102598080B1 (ko) 2023-03-21 2023-03-21 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102598080B1 true KR102598080B1 (ko) 2023-11-06

Family

ID=88748300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230036608A KR102598080B1 (ko) 2023-03-21 2023-03-21 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102598080B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100057984A (ko) * 2008-11-24 2010-06-03 한국전자통신연구원 얼굴 영상 검증 장치 및 방법
KR20200048413A (ko) * 2018-10-30 2020-05-08 서강대학교산학협력단 샷 단위 중요 객체 추출 방법 및 장치
KR20220043905A (ko) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 주파수 성분을 이용하여 얼굴인식모델을 학습시키는 얼굴인식 시스템
KR20220061794A (ko) * 2020-11-06 2022-05-13 카페24 주식회사 초상권 보호를 위한 영상 처리 방법, 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100057984A (ko) * 2008-11-24 2010-06-03 한국전자통신연구원 얼굴 영상 검증 장치 및 방법
KR20200048413A (ko) * 2018-10-30 2020-05-08 서강대학교산학협력단 샷 단위 중요 객체 추출 방법 및 장치
KR20220043905A (ko) * 2020-09-29 2022-04-05 주식회사 포스코아이씨티 주파수 성분을 이용하여 얼굴인식모델을 학습시키는 얼굴인식 시스템
KR20220061794A (ko) * 2020-11-06 2022-05-13 카페24 주식회사 초상권 보호를 위한 영상 처리 방법, 장치 및 시스템
KR20220061793A (ko) 2020-11-06 2022-05-13 카페24 주식회사 초상권 보호 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
Lipton The mythos of model interpretability: In machine learning, the concept of interpretability is both important and slippery.
US11443178B2 (en) Deep neural network hardening framework
Kollias et al. A multi-task learning & generation framework: Valence-arousal, action units & primary expressions
Zhao et al. Facial expression recognition via deep learning
Dixit et al. An overview of deep learning architectures, libraries and its applications areas
US11544591B2 (en) Framework for a computing system that alters user behavior
Browne et al. Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
US10970331B2 (en) Determining contextual confidence of images using associative deep learning
JP2022120775A (ja) オンデバイスでの活動認識
US20230419721A1 (en) Electronic device for improving quality of image and method for improving quality of image by using same
Zaman et al. A novel driver emotion recognition system based on deep ensemble classification
KR102598080B1 (ko) 인공지능 알고리즘에 기초하여 초상권을 보호하는 방법 및 장치
Kong et al. A novel ConvLSTM with multifeature fusion for financial intelligent trading
Jena et al. Image classification for binary classes using deep convolutional neural network: an experimental study
KR102598077B1 (ko) 인공지능 알고리즘에 기초하여 저작권을 보호하는 방법 및 장치
KR102598072B1 (ko) 인공지능 알고리즘에 기초하여 개인 정보 노출을 방지하는 서비스를 제공하는 장치 및 방법
US20220108550A1 (en) Electronic device and control method of same
KR102618061B1 (ko) 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링하는 방법 및 장치
US20230342108A1 (en) Enhanced computing device representation of audio
KR102618060B1 (ko) 인공지능 알고리즘 기반의 비속어 필터링 장치 및 방법
Liu et al. Li Zhang
Patchaiammal et al. Feature Extraction by Rework Image Recognition (RIR) Learning Model
Zhu et al. Affective Human-Robot Interaction with Multimodal Explanations
Zhang et al. Context-based anomaly detection via spatial attributed graphs in human monitoring
Pritee et al. Machine learning and deep learning for user authentication and authorization in cybersecurity: A state-of-the-art review

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant