KR102592718B1 - 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치 - Google Patents

Abstract

본 개시는 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치에 관한 것이다. 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 입력 이미지에 포함된 오브젝트 영역을 검출하는 단계, 상기 검출된 오브젝트 영역에 기초하여, 상기 입력 이미지의 적어도 일부에 노이즈를 적용하는 단계 및 상기 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 단계를 포함할 수 있다.

Description

노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치{METHOD AND APPARATUS FOR DISCRIMINATING BETWEEN ORIGINAL IMAGE AND FORGERY IMAGE BASED ON ADDING NOISE}

본 개시는 노이즈 부가를 이용한 위변조 이미지 판정 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 입력 이미지의 오브젝트 영역에 기초하여, 입력 이미지의 적어도 일부에 노이즈를 부가하고, 노이즈가 부가된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행함으로써, 위변조 이미지 판정의 성능을 향상시킬 수 있는 방법 및 그 장치에 관한 것이다.

위변조 이미지, 예컨대 딥페이크 이미지로 인한 피해는 사물 인터넷 시대의 도래와 함께 빠른 속도로 증가하고 있다. 그 피해의 대상은 연예인부터 일반인까지 광범위하며, 디지털 성범죄, 불법 복제 및 저작권 침해 등 각종 범죄에 위변조 이미지가 이용되고 있다. 나아가, 동영상의 프레임 단위로 이미지를 위변조한 위변조 영상(e.g., 딥페이크 영상)으로 인한 피해 또한 컴퓨팅 장치의 발달에 따라 증가하고 있다.

발달된 인공 지능 기술을 이용하여 제작된 위변조 이미지 및 위변조 영상은 사람의 육안으로 위조 또는 변조된 것인지 여부를 판정하기 어려운 문제가 있다. 또한, 이러한 위조 또는 변조 기술은 인공 지능 기술의 발달과 함께 빠르게 진화하고 있는 문제가 있다.

따라서, 위변조 이미지 및 위변조 영상으로 인한 피해를 예방하기 위해, 위변조 이미지 및 위변조 영상을 판정하기 위한 기술이 요구된다.

한국공개특허 제10-2020-0091799 호 (2019.01.23 공개)

본 개시의 몇몇 실시예를 통해 해결하고자 하는 기술적 과제는, 위변조 이미지를 판정하는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.

본 개시의 몇몇 실시예를 통해 해결하고자 하는 다른 기술적 과제는, 위변조 이미지 판정의 성능을 향상시킬 수 있는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.

본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 위변조 이미지 판정의 성능 향상을 위한 노이즈의 적용 영역을 결정하는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.

본 개시의 몇몇 실시예를 통해 해결하고자 하는 또 다른 기술적 과제는, 위변조 이미지 판정의 성능 향상을 위한 노이즈의 종류를 결정하는 장치 및 그 장치에서 수행되는 방법을 제공하는 것이다.

본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 입력 이미지에 포함된 오브젝트 영역을 검출하는 단계, 상기 검출된 오브젝트 영역에 기초하여, 상기 입력 이미지의 일부에 노이즈를 적용하는 단계 및 상기 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 노이즈를 적용하는 단계는, 상기 검출된 오브젝트 영역의 적어도 일부에 노이즈를 적용하는 단계를 포함하거나 상기 검출된 오브젝트 영역의 에지(edge)에 노이즈를 적용하는 단계를 포함하거나 상기 입력 이미지에 제1 오브젝트 영역 및 제2 오브젝트 영역을 포함하는 복수의 오브젝트 영역이 포함되면, 상기 제1 오브젝트 영역과 상기 제2 오브젝트 영역이 중첩되는 영역에 노이즈를 적용하는 단계를 포함하거나 상기 입력 이미지를 주파수 도메인으로 변환하는 단계 및 상기 주파수 도메인으로 변환된 입력 이미지에 포함된 영역 중 기준 주파수 이상의 영역에 노이즈를 적용하는 단계를 포함하거나 상기 입력 이미지의 일부에 제1 노이즈를 적용하는 단계 및 상기 입력 이미지의 일부에 상기 제1 노이즈와 구별되는 제2 노이즈를 적용하는 단계를 포함하거나 상기 검출된 오브젝트 영역의 속성에 기초하여, 상기 입력 이미지의 일부에 적용될 노이즈를 결정하는 단계 및 상기 결정된 노이즈를 상기 입력 이미지의 일부에 적용하는 단계를 포함할 수 있다.

몇몇 실시예에서, 상기 OOD 탐지를 수행하는 단계는, 복수의 원본 이미지에 기초하여 결정된 복수의 클래스와 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계를 포함할 수 있다. 여기서, 상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하면, 상기 입력 이미지를 원본 이미지로 판정하는 단계를 더 포함하거나 상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하지 않으면, 상기 입력 이미지를 위변조 이미지로 판정하는 단계를 더 포함할 수 있다. 또한, 상기 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계는, 상기 입력 이미지와 상기 복수의 클래스 각각의 관련도를 산출하는 단계 및 상기 산출된 관련도의 최대값이 기준 수치 이상인지 판정하는 단계를 포함할 수 있다.

본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 입력 이미지에 포함된 오브젝트 영역을 검출하는 인스트럭션(Instruction), 상기 검출된 오브젝트 영역에 기초하여, 상기 입력 이미지의 일부에 노이즈를 적용하는 인스트럭션 및 상기 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 인스트럭션을 포함할 수 있다. 여기서, 카메라를 더 포함할 수 있다.

도 1은 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치가 적용될 수 있는 예시적인 환경을 도시한다.
도 2는 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 방법을 나타내는 예시적인 순서도이다.
도 3 및 도 4는 도 2를 참조하여 설명된 노이즈의 적용 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 5는 도 2를 참조하여 설명된 OOD(Out-Of-Distribution) 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 6은 도 5를 참조하여 설명된 관련도 판정 동작을 보다 구체적으로 설명하기 위한 예시적인 순서도이다.
도 7 내지 도 10은 본 개시의 몇몇 실시예에서 참조될 수 있는 노이즈 적용 영역을 설명하기 위한 예시적인 도면이다.
도 11 및 도 12는 본 개시의 몇몇 실시예에서 참조될 수 있는 주파수 도메인으로의 변환 동작 및 노이즈의 적용 동작을 설명하기 위한 예시적인 도면이다.
도 13은 본 개시의 몇몇 실시예에서 참조될 수 있는 OOD 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 도면이다.
도 14는 도 13을 참조하여 설명된 OOD 탐지 동작이 이미지에 적용되는 일례를 설명하기 위한 도면이다.
도 15은 본 개시의 몇몇 실시예에 따른 장치를 구현할 수 있는 예시적인 하드웨어 구성도이다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 개시의 다양한 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치(100)가 적용될 수 있는 예시적인 환경을 도시한다. 도 1은 3개의 사용자 장치(300a, 300b, 300c)가 네트워크에 연결된 것을 도시하고 있으나, 이는 이해의 편의를 제공하기 위한 것일 뿐이고, 이미지에 대한 위변조 여부 판정을 요청하는 사용자 장치(300)의 개수는 얼마든지 달라질 수 있다.

한편, 도 1은 본 개시의 목적을 달성하기 위한 바람직한 실시예를 도시하고 있을 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있다. 또한, 도 1에 도시된 예시적인 환경의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로써, 복수의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의해야 한다. 예를 들어, 위변조 이미지 판정 장치(100)와 데이터베이스(200)는 동일한 컴퓨팅 장치 내에 서로 다른 로직(logic)의 형태로 구현될 수도 있다.

이하, 도 1에 도시된 개별 구성 요소들에 대해 보다 구체적으로 설명하기로 한다.

위변조 이미지 판정 장치(100)는 데이터베이스(200)에 저장된 원본 이미지를 데이터베이스(200)로부터 수신할 수 있다. 여기서, 원본 이미지는 위변조되지 않은 본래의 이미지를 의미할 수 있다. 여기서, 위변조 이미지 판정 장치(100)는 데이터베이스(200)에 저장된 복수의 원본 이미지를 학습 데이터로 이용하여, OOD(Out-Of-Distribution) 탐지 모델을 학습시킬 수 있다. 여기서, 데이터베이스(200)에 저장된 복수의 원본 이미지는 In-Distribution 데이터로 정의되어 학습될 수 있으며, 저장된 복수의 원본 이미지뿐만 아니라 원본 이미지의 크롭(Crop) 이미지, 회전 이미지 및 반전 이미지 등도 In-Distribution 데이터로 정의되어 학습될 수 있다. OOD 탐지와 관련된 보다 구체적인 설명은 추후 명세서의 기재를 통해 구체화될 것이다.

위변조 이미지 판정 장치(100)는 사용자 장치(300)로부터 이미지를 수신할 수 있다. 여기서, 사용자 장치(300)에 구비된 카메라 모듈을 통해 촬영된 이미지가 위변조 이미지 판정 장치(100)에 수신될 수 있고, 사용자 장치(300)에 저장된 이미지가 위변조 이미지 판정 장치(100)에 수신될 수도 있다. 이때, 위변조 이미지 판정 장치(100)는 사용자 장치(300)로부터 수신된 이미지의 위변조 여부를 판정할 수 있다. 중복된 설명의 방지를 위하여, 위변조 이미지 판정 장치(100)가 입력 이미지의 위변조 여부를 판정하는 구체적인 동작들에 대해서는 추후 도 2 내지 도 12를 참조하여 설명하기로 한다.

한편, 위변조 이미지 판정 장치(100)는 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 위변조 이미지 판정 장치(100)의 모든 기능은 단일 컴퓨팅 장치에서 구현될 수 있다. 다른 예로써, 위변조 이미지 판정 장치(100)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다. 여기서, 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 다만, 위변조 이미지 판정 장치(100)에 위변조 이미지를 판정하기 위한 인공 신경망이 구현되어야 하는 환경이라면, 위변조 이미지 판정 장치(100)는 고성능의 서버급 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다. 상술한 컴퓨팅 장치의 일 예에 대해서는 추후 도 15를 참조하여 설명하기로 한다.

다음으로, 데이터베이스(200)는 복수의 원본 이미지를 저장할 수 있다. 또한, 데이터 베이스(200)는 복수의 원본 이미지 중 일부 또는 전부를 위변조 이미지 판정 장치(100)에 전송할 수 있다. 여기서, 원본 이미지는 상술한 바와 같이 위변조되지 않은 본래의 이미지를 의미할 수 있다.

다음으로, 사용자 장치(300)는 이미지를 촬영하여, 위변조 이미지 판정 장치(100)에 전송할 수 있다. 또한, 사용자 장치(300)는 저장된 이미지를 위변조 이미지 판정 장치(100)에 전송할 수도 있다. 다만, 상술한 예시들에 본 개시가 한정되는 것은 아니고, 사용자 장치(300)는 웹을 통해 재생하고 있는 컨텐츠를 위변조 이미지 판정 장치(100)에 전송하는 등 다양한 방식을 통해 위변조 이미지 판정 장치(100)에 컨텐츠를 전송할 수 있음을 유의해야 한다. 여기서, 컨텐츠는 이미지 및 영상을 포함할 수 있다. 예를 들어, 영상은 영상 그 자체로 위변조 이미지 판정 장치(100)에 전송될 수 있으나, 이에 한정되는 것은 아니고, 영상을 기준 규칙에 따라 스크린샷한 이미지가 위변조 이미지 판정 장치(100)에 전송될 수도 있다.

사용자 장치(300)는 노트북, 데스크톱(Desktop, 300a), 랩탑(Laptop), 스마트폰(300b) 및 테블릿(Tablet, 300c) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다.

한편, 도 1에 도시된 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.

몇몇 실시예에서, 위변조 이미지 판정 장치(100)는 네트워크를 통해 다른 구성요소들과 통신할 수 있다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

지금까지 도 1을 참조하여 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치(100)가 적용될 수 있는 예시적인 환경에 대하여 설명하였다. 이하에서는, 도 2 내지 도 14를 참조하여 본 개시의 다양한 실시예에 따른 위변조 이미지 판정 방법들에 대하여 설명하기로 한다.

상술한 방법들의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 방법들의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 방법들에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 방법들의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 방법들의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 방법들의 각 단계가 도 1에 예시된 위변조 이미지 판정 장치(100)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의상, 방법들에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다.

도 2는 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 2를 참조하면 단계 S100에서, 입력 이미지에 포함된 오브젝트 영역이 검출될 수 있다. 여기서, 오브젝트 영역이란 입력 이미지에 특정 오브젝트가 위치한 영역을 의미할 수 있으며, 특정 오브젝트는 사람 또는 사물을 포함할 수 있다.

오브젝트 영역을 검출하기 위한 다양한 기술이 단계 S100에 적용될 수 있다. 예를 들어, 기계 학습 기반의 오브젝트 검출 모델이 이용될 수 있다. 여기서, 기계 학습 기반의 오브젝트 검출 모델이란, 기계 학습 알고리즘을 통해 학습되고, 임계 값을 이용하여 입력 이미지에서 오브젝트가 위치한 영역을 예측하는 모델이다. 상술한 오브젝트 검출 모델을 구현하기 위해 아다부스트(AdaBoost) 알고리즘이 이용될 수 있으나, 이용될 수 있는 알고리즘의 종류는 얼마든지 달라질 수 있음을 유의해야 한다. 참고로, 아다부스트 알고리즘은 복수의 약 분류기를 학습하여 적어도 하나의 강 분류기를 구축하는 기계 학습 알고리즘으로써, 당해 기술 분야에 이미 널리 알려진 알고리즘이므로 이에 대한 구체적인 설명은 생략하기로 한다. 다른 예를 들어, 입력 이미지의 히스토그램을 분석하여 오브젝트 영역을 검출할 수도 있다. 입력 이미지의 히스토그램을 분석하여, 입력 이미지에 포함된 특정 오브젝트를 추출하는 Back-projection은, 당해 기술 분야에 이미 널리 알려진 기술이므로 이에 대한 구체적인 설명은 생략하기로 한다.

다음으로 단계 S200에서, 검출된 오브젝트 영역에 기초하여 입력 이미지의 적어도 일부에 노이즈가 적용될 수 있다. 예를 들어 도 7과 같이, 입력 이미지(10)의 오브젝트 영역(11)에 노이즈가 적용될 수 있으나, 이와 달리 입력 이미지의 전체에 노이즈가 적용될 수도 있다. 다른 예를 들어, 오브젝트 영역의 일부에 노이즈가 적용될 수도 있다. 여기서, 입력 이미지에 적용될 수 있는 노이즈에는 다양한 것들이 이용될 수 있다. 예를 들어, 가우시안 노이즈, 가우시안 블러, Salt and Pepper 등이 입력 이미지에 적용될 수 있는 노이즈일 수 있으나, 본 예시들에 본 개시의 범위가 한정되는 것은 아니고, 공지된 모든 노이즈가 입력 이미지에 적용될 수 있다. 본 실시예에 따르면, 입력 이미지의 적어도 일부에 노이즈가 적용됨으로써, 추후 설명될 OOD 탐지 성능이 향상될 수 있다. 이는, 위변조 이미지의 경우 통계적으로 픽셀 값에 소정의 이상치를 가지므로, 상술한 노이즈가 위변조 이미지에 부가됨으로써 이상치가 극대화된 결과, OOD 탐지를 통한 위변조 이미지 판정의 성능이 향상될 수 있는 것이다.

단계 S200과 관련된 몇몇 실시예에서, 검출된 오브젝트 영역의 에지(edge)에 노이즈가 적용될 수 있다. 본 실시예에 따르면, 대개 위변조 이미지의 경우 오브젝트 영역이 변경된 경우이므로, 오브젝트 영역의 에지에 노이즈를 부가함으로써, 위변조 이미지의 탐지 성능을 향상시킴과 동시에 노이즈 부가에 따른 컴퓨팅 리소스를 절약할 수 있다. 이와 관련된 보다 구체적인 설명을 위해 도 9를 참조하여 설명하기로 한다.

도 9는 입력 이미지(10)의 오브젝트 영역(11)의 에지(17)에 노이즈가 부가된 일례를 도시한다. 상술한 바와 같이, 대개 위변조 이미지는 오브젝트 영역이 변경된 경우이므로, 오브젝트 영역(11)의 에지(17)에 노이즈를 부가함으로써, 위변조 이미지의 탐지 성능을 향상시킬 수 있다. 나아가, 입력 이미지(10)의 일부에 노이즈를 부가함으로써, 컴퓨팅 리소스를 절약할 수도 있다.

단계 S200과 관련된 다른 몇몇 실시예에서, 입력 이미지에 제1 오브젝트 영역 및 제2 오브젝트 영역을 포함하는 복수의 오브젝트 영역이 포함되면, 제1 오브젝트 영역과 제2 오브젝트 영역이 중첩되는 영역에 노이즈가 적용될 수 있다. 본 실시예에 따르면, 대개 위변조 이미지의 경우 복수의 오브젝트 영역이 중첩되는 영역이 변경된 경우이므로, 중첩되는 영역에 노이즈를 부가함으로써, 위변조 이미지의 탐지 성능을 향상시킴과 동시에 노이즈 부가에 따른 컴퓨팅 리소스를 절약할 수 있다. 이와 관련된 보다 구체적인 설명을 위해 도 8을 참조하여 설명하기로 한다.

도 10은 입력 이미지(10)의 제1 오브젝트 영역(21)과 제2 오브젝트 영역(23)이 중첩된 중첩 영역(25)에 노이즈가 부가된 일례를 도시한다. 상술한 바와 같이, 대개 위변조 이미지는 오브젝트 영역이 중첩된 중첩 영역(25)이 변경된 경우이므로, 중첩 영역(25)에 노이즈를 부가함으로써, 위변조 이미지의 탐지 성능을 향상시킬 수 있다. 나아가, 입력 이미지(10)의 일부에 노이즈를 부가함으로써, 컴퓨팅 리소스를 절약할 수도 있다.

단계 S200과 관련된 또 다른 몇몇 실시예에서, 입력 이미지의 적어도 일부에 제1 노이즈를 적용할 수 있고, 입력 이미지의 적어도 일부에 제2 노이즈를 적용할 수도 있다. 예를 들어 도 8과 같이, 오브젝트 영역의 제1 영역(13)에는 제1 노이즈가 적용되고, 오브젝트 영역의 제2 영역(15)에는 제2 노이즈가 적용될 수 있다. 즉, 서로 다른 종류의 노이즈가 서로 다른 영역에 적용될 수 있다. 다른 예를 들어, 제1 노이즈와 제2 노이즈의 평균이 입력 이미지의 적어도 일부에 적용될 수도 있다. 즉, 서로 다른 종류의 노이즈의 평균이 입력 이미지의 동일한 영역에 중첩되어 적용될 수도 있다. 또 다른 예를 들어, 제1 노이즈와 제2 노이즈의 가중 합산치가 입력 이미지의 적어도 일부에 적용될 수 있다. 즉, 제1 노이즈와 제2 노이즈의 가장 합산치가 입력 이미지의 동일한 영역에 중첩되어 적용될 수도 있다. 여기서, 제1 노이즈는 가우시안 노이즈이고, 제2 노이즈는 Salt and Pepper일 수 있으나, 노이즈의 종류가 상술한 예시에 한정되는 것은 아니고, 제1 노이즈와 제2 노이즈가 상이한 노이즈라면 얼마든지 노이즈의 종류는 달라질 수 있음을 유의해야 한다. 본 실시예에 따르면, 입력 이미지에 다양한 노이즈를 부가하는 방식이 제공될 수 있다. 또한, 다양한 조합의 노이즈를 이용함으로써, 위변조 이미지를 판정하기 위한 최적의 노이즈가 결정될 수 있음을 이해할 수 있다.

단계 S200과 관련된 보다 구체적인 설명을 위해 이하에서는 도 3 및 도 4를 참조하여 설명하기로 한다.

도 3을 참조하면, 입력 이미지가 주파수 도메인으로 변환(S210)될 수 있고, 주파수 도메인으로 변환된 입력 이미지에 포함된 영역 중 기준 주파수 이상의 영역에 노이즈가 적용(S220)될 수 있다. 여기서, 입력 이미지를 주파수 도메인으로 변환하기 위한 다양한 공지된 기술이 적용될 수 있다. 예를 들어, FFT(Fast Fourier Transform) 알고리즘에 기초하여, 입력 이미지가 시간 도메인에서 주파수 도메인으로 변경될 수 있다. 이와 관련된 보다 구체적인 설명을 위해 도 11 및 도 12를 참조하여 설명하기로 한다.

도 11에 도시된 입력 이미지(30)에 FFT 알고리즘이 적용된 결과, 주파수 도메인으로 변환된 일례를 도 12에서 도시하고 있다. 도 12에 도시된 변환 이미지(31)는 주파수 도메인의 실수 부분, 즉, 주파수의 크기를 나타내도록 변환된 이미지이다. 여기서, 기준 주파수를 나타내는 도형(33) 외곽의 영역이 기준 주파수 이상인 영역이다. 따라서, 기준 주파수를 나타내는 도형(33) 외곽의 영역에 노이즈를 부가함으로써, 기준 주파수 이상의 영역에 노이즈가 적용될 수 있다. 도 3 및 관련 예시 도면을 참조하여 설명된 실시예에 따르면, 오브젝트 영역의 에지를 나타낼 수 있는 고주파수 영역에 노이즈가 부가됨으로써, 위변조 이미지의 탐지 성능을 향상시킬 수 있다.

도 4를 참조하면, 검출된 오브젝트 영역의 속성에 기초하여, 입력 이미지의 적어도 일부에 적용될 노이즈가 결정(S230)될 수 있고, 결정된 노이즈가 입력 이미지의 적어도 일부에 적용(S240)될 수 있다. 여기서, 오브젝트 영역의 속성에는 이미지 히스토그램이 포함될 수 있으나, 이에 한정되는 것은 아니고 오브젝트 영역의 속성과 관련된 모든 것들이 포함될 수 있다. 이때, 오브젝트의 속성에 기초하여 결정될 수 있는 노이즈는 가우시안 노이즈, 가우시안 블러, Salt and Pepper, Motion Blur, Brightness Jitter, Contrast Jitter, Saturation Jitter, ISO 노이즈 등을 포함할 수 있다. 본 실시예에 따르면, 소정의 규칙에 따라 오브젝트 영역의 속성에 대응되는 노이즈가 결정됨으로써, 입력 이미지에 대응되는 노이즈가 입력 이미지에 부가될 수 있고, 이에 따라 OOD 탐지 성능이 더욱 향상될 수 있다.

다시 도 2를 참조하여 설명하기로 한다.

도 2를 참조하면 단계 S300에서, 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지가 수행될 수 있다. 여기서, OOD 탐지는, 원본 이미지의 분포를 In-Distribution 데이터로 정의하면, 그 외의 이미지의 분포를 Out-Of-Distribution 데이터로 판정하는 탐지 동작을 의미할 수 있다. 즉, OOD 탐지 동작은, 원본 이미지를 이용하여 다중 클래스 분류 모델을 학습시켜, 원본 이미지 외의 이미지를 위변조 이미지(i.e. Out-Of-Distribution)로 검출하는 다중 클래스 분류 모델을 이용하는 탐지 동작이다. 본 실시예에 따르면, OOD 탐지를 통해서 보다 더 정확하게 위변조 이미지를 판정할 수 있다. 보다 구체적인 설명을 위해 도 13 및 도 14를 참조하여 설명하기로 한다.

도 13은 본 개시의 몇몇 실시예에서 참조될 수 있는 OOD 탐지 동작을 보다 구체적으로 설명하기 위한 예시적인 도면이고, 도 14는 도 13을 참조하여 설명된 OOD 탐지 동작이 이미지에 적용되는 일례를 설명하기 위한 도면이다.

예를 들어, 사용자가 마우스로 그린 이미지가 0 내지 9 중 어떤 숫자인지를 예측하는 모델이 있다고 가정할 때, 도 13에는 상술한 모델에 입력될 입력 이미지(40)의 일례를 나타내고 있다. 입력 이미지(40)는 0 내지 9의 숫자와 무관한 그림이므로, 이상적 모델(43)에 입력하면 "Unknown"으로 분류되는 것이 타당하다. 다만, 예시적인 CNN 모델(41)의 경우, 매우 높은 확률로 입력 이미지(40)를 "3"이라는 클래스로 분류했으며, 예시적인 MLP 모델(42)의 경우, 높은 확률로 입력 이미지(40)를 "0"이라는 클래스로 분류했다.

상술한 예시와 같이 입력 이미지가 특정 클래스에 속하지 않는 경우에 "Unknown"이라는 새로운 클래스를 추가하여 분류하는 방법이 있을 수 있겠으나, 이러한 방법은 학습된 인공 신경망을 클래스를 추가하여 다시 학습해야만 하는 문제가 있으며, "Unknown" 클래스에 포함될 학습 데이터들을 다양하게 취득해야만 하는 문제도 있다. 따라서, 새로운 클래스로의 분류 없이도 특정 클래스에 속하지 않는 경우를 판정해낼 수 있는 기술로써, OOD 탐지가 활용될 수 있다.

OOD 탐지에는 일종의 다중 클래스 분류 동작, 예를 들어, Softmax 알고리즘이 이용됨으로써, 신뢰도 높게 클래스가 분류될 수 있다. 보다 구체적으로 설명하면, Softmax 알고리즘은 입력 이미지가 복수의 클래스 각각에 속할 확률을 출력하고, 복수의 클래스 각각에 속할 확률 중 최대 확률(Maximum Softmax Probability)을 미리 정한 기준 수치와 비교함으로써, 미리 결정된 복수의 클래스 중 어느 한 클래스에 속하지 않는 경우를 판정해낼 수 있다. 이러한 판정의 근거는, 입력 데이터가 Out-Of-Distribution 데이터일 때의 최대 확률이 입력 데이터가 In-Distribution 데이터일 때의 최대 확률에 비해 일반적으로 작은 경향을 가지는 점에 기인한 것이다. 예를 들어, 최대 확률이 기준 수치보다 작을 경우, 입력 데이터를 Out-Of-Distribution 데이터(i.e. 위변조 이미지)로 판정할 수 있다. 다른 예를 들어, 최대 확률이 기준 수치보다 클 경우, 입력 데이터를 In-Distribution 데이터(i.e. 원본 이미지)로 판정할 수 있다.

도 14에는 원본 이미지(50) 및 그 외의 이미지(51)가 도시된다. 이때, 원본 이미지(50)를 이용하여 다중 클래스 분류 모델을 학습시켜, 원본 이미지 외의 이미지(51)를 다중 클래스에 포함되지 않은 새로운 클래스인 위변조 이미지 클래스로 분류함으로써, 원본 이미지 외의 이미지(51)를 위변조 이미지로 분류할 수 있다. 지금까지 도 13 및 도 14에서 설명된 구체적인 예시에 본 개시가 한정되는 것은 아니고, 본 개시의 몇몇 실시예에서 적용될 수 있는 다중 클래스 분류 동작은 공지된 모든 기술이 적용될 수 있음을 유의해야 한다. 단계 S300과 관련된 보다 구체적인 설명을 위해 도 5 및 도 6을 참조하여 설명하기로 한다.

도 5의 단계 S310에서, 원본 이미지를 기초로 결정된 복수의 클래스와 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부가 판정될 수 있고, 관련도가 기준 수치 이상인 클래스가 존재하면(S320), 단계 S330에서 입력 이미지가 원본 이미지로 판정될 수 있다. 또한, 관련도가 기준 수치 이상인 클래스가 존재하지 않으면(S330), 입력 이미지가 위변조 이미지로 판정될 수 있다. 도 6을 참조하여 단계 S310을 보다 구체적으로 설명하면, 단계 S311에서 입력 이미지와 복수의 클래스 각각의 관련도가 산출될 수 있고, 단계 S312에서 산출된 관련도가 최대인 클래스의 관련도가 기준 수치 이상인지 판정될 수 있다.

단계 S311과 관련된 몇몇 실시예에서, 관련도는 Softmax 알고리즘을 이용하여, 입력 이미지가 복수의 클래스 각각에 속할 확률을 의미할 수 있고, 관련도가 최대인 클래스의 관련도는, 산출된 확률이 최대인 클래스의 확률을 의미할 수 있다.

지금까지 도 2 내지 도 14를 참조하여, 본 개시의 몇몇 실시예에 따른 다양한 방법들에 대해 구체적으로 설명하였다. 설명된 실시예들에 따르면, 입력 이미지의 적어도 일부에 노이즈가 부가됨으로써, 입력 이미지의 위변조 여부를 판정하는 OOD 탐지의 성능이 향상될 수 있다. 즉, 입력 이미지가 위변조 이미지인 경우, 입력 이미지의 픽셀 값에 소정의 이상치를 가지므로, 노이즈가 입력 이미지에 부가됨으로써 이상치가 극대화되어 OOD 탐지의 성능이 향상될 수 있다. 또한, 노이즈를 입력 이미지의 전체 영역이 아닌 특정 영역에만 부가함으로써, 컴퓨팅 리소스를 절약할 수도 있다. 또한, 입력 이미지의 속성에 대응되는 노이즈를 결정하여, OOD 탐지의 성능을 더욱 향상시킬 수도 있다.

이하, 도 15를 참조하여 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)를 보다 구체적으로 설명하기로 한다.

컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 15에는 본 개시의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 15에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1530)는 본 개시의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드 할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.

버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공한다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.

스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다.

스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(1591)은 메모리(1530)에 로드 될 때 프로세서(1510)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.

위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 개시의 몇몇 실시예에 따른 위변조 이미지 판정 장치가 구현될 수 있다.

지금까지 도 1 내지 도 15를 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 명세서의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 1 내지 도 15를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행 되어야만 하거나 또는 모든 도시 된 동작들이 실행 되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   입력 이미지에 포함된 오브젝트 영역을 검출하는 단계;
   상기 검출된 오브젝트 영역에 기초하여, 상기 입력 이미지의 일부에 노이즈를 적용하는 단계; 및
   상기 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
2. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 검출된 오브젝트 영역의 적어도 일부에 노이즈를 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
3. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 검출된 오브젝트 영역의 에지(edge)에 노이즈를 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
4. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 입력 이미지에 제1 오브젝트 영역 및 제2 오브젝트 영역을 포함하는 복수의 오브젝트 영역이 포함되면, 상기 제1 오브젝트 영역과 상기 제2 오브젝트 영역이 중첩되는 영역에 노이즈를 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
5. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 입력 이미지를 주파수 도메인으로 변환하는 단계; 및
   상기 주파수 도메인으로 변환된 입력 이미지에 포함된 영역 중 기준 주파수 이상의 영역에 노이즈를 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
6. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 입력 이미지의 일부에 제1 노이즈를 적용하는 단계; 및
   상기 입력 이미지의 일부에 상기 제1 노이즈와 구별되는 제2 노이즈를 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
7. 제1 항에 있어서,
   상기 노이즈를 적용하는 단계는,
   상기 검출된 오브젝트 영역의 속성에 기초하여, 상기 입력 이미지의 일부에 적용될 노이즈를 결정하는 단계; 및
   상기 결정된 노이즈를 상기 입력 이미지의 일부에 적용하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
8. 제1 항에 있어서,
   상기 OOD 탐지를 수행하는 단계는,
   복수의 원본 이미지에 기초하여 결정된 복수의 클래스와 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계를 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
9. 제8 항에 있어서,
   상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하면, 상기 입력 이미지를 원본 이미지로 판정하는 단계를 더 포함하는,
   노이즈 부가를 이용한 위변조 이미지 판정 방법.
10. 제8 항에 있어서,
    상기 관련도의 판정 결과, 상기 입력 이미지와의 관련도가 기준 수치 이상인 클래스가 존재하지 않으면, 상기 입력 이미지를 위변조 이미지로 판정하는 단계를 더 포함하는,
    노이즈 부가를 이용한 위변조 이미지 판정 방법.
11. 제8 항에 있어서,
    상기 관련도가 기준 수치 이상인 클래스가 존재하는지 여부를 판정하는 단계는,
    상기 입력 이미지와 상기 복수의 클래스 각각의 관련도를 산출하는 단계; 및
    상기 산출된 관련도의 최대값이 기준 수치 이상인지 판정하는 단계를 포함하는,
    노이즈 부가를 이용한 위변조 이미지 판정 방법.
12. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    입력 이미지에 포함된 오브젝트 영역을 검출하는 인스트럭션(Instruction);
    상기 검출된 오브젝트 영역에 기초하여, 상기 입력 이미지의 일부에 노이즈를 적용하는 인스트럭션; 및
    상기 노이즈가 적용된 입력 이미지에 대한 OOD(Out-Of-Distribution) 탐지를 수행하는 인스트럭션을 포함하는,
    노이즈 부가를 이용한 위변조 이미지 판정 장치.
13. 제12 항에 있어서,
    카메라를 더 포함하는,
    노이즈 부가를 이용한 위변조 이미지 판정 장치.

Images