KR20220049967A

KR20220049967A - 적대적 공격에 대한 방어 방법 및 그 장치

Info

Publication number: KR20220049967A
Application number: KR1020200133716A
Authority: KR
Inventors: 박영철; 엄소영; 최정호
Original assignee: 주식회사 케이티
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2022-04-22

Abstract

본 발명은 적대적 공격 방어 방법에 관한 것으로, 영상 인식의 대상이 되는 타겟 영상을 획득하는 단계; 상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 단계; CNN 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 단계; 및 상기 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하고, 상기 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 단계를 포함한다.

Description

적대적 공격에 대한 방어 방법 및 그 장치{METHOD FOR DEPENDING ADVERSARIAL ATTACK AND APPARATUS THEREOF}

본 발명은 적대적 공격에 대한 방어 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는 인공지능(AI) 애플리케이션에 대한 적대적 공격을 효과적으로 방어하기 위한 적대적 공격 방어 방법 및 그 장치에 관한 것이다.

인공지능(Artificial Intelligence, AI)의 목표는 '사람처럼 생각하고 행동하는 기계/컴퓨터'를 만드는 것이다. 인공지능을 구현하고자 할 때, 지식과 규칙에서 시작해서 다양한 응용을 추구하는 top-down 방식과, 실 세계의 데이터에서 시작해서 특정 응용 문제를 해결하고 더 나아가 지식과 규칙의 발견까지도 기대하는 bottom-up 방식의 두 방향이 가능하다. 최근 주목을 받고 있는 머신러닝(machine learning)은 대표적인 bottom-up 방식이며, 딥러닝(deep learning)은 머신러닝의 한 분야이다.

딥러닝(Deep Learning)은 컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있도록 인공 신경망(ANN, Artificial Neural Network)을 기반으로 구축한 기술이다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보 처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있게 된다. 이러한 딥러닝 기술을 가능하게 하는 딥러닝 알고리즘에는 심층 신경망(DNN, Deep Neural Network), 합성곱 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network) 등이 있다.

최근 들어 딥러닝 기술에 대한 사회적 관심이 폭발적으로 증가함에 따라 해당 기술이 자율주행 및 생체인식 등과 같은 다양한 기술분야에 폭넓게 적용되면서, 크게 두 가지 단점이 대두되고 있다. 첫 번째는, 딥러닝 모델이 내재적으로 가진 불확실성(uncertainty)이고, 두 번째는 명시적으로 정의된 특징(handcrafted feature) 기반의 머신러닝에 비해 학습된 딥러닝 모델은 블랙박스(black-box)와 같아 그 추론 결과가 설명가능(explainable)하지 않다는 점이다. 이러한 딥러닝 모델의 단점을 이용하여 AI 애플리케이션에 대해 적대적 공격(Adversarial Attack)을 시도하는 경우가 점점 늘어나고 있다.

예를 들어, 도 1에 도시된 바와 같이, 교통안전표지판에 스프레이 흔적이 있거나 스티커가 부착된 경우, 차량 운전자 또는 보행자들은 해당 신호(즉, 정지 신호)를 다른 신호로 인식하지 않지만, 딥러닝 모델을 이용한 영상 인식 애플리케이션은 해당 신호를 '정지 신호'가 아닌 '속도 제한 신호'로 잘못 인식하는 오류를 발생한다. 따라서, 교통안전표지판 등에 대한 영상 인식 시, 외부 공격자(가령, 해커)가 딥러닝 알고리즘에 사용되는 경사 하강법의 기울기(gradient) 값을 이용하거나 혹은 탐욕 알고리즘을 이용하여 딥러닝 모델의 결과를 위/변조할 수 있다.

일반적으로 적대적 공격은 딥러닝 알고리즘에 내재하고 있는 취약점에 의해 적대적 환경에서 발생할 수 있는 보안 위험을 통칭한다. 상기 적대적 공격의 종류로는 악의적인 학습 데이터를 주입하여 딥러닝 모델을 망가뜨리는 중독 공격(poisoning attack), 딥러닝 모델의 추론 과정에서 데이터를 교란해 딥러닝을 속이는 회피 공격(evasion attack), 역공학을 이용해 학습 데이터를 탈취하는 학습 데이터 추출 공격(inversion attack) 등이 있다.

이러한 적대적 공격으로부터 딥러닝 모델을 안전하게 보호하기 위해, 여러 가지 방어 기법이 제안되고 있다. 적대적 공격에 대한 대표적인 방어 기법으로는 적대적 훈련 기법, Gradient Masking/Distillation 기법, Feature Squeezing 기법 등이 있다.

적대적 훈련 기법은 자동 진단 모델을 학습시킬 때, 적대적 사례로서 작동할 수 있는 모든 경우의 수를 미리 학습 데이터 셋에 포함시키는 기법이다. Gradient Masking/Distillation 기법은 학습모델의 기울기(gradient)가 출력으로서 그대로 노출되는 것을 방지하거나, 학습모델의 구조상 기울기 자체를 일종의 정규화 방법과 같이 두드러지지 않게 하여 적대적 공격의 학습 방향에 힌트를 주지 않도록 하는 기법이다. Feature Squeezing 기법은 본래의 학습모델과 별도로, 주어진 입력 데이터에 대해 적대적 사례인지 아닌지를 판단하는 학습모델을 추가하는 기법이다.

하지만, 기존의 방어 기법들은 적대적 공격에 대한 근본적인 해결책은 아니며, 추가적인 학습 데이터 및 학습 알고리즘을 필요로 하는 문제가 있다. 또한, 기존의 방어 기법들은 실시간 대응이 필요한 기술 분야에는 적합하지 않다는 문제가 있다. 따라서, 영상 인식과 관련된 AI 애플리케이션에 대한 적대적 공격을 방어하기 위한 새로운 기법이 필요하다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 영상 인식(image recognition)과 관련된 AI 애플리케이션에 대한 적대적 공격을 효과적으로 방어하기 위한 적대적 공격 방어 방법 및 그 장치를 제공함에 있다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 영상 인식의 대상이 되는 타겟 영상을 획득하는 단계; 상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 단계; CNN 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 단계; 및 상기 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하고, 상기 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 단계를 포함하는 적대적 공격 방어 방법을 제공한다.

본 발명의 다른 측면에 따르면, 영상 인식의 대상이 되는 타겟 영상을 획득하는 영상 획득부; 상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 컬러맵 생성부; CNN 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 CNN 모델부; 상기 복수의 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하는 우선순위 할당부; 및 각각의 컬러 맵에 포함된 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 영상 인식부를 포함하는 적대적 공격 방어 장치를 제공한다.

본 발명의 또 다른 측면에 따르면, 영상 인식의 대상이 되는 타겟 영상을 획득하는 과정; 상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 과정; CNN 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 과정; 및 상기 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하고, 상기 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 과정이 컴퓨터 상에서 실행 가능하도록 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.

본 발명의 실시 예들에 따른 적대적 공격 방어 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 타겟 영상을 색상 별로 분류하여 다수의 컬러 맵을 생성하고, CNN 모델을 이용하여 각각의 컬러 맵에 포함된 객체들을 식별하며, 상기 객체들에 대해 서로 다른 우선순위를 부여함으로써, 영상 인식과 관련된 AI 애플리케이션에 대한 적대적 공격을 효과적으로 방어할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 타겟 영상에 포함된 객체들에 관한 클러스터링 정보와 상기 타겟 영상의 위치 정보를 CNN 모델에 추가적으로 반영함으로써, 해당 모델의 연산 속도 및 분류 성능을 개선할 수 있을 뿐만 아니라 적대적 공격에 대한 회피 능력을 향상시킬 수 있다는 장점이 있다.

다만, 본 발명의 실시 예들에 따른 적대적 공격 방어 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 딥러닝 모델의 영상 인식에 오류를 야기하는 교통안전표지판을 예시하는 도면;
도 2는 본 발명과 관련된 합성곱 신경망(CNN)의 구조를 나타내는 도면;
도 3은 도 2에 도시된 합성곱 신경망의 학습 과정을 설명하기 위해 참조되는 도면;
도 4는 본 발명의 일 실시 예에 따른 적대적 공격 방어 장치의 구성을 나타내는 블록도;
도 5는 본 발명의 일 실시 예에 따른 적대적 공격 방어 방법을 설명하는 순서도;
도 6 내지 도 10은 본 발명의 일 실시 예에 따른 적대적 공격 방어 방법을 설명하기 위해 참조되는 도면;
도 11은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 구성 블록도.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명은 영상 인식(image recognition)과 관련된 AI 애플리케이션에 대한 적대적 공격을 효과적으로 방어하기 위한 적대적 공격 방어 방법 및 그 장치를 제안한다.

이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.

도 2는 본 발명과 관련된 합성곱 신경망(CNN)의 구조를 나타내는 도면이고, 도 3은 도 2에 도시된 합성곱 신경망의 학습 과정을 설명하기 위해 참조되는 도면이다.

도 2 및 도 3을 참조하면, 본 발명과 관련된 합성곱 신경망(Convolutional Neural Network, CNN, 100)은 입력층(input layer, 110), 하나 이상의 컨벌루션층(convolution layer, 120), 하나 이상의 풀링층(pooling layer, 130), 완전 연결층(Fully connected layer, 140) 및 출력층(output layer, 150)을 포함한다. 여기서, 상기 풀링층(130)은 컨볼루션층(120)에 포함될 수 있다.

합성곱 신경망(100)은 입력 데이터의 특징(feature)을 추출하는 부분과 입력 데이터의 클래스(class)를 분류하는 부분으로 구성된다. 여기서, 특징 추출 부분은 입력층(110), 컨벌루션층(120) 및 폴링층(130)으로 이루어지며, 클래스 분류 부분은 완전 연결층(140) 및 출력층(150)으로 이루어진다.

입력층(110)은 학습 데이터, 즉 훈련 데이터(training data) 및 시험 데이터(test data)가 입력되는 층을 의미한다. 통상, 합성곱 신경망(CNN)에 사용되는 학습 데이터는 영상 데이터(image data)일 수 있다.

컨볼루션층(120)은 입력 데이터와 가중치들의 집합체인 필터(filter) 간의 컨볼루션 연산을 통해 입력 데이터의 특징을 추출하는 역할을 수행한다. 상기 컨볼루션층(120)은 입력 데이터의 특징을 추출하는 필터와, 상기 입력 데이터와 필터 간의 컨볼루션 연산 값을 비선형 값으로 변환하는 활성 함수(activation function)로 이루어진다. 상기 활성 함수로는 ReLU(Rectified Linear Unit) 함수가 사용될 수 있으며 반드시 이에 제한되지는 않는다.

컨볼루션층(120)은 입력 데이터와 다양한 필터 간의 컨볼루션 연산을 통해 복수의 특징 맵들(feature maps)을 출력할 수 있다. 이후, 컨볼루션층(120)은 복수의 특징 맵들에 대해 활성 함수를 적용하여 복수의 활성 맵들(activation maps)을 출력할 수 있다.

풀링층(또는 서브 샘플링층, 130)은 컨볼루션층(120)의 출력 데이터를 입력으로 받아서 출력 데이터(즉, 활성 맵)의 크기를 줄이거나 특정 데이터를 강조하는 역할을 수행한다. 상기 풀링층(130)의 풀링 방식으로는 Max Pooling 방식, Average Pooling 방식 및 Min Pooling 방식이 있으며, 그 중에서 Max Pooling 방식이 가장 많이 사용된다.

완전 연결층(140)은 합성곱 신경망(CNN, 100)의 데이터 타입을 Fully Connected Neural Network 형태로 변경하는 역할을 수행한다. 즉, 완전 연결층(140)은 풀링층(130)의 3차원 출력 값을 1차원 벡터로 평탄화(flattening)하여 일반 신경망 연결처럼 출력층(150)의 모든 노드와 연결시켜주는 역할을 수행한다.

출력층(150)은 입력 데이터의 클래스를 분류한 결과 값을 출력하는 역할을 수행한다. 상기 출력층(150)은 완전 연결층(140)으로부터 입력 받은 값을 0 내지 1 사이의 값으로 정규화하며, 출력 값들의 총합이 항상 1이 되도록 하는 역할을 수행할 수 있다. 이를 위해, 상기 출력층(150)은 softmax와 같은 활성 함수를 포함할 수 있다.

이와 같은 구조를 갖는 합성곱 신경망(100)의 학습 동작을 간단히 설명하면 다음과 같다. 먼저, 각 층에서의 매개 변수인 가중치(Weight, W)와 편향(Bias, B)의 초기값을 설정한다. 이후, 하나의 학습(훈련) 데이터에 대해 각 층에서의 순입력 함수값을 계산하고 최종적으로 활성 함수(activation function)에 의한 출력값(즉, 결과값)을 계산한다. 여기서, 상기 순입력 함수값은 각 층의 활성 함수에 입력되는 값을 의미한다. 그 다음, 출력층의 활성 함수에 의한 출력값과 실제값의 차이가 허용 오차 범위 이내가 되도록 각 층에서의 가중치 및 편향을 업데이트한다. 마지막으로, 모든 학습 데이터에 대해서 출력층의 활성 함수에 의한 출력값과 실제값의 차이가 허용 오차 범위 이내가 되면 학습을 종료한다.

즉, 도 3에 도시된 바와 같이, 합성곱 신경망(100)의 학습 과정은 순전파(feedforward, FF)와 역전파(backpropagation, BP)의 반복 과정으로 정의될 수 있다. 이러한 반복 과정은 출력층(150)에서의 오차가 0에 가까워질 때까지 계속될 수 있다.

순전파(FF) 과정은 입력층(110)에서 출력층(150) 방향으로 이동하면서 각 입력에 해당하는 가중치(w)가 곱해지고, 결과적으로 가중치 합으로 계산되어 각 층의 활성 함수로 입력되며, 최종적으로 출력층(150)의 활성 함수에서 결과값이 출력되는 일련의 학습 과정을 일컫는다.

역전파(BP) 과정은 출력층(150)에서 입력층(110) 방향으로 이동하면서 순전파 과정에서 발생한 오차(Error)를 줄이기 위해 각 층의 가중치 및 편향을 업데이트하는 일련의 학습 과정을 일컫는다. 상기 역전파(BP) 과정에서 가중치를 결정하는 방법으로 경사 하강법(Gradient Descent)이 사용될 수 있다.

경사 하강법은 손실 함수(loss function)의 최저 지점을 찾아가는 최적화 기법으로서, 상기 손실 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 최저 지점에 이를 때까지 계속 반복하는 기법이다. 여기서, 상기 손실 함수는 출력층(150)에서 계산한 결과값과 실제값과의 차이(즉, 오차)를 정의한 함수이다. 상기 손실 함수로는 평균 제곱 오차(Mean Squared Error, MSE) 또는 교차 엔트로피 오차(Cross Entropy Error, CEE)가 사용될 수 있으며 반드시 이에 제한되지는 않는다.

도 4는 본 발명의 일 실시 예에 따른 적대적 공격 방어 장치의 구성을 나타내는 구성 블록도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 적대적 공격 방어 장치(200)는 영상 획득부(210), 배경 제거부(220), 컬러맵 생성부(230), 클러스터링부(240), 위치정보 검출부(250), CNN 모델부(260), 우선순위 할당부(270) 및 영상 인식부(280)를 포함할 수 있다. 도 4에 도시된 구성요소들은 적대적 공격 방어 장치(200)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 적대적 공격 방어 장치는 위에서 열거된 구성요소들 보다 많거나 또는 적은 구성요소들을 가질 수 있다.

영상 획득부(210)는 영상 인식의 대상이 되는 타겟 영상(target image)을 획득하는 기능을 수행할 수 있다. 일 예로, 상기 영상 획득부(210)는 카메라(미도시)를 통해 촬영된 영상을 해당 카메라 또는 메모리(미도시)로부터 획득할 수 있다. 한편, 다른 예로, 상기 영상 획득부(210)는 타 기기와의 유/무선 통신을 통해 타겟 영상을 획득할 수 있다.

배경 제거부(또는 피사체 추출부, 220)는 영상 획득부(210)로부터 수신된 타겟 영상의 배경(background)을 제거하는 기능을 수행할 수 있다. 이는 타겟 영상의 배경을 제거함으로써 해당 영상의 피사체를 검출하기 위함이다.

컬러맵 생성부(230)는 배경이 제거된 타겟 영상(이하, 설명의 편의 상, '피사체 영상'이라 칭함)을 색상 별로 분류하고, 상기 분류된 색상 별 이미지에 해당하는 컬러 맵(color map)을 생성하는 기능을 수행할 수 있다. 이때, 상기 컬러맵 생성부(230)는 색상 별 필터를 이용하여 피사체 영상을 색상 별 이미지로 분류할 수 있다.

예를 들어, 피사체 영상이 3가지 색상으로 이루어진 경우, 컬러맵 생성부(230)는 상기 피사체 영상을 색상 별로 분류하여 3개의 컬러 맵을 생성할 수 있다. 한편, 피사체 영상이 5가지 색상으로 이루어진 경우, 컬러맵 생성부(230)는 상기 피사체 영상을 색상 별로 분류하여 5개의 컬러 맵을 생성할 수 있다. 각각의 컬러 맵은 CNN 모델의 입력 데이터로 사용될 수 있다.

한편, 다른 실시 예로, 피사체 영상을 구성하는 모든 색상들에 대해 컬러 맵을 생성할 필요 없이, 상기 피사체 영상의 전체 면적 중 일정 비율 이상의 면적을 갖는 색상들을 추출하고, 상기 추출된 색상들에 대해서만 컬러 맵을 생성할 수도 있다.

클러스터링부(240)는 미리 결정된 에지 검출 알고리즘을 이용하여 각각의 컬러 맵에 포함된 객체(또는 개체, object)의 경계 영역(edge)을 검출하고, 상기 검출된 경계 영역을 기반으로 해당 객체의 형상을 검출할 수 있다. 여기서, 상기 객체는 피사체 영상을 구성하는 하위 요소로서, 도형, 기호, 문자 및 숫자 등을 포함할 수 있다. 또한, 상기 에지 검출 알고리즘으로는 1차 미분 알고리즘, 소벨(sobel) 알고리즘, 프리윗(prewitt) 알고리즘, 로버츠(roberts) 알고리즘, 캠퍼스(campass) 알고리즘, 라플라시안(laplacian) 알고리즘, 로그 알고리즘, 캐니 알고리즘, 라인 알고리즘 등이 사용될 수 있으며 반드시 이에 제한되지는 않는다.

클러스터링부(240)는 미리 결정된 클러스터링 기법을 이용하여 각각의 컬러 맵에 포함된 객체의 형상을 몇 개의 클러스터(즉, 그룹 또는 집합)로 분류할 수 있다. 여기서, 상기 클러스터링 기법으로는 k-means clustering, hierarchical clustering, density based clustering, support vector clustering, girvan-newman clustering 등이 사용될 수 있으며 반드시 이에 제한되지는 않는다.

클러스터링부(240)는 상기 분류된 클러스터링 정보를 각각의 컬러 맵과 매칭하고, 상기 클러스터링 정보가 매칭된 컬러 맵들을 CNN 모델부(260)로 제공할 수 있다. 한편, 상기 클러스터링부(240)는 실시 형태에 따라 생략 가능하도록 구성될 수 있다. 이 경우, 클러스터링 정보가 매칭되지 않은 컬러 맵들이 CNN 모델부(260)로 제공될 수 있다.

위치정보 검출부(250)는 GPS 장치(미도시) 등과 연동하여 타겟 영상의 위치 정보를 검출할 수 있다. 여기서, 상기 타겟 영상의 위치 정보는 타겟 영상을 촬영한 지점의 위치 정보로서, 해당 영상을 촬영한 시점의 자율주행차량 또는 카메라의 위치 정보에 대응한다. 한편, 상기 위치정보 검출부(250)는 실시 형태에 따라 생략 가능하도록 구성될 수 있다.

위치정보 검출부(250)는 타겟 영상의 위치 정보를 CNN 모델부(260)로 제공할 수 있다. 상기 타겟 영상의 위치 정보는 CNN 모델부(260)에서 컨볼루션 연산을 위한 최적의 필터를 결정하기 위해 사용될 수 있다.

CNN 모델부(260)는 입력 데이터에 대해 컨벌루션 연산 과정, 활성 함수 연산 과정 및 풀링 과정을 순차적으로 수행하여 상기 입력 데이터의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 입력 데이터를 특정 클래스로 분류하는 기능을 수행할 수 있다. 여기서, 상기 CNN 모델부(260)의 입력 데이터는 클러스터링 정보가 매칭된 각각의 컬러 맵이고, 출력 데이터는 각각의 컬러 맵에 포함된 객체를 특정 클래스로 분류한 결과 값이다.

CNN 모델부(260)는, 컬러 맵 단위로, 각 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 해당 객체들을 특정 클래스로 분류할 수 있다.

CNN 모델부(260)는 위치정보 검출부(250)로부터 획득한 타겟 영상의 위치 정보를 고려하여 최적의 필터를 결정할 수 있다. 즉, CNN 모델부(260)는 메모리(미도시)에 기 저장된 위치별 레이블 필터링 값을 기반으로 상기 타겟 영상의 위치 정보에 대응하는 레이블 필터링 값을 결정할 수 있다. 여기서, 상기 레이블 필터링 값은 N*N 필터를 구성하는 가중치 행렬 값(h₁₁ ?? h_NN)을 의미한다.

메모리에 기 저장된 위치별 레이블 필터링 값은 사전 CNN 학습 과정을 통해 미리 결정될 수 있다. 상기 CNN 학습 과정을 좀 더 구체적으로 설명하면 다음과 같다. 먼저, CNN 학습부(또는 CNN 학습 서버, 미도시)는 입력 이미지와의 컨볼루션 연산에 사용할 필터의 범위(즉, 행과 열의 수)를 결정할 수 있다. 이하, 본 실시 예에서는, 필터의 범위를 3*3 크기로 가정한다.

이후, CNN 학습부는 아래 표 1과 같은 초기 필터링 랜덤값을 생성할 수 있다. 여기서, *는 필터링 값이 초기 랜덤값임을 지시한다.

^*1	^*0	^*1
^*0	^*1	^*1
^*1	^*1	^*0

CNN 학습부는 피사체(가령, 교통안전표지판)의 위치와 관련된 복수의 이미지들(가령, 고속도로변, 일반도로변, 인도 등에서 촬영된 이미지들)을 학습하면서 상기 필터링 랜덤값을 위치 별로 최적화하여 위치별 레이블 필터링 값을 생성할 수 있다. 이때, 상기 CNN 학습부는 손실 함수의 최저점을 찾아가는 경사하강법을 이용하여 필터링 랜덤값을 위치 별로 업데이트할 수 있다. 상기 위치별 레이블 필터링 값(W)은 하기 수학식 1과 같이 계산될 수 있다.

여기서, W는 레이블 필터링 값, W₀는 필터링 랜덤값, θ는 학습률임. 상기 위치정보는 위치별 인덱스 값으로, 아래 표 2와 같이 설정될 수 있다.

위치정보	고속도로변	일반도로변	인도	차도	교차로
인덱스	a	b	c	d	e

CNN 학습부는 상기 생성된 위치별 레이블 필터링 값을 메모리에 저장할 수 있다. 상기 메모리에 저장된 위치별 레이블 필터링 값은, CNN 모델부(260)의 컨벌루션 연산 과정에 사용될 수 있다.

CNN 모델부(260)는 피사체의 위치정보가 반영된 필터를 이용함으로써, 배경이 제거된 영상에 포함된 피사체에 대해 정확한 추론을 수행할 수 있다. 또한, 상기 CNN 모델부(260)는 피사체의 위치정보가 반영된 필터를 이용함으로써, 각각의 컬러 맵에 포함된 객체를 좀 더 빠르고 정확하게 분류할 수 있다.

한편, 입력 데이터에 대한 예측 정확도가 임계치 이하인 경우, CNN 모델부(260)는 입력 데이터를 CNN 학습부()로 전송하여 상기 입력 데이터에 대한 재 학습 과정을 통해 CNN 모델을 갱신(update)하도록 할 수 있다.

우선순위 할당부(270)는 각각의 컬러 맵에 포함된 객체가 해당 컬러 맵에서 차지하는 면적 비율(즉, 면적률)을 계산할 수 있다. 이를 기반으로, 우선순위 할당부(270)는 피사체 영상을 구성하는 객체들에 대해 서로 다른 우선순위를 부여할 수 있다. 즉, 우선순위 할당부(270)는 객체의 면적률이 클수록 높은 우선순위를 부여할 수 있다. 이는 피사체 영상을 구성하는 객체의 면적률이 크다는 것은 해당 객체가 피사체 영상에서 중요한 의미를 내포하고 있다는 것을 의미하기 때문이다.

영상 인식부(280)는 각각의 컬러 맵에 포함된 객체들에 관한 분류 정보와, 상기 객체들에 관한 우선순위 정보와, 타겟 영상의 위치 정보 중 적어도 하나를 기반으로 상기 타겟 영상에 포함된 피사체를 인식(추론)하는 기능을 수행할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 적대적 공격 방어 방법을 설명하는 순서도이다.

도 5를 참조하면, 본 발명에 따른 적대적 공격 방어 장치(200)는 영상 인식의 대상이 되는 타겟 영상(target image)을 카메라로부터 획득할 수 있다(S510). 이하, 본 실시 예에서, 상기 타겟 영상은 교통안전표지판을 촬영한 영상임을 예시하여 설명하도록 한다.

적대적 공격 방어 장치(200)는 카메라로부터 획득한 타겟 영상의 배경을 제거하여 해당 영상에 포함된 피사체를 검출할 수 있다(S520). 가령, 도 6에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 타겟 영상(610)의 배경을 제거하여 상기 타겟 영상(610)에 대응하는 피사체 영상(620)을 생성할 수 있다.

적대적 공격 방어 장치(200)는 RGB 색상표를 이용하여 피사체 영상을 색상 별로 분류하고, 상기 분류된 색상 별 이미지에 해당하는 컬러 맵(color map)을 생성할 수 있다(S530). 상기 컬러 맵은 CNN 모델의 입력층으로 입력될 수 있다.

예를 들어, 도 7에 도시된 바와 같이, 피사체 영상(620)이 3가지의 색상, 즉 빨강색, 흰색 및 검정색으로 이루어진 경우, 적대적 공격 방어 장치(200)는 적색 필터를 통해 피사체 영상(620)의 빨강색 부분을 추출하여 제1 컬러 맵(630)을 생성할 수 있다. 또한, 적대적 공격 방어 장치(200)는 백색 필터를 통해 피사체 영상(620)의 흰색 부분을 추출하여 제2 컬러 맵(640)을 생성할 수 있다. 또한, 적대적 공격 방어 장치(200)는 흑색 필터를 통해 피사체 영상(620)의 검정색 부분을 추출하여 제3 컬러 맵(650)을 생성할 수 있다.

적대적 공격 방어 장치(200)는 미리 결정된 에지 검출 알고리즘을 이용하여 각각의 컬러 맵에 포함된 객체의 경계 영역을 검출하고, 상기 검출된 경계 영역을 기반으로 해당 객체의 형상을 검출할 수 있다. 그리고, 적대적 공격 방어 장치(200)는 미리 결정된 클러스터링 기법을 이용하여 각각의 컬러 맵에 포함된 객체들의 형상을 몇 개의 클러스터(즉, 그룹 또는 집합)로 분류할 수 있다(S540).

가령, 도 8에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 미리 결정된 클러스터링 기법을 이용하여 제1 컬러 맵(630)에 포함된 객체를 '도형' 군으로 분류할 수 있다. 또한, 적대적 공격 방어 장치(200)는 미리 결정된 클러스터링 기법을 이용하여 제2 컬러 맵(640)에 포함된 객체들을 '문자' 군과 '도형' 군으로 분류할 수 있다. 또한, 적대적 공격 방어 장치(200)는 미리 결정된 클러스터링 기법을 이용하여 제3 컬러 맵(650)에 포함된 객체를 '도형' 군으로 분류할 수 있다.

적대적 공격 방어 장치(200)는 상기 분류된 클러스터링 정보를 각각의 컬러 맵과 매칭하고, 상기 클러스터링 정보가 매칭된 컬러 맵들을 CNN 모델로 입력할 수 있다.

적대적 공격 방어 장치(200)는 GPS 장치를 이용하여 타겟 영상의 위치 정보를 검출할 수 있다(S550). 여기서, 상기 타겟 영상의 위치 정보는 타겟 영상을 촬영한 지점의 위치 정보로서, 해당 영상을 촬영한 시점의 자율주행차량 또는 카메라의 위치 정보에 대응한다. 이하 본 실시 예에서, 상기 타겟 영상의 위치 정보는 '도로 변'임을 예시하여 설명하도록 한다.

적대적 공격 방어 장치(200)는 각각의 컬러 맵에 대해 컨벌루션 연산 과정, 활성 함수 연산 과정 및 풀링 과정을 순차적으로 수행하여 각 컬러 맵에 포함된 객체의 특징을 추출하고, 상기 추출된 특징을 기반으로 각 컬러 맵에 포함된 객체를 특정 클래스로 분류할 수 있다(S560).

예를 들어, 도 9에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 제1 컬러 맵(630)을 다수의 영역으로 분할하고, 상기 제1 컬러 맵(630)의 분할 영역(910)과 다수의 필터(920)를 컨볼루션 연산하여 다수의 특징 맵들(930)을 생성할 수 있다. 이때, 상기 적대적 공격 방어 장치(200)는 타겟 영상의 위치 정보를 고려하여 최적의 필터(920)를 결정할 수 있다.

적대적 공격 방어 장치(200)는 다수의 특징 맵들(930)에 대해 제1 활성 함수(가령, ReLU 함수)를 적용하여 다수의 활성 맵들(940)을 생성하고, 상기 활성 맵들(940)에 대해 미리 결정된 풀링 기법(가령, Max pooling)을 적용하여 해당 맵들(940)의 크기를 축소할 수 있다.

적대적 공격 방어 장치(200)는 일정 크기로 축소된 활성 맵들(950)을 1차원 벡터로 평탄화한 후 제2 활성 함수(가령, softmax)를 적용하여 제1 컬러 맵(630)에 포함된 객체를 분류할 수 있다. 가령, 도 10에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 제1 컬러 맵(630)에 포함된 제1 객체(635)를 도로 변에 위치하는 팔각형 모양의 경고 표지판으로 분류할 수 있다.

적대적 공격 방어 장치(200)는 제2 컬러 맵(640)을 CNN 모델의 입력층으로 입력하여 상기 제2 컬러 맵(640)에 포함된 객체를 상술한 방식과 동일한 방식으로 분류할 수 있다. 가령, 도 10에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 제2 컬러 맵(640)에 포함된 제2 객체(641)를 문자(STOP)로 분류하고, 제3 객체(643)를 사각형 모양의 도형으로 분류할 수 있다.

적대적 공격 방어 장치(200)는 제3 컬러 맵(650)을 CNN 모델의 입력층으로 입력하여 상기 제3 컬러 맵(650)에 포함된 객체를 상술한 방식과 동일한 방식으로 분류할 수 있다. 가령, 도 10에 도시된 바와 같이, 적대적 공격 방어 장치(200)는 제3 컬러 맵(650)에 포함된 제4 객체(655)를 사각형 모양의 도형으로 분류할 수 있다.

다시, 도 5를 참조하면, 적대적 공격 방어 장치(200)는 각각의 컬러 맵에 포함된 객체가 해당 맵에서 차지하는 면적 비율(즉, 면적률)을 계산할 수 있다(S570).

적대적 공격 방어 장치(200)는 상기 계산된 객체들의 면적률 정보를 기반으로 피사체 영상을 구성하는 객체들에 대해 서로 다른 우선순위를 부여할 수 있다(S580). 가령, 제1 객체(635)의 면적률이 60%이고, 제2 객체(641)의 면적률이 20%이고, 제3 객체(643)의 면적률이 5%이고, 제4 객체의 면적률이 5%인 경우, 적대적 공격 방어 장치(200)는 제1 및 제2 객체(635, 641)에 대해 높은 우선순위를 부여할 수 있다.

적대적 공격 방어 장치(200)는 각각의 컬러 맵에 포함된 객체들에 관한 분류 정보와, 상기 객체들에 관한 우선순위 정보와, 타겟 영상의 위치 정보 중 적어도 하나를 기반으로 타겟 영상에 포함된 피사체를 인식(추론)할 수 있다(S590). 본 실시 예에서, 적대적 공격 방어 장치(200)는 우선순위가 높은 제1 및 제2 객체들(635, 641)에 관한 분류 정보와 타겟 영상의 위치 정보를 기반으로 상기 타겟 영상에 포함된 피사체를 도로 변에 위치하는 정지 표시판으로 추론할 수 있다.

한편, 본 실시 예에서는, 상술한 위치 정보 검출 단계가 540 단계 이후에 실행되는 것을 예시하고 있으나 반드시 이에 제한되지는 않으며, 상술한 510 단계와 560 단계 사이의 어느 단계에서도 실행될 수 있음은 당업자에게 자명할 것이다.

이상, 상술한 바와 같이, 본 발명의 일 실시 예에 따른 적대적 공격 방어 방법은 타겟 영상을 색상 별로 분류하여 다수의 컬러 맵을 생성하고, CNN 모델을 이용하여 각각의 컬러 맵에 포함된 객체들을 식별하며, 상기 객체들에 대해 서로 다른 우선순위를 부여함으로써, 영상 인식과 관련된 AI 애플리케이션에 대한 적대적 공격을 효과적으로 방어할 수 있다. 또한, 상기 적대적 공격 방어 방법은 타겟 영상에 포함된 객체들에 관한 클러스터링 정보와 상기 타겟 영상의 위치 정보를 CNN 모델에 추가적으로 반영함으로써, 해당 모델의 연산 속도 및 분류 성능을 개선할 수 있을 뿐만 아니라 적대적 공격에 대한 회피 능력을 향상시킬 수 있다.

도 11은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 구성 블록도이다.

도 11을 참조하면, 본 발명의 일 실시 예에 따른 컴퓨팅 장치(1100)는 적어도 하나의 프로세서(1110), 컴퓨터 판독 가능 저장 매체(1120) 및 통신 버스(1130)를 포함한다. 상기 컴퓨팅 장치(1100)는 상술한 적대적 공격 방어 장치(200) 또는 상기 적대적 공격 방어 장치(200)를 구성하는 영상 획득부(210), 배경 제거부(220), 컬러맵 생성부(230), 클러스터링부(240), 위치정보 검출부(250), CNN 모델부(260), 우선순위 할당부(270) 및 영상 인식부(280)에 포함되는 하나 이상의 컴포넌트일 수 있다.

프로세서(1110)는 컴퓨팅 장치(1100)로 하여금 앞서 언급된 예시적인 실시 예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(1110)는 컴퓨터 판독 가능 저장 매체(1120)에 저장된 하나 이상의 프로그램들(1125)을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(1110)에 의해 실행되는 경우 컴퓨팅 장치(1100)로 하여금 예시적인 실시 예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(1120)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(1120)에 저장된 프로그램(1125)은 프로세서(1110)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시 예에서, 컴퓨터 판독 가능 저장 매체(1120)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(1100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(1130)는 프로세서(1110), 컴퓨터 판독 가능 저장 매체(1120)를 포함하여 컴퓨팅 장치(1100)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(1100)는 또한 하나 이상의 입출력 장치(1150)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(1140) 및 하나 이상의 네트워크 통신 인터페이스(1160)를 포함할 수 있다. 입출력 인터페이스(1140) 및 네트워크 통신 인터페이스(1160)는 통신 버스(1130)에 연결된다.

입출력 장치(1150)는 입출력 인터페이스(1140)를 통해 컴퓨팅 장치(1100)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(1150)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(1150)는 컴퓨팅 장치(1100)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(1100)의 내부에 포함될 수도 있고, 컴퓨팅 장치(1100)와는 구별되는 별개의 장치로 컴퓨팅 장치(1100)와 연결될 수도 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

200: 적대적 공격 방어 장치 210: 영상 획득부
220: 배경 제거부 230: 컬러맵 생성부
240: 클러스터링부 250: 위치정보 검출부
260: CNN 모델부 270: 우선순위 할당부
280: 영상 인식부

Claims

영상 인식의 대상이 되는 타겟 영상을 획득하는 단계;
상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 단계;
CNN(Convolutional Neural Network) 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 단계; 및
상기 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하고, 상기 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 단계를 포함하는 적대적 공격 방어 방법.
제1항에 있어서,
상기 타겟 영상의 배경을 제거하는 단계를 더 포함하는 적대적 공격 방어 방법.
제1항에 있어서, 상기 생성 단계는,
상기 분류된 색상에 대응하는 필터를 이용하여 상기 복수의 컬러 맵을 생성하는 것을 특징으로 하는 적대적 공격 방어 방법.
제1항에 있어서,
상기 복수의 컬러 맵을 상기 CNN 모델에 순차적으로 입력하는 단계를 더 포함하는 적대적 공격 방어 방법.
제1항에 있어서,
미리 결정된 에지 검출 알고리즘을 이용하여 각각의 컬러 맵에 포함된 객체들의 경계 영역을 검출하고, 상기 검출된 경계 영역을 기반으로 해당 객체들의 형상을 인식하는 단계; 및
미리 결정된 클러스터링 기법을 이용하여 각각의 컬러 맵에 포함된 객체들의 형상을 하나 이상의 클러스터(cluster)로 분류하는 단계를 더 포함하는 적대적 공격 방어 방법.
제5항에 있어서,
상기 객체들의 형상에 관한 클러스터링 정보를 각각의 컬러 맵과 매칭하고, 상기 클러스터링 정보가 매칭된 컬러 맵들을 상기 CNN 모델로 입력하는 단계를 더 포함하는 것을 특징으로 적대적 공격 방어 방법.
제1항에 있어서,
상기 타겟 영상의 위치 정보를 검출하는 단계를 더 포함하는 적대적 공격 방어 방법.
제7항에 있어서, 상기 분류 단계는,
상기 타겟 영상의 위치 정보를 고려하여 상기 CNN 모델의 컨볼루션 연산에 사용될 필터를 결정하는 단계를 포함하는 것을 특징으로 하는 적대적 공격 방어 방법.
제1항에 있어서, 상기 우선순위 할당 단계는,
각각의 컬러 맵에 포함된 객체들의 면적 비율을 계산하는 단계; 및
상기 객체들의 면적 비율에 관한 정보를 기반으로 상기 컬러 맵에 포함된 객체들에 대해 서로 다른 우선순위를 할당하는 단계를 더 포함하는 것을 특징으로 하는 적대적 공격 방어 방법.
제9항에 있어서, 상기 인식 단계는,
상기 컬러 맵에 포함된 객체들에 관한 분류 정보와, 상기 객체들에 관한 우선순위 정보를 기반으로 상기 타겟 영상에 포함된 피사체를 인식하는 것을 특징으로 하는 적대적 공격 방어 방법.
제1항에 있어서,
상기 CNN 모델의 예측 정확도가 임계치 이하인 경우, 상기 복수의 컬러 맵에 대한 재 학습 과정을 통해 상기 CNN 모델을 갱신하는 단계를 더 포함하는 적대적 공격 방어 방법.
청구항 제1항 내지 제11항 중 어느 하나의 항에 따른 방법이 컴퓨터 상에서 실행되도록 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
영상 인식의 대상이 되는 타겟 영상을 획득하는 영상 획득부;
상기 획득된 타겟 영상을 색상 별로 분류하여 복수의 컬러 맵을 생성하는 컬러맵 생성부;
CNN(Convolutional Neural Network) 모델을 기반으로 각각의 컬러 맵에 포함된 객체들의 특징을 추출하고, 상기 추출된 특징을 기반으로 상기 컬러 맵에 포함된 객체들을 분류하는 CNN 모델부;
상기 복수의 컬러 맵에 포함된 객체들에 대해 우선순위를 할당하는 우선순위 할당부; 및
각각의 컬러 맵에 포함된 객체들에 관한 분류 정보와 우선순위 정보를 기반으로 상기 타겟 영상을 인식하는 영상 인식부를 포함하는 적대적 공격 방어 장치.
제13항에 있어서,
상기 타겟 영상의 배경을 제거하는 배경 제거부를 더 포함하는 적대적 공격 방어 장치.
제13항에 있어서,
미리 결정된 에지 검출 알고리즘을 이용하여 각각의 컬러 맵에 포함된 객체들의 경계 영역을 검출하고, 상기 검출된 경계 영역을 기반으로 해당 객체들의 형상을 인식하며, 미리 결정된 클러스터링 기법을 이용하여 각각의 컬러 맵에 포함된 객체들의 형상을 하나 이상의 클러스터(cluster)로 분류하는 클러스터링부를 더 포함하는 적대적 공격 방어 장치.
제15항에 있어서,
상기 클러스터링부는 상기 객체들의 형상에 관한 클러스터링 정보를 각각의 컬러 맵과 매칭하고, 상기 클러스터링 정보가 매칭된 컬러 맵들을 상기 CNN 모델로 입력하는 것을 특징으로 하는 적대적 공격 방어 방법.
제13항에 있어서,
상기 타겟 영상의 위치 정보를 검출하는 위치정보 검출부를 더 포함하는 적대적 공격 방어 장치.
제17항에 있어서,
상기 CNN 모델부는, 상기 타겟 영상의 위치 정보를 고려하여 상기 CNN 모델의 컨볼루션 연산에 사용될 필터를 결정하는 것을 특징으로 하는 적대적 공격 방어 장치.
제13항에 있어서,
상기 우선순위 할당부는, 각각의 컬러 맵에 포함된 객체들의 면적 비율을 계산하고, 상기 객체들의 면적 비율에 관한 정보를 기반으로 상기 컬러 맵에 포함된 객체들에 대해 서로 다른 우선순위를 할당하는 것을 특징으로 하는 적대적 공격 방어 장치.