KR102389368B1 - 부분 도메인 적응을 위한 적응형 그래프 기반 적대적 네트워크 - Google Patents

Abstract

적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법 및 장치가 제시된다. 본 발명에서 제안하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법은 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계 및 적응형 클래스 관계형 그래프 모듈로부터 특성을 입력 받아 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 통해 레이블 공통성을 예측하는 단계를 포함한다.

Description

부분 도메인 적응을 위한 적응형 그래프 기반 적대적 네트워크{Adaptive Graph Adversarial Networks for Partial Domain Adaptation}

본 발명은 부분 도메인 적응을 위한 적응형 그래프 기반 적대적 네트워크에 관한 것이다.

DNN(Deep Neural Networks)은 다양한 컴퓨터 비전 작업 [1], [2], [3], [4], [5], [6], [7]에 걸쳐 최첨단 성능을 보여 주었다. 레이블이 부착된 대량의 데이터와 이를 나타내기에 충분한 모델 용량이 이러한 성공적인 애플리케이션을 가능하게 하는 주요 요인이다[8]. 일반적으로 딥러닝 방법은 학습과 테스트 세트가 유사한 확률 분포에서 도출된다고 가정한다. 그러나 이러한 가정은 실제 환경에서는 충족될 수 없다. 따라서, 학습 세트와 테스트 세트 사이의 영역 간격이 유의할 경우, 기존의 딥러닝은 불가피하게 성능 저하를 겪는다. 예를 들어, ID 사진과 같이 명확한 정면 이미지로 학습된 얼굴 인식 모델은 감시 카메라에서 캡처한 품질이 낮은 이미지를 인식할 때 낮은 정확도를 보인다[9].

학습과 테스트 세트 사이의 큰 영역 격차를 처리하는 한 가지 간단한 방법은 학습 과정 중에 테스트와 유사한 환경에서 얻은 레이블링된 데이터를 사용하는 것이다. 불행히도 그러한 풍부한 감독에는 막대한 주석 비용이 필요하며 실제 시나리오에서는 불가능한 경우가 많다[10]. 이 때문에 레이블이 부착된 소스 도메인(즉, 학습 세트)과 레이블이 부착되지 않은 타겟 도메인(즉, 테스트 세트) 사이의 도메인 격차를 줄이는 것을 목표로 하는 도메인 적응 [11]이 큰 주목을 받았다. 도메인 적응을 위한 여러 가지 방법이 제안되었는데, 이 방법은 두 가지 범주로 나눌 수 있다. 초기 연구의 대부분은 분포 일치[12], [13], [8], [14]를 기반으로 하며, 최근의 방법은 도메인 적대적 학습[11], [15], [16]을 활용한다. 전체적으로, 두 접근법 모두 [11], [17], [8], [18], [19] 두 도메인 사이의 불일치를 최소화함으로써 소스 도메인과 타겟 도메인의 공통 기본 요소를 발견하는 목표를 가지고 있다.

도메인 적응은 이미지 분류[20], 객체 감지[21], 의미 분할[22] 등 다양한 분야에 걸쳐 성공적인 응용 프로그램을 보여주었지만, 소스 도메인과 타겟 도메인이 동일한 레이블 세트[23], [11], [20], [24]을 공유하는 강력한 가정을 가지고 있다. 그러나 레이블이 지정되지 않은 타겟 데이터셋과 동일한 레이블 세트를 사용하여 관련 소스 데이터셋을 찾는 것은 매우 어려울 뿐만 아니라 부담스러운 일이다. 소스 및 타겟 도메인 간에 공유되는 동일한 레이블 세트를 처리하기 위해 타겟 레이블 세트가 소스 레이블 세트의 하위 세트이라고 가정하여 부분 도메인 적응(Partial Domain Adaptation; PDA) [16]이 도입된다. 이 시나리오의 실제적인 측면은 대규모 데이터셋을 소스 도메인으로 사용할 때, 예를 들어 ImageNet[25] 및 MS COCO[26]와 같은 거의 모든 문제에 도메인 적응을 적용할 수 있다는 것이다.

도 1은 종래기술에 따른 표준 도메인 적응과 PDA의 문제 설정을 나타내는 도면이다.

도 1(a)는 표준 도메인 적응의 문제 설정을 나타내고, 도 1(b)는 PDA의 문제 설정을 나타내는 도면이다. PDA의 핵심 난제 중 하나는 소스-프라이빗 클래스를 타겟 도메인에서 격리시켜 네거티브 전송을 막는 것이다. 여기서 '네거티브 전송'은 소스-프라이빗 클래스(Source-private Classes)(예를 들어, 도 1의 어류, 소)가 일반 클래스(예를 들어, 도 1의 개, 고양이, 새)와 이상적으로 격리되지만 특성 공간에 혼합된 상황을 말한다. 네거티브 전송을 완화하기 위해 초기 PDA는 [16], [15] 클래스 정보를 사용하여 각 소스 클래스가 목표 레이블 세트와 중복될 확률을 나타내는 레이블 공통성을 추정한다. 소스 분류기를 통한 타겟 샘플의 출력 확률은 소스 레이블 분포를 반영한다는 관측에 기초하여 타겟 샘플에 걸친 레이블 예측을 평균화하여 클래스별 가중치(즉, 클래스 레벨 레이블 공통성)를 추정한다. 그러나 이러한 접근법은 타겟 도메인의 샘플 분포에 크게 의존하므로 계층 불균형 문제에 취약하다[27]. 게다가 같은 클래스의 모든 샘플에 식별적 가중치를 할당함으로써 각 샘플의 특성을 무시할 수 있다. 따라서 최근의 PDA 방법 [27], [28]은 각 소스 샘플과 타겟 도메인 사이의 레이블 공통성을 추정하기 위한 샘플 레벨 접근방식을 추구한다. 이러한 기법은 보조 레이블 분류기 또는 보조 도메인 판별기의 출력을 활용하여 각 샘플에 대한 레이블 공통성을 얻는다.

샘플 레벨 PDA 방법[27], [28]의 유망한 결과에도 불구하고, 모델이 내부 및 영역 간 구조에서 관계를 학습할 수 있다면 성능은 더욱 향상될 수 있다고 주장한다. 영역 내 구조로 볼 때, 각 클래스 내의 샘플 변동은 심각한 네거티브 전달을 야기할 수 있다. 예를 들어, 일부 소스-프라이빗 샘플은 타겟 샘플과 멀리 떨어져 있어야 하며 특성 공간의 타겟 샘플 근처에 위치할 수 있다. 이러한 중요한 이상 샘플은 기존 샘플 레벨 접근방식으로 식별하기 어렵다. 또한 도메인 간 구조를 고려한다면 레이블 공통성이 높은 타겟 샘플과 소스 샘플이 보다 밀접하게 매핑될 수 있어 포지티브 전송을 촉진한다. 기존의 PDA 방법은 도메인 정렬 과정 중에 도메인 간 구조를 명시적으로 고려하지 않는다.

본 발명이 이루고자 하는 기술적 과제는 두 개의 전문 모듈로 구성된 적응형 그래프 적대적 네트워크(AGAN)를 제공하는데 있다. 적응형 클래스 관계 그래프 모듈은 적응형 특성 전달을 통해 영역 내 및 영역 간 구조를 활용하도록 설계되고, 보완적으로, 샘플 레벨 공통성 예측 모듈은 각 샘플의 공통성 점수를 계산한다.

일 측면에 있어서, 본 발명에서 제안하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법은 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계 및 적응형 클래스 관계형 그래프 모듈로부터 특성을 입력 받아 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 통해 레이블 공통성을 예측하는 단계를 포함한다.

적응형 클래스 관계형 그래프 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는 그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)을 통한 레이블 기반 전달을 이용하여 도메인 내 전달을 통해 각 소스-프라이빗 클래스에서 비교 이상 징후 샘플을 선택하고, 도메인 간 전달을 통해 레이블 공통성에 따른 타겟 샘플과 소스 샘플 간의 거리를 감소시킨다.

적응형 클래스 관계형 그래프 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는 클래스 관계 에지가 클래스 관계에 기초하여 소스 분류기에서 예측한 소프트 레이블을 사용하여 정의 되고, 적응형 이진 에지가 학습 중 점진적으로 진화하는 레이블 분류기의 특성을 반영하도록 하기 위해 현재 배치에서 소스 샘플의 평균 정확도가 임계값에 대한 참조로 사용된다.

적응형 클래스 관계형 그래프 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는 클래스 관계 에지와 적응형 이진 에지가 결합되어 클래스 기반 인접 매트릭스를 생성하고, 적응형 클래스 관계형 그래프 모듈은 각 샘플과 클래스 기반 인접 매트릭스의 특성 벡터를 이용하여 레이블 기반 전달을 통해 내부 구조를 파악하며, 클래스 구조를 이용하는 도메인 내 전달 및 소스 샘플과 타겟 샘플들 사이의 전달인 도메인 간 전달을 포함하는 두 가지 유형의 레이블별-메시지 전달을 수행한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치는 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈 및 적응형 클래스 관계형 그래프 모듈로부터 특성을 입력 받아 레이블 공통성을 예측하는 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 포함한다.

본 발명의 실시예들에 따르면 부분 도메인 적응 시나리오의 주요 문제인 네거티브 전송을 방지하기 위한 구조 인식 도메인 정렬을 제안한다. 제안하는 클래스 관계 에지와 적응형 이진 에지는 서로를 보완하며, 결국 공공 데이터셋에 걸친 기존 방법에 비해 상당한 성능 향상을 가져올 수 있다.

도 1은 종래기술에 따른 표준 도메인 적응과 PDA의 문제 설정을 나타내는 도면이다.
도 2는 종래기술에 따른 접근법의 한계와 본 발명의 실시예에 따른 AGAN의 핵심 아이디어를 설명한다.
도 3은 본 발명의 일 실시예에 따른 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법을 설명하기 위한 흐름도이다.

본 논문에서는 도메인 내부 및 도메인 간 구조를 활용하여 PDA 시나리오에서 네거티브 전송을 현저하게 줄일 수 있는 적응형 그래프 적대적 네트워크(Adaptive Graph Adversarial Networks; AGAN)를 제안한다.

도 2는 종래기술에 따른 접근법의 한계와 본 발명의 실시예에 따른 AGAN의 핵심 아이디어를 설명한다.

레이블 공통성 점수를 계산할 때 점선 윤곽선을 사용하여 관심 있는 샘플을 강조하여 나타내고, 밝기 제어를 통해 관심 샘플을 둘러싼 샘플의 영향을 나타낸다. 도 2(a)는 클래스 레벨 접근 방식이 각 샘플의 특성을 고려하지 않고 동일한 클래스의 모든 샘플에 동일한 레이블 공통성을 할당하는 것을 설명하기 위한 도면이고, 도 2(b)는 샘플 레벨 접근 방식이 특성 공간에서의 위치를 기반으로 각 샘플의 공통성을 측정하여 PDA 성능을 향상시키는 것을 설명하기 위한 도면이고, 도 2(c)는 본 발명의 실시예에 따른 모델이 도메인 내 및 도메인 간 전달을 통해 글로벌 고유 구조를 고려하여 공통성을 추정하는 것을 설명하기 위한 도면이다. 도 2(c)에 도시된 본 발명의 실시예에 따른 모델의 색상이 가장 잘 보이는 것을 확인할 수 있다.

도 2(c)와 같이 본 발명의 실시예에 따른 구조 인식 도메인 정렬을 위해 PDA 프레임워크에 그래프를 내장하고 있다. 노드와 에지의 정의는 그래프 기반 접근법이 비정형(즉, 비그래프) 입력을 처리할 때 가장 중요한 문제이다. 각 샘플을 하나의 노드로 취급하고 클래스 정보를 바탕으로 두 가지 유형의 새로운 에지를 제안한다. 첫 번째 에지 유형은 각 샘플의 클래스 레이블 사이의 유사성에 의해 정의된 클래스 관계 에지이다. 더욱 상세하게는, 소스 영역의 실측자료[ground truth] 레이블(즉, 원 핫 레이블)을 사용한다; 타겟 레이블 정보가 없기 때문에 레이블 분류기에 의해 예측된 소프트 레이블(즉, 확률적 레이블)을 사용한다. 결정적으로, 레이블 분류기가 학습의 초기 단계에서 덜 학습되기 때문에 예측 타겟 레이블은 신뢰할 수 없을 수 있다. 이 문제를 해결하기 위해, 학습 과정과 함께 진화하는 레이블 예측의 신뢰성을 고려하여 적응형 이진 에지를 제안한다. 마지막으로, 두 종류의 에지를 결합하여 내부 및 영역간 구조에서 관계를 배울 수 있는 신뢰할 수 있는 그래프 기반 프레임워크를 구축한다.

본 발명의 실시예에 따르면, 부분 도메인 적응 시나리오의 주요 문제인 네거티브 전송을 방지하기 위한 구조 인식 도메인 정렬을 제안한다. 제안하는 클래스 관계 에지와 적응형 이진 에지는 서로를 보완하며, 결국 공공 데이터셋에 걸친 기존 방법에 비해 상당한 성능 향상을 보여 준다.

본 발명은 타겟 레이블 세트가 소스 레이블 세트의 하위 세트인 부분 도메인 적응(Partial Domain Adaptation; PDA)을 다룬다. PDA의 핵심 난제는 소스-프라이빗 클래스(source-private class)를 격리시켜 네거티브 전송을 막는 것이다. 타겟 도메인에 대한 레이블 정보가 없으므로 PDA 방법은 소스 도메인과 타겟 도메인 사이의 레이블 공통성 점수를 추정해야 한다. 기존 접근방식은 부정적인 이전 문제를 완화하기 위해 클래스 레벨 또는 샘플 레벨 공통점을 사용한다. 그러나 클래스 레벨 방법은 각 샘플의 특성을 고려하지 않고 동일한 클래스의 모든 샘플에 동일한 레이블 공통성을 할당한다. 또한 최근 도입된 샘플 레벨 접근방식은 더 나은 성능을 보여주지만, 중대한 이상 샘플로 인해 여전히 네거티브 전송으로 인해 어려움을 겪고 있다. 이러한 한계를 해결하기 위해 본 발명에서는 두 개의 전문 모듈로 구성된 적응형 그래프 적대적 네트워크(AGAN)를 제안한다. 제안하는 적응형 클래스 관계 그래프 모듈은 적응형 특성 전달을 통해 영역 내 및 영역 간 구조를 활용하도록 설계된다. 보완적으로, 샘플 레벨 공통성 예측 모듈은 각 샘플의 공통성 점수를 계산한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도메인 적응은 공변량 이동[29]에 따른 서로 관련이 있지만 다른 두 도메인 사이의 불일치를 줄이는 것을 목표로 한다. 종래기술에 따른 여러 도메인 적응 연구에서 레이블이 부착된 소스 도메인에 대한 지식이 레이블이 부착되지 않은 타겟 도메인에 적용될 수 있다는 것을 발견했다. 최근의 기술에서 대부분의 심층 학습 방법은 기본 접근법에 따라 분류할 수 있다. 예를 들어, 최대 평균 불일치 [24], 메트릭 학습[30], 매트릭스 최적화[31], 도메인 적대적 학습[11], [17], [32], [18]. 이 중 도메인 적대적 학습[11]은 뛰어난 성능 향상과 복잡하지 않은 확장성 때문에 다양한 업무에 널리 사용되고 있다[33], [34], [18], [19], [35]. 비판적으로, 전형적인 도메인 적응 접근법은 소스 도메인과 타겟 도메인이 실제 어플리케이션에 엄격한 제약조건인 동일한 레이블 세트를 공유한다고 가정한다[15], [16].

부분 도메인 적응(PDA)은 표준 도메인 적응에서 동일한 공유 레이블 세트의 제약을 완화하기 위해 Cao[15], [16] 등이 처음 도입했다. 이 새로운 프로토콜에서 소스 레이블 세트는 타겟 레이블 세트를 완전히 덮을 수 있을 만큼 충분히 크다. 소스-프라이빗 클래스에 의해 야기되는 결정적인 부정적인 이전을 다루기 위해 Cao 등[16]은 클래스 레벨의 레이블 공통성을 추정할 수 있는 가중치 부여 메커니즘을 제안한다. 하지만, 이 접근방식은 클래스 수에 비례하여 도메인 판별기를 활용하기 때문에 확장성이 없다. 이 문제를 보완하면서, 단일 도메인 판별기로 단순하지만 효과적인 가중치 부여 메커니즘을 추가로 도입한다[15]. 요약하면, 초기 PDA 방법은 일반적으로 소스와 타겟 도메인 사이의 레이블 공통성을 추정하기 위해 클래스 레벨 가중치 메커니즘을 사용한다. 그러나 동일한 클래스의 모든 샘플에 동일한 레이블 공통성을 할당한다고 해서 각 샘플의 특성이 완전히 이용되는 것은 아니다. 또한 기존 클래스 레벨 접근법[16], [15]은 타겟 샘플에 걸친 평균 프로세스 때문에 클래스 불균형에 취약할 수 있다.

클래스 레벨 가중치 접근법의 몇 가지 한계를 해결하기 위해 Zhang 등[27]은 최근에 샘플 레벨 가중치 메커니즘을 도입하였다. 이들의 핵심 아이디어는 보조 도메인 판별기를 통해 각 샘플의 활성화를 샘플 레벨 레이블 공통성으로 활용하는 것이다. ETN(Example Transfer Network)[28]도 샘플 레벨 전송성에 차별적 정보를 적용하여 레이블 공통성의 품질을 더욱 향상시키는 것을 제안한다.

본 발명에서는 최근의 샘플 레벨 가중 메커니즘이 클래스 내 샘플 변동이 크고 도메인 간 고려가 부족하기 때문에 여전히 네거티브 전송으로 어려움을 겪고 있기 때문에 샘플 레벨 전송 가능성과 도메인 간 구조를 명시적으로 활용할 수 있는 클래스 레벨 특성 전달을 통합하여 이 문제를 해결한다. 이것은 도메인 내부 구조를 고려함으로써 네거티브 전송을 줄이고 도메인 간에서 포지티브 전송을 촉진한다.

비유클리드 공간[36], [37], [38], [39], [40] 에서 임의로 구조화된 데이터를 처리하기 위해 상당한 노력을 기울였다. Sperduti 등[41]은 먼저 신경망을 적용하여 구조화된 데이터를 지시된 반복 그래프처럼 처리한다. GNN(Graph Neural Networks)의 개념은 Gori 등 [42]에 의해 처음 확립되었고 [43]에서 일반화되었다. 초기 GNN 접근법은 재귀 신경망을 통과하는 메시지를 사용한다. 평형에 도달할 때까지 인접 노드 간에 상태를 전달한 다음 각 노드의 상태를 역전사로 업데이트한다. 반복적인 방법의 높은 계산 비용을 극복하기 위해 다양한 접근법 [36], [44], [45]이 제안되었다. 그 중에서도 그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)는 최근 연산 효율성과 확장성 때문에 큰 인기를 끌었다. GCN은 그리드 입력에서만 작동하는 기존의 콘볼루션 연산과 달리 [46], 에지 연결 노드 사이에서만 연속 전달을 수행한다. GCN은 그리드 데이터에서 그래프까지의 콘볼루션 연산을 일반화하도록 설계되었기 때문에 주로 소셜 네트워크의 구조화된 데이터[47]와 추천기 시스템[48]에 사용된다.

최근 컴퓨터 비전 작업에 그래프 콘볼루션을 적용하려는 시도가 여러 차례 있었다[49], [50], [51], [52], [53], [54], [35]. GCN을 비그래프 데이터에 적용할 때 중요한 문제는 노드 간의 연결성, 즉 에지를 정의하는 것이다. 예를 들어, [55], [56]은 사전 지식(개별 관절의 상대적 연결 속성)을 사용하여 에지를 정의하며, 제안된 방법의 에지는 학습이 가능하여 다양한 용도에 적용할 수 있음을 시사한다.

본 발명의 실시예에 따른 PDA 방법은 표준 도메인 적응을 위해 설계된 그래프 콘볼루션 적대적 망(Graph Convolutional Adversarial Net; GCAN)[35]과도 관련이 있다. GCAN은 각 노드의 특성 벡터 사이의 유사성을 기초로 에지를 정의한다. 그러나 이 접근방식은 [53]에서 언급한 노이즈 및 이상 샘플에 취약할 수 있다. 본 발명에서는 클래스 레이블의 유사성을 기반으로 적응 에지를 정의하는데, 이것은 도메인 내부 및 도메인 간 관계를 밝혀낼 수 있다. 그래프 모듈의 형상은 GCAN의 분류기로 직접 전달되기 때문에 추론 과정에서도 그래프를 구성할 수 있는 충분한 소스와 타겟 샘플이 필요하다. GCAN은 그래프 모듈의 출력을 레이블 분류기로 직접 전달하기 때문에 추론(즉, 테스트)에서도 그래프를 구성하기 위해서는 충분한 소스 및 타겟 샘플이 필요하다.

도 3은 본 발명의 일 실시예에 따른 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치를 나타내는 도면이다.

본 발명에서는 도 3과 같이 파이프라인에 보조 분류기를 사용함으로써 문제를 해결할 수 있다.

제안하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치는 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈(310) 및 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)(320)을 포함한다.

적응형 클래스 관계형 그래프 모듈(310)은 클래스 관계 에지(311) 및 적응형 이진 에지(312)를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습한다.

샘플 레벨 공통성 예측 모듈(320)을 통해 각 소스 샘플의 레이블 예측 불확실성과 도메인 예측을 기반으로 레이블 공통성 w(x_s)를 획득한다. 이후, 레이블 분류기(label classifier)(C) 및 적대적 도메인 식별기(adversarial domain discriminator)(D)에서 w(x_s)에 따라 각 샘플의 영향을 조정한다. 하지만, 샘플 레벨 가중치만으로는 클래스 내 변동으로 인한 부정적인 전달을 완화하기에 충분하지 않다. 이러한 문제를 해결하기 위해 유사한 레이블을 가진 샘플이 서로 통신하는 ACG(Adaptive Class-relational Graph)를 도입한다. 구체적으로 타겟 클래스 확률을 기반으로 두 가지 유형의 에지를 제안하고 결합한다. 이를 통해 더 강력한 기능 전달을 달성하고 라벨 공통성 점수를 정확하게 예측할 수 있다.

도메인 적응은 소스 샘플

와 타겟 샘플

가 서로 다르지만 밀접하게 관련된 확률 분포에서 추출된다고 가정한다[29]. 레이블이 지정된 소스 도메인

과 레이블이 지정되지 않은 타겟 도메인

사이의 불일치를 최소화하기 위해 도메인 적대적 학습[11]을 따른다.

도메인 적대적 학습의 핵심은 특징을 도메인-불변으로 만들면 레이블이 부착된 소스 샘플에 대해 학습된 분류기가 레이블이 부착되지 않은 타겟 샘플에 대해서도 신뢰할 수 있는 성능을 보여줄 수 있다는 것이다. 이를 위해 이 접근방식은 세 가지의 주요 플레이어를 활용한다. 첫째, 특성 추출기

는 입력 이미지를 특성 공간에 투영한다. 특성 추출기에는 두 개의 브랜치(branch)가 있다. 레이블이 부착된 소스 도메인에서 주어진 형상 벡터를 사용하여 레이블 분류기

는 차별적 표현을 학습한다. 반면에 도메인 판별기

는 각 샘플의 도메인 레이블을 식별하는 것을 목표로 한다. 여기서,

,

및

는 각 모듈의 매개변수를 나타낸다.

중요한 것은 특성 추출기와 도메인 판별기 사이의 최소-최대 게임(mini-max gam)을 통해 네트워크가 도메인 내 특성을 학습할 수 있게 한다는 점이다. 도메인 판별기는 특성 추출기가 도메인 판별기를 속이려고 하는 동안 샘플의 도메인 레이블을 분류하려고 시도한다. 이러한 대립 관계는 특성 공간의 소스 도메인과 타겟 도메인 사이의 불일치를 감소시킨다. 동시에 특성 추출기는 레이블 분류기와 함께 학습된다. 그 결과, 특징은 도메인-불변일 뿐만 아니라 차별화된다. 전체적인 학습 목표는 다음과 같이 수립할 수 있다.

여기서 p는 소스 도메인과 타겟 도메인을 포함한 전체 데이터셋의 분포를 나타내고, d는 도메인 레이블을 나타낸다. 또한

및

는 각각 레이블 분류기(예를 들어, 다항식)와 도메인 판별기(예를 들어, 로지스틱)에 대한 전통적인 손실 함수다. 매개변수

,

및

는 다음과 같은 최소-최대 최적화를 통해 평형에 도달한다.

도메인 적대적 학습은 소스와 타겟 레이블 세트가 동일한 표준 도메인 적응에서 좋은 결과를 보여주지만, 이 접근법은 PDA 시나리오에서 성능 저하를 보여준다. 소스-프라이빗 클래스를 고려하지 않고 도메인 적대적 학습을 적용하면 소스 클래스와 타겟 클래스 간에 바람직하지 않은 불일치가 발생할 수 있는데, 이를 네거티브 전송이라고 한다. 다음에서 소스 도메인과 타겟 도메인 간의 레이블 공통성을 예측하여 네거티브 전송을 방지할 수 있는 PDA 프레임워크를 설명한다.

본 발명의 실시예에 따른 PDA는 소스 도메인과 타겟 도메인 사이에 설정된 서로 다른 레이블로 도메인 이동 문제를 해결하는 것을 목표로 한다. 특히 PDA는 소스 클래스 레이블 세트가 타겟 레이블 세트(예를 들어,

)를 상쇄한다고 가정한다.

PDA의 소스-프라이빗 클래스로 인한 네거티브 전송을 처리하기 위해 도 3과 같이 적응형 그래프 적대적 네트워크(AGAN)를 제안한다.

본 발명에서는 상술된 전형적인 도메인 상대론적 프레임워크에 기초하여 두 개의 전문 모듈을 추가한다. 첫째, 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈은 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하도록 설계되었다. ACG의 특성을 입력으로 취함으로써 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)은 각 샘플의 공통성 점수 w(x_s)를 계산한다. 샘플 레벨에서 공통점수 w(x_s)를 얻으면 레이블 분류기 C와 적대적 도메인 판별기 D를 사용하여 다음과 같이 학습한다.

여기서 L_c와 L_d는 w(x_s)와 G(·)가 추가된 것을 제외하고 식(1)의 기존 도메인 적대적 학습 손실과 동일하다. w(x_s)가 높은 샘플은 타겟 도메인과 정렬되며, 공통성이 낮은 샘플은 타겟 도메인에서 격리된다. C는 ACG 모듈 G에서 특성을 얻는 D와는 달리 F 특성의 출력 형상을 직접 취한다는 점에 유의한다. 이 아키텍처 설계를 통해, 위에서 언급된 중요한 일괄 처리 방식의 그래프 추론 문제를 해결할 수 있다.

도 4는 본 발명의 일 실시예에 따른 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법을 설명하기 위한 흐름도이다.

제안하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법은 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전파를 통해 도메인 내 및 도메인 간 구조를 학습하는 단계(410) 및 적응형 클래스 관계형 그래프 모듈로부터 특성을 입력 받아 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 통해 레이블 공통성을 예측하는 단계(420)를 포함한다.

단계(410)에서, 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈에서 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전파를 통해 도메인 내 및 도메인 간 구조를 학습한다.

단계(410)에서, 그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)을 통한 레이블 기반 전파를 이용하여 도메인 내 전파를 통해 각 소스-프라이빗 클래스에서 비교 이상 징후 샘플을 선택하고, 도메인 간 전파를 통해 레이블 공통성에 따른 타겟 샘플과 소스 샘플 간의 거리를 감소시킨다.

이때, 클래스 관계 에지가 클래스 관계에 기초하여 소스 분류기에서 예측한 소프트 레이블을 사용하여 정의 되고, 적응형 이진 에지가 학습 중 점진적으로 진화하는 레이블 분류기의 특성을 반영하도록 하기 위해 현재 배치에서 소스 샘플의 평균 정확도가 임계값에 대한 참조로 사용된다.

클래스 관계 에지와 적응형 이진 에지가 결합되어 클래스 기반 인접 매트릭스를 생성하고, 적응형 클래스 관계형 그래프 모듈은 각 샘플과 클래스 기반 인접 매트릭스의 특성 벡터를 이용하여 레이블 기반 전파를 통해 내부 구조를 파악할 수 있다.

클래스 구조를 이용하는 도메인 내 전파 및 소스 샘플과 타겟 샘플들 사이의 전파인 도메인 간 전파를 포함하는 두 가지 유형의 레이블별-메시지 전파를 수행한다.

단계(420)에서, 적응형 클래스 관계형 그래프 모듈로부터 특성을 입력 받아 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 통해 레이블 공통성을 예측한다. 아래에서, 본 발명의 일 실시예에 따른 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법에 관하여 더욱 상세하게 설명한다.

본 발명의 실시예에 따른 ACG의 1차 목표는 레이블 기반 특성 전달을 통해 도메인 내부와 도메인 간 내부 구조를 모두 활용하는 것이다. 영역 내 전달을 통해 각 소스-프라이빗 클래스에서 비교 이상 징후 샘플을 선택할 수 있다. 또한 도메인 간 전달은 레이블 공통성이 높은 타겟 샘플과 소스 샘플 간의 거리를 줄여 양적인 전달을 용이하게 한다.

제안된 기법의 핵심은 그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)을 통한 레이블 기반 전달이다. 일반적으로 GCN은 해당 인접 매트릭스

과 함께 l번째 계층의 노드 특성

를 취하며 다음과 같이 노드 특성을

으로 업데이트한다.

여기서

은 학습가능한 완전 연결 l번째 계층을 나타내고

는 ReLU와 같은 활성화 함수이다.

는 자체 연결을 포함한 인접 매트릭스를 가리킨다.

는 디그리 매트릭스(degree matrix)이다. 전반적으로 그래프 콘볼루션은 연결된 노드들 사이에 반복적으로 특성을 전달함으로써 내부 구조를 학습할 수 있다.

비그래프 입력에 그래프 기반 접근 방식을 적용할 때 노드 및 인접 매트릭스를 정의하는 것은 매우 중요한 문제이다. 특성 추출기 F에서 얻은 각 특성을 노드로 사용한다. 에지는 여러 가지 방법으로 정의할 수 있으며, 본 발명에서는 클래스 관계 에지 E_c와 적응형 이진 에지 E_b의 두 가지 유형의 에지를 제안한다. 클래스 관계 에지는 유사한 클래스 확률을 가진 노드 간에 통신하도록 그래프 기반 모듈을 안내한다. 레이블 분류기

를 사용하여 타겟 도메인에 대해 예측된 소프트 레이블을 사용한다는 점에 유의한다. 그러나, 학습의 초기 단계에서는 레이블 분류기가 덜 학습되어 있어 신뢰할 수 없는 예측을 산출할 수 있다. 신뢰할 수 있는 결과를 얻기 위해 신뢰할 수 없는 타겟 노드를 처리할 수 있는 적응형 이진 에지를 도입한다.

선행 연구 [35], [49]는 특성 유사성(예를 들어, 코사인 유사성)을 기반으로 에지를 정의한다. 그러나 특성 기반 에지는 노이즈와 아웃라이어(outliers)에 민감하여 그래프 기반 연산으로 내부 구조를 밝히기 어렵다. 이전의 방법과는 다르게, 본 발명에서는 클래스 관계를 바탕으로 에지를 계산한다. 본 발명에서는 소스 도메인, 즉, 원핫 벡터(one-hot vector)에서 실측자료 레이블을 사용한다. 타겟 레이블은 PDA에 제공되지 않기 때문에 소스 분류기 C에서 예측한 소프트 레이블을 사용한다. 따라서 클래스 기반 인접 매트릭스의 각 요소를 다음과 같이 정의할 수 있다.

클래스 관계 에지 유형을 단독으로 사용하는 데는 몇 가지 제한이 있다. 타겟 샘플의 확률은 학습 초기 단계에서 매우 불확실하다. 또한 일부 타겟 샘플은 잘못된 클래스에 대한 확률이 높아 그래프 기반 학습 절차가 악화된다. 이런 상황에서는 신뢰도가 특정 임계값보다 높은 타겟 샘플만 필터링할 수 있다. 단, 이러한 고정-임계 전략은 학습 중에 점진적으로 진화하는 레이블 분류기의 특성을 반영하지 않는다. 위의 문제를 해결하기 위해 본 발명에서는 현재 배치에서 소스 샘플의 평균 정확도가 임계값에 대한 참조로 사용되는 적응형 이진 에지를 제안한다. 각 학습 반복 t에 대하여 다음과 같이 배치 B에 대한 샘플 샘플의 평균 정확도를 계산한다.

여기서 N_B는 배치 샘플의 수이고

는 두 입력이 같을 경우 1을 출력하고 서로 다를 경우 0을 출력하는 지표 함수이다. 일괄 처리 방식의 정확도를 크게 변화시키면 학습 과정이 불안정해지고 결과적으로 수행 능력이 저하될 수 있다. 반복 단계에 대해 지수 이동 평균을 적용하여 이 문제를 해결한다.

여기서

(0, 1)은 모멘텀 계수이다. 소스 샘플

의 평균 정확도를 기반으로 적응 임계값을 계산한다.

여기서

는 임계값을 조정하는 계수다. 학습이 진행됨에 따라 소스 샘플의 정확도가 증가하고 결과적으로 임계값도 증가한다. 마지막으로 다음과 같이 식(8) 및 식(9)와 유사한 방법으로 이진 에지를 갖는 인접 매트릭스

를 구성할 수 있다.

마지막으로, 신뢰할 수 있는 클래스 관계 에지를 위해 클래스 관계 에지와 적응형 이진 에지를 결합하여 강력한 클래스 기반 인접 매트릭스를 생성한다.

가 요소별 곱을 나타낸다는 점에 유의한다. 그 결과, 본 발명에서 제안하는 ACG 모듈은 각 샘플과

의 특성 벡터를 취하여 레이블 기반 전달을 수행하여 내부 구조를 파악한다. ACG에서 전달하는 동안, 두 가지 유형의 레이블별-메시지 전달이 있다: 하나는 도메인 내부 전달과 도메인 간 전달이다. 도메인 내 전달은 본질적인 클래스 구조를 이용하는 것을 목표로 한다. 소스 도메인에서 동일한 클래스의 노드는 하드 에지로 연결된다. 반면, 타겟 도메인의 에지는 예측 확률론적 레이블에서 생성되어 타겟 샘플들 사이에 부드러운 연계가 형성된다. 이것은 각 클래스 내 샘플 변형을 처리할 수 있게 해준다.

더 중요한 것은, 도메인 간 전달은 소스와 타겟 샘플들 사이에 명시적으로 의사소통함으로써 긍정적인 전달을 용이하게 한다는 점이다. [15], [16]에서 언급한 바와 같이, 레이블 분류기를 통해 소스 샘플을 분류하면 공통 클래스에 대한 확률이 높고 소스-프라이빗 클래스에 대한 확률은 낮다. 따라서 강한 에지를 가지는 타겟 샘플에 연결된 소스 샘플이 공통 클래스일 가능성이 높다. 에지 값에 기초한 GCN의 메시지 전달 프로세스[57], [58]를 통해 각 노드는 자체 정보뿐만 아니라 그래프에 연결된 다른 샘플의 특징도 포함하고 있다. 이 컨텍스트 인식 특성은 도메인 정렬 프로세스의 주요 부분인 판별기에 공급된다. 본 발명에서는 GCN을 사용하는 것이 네거티브 전송을 감소시킬 뿐만 아니라 포지티브 전송을 촉진한다는 것을 실험적으로 확인하였다. 다시 말해 '네거티브 전송'은 소스-프라이빗 클래스가 이상적으로 공통 클래스와 격리되나 특성 공간에 섞여 있는 상황을 가리키며, '포지티브 전송'은 이상적인 상황을 가리킨다.

ACG 모듈을 통과하는 클래스 관계형 특징을 고려하여 SCP 모듈은 w(x_s)의 샘플 레벨 공통성 w(x_s)를 계산한다. 종래기술 [28], [27], [59]를 참조하여, 보조 레이블 분류기 C''의 레이블 예측 불확실성 및 보조 도메인 판별기 D'의 도메인 예측을 사용하여 w(x_s)를 획득하며, 다음과 같이 학습한다.

여기서

와

는 식(1)와 같은 종래의 손실 함수이다. 분류기 C''은 레이블이 부착된 소스 샘플을 사용하여 학습되기 때문에 C'에 의한 타겟 샘플 예측의 엔트로피는 소스 샘플의 엔트로피보다 높은 값을 가질 가능성이 있다. 더욱이 레이블 공통성이 높은 소스 샘플은 대개 소스-프라이빗 클래스보다 엔트로피가 더 높도록 판별기D에 의해 타겟 도메인과 혼동된다. 한편, D'은 소스 샘플을 1로 예측하고 타겟 샘플을 0으로 예측하는 학습을 받는다. D'은 D와 달리 비적대적 도메인 판별기임을 유의한다. 소스-프라이빗 클래스에 속하는 샘플의 도메인 예측이 공통 클래스에 비해 높을 것으로 기대할 수 있다. 이러한 관찰을 통해 다음과 같은 레이블 공통성을 공식화할 수 있다.

여기서

이다. 샘플 레벨 가중치만으로는 이상 징후 샘플을 처리할 수 없기 때문에 ACG가 클래스 기반 메시지 전달을 통해 전달된 특징을 바탕으로 공통성을 계산한다(도 3 참조).

알고리즘 1은 전체 손실 함수를 공식화할 수 있는 제안된 AGAN의 전체 학습 과정을 다음과 같이 요약한다.

여기서

과

는 절충 매개변수이고

는 매개변수 세트이다. 도메인 적대적 학습 접근법[11]에서와 같이, 제안된 AGAN은 다음과 같이 새들 포인트 매개변수를 찾는 미니맥스 최적화 문제로 해결할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

<참조문헌>

[1] Ren, S., He, K., Girshick, R., Sun, J.: Faster r-cnn: Towards real-time object detection with region proposal networks. In: Proc. of Neural Information Processing Systems (NeurIPS). (2015) 91-99

[2] He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2016) 770-778

[3] Chen, L.C., Papandreou, G., Kokkinos, I., Murphy, K., Yuille, A.L.: Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. IEEE Trans. on Pattern Anal. Mach. Intell. (TPAMI) 40(4) (2017) 834-848

[4] Hong, S., Im, W., Yang, H.S.: Cbvmr: content-based video-music retrieval using soft intra-modal structure constraint. In: ACM Int'l Conf. on Multimedia Retrieval (ICMR). (2018) 353-361

[5] Kim, Y., Choi, S., Lee, H., Kim, T., Kim, C.: Rpm-net: Robust pixellevel matching networks for self-supervised video object segmentation. In: Proc. of Winter Conference on Applications of Computer Vision (WACV). (2020) 2057-2065

[6] Feichtenhofer, C., Fan, H., Malik, J., He, K.: Slowfast networks for video recognition. In: Proc. of Int'l Conf. on Computer Vision (ICCV). (2019) 6202-6211

[7] Lee, H., Choi, S., Kim, Y., Kim, C.: Bilinear siamese networks with background suppression for visual object tracking. In: British Machine Vision Conf. (BMVC), Springer (2019)

[8] Long, M., Zhu, H., Wang, J., Jordan, M.I.: Unsupervised domain adaptation with residual transfer networks. In: Proc. of Neural Information Processing Systems (NeurIPS). (2016) 136-144

[9] Hong, S., Ryu, J.: Unsupervised face domain transfer for low-resolution face recognition. IEEE Signal Process. Lett. (SPL) (2019)

[10] Wilson, G., Cook, D.J.: A survey of unsupervised deep domain adaptation. ACM Transactions on Intelligent Systems and Technology (TIST) 11(5) (2020) 1-46

[11] Ganin, Y., Lempitsky, V.: Unsupervised domain adaptation by backpropagation. Proc. of Int'l Conf. on Machine Learning (ICML) (2015) 1180-1189

[12] Tzeng, E., Hoffman, J., Zhang, N., Saenko, K., Darrell, T.: Deep domain confusion: Maximizing for domain invariance. arXiv preprint arXiv:1412.3474 (2014)

[13] Long, M., Cao, Y., Wang, J., Jordan, M.I.: Learning transferable features with deep adaptation networks. Proc. of Int'l Conf. on Machine Learning (ICML) (2015) 97-105

[14] Zellinger, W., Grubinger, T., Lughofer, E., Natschlager, T., Saminger-Platz, ¨ S.: Central moment discrepancy (cmd) for domain-invariant representation learning. (2017)

[15] Cao, Z., Ma, L., Long, M., Wang, J.: Partial adversarial domain adaptation. In: Proc. of European Conf. on Computer Vision (ECCV). (2018) 135- 150

[16] Cao, Z., Long, M., Wang, J., Jordan, M.I.: Partial transfer learning with selective adversarial networks. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2018) 2724-2732

[17] Sun, B., Saenko, K.: Deep coral: Correlation alignment for deep domain adaptation. In: Proc. of European Conf. on Computer Vision (ECCV), Springer (2016) 443-450

[18] Xie, S., Zheng, Z., Chen, L., Chen, C.: Learning semantic representations for unsupervised domain adaptation. In: Proc. of Int'l Conf. on Machine Learning (ICML). (2018) 5423-5432

[19] Chang, W.G., You, T., Seo, S., Kwak, S., Han, B.: Domain-specific batch normalization for unsupervised domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2019) 7354-7362

[20] Hong, S., Im, W., Ryu, J., Yang, H.S.: Sspp-dan: Deep domain adaptation network for face recognition with single sample per person. In: IEEE Int'l Conf. on Image Processing (ICIP), IEEE (2017) 825-829

[21] Hsu, H.K., Yao, C.H., Tsai, Y.H., Hung, W.C., Tseng, H.Y., Singh, M., Yang, M.H.: Progressive domain adaptation for object detection. In: Proc. of Winter Conference on Applications of Computer Vision (WACV). (2020) 749-757

[22] Tsai, Y.H., Hung, W.C., Schulter, S., Sohn, K., Yang, M.H., Chandraker, M.: Learning to adapt structured output space for semantic segmentation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2018) 7472-7481

[23] Xie, G.S., Zhang, X.Y., Yan, S., Liu, C.L.: Hybrid cnn and dictionarybased models for scene recognition and domain adaptation. ACM Trans. on Circuits and Systems for Video Technology. (CSVT) 27(6) (2015) 1263-1274

[24] Zhang, L., Wang, P., Wei, W., Lu, H., Shen, C., van den Hengel, A., Zhang, Y.: Unsupervised domain adaptation using robust class-wise matching. ACM Trans. on Circuits and Systems for Video Technology. (CSVT) 29(5) (2018) 1339-1349

[25] Deng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L.: Imagenet: A large-scale hierarchical image database. In: Proc. of Computer Vision and Pattern Recognition (CVPR), Ieee (2009) 248-255

[26] Lin, T.Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P., Zitnick, C.L.: Microsoft coco: Common objects in context. In: ´ Proc. of European Conf. on Computer Vision (ECCV), Springer (2014) 740-755

[27] Zhang, J., Ding, Z., Li, W., Ogunbona, P.: Importance weighted adversarial nets for partial domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2018) 8156-8164

[28] Cao, Z., You, K., Long, M., Wang, J., Yang, Q.: Learning to transfer examples for partial domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2019) 2985-2994

[29] Sugiyama, M., Krauledat, M., MA?? zller, K.R.: Covariate shift adaptation ¡ by importance weighted cross validation. Journal of Machine Learning Research. (JMLR) 8(May) (2007) 985-1005

[30] Deng, W., Zheng, L., Sun, Y., Jiao, J.: Rethinking triplet loss for domain adaptation. IEEE Transactions on Circuits and Systems for Video Technology (2020)

[31] Li, J., Wu, Y., Lu, K.: Structured domain adaptation. IEEE Transactions on Circuits and Systems for Video Technology 27(8) (2016) 1700-1713

[32] Bousmalis, K., Silberman, N., Dohan, D., Erhan, D., Krishnan, D.: Unsupervised pixel-level domain adaptation with generative adversarial networks. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2017) 3722-3731

[33] Bousmalis, K., Trigeorgis, G., Silberman, N., Krishnan, D., Erhan, D.: Domain separation networks. In: Proc. of Neural Information Processing Systems (NeurIPS)

[34] Tzeng, E., Hoffman, J., Saenko, K., Darrell, T.: Adversarial discriminative domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2017) 7167-7176

[35] Ma, X., Zhang, T., Xu, C.: Gcan: Graph convolutional adversarial network for unsupervised domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2019) 8266-8276

[36] Bruna, J., Zaremba, W., Szlam, A., LeCun, Y.: Spectral networks and locally connected networks on graphs. (2014)

[37] Henaff, M., Bruna, J., LeCun, Y.: Deep convolutional networks on graph-structured data. arXiv preprint arXiv:1506.05163 (2015)

[38] Duvenaud, D.K., Maclaurin, D., Iparraguirre, J., Bombarell, R., Hirzel, T., Aspuru-Guzik, A., Adams, R.P.: Convolutional networks on graphs for learning molecular fingerprints. In: Proc. of Neural Information Processing Systems (NeurIPS). (2015) 2224-2232

[39] Li, Y., Tarlow, D., Brockschmidt, M., Zemel, R.: Gated graph sequence neural networks. (2016)

[40] Kipf, T.N., Welling, M.: Semi-supervised classification with graph convolutional networks. (2017)

[41] Sperduti, A., Starita, A.: Supervised neural networks for the classification of structures. IEEE Trans.on Neural Networks (TNN) 8(3) (1997) 714- 735

[42] Gori, M., Monfardini, G., Scarselli, F.: A new model for learning in graph domains. In: Proc. of Int'l Joint Conf. on Neural Networks. Volume 2., IEEE (2005) 729-734 JOURNAL OF LATEX CLASS FILES 11

[43] Scarselli, F., Gori, M., Tsoi, A.C., Hagenbuchner, M., Monfardini, G.: The graph neural network model. IEEE Trans.on Neural Networks (TNN) 20(1) (2008) 61-80

[44] Defferrard, M., Bresson, X., Vandergheynst, P.: Convolutional neural networks on graphs with fast localized spectral filtering. In: Proc. of Neural Information Processing Systems (NeurIPS). (2016) 3844-3852

[45] Niepert, M., Ahmed, M., Kutzkov, K.: Learning convolutional neural networks for graphs. In: Proc. of Int'l Conf. on Machine Learning (ICML). (2016) 2014-2023

[46] Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Proc. of Neural Information Processing Systems (NeurIPS). (2012) 1097-1105

[47] Tang, L., Liu, H.: Relational learning via latent social dimensions. In: Proc. of Int'l Conf. on Knowledge Discovery and Data Mining. (KDD). (2009) 817-826

[48] Ying, R., He, R., Chen, K., Eksombatchai, P., Hamilton, W.L., Leskovec, J.: Graph convolutional neural networks for web-scale recommender systems. In: Proc. of Int'l Conf. on Knowledge Discovery and Data Mining. (KDD). (2018) 974-983

[49] Guo, B., Hou, C., Nie, F., Yi, D.: Semi-supervised multi-label dimensionality reduction. In: IEEE Int'l Conf. on Data Mining (ICDM), IEEE (2016) 919-924

[50] Qi, X., Liao, R., Jia, J., Fidler, S., Urtasun, R.: 3d graph neural networks for rgbd semantic segmentation. In: Proc. of Int'l Conf. on Computer Vision (ICCV). (2017) 5199-5208

[51] Chen, X., Li, L.J., Fei-Fei, L., Gupta, A.: Iterative visual reasoning beyond convolutions. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2018) 7239-7248

[52] Qi, S., Wang, W., Jia, B., Shen, J., Zhu, S.C.: Learning human-object interactions by graph parsing neural networks. In: Proc. of European Conf. on Computer Vision (ECCV). (2018) 401-417

[53] Wang, L., Ding, Z., Fu, Y.: Adaptive graph guided embedding for multilabel annotation. In: Proc. of Int'l Joint Conf. on Artificial Intelligence. (2018) 2798-2804

[54] Chen, Z.M., Wei, X.S., Wang, P., Guo, Y.: Multi-label image recognition with graph convolutional networks. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2019) 5177-5186

[55] Song, Y.F., Zhang, Z., Shan, C., Wang, L.: Richly activated graph convolutional network for robust skeleton-based action recognition. IEEE Transactions on Circuits and Systems for Video Technology (2020)

[56] Guo, S., Rigall, E., Qi, L., Dong, X., Li, H., Dong, J.: Graph-based cnns with self-supervised module for 3d hand pose estimation from monocular rgb. IEEE Transactions on Circuits and Systems for Video Technology (2020)

[57] Maron, H., Ben-Hamu, H., Serviansky, H., Lipman, Y.: Provably powerful graph networks. In: Advances in Neural Information Processing Systems. (2019) 2156-2167

[58] Xu, K., Hu, W., Leskovec, J., Jegelka, S.: How powerful are graph neural networks? arXiv preprint arXiv:1810.00826 (2018)

[59] You, K., Long, M., Cao, Z., Wang, J., Jordan, M.I.: Universal domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2019) 2720-2729

[60] Saenko, K., Kulis, B., Fritz, M., Darrell, T.: Adapting visual category models to new domains. In: Proc. of European Conf. on Computer Vision (ECCV), Springer (2010) 213-226

[61] Venkateswara, H., Eusebio, J., Chakraborty, S., Panchanathan, S.: Deep hashing network for unsupervised domain adaptation. In: Proc. of Computer Vision and Pattern Recognition (CVPR). (2017) 5018-5027

[62] Peng, X., Usman, B., Kaushik, N., Hoffman, J., Wang, D., Saenko, K.: Visda: The visual domain adaptation challenge. arXiv preprint arXiv:1710.06924 (2017)

[63] Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., et al.: Imagenet large scale visual recognition challenge. Int'l Journal of Computer Vision (IJCV) 115(3) (2015) 211-252

[64] Li, S., Liu, C.H., Lin, Q., Wen, Q., Su, L., Huang, G., Ding, Z.: Deep residual correction network for partial domain adaptation. IEEE Trans. on Pattern Anal. Mach. Intell. (TPAMI) (2020)

[65] Griffin, G., Holub, A., Perona, P.: Caltech-256 object category dataset. (2007)

[66] Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. (2015)

[67] Glorot, X., Bengio, Y.: Understanding the difficulty of training deep feedforward neural networks. In: Proceedings of the thirteenth international conference on artificial intelligence and statistics. (2010) 249-256

[68] Maaten, L.v.d., Hinton, G.: Visualizing data using t-sne. Journal of Machine Learning Research. (JMLR) 9(Nov) (2008) 2579-2605

[69] Li, G., Muller, M., Thabet, A., Ghanem, B.: Deepgcns: Can gcns go as deep as cnns? In: Proc. of Int'l Conf. on Computer Vision (ICCV). (2019) 9267-9276

[70] Li, Q., Han, Z., Wu, X.M.: Deeper insights into graph convolutional networks for semi-supervised learning. (2018)

Claims (8)

1. 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈 및 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 포함하는 장치의 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법에 있어서,
   적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈을 통해 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계; 및
   적응형 클래스 관계형 그래프 모듈로부터 적응형 특성을 입력 받아 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)을 통해 레이블 공통성을 예측하는 단계
   를 포함하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법.
2. 제1항에 있어서,
   적응형 클래스 관계형 그래프 모듈을 통해 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는,
   그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)을 통한 레이블 기반 전달을 이용하여 도메인 내 전달을 통해 각 소스-프라이빗 클래스에서 비교 이상 징후 샘플을 선택하고, 도메인 간 전달을 통해 레이블 공통성에 따른 타겟 샘플과 소스 샘플 간의 거리를 감소시키는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법.
3. 제1항에 있어서,
   적응형 클래스 관계형 그래프 모듈을 통해 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는,
   클래스 관계 에지가 클래스 관계에 기초하여 소스 분류기에서 예측한 소프트 레이블을 사용하여 정의 되고,
   적응형 이진 에지가 학습 중 점진적으로 진화하는 레이블 분류기의 특성을 반영하도록 하기 위해 현재 배치에서 소스 샘플의 평균 정확도가 임계값에 대한 참조로 사용되는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법.
4. 제1항에 있어서,
   적응형 클래스 관계형 그래프 모듈을 통해 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 단계는,
   클래스 관계 에지와 적응형 이진 에지가 결합되어 클래스 기반 인접 매트릭스를 생성하고,
   적응형 클래스 관계형 그래프 모듈은 각 샘플과 클래스 기반 인접 매트릭스의 특성 벡터를 이용하여 레이블 기반 전달을 통해 도메인 내 및 도메인 간 구조를 파악하며,
   클래스 구조를 이용하는 도메인 내 전달 및 소스 샘플과 타겟 샘플들 사이의 전달인 도메인 간 전달을 포함하는 두 가지 유형의 레이블별-메시지 전달을 수행하는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 방법.
5. 클래스 관계 에지 및 적응형 이진 에지를 결합하고, 클래스 정보를 기반으로 한 적응형 특성 전달을 통해 도메인 내 및 도메인 간 구조를 학습하는 적응형 클래스 관계형 그래프(Adaptive Class-relational Graph; ACG) 모듈; 및
   적응형 클래스 관계형 그래프 모듈로부터 적응형 특성을 입력 받아 레이블 공통성을 예측하는 샘플 레벨 공통성 예측 모듈(Sample-level Commonness Predictor; SCP)
   을 포함하는 적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치.
6. 제5항에 있어서,
   적응형 클래스 관계형 그래프 모듈은,
   그래프 콘볼루션 네트워크(Graph Convolutional Networks; GCN)을 통한 레이블 기반 전달을 이용하여 도메인 내 전달을 통해 각 소스-프라이빗 클래스에서 비교 이상 징후 샘플을 선택하고, 도메인 간 전달을 통해 레이블 공통성에 따른 타겟 샘플과 소스 샘플 간의 거리를 감소시키는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치.
7. 제5항에 있어서,
   적응형 클래스 관계형 그래프 모듈은,
   클래스 관계 에지를 클래스 관계에 기초하여 소스 분류기에서 예측한 소프트 레이블을 사용하여 정의하고,
   적응형 이진 에지를 학습 중 점진적으로 진화하는 레이블 분류기의 특성을 반영하도록 하기 위해 현재 배치에서 소스 샘플의 평균 정확도를 임계값에 대한 참조로 사용하는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치.
8. 제5항에 있어서,
   적응형 클래스 관계형 그래프 모듈은,
   클래스 관계 에지와 적응형 이진 에지가 결합되어 클래스 기반 인접 매트릭스를 생성하고,
   적응형 클래스 관계형 그래프 모듈은 각 샘플과 클래스 기반 인접 매트릭스의 특성 벡터를 이용하여 레이블 기반 전달을 통해 도메인 내 및 도메인 간 구조를 파악하며,
   클래스 구조를 이용하는 도메인 내 전달 및 소스 샘플과 타겟 샘플들 사이의 전달인 도메인 간 전달을 포함하는 두 가지 유형의 레이블별-메시지 전달을 수행하는
   적응형 그래프 기반 적대적 네트워크의 샘플 레벨 공통성 예측 장치.

Images