KR20240081554A - 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치 - Google Patents

복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치 Download PDF

Info

Publication number
KR20240081554A
KR20240081554A KR1020220163803A KR20220163803A KR20240081554A KR 20240081554 A KR20240081554 A KR 20240081554A KR 1020220163803 A KR1020220163803 A KR 1020220163803A KR 20220163803 A KR20220163803 A KR 20220163803A KR 20240081554 A KR20240081554 A KR 20240081554A
Authority
KR
South Korea
Prior art keywords
data
self
loss
supervised learning
learning
Prior art date
Application number
KR1020220163803A
Other languages
English (en)
Inventor
박대영
배경민
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020220163803A priority Critical patent/KR20240081554A/ko
Publication of KR20240081554A publication Critical patent/KR20240081554A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치를 개시한다. 일실시예에 따른 비대조적 자기지도 학습 방법은 입력받은 데이터에 대한 제1 증강 데이터 및 제2 증강 데이터를 획득하는 단계, 상기 제1 증강 데이터를 온라인망에 상기 제2 증강 데이터를 타겟망에 각각 전달하는 단계, 상기 온라인망의 예측 값과 상기 타겟망의 투영 값간의 유사도를 계산하는 단계, 상기 온라인망으로부터 얻은 복원 데이터와 상기 입력받은 데이터를 통해 복원 손실을 계산하는 단계, 상기 유사도 및 상기 복원 손실을 이용하여 계산된 총 손실에 따라 모델을 학습하는 단계를 포함할 수 있다.

Description

복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치{METHOD AND APPARATUS OF NON-CONTRASTIVE SELF-SUPERVISED LEARNING USING RECONSTRUCTION REGULARIZER}
아래의 설명은 비대조적 자기 지도학습 방법에 관한 것으로, 서로 다른 데이터로부터 딥러닝 모델이 추출한 특징이 같아지는 현상을 방지하여 종래 기술로부터 학습된 모델의 성능을 높이는 학습 방법에 관한 것이다.
딥러닝 모델을 학습하기 위해 전통적으로 지도(Supervised) 학습 또는 비지도(Unsupervised) 학습을 적용하였다. 그러나 지도 학습을 적용하기 위해서는 정답 데이터가 필요하기 때문에 구현 비용이 증가한다. 그리고 비지도 학습 방법은 정답 데이터가 필요 없지만 계산 복잡도가 높으며 지도 학습보다 성능이 낮다. 최근, 이러한 단점을 보완하기 위해 컴퓨터가 스스로 정답 데이터를 만들어 지도 학습을 수행하는 자기지도 학습(Self-supervised Learning)방법을 적용하는 추세를 보인다. 이 방법은 대조적 학습과 비대조적 학습으로 학습된 모델의 성능이 좋다는 것이 알려져 있다. 대조적 학습은 같은 데이터의 특징은 가깝게 다른 데이터의 특징은 멀도록 학습하는 방법이다. 이 방법을 수행하기 위해 많은 데이터가 필요하고 각 데이터 간 모든 유사도를 계산해야 하므로 계산 복잡도가 매우 높다. 한편, 비대조적 학습 방법은 온라인망과 타겟망으로 구성되고 온라인망의 출력이 타겟망의 출력을 예측하여 모델을 학습하는 방법이다. 이는 데이터에 각각에 대하여 학습을 진행하기 때문에 모든 유사도를 계산할 필요가 없어 대조적 학습보다 비교적 적은 데이터로 학습이 가능하며 계산 복잡도가 낮다. 그러나 비대조적 자기지도 학습방법에는 모든 데이터 중 각기 데이터에 대해서만 학습을 진행하기 때문에 비교할 데이터의 부재로 학습된 모델이 서로 다른 데이터들에 대해 비슷한 특징을 추출하는 붕괴 현상이 발생할 수 있다는 단점이 존재한다.
[선행문헌번호]
한국공개특허 제10-2022-0021973호
딥러닝 모델이 데이터로부터 추출한 특징을 다시 원본 데이터로 복원하는 작업을 통해, 모델로부터 얻은 서로 다른 데이터의 특징이 비슷해 지는 것을 방지하고, 분류 학습의 성능을 높이는 방법 및 장치를 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 비대조적 자기지도 학습 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 입력받은 데이터에 대한 제1 증강 데이터 및 제2 증강 데이터를 획득하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 제1 증강 데이터를 온라인망에 상기 제2 증강 데이터를 타겟망에 각각 전달하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 온라인망의 예측 값과 상기 타겟망의 투영 값간의 유사도를 계산하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 온라인망으로부터 얻은 복원 데이터와 상기 입력받은 데이터를 통해 복원 손실을 계산하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 유사도 및 상기 복원 손실을 이용하여 계산된 총 손실에 따라 모델을 학습하는 단계를 포함하는 비대조적 자기지도 학습 방법을 제공한다.
일측에 따르면, 상기 복원 손실을 계산하는 단계는, 상기 온라인망의 예측 값을 상기 온라인망이 포함하는 디코더로 복원하여 획득한 복원 데이터와 상기 입력받은 데이터간의 차이에 기반하여 상기 복원 손실을 계산하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 모델을 학습하는 단계는, 상기 복원 손실을 비대조적 학습에 사용되는 손실함수의 정규화기로 이용하여 상기 모델을 학습하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 모델을 학습하는 단계는, 상기 유사도 및 상기 복원 손실의 가중합에 기초하여 상기 총 손실을 계산하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 모델을 학습하는 단계는, 기울기 하강법을 이용하여 상기 총 손실이 최소화되도록 상기 모델을 학습하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 온라인망은 비대조적 학습에 사용되는 순차적으로 연결된 인코더, 투영 레이어, 예측 레이어 및 디코더를 포함하고, 상기 온라인망의 예측 값은 상기 예측 레이어의 출력을 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 타겟망은 비대조적 학습에 사용되는 순차적으로 연결된 인코더, 투영 레이어 및 기울기 여과기를 포함하고, 상기 타겟망의 투영 값은 상기 기울기 여과기의 출력을 포함하는 것을 특징으로 할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터 장치에 있어서, 상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 입력받은 데이터에 대한 제1 증강 데이터 및 제2 증강 데이터를 획득하고, 상기 제1 증강 데이터를 온라인망에 상기 제2 증강 데이터를 타겟망에 각각 전달하고, 상기 온라인망의 예측 값과 상기 타겟망의 투영 값간의 유사도를 계산하고, 상기 온라인망으로부터 얻은 복원 데이터와 상기 입력받은 데이터를 통해 복원 손실을 계산하고, 상기 유사도 및 상기 복원 손실을 이용하여 계산된 총 손실에 따라 모델을 학습하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
기존 비대조적 자기지도 학습방법은 하나의 데이터로부터 얻은 두 개의 증강 데이터의 특징을 가깝게 하므로 서로 다른 데이터의 특징들이 서로 겹치는 붕괴 현상이 발생할 수 있다. 본 발명의 실시예들에서는 붕괴 현상을 해결하기 위해 디코더를 사용하여 이미지를 복원하고 복원된 데이터를 원본 데이터와 차이를 줄이는 정규화기를 기존 비대조적 자기지도학습 방법의 손실함수에 적용할 수 있다. 만약 붕괴 현상이 발생할 경우, 복원 데이터와 원본 데이터의 차이는 커지게 되므로 정규화기를 통해 붕괴 현상을 방지할 수 있다.
온라인망과 타겟망으로 구성된 비대조적 자기지도 학습방법에 있어서, 데이터를 복원하는 온라인망에 추가된 디코더의 출력과 원본 데이터의 차이를 측정하고 측정된 차이를 기존의 손실함수에 정규화기로서 사용하여 모델을 학습할 수 있다.
도 1은 본 발명의 일실시예에 따른 자기지도 학습 장치의 내부 구성의 예를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 온라인망과 타겟망의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 자기지도 학습의 전반적인 과정의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 자기지도 학습 방법의 예를 도시한 흐름도이다.
도 6은 종래의 비대조적 자기지도 학습 방법으로 학습한 모델에 대한 표현공간의 예를 나타내고 있다.
도 7은 본 발명의 일실시예에 따른 비대조적 자기지도 학습 방법으로 학습한 모델에 대한 표현공간의 예를 나타내고 있다.
도 8은 본 발명의 일실시예와 종래 기술에 있어서 CIFAR-10 데이터에서 정확도를 비교한 예를 도시한 도면이다.
도 9는 본 발명의 일실시예와 종래 기술에 있어서, CIFAR-100 데이터에서 정확도를 비교한 예를 도시한 도면이다.
도 10은 본 발명의 일실시예와 종래 기술에서 있어서, ImageNet-100 데이터에서 정확도를 비교한 예를 도시한 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시예들에 따른 비대조적 자기지도 학습 장치는 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 비대조적 자기지도 학습 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 비대조적 자기지도 학습 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
본 발명은 종래의 비대조적 자기 지도학습 방법에서 데이터를 복원하는 작업을 추가하여 서로 다른 데이터의 특징 값이 같아지는 것을 방지하는 방안을 제공한다.
도 1의 실시예에 따른 비대조적 자기 지도학습 장치(100)는 입력부(101), 증강부(102), 온라인망(103) 및 타겟망(104)을 포함할 수 있다. 입력부(101)에서 입력받은 하나의 데이터 는 증강부(102)로 입력될 수 있고, 증강부(102)는 데이터 를 증강하여 증강된 두 개의 데이터 를 출력할 수 있다. 이때, 증강된 두 개의 데이터 는 각각 온라인망(103)과 타겟망(104)에 입력될 수 있다. 일례로, 데이터 는 온라인망(103)에 데이터 는 타겟망(104)에 입력될 수 있다. 이때, 비대조적 자기 지도학습 장치(100)에서는 증강된 서로 다른 데이터를 입력받은 온라인망(103)의 제1 출력과 타겟망(104)의 제2 출력이 서로 같아지도록 온라인망(103)과 타겟망(104)에 대한 학습이 진행될 수 있다.
도 2를 참조하여 온라인망(103)과 타겟망(104)의 구성에 대해서 상세하게 살펴보도록 한다. 먼저, 온라인망(103)의 인코더(200) 는 데이터를 입력 받아 상대적으로 낮은 차원의 특징을 추출할 수 있다. 학습 후, 인코더(200)는 실제 하고자 하는 작업에 사용될 수 있다. 인코더(200)로부터 추출된 특징은 투영 레이어(201) 를 통해 유사도의 계산이 용이한 차원으로 보내지며, 투영 레이어(201)는 2층 심층 신경망의 구조로 구성될 수 있다. 이때, 2층 심층 신경망의 각 층의 차원은 동일하여 차원축소는 일어나지 않는다. 투영 레이어(201)의 출력 은 예측 레이어(202) 를 통과하여 얻은 출력 과, 타겟망(104)의 출력 을 예측할 수 있다. 예측 레이어(202)는 입력층, 은닉층 및 출력층을 포함하는 3층 신경망으로 구성될 수 있다. 투영 레이어(201)와 유사하게 입력층과 출력층의 차원은 동일하여 차원축소는 일어나지 않지만, 은닉층의 차원은 입력층과 출력층에 비해 작은 차원으로 병목 구조를 가질 수 있다. 예측 레이어(202)의 출력은 디코더(203) 를 통과하여 원본 데이터 를 복원()할 수 있다. 그리고 타겟망(104)은 인코더(204), 투영 레이어(205) 및 기울기 여과기(206)를 포함할 수 있으며, 이때 인코더(204) 및 투영 레이어(205)는 온라인망(103)의 인코더(200) 및 투영 레이어(201)의 동일한 구조를 가질 수 있다. 한편, 기울기 여과기(206)는 학습할 때 기울기를 이용하여 타겟망(104)의 파라미터를 갱신하는 것을 방지하는 역할을 할 수 있다.
다음으로 도 3을 참조하여 손실함수에 대해서 상세하게 살펴보도록 한다. 전술한 바와 같이 종래의 비대조적 자기지도 학습방법은 온라인망(103)에서 예측 레이어(202)의 출력과 타겟망(104)의 출력이 같아지도록 학습을 진행한다. 여기서 같아지는 것을 측정하기 위해 유사도 처리부(300)는 온라인망(103)의 예측 레이어(202)의 출력과 타겟망(104)의 출력의 유사도를 아래 수학식 1과 같이 계산할 수 있다.
[수학식 1]
그리고 타겟망(104)의 기울기 여과기(206)를 반영하여 유사도를 아래 수학식 2와 같이 표현할 수 있다.
[수학식 2]
그러나 유사도만을 이용하여 모델(일례로, 딥러닝 모델)을 학습하게 된다면 서로 다른 데이터의 특징 값이 같아지는 붕괴 현상이 발생할 수 있다. 이러한 현상을 해소하고자 복원 손실 처리부(301)에서 온라인망(103)의 디코더(203)의 출력 값과 입력부(101)의 출력의 차이인 복원 손실을 측정할 수 있다. 이후, 계산된 유사도와 복원 손실을 모두 활용하여 얻어지는 전체 손실을 이용하여 모델을 학습함으로써, 서로 다른 데이터의 특징 값이 같아지는 붕괴 현상을 방지할 수 있다.
도 4는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이고, 도 5는 본 발명의 일실시예에 따른 자기지도 학습 방법의 예를 도시한 흐름도이다. 컴퓨터 장치(Computer device, 400)는 도 4에 도시된 바와 같이, 메모리(Memory, 410), 프로세서(Processor, 420), 통신 인터페이스(Communication interface, 430) 그리고 입출력 인터페이스(I/O interface, 440)를 포함할 수 있다. 메모리(410)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(410)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(400)에 포함될 수도 있다. 또한, 메모리(410)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(410)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(410)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(430)를 통해 메모리(410)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(Network, 460)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(400)의 메모리(410)에 로딩될 수 있다.
프로세서(420)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(410) 또는 통신 인터페이스(430)에 의해 프로세서(420)로 제공될 수 있다. 예를 들어 프로세서(420)는 메모리(410)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(430)는 네트워크(460)를 통해 컴퓨터 장치(400)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(400)의 프로세서(420)가 메모리(410)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(430)의 제어에 따라 네트워크(460)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(460)를 거쳐 컴퓨터 장치(400)의 통신 인터페이스(430)를 통해 컴퓨터 장치(400)로 수신될 수 있다. 통신 인터페이스(430)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(420)나 메모리(410)로 전달될 수 있고, 파일 등은 컴퓨터 장치(400)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(440)는 입출력 장치(I/O device, 450)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(440)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(450) 중 적어도 하나는 컴퓨터 장치(400)와 하나의 장치로 구성될 수도 있다. 예를 들어, 스마트폰과 같이 터치스크린, 마이크, 스피커 등이 컴퓨터 장치(400)에 포함된 형태로 구현될 수 있다.
또한, 다른 실시예들에서 컴퓨터 장치(400)는 도 4의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(400)는 상술한 입출력 장치(450) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
본 실시예에 따른 비대조적 자기지도 학습 방법은 비대조적 자기지도 학습 장치(100)를 구현하는 컴퓨터 장치(400)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(400)의 프로세서(420)는 메모리(410)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(420)는 컴퓨터 장치(400)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(400)가 도 5의 방법이 포함하는 단계들(510 내지 560)을 수행하도록 컴퓨터 장치(400)를 제어할 수 있다.
단계(510)에서 컴퓨터 장치(400)는 데이터 에 대하여 증강 데이터 를 획득할 수 있다. 일례로, 앞서 비대조적 자기지도 학습 장치(100)의 입력부(101)가 입력받은 데이터 를 증강부(102)가 증강하여 증강 데이터 를 출력할 수 있음을 설명한 바 있다.
단계(520)에서 컴퓨터 장치(400)는 증강 데이터 를 온라인망과 타겟망에 전달할 수 있다. 일례로, 앞서 증강 데이터 를 온라인망으로, 증강 데이터 를 타겟망으로 각각 전달할 수 있음을 설명한 바 있다.
단계(530)에서 컴퓨터 장치(400)는 온라인망의 예측 값 와 타겟망의 투영 값 의 유사도를 계산할 수 있다. 일례로, 앞서 유사도 처리부(300)에서 수학식 1을 통해 유사도를 계산하는 예를 설명한 바 있다.
단계(540)에서 컴퓨터 장치(400)는 온라인망으로부터 얻은 복원 데이터 와 원본 데이터 를 통해 복원 손실을 계산할 수 있다. 일례로, 앞서 예측 레이어(202)의 출력이 디코더(203) 를 통과하여 원본 데이터 를 복원()할 수 있음을 설명하였다. 이때, 복원 손실 처리부(301)는 복원 데이터 와 원본 데이터 를 통해 복원 손실을 계산할 수 있다. 이러한 복원 손실은 MSE(Mean Square Error)를 통해 아래 수학식 3과 같이 디코더(203)의 출력값과 원본 데이터의 차이인 정규화기로서 도입될 수 있다.
[수학식 3]
단계(550)에서 컴퓨터 장치(400)는 유사도와 복원 손실을 이용하여 총 손실을 계산할 수 있다. 일례로, 총 손실은 유사도와 복원 손실의 가중합에 의해 계산될 수 있다.
단계(560)에서 컴퓨터 장치(400)는 총 손실에 대하여 기울기 하강법을 이용하여 모델을 학습할 수 있다. 일례로, 컴퓨터 장치(400)는 기울기 하강법을 이용하여 총 손실을 최소화하도록 모델을 학습할 수 있다.
도 6은 종래의 비대조적 자기지도 학습 방법으로 학습한 모델에 대한 표현공간의 예를 나타내고 있고, 도 7은 본 발명의 일실시예에 따른 비대조적 자기지도 학습 방법으로 학습한 모델에 대한 표현공간의 예를 나타내고 있다. 보다 구체적으로, 도 6 및 도 7은 학습된 각 모델에 대해, 온라인망(103)의 인코더(200)의 출력을 2차원으로 변환시킨 표현공간을 나타내고 있다. 이때, 종래의 비대조적 자기지도 학습 방법으로 학습한 모델의 표현공간보다 본 발명의 일실시예에 따른 비대조적 자기지도 학습 방법으로 학습한 모델의 표현공간에서 점들이 색상별로 모여 있어 붕괴 현상이 다소 해소된 것을 확인할 수 있다.
도 8은 CIFAR-10 데이터를 이용하여 학습한 본 발명의 일실시예에 따른 모델(Auto-SimSam)과 종래기술에 따라 학습된 모델들에 대한 정확도를 나타내고 있다. 다른 종래기술에 따라 학습된 모델들보다 본 발명의 일실시예에 따른 모델의 정확도가 높은 것을 알 수 있으며 그 중 가장 높은 정확도를 보인 종래의 모델보다 1.58%p 높은 것을 확인할 수 있다. 이 결과를 통해 앞서 설명한 붕괴현상을 해소함에 따라 모델이 데이터를 보다 잘 표현하고 있다는 것을 알 수 있다.
도 9는 CIFAR-100 데이터를 이용하여 학습한 본 발명의 일실시예에 따른 모델과 종래기술에 따라 학습된 모델들에 대한 정확도를 나타내고 있다. 도 8에서와 동일하게 다른 종래기술에 따라 학습된 모델들보다 본 발명의 일실시예에 따른 모델의 정확도가 더 높은 것을 알 수 있다. 그리고 가장 높은 정확도를 보인 종래의 모델보다 본 발명의 정확도가 0.7%p 높은 것을 확인할 수 있다.
도 10은 ImageNet-100 데이터를 이용하여 학습한 본 발명의 일실시예에 따른 모델과 종래기술에 따라 학습된 모델들에 대한 정확도를 나타내고 있다. 도 8 및 도 9에서와 동일하게 다른 종래기술에 따라 학습된 모델들보다 본 발명의 일실시예에 따른 모델의 정확도가 더 높은 것을 알 수 있다. 그리고 가장 높은 정확도를 보인 종래의 모델보다 본 발명의 정확도가 2.39%p 높은 것을 확인할 수 있다.
이처럼, 도 6 내지 도 10을 통해 정규화기를 사용하여 표현공간에서의 붕괴 현상을 해소하고 이를 통해 모델의 성능이 개선됨을 알 수 있다.
이상에서 설명한 바와 같이 기존 비대조적 자기지도 학습방법은 하나의 데이터로부터 얻은 두 개의 증강 데이터의 특징을 가깝게 하므로 서로 다른 데이터의 특징들이 서로 겹치는 붕괴 현상이 발생할 수 있다. 반면, 본 발명의 실시예들에 따르면, 붕괴 현상을 해결하기 위해 디코더를 사용하여 이미지를 복원하고 복원된 데이터를 원본 데이터와 차이를 줄이는 정규화기를 기존 비대조적 자기지도학습 방법의 손실함수에 적용할 수 있다. 이 경우, 만약 붕괴 현상이 발생하더라도 복원 데이터와 원본 데이터의 차이가 커지게 되므로 정규화기를 통해 붕괴 현상을 방지할 수 있다. 예를 들어, 온라인망과 타겟망으로 구성된 비대조적 자기지도 학습방법에 있어서, 데이터를 복원하는 온라인망에 추가된 디코더의 출력과 원본 데이터의 차이를 측정하고 측정된 차이를 기존의 손실함수에 정규화기로서 사용하여 모델을 학습할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 비대조적 자기지도 학습 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 입력받은 데이터에 대한 제1 증강 데이터 및 제2 증강 데이터를 획득하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 제1 증강 데이터를 온라인망에 상기 제2 증강 데이터를 타겟망에 각각 전달하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 온라인망의 예측 값과 상기 타겟망의 투영 값간의 유사도를 계산하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 온라인망으로부터 얻은 복원 데이터와 상기 입력받은 데이터를 통해 복원 손실을 계산하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 유사도 및 상기 복원 손실을 이용하여 계산된 총 손실에 따라 모델을 학습하는 단계
    를 포함하는 비대조적 자기지도 학습 방법.
  2. 제1항에 있어서,
    상기 복원 손실을 계산하는 단계는,
    상기 온라인망의 예측 값을 상기 온라인망이 포함하는 디코더로 복원하여 획득한 복원 데이터와 상기 입력받은 데이터간의 차이에 기반하여 상기 복원 손실을 계산하는 것을 특징으로 하는 비대조적 자기지도 학습 방법.
  3. 제1항에 있어서,
    상기 모델을 학습하는 단계는,
    상기 복원 손실을 비대조적 학습에 사용되는 손실함수의 정규화기로 이용하여 상기 모델을 학습하는 것을 특징으로 하는 비대조적 자기지도 학습 방법.
  4. 제1항에 있어서,
    상기 모델을 학습하는 단계는,
    상기 유사도 및 상기 복원 손실의 가중합에 기초하여 상기 총 손실을 계산하는 것을 특징으로 하는 비대조적 자기지도 학습 방법.
  5. 제1항에 있어서,
    상기 모델을 학습하는 단계는,
    기울기 하강법을 이용하여 상기 총 손실이 최소화되도록 상기 모델을 학습하는 것을 특징으로 하는 비대조적 자기지도 학습 방법.
  6. 제1항에 있어서,
    상기 온라인망은 비대조적 학습에 사용되는 순차적으로 연결된 인코더, 투영 레이어, 예측 레이어 및 디코더를 포함하고,
    상기 온라인망의 예측 값은 상기 예측 레이어의 출력을 포함하는 것
    을 특징으로 하는 비대조적 자기지도 학습 방법.
  7. 제1항에 있어서,
    상기 타겟망은 비대조적 학습에 사용되는 순차적으로 연결된 인코더, 투영 레이어 및 기울기 여과기를 포함하고,
    상기 타겟망의 투영 값은 상기 기울기 여과기의 출력을 포함하는 것
    을 특징으로 하는 비대조적 자기지도 학습 방법.
  8. 컴퓨터 장치와 결합되어 제1항 내지 제7항 중 어느 한 항의 방법을 상기 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장되는 컴퓨터 프로그램.
  9. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  10. 컴퓨터 장치에 있어서,
    상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    입력받은 데이터에 대한 제1 증강 데이터 및 제2 증강 데이터를 획득하고,
    상기 제1 증강 데이터를 온라인망에 상기 제2 증강 데이터를 타겟망에 각각 전달하고,
    상기 온라인망의 예측 값과 상기 타겟망의 투영 값간의 유사도를 계산하고,
    상기 온라인망으로부터 얻은 복원 데이터와 상기 입력받은 데이터를 통해 복원 손실을 계산하고,
    상기 유사도 및 상기 복원 손실을 이용하여 계산된 총 손실에 따라 모델을 학습하는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020220163803A 2022-11-30 2022-11-30 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치 KR20240081554A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220163803A KR20240081554A (ko) 2022-11-30 2022-11-30 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220163803A KR20240081554A (ko) 2022-11-30 2022-11-30 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240081554A true KR20240081554A (ko) 2024-06-10

Family

ID=91482654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220163803A KR20240081554A (ko) 2022-11-30 2022-11-30 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240081554A (ko)

Similar Documents

Publication Publication Date Title
CN110506260B (zh) 用于神经网络环境中的增强数据处理的方法、系统和介质
US10169084B2 (en) Deep learning via dynamic root solvers
US20210295168A1 (en) Gradient compression for distributed training
US11450096B2 (en) Systems and methods for progressive learning for machine-learned models to optimize training speed
US11954755B2 (en) Image processing device and operation method thereof
US20230316080A1 (en) Sparsity masking methods for neural network training
KR20220042455A (ko) 마이크로-구조화된 가중치 프루닝 및 가중치 통합을 이용한 신경 네트워크 모델 압축을 위한 방법 및 장치
CN113424203A (zh) 图像处理设备及其操作方法
KR20240009759A (ko) 영상 복원 방법 및 장치
KR20210083624A (ko) 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치
WO2018135516A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体
US20220405561A1 (en) Electronic device and controlling method of electronic device
KR20240081554A (ko) 복원 정규화기를 이용한 비대조적 자기지도 학습 방법 및 장치
US20230046448A1 (en) Method and system for changing structure of deep learning model based on change in input resolution
CN115688917A (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
KR20220120924A (ko) 영상 분할 장치 및 방법
KR102681076B1 (ko) 개인화 디바이스에서 최적의 조건으로 구동될 생성 모델을 구성하기 위한 방법 및 시스템
US11755883B2 (en) Systems and methods for machine-learned models having convolution and attention
US20240028899A1 (en) Stickification using anywhere padding to accelerate data manipulation
US20230112862A1 (en) Leveraging Redundancy in Attention with Reuse Transformers
EP4303768A1 (en) Method and apparatus for multi-task processing
KR102674091B1 (ko) 이미지 익명화를 위한 방법 및 장치
KR20240088505A (ko) 안정적인 양자화 후 학습을 위한 기울기 클리핑 방법 및 시스템
KR20230123309A (ko) 프루닝 방법 및 장치
KR20240052411A (ko) 계산 효율성을 고도화한 고성능 객체 탐지 방법 및 시스템