KR102446720B1 - 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법 - Google Patents

이미지 복원 모델, 및 이미지 복원 모델의 학습 방법 Download PDF

Info

Publication number
KR102446720B1
KR102446720B1 KR1020220021156A KR20220021156A KR102446720B1 KR 102446720 B1 KR102446720 B1 KR 102446720B1 KR 1020220021156 A KR1020220021156 A KR 1020220021156A KR 20220021156 A KR20220021156 A KR 20220021156A KR 102446720 B1 KR102446720 B1 KR 102446720B1
Authority
KR
South Korea
Prior art keywords
image
feature
encoder
decoder
reconstructed
Prior art date
Application number
KR1020220021156A
Other languages
English (en)
Inventor
정재원
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020220021156A priority Critical patent/KR102446720B1/ko
Priority to KR1020220118445A priority patent/KR20230124462A/ko
Application granted granted Critical
Publication of KR102446720B1 publication Critical patent/KR102446720B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

본 출원의 일 실시예에 따른 이미지 복원 모델의 학습 방법은, 엔코더를 통하여, 앵커 이미지(anchor image)로부터 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 단계; 디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 획득하고 상기 제2 피처로부터 제2 복원 이미지를 획득하는 단계; 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계; 및 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 포함한다.

Description

이미지 복원 모델, 및 이미지 복원 모델의 학습 방법{AN IMAGE RECONSTRUCTION MODEL, AND A TRAINING METHOD OF THE IMAGE RECONSTRUCTION MODEL}
본 출원은 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법에 관한 것이다. 구체적으로 본 출원은 메트릭 러닝(metric learning)을 통한 이미지 복원 모델의 학습 방법, 및 이미지 복원 모델에 관한 것이다.
인공지능 기술이 발전하면서 다양한 산업 분야에서 인공지능 기술들이 활용되고 있다. 특히, 이커머스 분야에서는 인공지능 기법을 이용하여 사용자가 선호하는 상품이나 상품에 대응되는 이미지 검색하거나 추천해주는 기술들이 활발하게 연구되고 있다.
종래의 메트릭 러닝(metric learning)은 인공신경망을 통하여 이미지로부터 피처를 추출하고, 피처 공간 상에서 피처들 간의 거리와 관련된 함수를 이용하여 인공신경망에 대한 훈련을 수행하였다. 다만, 종래의 메트릭 러닝 기법은 정밀하게 이미지를 검색하기 위한 강인한 피처를 추출하는 것에 한계가 존재하였다.
이에, 검색 기능에 특화된 피처를 추출하기 위한 개선된 메트릭 러닝 기법의 개발이 요구된다.
본 발명이 해결하고자 하는 일 과제는, 검색 기능에 특화된 피처를 추출하는 이미지 복원 모델 및 이미지 복원 모델의 학습 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 검색 기능에 특화된 피처를 추출하면서도 이미지 복원을 수행할 수 있는 이미지 복원 모델 및 이미지 복원 모델의 학습 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따른 이미지 복원 모델의 학습 방법은, 엔코더를 통하여, 앵커 이미지(anchor image)로부터 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 단계; 디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 생성하고 상기 제2 피처로부터 제2 복원 이미지를 생성하는 단계; 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계; 및 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 포함할 수 있다.
본 출원의 일 실시예에 따른 이미지 복원 모델은, 앵커 이미지(anchor image)에 기초하여 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 엔코더; 및 상기 제1 피처에 기초하여 제1 복원 이미지를 생성하고 상기 제2 피처에 기초하여 제2 복원 이미지를 생성하는 디코더;를 포함하되, 상기 엔코더 또는 상기 디코더는, 상기 제1 피처 및 상기 제2 피처에 기초하여, 상기 제1 피처와 상기 제2 피처가 피처 공간 상에서 가까워지도록 갱신되며, 상기 엔코더 또는 상기 디코더는, 상기 앵커 이미지와 상기 제1 복원 이미지 간의 차이와 관련된 제1 손실함수, 또는 상기 포지티브 이미지와 상기 제2 복원 이미지 간의 차이와 관련된 제2 손실함수에 기초하여 갱신됨으로써 학습될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 실시예에 따른 이미지 복원 모델, 이를 이용한 이미지 복원 방법, 및 이미지 복원 장치에 의하면, 이미지의 피처로부터 복원된 복원 이미지와 원본 이미지 간의 차이에 기반한 손실함수를 이용하여 이미지 복원 모델을 훈련시킴으로써, 이미지 검색 기능에 특화된 강인한 피처를 획득할 수 있다.
본 출원의 실시예에 따른 이미지 복원 모델, 이를 이용한 이미지 복원 방법, 및 이미지 복원 장치에 의하면, 훈련이 완료된 이미지 복원 모델을 통하여 추출된 강인한 피처를 이용하여 이미지 검색의 정확도를 증대시킬 수 있다.
본 출원의 실시예에 따른 이미지 복원 모델, 이를 이용한 이미지 복원 방법, 및 이미지 복원 장치에 의하면, 이미지를 복원하는 디코더를 훈련시킴으로써, 이미지 검색을 위한 피처를 추출하면서도 이미지를 복원할 수 있는 효과를 제공할 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 이미지 복원 장치에 관한 개략도이다.
도 2는 본 출원의 일 실시예에 따른 이미지 복원 모델을 훈련시키는 일 양상을 도시한 개략도이다.
도 3은 본 출원의 다른 실시예에 따른 이미지 복원 모델을 훈련시키는 일 양상을 도시한 개략도이다.
도 4는 본 출원의 일 실시예에 따른 이미지 복원 모델을 훈련시키는 방법을 도시한 순서도이다.
도 5는 본 출원의 다른 실시예에 따른 이미지 복원 모델을 훈련시키는 방법을 도시한 순서도이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 실시예에 따른 이미지 복원 모델의 학습 방법은, 엔코더를 통하여, 앵커 이미지(anchor image)로부터 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 단계; 디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 획득하고 상기 제2 피처로부터 제2 복원 이미지를 획득하는 단계; 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계; 및 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는, 상기 제1 복원 이미지와 상기 앵커 이미지의 차이에 기초하여 제1 손실함수를 획득하는 단계; 상기 제2 복원 이미지와 상기 포지티브 이미지의 차이에 기초하여 제2 손실함수를 획득하는 단계; 및 상기 제1 손실함수 및 상기 제2 손실함수 중 적어도 하나를 상기 엔코더 및 상기 디코더 중 적어도 하나에 부여하여, 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는, 피처 공간 상에서 상기 제1 피처와 상기 제2 피처가 가까워지도록 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 엔코더를 통하여, 앵커 이미지로부터 제1 피처를 추출하고 포지티브 이미지에 기초하여 제2 피처를 추출하는 단계는, 상기 엔코더를 통하여, 네거티브 이미지(negative image)로부터 제3 피처를 추출하는 단계를 더 포함하고, 상기 디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 획득하고 상기 제2 피처로부터 제2 복원 이미지를 획득하는 단계는, 상기 제3 피처로부터 제3 복원 이미지를 획득하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는, 상기 제3 복원 이미지와 상기 네거티브 이미지의 차이에 기초하여 제3 손실함수를 획득하는 단계; 및 상기 제3 손실함수를 상기 엔코더 및 상기 디코더 중 적어도 하나에 부여하여, 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는, 피처 공간 상에서 상기 제1 피처와 상기 제3 피처가 멀어지도록 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 이미지 복원 모델의 학습 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 출원의 일 실시예에 따른 이미지 복원 모델은, 앵커 이미지(anchor image)에 기초하여 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 엔코더; 및 상기 제1 피처에 기초하여 제1 복원 이미지를 생성하고 상기 제2 피처에 기초하여 제2 복원 이미지를 생성하는 디코더;를 포함하되, 상기 엔코더 또는 상기 디코더는, 상기 제1 피처 및 상기 제2 피처에 기초하여, 상기 제1 피처와 상기 제2 피처가 피처 공간 상에서 가까워지도록 갱신되며, 상기 엔코더 또는 상기 디코더는, 상기 앵커 이미지와 상기 제1 복원 이미지 간의 차이와 관련된 제1 손실함수, 또는 상기 포지티브 이미지와 상기 제2 복원 이미지 간의 차이와 관련된 제2 손실함수에 기초하여 갱신됨으로써 학습될 수 있다.
이하에서는 도 1 내지 도 5를 참고하여 본 출원의 실시예들에 따른 이미지 복원 모델, 이미지 복원 모델을 이용한 이미지 복원 방법, 및 이미지 복원 장치(혹은 이미지 복원 서버, 이하 이미지 복원 장치로 지칭)에 관하여 설명한다.
도 1은 본 출원의 일 실시예에 따른 이미지 복원 장치에 관한 개략도이다.
본 출원의 일 실시예에 따른 이미지 복원 장치(1000)는 복수의 이미지에 기초하여 이미지를 복원하는 이미지 복원 모델(100)을 학습시키는 동작을 수행할 수 있다.
본 출원의 일 실시예에 따른 이미지 복원 장치(1000)는 송수신부(1100), 메모리(1200), 및 프로세서(1300)를 포함할 수 있다.
송수신부(1100)는 사용자 단말을 포함한 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 이미지 복원 장치(1000)는, 송수신부(1100)를 통해, 이미지 복원 모델을 훈련시키기 위한 이미지 세트를 획득할 수 있다. 또한, 이미지 복원 장치(1000)는, 송수신부(1100)를 통해, 이미지 복원 모델(100)을 실행시키기 위한 임의의 실행 데이터를 획득할 수 있다. 여기서 실행 데이터는 이미지 복원 모델(100)의 구조 정보, 계층 정보, 연산 라이브러리, 및 이미지 복원 모델(100)에 포함된 가중치와 관련된 파라미터 세트를 포함하여 이미지 복원 모델(100)을 실행시키기 위한 임의의 적절한 데이터를 포괄하는 의미일 수 있다. 또한, 이미지 복원 장치(1000)는, 송수신부(1100)를 통하여, 이미지 복원 모델(100)을 통하여 획득한 복원 이미지 및/또는 피처를 사용자 단말을 포함한 임의의 외부 기기로 송신하거나 출력할 수 있다.
이미지 복원 장치(1000)는, 송수신부(1100)를 통해 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1100)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 이미지 복원 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.
메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 이미지 복원 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 이미지 복원 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 이미지 복원 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 이미지 복원 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.
프로세서(1300)는 이미지 복원 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 이미지 복원 모델(100)을 학습시키는 동작 및/또는 이미지 복원 모델(100)을 이용하여 복원 이미지 및/또는 피처를 획득하는 동작 등을 포함하여 이미지 복원 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 이미지 복원 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
이하에서는 도 2를 참고하여, 본 출원의 일 실시예에 따른 이미지 복원 모델(100)의 구조와 이미지 복원 모델(100)의 학습 방법에 대하여 구체적으로 서술한다. 도 2는 본 출원의 일 실시예에 따른 상품 이미지 생성 모델(100)을 훈련시키는 일 양상을 도시한 개략도이다.
본 출원의 일 실시예에 따른 이미지 복원 모델(100)은 적어도 하나 이상의 이미지로부터 피처를 추출하는 엔코더(110) 및 추출된 피처로부터 복원 이미지를 생성하는 디코더(120)로 구성된 오토엔코더(autoencoder)를 포함할 수 있다.
엔코더(110)는 적어도 하나 이상의 이미지로부터 피처를 추출할 수 있다. 일 예로, 엔코더(110)는 제1 이미지를 획득하고, 제1 이미지로부터 제1 피처(예, 도 2의 피처 a)를 추출할 수 있다. 예컨대, 제1 이미지는 앵커 이미지(anchor image)일 수 있다. 이때, 앵커 이미지는, 메트릭 러닝과 관련하여 기준이 되는 이미지를 지칭하는 의미일 수 있다. 다른 예로, 엔코더(110)는 제2 이미지를 획득하고, 제2 이미지로부터 제2 피처(예컨대, 도 2의 피처 p)를 추출할 수 있다. 예컨대, 제2 이미지는 포지티브 이미지(positive image)일 수 있다. 이때, 포지티브 이미지는 앵커 이미지와 동일한 클래스에 속하는 이미지를 지칭하는 의미일 수 있다.
디코더(120)는 엔코더(110)로부터 추출된 적어도 하나의 피처로부터 이미지를 복원하는 동작을 수행할 수 있다. 구체적으로 디코더(120)는 엔코더(110)로부터 추출된 적어도 하나의 피처로부터 복원 이미지를 생성하도록 구성될 수 있다. 일 예로, 디코더(120)는 제1 피처(예, 도 2의 피처 a)로부터 제1 복원 이미지를 생성할 수 있다. 다른 예로, 디코더(120)는 제2 피처(예, 도 2의 피처 p)로부터 제2 복원 이미지를 생성할 수 있다.
이때, 엔코더(110) 또는 디코더(120) 중 적어도 하나는, 디코더(120)를 통하여 생성된 복원 이미지와 복원 이미지에 대응되는 원본 이미지 간의 차이에 기초하여 갱신될 수 있다. 구체적으로 이미지 복원 장치(1000)는 디코더(120)를 통하여 생성된 복원 이미지와 엔코더(110)에 입력된 원본 이미지 간의 차이에 기초하여 손실 함수(loss funtion)를 획득하고, 손실 함수를 엔코더(110) 또는 디코더(120) 중 적어도 하나에 부여하여, 이미지 복원 모델(110)에 포함된 오토엔코더를 갱신하도록 구현될 수 있다. 일 예로, 이미지 복원 장치(1000)는 제1 피처(예컨대, 도 2의 피처 a)로부터 생성된 제1 복원 이미지와 제1 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2의 이미지 1(앵커 이미지)) 간의 차이에 기초하여 제1 손실함수를 획득하고, 제1 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다. 다른 예로, 이미지 복원 장치(1000)는 제2 피처(예컨대, 도 2의 피처 p)로부터 생성된 제2 복원 이미지와 제2 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2의 이미지 2(포지티브 이미지)) 간의 차이에 기초하여 제2 손실함수를 획득하고, 제2 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
또한, 엔코더(110) 또는 디코더(120) 중 적어도 하나는, 엔코더(110)를 통하여 추출된 피처들에 기초하여 갱신될 수 있다. 구체적으로 이미지 복원 장치(1000)는 엔코더(110)를 통하여 추출된 제1 피처(예컨대, 도 2의 피처 a)와 제2 피처(예컨대, 도 2의 피처 p)에 기초하여 이미지 복원 모델을 훈련시키도록 구성될 수 있다. 예컨대, 이미지 복원 장치(1000)는, 제1 피처(예컨대, 도 2의 피처 a)와 제2 피처(예컨대, 도 2의 피처 p)에 기초하여, 피처 공간 상에서 제1 피처와 제2 피처가 가까워지도록 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신할 수 있다. 구체적으로 이미지 복원 장치(1000)는 제1 피처와 제2 피처에 기초하여 메트릭 러닝(metric learning)과 관련된 손실 함수(예컨대, 콘트라스티브 로스(contrastive loss))를 획득하고, 해당 손실 함수를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다.
이하에서는 도 3을 참고하여 본 출원의 다른 실시예에 따른 이미지 복원 모델(100)의 학습 방법에 대하여 구체적으로 서술하기로 한다. 도 3과 관련하여 도 2에서 설명한 중복되는 실시예는 생략될 수 있으며, 도 3에서는 제3 이미지로부터 제3 피처를 추출하고 제3 피처로부터 제3 복원 이미지를 생성하는 내용을 중심으로 설명하기로 한다. 도 3은 본 출원의 다른 실시예에 따른 이미지 복원 모델(100)의 학습 방법의 일 양상을 도시한 개략도이다.
도 2와 관련하여 전술한 바와 같이, 본 출원의 일 실시예에 따른 이미지 복원 모델(100)은 엔코더(110) 및 디코더(120)로 구성된 오토엔코더를 포함할 수 있다. 또한 엔코더(110)는 제1 이미지(예컨대, 앵커 이미지)로부터 제1 피처(예컨대, 피처 a)를 추출하고 제2 이미지(예컨대, 포지티브 이미지)로부터 제2 피처(예컨대, 피처 p)를 추출할 수 있다. 또한 디코더(120)는 제1 피처(예컨대, 피처 a)로부터 제1 복원 이미지를 생성하고 제2 피처(예컨대, 피처 p)로부터 제2 복원 이미지를 생성할 수 있다. 이때, 이미지 복원 모델(1000)은, 제1 복원 이미지와 제1 복원 이미지에 대응되는 원본 이미지(예컨대, 이미지 1) 간의 차이에 기초한 손실함수, 제2 복원 이미지와 제2 복원 이미지에 대응되는 원본 이미지(예컨대, 이미지 2) 간의 차이에 손실함수, 및/또는 제1 피처와 제2 피처에 기초한 손실함수에 기초하여 훈련될 수 있다.
본 출원의 다른 실시예에 따른 엔코더(110)는 제3 이미지를 획득하고, 제3 이미지로부터 제3 피처(예컨대, 도 3의 피처 n)를 추출할 수 있다. 예컨대, 제3 이미지는 네거티브 이미지(negative image)일 수 있다. 이때, 네거티브 이미지는 앵커 이미지와 다른 클래스에 속하는 이미지를 지칭하는 의미일 수 있다. 또한 디코더(120)는 제3 피처(예컨대, 도 3의 피처 n)로부터 제3 복원 이미지를 생성할 수 있다.
이때, 엔코더(110) 또는 디코더(120) 중 적어도 하나는, 디코더(120)를 통하여 생성된 제3 복원 이미지와 제3 복원 이미지에 대응되는 원본 이미지 간의 차이에 기초하여 갱신될 수 있다. 예컨대, 이미지 복원 장치(1000)는 제3 피처(예컨대, 도 3의 피처 n)로부터 생성된 제3 복원 이미지와 제3 복원 이미지에 대응되는 원본 이미지(예컨대, 도 3의 이미지 3(네거티브 이미지)) 간의 차이에 기초하여 제3 손실함수를 획득하고, 제3 손실함수를 엔코더(110) 또는 디코더(120)에 부여함으로써, 이미지 복원 모델(100)을 훈련시킬 수 있다.
또한, 엔코더(110) 또는 디코더(120) 중 적어도 하나는, 엔코더(110)를 통하여 추출된 피처들에 기초하여 갱신될 수 있다. 구체적으로 이미지 복원 장치(1000)는 엔코더(110)를 통하여 추출된 피처들에 기초하여 메트릭 러닝(metric learning)과 관련된 손실함수(예컨대, 트리플렛 로스(triplet loss))를 획득하고, 해당 손실 함수를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다. 예컨대, 이미지 복원 장치(1000)는 엔코더(110)를 통하여 추출된 제1 피처(예컨대, 도 3의 피처 a)와 제2 피처(예컨대, 도 3의 피처 p)에 기초하여 피처 공간 상에서 제1 피처와 제2 피처가 가까워지도록 트리플렛 로스를, 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다. 다른 예를 들면, 이미지 복원 장치(1000)는 엔코더(110)를 통하여 추출된 제1 피처(예컨대, 도 3의 피처 a)와 제3 피처(예컨대, 도 3의 피처 n)에 기초하여 피처 공간 상에서 제1 피처와 제3 피처가 멀어지도록 트리플렛 로스를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다.
한편, 엔코더(110)의 구조는 임의의 적절한 사이즈의 피처를 추출하도록 구성될 수 있다. 또한, 디코더(120)의 구조는 엔코더(110)를 통하여 출력된 사이즈의 피처를 입력 받도록 구성될 수 있다.
이하에서는 도 4 내지 도 5를 참고하여 본 출원의 일 실시예에 따른 이미지 복원 모델(100)의 학습 방법을 설명한다. 이미지 복원 모델(100)의 학습 방법을 설명함에 있어서, 앞서 도 2 내지 도 3에서 서술한 설명과 중복되는 일부 실시예는 생략될 수 있다. 다만, 이는 설명의 편의를 위한 것일 뿐이며, 제한적으로 해석되어서는 아니된다.
도 4는 본 출원의 일 실시예에 따른 이미지 복원 모델(100)을 훈련시키는 방법을 도시한 순서도이다.
본 출원의 일 실시예에 따른 이미지 복원 모델(100)의 학습 방법은, 엔코더(110)를 통하여, 제1 이미지로부터 제1 피처를 추출하고 제2 이미지로부터 제2 피처를 추출하는 단계(S1100), 디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득하는 단계(S1200), 제1 복원 이미지 또는 제2 복원 이미지에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S1300), 및 제1 피처와 제2 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S1400)를 포함할 수 있다.
엔코더(110)를 통하여, 제1 이미지로부터 제1 피처를 추출하고 제2 이미지로부터 제2 피처를 추출하는 단계(S1100)에서는, 이미지 복원 장치(1000)는, 엔코더(110)를 통하여, 제1 이미지(예컨대, 앵커 이미지)로부터 제1 피처를 추출하고, 제2 이미지(예컨대, 포지티브 이미지)로부터 제2 피처를 추출할 수 있다. 구체적으로 엔코더(110)는 제1 이미지(예컨대, 앵커 이미지)를 획득하고 제1 이미지에 포함된 제1 피처를 추출할 수 있다. 또한 엔코더(110)는 제2 이미지(예컨대, 포지티브 이미지)를 획득하고, 제2 이미지에 포함된 제2 피처를 추출할 수 있다. 이때, 이미지 복원 장치(1000)는 엔코더(110)를 통하여 출력되는 제1 피처 및 제2 피처를 획득하고, 제1 피처 및 제2 피처를 디코더(120)에 입력하도록 구현될 수 있다.
디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득하는 단계(S1200)에서는, 이미지 복원 장치(1000)는, 디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득할 수 있다. 구체적으로 디코더(120)는 엔코더(110)를 통하여 추출된 제1 피처를 획득하고 제1 피처로부터 제1 복원 이미지를 생성할 수 있다. 또한, 디코더(120)는 엔코더(110)를 통하여 추출된 제2 피처를 획득하고, 제2 피처로부터 제2 복원 이미지를 생성할 수 있다. 이때, 이미지 복원 장치(1000)는 디코더(120)를 통하여 출력되는 제1 복원 이미지 및/또는 제2 복원 이미지를 획득할 수 있다.
제1 복원 이미지 또는 제2 복원 이미지에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S1300)에서는, 이미지 복원 장치(1000)는, 디코더(120)를 통하여 출력되는 적어도 하나 이상의 복원 이미지와 복원 이미지에 대응되는 원본 이미지 간의 차이에 기초하여 엔코더(110) 및/또는 디코더(120)를 갱신할 수 있다.
구체적으로 이미지 복원 장치(1000)는 디코더(120)를 통하여 생성된 적어도 하나 이상의 복원 이미지와 엔코더(110)에 입력된 원본 이미지 간의 차이에 기초하여 손실 함수를 획득하고, 손실 함수를 엔코더(110) 및/또는 디코더(120)에 부여하여, 이미지 복원 모델(100)에 포함된 오토엔코더를 갱신하도록 구현될 수 있다.
일 예로, 이미지 복원 장치(1000)는 제1 피처(예컨대, 도 2, 3의 피처 a)로부터 생성된 제1 복원 이미지와 제1 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2, 3의 이미지 1(앵커 이미지)) 간의 차이에 기초하여 제1 손실함수를 획득하고, 제1 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
다른 예로, 이미지 복원 장치(1000)는 제2 피처(예컨대, 도 2, 3의 피처 p)로부터 생성된 제2 복원 이미지와 제2 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2, 3의 이미지 2(포지티브 이미지)) 간의 차이에 기초하여 제2 손실함수를 획득하고, 제2 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
제1 피처와 제2 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S1400)에서는, 이미지 복원 장치(1000)는 엔코더(110)를 통하여, 추출된 적어도 하나의 피처들에 기초하여 엔코더(110) 또는 디코더(120)를 갱신할 수 있다. 구체적으로 이미지 복원 장치(1000)는 앵커 이미지로부터 추출된 제1 피처와 포지티브 이미지로부터 추출된 제2 피처에 기초하여 엔코더(110) 또는 디코더(120)를 갱신할 수 있다.
일 예로, 이미지 복원 장치(1000)는, 제1 피처(예컨대, 도 2, 3의 피처 a)와 제2 피처(예컨대, 도 2, 3의 피처 p)에 기초하여, 피처 공간 상에서 제1 피처와 제2 피처가 가까워지도록 엔코더(110) 또는 디코더(120)를 갱신할 수 있다. 예컨대, 이미지 복원 장치(1000)는 제1 피처와 제2 피처에 기초하여 메트릭 러닝(metric learning)과 관련된 손실 함수(예컨대, 콘트라스티브 로스(contrastive loss))를 획득하고, 해당 손실 함수를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다.
도 5는 본 출원의 다른 실시예에 따른 이미지 복원 모델을 훈련시키는 방법을 도시한 순서도이다.
본 출원의 다른 실시예에 따른 이미지 복원 모델(100)의 학습 방법은, 엔코더(110)를 통하여, 제1 이미지로부터 제1 피처를 추출하고 제2 이미지로부터 제2 피처를 추출하고 제3 이미지로부터 제3 피처를 추출하는 단계(S2100), 디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득하고 제3 피처로부터 제3 복원 이미지를 획득하는 단계(S2200), 제1 복원 이미지, 제2 복원 이미지, 또는 제3 복원 이미지에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S2300), 및 제1 피처와 제2 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하고 제1 피처와 제3 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S2400)를 포함할 수 있다.
엔코더(110)를 통하여, 제1 이미지로부터 제1 피처를 추출하고 제2 이미지로부터 제2 피처를 추출하고 제3 이미지로부터 제3 피처를 추출하는 단계(S2100)에서는, 이미지 복원 장치(1000)는, 엔코더(110)를 통하여, 제1 이미지(예컨대, 앵커 이미지)로부터 제1 피처를 추출하고, 제2 이미지(예컨대, 포지티브 이미지)로부터 제2 피처를 추출하고, 제3 이미지(예컨대, 네거티브 이미지)로부터 제3 피처를 추출할 수 있다. 구체적으로 엔코더(110)는 제1 이미지(예컨대, 앵커 이미지)를 획득하고 제1 이미지에 포함된 제1 피처를 추출할 수 있다. 또한 엔코더(110)는 제2 이미지(예컨대, 포지티브 이미지)를 획득하고, 제2 이미지에 포함된 제2 피처를 추출할 수 있다. 또한, 엔코더(110)는 제3 이미지(예컨대, 네거티브 이미지)로부터 제3 이미지에 포함된 제3 피처를 추출할 수 있다. 이때, 이미지 복원 장치(1000)는 엔코더(110)를 통하여 출력되는 제1 피처 내지 제3 피처를 획득하고, 제1 피처 내지 제3 피처를 디코더(120)에 입력하도록 구현될 수 있다.
디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득하고 제3 피처로부터 제3 복원 이미지를 생성하는 단계(S2200)에서는, 이미지 복원 장치(1000)는, 디코더(120)를 통하여, 제1 피처로부터 제1 복원 이미지를 획득하고 제2 피처로부터 제2 복원 이미지를 획득하고, 제3 피처로부터 제3 복원 이미지를 획득할 수 있다. 구체적으로 디코더(120)는 엔코더(110)를 통하여 추출된 제1 피처를 획득하고 제1 피처로부터 제1 복원 이미지를 생성할 수 있다. 또한, 디코더(120)는 엔코더(110)를 통하여 추출된 제2 피처를 획득하고, 제2 피처로부터 제2 복원 이미지를 생성할 수 있다. 또한, 디코더(120)는 엔코더(110)를 통하여 추출된 제3 피처를 획득하고, 제3 피처로부터 제3 복원 이미지를 생성할 수 있다. 이때, 이미지 복원 장치(1000)는 디코더(120)를 통하여 출력되는 제1 복원 이미지, 제2 복원 이미지 및/또는 제3 복원 이미지를 획득할 수 있다.
제1 복원 이미지, 제2 복원 이미지, 또는 제3 복원 이미지에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S2300)에서는, 이미지 복원 장치(1000)는 디코더(120)를 통하여 출력되는 적어도 하나 이상의 복원 이미지와 복원 이미지에 대응되는 원본 이미지 간의 차이에 기초하여 엔코더(110) 및/또는 디코더(120)를 갱신할 수 있다.
구체적으로 이미지 복원 장치(1000)는 디코더(120)를 통하여 생성된 적어도 하나 이상의 복원 이미지와 엔코더(110)에 입력된 원본 이미지 간의 차이에 기초하여 손실 함수를 획득하고, 손실 함수를 엔코더(110) 및/또는 디코더(120)에 부여하여, 이미지 복원 모델(100)에 포함된 오토엔코더를 갱신하도록 구현될 수 있다.
일 예로, 이미지 복원 장치(1000)는 제1 피처(예컨대, 도 2, 3의 피처 a)로부터 생성된 제1 복원 이미지와 제1 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2, 3의 이미지 1(앵커 이미지)) 간의 차이에 기초하여 제1 손실함수를 획득하고, 제1 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
다른 예로, 이미지 복원 장치(1000)는 제2 피처(예컨대, 도 2, 3의 피처 p)로부터 생성된 제2 복원 이미지와 제2 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2, 3의 이미지 2(포지티브 이미지)) 간의 차이에 기초하여 제2 손실함수를 획득하고, 제2 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
또 다른 예로, 이미지 복원 장치(1000)는 제3 피처(예컨대, 도 2, 3의 피처 n)로부터 생성된 제3 복원 이미지와 제3 복원 이미지에 대응되는 원본 이미지(예컨대, 도 2, 3의 이미지 3(네거티브 이미지)) 간의 차이에 기초하여 제3 손실함수를 획득하고, 제3 손실함수를 엔코더(110) 또는 디코더(120)에 부여하여, 이미지 복원 모델(100)을 훈련시킬 수 있다.
제1 피처와 제2 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하고 제1 피처와 제3 피처에 기초하여 엔코더(110) 및 디코더(120) 중 적어도 하나를 갱신하는 단계(S2400)에서는, 이미지 복원 장치(1000)는 엔코더(110)를 통하여, 추출된 적어도 하나의 피처들에 기초하여 엔코더(110) 또는 디코더(120)를 갱신할 수 있다. 구체적으로 이미지 복원 장치(1000)는 앵커 이미지로부터 추출된 제1 피처, 포지티브 이미지로부터 추출된 제2 피처, 및/또는 네거티브 이미지로부터 추출된 제3 피처에 기초하여 엔코더(110) 또는 디코더(120)를 갱신할 수 있다.
일 예로, 이미지 복원 장치(1000)는, 제1 피처(예컨대, 도 2, 3의 피처 a)와 제2 피처(예컨대, 도 2, 3의 피처 p)에 기초하여, 피처 공간 상에서 제1 피처와 제2 피처가 가까워지도록 엔코더(110) 또는 디코더(120)를 갱신할 수 있다. 구체적으로, 이미지 복원 장치(1000)는 제1 피처와 제2 피처에 기초하여 메트릭 러닝(metric learning)과 관련된 손실 함수(예컨대, 트리플렛 로스(triplet loss))를 획득하고, 해당 손실 함수를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다.
다른 예로, 이미지 복원 장치(1000)는, 제1 피처(예컨대, 도 2, 3의 피처 a)와 제3 피처(예컨대, 도 3의 피처 n)에 기초하여, 피처 공간 상에서 제1 피처와 제3 피처가 멀어지도록 엔코더(110) 또는 디코더(120)를 갱신할 수 있다. 구체적으로, 이미지 복원 장치(1000)는 제1 피처와 제3 피처에 기초하여 메트릭 러닝(metric learning)과 관련된 손실 함수(예컨대, 트리플렛 로스(triplet loss))를 획득하고, 해당 손실 함수를 엔코더(110) 또는 디코더(120)에 부여하여 이미지 복원 모델(100)을 훈련시킬 수 있다.
본 출원의 일 실시예에 따른 이미지 복원 장치(1000)는 훈련이 완료된 이미지 생성 모델(100)을 통하여, 임의의 이미지로부터 복원 이미지를 획득할 수 있다. 또한, 본 출원의 일 실시예에 따른 이미지 복원 장치(1000)는 훈련이 완료된 이미지 생성 모델(100)의 엔코더(110)를 통하여, 임의의 이미지를 압축하거나, 임의의 이미지로부터 추출된 피처에 기반하여 이미지 검색을 수행하도록 구현될 수 있다.
본 출원의 실시예에 따른 이미지 복원 모델, 이를 이용한 이미지 복원 방법, 및 이미지 복원 장치에 의하면, 이미지의 피처로부터 복원된 복원 이미지를 이용하여 복원 이미지와 원본 이미지 간의 차이에 기반한 손실함수를 이용하여 이미지 복원 모델을 훈련시킴으로써, 이미지 검색 기능에 특화된 강인한 피처를 획득할 수 있다. 따라서, 이미지 복원 모델을 통하여 추출된 피처를 이용하여 이미지 검색의 정확도를 증대시킬 수 있다.
또한 본 출원의 실시예에 따른 이미지 복원 모델, 이를 이용한 이미지 복원 방법, 및 이미지 복원 장치에 의하면, 이미지를 복원하는 디코더를 훈련시킴으로써, 이미지 검색을 위한 피처를 추출하면서도 이미지를 복원할 수 있는 효과를 제공할 수 있다.
상술한 이미지 복원 장치(1000)의 다양한 동작들은 이미지 복원 장치(1000)의 메모리(1200)에 저장될 수 있으며, 이미지 복원 장치(1000)의 프로세서(1300)는 메모리(1200)에 저장된 동작들을 수행하도록 제공될 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 이미지 복원 장치가 메트릭 러닝(metric learning) 기법을 이용하여 엔코더(encoder) 및 디코더(decoder)로 구성된 오토엔코더(autoencoder)를 포함하는 이미지 복원 모델을 학습시키는 방법에 있어서,
    엔코더를 통하여, 앵커 이미지(anchor image)로부터 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 단계;
    디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 획득하고 상기 제2 피처로부터 제2 복원 이미지를 획득하는 단계;
    상기 이미지 복원 장치가 상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계; 및
    상기 이미지 복원 장치가 상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 포함하는,
    이미지 복원 모델의 학습 방법.
  2. 제1 항에 있어서,
    상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는,
    상기 제1 복원 이미지와 상기 앵커 이미지의 차이에 기초하여 제1 손실함수를 획득하는 단계;
    상기 제2 복원 이미지와 상기 포지티브 이미지의 차이에 기초하여 제2 손실함수를 획득하는 단계; 및
    상기 제1 손실함수 및 상기 제2 손실함수 중 적어도 하나를 상기 엔코더 및 상기 디코더 중 적어도 하나에 부여하여, 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함하는,
    이미지 복원 모델의 학습 방법.
  3. 제1 항에 있어서,
    상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는,
    피처 공간 상에서 상기 제1 피처와 상기 제2 피처가 가까워지도록 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함하는,
    이미지 복원 모델의 학습 방법.
  4. 제1 항에 있어서,
    상기 엔코더를 통하여, 앵커 이미지로부터 제1 피처를 추출하고 포지티브 이미지에 기초하여 제2 피처를 추출하는 단계는,
    상기 엔코더를 통하여, 네거티브 이미지(negative image)로부터 제3 피처를 추출하는 단계를 더 포함하고,
    상기 디코더를 통하여, 상기 제1 피처로부터 제1 복원 이미지를 획득하고 상기 제2 피처로부터 제2 복원 이미지를 획득하는 단계는,
    상기 제3 피처로부터 제3 복원 이미지를 획득하는 단계;를 더 포함하는,
    이미지 복원 모델의 학습 방법.
  5. 제4 항에 있어서,
    상기 제1 복원 이미지 또는 상기 제2 복원 이미지에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는,
    상기 제3 복원 이미지와 상기 네거티브 이미지의 차이에 기초하여 제3 손실함수를 획득하는 단계; 및
    상기 제3 손실함수를 상기 엔코더 및 상기 디코더 중 적어도 하나에 부여하여, 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함하는,
    이미지 복원 모델의 학습 방법.
  6. 제4 항에 있어서,
    상기 제1 피처 및 상기 제2 피처에 기초하여 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계는,
    피처 공간 상에서 상기 제1 피처와 상기 제3 피처가 멀어지도록 상기 엔코더 및 상기 디코더 중 적어도 하나를 갱신하는 단계;를 더 포함하는,
    이미지 복원 모델의 학습 방법.
  7. 컴퓨터에 상기 제1 항 내지 제6 항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  8. 이미지를 획득하고, 이미지를 복원하는 이미지 복원 모델을 학습시키기 위한 이미지 복원 장치에 있어서,
    상기 이미지 복원 모델은,
    앵커 이미지(anchor image)에 기초하여 제1 피처를 추출하고 포지티브 이미지(positive image)에 기초하여 제2 피처를 추출하는 엔코더; 및 상기 제1 피처에 기초하여 제1 복원 이미지를 생성하고 상기 제2 피처에 기초하여 제2 복원 이미지를 생성하는 디코더;를 포함하되,
    상기 이미지 복원 장치는,
    상기 제1 피처 및 상기 제2 피처에 기초하여, 상기 제1 피처와 상기 제2 피처가 피처 공간 상에서 가까워지도록 상기 엔코더 또는 상기 디코더를 갱신하며,
    상기 앵커 이미지와 상기 제1 복원 이미지 간의 차이와 관련된 제1 손실함수, 또는 상기 포지티브 이미지와 상기 제2 복원 이미지 간의 차이와 관련된 제2 손실함수에 기초하여 상기 엔코더 또는 상기 디코더를 갱신함으로써 상기 이미지 복원 모델을 학습시키는,
    이미지 복원 장치.
KR1020220021156A 2022-02-18 2022-02-18 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법 KR102446720B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220021156A KR102446720B1 (ko) 2022-02-18 2022-02-18 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법
KR1020220118445A KR20230124462A (ko) 2022-02-18 2022-09-20 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220021156A KR102446720B1 (ko) 2022-02-18 2022-02-18 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118445A Division KR20230124462A (ko) 2022-02-18 2022-09-20 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Publications (1)

Publication Number Publication Date
KR102446720B1 true KR102446720B1 (ko) 2022-09-26

Family

ID=83452668

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220021156A KR102446720B1 (ko) 2022-02-18 2022-02-18 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법
KR1020220118445A KR20230124462A (ko) 2022-02-18 2022-09-20 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220118445A KR20230124462A (ko) 2022-02-18 2022-09-20 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법

Country Status (1)

Country Link
KR (2) KR102446720B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008511040A (ja) * 2004-08-25 2008-04-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形
KR20200025181A (ko) * 2018-08-29 2020-03-10 서울과학기술대학교 산학협력단 가상 의상 피팅 장치 및 방법
KR102119518B1 (ko) * 2018-03-07 2020-06-08 네이버 주식회사 인공지능을 이용하여 생성되는 스타일 공간에 기반한 상품 추천 방법 및 시스템
KR102344818B1 (ko) * 2020-07-30 2021-12-29 주식회사 룩코 가상 옷장 구축 시스템 및 그 제어 방법
KR20220000123A (ko) * 2020-06-25 2022-01-03 주식회사 큐브릭디지털 키포인트 기반 2d 가상 피팅 방법
KR20220003389A (ko) * 2020-07-01 2022-01-10 주식회사 딥브레인에이아이 신경망 기반의 특징점 학습 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008511040A (ja) * 2004-08-25 2008-04-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形
KR102119518B1 (ko) * 2018-03-07 2020-06-08 네이버 주식회사 인공지능을 이용하여 생성되는 스타일 공간에 기반한 상품 추천 방법 및 시스템
KR20200025181A (ko) * 2018-08-29 2020-03-10 서울과학기술대학교 산학협력단 가상 의상 피팅 장치 및 방법
KR20220000123A (ko) * 2020-06-25 2022-01-03 주식회사 큐브릭디지털 키포인트 기반 2d 가상 피팅 방법
KR20220003389A (ko) * 2020-07-01 2022-01-10 주식회사 딥브레인에이아이 신경망 기반의 특징점 학습 장치 및 방법
KR102344818B1 (ko) * 2020-07-30 2021-12-29 주식회사 룩코 가상 옷장 구축 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230124462A (ko) 2023-08-25

Similar Documents

Publication Publication Date Title
KR102646695B1 (ko) 비디오 프레임 보간을 위한 특징 피라미드 워핑
US11645860B2 (en) Generating preference indices for image content
CN107292808B (zh) 图像处理方法、装置及图像协处理器
CN111079841A (zh) 目标识别的训练方法、装置、计算机设备和存储介质
CN111339228B (zh) 一种地图更新方法、设备、云服务器和存储介质
CN110990273A (zh) 克隆代码检测方法及装置
JP6158882B2 (ja) 生成装置、生成方法、及び生成プログラム
CN108334895B (zh) 目标数据的分类方法、装置、存储介质及电子装置
CN104392174B (zh) 应用程序动态行为的特征向量的生成方法及装置
CN112084959A (zh) 一种人群图像处理方法及装置
CN106688015B (zh) 处理用于当解码图像时对于块的操作的参数
CN113361618A (zh) 一种基于联邦学习的工业数据联合建模方法及系统
US20230342884A1 (en) Diverse Image Inpainting Using Contrastive Learning
CN115205736A (zh) 视频数据的识别方法和装置、电子设备和存储介质
KR102446720B1 (ko) 이미지 복원 모델, 및 이미지 복원 모델의 학습 방법
WO2024145343A1 (en) Avatar generation according to artistic styles
KR102423552B1 (ko) 적대적 생성 신경망으로 구성된 상품 이미지 복원 및 합성 모델, 및 상품 이미지 복원 및 합성 모델의 학습 방법
DE102020119183A1 (de) System und Verfahren zum Identifizieren und Dekodieren von Reed-Muller-Codes in Polarcodes
CN113901976A (zh) 一种恶意流量的识别方法、装置及电子设备
Eom et al. Data‐Driven Reconstruction of Human Locomotion Using a Single Smartphone
JP6214073B2 (ja) 生成装置、生成方法、及び生成プログラム
US20210118175A1 (en) Object Tracking and Detection in Augmented Reality Applications
CN115272121A (zh) 图像处理方法、图像处理装置、计算机设备和存储介质
KR102446711B1 (ko) 상품 이미지 생성 모델, 상품 이미지 생성 모델을 이용하여 상품 이미지를 생성하는 방법 및 상품 이미지 생성 장치
KR102273334B1 (ko) 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant