KR20220147550A - 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치 - Google Patents

다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치 Download PDF

Info

Publication number
KR20220147550A
KR20220147550A KR1020220133251A KR20220133251A KR20220147550A KR 20220147550 A KR20220147550 A KR 20220147550A KR 1020220133251 A KR1020220133251 A KR 1020220133251A KR 20220133251 A KR20220133251 A KR 20220133251A KR 20220147550 A KR20220147550 A KR 20220147550A
Authority
KR
South Korea
Prior art keywords
image
text
sample
matching model
training
Prior art date
Application number
KR1020220133251A
Other languages
English (en)
Inventor
위안 펑
준 쑨
훙후이 정
잉 신
빈 장
차오 리
윈하오 왕
수민 한
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220147550A publication Critical patent/KR20220147550A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19093—Proximity measures, i.e. similarity or distance measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Abstract

본 공개는 인공 지능 기술 분야에 관한 것으로, 특히 딥 러닝, 이미지 인식 기술 분야에 관한 것으로, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치를 제공한다. 상기 방법은, 샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻는 단계; 각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 단계; 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계;를 포함한다. 본 공개의 기술방안은 샘플 텍스트 및 대응되는 히트맵을 통해 다중 목표의 이미지-텍스트 매칭 모델을 훈련시킴으로써, 이미지에 복수의 목표가 있을 경우 계산 결과가 정확하지 않은 문제를 해결할 수 있다. 다중 목표의 이미지-텍스트 매칭 모델을 이미지-텍스트 검색에 응용하여, 검색 결과의 정확성을 향상시킬 수 있다.

Description

다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치{METHOD AND APPARATUS FOR TRAINING MULTI-TARGET IMAGE-TEXT MATCHING MODEL, AND IMAGE-TEXT RETRIEVAL METHOD AND APPARATUS}
본 공개는 인공 지능 기술분야에 관한 것으로, 특히 딥 러닝, 이미지 인식 기술분야에 관한 것이다.
인터넷의 지속적인 보급에 따라, 멀티미디어 데이터가 폭발적인 증가를 이루고 있다. 이러한 대규모의 멀티미디어 데이터를 어떻게 효과적으로 구성, 관리 및 검색할 것인가는 이미 현재 하나의 핫한 과제가 되었다. 멀티미디어는 텍스트, 이미지 등과 같은 다중 모드 정보가 이성질적 특징 공간에 위치하고, 이들 사이의 상관 관계는 복잡하고 다양하여, 교차 양상(cross-modal) 정보 검색을 어떻게 실현할 것인가는 해결해야 할 문제가 되었다.
현재, 교차 양상(cross-modal) 정보 검색의 경우, 이미지에 복수의 목표가 존재할 경우, 다중 목표의 혼동 문제가 쉽게 발생하여, 검색 결과의 정확성에 영향을 준다.
본 공개는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치를 제공한다.
본 공개의 일 측면에 따르면,
샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻는 단계;
각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 단계;
복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계;를 포함하는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법을 제공한다.
본 공개의 다른 일 측면에 따르면,
검색 텍스트 및 복수의 이미지를 획득하는 단계;
검색 텍스트 및 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 검색 텍스트와 복수의 이미지의 유사도를 얻는 단계;
검색 텍스트와 복수의 이미지의 유사도에 따라, 검색 텍스트에 대응되는 목표 이미지를 확정하는 단계;를 포함하고,
다중 목표의 이미지-텍스트 매칭 모델은 본 공개의 실시예에서 제공되는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법에 따라 훈련하여 획득하는, 이미지-텍스트 검색 방법을 제공한다.
본 공개의 다른 일 측면에 따르면,
샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 획득하는 것에 사용되는 제1 획득 모듈;
각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉, 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 것에 사용되는 제2 획득 모듈;
복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 것에 사용되는, 모델 훈련 모듈;을 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치를 제공한다.
본 공개의 다른 일 측면에 따르면,
검색 텍스트 및 복수의 이미지를 획득하는 것에 사용되는, 획득 모듈;
검색 텍스트 및 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 검색 텍스트와 복수의 이미지의 유사도를 얻는 것에 사용되는, 매칭 모듈;
검색 텍스트와 복수의 이미지의 유사도에 따라, 검색 텍스트에 대응되는 목표 이미지를 확정하는데 사용되는, 확정 모듈;을 포함하고,
다중 목표의 이미지-텍스트 매칭 모델은 본 공개의 실시예에서 제공되는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법에 따라 훈련하여 획득하는, 이미지-텍스트 검색 장치를 제공한다.
본 공개의 다른 일 측면에 따르면,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서가 본 공개의 임의의 일 실시예 중의 방법을 실행할 수 있도록, 상기 적어도 하나의 프로세서에 의해 수행되는, 전자 장치를 제공한다.
본 공개의 다른 일 측면에 따르면, 컴퓨터가 본 공개의 임의의 일 실시예 중의 방법을 실행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장 매체를 제공한다.
본 공개의 다른 일 측면에 따르면, 컴퓨터 판독가능 저장매체에 저장되고, 적어도 하나의 프로세서에 의해 실행될 때 본 공개의 임의의 일 실시예 중의 방법을 구현하도록 하는 명령을 포함하는, 컴퓨터 프로그램을 제공한다.
본 공개는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치, 전자 장치 및 저장 매체를 제공하고, 상기 방법은, 샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻는 단계; 각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 단계; 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계;를 포함하고, 본 공개의 기술방안은 샘플 텍스트 및 대응되는 히트맵을 통해 다중 목표의 이미지-텍스트 매칭 모델을 훈련시킴으로써, 이미지에 복수의 목표가 있을 경우 계산 결과가 정확하지 않은 문제를 해결할 수 있다. 다중 목표의 이미지-텍스트 매칭 모델을 이미지-텍스트 검색에 응용하여, 검색 결과의 정확성을 향상시킬 수 있다.
이해해야 할 것은, 본 부분에서 설명하는 내용은 본 공개의 실시예의 관건적이거나 중요한 특징을 식별하도록 의도되는 것이 아니고, 본 공개의 범위를 제한하려는 것도 아니다. 본 공개의 기타 특징은 이하 명세서를 통해 쉽게 이해할 수 있게 된다.
도면은 본 방안을 더욱 잘 이해하기 위한 것일 뿐, 본 공개에 대한 한정을 구성하지 않는다.
도 1은 본 공개의 일 실시예에 따른 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법의 흐름도이다.
도 2는 본 공개의 일 실시예에 따른 샘플 텍스트 “개”에 해당하는 히트맵이다.
도 3은 본 공개의 일 실시예에 따른 샘플 텍스트 “고양이”에 해당하는 히트맵이다.
도 4는 본 공개의 일 실시예에 따른 이미지-텍스트 검색 방법의 흐름도이다.
도 5는 본 공개의 일 실시예에 따른 온라인 검색 방법의 개략도이다.
도 6은 본 공개의 일 실시예에 따른 온라인 검색 방법의 흐름도이다.
도 7은 본 공개의 일 실시예에 따른 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치의 개략도이다.
도 8은 본 공개의 일 실시예에 따른 이미지-텍스트 검색 장치의 개략도이다.
도 9는 본 공개의 실시예에 따른 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법을 구현하기 위한 전자 장치의 블록도이다.
이하에서, 도면과 결합하여 본 공개의 시범적 실시예에 대해 설명하고, 그 중, 이해를 돕기 위하여 본 공개 실시예의 각 종 세부적인 내용을 포함하고, 이러한 것은 시범적인 것일 뿐이라고 보아야 한다. 따라서, 통상의 기술자들은 이러한 설명의 실시예에 대하여 여러가지 변경 또는 수정을 하더라도 본 공개의 범위를 벗어나지 않음을 인지하여야 한다. 마찬가지로, 명확하고 간략하게 설명하기 위하여, 이하 설명에서 공지의 기능 및 구조에 대한 설명은 생략한다.
본 공개의 실시예는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법을 제공하고, 도 1은 본 공개의 일 실시예에 따른 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법의 흐름도이며, 상기 방법은 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치에 적용될 수 있고, 상기 장치는 단말 장치, 서버 또는 기타 처리 장치에 배치될 수 있다. 일부 가능한 실현 방식에서, 상기 방법은 또한 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식을 통해 실현될 수 있다. 도1에 도시한 바와 같이, 아래 단계를 포함한다.
단계(S101), 샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻는다.
선택 가능하게, 웹 검색 엔진 또는 웹 크롤러를 통해 텍스트 및 이미지에 해당되는 이미지를 획득하여, 샘플 텍스트 및 샘플 이미지로 한다.
여기서, 샘플 이미지에는 복수의 목표를 포함할 수 있고, 예를 들면 한 장의 샘플 이미지에는 고양이 이미지 및 개 이미지를 포함할 수 있고, 상기 샘플 이미지와 샘플 텍스트 “고양이”로 하나의 샘플 쌍을 구성하고, 상기 샘플 이미지와 샘플 텍스트 “개”로 하나의 샘플 쌍을 구성한다.
단계(S102), 각 훈련 샘플에 대하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득한다.
여기서, 히트맵은 데이터를 시각화하는 방법이다. 컬러 변화 정도를 통해, 핫스판 분포, 영역 집중 등 데이터 정보를 직관적으로 반영할 수 있다. 본 공개의 실시예에서, 히트맵을 통해 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타낼 수 있다. 히트맵을 통해 다중 목표 이미지에서 샘플 텍스트와 샘플 이미지 중의 목표가 서로 대응되도록 의미론적 정렬을 실현할 수 있다.
일 예시에서, 샘플 텍스트 “개”에 대응되는 히트맵은 도2에 도시한 바와 같고, 도2에서, 개의 이미지의 위치는 컬러로 강조 표시된다. 샘플 텍스트 “고양이”에 대응되는 히트맵은 도3에 도시한 바와 같고, 도3에서, 고양이의 이미지의 위치는 컬러로 강조 표시된다.
단계(S103): 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는다.
샘플 텍스트와 대응하는 히트맵을 샘플 쌍으로 하여, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는다. 관련 기술에서, 이미지에 복수의 목표가 존재하는 경우, 이미지-텍스트 매칭 모델은 다중 목표의 혼동 문제가 쉽게 발생하며, 다중 목표의 이미지-텍스트 매칭 모델과 이미지 텍스트 매칭 모델을 비교하면, 출력 결과의 정확성이 더 높다.
본 공개에서 제공하는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법은, 샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻고; 각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하고; 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는다. 본 공개의 기술 방안은 샘플 텍스트 및 대응되는 히트맵을 통해 다중 목표의 이미지-텍스트 매칭 모델을 훈련시킴으로써, 이미지에 복수의 목표가 있을 경우, 계산 결과가 정확하지 않은 문제를 해결할 수 있다. 다중 목표의 이미지-텍스트 매칭 모델을 이미지-텍스트 검색에 응용하여, 검색 결과의 정확성을 향상시킬 수 있다.
가능한 실현 방식에서, 도1에 도시된 S102에서, 각 훈련 샘플에 대하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 획득하는 단계는, 추가적으로,
사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 단계;
각 훈련 샘플에 대하여, 이미지-텍스트 매칭 모델과 훈련 샘플을 기반으로, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계;를 더 포함한다.
실제 응용에서, 이미지-텍스트 매칭 모델을 사전 훈련시킬 수 있고, 이미지-텍스트 매칭 모델은 CLIP(Contrastive Language-Image Pre-training)이다. CLIP모델 구조는 하나의 텍스트 인코딩 모듈(text encoder), 하나의 이미지 인코딩 모듈(image encoder)을 포함하고, 텍스트와 이미지를 특징 공간에 각각 맵핑한다. 이미지-텍스트 샘플 쌍의 이미지 특징과 텍스트 특징을 획득한 후, 배치(batch) 샘플에서 모든 이미지와 텍스트의 유사도 행렬을 계산하고, 각 이미지와 각 텍스트의 유사도의 손실(loss) 및 각 텍스트와 각 이미지의 유사도의 손실을 각각 계산하여, 역전파시킨 후, 전체 모델을 최적화하여, 최종적으로 이미지-텍스트 매칭 모델을 얻는다. 이미지-텍스트 매칭 모델을 통해, 샘플 중 샘플 텍스트에 대응되는 히트맵을 얻을 수 있다.
본 공개의 실시예에서, 사전 훈련된 이미지-텍스트 매칭 모델을 통해, 각 훈련 샘플의 샘플 텍스트에 대응하는 히트맵을 얻을 수 있다.
여기서, 사전 훈련된 이미지-텍스트 매칭 모델을 통해 히트맵을 얻는 실현 과정은 아래 실시예와 같다.
가능한 실현 방식에서, 상기 실시예 중의 각 훈련 샘플에 대하여, 이미지-텍스트 매칭 모델 및 훈련 샘플을 기반으로, 이미지-텍스트 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계는, 추가적으로,
각 훈련 샘플에 대하여, 훈련 샘플을 이미지-텍스트 매칭 모델에 입력하여, 훈련 샘플에 대응되는 유사도 및 구배를 얻는 단계; 훈련 샘플에 대응되는 유사도 및 구배를 기반으로, 훈련 샘플 중의 샘플 이미지를 처리하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계;를 포함한다.
실제 응용에서, 훈련 샘플을 이미지-텍스트 매칭 모델에 입력함으로써, 이미지-텍스트 매칭 모델에서 출력된 각 훈련 샘플에 대응되는 유사도 및 구배를 얻을 수 있고, 유사도 및 구배를 통해 샘플 이미지를 처리하여, 샘플 텍스트에 대응되는 히트맵을 얻을 수 있다. 선택적으로, Grad-Cam(gradient-weighted class activation mapping)방법을 통해 히트맵을 생성할 수 있다. Grad-Cam방법을 통해, 다른 샘플 텍스트에 대하여, 샘플 이미지 중의 응답 영역이 다르므로, 다른 히트맵을 생성할 수 있다.
본 공개 실시예에서, 훈련 샘플에 대응되는 유사도 및 구배를 기반으로, 샘플 텍스트에 대응되는 히트맵을 생성한다. 히트맵에 대한 에너지 영역을 캡쳐하여, 배경과 다른 목표의 간섭을 대폭적으로 줄일 수 있어, 더욱 정확한 이미지-텍스트 쌍을 생성할 수 있다.
가능한 실현 방식에서, 도 1에 도시된 S103에서, 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 획득하는 단계는,
사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 단계;
복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델의 모델 파라미터를 조절하여, 다중 목표의 이미지-텍스트 매칭 모델을 획득하는 단계;를 더 포함한다.
실제 응용에서, 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 사전 훈련된 이미지-텍스트 모델의 모델 파라미터를 미세 조정(Fine Tune)하여, 다중 목표의 이미지-텍스트 매칭 모델을 얻는다.
본 공개의 실시예에서, 사전 훈련된 이미지-텍스트 매칭 모델의 모델 파라미터를 미세 조정하며, 모델을 처음부터 훈련시키는 것과 비교하면, 미세 조정은 계산 리소스와 계산 시간을 절약하여, 계산 효율 및 계산 결과의 정확성을 향상시킬 수 있다.
가능한 실현 방식에서, 상기 실시예 중의 이미지-텍스트 매칭 모델은 사전 훈련된 텍스트 인코딩 모듈 및 이미지 인코딩 모듈을 포함한다.
본 공개 실시예에서, 사전 훈련된 텍스트 인코딩 모듈 및 이미지 인코딩 모듈을 이미지-텍스트 매칭 모델의 구성 부분으로 사용하여, 모델의 수렴 속도를 높이고, 모델 효과를 향상시킬 수 있다.
본 공개 실시예는 이미지-텍스트 검색 방법을 제공하고, 도 4는 본 공개의 일 실시예에 따른 이미지-텍스트 검색 방법의 흐름도이고, 상기 방법은 이미지-텍스트 검색 장치에 응용될 수 있고, 상기 장치는 서버 또는 기타 처리 장치에 배치될 수 있다. 일부 가능한 실현 방식에서, 상기 방법은 또한 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식을 통해 실현될 수 있다. 도 4에 도시한 바와 같이, 아래 단계를 포함한다.
단계(S401): 검색 텍스트와 복수의 이미지를 획득한다.
본 공개 실시예에서, 실행 주체는 서버일 수 있다. 검색 텍스트는 서버에 의해 수신된 단말 장치에서 발송한 텍스트일 수 있으며, 복수의 이미지는 미리 구성된 이미지-텍스트 검색 데이터베이스의 이미지일 수 있다. 이미지-텍스트 검색 데이터 베이스는 미리 복수의 이미지 및 텍스트로 구성된 이미지-텍스트 쌍에 따라 구성된 데이터베이스일 수 있다.
단계(S402): 검색 텍스트 및 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 검색 텍스트와 복수의 이미지의 유사도를 얻는다.
다중 목표의 이미지-텍스트 매칭 모델은, 본 공개의 실시예에서 제공되는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법에 따라 훈련하여 획득한 것이다. 검색 텍스트 및 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하고，다중 목표의 이미지-텍스트 매칭 모델은 검색 텍스트 및 각 이미지의 유사도를 출력한다.
단계(S403): 검색 텍스트와 복수의 이미지의 유사도에 따라, 검색 텍스트에 대응되는 목표 이미지를 확정한다.
검색 텍스트와 복수의 이미지의 유사도를 기준으로 스크리닝하여, 미리 설정된 임계값을 초과하는 유사도에 대응되는 이미지를 검색 텍스트에 대응되는 목표 이미지로 한다.
본 공개의 실시예에서 제공하는 이미지-텍스트 검색 방법은, 사전 훈련된 다중 목표의 이미지-텍스트 매칭 모델을 이용하여 유사도 계산을 진행하여, 이미지에 복수의 목표가 있을 경우, 계산 결과가 정확하지 않은 문제를 해결하고, 검색 결과의 정확성을 향상시킬 수 있다.
가능한 실현 방식에서, 도 4에 도시된 S401에서, 복수의 이미지를 획득한 후, 추가적으로,
다중 목표의 이미지-텍스트 매칭 모델의 이미지 인코딩 모듈을 통해, 복수의 이미지 중 각 이미지의 이미지 특징을 추출하고, 각 이미지의 이미지 특징을 분류하여, 복수의 카테고리의 이미지를 얻고 저장하는 단계를 포함한다.
실제 응용에서, 다중 목표의 이미지-텍스트 매칭 모델은 이미지 인코딩 모듈을 포함할 수 있고, 복수의 이미지를 획득한 후, 이미지 인코딩 모듈을 통해 복수의 이미지 중 각 이미지의 이미지 특징을 추출하여 분류하고, 이미지 및 이들이 속한 카테고리는 인덱싱을 구축하여, 미리 설정된 저장 공간에 저장한다. 서버에서 검색 텍스트를 수신할 경우, 인덱스 및 검색 텍스트를 기반으로 이미지-텍스트 검색을 진행한다.
본 공개 실시예에서, 이미지에 대해 미리 특징을 추출하고 분류 및 저장하여, 검색 속도를 향상시킬 수 있고, 온라인 검색 요구를 충족할 수 있다.
가능한 실현 방식에서, 도4에 도시된 S402에서, 검색 텍스트와 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 검색 텍스트와 복수의 이미지의 유사도를 얻는 단계는, 추가적으로,
다중 목표의 이미지-텍스트 매칭 모델의 텍스트 인코딩 모듈을 통해 검색 텍스트의 텍스트 특징을 추출하는 단계;
복수의 카테고리의 이미지에서 검색 텍스트에 대응되는 목표 카테고리의 이미지를 확정하는 단계;
다중 목표의 이미지-텍스트 매칭 모델의 유사도 확정 모듈을 통해, 검색 텍스트 및 목표 카테고리의 이미지 중 각 이미지의 유사도를 얻는 단계;를 더 포함한다.
실제 응용에서, 다중 목표의 이미지-텍스트 매칭 모델은 또한 텍스트 인코딩 모듈 및 유사도 확정 모듈을 포함할 수 있고, 이미지-텍스트 검색을 진행할 경우, 텍스트 인코딩 모듈을 통해 검색 텍스트의 텍스트 특징을 추출한 후, 검색 텍스트를 상응하는 이미지 카테고리에 매칭시켜, 다중 목표의 이미지-텍스트 매칭 모델의 유사도 확정 모듈을 통해, 검색 텍스트 및 목표 카테고리의 이미지 중 각 이미지의 유사도를 계산한다.
본 공개의 실시예에서, 검색 텍스트에 대응되는 목표 카테고리의 이미지를 확정하고, 검색 텍스트 및 목표 카테고리의 이미지의 유사도를 계산하여, 검색 텍스트와 모든 이미지의 유사도를 계산하는데 발생되는 시간 낭비를 방지하고, 온라인 검색의 속도를 향상시킨다.
도 5는 본 공개의 일 실시예에 따른 온라인 검색 방법의 개략도이다. 다중 목표의 이미지-텍스트 매칭 모델은 텍스트 인코딩 모듈, 이미지 인코딩 모듈 및 유사도 확정 모듈을 포함한다. 복수의 이미지를 획득하고, 이미지 인코딩 모듈을 통해 이미지 특징을 추출하여, 복수의 이미지를 분류하여(예를 들면 도면에 도시된 quantizer), 복수의 카테고리(예를 들면 도시된 i, j…z)을 획득하고, 인덱스(도면에 도시된 indexing)를 구축하여, 반전된 인덱스 목록을 얻고(도면에 도시된 inverted list I, inverted list j…inverted list z), 이미지 특징y는 카테고리 j에 속하고, 반전된 인덱스 목록inverted list j는 이미지 특징y의 ID를 기록한다. 인코딩 모듈을 통해 텍스트 특징을 추출하여, 검색 텍스트(도시된 query)의 텍스트 특징x를 얻고, 텍스트 특징x에 대응되는 이미지 카테고리를 z로 확정하고, 유사도 확정 모듈을 통해 텍스트 특징x와 이미지 카테고리z 중 각 이미지의 유사도를 계산하고, 유사도가 미리 설정된 위치까지 배열된이미지들을 검색 텍스트에 대응되는 목표 이미지 집합으로 사용한다(도면에 도시된 calulate similarity and select top k).
도 6은 본 공개의 일 실시예에 따른 온라인 검색 방법의 개략도이다. 도시한 바와 같다.
첫번째: 텍스트 관계 캡쳐. 구체적으로, 웹 크롤러를 통해 이미지와 텍스트를 획득하여, 복수의 이미지 관계 쌍을 훈련 샘플 세트로 얻는다.
두번째: 모델 훈련. 구체적으로, 훈련 샘플 세트를 이용하여 초기 모델을 훈련시켜, 이미지-텍스트 매칭 모델을 얻는다.
세번째: 다중 목표의 의미론적 정렬. 구체적으로, 다중 목표의 이미지-텍스트 매칭 모델의 복수의 훈련 샘플을 획득하여, 각 훈련 샘플에 샘플 이미지 및 샘플 텍스트를 포함하고, 샘플 이미지는 복수의 목표를 포함한다. 훈련 샘플을 이미지-텍스트 매칭 모델에 입력하고, 이미지-텍스트 매칭 모델에서 출력한 구배 및 유사도에 따라, 샘플 텍스트에 대응되는 히트맵을 얻는다.
네번째: 다중 모드 모델. 샘플 텍스트 및 대응되는 히트맵을 이용하여 이미지-텍스트 매칭 모델의 모델 파라미터에 대해 미세 조절하여, 다중 모드 모델(즉 다중 목표의 이미지-텍스트 매칭 모델)을 얻는다.
다섯번째: 온라인 텍스트 검색. 구체적으로, 검색 텍스트를 다중 모드 모델에 입력한다. 전체 이미지 라이브러리의 각 이미지를 다중 모드 모델에 입력하여, 복수의 이미지 특징을 얻는다. 복수의 이미지 특징을 분류하여, 인덱스를 구축한다. 검색 텍스트에 대응되는 목표 카테고리 이미지를 확정하고, 검색 텍스트와 대응되는 목표 카테고리 이미지에 대해 유사도를 계산하여, 유사도가 미리 설정된 조건을 만족하는 목표 이미지를 얻어 검색 결과로 하여 출력한다.
도 7은 본 공개의 일 실시예에 따른 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치의 개략도이다. 도 7에 도시한 바와 같이, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치는,
샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 획득하는 것에 사용되는 제1 획득 모듈(701);
각 훈련 샘플에 대하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉, 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 것에 사용되는 제2 획득 모듈(702);
복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 것에 사용되는, 모델 훈련 모듈(703);을 포함할 수 있다.
본 공개에서 제공하는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치는，
샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻고; 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하고; 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련하여, 다중 목표의 이미지-텍스트 매칭 모델을 얻는다. 본 공개의 기술 방안은, 샘플 텍스트 및 대응되는 히트맵을 통해 다중 목표의 이미지-텍스트 매칭 모델을 훈련시킴으로써, 이미지에 복수의 목표가 있을 경우, 계산 결과가 정확하지 않은 문제를 해결할 수 있다. 다중 목표의 이미지-텍스트 매칭 모델을 이미지-텍스트 검색에 응용하여, 검색 결과의 정확성을 향상시킬 수 있다.
가능한 실현 방식에서, 도 7에 도시된 제2 획득 모듈(702)은, 획득 유닛 및 확정 유닛을 더 포함하고,
획득 유닛은, 사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 것에 사용되고,
확정 유닛은, 각 훈련 샘플은, 이미지-텍스트 매칭 모듈 및 훈련 샘플을 기반으로, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 획득하는 것에 사용된다.
가능한 실현 방식에서, 제2 획득 모듈(702)중의 확정 유닛은, 구체적으로,
각 훈련 샘플에 대하여, 훈련 샘플을 이미지-텍스트 매칭 모델에 입력하여, 훈련 샘플에 대응되는 유사도 및 구배를 얻고; 훈련 샘플에 대응되는 유사도 및 구배를 기반으로, 훈련 샘플 중의 샘플 이미지를 처리하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 것에 사용된다.
가능한 실현 방식에서, 도 7에 도시된 모델 훈련 모듈(703)은, 구체적으로,
사전 훈련된 이미지-텍스트 매칭 모델을 획득하고,
복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델의 모델 파라미터를 조절하여, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 것에 사용된다.
가능한 실현 방식에서, 이미지-텍스트 매칭 모듈은 사전 훈련된 텍스트 인코딩 모듈 및 이미지 인코딩 모듈을 포함한다.
본 공개 실시예의 각 장치 중의 각 유닛, 모듈 또는 서브 모듈의 기능은 상기 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법 실시예 중의 해당 설명을 참고할 수 있으므로, 이에 대한 설명은 생략한다.
도 8은 본 공개의 일 실시예에 따른 이미지-텍스트 검색 장치의 개략도이다. 도8에 도시한 바와 같이, 이미지-텍스트 검색 장치는,
검색 텍스트 및 복수의 이미지를 획득하는 것에 사용되는 획득 모듈(801);
검색 텍스트 및 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 검색 텍스트와 복수의 이미지의 유사도를 얻는 것에 사용되는 매칭 모듈(802);
검색 텍스트와 복수의 이미지의 유사도에 따라, 검색 텍스트에 대응되는 목표 이미지를 확정하는 것에 사용되는, 확정 모듈(803);을 포함할 수 있고,
다중 목표의 이미지-텍스트 매칭 모델은 본 공개의 실시예에서 제공되는 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법에 따라 훈련하여 획득한다.
본 공개의 실시예에서 제공하는 이미지-텍스트 검색 장치는 사전 훈련된 다중 목표의 이미지-텍스트 매칭 모델을 이용하여 유사도 계산을 진행하여, 이미지에 복수의 목표가 있을 경우, 계산 결과가 정확하지 않은 문제를 해결하고, 검색 결과의 정확성을 향상시킬 수 있다.
가능한 실현 방식에서, 도8에 도시된 이미지-텍스트 검색 장치는 또한 분류 모듈을 더 포함하고, 분류 모듈은,
다중 목표의 이미지-텍스트 매칭 모델의 이미지 인코딩 모듈을 통해 복수의 이미지중 각 이미지의 이미지 특징을 추출하고, 각 이미지의 이미지 특징을 분류하여, 복수의 카테고리의 이미지를 얻고 저장하는 것에 사용된다.
실현 가능한 실시방식에서, 도 8에 도시된 매칭 모듈(802)은,
다중 목표의 이미지-텍스트 매칭 모델의 텍스트 인코딩 모듈을 통해 검색 텍스트의 텍스트 특징을 추출하고,
복수의 카테고리의 이미지에서 검색 텍스트에 대응되는 목표 카테고리의 이미지를 확정하고;
다중 목표의 이미지-텍스트 매칭 모델의 유사도 확정 모듈을 통해, 검색 텍스트 및 목표 카테고리의 이미지 중 각 이미지의 유사도를 얻는 것에 사용된다.
본 공개의 실시예의 각 장치중의 각 유닛, 모듈 또는 서브 모듈의 기능은 상기 이미지-텍스트 검색 방법 실시예에서 해당 설명을 참고할 수 있으며, 이에 대한 설명은 생략한다.
본 공개의 기술 방안에서, 언급된 사용자의 개인 정보의 수집, 저장 및 사용 등은 모두 관련 법률 법규의 규정에 부합되고, 공서양속에 위배되지 않는다.
본 공개의 다른 일 측면에 따르면,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서가 본 공개의 임의의 일 실시예중의 방법을 실행할 수 있도록, 상기 적어도 하나의 프로세서에 의해 실행되는, 전자 장치를 제공한다.
본 공개의 다른 일 측면에 따르면, 컴퓨터가 본 공개의 임의의 일 실시예 중의 방법을 실행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장 매체를 제공한다.
본 공개의 다른 일 측면에 따르면, 프로세서에 의해 실행될 때 본 공개의 임의의 일 실시예 중의 방법에 실현되도록 하는 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 제품을 제공한다.
도 9에서 도시한 바와 같이, 본 공개의 실시예를 실시할 수 있는 예시적 전자기기(900)의 예시적인 블록도를 나타낸다. 전자 기기는 예를 들어, 랩탑 컴퓨터, 데스크 탑 컴퓨터, 워크 스테이션, PDA (Personal Digital Assistants), 서버, 블레이드 서버, 메인 프레임 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 포함할 수 있다. 전자기기는 예를 들어, PDA (Personal Digital Assistants), 셀룰러 폰, 스마트 폰, 웨어러블 기기, 및 기타 유사한 계산장비와 같은 다양한 형태의 모바일 기기를 포함할 수 있다. 본 명세서에 기재된 부품, 이들의 연결 및 관계, 그리고 이들의 기능은 단지 예시에 불과하며, 본 명세서에서 설명 및/또는 청구하는 본 개시의 범위를 한정하기 위한 것이 아니다.
도 9에 도시된 바와 같이, 기기(900)는 ROM (Read Only Memory)(902)에 저장된 컴퓨터 프로그램 또는 저장수단(908)으로부터 RAM (Random Access Memory)(903)에 로드된 컴퓨터 프로그램에 따라, 각종 적당한 동작 및 처리를 실행할 수 있는 계산 유닛(901)을 포함한다. RAM(903)에는, 기기(900)의 동작에 필요한 각종 프로그램 및 정보가 저장될 수 있다. 계산 유닛(901), ROM(902) 및 RAM(903)은 버스라인(904)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(905)도 버스라인(904)에 연결된다.
기기(900) 중의 복수의 부품은 I/O 인터페이스(905)에 연결되고, 키보드, 입력 유닛(906, 예를 들면 키보드, 마우스등), 출력 유닛(907, 다양한 디스플레이, 스피커등), 저장 유닛(908, 디스크, 광디스크등) 및 통신 유닛(909, 네트워크 카드, 모뎀, 무선통신 트랜시버등)를 포함한다. 통신 유닛(909)은 기기(900)가 인터넷 등 컴퓨터 네트워크 및/또는 다양한 전산 네트워크를 통해 기타 기기들과 정보/정보를 교환하도록한다.
계산 유닛(901)은 처리 기능 및 계산 기능을 가진 각종 범용 및/또는 주문형 처리 어셈블리일 수 있다. 계산 유닛(901)의 일부 실예로서는, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 각종 주문형 인공지능(AI) 컴퓨팅 칩, 각종 머신 러닝 모델 알고리즘을 운행하는 계산 유닛, 디지털 신호 프로세서(DSP), 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등이 포함될 수 있는데, 이에 한정되지는 않는다. 계산 유닛(901)은 앞에서 설명한 각 방법 및 처리를 실행하는데, 예를 들면 본 공개 실시예 중의 임의의 하나의 방법이다. 예를 들면, 일부 실시예에서, 본 공개 실시예 중의 방법은 저장 유닛(908)과 같은 기계 판독가능 매체에 포함되는 컴퓨터 소프트웨어 프로그램에 의해 실현될 수 있다. 일부 실시예에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(902) 및/또는 통신수단(909)를 거쳐 기기(900)에 로드 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(903)에 로드되고 계산 유닛(901)에 의해 실행될 경우, 앞에서 설명한 이미지 처리 방법의 하나 이상의 단계를 실행할 수 있다. 선택적으로, 다른 실시예에 있어서, 계산 유닛(901)은 다른 임의의 적합한 방식(예를 들어, 펌웨어)을 통해 이미지 처리 방법 실행하도록 배치될 수 있다.
본문중 위에서 설명한 시스템 및 기술의 다양한 실시 형태는 디지털 전자 회로 시스템, 집적 회로 시스템, FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated circuit), ASSP(Application Specific Standard Product), SOC(System on Chip), CPLD(Complex Programmable Logic Device), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램을 통해 구현될 수 있고, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 주문형 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로 전송할 수 있다.
본 공개를 실시하기 위한 방법의 프로그램 코드는 하나 이상의 프로그램 언어의 임의의 조합을 이용하여 코딩할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로세서 또는 컨트롤러가 프로그램 코드를 실행할 때, 흐름도 및/또는 블록도 중에서 규정한 기능/동작이 실행되도록 한다. 프로그램 코드는 완전히 기계에서 실행될 수 있고, 또한 부분적으로 기계에서 실행될 수 있으며, 독립적인 소프트웨어 패키지로 부분적으로 기계에서 실행되며, 부분적으로 원격 기계에서 실행되거나, 완전히 원격 머신 또는 서버에서 실행될 수 있다.
본 공개의 위, 아래의 설명에서, 기계 판독가능 매체는 실체적인 매체일 수 있고, 상기 매체에는 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 또는 명령 실행 시스템, 장치 또는 장비와 결합하여 사용되는 프로그램이 포함되거나 저장될 수 있다. 기계 판독가능 매체는 기계 판독가능 신호 매체 또는 기계 판독가능 저장매체일 수 있다. 기계 판독가능 신호 매체는, 전자적, 자기적, 광학적, 전자기적, 적외선적, 또는 반도체 시스템, 장치 또는 기기, 또는 이들의 임의의 적합한 조합을 포함할 수 있는데, 이에 한정되지는 않는다. 기계 판독가능 저장매체의 보다 구체적인 실예로는, 하나 이상의 라인에 의해 전기적으로 연결되는 휴대용 컴퓨터 디스크, 하드 디스크, RAM, ROM, EPROM(Erasable Programming ROM), 광 파이버, CD-ROM, 광학적 저장 장비, 자기적 저장 장비, 또는 이들의 임의의 적합한 조합일 수 있다.
유저와의 인터액션을 제공하기 위해서는, 컴퓨터를 통해 본 명세서에서 설명한 시스템 및 기술을 구현할 수 있는데, 상기 컴퓨터는, 유저에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터), 및 유저가 상기 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙 볼)를 포함한다. 기타 유형의 디바이스도 유저와의 인터액션을 제공하는데 사용될 수 있다. 예를 들어, 유저에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고, 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력을 포함)로 유저로부터의 입력을 수신할 수 있다.
본 명세서에서 설명한 시스템 및 기술은, 백그라운더 부품을 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 앤드 부품을 포함하는 컴퓨팅 시스템(예를 들어, GUI 또는 웹 브라우저를 갖는 사용자 컴퓨터로서, 사용자는 상기 GUI 또는 상기 웹 브라우저를 통하여 본 명세서에서 설명한 상기 시스템 및 기술의 실시 형태와 인터액션을 할 수 있음), 또는 이러한 백 그라운더 부품, 미들웨어 부품, 또는 프론트 앤드 부품의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 부품은 임의의 형태 또는 매체의 디지털 정보 통신(예를 들어, 통신 네트워크)을 통해 서로 연결될 수 있다. 통신 네트워크는 예를 들어 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함할 수 있다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터액션을 진행한다. 클라이언트와 서버의 관계는 대응하는 컴퓨터에서 실행되고 서로 클라이언트-서버의 관계를 갖는 컴퓨터 프로그램에 의해 생성된다. 서버는 클라우드 서버일 수 있고, 또는 분산형 시스템의 서버 또는 블록체인을 결합한 서버일 수 있다.
이해해야 할 것은, 상기에서 설명한 다양한 프로세스를 사용하여 각 단계의 순서를 조정하거나, 일부 단계를 추가 또는 삭제할 수 있다. 예를 들어, 본 공개에 기재된 다양한 단계는 병렬적으로 또는 순차적으로, 또는 서로 다른 순서로 실행될 수 있고, 본 공개의 기술 방안이 원하는 결과로 실현만 될 수 있다면, 본문은 이에 대해 특별히 한정하지 않는다.
상기 구체적인 실시방식은 본 공개의 보호범위에 대한 한정을 구성하지 않는다. 당업자가 명백히 해야 할 점은, 설계 요구 및 기타 요소에 따라, 각종 수정, 조합, 하위 조합 및 대체를 진행할 수 있다. 본 공개의 정신 및 원칙 이내에서 한 임의의 보정, 균등한 대체 및 개선 등은 모두 본 공개의 보호 범위 내에 포함된다.

Claims (19)

  1. 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법에 있어서,
    샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 상기 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 얻는 단계;
    각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 단계;
    복수의 상기 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계;를 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법.
  2. 제1항에 있어서,
    각 훈련 샘플이, 상기 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 획득하는 단계는,
    사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 단계;
    각 훈련 샘플은, 이미지-텍스트 매칭 모델과 훈련 샘플을 기반으로, 상기 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계;를 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법.
  3. 제2항에 있어서,
    상기 각 훈련 샘플은, 상기 이미지-텍스트 매칭 모델 및 상기 훈련 샘플을 기반으로, 상기 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계는,
    각 훈련 샘플은, 상기 훈련 샘플을 상기 이미지-텍스트 매칭 모델에 입력하여, 상기 훈련 샘플에 대응되는 유사도 및 구배를 얻는 단계; 상기 훈련 샘플에 대응되는 유사도 및 구배를 기반으로, 상기 훈련 샘플 중의 샘플 이미지를 처리하여, 상기 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 단계;를 포함하는, 다중 목표 이미지-텍스트 매칭 모델의 훈련 방법.
  4. 제1항에 있어서,
    상기 복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계는,
    사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 단계;
    복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 상기 이미지-텍스트 매칭 모델의 모델 파라미터를 조절하여, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 단계;를 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법.
  5. 제1항에 있어서,
    상기 이미지-텍스트 매칭 모델은 사전 훈련된 텍스트 인코딩 모듈 및 이미지 인코딩 모듈을 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법.
  6. 이미지-텍스트 검색 방법에 있어서,
    검색 텍스트 및 복수의 이미지를 획득하는 단계;
    상기 검색 텍스트 및 상기 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 상기 검색 텍스트와 상기 복수의 이미지의 유사도를 얻는 단계;
    상기 검색 텍스트와 상기 복수의 이미지의 유사도에 따라, 상기 검색 텍스트에 대응되는 목표 이미지를 확정하는 단계;를 포함하고,
    상기 다중 목표의 이미지-텍스트 매칭 모델은 제1항 내지 제5항 중 어느 한 항에 따른 방법에 의해 훈련하여 획득하는, 이미지-텍스트 검색 방법.
  7. 제6항에 있어서,
    복수의 이미지를 복수의 이미지를 획득한 후,
    상기 다중 목표의 이미지-텍스트 매칭 모델의 이미지 인코딩 모듈을 통해 상기 복수의 이미지중 각 이미지의 이미지 특징을 추출하고, 각 이미지의 이미지 특징을 분류하여, 복수의 카테고리의 이미지를 얻고 저장하는 단계;를 더 포함하는, 이미지-텍스트 검색 방법
  8. 제7항에 있어서,
    상기 검색 텍스트와 상기 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 상기 검색 텍스트와 상기 복수의 이미지의 유사도를 얻는 단계는,
    상기 다중 목표의 이미지-텍스트 매칭 모델의 텍스트 인코딩 모듈을 통해 상기 검색 텍스트의 텍스트 특징을 추출하는 단계;
    상기 복수의 카테고리의 이미지에서 상기 검색 텍스트에 대응되는 목표 카테고리의 이미지를 확정하는 단계;
    상기 다중 목표의 이미지-텍스트 매칭 모델의 유사도 확정 모듈을 통해, 상기 검색 텍스트 및 상기 목표 카테고리의 이미지 중 각 이미지의 유사도를 얻는 단계;를 포함하는, 이미지-텍스트 검색 방법.
  9. 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치는,
    샘플 이미지 및 샘플 텍스트로 구성된 샘플 쌍을 포함하고, 샘플 이미지에는 복수의 목표가 포함되는, 복수의 훈련 샘플을 획득하는 것에 사용되는, 제1 획득 모듈;
    각 훈련 샘플은, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵, 즉, 샘플 텍스트가 샘플 이미지 중의 목표에 대응되는 영역을 나타내는 히트맵을 획득하는 것에 사용되는 제2 획득 모듈;
    복수의 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델을 훈련시켜, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 것에 사용되는, 모델 훈련 모듈;을 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치.
  10. 제9항에 있어서,
    상기 제2 획득 모듈은 획득 유닛 및 확정 유닛을 포함하고,
    상기 획득 유닛은, 사전 훈련된 이미지-텍스트 매칭 모델을 획득하는 것에 사용되고;
    상기 확정 유닛은, 각 훈련 샘플에 대하여, 이미지-텍스트 매칭 모듈 및 훈련 샘플을 기반으로, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 것에 사용되는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치.
  11. 제10항에 있어서,
    상기 확정 유닛은, 구체적으로,
    각 훈련 샘플은, 상기 훈련 샘플을 이미지-텍스트 매칭 모델에 입력하여, 훈련 샘플에 대응되는 유사도 및 구배를 얻고;
    상기 훈련 샘플에 대응되는 유사도 및 구배를 기반으로, 훈련 샘플 중의 샘플 이미지를 처리하여, 훈련 샘플 중의 샘플 텍스트에 대응되는 히트맵을 얻는 것에 사용되는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치.
  12. 제9항에 있어서,
    상기 모델 훈련 모듈은, 구체적으로,
    사전 훈련된 이미지-텍스트 매칭 모델을 획득하고,
    복수의 상기 샘플 텍스트 및 대응되는 히트맵을 기반으로, 이미지-텍스트 매칭 모델의 모델 파라미터를 조절하여, 다중 목표의 이미지-텍스트 매칭 모델을 얻는 것에 사용되는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치.
  13. 제9항에 있어서,
    상기 이미지-텍스트 매칭 모델은 사전 훈련된 텍스트 인코딩 모듈 및 이미지 인코딩 모듈을 포함하는, 다중 목표의 이미지-텍스트 매칭 모델의 훈련 장치.
  14. 이미지-텍스트 검색 장치는,
    검색 텍스트 및 복수의 이미지를 획득하는 것에 사용되는, 획득 모듈;
    상기 검색 텍스트 및 상기 복수의 이미지를 다중 목표의 이미지-텍스트 매칭 모델에 입력하여, 상기 검색 텍스트와 상기 복수의 이미지의 유사도를 얻는 것에 사용되는, 매칭 모듈;
    상기 검색 텍스트와 상기 복수의 이미지의 유사도에 따라, 상기 검색 텍스트에 대응되는 목표 이미지를 확정하는 것에 사용되는, 확정 모듈;을 포함하고,
    상기 다중 목표의 이미지-텍스트 매칭 모델은 제1항 내지 제5항 중 어느 한 항에 따른 방법에 의해 훈련하여 획득하는, 이미지-텍스트 검색 장치.
  15. 제14항에 있어서,
    상기 다중 목표의 이미지-텍스트 매칭 모델의 이미지 인코딩 모듈을 통해 상기 복수의 이미지 중 각 이미지의 이미지 특징을 추출하고, 각 이미지의 이미지 특징을 분류하여, 복수의 카테고리의 이미지를 얻고 저장하는 것에 사용되는, 분류 모델을 더 포함하는, 이미지-텍스트 검색 장치.
  16. 제15항에 있어서,
    상기 매칭 모듈은,
    상기 다중 목표의 이미지-텍스트 매칭 모델의 텍스트 인코딩 모듈을 통해 상기 검색 텍스트의 텍스트 특징을 추출하고,
    상기 복수의 카테고리의 이미지에서 상기 검색 텍스트에 대응되는 목표 카테고리의 이미지를 확정하고;
    상기 다중 목표의 이미지-텍스트 매칭 모델의 유사도 확정 모듈을 통해, 상기 검색 텍스트 및 상기 목표 카테고리의 이미지 중 각 이미지의 유사도를 얻는 것에 사용되는, 이미지-텍스트 검색 장치.
  17. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하는 전자 장치에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있고, 상기 명령은, 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행할 수 있도록, 상기 적어도 하나의 프로세서에 의해 실행되는, 전자 장치.
  18. 컴퓨터가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하도록 하는 컴퓨터 명령이 저장된, 비일시적 컴퓨터 판독 가능 저장 매체.
  19. 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은, 적어도 하나의 프로세서에 의해 실행될 때 제1항 내지 제8항 중 어느 한 항에 따른 방법이 구현되도록 하는 명령을 포함하는, 컴퓨터 프로그램 제품.
KR1020220133251A 2022-03-02 2022-10-17 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치 KR20220147550A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210200250.4A CN114549874B (zh) 2022-03-02 2022-03-02 多目标图文匹配模型的训练方法、图文检索方法及装置
CN202210200250.4 2022-03-02

Publications (1)

Publication Number Publication Date
KR20220147550A true KR20220147550A (ko) 2022-11-03

Family

ID=81662508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220133251A KR20220147550A (ko) 2022-03-02 2022-10-17 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치

Country Status (4)

Country Link
US (1) US20230196716A1 (ko)
JP (1) JP7403605B2 (ko)
KR (1) KR20220147550A (ko)
CN (1) CN114549874B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594547B1 (ko) * 2022-11-28 2023-10-26 (주)위세아이텍 멀티모달 특성 기반의 이미지 검색 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115914B (zh) * 2022-06-07 2024-02-27 腾讯科技（深圳）有限公司 信息识别方法、装置以及计算机可读存储介质
CN116226688B (zh) * 2023-05-10 2023-10-31 粤港澳大湾区数字经济研究院(福田) 数据处理、图文检索、图像分类方法及相关设备
CN116797889B (zh) * 2023-08-24 2023-12-08 青岛美迪康数字工程有限公司 医学影像识别模型的更新方法、装置和计算机设备
CN116935418B (zh) * 2023-09-15 2023-12-05 成都索贝数码科技股份有限公司 一种三维图文模板自动重组方法、设备及系统
CN117235534B (zh) * 2023-11-13 2024-02-20 支付宝(杭州)信息技术有限公司 训练内容理解模型和内容生成模型的方法及装置
CN117688193A (zh) * 2024-02-01 2024-03-12 湘江实验室 图文统一编码方法、装置、计算机设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483694B2 (en) * 2014-01-26 2016-11-01 Sang Hun Kim Image text search and retrieval system
CN110532571B (zh) 2017-09-12 2022-11-18 腾讯科技（深圳）有限公司 文本处理方法及相关装置
JP2019194446A (ja) 2018-05-01 2019-11-07 株式会社ユタカ技研 触媒コンバータのフランジ構造
KR102102161B1 (ko) 2018-05-18 2020-04-20 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN110634125B (zh) * 2019-01-14 2022-06-10 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN110209862B (zh) * 2019-05-22 2021-06-25 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
JP2021022368A (ja) 2019-07-25 2021-02-18 学校法人中部大学 ニューラルネットワークを用いた画像認識装置およびトレーニング装置
CN112487979B (zh) * 2020-11-30 2023-08-04 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112733533B (zh) * 2020-12-31 2023-11-07 浙大城市学院 一种基于bert模型及文本-图像关系传播的多模态命名实体识别方法
CN113378815B (zh) * 2021-06-16 2023-11-24 南京信息工程大学 一种场景文本定位识别的系统及其训练和识别的方法
CN113378857A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113590865B (zh) * 2021-07-09 2022-11-22 北京百度网讯科技有限公司 图像搜索模型的训练方法及图像搜索方法
CN113656613A (zh) * 2021-08-20 2021-11-16 北京百度网讯科技有限公司 训练图文检索模型的方法、多模态图像检索方法及装置
CN113836333B (zh) * 2021-09-18 2024-01-16 北京百度网讯科技有限公司 图文匹配模型的训练方法、实现图文检索的方法、装置
CN113901907A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 图文匹配模型训练方法、图文匹配方法及装置
CN113947188A (zh) * 2021-10-14 2022-01-18 北京百度网讯科技有限公司 目标检测网络的训练方法和车辆检测方法
CN114004229A (zh) * 2021-11-08 2022-02-01 北京有竹居网络技术有限公司 文本识别方法、装置、可读介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594547B1 (ko) * 2022-11-28 2023-10-26 (주)위세아이텍 멀티모달 특성 기반의 이미지 검색 장치 및 방법

Also Published As

Publication number Publication date
US20230196716A1 (en) 2023-06-22
CN114549874B (zh) 2024-03-08
JP7403605B2 (ja) 2023-12-22
JP2022191412A (ja) 2022-12-27
CN114549874A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
KR20220147550A (ko) 다중 목표의 이미지-텍스트 매칭 모델의 훈련 방법, 이미지-텍스트 검색 방법 및 장치
US11681875B2 (en) Method for image text recognition, apparatus, device and storage medium
US11520812B2 (en) Method, apparatus, device and medium for determining text relevance
CN110019732B (zh) 一种智能问答方法以及相关装置
US20220318275A1 (en) Search method, electronic device and storage medium
CN111666766A (zh) 数据处理方法、装置和设备
CN114861889A (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN114782719B (zh) 一种特征提取模型的训练方法、对象检索方法以及装置
CN114116997A (zh) 知识问答方法、装置、电子设备及存储介质
US20230085684A1 (en) Method of recommending data, electronic device, and medium
US20220318253A1 (en) Search Method, Apparatus, Electronic Device, Storage Medium and Program Product
US20220414095A1 (en) Method of processing event data, electronic device, and medium
CN114647739B (zh) 实体链指方法、装置、电子设备及存储介质
US20220292131A1 (en) Method, apparatus and system for retrieving image
CN108733702B (zh) 用户查询上下位关系提取的方法、装置、电子设备和介质
US20220215493A1 (en) Method, Apparatus, and Electronic Device for Obtaining Trademark Similarity
EP3992814A2 (en) Method and apparatus for generating user interest profile, electronic device and storage medium
CN114692778A (zh) 用于智能巡检的多模态样本集生成方法、训练方法及装置
CN114691918A (zh) 基于人工智能的雷达图像检索方法、装置以及电子设备
CN113326438A (zh) 信息查询方法、装置、电子设备以及存储介质
US20230095947A1 (en) Method and apparatus for pushing resource, and storage medium
CN115392396A (zh) 一种信息处理方法、装置、电子设备及可读存储介质
CN112818221A (zh) 实体的热度确定方法、装置、电子设备及存储介质
CN114066278A (zh) 物品召回的评估方法、装置、介质及程序产品
CN117290758A (zh) 非结构化文档的分类分级方法、装置、设备及介质