KR20220109363A - 이미지 검색 방법, 장치 및 시스템 - Google Patents

이미지 검색 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20220109363A
KR20220109363A KR1020220088252A KR20220088252A KR20220109363A KR 20220109363 A KR20220109363 A KR 20220109363A KR 1020220088252 A KR1020220088252 A KR 1020220088252A KR 20220088252 A KR20220088252 A KR 20220088252A KR 20220109363 A KR20220109363 A KR 20220109363A
Authority
KR
South Korea
Prior art keywords
image
score
threshold
target
candidate
Prior art date
Application number
KR1020220088252A
Other languages
English (en)
Inventor
루빈 바이
시앙 웨이
이펭 선
쿤 야오
징투오 리우
준위 한
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220109363A publication Critical patent/KR20220109363A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 이미지 검색 방법, 장치 및 시스템을 제공하며, 인공 지능 기술 분야에 속하며, 구체적으로 컴퓨터 비전 및 딥 러닝 기술 분야에 관한 것으로, 이미지 처리 및 이미지 인식 등 장면에 적용될 수 있다. 구체적인 구현방식은, 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 타겟 이미지로부터 타겟 주체를 검출하는 단계와, 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하는 단계와, 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻는 단계와, 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계를 포함한다. 해당 구현방식은 검색의 정확도를 제고할 수 있다.

Description

이미지 검색 방법, 장치 및 시스템{Image retrieval methods, devices and systems}
본 개시는 인공 지능 기술 분야에 관한 것으로서, 구체적으로는 컴퓨터 비전 및 딥 러닝 기술 분야에 관한 것이며, 이미지 처리 및 이미지 인식 등 장면에 적용될 수 있다.
상품 이미지 검색 기술이란 사용자가 촬영한 이미지를 상품 라이브러리에서 검색하여 동일하거나 유사한 상품을 찾아 상품을 판매하거나 관련 상품을 추천하여 상품 검색의 편의성을 높이고 사용자의 구매 체험을 최적화하는 것을 말한다. 상품의 검색은 모바일 시각적 검색의 전자상거래에 있어서의 중요한 응용이다. 상품 이미지 검색의 발전은 사용자의 쇼핑에 편의성을 제공할 뿐만 아니라 모바일 단말기에 대한 전자상거래의 발전을 촉진한다.
일반적인 상품 검색 방식은 상품의 이미지를 기반으로 하는 검색 방식이다. 사용자가 입력한 이미지에 따라 검색 시스템은 동일하거나 유사한 상품을 반환한다.
본 개시는 이미지 검색 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램을 제공한다.
본 개시의 제1 양태에 따르면, 이미지 검색 방법으로서, 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 상기 타겟 이미지로부터 타겟 주체를 검출하는 단계와, 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 상기 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하는 단계와, 상기 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻는 단계와, 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계를 포함한다.
본 개시의 제2 양태에 따르면, 이미지 검색 장치로서, 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 상기 타겟 이미지로부터 타겟 주체를 검출하도록 구성되는 검출 유닛과, 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 상기 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하도록 구성되는 추출 유닛과, 상기 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻도록 구성되는 매칭 유닛과, 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성되는 출력 유닛을 구비한다.
본 개시의 제3 양태에 따르면, 이미지 검색 시스템으로서, 타겟 이미지를 포함하는 조회 요구를 수신하고 조회 요구를 고급 검색 계층에 전달하여 처리하고 고급 검색 계층에서 반환된 검색 결과를 출력하기 위한 통합 접속 계층과, 타겟 이미지의 특징을 추출하고 특징을 기본 검색 계층에 전달하여 처리하고 기본 검색 계층으로부터 수신한 후보 이미지를 병합하여 얻은 검색 결과를 상기 통합 접속 계층에 반환하기 위한 고급 검색 계층과, 상기 고급 검색 계층에서 제공하는 특징에 따라 로컬 디스크에 저장된 데이터베이스에서 일치한 후보 이미지를 검색하여 유사 점수, 동일 점수가 가장 높은 소정 수량의 후보 이미지를 반환하기 위한 적어도 하나의 슬라이스를 포함하는 기본 검색 계층을 포함한다.
본 개시의 제4 양태에 따르면, 전자 기기로서, 적어도 하나의 프로세서와, 상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 구비하며, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1 양태의 방법을 수행하도록 한다.
본 개시의 제5 양태에 따르면, 제1 양태에 따른 방법을 컴퓨터에 실행시키기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
본 개시의 제6 양태에 따르면, 프로세서에 의해 실행될 경우, 제1 양태의 방법을 구현하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램을 제공한다.
본 개시의 실시예에서 제공하는 이미지 검색 방법, 장치 및 시스템은 동일한 특징 및 유사한 특징을 통해 검색 및 매칭을 행하기에 동일하거나 유사한 상품을 정확하게 반환할 수 있어 사용자의 의도를 만족시킨다.
본 명세서에 기술한 내용은 본 개시의 실시예의 관건적인 특징 또는 중요한 특징을 특정하기 위한 것이 아니며, 또한 본 개시의 범위를 제한하기 위한 것도 아님을 이해해야 할 것이다. 본 개시의 기타 특징들은 하기 설명을 통해 용이하게 이해될 것이다.
첨부된 도면은 본 개시를 보다 잘 이해하기 위한 것으로서 본 개시를 제한하지 않는다.
도 1은 본 개시의 실시예에 적용될 수 있는 예시적인 시스템 아키텍처도이다.
도 2는 본 개시에 따른 이미지 검색 방법의 하나의 실시예의 흐름도이다.
도 3은 본 개시에 따른 이미지 검색 방법의 하나의 응용 장면을 나타낸다.
도 4는 본 개시에 따른 이미지 검색 방법의 또 하나의 실시예의 프로세스 흐름도이다.
도 5는 본 개시에 따른 이미지 검색 장치의 하나의 실시예의 구조도이다.
도 6은 본 개시의 실시예를 구현하기에 적합한 전자 기기의 컴퓨터 시스템의 구조도이다.
이하, 도면을 결부하여 본 개시의 시범적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본 개시의 실시예들의 다양한 세부 사항들이 포함되며, 이들은 단지 시범적인 것으로 간주되어야 한다. 따라서, 당업자들은 본 개시의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 이하의 설명에 있어서 공지된 기능 및 구조의 설명은 생략된다.
도 1은 본 개시의 이미지 검색 방법 또는 이미지 검색 장치를 응용할 수 있는 실시예의 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103) 및 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들어, 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션하여 메시지 등을 수신하거나 송신할 수 있다. 단말 기기(101, 102, 103)에는 예를 들어, 웹 브라우저 애플리케이션, 쇼핑 애플리케이션, 검색 애플리케이션, 인스턴트 메시징 도구, 이메일 클라이언트, 소셜 플랫폼 소프트웨어 등과 같은 다양한 통신 클라이언트 애플리케이션이 설치될 수 있다.
단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우, 스마트폰, 태블릿 컴퓨터, 전자책 리더기, MP3 플레이어(Moving Picture Experts Group Audio Layer III，동영상 전문가 그룹 오디오 레이어 3), MP4(Moving Picture Experts Group Audio Layer IV， 동영상 전문가 그룹 오디오 레이어 4) 플레이어, 노트북 및 데스크탑 등을 포함하는 스플레이 화면을 갖고 웹 브라우징을 지원하는 다양한 전자 기기일 수 있으나 이에 한정되지 않는다. 단말 기기(101, 102, 103)가 소프트웨어인 경우, 상기에 열거한 전자 기기에 인스톨될 수 있다. 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들어, 분산형 서비스 제공)로 구현될 수 있고, 또한 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 특별히 제한하지 않는다.
서버(105)는 예를 들어, 단말 기기(101, 102, 103)가 제출한 이미지에 대해 검색 결과를 제공하는 백그라운드 검색 서버 등 다양한 서비스를 제공하는 서버일 수 있다. 백그라운드 검색 서버는 수신한 검색 요청 등 데이터를 분석 처리하고, 처리 결과 (예를 들어, 검색 결과)를 단말 기기에 피드백할 수 있다.
서버(105)에는 이미지 검색 시스템이 설치되어 있다. 해당 시스템은 다음을 포함한다.
1, 통합 접속 계층: 타겟 이미지를 포함하는 조회 요구를 수신하고 조회 요구를 고급 검색 계층에 전달하여 처리하고 고급 검색 계층에서 반환된 검색 결과를 출력하기 위한 것이다. Python 및 PHP로 구현할 수 있으며 외부에 대한 최종 인터페이스 계층이다. 이외에 사전 처리, 백엔드 서비스 액세스 및 사후 처리를 담당할 수도 있다.
2, 고급 검색 계층(Advanced Search，AS): 타겟 이미지의 특징을 추출하고 특징을 기본 검색 계층에 전달하여 처리하고 기본 검색 계층으로부터 수신한 후보 이미지를 병합하여 얻은 검색 결과를 상기 통합 접속 계층에 반환하기 위한 것이다. 고급 검색 계층은 먼저 주체를 검출한 다음 특징을 추출할 수 있다. 또한 검색 결과를 필터링한 후 통합 접속 계층으로 반환할 수도 있다.
3, 기본 검색 계층: 상기 고급 검색 계층에서 제공하는 특징에 따라 로컬 디스크에 저장된 데이터베이스에서 일치한 후보 이미지를 검색하고 유사 점수, 동일 점수가 가장 높은 소정 수량의 후보 이미지를 반환하기 위한 적어도 하나의 슬라이스를 포함한다. 디스크로부터 인덱스를 로드하거나 읽고, AS에서 제공하는 특징에 따라 인덱스에서 검색 및 채점하고, 최종적으로 가장 높은 점수를 가진 K개의 결과를 반환한다. 기본 검색 계층(basic search, BS)에서, 즉 BS의 각 슬라이스는 요청을 수신하는 바, 매개 슬라이스는 인덱스의 일부분이기 때문에, 요청은 시종 모든 부동한 슬라이스의 BS로 전송된다. 예를 들어, 최종적으로 TOP200 결과가 필요한 경우, 매개 슬라이스는 요청에 따라 TOP200 결과를 검색하고 AS 계층에서 전체 인덱스의 TOP200을 얻을 수 있다.
서버는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버가 하드웨어인 경우, 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고, 단일 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈 (예를 들어, 분산 서비스를 제공하는 데 사용되는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고, 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 특별히 제한하지 않는다. 서버는 분산 시스템의 서버일 수도 있고, 블록체인과 결합된 서버일 수도 있다. 서버는 클라우드 서버, 또는 인공 지능 기술이 적용된 지능형 클라우드 컴퓨팅 서버 또는 지능형 클라우드 호스트일 수도 있다.
본 개시의 실시예에서 제공하는 이미지 검색 방법은 일반적으로 서버(105)에서 수행되며, 이에 따라 이미지 검색 장치는 일반적으로 서버(105)에 설치된다.
도 1의 단말 기기, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현의 수요에 따라 임의의 수량의 단말 기기, 네트워크 및 서버를 가질 수 있다.
계속해서 도 2를 참조하면, 본 개시에 따른 이미지 검색 방법의 하나의 실시예의 프로세스(200)를 도시한다. 해당 이미지 검색 방법은 다음 단계를 포함한다.
단계(201)는 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 타겟 이미지로부터 타겟 주체를 검출한다.
본 실시예에 있어서, 이미지 검색 방법의 실행 주체(예를 들어, 도 1에 도시된 서버)는 유선 연결 또는 무선 연결을 통해 사용자의 이미지를 검색하는 단말로부터 타겟 이미지를 포함하는 조회 요청을 수신할 수 있다. 종래 기술의 다양한 수단에 의해 타겟 이미지로부터 타겟 주체를 검출할 수 있다. 예를 들어, 검출 모델을 통해 검출한다. 타겟 주체의 유형에 따라 대응하는 검출 모델을 선택할 수 있다. 타겟 주체가 상품인 경우, 사전에 대량의 상품 이미지를 샘플로 사용하여 상품 검출 모델을 훈련하고 예측할 수 있다. 그 다음, 검출 시, 타겟 이미지를 상품 검출 모델에 입력하여 타겟 이미지로부터 상품 주체를 검출할 수 있다.
선택적으로, 검출 전에 사용자가 입력한 이미지에 대해 이미지 크기 조정과 같은 전처리 작업을 수행할 수 있으며, 검출 모델 및 특징 추출 모델에 전입되는 이미지가 지나치게 큰 것을 피면하기 위해 기본값은 최소 변 길이가 1000 이하이다. 그 다음, 검출 모델에 의해 타겟 주체를 검출하고, 복수의 타겟 주체가 검출되면 크기가 작거나 신뢰도가 낮은 검출 박스를 필터링함과 동시에 검출 결과를 신뢰도 순에 따라 배열한다. 최대로 TOP2의 결과를 취할 수 있다. 신뢰도 차이가 크면 TOP1의 결과만을 취할 수도 있다.
단계(202)는 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 타겟 주체로부터 주체 특징을 추출한다.
본 실시예에 있어서, 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면, 검출된 타겟 주체는 신뢰할 수 있음을 의미함으로 타겟 주체로부터 특징을 추출할 수 있고, 그렇지 않으면 전체 이미지에서 특징을 추출하여야 하며 구체적으로는 프로세스(400)를 참조한다. 주체 특징에는 동일한 특징, 유사한 특징 및 카테고리가 포함된다. 동일한 특징은 타겟 주체의 국부 이미지 매칭을 행하기 위한 특징이며, 주의력 메커니즘의 컨볼루션 신경망에 의해 추출할 수 있다. 유사한 특징은 타겟 주체의 완전한 이미지 매칭을 행하기 위한 특징이며, 컨볼루션 신경망에 의해 추출할 수 있다. 카테고리는 예를 들어 "QR 코드, 얼굴, 식물, 문자, 요리, 상품"의 6가지 카테고리와 같은 코어스-그레인 카테고리일 수 있다. 카테고리는 예를 들어 8만종 카테고리와 같이 파인-그레인 카테고리일 수도 있다.
특징 모델을 통해 동일한 특징, 유사한 특징 및 카테고리를 추출할 수 있다. 특징 모델은 수천만급의 데이터를 기반으로 훈련된 딥 러닝 모델로 기존의 머신 러닝 특징 모델에 비해 보다 강력한 표현 능력을 갖고 있다.
단계(203)는 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻는다.
본 실시예에 있어서, 데이터베이스에는 대량의 후보 이미지가 사전에 저장되어 있고 매개 후보 이미지의 주체 특징도 사전에 추출되어 있다. 따라서 타겟 이미지 주체 특징을 후보 이미지의 주체 특징과 매칭시킬 수 있다. 타겟 이미지의 유사한 특징과 후보 이미지의 유사한 특징 간의 거리를 계산하여 후보 이미지의 유사 점수를 구하며 거리가 멀수록 점수가 낮다. 타겟 이미지의 동일한 특징과 후보 이미지의 동일한 특징 간의 거리를 계산하여 후보 이미지의 동일 점수를 구하며, 거리가 멀수록 점수가 낮다. 예를 들어, 코사인 거리, 유클리드 거리 등 기존의 각종 거리 계산 방법을 사용할 수 있다.
단계(204)는 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력한다.
본 실시예에 있어서, 후보 이미지는 먼저 동일 점수의 내림차순으로 배열한 후 동일 점수가 같은 후보 이미지는 재차 유사 점수의 내림차순으로 배열할 수 있다. 그 다음, 상위 순위에서 소정 수량의 후보 이미지를 검색 결과로서 취하여 출력한다. 유사 점수, 동일 점수의 가중치 합에 의해 배열할 수도 있다. 데이터베이스는 후보 이미지를 저장할 뿐만 아니라, 후보 이미지에 대응하는 주체의 관련 정보도 저장하며, 링크가 있는 후보 이미지를 출력할 수 있다. 사용자는 후보 이미지를 클릭한 후, 후보 이미지에 대응하는 주체의 관련 정보에 연결될 수 있다.
선택적으로, 유사 점수 및 동일 점수가 낮은 후보 이미지를 사전에 필터링하여 배열에 참여하지 않도록 할 수 있다.
본 개시의 상기 실시예에 의해 제공되는 방법은 검출 모델 및 특징 추출 모델의 능력에 의존하지 않고 동일 및 유사 이미지의 식별 정확도를 향상시킬 수 있다.
본 실시예의 일부 선택적인 구현방식에 있어서, 타겟 주체로부터 주체 특징을 추출하는 단계는 유사 특징 모델을 통해 타겟 주체로부터 유사한 특징을 추출하는 단계, 동일 특징 모델을 통해 타겟 주체로부터 국부 이미지의 동일한 특징을 추출하는 단계, 분류 모델을 통해 타겟 주체로부터 카테고리를 추출하는 단계를 포함한다. 유사 특징 모델, 동일 특징 모델 및 타겟 분류 모델을 통해 유사한 특징, 동일한 특징 및 카테고리를 각각 추출할 수 있다. 그 중, 유사 특징 모델은 사용자가 입력한 타겟 이미지 및 데이터베이스 이미지의 유사 정도를 계산하기 위한 딥 네트워크를 기반으로 하는 모델이다. 동일 특징 모델은 동일한 상품 간의 국부 특성을 보다 잘 설명할 수 있는 딥 네트워크를 기반으로 하는 국부 이미지 특징 모델이다. 타겟 분류 모델은 입력된 이미지를 분류하고 입력된 이미지에서 타겟이 아닌 요청을 필터링하기 위한 딥 네트워크를 기반으로 하는 분류 모델이다.
유사 특징 모델은 통상의 컨볼루션 신경망일 수 있다. 동일 특징 모델은 주의력 메커니즘을 기반으로 하는 컨볼루션 신경망일 수 있다. 이러한 방식으로 동일한 특징 및 유사한 특징을 대상으로 추출을 행할 수 있어 동일한 이미지 및 유사한 이미지를 보다 정확하게 식별할 수 있다. 이미지의 매칭 속도가 향상되었다.
타겟 분류 모델 또한 코어스-그레인 분류 모델 및 파인-그레인 분류 모델의 2가지 유형을 포함할 수 있다. 코어스-그레인 분류 모델은 6가지 종류의 타겟을 식별할 수 있다. 파인-그레인 분류 모델은 8만종의 타겟을 식별할 수 있다. 이러한 방식으로 사전에 코어스-그레인 모델을 통해 타겟이 아닌 이미지를 필터링함으로써 불필요한 작업을 피면할 수 있다. 두 가지 분류 모델을 각각 사용함으로써 두 가지 분류 결과를 얻을 수 있다.
본 실시예의 일부 선택적인 구현방식에 있어서, 상기 방법은 검출 박스 사이즈가 사이즈 임계값 미만이거나 신뢰도가 제2 임계값 미만인 검출 박스를 필터링하는 단계를 추가로 포함한다. 타겟 검출 시 복수의 타겟 주체가 검출될 수 있는데 사용자가 찾고자 하는 타겟은 긍정적으로 특별히 확대하여 촬영하기 때문에 사이즈에 의해 신뢰할 수 없는 주체는 필터링할 수 있다. 또한 신뢰도가 낮은 타겟 주체를 필터링할 수 있다. 이러한 방식으로 후속의 매칭 과정의 계산량을 줄일 수 있고 검색 속도 및 정확도를 향상시킬 수 있다.
본 실시예의 일부 선택적인 구현방식에 있어서, 상기 방법은 검출 박스의 수량이 1보다 크면, 매개 타겟 주체의 검출 박스의 위치, 면적 및 후보 이미지의 유사 점수, 동일 점수에 의해 고유의 타겟 주체를 결정하는 단계를 추가로 포함한다. 이전의 필터링 단계를 거친 후에도 하나 이상의 신뢰할 수 있는 타겟 주체가 있으면, 검출 박스의 위치 및 면적에 의해 필터링하고, 이미지 중앙에 보류되어 있는 동시에 면적이 소정 면적의 임계값을 초월하는 타겟 주체를 선택할 수 있다. 타겟 주체가 하나뿐이 아닐 경우, 재차 매칭 과정의 유사 점수 및 동일 점수를 통해 필터링한다. 예를 들어, 타겟 주체A의 검색 결과 유사 점수 및 동일 점수가 0.5 이하이고, 타겟 주체B의 검색 결과 유사 점수 및 동일 점수가 최고 0.9까지 도달할 수 있을 경우, 타겟 주체 B를 사용자가 찾으려는 주체로 간주한다.
본 실시예의 일부 선택적인 구현방식에 있어서, 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계는 후보 이미지의 유사 점수 및 동일 점수에 의해 후보 이미지의 매칭 정도를 계산하는 단계를 포함한다. 매칭 정도가 가장 높은 제1 후보 이미지가 필터링 조건에 부합되지 않을 경우, 매칭 정도가 낮아지는 순서에 따라 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력한다. 후보 이미지의 유사 점수와 동일 점수의 가중치 합을 매칭 정도로 사용할 수 있는 바, 동일 점수의 가중치를 비교적 크게 설정할 수 있다. 매칭 정도가 가장 높은 후보 이미지를 제1 후보 이미지로 명명하고, 제1 후보 이미지가 필터링 조건에 부합될 경우, 사용자가 송신한 이미지는 인식하고자 하는 유형이 아닌 것(예를 들어, 상품 이미지가 아님)으로 간주되어 검색 결과로 되돌아가는 것을 거절한다. 제1 후보 이미지의 일부 파라미터가 필터링 조건에 부합되지 않을 경우, 검색 결과를 출력할 수 있다. 이러한 방식으로 인식 거부 기능을 구현함으로써 타겟이 아닌 이미지 입력에 대해 검색 결과가 출력되지 않는다.
본 실시예의 일부 선택적인 구현방식에 있어서, 필터링 조건은 아래의 적어도 하나를 포함한다.
이하, 5조의 필터링 조건을 나열하고 "제1", "제2" ...를 사용하여 임계값을 구분하되, 임계값이 작은 것으로부터 큰 것으로, 즉 제1 동일 임계값 < 제2 동일 임계값 < 제3 동일 임계값 < 제4 동일 임계값 < 제5 동일 임계값, 제1 유사 임계값 < 제2 유사 임계값 < 제3 유사 임계값 < 제4 유사 임계값 < 제5 유사 임계값으로 배열된다.
1, 제1 후보 이미지의 동일 점수가 제1 동일 임계값 미만이고, 유사 점수가 제1 유사 임계값 미만이다. 반환된 Top1 결과의 동일 점수, 유사 점수 등을 통해 부동한 임계값을 설정하고 대략적 필터링을 수행한다.
2, 제1 후보 이미지의 동일 점수가 제2 동일 임계값 미만이고, 유사 점수가 제2 유사 임계값 미만이며 또한 타겟 주체의 코어스-그레인 카테고리 및 제1 후보 이미지의 코어스-그레인 카테고리가 모두 소정 코어스-그레인 카테고리에 속한다. 분류 모델에는 두 가지 종류가 있을 수 있는 바, 코어스-그레인 모델은 코어스-그레인 카테고리(예를 들어, 6가지 종류)를 출력하고, 파인-그레인 모델은 파인-그레인 카테고리(예를 들어, 8만종)를 출력한다. 주로 비 타겟 카테고리를 필터링하는 데 사용되며, 예를 들어, 타겟이 상품인 경우, 비상품 카테고리인 QR 코드, 얼굴, 식물, 문자 및 요리를 필터링할 수 있다.
3, 제1 후보 이미지의 동일 점수가 제3 동일 임계값 미만이고, 유사 점수가 제3 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리와 제1 후보 이미지의 파인-그레인 카테고리의 차이가 소정 차이의 임계값보다 크다. 예를 들어, 타겟 주체의 파인-그레인 카테고리가 웃옷인 확률이 0.9이고, 제1 후보 이미지의 파인-그레인 카테고리가 웃옷인 확률이 0.05인 경우, 차이가 너무 크기 때문에 매칭된 TOP1의 결과는 신뢰할 수 없고 나머지 결과는 더욱 신뢰할 수 없으므로 모든 후보 이미지는 필터링된다.
4, 제1 후보 이미지의 동일 점수가 제4 동일 임계값 미만이고, 유사 점수가 제4 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도 및 제1 후보 이미지의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도가 모두 소정 빈도의 임계값보다 크다. 카테고리는 복수의 계층이 있으며 상 일급 카테고리의 출현 빈도를 통계할 수 있다. 예를 들어 "책 표지", "스크린샷", "비자연 영상", "스특피겨", "병리학적 그림", "병음료", "건축" 및 "하드웨어"와 같은 비상품 카테고리를 필터링한다.
5, 제1 후보 이미지가 전자상거래에 의한 이미지인 경우, 제1 후보 이미지의 동일 점수는 제5 동일 임계값 미만이고 유사 점수는 제5 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리는 소정 물품의 카테고리에 속한다. 예를 들어, "책", "속옷", "자동차 용품", "선물 가방", "장난감 악기" 등과 같이 전자상거래 장면에서 쉽게 잘못 식별되는 상품의 종류를 필터링할 수 있다.
상기 필터링 조건을 통해 타겟이 아닌 이미지를 필터링할 수 있어 사용자의 의도에 진정으로 부합되는 리콜 결과를 반환할 수 있다.
계속하여 도 3을 참조하면, 도 3은 본 개시에 따른 이미지 검색 방법의 하나의 응용 장면을 나타낸다. 도 3의 응용 장면에 있어서 사용자는 단말을 통해 가장 왼쪽 측의 이미지를 입력한다. 단말은 이미지를 서버에 업로드하고 서버는 우선 먼저 주체 검출을 수행하고 두개의 주체를 검출한 다음, 주체의 면적s에 따라 하나의 주체를 필터링하고 인체 영역을 유지한다. 그런 다음, 인체의 특징을 추출하고 분류하여 6가지 종류의 코어스-그레인 분류 결과와 8만종의 파인-그레인 분류 결과를 얻는다. 인체 영역의 이미지를 데이터베이스의 이미지와 매칭시켜 각 후보 이미지의 동일 점수 및 유사 점수를 얻는다 (전체 이미지 특징의 매칭 특징에 따라 매칭 점수를 계산할 수도 있다). 그런 다음 배열하고 왼쪽부터 두 번째 이미지가 TOP1의 결과이다. TOP1의 결과에 따라, 사용자가 입력한 이미지가 상품 이미지인지 아닌지 여부를 판단한다. TOP1의 결과가 필터링 조건을 만족하지 않으면 검색 결과를 출력할 수 있고, 그렇지 않으면 검색 결과의 출력이 거부된다.
계속하여 도 4를 참조하면, 이미지 검색 방법의 또 하나의 실시예의 프로세스(400)를 나타낸다. 해당 이미지 검색 방법의 프로세스(400)는 다음 단계를 포함한다.
단계(401)는 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 타겟 이미지로부터 타겟 주체를 검출한다.
단계(401)는 단계(201)와 기본적으로 동일하므로 그 설명을 생략한다.
단계(402)는 타겟 주체가 검출되지 않거나 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값 이하이면, 타겟 이미지로부터 동일한 특징, 유사한 특징, 카테고리 및 매칭 특징을 포함하는 전체 이미지 특징을 추출한다.
본 실시예에 있어서, 동일한 특징, 유사한 특징 및 카테고리를 추출하는 방법은 단계(202)와 기본적으로 동일하므로 그 설명을 생략한다. 매칭 특징은 유사 특징과 비슷하지만 내용이 보다 적고, 두장의 이미지가 매칭하는지 아닌지 여부를 판단하기 위한 특징이다. 매칭 특징은 매칭 모델에 의해 추출할 수 있다. 매칭 모델 역시 일종의 컨볼루션 신경망이지만 유사 특징 모델에 비해 구조가 작다.
단계(403)는 타겟 이미지의 전체 이지미 특징을 데이터베이스에 미리 저장된 후보 이미지의 전체 이미지 특징과 매칭시켜 후보 이미지의 유사 점수, 동일 점수 및 매칭 점수를 얻는다.
본 실시예에 있어서, 유사 점수, 동일 점수의 계산과정은 기본적으로 단계(203)와 동일하므로 그 설명을 생략한다. 매칭 점수는 매칭 특징 간의 거리를 기반으로 계산한 것으로서 거리가 멀수록 매칭 점수가 낮다. 예를 들어, 코사인 거리, 유클리드 거리 등 기존의 각종 거리 계산 방법을 사용할 수 있다.
단계(404)는 유사 점수, 동일 점수 및 매칭 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력한다.
본 실시예에 있어서, 유사 점수, 동일 점수 및 매칭 점수의 가중치의 합에 의해 매칭 정도를 계산하고, 매칭 정도의 내림차순에 따라 소정 수량의 후보 이미지를 선택하여 검색 결과로 출력한다. 마찬가지로, 필터링 조건에 동일 점수, 유사 점수를 결합하여 매칭 점수의 임계값을 설정할 수도 있다. 예를 들어, 제1 그룹의 필터링 조건을 제1 후보 이미지의 동일 점수가 제1 동일 임계값 미만이고, 유사 점수가 제1 유사 임계값 미만이고, 매칭 점수가 제1 매칭 임계값 미만으로 설정할 수도 있다.
도 4에서 알 수 있는 바, 도 2의 대응 실시예에 비해, 본 실시예의 이미지 검색 방법의 프로세스(400)는 신뢰할 수 있는 타겟 주체가 검출되지 않을 경우, 전체 이미지 특징을 추출함과 동시에 매칭 특징을 추가한 것을 나타낸다. 이런 방식으로 매칭 검색의 정확도가 향상될 수 있다. 또한 신뢰할 수 있는 타겟 주체가 검출되지 않을 경우 무작위 매칭을 행하는 현상을 방지한다.
계속하여 도 5를 참조하면, 상기 각 도면들에 도시된 방법들의 구현으로서, 본 개시는 이미지 검색 장치의 일 실시예를 제공하며, 해당 장치의 실시예는 도 2에 나타낸 방법의 실시예에 대응하며, 해당 장치는 각종 전자 기기에 적용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예의 이미지 검색 장치(500)는 검출 유닛(501), 추출 유닛(502), 매칭 유닛(503) 및 출력 유닛(504)을 포함한다. 검출 유닛(501)은 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 타겟 이미지로부터 타겟 주체를 검출하도록 구성된다. 추출 유닛(502)은 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하도록 구성된다. 매칭 유닛(503)은 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻도록 구성된다. 출력 유닛(504)은 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성된다.
본 실시예에 있어서, 이미지 검색 장치(500)의 검출 유닛(501), 추출 유닛(502), 매칭 유닛(503) 및 출력 유닛(504)의 구체적인 처리는 도 2의 대응 실시예의 단계(201), 단계(202), 단계(203), 단계(204)를 참조할 수 있다.
본 실시예의 일부 선택적인 구형방식에 있어서, 추출 유닛(502)은 추가로 타겟 주체가 검출되지 않거나 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값 이하이면, 타겟 이미지로부터 동일한 특징, 유사한 특징, 카테고리 및 매칭 특징을 포함하는 전체 이미지 특징을 추출하도록 구성된다. 매칭 유닛(503)은 추가로 타겟 이미지의 전체 이지미 특징을 데이터베이스에 미리 저장된 후보 이미지의 전체 이미지 특징과 매칭시켜 후보 이미지의 유사 점수, 동일 점수 및 매칭 점수를 얻도록 구성된다. 출력 유닛(504)은 추가로 유사 점수, 동일 점수 및 매칭 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성된다.
본 실시예의 일부 선택적인 구현방식에 있어서, 추출 유닛(502)은 추가로 유사 특징 모델을 통해 타겟 주체로부터 유사한 특징을 추출하고, 동일 특징 모델을 통해 타겟 주체로부터 국부 이미지의 동일한 특징을 추출하며, 분류 모델을 통해 타겟 주체로부터 카테고리를 추출하도록 구성된다.
본 실시예의 일부 선택적인 구현방식에 있어서, 장치(500)는 검출 박스 사이즈가 사이즈 임계값 미만이거나 신뢰도가 제2 임계값 미만인 검출 박스를 필터링하도록 구성된 필터링 유닛(미도시)을 추가로 구비한다.
본 실시예의 일부 선택적인 구현방식에 있어서, 필터링 유닛은 추가로 검출 박스의 수량이 1보다 크면, 매개 타겟 주체의 검출 박스의 위치, 면적 및 후보 이미지의 유사 점수, 동일 점수에 의해 고유의 타겟 주체를 결정하도록 구성된다.
본 실시예의 일부 선택적인 구현방식에 있어서, 출력 유닛(504)은 추가로 후보 이미지의 유사 점수 및 동일 점수에 의해 후보 이미지의 매칭 정도를 계산하고, 매칭 정도가 가장 높은 제1 후보 이미지가 필터링 조건에 부합되지 않으면 매칭 정도가 낮아지는 순서에 따라 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성된다.
본 실시예의 일부 선택적인 구현방식에 있어서, 필터링 조건은 아래의 적어도 한 항을 포함한다. 제1 후보 이미지의 동일 점수가 제1 동일 임계값 미만이고, 유사 점수가 제1 유사 임계값 미만이다. 제1 후보 이미지의 동일 점수가 제2 동일 임계값 미만이고, 유사 점수가 제2 유사 임계값 미만이며 또한 타겟 주체의 코어스-그레인 카테고리 및 제1 후보 이미지의 코어스-그레인 카테고리가 모두 소정 코어스-그레인 카테고리에 속한다. 제1 후보 이미지의 동일 점수가 제3 동일 임계값 미만이고, 유사 점수가 제3 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리와 제1 후보 이미지의 파인-그레인 카테고리의 차이가 소정 차이 임계값보다 크다. 제1 후보 이미지의 동일 점수가 제4 동일 임계값 미만이고, 유사 점수가 제4 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도 및 제1 후보 이미지의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도가 모두 소정 빈도 임계값보다 크다. 제1 후보 이미지가 전자상거래에 의한 이미지인 경우, 제1 후보 이미지의 동일 점수는 제5 동일 임계값 미만이고 유사 점수는 제5 유사 임계값 미만이며 또한 타겟 주체의 파인-그레인 카테고리는 소정 물품 카테고리에 속한다.
본 개시의 기술수단에 있어서, 관련되는 사용자 개인 정보의 획득, 저장 및 응용 등은 모두 관련 법률법규의 규정에 부합되며 공서양속에 위배되지 않는다.
본 개시의 실시예에 따르면, 본 개시는 또한 전자 기기, 판독 가능 저장 매체, 및 컴퓨터 프로그램을 제공한다.
전자 기기는 적어도 하나의 프로세서와, 상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 구비하며, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 프로세스(200) 또는 (400)에 따른 방법을 수행하도록 한다.
프로세스(200) 또는 (400)에 따른 방법을 컴퓨터에 실행시키기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
프로세서에 의해 실행될 경우, 프로세스(200) 또는 (400)에 따른 방법을 구현하는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램을 제공한다.
도 6은 본 개시의 실시예를 구현하기 위한 예시적인 전자 기기(600)의 개략적인 블록도를 도시한다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 가리킨다. 전자 기기는 또한 다양한 형식의 이동 장치, 예컨대, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 요구한 본 개시의 구현을 한정하고자 하는 것이 아니다.
도 6에 도시한 바와 같이, 기기(600)는 계산 유닛(601)을 포함하는 바, 읽기 전용 메모리(ROM)(602)에 저장된 컴퓨터 프로그램 또는 저장 유닛(608)에서 랜덤 액세스 메모리(RAM)(603)로 로딩된 컴퓨터 프로그램에 따라 각종 적당한 동작 및 처리를 수행할 수 있다. RAM(603)는 기기(600) 조작에 필요한 각종 프로그램 및 데이터를 저장할 수도 있다. 계산 유닛(601), ROM(602) 및 RAM(603)는 버스(604)에 의해 서로 연결된다. 입력/출력(I/O) 인터페이스(605)도 버스(604)에 연결된다.
기기(600) 내의 복수의 부재는 I/O 인터페이스(605)에 연결되며, 예를 들어, 키보드, 마우스 등 입력 유닛(606), 예를 들어, 각종 유형의 표시장치, 스피커 등 출력 유닛(607), 예를 들어, 자기 디스크, 광 디스크 등 저장 유닛(608), 및 예를 들어, 네트워크 인터페이스 카드, 모뎀, 무선 통신 송수신기 등 통신 유닛(609)을 포함한다. 통신 유닛(609)은 기기(600)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 전기통신 네트워크를 통해 기타 기기와 정보/데이터를 교환하도록 허락한다.
계산 유닛(601)은 처리 및 계산 능력을 가지는 다양한 범용의 및/또는 전용의 처리 어셈블리일 수 있다. 계산 유닛(601)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공지능(AI) 컴퓨팅 칩, 머신 러닝 모델 알고리즘을 운행하는 다양한 계산 유닛, 디지털 신호 프로세서(DSP) 및 모든 적당한 프로세서, 제어기, 마이크로 제어기 등을 포함하나 이에 한정되지 않는다. 계산 유닛(601)은 예를 들어, 이미지 검색 방법과 같은 상술한 방법 및 처리를 수행한다. 예를 들어, 일부 실시예에 있어서, 이미지 검색 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 기계 판독 가능 매체, 예를 들어, 저장 유닛(608)에 유형으로 포함된다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부가 ROM(602) 및/또는 통신 유닛(609)에 의해 기기(600)에 로딩되거나 설치될 수 있다. 컴퓨터 프로그램이 RAM(603)에 로딩되어 계산 유닛(601)에 의해 실행되는 경우, 상술한 이미지 검색 방법의 하나 또는 복수의 단계를 수행할 수 있다. 대안으로, 다른 실시예에 있어서, 계산 유닛(601)은 기타 임의의 적당한 방식 (예를 들어, 펌웨어에 의해)을 통해 이미지 검색 방법을 수행하도록 구성될 수 있다.
본 명세서의 상술한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적회로 시스템, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적회로(ASIC), 주문형 표준제품(ASSP), 시스템온칩(SOC), 복합 프로그래머블 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 다음을 포함할 수 있다. 즉 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행되거나 및/또는 해석될 수 있고, 해당 프로그래머블 프로세서는 전용의 또는 범용의 프로그래머블 프로세서이고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있고, 데이터 및 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치 및 해당 적어도 하나의 출력 장치에 전송할 수 있다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 조합을 적용하여 작성할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서 또는 제어기에 제공되어, 프로그램 코드가 프로세서 또는 제어기에 의해 실행되는 경우, 흐름도 및/또는 블록도에서 규정하는 기능/조작이 실시되도록 한다. 프로그램 코드는 완전히 기계에서 실행될 수도 있고 부분적으로 기계에서 실행될 수도 있으며, 독립적인 소프트웨어 패키지로서 부분적으로는 기계에서 실행되고 부분적으로는 원격 기계에서 실행되거나 또는 완전히 원격 기계 또는 서버에서 실행될 수 있다.
본 개시의 명세서에 있어서, 기계 판독 가능 매체는 유형의 매체일 수 있는 바, 이는 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 또는 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되는 프로그램을 포함하거나 또는 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자의, 자기의, 광학의, 전자기의, 적외선의 또는 반도체의 시스템, 장치 또는 기기이거나, 또는 상술한 내용의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예시로 하나 또는 복수의 선에 기반하는 전기 연결, 휴대형 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대형 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 기기, 자기 저장 기기, 또는 상술한 내용의 임의의 적합한 조합을 포함할 수 있다.
사용자와의 인터랙션을 제공하기 위하여, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는 바, 해당 컴퓨터는 사용자한테 정보를 표시하는 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정표시장치) 모니터)와, 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)을 가지며, 사용자는 해당 키보드 및 해당 포인팅 장치에 의해 컴퓨터에 입력을 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는 바, 예를 들어, 사용자한테 제공하는 피드백은 임의의 형식의 센서 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(사운드 입력, 음성 입력 또는 촉각 입력)으로 사용자의 입력을 수신할 수 있다.
여기서 서술하는 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버로서), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 가지는 사용자 컴퓨터인 바, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형식 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)으로 시스템의 부재를 상호 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 원거리 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 운행함으로써 클라이언트와 서버의 관계를 발생시킨다. 서버는 클라우드 서버, 분산 시스템의 서버, 또는 블록체인과 결합된 서버일 수 있다.
상술한 다양한 형식의 프로세스를 사용하여 단계에 대해 재배열하거나, 증가 또는 삭제할 수 있다는 것을 이해하여야 한다. 예를 들어, 본 개시에서 개시한 기술수단의 기대 결과를 구현할 수만 있다면, 본 개시에 기재된 각 단계는 병렬로 수행될 수도 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있는 바, 본 명세서에서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시형태는 본 개시의 보호범위를 한정하지 않는다. 당업자라면, 설계 요구 및 다른 요소에 따른 다양한 수정, 조합, 서브조합 및 치환이 가능하다는 것을 알아야 한다. 본 개시의 사상 및 원칙 이내에서 행한 임의의 수정, 균등 치환 및 개량 등은 모두 본 개시의 보호 범위에 포함되어야 한다.

Claims (18)

  1. 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 상기 타겟 이미지로부터 타겟 주체를 검출하는 단계와,
    검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 상기 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하는 단계와,
    상기 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻는 단계와,
    유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계를 포함하는 이미지 검색 방법.
  2. 제1 항에 있어서,
    상기 방법은,
    타겟 주체가 검출되지 않거나 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값 이하이면 상기 타겟 이미지로부터 동일한 특징, 유사한 특징, 카테고리 및 매칭 특징을 포함하는 전체 이미지 특징을 추출하는 단계와,
    상기 타겟 이미지의 전체 이지미 특징을 데이터베이스에 미리 저장된 후보 이미지의 전체 이미지 특징과 매칭시켜 후보 이미지의 유사 점수, 동일 점수 및 매칭 점수를 얻는 단계와,
    유사 점수, 동일 점수 및 매칭 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계를 추가로 포함하는 방법.
  3. 제1 항에 있어서,
    상기 타겟 주체로부터 주체 특징을 추출하는 단계는,
    유사 특징 모델을 통해 상기 타겟 주체로부터 유사한 특징을 추출하는 단계와,
    동일 특징 모델을 통해 상기 타겟 주체로부터 국부 이미지의 동일한 특징을 추출하는 단계와,
    분류 모델을 통해 상기 타겟 주체로부터 카테고리를 추출하는 단계를 포함하는 방법.
  4. 제1 항에 있어서,
    상기 방법은,
    검출 박스 사이즈가 사이즈 임계값 미만이거나 신뢰도가 제2 임계값 미만인 검출 박스를 필터링하는 단계를 추가로 포함하는 방법.
  5. 제4 항에 있어서,
    상기 방법은,
    검출 박스의 수량이 1보다 크면 각 타겟 주체의 검출 박스의 위치, 면적 및 후보 이미지의 유사 점수, 동일 점수에 의해 고유 타겟 주체를 결정하는 단계를 추가로 포함하는 방법.
  6. 제1 내지 제5 항 중 어느 한 항에 있어서,
    상기 유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계는,
    후보 이미지의 유사 점수 및 동일 점수에 의해 후보 이미지의 매칭 정도를 계산하는 단계와,
    매칭 정도가 가장 높은 제1 후보 이미지가 필터링 조건을 만족하지 않는 경우, 매칭 정도가 낮아지는 순서에 따라 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하는 단계를 포함하는 방법.
  7. 제6 항에 있어서,
    상기 필터링 조건은,
    제1 후보 이미지의 동일 점수가 제1 동일 임계값 미만이고, 유사 점수가 제1 유사 임계값 미만인 경우,
    제1 후보 이미지의 동일 점수가 제2 동일 임계값 미만이고, 유사 점수가 제2 유사 임계값 미만이며, 또한 타겟 주체의 코어스-그레인 카테고리 및 제1 후보 이미지의 코어스-그레인 카테고리가 모두 소정 코어스-그레인 카테고리에 속하는 경우,
    제1 후보 이미지의 동일 점수가 제3 동일 임계값 미만이고, 유사 점수가 제3 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리 및 제1 후보 이미지의 파인-그레인 카테고리의 차이가 소정 차이 임계값보다 큰 경우,
    제1 후보 이미지의 동일 점수가 제4 동일 임계값 미만이고, 유사 점수가 제4 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도 및 제1 후보 이미지의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도가 모두 소정 빈도 임계값보다 큰 경우,
    제1 후보 이미지가 전자상거래에 의한 이미지이면, 제1 후보 이미지의 동일 점수는 제5 동일 임계값 미만이고, 유사 점수는 제5 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리는 소정 물품 카테고리에 속하는 경우 중 적어도 하나를 포함하는 방법.
  8. 타겟 이미지를 포함하는 조회 요구를 수신한 것에 응답하여, 상기 타겟 이미지로부터 타겟 주체를 검출하도록 구성되는 검출 유닛과,
    검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값보다 크면 상기 타겟 주체로부터 동일한 특징, 유사한 특징 및 카테고리를 포함하는 주체 특징을 추출하도록 구성되는 추출 유닛과,
    상기 타겟 이미지의 주체 특징을 데이터베이스에 미리 저장된 후보 이미지의 주체 특징과 매칭시켜 후보 이미지의 유사 점수 및 동일 점수를 얻도록 구성되는 매칭 유닛과,
    유사 점수 및 동일 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성되는 출력 유닛을 구비하는 이미지 검색 장치.
  9. 제8 항에 있어서,
    상기 추출 유닛은 추가로 타겟 주체가 검출되지 않거나 검출된 타겟 주체의 검출 박스의 신뢰도가 제1 임계값 이하이면 상기 타겟 이미지로부터 동일한 특징, 유사한 특징, 카테고리 및 매칭 특징을 포함하는 전체 이미지 특징을 추출하도록 구성되며,
    상기 매칭 유닛은 추가로 상기 타겟 이미지의 전체 이지미 특징을 데이터베이스에 미리 저장된 후보 이미지의 전체 이미지 특징과 매칭시켜 후보 이미지의 유사 점수, 동일 점수 및 매칭 점수를 얻도록 구성되며,
    상기 출력 유닛은 추가로 유사 점수, 동일 점수 및 매칭 점수에 의해 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성되는 장치.
  10. 제8 항에 있어서,
    상기 추출 유닛은 추가로,
    유사 특징 모델을 통해 상기 타겟 주체로부터 유사한 특징을 추출하고,
    동일 특징 모델을 통해 상기 타겟 주체로부터 국부 이미지의 동일한 특징을 추출하고,
    분류 모델을 통해 상기 타겟 주체로부터 카테고리를 추출하도록 구성되는 장치.
  11. 제8 항에 있어서,
    상기 장치는,
    검출 박스 사이즈가 사이즈 임계값 미만이거나 신뢰도가 제2 임계값 미만인 검출 박스를 필터링하도록 구성되는 필터링 유닛을 추가로 구비하는 장치.
  12. 제11 항에 있어서,
    상기 필터링 유닛은 추가로,
    검출 박스의 수량이 1보다 크면 각 타겟 주체의 검출 박스의 위치, 면적 및 후보 이미지의 유사 점수, 동일 점수에 의해 고유 타겟 주체를 결정하도록 구성되는 장치.
  13. 제8 내지 제12 항 중 어느 한 항에 있어서,
    상기 출력 유닛은 추가로,
    후보 이미지의 유사 점수 및 동일 점수에 의해 후보 이미지의 매칭 정도를 계산하고,
    매칭 정도가 가장 높은 제1 후보 이미지가 필터링 조건을 만족하지 않는 경우, 매칭 정도가 낮아지는 순서에 따라 소정 수량의 후보 이미지를 선택하여 검색 결과로서 출력하도록 구성되는 장치.
  14. 제13 항에 있어서,
    상기 필터링 조건은,
    제1 후보 이미지의 동일 점수가 제1 동일 임계값 미만이고, 유사 점수가 제1 유사 임계값 미만인 경우,
    제1 후보 이미지의 동일 점수가 제2 동일 임계값 미만이고, 유사 점수가 제2 유사 임계값 미만이며, 또한 타겟 주체의 코어스-그레인 카테고리 및 제1 후보 이미지의 코어스-그레인 카테고리가 모두 소정 코어스-그레인 카테고리에 속하는 경우,
    제1 후보 이미지의 동일 점수가 제3 동일 임계값 미만이고, 유사 점수가 제3 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리 및 제1 후보 이미지의 파인-그레인 카테고리의 차이가 소정 차이 임계값보다 큰 경우,
    제1 후보 이미지의 동일 점수가 제4 동일 임계값 미만이고, 유사 점수가 제4 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도 및 제1 후보 이미지의 파인-그레인 카테고리가 소정 파인-그레인 카테고리에 속하는 빈도가 모두 소정 빈도 임계값보다 큰 경우,
    제1 후보 이미지가 전자상거래에 의한 이미지이면, 제1 후보 이미지의 동일 점수는 제5 동일 임계값 미만이고, 유사 점수는 제5 유사 임계값 미만이며, 또한 타겟 주체의 파인-그레인 카테고리는 소정 물품 카테고리에 속하는 경우 중 적어도 하나를 포함하는 방법.
  15. 타겟 이미지를 포함하는 조회 요구를 수신하고 조회 요구를 고급 검색 계층에 전달하여 처리하고 고급 검색 계층에서 반환된 검색 결과를 출력하기 위한 통합 접속 계층과,
    타겟 이미지의 특징을 추출하고 특징을 기본 검색 계층에 전달하여 처리하고 기본 검색 계층으로부터 수신한 후보 이미지를 병합하여 얻은 검색 결과를 상기 통합 접속 계층에 반환하기 위한 고급 검색 계층과,
    상기 고급 검색 계층에서 제공하는 특징에 따라 로컬 디스크에 저장된 데이터베이스에서 매칭하는 후보 이미지를 검색하고 유사 점수, 동일 점수가 가장 높은 소정 수량의 후보 이미지를 반환하기 위한 적어도 하나의 슬라이스를 포함하는 기본 검색 계층을 포함하는 이미지 검색 시스템.
  16. 적어도 하나의 프로세서와,
    상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 구비하는 전자 기기에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제5항, 제7항 중 어느 한 항의 방법을 수행하도록 하는, 전자 기기.
  17. 제1항 내지 제5항, 제7항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  18. 프로세서에 의해 실행될 경우, 제1항 내지 제5항, 제7항 중 어느 한 항의 방법을 구현하는 컴퓨터 프로그램.
KR1020220088252A 2021-08-17 2022-07-18 이미지 검색 방법, 장치 및 시스템 KR20220109363A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110943222.7 2021-08-17
CN202110943222.7A CN113656630A (zh) 2021-08-17 2021-08-17 检索图像的方法、装置和系统

Publications (1)

Publication Number Publication Date
KR20220109363A true KR20220109363A (ko) 2022-08-04

Family

ID=78479986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220088252A KR20220109363A (ko) 2021-08-17 2022-07-18 이미지 검색 방법, 장치 및 시스템

Country Status (4)

Country Link
US (1) US20220292131A1 (ko)
JP (1) JP7393475B2 (ko)
KR (1) KR20220109363A (ko)
CN (1) CN113656630A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549876A (zh) * 2022-01-10 2022-05-27 上海明胜品智人工智能科技有限公司 图像处理方法、设备以及系统
CN117078976B (zh) * 2023-10-16 2024-01-30 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665125B2 (ja) 2011-04-07 2015-02-04 株式会社日立製作所 画像処理方法、及び、画像処理システム
JP5548655B2 (ja) 2011-06-30 2014-07-16 ヤフー株式会社 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
CN106815323B (zh) * 2016-12-27 2020-02-07 西安电子科技大学 一种基于显著性检测的跨域视觉检索方法
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
US10846552B1 (en) * 2018-09-06 2020-11-24 A9.Com, Inc. Universal object recognition
US10949702B2 (en) * 2019-04-16 2021-03-16 Cognizant Technology Solutions India Pvt. Ltd. System and a method for semantic level image retrieval
CN110992297A (zh) * 2019-11-11 2020-04-10 北京百度网讯科技有限公司 多商品图像合成方法、装置、电子设备及存储介质
CN111027622B (zh) 2019-12-09 2023-12-08 Oppo广东移动通信有限公司 图片标签生成方法、装置、计算机设备及存储介质
US11748796B2 (en) * 2020-03-19 2023-09-05 Adobe Inc. Automatic clustering and mapping of user generated content with curated content
CN111522986B (zh) * 2020-04-23 2023-10-10 北京百度网讯科技有限公司 图像检索方法、装置、设备和介质
CN113255694B (zh) * 2021-05-21 2022-11-11 北京百度网讯科技有限公司 训练图像特征提取模型和提取图像特征的方法、装置

Also Published As

Publication number Publication date
CN113656630A (zh) 2021-11-16
JP7393475B2 (ja) 2023-12-06
JP2022126678A (ja) 2022-08-30
US20220292131A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20190156206A1 (en) Analyzing Spatially-Sparse Data Based on Submanifold Sparse Convolutional Neural Networks
JP7403605B2 (ja) マルチターゲット画像テキストマッチングモデルのトレーニング方法、画像テキスト検索方法と装置
US20210342658A1 (en) Polysemant meaning learning and search result display
KR20220109363A (ko) 이미지 검색 방법, 장치 및 시스템
CN113656582B (zh) 神经网络模型的训练方法、图像检索方法、设备和介质
CN110622153A (zh) 用于查询分割的方法和系统
CN114444619B (zh) 样本生成方法、训练方法、数据处理方法以及电子设备
CN110363206B (zh) 数据对象的聚类、数据处理及数据识别方法
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN114429633A (zh) 文本识别方法、模型的训练方法、装置、电子设备及介质
CN115546488A (zh) 信息分割方法、信息提取方法和信息分割模型的训练方法
WO2022245469A1 (en) Rule-based machine learning classifier creation and tracking platform for feedback text analysis
CN114116997A (zh) 知识问答方法、装置、电子设备及存储介质
CN114419327B (zh) 图像检测方法和图像检测模型的训练方法、装置
CN113312554B (zh) 用于评价推荐系统的方法及装置、电子设备和介质
CN114444514A (zh) 语义匹配模型训练、语义匹配方法及相关装置
CN115269989A (zh) 对象推荐方法、装置、电子设备和存储介质
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN114443864A (zh) 跨模态数据的匹配方法、装置及计算机程序产品
CN113392630A (zh) 一种基于语义分析的中文句子相似度计算方法和系统
US11106737B2 (en) Method and apparatus for providing search recommendation information
CN114417029A (zh) 模型训练方法、装置、电子设备及存储介质
CN116311271B (zh) 文本图像的处理方法及装置
CN113963234B (zh) 数据标注处理方法、装置、电子设备和介质
CN116383491B (zh) 信息推荐方法、装置、设备、存储介质和程序产品