KR102656114B1 - 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체 - Google Patents

멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR102656114B1
KR102656114B1 KR1020210035697A KR20210035697A KR102656114B1 KR 102656114 B1 KR102656114 B1 KR 102656114B1 KR 1020210035697 A KR1020210035697 A KR 1020210035697A KR 20210035697 A KR20210035697 A KR 20210035697A KR 102656114 B1 KR102656114 B1 KR 102656114B1
Authority
KR
South Korea
Prior art keywords
vector
search
classification
vectors
multimedia content
Prior art date
Application number
KR1020210035697A
Other languages
English (en)
Other versions
KR20210038472A (ko
Inventor
리앙 인
첸쿤 루
리안 자오
린 리우
칭 쑤
시앙 헤
야보 판
율레이 첸
펭 렌
지펭 진
교후아 왕
레이 션
운정 리우
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20210038472A publication Critical patent/KR20210038472A/ko
Application granted granted Critical
Publication of KR102656114B1 publication Critical patent/KR102656114B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 개시는 스마트 검색 기술분야에 관한 것으로, 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체를 제공한다. 상기 구현 방안은: 조회 정보의 조회 벡터를 획득하는 단계; 검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하는 단계로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정하는 단계; 및 상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계; 를 포함한다. 본 개시는 검색 효율을 향상시킨다.

Description

멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체 {METHOD AND APPARATUS FOR SEARCHING MULTIMEDIA CONTENT, DEVICE, AND STORAGE MEDIUM}
일부 시나리오에서는 검색을 통해, 관련되는 멀티미디어 내용을 획득하는 경우가 많은데, 예하면: 사진 검색을 통해 광고 배도를 구현한다. 그러나, 기존 검색시 조회 정보(예컨대: 광고 및 사진의 설명 텍스트)를 단어별로 분리하여 초보적인 선별을 진행한 후, 선별된 결과에 대해 멀티미디어 콘텐츠의 특징을 추출해 멀티미디어 콘텐츠의 특징 데이터베이스를 구축하고, 그 후, 조회 정보 특징과 멀티미디어 콘텐츠 특징을 이용해 유사성 연산을 진행하며, 즉 전체 공간에서 폭력 검색을 진행하는 것과 같은데, 이것은 검색 시간 소모가 크고, 검색 효율이 낮은 문제가 수반된다.
본 개시는 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체를 제공하여, 검색 효율이 낮은 문제를 해결하려 한다.
제1 측면에 있어서, 본 개시의 실시예는 멀티미디어 콘텐츠 검색 방법을 제공하며, 상기 방법은:
조회 정보의 조회 벡터를 획득하는 단계;
검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하는 단계로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정하는 단계; 및
상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계; 를 포함한다.
제2 측면에 있어서, 본 개시의 실시예는 멀티미디어 콘텐츠 검색 장치를 제공하며, 상기 장치는:
조회 정보의 조회 벡터를 획득하기 위한 제1 획득 모듈;
검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하기 위한 확정 모듈로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정 모듈; 및
상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하기 위한 제2 획득 모듈; 을 포함한다.
제3 측면에 있어서, 본 개시의 실시예는 전자 기기를 제공하며, 상기 전자 기기는:
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 를 포함하며,
그 중, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행가능한 명령이 저장되어 있으며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서더러 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법을 실행할 수 있도록 한다.
제4 측면에 있어서, 본 개시의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터더러 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법을 실행할 수 있도록 한다.
본 개시에 따른 기술방안은 검색 효율을 향상시킨다.
이해해야 할 것은, 본 개시에서 설명되는 일부 내용은 본 개시의 실시예의 관건 또는 중요한 특징을 나타내고자 하는 것이 아니고, 또한 본 개시의 범위를 제한하는데 사용되어서는 안된다. 본 개시의 기타 특징들은 아래와 같은 설명서를 통해 더욱 쉽게 이해할 수 있다.
도면들은 해당 기술방안의 이해를 돕기 위한 것이지, 본 개시에 대한 한정을 구성하지 않는다.
도 1은 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법의 흐름도이다.
도 2는 본 개시에서 제공하는 중심 벡터 확정 예시도이다.
도 3은 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 장치의 구조도이다.
도 4는 본 개시의 실시예에 따른 멀티미디어 콘텐츠 검색 방법을 구현하기 위한 전자 기기의 블록도이다.
이하, 본 개시의 실시예에서의 도면을 결부시켜, 본 개시의 실시예에 따른 기술방안을 명확하고 완전하게 설명하기로 한다. 그 중에는 이해를 돕기 위한 본 개시의 실시예의 각종 디테일도 포함되어 있으며, 전술한 실시예들은 단지 예시적인 것이며, 해당 기술분야에서 통상의 지식을 가진 자들은 본 개시의 실시예에 대해 본 개시의 정신 및 특허청구범위를 일탈하지 않고 다양한 개변 및 변형을 진행할 수 있다. 간단 명료하게 설명하기 위해, 아래에서는 해당 기술분야에 공지된 기능 및 구조에 대해 진일보하여 기술하지 않기로 한다.
도 1을 참조하면, 도 1은 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법의 흐름도이며, 도 1에 도시된 바와 같이, 상기 방법은 아래 단계를 포함한다.
단계 S101: 조회 정보의 조회 벡터를 획득한다.
그 중, 상술한 조회 정보는 사용자가 입력한 조회 정보일 수 있고, 또는 전자 기기에 의해 자동으로 생성된 조회 정보일 수 있으며, 해당 조회 정보는 사진, 문자, 음성 등 정보일 수 있다.
상술한 조회 벡터는 상술한 조회 정보를 계량화하여 획득한 벡터이거나, 또는 조회 정보의 특징 벡터일 수 있다.
단계 S102: 검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하며, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련한다.
상술한 검색 라이브러리는 로컬 또는 원격 검색 라이브러리일 수 있고, 또한 상기 검색 라이브러리는 분포식 검색 라이브러리 또는 비 분포식 검색 라이브러리일 수 있다.
상술한 검측 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류하에 복수개의 벡터가 포함되어 있다. 진일보하여, 상술한 복수개의 분류는 클러스터(Cluster) 알고리즘을 통해 복수개의 벡터에 대해 클러스터를 진행하여 획득한 복수개의 분류이며, 예컨대: 분포식 k 평균치 클러스터(k-means) 알고리즘을 통해 상술한 복수개의 분류를 획득한다.
설명해야 할 것은, 본 개시에서, 분류를 굵은 분류기 또는 클러스터로 칭할 수도 있다.
상술한 상기 조회 벡터와 매칭되는 제1 분류는, 분류내의 벡터와 상술한 조회 벡터가 매칭하는 하나 또는 복수개의 분류일 수 있으며, 여기서 매칭은 유사하거나 또는 벡터 잔차가 비교적 작다는 것을 의미할 수 있다.
본 개시에서 벡터와 관련되고 대응되는 멀티미디어 콘텐츠는, 각 멀티미디어 콘텐츠는 하나 또는 복수개의 벡터와 관련되고, 또한 멀티미디어 콘텐츠와 관련되는 벡터는 해당 멀티미디어 콘텐츠의 관련 정보에 대해 계량화하여 획득한 벡터일 수 있는바, 예컨대: 키보드, 설명 정보, 라벨, 사진 내용, 명칭 등등 정보에 대해 계량화하여 획득한 벡터이다. 또는 멀티미디어 콘텐츠의 특징 벡터일 수 있다.
본 개시에서, 멀티미디어 콘텐츠는 사진, 비디오 또는 텍스트이거나, 또는 사진, 비디오 및 텍스트 사이의 조합일 수 있다.
단계 S103: 상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득한다
상술한 상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회한다는 것은, 상기 제1 분류중에서 조회 벡터와 매칭되는 하나 또는 복수개의 벡터를 조회한다는 것을 의미할 수 있고, 여기서 매칭은 싱크로율 매칭 또는 잔차 매칭을 의미할 수 있으며, 예하면 잔차 매칭.
바람직하게, 근사 니어리스트 이웃 검색（Approximate Nearest Neighbor，ANN） 방식을 사용하여 제1 분류중에서 상술한 타겟 벡터를 확정할 수 있다.
상술한 타겟 벡터를 확정한 후, 더 나아가 그에 관련되는 멀티미디어 콘텐츠를 확정할 수 있다.
본 개시는 멀티미디어 콘텐츠와 관련되는 벡터를 검색 라이브러리의 인덱스로 확정할 수 있고, 또한 먼저 분류를 확정한 후, 분류중에서 검색을 진행함으로서, 검색 효율을 향상시킨다.
그리고, 본 개시에서 사용하는 벡터는 w2v 모델, bert 모델 또는 ernie 모델 등 모델을 통해 획득한 벡터일 수 있고, 벡터를 사용하여 검측을 진행하기에, 따라서 유사성 연산을 더욱 정확하게 하고, 더 나아가 리콜의 정확율을 향상시킨다. 진일보하여, 벡터를 통해 멀티미디어 콘텐츠를 검색하기에, 따라서 검색시에 인버티드(inverted) 인덱스의 방식을 사용하여 폭력 연산을 회피하고, 최종적인 멀티미디어 콘텐츠를 리콜하는 것을 구현할 수 있다.
설명해야 할 것은, 본 개시는 광고 배치 시나리오에 응용될 수 있으며, 물론, 이에 대해 한정하지 않으며, 또한 기타 멀티미디어 콘텐츠 검색의 시나리오에도 응용될 수 있다.
진일보하여, 상술한 방법은 예하면 서버, 컴퓨터, 휴대폰 등 전자 기기에 응용될 수 있다.
선택가능한 실시 방식으로서, 상기 검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하는 단계는:
상기 검색 라이브러리 중 복수개 분류의 중심점 벡터와 상기 조회 벡터의 잔차를 각각 연산하고, 상기 잔차에 근거하여 상기 제1 분류를 확정함을 확정하는 단계로서, 그 중, 상기 검색 라이브러리중 각 분류는 중심점 벡터를 포함하는 것인, 확정하는 단계; 를 포함한다.
상술한 제1 분류는 복수개의 분류중 잔차가 가장 작은 하나 또는 복수개의 분류일 수 있고, 또는 잔차에 따라 정열한 앞 N개의 분류일 수 있다. 진일보하여, 상술한 잔차를 중심점 벡터와 상기 조회 벡터 사이의 거리로 이해할 수도 있는데, 예컨대: 대칭 거리(SDC) 또는 비대칭 거리(ADC)이다. 진일보하여, 상술한 제1 분류는 잔차에 대해 로컬 회전（local rotation）을 진행하여 획득한 앞 N개의 분류일 수 있다. 또한 로컬 회전에 사용된 회전 벡터의 모델은 1일 수 있으며, ADC를 사용하여 정열을 진행할 경우, 회전 후 앞 N개의 분류에 대해 ADC 정열을 하고, 기존 순서와도 같은 값이다.
가장 작은 하나 또는 복수개의 분류이거나, 또는 잔차에 따라 정열한 앞 N개의 분류이다.
상기 실시 방식에서, 단지 조회 벡터와 중심점 벡터의 잔차만 연산하기에, 제1 분류를 확정할 수 있고, 또한 연산량을 감소하고, 더 나아가 검색 효율을 향상시킬 수 있다.
선택적으로, 상기 검색 라이브러리중 타겟 분류의 중심점 벡터는: 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정되며, 그 중, 상기 타겟 분류는 상기 검색 라이브러리중의 임의의 하나의 분류이다.
그 중, 상술한 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정된다는 것은, 분류된 반복 과정에서 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정된 중심점 벡터의 변화량일 수 있으며, 예컨대: 거리의 잔차. 예하면: 미리 각 분류를 위해 하나의 중심점 벡터를 선정하고, 그 후, 분류된 반복 과정에서 분류에 포함된 모든 벡터의 합, 및 분류에 포함된 벡터 수량에 따라 중심점 벡터의 변화량을 연산하며, 새로운 중심점 벡터를 확정한다. 그리고, 벡터와 중심점의 거리는, 각 벡터를 여러 개의 시그먼트(중심점 벡터도 동일한 조작을 함)로 나누고, 그 후, 각 시그먼트와 중심점 벡터에 대응되는 시그먼트의 거리의 합일 수 있으며, 따라서 해당 벡터로부터 해당 중심점 벡터의 거리이며, 이로서, 상이한 시그먼트의 벡터에 대해 각각 인코딩을 진행하여 검색 효율을 향상시키는 것을 구현할 수 있다.
도 2에 도시된 바와 같이, 표(예컨대 elf_table)에 저장된 것은 분류된 중심점의 설명 정보이며, 상기 설명 정보는, 분류된 중심점의 id, 분류내의 모든 벡터의 합, 분류내의 벡터의 개수를 포함한다. 분포식 시스템에서, 각 노드는 모두 표에 저장된 모든 분류의 중심점을 독립적으로 획득하고, 분류내의 모든 벡터의 합 및/또는 벡터 개수를 통해 각 중심점(또는 클러스터 포인트로 칭함)을 연산한다. 새로운 중심점을 연산할 경우, 차례로 본 노드의 모든 벡터의 중심점의 변화를 연산한다. 여기서 단지 중심점의 변화량만 연산하고, 중심점을 다시 연산하지 않으며, 먼저 매번 중심점을 다시 연산할 경우 벡터 시퀀스화 역-시퀀스화 및 합병의 시간 소비를 회피하고, 다음으로, 매번의 반복으로 얼마만한 벡터가 중심점에서 변화가 발생하는지에 대해 기록하는 것에 편의를 제공하며, 이것을 조건으로 하여 알고리즘이 수렴되었는지 여부를 판단한다.
그리고, 상술한 검색 라이브러리중 타겟 분류의 중심점 벡터는 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 해당 분류중 위치가 중심에 위치한 벡터를 확정할 수 있다.
상기 실시 방식에서, 중심점 벡터는 상기 타겟 분류에 포함된 모든 벡터의 합, 및 상기 타겟 분류에 포함된 벡터의 수량에 따라 확정하기에, 이로서, 반복해서 제때에 중심점 벡터를 업데이트하는 것을 보장할 수 있다.
설명해야 할 것은, 본 개시에서 분류 중심점 벡터를 통해 제1 분류를 확정하는 방법에만 한정되는 것이 아니라, 예하면: 또한 각 분류의 기타 콘텐츠에 따라 제1 분류를 확정할 수도 있는바, 예하면 분류의 특징 정보 등이다.
선택가능한 실시 방식으로서, 상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계는:
상기 조회 벡터와 상기 제1 분류에서 복수개의 서브 중심 벡터(또는 차중심점 벡터로 칭함)의 잔차를 연산하고, 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터중 N개의 서브 중심 벡터를 상기 조회 벡터와 매칭되는 타겟 벡터로 확정하고, 또한 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계로서, N은 1보다 크거나 또는 같은 정수인 것인, 획득하는 단계; 를 포함한다.
해당 실시 방식에서, 각 분류하에 하나의 중심점 벡터가 포함되고, 및 복수개의 중심점 벡터가 더 포함되며, 즉 하나의 분류하에 두개의 층차의 중심점 벡터가 포함된다. 그리고, 각 중심점 벡터는 하나 또는 복수개의 벡터에 대응될 수 있다.
동일하게, 상술한 잔차를 중심점 벡터와 상기 조회 벡터 사이의 거리로 이해할 수도 있는데, 예컨대: 대칭 거리(SDC) 또는 비대칭 거리(ADC)이다.
상술한 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터중 N개의 서브 중심 벡터를 상기 조회 벡터와 매칭되는 타겟 벡터로서 확정한다는 것은, 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터중 잔차에 따라 정열한 앞 N개의 서브 중심 벡터일 수 있다.
해당 실시 방식에서, 잔차를 통해 타겟 벡터를 확정하기에, 이로서 타겟 벡터를 정확하게 확정할 수 있고, 또한 연산량을 감소할 수 있다.
진일보하여, 조회 벡터와 서브 중심 벡터(또는 검색할 벡터로 칭함)의 거리를 연산할 경우, 우선 비대칭 거리(ADC)를 사용하여 연산을 완료한다. 예컨대: 조회 벡터 x 및 서브 중심 벡터 y에 있어서, x 및 y를 계량화한 q(y)를 사용하여 x, y 사이의 거리를 대체한다. 계량화된 q(y)의 개수는 단지 서브 계량화기의 개수와 관련되기에, x 및 q(y)를 조회표로 표시하여 비교적 빠른 조회 속도를 달성한다.
설명해야 할 것은, 본 개시는 분류된 서브 중심점 벡터를 통해 타겟 벡터를 확정하는 방법에만 제한되는 것이 아니라, 예하면: 또한 서브 중심 벡터를 연산하지 않고, 분류된 각 벡터와 조회 벡터의 잔차를 직접적으로 연산하여, 최종적인 타겟 벡터를 확정할 수도 있다.
선택가능한 실시 방식으로서, 상술한 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터이며: 상기 검색 라이브러리중의 벡터는 회전을 통하여 계량화한 벡터이고, 또한 회전하기 전에 상기 분류 중심의 중심점 벡터를 통해 벡터 중심화 처리를 진행하였던 벡터이다.
그 중, 상술한 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터라는 것은, 조회 정보의 벡터를 회전 벡터를 통해 회전하고, 그 후, 곱셈 계량화（Product Quantization，PQ）를 진행하여, 상술한 조회 벡터를 획득한다. 그 중, 상기 회전 벡터는 모델이 1인 벡터일 수 있다.
상술한 검색 라이브러리중의 벡터는 아래와 같은 과정을 통해 획득할 수 있다.
벡터 중심화: 구체적으로 분류 중심 벡터를 사용하여 차례로 모든 벡터를 한번 거쳐, 각 벡터에 대해 중심화 처리를 진행하며;
공분산 매트릭스를 연산: 먼저 각 노드내에서 연산하고, 동일한 분류하의 벡터 내적치를 합하여, 검색 라이브러리의 새로운 표에 업데이트 한 후, 각 노드마다 최종적인 공분산 추정을 가지고 공분산 매트릭스를 연산하며;
매트릭스에 대해 특징 값 분해를 진행하여 특정 값 및 특징 벡터를 획득하여, 전치 매트릭스 R을 구축하며, 즉 상술한 회전에 사용된 매트릭스이며;
전치 매트릭스 R을 사용하여 상기 분류하의 모든 벡터를 새 공간에　투영하며, 즉 벡터와 상기 전치직렬 R을 서로 곱하며;
새 공간중의 벡터에 대해 PQ 계량화를 진행하여, 더 나아가 검색 라이브러리중의 각 벡터를 획득한다.
그 중, 상술한 공분산 매트릭스는 아래와 같은 공식을 통해 획득할 수 있으며:
그 중, cov는 상술한 공분산 매트릭스를 나타내고, c는 분류중 모든 벡터 내적의 합이고, n은 분류하 벡터의 개수이며, v는 분류된 중심점 벡터이다.
설명해야 할 것은, 상이한 분류는 상이한 공분산 매트릭스를 연산해내지 못하며, 나아가 상이한 회전을 완성한다. 상술한 검색 라이브러리중의 벡터의 회전을 위해　상술한 전치 매트릭스 R을 사용하여 상기 분류하의 모든 벡터를 새 공간에 투영한다.
그 중, 상술한 벡터 중심화, 공분산 매트릭스 연산 및 새 공간에 투영은 노드 사이에 병행(병행 립도는 트레이닝 데이터임)하여 분포적으로 진행될 수 있다. 이로서 연산 노드수를 증가하는 것을 통해, 대규모적인 데이터 세트의 인덱스 구축을 지원하고, 따라서 비교적 짧은 시간내에 인덱스 구축 라이브러리 및 검색 매칭을 완성한다.
각 노드마다 최종적인 공분산 추정을 가지고 공분산 매트릭스를 연산하며, 및 전치 매트릭스 R을 구축하여 각 노드를 통해 단지 일부 분류 중심점 벡터를 연산하여 병행할 수 있다.
설명해야 할 것은, 상술한 검색 라이브러리중의 벡터는 모드 미리 배치된 것이며, 예컨대: 트레이닝 과정에서 각 벡터가 확정된다.
해당 실시 방식에서, 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터이고, 및 검색 라이브러리중의 벡터는 회전을 통하여 계량화한 벡터이고, 또한 회전하기 전에 상기 분류 중심의 중심점 벡터를 통해 벡터 중심화 처리를 진행하였던 벡터이기에, 이로서 벡터에 대해 로컬 최적화(또는 국부 최적화로 칭함) 처리를 구현할 수 있으며, 따라서 진일보하여 연산량을 감소하고, 검색 효율을 향상시킬 수 있다.
그리고, 본 개시에서 검색 라이브러리중의 벡터는 로컬 최적화 적량화(LOPQ) 알고리즘을 통해 획득될 수 있다.
그리고, 본 개시에서 검색 라이브러리중의 멀티미디어 콘텐츠는 검색 라이브러리를 분류하기 전에 멀티미디어 콘텐츠 내용의 사용자 ID에 대해 확장을 진행하여, 더욱 많은 사용자의 멀티미디어 콘텐츠를 획득하며, 예컨대: 더욱 많은 사용자의 광고 배도를 획득하여, 멀티미디어 콘텐츠 시나리오의 최적화를 구현하고, 검색에 비교적 바람직한 확장성 및 범용성이 구비된 효과를 달성할 수 있다. 즉 분류를 진행하기 전에 한 층（layer）을 증가하여 더욱 많은 멀티미디어 콘텐츠 시나리오를 획득한다. 그 후, 제약 조건에 따라 분류를 진행할 수 있고, 그 후, 분류내에서 단독 LOPQ 리콜을 진행한다. 따라서 선 리콜 후 선별의 방식을 개변하였고, 제약 조건 시나리오하의 리콜율을 향상시킨다.
본 개시는 멀티미디어 콘텐츠와 관련되는 벡터를 검색 라이브러리의 인덱스로서 확정하는 것을 구현할 수 있으며, 또한 먼저 분류를 확정한 후, 분류중에서 검색을 진행함으로서, 검색 효율을 향상시킨다.
도 3을 참조하면, 도 3은 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 장치의 구조도이고, 도 3에 도시된 바와 같이, 상기 멀티미디어 콘텐츠 검색 장치(300)는:
조회 정보의 조회 벡터를 획득하기 위한 제1 획득 모듈(301);
검색 라이브러리중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하기 위한 확정 모듈(302)로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정 모듈(302); 및
상기 제1 분류중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하기 위한 제2 획득 모듈(303); 을 포함한다.
선택적으로, 상기 확정 모듈(302)은 상기 검색 라이브러리 중 복수개 분류의 중심점 벡터와 상기 조회 벡터의 잔차를 각각 연산하고, 상기 잔차에 근거하여 상기 제1 분류를 확정함을 확정하기 위한 것이며, 그 중, 상기 검색 라이브러리중 각 분류는 중심점 벡터를 포함한다.
선택적으로, 상기 검색 라이브러리중 타겟 분류의 중심점 벡터는: 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정되며, 그 중, 상기 타겟 분류는 상기 검색 라이브러리중의 임의의 하나의 분류이다.
선택적으로, 상기 제2 획득 모듈(303)은, 상기 조회 벡터와 상기 제1 분류 중 복수개의 서브 중심 벡터의 잔차를 연산하고, 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터중 N개의 서브 중심 벡터를 상기 조회 벡터와 매칭되는 타겟 벡터로 확정하고, 또한 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하기 위한 것이며, N은 1보다 크거나 또는 같은 정수이다.
선택적으로, 상기 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터이며: 상기 검색 라이브러리중의 벡터는 회전을 통하여 계량화한 벡터이고, 또한 회전하기 전에 상기 분류 중심의 중심점 벡터를 통해 벡터 중심화 처리를 진행하였던 벡터이다.
본 개시의 실시예에서 제공된 장치는 본 개시의 방법 실시예에 따른 각각의 과정을 구현할 수 있으며, 동일한 유익한 효과를 달성할 수 있는바, 중복되는 설명을 회피하기 위해, 여기서 더 이상 상세하게 기술하지 않기로 한다.
본 개시의 실시예에 있어서, 본 개시는 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도 4에 도시된 바와 같이, 도 4는 본 개시의 실시예에 따른 멀티미디어 콘텐츠 검색 방법의 전자 기기의 블록도이다. 전자 기기는 예하면 랩탑 컴퓨터, 데스크톱 컴퓨터, 워킹 테이블, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터와 같이 다양한 형태의 디지털 컴퓨터를 나타낸다. 전자 기기는 또한 다양한 형태의 이동 장치를 나타낼 수 있으며, 예컨대, 개인용 디지털 프로세서, 셀룰러 휴대폰, 스마트 휴대폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치이다. 본문에서 나타내는 컴포넌트, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것이지, 본 명세서에 설명된 및/또는 요구하는 본 개시의 구현을 제한하기 위함이 아님은 자명한 것이다.
도 4에서 도시하다 시피, 상기 전자 기기는: 하나 또는 복수개의 프로세서(401), 메모리(402), 및 각 컴포넌트들을 연결하기 위한 인터페이스를 포함하고, 고속 인터페이스 및 저속 인터페이스를 포함한다. 각 컴포넌트들은 상이한 버스를 이용하여 서로 연결되고, 코먼 메인 플레이트 상에 설치되거나 또는 수요에 따라 기타 방식으로 설치될 수 있다. 프로세서는 전자 기기내에서 수행하는 명령에 대해 처리를 진행할 수 있으며, 메모리에 저장되거나 또는 메모리상에 외부 입력/출력 장치(예컨대, 인터페이스에 연결되는 표시 기기)상에서 GUI의 그래픽 정보를 나타내는 명령을 포함한다. 기타 실시방식에 있어서, 필요하다면, 복수개의 프로세서 및/또는 복수개의 버스를 복수개의 메모리 및 복수개의 메모리와 함께 사용할 수 있다. 동일하게, 복수개의 전자 기기를 연결할 수 있으며, 각 기기들은 부분적으로 필요한 조작을 제공한다(예컨대, 서버 어레이, 블레이드 서버, 또는 멀티 프로세서 시스템). 도 4에서는 하나의 프로세서(401)를 예로 들었다.
메모리(402)는 본 개시에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 그 중, 상기 메모리에 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있으며, 상기 적어도 하나의 프로세서더러 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법을 수행하도록 한다. 본 개시의 비일시적 컴퓨터 판독 가능 저장 매체에 컴퓨터 명령이 저장되어 있으며, 상기 컴퓨터 명령은 컴퓨터로 하여금 본 개시에서 제공하는 멀티미디어 콘텐츠 검색 방법을 수행하게 하기 위한 것이다.
메모리(402)는 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터가 실행가능한 프로그램 및 모듈을 저장하기 위한 것이며, 예하면 본 개시의 실시예에서의 멀티미디어 콘텐츠 검색 방법에 대응되는 명령/모듈(예컨대, 도 3에서 도시된 제1 획득 모듈(301), 확정 모듈(302) 및 제2 획득 모듈(303))이다. 프로세서(401)는 메모리(402)중의 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하는 것을 통해, 따라서 서버의 각종 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상술한 방법 실시예에 따른 멀티미디어 콘텐츠 검색 방법을 구현한다.
메모리(402)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있으며, 그 중, 프로그램 저장 영역은 작업 시스템, 적어도 하나의 기능에 필요한 애플리케이션 등을 저장할 수 있으며; 데이터 저장 영역은 멀티미디어 콘텐츠 검색 방법의 전자 기기의 사용에 따라 작성된 데이터 등을 저장할 수 있다. 또한, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리를 포함할 수도 있으며, 예컨대 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 기타 비일시적 솔리드 스테이트 저장 디바이스를 더 포함할 수 있다. 일부 실시예에서, 메모리(402)는 선택적으로 프로세서(401)와 상대적으로 원격 설치된 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 멀티미디어 콘텐츠 검색 방법에 따른 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 내부 네트워크, 로컬 네트워크, 이동 통신망 및 이들의 조합을 포함할 수 있으나 이에 한정되지 않는다.
멀티미디어 콘텐츠 검색 방법에 따른 전자 기기는: 입력 장치(403) 및 출력 장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력 장치(403) 및 출력 장치(404)는 버스 또는 기타 방식을 통해 연결될 수 있고, 도 4에서는 버스를 통해 연결된 것으로 예를 들었다.
입력 장치(403)는 입력된 숫자 또는 문자 부호 정보를 수신하고, 멀티미디어 콘텐츠 검색 방법에 따른 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 산생시킬 수 있는바. 예컨대, 입력 장치는 터치 패널, 기능키, 마우스, 트랙패널, 터치 패널, 표시 로드, 하나 또는 복수개의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(404)는 표시 기기, 보조 조명 장치（예컨대, LED） 및 촉각 피드백 장치(예컨대, 진동 전기) 등을 포함할 수 있다. 상기 표시 기기는 액정 디스플레이(LCD), 유기 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나, 이에 한정되지 않는다. 표시 기기는 터치 스크린일 수 있다.
여기서 설명되는 시스템 및 기술의 각종 실시방식들은 디지털 전기 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 각종 실시방식은: 하나 또는 복수개의 컴퓨터 프로그램에서 구현하는 방식을 포함할 수 있으며, 상기 하나 또는 복수개의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능한 프로세서는 전용 또는 범용으로 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치로 전송한다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로도 칭할 수 있음)은 프로그램 가능한 프로세서의 기계 명령을 포함하며, 고급 과정 및/또는 대상을 향한 프로그램 언어 및/또는 어셈블링/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 본문에서 사용되는 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능한 매체를 포함하는, 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서의 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그램 가능한 로직 장치（PLD）)를 의미한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 설명된 시스템 및 기술을 컴퓨터에서 실시할 수 있으며, 상기 컴퓨터는: 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예컨대, CRT (칼라 음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 및 포인팅 장치(예컨대, 마우스 또는 트랙볼)를 구비하고, 사용자는 상기 키보드 및 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 타입의 장치는 사용자와의 인터렉션을 제공할 수 있으며; 예컨대, 사용자에게 제공된 피드백은 임의의 형태의 센싱 피드백(예컨대, 시각적 피드백, 청각적 피드백, 또는 촉각 피드백)일 수 있으며; 그리고 임의의 형태(음향 입력, 음성 입력, 또는 촉각 입력)를 사용하여 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술을 백스테이지 컴포넌트를 포함하는 컴퓨팅 시스템(예컨대, 데이터 서버로서), 또는 중간 컴포넌트를 포함하는 컴퓨팅 시스템(예컨대, 애플리케이션 서버), 또는 전방 컴포넌트를 포함하는 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 여기에서 설명된 시스템 및 기술의 실시방식을 인터렉션할 수 있음), 또는 이런 백스테이지 컴포넌트, 중간 컴포넌트, 또는 전방 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 서로 연결될 수 있다. 통신 네트워크는 예하면: 로컬 네트워크（LAN）, 광역 네트워크（WAN） 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 서로 인터렉션을 진행한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 구비한 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 개시의 실시예에 따른 기술방안에 있어서, 후보 주제 개념의 품사 서열을 통해 후보 주제 개념에 대해 필터를 진행하기에, 주제 개념 발굴에 필요한 인력 비용을 감소한다.
위에서 나타내는 다양한 형태의 절차를 사용하여, 단계를 재 정렬, 추가 또는 삭제할 수 있음을 이해할 수 있다. 예컨대, 본 개시에서 기재된 각 단계는 병렬적으로 실행할 수 있고, 순차적으로 실행할 수도 있으며, 또한 상이한 순서로 실행할 수도 있으며, 단지 본 출원에서 개시된 기술방안이 의도한 결과를 실현할 수만 있다면, 본문에서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시방식은, 본 개시의 보호 범위의 제한을 구성하지 않는다. 해당 기술분야에서 통상의 지식을 가진 자들은 본 개시의 실시예의 설계 요구 및 기타 요소에 따라, 다양한 개변, 조합, 서브 조합 및 교체를 진행할 수 있다. 본 개시의 정신 및 특허청구범위를 일탈하지 않고, 이러한 개변 및 변형은 본 개시의 청구범위 및 그와 동등한 기술 범위 내에 속하며, 본 개시에서는 이러한 개변 및 변형을 청구범위 내에 귀속 시키고자 한다.

Claims (13)

  1. 멀티미디어 콘텐츠 검색 장치에 의해 실행되는 멀티미디어 콘텐츠 검색 방법에 있어서,
    상기 방법은:
    조회 정보의 조회 벡터를 획득하는 단계;
    검색 라이브러리 중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하는 단계로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정하는 단계; 및
    상기 제1 분류 중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계를 포함하며;
    상기 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터이며: 상기 검색 라이브러리 중의 벡터는 회전을 통하여 계량화한 벡터이고, 또한 회전하기 전에 상기 분류의 중심점 벡터를 통해 벡터 중심화 처리를 진행하였던 벡터이며;
    상기 검색 라이브러리 중의 벡터를 회전하기 전에, 공분산 매트릭스에 대해 특징 값 분해를 진행하여 특징 값 및 특징 벡터를 획득하여, 검색 라이브러리 중의 벡터에 사용되는 전치 매트릭스를 구축하며;
    상기 공분산 매트릭스는 공식:
    을 통해 ??득할 수 있으며;
    cov는 상기 공분산 매트릭스를 표시하고, c는 분류 중 모든 벡터 내적의 합이고, n은 분류 중의 벡터의 개수이며, v는 분류된 중심점 벡터인 것을 특징으로 하는,
    멀티미디어 콘텐츠 검색 방법.
  2. 제1 항에 있어서,
    상기 검색 라이브러리 중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하는 단계는:
    상기 검색 라이브러리 중 복수개 분류의 중심점 벡터와 상기 조회 벡터의 잔차를 각각 연산하고, 상기 잔차에 근거하여 상기 제1 분류를 확정함을 확정하는 단계로서, 그 중, 상기 검색 라이브러리 중 각 분류는 중심점 벡터를 포함하는 것인, 확정하는 단계를 포함하는 것을 특징으로 하는,
    멀티미디어 콘텐츠 검색 방법.
  3. 제2 항에 있어서,
    상기 검색 라이브러리 중 타겟 분류의 중심점 벡터는: 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정되며, 그 중, 상기 타겟 분류는 상기 검색 라이브러리 중의 임의의 하나의 분류인 것을 특징으로 하는,
    멀티미디어 콘텐츠 검색 방법.
  4. 제1 항에 있어서,
    상기 제1 분류 중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계는:
    상기 조회 벡터와 상기 제1 분류 중 복수개의 서브 중심 벡터의 잔차를 연산하고, 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터 중 N개의 서브 중심 벡터를 상기 조회 벡터와 매칭되는 타겟 벡터로 확정하고, 또한 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하는 단계로서, N은 1보다 크거나 또는 같은 정수인 것인, 획득하는 단계를 포함하는 것을 특징으로 하는,
    멀티미디어 콘텐츠 검색 방법.
  5. 멀티미디어 콘텐츠 검색 장치에 있어서,
    상기 장치는:
    조회 정보의 조회 벡터를 획득하기 위한 제1 획득 모듈;
    검색 라이브러리 중에서 상기 조회 벡터와 매칭되는 제1 분류를 확정하기 위한 확정 모듈로서, 그 중, 상기 검색 라이브러리에 복수개의 분류가 포함되어 있고, 각 분류는 복수개의 벡터를 포함하며, 각 벡터는 대응되는 멀티미디어 콘텐츠와 관련하는 것인, 확정 모듈; 및
    상기 제1 분류 중에서 상기 조회 벡터와 매칭되는 타겟 벡터를 조회하고, 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하기 위한 제2 획득 모듈을 포함하며;
    포함하며;
    상기 조회 벡터는 조회 정보의 벡터에 대해 회전을 진행하고 계량화한 벡터이며: 상기 검색 라이브러리 중의 벡터는 회전을 통하여 계량화한 벡터이고, 또한 회전하기 전에 상기 분류의 중심점 벡터를 통해 벡터 중심화 처리를 진행하였던 벡터이며;
    상기 검색 라이브러리 중의 벡터를 회전하기 전에, 공분산 매트릭스에 대해 특징 값 분해를 진행하여 특징 값 및 특징 벡터를 획득하여, 검색 라이브러리 중의 벡터에 사용되는 전치 매트릭스를 구축하며;
    상기 공분산 매트릭스는 공식:
    을 통해 ??득할 수 있으며;
    cov는 상기 공분산 매트릭스를 표시하고, c는 분류 중 모든 벡터 내적의 합이고, n은 분류 중의 벡터의 개수이며, v는 분류된 중심점 벡터인 것을 특징으로 하는,
    장치.
  6. 제5 항에 있어서,
    상기 확정 모듈은 상기 검색 라이브러리 중 복수개 분류의 중심점 벡터와 상기 조회 벡터의 잔차를 각각 연산하고, 상기 잔차에 근거하여 상기 제1 분류를 확정함을 확정하기 위한 것이며, 그 중, 상기 검색 라이브러리 중 각 분류는 중심점 벡터를 포함하는 것을 특징으로 하는,
    장치.
  7. 제6 항에 있어서,
    상기 검색 라이브러리 중 타겟 분류의 중심점 벡터는: 상기 타겟 분류에 포함된 모든 벡터의 합 및/또는 상기 타겟 분류에 포함된 벡터 수량에 따라 확정되며, 그 중, 상기 타겟 분류는 상기 검색 라이브러리 중의 임의의 하나의 분류인 것을 특징으로 하는,
    장치.
  8. 제5 항에 있어서,
    상기 제2 획득 모듈은 상기 조회 벡터와 상기 제1 분류 중 복수개의 서브 중심 벡터의 잔차를 연산하고, 상기 잔차에 근거하여 상기 복수개의 서브 중심 벡터 중 N개의 서브 중심 벡터를 상기 조회 벡터와 매칭되는 타겟 벡터로 확정하고, 또한 상기 타겟 벡터에 대응되는 멀티미디어 콘텐츠를 획득하기 위한 것이며, N은 1보다 크거나 또는 같은 정수인 것을 특징으로 하는,
    장치.
  9. 전자 기기에 있어서,
    상기 전자 기기는:
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 를 포함하며,
    그 중, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행가능한 명령이 저장되어 있으며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 청구항 제1 항 내지 제4 항 중 임의의 한 항에 따른 상기 방법을 실행하게 하는 것을 특징으로 하는,
    전자 기기.
  10. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터로 하여금 청구항 제1 항 내지 제4 항 중 임의의 한 항에 따른 상기 방법을 실행하게 하는 것인 것을 특징으로 하는,
    비일시적 컴퓨터 판독 가능 저장 매체.
  11. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 경우, 청구항 제1항 내지 제4항 중 임의의 어느 한 항에 따른 상기 방법을 구현하는 것인,
    컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.

  12. 삭제
  13. 삭제
KR1020210035697A 2020-04-08 2021-03-19 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체 KR102656114B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010271903.9 2020-04-08
CN202010271903.9A CN113495965A (zh) 2020-04-08 2020-04-08 一种多媒体内容检索方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
KR20210038472A KR20210038472A (ko) 2021-04-07
KR102656114B1 true KR102656114B1 (ko) 2024-04-11

Family

ID=75111499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035697A KR102656114B1 (ko) 2020-04-08 2021-03-19 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US11663260B2 (ko)
EP (1) EP3822824A1 (ko)
JP (1) JP7256834B2 (ko)
KR (1) KR102656114B1 (ko)
CN (1) CN113495965A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377976B (zh) * 2021-08-16 2022-09-09 北京达佳互联信息技术有限公司 资源搜索方法、装置、计算机设备及存储介质
CN114415890A (zh) * 2022-01-20 2022-04-29 北京大学第三医院（北京大学第三临床医学院） 医师评价系统的界面定制方法及教师端平台
CN116186046B (zh) * 2023-02-24 2024-02-20 深圳市乐信信息服务有限公司 设备数据的修改方法、装置、计算机设备及存储介质
CN116578867A (zh) * 2023-04-20 2023-08-11 华为技术有限公司 标识生成方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012076A (ja) 2011-06-29 2013-01-17 Kddi Corp 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム
JP2013065146A (ja) * 2011-09-16 2013-04-11 Rakuten Inc 画像検索装置およびプログラム
US20180101570A1 (en) * 2016-10-11 2018-04-12 Google Inc. Hierarchical quantization for fast inner product search
CN110674328A (zh) 2019-09-27 2020-01-10 长城计算机软件与系统有限公司 一种商标图像检索方法、系统、介质及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134541A (en) * 1997-10-31 2000-10-17 International Business Machines Corporation Searching multidimensional indexes using associated clustering and dimension reduction information
US6675174B1 (en) * 2000-02-02 2004-01-06 International Business Machines Corp. System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams
JP2015228083A (ja) 2014-05-30 2015-12-17 株式会社デンソーアイティーラボラトリ 特徴ベクトル変換装置及びコンテンツ検索装置
CN104199842B (zh) 2014-08-07 2017-10-24 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104615676B (zh) * 2015-01-20 2018-08-24 同济大学 一种基于最大相似度匹配的图片检索方法
CN105045841B (zh) * 2015-07-01 2017-06-23 北京理工大学 结合重力传感器与图像特征点角度的图像特征查询方法
CN106844715A (zh) 2017-02-08 2017-06-13 摩登大道时尚电子商务有限公司 一种图片检索匹配方法和装置
CN110175249A (zh) 2019-05-31 2019-08-27 中科软科技股份有限公司 一种相似图片的检索方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012076A (ja) 2011-06-29 2013-01-17 Kddi Corp 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム
JP2013065146A (ja) * 2011-09-16 2013-04-11 Rakuten Inc 画像検索装置およびプログラム
US20150052139A1 (en) 2011-09-16 2015-02-19 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US20180101570A1 (en) * 2016-10-11 2018-04-12 Google Inc. Hierarchical quantization for fast inner product search
CN110674328A (zh) 2019-09-27 2020-01-10 长城计算机软件与系统有限公司 一种商标图像检索方法、系统、介质及设备

Also Published As

Publication number Publication date
US11663260B2 (en) 2023-05-30
KR20210038472A (ko) 2021-04-07
JP2021103557A (ja) 2021-07-15
EP3822824A1 (en) 2021-05-19
JP7256834B2 (ja) 2023-04-12
US20210209146A1 (en) 2021-07-08
CN113495965A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
KR102656114B1 (ko) 멀티미디어 콘텐츠 검색 방법, 장치, 기기 및 저장 매체
KR102591421B1 (ko) 의도 추천 방법, 장치, 기기 및 저장매체
JP7369740B2 (ja) 検索語の推薦方法と装置、目的モデルの訓練方法と装置、電子デバイス、記憶媒体、及びプログラム
US11392604B2 (en) Designating fields in machine data using templates
KR102588055B1 (ko) 멀티미디어 리소스 추천 방법, 장치, 전자 기기 및 저장 매체
JP7304370B2 (ja) ビデオ検索方法、装置、デバイス及び媒体
CN110619053A (zh) 实体关系抽取模型的训练方法和抽取实体关系的方法
US20140310302A1 (en) Storing and querying graph data in a key-value store
US11847147B2 (en) Method for building ranking model, query auto-completion method and corresponding apparatuses
US20220335088A1 (en) Query auto-completion method and apparatus, device and computer storage medium
US20220342936A1 (en) Query auto-completion method and apparatus, device and computer storage medium
US20210390254A1 (en) Method, Apparatus and Device for Recognizing Word Slot, and Storage Medium
CN109657080B (zh) 高分卫星遥感数据的分布式处理方法/系统和介质
US11829447B2 (en) Resident area prediction method, apparatus, device, and storage medium
US11704326B2 (en) Generalization processing method, apparatus, device and computer storage medium
US11847150B2 (en) Method and apparatus for training retrieval model, device and computer storage medium
EP3822818A1 (en) Method, apparatus, device and storage medium for intelligent response
EP3876563A1 (en) Method and apparatus for broadcasting configuration information of synchronizing signal block, and method and apparatus for receiving configuration information of synchronizing signal block
US11669530B2 (en) Information push method and apparatus, device, and storage medium
CN111782748A (zh) 地图检索方法、信息点poi语义向量的计算方法和装置
CN113515504B (zh) 数据管理方法、装置、电子设备以及存储介质
Li et al. Parallel image search application based on online hashing hierarchical ranking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right