TW202029054A

TW202029054A - 影像搜索裝置及方法

Info

Publication number: TW202029054A
Application number: TW108147387A
Authority: TW
Inventors: 崔勝權; 金相淵; 辛旼澈; 咸盛皓; 朴相赫; 金澤潤; 金澤秀; 姜柳薫
Original assignee: 南韓商納寶股份有限公司; 日商連股份有限公司
Priority date: 2019-01-28
Filing date: 2019-12-24
Publication date: 2020-08-01
Also published as: TWI755666B; JP2022044687A; JP2020119566A; KR102221122B1; JP7282218B2; KR20200093321A; JP7013497B2

Abstract

本發明公開一種影像搜索方法，包含：獲得與包含相同屬性的多個參考影像相對應的參考特徵向量之步驟；從基於所述獲得的參考特徵向量來訓練的生成模型中獲得與相同屬性相對應的代表特徵向量之步驟；以及將儲存在資料庫中的目標影像的特徵向量與所述代表特徵向量進行比較，來對所述目標影像中的至少一部分的目標影像分配與相同屬性相對應的屬性標籤之步驟。

Description

影像搜索裝置及方法

本發明有關於搜索領域。特別有關於基於影像的搜索裝置及方法。

隨著資訊及通訊技術的發展，使用諸如智慧型手機和個人電腦等之多種終端的資訊搜索已被廣泛使用。以往，基於使用者輸入的文字來搜索並提供文件等，但是近年來，使用者越來越希望以相片或圖片等之影像進行搜索。

然而，通過文字搜索諸如衣服或風景等之影像並不容易。例如，使用者想搜索其期望的風格的衣服時，也難以基於文字搜索來找到合適的影像。

最近，已經嘗試了從使用者接收不是文字而是搜索影像的輸入並且搜索與搜索影像相似的影像的服務，但是存在為了這服務而需要對儲存在資料庫中的大量影像逐一手動分配標籤的困難。

根據一實施例之影像搜索裝置及方法使能夠容易對儲存在資料庫中的影像分配屬性標籤為目的。

此外，根據一實施例之影像搜索裝置及方法通過利用代表特徵向量令使用者能夠更準確地搜索期望類型的影像為目的。

根據一實施例的影像搜索方法，包含：獲得與包含相同屬性的多個參考影像相對應的參考特徵向量之步驟；從基於所述獲得的參考特徵向量來訓練的生成模型中獲得與所述相同屬性相對應的代表特徵向量之步驟；以及將儲存在資料庫中的目標影像的特徵向量與所述代表特徵向量進行比較，來對所述目標影像中的至少一部分的目標影像分配與所述相同屬性相對應的屬性標籤之步驟。

根據一實施例的影像搜索方法，包含：從用戶終端接收多個搜索影像之步驟；獲得與所述多個搜索影像相對應的特徵向量之步驟；以所述獲得的特徵向量訓練生成模型之步驟；將從以所述特徵向量訓練的所述生成模型輸出的代表特徵向量與儲存在資料庫中的目標影像的特徵向量進行比較來決定與所述多個搜索影像相對應的目標影像之步驟；以及將所述決定的目標影像傳送到所述用戶終端之步驟。

根據一實施例的影像搜索裝置，包含：處理器；儲存器，其儲存至少一個程式及生成模型；資料庫，其儲存目標影像；其中，所述處理器隨著執行至少一個程式時，獲得與包含相同屬性的多個參考影像相對應的參考特徵向量，從基於所述獲得的參考特徵向量來訓練的所述生成模型中獲得與所述相同屬性相對應的代表特徵向量，將所述目標影像的特徵向量與所述代表特徵向量進行比較，來對所述目標影像中的至少一部分的目標影像分配與所述相同屬性相對應的屬性標籤。

根據另一實施例的影像搜索方法，包含：存取影像搜索裝置來選擇屬性之步驟，以及從所述影像搜索裝置接收儲存在所述影像搜索裝置的目標影像中分配有與所述選擇的屬性相對應的屬性標籤的目標影像之步驟，其中，所述儲存在所述影像搜索裝置的目標影像基於將與多個屬性中的每一個相對應的代表特徵向量與所述目標影像的特徵向量進行比較的結果，分配有與所述多個屬性相對應的多個屬性標籤中的至少一部分的屬性標籤。 [有益效果]

根據一實施例之影像搜索裝置及方法能夠容易對儲存在資料庫中的影像分配屬性標籤。

此外，根據一實施例之影像搜索裝置及方法利用代表特徵向量令使用者能夠更準確地搜索期望類型的影像。

然而，根據一實施例之影像搜索裝置及方法能夠實現的效果不限定於上述說明的效果，並且所屬領域中的具有通常知識者通過以下說明將清楚地理解未提及的其他效果。

本發明可以具有各種修改並具有各種實施例，且特定實施例在圖式中示出及通過詳細說明來說明。然而，這並不旨在將本發明限制為特定的實施例，本發明應當理解為包含在本發明的思想及技術範圍中的所有修改、均等形式和替代形式。

在實施例的以下說明中，當判斷有關的習知技術之具體說明可能不必要地使要旨模糊時，則將省略其詳細說明。另外，在說明實施例的過程中使用的數字(例如，第一、第二等)僅是用於將一個元件與另一元件區分的識別符號。

此外，在本說明書中，當一元件被稱為與另一元件「連接」或「接觸」時，所述一元件可以與所述另一元件直接連接或直接接觸，但除非具有另外具體說明，否則應當理解中間存在另一元件來連接或接觸。

另外，在本說明書中，表示為「單元」、「模組」等的元件可以通過將兩個以上的元件結合成一個元件或一個元件可以按功能更細分為兩個以上。此外，在下文中說明的每個元件分別除了其主要功能之外，還可以執行其他元件所負責的功能中的一部分或全部功能，且每個元件所負責的功能中的一部分功能可以由其他元件專門執行。

在下文中，將詳細說明根據本發明之技術思想之實施例。

第1圖繪示了根據一實施例之影像搜索裝置100及用戶終端10之示意圖。

用戶終端10選擇或輸入搜索條件(例如，搜索影像、屬性等)並將其傳送到影像搜索裝置100，影像搜索裝置100將與搜索條件相對應的搜索結果影像傳送到用戶終端10。在一實施例中，影像搜索裝置100可以將用於決定與搜索條件相對應的搜索結果影像的目標影像儲存在資料庫中。影像搜索裝置100可以將目標影像中的與搜索條件相對應的目標影像作為搜索結果影像傳送到用戶終端10。

用戶終端10可以包含通過網路連接到影像搜索裝置100的桌上型電腦PC、平板電腦、智慧型手機、筆記型電腦等，但是其不限制於此。

在一實施例中，影像搜索裝置100及用戶終端10可以通過網路彼此連接並且彼此發送和接收資料。在此，網路可以包含有線和無線網路，具體而言，其可以包含區域網路(Local Area Network，LAN)、都會網路(Metropolitan Area Network，MAN)、廣域網路(Wide Area Network，WAN)等的各種網路。另外，網路可以包含全球資訊網(World Wide Web，WWW)。然而，根據本發明之網路不限制於所述列出的網路，其可以包含習知的無線數據網路或習知的電話網路，習知的有線/無線電視網路的至少一個。

根據一實施例之影像搜索裝置100可以對預先儲存的目標影像分配屬性標籤。在本說明書中，「屬性」可能表示影像中所包含的對象的特徵。可以按類別分類所述屬性。例如，某些衣服可以具有屬於顏色類別中的紅色屬性、屬於花紋類別中的條紋屬性，及形狀類別中的連身裙屬性。此外，在本說明書中，「屬性標籤」可以指分配給影像以表示影像中的對象的特徵之資訊。例如，某些衣服的屬性標籤可以表示出該衣服的顏色為紅色，花紋為條紋，以及形狀為連身裙。

將參考第2圖說明有關影像搜索裝置100對目標影像分配屬性標籤的方法。

第2圖繪示了用於說明根據一實施例之分配屬性標籤的方法的流程圖。

在S210步驟中，影像搜索裝置100獲得與具有相同屬性或分配有相同屬性標籤的多個參考影像相對應的參考特徵向量。在實施例中，管理員可以對多個參考影像分配相同的屬性標籤。例如，可以對多個參考影像分配相同的屬性標籤，例如「紅色」、「梳織紋」或「受女性歡迎的衣服」。

可以通過機器學習模型輸出與多個參考影像相對應的參考特徵向量。所述機器學習模型可以包含，例如，卷積神經網路(Convolutional Neural Networks，CNN）。另外，參考特徵向量可以是N（N是1或更大的整數）維的資料。在一實施例中，與多個參考影像相對應的參考特徵向量可以在由機器學習模型輸出之後通過後處理(post processing)來生成。所述後處理可以包含，例如，將從機器學習模型輸出的特徵向量中包含的多個元素基於大小排序後，獲得表示上位k個元素在特徵向量中的位置的索引，且將具有以獲得的索引為元素的索引特徵向量生成為參考特徵向量。

在S220步驟中，影像搜索裝置100從基於與多個參考影像相對應的參考特徵向量而訓練的生成模型，獲得與相同屬性或相同屬性標籤相對應的代表特徵向量。生成模型可以基於多個參考影像的參考特徵向量來訓練，從而生成與參考特徵向量相似的代表特徵向量。在一實施例中，所述生成模型可以包含生成對抗網路(generative adversarial network，GAN)。

參考第3圖，生成模型300可以在由與參考影像310a、310b和310c相對應的參考特徵向量320a、320b和320c訓練後，例如，當接收隨機雜訊作為輸入資料的輸入時，可以生成與參考特徵向量320a、320b和320c相似的代表特徵向量。在一實施例中，對應於生成模型300的GAN可以包含多個全連接層(fully connected layer，FCL)。 FCL是一種網絡結構，其中每一層由至少一個節點組成，並且一層的每個節點分別連接到上一層和下一層中包含的所有節點。由於GAN是由參考特徵向量而不是影像訓練的，因此不需包含CNN，僅有FCL也可以生成與參考特徵向量相似的代表特徵向量。換句話說，通過利用由用於生成特徵向量的多個FCL組成的GAN來代替用於生成影像的GAN，可以快速地進行訓練，並且處理速度可以非常快。

在一實施例中，生成模型可以獲得參考特徵向量的元素的平均值，並且生成具有以獲得的平均值為元素的代表特徵向量。

再次參考第2圖，在S230步驟中，影像搜索裝置100將儲存在資料庫中的目標影像的特徵向量與代表特徵向量進行比較。在一例子中，影像搜索裝置100可以計算目標影像的每個特徵向量與代表特徵向量之間的距離（例如，餘弦距離）。由於為了判斷特徵向量之間的相似性而計算出的距離是習知的，因此將省略其詳細說明。

在S240步驟中，影像搜索裝置100對目標影像中的至少一部分的目標影像分配與多個參考影像具有的相同屬性相對應的屬性標籤。在一實施例，影像搜索裝置100可以對與特徵向量相對應的目標影像分配與相同屬性相對應的屬性標籤，所述特徵向量具有與代表特徵向量之間的等於或小於預設值之距離。

第4圖繪示了用於說明對目標影像分配屬性標籤的方法的示意圖。參考第4圖，根據目標影像410a、420a和430a的特徵向量410b、420b和430b分別與代表特徵向量進行比較的結果，可以對第一目標影像410a及第二目標影像420a分配「之字形花紋」的屬性標籤410c和420c，並且對第三目標影像430a分配「酒紅色」的屬性標籤430c。儘管第4圖繪示了一個目標影像被分配一個屬性標籤，但是一個目標影像可以被分配多個屬性標籤。

根據一實施例，由於基於相對地少的參考影像來對大量的目標影像分配屬性標籤，因此管理員不再需要對儲存在資料庫中的目標影像逐一分配屬性標籤。

另外，根據一實施例，當由於新屬性的開發或流行等，而使得有需要對目標影像分配新的屬性標籤時，也可以快速將新的屬性標籤分配給目標影像。例如，當管理員選擇了少量具有新屬性的參考影像時，影像搜索裝置100可以利用選擇的參考影像的參考特徵向量來訓練生成模型，並且根據從生成模型輸出的代表特徵向量與目標影像的特徵向量進行比較的結果，來對目標影像分配與新屬性相對應的屬性標籤。

第5圖繪示了允許使用者能夠選擇屬性的UI螢幕500的示意圖。

如上所述，當對儲存在資料庫中的目標影像分配屬性標籤時，使用者可以通過在用戶終端10的顯示器上顯示的UI螢幕500選擇特定屬性來簡單地執行影像搜索。

參考第5圖，當搜索螢幕500顯示在用戶終端10的顯示器上時，使用者可以通過在搜索螢幕500上選擇屬於特定類別520(例如，圖案)的各種屬性530中的一部分(例如，格子)，來接收分配有與所述屬性相對應的屬性標籤的目標影像作為搜索結果。

影像搜索裝置100可以將在資料庫中儲存的目標影像當中的分配有與由用戶終端10選擇的屬性相對應的標籤的目標影像作為搜索結果影像傳送給用戶終端10。

根據一實施例，使用者可以在搜索螢幕500輸入關鍵詞510作為屬性。影像搜索裝置100可以將在資料庫中儲存的目標影像當中的具有與關鍵詞510相對應的屬性所相關的屬性標籤的目標影像作為搜索結果影像傳送給用戶終端10。

在一實施例中，影像搜索裝置100可以將與由用戶終端10選擇的屬性相對應的代表特徵向量與在資料庫中儲存的目標影像的特徵向量進行比較，來將與代表特徵向量相同或相似的特徵向量相對應的目標影像作為搜索結果影像傳送到用戶終端10。影像搜索裝置100可以對將與特徵向量相對應的目標影像作為搜索結果影像傳送給用戶終端10，所述特徵向量具有與代表特徵向量之間的等於或小於預設值之距離。

作為與代表特徵向量進行比較的對象的特徵向量，可以根據以哪種類型的機器學習模型輸出參考特徵向量而改變，所述參考特徵向量用於訓練輸出代表特徵向量的生成模型。例如，當用於訓練生成模型的參考特徵向量是由從屬(dependant)模型輸出時，作為比較對象的目標影像的特徵向量也能夠由從屬模型輸出。從屬模型可以指訓練為輸出與特定類別的屬性相對應的特徵向量的機器學習模型。例如，從屬模型可以包含顏色類別的專用模型，及花紋類別的專用模型等。當管理員希望對目標影像分配顏色屬性的標籤時，可以將參考影像輸入到顏色類別專用模型來獲得與參考影像相對應的參考特徵向量，並且利用獲得的參考特徵向量來訓練生成模型。

另外，當用於訓練生成模型的特徵向量是由獨立(independent) 模型輸出時，作為比較對象的目標影像的特徵向量也能夠由獨立模型輸出。獨立模型可以指訓練為輸出與屬性類別不相關的特徵向量的機器學習模型。

第6圖繪示了用於說明根據一實施例之影像搜索方法的流程圖。

在S610步驟中，影像搜索裝置100從用戶終端10接收多個搜索影像。影像搜索裝置100可以通過網路從用戶終端10直接接收多個搜索影像，並且可從用戶終端10接收特定多個搜索影像的資料(例如，儲存有多個搜索影像的URL、多個搜索影像的識別資料等)，並基於接收的資料來獲得多個搜索影像。

在S620步驟中，影像搜索裝置100獲得與多個搜索影像相對應的特徵向量。影像搜索裝置100可以將多個搜索影像輸入到機器學習模型，並且獲得從機器學習模型輸出的特徵向量。所述機器學習模型可以是從屬模型或獨立模型。

在S630步驟中，影像搜索裝置100利用與多個搜索影像相對應的特徵向量來訓練生成模型。當生成模型是GAN時，可以基於生成器(generator)及鑑別器(discriminator)的相互作用來訓練GAN以生成與訓練資料相似的資料。

在S640步驟中，影像搜索裝置100將從以多個搜索影像的特徵向量訓練的生成模型輸出的代表特徵向量與目標影像的特徵向量進行比較。影像搜索裝置100可以計算出目標影像的每個特徵向量與代表特徵向量之間的距離。

如上所述，作為與代表特徵向量進行比較的對象的特徵向量可以根據用於訓練輸出代表特徵向量的生成模型的特徵向量由哪種類型的機器學習模型輸出而改變。

在S650的步驟中，影像搜索裝置100將儲存在資料庫中的目標影像當中的與多個搜索影像相對應的目標影像作為搜索結果影像傳送給用戶終端10。

影像搜索裝置100可以對與特徵向量相對應的目標影像作為搜索結果影像傳送給用戶終端10，所述特徵向量具有與代表特徵向量之間的等於或小於預設值之距離。

根據第6圖所繪示的實施例，例如，當使用者選擇符合其取向的多個搜索影像時，影像搜索裝置100可以提供除了符合使用者的取向的搜索影像以外的其他影像作為搜索結果。

第7圖繪示了用於說明根據另一實施例之影像搜索方法的流程圖。

在S710步驟中，影像搜索裝置100從用戶終端10接收搜索影像。影像搜索裝置100可以通過網路從用戶終端10直接接收搜索影像，並且可從用戶終端10接收特定搜索影像的資料(例如，儲存有搜索影像的URL，搜索影像的識別資料等)，並基於接收的資料來獲得搜索影像。

在S720步驟中，影像搜索裝置100獲得搜索影像的每個屬性的特徵向量。影像搜索裝置100可以將搜索影像輸入到多個從屬模型的每一個，並且獲得從多個從屬模型輸出的特徵向量。例如，如第8圖所示，將搜索影像810輸入到第一從屬模型821來獲得與第一屬性(例如，顏色屬性)相對應的特徵向量831，並將搜索影像810輸入到第二從屬模型823來獲得與第二屬性(例如，花紋)相對應的特徵向量833，且將搜索影像810輸入到第三從屬模型825來獲得與第三屬性(例如，形狀屬性)相對應的特徵向量835。

在一實施例中，當從用戶終端10接收到兩個搜索影像時，將其中一個搜索影像輸入到第一從屬模型821來獲得與第一屬性相對應的特徵向量，並且將另一個搜索影像輸入到第二從屬模型823及第三從屬模型825來獲得與第二屬性相對應的特徵向量和與第三屬性相對應的特徵向量。

在另一實施例中，當從用戶終端10接收到三個搜索影像時，將其中一個搜索影像輸入到第一從屬模型821來獲得與第一屬性相對應的特徵向量，並將另一個搜索影像輸入到第二從屬模型823來獲得與第二屬性相對應的特徵向量，且將再另一個搜索影像輸入到第三從屬模型825獲得與第三屬性相對應的特徵向量。

換句話說，影像搜索裝置100可以通過組合與多個搜索影像相對應的特徵向量來獲得每個屬性的特徵向量。

儘管第8圖繪出了利用三個從屬模型821、823和825以提取每個屬性的特徵向量，但是這僅是一個示例，可以利用各種數量的從屬模型以從搜索影像提取各種數量的屬性的特徵向量。

再次參考第7圖，在S730步驟中，影像搜索裝置100將每個屬性的特徵向量中的由用戶終端10選擇的屬性的特徵向量改變為與由用戶終端10選擇的屬性相對應的代表特徵向量。使用者可以通過用戶終端10選擇希望改變成代表特徵向量的屬性。用戶終端10可以從包含在搜索影像的對象的屬性中選擇希望改變的屬性，以及代替希望改變的屬性的另一個屬性。對應上述說明，影像搜索裝置100可以將每個屬性的特徵向量中的由用戶終端10選擇的屬性的特徵向量改變為與另一屬性相對應的代表性特徵向量。

例如，如第9圖所示，在第一屬性的特徵向量831，第二屬性的特徵向量833和第三屬性的特徵向量835之中，由使用者終端10選擇的第二屬性的特徵向量833可以交換成代表特徵向量933。在此，代表特徵向量933可以是從生成模型輸出的特徵向量，所述生成模型利用從第二屬性專用的從屬模型823輸出的參考特徵向量來訓練。

在S740步驟中，影像搜索裝置100將包含代表特徵向量的每個屬性的特徵向量與儲存在資料庫中的目標影像的每個屬性的特徵向量進行比較。在此，儲存在資料庫中的目標影像的每個屬性的特徵向量可以從從屬模型輸出。

在一個實施例，如第10圖所示，影像搜索裝置100在包含代表特徵向量933的每個屬性的特徵向量831、933和835與儲存在資料庫中的目標影像的每個屬性的特徵向量1031、1033和1035之間的比較中，將屬於相同類別的屬性的特徵向量進行比較來獲得每個屬性的距離。影像搜索裝置100可以對於目標影像的每個屬性的特徵向量1031、1033和1035分別計算出與第一屬性相對應的距離、與第二屬性相對應的距離，以及與第三屬性相對應的距離。

在S750步驟中，影像搜索裝置100可以基於所述計算出的每個屬性的距離，在儲存在資料庫中的目標影像中決定要傳送到用戶終端10的目標影像。

影像搜索裝置100可以基於組合每個屬性的距離的結果，在儲存在資料庫中的目標影像中，決定與包含代表特徵向量的每個屬性的特徵向量相同或相似的目標影像。在一實施例中，影像搜索裝置100可以按照組合每個屬性的距離而獲得的值的大至少序列來選擇一定數量的目標影像，或者可以選擇組合每個屬性的距離而獲得的值等於或大於預設值的目標影像。

在S760步驟中，影像搜索裝置100將在S750步驟中選擇的目標影像傳送到用戶終端10。

根據第7圖所繪示的實施例，使用者通過傳送搜索影像到影像搜索裝置100，並且將包含在搜索影像的對象的特定屬性改變為另一屬性，可以接收與改變的屬性相對應的搜索結果。例如，使用者可以通過將包含紅色和條紋的連身裙的搜索影像傳送到影像搜索裝置100，並且選擇藍色代替紅色，來接收包含藍色和條紋的連身裙的影像作為搜索結果。

第11圖繪示了包括多個對象1110、1130和1150的搜索影像1100的示意圖。

在一實施例中，從用戶終端10傳送到影像搜索裝置100的搜索影像1100可以如第11圖所示，包含多個對象1110、1130和1150。在第11圖中，多個對象1110、1130和1150包含上衣對象1110、下衣對象1130，及手袋對象1150。在這情況下，影像搜索裝置100可以裁剪(cropping)與多個對象1110、1130和1150中的每個對象相對應的部分影像來輸入到從屬模型，並且獲取從從屬模型輸出的每個對象的每個屬性的特徵向量。例如，影像搜索裝置100可以從第11圖所繪示的搜索影像1100獲得上衣對象1110的每個屬性的特徵向量，下衣對象1130的每個屬性的特徵向量，及手袋對象1150的每個屬性的特徵向量。

影像搜索裝置100可以將在包含在搜索影像1100中所包含的多個對象1110、1130和1150中的每一個的每個屬性的特徵向量的特徵向量序列中的由用戶終端10選擇的對象的特定屬性的特徵向量改變為與由用戶終端10選擇的屬性相對應的代表特徵向量。例如，當使用者從第11圖繪示的搜索影像1100中選擇手袋對象1150，並且想要將手袋的顏色屬性改變為另一種顏色時，影像搜索裝置100可以將與使用者想要改變的顏色相對應的代表特徵向量代替手袋對象1150的顏色屬性的特徵向量包含在特徵向量序列中。

例如，如第12圖所示，特徵向量序列1200中包括的第一對象的每個屬性的特徵向量1210、第二對象的每個屬性的特徵向量1220，及第三對象的每個屬性的特徵向量1230中的第三對象1230的第一屬性的特徵向量1231可以交換成代表特徵向量1241。

影像搜索裝置100可以通過將包含代表特徵向量1241的特徵向量序列1250與儲存在資料庫的目標影像的特徵向量序列進行比較，來決定與搜索影像1100相對應的目標影像。影像搜索裝置100可以在包含代表特徵向量1241的特徵向量序列1250與目標影像的特徵向量序列之間的比較中將相同對象的相同類別的屬性的特徵向量進行比較，來對每個對象計算出每個屬性的距離，並且基於計算出的距離來決定與搜索結果相對應的目標影像。在一實施例中，影像搜索裝置100將在包含代表特徵向量1241的特徵向量序列1250與目標影像的特徵向量序列比較的結果中，對每個對象計算出的每個屬性的距離組合，並且基於組合結果值來決定與搜索結果相對應的目標影像。

在一實施例中，影像搜索裝置100可以將被選擇作為搜索結果的目標影像傳送到用戶終端10。

在另一實施例中，影像搜索裝置100可以在被選擇作為搜索結果的目標影像中提取與用戶終端10選擇的對象相對應的部分影像，並且將提取的部分影像合成到搜索影像來作為搜索結果傳送到用戶終端10。例如，如第11圖至第13圖所示，影像搜索裝置100可以將在搜索影像1100中包含手袋對象1150的部分交換成目標影像中包含手袋對象的部分影像1311、1321和1331的合成影像1310、1321和1330作為搜索結果影像傳送到用戶終端10。

使用者可以將包含多個對象的搜索影像傳送到影像搜索裝置100，來通過搜索結果容易地了解符合自己的取向的搭配風格。

第14圖繪示了根據一實施例之影像搜索裝置100之結構的框圖。

參考第14圖，根據一實施例的影像搜索裝置100可以包含儲存器1410、資料庫1430、通訊單元1450和處理器1470。

儲存器1410儲存至少一個程式。儲存器1410、資料庫1430、通訊單元1450和處理器1470可以根據至少一個程式進行操作。此外，儲存器1410可以進一步儲存用於生成代表特徵向量的生成模型。另外，儲存器1410可以進一步儲存用於提取特徵向量的機器學習模型。

資料庫1430儲存目標影像和目標影像的特徵向量。目標影像的特徵向量可以由機器學習模型輸出。例如，目標影像的特徵向量可以包含由從屬模型的輸出，並且可以包含由獨立模型的輸出。另外，對於包括多個對象的目標影像，所述特徵向量可以包含特徵向量序列，所述特徵向量序列包含每個對象的每個屬性的特徵向量。在一實施例中，資料庫1430可以包含硬碟(HDD)和固態硬碟(SSD)等的儲存裝置。

通訊單元1450與用戶終端10傳送和接收資料。通訊單元1450從用戶終端10接收搜索條件，並且將與搜索條件相對應的搜索結果，例如，搜索結果影像傳送到用戶終端10。

處理器1470可以獲得與具有相同屬性或分配有相同屬性標籤的多個參考影像相對應的參考特徵向量，並從基於參考特徵向量訓練的生成模型獲得與相同屬性或相同屬性標籤相對應的代表特徵向量，且將目標影像的特徵向量與代表特徵向量進行比較，來將與相同屬性相對應的屬性標籤分配給目標影像中至少一部分的目標影像。

另外，處理器1470可以選擇與從用戶終端10接收的搜索條件相對應的目標影像。處理器1470可以選擇分配有與用戶終端10選擇或輸入的屬性相對應的屬性標籤的目標影像，或可以選擇具有與用戶終端10選擇或輸入的屬性的代表特徵向量相同或相似的特徵向量的目標影像。

另外，處理器1470可以選擇與從用戶終端10接收的多個搜索影像相對應的目標影像。另外，處理器1470可以將從用戶終端10接收的搜索影像的每個屬性的特徵向量中的一部分置換成其他屬性的代表特徵向量，並且基於置換的結果來選擇目標影像。

一方面，上述的實施例可以被編寫為在計算機上可執行的程式，並且所編寫的程式可以被存儲在介質中。

介質可以是持續儲存計算機可執行程式，或者是暫時儲存以執行或下載。另外，介質可以是單個或幾個硬體組合形式的各種記錄裝置或儲存裝置，並且不限於直接連接到任何計算機系統的介質，且可以分佈存在於網絡上。介質的示例包含諸如硬體、軟磁碟和磁帶之類的磁性介質、諸如CD-ROM和DVD之類的光學記錄介質、諸如磁片(floptical disk)的磁光碟介質(magneto-optical medium)，及ROM、RAM，及快閃記憶體等，且被構成為儲存程式指令。另外，其他介質的示例可以包含流通應用程式的應用程式商店或提供或流通各種軟體的網站，和在伺服器等管理的記錄介質或儲存介質。

如上所述，儘管已經參考優選實施例詳細說明了本發明的技術思想，但是本發明的技術思想不限於以上實施例，所屬領域中的具有通常知識者可以在本發明的技術思想的範圍內進行各種修改和改變。

100:影像搜索裝置 10:用戶終端 310a、310b、310c:參考影像 320a、320b、320c:參考特徵向量 300:生成模型 410a、420a、430a:目標影像 410b、420b、430b:特徵向量 410c、420c、430c:屬性標籤 500:螢幕 510:關鍵詞 520:類別 530:屬性 810:搜索影像 821:第一從屬模型 823:第二從屬模型 825:第三從屬模型 831:特徵向量 833:特徵向量 835:特徵向量 933:代表特徵向量 1031、1033、1035:特徵向量 1100:搜索影像 1110:上衣對象 1130:下衣對象 1150:手袋對象 1200:特徵向量序列 1210:特徵向量 1220:特徵向量 1230:特徵向量 1231:特徵向量 1241:代表特徵向量 1250:特徵向量序列 1311、1321、1331:部分影像 1310、1321、1330:合成影像 1410:儲存器 1430:資料庫 1450:通訊單元 1470:處理器 S210、S220、S230、S240:步驟 S610、S620、S630、S640、S650:步驟 S710、S720、S730、S740、S750、S760:步驟

為了更充分地理解在本說明書中引用的圖式，提供各圖式的簡單說明。

第1圖繪示了根據一實施例之影像搜索裝置及用戶終端之示意圖。

第3圖繪示了用於說明從生成模型獲得代表特徵向量的方法的示意圖。

第4圖繪示了用於說明對目標影像分配屬性標籤的方法的示意圖。

第5圖繪示了允許使用者能夠選擇屬性的UI螢幕的示意圖。

第8圖繪示了從搜索影像提取的每個屬性的特徵向量的示意圖。

第9圖繪示了用於說明將搜索影像的每個屬性的特徵向量中的至少一個交換成代表特徵向量的方法的示意圖。

第10圖繪示了用於說明對搜索影像的每個屬性的特徵向量與目標影像的每個屬性的特徵向量進行比較的方法的示意圖。

第11圖繪示了包含多個對象的搜索影像的示意圖。

第12圖繪示了用於說明將第11圖中示出的搜索影像的特徵向量序列中的至少一個交換成代表特徵向量皮方法的示意圖。

第13圖繪示了與第11圖中示出的搜索影像相對應的搜索結果影像的示意圖。

第14圖繪示了根據一實施例之影像搜索裝置之結構的框圖。

S210、S220、S230、S240:步驟

Claims

一種由影像搜索裝置執行的影像搜索方法，包含：獲得與包含相同屬性的多個參考影像相對應的參考特徵向量之步驟；從基於所述獲得的參考特徵向量來訓練的生成模型中，獲得與所述相同屬性相對應的代表特徵向量之步驟；以及將儲存在資料庫中的目標影像的特徵向量與所述代表特徵向量進行比較，來對所述目標影像中的至少一部分的目標影像分配與所述相同屬性相對應的屬性標籤之步驟。
如請求項1所述之影像搜索方法，所述影像搜索方法還包含：從用戶終端接收對屬性的選擇的步驟；在所述目標影像中，決定分配有與所述被選擇的屬性相對應的屬性標籤的目標影像之步驟；以及將所述決定的目標影像傳送到所述用戶終端之步驟。
如請求項1所述之影像搜索方法，所述影像搜索方法還包含：從用戶終端接收對屬性的選擇的步驟；將與所述被選擇的屬性相對應的代表特徵向量與儲存在所述資料庫中的目標影像的特徵向量進行比較之步驟，以及將在所述目標影像中的基於所述比較結果而被選擇的目標影像傳送到所述用戶終端之步驟。
如請求項3所述之影像搜索方法，其中所述比較之步驟包含：當與所述用戶終端選擇的屬性相對應的代表特徵向量由基於從從屬模型輸出的參考特徵向量訓練的所述生成模型來輸出時，將與所述被選擇的屬性相對應的代表特徵向量與從所述從屬模型輸出的所述目標影像的特徵向量進行比較，並且當與所述用戶終端選擇的屬性相對應的代表特徵向量由基於從獨立模型輸出的參考特徵向量訓練的所述生成模型來輸出時，將與所述被選擇的屬性相對應的代表特徵向量與從所述獨立模型輸出的所述目標影像的特徵向量進行比較之步驟。
如請求項1所述之影像搜索方法，所述影像搜索方法還包含：從用戶終端接收搜索影像之步驟；獲得所述搜索影像的每個屬性的特徵向量之步驟；將所述每個屬性的特徵向量中的所述用戶終端選擇的屬性的特徵向量改變為與所述用戶終端選擇的屬性相對應的代表特徵向量之步驟；將包含所述代表特徵向量的每個屬性的特徵向量與儲存在所述資料庫中的目標影像的每個屬性的特徵向量進行比較之步驟；以及將儲存在所述資料庫中的基於所述比較結果被選擇的目標影像傳送到所述用戶終端之步驟。
如請求項5所述之影像搜索方法，其中所述比較之步驟包含：通過將包含所述代表特徵向量的每個屬性的特徵向量與所述目標影像的每個屬性的特徵向量對於相同類別的屬性來進行比較，來獲得每個屬性的距離之步驟；以及根據組合所述獲得的每個屬性的距離的大小的結果，在儲存在所述資料庫中的目標影像中選擇要傳送到所述用戶終端的目標影像之步驟。
如請求項1所述之影像搜索方法，所述影像搜索方法還包含：從用戶終端接收包含多個對象的搜索影像之步驟；獲得包含在所述搜索影像中包含的多個對像中的每個對象的每個屬性的特徵向量的特徵向量序列之步驟；在從所述多個對象中從所述用戶終端接收對對象的選擇的步驟；將所述被選擇的對象的每個屬性的特徵向量中的所述用戶終端選擇的屬性的特徵向量改變為與所述用戶終端選擇的屬性相對應的代表特徵向量之步驟；將包含所述代表特徵向量的特徵向量序列與儲存在所述資料庫中的目標影像的特徵向量序列進行比較之步驟；以及將儲存在所述資料庫中的基於所述比較結果被選擇的目標影像傳送到所述用戶終端之步驟。
如請求項7所述之影像搜索方法，其中，將所述被選擇的目標影像傳送到所述用戶終端之步驟包含：將在每個所述被選擇的目標影像中包含的多個對像中的與所述用戶終端選擇的對象相對應的部分影像合成到所述搜索影像之步驟，以及將合成有所述部分影像的搜索影像作為搜索結果傳送到所述用戶終端之步驟。
一種由影像搜索裝置執行的影像搜索方法，包含：從用戶終端接收多個搜索影像之步驟；獲得與所述多個搜索影像相對應的特徵向量之步驟；以所述獲得的特徵向量訓練生成模型之步驟；將從以所述特徵向量訓練的所述生成模型輸出的代表特徵向量與儲存在資料庫中的目標影像的特徵向量進行比較來決定與所述多個搜索影像相對應的目標影像之步驟；以及將所述決定的目標影像傳送到所述用戶終端之步驟。
如請求項1或9所述之影像搜索方法，其中所述生成模型包含：包含多個全連接層(fully connected layer，FCL)的生成對抗網路(generative adversarial network，GAN)。
一種程式，其與硬體結合且儲存在介質中以執行如請求項1至10中任一項所述之影像搜索方法。
一種影像搜索裝置，包含：處理器；儲存器，其儲存至少一個程式及生成模型；資料庫，其儲存目標影像；其中，所述處理器隨著執行至少一個程式時，獲得與包含相同屬性的多個參考影像相對應的參考特徵向量，從基於所述獲得的參考特徵向量來訓練的所述生成模型中獲得與所述相同屬性相對應的代表特徵向量，以及將所述目標影像的特徵向量與所述代表特徵向量進行比較，來對所述目標影像中的至少一部分的目標影像分配與所述相同屬性相對應的屬性標籤。
一種由用戶終端執行的影像搜索方法，包含：存取影像搜索裝置來選擇屬性之步驟，以及從所述影像搜索裝置接收儲存在所述影像搜索裝置的目標影像中分配有與所述選擇的屬性相對應的屬性標籤的目標影像之步驟，其中，所述儲存在所述影像搜索裝置的目標影像基於將與多個屬性中的每一個相對應的代表特徵向量與所述目標影像的特徵向量進行比較的結果，分配有與所述多個屬性相對應的多個屬性標籤中的至少一部分的屬性標籤。