TWI778341B - 圖像近似度分析系統 - Google Patents

圖像近似度分析系統 Download PDF

Info

Publication number
TWI778341B
TWI778341B TW109109247A TW109109247A TWI778341B TW I778341 B TWI778341 B TW I778341B TW 109109247 A TW109109247 A TW 109109247A TW 109109247 A TW109109247 A TW 109109247A TW I778341 B TWI778341 B TW I778341B
Authority
TW
Taiwan
Prior art keywords
image
representation
graph
module
generate
Prior art date
Application number
TW109109247A
Other languages
English (en)
Other versions
TW202137079A (zh
Inventor
張智堯
李嘉孟
蘇仁濬
Original Assignee
荷盛崧鉅智財顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷盛崧鉅智財顧問股份有限公司 filed Critical 荷盛崧鉅智財顧問股份有限公司
Priority to TW109109247A priority Critical patent/TWI778341B/zh
Publication of TW202137079A publication Critical patent/TW202137079A/zh
Application granted granted Critical
Publication of TWI778341B publication Critical patent/TWI778341B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本發明揭露一種圖像近似度分析系統,包括訓練後的第一深度學習模組、訓練後的神經網路資料處理模組、結合學習單元以及近似度分析單元。第一深度學習模組接收圖像以產生初始圖表徵。神經網路資料處理模組接收圖像在特定圖像規範下的圖規範資訊以產生圖規範表徵。結合學習單元包括結合模組與訓練後的第二深度學習模組。結合模組結合初始圖表徵與圖規範表徵以產生輸入資訊。第二深度學習模組接收輸入資訊以產生最終圖表徵。近似度分析單元將最終圖表徵與參考圖表徵比對。藉此,可以納入智慧財產權領域的圖像規範,解決圖像近似度比對的缺點。

Description

圖像近似度分析系統
本發明涉及一種圖像近似度分析系統,尤其涉及一種利用深度學習以智慧處理圖像智慧財產權資料的圖像近似度分析系統。
在面臨國際技術競爭與衝擊的當下,智慧財產權的發展成為產業升級上極重要之一環。在知識經濟的浪潮席捲全球的下,智慧財產權的重要性與價值已毋庸置疑,但隨著新的科技技術出現,也逐漸引發智慧財產權未來的服務走向。
以往的智慧財產權需要耗費大量的人力,從技術、法律、商業利益等角度來解析,進而產生對權利人有益的策略與行為。
其中,以智慧財產權中跟圖像有關的部分,例如商標圖像、著作權圖像、或外觀設計圖像,無論是在前案搜尋與比對,都非常耗費人力,其直接影響權利的範圍、核准率、侵害與被侵害的可能、無效或被無效的可能,在法律上與商業上,會使企業產生重大的獲利與損失。
因此,有必要藉由現今漸趨成熟的人工智慧,來改善智慧財產權耗費人工、錯誤與爭議大、耗時效率低等問題。
因此,本發明的主要目的在於提供一種利用深度學習以智慧處理圖像智慧財產權資料的圖像近似度分析系統,以解決上述問題。
本發明的目的在於提供一種圖像近似度分析系統,用於具有特定圖像規則的智慧財產權領域,用以分析圖像相較於參考圖像的近似度。此圖像近似度分析系統包括訓練後的第一深度學習模組、訓練後的神經網路資料處理模組、結合學習單元以及近似度分析單元。訓練後的第一深度學習模組接收所述圖像,以產生初始圖表徵。訓練後的神經網路資料處理模組接收圖像在特定圖像規範下的圖規範資訊,並依據圖規範資訊產生圖規範表徵。結合學習單元包括結合模組與訓練後的第二深度學習模組。結合模組是用以結合初始圖表徵與圖規範表徵以產生輸入資訊。訓練後的第二深度學習模組是用以接收輸入資訊以產生最終圖表徵。近似度分析單元是用以將最終圖表徵與參考圖像的參考圖表徵比對,以判定圖像與參考圖像的近似度。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述神經網路資料處理模組是利用獨熱編碼(One Hot Encode)產生所述圖規範表徵。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述圖規範資訊是利用對應於所述特定圖像規範的圖分類資料庫、具有所述特定圖像規範的知識圖譜庫、或對應於所述特定圖像規範的量化規範法則所產生。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述結合學習單元將所述初始圖表徵與所述圖規範表徵結合以產生所述輸入資訊的結合方法是採 用向量直接合併。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述圖規則表徵與所述初始圖表徵的維數相同。其中所述結合學習單元是以所述圖規範表徵作為權重結合所述初始圖表徵與所述圖規範表徵。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述訓練後的第一深度學習模組與所述訓練後的第二深度學習模組是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路(Convolutional Neural Network;CNN)族群中的至少一個。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述訓練後的第一深度學習模組並用以接收所述參考圖像,以產生初始參考圖表徵,所述訓練後的神經網路資料處理模組用以接收所述參考圖像在所述特定圖像規範下的參考圖規範資訊,並依據所述參考圖規範資訊產生參考圖規範表徵,所述結合模組並用以結合所述初始參考圖表徵與所述參考圖規範表徵以產生參考輸入資訊,所述訓練後的第二深度學習模組並用以接收所述參考輸入資訊,以產生所述最終參考圖表徵。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述最終圖表徵與所述參考圖表徵的維數相同。
為達所述優點至少其中之一或其他優點,本發明之一實施例 提出一種圖像近似度分析系統,其特徵在於,其中所述近似度分析單元是比對所述最終圖表徵與所述參考圖表徵以產生多維空間內的幾何距離,並依據所述幾何距離判定所述圖像與所述參考圖像的近似度。
為達所述優點至少其中之一或其他優點,本發明之一實施例提出一種圖像近似度分析系統,其特徵在於,其中所述近似度分析單元設定至少一閾值,並透過比較所述幾何距離與所述閾值的大小關係,判斷所述圖像相似于或相同於所述參考圖像。
因此,利用本發明所提供的用於圖像智慧財產權資料的圖像近似度分析系統,可以有效地納入智慧財產權領域既有的圖像規範,解決智慧財產權領域在圖像資料(例如商標圖像、著作權圖像、或外觀設計圖像等)的比對處理上耗費人工、錯誤與爭議大、耗時效率低等問題。
上述說明僅是本發明技術方案的概述,為了能夠更清楚瞭解本發明的技術手段,而可依照說明書的內容予以實施,並且為了讓本發明的上述和其他目的、表徵和優點能夠更明顯易懂,以下特舉較佳實施例,並配合附圖,詳細說明如下。
100,200,300:圖表徵產生系統
120:第一深度學習模組
140:神經網路資料處理模組
160:結合學習單元
I:圖像
y:初始圖表徵
Ir:圖規範資訊
z:圖規範表徵
20:知識圖譜庫
162,320:結合模組
164:第二深度學習模組
a:輸入資訊
b:最終圖表徵
280:訓練模組
282:比對圖像產生單元
284:優化單元
I’:比對圖像
340:深度學習模組
400:圖像近似度分析系統
480:近似度分析單元
I0:參考圖像
c:參考圖表徵
所包括的附圖用來提供對本申請實施例的進一步的理解,其構成了說明書之一部分,用於例示本申請的實施方式,並與文字描述一起來闡釋本申請的原理。顯而易見地,下面描述中的附圖僅僅是本申請之一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。在附圖中:
圖1是本發明圖表徵產生系統一實施例的示意圖;
圖2是本發明圖表徵產生系統另一實施例的示意圖;
圖3是本發明圖表徵產生方法一實施例的流程圖;
圖4是本發明圖表徵產生方法另一實施例的流程圖;
圖5是本發明圖表徵智慧模組一實施例的示意圖;以及
圖6是本發明圖像近似度分析系統一實施例的示意圖。
這裡所公開的具體結構和功能細節僅僅是代表性的,並且是用於描述本發明的示例性實施例的目的。但是本發明可以通過許多替換形式來具體實現,並且不應當被解釋成僅僅受限於這裡所闡述的實施例。
在本發明的描述中,需要理解的是,術語“中心”、“橫向”、“上”、“下”、“左”、“右”、“豎直”、“水準”、“頂”、“底”、“內”、“外”等指示的方位或位置關為基於附圖所示的方位或位置關是,僅是為了便於描述本發明和簡化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作,因此不能理解為對本發明的限制。此外,術語“第一”、“第二”僅用於描述目的,而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術表徵的數量。由此,限定有“第一”、“第二”的表徵可以明示或者隱含地包括一個或者更多個所述表徵。在本發明的描述中,除非另有說明,“多個”的含義是兩個或兩個以上。另外,術語“包括”及其任何變形,意圖在於覆蓋不排他的包含。
在本發明的描述中,需要說明的是,除非另有明確的規定和限定,術語“安裝”、“相連”、“連接”應做廣義理解,例如,可以是 固定連接,也可以是可拆卸連接,或一體地連接;可以是機械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個元件內部的連通。對於本領域的普通技術人員而言,可以具體情況理解上述術語在本發明中的具體含義。
這裡所使用的術語僅僅是為了描述具體實施例而不意圖限制示例性實施例。除非上下文明確地另有所指,否則這裡所使用的單數形式“一個”、“一項”還意圖包括複數。還應當理解的是,這裡所使用的術語“包括”和/或“包含”規定所陳述的表徵、整數、步驟、操作、單元和/或元件的存在,而不排除存在或添加一個或更多其他表徵、整數、步驟、操作、單元、元件和/或其組合。
圖1 是本發明圖表徵產生系統一實施例的示意圖。此圖表徵產生系統100是用於具有特定圖像規範的智慧財產權領域,用以將圖像轉化成具有領域適應性的圖表徵。前述圖像可以是商標圖形、圖像設計等智慧財產權領域的圖像。前述特定圖像規範可以是商標圖形分類或是工業品外觀設計分類,例如維也納分類(維也納協定建立之一種用於由圖形要素構成的或帶有圖形要素的商標的分類法)或是洛迦諾(Locarno)分類(由洛迦諾協定建立之一種工業品外觀設計註冊用國際分類)。
如圖中所示,圖表徵產生系統100包括第一深度學習模組120、神經網路資料處理模組140以及結合學習單元160。
第一深度學習模組120是用以接收所述圖像I,以產生初始圖表徵(representation)y。在一實施例中,第一深度學習模組120可以是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族 群中的至少一個。
神經網路資料處理模組140是用以接收所述圖像I在所述特定圖像規範下的圖規範資訊Ir,並依據所述圖規範資訊Ir產生圖規範表徵z。
在一實施例中,如圖中所示,可利用具有所述特定圖像規範的知識圖譜庫(knowledge graph)20分析圖像I自動產生圖規範資訊Ir。不過亦不限於此。在一實施例中,可利用對應於所述特定圖像規範的圖分類資料庫對圖像I進行歸類以產生圖規範資訊Ir。此歸類操作可由計算器自動進行,亦可由人力協助。在一實施例中,可對所述特定圖像規範予以量化以產生量化規範法則,並利用量化規範法則分析圖像I以產生圖規範資訊Ir。舉例來說,可設定參考圖像,並分析圖像I與參考圖像上的畫素是否相同,並在相同畫素的比例超過一預設值時,認定此二圖像為近似,屬於相同分類。
在一實施例中,神經網路資料處理模組140可以是單一隱藏層的簡單神經網路或是其他淺神經網路(例如隱藏層數量少於10),其隱藏層(hidden layer)數量明顯少於前述第一深度學習模組120,以降低成本,簡化架構的複雜度。不過,本發明亦不限於此,若是圖像規範過於複雜,為了提升判斷的準確率,在一實施例中,此神經網路資料處理模組140亦可以是具有深度神經網路之深度學習模組。
在一實施例中,所述神經網路資料處理模組140是利用獨熱編碼產生所述圖規範表徵z。神經網路資料處理模組140所輸出的圖規範表徵z的維數可視用戶需求與此圖表徵產生系統的實際訓練與運作狀況進行調整。
結合學習單元160包括結合模組162與第二深度學習模組164。所述結合模組162是用以結合所述初始圖表徵y與所述圖規範表徵z以產生輸入資訊a。在一實施例中,結合學習單元160將初始圖表徵y與圖規範表徵z結合以產生輸入資訊a的結合方法是採用向量直接合併。不過亦不限於此,在一實施例中,結合學習單元160的結合模組162將初始圖表徵y與圖規範表徵z結合以產生輸入資訊a的結合方法亦可以是以圖規範表徵z作為權重與初始圖表徵y合併。向量直接合併的方式不受到初始圖表徵y與圖規範表徵z的維數限制,但是會產生維數較多的輸入資訊a。以圖規範表徵z作為權重與初始圖表徵y合併的方式可以有效減少輸入資訊a的維數,但需要相同維數的初始圖表徵y與圖規範表徵z。
第二深度學習模組164是用以接收輸入資訊a,以產生最終圖表徵b。在一實施例中,第二深度學習模組是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群中的至少一個。
由於第二深度學習模組164所接收的輸入資訊a包含對應於圖規範資訊Ir的圖規範表徵z,第二深度學習模組164所產生的最終圖表徵b可以有效地納入智慧財產權領域既有的圖像規範,使圖表徵產生系統100的最終圖表徵b輸出更接近智慧財產權領域的實際判斷分析結果。其次,本發明使用較為簡單的神經網路資料處理模組140處理圖像規範,一方面有助於降低成本,另一方面也有助於提升運算速度。
以下以一個2D商標圖形為例說明本實施例。假設輸入此圖表徵產生系統100之圖像I示一個包含16x16個灰階畫素的2D商標,特定圖像規範為維也納協定第八版的商標圖形分類法,具有29個類別(category)。假 設圖像I依據商標圖形分類法所產生的圖規範資訊為Ir={Ir1,Ir2…Ir29},Ir1,Ir2…Ir29是以二維數0或1表示圖像I與商標圖形分類法各個類別的關聯性。也就是說,若是屬於此類別即填入1,若否即填入0。換言之,此圖規範資訊Ir即為此圖像I依據商標圖形分類法的分類結果。
如前述,輸入第一深度學習單元120的圖像I可表示為x={x1,x2…x256},其中,x1,x2…x256代表各個畫素的灰階;經過第一深度學習模組120所產生的初始圖表徵y={y1,y2…ym}。依據所述圖規範資訊Ir利用獨熱編碼產生的圖規範表徵z={z1,z2…zi}。前述m與i即表示初始圖表徵y與圖規範表徵z的維數,二者可依使用者實際需求進行調整。
若是結合模組162將初始圖表徵y與圖規範表徵z結合以產生輸入資訊的結合方法是採用向量直接合併,輸入資訊a={y1,y2…ym,z1,z2…zi}。若是結合模組162將初始圖表徵y與圖規範表徵z結合以產生輸入資訊a的結合方法是以圖規範表徵z作為權重與初始圖表徵y合併,圖規範表徵z的維數i需要與初始圖表徵y的維數m相同,輸入資訊a={y1z1,y2z2…ymzm}。第二深度學習模組164接收輸入資訊a,據以產生依最終圖表徵b={b1,b2…bn}。前述n代表最終圖表徵b的維數,可依實際需求進行調整。
最終圖表徵b會內含此圖像I關聯於商標圖形分類法的資訊。因此,將本實施例之圖表徵產生系統100所產生的最終圖表徵b作為前案搜尋與比對處理的物件,可以有效地納入智慧財產權領域既有的圖像規範,提高判斷的準確度,有效解決智慧財產權領域在圖像資料的處理上耗費人工、錯誤與爭議大、耗時效率低等問題。
圖2 是本發明圖表徵產生系統200另一實施例的示意圖。相 較於圖1的圖表徵產生系統100。本實施例的圖表徵產生系統200具有自動訓練功能,可直接利用編碼產生的最終圖表徵b反向修正第一深度學習模組120、神經網路資料處理模組140以及第二深度學習模組164的參數。
如圖中所示,本實施例的圖表徵產生系統200除了第一深度學習模組120、神經網路資料處理模組140以及結合學習單元160,還包括訓練模組280。訓練模組280包括比對圖像產生單元282與優化單元284。比對圖像產生單元282接收第二深度學習模組164所產生的最終圖表徵b,並依據第一深度學習模組120、神經網路資料處理模組140與結合學習單元160產生最終圖表徵b的編碼方式,將最終圖表徵b解碼還原產生對應於圖像I之一個比對圖像I’。
優化單元284接收比對圖像I’,並計算比對圖像I’與原始圖像I間的損失函數(loss function)以優化第一深度學習模組120的第一參數、神經網路資料處理模組140的第二參數與第二深度學習模組164的第三參數。也就是說,訓練模組280的優化單元284會以縮減損失函數為目標,修正第一參數、第二參數與第三參數。在一實施例中,前述損失函數可以是比對圖像I’與原始圖像I的所有對應畫素的灰階的均方誤差(mean square error,MSE)。在一實施例中,前述損失函數可以是比對圖像I’與原始圖像I的所有對應畫素的灰階的平均絕對值誤差(mean absolute error,MAE)。不過本發明亦不限於此,任何適用於圖像比對的損失函數,如Huber損失函數、Log-Cosh損失函數,均可適用於本發明。
透過前述訓練模組280的運作,本實施例的圖表徵產生系統200可自動將編碼產生之最終圖表徵b還原為比對圖像I’進行訓練流程以優 化第一深度學習模組120的第一參數、神經網路資料處理模組140的第二參數與第二深度學習模組164的第三參數,而毋須人工介入。
圖3是本發明圖表徵產生方法一實施例的流程圖。此圖表徵產生方法用於具有特定圖像規範的智慧財產權領域,用以將圖像轉化成具有領域適應性的圖表徵。此圖表徵產生方法可使用如圖1所示的圖表徵產生系統100執行。
如圖中所示,此圖表徵產生方法包括以下步驟。
請一併參照圖1所示,首先,在步驟S120中,將圖像I提供至第一深度學習模型,以產生初始圖表徵y。此步驟可由圖1的第一深度學習模組120所執行。在一實施例中,第一深度學習模型是由選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群中的至少一個所提供。
隨後,在步驟S140中,將所述圖像I在所述特定圖像規範下的圖規範資訊Ir提供至神經網路模型,以產生圖規範表徵z。此步驟可由圖1的神經網路資料處理模組140所執行。在一實施例中,此步驟可利用獨熱編碼依據圖規範資訊Ir產生圖規範表徵z。
在一實施例中,圖規範資訊Ir是利用對應於所述特定圖像規範的圖分類資料庫對圖像I進行分析所產生。在一實施例中,圖規範資訊Ir是利用具有所述特定圖像規範的知識圖譜庫對圖像I進行分析所產生。在一實施例中,圖規範資訊Ir是利用所述特定圖像規範量化後產生的量化規範法則對圖像I進行分析所產生。
接下來,在步驟S160中,結合初始圖表徵y與圖規範表徵z 以產生輸入資訊a。此步驟可由圖1的結合模組162所執行。在一實施例中,此步驟是將初始圖表徵y與圖規範表徵z的向量直接合併。在一實施例中,當圖規則表徵y與初始圖表徵z的維數相同,此步驟是以圖規範表徵z作為權重與初始圖表徵y合併。
最後,在步驟S180中,將輸入資訊a提供至第二深度學習模型,以產生最終圖表徵b。此步驟可由圖1的第二深度學習模組164所執行。在一實施例中,第二深度學習模型是由選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群中的至少一個所提供。
圖4是本發明圖表徵產生方法另一實施例的流程圖。相較於圖3的圖表徵產生方法。本實施例的圖表徵產生方法具有訓練步驟,可直接利用編碼產生的最終圖表徵b反向修正第一深度學習模型、神經網路模型以及第二深度學習模型的參數。在一實施例中,此圖表徵產生方法可使用圖2所示的圖表徵產生系統200執行。
承接圖3的步驟S180,如圖中所示,在產生最終圖表徵b的步驟後,本實施例更包括比對圖像產生步驟S192與參數優化步驟S194,可自動修正步驟S120所使用的第一深度學習模型、步驟S140所使用的神經網路模型以及步驟S180所使用的第二深度學習模型的參數。
比對圖像產生步驟S192是依據步驟S120至S180產生最終圖表徵b的編碼方式,將最終圖表徵b解碼還原,產生對應於原始圖像I的比對圖像I’。請一併參照圖2,在一實施例中,此步驟可利用訓練模組280的比對圖像產生單元282執行。
參數優化步驟S194是依據比對圖像I’與原始圖像I間的損 失函數,並依據此損失函數優化步驟S120所使用的第一深度學習模型、步驟S140所使用的神經網路模型與步驟S180所使用的第二深度學習模型的參數。在一實施例中,此步驟可利用訓練模組280的優化單元284執行。訓練模組280會以縮減損失函數的數值為目標修正參數。
圖5是本發明圖表徵智慧模組一實施例的示意圖。此圖表徵智慧模組300用於具有特定圖像規範的智慧財產權領域,用以將圖像I轉化成具有領域適應性的圖表徵。此圖表徵智慧模組300大致對應於圖1中的結合學習單元160。
如圖中所示,此圖表徵智慧模組300包括結合模組320與深度學習模組340。結合模組320用以接收對應於圖像I的初始圖表徵y與對應於圖像I在特定圖像規範下的圖規範表徵z,並結合初始圖表徵y與圖規範表徵z以產生輸入資訊a。在一實施例中,圖規範表徵z是利用獨熱編碼所產生。
在一實施例中,結合模組320將初始圖表徵y與圖規範表徵結合z以產生輸入資訊a的結合方法是採用向量直接合併。不過亦不限於此。在一實施例中,結合模組320將初始圖表徵y與圖規範表徵結合z以產生輸入資訊a的結合方法也可以是以圖規範表徵z作為權重與初始圖表徵y合併。關於初始圖表徵y與圖規範表徵z的細節可參閱本案圖1的實施例,在此不予贅述。
深度學習模組340接收結合模組320產生之輸入資訊a以產生最終圖表徵b。在一實施例中,所述深度學習模組340是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群中的至少一個。在一實施例中,關於此深度學習模組340可參見本案圖1中的第二 深度學習模組164,關於此深度學習模組340的訓練流程可參見本案圖2中對於第二深度學習模組164的訓練流程,在此不予贅述。
此圖表徵智慧模組300可以是軟體、硬體或是軟體與硬體的結合。在實際使用上,並可搭配使用者既有的深度學習模組與神經網路模組組成如圖1所示之圖表徵產生系統100以產生具有領域適應性的圖表徵供用戶分析使用。舉例來說,此圖表徵智慧模組300可以由一般的程式語言或是其他既有程式來達成,並可以設置於已知的電腦可利用媒介;此圖表徵智慧模組300可以利用積體電路制程轉換為硬體實現;此圖表徵智慧模組300亦可以將其中部份模組由一般的程式語言或是其他既有程式來達成,部分模組利用積體電路制程轉換為硬體實現。
圖6是本發明圖像近似度分析系統400一實施例的示意圖。此圖像近似度分析系統400是用於具有特定圖像規範的智慧財產權領域,用以分析圖像I相較於參考圖像I0的近似度。
此圖像近似度分析系統400包括訓練後的第一深度學習模組120、訓練後的神經網路資料處理模組140、結合學習單元160以及近似度分析單元480。其中,結合學習單元160包括結合模組162以及訓練後的第二深度學習模組164。
訓練後的第一深度學習模組120是用以接收圖像I以產生初始圖表徵y。在一實施例中,訓練後的第一深度學習模組120是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群中的至少一個。訓練後的神經網路資料處理模組140是用以接收所述圖像I在特定圖像規範下的圖規範資訊Ir,據以產生圖規範表徵z。
在一實施例中,如圖中所示,可利用具有所述特定圖像規範的知識圖譜庫(knowledge graph)20分析圖像I自動產生圖規範資訊Ir。不過亦不限於此。在一實施例中,可利用對應於所述特定圖像規範的圖分類資料庫對圖像I進行歸類以產生圖規範資訊Ir。此歸類操作可由計算器自動進行,亦可由人力協助。在一實施例中,可對所述特定圖像規範予以量化以產生量化規範法則,並利用量化規範法則分析圖像I以產生圖規範資訊Ir。
在一實施例中,訓練後的神經網路資料處理模組140可以是單一隱藏層的簡單神經網路或是其他淺神經網路(例如隱藏層數量少於10),其隱藏層數量明顯少於前述訓練後的第一深度學習模組120,以降低成本,簡化架構的複雜度。在一實施例中,所述訓練後的神經網路資料處理模組140是利用獨熱編碼產生所述圖規範表徵z。圖規範表徵z的維數可視用戶需求與此近似度分析系統400的實際訓練與運作狀況進行調整。
結合學習單元160包括結合模組162與訓練後的第二深度學習模組164。結合模組162是用以結合所述初始圖表徵y與所述圖規範表徵z以產生輸入資訊a。在一實施例中,結合學習單元160將初始圖表徵y與圖規範表徵z結合以產生輸入資訊a的結合方法是採用向量直接合併。不過亦不限於此,在一實施例中,結合學習單元160的結合模組162將初始圖表徵y與圖規範表徵z結合以產生輸入資訊a的結合方法亦可以是以圖規範表徵z作為權重與初始圖表徵y合併。訓練後的第二深度學習模組164是用以接收輸入資訊a,以產生最終圖表徵b。最終圖表徵b會內含圖像I關聯於特定圖像規範的資訊(即圖規範資訊Ir)。在一實施例中,第二深度學習模組是選自於由LeNet、AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路族群 中的至少一個。
關於前述第一深度學習模組120、神經網路資料處理模組140與第二深度學習模組164的訓練流程,舉例來說,可利用如圖2所示的架構進行訓練。
近似度分析單元480是用以將最終圖表徵b與參考圖像I0的參考圖表徵c比對以判定圖像I與參考圖像I0的近似度。在一實施例中,參考圖表徵c可以是將參考圖像I0經過前述訓練後的第一深度學習模組120、訓練後的神經網路資料處理模組140與結合學習單元160處理後而產生。也就是說,參考圖像I0與圖像I可經過相同的處理分別產生參考圖表徵c與最終圖表徵b以進行近似度的分析比對。
在一實施例中,前述參考圖表徵c與最終圖表徵b可具有相同維數,以利於二者之分析比對。近似度分析單元480可比對參考圖表徵c與最終圖表徵b以產生幾何距離,並依據此幾何距離判定圖像I與參考圖像I0的近似度。也就是將最終圖表徵b={b1,b2...bn}與參考圖表徵c={c1,c2..cn}理解為n維表徵空間向量中的二個點,並計算此二個點在此n維表徵空間中的幾何距離,以判斷圖像I與參考圖像I0的近似度。
在一實施例中,考慮到智慧財產權領域的特殊性,近似度分析單元480可設定至少一個閾值,並透過比較所述幾何距離與所述閾值的大小關係,判斷所述圖像相似于或相同於所述參考圖像。舉例來說,可假定所有公開登記的商標圖形都是滿足近似度分析,並統計這些公開登記的商標圖形所對應的最終圖表徵間的幾何距離,這些幾何距離中的最小值即可設定為閾值。在一實施例中,考慮到智慧財產權領域的特殊性,可設定一 相同判定閾值與一近似判定閾值,當幾何距離小於相同判定閾值,即判斷圖像I相同於參考圖像I0,當幾何距離小於近似判定閾值,即判斷圖像I近似於參考圖像I0。此閾值可透過分析智慧財產權資料庫的資料予以設定。
若將此圖像近似度分析系統400應用於商標領域,舉例來說,可將商標資料庫中所有登記公開的商標圖形輸入此近似度分析系統400的前半部(或是訓練後的圖表徵產生系統100),以取得這些商標圖形對應的圖表徵,這些圖表徵即可作為本實施例的參考圖表徵c。藉此,使用者在進行商標申請前,即可利用圖像近似度分析系統400先行確認在登記公開的商標中是否存在近似或相同的商標,以評估獲准可能性,進而思考需否調整商標圖形設計。
綜上所述,利用本發明所提供的圖像近似度分析系統,可以有效地納入智慧財產權領域既有的圖像規範,解決智慧財產權領域在圖像資料(例如商標圖像、著作權圖像、或外觀設計圖像等)的比對處理上耗費人工、錯誤與爭議大、耗時效率低等問題。
以上所述,僅是本發明的較佳實施例而已,並非對本發明作任何形式上的限制,雖然本發明已以較佳實施例揭露如上,然而並非用以限定本發明,任何熟悉本專業的技術人員,在不脫離本發明技術方案範圍內,當可利用上述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施例,但凡是未脫離本發明技術方案的內容,依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾,均仍屬於本發明技術方案的範圍內。
400:圖像近似度分析系統
120:第一深度學習模組
140:神經網路資料處理模組
160:結合學習單元
I:圖像
y:初始圖表徵
Ir:圖規範資訊
z:圖規範表徵
162:結合模組
164:第二深度學習模組
a:輸入資訊
b:最終圖表徵
480:近似度分析單元
I0:參考圖像
c:參考圖表徵

Claims (11)

  1. 一種圖像近似度分析系統,用於具有一特定圖像規則的智慧財產權領域,用以分析一圖像相較於一參考圖像的近似度,所述圖像近似度分析系統包括:
    一訓練後的第一深度學習模組,用以接收所述圖像,以產生一初始圖表徵;
    一訓練後的神經網路資料處理模組,用以接收所述圖像在所述特定圖像規範下之一圖規範資訊,並依據所述圖規範資訊產生一圖規範表徵;
    一結合學習單元,包括一結合模組與一訓練後的第二深度學習模組,所述結合模組是用以結合所述初始圖表徵與所述圖規範表徵,以產生一輸入資訊,所述訓練後的第二深度學習模組是用以接收所述輸入資訊,以產生一最終圖表徵;以及
    一近似度分析單元,用以將所述最終圖表徵與所述參考圖像之一參考圖表徵比對,以判定所述圖像與所述參考圖像的近似度。
  2. 如請求項1所述的圖像近似度分析系統,其中,所述訓練後的神經網路資料處理模組是利用獨熱編碼(One Hot Encode)產生所述圖規範表徵。
  3. 如請求項1所述的圖像近似度分析系統,其中,所述圖規範資訊是利用對應於所述特定圖像規範之一圖分類資料庫、具有所述特定圖像規範之一知識圖譜庫、或對應於所述特定圖像規範之一量化規範法則所產生。
  4. 如請求項1所述的圖像近似度分析系統,其中,所述結合學習單元將所述初始圖表徵與所述圖規範表徵結合以產生所述輸入資訊的結合方法是採用向量直接合併。
  5. 如請求項1所述的圖像近似度分析系統,其中,所述圖規則表徵與所述初始圖表徵的維數相同。
  6. 如請求項5所述的圖像近似度分析系統,其中,所述結合學習單元是以所述圖規範表徵作為權重結合所述初始圖表徵與所述圖規範表徵。
  7. 如請求項1所述的圖像近似度分析系統,其中,所述訓練後的第一深度學習模組與所述訓練後的第二深度學習模組是選自於由LeNet、 AlexNet、VGG、GoogleLeNet、ResNet所組成的卷積神經網路(Convolutional Neural Network;CNN)族群中的至少一個。
  8. 如請求項1所述的圖像近似度分析系統,其中,所述訓練後的第一深度學習模組並用以接收所述參考圖像,以產生一初始參考圖表徵,所述訓練後的神經網路資料處理模組並用以接收所述參考圖像在所述特定圖像規範下之一參考圖規範資訊,並依據所述參考圖規範資訊產生一參考圖規範表徵,所述結合模組並用以結合所述初始參考圖表徵與所述參考圖規範表徵以產生一參考輸入資訊,所述訓練後的第二深度學習模組並用以接收所述參考輸入資訊,以產生所述參考圖表徵。
  9. 如請求項1所述的圖像近似度分析系統,其中,所述最終圖表徵與所述參考圖表徵的維數相同。
  10. 如請求項1所述的圖像近似度分析系統,其中,所述近似度分析單元是比對所述最終圖表徵與所述參考圖表徵以產生一多維空間內的幾何距離,並依據所述幾何距離判定所述圖像與所述參考圖像的近似度。
  11. 如請求項10所述的圖像近似度分析系統,其特徵在於,其中所述近似度分析單元設定至少一閾值,並透過比較所述幾何距離與所述閾值的大小關係,判斷所述圖像是否近似于所述參考圖像。
TW109109247A 2020-03-19 2020-03-19 圖像近似度分析系統 TWI778341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109109247A TWI778341B (zh) 2020-03-19 2020-03-19 圖像近似度分析系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109109247A TWI778341B (zh) 2020-03-19 2020-03-19 圖像近似度分析系統

Publications (2)

Publication Number Publication Date
TW202137079A TW202137079A (zh) 2021-10-01
TWI778341B true TWI778341B (zh) 2022-09-21

Family

ID=79601051

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109247A TWI778341B (zh) 2020-03-19 2020-03-19 圖像近似度分析系統

Country Status (1)

Country Link
TW (1) TWI778341B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202001696A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202001696A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備

Also Published As

Publication number Publication date
TW202137079A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN109753992B (zh) 基于条件生成对抗网络的无监督域适应图像分类方法
Cui et al. Identifying materials of photographic images and photorealistic computer generated graphics based on deep CNNs.
CN111563554A (zh) 基于回归变分自编码器的零样本图像分类方法
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN107273458B (zh) 深度模型训练方法及装置、图像检索方法及装置
WO2021208601A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
Chang et al. Chinese Handwriting Imitation with Hierarchical Generative Adversarial Network.
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
Zhao et al. Disentangled representation learning and residual GAN for age-invariant face verification
WO2023284608A1 (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN114120041A (zh) 一种基于双对抗变分自编码器的小样本分类方法
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
Shao et al. Deep multi-center learning for face alignment
Song et al. Face recognition method based on siamese networks under non-restricted conditions
Tliba et al. Representation learning optimization for 3d point cloud quality assessment without reference
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
TWI778341B (zh) 圖像近似度分析系統
CN116704208A (zh) 基于特征关系的局部可解释方法
CN113689527A (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
Li A partial differential equation-based image restoration method in environmental art design
Xu et al. A multitask latent feature augmentation method for few-shot learning
TW202137073A (zh) 圖表徵產生系統、圖表徵產生方法與其圖表徵智慧學習器
Chen et al. Point cloud registration based on learning Gaussian mixture models with global-weighted local representations
CN113723294A (zh) 数据处理方法、装置及对象识别方法、装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent