TWI472936B - 人物照片搜尋系統 - Google Patents

人物照片搜尋系統 Download PDF

Info

Publication number
TWI472936B
TWI472936B TW101116802A TW101116802A TWI472936B TW I472936 B TWI472936 B TW I472936B TW 101116802 A TW101116802 A TW 101116802A TW 101116802 A TW101116802 A TW 101116802A TW I472936 B TWI472936 B TW I472936B
Authority
TW
Taiwan
Prior art keywords
photo
search
character
person
candidate
Prior art date
Application number
TW101116802A
Other languages
English (en)
Other versions
TW201346599A (zh
Inventor
yin ying Chen
Yu Heng Lei
Winston H Hsu
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW101116802A priority Critical patent/TWI472936B/zh
Priority to US13/599,127 priority patent/US20130301938A1/en
Publication of TW201346599A publication Critical patent/TW201346599A/zh
Application granted granted Critical
Publication of TWI472936B publication Critical patent/TWI472936B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

人物照片搜尋系統
本發明係關於一種人物照片搜尋系統,更詳而言之,係一種應用於使用者裝置上自大規模人物照片資料庫中搜尋出印象中/欲搜尋照片之人物照片搜尋系統。
隨著數位化設備及技術的成長,數位攝影已屬日常生活的一部分,不同於以往的紙張照片,人們可將數位照片儲存於電子設備中,不僅成本低、方便攜帶且無數量及容量的限制,使得數位照片成為人們記錄日常生活的重要工具。
由於數位照片成本低且幾無儲存空間上的限制,故一般人均保存有數量龐大的數位照片,造成由相簿尋找照片極不方便,現今大多採用依賴標記(tag)的文字比對來搜尋,雖然文字搜尋準確性高,但該方式仍有所缺陷,例如需事先手動對照片作標記且標記過程繁雜,而標記的文字難以精確描述照片中人物屬性或布局等細節,導致若遺忘標記的文字則無法搜尋的窘境,特別是在僅對照片內容有些許印象的情況下,僅依據標記的文字似乎無法達到搜尋目的。具體而言,當人們對於照片僅有些許內容記憶時,通常已忘記何時、何地或與何人所拍攝的,更無法以其標記的文字作為搜尋的依據。換句話說,人們對於欲搜尋的照片雖不知詳細內容但通常還會對照片輪廓有些許印象,例如:幾個人、照片內何處似乎有誰、照片內人員位置排列、或僅記得部分成員等,透過上述部分印象,當然無法僅用標記的文字而直接搜尋,或者僅以事先分類方式而輕易搜尋到所需照片,因而使得現有照片搜尋方式受到局限。
如中華民國公開案號第200900970號專利申請案所述,該案揭示人物影像的搜尋方法、系統及儲存影像元資料的記錄媒體,為目前常見基於人臉身分辨識(face identity recognition)之照片搜尋系統,需透過人工介入的事先訓練過程以處理被搜尋資料,其缺點在於:1.因欲辨識之類別為未知使用者之身分,需事先準備並人工標記訓練資料,2.訓練過程耗時。由上可知,現行方法仍有改善空間,尤其是在未準確知悉照片內容下對照片的搜尋。又,如美國公告第US5751286號專利案係揭示一種圖片搜尋系統及方法,提供一般物件照片的搜尋,讓使用者建構照片內容作為搜尋依據,惟,該案雖可自動計算影像特徵,但仍需由人工定義出(例如框出)照片中之重要物件,並無法自動偵測以完成照片預處理,使得照片處理十分費工。再者,該案搜尋時是採取逐一比對資料庫內每一張影像,相當耗時,亦即縱使建構出照片但在龐大資料量中想找出想要的照片仍不是一件簡單的事。
因此,如何發展出一種快速且可靠性高的照片搜尋機制,特別是針對使用者未利用文字標記來描述,但有大致輪廓印象的照片,實為目前亟欲解決之技術課題。該搜尋機制僅需透過該些許印象的資訊,即可提供使用者直觀、易操作、精確且即時的搜尋,以輔助對於未完整知悉照片內容之照片尋找,將有助於使用者於大規模的人物照片中取得印象中或欲搜尋照片的人物照片。
鑒於上述習知技術之缺點,本發明之目的係提出一種人物照片搜尋系統,透過照片中人物的位置、大小及人物屬性以搜尋出印象中/欲搜尋的照片。
本發明之另一目的,係應用於使用者電子裝置上,透過如多指觸控、滑鼠等操作介面,以直觀且簡易的操作進行欲搜尋照片的構圖,以作為系統搜尋依據。
為達成前述目的及其他目的,本發明提供一種人物照片搜尋系統,係包含相互連線的使用者裝置及照片搜尋伺服器。該使用者裝置具有一畫布互動介面,該畫布互動介面包含一搜尋畫布區,用於提供使用者將人物內容及人物布局於該搜尋畫布區中進行編輯與設定之構圖,以產生搜尋語意。而該照片搜尋伺服器係包括:人物照片資料庫、搜尋模組、排序模組及呈現模組,其中,該人物照片資料庫係儲存複數張人物照片,並建立基於位置及大小資訊所產生之區塊索引資訊,該搜尋模組係自該使用者裝置接收該搜尋語意,以自該人物照片資料庫之區塊索引資訊所指向之人物照片,取得符合該搜尋語意的候選照片,該排序模組係依據該候選照片的關聯性高低產生該候選照片之分數並作排序,最後係由該呈現模組將已排序之候選照片回傳至該使用者裝置。
於一實施態樣中,該搜尋語意中的人物內容包含性別、年齡、種族、表情、髮型或飾品等人物屬性,而該搜尋語意中的人物布局包含人物在該搜尋畫布區內之位置、大小、角度或數量。
於另一實施態樣中,該區塊索引資訊係包含人物屬性值、人臉外觀相似度值及照片美學分數值,係分別透過人物屬性偵測模組、人臉外觀相似度估測模組及美學評估模組,對該人物照片進行偵測、估測或評估以產生對應該人物或整張照片的數值。
於又一實施態樣中,該照片搜尋伺服器復包括美學過濾模組,係依據該候選照片之照片美學分數值進行過濾,使該呈現模組僅呈現照片美學分數值高於預定值的候選照片。
相較於習知技術,本發明提供一種人物照片搜尋系統,使用者利用電子裝置的畫布互動介面進行欲搜尋照片的構圖(編輯及設定),透過該搜尋語意(搜尋條件)對區塊索引資訊作搜尋以取得符合搜尋語意的候選照片,最後,經關聯性排序或美學過濾等方式,呈現與畫布構圖相似度高的候選照片。透過本發明之人物照片搜尋系統,使用者僅需透過編輯人物布局及設定人物屬性即可搜尋照片,相較習知僅利用標記文字的搜尋方式更直觀且操作簡易,特別是對於僅有些許印象的照片更可輕易搜尋得到。
以下藉由特定的具體實施形態說明本發明之技術內容,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。
請參閱第1圖,係說明本發明之人物照片搜尋系統的系統示意圖。該人物照片搜尋系統100係包括使用者裝置1與照片搜尋伺服器2,用以提供使用者透過使用者裝置1由該照片搜尋伺服器2搜尋所需的印象中或欲搜尋的照片。
使用者裝置1可為但不限於觸控裝置及電腦設備,係具有一畫布互動介面10,該畫布互動介面10中包含一搜尋畫布區,用於提供使用者將人物內容及人物布局於該搜尋畫布區中進行構圖(編輯與設定),以產生搜尋語意。具體而言,使用者裝置1可為具有觸控螢幕的電子裝置,如智慧型手機、觸控電腦、觸控牆或觸控桌等,使用者透過畫布互動介面10進行人物照片的搜尋,有別於習知的標籤(tag)文字,本實施例係透過構圖方式作為搜尋依據,因而該畫布互動介面10提供一搜尋畫布區作為構圖使用,使用者可在該搜尋畫布區編輯與設定欲搜尋照片中人物可能資訊,例如有幾個人、人物大概位置或基本人物屬性等,最後產生搜尋語意。
於一具體實施例中,該搜尋語意包含有人物內容(content)及人物布局(layout),該人物內容可為人物屬性,如性別、年齡、種族、表情、髮型、飾品或其組合。此外,該人物內容還可包含選自候選照片或使用者所輸入之人臉照片,亦即在知悉欲搜尋的人物為特定者下,除了利用畫布互動介面10執行前述構圖之方式外,還可直接選擇來自候選照片中的人臉照片或自行輸入的人臉照片,藉此以人臉外觀相似度作為搜尋依據。而人物布局係指人物在該搜尋畫布區內之位置、大小、角度、數量或其組合。因此,除了搜尋畫布區內建構的欲搜尋照片之人物的可能位置及大小外,同時透過設定來決定該人物內容,以成為後續作為搜尋依據的搜尋語意。
於本實施例中,照片搜尋伺服器2可透過網路與使用者裝置1連線,係將大規模照片存放在照片搜尋伺服器2,即照片無需儲存在使用者裝置1內,此與目前推廣的雲端資料庫之雲端技術相似,亦說明本發明之人物照片搜尋系統100可應用於不同環境。其中,該照片搜尋伺服器2係包括人物照片資料庫20、搜尋模組21、排序模組22及呈現模組23。
照片搜尋伺服器2中的人物照片資料庫20係儲存複數張人物照片,並建立基於位置及大小資訊所產生之區塊索引資訊。換言之,可將人物照片劃分為多個不同位置及長寬之區塊,依據人物照片中人物所在位置及大小以決定人物所在區塊位置,進而產生用於加速搜尋之區塊索引資訊,在搜尋時,依據使用者於畫布互動介面10的構圖內容,以人物將出現於哪些區塊為搜尋依據,進而由區塊索引資訊找出與構圖內容相符者。此外,人物照片資料庫20除了儲存前述已評估及已作區塊索引的人物照片外,亦可儲存未評估的一般照片,並於在一般照片進行內容分析及區塊索引後而形成人物照片。需說明的,區塊索引資訊的產生可由照片搜尋伺服器2自動分析照片而產生,無需如習知方式的文字標記(tag),如此省去人工鍵入或設定的麻煩,亦避免因標記錯誤導致搜尋結果偏差,對使用者而言極為方便。
進一步而言,該區塊索引資訊係利用以區塊為基礎方式(block-based method)作為索引搜尋,依據照片中人物的中心座標、寬和高的數值來決定該人物或其人臉座落於該照片的所在區塊,可用於與畫布構圖所產生的搜尋語意作人物布局比對。其中人物的中心座標、寬和高的數值係以相對於整張照片的長和寬作表示,以對不同長寬比或解析度之人物照片提供一致的比對標準。另外,針對照片中人物還提供內容分析,例如人物屬性值、人臉外觀相似度值或照片美學分數值等,同樣可作為比對搜尋的依據,此後面將會詳細說明。因此,於本實施例中主要係透過以區塊為基礎方式提供人物的索引,以加速搜尋。
本發明提出的「基於區塊之索引」,事先對使用者可能點選人物之區塊(block,即位置與大小的合稱),儲存資料庫中出現在這些區塊的人物及其對應的屬性分數而成為索引,如此可於達到於大量資料之資料庫的快速搜尋。具體實施時,在超過20萬張人臉的人物照片資料庫20中,其平均搜尋時間不到0.1秒,因此,相較於未利用索引方式的搜尋更節省時間。
為了提升搜尋準確度,彌補僅考量人物所在區塊的可能缺陷,較佳者,可透過滑動視窗(sliding window)概念,計算在鄰近區塊中人物的評分,以輔助搜尋程序。此外,對於多人物的搜尋處理,是採用每一個人物個別處理的方式,且每一個搜尋人物在一張資料庫照片上僅能與一個人物匹配。
搜尋模組21係接收來自使用者裝置1的搜尋語意,以依據該搜尋語意自人物照片資料庫20之區塊索引所指向之人物照片,取得符合該搜尋語意的候選照片。
排序模組22係依據該候選照片的關聯性高低產生該候選照片之分數,以將所有候選照片之分數作排序。前述之關聯性的計算係考量由搜尋畫布產生之搜尋語意,與候選照片間之誤差,而誤差可包含:人物屬性、人臉外觀、人物位置、人物大小、人物角度或人物數量等。因為候選照片可能有很多,排序模組22會依據候選照片與搜尋語意的關聯性高低而作排序,也就是越符合搜尋語意之候選照片,其排序會越前面。
呈現模組23係將已排序之候選照片回傳至使用者裝置1,此時透過使用者裝置1之畫布互動介面10即可觀看到已排序的候選照片。
透過人物照片搜尋系統100,可輔助使用者快速且直觀的對印象中的照片構圖,其產生之搜尋語意再與已預先處理過的人物照片比對並依據關聯性排序,可將與搜尋語意相近的候選照片列出,若該些候選照片與使用者印象中的照片仍有差距,則使用者可立即修改使用者裝置1內搜尋畫布區中的構圖或設定,藉此產生新的搜尋資訊,經搜尋模組21和排序模組22處理後會產生新的呈現內容,亦即呈現模組23係依據該新的搜尋語意而回傳所對應之具有排序之候選照片。
請參閱第2圖,係說明本發明之人物照片搜尋系統另一實施例的系統示意圖。如第2圖所示,該人物照片搜尋系統100與前述第1圖所示內容相似,照片搜尋伺服器2同樣具有用以儲存人物照片的人物照片資料庫20、用以搜尋比對的搜尋模組21、用以將候選照片排序之排序模組22、以及傳送搜尋結果的呈現模組23。而於本實施例中,該人物照片搜尋系統100之照片搜尋伺服器2復包括:人物屬性偵測模組25、人臉外觀相似度估測模組26及美學評估模組27。
由於人物照片資料庫20內之人物照片是依據區塊索引資訊進行搜尋,而區塊索引資訊係由多項判斷評估而產生,後面將說明區塊索引資訊可包含哪些資訊及如何產生。於本實施例中,照片搜尋伺服器2利用區塊索引資訊可達到減少搜尋範圍,進而達到加速效果,藉此提供使用者可於最短時間內觀看到符合搜尋語意的候選照片。
區塊索引資訊可包含人物屬性值、人臉外觀相似度值及照片美學分數值,且前些資料可分別由人物屬性偵測模組25、人臉外觀相似度估測模組26及美學評估模組27來偵測評估。於本實施例中,每一搜尋人臉僅可指定及比對人物屬性或人臉外觀相似度之其一,而照片美學僅屬附加考量,可使呈現效果更完善。但上述比對標準僅是示例並非限制,較佳者可同時採用上述兩種指定及比對標準。
人物屬性偵測模組25係對人物照片之人物進行屬性偵測,以產生該人物的人物屬性值。於本實施例中,人物屬性值可包含如男性和女性之性別,如小孩、年輕人、老年人之年齡,以及如白種人、亞洲人、非洲人之人種等不同屬性。前述可透過大量照片訓練得到,例如使用支持向量機(Support Vector Machines,SVM)與Adaboost演算法來實現。
人臉外觀相似度估測模組26係用於對人物照片之人臉進行量化(quantization)以取得稀疏表示法(sparse representation),再用以計算人物照片中兩兩人臉之外觀相似度值。實作上,可由具有反向索引(inverted index)之人臉影像的稀疏表示法來達到,而稀疏表示法可透過人臉的特徵向量(feature vectors)計算得到。
美學評估模組27係對該人物照片資料庫內之人物照片進行美學評估,以產生整張人物照片之美學分數值。對此,美學評估模組27可針對人物照片的顏色、紋理、顯著性(saliency)及邊緣(edge)來評估人物照片的美學分數值,該美學分數值雖不影響一開始的搜尋比對,但可在候選照片產生後,再做進一步的過濾。
前述人物屬性偵測模組25及人臉外觀相似度估測模組26可透過分析照片中人物(或人臉)而產生人物屬性值及人臉外觀相似度值,而美學評估模組27透過分析整張照片以得到該張照片之照片美學分數值,前述數值可納入區塊索引資訊中,以輔助搜尋比對或評估。
此外,美學過濾模組24係依據該候選照片之照片美學分數值進行過濾,使該呈現模組23僅呈現美學分數值高於預定值的候選照片。如前所述,每張人物照片具有其照片美學分數值,在候選照片產生並經排序模組22排序後,可選擇是否經過美學過濾以決定哪些照片將被呈現,亦即將照片美學分數高於預定值的候選照片挑出,使得呈現模組23將有較佳效果的候選照片傳送至畫布互動介面10作呈現。
請參閱第3圖,係說明本發明之人物照片搜尋系統之畫布互動介面的示意圖。如第3圖所示,畫布互動介面300係呈現於使用者裝置的螢幕上,使用者可透過畫布互動介面300到雲端資料庫進行照片搜尋。於該畫布互動介面300中主要包含搜尋畫布區301、照片顯示區302、屬性選擇區305以及其他操作控制選項。
在畫布互動介面300右側具有多個操作控制選項,例如增加圖示(icon)303、刪除圖示304、美學過濾306和鎖定結果307。而搜尋畫布區301的長寬比可依據需求作調整,以與欲搜尋的人物照片比例相符,係由人物的(x,y,w,h)座標以相對整張照片的長寬比表示(並非以像素作為單位),此是為了對不同長寬比和解析度的照片有統一的比對標準。
實際應用上,若於觸控裝置上執行,可採用多指觸控手勢操作。使用者可透過增加圖示303、刪除圖示304任意拖曳增加或刪除欲搜尋的人物,此時搜尋畫布區301將會出線人物圖示310,可將該人物圖示310拖曳到適當位置,並以兩手指拉近拉遠調整大小,而形成初步構圖,此時即表示要搜尋的照片中人物位置、大小與搜尋畫布區301內人物圖示310所表示之位置、大小相同。接著可按住該人物圖示310,畫面則會出現屬性選擇區305,圖中係表示可包含性別、年齡及人種,使用者可設定不同人物屬性輔助搜尋,如圖所示,若選擇男性及老年人,則人物圖示310將顯示帶有鬍鬚狀的人物態樣,此時照片顯示區302將即時顯示搜尋比對後的候選照片,換言之,每過一次編輯皆會立即搜尋並顯示於照片顯示區302,使用者可立即查看欲搜尋的照片是否出現。
另外,鎖定結果307係提供使用者暫定顯示結果,前述已提到照片顯示區302是立即反應搜尋畫布區301的改變狀態,因而在未完成構圖前或欲暫定搜尋時,可利用鎖定結果307而暫停搜尋。此外,美學過濾306可提供使用者選擇是否執行照片美學的過濾,開啟時則僅呈現美學分數值較高的候選照片。
因而透過畫布互動介面300,在搜尋畫布區301編輯使用者欲搜尋或印象中的照片,此時照片顯示區302可立即顯示可能的候選照片,使用者可以直觀且簡便操作搜尋到所需照片。
請參閱第4A-4D圖,係說明本發明之人物照片搜尋系統各種操作型態的示意圖。如第4A-4D圖所示,將說明在第3圖之搜尋畫布區301中的不同操作狀態。
在第4A圖左側中,已於搜尋畫布區401內編輯有人物圖示41和人物圖示42,其中人物圖示41透過手指觸控以拖曳方式移動其位置,如第4A圖右側的搜尋畫布區401’所示,人物圖示41’位置改變與人物圖示42平行高度。
在第4B圖左側中,已於搜尋畫布區401內編輯有人物圖示41和人物圖示42,其中人物圖示41透過觸控方式,以兩手指拉近拉遠(pinch)來調整人物大小,如第4B圖右側的搜尋畫布區401’所示,人物圖示41”變大。
在第4C圖左側中,已於搜尋畫布區401內編輯有人物圖示41和人物圖示42,此時欲於搜尋條件中增加一人物,因而透過如第3圖之增加圖示303新增一人物圖示,如第4C圖右側的搜尋畫布區401’所示,多出一個人物圖示43,其位置在人物圖示41與人物圖示42之間。
上述第4A-4C圖係對搜尋畫布區401中的人物圖示41、42作位置、大小調整,或者增加(亦可刪除)人物數量,藉以建構出所需照片中人物布局的雛形。
接著如第4D圖所示,在第4D圖左側中,已於搜尋畫布區401內編輯有人物圖示41和人物圖示42,此時分別調整人物圖示41和人物圖示42的人種、年齡或性別等屬性,可利用第3圖之屬性選擇區305分別執行,如第4D圖右側的搜尋畫布區401’所示,人物圖示41’’’和人物圖示42’的顏色將分別變成對應的人種顏色,且人物圖示41’’’透過帶小孩帽方式表示將其設定為小孩,而人物圖示42’則是以帶淑女帽方式表示將其設定為女性。
上述第4D圖則是對搜尋畫布區401中的人物圖示41、42進行屬性設定,藉此作為欲搜尋照片的搜尋依據。
此外,為了表示本發明之人物照片搜尋系統的呈現結果,如附件所示,提供(a)-(e)不同態樣的編輯內容來呈現最後結果,於附件實例中,係將本發明之搜尋人物概念以搜尋人臉方式來執行。如(a)情況為單純兩人臉並排,(b)情況則為一年輕女性與一小孩的組合,(c)情況則為三人並排但兩側人種為非洲人,(d)情況則是直接以實際人臉圖像作為搜尋依據,(e)情況是以實際人臉圖像搭配人臉圖示來作為搜尋依據,在不同搜尋條件下可產生不同搜尋解果,本系統同時提供關聯性排序,將關聯性較高的候選照片排在前面以方便使用者查看。
此外,於本發明之實施例中,係將使用者裝置與照片搜尋伺服器設計為兩個獨立設備,兩者透過網路以進行資料傳送,此係基於大量照片儲存於雲端資料庫的概念下建構,然而,本發明亦可將使用者裝置與照片搜尋伺服器兩者結合於單一設備內,同樣可達到照片搜尋的效果,例如可擺設於照相館,提供顧客由大量照片圖庫中尋找感興趣的照片,因此,本發明以使用者裝置與照片搜尋伺服器為分離設計下,僅為示例並非限制。
相較於習知技術,本發明提供一種人物照片搜尋系統,可應用在使用者裝置與雲端資料庫之間的照片搜尋,透過對欲搜尋照片的構圖(布局編輯與屬性設定),到人物照片資料庫中依搜尋條件搜尋而取得候選照片,且經關聯性排序或美學過濾等方式處理後呈現給使用者。透過本發明之人物照片搜尋系統,以畫布構圖作為照片搜尋介面,僅需簡單描繪印象中照片之人物內容及人物布局,即可找出符合條件的候選照片,無需任何文字輸入且操作上直覺簡易,確實是提供使用者一種新的照片搜尋方式。
上述實施形態僅例示性說明本發明之原理及其功效,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下,對上述實施形態進行修飾與改變。因此,本發明之權利保護範圍,應如後述之申請專利範圍所列。
1...使用者裝置
10...畫布互動介面
2‧‧‧照片搜尋伺服器
20‧‧‧人物照片資料庫
21‧‧‧搜尋模組
22‧‧‧排序模組
23‧‧‧呈現模組
24‧‧‧美學過濾模組
25‧‧‧人物屬性偵測模組
26‧‧‧人臉外觀相似度估測模組
27‧‧‧美學評估模組
100‧‧‧人物照片搜尋系統
300‧‧‧畫布互動介面
301、401、401’‧‧‧搜尋畫布區
302‧‧‧照片顯示區
303‧‧‧增加圖示
304‧‧‧刪除圖示
305‧‧‧屬性選擇區
306‧‧‧美學過濾
307‧‧‧鎖定結果
310、41、41’、41”、41'''、42、42’、43‧‧‧人物圖示
第1圖係說明本發明之人物照片搜尋系統的系統示意圖;
第2圖係說明本發明之人物照片搜尋系統另一實施例的系統示意圖;
第3圖係說明本發明之人物照片搜尋系統之畫布互動介面的示意圖;以及
第4A至4D圖係說明本發明之人物照片搜尋系統各種操作型態的示意圖。
1...使用者裝置
10...畫布互動介面
2...照片搜尋伺服器
20...人物照片資料庫
21...搜尋模組
22...排序模組
23...呈現模組
100...人物照片搜尋系統

Claims (9)

  1. 一種人物照片搜尋系統,係包含:使用者裝置,係具有一畫布互動介面,該畫布互動介面包含一搜尋畫布區,用於提供使用者將人物內容及人物布局於該搜尋畫布區中進行構圖與設定,以產生搜尋語意;以及照片搜尋伺服器,係包括:人物照片資料庫,係儲存複數張人物照片,並建立基於位置及大小資訊所產生之包含人物屬性值、人臉外觀相似度值及照片美學分數值的區塊索引資訊;搜尋模組,係自該使用者裝置接收該搜尋語意,以依據該搜尋語意自該人物照片資料庫之區塊索引資訊所指向之人物照片,取得符合該搜尋語意的候選照片;排序模組,係依據該候選照片的關聯性高低產生該候選照片之分數,以將所有候選照片之分數作排序;及呈現模組,係將已排序之候選照片回傳至該使用者裝置。
  2. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該人物內容包含性別、年齡、種族、表情、髮型或飾品之人物屬性。
  3. 如申請專利範圍第1項所述之人物照片搜尋系統,其 中,該人物內容復包含人臉外觀相似度,該人物內容之來源係選自該所有候選照片或由使用者所輸入之人臉照片。
  4. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該人物布局包含人物在該搜尋畫布區內之位置、大小、角度或數量。
  5. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該關聯性係考量由該搜尋畫布所產生之該搜尋語意與該候選照片間之誤差,該誤差包括人物屬性、人臉外觀、人物位置、人物大小、人物角度及人物數量。
  6. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該照片搜尋伺服器復包括人物屬性偵測模組,係用以對該人物照片之人物進行屬性偵測而產生該人物屬性值。
  7. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該照片搜尋伺服器復包括人臉外觀相似度估測模組,係用以對該人物照片之人臉計算特定表示法,以估測兩人臉之間的人臉外觀相似度值。
  8. 如申請專利範圍第1項所述之人物照片搜尋系統,其中,該照片搜尋伺服器復包括美學評估模組,係用以對該人物照片資料庫內之人物照片進行美學評估而產生該照片美學分數值。
  9. 如申請專利範圍第8項所述之人物照片搜尋系統,其中,該照片搜尋伺服器復包括美學過濾模組,係依據 該候選照片之照片美學分數值進行過濾,使該呈現模組僅呈現照片美學分數值高於預定值的候選照片。
TW101116802A 2012-05-11 2012-05-11 人物照片搜尋系統 TWI472936B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101116802A TWI472936B (zh) 2012-05-11 2012-05-11 人物照片搜尋系統
US13/599,127 US20130301938A1 (en) 2012-05-11 2012-08-30 Human photo search system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101116802A TWI472936B (zh) 2012-05-11 2012-05-11 人物照片搜尋系統

Publications (2)

Publication Number Publication Date
TW201346599A TW201346599A (zh) 2013-11-16
TWI472936B true TWI472936B (zh) 2015-02-11

Family

ID=49548668

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101116802A TWI472936B (zh) 2012-05-11 2012-05-11 人物照片搜尋系統

Country Status (2)

Country Link
US (1) US20130301938A1 (zh)
TW (1) TWI472936B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650656B (zh) * 2017-05-26 2019-02-11 虹光精密工業股份有限公司 於電腦系統搜尋影像檔案之方法、影像檔案搜尋裝置以及電腦系統
US11086881B2 (en) 2015-09-23 2021-08-10 Industrial Technology Research Institute Method and device for analyzing data

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI512282B (zh) * 2014-04-03 2015-12-11 Tzu Shan Cheng 寶石辨識裝置及寶石影像辨識系統
CN107491456A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 图像排序方法和装置
US10346727B2 (en) * 2016-10-28 2019-07-09 Adobe Inc. Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
JP2019082942A (ja) * 2017-10-31 2019-05-30 キヤノン株式会社 情報処理装置及びその制御方法
CN109710865B (zh) * 2018-12-06 2021-05-07 天津字节跳动科技有限公司 开放式自动布局方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method
TW200900970A (en) * 2007-06-25 2009-01-01 Corel Tw Corp Method and system for searching images with figures and recording medium storing metadata of image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242137A1 (en) * 2005-04-21 2006-10-26 Microsoft Corporation Full text search of schematized data
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7813526B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US8341145B2 (en) * 2010-12-20 2012-12-25 Microsoft Corporation Face recognition using social data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751286A (en) * 1992-11-09 1998-05-12 International Business Machines Corporation Image query system and method
TW200900970A (en) * 2007-06-25 2009-01-01 Corel Tw Corp Method and system for searching images with figures and recording medium storing metadata of image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yang Cao等4人,Edgel Index for Large-Scale Sketch-based Image Search,Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on,20110120 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086881B2 (en) 2015-09-23 2021-08-10 Industrial Technology Research Institute Method and device for analyzing data
TWI650656B (zh) * 2017-05-26 2019-02-11 虹光精密工業股份有限公司 於電腦系統搜尋影像檔案之方法、影像檔案搜尋裝置以及電腦系統
US10896220B2 (en) 2017-05-26 2021-01-19 Avision Inc. Method of searching an image file in a computer system, related image file searching device, and related computer system

Also Published As

Publication number Publication date
US20130301938A1 (en) 2013-11-14
TW201346599A (zh) 2013-11-16

Similar Documents

Publication Publication Date Title
TWI472936B (zh) 人物照片搜尋系統
US10872416B2 (en) Object oriented image editing
JP6741719B2 (ja) 画像ベース検索
US10789699B2 (en) Capturing color information from a physical environment
EP3183640B1 (en) Device and method of providing handwritten content in the same
US9336442B2 (en) Selecting images using relationship weights
JP5062819B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2015101289A1 (zh) 图片管理方法、装置及系统
EP3005055B1 (en) Apparatus and method for representing and manipulating metadata
WO2021208633A1 (zh) 物品名称确定方法、装置、计算机设备及存储介质
WO2006075902A1 (en) Method and apparatus for category-based clustering using photographic region templates of digital photo
US8917957B2 (en) Apparatus for adding data to editing target data and displaying data
JP6068357B2 (ja) コンテンツ表示処理装置、コンテンツ表示処理方法、プログラム、及び集積回路
US10572769B2 (en) Automatic image piling
CN105247606B (zh) 一种照片显示方法及用户终端
TW201423660A (zh) 人際關係分析系統及方法
US20170061642A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20160034569A1 (en) Search device
US20170206580A1 (en) Merchandise retrieval device and merchandise retrieval method
Chun et al. Visualization of photo album on mobile devices
Cavalcanti et al. A survey on automatic techniques for enhancement and analysis of digital photography
TWI496017B (zh) 相關影像搜尋方法以及使用者介面控制方法
JP2010102595A (ja) コメント付き画像表示装置及びコメント付き画像表示方法
JP2016006582A (ja) 画像検索システム、画像検索方法及び画像検索装置