TWI550419B - 用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面 - Google Patents

用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面 Download PDF

Info

Publication number
TWI550419B
TWI550419B TW103146262A TW103146262A TWI550419B TW I550419 B TWI550419 B TW I550419B TW 103146262 A TW103146262 A TW 103146262A TW 103146262 A TW103146262 A TW 103146262A TW I550419 B TWI550419 B TW I550419B
Authority
TW
Taiwan
Prior art keywords
image
images
sample
query
information
Prior art date
Application number
TW103146262A
Other languages
English (en)
Other versions
TW201528013A (zh
Inventor
張智威
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201528013A publication Critical patent/TW201528013A/zh
Application granted granted Critical
Publication of TWI550419B publication Critical patent/TWI550419B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Description

用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面
本發明是有關於一種經由主動學習搜索相關影像的方法、使用相同方法的移動電子裝置。
當前，移動電子裝置的用戶在其日常生活中將使用數碼相機、移動電話、平板電腦、膝上型電腦、PDA等取得數位影像(例如，連續或靜態影像)。經常地，用戶最終可能有數百或數千數位影像存儲於記憶體存儲裝置中。舉例來說，用戶可經由其具有影像取得功能的移動裝置拍攝了數千影像。通常，存儲於移動裝置的記憶體存儲裝置中的影像可能並未分類。
為了根據用戶的需要搜索存儲在該移動裝置中的所有影像，可能必須檢查影像中的每一者，且例如通過對其加標記或將其放入各種檔夾中來對其進行分類。這些分類動作可極為不便且無益。在一些狀況下，基於關鍵字的搜索引擎可用以識別與由用戶查詢的關鍵字相關的影像集合。然而，仍必須檢查與關鍵字相 關的影像中的每一者，且個別地標記該影像。因此，需要快速及準確地識別影像資料庫當中的相關影像，且根據需要(或查詢概念或查詢準則)分組或分類相關影像而不用經歷顯式及費力的標記過程。
本發明提供一種經由主動學習搜索相關影像的方法、使用該方法的移動電子裝置及用於操作移動電子裝置的電腦可讀媒體。
本發明提供一種經由主動學習搜索相關影像的方法。該方法將至少包含，但不限於：獲得包括第一主體及第二主體的查詢影像；通過根據該查詢影像的內容資訊從存儲影像中取樣多個第一樣本影像以用於相關性回饋，基於該查詢影像的內容資訊學習查詢概念，該第一樣本影像包括具有該第一主體的至少一個影像、具有該第二主體的至少一個影像及具有該第一及第二主體兩者的至少一個影像；以及根據該查詢概念搜索該存儲影像當中的該相關影像，及將該相關影像分組到珍藏相冊中。
本發明提供一電子裝置將至少包含，但不限於：顯示單元、存儲裝置及耦合到該顯示單元及存儲單元的處理器。該存儲裝置是用於存儲多個存儲影像。該處理器經配置以用於：獲得包含第一主體及第二主體的查詢影像；通過根據該查詢影像的內容資訊從存儲影像中取樣多個第一樣本影像以用於相關性回饋，基 於該查詢影像的內容資訊學習查詢概念，該第一樣本影像包括具有該第一主體的至少一個影像、具有該第二主體的至少一個影像及具有該第一及第二主體兩者的至少一個影像；以及根據該查詢概念搜索該存儲影像當中的該相關影像，及將該相關影像分組到珍藏相冊中。
本發明提供一種用戶介面用以至少執行，但不限於以下步驟：顯示至少一個影像以獲得包括第一主體及第二主體的至少一個查詢影像，經由相關性回饋獲得該所顯示的影像當中的至少一個查詢影像，根據該至少一個查詢影像的內容資訊顯示多個第一樣本影像以用於相關性回饋，獲得該第一樣本影像當中的至少一個第一選定影像以基於該至少一個第一選定影像的內容資訊學習查詢概念；以及根據該查詢概念顯示多個相關影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧移動電子裝置
110‧‧‧處理器
120‧‧‧觸摸屏
121‧‧‧顯示區域
123‧‧‧觸摸檢測元件
130‧‧‧存儲裝置
310‧‧‧查詢影像
311‧‧‧第一主體
313‧‧‧第二主體
410‧‧‧第一樣本影像的第一集合
411‧‧‧第一影像
413‧‧‧第二影像
415‧‧‧第三影像
420‧‧‧第一樣本影像的第二集合
430‧‧‧第一樣本影像的第三集合
431‧‧‧第四影像
440‧‧‧第一樣本影像的第四集合
450‧‧‧刷新選項
460‧‧‧結束選項
461‧‧‧已選影像數量
510‧‧‧第二樣本影像的第一集合
520‧‧‧第二樣本影像的第二集合
530‧‧‧第二樣本影像的第三集合
610‧‧‧第二樣本影像的第一集合
620‧‧‧第二樣本影像的第二集合
630‧‧‧第二樣本影像的第三集合
750‧‧‧保存選項
751‧‧‧已選影像數量
1011‧‧‧第一影像
1012‧‧‧第二影像
1013‧‧‧第三影像
1111‧‧‧第一選定影像
1112‧‧‧第一選定影像
1113‧‧‧第一選定影像
1114‧‧‧第一選定影像
1115‧‧‧第一選定影像
1116‧‧‧第一選定影像
1117‧‧‧第二選定影像
1118‧‧‧第一樣本影像
1119‧‧‧第一樣本影像
1211‧‧‧第二選定影像
圖1是依照本發明的一實施例的移動電子裝置的硬體的方塊框圖。
圖2是依照本發明的一實施例的一種經由主動學習搜索相關影像的方法的流程圖。
圖3及4是依照本發明的一實施例的一種基於查詢影像的內 容資訊學習查詢概念的方法的示意圖。
圖5是依照本發明的一實施例的一種基於第一樣本影像及查詢影像的時間資訊從存儲影像取樣的多個第二影像的示意圖。
圖6是依照本發明的一實施例的一種基於第一選定影像及查詢影像的位置資訊從存儲影像取樣的多個第二樣本影像的示意圖。
圖7是依照本發明的一實施例的一種相關影像的顯示的示意圖。
圖8及9是依照本發明的一實施例的一種將相關影像分組到珍藏相冊中的示意圖。
圖10到14是依照本發明的一實施例的一種搜索及分組對應於小孩J的生日的多個相關影像的示意圖。
圖15是依照本發明的一實施例的一種用於經由主動學習搜索相關影像的用戶介面的方法的流程圖。
現將詳細參考本發明的實施例，其實例在附圖中得以說明。只要可能，相同參考數字在圖式和描述中用以指相同或相似部分。
在本發明中，提供一種用於經由主動學習搜索相關影像的設備及其方法。本發明將基於用戶的查詢概念(query concept)自動標記及分組多個影像。通過找出多個存儲影像當中最有信息量 (未標記)的影像供用戶挑選，基於多個選定影像的內容(例如，人或物體)資訊(content information)及情境(例如，時間、日期或位置)資訊(context information)主動地學習用戶的查詢概念(即，主動學習演算法)。主動學習演算法為最大化資訊收集(information collection)及最小化相關性回饋(relevance feedback)的迭代次數的相關性回饋的迭代過程。在本發明中，將利用選定影像的不同資訊來最大化相關性回饋的迭代中的資訊收集以用於學習查詢概念。下文通過本發明的各種實施例來描述本發明的細節描述。然而，該實施例並不意欲限制本發明。
圖1是依照本發明的一實施例的移動電子裝置的硬體的框圖。
參照圖1，移動電子裝置100可為智慧型電話、移動電話、平板電腦、個人數位助理(personal digital assistant，PDA)等。在示範性實施例中，電子裝置100將至少包含，但不限於：處理器110、觸摸屏120及存儲裝置130。電子裝置100可進一步包含用於發射及接收無線資料的一或多個無線收發器(未圖示)。無線收發器可例如為Wi-Fi卡、3G硬體介面、藍牙介面、近場通信(near-field communication，NFC)單元等。電子裝置100可進一步包含用於取得數位影像的數位影像取得裝置(未圖示)。數位影像可為靜態影像或運動圖片。下文將詳細解釋電子裝置100的每一元件。
處理器110可為，但不限於：用於一般或特定應用中的 中央處理單元(central processing unit，CPU)或可編程微處理器、數位信號處理器(digital signal processor，DSP)、可編程控制器、專用積體電路(application specific integrated circuit，ASIC)、可編程邏輯裝置(programmable logic device，PLD)或其他類似裝置或其組合。在本發明的實施例中，處理器110可分別電性耦接至觸摸屏120及存儲媒體130，其中處理器110可控制示範性電子裝置100的所有操作。
觸摸屏120可為與觸摸檢測元件123集成的顯示裝置，該顯示裝置可在移動電子裝置100的顯示區域121內同時提供顯示功能及輸入功能。顯示裝置可為，但不限於：液晶顯示器(liquid crystal display，LCD)、發光二極體(light emitting diode，LED)、場發射顯示器(field emission display，FED)或其他顯示器。觸摸檢測元件123配置於顯示裝置中，且排列成經配置以檢測觸摸事件的行及列。觸摸事件可包含通過使用手指、手掌、身體部位或其他物體來觸摸該觸摸屏120而產生的事件。觸摸檢測元件可為，但不限於：電阻式、電容式光學或其他類型的觸摸感測裝置，該觸摸感測裝置將經集成為觸摸屏120的一部分。
存儲裝置130可為存儲經緩衝或永久性資料的揮發性或非揮發性記憶體，該經緩衝或永久性資料為例如媒體內容(例如，影像)及用以執行移動電子裝置100的操作的應用程式或指令。在本發明的實施例中的一者中，電子裝置100的存儲裝置120將包含多個存儲影像。存儲影像可由電子裝置100的影像取得元件 (未圖示)取得或經由有線或無線發射從其他裝置接收。需注意的是存儲影像中的每一者可包含元資料(metadata)，且存儲影像中的每一者的元資料包含面部特徵(facial feature)、感知特徵、場景、形狀、顏色、紋理、時間、日期及位置資訊等。
在下文中，詳細地描述元資料及其利用。然而，其並不意欲限制本發明。
在本發明的實施例中的一者中，存儲裝置130可進一步包含人臉資料庫(people database)、影像人臉對應表(image-to-person table)及人臉影像對應表(person-to-image table)。在實施例中，人臉資料庫可將識別的面部(或識別的物體)記錄為人的面部表示。識別的面部可由從給定影像的元資料提取的面部特徵表示。舉例來說，處理器110將從給定影像的元資料提取面部特徵，及將所提取的面部特徵作為面部表示登記到人臉資料庫。如果所提取的面部特徵不與人臉資料庫中的任何項目相關聯，那麼處理器110將在人臉資料庫中為所提取的面部特徵創建新的項目。需注意的是在實施例中，每一項目表示具有至少一個面部代表一個人。每一項目可由對應人的名稱、識別編號或最初識別的初始面部特徵識別，實施例並不意欲限制在人臉資料庫中記錄或識別每一項的手段。接下來，如果所提取的面部特徵與已經記錄於人臉資料庫中的項目相關聯，那麼處理器110將登記所提取的面部特徵作為對應於人臉資料庫中相關聯項目的面部代表之一。需注意是，雖然用影像中的一個人的面部的面部特徵來 說明實施例，但其並不意欲限制本發明。在本發明的實施例中的一者中，一個影像內的多個面部可通過從影像的元資料分別提取對應於面部中的每一者的面部特徵來識別及記錄。
需注意的是，面部辨識並不具有100%準確性，且影像中的人可能被誤認為相關的人。舉例來說，來自不同影像的同一個人的面部可被識別為不同的人，或不同人的面部可被識別為同一個人。因此，在發現錯匹配時，可利用眾包方法(acrowd-sourcing method)來識別將為同一個人或不同的人的不明確的配對。因此，人臉資料庫可通過合併或拆分不明確的配對來修改。
在實施例中，面部特徵可為眼睛、鼻子、嘴巴、顴骨、下頜等的幾何資訊，例如形狀、大小及相對位置。此外，可利用存儲於元資料中的三維面部特徵來識別面部。三維面部特徵包含，但不限於：眼窩、鼻子、下巴等的輪廓。
此外，本發明不限於人的面部辨識。需注意的是，可利用上文實施例來辨識或識別影像內的物體，及將識別的物體登記於物體資料庫中。在本發明的實施例中的一者中，元資料可包含感知特徵，例如對應於動物、建築物、水果或任何其他物體的幾何資訊。舉例來說，元資料可包含老虎身體的幾何形狀。
在本發明的實施例中的一者中，處理器110將分析存儲於存儲裝置中的所有影像，以將表示每個人的面部特徵登記於人臉資料庫(或物體資料庫)中。然後，處理器110可根據人臉資料庫進一步構建影像人臉對應表及人臉影像對應表。詳言之，影 像人臉對應表將記錄關於存儲影像中的每一影像者的每一識別的人。舉例來說，影像人臉對應表包含用以記錄影像的第一列及用以記錄對應同一行的影像中所識別的人的第二列，其中每一行將記錄存儲影像中的一者及該存儲影像內的所對應的人。換句話說，影像人臉對應表記錄在影像中的每一者內的識別的人。
另一方面，人臉影像對應表將根據所識別的人記錄存儲影像。舉例來說，人臉影像對應表包含用以記錄識別的人的第一列及用以記錄對應於在第一列中所列出的識別的人的存儲影像的第二列，其中每一行將記錄一個識別的人及具有該識別的人的存儲影像。
在本發明的一實施例，存儲影像的場景可根據存儲於元資料中的顏色、形狀及紋理特徵來識別。
在本發明的實施例中，還將利用存儲影像的情境相關元資料來改進用戶的查詢概念。情境相關元資料包含，但不限於：對應影像的時間、日期及位置資訊。
在下文中，伴隨著在圖1中根據本發明的實施例中的一者所說明的硬體來解釋經由主動學習搜索相關影像的方法。圖2是依照本發明的一實施例的一種經由主動學習搜索相關影像的方法的流程圖。在實施例中，經由主動學習搜索相關影像的過程可通過從存儲多個存儲影像的影像資料庫獲得至少一個查詢影像來起始。參照圖2，在步驟S210中，可獲得查詢影像，其中查詢影像可具有第一主體及第二主體。舉例來說，第一主體及第二主體 可為，但不限於：人、場景及物體。
在步驟S220中，處理器110可根據查詢影像的內容資訊從存儲影像取樣多個樣本影像(其被稱作第一樣本影像)以用於相關性回饋，以學習查詢概念。第一樣本影像包含具有第一主體但不具有第二主體的至少一個影像、具有第二主體但不具有第一主體的至少一個影像及具有第一及第二主體兩者的至少一個影像。在此的構想是經由相關性回饋來探究(或發現)查詢概念的所有可能主體。查詢概念可僅包含第一主體，僅包含第二主體，包含第一及第二主體，或包含具有涉及第一主體或第二主體的一群體影像。舉例來說，在給定影像時，可以詢問所關注的主體是什麼。可評估不同問題(或查詢概念的可能性)以便闡明用戶的查詢概念，例如“有沒有更多主體受到關注”、“查詢概念是否含有給定影像中的所有可識別的主體(例如，合取)或僅含有一些可識別的主體(例如，析取)”或“查詢概念是否含有涉及可識別的主體中的一個人或一群人”。因此，在示範性實施例中，取樣策略可為取樣類似於查詢影像的影像，且同時具有其他變化(例如，不同主體、人、場景等)以進一步探究查詢概念。在本發明一實施例中，處理器110還將取樣不具有查詢影像的第一及第二主體的影像，以進一步探究其他主體是否包含於查詢概念中。
詳言之，處理器110可從查詢影像的元資料提取內容資訊。舉例來說，可提取例如查詢影像中的人的面部特徵等內容資訊(例如眼睛、鼻子、嘴巴、顴骨、下頜等之間的相對距離)，以 便識別查詢影像內的人。在本發明的一實施例，可提取例如形狀、顏色或紋理等低層內容資訊來識別查詢影像的主體。根據查詢影像所提取的內容資訊，處理器110可取樣用於相關性回饋的第一樣本影像。在本發明的實施例中，第一樣本影像可顯示於觸摸屏120的顯示區域121上以請求用戶進行選擇。因此，可經由相關性回饋獲得至少一個選定影像(也被稱作第一選定影像)。
因此，處理器110可經由相關性回饋學習所關注的主體。基於選定影像，處理器110可經由相關性回饋根據第一樣本影像當中的第一選定影像的內容資訊學習查詢概念。
圖3及4是依照本發明一實施例用以說明一種基於查詢影像的內容資訊學習查詢概念的方法的示意圖。在圖3中所說明的實施例中，說明查詢影像310。處理器110提取查詢影像的內容資訊，且識別查詢影像中的第一主體311(例如，人A)及第二主體313(例如，人B)。舉例來說，可從查詢影像310提取兩個識別的面部特徵。為了說明的容易起見，在實施例中，第一主體311(例如，人A)包含於用戶的查詢概念的部分中。根據查詢影像中所識別的第一及第二主體的面部特徵，處理器110從存儲影像中取樣多個第一樣本影像。需注意的是，本發明並不意欲將第一或第二主體311、313限於人。在本發明的示範性實施例中的一者中，可基於查詢影像的內容資訊來識別建築物或場景。識別的建築物或場景可為第一主體311或第二主體313中的一者。
參照圖4，第一樣本影像顯示於電子裝置100的顯示單元 121上以請求用戶的回饋(相關性回饋)。需注意的是，基於上文所描述的取樣策略來取樣第一樣本影像。詳言之，呈現於顯示單元121上用於相關性回饋的第一樣本影像將包含第一樣本影像的第一集合410、第一樣本影像的第二集合420、第一樣本影像的第三集合430及第一樣本影像的第四集合440。第一樣本影像的第一集合410包含各自具有查詢影像的第一主體311(例如，人A)但不具有第二主體的影像。第一樣本影像的第二集合420包含各自具有查詢影像的第二主體(例如，人B)但不具有第一主體的影像。第一樣本影像的第三集合430包含具有一群人中的查詢影像的第一主體或第二主體的影像。舉例來說，從顯示區域121的左手側開始，第一樣本影像的第三集合430中的第一影像包含人A及人C，第一樣本影像的第三集合430中的第二影像包含人A、人B及人D，且第一樣本影像的第三集合430中的第三影像包含人A、人D及人E。另外，第一樣本影像的第四集合440包含不含有查詢影像的第一或第二主體的影像以探究其他主體是否在查詢概念中。舉例來說，從顯示區域121的左手側開始，第一樣本影像的第四集合440中的第一影像包含人C、人D及人F，第一樣本影像的第四集合440中的第二影像包含人D，且第一樣本影像的第四集合440中的第三影像包含人E。
在示範性實施例中，從第一樣本影像的第一集合410的存儲影像取樣具有第一主體311的四個影像。從第一樣本影像的第二集合420的存儲影像取樣具有第二主體313的兩個影像。從 第一樣本影像的第三集合430的存儲影像取樣具有第一及第二主體311、313兩者的三個影像。另外，從第一樣本影像的第四集合440的存儲影像取樣具有第一或第二主體311、313的三個影像。在示範性實施例中，處理器110將分析查詢影像以根據所提取的內容資訊確定第一主體或第二主體在查詢概念中的可能性。舉例來說，可確定由查詢影像內的第一及第二主體中的每一者佔據的區域。可經由從元資料提取的面部特徵來確定由第一主體及第二主體佔據的區域。返回參照圖3，與由第二主體313的面部所佔據的區域相比較，第一主體311的面部可佔據查詢影像310顯示區域的較高百分比。舉例來說，第一主體311的面部可佔據查詢影像310顯示區域的20%，且第二主體313的面部可佔據查詢影像310顯示區域的10%。因此，處理器110可確定與第二主體313相比較，第一主體311具有在查詢概念中的較高可能性。因此，在示範性實施例中，根據查詢影像310的面部特徵從存儲影像中取樣更多與第一主體311相關的影像。然而，本發明並不意欲基於所佔據區域的百分比限制針對第一樣本影像的每一集合所取樣的影像數目。針對第一樣本影像的每一集合所取樣的影像數目可根據任何設計需求來配置。在示範性實施例中的一者中，可獲得更多查詢影像。在此狀況下，針對第一樣本影像的每一集合取樣的影像數目可基於所獲得的查詢影像內的每一主體的出現次數來確定。
返回參照圖4，如果選擇第一樣本影像的第一集合410 內的影像，那麼第一主體包含於查詢概念中的可能性將增加。如果選擇第一樣本影像的第二集合420內的影像，那麼第二主體包含於查詢概念中的可能性將增加。如果選擇第一樣本影像的第三集合430內的影像，那麼影像包含涉及第一主體或第二主體的一群主體的可能性將增加。如果選擇第一樣本影像的第四集合440內的影像，那麼除第一或第二主體之外的主體包含於查詢概念中的可能性將增加。
需注意的是，可出現第一樣本影像的第一、第二、第三和第四集合410、420、430、440之間的各種組合，且處理器110將根據選定影像的內容資訊學習查詢概念。舉例來說，可選擇第一樣本影像的第一集合410內的第一影像411。查詢概念可經推斷為僅第一主體(例如，第一主體的單獨拍攝)。在示範性實施例中，可選擇來自第一樣本影像的第一及第三集合的影像。在此狀況下，查詢概念可經推斷為在群攝影像內的第一主體。基於選定影像的其他組合學習的查詢概念可從上文所說明的實例推斷出，本發明並不意欲限制本發明的範圍。
在示範性實施例中的一者中，選定影像將被標記為肯定例子，且未被選擇的影像中的每一者將被標記為否定例子。詳言之，肯定例子代表影像包含于所學習的查詢概念中，且否定例子代表影像不包含於所學習的查詢概念中。
此外，查詢概念的學習為根據從先前迭代的第一樣本影像的集合獲得的第一選定影像的內容資訊從存儲影像中迭代地取 樣第一樣本影像的另一集合以便學習查詢概念的迭代過程。此外，從查詢概念的學習的迭代中的每一者積聚第一選定影像。舉例來說，經獲得以用於學習查詢概念的第一選定影像將總共涉及從第一迭代獲得的至少一個第一選定影像、從第二迭代獲得的至少一個第一選定影像等。換句話說，第一選定影像將包含在基於內容資訊學習查詢概念的迭代中選擇的所有影像。
在本發明的示範性實施例中的一者中，可從未標記的存儲影像中取樣迭代中的每一者的第一樣本影像的集合。換句話說，第一樣本影像的集合為並未標記為肯定或否定例子的影像。然而，本發明並不限於此。選定影像可再次存在於以下迭代中。
在示範性實施例中，基於內容資訊學習查詢概念的迭代可繼續直到第一選定影像的數目超過第一預定閾值為止。第一預定閾值可根據設計需求來配置，且本發明並不意欲限制第一預定閾值的範圍。
通過說明第一及第二主體(如人)來解釋上文實施例，然而，本發明並不限於此。在實施例中的一者中，第一主體或第二主體可為場景，例如城市場景、郊區場景、鄉村場景、海洋場景、有山或湖的風景等。查詢影像或第一選定影像的場景可經由例如形狀、顏色或紋理等內容資訊來確定。因此，需注意的是，也可基於內容資訊學習作為場景的查詢概念。
在第一選定影像的數目超過第一預定閾值之後，處理器110將基於第一選定影像的情境資訊進一步優化查詢概念。返回參 照圖2，在步驟S230中，基於第一選定影像的情境資訊，處理器110可從存儲影像中取樣多個第二樣本影像以用於相關性回饋，進而基於情境資訊進一步優化查詢概念。
詳言之，處理器110將從元資料提取第一選定影像的情境資訊，例如時間資訊、位置資訊等。時間資訊包含時間、日期及年份資訊。根據情境資訊，處理器110將從存儲影像中取樣第二樣本影像。可從未標記的存儲影像的池中取樣第二樣本影像，以經由相關性回饋最大化資訊收集。換句話說，第二樣本影像將包含尚未標記為肯定或否定例子的那些存儲影像。然而，本發明並不意欲限於此。在示範性實施例中的一者中，標記的存儲影像可基於情境資訊來取樣。
在本發明的示範性實施例中的一者中，基於從元資料提取的時間資訊進一步優化基於內容資訊獲得的查詢概念。詳言之，處理器110將從第一選定影像及查詢影像中的每一者的元資料中提取例如時間、日期及年份資訊等時間(即，上下文情境)資訊。接著，處理器110將基於所提取的時間、日期及年份資訊從存儲影像中取樣第二樣本影像。處理器110可分析第一選定影像及查詢影像的時間資訊以確定在第一選定影像與查詢影像之間是否存在時間、日期或年份資訊方面的類似性或模式。舉例來說，處理器110可發現選定影像(例如，第一選定影像及查詢影像)的時間戳在一年中的特定日期的時間段(例如，若干小時)內。也就是說，該年份中的該特定日期的時間段在查詢概念中的可能 性的權重高於其他時間段、其他日期或其他年份。因此，處理器110可基於該年份的該特定日期的發現的時間段從存儲影像中取樣第二樣本影像以用於相關性回饋。在示範性實施例中，還為了相關性回饋取樣具有指示其他時間段的時間戳的影像或具有指示不同日期或年份的發現的時間段的時間戳的影像，以探究查詢概念。
返回參照圖4，經由相關性回饋將第一樣本影像的第一集合410中的第一影像411、第二影像413及第三影像415及第一樣本影像的第三集合430中的第四影像431選擇為第一選定影像。在示範性實施例中，基於上下文情境資訊進一步分析第一選定影像411、413、415及431。從第一選定影像中的每一者的元資料中提取第一選定影像411、413、415、431及查詢影像310的時間資訊，以辨認確定是否存在時間、日期或年份方面的類似性或模式。舉例來說，第一影像411可具有象徵指示在2013年12月30日的上午9點取得第一影像411的時間戳。第二影像413可具有象徵指示在2013年12月30日的下午5點取得第二影像413的時間戳。第三影像415可具有象徵指示在2014年1月1日的上午10點取得第三影像415的時間戳。另外，第四影像431可具有象徵指示在2013年12月30日的上午9點10分取得第四影像431的時間戳。在此實例中可基於第一選定影像來識別2013年12月30日與2014年1月1日之間的時間段，且可從存儲影像中取樣具有識別的時間段之間的時間戳的影像，以基於時間資訊優化查詢概念。
圖5是依照本發明的一實施例的一種基於第一樣本影像及查詢影像的時間資訊從存儲影像取樣的多個第二影像的示意圖。需注意的是，雖然出於說明的容易起見以參考編號來呈現圖5中第二樣本影像中的每一者，但其並不意欲限制本發明。第二樣本影像中的每一者可被看作具有背景、主體等的影像。
參照圖5，多個第二樣本影像1到12顯示於電子裝置100的顯示區域121上。第二樣本影像1到12將包含第二樣本影像的第一集合510、第二樣本影像的第二集合520及第二樣本影像的第三集合530。在示範性實施例中，第二樣本影像的第一集合510可包含具有類似於第一選定影像的取得時間的時間戳的四個影像1到4。舉例來說，影像1可有2013年12月30日上午11點的時間戳。影像2可具有2013年12月30日上午10點30分的時間戳。影像3可具有2014年12月30日的下午8點的時間戳。另外，影像4可具有2014年1月1日的下午3點的時間戳。
第二樣本影像的第二集合520可包含兩個影像5到6(其具有在第一選定影像的識別的時間段內的在2013年12月31日的取得時間)，以便進一步探究識別的時間段之間的其他時間是否包含於查詢概念中。2013年12月30日上午11點。舉例來說，影像5可有2013年12月31日上午10點的時間戳。另外，影像6可具有2013年12月31日下午5點的時間戳。
第二樣本影像的第三集合530可包含六個影像7到12(其具有在2013年12月30日與2014年1月1日之間的識別的時間 段之外的取得時間)，以便進一步探究查詢概念的情境。舉例來說，影像7可有2014年1月4日下午12點的時間戳。影像8可具有2014年1月7日下午3點的時間戳。影像9可具有2013年12月25日上午8點的時間戳。影像10可具有2012年1月1日下午7點的時間戳。影像11可具有2013年12月28日下午1點的時間戳。另外，影像12可具有2013年12月29日下午3點的時間戳。
需注意的是，上文所說明的第二樣本影像的日期和時間是出於說明的目的，本發明並不限於此。基於情境資訊的時間資訊的第二樣本影像的取樣策略可根據設計需求來設計。
需注意的是，第二樣本影像的第三集合530可包含在識別的時間段之前或之後的一天或若干天取得的影像7到12，以確定查詢概念是否為年代事件。此外，也可從存儲影像中取樣從其他年份但在識別的日期的識別的時間段內取得的影像，以便確認查詢概念是否包含在不同年份發生的每年遞迴事件。舉例來說，可為了相關性回饋取樣具有2012年1月1日的時間戳的影像10以探究查詢概念是否為每年事件。然而，示範性實施例並不意欲限制本發明。在本發明的實施例中的一者中，可取樣在不同月份但在相同日期取得的影像，以便確定查詢概念是否為在不同月份的相同日期發生的每月事件。
在示範性實施例中，在2013年12月30日的早上取樣更多影像(即，影像1及2)，因為第一選定影像當中的第一影像411 及第四影像431是在2013年12月30日的早晨取得的，其2013年12月30日的早上(即，上午)的權重與其他時間段相比較是較高的。換句話說，2013年12月30日的早上在查詢概念中的可能性相對于其他時間段較高。
在示範性實施例中，選擇在第二樣本影像的第一及第二集合510、520內的影像1到6。另外，還選擇第二樣本影像的第三集合530中的影像7、影像11及影像12。選定影像經識別為第二選定影像。因此，可基於第二選定影像的時間資訊優化查詢概念。舉例來說，基於示範性實施例的第二選定影像(例如，影像1到7、11、12)，包含於查詢概念中的時間段將經推斷為在2013年12月28日與2014年1月4日之間的時間段。歸因於第二選定影像7、11的時間戳，基於第一選定影像識別的時間段可擴展到由第二選定影像中的選定影像7、11指示的時間戳。詳言之，在2013年12月30日與2014年1月1日之間的識別的時間段可擴展到作為下部邊界的2013年12月28日(從選定影像11提取)及作為上部邊界的2014年1月4日(從選定影像7提取)。
在示範性實施例中，具有2012年1月1日下午7點的時間戳的影像10並未被選擇為第二選定影像。因為具有2012年的時間戳的影像10並未被選擇，所以查詢概念為每年事件的可能性將降低。
在本發明的示範性實施例中的一者中，並未選擇具有2014年1月7日的取得時間的影像及具有2013年12月25日的取 得時間的影像，且其可推斷查詢概念不包含在2014年1月7日及2013年12月25日或除了2014年1月7日及2013年12月25日之外的任何日期。
在本發明的示範性實施例中的一者中，基於時間資訊優化查詢概念可為迭代過程，該迭代過程根據從獲得自先前迭代的第二樣本影像的集合獲得的第二選定影像的情境資訊，從存儲影像中迭代地取樣第二樣本影像的不同集合，以便基於時間資訊優化查詢概念。舉例來說，在選擇第二選定影像1到7、11到12之後，可選擇刷新選項450以取樣第二樣本影像的另一集合以用於進一步優化查詢概念。在實施例中的一者，可基於查詢影像310、第一選定影像411、413、415、431及第二選定影像1到7、11到12的時間資訊，從未標記的存儲影像取樣第二樣本影像的另一集合。
需注意的是，迭代中的每一者的第二樣本影像的集合為從存儲影像中取樣。換句話說，第二樣本影像的集合可為未被標記為肯定或否定例子的影像。此外，從優化查詢概念的迭代中的每一者中積聚第二選定影像。舉例來說，經獲得以用於優化查詢概念的第二選定影像將總共涉及從第一迭代獲得的第二選定影像、第二迭代獲得的第二選定影像等。換句話說，第二選定影像將包含在基於情境資訊優化查詢概念的迭代中所選擇的所有第二選定影像。
在示範性實施例中，基於情境資訊優化查詢概念的迭代 可繼續直到第二選定影像的數目超過第二預定閾值或結束請求為止。第二預定閾值可根據設計需求來配置，且本發明並不意欲限制第二預定閾值的範圍。此外，可作出結束請求以指示基於情境資訊優化查詢概念的完成。舉例來說，可選擇結束選項460以指示查詢概念的優化的完成。在示範性實施例中，結束選項460還可包含顯示已經經由相關性回饋選擇的選定影像的總數的欄位461。
如上文所論述，影像的情境資訊還包含位置資訊。在本發明的示範性實施例中的一者中，可基於指示其中取得影像的位置的位置資訊優化查詢概念。舉例來說，參照圖4，第一選定影像411、413、415、431及查詢影像310包含在華盛頓及紐約市取得的影像。基於第一選定影像411、413、415、431及查詢影像310的位置資訊，可從存儲影像中取樣多個第二樣本影像21到30以用於相關性回饋。
圖6依照本發明的一實施例的一種基於第一選定影像411、413、415、431及查詢影像310的位置資訊從存儲影像取樣的多個第二樣本影像21到30的示意圖。舉例來說，第二樣本影像21中的第一影像可具有與美國紐約市相關聯的位置資訊。第二樣本影像22中的第二影像可具有與美國的華盛頓相關聯的位置資訊。第二樣本影像23中的第三影像可具有與美國的費城相關聯的位置資訊。第二樣本影像24中的第四影像可具有與美國的芝加哥相關聯的位置資訊。第二樣本影像25中的第五影像可具有與加拿 大的多倫多相關聯的位置資訊。第二樣本影像26中的第六影像可具有與美國的波士頓相關聯的位置資訊。第二樣本影像27中的第七影像可具有與日本的東京相關聯的位置資訊。第二樣本影像28中的第八影像可具有與臺灣的臺北相關聯的位置資訊。第二樣本影像29中的第九影像可具有與美國的巴爾的摩相關聯的位置資訊。另外，第二樣本影像30中的第十影像可具有與英國的倫敦相關聯的位置資訊。需注意的是，出於說明的目的，圖6的第二樣本影像21到30中的每一者由其參考編號說明以象徵其之間的差異。第二樣本影像21到30中的每一者可被看作具有背景、主體等的影像。
參照圖6，第二樣本影像21到30將包含第二樣本影像的第一集合610、第二樣本影像的第二集合620及第二樣本影像的第三集合630。舉例來說，第二樣本影像的第一集合610可包含兩個影像21、22，該兩個影像具有與第一選定影像411、413、415、431及查詢影像310相關聯的位置資訊。第二樣本影像的第二集合620可包含五個影像23、24、25、26、29，該五個影像具有在第一選定影像411、413、415、431及查詢影像310的位置附近的位置資訊。第二樣本影像的第三集合630可包含具有其他位置資訊的更多影像27、28、30，以便進一步探究查詢概念的情境資訊。需注意的是，上文所說明的第二樣本影像21到30的位置是出於說明的目的，本發明並不限於此。基於情境資訊的位置資訊的取樣策略可根據設計需求來設計。
在示範性實施例中，經由相關性回饋將在第二樣本影像的第一集合610內的第一及第二影像21、22以及包含於第二樣本影像的第二集合620中的第三影像26、第六影像26及第九影像29選擇為第二選定影像21、22、23、26、29。詳言之，在第二樣本影像的第一集合610內的第一及第二影像21、22與美國華盛頓及紐約市相關聯。第二樣本影像的第二集合620中的第三影像26與美國費城相關聯。第二樣本影像的第二集合620中的第六影像26與美國波士頓相關聯。第二樣本影像的第二集合630中的第九影像29與美國巴爾的摩相關聯。基於第二選定影像21、22、23、26、29，處理器110可推斷查詢概念的情境資訊可包含美國的華盛頓、巴爾的摩、費城、紐約市及波士頓。舉例來說，查詢概念可經推斷為第一主體311(例如，人A)到美國東北部的旅行。在本發明的示範性實施例中的一者中，處理器110可根據第二選定影像21、22、23、26、29的位置資訊從存儲影像中取樣更多第二樣本影像，以進一步優化查詢概念的位置資訊。
在本發明的示範性實施例中的一者中，基於位置資訊優化查詢概念可為迭代過程，該迭代過程根據從先前迭代的第二樣本影像的集合獲得的第二選定影像的情境資訊從存儲影像中迭代地取樣第二樣本影像的不同集合，以便基於情境資訊優化查詢概念。舉例來說，在選擇第二選定影像21、22、23、26、29之後，可選擇刷新選項650以取樣第二樣本影像的另一集合以用於進一步優化查詢概念。可根據從查詢影像310、第一選定影像411、413、 415、431及第二選定影像21、22、23、26、29提取的位置資訊從存儲影像中取樣第二樣本影像的另一集合。
需注意的是，從優化查詢概念的迭代中的每一者中積聚第二選定影像。舉例來說，經獲得以用於優化查詢概念的第二選定影像將總共涉及從第一迭代獲得的第二選定影像、第二迭代獲得的第二選定影像的集合等。換句話說，第二選定影像將包含基於情境資訊優化查詢概念的迭代中所選擇的所有影像。
在示範性實施例中的一者中，從未標記的存儲影像中取樣迭代中的每一者的第二樣本影像的集合。換句話說，第一樣本影像的集合可為未被標記為肯定或否定例子的影像。
在示範性實施例中，基於情境資訊優化查詢概念的迭代可繼續直到第二選定影像的數目超過第二預定閾值或結束請求為止。第二預定閾值可根據設計需求來配置，且本發明並不意欲限制第一預定閾值的範圍。此外，可作出結束請求以指示基於情境資訊優化查詢概念的完成。舉例來說，可選擇結束選項460以指示優化查詢概念的完成。
儘管在上文示範性實施例中分別基於時間資訊及位置資訊優化查詢概念，但本發明並不限於此。在本發明的示範性實施例中的一者中，可連續基於時間資訊及位置資訊優化查詢概念。舉例來說，可基於時間資訊取樣多個第二取樣影像，以在優化查詢概念的第一迭代中經由相關性回饋獲得第二選定影像。除了時間資訊之外，可通過考慮在優化查詢概念的第一迭代中獲得的第 一選定影像及第二選定影像的位置資訊來取樣第二樣本影像的另一集合。需注意的是，本發明不限於首先基於時間資訊優化查詢概念。在本發明的示範性實施例中的一者中，可基於位置資訊及接著時間資訊優化查詢概念。在另一示範性實施例中，可通過互換時間資訊及位置資訊來優化查詢概念，作為用於從存儲影像取樣第二樣本影像的準則。
舉例來說，在示範性實施例中，可首先經由相關性回饋基於查詢影像的內容資訊學習及基於查詢影像及第一選定影像(例如，經選擇以用於識別查詢概念的內容的影像)的情境資訊優化查詢概念。舉例來說，基於圖3到6中所說明的示範性實施例，查詢概念可為“人A在2013年12月28日與2014年1月4日之間的美國東北部旅行”，其中人A基於查詢影像311及第一選定影像411、413、415、431的內容資訊進行學習，且在2013年12月28日與2014年1月4日之間的美國東北部旅行可基於查詢影像311、第一選定影像411、413、415、431及第二選定影像1到7、11、12、21、22、23、26、29的情境資訊進行學習。
在優化查詢概念完成之後，可搜索存儲影像當中的多個相關影像且將其分組到珍藏相冊中。返回參照圖2，在步驟S240中，根據優化的查詢概念(包含內容及情境)在存儲影像當中搜索相關影像，且接著可將相關影像分組到珍藏相冊中。在本發明的示範性實施例中，處理器110可在觸摸屏120上顯示基於查詢概念搜索的所有相關影像。圖7是依照本發明的一實施例的一種 相關影像的顯示的示意圖。
參照圖7，觸摸屏120將顯示可容納於觸摸屏120的顯示區域121中的相關影像，且可通過向上/向下滾動或切換頁面來檢視相關影像的其他部分。顯示區域121還可包含在保存選項750內的欄位751，其顯示經由基於優化的查詢概念的相關性搜索獲得的相關影像的總數。可選定保存選項750(例如，按壓顯示保存選項750的觸摸屏的區域)以將相關影像保存於珍藏相冊中。
在示範性實施例中的一者中，可在檢視相關影像時發現相關影像的錯匹配。也就是說，錯匹配的相關影像中的主體(例如，人或場景)可被錯認為相關影像。因此，在發現錯匹配時，可從列表移除錯匹配的相關影像。在示範性實施例中的一者中，可通過從表示識別的人的面部表示的列表移除對應於錯匹配的相關的面部表示來更新人臉資料庫。
圖8及9是依照本發明的一實施例的一種將相關影像分組到珍藏相冊中的示意圖。參照圖8，在選擇保存選項750之後，可提示用戶插入珍藏相冊的標題。參照圖9，顯示智慧相冊，其列出了保存的珍藏相冊。在示範性實施例中，可將對應於美國東北部旅行的相關影像分組在一起，其可通過選擇表示圖9中所說明的美國東北部旅行910的圖示來再次檢視。
在示範性實施例中的一者中，新近從影像取得裝置(未圖示)或其他電子裝置(未圖示)獲得的影像可自動識別為對應於查詢概念的新相關影像。新近獲得的影像可被自動分組到與查 詢概念相關聯的現有珍藏相冊中。
在下文中，說明本發明的各種示範性實施例以進一步闡述用於經由主動學習搜索多個相關影像的設備及其方法。
本發明還包含允許用戶經由主動學習搜索及分組多個相關影像的用戶介面。圖10到14是依照本發明的一實施例的一種搜索及分組對應於小孩J的生日的多個相關影像的示意圖。圖10中所說明的示範性實施例又呈現了相關於主動學習搜索的用戶介面。
觸摸屏120可顯示多個初始影像以請求用戶的相關性回饋。參照圖10，三個影像1011、1012、1013可呈現於顯示區域121中。三個影像1011、1012、1013中的任一者或全部可由用戶選擇，以起始經由主動學習來搜索相關影像。舉例來說，將顯示於電子裝置100的顯示區域121中的第一影像1011、第二影像1012及第三影像1013選擇為查詢影像。在示範性實施例中，小孩J(即，第一主體)根據從第一影像1011的元資料提取的內容資訊(例如，面部特徵)在第一影像1011中與其他兩個人(例如，第二主體及第三主體)一起被識別。根據從第二及第三影像1012、1013的元資料提取的內容資訊(例如，面部特徵)，小孩J在第二影像1012中與其他三個人(例如，第二及第三主體以及第四主體)一起被識別及在第三影像1013中與其他兩個人(例如，第二及第三主體)一起被識別。
參照圖11，可顯示多個樣本影像1011-1013,1111-1119(也 被稱作第一樣本影像)以學習用戶的查詢概念。在示範性實施例中，查詢概念可包含內容準則及情境準則。處理器110可基於查詢影像的內容資訊(例如，識別的四個人的面部特徵)取樣第一樣本影像1011、1012、1013、1111到1119。
在示範性實施例中，相較於查詢影像中所識別的第二、第三及第四主體相，處理器110可推測小孩J具有較高可能性為查詢概念的內容準則中的。因此，第一樣本影像(例如，影像1011到1013,1111到1119)可包含具有小孩J的各種影像以探究查詢概念的內容準則。舉例來說，取樣具有小孩J的單獨拍攝及群攝以探究用戶是否關注於小孩J、其他識別的主體或一群人。然而，本發明不限於上文所說明的特定取樣策略。
接著，處理器110可在顯示區域121中顯示第一樣本影像(例如，影像1011、1012、1013及1111到1119)以用於相關性回饋，且可經由相關性回饋從第一樣本影像獲得至少一個第一選定影像(例如，影像1011、1012、1013、1111到1116)。
在經由相關性回饋獲得至少一個第一選定影像(例如，影像1011、1012、1013、1111到1116)之後，處理器110可分析從至少一個第一選定影像(例如，影像1011,1012,1013,1111-1116)提取的內容資訊，及發現小孩J出現於包含小孩J的單獨拍攝(例如，影像1111)的第一選定影像中的每一者中，因此小孩J為查詢概念的內容準則的可能性很高。因此，基於對應於小孩J的內容資訊，學習查詢概念的內容準則。此時，用戶可選擇刷新選項 450以顯示第一樣本影像的另一集合，從而進一步定義基於第一選定影像的查詢概念的內容準則。詳言之，處理器110可基於從先前迭代所獲得的第一選定影像的內容資訊，迭代地顯示第一樣本影像的不同集合。另一方面，用戶可選擇結束選項460以代表識別查詢概念的內容準則的完成。
在用戶已指示學習查詢概念的內容準則之後，處理器110可分析第一選定影像(例如，影像1011、1012、1013、1111到1116)的情境資訊以確定第一選定影像(例如，影像1011、1012、1013、1111到1116)在時間或位置方面的類似性。在示範性實施例中，處理器110可基於從元資料提取的第一選定影像中的每一者的時間資訊學習到第一選定影像(例如，影像1011、1012、1013、1111到1116)與在相同日期但不同年份發生的事件有關。參照圖11，基於時間資訊(例如，時間、日期及年份)，第一選定影像(例如，影像1011、1012、1013、1111到1116)為在小孩J 1071的不同年份的生日所取得的影像。舉例來說，在圖11中所示的第一選定影像(例如，影像1011、1012、1013、1111到1116)內，影像1011到1013、1111為小孩J於2014年的生日所取得影像，影像1112、1113為小孩J於2013年的生日所取得影像，影像1115、1116為小孩J於2012年的生日所取得影像，及影像1114為小孩J於2011年的生日所取得影像。在示範性實施例中，處理器110最初可推斷查詢概念的情境準則為小孩J於不同年份出現的生日，例如，查詢概念的情境準則可被推測為2011年到2014年的生日有關。
接下來，處理器110可根據最初基於第一選定影像學習的查詢概念的情境準則顯示多個第二樣本影像，以優化查詢概念的情境準則。參照圖12，顯示第二樣本影像以用於相關性回饋。需注意的是，處理器110從存儲影像中自動取樣第二樣本影像中的影像1211，其中影像1211為小孩J在2011年到2014年之外的年份的生日有關。在示範性實施例中，所有顯示於圖12中的影像都被選擇與小孩J的生日相關。
在示範性實施例中，將圖12中所說明的第二樣本影像(例如，1011、1012、1013、1111到1116、1117、1211)選擇為第二選定影像(例如，1011、1012、1013、1111到1116)。因此，基於第二選定影像(例如，1011、1012、1013、1111到1116)優化查詢概念的情境準則。舉例來說，在獲得第二選定影像之後，可將查詢概念的情境準則優化為小孩J在每一年份的生日，因為第一及第二選定影像包含在出現於各種年份(例如，2010年到2014年)的小孩J的生日所取得的影像。
在本發明的示範性實施例中的一者中，處理器110可進一步顯示查詢資訊，該查詢資訊用以詢問用戶以優化查詢概念的情境準則。舉例來說，處理器110可詢問用戶以確定是否查詢與小孩J的生日有關的所有影像或與小孩J在2014年的生日有關的影像。需注意的是，自動顯示2014年作為查詢消息，因為圖11中所說明的第一選定影像中的四個具有2014年的時間資訊的影像，其2014年與其他年份取得的影像相比較具有較高權重。在示 範性實施例中的一者中，查詢資訊還可包含將顯示所有識別的年份以請求用戶進行選擇的選項。然後，處理器110可基於用戶選擇更新查詢的情境準則。
參照圖12，可選擇保存選項750以將第二選定影像保存於珍藏相冊中。在示範性實施例中，在顯示區域121中取樣及顯示在存儲影像當中的滿足查詢概念的內容準則及情境準則的所有影像。因此，為用戶顯示保存選項750以指示查詢概念的主動學習的完成。然而，本發明並不限於此。在其他示範性實施例中，可顯示刷新選項450以用於進一步優化查詢概念的情境準則。舉例來說，在選擇第二選定影像之後，可選擇刷新選項450。在選擇刷新選項450時，可根據第二選定影像(例如，1011、1012、1013、1111到1116、1117、1211)的情境資訊從存儲影像取樣第二樣本影像的另一集合，以使得可經由相關性回讀基於時間或位置進一步優化查詢概念的情境準則。在其他示範性實施例中，可基於第二選定影像(例如，1011、1012、1013、1111到1116、1117、1211)的內容資訊優化查詢概念以進一步探究查詢概念的內容準則。
參照圖13，在選擇保存選項750之後，可提示用戶插入珍藏相冊的標題。參照圖14，顯示智慧相冊，其列出了保存的珍藏相冊。在示範性實施例中，可將對應於小孩J的生日的相關影像分組在一起，其可通過選擇表示圖14中所示的兒子的生日聚會的圖示1410來再次檢視。由於查詢概念為每年小孩J的生日，所以新取得並符合查詢概念的影像將自動的被分組至對應小孩J的 生日智慧相冊。
圖15是依照本發明的一實施例的一種用於經由主動學習搜索相關影像的用戶介面的方法的流程圖。
參照圖15，在步驟S1510中，顯示至少一個影像。
在步驟S1520中，經由相關性回饋獲得所顯示影像當中的至少一個查詢影像，其中至少一個查詢影像包含第一主體及第二主體。
在步驟S1530中，根據至少一個查詢影像的內容資訊顯示用於相關性回饋的多個第一樣本影像。第一樣本影像包括：具有第一主體的第一影像、具有第二主體的第二影像及具有第一及第二主體的第三影像。
在步驟S1540中，獲得第一樣本影像當中的至少一個第一選定影像，以基於至少一個第一選定影像的內容資訊，學習查詢概念。
在步驟S1550中，在基於至少一個第一選定影像的內容資訊學習查詢概念之後，根據至少一個第一選定影像的情境資訊，顯示多個第二樣本影像。
在步驟S1560中，獲得至少一個第二選定影像，以基於至少一個第一選定影像及至少一個第二選定影像的情境資訊優化查詢概念。
在步驟S1570中，根據查詢概念顯示多個相關影像。
綜上該，本發明提供適用於電子裝置的用於經由主動學 習搜索多個相關影像的方法及用戶介面。在本發明中，可搜索存儲影像當中的多個相關影像且將其分組到珍藏相冊中。詳言之，可基於查詢影像的內容資訊學習查詢概念，及接著，基於內容資訊中的查詢影像及與查詢影像相關聯的至少一個選定影像的情境資訊，優化該查詢概念。接著，根據優化查詢概念(包含內容及情境)在存儲影像當中搜索相關影像，及接著可將相關影像分組到珍藏相冊中。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S240‧‧‧步驟

Claims (22)

  1. 一種經由主動學習(active learning)搜索相關影像的方法，其適用於包括多個存儲影像的移動電子裝置，該方法包括：獲得包括第一主體及第二主體的查詢影像；通過根據該查詢影像的內容資訊從該存儲影像中取樣用於相關性回饋的多個第一樣本影像，進而基於該內容資訊，學習查詢概念(query concept)，其中該第一樣本影像包括具有該第一主體的至少一個影像、具有該第二主體的至少一個影像及具有該第一及第二主體兩者的至少一個影像；以及根據該查詢概念搜索該存儲影像當中的該相關影像，及將該相關影像分組到珍藏相冊中。
  2. 如申請專利範圍第1項該方法，其該學習該查詢概念的步驟更包括：從該相關性回饋獲得至少一個第一選定影像；根據從先前迭代的相關性回饋所取樣的該第一樣本影像的集合中所獲得的該至少一個第一選定影像的內容資訊，從該存儲影像中迭代地取樣第一樣本影像的另一集合；以及根據從每一迭代的相關性回饋所取樣的該第一樣本影像中獲得的該第一選定影像的該內容資訊，學習該查詢概念。
  3. 如申請專利範圍第2項該的方法，其中根據通過迭代地取樣該第一樣本影像的另一集合所獲得的該第一選定影像的該內容資訊來學習該查詢概念，直到該第一選定影像的數目超過第一 預定值為止，其中根據從該先前迭代的該第一樣本影像獲得的該第一選定影像的該內容資訊，取樣該第一樣本影像的該集合。
  4. 如申請專利範圍第1項該的方法，更包括：通過根據該第一選定影像的情境資訊從該存儲影像中取樣用於相關性回饋的多個第二樣本影像，根據該第一樣本影像當中的多個第一選定影像的情境資訊，優化該查詢概念。
  5. 如申請專利範圍第4項該的方法，其中該優化該查詢概念的步驟包括：從該第二樣本影像的該相關性回饋獲得至少一個第二選定影像；根據從先前迭代的該第二樣本影像的集合獲得的該至少一個第二選定影像的情境資訊，從該存儲影像中迭代地取樣第二樣本影像的另一集合；以及根據從每一迭代的相關性回饋所取樣的該第二樣本影像中獲得的該第二選定影像的該情境資訊，以優化該查詢概念。
  6. 如申請專利範圍第4項該的方法，其中該情境資訊包括具有時間、日期、年份資訊的時間資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該時間資訊優化該查詢概念。
  7. 如申請專利範圍第4項該的方法，其中該情境資訊包括位置資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該位置資訊優化該查詢概念。
  8. 如申請專利範圍第4項該的方法，其中該情境資訊包括時間資訊及位置資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該時間資訊及位置資訊優化該查詢概念。
  9. 一種電子裝置，其包括：顯示單元；存儲裝置，其存儲多個存儲影像；以及處理器，其經配置以用於：獲得包括第一主體及第二主體的查詢影像；通過根據該查詢影像的內容資訊從該存儲影像中取樣用於相關性回饋的多個第一樣本影像，進而基於該查詢影像的內容資訊學習查詢概念(query concept)，其中該第一樣本影像包括具有該第一主體的至少一個影像、具有該第二主體的至少一個影像及具有該第一及第二主體兩者的至少一個影像；以及根據該查詢概念搜索該存儲影像當中的該相關影像，及將該相關影像分組到珍藏相冊中。
  10. 如申請專利範圍第9項的電子裝置，其中該處理器更經配置以用於：從該相關性回饋獲得至少一個第一選定影像；根據從先前迭代的相關性回饋所取樣的該第一樣本影像的集合中所獲得的該至少一個第一選定影像的內容資訊，從該存儲影像中迭代地取樣第一樣本影像的另一集合；以及 根據從每一迭代的相關性回饋所取樣的該第一樣本影像中獲得的該第一選定影像的該內容資訊，學習該查詢概念。
  11. 如申請專利範圍第10項的電子裝置，其中該處理器更經配置以用於：根據通過迭代地取樣該第一樣本影像的另一集合所獲得的該第一選定影像的該內容資訊來學習該查詢概念，直到該第一選定影像的數目超過第一預定值為止，其中根據從該先前該第一樣本影像的迭代獲得的該第一選定影像的該內容資訊，取樣該第一樣本影像的該集合。
  12. 如申請專利範圍第9項的電子裝置，其中該處理器更經配置以用於：通過根據該第一選定影像的情境資訊從該存儲影像中取樣用於相關性回饋的多個第二樣本影像，根據該第一樣本影像當中的多個第一選定影像的情境資訊，以優化該查詢概念。
  13. 如申請專利範圍第12項的電子裝置，其中該處理器更經配置以用於：從該第二樣本影像的該相關性回饋獲得至少一個第二選定影像；根據從先前迭代的相關性回饋所取樣的第二樣本影像的集合中所獲得的該至少一個第二選定影像的情境資訊，從該存儲影像中迭代地取樣第二樣本影像的另一集合；以及根據從每一迭代的相關性回饋所取樣的該第二樣本影像獲得的該第二選定影像的該情境資訊，以優化該查詢概念。
  14. 如申請專利範圍第12項的電子裝置，其中該情境資訊包括時間、日期、年份資訊的時間資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該時間資訊優化該查詢概念。
  15. 如申請專利範圍第12項的電子裝置，其中該情境資訊包括位置資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該位置資訊優化該查詢概念。
  16. 如申請專利範圍第12項的電子裝置，其中該情境資訊包括時間資訊及位置資訊，且根據該查詢影像及該第二樣本影像當中的至少一個第二選定影像的該時間資訊及位置資訊優化該查詢概念。
  17. 一種用於經由主動學習搜索相關影像的用戶介面，其適用於包括顯示單元及輸入單元的電子裝置，該用戶介面包括：顯示至少一個影像；經由相關性回饋獲得該所顯示的影像當中的至少一個查詢影像，其中該至少一個查詢影像包括第一主體及第二主體；根據該至少一個查詢影像的內容資訊顯示用於相關性回饋的多個第一樣本影像，其中該第一樣本影像包括：具有該第一主體的第一影像、具有該第二主體的第二影像及具有該第一及第二主體的第三影像；獲得該第一樣本影像當中的至少一個第一選定影像以根據該至少一個第一選定影像的內容資訊學習查詢概念；以及 根據該查詢概念顯示多個相關影像。
  18. 如申請專利範圍第17項的用戶介面，更包括：根據先前迭代中獲得的至少一個第一選定影像的內容資訊，迭代地顯示用於相關性回饋該第一樣本影像的另一集合，直到該第一選定影像的數目超過第一預定值為止。
  19. 如申請專利範圍第17項的用戶介面，更包括：在根據該至少一個第一選定影像的該內容資訊學習該查詢概念之後，根據該至少一個第一選定影像的該情境資訊顯示多個第二樣本影像；獲得至少一個第二選定影像以根據該至少一個第一選定影像及該至少一個第二選定影像的該情境資訊優化該查詢概念。
  20. 如申請專利範圍第19項的用戶介面，其中該情境資訊包括時間資訊、日期資訊及年份資訊，該所顯示的第二樣本影像包括具有不同年份資訊的影像。
  21. 如申請專利範圍第19項的用戶介面，其中該情境資訊包括位置資訊。
  22. 如申請專利範圍第19項的用戶介面，更包括：根據先前迭代中所獲得的至少一個第二選定影像的情境資訊，迭代地顯示用於相關性回饋的該第二樣本影像的另一集合。
TW103146262A 2013-12-30 2014-12-30 用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面 TWI550419B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361921539P 2013-12-30 2013-12-30

Publications (2)

Publication Number Publication Date
TW201528013A TW201528013A (zh) 2015-07-16
TWI550419B true TWI550419B (zh) 2016-09-21

Family

ID=53481991

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103146262A TWI550419B (zh) 2013-12-30 2014-12-30 用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面

Country Status (3)

Country Link
US (1) US10169702B2 (zh)
CN (1) CN104751168B (zh)
TW (1) TWI550419B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015121991A1 (ja) * 2014-02-14 2015-08-20 楽天株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び情報記憶媒体
US10600060B1 (en) 2014-12-19 2020-03-24 A9.Com, Inc. Predictive analytics from visual data
CN106547744B (zh) * 2015-09-16 2020-11-06 杭州海康威视数字技术股份有限公司 一种图像检索方法及系统
US9881236B2 (en) 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
KR102436018B1 (ko) * 2018-01-23 2022-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
US11216506B1 (en) * 2018-05-17 2022-01-04 Shutterstock, Inc. Image querying to surface undiscovered images
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US11636391B2 (en) * 2020-03-26 2023-04-25 International Business Machines Corporation Automatic combinatoric feature generation for enhanced machine learning
JP2022080436A (ja) * 2020-11-18 2022-05-30 富士フイルム株式会社 撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034415A (zh) * 2007-04-11 2007-09-12 财团法人交大思源基金会 物件模式的影像检索系统及方法
TW200929059A (en) * 2007-12-28 2009-07-01 Altek Corp Automated photo management system, automated photo management method, and computer-readable medium storing codes for classifying photos
CN101896901A (zh) * 2007-12-12 2010-11-24 微软公司 图像搜索中的交互式概念学习
TWI403912B (zh) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7870279B2 (en) * 2002-12-09 2011-01-11 Hrl Laboratories, Llc Method and apparatus for scanning, personalizing, and casting multimedia data streams via a communication network and television
AU2002953384A0 (en) * 2002-12-16 2003-01-09 Canon Kabushiki Kaisha Method and apparatus for image metadata entry
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US9489431B2 (en) * 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
US20150161175A1 (en) * 2008-02-08 2015-06-11 Google Inc. Alternative image queries
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
CN101271476B (zh) * 2008-04-25 2010-07-21 清华大学 网络图像搜索中基于聚类的相关反馈检索方法
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
GB0818089D0 (en) 2008-10-03 2008-11-05 Eastman Kodak Co Interactive image selection method
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
US8724908B2 (en) * 2010-09-03 2014-05-13 Adobe Systems Incorporated System and method for labeling a collection of images
US8612441B2 (en) * 2011-02-04 2013-12-17 Kodak Alaris Inc. Identifying particular images from a collection
US8792684B2 (en) * 2011-08-11 2014-07-29 At&T Intellectual Property I, L.P. Method and apparatus for automated analysis and identification of a person in image and video content
US20130055079A1 (en) * 2011-08-29 2013-02-28 Ting-Yee Liao Display device providing individualized feedback
US9075825B2 (en) * 2011-09-26 2015-07-07 The University Of Kansas System and methods of integrating visual features with textual features for image searching
US9171018B2 (en) * 2012-01-17 2015-10-27 Google Inc. System and method for associating images with semantic entities
US20150178321A1 (en) * 2012-04-10 2015-06-25 Google Inc. Image-based 3d model search and retrieval
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US9230191B2 (en) * 2013-03-15 2016-01-05 Dropbox, Inc. Presentation and organization of content
US9760803B2 (en) * 2013-05-15 2017-09-12 Google Inc. Associating classifications with images
US9286325B2 (en) * 2013-05-21 2016-03-15 Xerox Corporation Methods and systems for ranking images using semantic and aesthetic models
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search
US9330110B2 (en) * 2013-07-17 2016-05-03 Xerox Corporation Image search system and method for personalized photo applications using semantic networks
US9607014B2 (en) * 2013-10-31 2017-03-28 Adobe Systems Incorporated Image tagging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403912B (zh) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統
CN101034415A (zh) * 2007-04-11 2007-09-12 财团法人交大思源基金会 物件模式的影像检索系统及方法
CN101896901A (zh) * 2007-12-12 2010-11-24 微软公司 图像搜索中的交互式概念学习
TW200929059A (en) * 2007-12-28 2009-07-01 Altek Corp Automated photo management system, automated photo management method, and computer-readable medium storing codes for classifying photos

Also Published As

Publication number Publication date
TW201528013A (zh) 2015-07-16
CN104751168B (zh) 2019-09-03
US20150186425A1 (en) 2015-07-02
US10169702B2 (en) 2019-01-01
CN104751168A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
TWI550419B (zh) 用於經由主動學習來搜索相關影像的方法、電子裝置及用戶介面
US11461392B2 (en) Providing relevant cover frame in response to a video search query
US8811755B2 (en) Detecting recurring events in consumer image collections
TWI498843B (zh) 可攜式電子裝置、內容推薦方法及電腦可讀媒體
WO2017129018A1 (zh) 一种图片处理方法、装置和智能终端
Plant et al. Visualisation and browsing of image databases
US20100121852A1 (en) Apparatus and method of albuming content
US9030502B2 (en) System and method for organizing documents
JP4367355B2 (ja) 写真画像検索装置、写真画像検索方法、記録媒体、およびプログラム
WO2013032755A1 (en) Detecting recurring themes in consumer image collections
US9201900B2 (en) Related image searching method and user interface controlling method
JP2012504806A (ja) 対話式画像選択方法
CN103477317B (zh) 内容显示处理装置、内容显示处理方法以及集成电路
JP6080409B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108962346A (zh) 医疗检验报告电子化方法、存储设备及移动终端
US20210365490A1 (en) Method for ranking and selecting events in media collections
CN103348315A (zh) 摄像机中的内容存储管理
US20150006545A1 (en) System for ranking and selecting events in media collections
Suh et al. Semi-automatic image annotation using event and torso identification
de Andrade et al. Photo annotation: a survey
US20140181712A1 (en) Adaptation of the display of items on a display
CN105324747A (zh) 图像显示方法及系统
Kim et al. User‐Friendly Personal Photo Browsing for Mobile Devices
WO2023004685A1 (en) Image sharing method and device
KR101400619B1 (ko) 사진 관리 방법 및 장치