TW201546636A - 註解顯示器輔助裝置及輔助方法 - Google Patents

Abstract

一種註解顯示輔助裝置，包含顯示處理單位，顯示與搜尋字組相關的第一組群內可能含有的影像；輸入接收單位，在顯示處理單位所顯示影像當中，接收選擇與搜尋字組相關的第二組群內應含有的影像；和添加註解單位，根據所選擇要包含在第二組群內的影像，在顯示處理單位所顯示影像當中，檢測可能屬於第二組群的影像，以添加與影像關聯之註解；其中顯示處理單位顯示由添加註解單位檢測可能屬於第二組群的影像關聯之註解，註解指示可能屬於第二組群之影像。

Description

註解顯示器輔助裝置及輔助方法

本發明係關於註解顯示輔助裝置及註解顯示輔助方法。

已有技術利用影像分類器把影像分類，指示是否為預定視覺概念，諸如各影像內是否存在「羊」或「貓」。影像分類器之建造是利用學習演算法，使用訓練集合，包含正影像，含有視覺概念，和負影像，不含視覺概念。通常學習演算法，已知有支援向量機(SVM)演算法，其中所得分類器為線性分類器，在影像特點之空間內，界定分開超平面(高維度向量，諸如摘自影像之直方圖)。

再者，US 7,890,443揭示一種「多實例修剪法」(MIP)，供訓練弱分類器，或組合分類器之「特點」。

然而，各使用者都難以準備訓練集合。例如，手工準備正影像和負影像的大集合，以表示視覺概念，相當費時。因此，各使用者能夠組裝的視覺概念有限。

針對此問題，已擬議之技術是，使用谷歌(Google)影像搜尋(GIS)獲得正影像，為各正影像計算描述符，使用正影像描述符和具有預計算描述符的負影像池，訓練線性SVM分類器，以獲得加權向量，而資料集合則利用分類器評等(K.Chatfield和A.Zisserman：“VISOR：Towards On-the-Fly Large-Scale Object Category Retrieval”，亞洲電腦視覺會議，2012)。

然而，由於網路之全球普及化，以及有些字組的模糊兩可，利用GIS歸返的正集合，有時成為視覺概念(搜尋字組)的不良表示。因此，各使用者仍然必須利用標記視察概念不良表示的影像，藉手工校正歸返之正影像。所以，仍然亟需解決上述訓練集合準備困難的問題，以改進影像分類結果的品質。

本發明是有鑑於上述問題而完成，提供一種技術，以輔助使用者容易準備分類影像用之訓練集合。

按照具體例，提供一種註解顯示輔助裝置，包含顯示處理單位，顯示與搜尋字組相關的第一組群內可能含有的影像；輸入接收單位，在顯示處理單位所顯示影像當中，由使用者接收選擇與搜尋字組相關的第二組群應含有的影像；和添加註解單位，根據使用者所選擇要包含在第二組群內的影像，在顯示處理單位所顯示，除使用者所選擇要包含於第二組群內的影像以外之影像當中，檢測可能屬於第二組群之影像，供添加對影像之註解；其中顯示處理單位顯示對添加註解單位所檢測可能屬於第二組群的影像註解，註解指示可能屬於第二組群之影像。

按照另一具體例，提供一種註解顯示之輔助方法，包含顯示與搜尋字組相關的第一組群內可能含有的影像；在顯示時所顯示影像當中，由使用者接受選擇第二組群內應含有的影像；根據使用者所選擇要包含在第二組群內的影像，於顯示時所顯示，除使用者選擇要包含在第二組群內的影像以外之影像當中，檢測可能屬於第二組群之影像，供添加對影像之註解；並顯示在檢測時檢測可能屬於第二組群的影像之註解，註解顯示可能屬於第二組群之影像。

須知上述組成亦可隨意組合，以及本發明表達之任何更換，無論於方法、裝置、系統等等當中，均視為本發明有效之具體例。

12‧‧‧輸入接收單位

14‧‧‧顯示處理單位

16‧‧‧影像獲得單位

18‧‧‧添加註解單位

20‧‧‧影像資料儲存器

100‧‧‧註解顯示輔助裝置

251‧‧‧電源系統

252‧‧‧主系統

253‧‧‧處理器

254‧‧‧記憶控制器

255‧‧‧週邊介面

256‧‧‧儲存單位

257‧‧‧外部閘道器

258‧‧‧高頻電路

259‧‧‧天線

260‧‧‧聲頻電路

261‧‧‧揚聲器

262‧‧‧擴音器

263‧‧‧感測器

264‧‧‧輸出入副系統

265‧‧‧顯示控制器

266‧‧‧光學感測控制器

267‧‧‧輸入控制器

268‧‧‧觸板顯示系統

269‧‧‧光學感測器

270‧‧‧輸入單位

300‧‧‧影像搜尋系統

400‧‧‧網路

500‧‧‧顯示幕

502‧‧‧搜尋字組方格

504a,504b,504c,504d‧‧‧影像

506a,506b‧‧‧叉號

506c,506d‧‧‧問號

510‧‧‧虛線

512‧‧‧方格

514‧‧‧游標

S102‧‧‧接收搜尋字組

S104‧‧‧獲得影像

S106‧‧‧所得影像與先前影像比較

S108‧‧‧顯示具有先前註解之影像

S110‧‧‧接收使用者手寫註解

S112‧‧‧根據先前選擇做為負片檢測負片候選

S114‧‧‧於負片候選添加註解

S116‧‧‧是否完成

S118‧‧‧儲存註解

第1圖為註解顯示輔助裝置具體例功能性結構一實施例之方塊說明圖；第2圖為註解顯示輔助裝置具體例硬體結構一實施例之方塊說明圖；第3圖為顯示處理單位具體例所顯示的顯示幕一實施例之視圖；第4圖為顯示處理單位具體例所顯示的顯示幕另一實施例之視圖；第5圖為過程具體例之一實施例流程圖。

本發明其他目的、特點和優點，從以下參照附圖之詳述，即 可明白。

茲參見圖示具體例說明本發明。凡技術專家均知，使用本發明教示，可完成許多另類具體例，本發明則不限於為說明目的而圖示之具體例。

須知在就圖式說明中，同一組件標示同樣參照號碼，即不再贅述。

第1圖方塊圖，繪示註解顯示輔助裝置100具體例之功能性結構。

註解顯示輔助裝置100能夠經由網路400，諸如網際網路等，與外部影像搜尋系統300通訊，包含影像搜尋引擎，諸如谷歌影像搜尋(GIS)等。

在詳述註解顯示輔助裝置100的功能性結構之前，先解釋註解顯示輔助裝置100之硬體結構。

第2圖為註解顯示輔助裝置100具體例之硬體結構例繪示圖。於此說明註解顯示輔助裝置100例，為行動終端機，諸如智慧型電話、行動電話等。

註解顯示輔助裝置100包含電源系統251、主系統252、含處理器253、記憶控制器254和週邊介面255、儲存單位256、外部閘道器257、高頻電路258、天線259、聲頻電路260、揚聲器261、擴音器262、感測器263、輸出入(I/O)副系統264、含顯示控制器265、光學感測控制器266和輸入控制器267、觸板顯示系統268、光學感測器269、輸入單位270。雖然未顯示，感測器263可包含近接控制器、全局定位系統(GPS)電路、加速計、迴轉儀、磁力計、明度感測器等。

另外，註解顯示輔助裝置100可為終端裝置，諸如個人電腦等。

回頭參見第1圖，註解顯示輔助裝置100包含輸入接收單位12、顯示處理單位14、添加註解單位18、影像獲得單位16、影像資料儲存器20。

輸入接收單位12接收註解顯示輔助裝置100使用者之各種輸入操作。具體而言，輸入接收單位12接收來自使用者視覺概念之結構性 規格(以下稱「搜尋字組」)。當使用者想要獲得關於羊的影像時，搜尋字組可例如為「羊」。

影像獲得單位根據使用輸入搜尋字組，使用外部搜尋引擎，獲得第一組群內可能含有的影像。

影像獲得單位16根據搜尋字組，獲得(下載)與外部影像搜尋系統300所搜尋和定位的搜尋字組相關之第一組群內可能含有之影像。在此具體例中，第一組群是對搜尋字組為正之影像組群(以下稱「對搜尋字組正影像」)。因此，具體而言，影像獲得單位16根據搜尋字組，獲得(下載)對外部影像搜尋系統300所搜尋和定位的搜尋字組可能為正之影像(以下稱「對搜尋字組可能正影像」)。

顯示處理單位14在顯示單位，諸如觸板顯示系統等，顯示各種資訊項。具體而言，顯示處理單位14顯示影像獲得單位16所得搜尋字組可能正影像名單。

輸入接收單位12是在利用顯示處理單位14所顯示影像當中，接收由使用者選擇與搜尋字組相關的第二組群應含有之影像。在此具體例中，第二組群為對搜尋字組為負之影像組群(以下稱「搜尋字組負影像」)。因此，具體而言，輸入接收單位12是在顯示處理單位14所顯示可能正影像當中，接收由使用者選擇對搜尋字組為負之影像。

例如，顯示處理單位14分別以核對方格，顯示對搜尋字組可能正影像。然後，使用者可選擇手動標記或以核對方格核對方式，選擇搜尋字組負影像，附帶搜尋字組所界定視覺概念之影像。當使用者在核對核對方塊時，顯示處理單位14會在附帶影像上顯示負像符，諸如叉號，以指示其事實上為負影像。

添加註解單位18根據使用者選擇的負影像，在顯示處理單位14顯示的其餘可能正影像當中，檢測對搜尋字組可能負面之影像(以下稱「對搜尋字組可能負影像」)。此時，添加註解單位18可執行演算法，使用所選擇負影像為因果影像，以自動檢測顯示處理單位14顯示之其餘可能正影像，是否擬議為對搜尋字組可能負影像。此時，添加註解單位18可以使用類似性基礎比較、分類基礎比較等。

使用類似性基礎比較時，添加註解單位18對顯示處理單位 14所顯示各其餘可能正影像，與選擇之負影像進行比較。比較時可使用局部描述符，諸如標度不變特點轉換式(SIFT)，接著利用匹配描述符之幾何學驗證。

使用分類基礎比較時，添加註解單位18建立影像分類器，例如負影像是使用所選擇負影像，而正影像使用其餘可能正影像。

顯示處理單位14顯示對利用添加註解單位18所檢測可能負影像之註解，指示對搜尋字組可能負面之影像。指示影像可能為負之註解，可為負擬議像符，例如問號。

因此，使用者藉參照負擬議像符，附帶顯示處理單位14所顯示影像，可容易選擇對搜尋字組之負影像。輸入接收單位12由使用者接收選擇對搜尋字組之負影像。

當使用者選擇對搜尋字組負影像，結果即儲存於影像資料儲存器20內。具體而言，影像獲得單位16、搜尋字組，以及指示個別影像是否被使用者選擇為對搜尋字組負影像之資訊，所得各影像之影像資料，即彼此相對應儲存於影像資料儲存器20內。

又，當影像獲得單位16新獲得對搜尋字組可能正影像，為外部影像搜尋系統300所搜尋和定位時，添加註解單位18即可就新洛杉磯可能正影像和影像資料儲存器20內所儲存影像進行比較。然後，添加註解單位18可根據儲存於影像資料儲存器20內之影像，在新獲得影像當中，檢測對搜尋字組可能為負之影像。

第3和4圖係繪示顯示處理單位14所顯示的顯示幕500一實施例圖。

在第3圖中，假設於外部影像搜尋系統300提供的搜尋網站之搜尋字組方格502內，輸入搜尋字組「羊」。則影像獲得單位16從外部影像搜尋系統300，獲得複數對搜尋字組「羊」可能正影像。顯示處理單位14隨即顯示所得影像名單。第3圖繪示此等對搜尋字組「羊」可能正影像。

又，假設在虛線510內之影像，與使用者先前所得和驗證之影像相同。例如，假設影像504a由使用者先前核對，對搜尋字組「羊」為負，其結果即儲存於影像資料儲存器20內。因此，影像504a即顯示負像符之叉號506a。

在此狀態下，當使用者把游標514移到影像之一，例如影像504b，使用者以為對搜尋字組「羊」為負時，即顯示方格512。另外，亦可原先就對全部影像分別顯示方格。然後，當使用者核對方格512，於影像504b顯示叉號506b，如第4圖所示。

然後，添加註解單位18根據使用者選擇的負影像504a和504b，在其他可能正影像當中，檢測對「羊」可能負影像，以及其餘可能正影像。

例如，在此情況時，如第4圖所示，影像504c和504d分別顯示負擬議像符之問號506c和506d。

以此組態。使用者看到問號506c和506d即可容易辨認對搜尋字組「羊」可能負影像。

第5圖為說明具體例過程實施例之流程圖。

首先，輸入接收單位12接收搜尋字組(步驟S102)。其次，影像獲得單位16從外部影像搜尋系統300，獲得對搜尋字組之複數可能正影像(步驟S104)。

然後，添加註解單位18就所得影像，與影像資料儲存器20內所儲存，業經驗證或核對過對搜尋字組為負的首先所得影像，進行比較(步驟S106)。影像處理單位14即顯示由影像獲得單位16所得具有負像符(先前註解)等之影像(步驟S108)。

然後，輸入接收單位12接收由使用者選擇對搜尋字組負影像(手動註解)(步驟S110)。此時，顯示處理單位14顯示對使用者選擇為負影像之負像符。

然後，添加註解單位18根據使用者現時或先前選擇對搜尋字組為負之影像，檢測對搜尋字組可能負影像(負候選)，和其餘可能正影像(步驟S112)。

顯示處理單位14顯示負擬議像符，具有被檢測對搜尋字組可能負之影像(步驟S114)。

然後，決定註解過程是否要結束(步驟S116)。當註解過程未結束(在步驟S116為否)，過程回到步驟S106，重複同樣步驟。當註解過程結束時(在步驟S116為是)，添加註解單位18把影像獲得單位16以 搜尋字組所得各影像，以及指示個別影像是否被使用者選擇為對搜尋字組負影像之資訊，加以儲存在影像資料儲存器20內(步驟S118)。

另外，在步驟S116，不論使用者確認為對搜尋字組正影像的影像數是否達到目標數，可決定註解過程是否結束。具體而言，在步驟S116，當確認為對搜尋字組正影像之影像數，到達目標數，即決定註解過程結束。另方面，在步驟S116，當確認為對搜尋字組正影像之影像數未達目標數，過程回到步驟S104，可下載新影像。

按照具體例，每次使用者選擇對搜尋字組為負之影像時，即檢測對搜尋字組可能負影像。則檢測到新的可能負影像時，即顯示註解為負擬議像符，指示個別影像係對搜尋字組可能為負。於此，當添加註解單位18檢側對搜尋字組可能負影像時，添加註解單位18即利用從缺值處理可能負影像(分別具有負擬議像符之影像)，為當然負影像。

因此，使用者容易準備訓練集合，因為使用者一看負擬議像符，即可快速選擇對搜尋字組為負的影像。

其貢獻在於順利加速並且更經濟進行正集合註解原有飛動式影像分類系統。在尚未檢測影像內負面之自動擬議，得以更快速註解正集合，讓使用者經驗更流暢。

上述具體例以註解過程對可能正影像的資料集合進行為例。另外，同樣邏輯和系統可用於可能負影像之資料集合。意即第一組群和第二組群分別為，對搜尋字組為負之一組群影像，和對搜尋字組為正之一組群影像。

例如，可用來手動註解最具影響的負影像(較接近劃分超平面的影像)。在如此情況時，顯示處理單位14會顯示可能負影像。則使用者可在可能負影像當中，選擇對搜尋字組為正之影像。然後，顯示處理單位14可以使用者選擇為正之影像，顯示正像符。

然後，添加註解單位18根據使用者選擇的正影像，檢測顯示處理單位14所顯示其餘可能負影像當中之可能正影像，和其他可能負影像。則顯示處理單位14可分別顯示具有可能正影像之正擬議像符。然後，使用者一看正擬議像符，即可容易選擇對影像為正之影像。

又，可能有一種情況，即從外部影像搜尋系統300，諸如 GIS，下載之影像呈現反覆性。此反覆性致使註解過程不必要地費時。因此，含有同樣視覺資訊的影像，可利用影像簇集化檢測，並可以堆壘方式顯示。簇集化過程可用以上詳述的類似性基礎比較進行。以此組態，使用者可以更快速註解較大範圍的影像，已知較大訓練集合對結果有重大的正面衝擊。在此情況，視情形，使用者能夠延伸堆壘影像，以檢驗影像簇集。

註解顯示輔助裝置100之個別組件，可藉硬體和軟體之任意組合具現，典型例為任意電腦之CPU、記憶器、載錄於記憶器內之程式，以具現圖上所示組件，儲存程式用之儲存單位，諸如硬碟，以及網路連接用之介面。技術專家均知，具體例之方法和裝置，容許各種修飾。

本發明不限於特殊揭示之具體例，可有變化例和修飾例，不違本發明之範圍。

S102‧‧‧接收搜尋字組

S104‧‧‧獲得影像

S106‧‧‧所得影像與先前影像比較

S108‧‧‧顯示具有先前註解之影像

S110‧‧‧接收使用者手寫註解

S112‧‧‧根據先前選擇做為負片檢測負片候選

S114‧‧‧於負片候選添加註解

S116‧‧‧是否完成

S118‧‧‧儲存註解

Claims (7)

1. 一種註解顯示輔助裝置，包括：顯示處理單位，顯示與搜尋字組相關的第一組群內可能含有的影像；輸入接收單位，在顯示處理單位所顯示影像當中，接收選擇與搜尋字組相關的第二組群內應含有的影像；添加註解單位，根據所選擇要包含在第二組群內的影像，在顯示處理單位所顯示影像當中，除所選擇要包含在第二組群內的影像以外，檢測可能屬於第二組群的影像，供添加與影像關聯之註解；其中顯示處理單位顯示由添加註解單位檢測可能屬於第二組群的影像關聯之註解，註解指示可能屬於第二組群之影像者。
2. 如申請專利範圍第1項之註解顯示輔助裝置，其中第一組群和第二組群，分別為對搜尋字組為正之影像組群和對搜尋字組為負之影像組群，或分別為搜尋字組為負之影像組群和對搜尋字組為正之影像組群者。
3. 如申請專利範圍第1項之註解顯示輔助裝置，又包括影像獲得單位，根據輸入搜尋字組，使用外部搜尋引擎，獲得第一組群內可能含有之影像；其中顯示處理單位顯示由影像獲得單位所獲得之影像者。
4. 如申請專利範圍第1項之註解顯示輔助裝置，其中根據之影像除現時選擇要包含於第二組群之影像外，有先前選擇要包含於第二組群之影像，在顯示處理單位所顯示其餘影像當中，檢測可能屬於第二組群之影像者。
5. 如申請專利範圍第1項之註解顯示輔助裝置，其中顯示處理單位，以堆壘方式顯示經檢測含有同樣視覺資訊之影像者。
6. 一種註解顯示輔助方法，包括下列步驟：顯示與搜尋字組相關的第一組群內可能含有的影像；在顯示步驟時，所顯示影像當中，接收選擇與搜尋字組相關的第二組群內應含有的影像；根據所選擇要包含在第二組群內的影像，在顯示步驟時，所顯示影像當中，除所選擇要包含在第二組群內的影像以外，檢測可能屬於第二組群的影像，供添加與影像關聯之註解；顯示在檢測步驟時，所檢測可能屬於第二組群的影像關聯之註解，註解指示可能屬於第二組群之影像者。
7. 如申請專利範圍第6項之註解顯示輔助方法，其中第一組群和第二組群，分別為對搜尋字組為正之影像組群和對搜尋字組為負之影像組群，或分別為搜尋字組為負之影像組群和對搜尋字組為正之影像組群者。