TW201042477A - Method and apparatus for providing visual search engine results - Google Patents

Method and apparatus for providing visual search engine results Download PDF

Info

Publication number
TW201042477A
TW201042477A TW099110872A TW99110872A TW201042477A TW 201042477 A TW201042477 A TW 201042477A TW 099110872 A TW099110872 A TW 099110872A TW 99110872 A TW99110872 A TW 99110872A TW 201042477 A TW201042477 A TW 201042477A
Authority
TW
Taiwan
Prior art keywords
image
rti
images
search query
search
Prior art date
Application number
TW099110872A
Other languages
English (en)
Inventor
Peter Eskolin
Juha Arrasvuori
Petri Piippo
Jussi Severi Uusitalo
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW201042477A publication Critical patent/TW201042477A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • G06Q30/0256User search

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

201042477 六、發明說明: c發明戶斤屬之技術領域3 本發明係有關於用以提供視覺搜尋引擎結果之方法與 裝置。 發明背景 隨著大量資訊可在網際網路上及在大型獨立資料儲倉 内輕易獲得,許多使用者發現一搜尋引擎的本質是當需要 〇 時識別相關資訊。開始,搜尋引擎已為可用的不同文件之 本文内容編索引,包括任何元資料,若存在的話。照片及 '其他影像成為網際網路中使用的内容的日益重要的形式。 -遺憾的是,用於視覺内容的傳統搜尋引擎是不精確的,因 為它們帶有基於本文的搜尋引擎的遺留問題。此外,此等 遺留問題在功率受限以及頻寬受限的裝置中顯得更加突 出。例如,行動裝置具有限制條件,諸如小螢幕尺寸及相 對較慢及較昂貴的資料傳送率。 〇 C發明内容3 某些示範性實施例 因此,需要允許一使用者以基於與一特定搜尋更相關 者來減少影像資料量的方式搜尋及檢索影像内容的一方 法。 依據一實施例,一電腦可讀媒體載有一個或一個以上 指令形成的一個或一個以上序列,當該一個或一個以上序 列由一個或一個以上處理器執行時使該一個或一個以上處 201042477 理器針對一個或一個以上影像形成的一第一集合中的每一 影像,識別與一搜尋詢問有關的每一影像的一各自部分; 針對一個或一個以上影像形成的該第一集合中的每一影 像,擷取出該各自部分以產生一各自的被擷取出來的影像 部分;及產生一個或一個以上影像形成的一第二集合,其 中該第二集合之每一影像分別與該等被擷取出來的各自部 分其中之一相對應。 依據另一實施例,一裝置包含一處理器及一儲存可執 行指令的記憶體,若該等指令被執行會使該裝置針對一個 或一個以上影像形成的一第一集合中的每一影像,識別與 一搜尋詢問有關的每一影像的一各自部分;針對一個或一 個以上影像形成的該第一集合中的每一影像,擷取出該各 自部分以產生一各自的被擷取出來的影像部分;及產生一 個或一個以上影像形成的一第二集合,其中該第二集合之 每一影像分別與該等被擷取出來的各自部分其中之一相對 應。 依據另一實施例,一裝置包含用以針對一個或一個以 上影像形成的一第一集合中的每一影像,識別與一搜尋詢 問有關的每一影像的一各自部分之手段;用以針對一個或 一個以上影像形成的該第一集合中的每一影像,擷取出該 各自部分以產生一各自的被擷取出來的影像部分之手段; 及用以產生一個或一個以上影像形成的一第二集合之手 段,其中該第二集合之每一影像分別與該等被擷取出來的 各自部分其中之一相對應。 201042477 依據另一實施例,一裝置包含一處理器及一儲存可執 行指令的記憶體,若該等指令被執行會使該裝置至少:將 一搜尋詢問傳送至一視覺搜尋引擎,該搜尋詢問包括一個 或一個以上關鍵字;及提供一個或一個影像形成的一集合 作為該搜尋詢問的結果,其中該等結果之每一影像包括與 該搜尋詢問有關的一部分且忽略與該搜尋詢問無關的一部 分。 依據另一實施例,一裝置包含一處理器及一儲存可執 〇 行指令的記憶體,若該等指令被執行會使該裝置至少:將 一搜尋詢問傳送至一視覺搜尋引擎,該搜尋詢問包括一個 或一個以上關鍵字;及提供一個或一個影像形成的一集合 -作為該搜尋詢問的結果,其中該等結果之每一影像包括與 該搜尋詢問有關的一部分且忽略與該搜尋詢問無關的一部 分。 依據又一實施例,一方法包含將一搜尋詢問傳送至一 視覺搜尋引擎,該搜尋詢問包括一個或一個以上關鍵字; Ο 及提供一個或一個影像形成的一集合作為該搜尋詢問的結 果,其中該等結果之每一影像包括與該搜尋詢問有關的一 部分且忽略與該搜尋詢問無關的一部分。 僅藉由說明多個特定實施例及實施態樣,包括可以想 到的用以實現本發明的最佳模式,本發明之其他層面、特 徵及優勢在以下詳細說明中是清楚的。本發明還能夠以其 他及不同方式實施,且其若干細節可在各種明顯方面做修 改,均不背離本發明之精神及範圍。因此,圖式及說明在 5 201042477 本質上將被視為說明性的且不視為限制性的。 圖式簡單說明 第1A圖是依據一示範性實施例的能夠提供一視覺搜尋 引擎的一通訊系統的一圖式; 第1B圖是依據一實施例的用以修改影像内容的一系統 之功能組件的一圖式; 第2 A圖是依據一實施例的用以接收影像之相關部分的 一程序的一流程圖; 第2 B圖是依據一實施例的用以擷取出及返回影像之相 關部分的一程序的一流程圖; 第3 A圖是依據一實施例的用以組合物件(object)及影 像之相關部分的一程序的一流程圖; 第3B圖是依據一實施例的用以擷取出及返回影像之相 關部分的一程序的一流程圖; 第3 C圖是依據一實施例的響應於一詢問而返回的圖形 搜尋結果的一範例; 第3D圖是依據另一實施例的響應於一詢問而返回的圖 形搜尋結果的一範例; 第3E圖是依據一實施例的一示範性視覺搜尋引擎使用 者介面; 第3 F圖是依據一實施例的響應於一詢問而返回的圖形 搜尋結果的一範例; 第3G圖及第3H圖是依據一實施例的具有一搜尋臨界 值控制器的一視覺搜尋引擎使用者介面的範例; 201042477 第31圖及第3J圖是依據一實施例的與搜尋視訊内容有 關的一視覺搜尋引擎使用者介面的範例; 第3K圖是依據一實施例的允許搜尋背景及前景影像的 一視覺搜尋引擎使用者介面的一範例; 第3L圖是響應於第3K圖之該視覺搜尋引擎的一詢問 而返回的圖形搜尋結果的一範例; 第4圖是依據一實施例的用以組合物件及影像之相關 部分的一程序的一流程圖; 〇 第5圖是依據一實施例的用以形成用於影像内容的一 搜尋詢問的一程序的一流程圖; 第6圖是依據一實施例的用以形成用於視訊内容的一 -搜尋詢問的一程序的一流程圖; 第7圖是依據一實施例的用以修改影像内容搜尋結果 的一程序的一流程圖; 第8圖是可用以實施本發明的一實施例的硬體的一圖 式; 〇 第9圖是可用以實施本發明的一實施例的一晶片組的 一圖式;且 第10圖是可用以實施本發明的一實施例的一行動台 (例如,手持話機)的一圖式。 【實施方式3 較佳實施例之說明 用以修改由一搜尋詢問產生的影像内容的一方法及裝 置被揭露出來。在以下說明中,出於解釋的目的,許多特 7 201042477 疋-田節被提及以提供對本發明之實施例的全面理解。然 而热於此技者將清楚的是本發明之該等實施例可不利用 此等特等㈣來實踐或_—等效安排來實踐。在其他情 况下’習知的結構及裝置⑽塊圖的形式顯示出來以避免 不必要地模糊了本發明之實施例。 第1A圖是依據—示範性實施例的能夠提供一視覺搜尋 引擎的一it訊系統的_圖 <。在該系統1〇〇中一使用者裝 置102由一使用者來操作以透過網路1〇4來存取各種可用資 源。特別的是’該使用者震置102可依賴-服務提供者1〇6 來接取該網路104。該使用者裝置102可以是任何類型的行 動終端機、S1定終端機或可攜式終端機,包括行動手持話 機、電台、部件(_)、裝置、多媒體平板裝置、網際網路 節,.έ通。11器桌上型電腦、膝上型電腦、個人數位助理 (PDA)或它們的任何組合。還可以想到的是該等UE 101a-101n可支持給使用者的任何類型的介面(諸如,「隨身 (w_ble)」電路等)。針對諸如一蜂巢式電話的—行動裝置 而吕,一特疋载體可提供服務使得該使用者裝置102可接取 網路。使用此此力來接取該網路1Q4,該使用者裝置搬可 與其他電腦及系統通訊。這樣的-種系統的-範例是一搜 寻引擎108。特別的是,該搜尋引擎綱可准許搜尋影像及 其它視覺資訊’諸如視訊内容。 應i識到的疋儲存、搜尋及檢索影像或視訊資料已成 為U亍應用。在許多情況下,一影像的多個區域被識 別出來且與關鍵字或「標籤」相關聯。因此’―傳統關鍵 201042477 字搜尋詢問可提供給一搜尋引擎,且具有意指一影像之視 覺内容與該等關鍵字匹配的與該等詢問關鍵字匹配的一個 或一個以上標籤的影像資料可被定位。因為影像及視訊資 料在大小方面可能遠大於本文内容,返回作為搜尋結果的 影像資料可能速度緩慢且繁複,依該影像資料傳送所經過 的網路連接的速度及容量而定。允許影像資料以與本文資 訊相同的方式來搜尋及檢索擴展了使用者可用的内容的類 型;然而,此額外内容可能有時會使一使用者的網路體驗 Ο 的顯著迅速及響應性降級。 .典型的是,一使用者裝置102將一搜尋詢問傳送至該搜 哥引擎108,3亥搜哥引擎1〇8接著識別且返回相關搜尋結 ’ 果’諸如’舉例來說’與該搜尋詢問有關的影像^該搜尋 引擎108搜遍的内容可儲存在本地或可透過該網路1〇4儲存 在其他可用的内容提供者11〇處。 藉由舉例的方式,系統1〇〇之該通訊網路1〇4包括一個 或—個以上網路,諸如,-資料網路(圖未示)、—無線網路 (圖未示)、一電話網絡(圖未示)或它們的任何組合。可以想 到的是該資料網路可以是任何區域網路(L AN)、都市區域網 路(MAN)、廣域網路(WAN)、網際網路或任何其他適合的 分封交換網路’諸如一商營專屬的分封交換網路,例如, 一專屬纜線或光纖網路。除此之外,該無線網路例如可以 疋一蜂巢式網路且可使用各種技術,包括全域進化增強資 料率(EDGE)、通用封包無線電服務(GpRS)、全球行動通訊 系統(GSM)、網際網路協定多媒體子系統(IMS)、通用行動 9 201042477 電訊系統(UMTS)等以及任何其他適合的無線媒體,例如, 微波接取(WiMAX)、長期演進(LTE)網路、分碼多重存取 (CDMA)、無線保真度(WiFi)、衛星、行動隨意式網路 (MANET)及類似者。 作為一範例,該視覺搜尋引擎108可以是允許使用者錯 存照片、影像及其他類似資訊的一站點。藉由舉例的方式, 當使用者上載該等照片時,每一照片可加有與該照片之該 等内容有關的一個或一個以上關鍵字的標籤。除了照片之 外’其他類型的影像及視覺資訊也可被提交。為一影像加 標籤的一部分還可包括使該影像之多個區域與一標籤或關 鍵字相關聯。因此,與一影像相關聯的元資料可包括相關 關鍵字且還包括與該等關鍵字相關聯的影像位置座標。 在一實施例中,當一使用者調用該搜尋引擎1〇8時,該 使用者可輸入關鍵字且甚至影像座標以識別相關照片及影 像。該搜尋引擎10 8將該等相關影像定位且將它們作為_結 果集返回給該使用者。該搜尋引擎1〇8,在至少某些實施; 中,將依據相關性或某些其他標準(例如,曰期、尺寸、檔 案類型等)來將該等搜尋結果排名。 ° ★稍後將更全面地加以描述的該搜尋引擎1〇8可操縱該 等搜尋結果且從該特尋結果之料影像巾加人或移除内 容,若需要的話。因為該等搜尋結果還可透過該服務提供 者1〇6作為轉送至該使用者裝置1G2之前的-中間步驟而返 回’該服務提供者1G6切操職錢尋結果^等影像。 儘管第1A圖特別# a月τ Ακη , 關㈣了—網路平台,上述該操作也可 10 201042477 由一使用者來執行,該使用者實際上位於該搜尋引擎108附 近且使用一本地使用者介面而不是透過該網路104來通訊 的一裝置102。
本文所描述的用以操縱自一搜尋引擎返回的該等影像 的該等程序可經由軟體、硬體(例如,—般處理器、數位信 5虎處理器(DSP)晶片、一特定應用積體電路(ASIC)、現場可 規劃閘極陣列(F P GA)等)、韌體或它們的一組合來實施。這 樣的用以執行所述該等功能的示範性硬體在下文詳細地加 以描述。第1B圖是依據一實施例的用以修改影像内容的一 系統的功能組件的一圖式。該系統13〇之該等功能組件可以 此等組態中的任何組態來實施。 一圖像接收模組132接收被確定為與—搜尋詢問有關 的一影像集合。該影像集合可為空或可包括數百影像。還 有分析關資訊的—關分析·134。此㈣資訊可明確 提供給該模㈣4或可㈣接收· 134接㈣該等影像内 的標籤資訊中操取出來。在某些實施例中,所接收的該等 影像中的每一者將包括具有相對應的標籤的-個或-個以 上部分且該詢問將具有可能與該等標籤有_-個或_個 以上關鍵丰。 上::問、該等標鐵及該等影像中的-個或-個以 ^母了像之相_分被—模組136識㈣來 中擷取出來。此外,^ 基於垓詢問、該等標籤及該等影像中 的一個或一個以上,鈿 上相關的額外材料(例如,廣 模组138來產生。該舘埂口)由產生 才料之產生可包括檢索預組配材料 11 201042477 或由其他資訊源來構建該額外材料。一組合模組140接收用 於一影像的該額外材料及此影像之該等被擷取出來的部分 且將它們組合成一組合影像。該組合影像集合接著被集合 以形成一結果集。此集合功能由一結果集產生模組142來執 行。一旦被集合,其他組件可接著將該結果集傳送或轉送 給一終端使用者或其他系統。 第2A圖是依據一實施例的用以接收影像之相關部分的 一程序的一流程圖200。依據步驟202,一使用者調用一視 覺搜尋引擎(例如,第1圖之引擎108)。如上文所提到者,這 樣的一搜尋引擎108允許一使用者詢問及檢索視覺資訊,諸 如,影像、視訊、照片及類似者。一般說來,在步驟204中, 一詢問採取輸入描述一影像之内容的關鍵字的形式。在這 樣的一詢問可提供有用結果之前,每一影像與與其内容有 關的一個或一個以上標籤或關鍵字相關聯。例如,一隻狗 在一公園中接一飛盤的一圖像可包括該等標籤:「狗」、「玩 耍」、「飛盤」、「戶外」、「公園」、「草地」等。因此,包括 此等關鍵字的一搜尋詢問將使一搜尋引擎將此影像定位為 與該搜尋有關。 在步驟206中,可取捨項目也可作為該搜尋詢問的一部 分而被包括。此等可取捨項目與每一標籤相關聯且可進一 步描述與此標籤相關聯的該影像之該部分。因此,以上被 識別出來的該等標籤也可具有關聯參數。額外資訊之二範 例可以是一「尺寸」參數及一「位置」參數。接著,在形 成一搜尋詢問的過程中,一使用者可指定一關鍵字以及與 12 201042477 此關鍵子相關聯的額外參數。該尺寸參數例如可以是與一 :像相關的—百分率(例如,「大於5〇%」)或某些其他固定 量。因此,該搜尋詢問可請求包括具有—隻狗的一部分的 p像八中此部分佔據該影像的一半以上。這樣的一詢問 可月b返回—隻狗為該影像的首要主體而不僅僅是一次要主 體的大多數影像。 至於該「位置」參數,其可被指定為—矩形(或其他形 狀)的邊界點或一特定部分之中心座標或在一影像内指定 區域的任何其他方式。例如,若一使用者正在搜尋—影 像β亥使用者可隱約記得右下角有一隻狗,則他們可限制 該搜尋詢問忽略具有一標籤為「狗」但是其中該加標籤部 分在除了該右下角之外的某個地方的影像。 在形成該詢問過程中指定該「尺寸」或「位置」參數 時’該使用者可使用數字或相似輸入來做這件事;或可被 提供以一圖形介面來做這樣事。例如,一空白影像模板呈 現給該使用者,他們可在該模板上牽曳一方框以為該詢問 中的一關鍵字指定一位置及/或一尺寸。該使用者還可被准 許設定一相關性參數使得他們在某種程度上可控制由該搜 尋引擎返回的影像的數目。 基於該等關鍵字及任何其他參數,在步驟2〇8中,響應 於該詢問,搜尋結果由該使用者接收。特別的是,依據一 實施例,該等搜尋結果忽略與該等詢問關鍵字無關的每一 影像之那些部分,而不是接收該搜尋引擎視為相關的每一 影像的整個影像。因此,對一「狗」的一搜尋將產生已從 13 201042477 二影像中擷取出來的許多狗的影像,該較大影像可能 :作為該等搜尋結果中_f影像的—部分返回的諸 :s、」、「飛盤」等的其他加標籤部分。因此,由該使用 :的該影像資訊與如果在該等搜尋結果中返回每個整 ‘像相比可急劇減少。最終,在步驟21〇中,該使用者可 = 等搜尋結果影像的-介面。該等影像例如可以 順縣^問最接近匹配的該等影像被優先顯示的相關性 關部=糊―冑麵顿#㈣及返回影像之相 刀 矛茨序的一流程圖230。在步驟232中,一搜尋士旬 =Γ使用’在步驟234中,識別相關或匹配影像。如 八相對^者,該搜尋_可以是與1像内之加標籤部 ::對::關鍵字且還可包括進-步使該詢問精煉的額外 ^二在步驟236中’每-影像之該等相關部分從被識別出 來的該匹配影像集合中_取出來。因為該搜尋詢問可包 :二或:個以上關鍵字,也可能存在針對每—影像的一 s固以上被擷取出來的部分。在步驟238中, =像之該等被擷取出來的部分作為該搜尋關的== :3A圖是可用以實施本發明的—實施例的用以組合物 件及影像之相關部分的-程序的一流程圖则。除此之外, 爲了減少作為搜尋結果岐回的影像資料,實施例還可以 想到將相關資訊加人到該等被齡出來的影像部分中。 在步驟302、304及306中,—搜尋引擎接收—詢問,識 201042477 別匹配影像且從每一影像中擷取出相關部分。此等被擷取 出來的部分與其他物件組合而不是作為搜尋結果被直接傳 送。在一範例中,所加入的該等物件包括相關廣告資訊。 這樣的物件還可包括相關内容的超鏈結、嵌入式視訊資料 或額外的多媒體内容。 在步驟308中,與該搜尋詢問有關或與與該等被擷取出 來的部分相關聯的該等標籤有關的一個或一個以上廣告被 識別出來。例如,若該被擷取出來的部分具有一相對應的 〇 標籤「狗」,則寵物相關廣告可被識別出來且與該等搜尋結 果内的該等被擷取出來的影像中的一個或一個以上影像組 '合。若該等搜尋詢問關鍵字包括「狗」及「樹」,則寵物相 關廣告仍可被識別出來且組合即使該被擷取出來的部分之 標籤為「樹」。因此,僅該被擷取出來的部分的標籤可用以 識別相關廣告或該等詢問關鍵字也可同樣使用。 與每一被擷取出來的影像組合的物件的形式可差異很 大。例如,該廣告可以是疊加在該被擷取出來的影像部分 〇 上的一標誌的一影像。其可以是疊加或嵌入有測試資訊的 超鏈結,該等超鏈結是始終可見的或僅當一游標懸停在該 影像部分上時變成可見的。此外,該等廣告物件可特別地 經設計以在將廣告加入到搜尋引擎結果中的一系統中使用 或該等廣告物件自身可從出於獨立目的而創作的一般視覺 廣告中被擷取出來。因此,當識別一相關廣告時,一系統 可將特定的預製影像或物件定位且將它們與該等搜尋結果 中的該等被擷取出來的部分組合。可選擇地,該系統可搜 15 201042477 遍廣告影像,擷取出此等廣告影像之相關部分且僅將該等 被擷取出來的廣告部分與該等搜尋結果之該等被擷取出來 的部分組合。 不管該系統如何識別相關廣告資訊,在步驟310中,此 資訊與該等搜尋結果内的影像之被擷取出來的部分中的一 個或一個以上部分組合。在步驟312中,此組合材料作為它 們的詢問的該等結果返回給一使用者。每個被擷取出來的 影像部分可與一廣告物件組合或僅被選定的多個影像部分 可與一廣告物件組合。此外’ 一個以上廣告物件可加入到 一被擷取出來的影像部分中。 第3B圖是可用以實施本發明的一實施例的用以擷取出 及返回影像之相關部分的一程序的一流程圖330。擷取出與 一搜尋詢問匹配的該等影像之該等相關部分可由該搜尋引 擎來執行或其可由介於該終端使用者與該搜尋引擎之間的 通訊路徑中的某些中間裝置來執行,包括該終端使用者裝 置若其具有適當的性能。在步驟332中,以這樣的一種配 置,一影像集合與該搜尋詢問的至少一部分一起自該搜尋 引擎被接收。例如,該等影像將各具有與該搜尋詢問之至 少一部分相對應的一個或一個以上關聯標籤。除此之外, 該搜尋引擎可分開返回導致被接收的該影像集合的該搜尋 詢問串。若包括一中間裝置,則該搜尋詢問可自該使用者 接收,在一般通訊的過程中轉送至該搜尋引擎,且接著當 它們被接收時與該等搜尋結果匹配。藉由此等技術中的任 何技術,關於產生該等結果影像的該搜尋詢問的知識被提 16 201042477 供。基於該搜尋詢問,在步驟334中,來自與該搜尋詢問相 關的每-影像的-個或-個以上部分被擷取出來。在步驟 别中,此等被擷取出來的部分作為影像返回給使用者。例 如’具有與該«詢财的-_字匹配的—職的一影 像之多個部分可漏取出來。若—細上被擷取出來的部 刀由單-影像產生,則此等被操取出來的部分可作為結 果集中的不同影像來傳送或作為該結果集中的一組合式單 一影像來傳送。 第3C圖顯示搜尋結果可如何返回給—終端使用者的一 範例。影像340具有與其不同部分相關聯的多個標籤338, 諸如<狗>、〈公園>及<樹>。因此,該影像34〇將被確定為 與包括諸如「狗」的關鍵字的一搜尋詢問相關。因此,加 有「狗」標籤的該影像340之該部分返回給該使用者且若需 要的話可附有一標記344。忽略了該影像34〇之該等其他部 分,可減少傳送至該終端使用者的資訊量。 第3D圖顯示如何為該等搜尋結果安排版式及返回該等 搜寻結果的一可選擇範例。在此範例中,具有一強調區域 348及一模糊或未加強調區域350的一影像346可被返回。因 此’具有該標籤「狗」的該部分348之細節清晰可見而該影 像346之剩餘部分350幾乎察覺不到。因此,關於狗的資訊 352或關於狗的資訊的一超鏈結可加入到該影像346中。廣 告354或廣告鏈結也可加入。因為該區域35〇之未加強調的 性質’該資訊352及廣告354可以簡潔的方式見到。 第3E圖描述對形成用以提交給一視覺搜尋引擎的詢問 17 201042477 有用的一使用者介面356的一範例。在該使用者介面中,該 使用者可牵曳及續·製一搜尋框358連同加入該圖中所示的 一個或一個以上關鍵字「狗」。該搜尋框358可被牽曳到該 介面356内的一所欲位置中且還被定為所欲尺寸。介面36〇 描述不僅一搜尋框可被定義而且兩個不同的搜尋框362、 364(或更多)可用以形成一詢問。每_方框362、364可獨立 地具有不同的尺寸、位置及關鍵字。 第3F圖描述可被視為與具有用於一「狗」的一搜尋框 358的第3E圖之該搜尋詢問相關的一影像366的一範例。該 影像366包括加標籤為一「狗」的一部分368。如圖所示, 該部分368沒有恰好處於該搜尋框358的位置中,並且與該 搜尋框358之尺寸相異。因此,該搜尋引擎不僅僅尋找精確 匹配者而且可找到與該搜尋詢問不同但相似的影像。第3G 及3 Η圖描述允許一使用者在某種程度上控制哪些影像被視 為「相似」及哪些影像應該被視為與該詢問無關的一使用 者介面的一範例。該使用者介面356及該搜尋框相對於第3Ε 圖被引入,然而,在此實例中,由一臨界值控制器372控制 的一區域370包括在内。使用一滑動條或其他介面組件,一 使用者可決定環繞該搜尋框358的該區域370的尺寸。 因此,使用該臨界值控制器372,該使用者可藉由控制 該區域3 70之尺寸來控制哪些影像被視為滿足該搜尋詢 問。具有位於區域370内但不位於搜尋框358内的匹配加標 籤部分的影像仍作為該搜尋的結果而返回。至於此等影像 之排名’該加標籤部分離該搜尋框358越遠,一影像在該結 201042477 果集中的排名越低。此在第3H圖中加以描述,其中一搜尋 框374被一區域376環繞。該區域376中描述的該等百分率顯 示一匹配影像將在該等搜尋結果中如何加權,或排名。 第31圖是用以形成提交給可搜尋視訊内容的一搜尋引 擎的一詢問的一使用者介面的一範例。第31圖之該使用者 介面允許一使用者定義一初始搜尋框378。和之前一樣,該 搜尋框378可定尺寸、定位及加標籤以定義搜尋標準。接下 來,一結束搜尋框380可以一相似的方式來定義。將此詢問 〇 提交給一搜尋引擎將使該搜尋引擎搜尋視訊序列,該視訊 序列中存在一隻狗被定位於搜尋框378之區域附近的—影 — 像且在該序列中存在某個後續影像,其中該狗位於該結束 搜尋框380附近。此類型的搜尋可進一步由將額外的標準加 入到該搜尋詢問中來精煉。例如,一路徑382可被緣製或以 其他方式加入以描述該搜尋詢問限於搜尋大體上按照介於 該二方框378與380之間的該型樣或路徑382移動的狗。當該 使用者繪製該路徑382時,它們可包括定義(378,380)中的哪 〇 個搜尋框為起始框及哪個搜尋框為結束框的方向的一表 示。該使用者還可定義一持續時間384以進一步使該搜尋標 準精煉。該「持續時間」384表示該狗何時處於該搜尋框378 的位置及何時出現在該結束搜尋框380之間的該視訊序列 中的近似時間。 第3J圖是用以形成提交給可搜尋視訊内容或諸如幻燈 片的内容的一搜尋引擎的一詢問的一使用者介面的一範 例。此介面允許該使用者指定一個初始影像386及一個第二 19 201042477 影像387。接著該使用者指定—轉場方法(transiti〇n method)388。料料可包料_方法如健(em_t〇)、 淡接(fade)、擦接(wipe)、定向擦接(例如,從右邊,從頂部)、 交錯等。由於這樣的-搜尋詢問,—搜尋引擎將定位與該 詢問中指定的該起始及結束影像標準以及該轉場方法匹配 的影像序列。 第3K圖是允許-使用者搜尋背景影像及前景影像的一 使用者介面的-範例。例如,該使用者可首⑽製或定義 欲尋找的-背景影像的-般形狀_。該使用者可使用一尖 筆391來圖形化地描述此背景影像之形狀。與料景影像分 離’該介面還包括用以為-前景影像393定義一搜尋詢問的 一輸入螢幕392。基於此組合式搜尋標準,該搜尋引擎可定 位相似影像,諸如,第3L圖中所顯示的該二影像394。若該 等影像394中的任一影像包括關於—地理位置的資訊或相 似類型的資§Κ ’則除了僅返回該等影像394之外,與該等影 像或該等影像之位置有關的一廣告395(或另一物件)也可被 加入且返回。 第4圖是可用以實施本發明的—實施例的用以組合物 件及衫像之相關部分的一程序的—流程圖4〇〇。就像擷取出 相關影像部分可由一搜尋引擎之外的系統來執行一樣,擷 取出相關部分、識別相關廣告物件及將二者組合也可以是 這樣。在步驟402、404中,一影像集合自一搜尋引擎接收 且相關部分基於產生該結果影像集合的該搜尋詢問被擷取 出,很像第3Β圖之該等步驟332及334。 20 201042477 然而’在步驟撕中,與該詢問有關的廣告或廣告之部 分被識別出來。如上文所討論者’該等相關廣告可從可供 在影像中插人使用的特職計的廣告物件巾選定,或可以 是在與-影像組合之前被擷取出來的—般視覺廣告材料的 部分。在-全球或大規模網路環境中,用於相同實體的不 同版本的廣告材料可被使用。在此情況下,—相關廣告物 件首先被㈣出來且接著此廣告的_特林地、區域^國 際版本被選定㈣該等搜料果之該諸練μ的影像 部分組合。在步驟_中,被識別出來的任何相關廣告材料 與該等被榻取出來的影像部分中的—個或一個以上部分组 合。不同的廣告可用於相同的關鍵字或標籤。將廣告物件 加入到具有一「狗」的影像中的權利可給予一個以上公司 且因此具有辣影像的-結果集可具有_種以上類型的廣 告。甚至對於相同公司’不同廣告可出於多樣化的目的或 出於在不同時間具有不同的促銷活動的目的來使用。在步 驟410中,該組合材料(例如,該廣告物件及一各自的被擷 取出來的影像部分)作為一影像集合的搜尋結果而返回。 除了僅搜尋一影像之加標籤部分的關鍵字之外,其他 類型的使用者介面可用以定義所搜尋的該影像内容。第5圖 是可用以實施本發明的一實施例的用以形成用於影像内容 的一搜尋詢問的一程序的一流程圖500。在步驟502中調用 —搜尋引擎之後’在步驟504中,一使用者可繪製用於—背 景影像的一個一般形狀。該使用者還可使關鍵字與此形狀 相關聯或僅使用關鍵字來描述一背景影像。在步驟5〇6中, 21 201042477 該使用者可接著相似地描述—前景影像。基於該前景影像 搜尋標準及該背景影像搜尋標準,該搜尋引擎可接著奸 像中識別與二標準匹配(到某—程度)的影像,這些影像在步 驟508中作為結果而返回。 在某些情況下,返回的該影像可能與一特定地理位置 或區域相關聯。此關聯可透過該影像内的-明確標籤來表 不或其可從該影像之該視覺内容來推斷。無論在哪種情況 下,諸如關於該區域的廣告或相關超鏈結或資訊的物件可 在影像作為-搜尋詢_—結果返回之前與之組合。 第6圖是可用以實施本發明的—實施例的用以形成用 於視訊内容的—搜尋詢問的-程序的-流程圖_。除了靜 態影像搜尋之外,搜尋視訊内的視覺内容也是可能的。用 以執行此類型的搜尋的—方式為在步驟·巾則_搜尋 引擎且接著在步驟_及_中輪人關鍵字及移動參數。: 範例是搜尋-隻狗從該圖框的右上角朝向左下角方向移動 的視訊。在此範例中,該使用者可輸入該關鍵字「狗且 接著在-空白影像模板上繪製—起始框並在此模板上緣製 一結束框。具有通常知識者將認識到一圓形、擴圓形或不 規則區域可㈣該起始絲束框。該等起始騎束 寸及位置描述-隻狗在該二方框之間移動的尺 -可取捨的精__使用者還可被允許在該括㈣。 製-路徑。以此方式’僅該狗以類似於所$ 動的視訊糊被視為相關者。在步驟_/被、二移 該等影像作為搜尋結果而返回,該等影像可以:=: 22 201042477 終端使用者之前修改或可以沒有在轉送給一終端使用者之 前修改。依使用者及該搜尋引擎之設定及偏好而定,整個 視訊序列可被視為相關者而返回,僅介於該起始與結束框 之間的該視訊之該部分可被視為相關者而返回,或僅個別 的影像框中的一個或一個以上影像框可被視為相關者而返 回。 作為上文剛描述過的基於一移動的搜尋的—替代者, Ο
步驟604及606之搜尋可能與一視訊序列之轉場部分(例 如,淡接、直接切換、交錯淡接、擦接等)有關。該使用者 將指定一起始關鍵字及/或影像方框(例如,貓)及一結束關 鍵字及/或影像方框(例如,狗)連同一轉場方法。與此三標 準匹配的視訊序列將被視為相關者且作為搜尋結果而返 回。 除此之外,音訊檔案或視訊檀案之音訊部分也可被加 標籤及搜尋。作為-範例,此等類型中的任—類型的一槽 案可加有< 吠叫 >或<狗 >< 吠叫 > 的標籤且此等標籤可在形 成該搜尋詢問時被包括在内。此外,—檔案内可能存在一 個以上音訊通道。諸如一立體聲音訊檔案,—通道可用於 與位於右_—聲源有_聲音且另1道可祕與位於 左側的一聲源相關的聲音。因此,多個通道允許一搜尋珣 問不僅包括一聲音標籤而且包括一位置。 與依據第31圖所 描述的該視訊範例類似,用於—視訊檔案的—聲音相關,
問可形成,其中該詢問指定一<吠叫>聲音 D ^ Λ. . , , 見且其從該影 像的右側向該衫像的左側傳播。此外,該聲音相關搜尋詢 23 201042477 問可能與一聲音及一位置有關,或與替換為〜 不同聲音的 一聲音有關。 第7圖是可用以實施本發明的一實施例的 JU修改影 像内容搜尋結果的一程序的一流程圖700。在上5 +又所描述的 該等實施例中之某些實施例中,一影像之讀等相關部分被 操取出來且該等其他部分被忽略。其他技術可田 J币以減少影 像内容量,不利用完全忽略一影像的較不相關部分。在步 驟702中,一匹配影像集合自一搜尋引擎返回且在步驟7〇4 中,該等相關部分被強調而該等其他部分不加強調。例如, 該等不加強調部分的對比度可經調整使得此等部分看起來 是隱隱約約的。此外,解析度可經調整使得此等不加強調 部分看起來是未聚焦的。因此,所操縱的該影像將顯得具 有從其周圍部分中明顯突出的一部分且所操縱的該影像集 合可作為一詢問的該等搜尋結果而返回。 然而,在步驟706中,與一影像之該強調部分有關的物 件可被識別出來。如上文所討論者,此等物件可以是但不 一定是廣告。作為一範例,一相關超鏈結、一相關廣告、 -相關視訊剪輯或相關本文可基於與該影像之該相關(或 強調)部分相關聯的—標籤來識別。接著,在步驟708中, 該等相關物件可與所接收的該影像集合中的該等影像中的 -個或-個以上影像組合及作為搜尋結果而返回。 第8圖說明-電腦系統綱,本發明的—實施例可在其 上實施。電腦系統_經規劃以執行本文所描述的該等發明 f生功月匕且包括-通§fl裂置,諸如,用以在該電腦系統8⑽之 24 201042477
其他内部與外部組件之間傳遞資訊的〜匯流排8 i 〇。資訊 (也稱為資料)表示為一可量測現象的一實體表示,典型的可 量測現象為電壓’但在其他實施例中包括諸如磁、電磁、 壓力、化學、生物、分子、原子、次原子及量子互動的現 象。例如,北磁場及南磁場,或一零電壓及非零電壓表 示一個二進數元(位元)的兩個狀態(0、丨)。其他現象可表示 一較高基數的數元。量測之前的多個同步量子狀態的一疊 加表示-量子位元(一〇。-個或—個以上數元形成的一 序列構成用以表示-字元的-數值或碼的數位資料。在某 些實施例中,稱為類比資料的資訊由1定範_的可量 測值的一近似連續統來表示。 一匯流排810包括-個或一個以上資訊之平行導體使 得資訊在柄接至該匯流排㈣的裝置之間快速傳送。用以處 貝的料個以上處理器8〇2與該匯流排仙耗接。 處理益802對貝訊執行一組操作。該組操作包括從該 匯抓排81G將s #人且將資訊置於該匯流排請上。該組 操二通常還包括崎兩個或兩個以上單元㈣訊,移動多 ^ '的資Λ之位置,及組合兩個或兩個以上單元的資 藉由加錢乘法或如或(QR)、互斥或(XOR)和及 邏辑操作。可由該處理器執行的該組操作的每一 =精讀稱為指令的諸如—個或—個以上數元形成的一 m的貝絲呈現給該處理11。由該處理器802執行的一 電腦备力t諸如—㈣碼序列’構成處理11指令,也稱為 …统指令或簡稱電腦指令。處理器尤其可作為機械、 25 201042477 電氣、磁性、光擧、外風斗、θ, 化子或置子組件來單獨或組合實施。 電腦系統800還包括耦接 ΟΛ, 祜耦接至匯流排810的一記憶體 卯4。該記憶體8〇4,諸 動態儲存裝置,儲存、憶體(讀)或其他 子褒置储存貝戒,包括處理器指令。動態記憶體 儲存於其十的資訊藉由該電腦系統_來改變。ram 允岭儲存在被稱為-記憶體位址的一位置處的一個單元的 貢訊獨立於在相鄰位址處的資訊來儲存及檢索。該記恃體 804還由該處理㈣2來使用以在執行處理器指令期間儲存 臨時值。該電腦系統8_包括_至該匯流排⑽的用以 儲存不會被該電腦系統800改變的包括指令的靜態資訊的 -唯讀記憶體(RQM)8()6或其他靜態儲存裝置。某些記情體 包含揮發性儲存器,當失去電力時’儲存於揮發性f轉器 上的資訊丟失。也搞接至匯流排810的是—排揮發性(持久) 儲存裝置808,諸如-磁碟、光碟或快閃卡,用以持久儲存 資訊,包括指令’甚至當該電腦純8__或以其他方式 失去電力時。 包括指令的資訊從一外部輪入裝置812被提供到該匯 流排810以供該處理器使用,該輸入裝置諸如包含由一人類 使用者操作的多數文數鍵的一鍵盤或一感測器。—感測器 檢測其周邊情況且將此等檢測轉換成用以表示該電腦系統 800中的資訊的與該可量測現象相容的實體表示。輕接至匯 流排810的主要用以與人互動的其他外部裝置包括用以呈 現本文或影像的一顯示裝置814,諸如一陰極射線管(CRT) 或一液晶顯示器(LCD)或一觸摸螢幕或電漿螢幕或印表 26 201042477 機,及用以控制呈現於該顯示器814上的—小游標影像的一 位置及發出與呈現於該顯示器814上的圖形元素相關聯的 命令的-指向裝置816,諸如-滑鼠或—軌跡球 鍵或運動感測^在某些實施例中,例如,在該電=統 議自動執行而非人為輸入來執行所有功能的實施例中,外 部輸入裝置812、顯示裝置814及指向裝置816中的一個或一 個以上被省略。 在所說明的該實施例中,特殊用途硬體,諸如一特定 應用積體電路(ASIC)820,耦接至匯流排81〇。該特殊用途 硬體經組配以執行未經處理器8 02足夠快地執行以用於特 ,目的的操作。特定應用1C之範例包括用以產生用於顯示 器814的影像的圖形加速卡、用以將透過一網路傳送的訊幸 加密及解密的加密板、語音辨識,及給諸如重複執行以硬 體方式更高效地實施的某些複雜順序的操作的機械臂及醫 學掃描設備的特殊外部裝置的介面。 電腦系統800還包括耦接至匯流排81〇的一通訊介面 870的個或一個以上實例。通訊介面870將—單向或雙向 通訊轉接方讀供給湘料自減理H來操作的各種外 部裝置,諸如印表機、掃描器及外置碟。—般來說,該耦 接利用連接至一本地網路88〇的一網路鏈結878,具有其等 自身處理器的各種外部裝置連接至該本地網路88〇。例如, 通訊介面870可以是-個個人電腦上的—並聯淳或一串聯 埠或一通用串列匯流排(USB)埠。在某些實施例中,通訊介 面870是將一資訊通訊連接提供給一種相對應類型的電話 27 201042477 線的一整合服務數位網路(ISDN)卡或一數位用戶線(DSL) 卡或一電話數據機。在某些實施例中’一通訊介面WO是一 纜線數據機,其將匯流排810上的信號轉換成用於透過一共 軸纜線的一通訊連接的信號或轉換成用於透過一光纖缓線 的一通訊連接的光信號。作為另一範例,通訊介面Wo可以 疋一區域網路(LAN)卡,用以將一資料通訊連接提供給諸如 乙太網路的一相谷LAN。無線鏈結也可被實施。針對無線 鍵結,邊通sfl介面87〇傳送或接收或者傳送並接收電氣、聲 音或電磁信號’包括紅外線及光信號,該等信號載有資訊 流,諸如數位資料。例如,在無線手持裝置中,諸如行動 電話,如手機,該通訊介面870包括稱為一無線電收發器的 一無線電頻帶電磁發射器及接收器。 本文所使用的用語電腦可讀媒體指參與向處理器8〇2 提供包括用以執行的指令的資訊的任何媒體。這樣的一種 媒體可採用許多形式,包括但不限於,非揮發性媒體、揮 發性媒體及傳輸媒體。非揮發性媒體包括,例如,光碟或 磁碟,諸如儲存裝置808。揮發性媒體包括,例如,動態記 憶體804。傳輸媒體包括,例如,共軸纜線、銅線、光纖纜 線及在空間中而非透過線或纜線傳送的栽波,諸如聲波及 電磁波,包括無線電波、光波及紅外線波。信號包括透過 該傳輸媒體傳送的振幅、頻率、相位、極化或其他物理性 質中的人造«變量。通㈣式的電腦可讀媒體包括,例 如’軟碟、軟性磁碟、硬碟、磁帶、任何其他磁性媒體、 CR-ROM、CDRW、DVD、任何其他光學媒體打孔卡、 28 201042477 紙帶、光學標示表單、具有孔的圖案或其他光學可辨識標 m«的任何其他物理媒體、RAM、、 FLMH-EPR0M、任何其他記憶體晶片或匡、載波或電腦 可讀取的任何其他媒體。 第9圖說明一晶片組900,本發明的一實施例可在其上 實施。晶片組900經規劃以執行本文所描述的該等發明性功 能且包括’例如,依據第8圖所描述的併入-個或-個以上 貫體封I的該處理器及該等記憶體組件。藉由舉例的方 0 式’―實體封裳包括一結構集合件(例如,一基板)上的一種 或一種以上材料、組件及/或線的一配置,以提供一種或一 種以上特性,諸如物理強度、尺寸之保持及/或電氣交互作 用之限制。 在一實施例中,該晶片組9〇〇包括一通訊裝置,諸如用 以在邊晶片組9〇〇之該等組件之間傳遞資訊的一匯流排 901。一處理器903連接至該匯流排9〇1以執行例如儲存在一 4M9G5中的指令及處理例如儲存在該記憶體9()5中的資 〇 αί1 處理器9G3可包括-個或-個以上處理核心,其中每 個核心經組配以獨立執行。—多核心處理器能夠在一單一 實體封裝内進行多元處理。一多核心處理器之範例包括兩 個四個、八個或更多的處理核心。可選擇地或除此之外, °亥處理器903可包括經由該匯流排901串接組配以致能指 令、官線及多線之獨立執行的一個或一個以上微處理器。 S處理器9G3還可附隨有用輯行某些處理功能及任務的 -個或-個以上特定組件,諸如—個或—個以上數位信號 29 201042477 處里器(DSP)9G7或者-個或—個以上特定應用積體電路 (SIC)S>〇9。一個DSp 9〇7通常經組配以即時地獨立於該處 理-903來處理實際信號(例如,聲音)。相似地,一個 909可經組配以執行—般料的處理器不易執行的特定功 此輔助執行本文所描述的該等發明性功能的其他特定組 件包括-個或-個以上現場可規劃閘極陣列(fpga)(圖未 示)、一個或一個以上控制器(圖未示),或者一個或一個以 上其他特殊用途電腦晶片。 该處理器9〇3及附件經由該匯流排9〇1連接至該記憶體 905。及3己憶體905包括動態記憶體(例如,、磁碟、可 寫入光碟等)及靜態記憶體(例如,R〇M、⑽尺⑽等),該 等§己憶體用以儲存可執行指令,#執行該等指令時執行本 文所也述的該等發明性步驟。該記憶體9G5還儲存與執行該 等發月J·生步驟相關聯的資料或由執行該等發明性步驟所產 生的資料。 第10圖是依據—示範性實施例的能夠在第1圖之該系 統中作業的-行動台(例如,手持話機)之域性组件的一圖 式。-般說來,-無線電接收器通f依據前端及後端特性 來定義。該接收器之該前端包含所有該#射頻㈣電路而 該後端包含所有該等基頻處理電路。該電話之有關内部組 件包括-主控制單元(Mcu)1〇〇3、一數位信號處理器 (DSP)聰及包括-麥克風增益控制單元及—揚聲器增益 控制單元的-接收器/發射器單元。—主顯示單元讀^ 持各種應用及彳了動台功能的—顯示提供給該制者。一音 30 201042477 訊功能電路1009包括一麥克風l〇U及放大來自該麥克風 1011的語音信號輸出的麥克風放大器。來自該麥克風 的該放大語音信號輸出饋送至一編碼器/解瑪器 (CODEC)1013。 一無線電部分1015放大功率且轉換頻率以經由天線 10Π與包括在一行動通訊系統中的一基地台通訊。該功率 放大器(PA)1019及該發射器/調變電路在操作上響應於該 MCU 1003,其中來自該PA 1019的一輸出粞接至雙工器 〇 1021或循環器或天線開關,如技藝中所習知的。該PA 1〇19 還耦接至一電池介面與功率控制單元1〇2〇。 在使用中,行動台1〇〇1的一使用者對著該麥克風1〇11 講話且他的或她的聲音與檢測到的任何背景雜訊—起轉換 成一類比電壓。該類比電壓接著透過類比至數位轉換器 (ADC)1023轉換成一數位信號。該控制單元1〇〇3將該數位信 號安排路由至該DSP 1005以在其中進行處理,諸如語音編 碼、通道編碼、加密及交錯。在該示範性實施例中,經處 〇 理的該等聲音信號由非分開顯示的單元利用下列技術來編 碼:一蜂巢式傳輸協定,諸如全域進化(EDGE)、通用封包 無線電服務(GPRS)、全球行動通訊系統(GSM)、網際網路 協定多媒體子系統(IMS)、通用行動電訊系統(U]V1TS)等以 及任何其他適合的無線媒體,例如,微波接取(WiMAX)、 長期演進(LTE)網路、分碼多重存取(CdmA)、無線保真度 (WiFi)、衛星及類似物。 經編碼的該等信號接著被安排路由至一等化器1〇25來 31 201042477 補償諸如相位及振幅失真的在空中傳送期間發生的任何依 頻減損。在將位元流等化之後,調變器1〇27將該信號與在 該RF介面1〇29中產生的一RF信號组合。該調變器1()27藉由 頻率或相位調變產生一正弦波❶爲了製備用於傳輸的該信 號,一升頻器1031將來自該調變器1〇27的該正弦波輸出與 由一合成器1033產生的另一正弦波組合以實現所欲傳輸頻 率。該信號接著透過一PA 1019傳送以將該信號提升至一適 當功率位準。在特定系統中,該PA 1〇19作為一可變增益放 大器,該DSP 1005根據從一網路基地台接收的資訊來控制 其增盈。該信號接著在該雙工器1〇21内經渡波且可取捨地 傳送至一天線耦接器1035以實現阻抗匹配來提供最大功率 轉換。最後’該信號經由天線1017傳送至一本地基地台。 一自動增益控制(AGC)可被供給以控制該接收器的最後幾 級的增益。該等信號可由此轉送至一遠端電話,該遠端電 話可以是另一蜂巢式電話、其他行動電話或連接至一公用 切換電話網路(PSTN)或其他電話網路的一陸線。 傳送至該行動台1001的聲音信號經由天線1017接收且 立即由一低雜訊放大器(LNA)1037來放大。一降頻器1〇39 降低載頻同時解調器1041去除該RF僅留下一數位位元流。 該信號接著通過該等化器1025且由該DSP 1005來處理。— 數位至類比轉換器(DAC)1043轉換該信號且所產生的該輸 出透過該揚聲器1045傳送至該使用者,以上所有均在可作 為一中央處理單元(CPUX圖未示)來實施的一主控制單元 (MCU)1003的控制之下。 32 201042477 該MCU 1003接收各種信號’包括來自鍵盤1〇47的輸入 信號。該MCU 1003將一顯示命令及一切換命令分別遞送至 5亥顯示器1007及語音輸出切換控制器。而且,該mcu 1003 與該DSP 1005交換資訊且可存取一可取捨地併入的SIM卡 1049及一記憶體1051。除此之外,該]^(:1; 1〇〇3執行該站台 所需的各種控制功能。取決於該實施態樣,該DSP 1〇〇5可 在該等聲音信號上執行各種習知的數位處理功能中的任何 功能。此外,DSP 1005根據麥克風1011檢測到的該等信號 〇 來判定本地環境的背景雜訊位準且將麥克風1〇1丨之增益設 定成被選定以補償該行動台1001之該使用者的自然趨向的 一位準。 .
該CODEC 1013包括ADC 1023及DAC 1〇43。該記憶體 1051儲存包括來電音調資料的各種資料且能夠儲存其^資 料,包括經由例如全球網際網路接收的音樂資料。軟體模 組可駐留在RAM記憶體、快閃記憶體、暫存器或觸: 所習知的其他任何形式的可寫入儲存媒體中。該記憶二裝 置1051可以疋,但不限於,能夠儲存數位資料的—單―; 憶體、CD、DVD、ROM、RAM、EEPR0M、光學儲存器 或任何其他非揮發性儲存媒體。 ° 一可取捨地併入的SIM卡1049載有,例如,重要資訊, 諸如蜂巢式電話號碼,該載體提供服務、訂閱細節及安全 貝訊。該SIM卡1G49主要用以透過—無線電網路識別該行動 台薩。針1049還包含㈣儲存_個人電話號碼=、 本文§fl息及使用者特定行動台設定的一記憶體。 33 201042477 儘管本發明已結合多個實施例及實施態樣加以描述, 本發明不受限制而是涵蓋落入後附申請專利範圍之權限内 的各種明顯修改及等效安排。儘管本發明之特徵以申請專 利範圍中的某些組合來表示,可以想到的是此等特徵可以 任何組合及順序來安排。 c圖式簡單說明3 第1A圖是依據一示範性實施例的能夠提供一視覺搜尋 引擎的一通訊系統的一圖式; 第1B圖是依據一實施例的用以修改影像内容的一系統 之功能組件的一圖式; 苐2A圖是依據一實施例的用以接收影像之相關部分的 一程序的一流程圖; 第2 B圖是依據一實施例的用以擷取出及返回影像之相 關部分的一程序的一流程圖; 第3A圖是依據一實施例的用以組合物件(object)及影 像之相關部分的一程序的一流程圖; 第3 B圖是依據一實施例的用以擷取出及返回影像之相 關部分的一程序的一流程圖; 第3C圖是依據一實施例的響應於一詢問而返回的圖形 搜尋結果的一範例; 第3D圖是依據另一實施例的響應於一詢問而返回的圖 形搜尋結果的一範例; 第3 E圖是依據一實施例的一示範性視覺搜尋引擎使用 者介面; 34 201042477 第3F圖是依據一實施例的響應於一詢問而返回的圖形 搜尋結果的一範例; 第3G圖及第3Η圖是依據一實施例的具有一搜尋臨界 值控制器的一視覺搜尋引擎使用者介面的範例; 第31圖及第3J圖是依據一實施例的與搜尋視訊内容有 關的一視覺搜尋引擎使用者介面的範例; 第3 Κ圖是依據一實施例的允許搜尋背景及前景影像的 一視覺搜尋引擎使用者介面的一範例; ❹ Ο 第3L圖是響應於第3Κ圖之該視覺搜尋引擎的一詢問 而返回的圖形搜尋結果的一範例; 第4圖是依據一實施例的用以組合物件及影像之相關 部分的一程序的一流程圖; 第5圖是依據一實施例的用以形成用於影像内容的一 搜尋詢問的一程序的一流程圖; 第6圖是依據一實施例的用以形成用於視訊内容的一 搜尋詢問的一程序的一流程圖; 第7圖是依據一實施例的用以修改影像内容搜尋結果 的一程序的一流程圖; 第8圖是可用以實施本發明的一實施例的硬體的一圖 式; 第9圖是可用以實施本發明的一實施例的一晶片組的 一圖式;且 第10圖是可用以實施本發明的一實施例的一行動台 (例如,手持話機)的一圖式。 35 201042477 【主要元件符號說明】 100、130…系統 1〇2_··使用者裝置/裝置 104.. .網路 106···服務提供者 108·.·搜尋引擎/視覺搜尋引擎/ 引擎 110.. .内容提供者 132…圖像接收模組 13 4…詢問分析模組/模組 136…模組 138…產生模組 140··.組合模組 142·.·結果集產生模組 200、230、300、330、400-700 …流程圖 202~210、232〜238、302〜312、 332〜336、402〜410、502〜508、 602〜608、702〜708···步驟 338…標籤 340、346、366、394...影像 344.. .標記 348.. .強調區域 350···模糊或未加強調區域/影 像346之剩餘部分 352…狗之相關資訊/資訊 354、395.·.廣告 356…使用者介面/介面 358、374·..搜尋框 360…介面 362、364·.·搜尋框/方框 368.. ·標籤為狗的影像366的一 部分 370、376...區域 372…臨界值控制器 378·.·起始搜尋框/方框/搜尋框 380…結束搜尋框/方框/搜尋框 382.. .路徑 384···持續時間 386…初始影像 387··.第二影像 388…轉場方法 390···背景影像的一般形狀 391…尖筆 392…輸入螢幕 393…前景影像 800·..電腦系統 36 201042477
Ο 8〇2、9〇3··_處理器 804、905...記憶體 806…唯讀記憶體(ROM) 808…非依電性(持久)儲存裝置 /儲存裝置 810、901...匯流排 812.._外部輪入裝置 814…顯示襄置/顯示器 816…指向装置 820、909...特定應用積體電路 (ASIC) 870…通訊介面 878…網路鍵結 880…本地網路 900…晶片組 907、1005·.·數位信號處理器 (DSP) 1001…行動台 1003…主控制單元(MCU) 1007…主顯示單元/顯示器 1009…音訊功能電路 1011…麥克風 1013…編碼器/解碼器(codec) 1015…無線電部分 1017…天線 1019.. .功率放大器(pa) 1020…電池介面與功率控制單元 1021.. .雙工器 1023…類比至數位轉換器(ADC) 1025.. .等化器 1027.. .調變器 1029·..RP 介面 1031.. .升頻器 1033…合成器 1035…天線耦接器 1037··.低雜訊放大器(LNA) 1039…降頻器 1041…解調器 1043…數位至類比轉換器(DAC) 1〇45.··揚聲器 1047···鍵盤 1049.. .可取捨的併入SIM卡/ SIM卡/卡 1051…記憶體/記憶體裝置 37

Claims (1)

  1. 201042477 七、申請專利範圍: 1. 一種電腦可讀儲存媒體,載有一個或一個以上指令形成 的一個或一個以上序列,當該一個或一個以上序列由一 個或一個以上處理器執行時使該一個或一個以上處理 器至少執行以下步驟: 針對一個或一個以上影像形成的一第一集合中的 每一影像,識別與一搜尋詢問有關的每一影像的一各自 部分; 針對一個或一個以上影像形成的該第一集合中的 每一影像,擷取出該各自部分以產生一各自的被擷取出 來的影像部分;及 產生一個或一個以上影像形成的一第二集合,其中 該第二集合之每一影像分別與該等被擷取出來的各自 部分其中之一相對應。 2. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 該一個或一個以上處理器被促使進一步執行: 針對該第二集合中的該一個或一個以上影像中的 每一者,識別一各自的相關物件;及 針對該第二集合中的該一個或一個以上影像中的 每一者,將該各自的相關物件與每一影像組合。 3. 如申請專利範圍第2項所述之電腦可讀儲存媒體,其中 該各自的相關物件與與該搜尋詢問有關的一廣告相對 應。 4. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 38 201042477 該一個或一個以上處理器被促使進一步執行: 接收該搜尋詢問;及 基於該搜尋詢問來決定一個或一個以上影像形成 的該第一集合。 5. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 該等各自的相關部分中的每一者與一個或一個以上標 籤有關。
    6. 如申請專利範圍第5項所述之電腦可讀儲存媒體,其中 該一個或一個以上處理器被促使進一步執行: 針對該第二集合中的該一個或一個以上影像中的 每一者,基於該相關的一個或一個以上標籤來識別一各 自的相關廣告影像;及 針對該第二集合中的該一個或一個以上影像中的 每一者,將該各自的相關廣告影像與每一影像組合。 7. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 該一個或一個以上處理器被促使進一步執行: 將該第二集合作為來自經組配以透過包括一無線 網路的一通訊網路通訊的一手持話機的該搜尋詢問的 結果返回。 8. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 產生該第二集合之每一影像包括忽略除了被擷取出來 的各自的部分以外的任何影像之部分。 9. 如申請專利範圍第1項所述之電腦可讀儲存媒體,其中 產生該第二集合之每一影像包括使除了被擷取出來的 39 201042477 各自的部分以外的任何影像之部分模糊。 10.-種包含一處理器及—儲存可執行指令的記憶體的裝 置,若該等指令被執行,使該装置至少: —針對-個或-個以上影像形成的一第一集合中的 母一影像’識別與-搜尋詢問有_每—影像的一各自 部分; 針對-個或-個以上影像形成的該第_集合中的 每-影像,餘出該各自部分以產生—各自的漏取出 來的影像部分;及 …產生-個或一個以上影像形成的一第二集合,其中 送第二集合之每—影像分職料被擷取出來的各自 部分其中之一相對應。 置’其中S亥裝置被進一 lh如申請專利範圍第10項所述之裝 步促使: 針對該第二集合中的該一個或一個以 每-者,識別一各自的相關廣告物件;及心像中的 A丨對》亥第一集合中的該—個或—個以上影像中的 母-者’將該各自的相關廣告物件與每—影像也人。 12=申請專圍第1G項所述之裝置,射產生該第°二集 合之每-影像包括忽略除了被擷取出來的各自的部分 以外的任何影像之部分。 】3·如申請專利範圍第 步促使: 10項所述之裝置,其令該裝置被進— 接收該搜尋詢問;及 40 201042477 基於°亥搜哥询問來決定一個或-個以上影像形成 的該第一集合。 如申請專利範圍第1〇項所述之裝置進一步包含·· 發射益’經組配以將該第二集合作為來自經組配 以透過包括-無線網路的一通訊網路通訊的一手持話 機的該搜尋詢問的結果返回。 D
    15•-種包含—處理器及—儲存可執行指令的記憶體的裝 置,若該等指令被執行,使該裝置至少: 將-搜尋㈣傳送給—視覺搜判擎,該搜尋詢問 包括一個或一個以上關鍵字;及 θ個或個以上影像形成的一集合作為該搜 尋詢問的結果, 其中該等結果之每—影像包括與該搜尋詢問有關 的-部分且忽略與該搜尋詢問無關的一部分。 申請專利範圍第15項所述之裝置,其中該搜尋詢問包 括一影像的-尺寸及—影像内的一位置的其中之一。 17·如申請專利範圍第15項所述之裝置,其中該等結果之每 —影像包括與該-個或—個以上關鍵字有關的一廣告 —種方法,包含以下步驟: 將-搜尋詢問傳送給_視覺搜判擎,該搜尋詢問 L括一個或一個以上關鍵字;及 提供一個或一個以上吾彡德彡 上〜像形成的一集合作為該搜 尋詢問的結果, 41 201042477 其中該等結果之每—影像包括與該搜尋詢問有關 的一部分且忽略與該搜尋詢問無關的一部分。 19·如申請專利範圍第18項所述之方法,其中該搜尋詢問包 括—影像的一尺寸及一影像内的—位置的其中之一。 〇·=申請專利範圍第18項所述之方法,其中該等結果之每 =像包括與該—個或—個以上關鍵字有關的-廣告 42
TW099110872A 2009-04-09 2010-04-08 Method and apparatus for providing visual search engine results TW201042477A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/421,390 US9489403B2 (en) 2009-04-09 2009-04-09 Method and apparatus for providing visual search engine results

Publications (1)

Publication Number Publication Date
TW201042477A true TW201042477A (en) 2010-12-01

Family

ID=42935175

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099110872A TW201042477A (en) 2009-04-09 2010-04-08 Method and apparatus for providing visual search engine results

Country Status (3)

Country Link
US (1) US9489403B2 (zh)
TW (1) TW201042477A (zh)
WO (1) WO2010116025A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714986A (zh) * 2013-12-12 2015-06-17 三纬国际立体列印科技股份有限公司 三维图片搜索方法与三维图片搜索系统
TWI621953B (zh) * 2014-07-08 2018-04-21 Method of judging common albums

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
KR100957575B1 (ko) * 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
US8332419B1 (en) * 2010-05-13 2012-12-11 A9.com Content collection search with robust content matching
KR20120029860A (ko) * 2010-09-17 2012-03-27 삼성전자주식회사 이미지 부가 정보 생성 방법 및 그 장치
US9325804B2 (en) * 2010-11-08 2016-04-26 Microsoft Technology Licensing, Llc Dynamic image result stitching
US9335883B2 (en) * 2011-09-08 2016-05-10 Microsoft Technology Licensing, Llc Presenting search result items having varied prominence
US8924890B2 (en) * 2012-01-10 2014-12-30 At&T Intellectual Property I, L.P. Dynamic glyph-based search
US8626585B1 (en) 2012-05-14 2014-01-07 Google Inc. Selection of images to display next to textual content
US9110943B2 (en) 2013-01-31 2015-08-18 Google Inc. Identifying an image for an entity
US9208176B2 (en) * 2013-03-12 2015-12-08 International Business Machines Corporation Gesture-based image shape filtering
US20140358882A1 (en) * 2013-05-28 2014-12-04 Broadcom Corporation Device content used to bias a search infrastructure
CN104572651B (zh) * 2013-10-11 2017-09-29 华为技术有限公司 图片排序方法及装置
US9529826B2 (en) * 2013-12-26 2016-12-27 Google Inc. Methods and systems for use of a database of three-dimensional (3D) object data models for search queries
EP3198473A1 (en) * 2014-09-22 2017-08-02 THOMSON Licensing Use of depth perception as indicator of search, user interest or preference
US9805061B2 (en) 2014-11-18 2017-10-31 International Business Machines Corporation Image search for a location
US10534809B2 (en) * 2016-08-10 2020-01-14 Zeekit Online Shopping Ltd. Method, system, and device of virtual dressing utilizing image processing, machine learning, and computer vision
US10290136B2 (en) 2016-08-10 2019-05-14 Zeekit Online Shopping Ltd Processing user selectable product images and facilitating visualization-assisted coordinated product transactions
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
US11226604B2 (en) 2018-11-19 2022-01-18 Johnson Controls Tyco IP Holdings LLP Building system with semantic modeling based configuration and deployment of building applications
US11927925B2 (en) 2018-11-19 2024-03-12 Johnson Controls Tyco IP Holdings LLP Building system with a time correlated reliability data stream
US10810775B2 (en) * 2019-02-20 2020-10-20 Adobe Inc. Automatically selecting and superimposing images for aesthetically pleasing photo creations
US11120313B2 (en) 2019-07-15 2021-09-14 International Business Machines Corporation Generating search determinations for assortment planning using visual sketches
US11120071B2 (en) * 2019-11-19 2021-09-14 Lenovo (Singapore) Pte. Ltd. Reverse image search using portion of image but not entirety of image
US20230161809A1 (en) * 2021-11-22 2023-05-25 Comcast Cable Communications, Llc Methods and systems for modifying content searches

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893095A (en) 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5767726A (en) 1996-10-21 1998-06-16 Lucent Technologies Inc. Four terminal RF mixer device
US6556713B2 (en) 1997-07-31 2003-04-29 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium
US6265934B1 (en) 1999-12-16 2001-07-24 Lockheed Martin Corporation Q-switched parametric cavity amplifier
US7076443B1 (en) * 2000-05-31 2006-07-11 International Business Machines Corporation System and technique for automatically associating related advertisements to individual search results items of a search result set
US7099860B1 (en) 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
TW527776B (en) 2002-05-20 2003-04-11 Ind Tech Res Inst Base input differential logic circuit
US6906596B2 (en) 2002-09-25 2005-06-14 Renesas Technology Corp. Oscillation circuit and a communication semiconductor integrated circuit
JP2004240750A (ja) 2003-02-06 2004-08-26 Canon Inc 画像検索装置
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7212141B2 (en) 2005-07-11 2007-05-01 Intel Corporation Filter with gain
US7970763B2 (en) * 2006-02-21 2011-06-28 Microsoft Corporation Searching and indexing of photos based on ink annotations
JP4990917B2 (ja) 2006-02-23 2012-08-01 イマジネスティクス エルエルシー データベース内の構成部品を探索するための入力としてユーザが構成部品を描くことができるようにする方法
US8631012B2 (en) 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
US7844591B1 (en) * 2006-10-12 2010-11-30 Adobe Systems Incorporated Method for displaying an image with search results
US8261092B2 (en) 2007-12-04 2012-09-04 Ricoh Company, Ltd. Image retrieval system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714986A (zh) * 2013-12-12 2015-06-17 三纬国际立体列印科技股份有限公司 三维图片搜索方法与三维图片搜索系统
US9817845B2 (en) 2013-12-12 2017-11-14 Xyzprinting, Inc. Three-dimensional image file searching method and three-dimensional image file searching system
TWI621953B (zh) * 2014-07-08 2018-04-21 Method of judging common albums

Also Published As

Publication number Publication date
US20100262616A1 (en) 2010-10-14
WO2010116025A1 (en) 2010-10-14
US9489403B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
TW201042477A (en) Method and apparatus for providing visual search engine results
US8576184B2 (en) Method and apparatus for browsing content files
US8175529B2 (en) Information processing apparatus, and method and information processing system
CN102067125B (zh) 用于搜索信息的方法和装置
US20100318913A1 (en) Method and apparatus of providing graphical user interface for visually streaming media
CN107977928B (zh) 表情生成方法、装置、终端及存储介质
CN105474207A (zh) 用于搜索多媒体内容的用户界面方法和设备
WO2013079769A1 (en) Method and apparatus for providing context-based obfuscation of media
WO2016000536A1 (zh) 一种激活应用程序的方法、用户终端和服务器
WO2020019220A1 (zh) 在预览界面中显示业务信息的方法及电子设备
CN101467151A (zh) 用于提供元数据条目的方法、设备和计算机程序产品
KR102503329B1 (ko) 이미지 분류 방법 및 전자 디바이스
CN103098421A (zh) 用于由动态群组共享数据的方法和装置
CN103179267A (zh) 在便携式终端中管理消息的附件的装置和方法
CN114827342B (zh) 视频处理方法、电子设备及可读介质
CN103428539A (zh) 一种推送信息的发布方法及装置
US20230367464A1 (en) Multi-Application Interaction Method
JP2009086858A (ja) コンテンツ検索装置、コンテンツ検索方法、プログラムおよび記録媒体
CN114221923B (zh) 消息处理方法、装置和电子设备
CN108228773A (zh) 一种实现信息保存的方法及装置
CN114024929A (zh) 语音消息处理方法、装置、电子设备及介质
JP2011150521A (ja) 情報処理装置、メッセージ伝達方法およびプログラム
KR100742320B1 (ko) 발신자 표시 서비스/rbt서비스에 기초하여 추가 정보를단계적으로 제공하는 방법 및 그 시스템
CN102819594A (zh) 一种组织网站信息的方法与装置
CN109120865A (zh) 瀑布流视频生成方法