TW201606539A - 搜索方法與裝置 - Google Patents

Abstract

本發明提供一種用於在計算環境下搜索及獲取資訊的方法及設備。設備包含：至少一個輸入裝置，經組態以接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；以及控制器，經組態以輸出包含對應於第一查詢輸入的第一顯示項及對應於第二查詢輸入的第二顯示項的查詢輸入窗，以回應於接收到第一查詢輸入將設備自接收第一查詢類型的第一查詢輸入的第一狀態自動切換成接收第二查詢類型的第二查詢輸入的第二狀態，且基於第一查詢輸入及第二查詢輸入獲得根據查詢的搜索結果。

Description

搜索方法與裝置

與例示性實施例一致的設備及方法是關於在計算環境下搜索及獲取資訊，且更特定言之，是關於基於使用者的各種需求執行搜索。

隨著技術的改進，待搜索的資訊進一步多樣化，且此資訊的量增加。因此，除了文本組件之外，可使用不同模態的組件來執行搜索。

額外態樣將闡述於以下描述中且將部分地自描述顯而易見，或可藉由實踐例示性實施例而習得。

根據例示性實施例的一態樣，提供一種設備，包含：至少一個輸入裝置，經組態以接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；及控制器，經組態以輸出包含對應於第一查詢輸入的第一顯示項及對應於第二查詢輸入的第二顯示項的查詢輸入窗，以回應於接收到第一查詢輸入將設備自接收第一查詢類型的第一查詢輸入的第一狀態自動切換成接收第二查詢類型的第二查詢輸入的第二狀態，且基於第一查詢輸入及第二查詢輸入獲得根據查詢的搜索結果。

第二查詢類型可為音訊查詢類型；及回應於接收到第一查詢輸入，控制器可經進一步組態以自動啟動經組態以接收第二查詢輸入的麥克風。

第二查詢類型可為影像查詢類型；及回應於接收到第一查詢輸入，控制器可經進一步組態以自動啟動經組態以接收第二查詢輸入的攝影機。

回應於接收到模式切換輸入，控制器可經進一步組態以將搜索模式自經由查詢輸入窗接收第一查詢輸入及第二查詢輸入且將其組合以產生查詢的多模態輸入模式切換成接收一個查詢類型的輸入以產生查詢的單一輸入模式。

至少一個輸入裝置可包含經組態以接收第一查詢輸入的第一輸入裝置及不同於第一輸入裝置且經組態以接收第二查詢輸入的第二輸入裝置。

根據另一示例性實施例的一態樣，提供一種設備，包含：顯示器，經組態以顯示查詢輸入窗；至少一個輸入裝置，經組態以接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；及控制器，經組態以基於第一查詢輸入及第二查詢輸入獲得根據查詢的搜索結果，其中顯示器經進一步組態以在查詢輸入窗上同時顯示對應於第一查詢類型的第一區及對應於第二查詢類型的第二區。

控制器可經進一步組態以判定第一查詢輸入的第一查詢類型及第二查詢輸入的第二查詢類型；及顯示器可經進一步組態以顯示根據所判定的第一查詢類型的第一區及根據所判定的第二查詢類型的第二區。

顯示器可經進一步組態以顯示查詢輸入窗，其中同時顯示對應於第一查詢輸入的第一顯示項及對應於第二查詢輸入的第二顯示項，以使得可彼此區別第一查詢類型及第二查詢類型。

根據另一示例性實施例的一態樣，提供一種設備，包含：顯示器；麥克風，經組態以獲取語音資訊；攝影機，經組態以獲取影像資料；記憶體，經組態以儲存文本資料、影像資料及音訊資料；及控制器，經組態以顯示用於選擇查詢類型的顯示項，顯示對應於經由顯示項選擇的查詢類型的查詢輸入窗，基於經由查詢輸入窗接收的查詢輸入獲得搜索結果，及控制顯示器來顯示搜索結果，其中查詢輸入包含經由攝影機獲得的影像資料、儲存於記憶體中的文本資料、儲存於記憶體中的影像資料及儲存於記憶體中的音訊資料中的至少一者。

查詢類型可來自包含文本查詢、影像查詢及音訊查詢的多個查詢類型當中；及在選定查詢類型為音訊查詢時，控制器可經進一步組態以控制顯示器以在查詢輸入窗上顯示用於接收經由麥克風獲得的語音資訊作為查詢輸入的顯示項及用於接收儲存於記憶體中的音訊資料作為查詢輸入的顯示項中的至少一者。

查詢類型可來自包含文本查詢、影像查詢及音訊查詢的多個查詢類型當中；及在選定查詢類型為影像查詢時，控制器可經進一步組態以控制顯示器以顯示經由攝影機獲得的用於接收影像資料的顯示項及儲存於記憶體中的用於接收影像資料的顯示項中的至少一者作為查詢輸入窗上的查詢輸入。

設備可更包含：手寫輸入單元，經組態以接收手寫影像，其中查詢類型可來自包含文本查詢、影像查詢、音訊查詢及手寫查詢的多個查詢類型當中，且其中在選定查詢類型為手寫查詢時，控制器可經進一步組態以控制顯示器以在查詢輸入窗上顯示用於接收手寫影像的顯示項。

在經由顯示項選擇多個查詢類型時，控制器可經進一步組態以控制顯示器以在查詢輸入窗上顯示用於接收多個查詢輸入的顯示項。

根據另一示例性實施例的一態樣，提供一種方法，包含：接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；藉由設備輸出包含對應於第一查詢輸入的第一區及對應於第二查詢輸入的第二區的查詢輸入窗；回應於接收到第一查詢輸入將設備自接收第一查詢類型的第一查詢輸入的第一狀態自動切換成接收第二查詢類型的第二查詢輸入的第二狀態；及基於第一查詢輸入及第二查詢輸入獲得根據查詢的搜索結果。

方法可更包含回應於接收到第二查詢輸入同時顯示對應於第二區上的第二查詢輸入的第二顯示項及對應於第一區上的第一查詢輸入的第一顯示項。

第二查詢類型可為音訊查詢類型；且自動切換可包含回應於接收到第一查詢輸入自動啟動用於接收第二查詢輸入的麥克風。

第二查詢類型可為影像查詢類型；且自動切換可包含回應於接收到第一查詢輸入，自動啟動用於接收第二查詢輸入的攝影機。

根據另一示例性實施例的一態樣，提供一種藉由設備獲得搜索結果的方法，方法包含：顯示用於選擇查詢類型的顯示項；基於所顯示的顯示項接收使用者輸入；基於所接收的使用者輸入選擇至少一個查詢類型；顯示對應於選定至少一個查詢類型的查詢輸入窗；及基於經由所顯示的查詢輸入窗接收的查詢輸入獲得搜索結果。

查詢類型可來自包含文本查詢、影像查詢及音訊查詢的多個查詢類型當中；且方法可更包含在選定查詢類型為音訊查詢時，在查詢輸入窗上顯示用於接收經由包含於設備中或連接至設備的麥克風獲得的語音資料及儲存於包含於設備中或連接至設備的記憶體中的音訊資料作為查詢輸入的顯示項。

根據另一示例性實施例的一態樣，提供一種方法，包含：顯示查詢輸入窗；經由所顯示的查詢輸入窗接收文本資料及手寫影像；及基於所接收的文本資料及所接收的手寫影像的組合結果獲得搜索結果。

在以下本發明中，在一個部分（或元件、裝置等）被稱作「連接」至另一部分（或元件、裝置等）時，應理解前者可與後者「斷開連接」，或經由介入部分（或元件、裝置等）與後者「電連接」。此外，在描述成一個部分（或元件、裝置等）包括（或包含或具有）一些元件時，應理解其可僅包括（或包含或具有）彼等元件，或在不存在特定限制的情況下其可包括（或包含或具有）除彼等元件之外的其他元件。

在本說明書中，查詢表示用於執行搜索的命令。查詢可包含經獲得為搜索結果的資訊。查詢可包含至少一個查詢組件（亦即，查詢輸入）。查詢組件表示構成查詢的資訊的單元。又，至裝置（例如，查詢輸入裝置）的查詢組件輸入可被稱作查詢輸入。舉例而言，查詢組件可包含以下各者中的至少一者：包含於由使用者輸入至查詢輸入裝置的文本中的關鍵字、影像資料、草圖資訊、視訊資料及音訊資料。音訊資料可包含語音資訊。查詢類型可表示查詢組件的模態。在本文中，模態被定義為除了人可感知的態樣之外還包含關於在算法上用於搜索的搜索資料庫的資訊來源。舉例而言，查詢類型可指示查詢組件對應於哪一類型的文本、影像資料、草圖資訊、視訊資料及音訊資料。包含多個查詢類型的查詢表示包含於查詢中的多個查詢組件對應於多個查詢類型。舉例而言，在查詢包含其中查詢類型為文本的第一查詢組件及其中查詢類型為影像的第二查詢組件時，查詢包含多個查詢類型。亦即，查詢類型可為文本查詢、影像查詢、音訊類型及手寫查詢中的至少一者。

音訊資料可包含聲音、語音、音訊及音樂中的至少一者。在本說明書中，搜索模式可表示執行搜索的方法的操作模式。搜索模式可包含單一輸入模式（亦即，單一輸入模式）及多模態輸入模式（亦即，多模態輸入模式）。單一輸入模式可表示其中基於包含具有一個查詢類型的一或多個查詢組件的查詢執行搜索的操作模式。多模態輸入模式可表示其中基於包含具有多個查詢類型的多個查詢組件的查詢執行搜索的操作模式。

在下文中，將詳細地描述例示性實施例。

圖1為說明根據例示性實施例的執行搜索的程序的流程圖。

參看圖1，在操作S110中，計算裝置可顯示使得使用者能夠輸入查詢的查詢輸入窗。查詢輸入窗表示使用者介面，計算裝置經由所述使用者介面接收使用者的查詢輸入。查詢輸入窗可包含用於輸入查詢組件的查詢輸入工具。舉例而言，查詢輸入窗可包含以下各者中的至少一者：文本框、統一資源定位器（uniform resource locator；URL）輸入窗、檔案上傳按鈕、草圖輸入窗、應用程式執行按鈕等。文本框表示顯示藉由使用輸入裝置（例如，鍵盤、小鍵盤、虛擬小鍵盤等）輸入的文本的框。URL輸入窗表示使用者介面，經由所述使用者介面輸入指示作為查詢輸入的資訊的位置的URL。檔案上傳按鈕表示用以執行其中計算裝置在由使用者選擇時選擇檔案的操作及上傳選定檔案的操作的按鈕。草圖輸入窗表示顯示由使用者藉由使用輸入裝置（例如，平板電腦、觸控面板、軌跡墊、滑鼠、觸控筆等）輸入的資訊的使用者介面。應用程式執行按鈕表示使得能夠執行對應於選定按鈕的應用程式的按鈕。舉例而言，在選擇對應於攝影的應用程式執行按鈕時，可執行用於攝影的應用程式。作為另一實例，在選擇對應於聲音的記錄的應用程式執行按鈕時，可執行用於記錄聲音的應用程式。作為另一實例，查詢輸入裝置可自藉由操作攝影機而獲取的影像擷取諸如快速回應（Quick Response；QR）碼的資訊，且藉由使用QR碼接收查詢組件。

根據例示性實施例，在搜索模式對應於多模態搜索（亦即，多模態輸入模式）時，查詢輸入裝置可顯示用於接收具有多個查詢類型的多個查詢組件（亦即，查詢輸入）的查詢輸入窗。或者，在搜索模式對應於單一搜索（亦即，單一輸入模式）時，查詢輸入裝置可顯示單一查詢輸入窗。單一查詢輸入窗表示接收僅包含一個查詢類型的查詢的查詢輸入窗。

隨後，在操作S120中，查詢輸入裝置可經由所顯示的查詢輸入窗接收查詢。此處，查詢輸入裝置可接收包含多個查詢類型的查詢，亦即接收包含多個查詢類型的多個查詢組件的查詢。亦即，可接收包含多個查詢類型的多個查詢組件的查詢。

隨後，查詢輸入裝置可基於所接收的查詢選擇至少一個搜索結果。此處，可藉由使用搜索引擎選擇至少一個搜索結果。搜索引擎表示基於查詢搜索資訊的硬體、軟體或其組合。搜索引擎可包含於查詢輸入裝置中，或可包含於單獨裝置（例如，網頁伺服器、媒體伺服器、網路伺服器等）中。在搜索引擎包含於單獨裝置中時，查詢輸入裝置可將所接收的查詢傳輸至單獨裝置。查詢輸入裝置可回應於經傳輸查詢自單獨裝置獲取選定搜索結果。

在操作S130中，查詢輸入裝置可顯示選定搜索結果。此處，查詢輸入裝置可對搜索結果進行優先排序。查詢輸入裝置可基於搜索結果的優先級顯示搜索結果。

根據例示性實施例，查詢輸入裝置可將包含於搜索結果中的文本轉換（或與伺服器或另一裝置通信以轉換）成語音，且輸出經轉換語音。或者，查詢輸入裝置可將包含於搜索結果中的語音轉換成文本，且輸出經轉換文本。因此，查詢輸入裝置使得盲人或聽覺受損的人能夠檢查搜索結果。

圖2為說明根據例示性實施例的使用者介面的組態的概念圖。查詢輸入裝置可顯示圖2中所說明的查詢輸入窗210及結果顯示區220，但應理解一或多個其他例示性實施例不限於此。查詢輸入裝置可分離地顯示查詢輸入窗210及結果顯示區220。

查詢輸入窗210可接收對應於第一查詢類型的第一查詢組件211（亦即，第一查詢輸入）及對應於第二查詢類型的第二查詢組件212（亦即，第二查詢輸入）。可基於第一查詢類型及第二查詢類型不同地顯示查詢輸入窗210。此外，查詢輸入窗210可接收單一查詢或包含不同類型的兩個或大於兩個查詢的查詢。

結果顯示區220可包含回應結果221及222（亦即，搜索結果）的清單。第一回應結果211可包含關於回應於搜索而識別的資訊的概要資訊。舉例而言，第一回應結果211可包含影像文件的縮略圖、包含於文件中的一些文本、所搜索的文件的連結、圖符等。

圖3為說明根據例示性實施例的用於構造查詢輸入裝置300的結構的概念圖。圖3說明用於實施例示性實施例的例示性環境。查詢輸入裝置300可經實施為計算裝置。舉例而言，查詢輸入裝置300可經實施為諸如以下各者的類型：個人電腦（personal computer；PC）、智慧型電話、聯網電視（connected television；TV）、筆記型（膝上型）電腦、個人數位助理（personal digital assistant；PDA）、平板PC、攜帶型多媒體播放器、迷你筆記型電腦、工作站等。

可描述與機器可用指令或電腦程式碼相關聯的例示性實施例，所述機器可用指令或電腦程式碼包含諸如由諸如電腦、個人攜帶型終端機或手持式裝置的裝置執行的程式模組的電腦可執行指令。通常，包含常式、程式、物件、組件及資料結構的程式模組表示執行特定工作或抽象資料類型的程式碼。例示性實施例可實施於包含手持型裝置、消費型電子裝置、通用電腦及特殊計算裝置的各種系統中。又，例示性實施例可在分散式計算環境下實施。

查詢輸入裝置300可包含記憶體320、至少一個處理器330、至少一個輸出裝置340、至少一個輸入/輸出（input/output；I/O）埠350、至少一個I/O組件360、電源370及連接元件的匯流排310。匯流排310可包含一或多種類型的匯流排，諸如位址匯流排、資料匯流排或其組合。出於簡明起見，圖3的功能區塊經說明為線。然而，查詢輸入裝置300可實質上經組態具有各種組件。舉例而言，諸如顯示裝置的輸出裝置340可被視為I/O組件360。又，處理器330可包含記憶體320。

查詢輸入裝置300可包含各種電腦可讀媒體。電腦可讀媒體可為可由查詢輸入裝置300存取的任意可用媒體，且可包含揮發性媒體、非揮發性媒體、可移動媒體及非可移動媒體。電腦儲存媒體可包含實施於任意方法或技術中用於儲存電腦可讀指令、資料結構、程式模組或諸如資料的資訊的揮發性媒體、非揮發性媒體、可移動媒體或非可移動媒體。電腦儲存媒體可包含RAM、ROM、EEPROM、快閃記憶體、記憶體技術、CD-ROM、DVD、全像記憶體、匣式磁帶、磁帶、磁碟或其他磁性儲存裝置，可用以編碼所要資訊，或可包含可由查詢輸入裝置300存取的任意媒體，但不限於此。在一個例示性實施例中，電腦儲存媒體可選自各種類型的電腦儲存媒體。在另一個實施例中，電腦儲存媒體可選自非暫時性電腦儲存媒體。

記憶體320可包含揮發性及/或非揮發性記憶體類型的電腦儲存媒體。記憶體320可為可移動記憶體、非可移動記憶體或其組合。舉例而言，記憶體320可包含半導體記憶體、硬碟機、光碟機等。查詢輸入裝置300可包含自諸如記憶體320或I/O組件360的各種實體讀出資料的一或多個處理器330。輸出裝置340將資料指令提供至使用者或另一裝置。舉例而言，輸出裝置340可包含顯示裝置、揚聲器、打印組件、振動電動機、通信裝置等中的至少一者。

I/O埠350允許邏輯上將查詢輸入裝置300連接至包含I/O組件360的其他裝置。舉例而言，I/O組件360可包含以下各者中的至少一者：麥克風、操縱桿、遊戲板、衛星天線、掃描儀、印表機、無線裝置、鍵盤、軌跡墊、觸控式螢幕、可旋轉撥號盤、攝影機及手寫輸入單元。手寫輸入單元可為觸控式螢幕，且可用以輸入手寫影像。觸控式螢幕可包含藉由作用中觸控筆（下文中被稱作筆）感測觸摸的電極磁反應（electrode magnetic reaction；EMR）墊，但一或多個其他例示性實施例不限於此。

筆可包含線圈，且磁場可由線圈在EMR墊的某一點處產生。EMR墊可偵測所產生的磁場的位置以偵測筆觸摸EMR墊的位置。EMR墊可偵測由筆產生磁場的位置以偵測觸控式螢幕上的筆觸摸位置。控制器可偵測筆觸摸位置，且因此接收手寫影像。

圖4為說明用於執行例示性實施例的網路環境的概念圖。網路環境僅為可應用於例示性實施例的環境的實例，且可包含就廣義組態而言任意數目個組件。

網路環境可包含網路410、查詢輸入裝置400及搜索引擎伺服器420。網路410可包含諸如網際網路、企業內部網路、非公共及公共區域網路、非公共及公共廣域網路、無線資料或電話網路等的任意電腦網路。查詢輸入裝置400為提供查詢的裝置。根據例示性實施例，查詢輸入裝置400可輸出搜索結果以及查詢輸入。

搜索引擎伺服器420可包含諸如查詢輸入裝置400的任意計算裝置。搜索引擎伺服器420可提供至少一些提供搜索服務的操作。

圖5至圖7為說明根據例示性實施例的接收單一搜索的查詢的方法的示範圖。

在搜索模式為單一搜索模式（亦即，單一輸入模式）時，根據例示性實施例的查詢輸入裝置可顯示單一查詢輸入窗510，經由所述單一查詢輸入窗輸入包含一個查詢類型的查詢輸入。查詢輸入裝置可顯示用於選擇搜索模式的至少一個搜索模式選擇物件。參看圖5，查詢輸入裝置可顯示單一輸入模式選擇圖符501（亦即，單一輸入模式選擇圖符）及多模態輸入模式選擇圖符502（亦即，多模態輸入模式選擇圖符）。在自使用者1接收用於選擇單一輸入模式選擇圖符501的使用者輸入時，查詢輸入裝置可顯示單一查詢輸入窗510。此處，使用者輸入可取決於查詢輸入裝置或I/O裝置的類型而變化。舉例而言，在查詢輸入裝置為輸出圖形使用者介面（graphical user interface；GUI）的PC時，藉由使用滑鼠游標點擊或選擇單一輸入模式選擇圖符501的事件可為選擇單一輸入模式選擇圖符501的使用者輸入。作為另一實例，在查詢輸入裝置為包含觸控式螢幕的手持式裝置時，人體的一部分或電子筆對單一輸入模式選擇圖符501在觸控式螢幕上顯示的位置的觸摸可為選擇單一輸入模式選擇圖符501的使用者輸入。

此外，查詢輸入裝置可顯示單一查詢類型清單520。單一查詢類型清單520可為用於選擇查詢類型的顯示項。顯示項可為顯示於螢幕上的UI元件。單一查詢類型清單520可包含多個物件。包含於單一查詢類型清單520中的每一物件可分別對應於一個查詢類型。亦即，單一查詢類型清單520可包含文本類型、影像類型、手寫類型、視訊類型及音訊類型中的至少一者的查詢。在圖5中，單一查詢類型清單520經說明為一組按鈕型物件，但在一或多個其他例示性實施例中，物件中的每一者可由各種形式（例如，圖符、介面工具集等）替換。

查詢輸入裝置可基於對單一查詢類型清單520的選擇判定由單一查詢輸入窗510接收的查詢組件的查詢類型。參看圖6，使用者1可藉由使用將包含於單一查詢類型清單520中的物件中的一者拖放至顯示單一查詢輸入窗510的區的輸入來判定包含於單一查詢輸入窗510中的查詢類型。拖放表示藉由使用GUI中的滑鼠點擊或觸摸式輸入選擇一個物件、移動位置及結束滑鼠點擊或觸摸式輸入的輸入方案。舉例而言，在對應於草圖資訊的物件521的拖放事件由單一查詢輸入窗510接收（如圖7中所說明）時，可顯示用於將草圖資訊輸入至單一查詢輸入窗510的草圖輸入窗。隨後，在對應於另一查詢類型的物件選自包含於單一查詢類型清單520中的物件當中時，草圖輸入窗可改變為用於輸入對應於其他查詢類型的查詢組件的輸入窗。此處，拖放可不同地用各種輸入方案替換。舉例而言，根據另一示例性實施例，使用者1可藉由使用諸如上文參考單一輸入模式選擇圖符501的選擇所述的彼等輸入的輸入判定查詢類型。根據例示性實施例，單一查詢輸入窗510的面積或位置可取決於待顯示（亦即，對應於查詢類型的查詢輸入的顯示項）於單一查詢輸入窗510中的查詢類型而改變或變化。或者，顯示於查詢輸入窗810中的查詢組件（亦即，顯示項）的大小可取決於查詢組件輸入區的面積而改變或變化。舉例而言，在至文本輸入窗的字元輸入的數目增加（例如，超過預定數目）時，顯示於文本輸入窗中的字元中的每一者的字型大小可縮小。舉例而言，根據一或多個例示性實施例，使用者1可經由單一輸入模式選擇圖符501上的選擇來選擇查詢類型。根據一或多個例示性實施例，單一查詢輸入窗510的區或位置可基於待顯示於查詢輸入窗上的查詢的查詢類型（亦即，對應於查詢類型的查詢輸入的顯示項）而改變。另一方面，待顯示於單一查詢輸入窗510上的查詢的查詢組件（亦即，顯示項）的大小可基於查詢組件輸入區而改變。舉例而言，在輸入字元時，若輸入預定數目或更多的字元，則文本輸入窗可放大，或文本輸入窗中的字元可改變為較小大小。

控制器可操作以顯示對應於經由顯示項520選擇的查詢類型的查詢輸入窗510，基於經由查詢輸入窗520輸入的查詢獲取搜索結果，及顯示搜索結果。舉例而言，在查詢類型為文本時，控制器可操作以顯示使得能夠輸入文本的顯示項。

在選定查詢類型為音訊時，控制器可操作以在查詢輸入窗510上顯示顯示項，所述顯示項用於將經由麥克風獲取的語音資訊及儲存於記憶體中的音訊資料中的至少一者作為查詢輸入。舉例而言，用於選擇使得麥克風能夠操作的圖符及儲存於記憶體中的音訊資料的圖符可顯示於查詢輸入窗510上。麥克風可接收語音輸入以輸出電信號，且可自電信號獲取語音資訊。音訊資料可作為檔案儲存於記憶體中。

在選定查詢類型為影像時，控制器可操作以在查詢輸入窗510上顯示顯示項，所述顯示項用於將選自經由攝影機獲取的影像資料及儲存於記憶體中的影像資料中的至少一者作為查詢輸入。舉例而言，用於選擇使得攝影機能夠操作的圖符及儲存於記憶體中的影像資料的圖符可顯示於查詢輸入窗510上。攝影機可獲取影像資料。影像資料可作為檔案儲存於記憶體中。

此外，查詢輸入裝置可包含搜索按鈕530，所述搜索按鈕用於將允許基於查詢輸入執行搜索的命令輸入至單一查詢輸入窗510。根據一或多個其他例示性實施例，可不顯示搜索按鈕530，且可使其改變為另一形式。

圖8至圖18為說明根據例示性實施例的接收多模態搜索的查詢的方法的示範圖。

在搜索模式為多模態搜索模式（亦即，多模態輸入模式）時，根據例示性實施例的查詢輸入裝置可顯示查詢輸入窗810，經由所述查詢輸入窗輸入包含一個查詢類型的查詢。在經由顯示項820選擇多個查詢類型時，控制器可操作以顯示用於在查詢輸入窗810上接收多個查詢的顯示項811及812。舉例而言，參看圖8，查詢輸入窗810可包含第一查詢組件輸入區811（亦即，第一區）及第二查詢組件輸入區812（亦即，第二區）。

查詢輸入裝置可顯示用於選擇搜索模式的至少一個搜索模式選擇物件。參看圖8，查詢輸入裝置可顯示單一輸入模式選擇圖符801（亦即，單一輸入模式選擇圖符）及多模態輸入模式選擇圖符802（亦即，多模態輸入模式選擇圖符）。在自使用者1接收用於選擇多模態輸入模式選擇圖符801的使用者輸入時，查詢輸入裝置可顯示查詢輸入窗810。可接收具有多個查詢類型的多個查詢組件（亦即，查詢輸入）的查詢輸入窗可被稱作多模態查詢輸入窗。此處，使用者輸入可取決於查詢輸入裝置或I/O裝置的類型而變化。舉例而言，在查詢輸入裝置為輸出GUI的PC時，藉由使用滑鼠游標點擊或選擇多模態輸入模式選擇圖符801的事件可為選擇多模態輸入模式選擇圖符801的使用者輸入。作為另一實例，在查詢輸入裝置為包含觸控式螢幕的手持式裝置時，人體的一部分或電子筆（例如，觸控筆）對多模態輸入模式選擇圖符801在觸控式螢幕上顯示的位置的觸摸可為選擇多模態輸入模式選擇圖符801的使用者輸入。

此外，查詢輸入裝置可顯示單一查詢類型清單820。單一查詢類型清單820可包含多個物件。包含於單一查詢類型清單820中的每一物件可分別對應於一個查詢類型。在圖8中，單一查詢類型清單820經說明為簡單按鈕類型，但在一或多個其他例示性實施例中，物件中的每一者可用諸如圖符、介面工具集等各種形式替換。

查詢輸入裝置可基於單一查詢類型清單820判定包含於多模態查詢輸入窗810中的查詢類型。參看圖9，使用者1可藉由使用將包含於單一查詢類型清單820中的物件中的一者拖放至顯示多模態查詢輸入窗810的區的輸入判定包含於查詢輸入窗810中的查詢類型。拖放表示藉由使用GUI中的滑鼠點擊或觸摸式輸入選擇一個物件、移動位置及結束滑鼠點擊或觸摸式輸入的輸入方案。舉例而言，在將對應於文本的物件821的拖放事件輸入至查詢輸入窗810的第一查詢組件輸入區811（如圖9中所說明）時，可顯示用於將文本輸入至第一查詢組件輸入區811的文本輸入窗，如圖10中所說明。文本輸入窗可包含顯示輸入文本的文本框。又，參看圖10，在將對應於影像的物件822的拖放事件輸入至第二查詢組件輸入區812時，可顯示用於將查詢類型為影像的查詢組件輸入至第二查詢組件輸入區812的使用者介面，如圖11中所說明。在此狀況下，拖放可不同地用各種輸入方案替換。舉例而言，根據一或多個例示性實施例，使用者1可經由多模態輸入模式選擇圖符801的選擇判定查詢類型。此外，第一查詢組件輸入區811或第二查詢組件輸入區812的面積或位置可隨著待顯示（亦即，對應於查詢類型的查詢輸入的顯示項）於第一查詢組件輸入區811或第二查詢組件輸入區812中的查詢類型而改變或變化。或者，顯示於查詢輸入窗810中的查詢組件的大小可隨著查詢組件輸入區的面積而改變或變化。舉例而言，在至文本輸入窗的字元輸入的數目增加（例如，超過預定數目）時，顯示於文本輸入窗中的字元中的每一者的字型大小可縮小。

此外，在圖8至圖11中，查詢輸入窗810經說明為接收包含至少兩個查詢類型的查詢（亦即，至少兩個查詢類型的查詢輸入）。應理解，在例示性實施例中，包含於經由查詢輸入窗810接收的查詢中的查詢類型的數目可大於、等於或小於二。使用者1可自包含於單一查詢類型清單820中的物件當中選擇至少一者。舉例而言，包含於單一查詢類型清單820中的物件中的一者可藉由使用滑鼠或滑鼠游標點擊。或者，可觸摸顯示於觸控式螢幕上的物件中的一者。然而，應理解一或多個其他例示性實施例不限於此。

參看圖12，可藉由自使用者1接收的輸入選擇對應於音訊的物件823。在至少一個物件選自包含於單一查詢類型清單820中的物件當中時，查詢輸入裝置可將第三查詢組件輸入區813（亦即，第三區）增加至查詢輸入窗810。查詢輸入裝置可將第三查詢組件輸入區813增加至查詢輸入窗810而不改變查詢輸入窗810的總面積。舉例而言，參看圖13，查詢輸入裝置可在第二查詢組件輸入區812的一部分中顯示第三查詢組件輸入區813。然而，應理解一或多個其他例示性實施例不限於此。舉例而言，根據另一示例性實施例，查詢輸入裝置可在額外區上顯示第三查詢組件輸入區813，其中查詢輸入窗810與在顯示第三查詢組件輸入區813之前的狀況相比較放大。在選擇對應於音訊的物件823（如圖12中所說明）時，可顯示用於將查詢類型為音訊的查詢組件輸入至第三查詢組件輸入區813的使用者介面，如圖13中所說明。

此外，包含於查詢輸入窗810中的每一查詢組件輸入區的面積可改變或可變化。舉例而言，在第一查詢組件輸入區811中難以全部顯示至第一查詢組件輸入區811的文本輸入時，第一查詢組件輸入區811的面積可增加。作為另一實例，如圖14中所說明，可基於使用者輸入移動查詢組件輸入區之間的邊界840。此處，使用者輸入可為拖動邊界840的輸入，但應理解一或多個其他例示性實施例不限於此。

此外，顯示於查詢組件輸入區中的使用者介面可改變為用於輸入對應於另一查詢類型的查詢組件的使用者介面。參看圖15，可接收包含於單一查詢類型清單820中的物件當中的對應於草圖資訊的物件824，且可接收由使用者1產生的事件作為選擇第二查詢組件輸入區812的使用者輸入。此處，使用者輸入可為自顯示於單一查詢類型清單820中的物件824開始且在第二查詢組件輸入區812中結束的拖放事件，但不限於此。在此狀況下，如圖16中所說明，用於輸入草圖資訊的草圖輸入窗814可顯示於圖15的第二查詢組件輸入區812中。

又，查詢輸入窗810的大小可根據使用者輸入而改變。查詢輸入窗810可根據使用者輸入而放大或縮小。如圖17中所說明，在接收使用者輸入時，查詢輸入窗810可顯示於放大或縮小區850中。此處，使用者輸入可為拖動查詢輸入窗810的邊緣的輸入，但應理解一或多個其他例示性實施例不限於此。

此外，可根據使用者輸入移動顯示查詢輸入窗810的位置。如圖18中所說明，在接收使用者輸入時，查詢輸入窗810可顯示於經移動區860中。此處，使用者輸入可為拖動查詢輸入窗810的部分位置的輸入，但應理解一或多個其他例示性實施例不限於此。

圖19及圖20為說明根據另一示例性實施例的接收多模態搜索的查詢的方法的示範圖。圖19為說明藉由基於單一搜索模式執行搜索而獲得的螢幕的示範圖。查詢輸入窗可包含用於輸入對應於第一查詢類型的查詢組件的第一查詢組件輸入區1910。經由第一查詢組件輸入區1910接收查詢組件，且接著在選擇搜索按鈕1930時，可基於包含所接收的查詢組件的查詢執行搜索。此處，可藉由使用包含於查詢輸入裝置中的搜索引擎執行搜索。或者，查詢輸入裝置可將查詢傳輸至搜索引擎伺服器，且接收對查詢的回應，且因此可執行搜索。

搜索結果可由於所述搜索而顯示於結果顯示區1920中。參看圖19，第一搜索結果1921及第二搜索結果1922可顯示於結果顯示區1920中。

隨後，在基於使用者輸入自所顯示的搜索結果當中選擇至少一個搜索結果時，可顯示查詢類型清單1940。參看圖19，在選擇第二搜索結果1922時，可在第二搜索結果1922附近顯示查詢類型清單1940。在圖19中，查詢類型清單1940經說明為經組態具有按鈕的一組物件，但在一或多個其他例示性實施例中，物件中的每一者可用例如圖符、介面工具集等各種形式替換。在此狀況下，可基於第二搜索結果1922執行多模態搜索，且可將查詢組件輸入至第二查詢組件輸入區1920。然而，本發明例示性實施例不限於此。舉例而言，根據一或多個其他例示性實施例，可基於至第一查詢組件輸入區1910的原始查詢組件輸入及至第二查詢組件輸入區1920的查詢組件輸入執行多模態搜索。

在查詢類型選自圖19的查詢類型清單1940時，查詢輸入裝置可將搜索模式自單一搜索模式切換成多模態搜索模式。參看圖20，可進一步顯示用於輸入對應於第二查詢類型的查詢組件的第二查詢組件輸入區1915。隨後，在選擇搜索按鈕1930時，可基於至第一查詢組件輸入區1910的查詢組件輸入及至第二查詢組件輸入區1920的查詢組件輸入執行多模態搜索。在此狀況下，可基於第二搜索結果1922及至第二查詢組件輸入區1920的查詢組件輸入執行多模態搜索，但應理解一或多個其他例示性實施例不限於此。舉例而言，根據另一例示性實施例，可基於至第一查詢組件輸入區1910的原始查詢組件輸入及至第二查詢組件輸入區1920的查詢組件輸入執行多模態搜索。搜索結果1923及1924可作為多模態搜索的結果顯示於結果顯示區中。

圖21及圖22為說明根據例示性實施例的產生查詢輸入窗的方法的示範圖。根據例示性實施例，基於搜索模式選擇物件2100選擇搜索模式，且接著如圖21中所說明，可基於自使用者1接收的使用者輸入選擇或產生任意區2110。此處，使用者輸入可為任意位置的拖動，但應理解一或多個其他例示性實施例不限於此。在選擇任意區2110時，如圖22中所說明，查詢輸入窗可根據選定搜索模式顯示於任意區2110中。舉例而言，在選定搜索模式為單一搜索模式時，查詢輸入窗可為單一查詢輸入窗，且在選定搜索模式為多模態搜索模式時，查詢輸入窗可為多模態查詢輸入窗。又，可顯示查詢類型清單2220及搜索按鈕2230。

圖23為說明根據另一例示性實施例的接收多模態搜索的查詢的方法的示範圖。在圖23的例示性實施例中，查詢輸入裝置可包含同時接收多個點的輸入的輸入裝置（例如，輸入單元）。舉例而言，查詢輸入裝置可包含觸控式螢幕。雖然顯示單一查詢類型清單2320，但可選擇包含於單一查詢類型清單2320中的多個物件。參看圖23，可選擇第一物件2321（其中查詢類型為文本）及第二物件2322（其中查詢類型為影像）。舉例而言，使用者的兩個手指可分別觸摸顯示於觸控式螢幕上的物件2321及2322。選擇多個物件，且在每一物件的選定位置移動至一個點時，可顯示用於接收具有對應於所述多個物件的多個查詢類型的查詢組件的查詢輸入窗2310。舉例而言，參看圖23，可接收其中觸摸顯示於觸控式螢幕上的物件2321及2322的兩個手指在觸摸觸控式螢幕的狀態中移動至一個點2340且接著與觸控式螢幕分離的輸入。亦即，可接收將多個物件同時拖放至一個點2340的輸入。可顯示包含用於輸入文本的文本輸入窗2311及用於上傳影像的影像上傳窗2312的查詢輸入窗2310。此處，一個點2340可能不會恰好地或精確地對應於相同點。舉例而言，在兩個點相對於彼此安置於任意距離內（例如，在預定距離內）時，其可被視為多個物件位於一個點處。

圖24為說明根據另一例示性實施例的多模態查詢類型清單2410的示範圖。根據本發明例示性實施例，在搜索模式為單一搜索模式時，查詢輸入裝置可顯示單一查詢類型清單，且在搜索模式為多模態搜索模式時，查詢輸入裝置可顯示多模態查詢類型清單。包含於多模態查詢類型清單中的物件可表示多個查詢類型的組合。參看圖24，在藉由使用搜索模式選擇物件2400將搜索模式設定成多模態搜索模式時，可顯示表示其中組合兩個或大於兩個查詢類型的組合類型的清單的多模態查詢類型清單2410。

圖25A至圖25E為說明根據另一例示性實施例的接收多模態搜索的查詢的方法的示範圖。

根據本發明例示性實施例，可藉由使用搜索結果的一部分接收多模態搜索的查詢。參看圖25A，查詢輸入裝置2500可顯示影像2520作為藉由基於至查詢輸入窗2510的查詢輸入執行搜索而獲得的搜索結果。

參看圖25B，可選擇影像2520的部分區2501。部分區2501可基於使用者輸入手動地選擇，或可基於例如影像辨識的搜索結果的分析自動選擇。舉例而言，在使用者1藉由拖動滑鼠游標或使用觸摸式輸入繪製環形曲線時，查詢輸入裝置2500可將環形曲線的內部判定為選自影像2520的部分區2501。

在部分區2501選自搜索結果時，可顯示查詢類型清單。根據本發明例示性實施例，參看圖25C，可在選定部分區2501附近顯示查詢類型清單，其呈漂浮圖符的形式或呈漂浮介面工具集的形式。漂浮圖符或漂浮介面工具集可顯示於內容上，且為位置可移動的物件。

對於所顯示的查詢類型清單2520，可自使用者1接收用於選擇查詢類型的使用者輸入。在選擇查詢類型時，可顯示對應於所顯示的查詢類型的查詢輸入窗。舉例而言，可選擇包含顯示於圖25C中所說明的影像2520中的手提包的部分區2501。隨後，在自多個所顯示的漂浮圖符2521當中選擇對應於多個查詢類型當中的語音搜索的圖符2511時，可顯示用於輸入查詢組件（其中查詢類型為語音）的查詢輸入窗2510。語音類型的查詢組件可被稱作音訊查詢。

根據例示性實施例，用於輸入查詢組件（其中查詢類型為語音）的查詢輸入窗2510可包含語音（亦即，音訊）記錄圖符。在使用者1選擇語音記錄圖符時，查詢輸入裝置2500可操作麥克風，且執行用以獲取語音資訊的應用程式。參看圖25D，在執行用於獲取語音資訊的應用程式時，使用者1可將語音輸入至查詢輸入裝置2500。

在經由查詢輸入窗2510輸入查詢組件時，查詢輸入裝置2500可接收選定搜索結果（例如，對應於選自影像2520的部分區2501）的一部分及經由查詢輸入窗2510輸入的資訊作為查詢組件。參看圖25E，可顯示包含影像輸入區2511-1（其中顯示其中顯示有手提包的影像）及語音輸入區2512-1（其中顯示輸入語音資訊的波形、預定波形及自語音資訊轉換的文本中的至少一者）的查詢輸入窗2510-1作為對應於查詢的顯示項。此處，輸入語音資訊的波形可為對應於語音資訊的預定部分（例如，語音資訊的開始）、語音資訊的預定長度、語音資訊的預定音訊特徵或特性等中的至少一者的波形。如圖25D中所說明，在輸入語音資訊「價格」時，查詢輸入裝置2500可基於包含影像（其包含手提包）及語音「價格」的查詢執行多模態搜索。如圖25E中所說明，查詢輸入裝置2500可在搜索結果顯示區2520-1中顯示關於包含於影像中的手提包的價格的資訊作為藉由執行多模態搜索而獲得的搜索結果。

圖26為說明根據例示性實施例的顯示查詢輸入窗的程序的流程圖。圖27及圖28為說明根據例示性實施例的顯示查詢輸入窗的方法的示範圖。根據例示性實施例，可在不在輸入查詢之前選擇查詢類型的狀態中輸入查詢組件。

在操作S2610中，查詢輸入裝置可經由查詢輸入窗接收查詢組件。可不同地實施接收查詢組件的方法。參看圖27，查詢輸入裝置可顯示指示設定搜索模式、查詢輸入窗2710及搜索按鈕2720的指示符2701。圖27的查詢輸入窗2710包含用於輸入其中查詢類型為文本的查詢組件的使用者介面2711。此處，查詢輸入裝置可自使用者1接收輸入以便接收查詢組件，經由所述輸入將檔案圖符2730（包含於檔案搜索窗2740中）拖放至查詢輸入窗。然而，應理解一或多個其他例示性實施例不限於拖放輸入方法。舉例而言，可根據另一例示性實施例藉由點擊操作（例如，雙擊）選擇檔案。此外，檔案搜索窗2740不限於圖27中所說明的形式。舉例而言，根據另一例示性實施例，圖27的檔案搜索窗2740可藉由分割查詢輸入裝置的螢幕而顯示，或可藉由將查詢輸入裝置的螢幕改變為檔案搜索螢幕而顯示。

在操作S2620中，查詢輸入裝置可偵測所接收的查詢組件的查詢類型。可不同地實施偵測查詢類型的方法。舉例而言，在所接收的查詢組件為檔案時，查詢輸入裝置可根據檔案的擴展名偵測查詢組件的查詢類型。在此狀況下，在檔案的擴展名為jpg、gif或bmp時，查詢輸入裝置可將查詢組件的查詢類型判定為影像，且在檔案的擴展名為avi、mp4或wmv時，查詢輸入裝置可將查詢組件的查詢類型判定為視訊。或者，在應用程式用於接收查詢組件時，查詢輸入裝置可根據應用程式的種類偵測查詢組件的查詢類型。舉例而言，在接收藉由使用攝影機應用程式而獲取的資訊作為查詢組件時，查詢輸入裝置可將查詢組件的查詢類型判定為影像，且在藉由使用語音記錄應用程式接收查詢組件時，查詢輸入裝置可將所接收的查詢組件的查詢類型判定為語音資訊。

在操作S2630中，查詢輸入裝置可改變查詢輸入窗以便包含使用者介面，經由所述使用者介面接收對應於經偵測查詢類型的查詢組件（及經由所述使用者介面顯示對應於先前接收的查詢組件的顯示項）。又，可顯示對應於所接收的查詢組件的顯示項。參看圖28，在如圖27中接收影像檔案時，查詢輸入裝置可將經組態具有為經由其輸入文本的使用者介面2711的文本輸入框的查詢輸入窗2710改變為經組態具有用於輸入影像2712的影像上傳工具的另一查詢輸入窗2710。

圖29為說明根據例示性實施例的接收查詢的程序的流程圖。圖30至圖32為說明根據例示性實施例的接收查詢的方法的示範圖。根據例示性實施例，可在不首先選擇查詢類型的情況下輸入查詢組件。

在操作S2910中，查詢輸入裝置可經由查詢輸入窗接收查詢組件。可不同地實施接收查詢組件的方法。參看圖30，查詢輸入裝置可顯示指示設定搜索模式、查詢輸入窗2710及搜索按鈕2720的指示符2702。在圖30中，查詢輸入窗2710經說明為包含用於輸入其中查詢類型為文本的查詢組件的使用者介面2711。此處，查詢輸入裝置可自使用者1接收輸入以便接收查詢組件，經由所述輸入將檔案圖符2730（包含於檔案搜索窗2740中）拖放至查詢輸入窗。然而，應理解一或多個其他例示性實施例不限於拖放輸入方法。舉例而言，可根據另一例示性實施例藉由點擊操作（例如，雙擊）選擇檔案。此外，檔案搜索窗2740不限於圖30中所說明的形式。舉例而言，根據另一例示性實施例，圖30的檔案搜索窗2740可藉由分割查詢輸入裝置的螢幕而顯示，或可藉由將查詢輸入裝置的螢幕改變為檔案搜索螢幕而顯示。

在操作S2920中，查詢輸入裝置可偵測所接收的查詢組件的查詢類型。可不同地實施偵測查詢類型的方法。舉例而言，在所接收的查詢組件為檔案時，查詢輸入裝置可根據檔案的擴展名偵測查詢組件的查詢類型。或者，在應用程式用於接收查詢組件時，查詢輸入裝置可根據應用程式的種類偵測查詢組件的查詢類型。

在操作S2930中，查詢輸入裝置可根據經偵測查詢類型增加查詢類型，所述查詢類型用以執行多模態搜索。因此，查詢輸入裝置可將區增加至查詢輸入窗中，所述區接收對應於經添加查詢類型的查詢組件（且顯示對應於先前接收的查詢組件的顯示項）。參看圖31，因為添加查詢類型，所以可放大顯示查詢輸入窗2710的區。又，用於輸入影像的使用者介面2712可顯示於其中放大查詢輸入窗的區中。關於所接收的查詢組件的資訊2750（諸如預覽、圖符或檔案名）可顯示於經添加區中。

根據一或多個例示性實施例，可放大查詢輸入窗2710以包含對應於經添加查詢類型的使用者介面2712。然而，本發明例示性實施例不限於此。又，根據一或多個例示性實施例，可不改變由查詢輸入裝置顯示的查詢輸入窗2710的形式。又，可不分割查詢輸入窗2710的內部區。在此狀況下，分別對應於經由查詢輸入窗2710的不同查詢類型輸入的多個查詢組件可一起顯示於查詢輸入窗2710中。

根據另一例示性實施例，查詢輸入裝置可顯示查詢輸入窗。此處，在搜索模式為多模態輸入模式時，查詢輸入窗可包含顯示所接收的查詢組件（亦即，顯示對應於先前接收的查詢組件的顯示項）的區及用於接收查詢組件的區。根據例示性實施例，在選擇用於接收查詢組件的區時，查詢輸入裝置可執行接收查詢組件的操作。舉例而言，為了接收其中查詢類型為語音資訊的查詢組件，查詢輸入裝置可在操作麥克風的狀態中待用。語音資訊可為包含於語音資料中的資訊。在操作S2910中，查詢輸入裝置可經由用以接收查詢組件的查詢輸入窗的區連續或同時接收對應於多個查詢類型的多個查詢組件。舉例而言，在使用者在繪製自行車時寫入紅色的搜索時，查詢輸入裝置可接收指示由使用者繪製的自行車的草圖資訊及包含關鍵字「紅色」的語音資訊作為查詢組件。

在操作S2920中，查詢輸入裝置可偵測所接收的查詢組件的查詢類型。舉例而言，在所接收的查詢組件為檔案時，查詢輸入裝置可根據檔案的擴展名偵測查詢組件的查詢類型。或者，在應用程式用於接收查詢組件時，查詢輸入裝置可根據應用程式的種類偵測查詢組件的查詢類型。作為另一實例，在藉由使用攝影機拍攝圖像時，查詢輸入裝置可偵測到查詢組件的查詢類型為影像。或者，在藉由使用光學字元辨識（OCR）來辨識包含於圖片中的字元時，可將文本偵測為查詢類型。在偵測到所接收的查詢組件的查詢類型時，查詢輸入裝置可基於經偵測查詢類型在顯示所接收的查詢組件的區中顯示所接收的查詢組件（或對應於所接收的查詢組件的顯示項）。舉例而言，在自第一查詢組件偵測的查詢類型為視訊時，查詢輸入裝置可在顯示第一查詢組件的區中顯示視訊的預覽，且在自第二查詢組件偵測的查詢類型為文本時，查詢輸入裝置可在顯示第二查詢組件的區中顯示關鍵字。或者，在自查詢組件偵測的查詢類型為語音資訊時，查詢輸入裝置可在顯示查詢組件的區中顯示包含於語音資訊中或對應於預定波形的語音波形及自語音資訊轉換的文本中的至少一者。查詢輸入裝置可反覆地執行操作S2910及S2920以接收多個查詢組件，且可顯示所接收的查詢組件以便使得使用者能夠檢查查詢組件。

在操作S2920中偵測查詢類型時，查詢輸入裝置可在操作S2930中增加用於查詢的查詢類型。在查詢輸入裝置接收對應於搜索命令的輸入時，查詢輸入裝置可產生包含經添加查詢類型的查詢。查詢輸入裝置可基於包含所接收的查詢組件及經偵測查詢類型的查詢執行搜索。查詢輸入裝置可顯示一或多個搜索結果作為搜索的結果。

在改變查詢類型時，可改變接收查詢組件的方法。又，可針對一個查詢類型提供接收查詢組件的各種方法。因此，提供給用於輸入查詢組件的使用者的使用者介面可取決於查詢類型而改變或變化。圖33為說明根據例示性實施例的接收查詢的程序的流程圖。

參看圖33，在操作S3310中，查詢輸入裝置可在查詢輸入窗中顯示查詢輸入工具。此處，查詢輸入工具表示提供給用於輸入查詢組件的使用者的使用者介面。在操作S3310中，查詢輸入裝置可根據包含於經由查詢輸入窗輸入的查詢中的查詢類型顯示查詢輸入工具。根據查詢類型顯示的查詢輸入工具的實例將在下文參看圖34至圖40詳細地描述。

在操作S3320中，查詢輸入裝置可自顯示於查詢輸入窗中的多個查詢輸入工具當中選擇至少一者。具體言之，在操作S3320中，查詢輸入裝置可接收使用者輸入，及根據所接收的使用者輸入選擇查詢輸入工具。使用者輸入的類型或形式可變化。舉例而言，可根據人體一部分、觸控筆等觸摸顯示於觸控式螢幕上的查詢輸入工具或滑鼠游標點擊所顯示的查詢輸入工具的操作選擇查詢輸入工具。

在操作S3330中，查詢輸入裝置可基於選定查詢輸入工具判定其是否執行用於接收查詢組件的應用程式。舉例而言，在選定查詢輸入工具為文本框時，查詢輸入裝置可判定可經由文本框直接接收查詢組件而不用執行單獨應用程式。亦即，在不執行單獨應用程式時，查詢輸入裝置可在操作S3340中經由查詢輸入窗接收查詢組件。

在執行用於接收查詢組件的單獨應用程式時，查詢輸入裝置可在操作S3335中執行對應於查詢輸入工具的應用程式。對應於查詢輸入工具的應用程式可預定，或可由使用者選自應用程式清單。因此，查詢輸入裝置可在操作S3345中藉由使用經執行應用程式接收查詢組件。

圖34至圖40為說明藉由使用顯示於查詢輸入窗中的查詢輸入工具基於包含於查詢中的查詢類型接收查詢組件的方法的示範圖。圖34至圖40僅為用於描述一或多個例示性實施例的實例，且應理解一或多個其他例示性實施例不限於此。

圖34為說明根據例示性實施例的接收其中查詢類型為文本的查詢組件的方法的示範圖。

在查詢中包含文本模式時，查詢輸入窗可包含如圖34中所說明的文本框3410。在選擇文本框3410時，指示輸入文本的位置的游標3411可顯示於文本框3410中。可經由鍵盤、小鍵盤、用以接收手寫文本的書寫墊等輸入文本。此外，查詢輸入裝置可經由文本框3410自鍵盤或剪貼板接收複製的文本。自輸入文本擷取的關鍵字可以用作搜索中的查詢組件。

根據另一例示性實施例，查詢輸入裝置可藉由使用OCR操作自影像獲取文本（例如，藉由操作攝影機獲取的影像）。此外，雖然用於接收文本輸入的查詢輸入工具經提供為上方包含游標3411的文本框3410，但應理解一或多個其他例示性實施例不限於此。舉例而言，根據另一例示性實施例，用於接收文本輸入的查詢輸入工具可包含書寫墊以接收包含於查詢中的手寫文本，且例如隨後經由搜索引擎的OCR操作進行轉換，或經由OCR操作由查詢輸入裝置轉換成文本。

圖35至圖38為說明根據例示性實施例的接收其中查詢類型一影像的查詢組件的方法的示範圖。在圖35至圖38中，查詢輸入裝置3500經描述為包含攝影機的手持式裝置，但應理解一或多個其他例示性實施例不限於此。

在經由查詢輸入窗接收的查詢包含影像時，查詢輸入裝置3500可顯示包含用以接收影像的一或多個工具的查詢輸入窗3510。用於接收影像的一或多個工具可各自包含影像上傳圖符3511、攝影圖符3512及影像位址輸入框3513中的至少一者。

在使用者1選擇影像上傳圖符3511時，查詢輸入裝置3500可操作以選擇影像檔案。舉例而言，參看圖37，查詢輸入裝置3500可執行顯示影像檔案的預覽清單的圖庫應用程式。在使用者1藉由使用圖庫應用程式自所顯示的預覽清單選擇至少一個影像3520時，查詢輸入裝置3500可接收選定影像3520作為查詢組件。

參看圖37，在藉由使用圖庫應用程式選擇影像3520時，查詢輸入裝置3500可結束、關閉或隱藏圖庫應用程式，且在查詢輸入窗3510中顯示選定影像3520。或者，根據另一例示性實施例，查詢輸入裝置2500可分割其顯示區。在此狀況下，查詢輸入裝置3500可在多個分割區中的一者中顯示圖庫應用程式的執行螢幕，藉此使得使用者1能夠選擇影像。

在使用者1選擇攝影圖符3512時，查詢輸入裝置3500可執行操作用於拍攝圖像的攝影機的應用程式3530，如圖38中所說明。在藉由使用攝影機產生影像時，查詢輸入裝置3500可接收所產生的影像作為查詢組件，且如圖37中所說明，影像可顯示於查詢輸入窗3510中。

根據另一例示性實施例，使用者1可藉由使用影像位址輸入窗3513輸入有影像位於其處的位址。影像位址可為指示影像的位置的位址（類似URL位址），但應理解一或多個其他例示性實施例不限於此。

在圖37中，其說明經接收作為查詢組件的影像顯示於查詢輸入窗3510中，但應理解顯示經接收作為查詢組件的影像的位置可在一或多個其他例示性實施例中變化。

此外，接收查詢（其中查詢組件的查詢類型為視訊）的方法可與如上文所描述接收影像作為查詢組件的方法類似地實施。

在接收影像或視訊作為查詢組件時，可藉由使用影像辨識或OCR操作自影像或視訊獲取關鍵字。可藉由使用所獲取的關鍵字執行搜索。或者，查詢輸入裝置可將自身影像與索引比較以搜索類似影像。

圖39為說明根據例示性實施例的接收其中查詢類型為草圖資訊的查詢組件的方法的示範圖。

在包含於查詢中的查詢類型為草圖資訊時，查詢輸入窗3910可包含用於輸入草圖資訊的草圖輸入工具3911。根據例示性實施例的草圖輸入工具3911可包含用於選擇筆模式、刷子模式、鋼筆模式、線的顏色或厚度等中的至少一者的一或多個圖符。使用者1可藉由使用草圖輸入工具3911設定草圖輸入模式，且藉由使用觸摸式輸入、滑鼠輸入、軌跡墊輸入、示意動作輸入等將草圖資訊輸入至接收其中查詢類型為草圖資訊的查詢組件的區。

在接收草圖資訊時，所接收的草圖資訊可顯示於查詢輸入窗3910中。所接收的草圖資訊可轉換成關鍵字，且自草圖資訊獲取的關鍵字可用於搜索。或者，可藉由使用草圖資訊自身的形式執行搜索。

圖40為說明根據例示性實施例的接收其中查詢類型為音訊資訊的查詢組件的方法的示範圖。

在包含於查詢中的查詢類型為音訊資訊時，查詢輸入裝置可顯示包含用於接收音訊資訊的工具的查詢輸入窗4010。用於接收音訊資訊的工具可包含例如聲音檔案上傳按鈕4011及音訊記錄圖符4012中的至少一者。

在選擇聲音檔案上傳按鈕4011時，查詢輸入裝置可顯示用於選擇聲音檔案的檔案選擇窗4021。使用者可藉由使用檔案選擇窗4021選擇經輸入為查詢組件的語音檔案（亦即，音訊檔案）。

或者，在選擇音訊記錄圖符4012時，查詢輸入裝置可操作麥克風（其影像可包含於查詢輸入窗4010中），且執行記錄音訊（亦即，語音資訊）的應用程式4022。查詢輸入裝置可藉由使用經執行應用程式4022接收所獲取的語音資訊作為查詢組件。

在輸入語音資訊時，查詢輸入裝置可顯示至查詢輸入窗4010的語音資訊輸入的波形、語音頻譜或檔案名。

經接收作為查詢組件的語音資訊可藉由比較語音的自身波形與索引而用於音樂搜索，或使用語音辨識經由轉換獲得的關鍵字可用於搜索。

圖41為說明根據例示性實施例的接收包含具有多個查詢類型的多個查詢組件的查詢及顯示搜索結果的方法的示範圖。

在包含於查詢中的查詢類型包含文本及影像時，顯示於查詢輸入裝置4100中的查詢輸入窗可包含用於輸入文本的第一區4111及用於輸入影像的第二區4112。如圖41（a）中所說明，在接收文本「花」及包含狗的形狀的影像作為查詢組件時，文本「花」可顯示為區4111中的第一顯示項，且所接收的影像可顯示為區4112中的第二顯示項。

此處，使用者可手動地選擇第一區4111將第一區4111置於接收文本的輸入的就緒狀態，且可手動地選擇第二區4112以將第二區4112置於接收影像的輸入的就緒狀態。然而，應理解一或多個其他例示性實施例不限於此。舉例而言，根據另一例示性實施例，在使用者在第一區中輸入第一查詢組件（例如，文本）之後或回應於使用者在第一區中輸入第一查詢組件（例如，文本），第二區4112可自動進入接收第二查詢組件（例如，影像）的輸入的就緒狀態。就此而言，查詢輸入裝置4100的控制器可判定自第一區4111可接收第一查詢組件的第一就緒狀態（亦即，第一狀態）自動切換成第二區4112可接收第二查詢組件的第二就緒狀態（亦即，第二狀態）。舉例而言，若第二查詢組件對應於音訊或語音資訊查詢類型，則控制器可執行控制以將查詢輸入裝置4100自動切換成自動啟動或操作麥克風以接收第二查詢組件的第二就緒狀態。此外，若第二查詢組件對應於影像查詢類型，則控制器可執行控制以將查詢輸入裝置4100自動切換成自動啟動或操作攝影機以接收第二查詢組件或顯示用以選擇影像的介面以接收第二查詢組件的第二就緒狀態。

在如上文所描述自動切換就緒狀態時，控制器可控制以輸出自動切換及/或第二就緒狀態的指示符。舉例而言，指示符可包含音訊指示符或輸出（例如，預定通知聲音）、視覺指示符或輸出（例如，預定圖符、預定符號、預定影像等）、輔助裝置輸出（例如，查詢輸入裝置4100上的）閃爍LED或預定顏色的LED、振動輸出等中的至少一者。在此狀況下，在各種例示性實施例中，視覺指示符可顯示於查詢輸入窗中或查詢輸入窗的外部。

此外，控制器可判定以基於判定第一查詢組件的輸入完成而自第一就緒狀態自動切換成第二就緒狀態。舉例而言，若第一查詢組件為影像，則控制器可判定以回應於由查詢輸入裝置4100的攝影機俘獲的影像或回應於影像的使用者選擇自第一就緒狀態自動切換成第二就緒狀態。此外，若第一查詢組件為文本或草圖，則控制器可判定以回應於自至第一區4111的上一使用者輸入流逝的預定時間週期（例如，在將上一文本字元輸入至第一區4111之後兩秒）自第一就緒狀態自動切換成第二就緒狀態。

在切換成第二就緒狀態時，控制器亦可控制以改變查詢輸入窗的顯示、第二區4112的顯示或圖形使用者介面的顯示。就此而言，顯示的改變可基於對應於第二查詢組件或第二區4112的查詢類型。根據另一例示性實施例，控制器可控制以顯示第二區4112或使用者介面以回應於切換成第二就緒狀態而接收第二查詢組件的輸入。

在使用者1在顯示所接收的文本及所接收的影像的狀態中選擇搜索按鈕4120時，如圖41（b）中所說明，查詢輸入裝置4100可顯示藉由執行多模態搜索獲得的搜索結果。在圖41中，包含花及狗兩者的影像經顯示為搜索結果。

圖42為說明根據例示性實施例的執行搜索的程序的流程圖。

根據例示性實施例的查詢輸入裝置可在操作S4210中接收查詢，且在操作S4220中判定包含於所接收的查詢中的查詢組件的優先級。在操作S4220中，查詢輸入裝置可基於查詢組件的查詢類型判定查詢組件的優先級。舉例而言，在文本、影像及語音資訊包含於查詢中時，可按文本、語音資訊及影像的次序判定查詢組件的優先級。

可不同地判定查詢組件的優先級。舉例而言，使用者可設定多個查詢類型的優先級。根據例示性實施例，在設定查詢類型的優先級時，可基於所接收的查詢組件的查詢類型判定優先級。根據另一例示性實施例，可基於經由查詢輸入窗接收查詢組件的次序判定查詢組件的優先級。然而，此情形僅為用於描述例示性實施例的實例，且應理解一或多個其他例示性實施例不限於此。

在操作S4230中，可基於經判定優先級執行搜索。舉例而言，可基於包含於查詢中的文本執行第一搜索，且接著藉由使用具有比文本的優先級低的優先級的查詢組件的語音資訊，可對基於文本執行的第一搜索的結果執行第二搜索。

可由查詢輸入裝置判定查詢組件的優先級。或者，在藉由使用包含搜索引擎的搜索引擎伺服器執行搜索時，可由搜索引擎伺服器判定查詢組件的優先級。

圖43為說明根據例示性實施例的藉由執行多模態搜索而獲得的結果的示範圖。

根據例示性實施例，查詢輸入裝置可顯示查詢輸入窗4201。查詢輸入窗4201可包含顯示所接收的查詢組件（亦即，對應於所接收的查詢組件的顯示項）的至少一個查詢組件輸入區。根據例示性實施例，查詢輸入裝置可基於所接收的查詢組件的查詢類型的優先級顯示所接收的查詢組件。參看圖43，在影像查詢類型的優先級高於文本查詢類型的優先級時，影像輸入區4202可顯示於文本輸入區4203的上方。

藉由使用查詢輸入窗4201輸入查詢組件，且接著在使用者選擇搜索按鈕4204時，藉由使用查詢組件執行的搜索的結果可顯示於搜索結果顯示區4205中。此處，在多個查詢組件當中，具有最高優先級的查詢組件可經判定為主查詢組件，且具有最低優先級的查詢組件可經判定為次查詢組件。在基於主查詢組件的搜索結果當中，由次查詢組件選擇的資訊可顯示於搜索結果區中。舉例而言，參看圖43，在關於包含於影像中的智慧型電話的資訊片段當中，包含智慧型電話的產品資訊、網誌及影像的廣告資訊可顯示於搜索結果區4205中。

圖44為說明根據另一示例性實施例的顯示搜索結果的程序的流程圖。

在操作S4310中，可基於經由查詢輸入窗接收的查詢獲取（亦即，判定或獲得）多個搜索結果。此處，獲取的多個搜索結果可在操作S4320中進行優先排序。舉例而言，可基於匹配查詢的程度判定所獲取的多個搜索結果的優先級。作為另一實例，可基於產生包含對應搜索結果的資訊的時間判定所獲取的多個搜索結果的優先級。

在操作S4330中，經優先排序的搜索結果可基於其優先級顯示於查詢輸入窗中。此處，搜索結果可顯示於另一裝置中，而不是查詢輸入裝置。舉例而言，搜索結果可顯示於包含於連接至查詢輸入裝置的本籍網路中的另一裝置中。

圖45為說明根據另一例示性實施例的搜索結果的優先級的示範圖。根據本發明例示性實施例，搜索結果可基於其類型進行優先排序。搜索結果的優先級可由使用者設定，或可基於使用者的回饋或使用歷史來判定。舉例而言，在使用者不關注廣告時，使用者可將廣告搜索結果類型直接設定成低優先級，或在選擇廣告資訊的次數相對較少（或低於預定值）時，查詢輸入裝置可將廣告搜索結果類型設定為相對低優先級。舉例而言，參看圖45，可按影像、網誌、新聞、網頁文件及廣告的次序判定基於結果類型的優先級。本文中，其描述為由查詢輸入裝置判定搜索結果的優先級。然而，應理解一或多個其他例示性實施例不限於此。舉例而言，根據另一例示性實施例，在藉由使用外部搜索引擎伺服器執行搜索時，可由外部搜索引擎伺服器判定搜索結果的優先級。

圖46為說明根據另一例示性實施例的藉由執行多模態搜索獲得的結果的示範圖。在圖46的例示性實施例中，輸入與圖43的例示性實施例的查詢相同的查詢。可顯示包含影像輸入區4202及文本輸入區4203的查詢輸入窗4201及搜索按鈕4204。

此外，圖46的例示性實施例表示如圖45中所說明設定搜索結果的優先級的狀況。即使當輸入相同查詢時，搜索結果可取決於搜索結果的優先級而不同地顯示。亦即，可基於搜索結果的優先級按影像、網誌及新聞的次序在結果顯示區4205-1中顯示搜索結果。

圖47A為說明根據例示性實施例的藉由使用多個裝置接收查詢的方法的示範圖。根據本發明例示性實施例，包含於查詢中的查詢組件可藉由使用多個裝置輸入。在圖47A中，其經說明為查詢輸入裝置4400為聯網TV，但應理解在一或多個其他例示性實施例中，查詢輸入裝置4400不限於圖47A中所說明的形式，且可改為實施為PC、智慧型電話、智慧型裝置、膝上型電腦、攜帶型多媒體播放器、平板電腦裝置、迷你筆記型電腦、工作站等。

在包含於查詢中的查詢類型為草圖資訊、語音資訊及影像時，查詢輸入裝置4400可顯示用於輸入草圖資訊、語音資訊及影像的查詢輸入窗4410。

查詢輸入裝置4400可請求來自可與查詢輸入窗4401通信的智慧型手錶4401的語音資訊4411。智慧型手錶4401可表示除了通用時鐘的操作之外還裝備有各種操作的嵌入式系統錶。舉例而言，智慧型手錶4401可執行計算操作、翻譯操作、記錄操作、通信操作等。自查詢輸入裝置4400接收對語音資訊4411的請求的智慧型手錶4401可操作包含於智慧型手錶4401中的麥克風以產生語音資訊4411，且將所產生的語音資訊4411傳輸至查詢輸入裝置4400。查詢輸入裝置4400可接收自智慧型手錶4401傳輸的語音資訊4411作為查詢組件。智慧型手錶4401可藉由使用有線通信或諸如藍芽、Wi-Fi直連、近場通信（NFC）、紅外資料協會（IrDA）、射頻（RF）通信、無線區域網路（LAN）等無線通信而與查詢輸入裝置4400通信。

此外，查詢輸入裝置4400可請求來自可與查詢輸入裝置4400通信的智慧型眼鏡4402的影像4412。智慧型眼鏡4402表示裝備有頭戴式顯示器（HMD）的可穿戴裝置。智慧型眼鏡4402可執行計算操作、翻譯操作、記錄操作、通信操作等。自查詢輸入裝置4400接收對影像4412的請求的智慧型眼鏡4402可產生由包含於智慧型眼鏡4402中的攝影機俘獲的影像4412。智慧型眼鏡4402可將所產生的影像4412傳輸至查詢輸入裝置4400。查詢輸入裝置4400可接收自智慧型眼鏡4402傳輸的影像4412作為查詢組件。智慧型眼鏡4402可藉由使用有線通信或諸如藍芽、Wi-Fi直連、NFC、IrDA、RF通信、無線LAN等無線通信與查詢輸入裝置4400通信。

智慧型眼鏡4402可包含用於追蹤使用者的眼睛的攝影機。在使用者觀看TV的整個螢幕的某一部分時，智慧型眼鏡4402可藉由使用用於追蹤使用者的眼睛的攝影機判定當前使用者所觀看的區，且可將區的影像傳送至查詢輸入裝置4400。

圖47B為說明其中根據例示性實施例的智慧型眼鏡（例如，智慧型眼鏡）自TV的整個螢幕獲取使用者所觀看的區的影像的方法的示範圖。參看圖47B，智慧型眼鏡4402可在由使用者觀看的位置處獲取影像。圖47B展示在使用者觀看顯示於TV螢幕上的自行車時的例示性實施例。

瞳孔追蹤攝影機4405可追蹤使用者的瞳孔方向以判定使用者的眼睛所看的方向。包含於眼鏡（例如，眼鏡）中的處理器可自瞳孔追蹤攝影機4405接收指示使用者的檢視方向的資訊，且基於所接收的資訊調整前置攝影機4403的方向。因此，前置攝影機4403可與使用者的檢視方向同步。亦即，前置攝影機4403的方向及使用者的眼睛所看的方向相同。在調整前置攝影機4403的方向時，前置攝影機4403可將經調整方向的影像輸出至處理器。

前置攝影機4403可獲取位於由瞳孔追蹤攝影機4405追蹤的檢視方向上的影像。換言之，前置攝影機4403可俘獲在與使用者的檢視方向相同的方向上的影像。在圖47B中，說明前置攝影機4403指向TV螢幕中的自行車的狀況。

智慧型眼鏡4402可獲取TV螢幕上的自行車影像，且將自行車影像傳輸至查詢輸入裝置4400。查詢輸入裝置4400可接收自智慧型眼鏡4402傳輸的自行車影像，且接收包含自行車影像的查詢，藉此執行搜索。

此外，查詢輸入裝置4400可藉由使用至查詢輸入裝置4400的查詢輸入工具輸出直接接收草圖資訊。具有所接收的語音資訊、影像及草圖資訊的查詢輸入裝置4400可基於包含語音資訊、影像及草圖資訊的查詢執行搜索。

在一或多個其他例示性實施例中，圖47A及圖47B的智慧型手錶4401及智慧型眼鏡4402可用來與查詢輸入裝置4400通信的其他裝置替換。

圖48為說明根據另一例示性實施例的藉由使用多個裝置接收查詢組件的方法的示範圖。

根據本發明例示性實施例，查詢輸入裝置4800可藉由使用經由網路連接至查詢輸入裝置4800的裝置接收經添加至查詢或包含於查詢中的查詢組件。參看圖48，查詢輸入裝置4800可搜索經由閘道器4810連接至查詢輸入裝置4800的多個裝置4801至4803，以便選擇提供查詢組件的一或多個裝置。此處，查詢輸入裝置4800可基於查詢組件的查詢類型選擇提供查詢組件的裝置。舉例而言，在所接收的查詢組件的查詢類型為語音資訊時，查詢輸入裝置4800可自裝置4801至4803當中選擇包含語音輸入操作的裝置。

根據例示性實施例，查詢輸入裝置4800可廣播對查詢組件的請求。查詢輸入裝置4800可回應於所述請求自裝置4801至4803接收裝置4801至4803的各別裝置設定檔。此處，裝置設定檔中的每一者可包含關於由對應裝置提供的一或多個操作的資訊。查詢輸入裝置4800可基於所接收的裝置設定檔選擇提供查詢組件的裝置。

或者，在閘道器4810管理連接至閘道器4810的裝置的裝置設定檔時，閘道器4810可回應於請求選擇提供查詢組件的裝置。在閘道器4810選擇提供查詢組件的裝置時，閘道器4810可將對查詢組件的請求傳輸至選定裝置。

根據另一例示性實施例，查詢輸入裝置4800可廣播包含關於查詢類型的資訊的請求。已接收包含關於查詢類型的資訊的請求的裝置4801至4803可判定是否有可能提供具有包含於請求中的查詢類型的查詢組件。在裝置4801至4803當中的提供具有包含於請求中的查詢類型的查詢組件的裝置可將對請求的回應傳輸至閘道器4810或傳輸至查詢輸入裝置4800。

在由查詢輸入裝置4800或閘道器4810選擇兩個或大於兩個裝置時，查詢輸入裝置4800可顯示選定裝置的清單。使用者可自裝置的所顯示清單選擇輸入查詢組件的裝置。

圖49為說明根據例示性實施例的執行搜索的程序的流程圖。

參看圖49，在操作S4510中接收查詢時，根據本發明例示性實施例的查詢輸入裝置可在操作S4520中判定在接收查詢時的搜索模式是否為多模態輸入模式。此處，操作S4510表示查詢輸入裝置根據搜索效能命令接收至查詢輸入窗的查詢輸入。在搜索模式在操作S4520中經判定為單一模式搜索時，查詢輸入裝置可在操作S4530中基於包含於查詢中的查詢類型執行搜索。

在操作S4520中搜索模式經判定為多模態輸入模式時，查詢輸入裝置可在操作S4525中基於多個查詢組件產生組合查詢。此處，組合查詢表示組合具有多個查詢類型的查詢組件。根據一或多個例示性實施例，可不同地組合查詢組件。舉例而言，可簡單地組合查詢組件。詳言之，例如在輸入文本「手提包」及語音「價格」作為查詢組件時，查詢可由關鍵字「手提包價格」組成。作為另一實例，在使用者用觸摸筆在查詢輸入窗上繪製兩個車輪且說出自行車以輸入語音信號（亦即，音訊信號）時，查詢可由關鍵字「具有兩個車輪的自行車」組成或包含關鍵字「具有兩個車輪的自行車」。作為另一實例，在使用者用觸摸筆在查詢輸入窗上繪製蘋果且說出紅色以輸入語音信號（亦即，音訊信號）時，查詢可由關鍵字「紅色蘋果」組成或包含關鍵字「紅色蘋果」。作為另一實例，在使用者用攝影機為手提包拍照且在查詢輸入窗上輸入所拍照的手提包的影像時，查詢可由關鍵字「3000韓元手提包」或「3000美元手提包」組成或包含關鍵字「3000韓元手提包」或「3000美元手提包」。作為另一實例，組合查詢可包含經添加至查詢組件中的關鍵字或主特徵（例如，包含於影像中的特徵）。此外，作為另一實例，組合查詢可包含自查詢組件產生的擴展名關鍵字。此外，作為另一實例，組合查詢的特徵可能在於基於查詢類型的優先級對查詢組件進行優先排序。在操作S4525中，查詢輸入裝置可擷取包含於查詢中的多個查詢類型之間的關係，且基於所擷取的關係產生組合查詢。在操作S4535中，查詢輸入裝置可基於在操作S4525中產生的組合查詢執行搜索。

此處，操作S4525、S4535及S4530可由外部伺服器而非查詢輸入裝置執行。

圖50為說明根據例示性實施例的執行搜索的程序的流程圖。

在操作S4610中，根據本發明例示性實施例的查詢輸入裝置400可經由所顯示的查詢輸入窗接收查詢。

在操作S4620中，查詢輸入裝置400可將所接收的查詢傳輸至搜索引擎伺服器420。此處，在搜索模式為多模態搜索時，傳輸至搜索引擎伺服器420的查詢可為其中組合具有多個查詢類型的查詢組件的組合查詢。根據一或多個例示性實施例，可不同地組合查詢組件。舉例而言，可簡單地組合查詢組件。詳言之，例如在輸入文本「手提包」及語音「價格」作為查詢組件時，查詢可由關鍵字「手提包價格」組成。作為另一實例，組合查詢可包含經添加至查詢組件中的關鍵字或主特徵（例如，包含於影像中的特徵）。此外，作為另一實例，組合查詢可包含自查詢組件產生的擴展名關鍵字。此外，作為另一實例，組合查詢的特徵可能在於基於查詢類型的優先級對查詢組件進行優先排序。根據例示性實施例，傳輸至搜索引擎伺服器420的查詢可包含指示搜索模式的資訊。

在操作S4630中，搜索引擎伺服器420可根據搜索模式執行單一搜索或多模態搜索，以用於處理所接收的查詢。在操作S4640中，搜索引擎伺服器420可將在S4630中選擇的搜索結果傳輸至查詢輸入裝置400。

圖51為說明根據例示性實施例的查詢輸入裝置4700的結構的方塊圖。

根據例示性實施例的查詢輸入裝置4700可包含顯示器4710、控制器4720及輸入裝置4730（例如，輸入單元）。

顯示器4710可顯示查詢輸入窗。顯示器4710可顯示除了查詢輸入之外的各種資訊片段。查詢輸入裝置4700可取決於實施類型而包含兩個或大於兩個顯示器4710。顯示器4710可包含諸如液晶顯示器（LCD）、發光二極體（LED）顯示器、陰極射線管（CRT）顯示器、電漿顯示面板（PDP）、有機LED（OLED）顯示器、主動矩陣式OLED（AMOLED）顯示器、薄膜電晶體（TFT）顯示器等顯示裝置。又，顯示器4710可取決於實施類型而包含觸摸感測器及具有層狀結構的觸控式螢幕。在顯示器4710執行諸如觸控式螢幕的顯示操作及輸入操作時，顯示器4710可執行輸入裝置4730的操作，及/或輸入裝置4730可經實施為顯示器4710。又，輸入裝置4730可經實施以包含顯示器4710。

根據例示性實施例，在搜索模式為多模態搜索模式時，顯示器4710可顯示查詢輸入窗。查詢輸入窗表示介面，經由所述介面接收包含多個查詢類型的查詢。或者，在搜索模式為單一搜索模式時，查詢輸入裝置4700可顯示單一查詢輸入窗。單一查詢輸入窗表示查詢輸入窗，經由所述查詢輸入窗接收包含僅一個查詢類型的查詢。

輸入裝置4730可經由基於使用者輸入由顯示器4710顯示的查詢輸入窗接收包含對應於多個查詢類型的多個查詢組件的查詢。輸入裝置4730可藉由使用鍵盤、小鍵盤、虛擬小鍵盤、軌跡墊、書寫墊等接收諸如文本或草圖資訊的查詢組件。或者，查詢輸入裝置4700可接收諸如影像、語音資訊或視訊的查詢組件以獲得或產生根據使用者輸入的查詢。

控制器4720可控制查詢輸入裝置4700的元件。控制器4720可包含中央處理單元（CPU）、儲存控制程式的唯讀記憶體（ROM）及儲存自查詢輸入裝置4700外部輸入的信號或資料或用作由查詢輸入裝置4700執行的工作中記憶體區域的隨機存取記憶體（RAM）。CPU可包含諸如單核心、雙核心、三核心或四核心的一或多個處理器。CPU、ROM及RAM可經由內部匯流排彼此連接。

控制器4720可獲取所接收的查詢的至少一個搜索結果。在控制器4720包含搜索引擎時，控制器4720可直接選擇查詢的至少一個搜索結果。在控制器4720不包含搜索引擎時，控制器4720可將查詢傳輸至包含搜索引擎的搜索引擎伺服器自搜索引擎伺服器獲取至少一個搜索結果。控制器4720可控制顯示器4710以顯示至少一個所獲取的搜索結果。顯示器4710可根據控制器4720的控制而顯示所獲取的至少一個搜索結果。

此外，控制器4720可選擇待選擇或用於查詢的多個查詢類型。由顯示器4710顯示的查詢輸入窗可根據選定查詢類型接收查詢輸入。又，如在上文所描述的例示性實施例中，由顯示器4710顯示的查詢輸入窗可取決於選定查詢類型而不同地顯示。

此外，根據例示性實施例，顯示器4710可顯示用於選擇搜索模式的搜索模式選擇物件。輸入裝置4730可接收搜索模式選擇物件的使用者輸入。此處，在使用者輸入為將搜索模式切換成多模態輸入模式的輸入時，控制器4720可將搜索模式切換成多模態輸入模式。在將搜索模式切換成多模態輸入模式時，顯示器4710可將查詢輸入窗改變為包含多個輸入模式的查詢輸入窗。根據例示性實施例，查詢輸入窗可包含分別對應於多個查詢類型的區。

又，顯示器4710可顯示查詢類型清單。根據例示性實施例，在搜索模式為單一模式時，顯示器4710可顯示單一查詢類型清單，且在搜索模式所述多模態輸入模式時，顯示器4710可顯示多模態查詢類型清單。控制器4720可自由顯示器4710顯示的查詢類型清單判定包含於查詢中的至少一個查詢類型。此處，為了判定至少一個查詢類型，輸入裝置4730可接收輸入，所述輸入將目標自查詢類型清單拖放至顯示或將顯示查詢輸入窗的區。

此外，根據例示性實施例，控制器4720可偵測所接收的查詢組件的查詢類型。由顯示器4710顯示的查詢輸入窗可包含顯示所接收的查詢組件（亦即，對應於所接收的查詢組件的顯示項）的區及接收查詢組件的區。顯示器4710可基於所偵測的查詢類型在對應於所接收的查詢組件的區中顯示所接收的查詢組件。

此外，由顯示器4710顯示的查詢輸入窗可包含用於輸入對應於每一查詢類型的查詢組件的至少一個查詢輸入工具。

又，控制器4720可將包含於搜索結果中的文本轉換成語音，或將語音（亦即，音訊）轉換成文本。

根據例示性實施例，在使用者將第一查詢輸入輸入至查詢輸入窗之後或回應於使用者將第一查詢輸入輸入至查詢輸入窗，控制器4720可判定以自可接收第一查詢組件的第一就緒狀態（亦即，第一狀態）自動切換成可接收第二查詢組件的第二就緒狀態（亦即，第二狀態）。舉例而言，若第二查詢組件對應於音訊或語音資訊查詢類型，則控制器4720可控制以將查詢輸入裝置4700自動切換成自動啟動或操作麥克風以接收第二查詢組件的第二就緒狀態。此外，若第二查詢組件對應於影像查詢類型，則控制器4720可控制以將查詢輸入裝置4700自動切換成自動啟動或操作攝影機以接收第二查詢組件或顯示用以選擇影像的介面以接收第二查詢組件的第二就緒狀態。

在如上文所描述自動切換就緒狀態時，控制器4720可控制以輸出自動切換及/或第二就緒狀態的指示符。舉例而言，指示符可包含音訊指示符或輸出（例如，預定通知聲音）、視覺指示符或輸出（例如，預定圖符、預定符號、預定影像等）、輔助裝置輸出（例如，查詢輸入裝置4700上的閃爍LED或預定顏色的LED）、振動輸出等中的至少一者。

此外，控制器4720可判定以基於判定第一查詢組件的輸入完成而自第一就緒狀態自動切換成第二就緒狀態。舉例而言，若第一查詢組件為影像，則控制器4720可判定以回應於由查詢輸入裝置4700的攝影機俘獲的影像或回應於影像的使用者選擇自第一就緒狀態自動切換成第二就緒狀態。此外，若第一查詢組件為文本或草圖，則控制器4720可判定以回應於自至對應於第一查詢組件或第一查詢類型的查詢輸入窗的區的上一使用者輸入流逝的預定時間週期自第一就緒狀態自動切換成第二就緒狀態。

在切換成第二就緒狀態時，控制器4720亦可控制以改變查詢輸入窗的顯示、查詢輸入窗的一或多個區的顯示或圖形使用者介面的顯示。就此而言，顯示的改變可基於對應於第二查詢組件的查詢類型。根據另一例示性實施例，控制器4720可控制以顯示使用者介面以回應於切換成第二就緒狀態而接收第二查詢組件的輸入。

應理解查詢輸入窗可變化，且不限於上文所述的彼等情形。

圖52至圖57為說明根據另一示例性實施例的執行多模態搜索的方法的示範圖。

參看圖52，查詢輸入裝置5200可接收、產生或獲得查詢「自行車」，且顯示包含百科全書資訊、網頁資訊及基於查詢搜索的影像的搜索結果5221。此處，使用者1可滾動由顯示器顯示的螢幕以檢查當前顯示器所未顯示的搜索結果。

參看圖53，滾動螢幕，且因此，先前未由顯示器顯示的多個搜索結果5222可由顯示器顯示。在此狀況下，因為滾動螢幕，所以查詢輸入窗5210可不顯示於螢幕上。

使用者1可選擇包含於搜索結果5222中的影像5231。舉例而言，參看圖54，使用者1可自搜索結果5222當中選擇自行車影像5231。此處，使用者1可藉由使用觸控式螢幕或滑鼠選擇所述5231，但應理解一或多個其他例示性實施例不限於此。在選擇影像5231時，查詢輸入裝置5200可在選定影像5231附近顯示查詢類型清單。參看圖54，查詢輸入裝置5200可在選定影像5231附近顯示漂浮圖符5230。漂浮圖符5230可對應於至少一個查詢類型。

參看圖55，使用者1可選擇所顯示的漂浮圖符5230。參看圖56，選擇漂浮圖符5230，且因此，查詢輸入裝置5200可顯示用於輸入對應於漂浮圖符5230的查詢類型的查詢輸入區5231。查詢輸入裝置5200可經由查詢輸入區5231接收查詢組件。

參看圖57，查詢輸入裝置5200可基於選定搜索結果及包含經由查詢輸入區5231接收的查詢組件的查詢5210-1執行搜索。如圖57中所說明，基於自行車影像及文本「製造商」，查詢輸入裝置5200可在結果顯示區5223中顯示包含於影像中的自行車製造商主頁及關於由自行車製造商製造的其他產品的資訊。亦即，查詢輸入裝置5200接收選自搜索結果顯示區的搜索結果，且藉由使用查詢輸入區5231接收每一查詢組件，且因此，在圖56的例示性實施例中，其可描述為藉由使用搜索結果顯示區及查詢輸入區5231作為查詢輸入窗來接收查詢組件。

圖58為說明根據另一示例性實施例的顯示查詢類型清單的方法的示範圖。

根據本發明例示性實施例，查詢輸入裝置可顯示單一模式選擇物件5801、多模態輸入模式選擇物件5802、查詢輸入窗5810、搜索按鈕5830及單一查詢類型清單5820-1。如圖58中所說明，單一查詢類型清單5820-1可包含分別對應於多個查詢類型的多個圖符（每一圖符對應於一個查詢類型）。

查詢輸入裝置可藉由使用包含於單一查詢類型清單5820-1中的圖符判定查詢類型，經由所述查詢類型接收查詢輸入窗5810。舉例而言，在選擇文本圖符5821-1時，查詢輸入裝置可顯示用於將文本輸入至查詢輸入窗5810的使用者介面。或者，在選擇影像圖符5821-2時，查詢輸入裝置可顯示用於將影像輸入至查詢輸入窗5810的使用者介面。此外，在選擇文件圖符5821-3時，查詢輸入裝置可顯示用於將文件輸入至查詢輸入窗5810的使用者介面。此外，在選擇草圖圖符5821-4時，查詢輸入裝置可顯示用於將草圖資訊輸入至查詢輸入窗5810的使用者介面。又，在選擇攝影機圖符5821-5時，查詢輸入裝置可執行攝影機應用程式，且在查詢輸入窗5810中顯示藉由使用攝影機應用程式獲取的影像。此外，在選擇音樂圖符5821-6時，查詢輸入裝置可基於藉由使用麥克風獲取的語音資訊執行音樂搜索。或者，在選擇記錄圖符5821-7時，查詢輸入裝置可操作麥克風，且藉由使用麥克風獲取語音資訊。

圖59為說明根據另一示例性實施例的顯示查詢類型清單的方法的示範圖。

在選擇多模態輸入模式選擇物件5802時，查詢輸入裝置可將搜索模式設定為多模態輸入模式。根據本發明例示性實施例，在搜索模式為多模態輸入模式時，查詢輸入裝置可顯示多模態查詢類型清單5820-2。在此狀況下，多模態查詢類型清單5820-2可包含組合多個圖符的組合圖符。組合圖符可藉由使用包含於組合圖符中的圖符指示多模態查詢類型。又，根據例示性實施例，查詢輸入裝置可基於圖符的顯示指示查詢類型的優先級。舉例而言，圖59中所說明的影像及文本的組合圖符5822-1指示影像的優先級高於文本的優先級。又，文本及語音的組合圖符5822-2指示文本的優先級高於語音的優先級。又，攝影機、語音及文本的組合圖符5822-3指示查詢類型的優先級是按攝影機、語音及文本的次序。

圖60為說明根據例示性實施例的產生多模態查詢類型清單的方法的示範圖。

根據例示性實施例，查詢輸入裝置可藉由使用分別對應於多個查詢類型的多個圖符6010（每一圖符對應於一個查詢類型）產生對應於多個查詢類型的多個組合圖符6020。舉例而言，在使用者自圖符6010當中選擇文本圖符6011及影像圖符6012時，查詢輸入裝置可產生文本圖符6011與影像圖符6012組合的組合圖符6021。在此狀況下，使用者亦可設定查詢類型的優先級（例如，根據選擇圖符的次序或藉由修改組合圖符6021），且組合圖符6021可反映設定優先級。或者，優先級可為預設或預定的。

根據例示性實施例，在搜索模式為多模態搜索模式時，查詢輸入裝置可顯示包含由使用者設定的組合圖符6020的多模態查詢類型清單。

圖61至圖65為說明根據另一示例性實施例的執行多模態搜索的方法的示範圖。

根據本發明例示性實施例，查詢輸入裝置6100可顯示將搜索模式指示為多模態輸入模式的指示符6102。又，查詢輸入裝置6100可顯示查詢輸入窗6110及搜索按鈕6130。

此外，根據本發明例示性實施例，查詢輸入裝置6100可顯示用於在選擇查詢輸入窗6110時輸入查詢組件的查詢輸入工具的集合6120。或者，根據另一例示性實施例，查詢輸入裝置6100可顯示用於在選擇包含於查詢輸入裝置6100中的選單按鈕時輸入查詢組件的查詢輸入工具的集合6120。查詢輸入工具可包含於查詢輸入窗6110中。

如圖61中所說明，在使用者1自查詢輸入工具的集合6120選擇檔案開啟圖符6121時，查詢輸入裝置6100可顯示用於選擇檔案的使用者介面。圖62為說明用於選擇檔案的使用者介面的示範圖。

如圖62中所說明，在使用者1選擇檔案6122時，查詢輸入裝置6100可接收選定檔案6122作為查詢組件。又，查詢輸入裝置6100可偵測對應於選定檔案6122的查詢類型。舉例而言，如圖62中所說明，在選定檔案6122的擴展名為jpg時，查詢輸入裝置6100可將對應於選定檔案6122的查詢類型判定為影像。

查詢輸入裝置6100可根據所偵測的查詢類型顯示所接收的查詢組件（亦即，對應於所接收的查詢組件的顯示項）。舉例而言，參看圖63，查詢輸入裝置6100可在顯示查詢組件的區6103中顯示所接收的影像6111。在圖63中，其經說明為顯示查詢組件的區6103與包含接收查詢組件的區的查詢輸入窗6110組合，但應理解顯示查詢組件的區6103的形式可在一或多個其他例示性實施例中變化。舉例而言，區6103可包含於查詢輸入窗6110中，或可安置於分離的空間中。在經由查詢輸入窗6110連續或同時接收多個查詢組件時，所接收的多個查詢組件可一起積聚或顯示於區6103中，或顯示於單獨區中。

此外，查詢輸入裝置6100可經由接收包含於查詢輸入窗6110中的查詢組件的區接收額外查詢組件。舉例而言，參看圖64，使用者1可將文本「Obama」輸入至查詢輸入窗6110。

在使用者1選擇搜索按鈕6130時，查詢輸入裝置6100可基於積聚的查詢組件及所偵測的查詢類型執行搜索。舉例而言，參考圖64及圖65，查詢輸入裝置6100可顯示Obama進行演講的視訊6140作為基於說話場景的影像6102及文本6113「Obama」的搜索結果。

圖66為說明根據例示性實施例的用於基於具有多個查詢類型的查詢執行多模態搜索的框架的方塊圖。詳言之，圖66為說明用於查詢自適應性多模態搜索的框架的方塊圖。

查詢介面6600可接收組合多個查詢組件的組合查詢6610。多個查詢組件可包含關鍵字6611、影像6612、視訊6613、語音6614、草圖資訊6615、上下文資訊6616等中的至少一者。此處，上下文資訊6616表示詳細闡明查詢的資訊，其類似使用者的當前狀態或個人歷史及偏好資訊。舉例而言，上下文資訊6616可包含查詢類型的優先級。

此外，查詢介面6600可包含用於接收組合查詢6610的單元或裝置。舉例而言，查詢介面6600可包含用於接收關鍵字6611的鍵盤、用於獲取影像6612或視訊6613的攝影機、用於獲取語音6614的麥克風、用於獲取草圖資訊6615的觸控式螢幕、用於獲取上下文資訊6616的感測器等中的至少一者。

搜索方法6620表示用以將查詢與資料庫匹配以便取決於文件的適合性而選擇文件的演算法。舉例而言，在視訊搜索系統中，雖然分割搜索方法正處理查詢文本關鍵字且將查詢文本關鍵字與語音辨識資訊匹配，但視訊的縮略圖影像可藉由單一搜索方法與視覺內容匹配。可藉由多個搜索方法6620處理組合查詢6610，藉此獲取搜索結果。

匹配查詢的資料庫可包含文件集合6630。資料庫包含待搜索的資訊片段。包含於資料庫中的文件可具有不同模態。文件中的每一者表示包含於資料庫中的資訊單元。舉例而言，每一文件可包含網頁上的一頁、視訊語料庫中的一個螢幕或相片集合的一個影像。

查詢調適模組6640可調整處理查詢的搜索方法6620的處理次序。舉例而言，在期望搜索新聞視訊中的名人的相片時，可將權重給予文本搜索方法，但當期望搜索運動場景時，可將權重給予基於實例的影像搜索方法。

搜索方法合併模組6650可合併由多個搜索方法6620獲得的搜索結果。經合併搜索結果可經由搜索結果輸出模組6660進行輸出。

可將搜索方法6620、資料庫、查詢調適模組6640、搜索方法合併模組6650及搜索結果輸出模組6660中的至少一者應用於外部裝置。外部裝置可為雲端電腦或伺服器。

外部裝置（例如，雲端電腦）可儲存搜索方法6620及資料庫，且可包含查詢調適模組6640、搜索方法合併模組6650及搜索結果輸出模組6660。外部裝置可藉由使用自查詢輸入裝置接收的查詢執行搜索，且將搜索結果輸出至查詢輸入裝置。

圖67為示意性地說明根據一或多個例示性實施例的系統及/或處理器的結構圖。參看圖67，在搜索模式為多模態搜索模式時，查詢輸入裝置可基於所接收的查詢組件的查詢類型執行搜索。舉例而言，在查詢輸入裝置接收文本查詢類型的第一查詢組件6705及影像查詢類型的第二查詢組件6707時，查詢輸入裝置可基於對應於第一查詢組件6705（亦即，文本）的關鍵字及第二查詢組件6706的輸入量（亦即，影像）執行搜索。為了處理第二查詢組件6707，查詢輸入裝置可藉由使用第二查詢組件理解組件6712識別第二查詢組件6707的特徵。第二查詢組件理解組件6712可被稱作第二查詢組件處理組件。或者，在第二查詢組件6707的查詢類型為影像時，第二查詢組件理解組件6712可被稱作影像處理組件。由第二查詢組件理解組件6712自第二查詢組件6707擷取的特徵可由第二查詢組件特徵組件6722分配描述符關鍵字。舉例而言，在第二查詢組件6707的查詢類型為影像查詢類型時，第二查詢組件理解組件6712可識別第二查詢組件6707的特徵（亦即，影像）。在此狀況下，第二查詢組件6707的特徵可包含影像文本特徵及影像視覺特徵中的至少一者。又，第二查詢組件特徵組件6722可將描述關鍵字分配給所識別的第二查詢組件6707的影像文本特徵及影像視覺特徵中的至少一者。第二查詢組件6707的查詢類型為影像查詢類型的實例將參看圖68至圖72詳細地描述。

元資料分析組件6714可識別與第二查詢組件6707相關聯的元資料。在第二查詢組件6707包含檔案時，元資料可藉由作業系統（OS）建置至檔案中（類似儲存在檔案中的名稱或註解），或可包含連同檔案儲存的資訊。元資料可在URL路徑或諸如位於網頁或基於文本的文件中或位於建置於其中的資訊（例如，影像或其類似者）的對應資訊附近的文本的相關文本中包含經輸入以用於識別待用於搜索的查詢組件的文本。第二查詢組件特徵組件6722可基於元資料分析組件6714的輸出識別關鍵字特徵。

第二查詢組件特徵組件6722可識別第一查詢組件6705及任意額外特徵，且接著所得查詢可視情況由組件6732改變或擴展。查詢改變或擴展可基於自元資料擷取的特徵由元資料分析組件6714及第二查詢組件特徵組件6722執行。或者，可基於藉由使用UI互動組件6762接收的回饋執行查詢改變或擴展。又，除了由使用者接收的額外查詢輸入之外，回饋可包含基於當前或先前查詢的回應結果的查詢建議442。又，視情況擴展或改變的查詢可用以產生（6752）回應結果。在圖67中，結果產生操作（6752）可藉由使用資料庫6675中的一或多個查詢回應文件進行識別，所述資料庫包含資料片段（例如，文件）的特徵及量。資料庫6775可包含用於識別基於查詢的回應結果的反向索引或另一任意類型的儲存格式。

根據一或多個例示性實施例，結果產生操作6762可產生一或多個類型結果。取決於所述狀況，最有希望的結果可連同較高優先級結果回應或少數較高優先級結果回應一起識別。有希望的結果可經提供為回應6744。作為替代方案，可使用經優先排序的回應結果的清單。可藉由對多個組合結果6746進行優先排序而提供清單。與使用者的互動（包含顯示結果的操作及接收查詢組件的操作）可由UI互動組件6762執行。

圖68至圖72為說明根據一或多個例示性實施例的擷取具有影像查詢類型的查詢組件的影像特徵的程序的示範圖。

在圖68中，說明藉由使用用於識別多個關注點（points of interest；POI）6802的運算子演算法處理影像（亦即，具有影像查詢類型的查詢組件）6800的方法。運算子演算法可包含用於識別影像6800中的POI 6802的任意可用演算法。在一或多個例示性實施例中，運算子演算法可不同於高斯（Gaussians）演算法或拉普拉斯（Raplace）演算法。在一或多個例示性實施例中，運算子演算法可二維地分析影像6800。視情況，在影像6800為彩色影像時，影像6800可改變為灰度。

除了如圖68中所說明的影像6800的任意點之外，POI 6802還可包含如圖69中所說明的影像6800中的區段6902、區、像素群組及特徵。下文中，POI 6802及多個區段6902可被稱作POI 6802，但POI 6802可包含所有POI 6802及區段6902。在一或多個例示性實施例中，POI 6802可包含位於影像6802的穩定區中的影像6802的特殊或可識別特徵。舉例而言，POI 6802可位於具有陡特徵的影像6800的區，所述陡特徵表示在6802a及6902a中所說明的特徵之間的高對比度。另一方面，POI可能不位於由6804所指的某一顏色或灰度的區段（亦即，不具有特殊特徵或對比度的區）中。

運算子演算法可例如識別影像6800中的任意數目個POI 6802，諸如數千個POI。POI 6802可為影像6800中的點6802及區段6902的組合，且POI的數目可取決於影像6800的大小而改變或變化。第二查詢組件處理組件6712可計算POI 6802中的每一者的量度，且根據經計算量度對POI 6802進行優先排序。量度可包含POI 6802中的影像6800的信號強度或信雜比（signal-to-noise ratio；SNR）。第二查詢組件處理組件6712可選擇用於基於優先級的額外處理的POI 6802的子集。根據一或多個例示性實施例，可選擇具有最高SNR的數百個POI 6802。選定POI 6802的數目可改變或變化。根據一或多個例示性實施例，可不選擇子集，且所有POI可為用於額外處理的目標。

如圖70中所說明，可識別對應於選定POI 6802的貼片7002的集合7000。貼片7002中的每一者可對應於選定單一POI 6802。貼片7002可包含影像6800的區，所述區包含POI 6802。自影像6800獲取的貼片7002的大小可基於自選定POI 6802中的每一者的操作演算法的輸出判定。貼片7002可具有不同大小。又，包含於各別貼片7002中的影像6800的區可彼此重疊。貼片7002的形狀可為包含正方形形狀、矩形形狀、三角形形狀、圓形形狀、橢圓形形狀等的任意形狀。貼片7002中的每一者的形狀可為正方形形狀或在貼片間可能不同。

可歸一化如圖70中所說明的貼片7002。根據一或多個例示性實施例，貼片7002可經歸一化以具有相同大小。貼片7002可藉由增加或減少其大小及解析度中的至少一者來歸一化。然而，本發明例示性實施例不限於此。舉例而言，可經由諸如對比度增加操作的應用、光點移除操作的應用、銳化操作的應用及灰度的應用的一或多個其他操作歸一化貼片7002。

根據一或多個例示性實施例，可針對歸一化貼片中的每一者判定描述符。描述符可為可作為用於影像搜索的特徵而添加的貼片的描述。描述符可藉由計算貼片7002中的每一者中的像素的統計來判定。根據一或多個例示性實施例，描述符可基於貼片7002中的每一者中的像素的灰度坡的統計判定。描述符可在視覺上表達為用於貼片7002中的每一者的直方圖，其類似圖71中所說明的多個描述符7102（圖70中所說明的貼片7002可對應於類似地配置於圖71中的描述符7102）。然而，本發明例示性實施例不限於此。舉例而言，描述符可經描述為表示貼片中的像素的像素灰度統計的多維向量。T2S2 36維向量可為表示像素灰度統計的向量的實例。

如圖72中所說明，量化表7200可用於將描述符7202與描述符7102中的每一者相關。量化表7200可包含任意表、索引、圖表或用以將描述符7102映射至描述符關鍵字7202的其他資料結構。具有各種形式的量化表7200對於一般熟習此項技術者而言是熟知的。根據一或多個例示性實施例，量化表7200可藉由處理數個影像以識別各別影像的描述符7102來產生。隨後，可以統計方式分析經識別描述符7102以用於識別類似描述符7102或具有在統計上類似的值的描述符7102的叢集或群組。舉例而言，T2S2向量中的變數的值類似。可選擇每一叢集的代表性描述符7204，且除了量化表7200中的位置之外，還可對其分配對應描述符關鍵字7202。多個描述符關鍵字7202可包含用於識別其所對應的代表性描述符7204的任意所要指示符。舉例而言，描述符關鍵字7202可包含整數值、字母字元、數值、符號、文本或其組合，如圖72中所說明。根據一或多個例示性實施例，描述符關鍵字7202可包含用於識別與基於非文本的搜索模式相關的描述符關鍵字的一連串字元。舉例而言，所有描述符關鍵字為關鍵字的前四個字元，且可包含一系列三個整數及其後的加底線字元。又，此初始序列可用以識別與影像相關的描述符關鍵字。

可在量化表7200中識別與每一描述符7102最近似匹配的代表性描述符。舉例而言，圖71中所說明的描述符7102a可最近似地對應於圖9中所說明的量化表7200的代表性描述符7202a。舉例而言，圖71中所說明的描述符7102a可最近似地對應於圖72中所說明的量化表7200的代表性描述符7204a。因此，各別描述符7102的描述符關鍵字7202可與影像6800相關。舉例而言，描述符7102a可對應於描述符識別符7202a「1」。與影像6800相關聯的描述符關鍵字7202可不同，且描述符關鍵字7202中之一或多者可與影像6800多倍地相關。舉例而言，影像6800可包含描述符關鍵字「1、2、3、4」或「1、2、2、3」。根據一或多個例示性實施例，為了考慮諸如影像中的改變的特性，可藉由識別與描述符7102最近似地匹配的兩個或大於兩個代表性描述符7204及兩個或大於兩個代表性描述符7204中的每一者的描述符關鍵字7202將描述符7102映射至兩個或大於兩個描述符標識符7202。基於此，具有一組經識別POI 6802的影像6800的內容可由一組描述符關鍵字7202表達。

根據一或多個例示性實施例，可將另一基於影像的搜索方法整合至搜索方案中。舉例而言，面部辨識方法可提供基於另一方法的影像搜索。如上文所描述，除了如上文所描述識別描述符關鍵字之外或代替識別描述符關鍵字，影像中的人的身分可藉由使用面部辨識方法來判定。影像中的人的身分可用於補充搜索查詢。或者，在程式庫中包含許多人的元資料時，可藉由使用經儲存的元資料補充查詢。

以上描述可將用於影像查詢類型的調適搜索方案的描述提供至諸如文本的另一搜索方案。可對不同查詢類型的搜索方法（例如，音訊查詢類型）執行類似調適。根據一或多個例示性實施例，可使用具有任意類型的基於音訊的搜索方法。使用具有音訊查詢類型的查詢組件的搜索可使用用以識別具有類似特性的音訊檔案的一或多個類型的特徵。如上文所描述，音訊特徵可與描述符關鍵字相關。描述符關鍵字可具有指示與音訊搜索相關聯的關鍵字的格式，其類似使關鍵字的最後四個字元對應於在連字符之後的四個數字的狀況。

在上文所描述的例示性實施例中，其經描述為查詢輸入窗顯示對應於查詢組件的顯示項（亦即，查詢輸入）。此處，應理解顯示項可為查詢組件自身或查詢組件的表示（諸如波形、縮略圖影像、預覽影像等）。此外，根據一或多個例示性實施例，可顯示對應於第一查詢類型的第一顯示項及對應於第二查詢類型的第二顯示項以使得第一查詢類型及第二查詢類型可彼此區別開。

一或多個例示性實施例可以包含由電腦執行的電腦可執行指令（諸如程式模組）的儲存媒體的形式實施。電腦可讀媒體可為可由電腦存取的任何可用媒體，且包含諸如RAM的揮發性媒體、諸如ROM的非揮發性媒體及抽取式及非抽取式媒體。此外，電腦可讀媒體可包含電腦儲存媒體及通信媒體。電腦儲存媒體包含經實施為用於儲存諸如電腦可讀指令、資料結構、程式模組或其他資料的資訊的任何方法或技術的揮發性媒體、非揮發性媒體及抽取式及非抽取式媒體。通信的媒體可為電腦可讀指令，及經調變資料信號中的其他資料（諸如資料結構或程式模組）或其他輸送機構，且包含任何資訊傳遞媒體。電腦儲存媒體的實例包含ROM、RAM、快閃記憶體、CD、DVD、磁碟或磁帶。進一步理解上文所描述的設備及裝置的上文所描述的組件及元件中的一或多者可包含硬體、電路、一或多個處理器等。

應理解，本文中所描述的例示性實施例應僅視為描述意義，且非出於限制目的。每一例示性實施例內的特徵或態樣的描述應通常視為可用於其他實施例中的其他類似特徵或態樣。

雖然已參考諸圖描述一或多個例示性實施例，但一般熟習此項技術者將理解可對其作出形式及細節的各種改變，而不會背離如由所附申請專利範圍所定義的本發明概念的精神及範疇。

1‧‧‧使用者
210‧‧‧查詢輸入窗
211‧‧‧第一查詢組件
212‧‧‧第二查詢組件
220‧‧‧結果顯示區
221‧‧‧回應結果
222‧‧‧回應結果
300‧‧‧查詢輸入裝置
310‧‧‧匯流排
320‧‧‧記憶體
330‧‧‧處理器
340‧‧‧輸出裝置
350‧‧‧輸入/輸出(I/O)埠
360‧‧‧I/O組件
370‧‧‧電源
400‧‧‧查詢輸入裝置
410‧‧‧網路
420‧‧‧搜索引擎伺服器
501‧‧‧單一輸入模式選擇圖符
502‧‧‧多模態輸入模式選擇圖符
510‧‧‧單一查詢類型清單
520‧‧‧單一查詢類型清單
521‧‧‧物件
530‧‧‧搜索按鈕
801‧‧‧單一輸入模式選擇圖符
802‧‧‧多模態輸入模式選擇圖符
810‧‧‧查詢輸入窗
811‧‧‧第一查詢組件輸入區
812‧‧‧第二查詢組件輸入區
813‧‧‧第三查詢組件輸入區
814‧‧‧草圖輸入窗
820‧‧‧單一查詢類型清單
821‧‧‧物件
822‧‧‧物件
823‧‧‧物件
824‧‧‧物件
830‧‧‧搜索
840‧‧‧邊界
850‧‧‧放大或縮小區
860‧‧‧經移動區
1910‧‧‧第一查詢組件輸入區
1915‧‧‧第二查詢組件輸入區
1920‧‧‧第二查詢組件輸入區
1921‧‧‧第一搜索結果
1922‧‧‧第二搜索結果
1923‧‧‧搜索結果
1924‧‧‧搜索結果
1930‧‧‧搜索按鈕
1940‧‧‧查詢類型清單
2100‧‧‧搜索模式選擇物件
2110‧‧‧任意區
2210‧‧‧查詢輸入窗
2220‧‧‧查詢類型清單
2230‧‧‧搜索按鈕
2310‧‧‧查詢輸入窗
2311‧‧‧文本輸入窗
2312‧‧‧影像上傳窗
2320‧‧‧單一查詢類型清單
2321‧‧‧第一物件
2322‧‧‧第二物件
2330‧‧‧搜索
2340‧‧‧一個點
2400‧‧‧搜索模式選擇物件
2410‧‧‧多模態查詢類型清單
2500‧‧‧查詢輸入裝置
2501‧‧‧部分區
2510-1‧‧‧查詢輸入窗
2511‧‧‧圖符
2511-1‧‧‧影像輸入區
2512-1‧‧‧語音輸入區
2520‧‧‧影像
2520-1‧‧‧搜索結果顯示區
2521‧‧‧漂浮圖符
2701‧‧‧指示符
2702‧‧‧指示符
2710‧‧‧查詢輸入窗
2711‧‧‧使用者介面
2712‧‧‧使用者介面
2720‧‧‧搜索按鈕
2730‧‧‧檔案圖符
2740‧‧‧檔案搜索窗
2750‧‧‧資訊
2751‧‧‧文本
3410‧‧‧文本框
3411‧‧‧游標
3500‧‧‧查詢輸入裝置
3510‧‧‧查詢輸入窗
3511‧‧‧影像上傳圖符
3512‧‧‧攝影圖符
3513‧‧‧影像位址輸入框
3520‧‧‧選定影像
3530‧‧‧應用程式
3910‧‧‧草圖輸入工具
4010‧‧‧查詢輸入窗
4011‧‧‧聲音檔案上傳按鈕
4012‧‧‧音訊記錄圖符
4021‧‧‧檔案選擇窗
4022‧‧‧應用程式
4100‧‧‧查詢輸入裝置
4110‧‧‧查詢輸入窗
4111‧‧‧語音資訊
4112‧‧‧影像
4120‧‧‧搜索按鈕
4201‧‧‧查詢輸入窗
4202‧‧‧影像輸入區
4203‧‧‧文本輸入區
4204‧‧‧搜索按鈕
4205‧‧‧搜索結果顯示區
4400‧‧‧查詢輸入裝置
4401‧‧‧智慧型手錶
4402‧‧‧智慧型眼鏡
4403‧‧‧前置攝影機
4405‧‧‧瞳孔追蹤攝影機
4410‧‧‧查詢輸入窗
4411‧‧‧語音資訊
4412‧‧‧影像
4700‧‧‧查詢輸入裝置
4710‧‧‧顯示器
4720‧‧‧控制器
4730‧‧‧輸入裝置
4800‧‧‧查詢輸入裝置
4801‧‧‧裝置
4802‧‧‧裝置
4803‧‧‧裝置
4810‧‧‧閘道器
5200‧‧‧查詢輸入裝置
5210‧‧‧查詢輸入窗
5210-1‧‧‧查詢
5221‧‧‧搜索結果
5222‧‧‧搜索結果
5223‧‧‧結果顯示區
5230‧‧‧漂浮圖符
5231‧‧‧查詢輸入區
5801‧‧‧單一模式選擇物件
5802‧‧‧多模態輸入模式選擇物件
5810‧‧‧查詢輸入窗
5820-1‧‧‧單一查詢類型清單
5820-2‧‧‧多模態查詢類型清單
5821-1‧‧‧文本圖符
5821-2‧‧‧影像圖符
5821-3‧‧‧文件圖符
5821-4‧‧‧草圖圖符
5821-5‧‧‧攝影機圖符
5821-6‧‧‧音樂圖符
5821-7‧‧‧記錄圖符
5822-1‧‧‧組合圖符
5822-2‧‧‧組合圖符
5822-3‧‧‧組合圖符
5830‧‧‧搜索按鈕
6010‧‧‧圖符
6011‧‧‧文本圖符
6012‧‧‧影像圖符
6020‧‧‧組合圖符
6021‧‧‧組合圖符
6100‧‧‧查詢輸入裝置
6102‧‧‧影像
6103‧‧‧文本
6110‧‧‧查詢輸入窗
6111‧‧‧影像
6113‧‧‧文本
6120‧‧‧集合
6121‧‧‧檔案開啟圖符
6122‧‧‧選定檔案
6130‧‧‧搜索按鈕
6140‧‧‧視訊
6600‧‧‧查詢介面
6610‧‧‧組合查詢
6611‧‧‧關鍵字
6612‧‧‧影像
6613‧‧‧視訊
6614‧‧‧語音
6615‧‧‧草圖資訊
6616‧‧‧上下文資訊
6620‧‧‧搜索方法
6630‧‧‧文件集合
6640‧‧‧查詢調適模組
6650‧‧‧搜索方法合併模組
6660‧‧‧搜索結果輸出模組
6705‧‧‧第一查詢組件
6707‧‧‧第二查詢組件
6712‧‧‧第二查詢組件理解組件
6714‧‧‧元資料分析組件
6722‧‧‧第二查詢組件特徵組件
6732‧‧‧組件
6742‧‧‧查詢建議
6744‧‧‧回應
6746‧‧‧組合結果
6752‧‧‧結果產生操作
6762‧‧‧結果產生操作
6775‧‧‧資料庫
6800‧‧‧影像
6802‧‧‧關注點（POI)
6802a‧‧‧關注點（POI)
6804‧‧‧區段
6902‧‧‧區段
6902a‧‧‧區段
7000‧‧‧集合
7002‧‧‧貼片
7102‧‧‧描述符
7102a‧‧‧描述符
7200‧‧‧量化表
7202‧‧‧描述符關鍵字
7204‧‧‧代表性描述符
7204a‧‧‧代表性描述符
S110‧‧‧操作
S120‧‧‧操作
S130‧‧‧操作
S2610‧‧‧操作
S2620‧‧‧操作
S2630‧‧‧操作
S2910‧‧‧操作
S2920‧‧‧操作
S2930‧‧‧操作
S3310‧‧‧操作
S3320‧‧‧操作
S3330‧‧‧操作
S3335‧‧‧操作
S3340‧‧‧操作
S3345‧‧‧操作
S4210‧‧‧操作
S4220‧‧‧操作
S4230‧‧‧操作
S4310‧‧‧操作
S4320‧‧‧操作
S4330‧‧‧操作
S4510‧‧‧操作
S4525‧‧‧操作
S4530‧‧‧操作
S4535‧‧‧操作
S4610‧‧‧操作
S4620‧‧‧操作
S4630‧‧‧操作
S4640‧‧‧操作
S4650‧‧‧操作

S110‧‧‧操作

S120‧‧‧操作

S130‧‧‧操作

Claims (15)

1. 一種設備，包括： 至少一個輸入裝置，經組態以接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；以及 控制器，經組態以輸出包含對應於所述第一查詢輸入的第一顯示項及對應於所述第二查詢輸入的第二顯示項的查詢輸入窗，以回應於接收到所述第一查詢輸入將所述設備自接收所述第一查詢類型的所述第一查詢輸入的第一狀態自動切換成接收所述第二查詢類型的所述第二查詢輸入的第二狀態，且基於所述第一查詢輸入及所述第二查詢輸入獲得根據查詢的搜索結果。
2. 如申請專利範圍第1項所述的設備，其中： 所述第二查詢類型為音訊查詢類型；且 回應於接收到所述第一查詢輸入，所述控制器經進一步組態以自動啟動經組態以接收所述第二查詢輸入的麥克風。
3. 如申請專利範圍第1項所述的設備，其中： 所述第二查詢類型為影像查詢類型；且 回應於接收到所述第一查詢輸入，所述控制器經進一步組態以自動啟動經組態以接收所述第二查詢輸入的攝影機。
4. 如申請專利範圍第1項所述的設備，其中回應於接收到模式切換輸入，所述控制器經進一步組態以將搜索模式自經由所述查詢輸入窗接收所述第一查詢輸入及所述第二查詢輸入且將其組合以產生所述查詢的多模態輸入模式切換成接收一個查詢類型的輸入以產生所述查詢的單一輸入模式。
5. 如申請專利範圍第1項所述的設備，其中所述至少一個輸入裝置包括經組態以接收所述第一查詢輸入的第一輸入裝置及不同於所述第一輸入裝置且經組態以接收所述第二查詢輸入的第二輸入裝置。
6. 一種設備，包括： 顯示器，經組態以顯示查詢輸入窗； 至少一個輸入裝置，經組態以接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入；以及 控制器，經組態以基於所述第一查詢輸入及所述第二查詢輸入獲得根據查詢的搜索結果， 其中所述顯示器經進一步組態以在所述查詢輸入窗上同時顯示對應於所述第一查詢類型的第一區及對應於所述第二查詢類型的第二區。
7. 如申請專利範圍第6項所述的設備，其中： 所述控制器經進一步組態以判定所述第一查詢輸入的所述第一查詢類型及所述第二查詢輸入的所述第二查詢類型；且 所述顯示器經進一步組態以顯示根據所述所判定的第一查詢類型的所述第一區及根據所述所判定的第二查詢類型的所述第二區。
8. 如申請專利範圍第6項所述的設備，其中所述顯示器經進一步組態以顯示所述查詢輸入窗，其中同時顯示對應於所述第一查詢輸入的第一顯示項及對應於所述第二查詢輸入的第二顯示項，以使得可彼此區別所述第一查詢類型及所述第二查詢類型。
9. 一種設備，包括： 顯示器； 麥克風，經組態以獲取語音資訊； 攝影機，經組態以獲取影像資料； 記憶體，經組態以儲存文本資料、影像資料及音訊資料；以及 控制器，經組態以顯示用於選擇查詢類型的顯示項，顯示對應於經由所述顯示項選擇的所述查詢類型的查詢輸入窗，基於經由所述查詢輸入窗接收的查詢輸入獲得搜索結果，及控制所述顯示器以顯示所述搜索結果， 其中所述查詢輸入包括經由所述攝影機獲得的所述影像資料、儲存於所述記憶體中的所述文本資料、儲存於所述記憶體中的所述影像資料及儲存於所述記憶體中的所述音訊資料中的至少一者。
10. 如申請專利範圍第9項所述的設備，其中： 所述查詢類型來自包括文本查詢、影像查詢及音訊查詢的多個查詢類型當中；且 在所述選定查詢類型為所述音訊查詢時，所述控制器經進一步組態以控制所述顯示器以在所述查詢輸入窗上顯示用於接收經由所述麥克風獲得的所述語音資訊作為所述查詢輸入的顯示項及用於接收儲存於所述記憶體中的所述音訊資料作為所述查詢輸入的顯示項中的至少一者。
11. 如申請專利範圍第9項所述的設備，其中： 所述查詢類型來自包括文本查詢、影像查詢及音訊查詢的多個查詢類型當中；且 在所述選定查詢類型為所述影像查詢時，所述控制器經進一步組態以控制所述顯示器以顯示經由所述攝影機獲得的用於接收所述影像資料的顯示項及儲存於所述記憶體中的用於接收所述影像資料的顯示項中的至少一者作為所述查詢輸入窗上的所述查詢輸入。
12. 如申請專利範圍第9項所述的設備，更包括： 手寫輸入單元，經組態以接收手寫影像， 其中所述查詢類型來自包括文本查詢、影像查詢、音訊查詢及手寫查詢的多個查詢類型當中，且 其中在所述選定查詢類型為所述手寫查詢時，所述控制器經進一步組態以控制所述顯示器以在所述查詢輸入窗上顯示用於接收所述手寫影像的顯示項。
13. 如申請專利範圍第9項所述的設備，其中在經由所述顯示項選擇多個查詢類型時，所述控制器經進一步組態以控制所述顯示器以在所述查詢輸入窗上顯示用於接收多個查詢輸入的顯示項。
14. 一種方法，包括： 接收第一查詢類型的第一查詢輸入及第二查詢類型的第二查詢輸入； 藉由設備輸出包含對應於第一查詢輸入的第一區及對應於第二查詢輸入的第二區的查詢輸入窗； 回應於接收到所述第一查詢輸入將所述設備自接收所述第一查詢類型的所述第一查詢輸入的第一狀態自動切換成接收所述第二查詢類型的所述第二查詢輸入的第二狀態；以及 基於所述第一查詢輸入及所述第二查詢輸入獲得根據查詢的搜索結果。
15. 如申請專利範圍第14項所述的方法，更包括回應於接收到所述第二查詢輸入，同時顯示對應於所述第二區上的所述第二查詢輸入的第二顯示項及對應於所述第一區上的所述第一查詢輸入的第一顯示項。