TW504624B

TW504624B - Method and apparatus for automatically processing acquired data and contextual information and associating the same with available multimedia resources

Info

Publication number: TW504624B
Application number: TW090102999A
Authority: TW
Inventors: Cameron Shea Miner
Original assignee: Ibm
Priority date: 2000-02-29
Filing date: 2001-02-12
Publication date: 2002-10-01
Also published as: CN1311487A; GB0103095D0; GB2366033B; US20060031486A1; GB2366033A; US7653702B2

Description

504624 五、發明說明（i) . 發明領域本發明係有關資料處理之領域，尤係有關一種用來存二取、轉換、強化、搜尋、或以其他方式處理自各物體取得的各種上下文貢料之軟體系統及相關聯的方法。更具體而言’本發明係有關一種自動地使所取得資料及上下文資訊與可用多媒體資源相關聯並將結果向使用者呈現之系統及方法。全球資訊網（World Wide Web ;簡稱WWW)係由具有擴充性的相連電腦網路所構成，且全世界的企業、政府、團-體、及個人將被稱為網頁的相互連結之電腦檔案保存在該網路上。使用者利用一般被稱為網際網路瀏覽器的電腦軟體程式而瀏覽這些網頁。龐大的無特定結構之www讓使用者非常依賴網際網路搜尋引擎來擷取資訊或找出企業。這些搜尋引擎利用各種方式來決定一使用者界定的搜尋與所掘取資訊間之相關性。網頁的作者在用來界定的網頁的超文件標注語言 (HyperText Markup Language ;簡稱HTML)文件的本體内提供了被稱為一中介資料（metadata)的資訊。一種被稱為網路爬行程式（web crawler)的電腦軟體產品循序遵循超文件連結自一網頁到下一網頁，而有系統地擷取網頁。該爬行程式利用一網頁的網址或通用資源位標（U n i v e r s a 1 Resource Locator ;簡稱URL)、中介資料、及該網頁内發現的其他準則等的與該網頁有關之資訊，而作出網頁的東

504624 五、發明說明（2) 引，以便為搜尋引擎所使用。係定期便更新先前儲存的資料，並添加與新:該爬行程式，以訊。係將該爬行程式所收集的資訊儲^乍的網頁有關之資區或資料庫中。搜尋引擎搜尋該儲存^在了中介資料儲存者界定的搜尋相符之資#，但並不f ^ ，識別與使用料。旨4即時尋找相符的資丨擎所送出的每-搜尋結果通常包含被該搜㉟別為滿足使用者的搜尋詞句之各別資斜竿 '—咨在、丨 L 歹if表L ° '^· 或"命中資料"包含一指向—通用資源位標⑽L) 果網=頁之超連結。除了該超連結之外1些搜尋結」頁包含一用來描述網頁内容的簡短概述或摘要。一—關種鍵用字來!Τ際網路上的文字素材之常用技術是利用之間奸1予組ΐ ,而該"關鍵字"組合通常在各字或各名詞 1插有布耳算符，且係者句或關鐽车Μ Α夕左、甶使者輸以一文數字搜尋詞應該杳而建立該關鍵字組合。搜尋引擎回的資訊。中，丨貝枓儲存區中之字詞比對，以便找出所要求基於字詞比-對的搜意 ^ 查詢的字詞盥该儲t广引擎7刀析中；丨貢料儲存區，以便將 1目符的字詞。如：：中檔案的有索引字詞比争交，而找出有-相符的字t司，則：ΐ詢與一個或多個文件的字詞之間網頁的形式送回搜引擎識別這些文件，並以匯這類型的搜尋引擎因Q而對太故昧化啦加五、發明說明（3) 感。一查詢中使的資訊的主題之觀：扣：f映了每一個別使用者對所尋找詞的搜尋？|擎所 ':之，查詢的内容以及自基於有密切的關係。個別使用者的查糊而一弟二使用土究,，。更用者可能將查訊，一第1用者可能將以=療服務有關的資一… +一闲構成為”醫生及服務”，。旬措岡構成為"醫院及醫療及研材的類卜型：；JW:力素材广數量不斷增加，而且數位化素錄音、圖像Γ 片阁例如：可儲存文數字、資料、音訊位化資料。妙 β形、影像、視訊、及印刷品作為數種大量的素^古除非能夠易於操取所需的資訊，否則此取特定類型的；。雖然已開發出某些用來揭起文予素材的技術，但是這些技術最多只能在材:因王又亡適用於擷取圖形、音訊、及其他專門的素能此還有大量的出版素材仍然處於無法擷取的狀一口而疋無法使用的或相當未能充分利用的。 ^f七已嘗試建構一種並不極度依賴查詢時所選擇的精確字同之搜尋及擷取系統，且此種搜尋及擷取系統對於具有類似意義的不-同查詢將產生類似的回應。授予Wica]L的美國專利5，953，718 ，，Research Mode for a Knowledge Base Search and Retrieval System’1 中述及了一種例示的嘗試。 W i c a 1的專利說明了一種產生一份自多份文件中推論出一查詢的答覆之調查文件之搜尋及擷取系統。該搜尋及擷 504624 五、發明說明（4) - 取系統包含對文件的觀點，用以提供一對應的文件與一主題的傾向程度間之一對照表。為了產生一調查文件，該搜尋及擷取系統處理一查詢，以便識別與該查詢有關的一個或多個主題，並選擇與該查詢有關的文件主題，然後根據該等文件主題而選擇傾向與該查詢有關的主題之觀點。將包含以階層方式配置的類別之一知識庫配置成一指引圖，用以連結那些具有語彙、語義、或用法關聯性的類別。由於使用了知識庫，所以產生了一組擴增的查詢字詞，且彙編了其中包含與該組擴增的查詢字詞有關的觀點之調查文件。一内容處理系統識別一文件之主題，並將文件主題分類在該知識庫的各類別中。然而，此種搜尋及擷取系統及其他類似的傳統系統有賴於使用者輸入文數字關鍵字查詢，因而仍然有可能得到無效率及不精確的結果，而可能無法完全滿足使用者的需求。例如，如果一使用者正在搜尋一種具有一特殊設計及一獨特顏色且無法以一文數字查詢表達的手提皮包，則諉使用者將只好靠著加重的連續複合式搜尋來找出所需的手提包。縱使如此，使用者還要靠著冗長乏味的工作來收集所需的資訊，一才能取得所需的價格比較表。目前已提出一些嘗試以便協助經由網際網路的採購。授予Arnold 專人的美國專利6，〇16，504 "Method and System for Tracking the Purchase of a Product and Services 〇ver the Internet” 中說明了一種此類嘗試。

Arno 1 d等人的專利說明了一種用來在網際網路上建立_ι

第10頁 504624 五、潑^月說明（5) 一"" '~' -—- 維漢控制並官理用來構成一虛擬通路（virtual Outlet ;簡稱V0)的一網站的實體與一控制並管理一不同〜網=零售商間之V0關係之方法。該v〇將一系列的v〇網頁向肖、者呈現’這些網頁包含與一個或多個零售商的產品有關之描述貧訊。顧客可經由該等V0網頁而直接連結到一零ΐ商j頁’且由該零售商的電腦將該零售商網頁提供給顧客的T腦’以便可以取得與產品有關的更詳細資訊，並吕丁講產品。當顧客完成一產品的訂購時，顧客的電腦將送回一70 ϋ頁。對顧客而言，就好像是完全在v〇網頁内進行整個5丁單處理程序。該零售商然後就銷售給顧客的產品麁給該V0報酬記入帳中，然後向該顧客的採購收取貨款，並將所訂購的產品運送給該顧客。然而’這些嘗試的解決方案仍然有賴於傳統的來自使用者的有限輸入之關鍵字搜尋。此外，這些解決方案不容許自動地構成查詢以提高使用者的搜尋能力。因此，目前亟需一種可解決與傳統搜尋及行銷策略有關的問題並大幅增加使用者的輪入選擇且提高搜尋效率之系統及方法。發明概埯本發明的用-來自動地使所取得的上下文資料與可用的多媒體資源相關聯之系統及方法滿足了前文所述的需求。根據一實施例，本發明包含一上下文多媒體關聯模組，所設之该模組係作為一種改善存取之機制，用以轉換、強化、搜尋、亚以其他方式處理自各物體取得的各種上下文資料’且進一步使所取得的上下文資料與可用的多媒體資源

504624

五、發明說明（6) 相=聯。例如’非專用的上下文資料包括環境及地球空間座標、時間、溫度、位置、速度、移動、加速度、及苴他參數。在本文的用法中，”上下文"（"contextual")意指或暗示一物體所存在的或一事件所發生的周圍環境。例如，一照 $ =上了文内容可以是拍攝該照片時所處情況之資訊，其包括諸如時間、位置、及高度等的特殊及物理參數、以種^如ΐ度、壓力、溼度、光度、及加速度感測器等的各八^測态所搜集的資訊、以及諸如按鈕及開關等的使用文。下文貧料有助於了解所取得資料之上下― 統包含個人助文多媒一中介铸存區下文輸並將所置自動進一步將該查體關聯化，歡明之系一安裝理裝置體關聯資料儲，且有入裝置取得的地將該構成一詢傳送模組對後將經統及方組、_ 该上下了栽到介資料用該上資料，助理裝料，且 _ ’並文多媒果最佳本發

第12頁在一伺服器之上下文多媒體關聯模、及一上下文輸入裝置。於使用時，模組連線到網際網路，並將網路文件存區’並將所下載的文件儲存在該中系統地更新所下載的文件。使用者利取得與一相關物體或項目有關的輸入貪料傳送到該個人助理裝置。該個人輪入貧料數位化，並處理該輸入資查詢’產生或更新一數位使用者定義到，上下文多媒體關聯模組。該上下各，料儲存區進行該查詢，將搜尋結過最t化的搜尋結果提供給使用者。去可提供各種特徵，這些特徵包括 504624 五、發明說明（7) (但不限於）下列特徵：具有防圖像顫動或圖像顫動降低功能影像搜尋功能，因而本系統自動構像放大。- 體的影像内容，並將該影像内容與各叟汛，搜尋一物比較。該影像搜尋功能可讓本季統方:儲存區中的影像用，例如：革糸'、先及方法用於各種商業應 •基於自實際物體取得的資料之資訊存取 •使線上”虛擬”資訊與具有實體的"實際，， •電子商務：本系統可進行基於$ 1 目關恥。物。 |於成像的品項之原處線上購 •、遠端醫療及治療：例如，一皮膚科醫生成像，且本系統將一皮膚區與各已知' ^ 各種線上醫療資料庫取得額外的資訊：;矢：比較’並且自 "•安全性、個人資訊、對資訊的電；式確數位式證據"、數位式公證人、數位簽 J，可在銷售時取得一顧客的臉部辨：二;· :片可；：時間及位置而捕獲-簽章，或取得並鑑認保險 :片。再舉另一個例子，本系統可確認影像及其可信賴衍=物館中的先進資訊存取：例如，一管理員可取得藝 ::的影像，纟本系、统將辨識這些藝術品，並提供 •汽車診斷：例如，一技工可使—車輛識別號碼（Vehicle entlilcatl0n Number :簡稱VIN)成像，並拍測相關零件

第13頁 504624 五、發明說明（8) --—^ 的照>{。本系統將比對該等影像，並顯示購物手冊的相網頁。 9 •分類：例如’可在一車禍地點取得損害及（或）傷害的資訊’且本系統可執行對病人的一自動搜尋及分類，建議動作的程序’並要求對結帳、維修、賠償、及醫療照護等授權。對自諸如書籍、路標、及購物等的實際物體中取得的文子之擴充光本子元辨識（EXpanded Optical Character Recognition··稱e〇cr)，並距嘔自動網際網路搜尋的能力。一教育、訓練、及翻譯：例如，學生可輸入一查詢，或者本系統可自動地自一相關的成像物體構成一查珣，且 ;將對字進行光學字元辨識，且於需要時執行翻澤，亚且縱使在以不同的語文儲存資訊的情形下，全世界的資料儲存區進行深入的調杳。 f對相關的語文，…給學生。亦可將此；==成物。例如，當選購書籍時，可掃描查养、b用於店内踩關的書籍。 …肖，並將顯示相音訊至文字-的搜聲音，並將該等聲識別動物的種類、訊。尋能力，因而將捕獲音與各資料儲存區中或與該聲音信號來源諸如動物聲音等的的聲音比較，以便有關的其他要求資以空間及時間之方式記錄事件，其資訊與諸如GPS等的不可視資訊結人〃。〜使用者可將視覺在一種應用中，本

504624

系統可讓使用者以空間的方式記錄事件，且當該使用者到達目的地位置日$ ’本系統將播放記錄的訊息而提醒該使用者。即時解出數學或幾何問題，也就是即時問題的解答。例如，可利用本功能來查對未還書籍、轉換不同的幣別，並且用於多種類似的其他應用中。在另一特定實施例中，本系統可利用影像資訊而協助使用者解決幾何問題，旅，解答提供給使用者。實際的應用涉及在不知道尺寸時進行的家庭維修及更換零件。 _ 質譜分析法：例如，一使用者可取得化學品、以及與〆材料有關的其他資料，且本系統將自動構成並施行，搜尋，以便識別該材料。附圖簡沭現在將參照下文中的說明、申請專利範圍、及圖系=此細說明本發明的各種特徵及完成這些特徵的方式，在=^ 圖示中，將在適當的時機重複使用相同的代號，以便系_ 各芩照項目間之相似處，這些圖示有： ^ 圖1是可使用將所取得的上下文資料與可用的多媒體資源相關聯的一--系統的一例示工作環境之示意圖；圖2是圖1是系統之高階方塊圖，圖中示出該系統的多構成組件或模組； # 圖3是用來形成圖2所示系統的一部分的一個人助娌'^ 之方塊圖；圖4是用來形成圖2所示系統的一部分的一上下文多、

第15頁 504624 五、發明說明飞10广^ 一* --- 關聯模組之方塊圖；圖5弋用來形成圖2所示系統的一部分的一上下文輸入裝置賞施例之上平視圖；圖6是圖5是上下文輸入裝置之下平視圖；圖7疋圖5所示上下文輸入裝置之高階方塊圖；、，圖8是圖5所示上下文輸入裝置之示意圖，圖中示出捕獲亚處理一書籍之影像，而解說由圖2所示系統執行的一影像放大及穩定功能； ^ 一圖9疋圖5所示上下文輸入裝置之一系列的示意圖，圖中示出由圖2所示系統自一筆取得資料並處理輸入資料而執-行一電子商務交易之程序；圖是圖5所示上下文輸入裝置之示意圖，圖中示出自二鳥取得聲音信號之情形，而解說圖2所示系統之聲音搜尋能力；以及圖11是圖2所示系統的使用及作業的一例示方法之流程圖。主-JLj月之詳兒明 . 下文的定義及解釋提供了與本發明的技術領域有關的背景資訊，且其--目的在於協助了解本發明，但並非對本發明的範圍加以限制，這些定義如下：攸行程式（C r a w 1 e r ): 一種自動探勘全球資訊網之程式，其探勘的方式為擷取一文件並遞迴地擷取與該文件連結的全部或部分文件。起文件標注語言（HyperText Markup Language ;簡稱

第16頁 ^τίΓ^(11) . 容之檫準:來：=展現並將屬性連結到文件内的資訊内文件的資IS f内—文件製作階段，將HTML"標記"嵌入該 (或''HTML· ; 二當隨後由一網路伺服器將該網路文件譯誃箄廷到一網路瀏覽器時，即由該瀏覽器轉豕寺標記，並利用今篡# #亦八k α ^ 指定網跋1臨哭Λ 示來刀析並顯示該文件。除了

J 見1§女□ {可县苜斤·々74^夕 Ml X 產生苴a…的 1 ”、具不文件之外’亦可利用HTML標記來厘生其他網路文件的超連結。水網際網路：一群互遠的八子爲a ,兩纪科唯、Λ矸立遷的么眾及私人電腦網路，且利用一起τ τ通汛疋而以若干路由器將這些電腦網路連結在一 I，而形成一全球性的分散式網路。一，尋引擎：一種可讓使用者對網際網路上的資訊進行關鍵干搜尋的可於遠端使用之全球資訊網工具程式。 ⑽伺服器：一種送回（"服務"）網路文件而回應來自一網路潜J I：器的要求之軟體程式或電腦。通用資源位標（unif0rm Resource L〇cat〇r ;簡稱URL): 一種用來完整指定網際網路上的一内容物體的位置之唯一位址。URL的一般隔示為 . protocol : / /server-address/pathm lename。網路瀏覽器τ 一種可讓使用者要求並讀取超文件之軟體程式。瀏覽為'提供了閱覽網路文件的内容並自某一文件轉移到另一文件的某種方式。網路文件或網頁：可自全球資訊網取得並係由一URL識別的一組資料。在最簡單的形式中，也是在最常見的情形中，網頁是一種以HTML撰寫並儲存在一網路伺服器中的一欲

第17頁 504624 五、發明說明（12) - 案。伺服器可回應使用者的一要求而動態地產生使用者。網頁可以是瀏覽器或一協助應用程式可顯示的任何袼式。以回應起始碼的一部分之方式，將該格式傳送為諸如 ” text/htmr、n image/gif ” 等的MIME 類型。一HTML 網頁通常將以包含超文件連結之方式，而對照到其他的網頁。網站：可經由一電腦網路而存取的一資料庫或一群其他的互連超文件（”網路文件”或”網頁"）、以及相關聯的資料項’且該資料庫形成諸如WWW等的一更大型的分散式資訊系先之 α卩分。一般而言，一網站對應於一特定的網際網路網域名稱，並包含一特定組織的内容。其他類型的網& 可包括諸如一公司”企業内網路”的一超文件資料庫、或使用=www的文件擷取協定之超文件系統網站。 =球貧訊網（World Wide Web ;簡稱WWW): —種網際網路主從式超文件分散式資訊擷取系統。圖1 一 ψ 不出可根據本發明而使用自動地使所取得的上下文 α /、可用的多媒體資源相關聯的一系統（1 0 )之整體環_ 、本文將參照WWW而說明系統（1 〇 )的一較佳實施例，但县非、 % α —疋我們當了解，亦可配合衍生自WWW及（或）其他來獨立貧-料庫而使用系統（10)。 (1 U圖I所不，系統（10)包含一上下文多媒體關聯模組式產σ Λ上下文多媒體關聯模組（1 2)係由一軟體或電腦程在—:所構成。該上下文多媒體關聯模組（1 2)通常是嵌入在替=服器（15)之内，或安裝在該主伺服器（15)之上。

曰厂貫施例中，亦可將上下文多媒體關聯模組（丨2 )儲I

第18頁 504624 發明說明（13) 硬碟機、其他類似裝置瞪的適在诸如一軟碟、一光碟當儲存媒體。人ΓΓ二表示為一雲朵狀通訊網路(2〇)(圖”，卿包、=农=如伺服器（25)、（27)等的飼服器連接到諸如問 (V) 5的閘道器之若干通訊線路及交換器。祠服器 @ / 7)及閘道器（30)提供到WWW網際網路的通訊連諸如遠端網際網路使用者等的使用者可查詢主祠服器 (,，以便得知所需的資訊。在只用來解說的情形下，且亚不對本發明的範圍加以限制的情形下，係以 (，）、⑴）、(39)等的多種電腦、以及將於下文中夕種其他介面裝置及設備來代表該等使用者。主伺服器（1 5 )係經由諸如一電話線路、纜線、衛星鏈路、或細胞式無線電網路（40)等的一通訊鏈路而連接到網路（2 0 )。伺服器（2 5 )、（ 2 7 )可經由高速網際網路線路 (44)、（46)而連接到其他的電腦及閘道器。伺服器（25)、 (2个）可提供對諸如超文件或網路文件（5 〇 )、（ 5 5 )等的所饍存資訊之存取。超文件（50)、（55)最有可能包含到其他本地儲存的網頁之嵌入式超文件連結、以及到其他網站或各種儲存區或諸-如伺服器（27)等的伺服器儲存的文件（55)之超文件連結（7 〇 )。圖2示出一連接到網路（或WWW)(2〇)之例示系統（1())。系統（10)通常係由安裝有上下文多媒體關聯模組（12)的伺服器（15)、一個人助理裝置（Personal Assistant Device: 簡稱PADK100)、及一上下文輸入裝置（c〇ntextuai Inpjut

第19頁 504624

Device ;簡稱 CID)(111)所構成。於作業時’且將如後文中所詳述的，上下文多模組（12)經由主伺服器（15)而連線到網、關聯 (120)形成伺服器（15)的一部分，且係在伺服器（15)中子= 存亚有系統地更新所下載的網路文件。使用者利用上軚入k置（1 1 1 )捕獲一物體的（或與一物體有關的）資訊，或感測一環境狀況（其中包括地理、時間、及其他狀況並將所捕獲的資料傳送到個人助理裝置（1 〇〇 )。個人助理裝置（1〇〇)自動地數位化並處理所捕獲的資-料，亚進一步自動地構成一初步查詢，且將該初步查詢傳送到上下文多媒體關聯模組（丨2 )。在一實施例中，:下文多媒體關聯模組（1 2 )自動地搜尋中介資料儲存區（i 2 〇 )，亚決定是否需要進一步調整該初步查詢，以便改善搜尋結果。如果上下文多媒體關聯模組（丨2 )決定可以改^該初置詢’則上下文多媒體關聯模組（丨2)將對額外資訊的一要求送回到個人助理裝置（丨〇〇 )。 “如果使用者經由個人助理裝置（1〇〇)而提供所要求的資訊’則上下文1媒體關聯模組（丨2 )自動地構成一第一正式 f詢。上下文多媒體關聯模組（丨2 )亦可選擇對中介資料儲 =區（1 2 0 )進行該第一正式查詢，並決定是否需要額外的貧訊以提出一最佳搜尋。如果確係如此，則上下文多媒體關聯模組（1 2)將對資訊的另一要求傳送到個人助理 (100)。

第20頁 ^U4()24 五、發明說明（15) 如如文所述，如果使用者提供所要求的資訊，則上下文多媒體關聯模組（1 2 )可搜尋中介資料儲存區（丨2 〇 )，以便二調整該搜尋查詢。如果該搜尋查詢令人滿意，則上下文多媒體關聯模組（1 2 )將搜尋結果（或關聯性相符者）提供給個人7理裝置（1 〇〇 )，此外，上下文多媒體關聯模組（丨2 )亦可聆最新的查詢及（或）最新的一個或多個查詢結果應用到網路(2 〇 )，以便進一步更新搜尋結果或進行依次更廣泛的新搜尋。在說明了系統（1 0 )的主要構成組件及作業之後，現在將參照圖1至1 1而詳細說明這些組件，並將參照圖丨丨而詳細-說明系統（1 0 )的作業或使用模式。圖3示出根據本發明的個人助理裝置（丨〇〇 )之一實施例。個人助理裝置（1〇〇)通常包含一輸入處理器（3〇5)，用以自邊如上下文輸入裝置（111)等的一個或多個介面裝置接收信號。輸入處理器（305)執行對自上下文輸入裝置（ill)接收的信號之本地處理。例如，如果該等信號是（或包括）自諸如一麥克風或聽診器（192)或一電話（199)(圖1)等的一音訊上下文輸入裝置取得的聲音信1虎，則輸入處理器（3 0 5 )將這些聲音信號數位化，並可選擇改善其品質。例如，在一實施例中，輪入處理器（3 0 5 )可修剪該等聲音信號。再舉另一個例子，如果該等信號是（或包括）自諸如—夜視鏡、一照相機、或一視訊視影（1 8 5 )、一掃描器、一傳真機、一簽名捕獲裝置、一指紋超音波換能器、或一成一像

第21頁 504624 五、發明說明（16) 裝^ (思即一 x光機）（19 〇)(圖1)等的視訊上下文輸入裝置取彳于，視说（或影像）信號，則輸入處理器（3 0 5 )強化諸如二影像I度及對比等的影像品質，將類比信號數位化，並 (或）將經過壓縮的信號解壓縮。此外，輸入處理器（3 0 5 ) 亦可遥擇修改该資料，例如修剪該等視訊信號。再舉另一個例子，如果該等信號是（或包括）自一電腦 (37)或自諸如一條碼/條碼卡讀卡機（187)、一按鍵組、或一診斷工具（188)等的一上下文輸入裝置（111)或自諸如一質譜儀、一心電儀、一溫度感測器、一化學品感測器、及 GPS(將於下文中參照圖U而詳述之）等的任何其他適當感-測器取得的資料信號，則輸入處理器（3 〇 5 )將該等類比資料信號數位化，並將數位化後的資料信號傳送到一本地儲存區（310)。一本地處理器（3 1 5 )將所取得的資料信號與先前儲存在本地儲存區（3 1 0 )的有索引之資訊比較，並根據所需的使用者界疋的應用軟體（3 2 0 )而處理所得到的比較分析。本— 地處理器（3 1 5 )然後利用諸如一液晶顯示器（L i qu丨d Crystal Display ;簡稱LCD)、一聲音訊息、一制叭、一監視器等的一·適當輸出裝置（ 330 )、或任何其他適用的使用者介面裝置而將該初步結果輸出到或顯示給該使用者。控制裝置（ 3 3 5 )可讓使用者修改查詢或修改先前輸入的資訊。如有需要，則使用者利用控制裝置（33 5 )輸入所需的資訊，本地處理器（31 5)在使用者應用軟體（32〇)的指示下處_ 504624 五、發明說明（17)

理该貧訊。本地處理器（3 1 5 )然後將處理過的資訊傳送到本地儲存區（3 1 0 )，可在該本地儲存區（3丨〇 )將該資訊加上索引並儲存，以供未來的使用，且用於建立使用者的數位個人定義彳當。亦受到使用者應用軟體（ 3 2 0 )控制的一1/〇處理器（35〇) 處理由本地處理器（3 1 5 )輸入到本地儲存區（3丨〇 )的資訊。例如，I/O處理器（ 3 5 0 )將該資訊與一歷史記錄、使用者產生的或與使用者有關的一使用者定義檔、或使用者的輸入結合，並自動地利用結合的資訊而形成一查詢。係為了解說而提出下列的情況：一使用者想要購買藍色-皮/J/發，且沙發扶手要有黃色條紋。該使用者利用照相機 185)、上下文輸入裝置（丨丨丨）、或其他適當的裝置取得該沙發及條紋的影像。以直接的方式或經由個人助理装置 (1 〇〇 )將該影像輸入到上下文多媒體關聯模組（丨2)。上下文多媒體關聯模組（12)辨識該沙發品牌及顏色與條紋圖案，並計异該沙發及該等條紋之相對尺寸。上下文多媒體_ ，，模組（1 2)亦可利用一先前建立的或儲存的使用者數位疋義檔、或使用者的輸入，而自動地構成該查詢。例如， =用者的個人-定義檔可指定該使用者對一符合該使用者的 ::餘t具的特定品牌或款式之偏好、-份較佳製造商清早、尽售商的較佳地理位置、或一價格範圍。纟用者的輸 =可包括諸如使用者介面的操控、及來自使用者的額外口 I/O處理器（ 3 5 0 )然後將查詢及（或）資訊經由一網路轉名

第23頁 504624 五、發明說明（18) . 器（ 3 7 5 )而傳送到上下文多媒體關聯模組（12)。該網路轉接器（3 7 5 )可以是任何適用的轉接器，例如一通用序列匯二流排（Universal Serial Business ;簡稱USB)埠、一平行埠、一紅外線（I R)埠、藍芽區域無線網路通訊協定、 802· 11然線Ethernet通訊協定、及Ethernet網路通％協定等。 5 現在請參閱圖4，圖中示出上下文多媒體關聯模組 (12)、及形成伺服器（15)的一部分之中介資料儲存區 C1 2 0 )。如前文所述，係將使用者的查詢傳送到上下文多媒體關聯模組（1 2 )，其中一查詢轉換器（40 5 )將該使用者-查詢轉換成一内部查詢要求。一專用搜尋引擎（410)對有索引的資料（420 )進行該内部查詢要求，並產生一符合使用者查詢的一初步搜尋結果 ( 42 5 )。在一實施例中，該專用搜尋引擎（41〇)使用IM的 Query By Image Content(QBIC®)，以便擷取形式為影像的查詢結果。IBM的QBIC⑧的111^是 . http://wwwqbic.almaden.ibm.coin 〇請亦參閱授予 -

Barber 等人的美國專利5, 751，286 ” Image Query System and Method” 及授予Barber等人的美國專利5，579，471π

Image Query System and Method”，上述兩個專利係讓渡給本發明的相同受讓人，本發明特此引用該等專利以供參昭。 '· 一旦產生了查詢結果（4 2 5 )之後，即由一搜尋結果轉換器（ 43 0 )將該等查詢結果（425 )轉換成可閱覽的或可瀏覽一的

第24頁川4624 五、發明說明（19) 形式（意即HTML)。將轉換後的查詢結果（425 )經由網路轉接器（ 3 7 5 )以及或有的；[/0處理器（3 5〇)(圖3)而提供給個人助理裝置（100)的使用者輸出裝置（33〇)(圖3)。 A利用爬行程式（4 6 0 )自網路累積有索引的資料 (420)。該爬行程式（ 46 0 )爬行網路（2〇)，並將網路文件下载到中介貧料儲存區（丨2 〇 )，且在中介資料儲存區（丨2 〇 )中儲存並有系統地更新該等網路文件。索引製作引擎（475 ) 然後製作該等網路文件的索引，以便產生有索引的資料 4 2一0)，而供專用搜尋引擎（41〇)未來的使用。可將有索的貝料（ 42 0 )儲存在中介資料儲存區（12〇)，或儲存在適嗇的一獨立資料儲存區。田圖5至1〇示出上下文輸入裝置0。）的一實施。麸了圖，的清晰而在本文中將上下文輸入裝置⑴n及個人為助理叙置（1 0 〇 )示出及描述為兩個獨立的組件，但是孰籴士領域者可易於將這兩個組件作完整的或部分的整合、。： ’上下文輸入裝置(ιιι)是一種可自_ t匕來源或' 貝；:::取得資料並自狀況及表現取得資訊之輸入裝置。-違貫施例中’上下文輸入裝置（111)包含-手持裝 _該手持裝1通常包含一外殼（5 0 0 )，用以安裝電路需的資料、來數、戋狀、、兄f 了 J讓传或感測所工達：此一目的，上下文輪入裝置⑴m圖7)包含諸如為 :=測11⑼5) ' -視訊或影像感測s(51Q)、及（或）: 貝/斗感測存（51 5)等的一個或多個感測器。如果使用—個

第25頁 504624

一多工器（517)將各種輸入五、發明說明（20) 以上的感測器類型，則可利用資料多工化。不論是自一單一感測器或自多個感測器取得輸入資: 都要在使用者控制裝置（5 3 0 )的指示下將該輸入資料到一本地處理器（ 520 )以供處理。上下文輸入裝置（11、包含一使用者顯示幕（ 535 )，該使用者顯示幕（535 )將回提供給使用者，讓使用者能夠利用控制裝置（53〇)而貝所需的選擇。 Θ 一旦本地處理器（ 5 20 )在本必處理過該輸入資料之後，即視需要而將該輸入資料傳送到個人助理裝置（1〇〇)，直接利用一發射器（540)經由一通訊鏈路（55〇)傳送到網^ (20)。雖然通訊鏈路（5 50 )在本文中（圖5、6、8、9、1〇)吻通常利用一天線提供無線通訊，但是我們當了解，亦可用一纜線或任何其他適當的非無線鏈路而將上下文輸入置（1 1 1 )連接到個人助理裝置（1 〇 Q )。、、圖8、9、及10中示出上下文輸入裝置（111)的例示應用。圖8示出上下文輸入裝置（111)捕獲並處理一書籍“； (5 5 5 )的影像之過程，以便執行影像放大及穩定。為3達到此一目的’上-下文輸入裝置（丨丨丨）包含諸如一照相機等的一視訊e或影像感測器（51〇)，用以捕獲所需的影像。、圖9是上下文輸入裝置（;111)的示意圖，圖中示出自諸如一筆（5 6 0 )等的一物體取得並處理資料之情形。為達到此一目的’上下文輸入裝置（1 1 1 )可使用視訊感測器（5丨〇 ) (圖6)及（或）諸如條碼讀取器（187)等的一資料掃描器。一此

第26頁 504624 五、發明說明（21 ) · 種方式可讓上下文輸入裝置（111)捕獲可有助於識別筆 (5 6 0 )的數種特徵之輸入資料。例如，為了形成查詢，上二下文輪入裝置（11 1)可捕獲筆（ 5 6 0 )的一影像，以便將該物體識別為一筆，並辨識該筆的品牌名稱（例如SL丨CK)、該筆的條碼、型號、製造商、及顏色。在系統（1 0 )以本文所述的方式完成搜尋之後，上下文輸入裝置（;111)即將搜尋結果（亦即’’Slick pen, Select Qty:__Press to 0 r d e r，· · · n )向使用者顯示。該使用者可利用控制裝置 (5y〇)捲動該搜尋結果。此外’該使用者可在諸如^量欄_ 位"Q t y :-’’的一指定攔位中輸入一選擇（例如"丨2 ”，一: 然後按壓一按鍵，以便確認及（或）履行該訂單。一旦捕獲所需的輪入資料之後，即由本地處理器（52〇) (圖7)處理該輸入資料，並將該輸入資料傳送到個人助理裝置（1 0 0 )。例如，借用去相益瞎冒紅Λ丄晚的箏口 α 講貝顏色相同的一類似品牌十筆。輸入裝置（111)處理該輪入資料，並取得用來描述所需筆的特徵之一對應影像。系統養向資料，以便利用諸如IB_Query 处輸入- 服務中使巧技術等的—影像内容比對技術。g C。伽t 根據該搜尋結果，系統（10)自動地連似物品的相關網站，並楹供有如i、葦或類有可能之網站。系統(1〇)可读n f所而特徵的筆的最引，並以一有用的袼弋f彻备掹也々士甲的貝訊之索提供給使用者。幻々式）將該貧訊

第27頁 504624 五、發明說明（22) " — 鳥f的一聲音搜尋取得聲音信號，而解說系統（1 0 )的聲音搜寻此力。為達到此一目的，上下文輸入裝置（111)使用二一有向麥克風作為音訊感測器（5 0 5 )。上下文輸入裴置 (1 1 1 )取得鳥叫聲，並處理該鳥叫聲，以便取得一聲音定義檔。該聲音定義檔可以是一種由個人助理裝置（100)進行數位化的類比定義檔，也可以由上下文輸入裝置（11 1) 將該聲音定義檔數位化。然後可在網際網路上搜尋該聲音定義檔，以便擷取所需的資訊，例如這鳥的品種。圖Π示出一種系統（10)的使用或作業方法（ 60 0 )。使用者開始作業（6 0 0 )時，係在步驟（6 0 5 )中以前文中參照圖5一至圖1 0所述之方式利用上下文輸入裝置（11 1 )感測或取得輸入資料。將輸入資料傳送到個人助理裝置（1 0 0 )，在個人助理裝置（1 0 0 )中由輸入處理器（3 0 5 )及本地處理器（31 5 )以前文中參照圖3所述之方式處理該輸入資料。例如，輸入處理器（305)(圖3)將上下文輸入裝置（nl)(圖9)所取得的筆： (5 6 0 )之影像輸入資料數位化。對該輸入資料執行使用者-應用軟體（3 2 0 )(圖3 )，並指示本地處理器（31 5)(圖3)將該輸入資料與缓-衝儲存的資訊（例如先前儲存在本地儲存區 (3 1 0 )(圖3 )的先前搜尋（或服務）結果）比較。例如，本地處理器（315)決定上下文輸入裝置（111)是否已獲取有能夠可產生一可搜尋查詢的足夠資料而能夠滿足所需的使用者界定之應用軟體（3 2 0 ) ° 某一種使用者界定的應用軟體（320)可以是構買一支特

504624 五、發明說明（23) . 徵類似於自筆（5 6 0 )(圖9 )取得的那些特徵之比。另一種使用者界定的應用軟體（320)可以是找到一有競爭力的產二品。另一種使用者界定的應用軟體（3 2 〇 )可以是找到用來行銷或銷售筆（5 6 0 )的最佳服務。我們當了解，個人助理裝置（100)可執行其他的使用者界定的應用軟體（32〇)。在步驟（610)中’本地處理器（315)(圖3)處理本地處理器（3 1 5 )所產生的比較分析，並在步驟（6丨5 )中將該比較分析傳送到I / 0處理器（3 5 0 )’以供自動形成一影像查詢。然後在步驟（6 2 0 )中將該影像查詢傳送到上下文多媒體關聯模組（12)(圖4)。一在步驟（6 2 5 )中’請參閱圖4，上下文多媒體關聯模組 (12)的專用搜尋引擎（410)及索引製作引擎（475 )處理該查詢。一種例示的遠端處理係將該查詢轉換成一種或多種語; 文，以便能夠搜尋更為廣泛的資料儲存區。另一種例示的遠端處理步驟將是強化預期要進行搜尋的影像。例如，可視需要而將影像壓縮或解壓縮。一種例示的遠端處理步驟：係以GPS位置、時間、及其他因素作為輸入資料的索引。_ 總結而言，查詢的遠端處理（步驟（62 5 ))強化該查詢，及 (或）執行所需，密集處理步驟。在一實施例中，搜尋引擎（410)是IBM的Query By image Content (QBIC ®)，用以在步驟（6 30 )中搜尋網際網路，以便將筆（ 5 60 )的一圖像與中介資料儲存區〇2〇)中儲存的影像比較，及（或）儲存該圖像作為有索引的資料（42〇)。在替代實施例中，如（圖4 )線（4 8 2 )所示，搜尋引擎（4丨〇一）

5U4024 五、發明說明（24) 直接對網際網路（2fn 網際網路服務搜尋引擎(410)連接到品、或任何其他；ΐ 興趣的網站、服務、產= 在步驟（635)中，々隹的眘π * 上下文夕媒體關聯模組（1 2 )接收所搜 “步驟6^ 放影像，以便減少兮上下文多媒體關聯模組（12)可縮模組(⑴可將查詢拖f者上下文多媒體關聯換。爷@ 果自轉換為語音，或作類似的轉換^紅序（ 63 5 )執行密集的處理步驟。 (looik驟(、Μ〇)中將搜尋結果傳送到冑人助理裝置-: 該等搜Ρ果m645 )中由I/Q處理器（35G)(圖3)將搜尋示然後在步驟(65°)中將格式化後的發ϊ:i:ΐ此ί文中說明的特定實施例只是用來解說本下，作出許多、2用。可在不脫離本發明的精神及範圍 WWW戈網ρ網路二」明此太外;^然為了便於解說而只參照」 m，..罔路而％明本發明，但是我們當了解，本發明此外可ΐ :料ΐ及具有有索引的資料項之其他表格。 4組可在功能上及(或)及結構上結合

第30頁 504624 圖式簡單說明第31頁

Claims

504624 案號 90102999 六、申請專利範 1. 一種源相關聯一上一個的上下文成一查詢一上料與如申地構如申一使 4.如申根據一使 5 ·如申置將該上 6 ·如申將該等關 7 ·如申根據先前的一數位 8 ·如申根據最近 9 ·如申入資2. 自動 3. 根據圍用來自動地之裝翼、包下文輸入裝人助理裝置輸入資料’ ；以及下文多媒體多媒體資源請專利範圍成該查詢。請專利範圍用者請專用者請專下文請專聯相請專提供定義請專的關請專的一上利範圍定義檔利範圍輸入資利範圍符資訊利範圍給一使檔。利範圍聯相符利範圍 A 使上下文輸入資料與可用的多媒體資含： • — ^ 置，用以捕獲該上下文輸入資料；，用以處理該上下文輸入裝置所捕獲並根據所處理的上下文輸入資料而構關聯模組，用以使所處理的上下文輸相關聯，並產生關聯相符資訊。第1項之裝置，其中該個人助理裝置第1項之裝置，其中該個人助理裝置下文輸入而自動地構成該查詢。第1項之裝置，其中該個人助理裝置而自動地構成該查詢。第1項之裝置，其中該上下文輸入裝料數位化。第1項之裝置，其中該個人助理裝置提供給一使用者。第6項之裝置，其中該個人助理裝置用者的關聯相符資訊而建立該使用者第7項之裝置，其中該個人助理裝置資訊而更新該使用者數位定義檔。第1項之裝置，其中該上下文多媒體

O:\68\68219-910819.ptc 第32頁 504624 _案號90102999 丨7,年义月日：修正_^ I ϋ ^ "~’~ J 六、申請專利範圍 ί 關聯模組對一網路上的一資料Μ #运進行該查詢。 1 〇.如申請專利範圍第1項之裝置，其中該網路包含全球資訊網。 1 1.如申請專利範圍第1項之裝置，其中該上下文輸入資料係基於影像信號；以及其中該個人助理裝置強化該等影像信號之品質。 1 2.如申請專利範圍第1項之裝置，其中該上下文輸入資料係基於聲音信號；以及其中該個人助理裝置強化該等聲音信號之品質。 13. —種用來自動地使上下文輸入資料與可用的多媒體資源相關聯之方法，包含下列步驟：捕獲該上下文輸入資料；處理該上下文輸入資料，並根據所處理的上下文輸入資料而構成一查詢；以及使所處理的上下文輸入資料與多媒體資源相關聯，並產生關聯相符資訊。 1 4.如申請專利範圍第1 3項之方法，其中構成該查詢的該步驟包含下列步驟：根據一使用者的一上下文輸入而自動地構成該查詢。 1 5.如申請專利範圍第1 3項之方法，其中構成該查詢的該步驟包含下列步驟：根據一使用者定義檔而自動地構成該查詢。 1 6.如申請專利範圍第1 3項之方法，進一步包含下列步驟：將該等關聯相符資訊提供給一使用者。

O:\68\68219-910819.ptc 第33頁 504624 案號9〇l〇2999 T丨年f月丨f日修正六、申請專利範圍 — 1 7.如申請專利範圍第1 6項之方法，進一步包含下列步驟：根據先前提供給一使用者的關聯相符資訊而建立該使用者的一數位定義檔。 1 L如申請專利範圍第1 7項之方法，其中建立該數位定義檔之該步驟包含下列步驟：根據最近的關聯相符資訊而更新該使用者數位定義檔。 1 9.如申請專利範圍第1 3項之方法，其中使處理的上下文輸入資料相關聯之該步驟包含下列步驟：對一網路上的一資料儲存區進行該查詢。 2 0.如申請專利範圍第1 3項之方法，其中該上下文輸入資料係基於任何一個或多個影像信號或聲音信號；以及其中處理該上下文輸入資料之該步驟包含下列步驟：強化該等任何一個或多個影像信號或聲音信號之品質。

O:\68\68219-910819.ptc 第34頁