TW535092B - Projected audio for computer displays - Google Patents

Projected audio for computer displays Download PDF

Info

Publication number
TW535092B
TW535092B TW089105198A TW89105198A TW535092B TW 535092 B TW535092 B TW 535092B TW 089105198 A TW089105198 A TW 089105198A TW 89105198 A TW89105198 A TW 89105198A TW 535092 B TW535092 B TW 535092B
Authority
TW
Taiwan
Prior art keywords
sound
display
computer system
screen
patent application
Prior art date
Application number
TW089105198A
Other languages
English (en)
Inventor
Edwin James Hilpert Jr
Michael A Paolini
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Application granted granted Critical
Publication of TW535092B publication Critical patent/TW535092B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Stereophonic System (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

535092
五、發明說明（1) 相關申請案 本申請案係關 WITH PROJECTED 於取名為’’IMAGE FINDING ENABLEMENT AUDIO”尚在審理中之申請案，事務所案 號為AT9-99-124號，與本申請案同日期申請以及受讓於本 發明受 發明領 本發 腦顯示 發明背 因為 以及需 力之介 主要電 滑鼠或 亦可以 幾乎 幕上之 軌跡球 時，各 現，或 別程式 以顯不 起選擇 當使 讓人。 域 明係關於 器特徵有 景 電腦系統 要發展各 面給系統 腦系統介 是執跡球 使用。 所有電腦 視覺標記 或是搖桿 種不同之 是在方形 。另外， 器螢幕上 之功能。 用者希望 一般資訊處理系統以及更特別地是關於電 關之聲音投射之方法及製作。 及應用持續擴充，而建立新的功能及能力 種不同之裝置及工具以可見地提出此種能 使用者。使用者-驅動電腦系統及應用之 面已經為與使用者輸入裝置，如鍵盤或是 裝置一起之顯示裝置。其他無線輸入裝置 系統使用者輸入裝置依賴呈現在顯示器螢 以使使用者能夠藉由例如鍵盤或是如滑鼠 等裝置輸入。當電腦系統執行許多應用 應用典型地以顯示器上之相對應圖像呈 訊框或是視窗内使用者可以識別呈現之特 任何特別程式之所有可選擇之功能態樣亦 之視覺指示呈現，可以由使用者啟動以喚 現行程式切換至另一程式時，使用者利用
O:\63\63359.PTD 第5頁 535092
滑鼠或是其他點裝置π指向，1顯示器螢幕上之圖像或 以及”按下”點裝置上之一按鈕。此後，當使用者希望喚起 工作之特別功能應用時，該使用者將指向相對應可見勞 區域以及按下該區域。以呈現在顯示器螢幕上之所有夂 不同之可選擇視覺標記及圖像，電腦螢幕可能變成非&擁 擠而且困難地決定是否滑鼠控制之標記正指向螢幕上之一 可選擇區域或是另一區域。此方式對於視覺受損之使用者 而言甚至為更大問題。當使用者指向一選擇區域以及按下 滑鼠以啟動選擇之功能時，當按下滑鼠，假使標記實於上 正指向非意圖之鄰接或是鄰近螢幕區域時，將執功 能，經常具有災難性的悲慘結果。縱使在最佳狀況，a j吏用 者在取消非意圖之結果以及重新啟動意圖之功能之前必須 等待非意圖之功能完成。 /' 最近，已經認知到此問題以及在受讓於本申請案受讓人 之美國專利案案號為第5,533,182號之專利案中提出，該 專利案在此處以提及的方式併入本文中。在該專利案中， 提供聽覺信號以指示介於螢幕位置識別符與螢幕上感興趣 位置之間的距離。雖然此專利案代表在螢幕導航方面提供 聽覺協助之重要成就，但是在此領域仍然需要更進一步之 努力以使視覺受損之電腦使用者更容易操作以及提供設施 於操作包含網際網路應用之顯示器螢幕驅動程式。 發明總結 本發明提供一種方法及製作之電腦系統，其中聲音為在 電腦系統周圍之空間投射或是表現以提供顯示在電腦系統
第6頁 535092 五、發明說明（3) =器螢幕上之資訊各種不同特徵相關資訊。肖顯示資訊 SP二=預先決定貧訊，以聲音投射加以表現以及感知為由 離電腦系統遠處之點發源。藉由感知聲音 與指定起源點、該使用者頭或是電腦顯示= -聲音投射明顯源感知位置，能夠確定顯示在顯示器 赏棊上之影像特定特徵。 圖式之簡單說明 時田5 ‘具f貫施例之詳細說明與下列附圖結合而考量 、 了以獲得本發明較佳之瞭解，其中·
I =本發明可以製作在其中之電腦系統圖； 化:要:;示圖1解釋之電腦系統選擇之組件及次系統之簡 圖3為有利於解釋本發明典範- 、 他電腦程式之電腦系統顯示器螢幕之解釋仃Λ_覓盗或是其 圖圖4為解釋本發明典範製作之-典範操作順序之流程 圖5為解釋本發明典範製作之另一 i Μ 圖； ，、祀刼作順序之流程 圖6為有利於解釋在電腦環境 解釋； 电知產生之聲音投射之 圖7為包含本發明典範製作之 條之典型螢幕顯示之解釋；以及3彳又射有關之捲動功能 圖8為可以和本發明結合製作之 作之解釋。 ^ ®幕功能之典範操
$ 7頁 535092 五、發明說明（4) 圖式之詳細說明 此處所討論之各種不同方法可以 《/ 製作，該電腦系統可以包含:屯腦系統内加以 作之電腦系統可以包含類人電腦。通常，製 處理器。然而，由於： = 二多匯流排之多數 作站或是電腦系統，通常為相二二：：製作本發明之工 熟知相關技藝之人士所知： = = ;以及由通常亦為 為大於考量為必要解釋=件及電路之電路細節不制訂 之瞭解及欣賞以及不因本發明 七月基本戒心 .^ &明之教導而模糊或是分心。 在圖1中，電腦系統101包含電子外殼1〇3，血 為將至少一ΟΡΙΚΦΙ考柿也-置 詈及A / (中央處理早兀）與電腦系統101其他組件裝 抑，二人糸統外罩在一起。該電腦系統ιοί亦包含監視 或是^示器軍、元105、鍵盤107以及滑鼠或是點裝置皿 曰這些瓜置為在解釋之電腦系統内相互連接。亦顯示 的是連接器11 1，配置為連接數據機或是電腦系統内其他 、·周路連接至通成線，该通訊線例如本例子中之電話線。 發明亦可以在細胞式系統中製作而不用解釋之連接器 111 ° 電腦系統1 0 1中之一些主要組件在圖2中解釋。處理器電 路2〇1為連接至系統匯流排2 0 3，該匯流排可以為任何:機 系統匯流排。請注意此處揭示之處理方法可以應用至許多 不同匯流排及/或網路建構。快取記憶體裝置20 5及系統紀 憶體單元207亦連接至匯流排20 3。數據機2 0 9配置為經由
535092 五、發明說明（5) 連接器111 (圖1 )至通訊線如電話線之連接2丨〇。在本發 中，該數據機20Θ選擇性地使電腦系統1〇1能夠建立通吨 結以及啟始與另一電腦系統或是網路或是資料庫伺服界之 通訊。 ^ 该系統匯流排2 0 3亦經由輸入介面電路2丨i連接至鍵般 13及滑鼠或是點裝置215。該匯流排2〇3亦輕合至分風 =次系統介面2〗7及磁碟機單元219。聲音產生次系統2 = 圖=至系統匯流排203，以及視頻，可以包含 : 人糸統，連接至顯示器裝置221。 3 ==機單元或是CD RGM，亦連接至匯8 γ 供= 知，勺人rf以供電腦系統101選擇性執行。如以熟 碟、或是系統記憶體之程六H見用私式之程式磁 資訊網獲取之程式可以崎^疋、，至由區域網路或是全球 為選擇性有效以使電腦；程式信?虎。該程式信號 以及依據正執行之應用二J表現頜不在顯示器裝置螢幕上 在解釋本發明典I： f ^式功能流程回應使用者輸入。 執行之輸程:气，：Γ二參考在個人電腦或是"PC”上 顯示接收輸入之任何之應用至可以由營幕 際網路存取程式或是 j ^電H统101上執行網 式典型為儲存在儲存裝【取或是谬丨覽器裎 稍後使用者想要時開^ 以及當系統啟始開機或是 體裁入至系統記二？選擇性或是，'部分或是總 中。如此處所說明，該瀏覽器為
535092 五、發明說明（6) 選擇性地可操作以吉4立丄、 由儲存在硬碟機磁碟機單兀219之磁碟或是直接 執行網站選擇it ，上，網站選擇程式之拷貝存取及 部程式可以；；：季：程ί:執行時’程式之部分或是全 取之資訊儲存在儲存單^、’ ^統可以將由資料庫存 體207内或是直接由磁凡、快取§己憶體205、系統記憶 者已經啟動入至㈣機219 °假設使用 式時，-李列:及例如由記憶體主動執行劉覽器輕 各榮νΐ:ίί!在顯示器裝置221上顯示給使用者。 、畜* Γ 〃、有少一使用者選擇以經由該程式導航。 ^ ^ 者將利用鍵盤213或是滑鼠或是愛占穿置215由站 不1§蒂篡#淫士， 疋…、5衣置Z 1 5由顯 決定；ί;到:；二際 且在军此壯、、Λ處到何網站"或是π網頁”，亦 採取：ί秤’ η將決定通訊鏈結或是到達選擇之網站所 / W t 程式可以下載以及由使用者經由滑鼠 ^装置之額外選擇在瀏覽器程式内執行。 〜 圖3解釋網際網路操作對話中之 ，。卜該劇覽器營幕一般包含第一行 可以選擇之一此又円y斗十θ丄At 1文用者 蚩鑛"f 二不同杈式或疋功此，如，，檔案Π選擇3 08及,， 二戴廷擇304。另一行3 0 5可以顯示以提供各種不同之择 乍，使用者可以選擇以輔助使用者在網路對話中在整、 :牛己/:址站Λ是網頁中快速移動。登幕上之飢(共“源襟 5己）位址或、疋位置”區段3 07使使用者能夠鍵入以及亦顯示 將到訪、或正到訪、已經到訪之網際網路位址之名稱。其 第10頁 535092 五、發明說明（7) 他快速存取按鈕可以在螢 之網路服務及/或網路功營t 以供快速存取其他選擇 通常，任何解釋之項目：_”或是'網路搜尋”。 上可見之游俨$ β挪可以經由與滑鼠裝置215以及螢幕 見之游輮或疋標記31 重秦 擇。例如’由遠程網站下載資1 料之在：二 該”停止”按鈕以及按下指定夕：f傅輪期間了以猎由指向 地是，”上一頁"或暑"τ 月乳按鈕而立即終止。類似 Μ μ m - -f B ' 一 一頁"按鈕可用以分別回轉至上一 赏幕顯不或是網站，或是往前至 =有可選擇之功能通常花一些時間喚起以及到達: 】：：假使錯誤方塊因為不小心而選擇時，因為無能力正 瞭解以及放置游標在所想要之可選擇發幕區域内，使用 者可以被傳送至另一網站而且將失去許多時間在由可能選 擇之想要功能回轉至所想要網站。 在圖3中亦顯示部分正文區段32〇，例如可以包含，，超文 件11 ，如解釋之高亮度” ΙΒΜΠ文字321。超文件典型為以粗 體及底線開始定型，而且經常以對比顏色顯示以供容易認 知。超文件典型包括一群組說明性文字，假使由使用者經 由定位以及按下標記而選擇時將存取由鏈結指定之網頁或 是網站。該超文件啟動一存取程式至選擇之網站，不像網 頁上之明文僅僅代表不具任何功能特徵之正文而已。經由 超文件之使用，使用者可以非常快速地識別可能感興趣之 網站以及按下該超文件以立即由現行網頁存取網站。然 而，超文件及其他可能之螢幕選擇可能不容易標示及識 別。例如，在顯示器螢幕3 0 1中，顯示3個可能之”作用文 535092 五、發明說明（8) 字”317 ’視覺上不是相互清楚地 於其中之二選擇之間的區域中(=:因& ’可能點在介 喚起不想要之選擇。所以’當# Y由/^記313所顯示）以及 區域時，ϋ由產生不同聲音之f二相：應之不同” 在問題。 jI、見標記有助於避免該潛 在圖3中解釋之典範網頁可以A b 藉由滑鼠及標記3 1 3點及按下之复、==網頁，包含可以 標記或是顯示影像或是圖像。圖3 =丸上可識別之作用 區域315，該區域可以包含正= 些圖形區域，如 關網頁之識別。捲動條319亦解^ = I以指向及選擇之相 動#& %釋以使使用者能夠指向捲 動條内之向上前碩”或是”向下 之文件中導航。 引頭，以在長於顯不正文 文i:具？例中’本發明與捲動條有關地製作以提供 A，於整體文件之位置的可聽見標記。此製 :ΐ =田：不起源：功能之選擇（圖8)及利用而完成。例 ^ ¥I 正閱項整篇文件，而且希望移動至文件另一 其他：署：者標示正文文件現行位置，以及移動至文件 II ^ , k如使用者與標示起源功能一起選擇3D增強聲 〔糸^ =強卑音功能將在電腦螢幕遠處之距離產生聲音 舞2 i。當使用者捲動以遠離先前標示點時，選擇之 顯露為遠離該電腦顯示器（為任意參考點）。除了視 ± 外’此功能將提供使用者可聽見之標記，在任 I日守間指示使用者距離文件標示起源多遠。當文件為很長 使用者距離開始點有許多頁時，選擇之聲音聽起來將
五、發明說明（9) 距離报遠。 由電腦系統顯示哭馨 距離"之利用具有許°°/#幕產\之聲 教導聲音投射在二度或曰盈_之應用。 種不同電腦螢幕功$:=二度空間 該術語"投射"為用!有 及由使用者感知為距離匕= 源點為程式化以提 早凡退 之知式狀態或是狀況。 ^ = =不採用為限以: 窗ί::子。明顯的是，典型電 作’藉由它們使用者 何功能'然而，由於各種 為、、'二由視覺識別技術如，，點及按下·， jt 匕 lilif ^ 二豆§之電腦資源不可以由 取。此外，具有許多介面標記K 上將更困難地決定何時點裝置正 區域或是鄰近之不想要區域。在點 不正確金幕區域時，不正確程式不 要處理時間於回轉至發射點以發射 如在上文中所討論，當只有一部 ，示器螢幕上時，視覺受損之個人 疋几長的文件導航亦經常具有困難 強不僅辅助使用者藉由”搜尋”命令 音之可感知’’深度”及” 在此處揭示之本發明 之利用，通常它們和各 關。在本發明揭示中， 離電腦單元遠處投射以 程之點發源。該感知發 用者有關電腦站上執行 被时論，但是無論如何 而是採用為解釋一些典 腦程式包含許多不同視 可以選擇以喚起使用者 不同的所有功能及操作 方法存取或是選擇，這 損之使用者容易地存 在電腦系統顯示器螢幕 指向使用者想要之螢幕 —及〜按啟動中，當指向 慎啟動而且將造成不必 正確圖像。 分檔案或是文件表現在 經由廣泛的螢幕表現或 。如此處揭示之聽覺增 之方法在大的上下文中
°獨92 五*發明^" =找小的啟動螢幕區域 几長文件檔案中所處位 向需要”捲動條”之利用 ^不佔用許多空間，所 疋文件加以調處。如本 性地建立，在區別及確 特徵時利用。例如，該 之視窗及圖像"層”以及 之檔案或是文件”深度，， 以及呈現在電腦顯示器 有關地製作。 或是超文 置之檢測 。該捲動 以困難的 發明，電 定與電腦 特徵可以 可以只有 。聲音投 螢幕上之 件，亦 。該情 條典型 指向以 腦使用 程式顯 包含在 部分顯 射亦可 顯示啟 且能夠 況通常 設計為 及經由 者聽覺 示相關 顯示器 示在使 以與許 動及功 提供游標在 在至少二方 在工作螢幕 相關檔案或 環境為選擇 之各種不同 螢幕上表現 用者螢幕上 多其他功能 能區域種類 立體聲音及三度空間或是，，聲音環繞”之觀念為熟知而且 =經在娱樂及其他系統中製作，可應用於大眾。製作三度 二間聲音之細節為揭示在例如，美國專利宰 號及第一3號之專利案中= :提及 的方式併入本文中。參考圖6，解釋典範電腦環盆 代6 0 3位在房間601内的書桌上。"χι"或是 /、 可以定義在包含坐在書二= 如本發明，聲音與電腦顯示器特徵 置上 6 03 ”投射”而將由使用者感知以辅助有—關以及由電腦站 容。該聲音投射可以為在單一平面疋顯示器螢幕内 之二度空間，或是環繞電腦站之：即在電腦站周圍 —度空間。如解釋，聲音
535092 五、發明說明（11) 可以由電腦6 0 3 π投射’’以及感知為由房間6 〇 1内的各個不同 其他點發源。例如’聲音可以產生由使用者感知為”來自，， 點611 ’為使用者左上方5 ;或是來自點615，為使用者之 下右後方；或是來自點613，為使用者相同位準，但是沿 著"Ζπ軸往前及使用者右方位移。本發明，藉由聲效及/ 聲頻之形式提供多度空間聽覺位置回饋，允許使用者能^ 決定上下文大小及内容以及螢幕啟動區域如該上下文内 制及鏈結之相對位置。聲音投射回饋為依據正顯示之内^ 區域現行大小及位置而提供。聲音回饋利用耳機或 揚荦為及聲音到達各揚聲器，所以是使用者各耳朵之 時間延遲。此方式建立由使用者解譯為位於使者圍不 同地點之聲音。 $门固不 因此，例如 幕閱讀機，而 以指示’’物件" 可以為使用者 是向量系統而 相對"位置"以 及向下、向左 提供使用者物 文内何處的優 回饋方法包 及”控制”能夠 投射而加以識 "w V m罝·.在螢 保持完全清晰，能夠在3_D空間中環繞移 相對於指定”原點"之相對位置，該原點正 ΪΪ是幕。位置可以就任何座標或 疋義，以及具有"深度"之增加參數 :同機制（例如游標移動及操作碼）而為向丄 :向右以及向前及向後之移動而表達，因此 良..感覺。$眷疋圖像）位在上下 含控制及鏈結之反覆不斷鏡射。 鋅± "敫立β…赏拳按鈕” 精由聲曰年溢”效果之方法由扑 別及定位》該聲音洋溢之一猶制&間之聲音 耳曰手/皿之種製作將為可建
五、發明說明（12) 構歷時之單一音书 關。例如，在該掣 ^中音调或是頻率將與控制種類有 及歷時為π隱藏=中，丨1 — 111之歷時將代表” 011，，連嘖 鈕、捲動條、爆二、⑦句話說，不同種類之控制（例如，= 向前"、輸入行、、”込項單項目、超文件鏈結、，，向後"、” 有與特別種類相關2束對話”、命令、"停止π、，’搜尋，，等〕具 位置。，，原點”為可=同基準耸音。音調定位於原點相對 覺資訊為聲音。當使2及建構為上下文中心以供轉換視 有關聲音投射，”、現，，=了文中心"向上"捲動時，產生 十曰雨W 1、見為逐漸向前移動以及遠離”眉赴” :二恥站〆疋使用者頭。’向下捲動時，聲音投射顯現 為逐漸向後移動以及遠離指定原點。 射顾見
工;站二:用去:再-欠利用原點以及建構為例如電腦 作站或疋使用者頭之位置，如此視窗左上方之控制以3D 耷音表達以使聲音顯現為由電腦工作站或是使用者之左上 :Ξ間t f Ϊ發源。在另一例子t，假使所想要之視窗為 ”、、不态螢幕上上層視窗，，之下，，時，該聲音以3D聲音表達 1使聲音顯現為由使用者之左上方之地點發源以及亦在工 L站或是使用者之前或是前方漸增距離以在具有多數層視 囪之螢幕顯示上呈現視窗層深户。 當同時播放時’因為多數音ς對某些使用者位 =別，所以”控制及”鏈結、置在使用者選項上為每次 少一項。藉由虛擬游標或是標記與3D空間之虛擬物 給予聲音回饋。該聲音回饋為不同或是除了提供 於物件之回饋以外具有輪入焦點(例如，可以為螢幕閱讀
第16胃 535092 〔、發明說明（13) 機功能，u讀取’’按紐標號之輸出）。 Λμ 月& 在3D聲音系統輸出之另一製作中，標記為經由位置聲立 加以鏡射。因此，”小滑鼠"為"彗星游標”（亦即，具有耳曰 小大小及強度之執跡滑鼠標記移動，橫越螢幕時，、」、 令易追隨及定位）之第三聽覺等效。此效果能夠藉由聲立仅 及曰3：之位置變化加以達成。再次，滑鼠—越過事件（亦曰 即，滑鼠控制之標記移動橫越顯示器螢幕上特別螢幕區^ 或是物件）能夠觸發聲音回饋以供接觸可選擇元件或是^青域 $子集合中之元件，如下文解釋之，，識別”或是”尋找”功月 在^製作3D聲音顯示器螢幕之另一典範具體實施例中，一 =哉別命，令形成為使用者可應用。在執行預先決定之鍵 系二ί二！I?ntrl一n"時，此處，In,’為一系列相對應於一 定員之不同鍵音，*是由使用者執行預先決 營幕=:1Τ滑鼠按紐調處時，3D聲音程式"掃描"顯示器 於使用者頭之空間的各不同點發射。產生之 用者選摆夕=Γ可聽見感知位置以座標及螢幕深度告訴使 聲音類如位於顯示器螢幕上的正確地點；以及 聲音類別產生耷”或是鐘聲或是哺音或是音調等），該 結、游"多i 者定位之特定控制類別（如鏈 游軚移動之控制、捲動命令等）。 在~ Ϊ列子Φ .. , 結代表JL有隹點;者可以啟始"識別鏈結"命令，此處鍵 表”有焦點之物件上下文内之可選擇項目。例如，在
第17頁 535092 五、發明說明（14) 瀏覽器上下文中，”鏈結”將為”超文件"以及在 中，"鍵結"將為圖像。非必要性地是件此功文 音洋溢"組合。 一耳 在另一製作中，”識別控制》命令將產生3D聲音以 ^同W顯示器螢幕上之位置，為以某：J /、疋之順序依序產生以給予使用者聲音產生之各控有 之相對位置之感應。"控制"為一物件或是專用界面工 (」歹如，按钮、浮動塊、選項帶、選項單、爆出選項單、术 :)，在另一物件或是一組物件或是專用界面工且隼上且 ::巧。#必要性地是’，匕控制亦可以與聲音洋溢製作加 制、’且；。另外’在相對於螢幕表面不同位準或是深度之栌 始”識別容器"命令’此處容器為將接受上下= 开;他，之物件："容器"如視窗’視為包含或是 内 是=可以或是不可以用滑鼠”按下，，加以啟動之正文咬 :其他表現或是顯示影像之裝置"識別上下文次 3命令將產生聲音以識別由使用•定義之獨*性-，域。此命令在|，圖像變比|，解析度之案例中特別有用，I亦 /此處不是整體螢幕而只是一區段螢幕為可聽見地表達。 螢幕可聽見呈現之”解析度，，被控制以及和虛擬空間大小有 關。因此，相對應於顯示器螢幕之聽覺空間可以誰虛擬未 限制，就使用者周圍之3D空間而識別螢幕位置時允許較大 精確度。 本發明之聲音投射教導可應用於任何包含顯示器介面之
第18頁 535092 五、發明說明（15) 電腦介面。本發明可以就執行網際網路對話之劉覽器程式 加以製作以及亦可以使用於基本獨立應用，如文字處理 機、工作底稿以及資料庫應用。另外，在此處揭示之電腦 顯不器聲音深度投射可就3D有關之應用如結構應用加以製 作為大優勢，此處解釋及調處建築及結構之三度空間解 釋。大優勢亦可應用於在三度空間具有變數之31)工作底 稿。圖7及圖8解釋本發明如何可以製作在網站網頁上顯示 之正文文件之例子。
如圖7所不，一部分文件檔案為顯示在顯示器螢幕7 〇 j 上。該文件包含文字區域70 3以及圖形區域如區域7〇5，以 及超文件區域如70 6及70 7。圖形區域70 5及超文件區域7〇6 及7 〇 7為易感應螢幕區域，當由滑鼠標記7丨3指向以及由使 =者按下時為有效地去到不同網站。顯示部分只代表一部 刀車乂大文件且垂直捲動條7 0 9及水平捲動條7 11可舆標記裝 置用於導航至文件其他區域。
，聲a增強方法可製作在圖7之應用中，如圖8例子所解 釋、。，圖7中，Π聲音增強π選擇塊8 0 5在顯示器螢幕801上 作為I舆f式其他可選擇功能（沒有顯示）一起應用。當使 用Ϊ !! t標記箭頭8 〇7選擇以及在，，聲音增強,f區域8 0 5上按 下^月Γ ^紐時’爆出Π聲音選擇”視窗8 0 9出現在顯示器8 0 1 上°亥^擇視窗包含”效果”區8 1 1，該處使用者能夠選擇 ^ 、 :強種類。在該例子中之種類包含正常非聲音 =^以及α聲音投射，亦即在一平面之聲音投射但是超越 ^ °亥選擇亦包含’’ 3 D ’’聲音8 1 7，為有效於在圖6顯示
第19頁 535092 五、發明說明（16) :影像之聲音投射為成形。n;:電 用之控制8 1 3以及每一护制夕杜 耳曰竹馬 摆。々丨4 蚀田本π工 特別聲音8 1 5可以由使用者選 ^ ^擇夕數功能中之任何功能以聲音 ;強。該功能包含捲動功能，將產生例如與滑動塊715及 捲動條70 9相對位置有關之聲立 ^ ^ ^ ^月動兄H b及 链-咖丨丨咬立々3 關 < 耳曰。該聲音投射可以為正常丨丨
顯不内聲音或是可以由使用者選 D 深度丨，聲音投射。 耳曰仅耵2疋川 而以其他選擇，每次新滿食拉， # # ffl # π u Γ ί 2 Γ 精由游標或是滑鼠箭頭進入 ^用者了 <吏聲曰產生。無論何時當 上時，”選項單"選擇將具有另一可選擇聲音產生， 那時按下將開啟螢幕選項單。使用者亦可以選擇"鏈以 2，無論何時當游標或是箭頭在"鏈結"如 圖 區 ;;i"超 時’將使程式產生聲音；意、為= 選擇之鏈結聲音日守，假如使用者將按下 將鏈結至另-網站。對各選擇之濃而纟，使用者能夠= 所欲聲音815，如與選擇功能相關之音調或是鐘聲。、擇 當使用者已經完成選擇處理時，使用者能夠藉由 應用"按姻而應用其選擇至工作之程式。 望結束增強之聲效時，使用者可以爆出聲音螢幕8〇9希 選擇"終止”按钮825。在另-功能中，使用者可以選擇J 別控制或是顯示資訊種類’如可以列表在控制區813中以 及之後指向821以及按下"尋找"按鈕819。那時，程式將為
第20頁 535092 五、發明說明（17) 選擇之控制掃描顯示之螢幕以及無論何時當其中之一選 控制被定位時使相關聲音產生。此態樣在尋找嵌入在 碌上下文或是文件中之控制或是超文件時特別有用。談 聲音投射將可聽見地指示使用者選擇之控制位在螢幕 處。例如，當使用者在文件尾端時，在文件上方之控 者或疋顯不為赏幕原點上方或是前方。使用者之 =別功能按鈕位在文件何處，以及使用者將需要在螢幕^ 間向上捲動以使選擇之功能按鈕表現在顯示之螢 在另一例子中，Π標示原點"按紐8 3 1 °° 3 用者現在位置為使用者在冗長文件中之原點 者：以導航遍及文件而且產生聲音洋溢或是嗔脅聲或 2月景聲音以保持使用者明白使用者在文件於=田、 音，以及沿著"Z"軸，如此當使用者又毛出荦 溢位置聲音體起來將遠離以及當使 原點時，洋 時，洋溢聽起來將似接近顯示器螢幕或是；：：f:捲動 提供顯示器螢幕特徵之3D指示。 考頭5因此 假使文件標示之啟始點只有幾頁遠時，選立 電腦投射以使聽起來接近電腦站。" 、 耳曰將由 :為雙態觸變開關’以致於在使用該：二功：：：製 以回轉到選擇之選項單以及雙態觸芝使用者可 關閉"狀態。 &不原”、、έ功能為” 此後’使用者可以移動至新位置以及假使需要時標示新 535092 五、發明說明（18) 原點。在另一典範具體實施例中，超文件螢幕區域之聲 音，以3D投射，將產生超文件聲音，亦即當游標察看=文 件螢幕區域時產生那些聲音以顯現為由遠程區域產生，因 此指示超文件啟動將帶領使用者至遠程網站或是位置。 於此處揭示之製作聲音投射或是聲音增強之典範方法在 圖4解釋。如解釋，當處裡開始4〇1時檢查以決定是否3 項已經選擇4G2。當選擇時，背景聽覺洋溢開啟4Q3。益ς 何時具有游標移動404時，游標位置被決定405以及決；何 物件位於游標位置407。當游標在顯示器螢幕上移動時 應聲音被產生411直到程式終止為止41 3以及程式結束 另一典範尋找或是"識別"操作順序在圖5中 。 顯示，當處理啟始5 〇 1以及"冑：^ 摆夕挾割括相、·t ^ 夂+找明令已經選擇503時，選 擇之控制種顙被決疋5 0 5以及螢幕區域為特 描。對找到之各控制種類5〇9而】；”而知 被決定511(例如整體文件上下°工1之有關特徵 嗶至使用者办問、Μ女日 文之控制種頒位置）以及翻 擎至，用者工間513，亦即圍繞使用者之 相對應”#現”控制文件上下文 ’之地由？ 投射515,該聲音感知為來自使 接者每曰由電腦 系統之空間翻譯點。在螢墓者二間，亦即圍繞電腦 影像已經在3D空間中描f成517以及所有發現之 可以提供輸入至選擇螢幕子、g ^處理結束一5 1 9。使用者 於所選擇之顯示影像種類之二有：示)以調整相當 輸入與"尋找”功能相關之其他‘數、：。：用者亦可以 夂數。例如，使用者可以輸 第22頁 535092 、發明說明（19) __ 入次數以重複選擇之螢幕影像容器種類之 8中解釋之所有選擇亦可以用於” 功心逢幕知描。在圖 搜尋所有影像或是容器種類，各種類/ % ’以致於可以 或是只有-特定容器或是影像種類可；;^同；；聲音， 之相關聲音被表達。 + 具有相對應 本發明之方法及裝置已經盥.卢 :起說明。揭示之方法可以廣泛；圍：：較：具體實施例 2堍計加以製作以完成此處解釋欲/項早以及螢 結合本發明教導之畔二i = S 顯示及說明，但是 由那此孰知相Μ枯蓺夕Z、"又化之具體實施例可以容易地 至處理器或是CPU或是其他大车絲并驷（ϊ甚匕3或疋整合 ^ ^ Λ ^ ^ ^ ^ ，固定式卜或是其他記4存/置磁;= 作，铃 股表1中之程式碼加以掣 結果。Λ因此° 3該程式碼執行以完成在此處說明之有利 〜夠合理地包含在本發明精神 …太
第23頁.

Claims (1)

  1. 535092 — ^气^^:丄^號89105198 丫2年J月羊曰 修正芊__ 六、申請丨 1 . 一種用於呈現與電腦系統顯示器螢幕有關之聲效之方 法，該方法包括： 決定該顯示器螢幕上螢幕位置指示器之指示器位置； 偵測該指示器位置上顯示影像之呈現；以及 正由該電腦系統投射聲音時，該聲音與該顯示影像有 關，該聲音投射至距離該電腦系統遠處之點，以使該聲音 可感知為由在該電腦系統之空間位移之發源點發出。 2 .如申請專利範圍第1項之方法，其中該發源點位置與 該顯示影像預先決定特徵有關。 3 .如申請專利範圍第2項之方法，其中該預先決定特徵 為在該顯示器螢幕上顯示之影像相對位置。 4.如申請專利範圍第1項之方法，其中該聲音由該電腦 系統投射至三度空間位移之一發源點。 5 .如申請專利範圍第1項之方法，其中3 5個多數顯示影 像之呈現被偵測。 6 .如申請專利範圍第5項之方法，其中該多數顯示影像 位在該顯示器螢幕上多數位置。 7.如申請專利範圍第5項之方法，其中該多數顯示影像 包含至少二顯示影像在該顯示器螢幕上單一點重疊。 8 .如申請專利範圍第1項之方法，尚包含： 呈現多數使用者選擇在該顯示器螢幕上，該使用者選擇 與該顯示影像有關； 使該使用者對相對應選擇顯示影像之選擇聲音相關之選 擇生效。
    O:\63\63359-920227.ptc 第27頁 择5092 ; 二:一崇號89105198 年j月冬曰 修正__ I…ώ 2』謗聽!1备® 9 .如申請專利範圍第8項之方法，其中該使用者選擇包 含使該聲音投射生效之選擇。 1 0 .如申請專利範圍第8項之方法，其中該使用者選擇包 含特別種類顯示影像之選擇，該特別種類與相關之可選擇 特別聲音有關。 1 1 .如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括正文之顯示。 1 2。如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括超文件鏈結之顯示。 1 3 .如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括捲動條功能標記之顯示。 1 4 β如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括顯示容器。 1 5 ^如申請專利範圍第1 4項之方法，其中該顯示容器包 括視窗呈現。 1 6 .如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括功能表功能標記之顯示。 1 7.如申請專利範圍第1 0項之方法，其中該特別種類顯 示影像包括圖形影像之顯示。 1 8 .如申請專利範圍第1 7項之方法，其中該圖形影像代 表可執行功能。 1 9 .如申請專利範圍第1 0項之方法，尚包含多數種類顯 示影像。 2 0 .如申請專利範圍第1 9項之方法，尚包含使該使用者
    O:\63\63359-920227.ptc 第28頁 535092 日號89105198_Y2年i月4日 修正_ 能夠選擇與各選擇之特別種類顯示影像相關之特別聲音。 2 1 . —種包含機器可讀取之經編碼標記之儲存媒體，該 儲存媒體為選擇性地耦合至讀取裝置，該讀取裝置選擇性 地耦合至電腦系統内之處理電路，3 5個該讀取裝置為可選 擇性地操作以讀取該機器可讀取之經編碼之標記以及提供 代表性程式信號，該程式信號為有效於呈現與該電腦系統 顯示器螢幕相關之聲效，該程式信號為選擇性地可操作以 完成下列步驟： 決定顯示器螢幕上螢幕位置指示器之指示器位置； 偵測在該指示器位置上顯示影像之呈現； 由該電腦系統投射聲音，該聲音與該顯示影像有關，該 聲音為投射至距離該電腦系統遠處之一點，以使該聲音感 知為於該電腦系統之空間位移之發源點發出。 2 2. —種電腦系統，包括： 系統匯流排； 聲音產生次系統，該聲音產生次系統為耦合至該系統匯 流排； 連接至該系統匯流排之處理器裝置；連接至該系統匯流 排之記憶體；以及 包含顯示器螢幕之顯示器裝置，該顯示器裝置為耦合至 該系統匯流排，該處理器裝置為回應由該記憶體接收之程 式信號以使該聲音產生次系統： 呈現與該電腦系統顯示器螢幕相關之聲效，該程式信號 選擇性可操作以完成下列步驟：
    O:\63\63359-920227.ptc 第29頁 535092 一--------- 號 89105198 修正 攀請專狗聋 決定顯示器螢幕上螢幕位置指示器之指示器位置； 偵測在該指示器位置上顯示影像之呈現；以及 由該電腦系統投射聲音，該聲音與該顯示影像有關，該 聲音為投射至距離該電腦系統遠處之一點，以使該聲音感 知為於該電腦系統之空間位移之發源點發岀。 2 3 . —種用於呈現與該電腦系統顯示器螢幕相關聲效之 方法，該方法包括： 決定一預先決定顯示影像之顯示器螢幕位置；以及 由該電腦系統投射聲音，該聲音與該顯示影像有關，該 聲音係投射以使該聲音感知為於該電腦系統之空間位移之 發源點發出。
    O:\63\63359-920227.ptc 第30頁
TW089105198A 1999-03-25 2000-03-22 Projected audio for computer displays TW535092B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/276,387 US6469712B1 (en) 1999-03-25 1999-03-25 Projected audio for computer displays

Publications (1)

Publication Number Publication Date
TW535092B true TW535092B (en) 2003-06-01

Family

ID=23056464

Family Applications (1)

Application Number Title Priority Date Filing Date
TW089105198A TW535092B (en) 1999-03-25 2000-03-22 Projected audio for computer displays

Country Status (4)

Country Link
US (1) US6469712B1 (zh)
JP (1) JP3575598B2 (zh)
KR (1) KR100391400B1 (zh)
TW (1) TW535092B (zh)

Families Citing this family (204)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741264B1 (en) * 1999-05-11 2004-05-25 Gific Corporation Method of generating an audible indication of data stored in a database
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
CN1258285C (zh) * 2001-03-26 2006-05-31 富士通株式会社 多信道信息处理装置和多信道信息处理方法
GB0110326D0 (en) * 2001-04-27 2001-06-20 Ibm Method and apparatus for interoperation between legacy software and screen reader programs
JP2002366765A (ja) * 2001-06-06 2002-12-20 Bank Of Tokyo-Mitsubishi Ltd 送金サービス提供システムおよび方法
US6864878B2 (en) * 2002-03-29 2005-03-08 Xerox Corporation Tactile overlays for screens
US6999066B2 (en) * 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US20030234763A1 (en) * 2002-06-24 2003-12-25 Xerox Corporation System and method for audible feedback for touch screen displays
US7176898B2 (en) * 2002-09-13 2007-02-13 Xerox Corporation Removable control panel for multi-function equipment
US20040051746A1 (en) * 2002-09-13 2004-03-18 Xerox Corporation Embedded control panel for multi-function equipment
US20060241945A1 (en) * 2005-04-25 2006-10-26 Morales Anthony E Control of settings using a command rotor
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070100883A1 (en) * 2005-10-31 2007-05-03 Rose Daniel E Methods for providing audio feedback during the navigation of collections of information
US7693912B2 (en) 2005-10-31 2010-04-06 Yahoo! Inc. Methods for navigating collections of information in varying levels of detail
US20070192027A1 (en) * 2006-02-13 2007-08-16 Research In Motion Limited Navigation tool with audible feedback on a wireless handheld communication device
US8209063B2 (en) * 2006-02-13 2012-06-26 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device
US7770118B2 (en) * 2006-02-13 2010-08-03 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device having a full alphabetic keyboard
US7596765B2 (en) * 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US7844354B2 (en) * 2006-07-27 2010-11-30 International Business Machines Corporation Adjusting the volume of an audio element responsive to a user scrolling through a browser window
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
JP5159375B2 (ja) 2008-03-07 2013-03-06 インターナショナル・ビジネス・マシーンズ・コーポレーション メタバースにおけるオブジェクトの真贋判断システム、方法及びそのコンピュータ・プログラム
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8490026B2 (en) * 2008-10-27 2013-07-16 Microsoft Corporation Painting user controls
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US9389829B2 (en) * 2009-04-09 2016-07-12 Aliphcom Spatial user interface for audio system
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US9205328B2 (en) 2010-02-18 2015-12-08 Activision Publishing, Inc. Videogame system and method that enables characters to earn virtual fans by completing secondary objectives
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9682324B2 (en) 2010-05-12 2017-06-20 Activision Publishing, Inc. System and method for enabling players to participate in asynchronous, competitive challenges
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
WO2012140525A1 (en) * 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
GB2490479A (en) * 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US10137376B2 (en) 2012-12-31 2018-11-27 Activision Publishing, Inc. System and method for creating and streaming augmented game sessions
KR102039425B1 (ko) * 2013-01-29 2019-11-01 엘지전자 주식회사 전자 기기
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10376792B2 (en) 2014-07-03 2019-08-13 Activision Publishing, Inc. Group composition matchmaking system and method for multiplayer video games
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US11351466B2 (en) 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US10118099B2 (en) 2014-12-16 2018-11-06 Activision Publishing, Inc. System and method for transparently styling non-player characters in a multiplayer video game
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10286314B2 (en) 2015-05-14 2019-05-14 Activision Publishing, Inc. System and method for providing continuous gameplay in a multiplayer video game through an unbounded gameplay session
US10486068B2 (en) 2015-05-14 2019-11-26 Activision Publishing, Inc. System and method for providing dynamically variable maps in a video game
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10213682B2 (en) 2015-06-15 2019-02-26 Activision Publishing, Inc. System and method for uniquely identifying physical trading cards and incorporating trading card game items in a video game
US10471348B2 (en) 2015-07-24 2019-11-12 Activision Publishing, Inc. System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11185784B2 (en) 2015-10-08 2021-11-30 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10099140B2 (en) 2015-10-08 2018-10-16 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10245509B2 (en) 2015-10-21 2019-04-02 Activision Publishing, Inc. System and method of inferring user interest in different aspects of video game streams
US10232272B2 (en) 2015-10-21 2019-03-19 Activision Publishing, Inc. System and method for replaying video game streams
US10376781B2 (en) 2015-10-21 2019-08-13 Activision Publishing, Inc. System and method of generating and distributing video game streams
US10694352B2 (en) 2015-10-28 2020-06-23 Activision Publishing, Inc. System and method of using physical objects to control software access
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10300390B2 (en) 2016-04-01 2019-05-28 Activision Publishing, Inc. System and method of automatically annotating gameplay of a video game based on triggering events
US10226701B2 (en) 2016-04-29 2019-03-12 Activision Publishing, Inc. System and method for identifying spawn locations in a video game
US10175941B2 (en) * 2016-05-24 2019-01-08 Oracle International Corporation Audio feedback for continuous scrolled content
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10179289B2 (en) 2016-06-21 2019-01-15 Activision Publishing, Inc. System and method for reading graphically-encoded identifiers from physical trading cards through image-based template matching
US10586380B2 (en) 2016-07-29 2020-03-10 Activision Publishing, Inc. Systems and methods for automating the animation of blendshape rigs
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10463964B2 (en) 2016-11-17 2019-11-05 Activision Publishing, Inc. Systems and methods for the real-time generation of in-game, locally accessible heatmaps
US10709981B2 (en) 2016-11-17 2020-07-14 Activision Publishing, Inc. Systems and methods for the real-time generation of in-game, locally accessible barrier-aware heatmaps
US10500498B2 (en) 2016-11-29 2019-12-10 Activision Publishing, Inc. System and method for optimizing virtual games
US10055880B2 (en) 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10861079B2 (en) 2017-02-23 2020-12-08 Activision Publishing, Inc. Flexible online pre-ordering system for media
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10818060B2 (en) 2017-09-05 2020-10-27 Activision Publishing, Inc. Systems and methods for guiding motion capture actors using a motion reference system
US11040286B2 (en) 2017-09-27 2021-06-22 Activision Publishing, Inc. Methods and systems for improved content generation in multiplayer gaming environments
US10561945B2 (en) 2017-09-27 2020-02-18 Activision Publishing, Inc. Methods and systems for incentivizing team cooperation in multiplayer gaming environments
US10974150B2 (en) 2017-09-27 2021-04-13 Activision Publishing, Inc. Methods and systems for improved content customization in multiplayer gaming environments
US10463971B2 (en) 2017-12-06 2019-11-05 Activision Publishing, Inc. System and method for validating video gaming data
US10537809B2 (en) 2017-12-06 2020-01-21 Activision Publishing, Inc. System and method for validating video gaming data
US10981051B2 (en) 2017-12-19 2021-04-20 Activision Publishing, Inc. Synchronized, fully programmable game controllers
US10596471B2 (en) 2017-12-22 2020-03-24 Activision Publishing, Inc. Systems and methods for enabling audience participation in multi-player video game play sessions
US11278813B2 (en) 2017-12-22 2022-03-22 Activision Publishing, Inc. Systems and methods for enabling audience participation in bonus game play sessions
US10765948B2 (en) 2017-12-22 2020-09-08 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
CN109189362B (zh) * 2018-07-09 2022-07-12 Oppo广东移动通信有限公司 发声控制方法、装置、电子设备及存储介质
US11192028B2 (en) 2018-11-19 2021-12-07 Activision Publishing, Inc. Systems and methods for the real-time customization of video game content based on player data
US11263670B2 (en) 2018-11-19 2022-03-01 Activision Publishing, Inc. Systems and methods for dynamically modifying video game content based on non-video gaming content being concurrently experienced by a user
US20200196011A1 (en) 2018-12-15 2020-06-18 Activision Publishing, Inc. Systems and Methods for Receiving Digital Media and Classifying, Labeling and Searching Offensive Content Within Digital Media
US11679330B2 (en) 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11305191B2 (en) 2018-12-20 2022-04-19 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
US11344808B2 (en) 2019-06-28 2022-05-31 Activision Publishing, Inc. Systems and methods for dynamically generating and modulating music based on gaming events, player profiles and/or player reactions
US11097193B2 (en) 2019-09-11 2021-08-24 Activision Publishing, Inc. Methods and systems for increasing player engagement in multiplayer gaming environments
US11423605B2 (en) 2019-11-01 2022-08-23 Activision Publishing, Inc. Systems and methods for remastering a game space while maintaining the underlying game simulation
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11537209B2 (en) 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
US11420122B2 (en) 2019-12-23 2022-08-23 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
US11563774B2 (en) 2019-12-27 2023-01-24 Activision Publishing, Inc. Systems and methods for tracking and identifying phishing website authors
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11833423B2 (en) 2020-09-29 2023-12-05 Activision Publishing, Inc. Methods and systems for generating level of detail visual assets in a video game
US11724188B2 (en) 2020-09-29 2023-08-15 Activision Publishing, Inc. Methods and systems for selecting a level of detail visual asset during the execution of a video game
US11717753B2 (en) 2020-09-29 2023-08-08 Activision Publishing, Inc. Methods and systems for generating modified level of detail visual assets in a video game
US11439904B2 (en) 2020-11-11 2022-09-13 Activision Publishing, Inc. Systems and methods for imparting dynamic and realistic movement to player-controlled avatars in video games
US11794107B2 (en) 2020-12-30 2023-10-24 Activision Publishing, Inc. Systems and methods for improved collision detection in video games
US11853439B2 (en) 2020-12-30 2023-12-26 Activision Publishing, Inc. Distributed data storage system providing enhanced security

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817149A (en) 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
JPH05113864A (ja) * 1991-10-22 1993-05-07 Canon Inc マルチウインドウ動画表示方法及び装置
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5337363A (en) * 1992-11-02 1994-08-09 The 3Do Company Method for generating three dimensional sound
US5533182A (en) * 1992-12-22 1996-07-02 International Business Machines Corporation Aural position indicating mechanism for viewable objects
US5461399A (en) * 1993-12-23 1995-10-24 International Business Machines Method and system for enabling visually impaired computer users to graphically select displayed objects
AU2763295A (en) * 1994-06-03 1996-01-04 Apple Computer, Inc. System for producing directional sound in computer-based virtual environments
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls

Also Published As

Publication number Publication date
KR20000062913A (ko) 2000-10-25
JP3575598B2 (ja) 2004-10-13
US6469712B1 (en) 2002-10-22
JP2001057700A (ja) 2001-02-27
KR100391400B1 (ko) 2003-07-12

Similar Documents

Publication Publication Date Title
TW535092B (en) Projected audio for computer displays
US11543938B2 (en) Identifying applications on which content is available
AU2018204351B2 (en) Input device and user interface interactions
TWI393017B (zh) 用於回應使用者地圖互動之更新搜尋結果網頁系統及方法
US6404442B1 (en) Image finding enablement with projected audio
JP5248321B2 (ja) 翻訳文の柔軟な表示
CN101593212B (zh) 内容显示设备和内容显示方法
WO2015183547A1 (en) User interface for searching
US20220084374A1 (en) User interfaces for indicating distance
CN108829325A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
KR20180038034A (ko) 지도 정보 표시 방법, 장치 및 저장 매체
US20230164296A1 (en) Systems and methods for managing captions
US20230401798A1 (en) Accessible mixed reality applications
US11425071B2 (en) Uniform resource identifier and image sharing for contextual information display
CN115997206A (zh) 一种界面显示方法、装置、设备及可读存储介质
CN109857314B (zh) 有屏设备的手势控制方法和装置
US20190369860A1 (en) Media control for screensavers on an electronic device
KR20170099661A (ko) 영상 표시 장치, 영상 생성 장치, 영상 제공 서버, 영상 표시 방법, 영상 생성 방법 및 컴퓨터 프로그램
TWI537936B (zh) 語音資料呈現方法及系統，及其電腦程式產品
US20190073408A1 (en) Generating preferred metadata for content items

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MK4A Expiration of patent term of an invention patent