TW200847003A - Virtual device interactive recording - Google Patents
Virtual device interactive recording Download PDFInfo
- Publication number
- TW200847003A TW200847003A TW097105054A TW97105054A TW200847003A TW 200847003 A TW200847003 A TW 200847003A TW 097105054 A TW097105054 A TW 097105054A TW 97105054 A TW97105054 A TW 97105054A TW 200847003 A TW200847003 A TW 200847003A
- Authority
- TW
- Taiwan
- Prior art keywords
- mobile device
- user
- response
- virtual
- interface
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3414—Workload generation, e.g. scripts, playback
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
200847003 九、發明說明: 本發明根據35 USC 119(e)規定主張2007年2月9日申請的 美國臨時申請案第60/900,405號標題為"Virtual Device Interactive Recording"之權利,該案内容均以引用方式併 入本文中。 【先前技術】 每年皆會生產大量之各種行動資訊處理裝置("行動裝置")。 行動裝置之消費者在購買一裝置時會面對各種選擇,且所
有消費者中多於70%會在進行購買前於網際網路上進行一 二研九,且大略15%之所有消費者會自網際網路購買一裝 置。 ' 先岫,僅關於行動裝置本身的功能性、其無線資料服務 Γ行動服務”)及可下載應用程式(”行動應用程式,,)的一般資 訊可用。此資訊-般已由例如顯示器大小、記憶體大小、 無線網路相容性及電池壽命資訊之裝置規格資訊組 成0 隨著行動裝置、行動服務,及行動應用程式日漸複雜, 係:提供可用於消費者之裝置及服務的更密集及互動預覽 之需要。先前已試圖使用以例如HTMI^Adobe Flash之標 準製作工具建立之視覺示範來顯示行動產品及服務,但此 等一般係提供被供應之實際功能性的有限及非互動表示 t此等表示法係受限於其如何被建立之本f,其一般係 精由知用-裝置Lc_示器之靜態照片且將此等個別圖框 拼湊一起成為實際應用或服務的模型。料,因為必須事 129044.doc 200847003 先建立該等示範,*可能依類似於在活裝置上制的實際 經驗之任何方式使其互動。 【發明内容】 本發明提供一種用於記錄及映射圖與一行動裝置之互動 ,機制,其具有建立在該裝置上可用之選單系統之結構、 仃動應用程式及行動服務的—映射圖或圖形的目標。記錄 在該圖形中之資訊接著可在後續時間互動地播放。 該等記錄係藉由與已依一些方式整合至一記錄及控制環 境("記錄/控制環境”)内的實體行動裝^互動來造成。此環 楗具有控制打動裝置之介面,且記錄從該裝置產生之所得 視訊及音訊資料之能力。 在該行動裝置之選單結構中可用的各頁可在一大的多向 圖开y中一戠別且表示為一狀態。該圖形之各狀態係藉由表 八用來在該專頁間導覽之路徑的連結,連接至該圖形中的 其他狀態。例如,若該行動裝置之首頁係由一在標示"首 頁之0死/中的狀態表示,且在該裝置上應用程式之選單 係由標示”選單"的圖形上之另一種狀態表示,則用來在兩 頁間導覽之鍵將會形成圖形之狀態間的連結。 旦此圖形已用一表示該裝置上的所有可用頁的狀態予 以建立,且具有表示該裝置之個別狀態間導覽的所有途徑 的連結,則該圖形可用於重新建立與該裝置互動的經驗。 由於一消費者與該裝置的虛擬版本互動,其能使用虛擬導 覽按鈕或虛擬觸控螢幕來導覽至該裝置的不同記錄狀態。 田其導見至各狀悲時,原始記錄被播放以模擬將會在該狀 129044.doc 200847003 愍中之裝置上所見。依此方法,可自由地導覽該圖形以經 歷該裝置或從該裝置可用的應用程式及服務。 仏§典型行動裝置實⑨上可具有數百萬種唯一狀態及 組態,為了提供-係該裝置之代表的豐富經驗之目的,一 • 般僅需要在各狀態間映射圖約一百萬唯一狀態及導覽路 i 。此大量之狀態可藉由手動巡覽至各狀態及記錄該互動 予以映射,或能透過-搜尋未經映射狀態之自動處理程序 及自動建置該裝置之互動圖形來進行。 • 【實施方式】 以下較佳具體實施例係參考附圖說明,該等附圖形成本 發明的一部分並在附圖中藉由舉例顯示可實現此發明的特 定具體實施例。應瞭解可利用其他具體實施例,並可進行 結構改冑,而不脫離本發明較佳具體實施例之範疇。 圖1况明系統100之代表方塊圖,其包括實體行動裝置 102、設計時間環境1〇4及執行時間環境1〇6。行動裝置 鲁 T為2何行動f訊處理裝置。設計時間環境⑽具有控制 行動裝置之介面,及記錄從該裝置產生之所得視訊及:訊 貧料㈣力。最後,執行時間環境106將來自設計時間環 兄之貝料轉換成為一媒體以播放至一使用者,且允呼 使用者互動地導覽一包括外觀之模擬行動裝置、行動服務 及關聯該實體行動裝置之行動應用程式。 盯動裝置102係一可攜式資訊處理裝置,例如一般 或檢視行動服務及行動應用程式的行動電話或叩八。 仃動裝置之最普通組態係一小的手持裝置,但許多其他 129044.doc 200847003 裝置係例如數位音訊播放器(如MP3播放器)。可具有類似 顯不器之數位相機亦係在本發明的範疇内。其他行動裝置 可包括膝上型或GPS裝置。
行動裝置102典型將具有音訊揚聲器1〇8、顯示器ιι〇及 一或多個輸入裝置112,如同鍵盤或觸控螢幕。行動裝置 102典型地亦將具有—作㈣統i 14。當按㈣時或當應用 程式在裝置上執行時,揚聲器1〇8可產生聲音。行動顯示 器no係一種用來顯示有關該行動裝置之狀態的資訊,且 允許與在該裝置上可用之行動内容或其他資訊服務互動的 行動裝置之顯示器。作業系統丨14係用來控制行動裝置之 功能性的處理系統。作業系統可由一中央處理單元 (CPU)、揮發及非揮發性電腦記憶體、輸入及輸出信 及一組可執行指令(其控制該裝置的功能)組成。 〜 顯示器110之最普通組態係小的平板LCD顯示器,但亦 可為由任何其他顯示器(例如電漿或OLED技術)類型製 ^用於作業系統114之最普通組態係公開發展的平台, 例如 BREW、Symbian、Windows Mobile、paim 〇s、 . 連同由行動裝置製造商發展之各種專用平台。 行動裝置102-般將會包括輸入裝置⑴,以選擇或控制 行動應用程式或行動服務。輸人裝置112可包括按钮、旋 鈕、觸控螢幕、鍵盤、數字鍵盤或其任何結合。例如,行 動裝置可包括一觸控螢幕感測器,其併人輸人裝置及顯示 盜進入一單元内。觸控螢幕輸入可用來選擇選單或應用程 式以在裝置上執行。觸控螢幕可為係擬合於該裝置之— 129044.doc 200847003
LCD顯的觸敏面板’且允許使用者用—尖筆或其他 物件來在螢幕之-區上鍵擊。另外(或結合-觸控螢幕 時)灯動衣置可包括鍵盤按仏可用該等按*來在裝置 上之k單間導見,及在裝置上鍵人文字及數值資料。行動 裝置可包括-具有數字〇至9、#、*之數字鍵盤,及一組包 括方向箭頭、轉、左及右選⑽及發送與結束鍵的導覽 鍵。-些裝置可具有用於鍵人數值資料之完整鍵盤,或可 具有在不同裝置模式中可用的多個鍵盤。 通信資料及控制信號118構成之資訊係從作業系統114傳 輸至顯示器110 ’其具有形成圖形影像,或在顯示器110上 顯示其他資訊的"。隨著資訊從作業系統ιΐ4傳遞至顯 示器no’顯示資訊之轉譯可藉由各種中間硬體圖形處理 =發生。該等轉譯可為簡單,如轉換—並列資料流(其中 貝料係k跨許多線_次傳輸)成為串列資料流(其中資料係 在較少數線上傳輸)。可能有藉由圖形處理g(Gp观行 之更複雜轉譯,如轉換更高階圖式或模型化命令成為一最 後—映像視覺格式訊在各種處理階段可採取不 同I式,但f訊係意欲達成在顯#器上顯示圖形或其他資 訊的任務’且資料在—特定㈣處可狀任何格式皆在此 發明的範疇内。 曰訊資料120係在裝置102上可用的所有聲音資訊。此資 訊係從實體裝置擷取以使音m資料可用於設計時間環境 104。擷取可藉由類比至數位轉換器。此一般係藉由連接 至具有裝置之耳機,或將揚聲器從該裝置移除且連接至音 129044.doc 200847003 訊將產生至該揚聲器之點夾推[a 一 _ 又點术進仃。此貧訊亦能從在不需要 轉換至數位的本質數位音訊格式中的裝置類取。 被動資料類取係指攔截及複製通信資料及控制信號ιι8 之方法’及使此原始資訊可料記錄/控制環境13〇。搁截 之目的係要當其被傳輸至顯示器110時被動地複製該資 訊’但用插斷性方法來擷取該資訊亦同等有效。雖然用插 斷性方法來娜通信資料可能干擾行動顯示㈣操作,但 在其中僅需要記錄/控制環境130與裝置互動時此可能不重 要。 被動資料擷取之較佳組態係一硬體感測器,其可偵測通 信資料及控制信號118之信號位準,及當其被傳輸至顯示 器110時製造該資訊之一數位複本。可使用例如邏輯分析 器之一般可用產品,以及特定設計以從行動裝置1〇2擷取 此數位資訊之自訂硬體。用來_取此資訊之任何方法係在 此發明的範脅内。 雖然被動資料擷取之較佳組態使用通信資料及控制信號 118的以硬體為主擷取,但一以類似軟體代理程式為主之 方法亦另外可用來擷取係饋入記錄/控制環境13〇的原始資 訊。在此範例中,該軟體代理程式將係一在行動作業系統 114本身上執行,且透過行動裝置1〇2上發現之任何標準通 信通道與記錄/控制環境130通信的軟體程式。此通信通道 可包括無線通信、USB、串列、藍芽或用於與一在行動作 業系統114上執行之應用程式交換資訊的任何數目之其他 通信協定。 129044.doc -12- 200847003 導覽控制124係一自設計時間環境ι〇4控制行動裝置ι〇2 的方法。與該裝置之較佳整合係使用一以硬體為主整合以 電刺激鍵盤按鈕按壓及觸控螢幕選擇。此亦能使用一與裝 置作業系統114之軟體介面來控制。軟體介面能與一透過 裝置貧料電纜在裝置上執行之軟體代理程式通信,或透過 例如藍芽之無線通信。此通信通道能包括無線通信、 USB串列、藍芽或用於與一在行動作業系統π 4上執行 之應用程式來交換資訊的任何數目之其他通信協定。 記錄/控制環境130係用來刺激行動裝置1〇2或其輸入裝 置112(包括鍵盤按鈕或觸控螢幕),及記錄自裝置回應之音 属120及視訊122。記錄環境之一目標係欲識別裝置使用者 介面之唯一狀態或頁,及建置介於該等頁之間的導覽連 結。導覽連結係必須按壓以從行動裝置i 〇2的一頁導覽至 另一頁的鍵或觸控螢幕區域。可藉由個人手動地巡覽過行 動裝置1G2之選單來使用記錄環境,或可藉由搜尋未經映 射導覽路徑及自動地_裝置上狀態的—自動電腦處理程 序來控制記錄環境。在決定未經映射導覽路徑後,自動電 腦處理程序可控㈣置102以#由刺激輸入裝置ιΐ2或略過 輸入裝置及模擬直接輸入信號至作業系統ιΐ4,以導覽至 未經映射狀態。因此,行動裝置1〇2係透過一介面刺激, 不論是裝置輸入112或對於作業系統114之直接命令。 圖形視訊音訊儲存器138系統係資訊之一儲存庫,其係 在裝置互動之料_記_間Μ财。儲存系統可為 一標準關聯式f料庫系、统,或可僅為具有記錄資訊的-組 129044.doc -13- 200847003 格式化檔案。記錄資訊可採取表一 · 庫表格元素的格<。&目„ 立— 口〜衣不在仃動襞置102上之選單 =程式的結構之映射圖。此外,該儲存系統含有從行 5錄之音訊及視訊兩者或靜態圖框、資訊。
執行時_境1〇6可包純行_魏^132及執行時間 ^戶端⑼。執行時間環境⑽允許—使用者互動及播放來 广時間環境104之記錄資訊。執行時間環境1〇6可分 =一執行時間飼服器132,其將來自設計時間環境ι〇4之 貝二轉換成為一形式以播放至一使用者;及一執行時間用 戶端134,其允許一使用者與行動裝置之虛擬表示法互 動效或人者是’可將執行時間伺服器132及執行時間用戶端 134整合成為一單一單元,以致一般同時轉換及播放該資 訊0 執行時間伺服器132可為—標準網頁應用程式飼服器。 該祠服⑼可為―自訂設計健H,但較佳健符合使用 HTTP協&之標準網頁請求及回應互動。若使用非標準用 戶端,則執行時間伺服器132亦可支援非標準格式及無須 遵攸HTTP協定標準 '然而,此較不符合需要,因為其使 系統對於消費者係較不可存取。 執仃時間資料轉譯142將在記錄與行動裝置互動時獲得 的資訊,從設計時間環境104轉換成為一格式,該格式可 用於從例如網際網路網頁伺服器及網際網路網頁瀏覽器之 标準平台巡覽該襞置的一虛擬化版本。此步驟主要負責用 於將"己錄貢訊轉換成較低解析度,及較低保真度以使在一 129044.doc -14- 200847003 主控網頁環境中之資料傳輸需要減至最少。雖然:此程序執 仃成為-分離步驟係最有效,但其亦能折合進人記錄程 f ’所以轉換係在記錄資訊時完成。其亦能折合進入執行 ^間請求系統,但此將會頗無效率,因為其可能需要相同 貧訊的多個轉換。
執行時間資料儲存器刚係在互動裝置會期之執行時間 執仃期間存取的資訊之-儲存庫。該儲存系統可為一標準 關聯式資料庫系統,或可為一組具有記錄資訊的格式化檔 案。該執行時間資訊一般採用儲存在一光碟機上之格式化 〜像視訊、音訊及XML檔案的格式。執行時間資料儲存 器140亦可為與圖形/視訊/音訊儲存器138相同的系統,但 一般較佳係保持系統分離以允許易於部署進入新環境内。 虛擬裝置執行時間伺服器144 一般係標準網頁應用程式 词服器。該伺服器亦可為一自訂設計伺服器,但一般係其 符合使用HTTP協定之標準網頁請求及回應互動。若使用 非t準用戶則執行時間伺服器1 3 2亦可支援非標準格 式及無須遵從HTTP協定標準。然而此較不符合需要,因 為其使系統對於消費者係較少可存取。 執行時間用戶端134係由虛擬裝置互動介面146組成,其 可為標準網頁瀏覽器應用程式。該用戶端亦可為一自訂設 δ十的用戶端。較佳係,執行時間用戶端13 4符合使用HTTP 協定之標準網頁請求及回應互動。若使用非標準的伺服 器’則執行時間用戶端134亦能支援非標準格式及無須遵 從HTTP協定標準。然而,此較不符合需要,因為其使系 129044.doc -15- 200847003 統對於消費者係較少可存取。 設計時間環境104及執行時間環境106(包括執行時間伺 服器132及執行時間用戶端134)可皆裝載在一通用電腦I% 内。各環境可儲存在相同通用電腦上,或分離電腦上。通 用電服13 6係能執行軟體應用程式或其他電子指令的任何 電腦系統。此一般包括可用的電腦硬體及作業系統,例如 Windows PC或Apple Macintosh,或以伺服器為主的系 統,如Unix或Linux伺服器。此亦可包括經設計以使用一 通用cpu處理指令之自訂硬體,或基於CPLD、FpGA或任 何其他類似類型之可程式邏輯技術的自訂設計可程式邏輯 處理器。 圖2說明在圖!之設計時間環境1〇4内的記錄/控制環境 130邏輯的具體實施例。記錄/控制環境邏輯2〇〇從行動裝 置102取得音訊及視訊資料, 存的資訊複製。在行動裝置之各使用者或自動轉變處,記
122亦回應於自輸入裝置112對該裝置的刺 及決定該資訊是否為先前儲 。在步驟204(記錄 ‘錄係由行動裝置 影像)。視訊資訊 ί激而產生。記錄 129044.doc 16 200847003
視訊樣本係與同時記錄之音訊資訊同步D
在記錄音訊及視訊及使其同步化後,動態資訊係在步驟 206處過濾。此步驟係負責過濾一些可能由行動裝置1⑽動 態產生的視訊資訊。此過濾對於準備視訊樣本用於與行動 裝置使用者介面之其他已知狀態比較係必需。動態資訊之 範例包括含有目前日期或時間之螢幕的—區,或顯示動態 網路信號強度資訊之螢幕的區。藉由過濾動態資訊,可直 接比較靜態影像或視訊樣本的所得合標準樣本。
福測現存頁2G8係負責將最近記錄視訊樣本與健存在圖 形/視訊/音訊儲存器138中之每一現存樣本比較的步驟以 決定該視訊樣本是否來自一先前已在行動裝置ι〇2上遇到 的狀態。將新記錄與現存記錄比較可藉由掃描每—儲存樣 本及進打-對-比較來完成。發現現存狀態另外可藉由任 何數目之標準資料查找技術達成,包括計算-雜湊值,A 可用來迅速消除不直接匹配的影像及改進系統效能。各種 技術另外可用來改進現存啓篡站 仔萤幕偵測之效能,其皆達到相同 目標且在本發明之範轉内。 下一步驟210決定目前儲在♦ — μ β 子之兄錄疋否係先前儲存記錄 的複製。此決策路徑將決定县尤& β _ ^ 疋疋否發現該螢幕係一複製。 若未在先前儲存記錄内發現二 %見目刖儲存記錄,則決策樹分 支至步驟212 〇若此係設計時門 & 丁守間裱境先前未見到的一狀 恶或一螢幕,則一在行動裝 置使用者介面内之可用狀態的 圖形中建立新節點。此係第 -人續扰104見到此狀態,但 壞&1〇4可於未來時間從裝 夏τ之另一路徑中遭遇其,且 129044.doc -17- 200847003 頁儲存在資料庫 所以此狀態係連同所有其他已識別唯 13 8 内。 若控制環境130決定目前狀態係系統 ^則在下—步驟214處’其將音訊及視訊樣本儲存於關 聯此唯一狀離之資斜;$ 1 ^ δ dj ;關 篡叮、隹 貝枓庫138中。對於-些視訊動畫,該螢 幕可進入-永不結束循環動畫中。例如,一具 標的螢幕,或一且有]、叙蚩闰- ]燦存 叙* 有小動畫圖不的螢幕可為—不結束循環
動2。此類型動畫不具有结走 頁、,α采且所以必須以特別格式儲 存在貧料庫中(在步驟216處),其指示該動晝將會透過-系 列圖框持續地循環。 右在步驟210中目前儲存記錄係在先前儲存記錄内發 則决策树刀支至步驟218。記錄/控制環境13〇已決定 此係圖形138中之i製狀態,I行動裝置ι〇2已透過一先前 未見到之新導見路徑到達該狀態。行動裝置普通使用在相 同狀態結束的動晝,但取決於裝置之最後狀態而不同。例 如’一f幕影像可從一狀態緩慢分解至另—狀態。在此情 況中,較佳係將視訊動晝聯結在圖形中之狀態間的連結成 為在狀恶間之鈾置項序列。亦更佳係決定被記錄之完整 動畫中哪一部分係專用於該連結,且哪一部分係達到相同 狀態的所有連結所共同。為了決定視訊之哪一部分係導引 至目標狀態之所有路徑所共同,僅需要將所有進入記錄動 畫從結束至開始作比較,且當動畫開始偏離時決定。可採 用用於5亥狀,%之έ己錄音訊資料的此相同方法。 一旦其已決定該視訊之哪一部分係目標狀態所共同,且 129044.doc 200847003 ::::序部的部分(或至該狀態之連結),則僅聯結該連 σ之貝料可在步驟22G處储存。剩餘共同視訊及音訊資訊 可在:點廢除,因為其已關聯該目標狀態儲存。 、疋針對一狀態記錄之視訊及音訊資料的哪一部 系斤有進入路徑所共同,直至已針對導致該狀態之動畫 ,集到至少兩個樣本。有時在可能作出關於係所有進入狀 I、所,、同之視訊的部分之最後決定前,必須分析可導引一 特定狀態的每_敗似 ^ , 位。口為在已巡覽圖形中所有連結之前 :能會作出關於區分共同相對於前置項視訊之不正確評 價,故較佳係可(在步驟222)將現存狀態分成共同相對於前 置項視訊之不同劃分。 從裝置使㈣介面中之任何岐狀態,係已知從該狀態 内已,传哪些導覽路徑,且哪些尚未被巡覽。在步驟224 處%%13G可用此資訊來啟用尚未被巡覽的按鈕或觸控 螢幕區。此步驟並非必須M旦比無此步驟係較佳,可巡覽 已檢查過的狀態。若此已進行,可單純忽視該等狀態,因 為其已被映射至系統内。 下一步驟226等待使用者/自動輸入。此步驟將會等待來 自使用者手動地使用記錄介面的輸入,或來自一控制裝置 狀態之建立及記錄的自動電腦程序。等待228一般可為任 何時間量’只要其不太久以致造成該裝置本身進入一些替 代狀態。此替代狀態之一範例將係在等待—短時間量後2 現的自動螢幕儲存器。較佳係,一自動程序應嘗試等待可 能之最短的時間量。 129044.doc -19- 200847003 基於由使用者或自動程序 兮鈐壯避 符疋的輸入,步驟230將發送 該輸入至該裝置,且另外轎维 4 一 轉笑至下一狀態以等待該裝置產 生一對於該輸入之回應。 步驟232將會決定進入事 ^ ^ ^ . 千疋否係一鍵盤按鈕或觸控螢 幕k擇事件。此將決定如 狀/ 7用該輸入刺激實體裝置。行動 衣置102接者係藉由選擇適者 w ^ . 田鍵應杈鈕或觸控螢幕感測器 位置236來適當地刺激。 一旦導覽係從先前狀態得知, .^ ^ ^ 于知可用係先前狀態之連結的 來源在步驟238之圖形中建 ^… 新連結,且該連結之目標 係欲基於來自該裝置的回庫 ,A 應予以決定。該連結之目標可為 一新狀態,或最終被決定為_ ^ 現存狀悲。若已在裝置上採 用此導覽路徑,則可略過此步驟。 用於裝置回應2辦驟之等待將會等待—來自該裝置之 回應可用 般而B,一回應必須在短時間量(約1〇秒左 右)中發生以確定該回庫關伊纟兮认 應關^该輸入,且非關聯例如螢幕 儲存器之一些内部產生事件。 記錄程序200係—環形程序,且因此可在任何點處開 始。最自然之起點係選擇-特定開始狀態及自目前狀態啟 用未巡覽路徑’例如在位置242處。因為該環形程序,亦 可在任何點處結束。最自然之結束點係在位置2料處等待 使用者或自動輸入時。 圖3說明圖1之步驟142的執行時間資料轉譯邏輯的具 體實施例。執行時間資料轉譯程序將在記錄與行動裝置2 動時獲得的資訊轉換成-可用於從例如網際網路網頁伺服 129044.doc -20- 200847003 器及網際網路網頁劉覽器之標準 版本的袼式。此步驟主要負責用於將記錄;== 解析度,及較低保真度版本以使产、乂, 料傳輪需要減至最少。雖然此程序執行=頁=兄牛中之資 二1ΓΓ進入記錄程序,所以轉換係在資訊 、 /、亦鲍折合進入執行時間tf求4 , 會頗無效率,因η 求糸統,但此將 □為其可迠需要相同資訊的多個轉換。 在:錚=’。用於執行時間資料轉譯邏輯之程序300-般係 該程二 ==圖2的程序完成後在步_處開始。 m θ <所有賴直至完成的環形程序。亦可 行此轉譯及僅轉換先前未轉換的資料。無論* 果係要到達其中圖形中所有狀態已被轉換 成執仃盼間貧料格式的一點。 只:有圖形節點欲轉換成新格式,該程序將持續。因 4 304將決定是否有更多工作待進行,或該程序應 右使所有圖形節點皆已轉換成新格式,則程序鳩 =驟:6處結束。在此點所有資訊皆已轉換成執行時間 极而’若有更多圖形節點欲轉換’則程序在步 驟3 0 8處持續轉換。 ^开:即點育訊之實際轉換的第一步驟係在步驟则(讀取 2 %間資料)。此步驟將會讀入針對圖形中之一特定狀 態尚未被轉換成執行時間格式的所有設計時間資料。 =與用來料設計時間資訊之圖形/視訊/音訊儲存器138 互動。 129044.doc 21- 200847003 在讀取該資訊後,程序300接著在步驟31〇降低視訊圖框 率。此步驟係負責將視訊樣本之圖框率降低至一低於從行 動裝置102原始取樣之速率。此步驟係需要以減少在執行 時間互動裝置中之所要資訊量。若原始裝置資訊係以一充 分低之圖框率記錄時,此步驟並非必要。音訊取樣率亦在 步驟312處降低。此步驟負責將音訊樣本之取樣率降低至 一低於從行動裝置102原始取樣之速率。此步驟係需要以 減少在執行時間互動裝置中之所要資訊量。若原始裝置資 訊係以一充分低之取樣率記錄時,此步驟並非必要。此等 步驟(3 10及3 12)另外可同時或以相反次序執行。 下一步驟314(轉換影像格式)將當記錄來自該裝置之視 訊資訊時所使用的内部格式,轉換成由網頁瀏覽器支援的 更標準袼式。若資料原始係以標準影像格式捕獲,或若非 標準用戶端應用程式或外掛程式將會用以描繪互動裝置 時,此步驟並非必要。此時,影像之大小亦可調整以改進 在一標準解析度監視器上的外觀。步驟316轉換音訊格 式。此步驟將當記錄來自該裝置之音訊資訊時所使用的内 部格式,轉換成由網頁瀏覽器支援的更標準格式。若資料 係原始以標準音訊格式捕獲,或若非標準用戶端應用程式 或外掛程式將會用以描繪互動裝置時,此步驟並非必要。 此等步驟(3 14及31 6)另外可同時或以相反次序執行。 轉換狀態/連結步驟318會將設計時間資訊轉換成可由標 準網頁瀏覽器易於解譯的以XML為主格式。此發明之替^ 具體實施例可利用除了 XML以外的其他袼式,但該等:式 129044.doc -22· 200847003 可能不如此有效或標準。此等其他格式係在本發明之料 内。右原始資料被擷取成為XMLf料格式,或 =用程式或外掛程式將會用以描繪互動裝置時:此步 驟並非必要。 / :步驟304處再決定是否剩餘更多圖形節點前,剛轉換 ^訊係在步驟320處儲存’即儲存檔案至網頁祠服器儲 此步驟將會儲存新資料格式至執行時間資料儲存位 置。執行時間資料储存器14〇可與設計時間儲存位置 =同’但一般較佳係使兩個儲存系統分離以允許易於 部署執行時間資訊。 圖4說明在圖1的虛擬裝置執行時間伺服器⑷内之串列/ 並列匯流排轉換400的具體實施例。執行時間伺服哭144 一 般係標準網頁應用程式伺服器。該飼服器亦可為—自㈣ 計飼服II ’但-般應符合使用HTTP協定之標準網頁靖= 及回應互動:若使用非標準用戶端,則執行時間伺服器亦 可支杈非標準格式及無須遵從1〇^1>協定標準。然而,此 較不符合需要,因為其使系統對於消f者係較少^存取。4 參考圖4,虛擬裝置執行時間伺服器144首先在4们處請 求狀態資訊。此係-用於㈣圖形中之m點或= 的資訊之進入請求。纟驟402請求來自執行時間資料儲存 器140關於該狀態的資訊。此請求一般係當—使用者導覽 至一特時進行’但亦可預先進行’使—使用者將來 可導覽至-特定狀態。在此情況下,該資訊可藉由執行時 間用戶端134儲存直至使用者實際上確實巡覽該狀熊。虛 129044.doc •23- 200847003 擬裝置執行時間伺服器144在步驟404回應於關聯xmL資料 槽案(其表示所請求狀態及所有來自此狀態的導覽連結)之 進入狀態請求。XML資料一般將會含有關於欲請求之狀態 及其他類型媒體(影像、視訊、音訊)的資訊以適當地顯示 該狀態資訊。
若該狀態需要顯示一或多個影像檔案,或複合視訊檔 案,則將進行請求406。若進行406要求,則所請求影像檔 案將會在步驟408轉回’用於立即顯示或由用戶端應用程 式在未來顯示。若該狀態需要音訊檔案之播放,則將會進 行410請求以播放該檔案。若進行41〇請求,則所請求音訊 檔案將會在步驟408轉回用於立即播放,或由用戶端應用 程式在未來播放。 以上步驟402至412之資料請求及回應係透過區域網路或 透過網際網路使用標準協定發放。因此,其可為典型網頁 請求414。此等格式一般係透過低階Tcp/Ip或υ〇ρ協定之 以HTTP協定為主。 圖5說明圖1之虛擬裝置互動介面146的虛擬裝置互動介 面邏輯500的一具體實施例。虛擬裝置互動介面一般係 ^準網頁㈣器應用程式。該用戶端亦可為自訂設計用戶 端,但其-般應符合使用Ηττρ協定之標準網頁請求及回 應互動。若制非標準伺服器,則執行時間用戶端亦可支 援非標準格式且無須遵從HTTpm定標準。然@,此較不 符合需要,因為其使系統對於消費者係較少可存取。 參考圖5,互動用戶端應用程式5〇〇之開始502 -般被導 129044.doc -24- 200847003 覽至一係主控互動用戶端的網站。因此,互動用戶端應用 程式500—般將載入504—封套HTMl頁及例如Java Script 的嵌入客戶執行指令碼。 互動應用程式500中之第一步驟506係將圖形的狀態設定 成根狀態。圖形之根狀態一般係表示裝置使用者介面之開 始或首頁的狀態。取決於意欲與該應用程式之使用者共用 的經驗,根狀態無須為首頁狀態且實際上可能係圖形的任 何狀態。在本發明之一具體實施例中,進入系統之不同入 口點係允許在圖形中的不同點處開始以醒目提示該裝置之 不同能力。 來自網頁伺服器之請求狀態資料508,將會請求關於系 統中目前狀態的資訊。各狀態一般係藉由一簡單名稱或數 字值來表示’所以該請求將藉由「名稱」來要求該狀態 51〇。在請求關於該圖形之目前狀態的基本資訊後,一般 係需要更多個請求51〇以從網頁飼服器提取視訊及音訊資 讯後、^切求可在與初始請求相同的内容中進行,或藉由 載入一文件於造成後續請求之網頁瀏覽器中來隱含^進 行。此請求之最普通形式係在一例如Java Script的客戶側 劇本式語言内完成。此類型之請求—般係稱為ΑΜχ請 求,其請求及回應可藉由客戶劇本式呼叫無形地處理。在 其中請求係無阻礙地進行n兄下,亦可預先提取關於圖 形中後續狀態的資訊。此可能有價值係因為其將會藉由減 少:由使用者之-行動,及資料可用於顯示之時間間的延 ^ ’來增加互動應用程式的互動性。 129044.doc •25- 200847003 若圖形中之請求狀態已記錄與其關聯的音訊資料,音訊 播放將會在此點5 12處開始。音訊可與視訊播放同步持續 播放達到-段時間。亦可能音訊及視訊動晝資料被編碼成 為單明求,且所以音訊及視訊將同時開始(5 12及 5 14)。播放狀恶動晝5丨4將播放表示使用者剛導覽到達之 狀態的任何單-圖框或動畫。此可藉由顯示連同該狀態記 錄一圖框,或播放幾分鐘之動畫。
啟用有效按鈕/觸控螢幕區域狀態516將致使該等有效導 覽按鈕及觸控螢幕區域可供使用者取用以從裝置上之目 前狀態導覽。可依一些方式醒目提示該等按鈕之狀態以指 示其是否可用。可用比不可用狀態更淺之色彩來顯示可用 狀態,或該等按鈕亦可為視覺脈動或顯示一些其他指示 項’以顯示其係可用。在一些情況下,較佳係使不可用導 覽按鈕及控制維持經啟用’以致若使用者選擇該按紐或觸 控螢幕區域則可顯示一有用訊息。 若該狀態含有一不結束循環動畫(如閃燦游標),該動晝 可在等待來自使用者520之輸入時持續地播放518。在一: 情況下、:在-長、但非循環動畫期間,亦可接受使用者輸 入以取消該動畫。 等待制者輸人522單純特㈣者輸人至虛擬互 置上的有效導覽控制中之一者。一妒 莖&士曰 叙對於網頁應用程式可 荨待之㈣I並無限制’但在網頁词服器上的限 限制一使用者可與伺服器具有-有效會期的時間。一二 地,可用會期愈長愈佳。 敢 I29044.doc -26- 200847003 一旦已接收到一使用者給 翰入(如按紐或觸控罄蓋 擇)524,虛擬裝置互動介 Μ控螢幕選 & ’、'用耘式500決定該輸入是否 為一結束鍵526。在互動奘罢a ^ 勒衣置中可能有一或一個以上特硅 功能鍵,其將使該使用者到遠 ^ 運目剐圖形的根。此可為一 動裝置之結束鍵,但亦可為 Λ了為仃 * ^ ^ m - 隹該裝置本身上不可用的一 虛擬鍵或圖不。若按壓結束鍵, 態528。 、]载入且再顯示預設根狀 若使用者輸入並非一姓φ私 , 、&、_ 。束鍵,則應用程式沿分支53〇前 進以從選擇來選擇下一狀綠 I 532。基於網頁瀏覽器上的使 用者視覺選擇’應用程式將棘 ^ 、轉澤忒輸入成為圖形中可用狀
態之一者。一般而言,網頁潘丨臨獎rb > A 貝到見器中之虛擬使用者介面應 仏可能看似原始行動裝詈〗^ ^ 丁勒衮置102。在最普通情況下,使用者 將用滑鼠點選該等按紐之一者的 ^考的視覺表不法,或實體裝置 上存在的其他輸入控制。夂松 — 各按鈕表不來自目前狀態之可用 導覽路徑之一者。在一觸批总望> 觸控螢幕之情況下,該轉譯係來自 螢幕之區域’或來自該裝置之視覺顯示的影像上之使用者 選定的位置。因為該裝置影像可為—與觸控螢幕座標不同 的大小,一些座標轉譯在此點亦可能必要。 、在/、中欲巡見之連結係已知的點處,可向伺服器534請 长至下H、之别置項。該前置項係關聯兩狀態間之連結 且對於該連結係唯-。並非所有連結皆具有前置項,且因 此此狀態可能不必要。為了改進網頁應用程式之回應,該 請求可針對來自目前狀態之一些或所有可能連結提前進 打,且將僅顯示實際選定的連結。若此連結具有一與其關 129044.doc -27- 200847003 聯之音訊記錄,此將在此點536處開始,所以其可與任何 前置項動畫同步播放538。若此連結具有一與其關聯之= 置項動晝’現可播放動晝538以導引至下一狀態。 圖6說明圖1之通用電腦136之一具體實施例,其使用根 據本發明具體實施例之設計時間環境1〇4及執行時間環境 1〇6的屬性。圖6中,通用電腦136係顯示具有處理器6〇2、 快閃604、記憶體606,及開關複合體6〇8。通用電=6⑽亦 可包括複數個埠610,用於輸入及輸出裝置。螢幕612可附 接以檢視設計時間環境介面或執行時間環境介面。輸入裝 置可包括一鍵盤614或一滑鼠616,以允許使用者透過設計 時間環境或執行時間環境導覽。駐留在記憶體6〇6或快閃 6〇4(其係電腦可讀媒體的形式)中之軔體可藉由處理器6〇4 執行,以相對於設計時間環境及執行時間環境執行以上所 述操作。此外,記憶體606或快閃604可儲存圖形節點狀 態、前置項及節點資訊間之轉變序列,如以上描述。可將 通用電腦連接至一伺服器618以存取電腦網路或網際網 路。 設計時間環境1〇4及執行時間環境1〇6(包括執行時間伺 服器132及執行時間用戶端134)可皆裝載在一通用電腦136 内。各環浼可在相同通用電腦上,或分離電腦上儲存。通 用電腦136係能執行軟體應用程式或其他電子指令的任何 電腦系統。此一般包括可用之電腦硬體及作業系統,例如
Windows PC或Apple Macintosh,或以伺服器為主的系 統,如Unix或Linux伺服器。此亦可包括經設計以使用通 129044.doc -28 - 200847003 用CPU處理指令之自訂硬體,或基於CPLD、FPGA或任何 其他類似類型之可程式邏輯技術的自訂設計可程式邏輯處 理器。 处 應注意此軔體可在任何電腦可讀媒體上儲存且運輪,供 、 一指令執行系統、設備或裝置使用或與其連接,例如一以 電腦為主之系統、包含處理器的系統或可從指令執行系 統、設備或裝置提取指令並執行指令的其他系統。此文件 _ 之内容中,,,電腦可讀媒體"可為任何媒體,其可包含、儲 存、傳達、傳播或運輸程式以供指令執行系統、設備或裝 置使用或與其連接。電腦可讀媒體可為(例如但不限於)電 子、磁性、光學、電磁、紅外線或半導體系統、設備、裝 置或傳播媒體。電腦可讀媒體可為之更明確範例包括(但 不限於)一具有一或多個導線之電連接(電子)、一可攜式電 腦碟片(磁性)、一隨機存取記憶體(RAM)(磁性)、一唯讀 圯憶體(ROM)(磁性)、一可抹除可程式唯讀記憶體 ❿ (EPR〇M)(磁性)、一光纖(光學)、可攜式光碟(wcD、cd- R、CD-RW、DVD、DVD_R4DVD_RW)或快閃記憶體(如 緊密快閃卡)、安全數位卡、USB記憶裝置、記憶條及類似 ' 者。應注意,電腦可讀媒體甚至可為列印程式之紙張或另 .一適當媒體,只要程式文字可經由紙或其他媒體之光學掃 描來電子捕獲,接著視需要編譯、解譯或按適當方式處 理,而後儲存於電腦記憶體内。 圖7係一設計時間環境1〇4(來自圖1)之介面700的範例, 用於記錄來自一實體行動裝置1〇2的資訊。設計環境允許 129044.doc -29- 200847003 與該裝置之手動互動,且用於建置圖形狀態及狀態間之連 結。與設計時間環境104互動之裝置可駐留在一本機電腦 6_L或可【域電腦網路或網際網路遠端地存取。 設計時間環境介面700顯示使用者實體行動裝置702之-虛擬表示法。設計時間環境建立圖形節點704及當巡覽實 體衣置時在此等即點間之連結7〇6。圖形(具有節點及連 結)708可對使用者視覺地出現或可隱藏。設計時間環境介 面可額外包括其他選單特徵71G,諸如—欲操縱之可能實 體裝置的列表。 圖8係一使用標準網頁及標準網頁影像及視訊格 式之執行時間客戶環境m的虛擬裝置互動介面146之範 例。在此範例中,執行時間飼服器132可為-本機機器, 或可駐Θ在網際網路上的任何其他飼服器上。虛擬裝置互 動介面146可包括實體行動裝置⑽之-虛擬表示法8〇2。 使用者可精由在虛擬表示法8G2之螢幕上直接選擇區域, 、、擇輸人來巡見虛擬裝置的特徵,或可從—其中可用按 鈕被列出之分離選單804中選擇。虛擬裝置互動介面断 包括額外選單嶋。例如,一額外選單可允許使用者在虛 擬裝置間改變’或可允許使用者選擇一組特徵來強調,宜 將會決定虛擬裝置顯示的開始節點。 許多變更及修改可由熟習此項技術人士進行而不脫離此 =月之精神及耗臂。因此,應理解所說明之具體實施例僅 提出用於範例…’且其不應被視為限制此發明成為以 下申请專利祀圍所定義。例如,雖然本發明之許多具體實 129044.doc -30- 200847003 施例依-特定次序描述用於特定結果之邏輯程序,應理解 本發明不限於所陳述的次序。可將兩個或以上步驟結合成 一單一步驟’或程序可在所陳述次序以外執行。例如,當 該應用程式係#回或儲存資訊冑’所$具體實施 錄或播放音訊及視覺資料成為依—特定:欠序發生的分離步 驟。應瞭解本發明包括將此等步驟結合成一單一步驟,以 同時播放或記錄視訊及音訊資料,或反轉次序因此視訊係 在音訊前取回,或反之亦然。 應瞭解用於此說明書中以描述此發明及其各種具體實施 例之字詞,不僅應視為其一般定義之意義,而且包括超越 一般定義之意義之範疇而在此說明書結構、材料或行為中 的特別定義。因此若一元件在此說明書之内容中可瞭解為 包括一種以上意義時,則應理解其在一申請專利範圍中之 用法係通用於由說明書及該字詞本身所支援的所有可能意 義。 〜 以下申請專利範圍之字詞或元件的定義係因此在此說明 書中定義為不僅包括以文字所提出之元件的結合,且包括 依實質上獲得實質上相同結果之相同方法執行實質上相同 功能的所有等效結構、材料或動作。在此意義上,其因此 已預想到可針對以下申請專利範圍中任一元件進行兩個或 以上的元件之等效替代,或可用一單一元件替代在申請專 利範圍中之兩個或以上元件。 如由熟習此項技術人士所檢視到自申請專利範圍標的之 想像改變(現已知或後續經設計)係明顯地期望為等同在申 129044.doc -31 - 200847003 請專利範圍之範疇内。因此,熟習此項技術人士目前或後 續仔知之明顯替代係定義為在所定義申請專利範圍元件的 範_内。 申請專利範圍因此係應視為包括以上明確說明及描述 者其叮犯觀念上等效,且可明顯地替代。例如,如申請 專利範圍中引述之術語”電腦”或”通用電腦”應包括以下至 少一項:桌上型電腦、膝上型電腦或例如行動通信裝置的 任何行動計算裝置(如蜂巢式或Wi_Fi/Skype電話、電子郵 件通信裝置、個人數位助理裝置),及多媒體再生裝置(如 iPod、MP3播放器或任何數位圖形/照片再生裝置)。通用 電腦另外可為經設計以僅支援本發明具體實施例之記錄或 播放功能的特定設備。例如,該通用電腦可為與行動裝置 整合或連接之裝置’且係經單獨地程式化以與該裝置互動 及記錄音訊及視覺資料回應。 【圖式簡單說明】 圖1說明一根據本發明之具體實施例使用一設計時間環 境及一執行時間環境的範例性系統方塊圖。 圖2說明根據本發明之具體實施例的範例性記錄/控制環 境邏輯。 圖3說明根據本發明之具體實施例的範例性執行時間資 料轉譯邏輯。 圖4說明根據本發明之具體實施例的範例性串列/並列眶 流排轉換。 圖5說明根據本發明之具體實施例的範例性虛擬裝置互 129044.doc -32- 200847003 動介面邏輯。 圖6說明根據本發明之具體實施例使用設計時間環境及 執行時間環境的屬性之範例性設備。 圖7說明根據本發明之具體實施例的範例性設計時間環 境介面。 圖8說明根據本發明之具體實施例的範例性執行時間環 境介面。
【主要元件符號說明】 100 糸統 102 實體行動裝置 104 設計時間環境 106 執行時間環境 108 曰δίΐ揚聲器 110 顯示器 112 輸入裝置 114 作業系統 118 通信資料及控制信號 120 音訊資料 122 視訊資訊 124 導覽控制 130 記錄/控制環境 132 執行時間伺服器 134 執行時間用戶端 136 通用電腦 129044.doc -33- 200847003
138 140 142 144 146 200 236 300 500 602 604 608 610 612 614 616 618 700 702 704 706 708 710 圖形視訊音訊儲存器/資料庫 執行時間資料儲存器 執行時間資料轉譯 虛擬裝置執行時間伺服器 虛擬裝置互動介面 記錄/控制環境邏輯 觸控螢幕感測器 執行時間資料轉譯邏輯 虛擬裝置互動介面邏輯/互動 用戶端應用程式 處理器 快閃 開關複合體 埠 螢幕 鍵盤 滑鼠 伺服器 設計時間環境介面 實體行動裝置 圖形節點 連結 圖形 其他選單特徵 129044.doc -34- 200847003 802 虛擬表示法 804 分離選單 806 額外選單 129044.doc - 35 -
Claims (1)
- 200847003 十、申請專利範圍: 1· 一種用於記錄與一行動裝置之互動以用於在一虛擬環境 中後績柄擬的方法,該方法包含: 透過一介面偵測一對於該行動裝置之控制輸入; 擷取由該行動裝置產生之一回應;及 若該回應先前未被偵測到則儲存該回應。 2·如咕求項1之方法,其進一步包含決定一尚未導覽之路 徑及選擇該控制輸入以選擇該路徑。 3·如:求項1之方法’其進—步包含將該回應分成一現存 狀態及一在狀態間之前置項序列。 月求項3之方法’其進一步包含藉由過濾、來自該現存 狀態之動態資訊來建立一合標準樣本。 长項4之方法’其進一步包含比較該合標準樣本與 先⑴口 ‘準樣本,以決定該合標準樣本先前是否已 被儲存。 6·如請求項1之方法,1進一 ,、進步包含執行一應用程式,其 中該應用程式基於_使用去 便用者選擇來導覽該等先前儲存回 應0 7.如請求項6之方法,其中哕廡田炉斗# 、甲w亥應用耘式基於一組所要特徵 顯不一初始狀離, ▲、 一、以向一使用者強調。 8 ·如請求項6之方法,复由 一 、 ,、中〇應用程式顯示該行動裝置之 座· 表不法,且分 ^ 使用者透過' —虛擬介面道薛以 «與該行動裝置之—實體互動。貞“面^以 9.種用於透過一虛擬環境模擬與一行動裝置實體之互動 129044.doc 200847003 之方法,其包含: 顯示一虛擬裝置互動介面; 透過該虛擬裝置互動介接 ㈤處 使用者選擇;及 σ應於該使用者選擇而播放一動晝。 10·如請求項9夕士、+ ^ , 、之方法,其中該虛擬裝置互 體行動梦里 # 初’丨面表不一實 丁動衣置,其模擬與該實體行 η.如請求項9之方法,其中一初始虛擬二際互動。 於一組互動選遅 ^ 湿擬衣置互動介面係基 庄動選擇,以向一使用者強調。 HI項9之方法,其中該播放模擬該行動裝置之-實 13·如請求項9之方法, ^ u /匕3荨待一額外使用者選 接目應於該額外使用者選擇來播放—關聯動書。 記錄與-行動裝置之互動以用於在—虛擬環境 中後、喝核擬的設備,該設備包含: 介面,其經組態用以連接至該行動裝置; 』一處理器,其係通信㈣合至該介面及經程式化用於 纪錄與該行動裝置之該等互動,其係藉由 透過該介面選擇-對於該行動裝置之控制輸入; 擷取由該行動裝置產生之一回應;及 若該回應先前未被偵測到則儲存該回應。 15·如明求項14之設備,其中該處理器係經進一步程式化用 於决疋尚未導克之路徑,及選擇該控制輸入以選擇該 路徑。 16·如凊求項14之設備,其中該處理器係經進一步程式化用 129044.doc -2- 200847003 於將該回應分成一現存狀態及一在狀態間之前置項序 列。 17.如請求項16之設備,其中該處理器係經進一步程式化用 於藉由過濾來自該現存狀態之動態資訊,以建立一合標 準樣本。 18· —種用於透過一虛擬環境模擬與一實體行動裝置之互動 的設備,其包含: 一處理H ’其係通訊地叙合至一使用者輸入且經程式 化用於 顯示一表示該實體行動裝置之虛擬裝置互動介面; 透過該使用者介面接受一使用者選擇;及 、回應於該使用者選擇而播放—動晝,以基於該使用者 t擇來模擬该實體行動裝置之一實際回應。如請求項18之設備’其卜初始虛擬裝置互動介面係基 於"且互動選擇,以向一使用者強調。 如:奮求項18之設備,其中該處理器係經進一步程式化用 I等待額外使用者選擇,且回應於該額外使用者選擇 播放一關聯動晝。 21. - :包含程式碼之電腦可讀媒體,其係用於記錄與一行 動衣置之互動以在—虛擬環境中後續模擬,用於造成一 方法之執行的該程式碼包含·· 透過一介面偵測一對於該行動裝置之控制輸入,· 擷取由该行動裝置產生之一回應;及 右該回應先前未被偵測到則儲存該回應。 129044.doc 200847003 22·如請求項21之電腦可讀媒體,進一步用於造成該方法之 執行的該程式碼包含··決定一尚未導覽之路徑,及選擇 該控制輸入以選擇該路徑。 23·如請求項21之電腦可讀媒體,進一步用於造成該方法之 執行的該程式碼包含··將該回應分成一現存狀態及一在 狀態間之前置項序列。 24.如請求項23之電腦可讀媒體,進一步用於造成該方法之 執仃的該程式碼包含:藉由過濾來自該現存狀態之動態 資訊建立一合標準樣本。 25·種包含程式碼之電腦可讀媒體,其係用於透過一虛擬 裱境來模擬與一行動裝置之實體互動,用於造成一方法 之執行的該程式碼包含: 顯示一虛擬裝置互動介面; 基於該虛擬裝置互動介面接受一使用者選擇; 回應於該使用者選擇而播放一動晝。 26.如请求項25之電腦可讀媒體,進一步用於造成該方法之 壯行的忒程式碼包含·基於一組互動來選擇一初始虛擬 裝置互動介面,以向一使用者強調。 27. 28· 月求項25之电細可碩媒體,進一步用於造成該方法之 執行的4程式碼包含·模擬該行動裝置之〆實體回應。 如請求項25之電腦可讀媒體,進一步用於造成該方法之 執行的該程式碼句会·望仗 $ 各·專待一額外使用者選擇,及回應 於該額外使用者選擇播放一關聯動書。 129044.doc
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US90040507P | 2007-02-09 | 2007-02-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW200847003A true TW200847003A (en) | 2008-12-01 |
Family
ID=39682447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097105054A TW200847003A (en) | 2007-02-09 | 2008-02-12 | Virtual device interactive recording |
Country Status (8)
Country | Link |
---|---|
US (1) | US8014995B2 (zh) |
EP (1) | EP2119022A4 (zh) |
JP (1) | JP2010525621A (zh) |
AU (1) | AU2008213607B2 (zh) |
CA (1) | CA2677355A1 (zh) |
IL (1) | IL200283A0 (zh) |
TW (1) | TW200847003A (zh) |
WO (1) | WO2008098209A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI419052B (zh) * | 2011-01-06 | 2013-12-11 | Univ Nat Taiwan | 行動裝置的虛擬系統及其虛擬方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8589140B1 (en) * | 2005-06-10 | 2013-11-19 | Wapp Tech Corp. | System and method for emulating and profiling a frame-based application playing on a mobile device |
US7813910B1 (en) | 2005-06-10 | 2010-10-12 | Thinkvillage-Kiwi, Llc | System and method for developing an application playing on a mobile device emulated on a personal computer |
CA2677355A1 (en) | 2007-02-09 | 2008-08-14 | Mobile Complete, Inc. | Virtual device interactive recording |
US10133317B2 (en) * | 2007-04-27 | 2018-11-20 | Hewlett-Packard Development Company, L.P. | Computing device with multiple displays |
US8484626B2 (en) * | 2007-09-28 | 2013-07-09 | Verizon Patent And Licensing Inc. | Generic XML screen scraping |
US9161238B2 (en) | 2012-04-16 | 2015-10-13 | Mobile Experience Solutions, Inc. | Mobile device monitoring and testing |
US11049309B2 (en) * | 2013-12-06 | 2021-06-29 | Disney Enterprises, Inc. | Motion tracking and image recognition of hand gestures to animate a digital puppet, synchronized with recorded audio |
US11340920B2 (en) * | 2016-02-02 | 2022-05-24 | Aetherpal Inc. | Device navigational maps for connected devices |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
CN107240144B (zh) * | 2017-06-08 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 一种动画合成方法及装置 |
US20190347078A1 (en) * | 2018-05-09 | 2019-11-14 | International Business Machines Corporation | Generating Application Mock-Ups Based on Captured User Sessions |
CN109472872A (zh) * | 2018-10-10 | 2019-03-15 | 西安西电电气研究院有限责任公司 | 车间状态监测方法及系统 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2060891A1 (en) * | 1989-07-03 | 1991-01-04 | Paul E. Williams | Computer operations recorder and training system |
CA2122182A1 (en) * | 1993-05-20 | 1994-11-21 | Rene Leblanc | Method for rapid prototyping of programming problems |
JP2613361B2 (ja) * | 1994-09-21 | 1997-05-28 | 日立電子サービス株式会社 | Lanセットアップ操作学習・訓練システム |
US6631345B1 (en) * | 1999-08-12 | 2003-10-07 | International Business Machines Corporation | Recording, storing, and emulating user interaction events |
FI109951B (fi) * | 1999-12-29 | 2002-10-31 | Valtion Teknillinen | Ohjain ja sen ohjausmenetelmä |
US6993575B2 (en) * | 2000-02-22 | 2006-01-31 | Oracle International Corporation | Using one device to configure and emulate web site content to be displayed on another device |
WO2001095161A2 (en) * | 2000-06-02 | 2001-12-13 | Virtio Corporation | Method and system for virtual prototyping |
JP4062874B2 (ja) * | 2000-11-30 | 2008-03-19 | カシオ計算機株式会社 | オンライン制御システム |
US7647561B2 (en) * | 2001-08-28 | 2010-01-12 | Nvidia International, Inc. | System, method and computer program product for application development using a visual paradigm to combine existing data and applications |
KR100498051B1 (ko) * | 2002-06-15 | 2005-07-01 | 삼성전자주식회사 | 외부 기기로부터 입력된 데이터의 처리가 가능한 휴대용정보 기기 및 그 방법 |
US7653413B2 (en) * | 2002-06-28 | 2010-01-26 | Motorola, Inc. | Subscriber device and method therein for enhancing interfaces thereto |
US7136623B2 (en) * | 2002-09-30 | 2006-11-14 | Ncr Corporation | Self-service system and method of loading an executable transaction application program from a self-service terminal to a portable electronic device |
US20050054381A1 (en) * | 2003-09-05 | 2005-03-10 | Samsung Electronics Co., Ltd. | Proactive user interface |
US8990688B2 (en) * | 2003-09-05 | 2015-03-24 | Samsung Electronics Co., Ltd. | Proactive user interface including evolving agent |
US7343568B2 (en) * | 2003-11-10 | 2008-03-11 | Yahoo! Inc. | Navigation pattern on a directory tree |
WO2005070092A2 (en) * | 2004-01-08 | 2005-08-04 | Voice Signal Technologies, Inc. | Automated testing of voice regognition software |
US7499848B2 (en) * | 2004-12-20 | 2009-03-03 | Texas Instruments Incorporated | Scripting support for an emulator |
US7813910B1 (en) * | 2005-06-10 | 2010-10-12 | Thinkvillage-Kiwi, Llc | System and method for developing an application playing on a mobile device emulated on a personal computer |
US7788358B2 (en) * | 2006-03-06 | 2010-08-31 | Aggregate Knowledge | Using cross-site relationships to generate recommendations |
US7672935B2 (en) * | 2006-11-29 | 2010-03-02 | Red Hat, Inc. | Automatic index creation based on unindexed search evaluation |
CA2677355A1 (en) | 2007-02-09 | 2008-08-14 | Mobile Complete, Inc. | Virtual device interactive recording |
-
2008
- 2008-02-08 CA CA002677355A patent/CA2677355A1/en not_active Abandoned
- 2008-02-08 US US12/028,747 patent/US8014995B2/en active Active
- 2008-02-08 WO PCT/US2008/053485 patent/WO2008098209A2/en active Application Filing
- 2008-02-08 EP EP08729449A patent/EP2119022A4/en not_active Withdrawn
- 2008-02-08 JP JP2009549274A patent/JP2010525621A/ja active Pending
- 2008-02-08 AU AU2008213607A patent/AU2008213607B2/en active Active
- 2008-02-12 TW TW097105054A patent/TW200847003A/zh unknown
-
2009
- 2009-08-06 IL IL200283A patent/IL200283A0/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI419052B (zh) * | 2011-01-06 | 2013-12-11 | Univ Nat Taiwan | 行動裝置的虛擬系統及其虛擬方法 |
Also Published As
Publication number | Publication date |
---|---|
IL200283A0 (en) | 2010-04-29 |
EP2119022A4 (en) | 2010-12-01 |
US8014995B2 (en) | 2011-09-06 |
EP2119022A2 (en) | 2009-11-18 |
AU2008213607A1 (en) | 2008-08-14 |
AU2008213607B2 (en) | 2011-11-17 |
WO2008098209A2 (en) | 2008-08-14 |
JP2010525621A (ja) | 2010-07-22 |
CA2677355A1 (en) | 2008-08-14 |
US20080195942A1 (en) | 2008-08-14 |
WO2008098209A3 (en) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW200847003A (en) | Virtual device interactive recording | |
JP5617207B2 (ja) | ユーザへのコンテンツ推薦方法、ユーザへのコンテンツ推薦システム及びコンピュータ読取可能な記録媒体 | |
US20090271479A1 (en) | Techniques for Providing Presentation Material in an On-Going Virtual Meeting | |
JP2011521383A (ja) | 身体障害のあるユーザに対応するビデオプレーヤの実時間作成および変更のためのシステムおよび方法 | |
WO2015094589A1 (en) | Tagging images with emotional state information | |
US20160217109A1 (en) | Navigable web page audio content | |
CN108476244A (zh) | 通过利用网络延迟来缩短页面加载时间的方法和系统 | |
TW201203113A (en) | Graphical representation of events | |
CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
White et al. | Multimodal mixed reality interfaces for visualizing digital heritage | |
KR20170002831A (ko) | 비디오 프로젝트 템플릿을 이용한 영상편집 시스템 및 구동방법 | |
JP2008109289A5 (zh) | ||
JP5485276B2 (ja) | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム | |
JP2014178818A (ja) | 情報端末、アプリケーション情報出力方法およびアプリケーション情報出力プログラム | |
TW200907703A (en) | Method and system for editing web data | |
JP2008287383A (ja) | リンク先情報表示装置,リンク先情報表示方法,その方法を実装したリンク先情報表示プログラム及びそのプログラムを格納した記録媒体 | |
JP2013232904A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP5289527B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP2011128970A (ja) | ウェブページ作成支援装置、ウェブページ作成支援方法、コンピュータプログラム | |
CN114513682B (zh) | 多媒体资源展示方法、发送方法、装置、设备及介质 | |
JP7057594B1 (ja) | 情報処理装置、オンライン接客システム、オンライン接客方法、シナリオ生成方法、及びプログラム | |
JP7407625B2 (ja) | メッセージ提供方法、メッセージ提供装置、メッセージ提供プログラムおよび記録媒体 | |
KR20170071438A (ko) | 콘텐츠 바로 가기를 생성하기 위한 방법 및 시스템 | |
JP2015008014A (ja) | ユーザへのコンテンツ推薦方法、ユーザへのコンテンツ推薦システム及びコンピュータ読取可能な記録媒体 | |
JP2004304647A (ja) | 情報収集装置、情報収集プログラム |