TW201643866A - 用於使視聽內容與慣性測量同步之方法、裝置及系統 - Google Patents

Abstract

本發明揭示一種用於使視聽內容與再現於一行動內容器件上之內容之慣性輸出同步之方法、裝置及系統，其包含：回應於該行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號。該等記錄信號各經處理以判定該等記錄信號之各者之一對應峰值之一時間戳記。判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離，且使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。

Description

用於使視聽內容與慣性測量同步之方法、裝置及系統

本發明係關於媒體消費及互動。更特定言之，本發明係關於一種用於使視聽內容與慣性測量同步之方法、裝置及系統。

近年來，市場上之行動器件技術已呈爆發式發展。歸因於使用者日益激增且熱切增長之需求，研究人員及製造商已在努力增強使用者與其行動器件之間之互動。已進行諸多研究以透過成像技術及3D技術來改良使用者之視覺感知。研究人員亦已將聽覺發展整合至行動應用中以對使用者提供更佳體驗。然而，此等改良仍限於兩種感覺(視覺及聽覺)，而虛擬現實中之研究已展現觸覺感知似乎導致器件與使用者之沉浸感覺之間之一強烈聯繫。不幸地，無法很好地理解使觸覺資料產生於行動器件上之程序。由於在行動器件上，同時但在獨立程序中產生視聽及感覺媒體，因此需要解決由此引起之一同步化問題。

更特定言之，出現之問題與行動器件上之記錄媒體中之起動延遲相關。具體而言，各記錄組件不會在其被啟動時即時開始工作，而是在一隨機延遲之後開始工作。當前亦無法存取當前記錄圖框之一絕對時間戳記(共同用於兩個記錄程序)，啟動點與開始記錄觸覺及視聽內容之時間之間之實際延時通常取決於器件而自100毫秒變動至600毫 秒。由於此不可預知行為，當前無法排定感測器及媒體記錄器件之一啟動，因此記錄資料具有相同起動點。在同時使用兩個串流之一情況中，此一隨機延時變得足夠大以使最後呈現產生一不現實且不舒服之使用者體驗。

本發明提出一種用於使視聽內容與慣性測量同步之方法、裝置及系統。

在本發明之一實施例中，一種方法包含：回應於行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號；處理該記錄音訊信號以判定該信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該信號之一對應峰值之一時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。

在本發明之一替代實施例中，一種用於使視聽內容與一行動內容器件上之慣性測量同步之裝置包含：一記憶體，其用於儲存程式常式、音訊信號資料及慣性信號資料之至少一者；及一處理器，其用於執行該等程式常式。在此等實施例中，該處理器經組態以：回應於該行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號；處理該記錄音訊信號以判定該信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該信號之一對應峰值之一時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。

在本發明之一替代實施例中，一種用於使視聽內容與一行動內容器件上之慣性測量同步之系統包含：一振動器，其經組態以使該行動內容器件振動；一音訊記錄器，其經組態以回應於該行動內容器件之一振動而記錄一音訊信號；一慣性信號記錄器，其經組態以回應於該行動內容器件之該振動而記錄一對應慣性信號；及一裝置，其包括用於儲存程式常式、音訊信號資料及慣性信號資料之至少一者之一記憶體及用於執行該等程式常式之一處理器。在此等實施例中，該裝置經組態以：回應於該行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號；處理該記錄音訊信號以判定該信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該信號之一對應峰值之一時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。

100‧‧‧行動內容器件/系統

110‧‧‧慣性感測器

111‧‧‧加速度計

112‧‧‧陀螺儀

113‧‧‧磁強計

120‧‧‧攝影電話

130‧‧‧記錄器

142‧‧‧感覺記錄器

144‧‧‧媒體記錄器

150‧‧‧觸覺視聽內容同步器

210‧‧‧處理器

220‧‧‧記憶體

230‧‧‧支援電路

240‧‧‧輸入-輸出電路

500‧‧‧方法

502‧‧‧步驟

504‧‧‧步驟

506‧‧‧步驟

508‧‧‧步驟

510‧‧‧步驟

可藉由考量結合附圖之以下詳細描述而容易地理解本發明之教示，其中：圖1描繪根據本發明之一實施例之用於使視聽內容與慣性測量同步之一系統之一高階方塊圖；圖2描繪根據本發明之一實施例之能夠實施於用於使視聽內容與慣性測量同步之圖1之系統中之一觸覺視聽內容同步器之一高階方塊圖；圖3描繪根據本發明之一實施例之用於使用用於使視聽內容與慣性測量同步之一音訊信號及一加速度信號來標記一使用者與一行動內容器件之互動之一序列之一圖片工作流程及所得信號；圖4描繪根據本發明之一替代實施例之用於使用用於使視聽內容 與慣性測量同步之一音訊信號及一加速度信號來標記一使用者與行動內容器件之互動之一替代序列之一圖片工作流程及所得信號；及圖5描繪根據本發明之一實施例之用於使視聽內容與慣性測量同步之一方法500之一流程圖。

應瞭解，(若干)圖式用於繪示各種所描述原理之概念且未必為用於繪示本發明之唯一可能組態。

為促進理解，已儘可能使用相同參考元件符號來標示共同用於圖式之相同元件。

本發明之實施例有利地提供一種用於使視聽內容與慣性量測同步之方法、裝置及系統。儘管將主要在特定行動器件(諸如行動電話)之背景下描述本發明，但本發明之特定實施例不應被視為限制本發明之範疇。熟習此項技術者應瞭解且將自本發明之教示獲知，本發明之概念可有利地應用於諸多其他內容消費器件(諸如行動電話、平板電腦、電腦、顯示器及其類似物)之視聽內容與慣性測量之同步。

在本發明之申請專利範圍中，表達為「用於執行一指定功能之一構件」之任何元件意欲涵蓋執行該功能之任何方式，其包含(例如)：a)執行該功能之電路元件之一組合；或b)呈任何形式之軟體，其因此包含韌體、微碼或其類似物，該軟體與用於執行該軟體之適當電路組合以執行該功能。由此申請專利範圍界定之本發明存在以下事實：由各種所陳述之構件提供之功能以申請專利範圍要求之方式組合及集合。因此，可認為，可提供該等功能之任何構件等效於本文所展示之構件。

再者，本文陳述本發明之原理、態樣及實施例及其特定實例之所有陳述意欲涵蓋其結構等效物及功能等效物兩者。另外，希望此等等效物包含當前已知等效物及未來開發等效物(即，執行相同功能之 任何開發元件(無關於結構))兩者。

可透過使用專用硬體以及能夠與適當軟體一起執行軟體之硬體而提供圖中所展示之各種元件之功能。當由一處理器提供功能時，可由一單個專用處理器、一單個共用處理器或複數個個別處理器(其等之部分可被共用)提供功能。再者，術語「處理器」或「控制器」之明確使用不應被解釋為專指能夠執行軟體之硬體，而是可隱含地包含(但不限於)數位信號處理器(「DSP」)硬體、用於儲存軟體之唯讀記憶體(「ROM」)、隨機存取記憶體(「RAM」)及非揮發性儲存器。再者，本文陳述本發明之原理、態樣及實施例及其特定實例之所有陳述意欲涵蓋其結構等效物及功能等效物兩者。另外，希望此等等效物包含當前已知等效物及未來開發等效物(即，執行相同功能之任何開發元件(無關於結構))兩者。

因此，例如，熟習此項技術者應瞭解，本文所呈現之方塊圖表示體現本發明之原理之繪示性系統組件及/或電路之概念圖。類似地，應瞭解，任何流程表、流程圖、狀態轉變圖、偽碼及其類似物表示可實質上表示於電腦可讀媒體中且因此由一電腦或處理器(無論圖中是否明確展示此電腦或處理器)執行之各種程序。

此外，由於可在軟體中實施附圖中所描繪之組成系統組件及方法之部分，因此系統組件或程序功能區塊之間之實際連接可取決於程式化本發明所以之方式而不同。鑑於本文之教示，一般相關技術者將能夠考量本發明之此等及類似實施方案或組態。

本發明之實施例提供一種用於使視聽內容與慣性測量同步之方法、裝置及系統。根據本發明，在嵌入一相同行動器件中之一實施例中，提供視聽內容與自不同感測器獲得之慣性資料之自動(或半自動)同步。

圖1描繪根據本發明之一實施例之用於使視聽內容與慣性測量同 步之一系統之一高階方塊圖。圖1之系統繪示性地包括根據本發明之一實施例之一行動內容器件100(繪示為一平板電腦)。行動內容器件100包括統稱為慣性感測器110之一加速度計111、一陀螺儀112及一磁強計113。行動內容器件100進一步包含一攝影電話120、一記錄器130及一觸覺視聽內容同步器150。圖1之行動內容器件100之記錄器130繪示性地包括一感覺記錄器142及一媒體記錄器144。儘管在圖1之本發明之實施例中，行動內容器件100包括一加速度計111、一陀螺儀112及一磁強計113，但在本發明之替代實施例中，行動內容器件100可包含用於偵測運動之其他感測器。

圖2描繪根據本發明之一實施例之一觸覺視聽內容同步器150之一高階方塊圖。在圖2之實施例中，觸覺視聽內容同步器150繪示性地包括一處理器210及用於儲存控制程式/軟體常式、觸覺資訊及其類似物之一記憶體220。處理器210與習知支援電路230(諸如電力供應器、時脈電路、快取記憶體及其類似物以及有助於執行儲存於記憶體220中之軟體常式之電路)協作。因而，可考量在硬體(例如，作為與處理器210協作以執行各種步驟之電路)內實施本文所討論之程序步驟(作為軟體程序)之部分。觸覺視聽內容同步器150亦含有輸入-輸出電路240，其形成與處理裝置通信之各種功能元件之間之一介面。

儘管根據本發明將圖2之觸覺視聽內容同步器150描繪為經程式化以執行各種控制功能之一通用電腦，但可在(例如)作為一專用積體電路(ASIC)之硬體中實施本發明。因而，本文所描述之程序步驟意欲被廣義地解譯為由一處理器、硬體或其等之一組合執行之軟體等效執行。另外，儘管圖2之觸覺視聽內容同步器150被描繪為行動內容器件100之一整合組件，但根據本文所描述之本發明之概念及實施例之觸覺視聽內容同步器150之功能可呈一外部組件之形式。

返回參考圖1之系統100，媒體記錄器144自攝影機及麥克風擷取 視訊及音訊資料。在本發明之一實施例中，媒體記錄器144使用一MediaRecorder物件(例如Google API)來擷取分別來自攝影機及麥克風之視訊及音訊。感覺記錄器142自感測器110接收資料。在本發明之一實施例中，各感測器具有一感測器收聽器，其收聽感測器之資料之變化且觸發一回叫功能來取回資料。即，在本發明之一實施例中，一感測器收聽器包含由系統自動呼叫以通知一事件之一功能。例如，在一實施例中，一感測器收聽器與加速度計相關聯且用於取回資料。此資料可包含運動資料及一對應時間戳記。接著，由感覺記錄器142記錄該資料。

根據本發明之實施例，行動內容器件之一記錄服務(例如，在一實施例中，在觸覺視聽內容同步器150中)在幕後運行且收聽由感測器發送之資料之程式包。在本發明之一實施例中，當觸覺視聽內容同步器150感測到由慣性感測器發送之資料時，觸覺視聽內容同步器150致使由感覺記錄器142記錄此資料之記錄。每當接收且記錄一程式包時，來自發送該程式包之感測器之信號之記錄經檢查以通常藉由判定該信號之一對應峰值之位置及其發生之時間而判定該峰值之一時間戳記。在本發明之一實施例中，記錄服務經排定以在各時間間隔之後將接收資料寫入一檔案中且接著在接收新資料之前清空容區。此排定寫入使系統100能夠避免高記憶體消耗。

在本發明之一實施例中，感覺記錄器142之輸出係接著由觸覺視聽內容同步器150處理之檔案。根據本發明，在信號中產生一易於偵測圖案以使來自媒體記錄器144之視聽內容與來自感覺記錄器142之運動資料對準。在本發明之一實施例中，利用一使用者與行動內容器件100之一自然觸覺互動。更具體而言，當一使用者觸摸行動內容器件100以開始一記錄程序時(即，當一使用者按壓行動內容器件上之一開始記錄按鈕時)，產生一標記。即，在本發明之一實施例中，當啟動 應用程式時，攝影機開始記錄且起動慣性感測器，且當使用者點擊「開始記錄」按鈕時，開始具體記錄。一使用者與行動內容器件100之此無縫且自然之觸覺互動可在音軌以及(在一實施例中)加速度信號中感知且能夠產生待用於同步化之一易於偵測圖案。應注意，儘管將相對於一加速度信號而描述本發明之以下描述，但在本發明之替代實施例中，可實施其他運動信號(諸如來自陀螺儀112、磁強計113或任何其他運動感測器之一信號)，如下文將相對於加速度信號而描述。

圖3描繪根據本發明之一實施例之用於使用用於使視聽內容與慣性測量同步之一音訊信號及一加速度信號來標記一使用者與一行動內容器件之互動之上述序列之一圖片工作流程及所得信號。如圖3中所描繪，根據本發明之一應用程式指示一使用者點擊行動內容器件100之一螢幕以開始該應用程式。如圖3中所描繪，使用者點擊行動內容器件100之螢幕以開始應用程式且記錄一所得音訊信號及各自加速度計信號。

圖4描繪根據本發明之一替代實施例之用於使用用於使視聽內容與慣性測量同步之一音訊信號及一加速度信號來標記一使用者與行動內容器件之互動之一替代序列之一圖片工作流程及所得信號。在圖4之實施例中，僅在一有效記錄之前(即，僅在啟動攝影機及慣性感測器之前)啟動嵌入行動內容器件100中之一內建振動器。在圖4之實施例中，本發明之一應用程式指示行動內容器件100開始振動且記錄一所得音訊信號及各自加速度計信號，如圖4中所描繪。

在本發明之上述兩個實施例中，獲得待用於本發明之一同步化程序中之標記。在記錄音訊信號及加速度計信號之後，可開始本發明之同步化程序。在本發明之一實施例中，媒體內容之記錄音訊串流經提取及處理以找到由上述標記程序產生之峰值及其對應時間戳記。類似地，亦藉由簡單信號處理技術(即，具有穩固定限之峰值偵測)而獲 得加速度之對應峰值及其對應時間戳記。

在已獲得關於兩個峰值之資訊之後，本發明之一觸覺視聽內容同步器(諸如圖1之觸覺視聽內容同步器150)計算兩個時間戳記之間之差距且使加速度移位來與視聽內容對準以使視聽內容與慣性測量同步。例如，若在1秒處偵測到音訊信號之一峰值且在2秒處偵測到加速度信號之一峰值，則使加速度信號之時間戳記移位達-1秒以使加速度信號與音訊信號同步。因而，可使再現內容之所有此等慣性輸出移位達一類似時間量以使視聽內容與再現於行動內容器件上之內容之慣性輸出同步。在本發明之替代實施例中，音訊信號可經移位以代以與慣性信號同步。

圖5描繪根據本發明之一實施例之用於使視聽內容與慣性測量同步之一方法500之一流程圖。方法500開始於步驟502，在步驟502期間，在(例如)觸覺視聽內容同步器150處接收回應於一行動內容器件之一振動而記錄之一音訊信號及一對應慣性信號。接著，方法500可前進至504。

在步驟504中，該記錄音訊信號經處理以通常藉由判定該信號之一對應峰值之位置及其發生之時間而判定該峰值之一時間戳記。接著，方法500可前進至步驟506。

在步驟506中，該記錄慣性測量經處理以判定該信號之一對應峰值之一時間戳記。接著，方法500可前進至步驟508。

在步驟508中，判定該記錄音訊信號之該時間戳記與該記錄慣性測量之該時間戳記之間之一時間距離。接著，方法500可前進至步驟510。

在步驟510中，使該行動內容器件之慣性輸出移位達等於該記錄音訊信號之該時間戳記與該記錄慣性測量之該時間戳記之間之該判定時間距離的一時間量以使視聽內容與再現於該行動內容器件上之內容 之慣性輸出同步。接著，可退出方法500。

本描述繪示本發明之實施例。因此，應瞭解，熟習此項技術者將能夠設想本文未明確描述或展示但體現本發明且包含於其範疇內之各種配置。即，在已描述用於使視聽內容與再現於一行動內容器件上之內容之慣性輸出同步之一方法及裝置之各種實施例(其意欲具繪示性而非限制性)之後，應注意，熟習此項技術者可依據上文教示而作出修改及變動。因此，應瞭解，可在本發明之範疇內對所揭示之本發明之特定實施例作出改變。儘管上文係針對本發明之各種實施例，但可在不脫離本發明之基本範疇之情況下設想本發明之其他及進一步實施例。

100‧‧‧行動內容器件/系統

110‧‧‧慣性感測器

111‧‧‧加速度計

112‧‧‧陀螺儀

113‧‧‧磁強計

120‧‧‧攝影電話

130‧‧‧記錄器

142‧‧‧感覺記錄器

144‧‧‧媒體記錄器

150‧‧‧觸覺視聽內容同步器

Claims (24)

1. 一種用於使視聽內容與一行動內容器件上之慣性測量同步之方法，其包括：回應於該行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號；處理該記錄音訊信號以判定該音訊信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該慣性信號之一對應峰值之一時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。
2. 如請求項1之方法，其包括：致使該行動內容器件振動。
3. 如請求項1之方法，其中該慣性信號包括一加速度信號。
4. 如請求項1之方法，其中該慣性信號包括來自一陀螺儀之一信號。
5. 如請求項1之方法，其中該慣性信號包括來自一磁強計之一信號。
6. 如請求項1之方法，其中將該慣性信號記錄於一檔案中且接著在接收一新慣性信號之前清空該檔案。
7. 如請求項1之方法，其中藉由一使用者觸摸該行動內容器件而致使該振動以開始一記錄程序。
8. 一種用於使視聽內容與一行動內容器件上之慣性測量同步之裝置，其包括：一記憶體，其用於儲存程式常式、音訊信號資料及慣性信號資料之至少一者；及一處理器，其用於執行該等程式常式；該處理器經組態以：回應於該行動內容器件之一振動而接收由該振動產生之一記錄音訊信號及一對應記錄慣性信號；處理該記錄音訊信號以判定該音訊信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該慣性信號之一對應峰值之一時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。
9. 如請求項8之裝置，其中該裝置包括該行動內容器件之一整合組件。
10. 如請求項8之裝置，其中該處理器進一步經組態以致使該行動內容器件振動。
11. 如請求項8之裝置，其中該慣性信號包括一加速度信號。
12. 如請求項8之裝置，其中該慣性信號包括來自一陀螺儀之一信號。
13. 如請求項8之裝置，其中該慣性信號包括來自一磁強計之一信號。
14. 如請求項8之裝置，其中將該慣性信號記錄於一檔案中且接著在接收一新慣性信號之前清空該檔案。
15. 如請求項8之裝置，其中藉由一使用者觸摸該行動內容器件而致使該振動以開始一記錄程序。
16. 如請求項8之裝置，其中將該記錄音訊信號自一音訊記錄器傳送至該裝置，該音訊記錄器經組態以回應於該行動內容器件之一振動而記錄一音訊信號，且其中將該記錄慣性信號自一慣性信號記錄器傳送至該裝置，該慣性信號記錄器經組態以回應於該行動內容器件之該振動而記錄一對應慣性信號。
17. 一種用於使視聽內容與一行動內容器件上之慣性測量同步之系統，其包括：一振動器，其經組態以使該行動內容器件振動；一音訊記錄器，其經組態以回應於該行動內容器件之一振動而記錄一音訊信號；一慣性信號記錄器，其經組態以回應於該行動內容器件之該振動而記錄一對應慣性信號；及一裝置，其包括用於儲存程式常式、音訊信號資料及慣性信號資料之至少一者之一記憶體及用於執行該等程式常式之一處理器；該裝置經組態以：回應於該行動內容器件之一振動而自該音訊記錄器接收一記錄音訊信號且自該慣性信號記錄器接收一對應記錄慣性信號；處理該記錄音訊信號以判定該音訊信號之一對應峰值之一時間戳記；處理該記錄慣性信號以判定該慣性信號之一對應峰值之一 時間戳記；判定該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之一時間距離；及使再現於該行動內容器件上之內容之慣性信號移位達等於該記錄音訊信號之該時間戳記與該記錄慣性信號之該時間戳記之間之該判定時間距離的一時間量。
18. 如請求項17之系統，其中該系統包括由一平板電腦、一行動電話、一電腦及一顯示器件組成之一群組之至少一者。
19. 如請求項17之系統，其中該振動器包括嵌入該行動內容器件中之一內建振動器，且僅在記錄該音訊信號且記錄該對應慣性信號之前自動啟動該振動器。
20. 如請求項17之系統，其中該處理器進一步經組態以使用該振動器來致使該行動內容器件振動。
21. 如請求項17之系統，其中該慣性信號包括一加速度信號。
22. 如請求項17之系統，其中該慣性信號包括來自一陀螺儀之一信號。
23. 如請求項17之系統，其中該慣性信號包括來自一磁強計之一信號。
24. 如請求項17之系統，其中藉由一使用者觸摸該行動內容器件而致使該振動以開始一記錄程序。