TWI537747B - 動作啟始之時間同步技術 - Google Patents

Description

動作啟始之時間同步技術 發明領域

本發明實施例一般係有關實施時間同步程序。特別是，本發明實施例係有關動作觸發之時間同步程序。

發明背景

來自多個數位相機之影像可一起編譯(例如，經由超級解析)來產生一較高品質的圖片、橫跨兩獨立相機來擷取一視訊影像對、或者從同時以若干相機拍攝之圖片產生一3D(三維度)模型。重新建構一給定場景，特別是若該擷取場景包括移動物件時，時間同步程序可用來確保來自相同時間實例的影像資料從每一相機拍攝。然而，實際上，不同相機典型並不共享相同的時間參考點，而每一相機具有一獨立且自發性振盪器。因此，組合圖片時除非可取得一網路式時間參考點，否則來自不同相機之時間戳記可能無用。

依據本發明之一實施例，係特地提出一種系統，其包含：用於檢測一第一行動設備之一移動的一感測器；用於響應於該第一行動設備之該移動而實施有關一第二行動設備之一時間同步程序的一同步模組，其中該時間同步程序係在該第一行動設備無網路基礎結構支援的情況下實施；以及用於擷取一影像並根據該時間同步程序將一時間戳記施加至該影像的一影像擷取模組。

圖式簡單說明

本發明之實施例的各種不同優點對業界熟於此技者而言，可藉由讀取下列說明書與後附申請專利範圍、以及藉由參考下列圖式會更加明顯，其中：第1圖是一根據一實施例之一時間同步環境的範例之方塊圖；第2圖是一根據一實施例之一示範時間同步程序的圖形；第3圖是一根據一實施例，一實施時間同步程序之方法的範例之流程圖；第4圖是一根據一實施例之一相機範例的方塊圖；第5圖是一根據一實施例之一影像重新建構的範例之圖形。

較佳實施例之詳細說明

本發明實施例可提供一裝置，其包括一用以檢測一第一行動設備之移動的感測器、以及一同步模組，其用以響應該第一行動設備之移動而實施有關一第二行動設備之一時間同步程序。該時間同步程序可在該第一行動設備無網路基礎結構的支援下實施。

本發明實施例亦包括一系統，其具有一用以檢測一第一行動設備之移動的感測器、以及一同步模組，其用以響應該第一行動設備之移動而實施一時間同步程序。該時間同步程序可在該第一行動設備無網路基礎結構的支援下實施。該系統亦可包括一影像擷取模組，其用於擷取一影像並根據該時間同步程序來將一時間戳記施加至該影像。

其他實施例可包括具有一組指令之一電腦可讀儲存媒體，若該等指令由一處理器執行時，可使一第一行動設備來檢測該第一行動設備之移動、以及用以響應該第一行動設備之移動而實施有關一第二行動設備之一時間同步程序。該時間同步程序可在該第一行動設備無網路基礎結構的支援下實施。

第1圖顯示一環境10，其中多個行動設備12(12a-12c)彼此間實施點對點時間同步程序14(例如，使用一點對點無線介面)而不接取一網路(例如，接取點、基地站、蜂巢式網路基礎結構)16或以其他方式實施共同的時間參考點。該行動設備12可包括下列元件或為其一部分，相機、行動網際網路設備(MID)、個人數位助理(PDA)、無線智慧型手機、媒體播放器、筆記型電腦、電子書讀取器、或其任何組合，其中該等個別設備12之內部時鐘18、20、22間的偏移知識是有益的。例如，於一影像(靜止或視訊)擷取應用的情況中，該等時鐘偏移可用來重新建構該行動設備12擷取之時間相依場景。

該繪示範例中，每一行動設備12包括一感測器24、26、28來以三維度檢測該行動設備12之移動。例如，該行動設備12b之檢測器26可包括一加速計，其中該行動設備12a之檢測器24可包括一迴轉儀或其他動作感測構件。該檢測之移動可與該設備12之一使用者搖動該裝置、一起輕敲兩個或更多該等設備12、等等相關聯來觸發一時間同步程序14。每一行動設備12可包括一同步模組30來用以響應檢測該移動而實施有關一或更多其他設備之一時間同步程序14。如上所述，該時間同步程序14可在該行動設備12無網路基礎結構的支援下實施。該時間同步程序14造成之該等時鐘偏移可局部儲存在每一行動設備12中以作為偏移資料32、34、36。

現來到第2圖，其顯示一計時圖38，其中一第一行動設備(“設備1”)用以響應該第一行動設備之移動而實施有關一第二行動設備(“設備2”)之一時間同步程序。該繪示範例中，該第一行動設備廣播該第二行動設備接收之一時間同步要求40。該時間同步要求40可包括一離開時間(“ToD”)戳記、以及若干其他參數。以下表格I提供該時間同步要求40之一訊框格式的一範例。

該訊框類型可識別該訊框是否為一同步要求、對一同步要求之一回應、等等，而該繪示範例中該發送器位址可指出該第一行動設備之位址。該位址可為一世界唯一的MAC(媒體接取控制)位址，其中該同步要求40發送之前，該第一行動設備可等待一隨機或偽隨機延遲時段逾時以減少來自多個設備之要求間碰撞的風險。此外，該接收器位址可為由該區域之其他設備監控的一廣播位址。若該區域有多個發送設備，則該對話符記可用來區別來自不同設備之時間同步要求訊框。該訊框發送時可施加該ToD戳記(例如，該隨機延遲時段逾時之後)，而該使用者親和名稱可為一使用者定義之第一行動設備(例如，麥可的相機)的識別符/字串。該使用者親和名稱可讓使用者更輕易判定是否從其他設備來接收時間同步要求。

根據接收該時間同步要求40，該第二行動設備可判定該時間同步要求40之到達時間(ToA)並根據該要求訊框中之發送器位址及/或對話符記來識別該時間同步要求40之來源。若該第二行動設備亦已檢測到局部移動，諸如一搖動及/或撞擊，則可產生對該時間同步要求40之一回應40並在一隨機延遲時段逾時之後發送。如上所述，該隨機延遲時段可被導入使得接收該相同的時間同步要求40之設備不需同時回應，而造成碰撞。該隨機延遲因此可根據一均勻分散來選擇(例如，[0,max_delay])。

該時間同步回應42可為識別該要求40之ToA以及該時間同步回應42之ToD的一單播訊框。以下表格II提供該時間同步回應42之一訊框格式的一範例。

為進一步濾出意外的時間同步回應42發送，該第一行動設備檢測之移動的一簽章可被編碼進入該時間同步要求40中，其中該第二行動設備可比較該接收之移動簽章與對應該第二行動設備檢測之移動的一局部產生之簽章。該同步回應42之發送可限制在兩個簽章於一定義的確定性準位內(例如，滿足一預定關係)時匹配的實例中。

該繪示之第一行動設備接收該同步回應42時，其可判定該回應42之ToA並計算該等兩設備之一時鐘偏移。該計算可實施如下，

例如，若該第一行動設備之局部時鐘讀取下午1:30而該第一行動設備之局部時鐘與該第二行動設備之時鐘間的偏移為+2分鐘，則該第一行動設備可判定該第二行動設備之時鐘為下午1:32。藉由使用該類方法，一設備可同時與多個設備同步而不需使用一網路中之一主時鐘。此外，因為該時間同步程序為分散，故該程序可比每一設備的還快以及更有效率以便複製其他設備之時鐘值。再者，因為現代時鐘可具有相當高準確性，故兩設備不需經常重新同步。例如，具有一時鐘準確性10 ppm之兩設備間的漂移至多每50秒偏1毫秒。因此，為維持一1毫秒準確性，該等兩設備可每50秒重新同步一次。

第3圖顯示一將一局部行動設備與一或更多其他行動設備同步的方法44。該方法44可以可執行軟體來加以執行，如儲存於，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可規劃ROM(PROM)、韌體、快取記憶體、等等之一記憶體的一機器或電腦可讀媒體中之一組邏輯/模組指令、可以使用諸如特殊應用積體電路(ASIC)、互補金氧半導體(CMOS)或電晶體-電晶體邏輯(TTL)技術、或其任何組合的電路技術之固定功能性硬體來加以執行。例如，可實現方法44中所示之操作的電腦程式碼可以一或更多程式語言的任何組合來撰寫，包括諸如爪哇、smalltalk語言、C++等等之一物件導向程式語言、以及習知的程序程式語言，諸如〝C〞程式語言或類似的程式語言。

處理方塊46可提供經由該設備之一使用者介面來接收使用者輸入。方塊48中，可透過一小型及/或簡單觸控螢幕、按鈕、麥克風、等等輸入之該使用者輸入可用來將該行動設備置於一移動判定模式中。因此，該行動設備能夠判定該使用者何時已賦能時間同步而不需持續監控該行動設備之移動。方塊50中若檢測到移動(例如，於一臨界範圍中之搖動、撞擊、輕敲、等等)，則方塊52中可作判定有關一時間同步要求是否已從另一行動設備接收。如上所述，該時間同步要求訊框可包括諸如(經由該局部行動設備之使用者介面輸出的)另一行動設備之位址、一廣播位址、一對話符記、一ToD戳記、另一行動設備之一使用者親和名稱、對應另一行動設備之移動的一移動簽章等等的資訊。

若已接收一時間同步要求，則繪示方塊54可根據諸如該發送器位址及/或該對話符記之該要求訊框中的資訊來識別該要求之來源(例如，另一行動設備)。方塊54亦可確認該等兩設備之移動簽章間匹配。此外，另一行動設備之使用者親和名稱以及接受或拒絕該同步要求(例如，“從麥可的相機接受同步要求？”)之選項可呈現至該局部行動設備之使用者。

方塊56可提供方塊58中一回應發送前強加一隨機延遲時段。如上所述，該回應訊框可包括諸如(經由另一行動設備之使用者介面輸出的)另一行動設備之位址、該局部行動設備之位址、該對話符記、一ToA戳記、一ToD戳記、該局部行動設備之一使用者親和名稱、以及對應該局部行動設備之移動的一移動簽章的資訊。因此，該發送之回應可使另一行動設備來計算該等兩行動設備間之時鐘偏移以及將該偏移資料儲存於其內部記憶體中。

該繪示方法44亦提供判定該局部行動設備之時鐘偏移。於是，方塊52中若未接收一時間同步要求，則方塊59提供等待一隨機延遲時段逾時，其中方塊60中可發送一時間同步要求。如上所述，該時間同步要求訊框可包括諸如(經由另一行動設備之使用者介面輸出的)該局部行動設備之位址、一廣播位址、一對話符記、一ToD戳記、該局部行動設備之一使用者親和名稱、對應該局部行動設備之移動的一移動簽章、等等的資訊。

方塊62中若一逾時發生之前檢測到對該要求的一回應，則繪示方塊64可確認該等兩設備之移動簽章匹配，並根據該回應來判定該時鐘偏移。如上所述，該時鐘偏移的判定可包含使用上述方程式(1)來計算。該方法44可針對多個行動設備來週期性重覆執行並將上述設備重新同步。

方塊62中若判定一逾時發生之後未接收到回應，則方塊61可作有關是否已達到一重試限制的判定。若是如此，該繪示方法44返回方塊50之移動判定。否則，如上所述，該設備等待一隨機時段之後，方塊60中一時間同步要求可重新發送。

第4圖顯示一行動設備之一範例，其中一相機66包括一影像擷取模組67、與可包括一或更多處理器核心(未顯示)之一處理器68，而每一核心功能齊全具有指令提取單元、指令解碼器、一階(L1)快取記憶體、執行單元、等等，並可執行一作業系統(OS)、設備驅動器以及各種不同其他的軟體應用程式。該處理器68亦可執行時間同步邏輯，可使該相機66用以響應該相機66之一移動(例如，搖動、撞擊、輕敲)而實施有關一局部時鐘76以及一或更多其他行動設備(例如，相機)之時鐘的時間同步。

於一範例中，該相機66之一使用者可經由一相當簡單的使用者介面(UI)74將該相機置於一移動判定模式中，其中該移動判定模式可使諸如一加速器或一迴轉儀之一動作感測器78來以三維度檢測該移動並產生該移動之一簽章。一無線收發器80可用來發送與接收往返其他行動設備之時間戳記同步要求/回應，其中該要求/回應可支援時鐘偏移的判定。該等時鐘偏移可局部儲存於該相機66之隨機存取記憶體(RAM)70、可規劃ROM(PROM)72、韌體、快取記憶體、等等。該時間同步邏輯亦可從該相機66之RAM 70、PROM 72、等等來擷取以便由該處理器68執行，以該處理器68或其他微處理器、或其任何組合之固定功能性硬體來加以執行。

第5圖顯示具有隨時間變化之內容的一場景82。該繪示範例中，該場景82之一第一影像(靜止或視訊)84由一第一相機擷取，而該場景82之一第二影像86由一第二相機擷取。若該等相機包括時間同步邏輯，諸如(第4圖)相機66之時間同步邏輯，則考量該等兩相機間之時鐘偏移的時間戳記(TS)88、90可施加至該等影像84、86，使得該時間相依場景可被重新建構。例如，該第一影像84之該時間戳記88亦可識別與該第二影像86相關聯之相機以及其有關與該第一影像84相關聯之相機的時鐘偏移。一類似方法可用於該第二影像86之該時間戳記90。該時間同步邏輯亦可用來產生超級解析度影像、3-D模型、等等。

實際上，一旦該等兩相機用以響應撞擊一起(或類似移動)而已經時間同步，則該第一相機可將一無線訊息送出至該第二相機，來指示該第二相機在未來時間瞬時T時拍照。該第二相機可以確認此計畫於時間瞬時T時拍照之一無線訊息來回應。根據於時間瞬時T時拍照，兩相機可以無線方式交換影像使得其每一相機可建立一3D結構。

本文說明之實施例可使用所有類型的半導體積體電路(“IC”)晶片來應用。該等IC晶片之範例包括但不侷限於處理器、控制器、晶片組構件、可規劃邏輯陣列(PLA)、記憶體晶片、網路晶片、等等。此外，該等某些圖式中，信號導線可以線段來代表。某些線段可較粗以指出更多組成的信號路徑，並具有一數字標記以指出若干組成的信號路徑，及/或於一或更多端點具有箭頭以指出主要的資訊流方向。然而，此不應以一限制方式來視之。而是，該類加入細節可連接一或更多示範實施例來加以使用以促進對一電路更易於了解。任何代表的信號線不論是否具有額外資訊，實際上其可包含在多方向行進並可以任何適當的信號類型方案來執行的一或更多信號，例如，可以不同成對、光纖線路、及/或單端線路來執行的數位或類比信號線。

本案雖已給定示範尺寸/模型/數值/範圍，但本發明之實施例並不侷限於此相同規格。當製造技術(例如，光刻)成熟一段時間後，可預期製造出較小尺寸的設備。此外，為了簡化說明與討論、以及為了避免對本發明之實施例的某些觀點造成混淆，該等圖形中連至IC晶片與其他構件之著名電源/接地連接可顯示或不顯示。再者，線路安排可以方塊圖型式來顯示以避免對本發明之實施例造成混淆，而另外有鑑於事實上有關該類方塊圖安排的執行之特性會高度依靠欲執行該實施例中的平台，亦即，該類特性應在業界熟於此技者的範圍中。其中可提出特定細節(例如，電路)來說明本發明之示範實施例，對業界熟於此技者而言應很明顯地本發明之實施例在不具有、或具有該等特定細節之變化型態的情況下仍可加以實作。該說明因此可視為舉例解說而非限制。

本文中該術語“耦合”可用來參照為該等討論之構件間、直接或間接的任何關係類型，並可應用在電氣、機械、流體、光學、電磁、電機或其他連接上。此外，本文中該等術語“第一”、“第二”、等等僅用在便於討論，而不帶有特別的時間或時序上之有效性，除非於文中其他地方特別指出。

從上述說明業界熟於此技者可體認本發明之實施例的廣泛技術可以各種不同的型式來執行。因此，在本發明之實施例已結合其特定範例來說明的情況下，本發明之實施例的真實範疇不應受限於此，因對業界熟於此技者而言，很明顯地根據該等圖式、說明書、以及下列申請專利範圍之研究其可作其他修改。

10．．．環境

12、12a-12c．．．行動設備

14．．．點對點時間同步程序

16．．．網路

18、20、22．．．內部時鐘

24、26、28．．．感測器

30．．．同步模組

32、34、36．．．偏移資料

38．．．計時圖

40．．．時間同步要求

42．．．時間同步回應

44．．．方法

46、48、50、52、54、56、58、59、60、61、62、64．．．方塊

66．．．相機

67．．．影像擷取模組

68．．．處理器

70．．．隨機存取記憶體

72．．．可規劃ROM

74．．．使用者介面

76．．．局部時鐘

78．．．動作感測器

80．．．無線收發器

82．．．場景

84．．．第一影像

86．．．第二影像

88、90．．．時間戳記

T．．．時間瞬時

ToA．．．到達時間

ToD．．．離開時間

第1圖是一根據一實施例之一時間同步環境的範例之方塊圖；

第2圖是一根據一實施例之一示範時間同步程序的圖形；

第3圖是一根據一實施例，一實施時間同步程序之方法的範例之流程圖；

第4圖是一根據一實施例之一相機範例的方塊圖；

第5圖是一根據一實施例之一影像重新建構的範例之圖形。

46、48、50、52、54、56、58、59、60、61、62、64．．．方塊

Claims (20)

1. 一種用於同步多個設備的系統，其包含：一感測器，用以檢測一第一行動設備之一移動；一同步模組，用以響應於該第一行動設備之該移動而實施有關一第二行動設備的一時間同步程序，其中該時間同步程序係在該第一行動設備無網路基礎結構支援的情況下實施，且其中當該移動被檢測到的時候，將於一延遲時段預期之後發送一時間同步要求及對該要求之一回應的其中一或多者；以及一影像擷取模組，用以擷取一影像，並根據該時間同步程序將一時間戳記施加至該影像。
2. 如申請專利範圍第1項之系統，其中該同步模組會執行下列步驟：在該延遲時段逾期之後發送該時間同步要求；從該第二行動設備接收對該時間同步要求的該回應；以及根據該回應而判定在該第一行動設備與該第二行動設備之間的一時鐘偏移。
3. 如申請專利範圍第2項之系統，其中該時間同步要求至少部分包括有對應於該第一行動設備之該移動的一移動簽章。
4. 如申請專利範圍第1項之系統，其中該同步模組會執行下列步驟：從該第二行動設備接收該時間同步要求；以及 在該延遲時段逾期之後發送對該時間同步要求的該回應。
5. 如申請專利範圍第4項之系統，其中對該時間同步要求之該回應至少部分包括有對應於該第一行動設備之該移動的一第一移動簽章，該時間同步要求包括有對應於該第二行動設備之一移動的一第二移動簽章，並且該同步程序係在當該第一移動簽章與該第二移動簽章匹配時發送該回應。
6. 如申請專利範圍第1項之系統，其進一步包含有用於接收一使用者輸入的一使用者介面，該同步模組會響應於該使用者輸入而將該第一行動設備置於一移動判定模式中。
7. 一種用於同步多個設備的裝置，其包含：一同步模組，用以響應於檢測得的一第一行動設備之一移動而實施有關一第二行動設備的一時間同步程序，其中該時間同步程序係在該第一行動設備無網路基礎結構支援的情況下實施，且其中當該移動被檢測到的時候，將於一延遲時段預期之後發送一時間同步要求及對該要求之一回應的其中一或多者。
8. 如申請專利範圍第7項之裝置，其中該同步模組會執行下列步驟：在一隨機延遲時段逾期之後發送該時間同步要求；從該第二行動設備接收對該時間同步要求的該回應；以及 根據該回應而判定在該第一行動設備與該第二行動設備之間的一時鐘偏移。
9. 如申請專利範圍第8項之裝置，其中該時間同步要求至少部分包括有對應於該第一行動設備之該移動的一移動簽章。
10. 如申請專利範圍第7項之裝置，其中該同步模組會執行下列步驟：從該第二行動設備接收該時間同步要求；以及在該延遲時段逾期之後發送對該時間同步要求的該回應。
11. 如申請專利範圍第10項之裝置，其中對該時間同步要求之該回應至少部分包括有對應於該第一行動設備之該移動的一第一移動簽章。
12. 如申請專利範圍第11項之裝置，其中該時間同步要求包括有對應於該第二行動設備之一移動的一第二移動簽章，並且該同步模組係在當該第一移動簽章與該第二移動簽章匹配時發送該回應。
13. 如申請專利範圍第7項之裝置，其進一步包括有用於接收一使用者輸入的一使用者介面，該同步模組會響應於該使用者輸入而將該第一行動設備置於一移動判定模式中。
14. 一種非暫時性電腦可讀儲存媒體，其包含一組數個指令，該等指令在被一處理器執行時會使一第一行動設備執行下列步驟： 檢測該第一行動設備之一移動；以及響應於該第一行動設備之該移動而實施有關一第二行動設備的一時間同步程序，其中該時間同步程序係在該第一行動設備無網路基礎結構支援的情況下實施，且其中當該移動被檢測到的時候，將於一延遲時段預期之後發送一時間同步要求及對該要求之一回應的其中一或多者。
15. 如申請專利範圍第14項之電腦可讀儲存媒體，其中該等指令在被執行時會使該第一行動設備執行下列步驟：在該延遲時段逾期之後發送該時間同步要求；從該第二行動設備接收對該時間同步要求的該回應；以及根據該回應而判定在該第一行動設備與該第二行動設備之間的一時鐘偏移。
16. 如申請專利範圍第15項之電腦可讀儲存媒體，其中該時間同步要求至少部分包括有對應於該第一行動設備之該移動的一移動簽章。
17. 如申請專利範圍第14項之電腦可讀儲存媒體，其中該等指令在被執行時會使該第一行動設備執行下列步驟：從該第二行動設備接收該時間同步要求；以及在該延遲時段逾期之後發送對該時間同步要求的該回應。
18. 如申請專利範圍第17項之電腦可讀儲存媒體，其中對該時間同步要求之該回應至少部分包括有對應於該第一 行動設備之該移動的一第一移動簽章。
19. 如申請專利範圍第18項之電腦可讀儲存媒體，其中該時間同步要求包括有對應於該第二行動設備之一移動的一第二移動簽章，並且該等指令在被執行時會使該第一行動設備在當該第一移動簽章與該第二移動簽章匹配時發送該回應。
20. 如申請專利範圍第14項之電腦可讀儲存媒體，其中該等指令被執行時會響應於一使用者輸入而將該第一行動設備置於一移動判定模式中。