TW202343992A

TW202343992A - 為光學相機通訊校正幀的方法和電子裝置

Info

Publication number: TW202343992A
Application number: TW111116268A
Authority: TW
Inventors: 丁筱雯
Original assignee: 緯創資通股份有限公司
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2023-11-01
Also published as: JP7494263B2; CN117014072A; JP2023164245A; US11758286B1

Abstract

本案提供一種為光學相機通訊校正幀的方法和電子裝置。方法包含以下步驟。擷取光訊號。將光訊號輸入至第一機器學習模型以取得缺失時間戳記。將光訊號以及缺失時間戳記輸入至第二機器學習模型以取得對應於缺失時間戳記的第一補幀。輸出第一補幀。

Description

為光學相機通訊校正幀的方法和電子裝置

本發明是有關於一種光學通訊技術，且特別是有關於一種為光學相機通訊（optical camera communication，OCC）校正幀的方法和電子裝置。

物聯網（Internet of Things，IoT）設備使用各種無線通訊技術進行通訊，這些技術分別具有不同的優缺點和適用場景。隨著IoT設備的數量快速增加，具有高頻寬的光通訊技術成為IoT設備通訊的可行方案。OCC技術是一種完全基於軟體的解決方案，其可與現有的基礎設施（例如：商用相機或照明設備）的兼容性極佳。因此，OCC技術是極具潛力的IoT設備通訊的解決方案。OCC系統的接收端可利用相機擷取發射端（例如：IoT設備）發射的光訊號，以取得發射端所要傳輸的資料。

為了提高資料傳輸的效率，OCC系統中的發射端可利用較高的頻率來傳送光訊號。然而，相機的取樣幀率可能是浮動的或隨著時間而產生偏差。當相機的取樣幀率改變而導致相機與發射端之間出現異步時，接收端將無法接收到完整的光訊號，進而導致所接收到的光訊號出現缺失幀。因此，如何解決OCC系統容易出現缺失幀的問題，是本領域人員致力的目標之一。

本發明提供一種為光學相機通訊校正幀的方法和電子裝置，可解決由相機取樣幀率浮動造成的通訊不同步現象。

本發明的一實施例揭露一種為光學相機通訊校正幀的電子裝置，包含處理器、儲存媒體、收發器以及擷取器。擷取器用以擷取光訊號。儲存媒體用以儲存包含第一機器學習模型以及第二機器學習模型的多個機器學習模型。處理器耦接儲存媒體、收發器以及擷取器，其中處理器經配置以執行：將光訊號輸入至第一機器學習模型以取得缺失時間戳記；將光訊號以及缺失時間戳記輸入至第二機器學習模型以取得對應於缺失時間戳記的第一補幀；以及通過收發器輸出第一補幀。

本發明的一實施揭露一種為光學相機通訊校正幀的方法，包含：擷取光訊號；將光訊號輸入至第一機器學習模型以取得缺失時間戳記；將光訊號以及缺失時間戳記輸入至第二機器學習模型以取得對應於缺失時間戳記的第一補幀；以及輸出第一補幀。

基於上述，本發明的電子裝置可基於機器學習演算法預測IoT設備的光訊號是否存在缺失幀，並且在光訊號存在缺失幀時為光訊號進行補幀。如此，可避免光訊號因相機與IoT設備之間的異步問題而出現缺失。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1根據本發明的一實施例繪示一種為光學相機通訊校正幀（frame）的電子裝置100的示意圖。電子裝置100可包含處理器110、儲存媒體120、收發器130以及擷取器140。電子裝置100可接收外部設備發射出的光訊號，並且為光訊號校正缺失幀，其中外部設備例如是機上盒、遙控器或無線存取點等具有光源的IoT設備。

處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120、收發器130以及擷取器140，並且存取和執行儲存於儲存媒體120中的多個模組和各種應用程式。

儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。儲存媒體120可儲存用於分別為不同種類的外部設備校正幀的多個機器學習模型集合。

在一實施例中，儲存媒體120可儲存包含機器學習模型11、機器學習模型12以及機器學習模型13的機器學習模型集合10以及包含機器學習模型21、機器學習模型22以及機器學習模型23的機器學習模型集合20，但本發明並不限制儲存媒體120中的機器學習模型集合的數量。舉例來說，儲存媒體120可儲存N個機器學習模型集合，其中N為任意的正整數。機器學習模型集合10和機器學習模型集合20分別用於為不同種類的外部設備的光訊號校正幀。舉例來說，若機器學習模型集合10用於為機上盒發出的光訊號校正幀，則機器學習模型集合20用於為不同於機上盒的其他外部設備（例如：遙控器）發出的光訊號校正幀。

收發器130以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。

擷取器140可以是相機或攝影裝置，用以擷取影像（例如：光訊號的幀）。擷取器140可包含互補式金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）感測器或感光耦合元件（charge coupled device，CCD）感測器等影像感測器。

圖2根據本發明的一實施例繪示取得用於訓練機器學習模型的訓練資料的示意圖。假設外部設備200受控於控制器300以發射光訊號。為了訓練用於為外部設備200的光訊號校正幀的機器學習模型集合10，電子裝置100的處理器110可通過收發器130自控制器300接收包含多個歷史時間戳記的歷史控制信令x，並可通過擷取器140自外部設備200擷取對應於歷史控制信令的歷史光訊號y。歷史光訊號y可包含分別對應於多個歷史時間戳記的多個歷史幀。

在一實施例中，處理器110可根據歷史控制信令x中與外部設備200相關的資訊判斷歷史控制信令x與外部設備200及其發射的歷史光訊號y相匹配。舉例來說，歷史控制信令x可包含關聯於外部設備200的產品識別碼（product ID，PID）、製造商識別碼（manufacturer ID，MID）、唯一識別碼（unique identifier，UID）或通用唯一識別碼（universally unique identifier，UUID）等資訊。處理器110可根據所述資訊判斷擷取到的歷史光訊號y對應於外部設備200。

在取得包含多個歷史時間戳記的歷史控制信令x以及包含多個歷史幀的歷史光訊號y後，處理器110可根據歷史控制信令x和歷史光訊y號訓練機器學習模型集合10。具體來說，處理器110可根據歷史控制信令x中的多個歷史時間戳記訓練機器學習模型11。機器學習模型11例如是分類（Classification）模型或叢集（Cluster）模型，但本發明並不限制用於訓練機器學習模型11的機器學習演算法。訓練好的機器學習模型11可用於預測光訊號中的不同時間戳記（或不同幀）之間的時間間隔。

另一方面，處理器110可根據歷史控制信令x中的多個歷史時間戳記和歷史光訊號y中的多個歷史幀訓練機器學習模型12或機器學習模型13。機器學習模型12或機器學習模型13例如是遞歸神經網路模型（recurrent neural network，RNN）或生成網路模型（generative model），但本發明並不限制用於訓練機器學習模型12或機器學習模型13的機器學習演算法。訓練好的機器學習模型12或機器學習模型13可根據先前取樣到的一或多個幀預測即將產生的幀。

在完成機器學習模型集合10的訓練後，處理器110可根據機器學習模型集合10為外部設備200發出的光訊號產生補幀（complement frame），以避免因擷取器140的取樣幀率浮動或因擷取器140與外部設備200之間的異步所造成的光訊號失真。圖3根據本發明的一實施例繪示產生補幀的流程圖。圖3的流程可由如圖1所示的電子裝置100實施。

在步驟S301中，處理器110可通過擷取器140擷取外部設備200發射的光訊號。光訊號可包含多個時間戳記以及分別對應於多個時間戳記的多個幀。擷取器140所擷取到的光訊號可能缺失部分資訊。

在步驟S302中，處理器110可從儲存媒體120中的多個機器學習模型集合中，選出用於處理光訊號的機器學習模型集合10。

在一實施例中，處理器110可通過擷取器140擷取發出光訊號的外部設備200的影像，並且基於物件偵測（object detection）演算法而根據影像辨識外部設備200以產生辨識結果。舉例來說，辨識結果可以基於外部設備200的位置及/或大小而產生，但不以此為限，藉此處理器110可根據辨識結果判斷外部設備200為機上盒。處理器110可進一步根據辨識結果產生對應於外部設備200的感興趣區域ROI（Region of interest）。圖4根據本發明的一實施例繪示感興趣區域ROI的示意圖。在處理器110擷取包含外部設備200的影像400後，處理器110可對影像400執行物件辨識以產生對應於外部設備200的感興趣區域ROI。如此，當接收到來自感興趣區域ROI的光訊號時，處理器110可判斷所述光訊號來自於外部設備200。據此，處理器110可從儲存媒體120中的多個機器學習模型集合中，選出用於處理一或多個外部設備200（例如：機上盒、遙控器、數據機）的光訊號的機器學習模型集合10。

在一實施例中，由外部設備200發出的光訊號可包含光學碼字。處理器110可根據光學碼字辨識外部設備200。光訊號可包含特定燈號，例如燈號的顏色可以是紅色、藍色、綠色或黃色，或著是燈號亮滅的閃爍節奏，如快閃燈2次或慢閃燈3次，但不以此為限。處理器110可根據特定燈號判斷一或多個外部設備為機上盒、遙控器及/或數據機等。

在步驟S303中，處理器110可將光訊號輸入至機器學習模型11以取得預估時間戳記。圖5根據本發明的一實施例繪示缺失時間戳記以及缺失幀的示意圖。假設光訊號包含對應於時間戳記t1的幀c(t1)、對應於時間戳記t2的幀c(t2)以及對應於時間戳記t3的幀c(t3)。處理器110可將光訊號中的一或多個時間戳記輸入至機器學習模型11，其中一或多個時間戳記可包含時間戳記t2及/或時間戳記t2之前的時間戳記（例如：時間戳記t1）。機器學習模型11可根據輸入的資訊產生幀c(t2)與次一幀c(t2+∆T)之間的預估時間間隔∆T，每秒幀數可以是1000FPS（Frames per second），但不以此為限。處理器110可根據預估時間間隔∆T計算對應於次一幀c(t2+∆T)的預估時間戳記(t2+∆T)。

在步驟S304中，處理器110可根據預估時間戳記(t2+∆T)判斷次一幀c(t2+∆T)是否為缺失幀c(tm)。若次一幀c(t2+∆T)為缺失幀c(tm)，則進入步驟S305。若次一幀c(t2+∆T)並非為缺失幀c(tm)，則進入步驟S301。響應於次一幀c(t2+∆T)為缺失幀c(tm)，處理器110可判斷對應於次一幀c(t2+∆T)的預估時間戳記(t2+∆T)為缺失時間戳記tm。

在一實施例中，處理器110可根據預估時間戳記(t2+∆T)偵測光訊號以取得次一幀c(t2+∆T)的像素值，並可根據像素值判斷次一幀c(t2+∆T)是否為缺失幀c(tm)。方程式(1)為判斷次一幀c(t2+∆T)是否為缺失幀c(tm)的方法的一種範例，其中F[c(t2+∆T)]為次一幀c(t2+∆T)的像素值。若F[c(t2+∆T)]大於或等於閾值H1，代表次一幀c(t2+∆T)清楚地顯示代表「1」的光訊號，故處理器110可判斷次一幀c(t2+∆T)對應於訊號「1」。若F[c(t2+∆T)]小於或等於閾值H2（H2＜H1），代表次一幀c(t2+∆T)清楚地顯示代表「0」的光訊號，故處理器110可判斷次一幀c(t2+∆T)對應於訊號「0」。若F[c(t2+∆T)]小於閾值H1且大於閾值H2，代表次一幀c(t2+∆T)並未清楚地顯示光訊號，故處理器110可判斷次一幀c(t2+∆T)為缺失幀c(tm)。 …(1)

處理器110可重複地執行步驟S305，直到執行的次數到達預設迭代次數K為止，其中K為任意的正整數。在步驟S305中，處理器110可將光訊號和缺失時間戳記tm輸入至機器學習模型12以取得對應於缺失時間戳記tm的補幀，並可將光訊號和缺失時間戳記tm輸入至機器學習模型13以取得對應於缺失時間戳記tm的補幀，其中k代表迭代索引。換句話說，處理器110可取得二個補幀。舉例來說，若處理器110為初次執行步驟S305，則機器學習模型12和機器學習模型13所產生的二個補幀可分別為補幀以及補幀。若處理器110為最後一次執行步驟S305，則機器學習模型12和機器學習模型13所產生的二個補幀可分別為補幀以及補幀。

在步驟S306中，處理器110可判斷步驟S305的執行次數是否達到預設迭代次數K。若執行次數已經達到預設迭代次數K，則進入步驟S307。若執行次數尚未達到預設迭代次數K，則進入步驟S305。

在步驟S307中，處理器110可計算補幀以及補幀之間的相似度，從而產生分別對應於K次迭代的K個相似度[s(1) s(2) … s(K)]。處理器110可根據K個相似度以從多個補幀中選出最佳的補幀以作為受選補幀。舉例來說，處理器110可響應於相似度s(i)為K個相似度[s(1) s(2) … s(K)]中的最大相似度而選擇補幀（或補幀）。補幀與之間的相似度較大代表機器學習模型12和機器學習模型13所產生的補幀相似，故較具有可信度。

在步驟S308中，處理器110可通過收發器130輸出受選的補幀（或補幀）。若把受選的補幀加入至擷取器140所擷取的失真的光訊號中，則可將失真的光訊號還原成完整的光訊號。

圖6根據本發明的一實施例繪示一種為光學相機通訊校正幀的方法的流程圖，其中所述方法可由如圖1所示的電子裝置100實施。在步驟S601中，擷取光訊號。在步驟S602中，將光訊號輸入至第一機器學習模型以取得缺失時間戳記。在步驟S603中，將光訊號以及缺失時間戳記輸入至第二機器學習模型以取得對應於缺失時間戳記的第一補幀。在步驟S604中，輸出第一補幀。

綜上所述，本發明的電子裝置可通過擷取器擷取由IoT設備發出的光訊號，並可利用機器學習技術判斷光訊號是否受IoT設備與相機不同步的影響而缺失特定的幀。若電子裝置判斷光訊號存在缺失幀，電子裝置可利用機器學習技術產生補幀以校正缺失幀。相較於傳統幀插值技術（例如：幀平均、運動估計或光流法等技術），本發明可適應燈號變換快速的OCC系統，避免因異步問題丟失光訊號中的重要資訊。

10、20:機器學習模型集合 100:電子裝置 110:處理器 11、12、13、21、22、23:機器學習模型 120:儲存媒體 130:收發器 140:擷取器 200:外部設備 300:控制器 400:影像 c(t1)、c(t2)、c(t3):幀 c(tm):缺失幀 ROI:感興趣區域 S301、S302、S303、S304、S305、S306、S307、S308、S601、S602、S603、S604:步驟 t1、t2、t3:時間戳記 tm:缺失時間戳記 x:歷史控制信令 y:歷史光訊號 ∆T:預估時間間隔

圖1根據本發明的一實施例繪示一種為光學相機通訊校正幀的電子裝置的示意圖。圖2根據本發明的一實施例繪示取得用於訓練機器學習模型的訓練資料的示意圖。圖3根據本發明的一實施例繪示產生補幀的流程圖。圖4根據本發明的一實施例繪示感興趣區域的示意圖。圖5根據本發明的一實施例繪示缺失時間戳記以及缺失幀的示意圖。圖6根據本發明的一實施例繪示一種為光學相機通訊校正幀的方法的流程圖。

S601、S602、S603、S604:步驟

Claims

一種為光學相機通訊校正幀的電子裝置，包括：一收發器；一擷取器，用以擷取一光訊號；一儲存媒體，用以儲存包括一第一機器學習模型以及一第二機器學習模型的多個機器學習模型；以及一處理器，耦接所述儲存媒體、所述收發器以及所述擷取器，其中所述處理器經配置以執行：將所述光訊號輸入至所述第一機器學習模型以取得一缺失時間戳記；將所述光訊號以及所述缺失時間戳記輸入至所述第二機器學習模型以取得對應於所述缺失時間戳記的一第一補幀；以及通過所述收發器輸出所述第一補幀。
如請求項1所述的電子裝置，其中所述多個機器學習模型更包括一第三機器學習模型，其中所述處理器更經配置以執行：將所述光訊號以及所述缺失時間戳記輸入至所述第三機器學習模型以取得對應於所述缺失時間戳記的一第二補幀；以及根據所述第一補幀與所述第二補幀之間的一第一相似度決定輸出所述第一補幀。
如請求項2所述的電子裝置，其中所述處理器更經配置以執行：再次將所述光訊號以及所述缺失時間戳記輸入至所述第二機器學習模型以取得對應於所述缺失時間戳記的一第三補幀；再次將所述光訊號以及所述缺失時間戳記輸入至所述第三機器學習模型以取得對應於所述缺失時間戳記的一第四補幀；以及響應於所述第一相似度大於所述第三補幀與所述第四補幀之間的一第二相似度，從所述第一補幀和所述第三補幀中選擇所述第一補幀以輸出所述第一補幀。
如請求項1所述的電子裝置，其中所述處理器更經配置以執行：通過所述擷取器辨識發射所述光訊號的一外部設備以產生一辨識結果；以及根據所述辨識結果從所述多個機器學習模型中選擇對應於所述外部設備的所述第一機器學習模型以及所述第二機器學習模型，以產生所述第一補幀。
如請求項4所述的電子裝置，其中所述光訊號包括一光學碼字，其中所述處理器根據所述光學碼字辨識所述外部設備。
如請求項4所述的電子裝置，其中所述擷取器擷取包括所述外部設備的一影像，其中所述處理器基於一物件偵測演算法而根據所述影像用以辨識所述外部設備。
如請求項4所述的電子裝置，其中所述處理器更經配置以執行：根據所述辨識結果產生一感興趣區域；以及響應於所述光訊號來自所述感興趣區域，判斷所述光訊號對應於所述外部設備。
如請求項1所述的電子裝置，其中所述光訊號包括對應於一第一時間戳記的一第一幀，其中所述處理器更經配置以執行：將所述光訊號輸入至所述第一機器學習模型以輸出所述第一幀與一次一幀之間的一預估時間間隔，並且根據所述第一時間戳記和所述預估時間間隔計算對應於所述次一幀的一預估時間戳記；根據所述預估時間戳記偵測所述光訊號以取得所述次一幀的一像素值，並且根據所述像素值判斷所述次一幀是否為一缺失幀；響應於判斷所述次一幀為所述缺失幀，判斷所述預估時間戳記為所述缺失時間戳記；以及將所述第一時間戳記、所述第一幀以及所述缺失時間戳記輸入至所述第二機器學習模型以輸出所述第一補幀。
如請求項1所述的電子裝置，其中所述處理器更經配置以執行：通過所述收發器接收一歷史控制信令，其中所述歷史控制信令包括多個歷史時間戳記；以及根據所述多個歷史時間戳記訓練所述第一機器學習模型。
如請求項1所述的電子裝置，其中所述處理器更經配置以執行：通過所述收發器接收一歷史控制信令，其中所述歷史控制信令包括多個歷史時間戳記；通過所述擷取器擷取對應於所述歷史控制信令的一歷史光訊號，其中所述歷史光訊號包括分別對應於多個歷史時間戳記的多個歷史幀；以及根據所述多個歷史時間戳記以及所述多個歷史幀訓練所述第二機器學習模型。
一種為光學相機通訊校正幀的方法，包括：擷取一光訊號；將所述光訊號輸入至一第一機器學習模型以取得一缺失時間戳記；將所述光訊號以及所述缺失時間戳記輸入至一第二機器學習模型以取得對應於所述缺失時間戳記的一第一補幀；以及輸出所述第一補幀。
如請求項11所述的方法，其中輸出所述第一補幀的步驟包括：將所述光訊號以及所述缺失時間戳記輸入至所述多個機器學習模型中的一第三機器學習模型以取得對應於所述缺失時間戳記的一第二補幀；以及根據所述第一補幀與所述第二補幀之間的一第一相似度決定輸出所述第一補幀。
如請求項12所述的方法，輸出所述第一補幀的步驟更包括：再次將所述光訊號以及所述缺失時間戳記輸入至所述第二機器學習模型以取得對應於所述缺失時間戳記的一第三補幀；再次將所述光訊號以及所述缺失時間戳記輸入至所述第三機器學習模型以取得對應於所述缺失時間戳記的一第四補幀；以及響應於所述第一相似度大於所述第三補幀與所述第四補幀之間的一第二相似度，從所述第一補幀和所述第三補幀中選擇所述第一補幀以輸出所述第一補幀。
如請求項11所述的方法，其中將所述光訊號以及所述缺失時間戳記輸入至所述第二機器學習模型以取得對應於所述缺失時間戳記的所述第一補幀的步驟包括：辨識發射所述光訊號的一外部設備以產生一辨識結果；以及根據所述辨識結果從所述多個機器學習模型中選擇對應於所述外部設備的所述第一機器學習模型以及所述第二機器學習模型，以產生所述第一補幀。
如請求項14所述的方法，其中辨識發射所述光訊號的所述外部設備以產生所述辨識結果的步驟包括：根據所述光訊號中的一光學碼字辨識所述外部設備。
如請求項14所述的方法，其中辨識發射所述光訊號的所述外部設備以產生所述辨識結果的步驟包括：擷取包括所述外部設備的一影像；以及基於一物件偵測演算法而根據所述影像用以辨識所述外部設備。
如請求項14所述的方法，其中辨識發射所述光訊號的所述外部設備以產生所述辨識結果的步驟包括：根據所述辨識結果產生一感興趣區域；以及響應於所述光訊號來自所述感興趣區域，判斷所述光訊號對應於所述外部設備。
如請求項11所述的方法，其中所述光訊號包括對應於一第一時間戳記的一第一幀，其中將所述光訊號輸入至所述第一機器學習模型以取得所述缺失時間戳記的步驟包括：將所述光訊號輸入至所述第一機器學習模型以輸出所述第一幀與一次一幀之間的一預估時間間隔，並且根據所述第一時間戳記和所述預估時間間隔計算對應於所述次一幀的一預估時間戳記；根據所述預估時間戳記偵測所述光訊號以取得所述次一幀的一像素值，並且根據所述像素值判斷所述次一幀是否為一缺失幀；以及響應於判斷所述次一幀為所述缺失幀，判斷所述預估時間戳記為所述缺失時間戳記，其中，將所述光訊號以及所述缺失時間戳記輸入至所述第二機器學習模型以取得對應於所述缺失時間戳記的所述第一補幀的步驟包括：將所述第一時間戳記、所述第一幀以及所述缺失時間戳記輸入至所述第二機器學習模型以輸出所述第一補幀。
如請求項11所述的方法，更包括：接收一歷史控制信令，其中所述歷史控制信令包括多個歷史時間戳記；以及根據所述多個歷史時間戳記訓練所述第一機器學習模型。
如請求項11所述的方法，更包括：接收一歷史控制信令，其中所述歷史控制信令包括多個歷史時間戳記；擷取對應於所述歷史控制信令的一歷史光訊號，其中所述歷史光訊號包括分別對應於多個歷史時間戳記的多個歷史幀；以及根據所述多個歷史時間戳記以及所述多個歷史幀訓練所述第二機器學習模型。