TWI780644B - 基於影像的資訊傳遞系統及其方法 - Google Patents

Abstract

一種基於影像的資訊傳遞方法適用於具有發送端及接收端的視訊會議系統。所述方法包括：發送端將輸入資訊轉換為多個編碼像素，發送端重疊這些編碼像素及輸入影像以產生合成影像，發送端發送合成影像至接收端，接收端依據合成影像執行解碼程序以取得這些編碼像素，以及接收端將這些編碼像素轉換為輸入資訊。

Description

基於影像的資訊傳遞系統及其方法

本發明關聯於視訊會議，特別是一種基於影像的資訊傳遞的系統及其方法。

視訊會議是利用通訊網路，讓相隔兩地以上的與會者可透過顯示裝置看到彼此對方並一起開會。

在現有的視訊會議系統中，傳遞會議影像以外的資訊大致可分為兩種方式：第一種方式為修改既有的通訊協定，藉此夾帶所需傳遞的會議資訊。然而，這種方式未必相容於舊型視訊會議裝置或尚未更新韌體的視訊會議裝置。第二種方式為另外開啟一個用以傳遞會議資訊的傳輸通道。然而，這種方式需消耗系統效能維持傳輸通道，同時也增加整體傳輸頻寬。

有鑑於此，本發明提出一種基於影像的資訊傳遞方法及視訊會議系統。

依據本發明一實施例的一種基於影像的資訊傳遞方法包括：以一發送端將一輸入資訊轉換為多個編碼像素；以該發送端重疊該些編碼像素及一 輸入影像以產生一合成影像；以該發送端發送該合成影像至該接收端；以一接收端依據該合成影像執行一解碼程序以取得該些編碼像素；以及以該接收端將該些編碼像素轉換為該輸入資訊。

依據本發明一實施例的一種基於影像的資訊傳遞系統，包括：發送端以及接收端。發送端包括：第一影像處理器以及第一通訊電路。第一影像處理器用於將輸入資訊轉換為多個編碼像素，並重疊這些編碼像素及輸入影像以產生合成影像。第一通訊電路，電性連接第一影像處理器並用於發送合成影像。接收端包括第二通訊電路以及第二影像處理器。第二通訊電路電性連接第一通訊電路以接收合成影像。第二影像處理器電性連接第一通訊電路並用於依據合成影像執行解碼程序以取得這些編碼像素，並將這些解碼像素轉換為輸入資訊。

依據本發明一實施例的一種基於影像的資訊傳遞系統包括：發送端以及接收端。發送端包括第一命令中心、顏色編碼器、重疊編碼器及第一通訊電路。第一命令中心用於接收輸入資訊並產生第一通知訊號，且接收關聯於輸入資訊的多個編碼像素並產生第二通知訊號。顏色編碼器電性連接第一命令中心。顏色編碼器依據第一通知訊號及輸入資訊產生這些編碼像素。重疊編碼器電性連接第一命令中心。重疊編碼器依據第二通知訊號、這些編碼像素及輸入影像產生合成影像。第一通訊電路用於將合成影像轉換為網路封包並發送網路封包。接收端通訊連接發送端。接收端包括第二通訊電路、顏色解碼器及第二命令中心。第二通訊電路用於接收網路封包並將網路封包轉換為合成影像。顏色解碼器從合成影像中尋找這些編碼像素，並將這些編碼像素轉換為輸入資訊。第二命令中心電性連接第二通訊電路及顏色解碼器。第二命令中心用於控制顯示裝置播放合成影像，並依據輸入資訊執行視訊操作或音訊操作。

綜上所述，本發明提出的基於影像的資訊傳遞系統及其方法不需透過修改原本視訊會議使用的通訊協定，因此可避免在協定中添加額外資訊可能導致的系統穩定度降低。本發明也不需要另外創建傳輸通道來傳遞會議資訊，因此可提高系統相容性並節省傳輸頻寬。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

100:發送端

10:第一影像處理器

12:第一命令中心

14:顏色編碼器

18:影像編碼器

16:第一重疊編碼器

30:第一通訊電路

300:接收端

20:第二影像處理器

22:第二命令中心

24:顏色解碼器

26:影像解碼器

28:第二重疊編碼器

40:第二通訊電路

500:攝像裝置

700:顯示裝置

H1~H5:標頭像素

SZ:尺寸像素

D1~D4、D5~D12:資料像素

IM:輸入影像

S1~S9:步驟

圖1是本發明一實施例的基於影像的資訊傳遞系統的方塊架構圖； 圖2是第一重疊編碼器將編碼像素重疊於輸入影像的一實施例的示意圖； 圖3是第一重疊編碼器將編碼像素重疊於輸入影像的另一實施例的示意圖。以及 圖4是本發明一實施例的基於影像的資訊傳遞方法的流程圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1是本發明一實施例的基於影像的資訊傳遞系統的方塊架 構圖。基於影像的資訊傳遞系統例如為視訊會議系統，且包括發送端100及接收端300。發送端100用於電性連接攝像裝置500。接收端300用於電性連接顯示裝置700。發送端100通訊連接接收端300以將攝像裝置500拍攝到的影像傳遞至接收端300，接收端300透過顯示裝置700呈現發送端100的影像。攝像裝置500可外接於發送端100亦可內建於發送端100。顯示裝置700可外接於接收端300亦可內建於接收端300。

發送端100包括第一影像處理器10及第一通訊電路30。第一影像處理器10用於將輸入資訊轉換為多個編碼像素，並重疊這些編碼像素及輸入影像以產生合成影像。在一實施例中，第一影像處理器10可採用硬體電路方式實現之，或以軟體方式實現之。

在另一實施例中，第一影像處理器10包括第一命令中心12、顏色編碼器14、第一重疊編碼器16及影像編碼器18，上述元件可個別採用硬體方式實現之，或以軟體方式實現之。

第一命令中心12用於接收輸入資訊並產生第一通知訊號。換言之，第一通知訊號係第一命令中心12在接獲每次的輸入資訊後產生，藉此通知顏色編碼器14進行後續操作。第一命令中心12用於接收關聯於輸入資訊的多個編碼像素並產生第二通知訊號。換言之，第二通知訊號係第一命令中心12在接獲編碼像素後產生，藉此通知第一重疊編碼器16進行後續操作。所述的輸入資訊可以是文字，例如，在發送端100傳遞與會者的影像之前，發送端100與會者透過電性連接至發送端100的輸入裝置(例如：鍵盤、按鈕或觸控螢幕)在人臉周邊標示職位姓名等輸入資訊，讓接收端300與會者看到影像即可得知發送端100與會者的資訊。所述的輸入資訊可以是指令，例如，發送端100與會者透過電性連接至 發送端100的輸入裝置(例如：鍵盤、按鈕或觸控螢幕)發送一靜音指令，藉此遠端控制接收端300的音訊輸出裝置執行靜音操作。

顏色編碼器14電性連接第一命令中心12。第一顏色編碼器14依據第一通知訊號及輸入資訊產生多個編碼像素。每個編碼像素具有各自的顏色。例如採用RGB色域時，每一個像素的紅、綠、藍值以(x,y,z)的形式表示。顏色編碼器14產生的多個編碼像素包括至少一標頭像素、尺寸像素及資料像素。顏色編碼器14依據輸入資訊的型別額外產生標頭像素。輸入資訊的型別例如為文字或指令。標頭像素包括發送端100及接收端300預先定義好的多個顏色。例如，當顏色編碼器14判斷第一命令中心12接收到的輸入資訊為文字型別時，則產生以下五個連續排列的像素，且這五個像素的RGB值分別為(0,0,0),(1,1,1),(2,2,2),(3,3,3),(0,0,0)。

在另一實施例中，至少一標頭像素中的一者用於指示尺寸像素或資料像素在輸入影像中的一位置。在一實施例中，標頭像素、尺寸像素及資料像素例如由左而右重疊於輸入影像的左上角。然而，本發明並不限制編碼像素的位置，也不限制標頭像素、尺寸像素及資料像素必須連續排列。為了降低編碼像素被使用者察覺的機率，可將編碼像素、尺寸像素及資料像素分別放置在輸入影像中的不同位置。因此，標頭像素中的一或多個像素可用於指示尺寸像素或資料像素的起始位置。起始位置可以是輸入影像中的座標位置(絕對位置)，也可以是相對於標頭像素本身起始位置的位移量(相對位置)。例如以下的標頭像素：(0,0,0),(1,1,1),(2,2,2),(3,3,3),(0,0,0),(10,24,0),(76,8,0)用於指示文字型別，且尺寸像素的位置位於輸入影像的(1024,768)此一座標位置。

在又一實施例中，每個輸入影像對應至影片的一訊框，且標頭像素分布於多個訊框。例如：一組標頭像素重複地出現在多個訊框的相同位置，或是彼此互相關聯的多組標頭像素分別出現在多個訊框的相同位置。本實施例可避免影像傳遞時因為網路封包遺失而導致標頭像素未被傳遞的狀況。

顏色編碼器14依據輸入資訊的大小額外產生尺寸像素。尺寸像素用於指示資料像素的個數。例如以(0,0,4)這一個尺寸樣素代表輸入資訊具有四個字元。

顏色編碼器14依據輸入資訊進行編碼並產生資料像素。例如當輸入資訊為「AVER」等四個字元時，首先將這四個字元以美國資訊交換標準代碼(American Standard Code for Information Interchange，ASCII)的十六進位形式編碼為41、56、45、52，然後將上述四個數值以RGB形式表示，例如(4,1,0),(5,6,0),(4,5,0),(5,2,0)。

承上述範例，當輸入資訊為「AVER」時，顏色編碼器14產生如下十個編碼像素：(0,0,0),(1,1,1),(2,2,2),(3,3,3),(0,0,0),(0,0,4),(4,1,0),(5,6,0),(4,5,0),(5,2,0)。在此範例中，以一個像素代表一個關聯於輸入資訊的數值，像是以(4,1,0)代表字元「A」。

在本發明另一實施例中，顏色編碼器14使用相鄰的兩個像素對輸入資訊的一個字元進行編碼，例如字元A被編碼為(90,90,90),(94,91,90)。接收端300需計算這兩個像素的差值(94-90,91-90,90-90)以獲取輸入資訊。在此實施例中，顏色編碼器14依據資料像素所處位置對應的的輸入影像的顏色而適應性地調整作為差值基準(如(90,90,90))的像素的顏色。

第一重疊編碼器16電性連接第一命令中心12。第一重疊編碼器16依據該第二通知訊號、多個編碼像素及輸入影像產生合成影像。第一重疊編碼器16以編碼像素取代原本輸入影像的原始像素，因此編碼像素所處位置的顏色與原始像素的顏色實際上具有使用者肉眼不易觀察到的區別。在一實施例中，編碼像素在輸入影像中佔據固定位置，例如從左上角第一個像素開始排列多個編碼像素。在另一實施例中，由於標頭像素中包含尺寸像素及資料像素的位置資訊，因此第一重疊編碼器16可依據輸入影片的顏色分布型態，選擇性地挑選適合的位置分別配置標頭像素、尺寸像素及資料像素。

圖2是第一重疊編碼器16將編碼像素重疊於輸入影像的一實施例的示意圖。如圖2所示，編碼像素由左而右被排列在輸入影像的左上角，其中包含標頭像素H1(0,0,0),H2(1,1,1),H3(2,2,2),H4(3,3,3),H5(0,0,0)、尺寸像素SZ(0,0,4)，以及資料像素D1(4,1,0),D2(5,6,0),D3(4,5,0),D4(5,2,0)。在本實施例中，標頭像素H1~H5用於指示輸入資訊為文字型別，尺寸像素SZ用於指示輸入資訊具有4個字元，資料像素D1~D4用於指示輸入資訊為「AVER」，其中D1代表字元A、D2代表字元V、D3代表字元E且D4代表字元R。

圖3是第一重疊編碼器16將編碼像素重疊於輸入影像的另一實施例的示意圖。如圖3所示，編碼像素由左而右被排列在輸入影像的左上角，其中包含標頭像素H1(0,0,0),H2(1,1,1),H3(2,2,2),H4(3,3,3),H5(0,0,0)、尺寸像素SZ(0,0,4)，以及資料像素D5(90,90,90),D6(94,91,90),D7(90,90,90),D8(95,96,90),D9(90,90,90),D10(94,95,90),D11(90,90,90),D12(95,92,90)。圖3與圖2的差別在於圖3以兩個像素代表輸入資訊的一個字元。即，D5及D6代表字元A，D7及D8代表字元V，D9及D10代表字元E，D11及D12代表字元R。在圖3實施例 中，顏色編碼器14可預先判斷輸入影像IM在左上角的顏色分布的RGB值，然後動態地調整資料像素D5、D7、D9及D11的RGB值。資料像素D5、D7、D9及D11的RGB值彼此可相同或相異，本發明對此不予限制。透過上述方式，可避免使用者在觀看視訊會議的影像時注意到編碼像素與周圍的顏色差異。

影像編碼器18電性連接第一命令中心12。影像編碼器18例如採用H.264、MPEG4或MJPEG等格式對合成影像進行編碼並轉換為一網路封包。

第一通訊電路30電性連接第一影像處理器10中的第一命令中心12並用於發送合成影像。在一實施例中，第一通訊電路30發送影像編碼器18轉換後的網路封包至接收端300。在另一實施例中，第一通訊電路30直接將合成影像發送至接收端300，因此發送端100可省略圖1中的影像編碼器18。

接收端300包括第二影像處理器20及第二通訊電路40。在一實施例中，第二影像處理器20可採用硬體電路方式實現之，或以軟體方式實現之。在另一實施例中，第二影像處理器20包括第二命令中心22、顏色解碼器24、影像解碼器26以及第二重疊編碼器28，上述元件可個別採用硬體方式實現之，或以軟體方式實現之。

第二通訊電路40電性連接第一通訊電路30以接收合成影像。在一實施例中，第二通訊電路40係直接接收合成影像。在另一實施例中，第二通訊電路40係接收包含合成影像的網路封包。第二通訊電路40將接收到的合成影像或包含合成影像的網路封包傳送至第二影像處理器20。

在一實施例中，第二影像處理器20電性連接該第二通訊電路40並用於依據合成影像執行一解碼程序以取得編碼像素，並將解碼像素轉換為輸入資訊。解碼程序係從合成影像中找出多個編碼像素，再依據標頭像素及尺寸樣 素的指示，將資料像素還原為輸入資訊。

在另一實施例中，第二影像處理器20包括第二命令中心22、顏色解碼器24、影像解碼器26以及第二重疊編碼器28。第二命令中心22電性連接第二通訊電路40、顏色解碼器24及第二重疊編碼器28。影像解碼器26將第二通訊電路40接收到的網路封包轉換為合成影像。在影像解碼器26完成轉換後，第二命令中心22通知顏色解碼器24。顏色解碼器24從合成影像中尋找編碼像素並將編碼像素轉換為輸入資訊。在一實施例中，顏色解碼器24從合成影像中的指定位置，例如從左上角的第一個像素，開始偵測合成影像中是否具有編碼像素。在另一實施例中，顏色解碼器24掃描整張合成影像以偵測其中是否具有編碼像素。在又一實施例中，顏色解碼器24掃描多個訊框中的合成影像以偵測這些訊框中的至少二者是否皆具有標頭像素。在更一實施例中，顏色解碼器24依據下方表一進行解碼。

因此，若偵測到(0,2,3),(19,23,29),(37,41,43),(53,53,59),(5,7,11)等五個像素，顏色解碼器24將依據表一將這五個像素還原為(0,0,0),(1,1,1),(2,2,2),(3,3,3),(0,0,0)，即前文所舉例的標頭像素。本實施例可避免網路封包 在傳輸過程中所產生的影像失真，進而導致顏色解碼器24因為RGB值的微小誤差而無法還原出編碼像素。

第二命令中心22用於控制顯示裝置700播放合成影像，並依據輸入資訊執行一視訊操作或一音訊操作。

在一實施例中，接收端300用於電性連接顯示裝置700及麥克風，且視訊操作用於在合成影像播放時調整顯示裝置700播放之畫面，音訊操作用於在合成影像播放時調整麥克風播放之聲音。

在另一實施例中，視訊操作包括在合成影像之指定位置顯示文字標籤。詳言之，第二命令中心22通知第二重疊將合成影像及輸入資訊(例如前文所舉例的AVER文字)執行影像合成，以產生一個含有文字標籤的影像供顯示裝置700播放。

圖4是本發明一實施例的基於影像的資訊傳遞方法的流程圖。

步驟S1為「發送端100接收輸入資訊及輸入影像」。詳言之，使用者可透過電性連接發送端100的輸入裝置產生輸入資訊，並透過電性連接發送端100的攝像裝置500產生輸入影像。

步驟S2為「發送端100將輸入資訊轉換為多個編碼像素」，這些編碼像素包括至少一標頭像素、尺寸像素及資料像素。至少一標頭像素中的一者用於指示尺寸像素或資料像素在輸入影像中的一位置。

步驟S3為「發送端100重疊這些編碼像素及輸入影像以產生合成影像」。詳言之，發送端100的第一影像處理器10中第一命令中心12控制第一重疊編碼器12執行上述操作。

步驟S4為「發送端100將合成影像轉換為網路封包」。詳言之，在 發送端100重疊這些編碼像素及輸入影像以產生合成影像之後，發送端100的第一影像處理器10中的影像編碼器18將合成影像的格式轉換為網路封包。

步驟S5為「發送端100發送網路封包至接收端300」。詳言之，發送端100的第一通訊電路30可透過實體網路或無線網路將網路封包傳遞至接收端300的第二通訊電路40。

步驟S6為「接收端300將網路封包轉換為合成影像」。詳言之，在接收端300依據該合成影像執行解碼程序以取得編碼像素之前，更包括：接收端300的第二影像處理器20中的第二命令中心22控制影像解碼器26將網路封包的格式轉換為合成影像。

步驟S7為「接收端300依據合成影像執行解碼程序以取得編碼像素」。詳言之，第二命令中心22控制顏色編碼器14在合成影像中尋找是否具有符合規範的標頭像素、尺寸像素及資料像素。

步驟S8為「接收端300將編碼像素轉換為輸入資訊」。詳言之，在顏色編碼器14找到編碼像素之後，更依據標頭像素及尺寸樣素的指示，將資料像素還原為輸入資訊。

步驟S9為「接收端300控制顯示裝置700播放合成影像，並依據輸入資訊執行操作」。詳言之，第二命令中心22依據顏色解碼器24解碼得到的輸入資訊執行視訊操作或音訊操作。視訊操作例如第二命令中心22控制第二重疊編碼器28在第二通訊電路40接收到的合成影像中加入輸入資訊作為文字標籤。音訊操作例如第二命令中心22啟動或關閉接收端300所電性連接的音訊輸出裝置。

綜上所述，本發明提出的基於影像的資訊傳遞系統及其方法不需透過修改原本視訊會議使用的通訊協定，因此可避免在協定中添加額外 資訊可能導致的系統穩定度降低。本發明也不需要另外創建傳輸通道來傳遞會議資訊，因此可提高系統相容性並節省傳輸頻寬。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S1~S9:步驟

Claims (7)

1. 一種基於影像的資訊傳遞方法，包括：以一發送端將一輸入資訊轉換為多個編碼像素；以該發送端重疊該些編碼像素及一輸入影像以產生一合成影像；以該發送端發送該合成影像至該接收端；以一接收端依據該合成影像執行一解碼程序以取得該些編碼像素；以及以該接收端將該些編碼像素轉換為該輸入資訊，其中在以該發送端重疊該些編碼像素及該輸入影像以產生該合成影像之後，更包括：以該發送端將該合成影像的格式轉換為網路封包；以及在以該接收端依據該合成影像執行該解碼程序以取得該些編碼像素之前，更包括：以該接收端將該網路封包的格式轉換為該合成影像。
2. 如請求項1所述基於影像的資訊傳遞方法，其中該些編碼像素包括至少一標頭像素、一尺寸像素及一資料像素；該至少一標頭像素中的一者用於指示該尺寸像素或該資料像素在該輸入影像中的一位置。
3. 一種基於影像的資訊傳遞系統，包括：一發送端，包括：一第一影像處理器，該第一影像處理器用於將一輸入資訊轉換為多個編碼像素，並重疊該些編碼像素及一輸入影像以產生一合成影像；及一第一通訊電路，電性連接該第一影像處理器並用於發送該合成影像；以及 一接收端：包括：一第二通訊電路，電性連接該第一通訊電路以接收該合成影像；及一第二影像處理器，電性連接該第一通訊電路並用於依據該合成影像執行一解碼程序以取得該些編碼像素，並將該些解碼像素轉換為該輸入資訊，其中在該發送端重疊該些編碼像素及該輸入影像以產生該合成影像之後，該發送端將該合成影像的格式轉換為網路封包；以及在該接收端依據該合成影像執行該解碼程序以取得該些編碼像素之前，該接收端將該網路封包的格式轉換為該合成影像。
4. 如請求項3所述基於影像的資訊傳遞系統，其中該些編碼像素包括至少一標頭像素、一尺寸像素及一資料像素；該至少一標頭像素中的一者用於指示該尺寸像素或該資料像素在該輸入影像中的一位置。
5. 一種基於影像的資訊傳遞系統，包括：一發送端，包括：一第一命令中心，用於接收一輸入資訊並產生一第一通知訊號，且接收關聯於該輸入資訊的多個編碼像素並產生一第二通知訊號；一顏色編碼器，電性連接該第一命令中心，該顏色編碼器依據該第一通知訊號及該輸入資訊產生該些編碼像素；一第一重疊編碼器，電性連接該第一命令中心，該第一重疊編碼器依據該第二通知訊號、該些編碼像素及一輸入影像產生一合成影像；及 一第一通訊電路，用於將該合成影像轉換為一網路封包並發送該網路封包；以及一接收端，通訊連接該發送端，該接收端包括：一第二通訊電路，用於接收該網路封包並將該網路封包轉換為該合成影像；一顏色解碼器，從該合成影像中尋找該些編碼像素，並將該些編碼像素轉換為該輸入資訊；及一第二命令中心，電性連接該第二通訊電路及該顏色解碼器，該第二命令中心用於控制一顯示裝置播放該合成影像，並依據該輸入資訊執行一視訊操作或一音訊操作。
6. 如請求項5的基於影像的資訊傳遞系統，其中該接收端更包括一第二重疊編碼器電性連接該第二命令中心，該第二重疊編碼器用於在該合成影像的該位置顯示該輸入資訊。
7. 如請求項5的基於影像的資訊傳遞系統，其中該接收端用於電性連接一顯示裝置及一麥克風，且該視訊操作用於在該合成影像播放時調整該顯示裝置播放之畫面；該音訊操作用於在該合成影像播放時調整該麥克風播放之聲音。

Images