TWI469101B - 手語識別系統及方法 - Google Patents

Description

手語識別系統及方法

本發明涉及一種移動通訊系統及方法，尤其係關於一種應用於移動通訊設備之手語識別系統及方法。

移動通訊設備(例如手機)係現代生活中必不可少之通訊工具，人們可以藉由撥打電話或發送簡訊進行相互溝通。當聾啞人士想使用通訊工具與對方通訊時，他們通話時可能採用手語進行交流；或者，當移動通訊之一方不懂對方之語言時，例如漢語使用者不懂俄語，他們通話時也可採用手語進行交流。然而，一般之移動通訊設備不具有手語識別功能，從而使得聾啞人士或者不同語種人士無法利用移動通訊設備進行有效地通訊，給他們於資訊交流上帶來不便。

鑒於以上內容，有必要提供一種手語識別系統及方法，能夠對不同之手語進行識別，從而方便聾啞人士或者不同語種人士利用移動通訊設備進行有效地通訊。

一種手語識別系統，應用於移動通訊設備。該移動通訊設備藉由網路與伺服器連接。所述之移動通訊設備包括攝像單元、輸入單元及顯示單元。該手語識別系統包括：介面產生模組，用於產生一個操作手語識別功能之主功能介面，並將該主功能介面顯示於 顯示單元上；影像處理模組，用於當使用者選擇主功能介面之錄影按鈕時，控制攝像單元攝取目標人物之人體影像，根據人體特徵從人體影像中抽取手語資料，將抽取之手語資料與移動通訊設備之預設語言進行壓縮並打包成手語資料包，將該手語資料包藉由網路發送給伺服器進行手語解析並產生使用者可識別之手語識別資訊；文本處理模組，用於當使用者選擇主功能介面之文本輸入按鈕時，將使用者從輸入單元輸入之文本、接收方之使用語言及接收方號碼進行壓縮並打包成文本資料包，將該文本資料包藉由網路發送給伺服器進行文本解析並產生接收方可識別之手語影像。

一種手語識別方法，藉由使用移動通訊設備進行手語識別。該移動通訊設備藉由網路與伺服器連接，所述之移動通訊設備包括攝像單元、輸入單元及顯示單元。該方法包括步驟：產生一個用於操作手語識別功能之主功能介面，並將該主功能介面顯示於顯示單元上；當移動通訊設備之使用者選擇主功能介面之錄影按鈕時，執行步驟(a1)至步驟(a5)：(a1)控制攝像單元攝取目標人物之人體影像；(a2)根據人體特徵從人體影像中抽取手語資料；(a3)將抽取之手語資料與移動通訊設備之預設語言資訊進行壓縮並打包成手語資料包；(a4)將手語資料包藉由網路發送給伺服器進行手語解析並產生使用者可識別之手語識別資訊；(a5)接收伺服器產生之手語識別資訊，並將手語識別資訊顯示於顯示單元上；當移動通訊設備之使用者選擇主功能介面之文本輸入按鈕時，執行步驟(b1)至步驟(b3)：(b1)將使用者從輸入單元輸入之文本、接收方之使用語言及接收方號碼進行壓縮並打包成文本資料包；(b2)將該文本資料包藉由網路發送給伺服器進行文 本解析並產生接收方可識別之手語影像；(b3)將該手語影像按照接收方號碼發送到接收方之接收終端上。

相較於習知技術，本發明所述之手語識別系統及方法，藉由移動通訊設備對不同之手語進行識別，從而方便聾啞人士或者不同語種人士利用該移動通訊設備進行有效地通訊。

1‧‧‧移動通訊設備

10‧‧‧手語識別系統

101‧‧‧介面產生模組

102‧‧‧影像處理模組

103‧‧‧文本處理模組

11‧‧‧攝像單元

12‧‧‧顯示單元

13‧‧‧輸入單元

2‧‧‧伺服器

21‧‧‧手語分析單元

22‧‧‧文本分析單元

3‧‧‧資料庫

4‧‧‧網路

圖1係本發明手語識別系統較佳實施例之架構圖。

圖2係本發明手語識別方法較佳實施例之流程圖。

圖3係主功能介面之示意圖。

圖4係子功能介面之示意圖。

如圖1所示，係本發明手語識別系統較佳實施例之架構圖。於本實施例中，所述之手語識別系統10應用於移動通訊設備1，該移動通訊設備1藉由網路4與伺服器2連接，該伺服器2連接有資料庫3。該資料庫3用於存儲識別手語之手語事件標準及文本解析標準。所述之手語事件標準一般包括通用手語標準及聾啞手語標準。例如，通用手語標準包括正常人士用手勢表示數位0-9對應之手語，聾啞手語標準包括聾啞人士用手勢表示數位0-9對應之手語。此外，所述之手語事件標準還可以為使用者自定義暗語事件，亦即使用者可以定義人體肢體之某一個動作或姿勢作為事件暗語，例如雙手抱頭表示“急救120”，及彎腰表示“火警119”等。

所述之移動通訊設備1還包括攝像單元11、顯示單元12及輸入單元13。所述之手語識別系統10包括介面產生模組101、影像處理 模組102及文本處理模組103。所述之伺服器2包括手語分析單元21及文本分析單元22。

所述之介面產生模組101用於產生一個操作手語識別功能之主功能介面110及子功能介面120，並將該主功能介面110及子功能介面120顯示於顯示單元12上。參考圖3所示，主功能介面110包括錄影按鈕111、文本輸入按鈕112及介面退出按鈕113。本實施例中，當使用者選擇錄影按鈕111時，則手語識別系統10啟用影像處理模組102進行影像手語識別；當使用者選擇文本輸入按鈕112時，則手語識別系統10啟用文本處理模組103進行文本手語識別。參考圖4所示，子功能介面120包括文本輸入框121、語言選擇按鈕122、號碼輸入按鈕123、文本解析按鈕124及介面返回按鈕125。文本輸入框121用於供用戶藉由輸入單元13輸入文本及接收方號碼。語言選擇按鈕122用於選擇接收方之使用語言，例如漢語、英語、法語、德語及俄語等國際語言。文本解析按鈕124用於將輸入文本、接收方號碼及接收方之使用語言發送給伺服器3進行文本解析。介面返回按鈕125用於從子功能介面120返回主功能介面110。

所述之影像處理模組102用於控制攝像單元11攝取目標人物之人體影像，根據人體特徵從人體影像中抽取手語資料。所述之手語資料包括手形、手勢、頭部、嘴巴、肩膀及面部表情等人體肢體語言資料。影像處理模組102還用於將抽取之手語資料與移動通訊設備1之預設語言資訊進行壓縮並打包成一個手語資料包，及將該手語資料包藉由網路4發送給伺服器2進行手語解析。所述之預設語言係使用者於使用移動通訊設備1時設置之使用語言，例 如漢語、英語、法語、德語及俄語等國際語言。

所述之文本處理模組103用於將從文本輸入框121輸入之文本、接收方之使用語言及接收方號碼進行壓縮並打包成一個文本資料包，及將該文本資料包藉由網路4發送給伺服器2進行文本解析。

所述之手語分析單元21當伺服器2接收到移動通訊設備1發送之手語資料包時，根據存儲於資料庫3中之手語事件標準解析手語資料包，並產生手語解析結果。該手語分析單元21還用於根據移動通訊設備1之預設語言將手語解析結果描述為使用者可識別之手語識別資訊，及將手語識別資訊藉由網路4發送給移動通訊設備1。例如，使用者於使用移動通訊設備1時設置之語言為漢語，手語分析單元21將手語解析結果用漢語描述成移動通訊設備1之使用者可識別之手語識別資訊，使用者藉由該手語識別資訊即可瞭解目標人物之手語或肢體語言。

所述之文本分析單元22用於當伺服器2接收到移動通訊設備1發送過來之文本資料包時，根據存儲於資料庫3中之文本解析標準及接收方之使用語言解析文本資料包，並產生文本解析結果。該文本分析單元22根據文本解析結果產生接收方可識別之手語影像，將該手語影像按照接收方號碼發送到接收方之接收終端上。由此，接收方可藉由觀看接收終端之手語影像即可瞭解移動通訊設備1之使用者所輸入之文本意思，從而完成使用者與接收方之間之相互溝通。

如圖2所示，係本發明手語識別方法較佳實施例之流程圖。步驟S201，移動通訊設備1初始化手語識別系統10，該手語識別系統10包括介面產生模組101、影像處理模組102及文本處理模組103 。介面產生模組101產生一個操作手語識別功能之主功能介面110，並將該主功能介面110顯示於顯示單元12上。參考圖3所示，主功能介面110包括錄影按鈕111、文本輸入按鈕112及介面退出按鈕113。

步驟S202，手語識別系統10判斷使用者啟用影像手語識別功能還是文本手語識別功能。於本實施例中，若使用者選擇錄影按鈕111，則手語識別系統10啟用影像處理模組102進行影像手語識別；若使用者選擇文本輸入按鈕112，則手語識別系統10啟用文本處理模組103進行文本文本識別。

步驟S203，當移動通訊設備1之使用者選擇錄影按鈕111時，影像處理模組102控制攝像單元11攝取目標人物之人體影像。步驟S204，影像處理模組102根據人體特徵從人體影像中抽取手語資料。所述之手語資料包括手形、手勢、頭部、嘴巴、肩膀及面部表情等人體肢體語言資料。步驟S205，影像處理模組102將抽取之手語資料與移動通訊設備1之預設語言資訊進行壓縮並打包成一個手語資料包。所述之預設語言係使用者於使用移動通訊設備1時設置之使用語言，例如漢語、英語、法語、德語及俄語等國際語言。若使用者於使用移動通訊設備1時設置之語言為漢語，則影像處理模組102將手語資料與漢語資訊進行壓縮並打包成手語資料包。

步驟S206，影像處理模組102將該手語資料包藉由網路4發送至伺服器2。步驟S207，當伺服器2接收到移動通訊設備1發送過來之手語資料包時，手語分析單元21根據存儲於資料庫3中之手語事件標準解析接收到之手語資料包，並產生手語解析結果。本實施 例中，所述之手語事件標準一般包括通用手語標準及聾啞手語標準。其中，通用手語標準包括正常人士用手勢表示數位0-9對應之手語，聾啞手語標準包括聾啞人士用手勢表示數位0-9對應之手語。此外，所述之手語事件標準還可為一種使用者自定義之暗語事件，亦即使用者可以定義人體肢體之某一個動作或姿勢作為事件暗語，例如雙手抱頭表示“急救120”，及彎腰表示“火警119”等。

步驟S208，手語分析單元21根據移動通訊設備1之預設語言將手語解析結果描述為使用者可識別之手語識別資訊。例如，使用者於使用移動通訊設備1時設置之預設語言為漢語，手語分析單元21將手語解析結果用漢語描述成移動通訊設備1之使用者可識別之手語識別資訊。步驟S209，手語分析單元21將該手語識別資訊藉由網路4發送給移動通訊設備1，顯示單元12顯示該手語識別資訊，該移動通訊設備1之使用者即可瞭解目標人物之手語或肢體語言。

於上述步驟S202中，當移動通訊設備1之使用者選擇主功能介面110中之文本輸入按鈕112時，步驟S210，介面產生模組101產生一個操作文本識別功能之子功能介面120，並將該子功能介面120顯示於顯示單元12上。參考圖4所示，子功能介面120包括文本輸入框121、語言選擇按鈕122、號碼輸入按鈕123、文本解析按鈕124及介面返回按鈕125。

步驟S211，使用者藉由輸入單元13於文本輸入框121中輸入文本及接收方號碼，並藉由語言選擇按鈕122選擇接收方之使用語言。步驟S212，文本處理模組103將輸入文本、使用語言及接收方 號碼進行壓縮並打包成一個文本資料包。步驟S213，文本處理模組103將該文本資料包藉由網路4發送給伺服器2。步驟S214，當伺服器2接收到移動通訊設備1發送過來之文本資料包時，文本分析單元22根據存儲於資料庫3中之文本解析標準及使用語言解析接收到之文本資料包，並產生文本解析結果。步驟S215，文本分析單元21根據文本解析結果產生接收方可識別之手語影像。步驟S216，文本分析單元21將該手語影像按照接收方號碼發送到接收方之接收終端上。因此，接收方可藉由接收終端觀看手語影像即可瞭解移動通訊設備1之使用者所輸入之文本意思，從而完成使用者與接收方之間之相互溝通。

以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾，均應包含在下述之申請專利範圍內。

1‧‧‧移動通訊設備

10‧‧‧手語識別系統

101‧‧‧介面產生模組

102‧‧‧影像處理模組

103‧‧‧文本處理模組

11‧‧‧攝像單元

12‧‧‧顯示單元

13‧‧‧輸入單元

2‧‧‧伺服器

21‧‧‧手語分析單元

22‧‧‧文本分析單元

3‧‧‧資料庫

4‧‧‧網路

Claims (10)

1. 一種手語識別系統，應用於移動通訊設備，該移動通訊設備藉由網路與伺服器連接，所述之移動通訊設備包括攝像單元、輸入單元及顯示單元，所述之手語識別系統包括：介面產生模組，用於產生一個操作手語識別功能之主功能介面，並將該主功能介面顯示於顯示單元上，該主功能介面包括一個錄影按鈕及一個文本輸入按鈕；影像處理模組，用於當移動通訊設備之使用者選擇錄影按鈕時，控制攝像單元攝取目標人物之人體影像，根據人體特徵從人體影像中抽取手語資料，將抽取之手語資料與移動通訊設備之預設語言進行壓縮並打包成手語資料包，將該手語資料包藉由網路發送給伺服器進行手語解析並產生移動通訊設備之使用者可識別之手語識別資訊；及文本處理模組，用於當移動通訊設備之使用者選擇文本輸入按鈕時，將使用者從輸入單元輸入之文本、接收方之使用語言及接收方號碼進行壓縮並打包成文本資料包，將該文本資料包藉由網路發送給伺服器進行文本解析並產生接收方可識別之手語影像。
2. 如申請專利範圍第1項所述之手語識別系統，其中所述之伺服器連接有資料庫，該資料庫用於存儲手語事件標準及文本解析標準，該手語事件標準包括通用手語標準及聾啞手語標準。
3. 如申請專利範圍第2項所述之手語識別系統，其中所述之伺服器包括手語分析單元，用於當伺服器接收到手語資料包時，根據所述之手語事件標準解析手語資料包並產生手語解析結果，根據移動通訊設備之預設語言將手語解析結果描述為使用者可識別之手語識別資訊，及將手語識別資 訊藉由網路發送給移動通訊設備。
4. 如申請專利範圍第2項所述之手語識別系統，其中所述之伺服器包括文本分析單元，用於當伺服器接收到文本資料包時，根據所述之文本解析標準及接收方之使用語言解析文本資料包並產生文本解析結果，根據生文本解析結果產生接收方可識別之手語影像，將該手語影像按照接收方號碼發送到接收方之接收終端上。
5. 如申請專利範圍第1項所述之手語識別系統，其中所述之介面產生模組還用於當使用者選擇主功能介面之文本輸入按鈕時產生一個子功能介面，該子功能介面包括文本輸入框、語言選擇按鈕、號碼輸入按鈕、文本解析按鈕及介面返回按鈕。
6. 一種手語識別方法，藉由使用移動通訊設備進行手語識別，該移動通訊設備藉由網路與伺服器連接，所述之移動通訊設備包括攝像單元、輸入單元及顯示單元，該方法包括步驟：產生一個用於操作手語識別功能之主功能E介面，並將該主功能介面顯示於顯示單元上，該主功能介面包括一個錄影按鈕及一個文本輸入按鈕；當移動通訊設備之使用者選擇錄影按鈕時，執行步驟(a1)至步驟(a5)：(a1)控制攝像單元攝取目標人物之人體影像；(a2)根據人體特徵從人體影像中抽取手語資料；(a3)將抽取之手語資料與移動通訊設備之預設語言進行壓縮並打包成手語資料包；(a4)將手語資料包藉由網路發送給伺服器進行手語解析並產生使用者可識別之手語識別資訊；(a5)接收伺服器產生之手語識別資訊，並將手語識別資訊顯示於顯示單元上；當移動通訊設備之使用者選擇文本輸入按鈕時，執行步驟(b1)至步驟 (b3)：(b1)將使用者從輸入單元輸入之文本、接收方之使用語言及接收方號碼進行壓縮並打包成文本資料包；(b2)將該文本資料包藉由網路發送給伺服器進行文本解析並產生接收方可識別之手語影像；(b3)將該手語影像按照接收方號碼發送到接收方之接收終端上。
7. 如申請專利範圍第6項所述之手語識別方法，其中所述之伺服器連接有資料庫，該資料庫用於存儲手語事件標準及文本解析標準，該手語事件標準包括通用手語標準及聾啞手語標準。
8. 如申請專利範圍第7項所述之手語識別方法，其中所述之步驟(a4)包括如下步驟：當伺服器接收到手語資料包時，根據所述之手語事件標準解析手語資料包並產生手語解析結果；根據移動通訊設備之預設語言將手語解析結果描述為移動通訊設備之使用者可識別之手語識別資訊；及將手語識別資訊藉由網路發送給該移動通訊設備。
9. 如申請專利範圍第7項所述之手語識別方法，其中所述之步驟(b2)包括如下步驟：當伺服器接收到文本資料包時，根據所述之文本解析標準及接收方之使用語言解析文本資料包並產生文本解析結果；及根據文本解析結果產生接收方可識別之手語影像。
10. 如申請專利範圍第6項所述之手語識別方法，其中所述之步驟(b1)還包括如下步驟：產生一個子功能介面，該子功能介面包括文本輸入框、語言選擇按鈕、號碼輸入按鈕、文本解析按鈕及介面返回按鈕。