TWI798038B - 具有手部姿勢操控之人機介面裝置 - Google Patents

Abstract

本發明提供一種具有手部姿勢操控之人機介面裝置，其包含：顯示介面、資料庫、攝影模組及控制模組；顯示介面提供顯示多媒體資訊；資料庫存有複數手部姿勢及對應各手部姿勢之操作指令；攝影模組提供拍攝使用者對應多媒體資訊進行無接觸操控之操作影像；控制模組由攝影模組接收操作影像並透過影像運算處理提取手部影像，由手部影像標記骨架影像，控制模組將骨架影像與資料庫的各手部姿勢進行比對，以獲取匹配之手部姿勢及對應之操作指令，控制模組將獲取之操作指令反饋回應於多媒體資訊，以對多媒體資訊進行無接觸操控，藉此達到無接觸式的操控效果。

Description

具有手部姿勢操控之人機介面裝置

本發明係關於一種人機介面相關領域，尤指一種具有手部姿勢操控之人機介面裝置。

按，人機介面裝置從常見的提款機、ibon、自助結帳機、到工業用的觸控電腦等，應用十分廣泛，其中，人機介面裝置具有觸控螢幕，而觸控螢幕是可以接收觸頭（包括手指或者膠筆頭等）等輸入訊號的感應式LED顯示器、液晶顯示、平板螢幕或電子墨水裝置。

當接觸了螢幕上的圖形按鈕時，螢幕上的觸覺回饋系統可根據預先編程的程式驅動各種連結裝置，可用以取代機械式的按鈕面板，並藉由顯示畫面製造出生動的影音效果。

然而，近年來由於COVID-19新冠肺炎的流行，使用者往往因Covid-19疫情影響，而不願直接觸控公共之觸控式螢幕，避免觸控式螢幕易產生接觸感染之疑慮，而是透過其他觸控元件(例如觸控筆)進行操作，由於觸控元件接觸到觸控式螢幕，可能會有反應延遲的問題，所以使用者會加大觸控元件的使用力道，導致觸控式螢幕容易損壞。

另外，人機介面裝置的觸控式螢幕式需要使用者的直接觸控，對於身障人士而言，往往在操作上有一定難度，例如：人機介面裝置之觸控式螢幕架設過高，導致腿部不變的身障人士無法順利使用，造成使用時的困難。

為解決上述課題，本發明提供一種具有手部姿勢操控之人機介面裝置，能夠以非接觸式的手部影像操控方式控制顯示介面所呈現的多媒體資訊，以達到無接觸式的操控效果。

本發明之一項實施例提供一種具有手部姿勢操控之人機介面裝置，其包含：一機台本體；一顯示介面，其設於機台本體且提供顯示一多媒體資訊；一資料庫，其設於機台本體且與顯示介面耦接，資料庫存有複數手部姿勢及對應各手部姿勢之一操作指令；一攝影模組，其設於機台本體，攝影模組提供拍攝使用者對應多媒體資訊進行無接觸操控之一操作影像；以及一控制模組，其設於機台本體且與顯示介面、資料庫及攝影模組耦接，控制模組由攝影模組接收操作影像，控制模組將操作影像透過一影像運算處理提取一手部影像，且由手部影像標記一骨架影像，控制模組將骨架影像與資料庫存有的各手部姿勢進行比對，以獲取匹配之其中一手部姿勢及對應之所述操作指令，控制模組將獲取之所述操作指令反饋回應於多媒體資訊，以對多媒體資訊進行無接觸操控。

藉由上述，本發明能夠拍攝使用者對應多媒體的操作影像，並將操作影像進行分析已取得對應之操作指令，由操作指令反饋控制顯示介面所呈現的多媒體資訊；藉此，達到無接觸式的操控效果，改善習知直接觸控人機介面裝置容易產生接觸感染之疑慮。

再者，本發明透過無接觸式的操控方式，提供身障人士或不便直接操控人機介面裝置使用者，於使用時的便利性。

為便於說明本發明於上述發明內容一欄中所表示的中心思想，茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪，而非按實際元件的比例予以繪製，合先敘明。

請參閱圖1至圖5所示，本發明提供一種具有手部姿勢操控之人機介面裝置100，其包含：

一機台本體10，其具有一外殼11，如圖4所示；需特別說明的是，圖4僅為示意，並非限制本發明機台本體10的外型。

一顯示介面20，其設於機台本體10之外殼11，顯示介面20提供顯示一多媒體資訊21，其中，多媒體資訊21能夠是圖片、影音、文字或及其組合，本發明不限制多媒體資訊21的型態。

一資料庫30，其設於機台本體10且與顯示介面20耦接，資料庫30存有複數手部姿勢31及對應各手部姿勢31之一操作指令；於本發明實施例中，手部姿勢31所對應的操作指令能夠為(1)手部姿勢31為食指向上對應操作指令為上移；(2)手部姿勢31為食指向下對應操作指令為下移；(3)手部姿勢31為握拳且指部面相顯示介面20對應操作指令為返回；(4)手部姿勢31為推掌對應操作指令為繼續或向前；(5)手部姿勢31為OK手勢對應操作指令為點擊；(6)手部姿勢31為握拳且掌部面相顯示介面20對應操作指令為停止；(7)手部姿勢31為大拇指向左對應操作指令為左移；(8)手部姿勢31為大拇指向右對應操作指令為右移，如圖2所示；但本發明不以此為限。

一攝影模組40，其設於機台本體10之外殼11且鄰近顯示介面20，攝影模組40提供拍攝使用者對應多媒體資訊21進行無接觸操控之一操作影像，如圖1及圖4所示；其中，攝影模組40能夠動態追蹤使用者對應多媒體資訊21進行無接觸操控之操作影像，於本發明實施例中，操作影像為動態影像。

一控制模組50，其設於機台本體10之外殼11內且與顯示介面20、資料庫30及攝影模組40耦接，控制模組50由攝影模組40接收操作影像，控制模組50將操作影像透過一影像運算處理提取一手部影像H，且由手部影像H標記一骨架影像I，如圖1及圖3所示；控制模組50將骨架影像I與資料庫30存有的各手部姿勢31進行比對，以獲取匹配之其中一手部姿勢31及對應之所述操作指令，控制模組50將獲取之操作指令反饋回應於多媒體資訊21，以對多媒體資訊21進行無接觸操控，如圖1、圖4及圖5所示；於本發明實施例中，影像運算處理為電腦視覺(Computer Vision)結合深度學習(Deep Learning)。

再者，控制模組50透過一資料標示程式(LabelImg)於手部影像H標記骨架影像I，其中，骨架影像I具有複數支點P及複數支桿S，各支點P對應手部之各指節及手部與手腕交界處，每一支桿S連結於相鄰兩支點P之間，每一支點P具有專屬編碼，如圖3所示；而控制模組50能夠判斷各支點P彼此之間的位置關係，以由資料庫30取得匹配的其中一手部姿勢31。

另外，控制模組50會接收由攝影模組40傳送之動態操作影像，而控制模組50會將操作影像依照時序分割為複數階段操作影像，控制模組50將每一階段操作影像進行影像運算處理，並依照時序產生複數個標記有骨架影像I之手部影像H，且依照時序由資料庫30獲取操作指令，控制模組50將獲取之操作指令反饋回應於多媒體資訊21，以對多媒體資訊21進行連續性無接觸操控。

一編輯模組60，其設於機台本體10之外殼11內且與顯示介面20、資料庫30、攝影模組40及控制模組50耦接，編輯模組60能夠將資料庫30中各手部姿勢31及對應之操作指令顯示於顯示介面20，編輯模組60能夠選取其中一手部姿勢31進行編輯，以變更選取之所述手部姿勢31及對應之操作指令。

再者，編輯模組60更能夠啟用攝影模組40拍攝一樣本影像，並將樣本影像傳送至控制模組50經過影像運算處理產生標記有骨架影像I之手部影像H，編輯模組60能將標記有骨架影像I之手部影像H，取代資料庫30之其中一手部姿勢31或是設定對應其中一操作指令。

一金融模組70，其與顯示介面20及控制模組50耦接，金融模組70具有一結帳選項，結帳選項配合多媒體資訊21顯示於顯示介面20，操控模組能將獲取之操作指令反饋回應於多媒體資訊21並點選結帳選項，以對多媒體資訊21進行無接觸操控之結帳作業，金融模組70能於顯示介面20呈現一消費金額並提供繳納消費金額。

舉例說明：當顯示介面20所顯示的多媒體資訊21是購物消費型多媒體資訊21，則多媒體資訊21會同時結合結帳選項呈現於顯示介面20，使用者能夠透過無接觸式操作進行選購，並且經由金融模組70進行結帳。

綜合上述，本發明能夠達成下列功效：

1.本發明具有手部姿勢操控之人機介面裝置100，能夠拍攝使用者對應多媒體的操作影像，並將操作影像進行分析已取得對應之操作指令，由操作指令反饋控制顯示介面20所呈現的多媒體資訊21；藉以達到無接觸式的操控效果。

2.本發明具有手部姿勢操控之人機介面裝置100，透過無接觸式的操控方式，提供身障人士或不便直接操控人機介面裝置100使用者，於使用時的便利性。

3.本發明具有手部姿勢操控之人機介面裝置100，能夠提供使用者自行建立或修改手部姿勢31及操作指令，以因應不同使用者的操作習慣，進而提升使用廣度及便利性。

以上所舉實施例僅用以說明本發明而已，非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化，俱屬本發明意欲保護之範疇。

100:人機介面裝置

10:機台本體

11:外殼

20:顯示介面

21:多媒體資訊

30:資料庫

31:手部姿勢

40:攝影模組

50:控制模組

60:編輯模組

70:金融模組

H:手部影像

I:骨架影像

P:支點

S:支桿

圖1係本發明架構方塊圖。 圖2係本發明手部姿勢及對應操作指令示意圖。 圖3係本發明標記有骨架影像之手部影像。 圖4係本發明實施例示意圖(一)，表示使用者對多媒體資訊進行無接觸操控。 圖5係本發明實施例示意圖(二)，表示手部姿勢及對應操作指令回應於多媒體資訊。

100:人機介面裝置

10:機台本體

20:顯示介面

30:資料庫

40:攝影模組

50:控制模組

60:編輯模組

70:金融模組

Claims (9)

1. 一種具有手部姿勢操控之人機介面裝置，其包含：一機台本體；一顯示介面，其設於該機台本體且提供顯示一多媒體資訊；一資料庫，其設於該機台本體且與該顯示介面耦接，該資料庫存有複數手部姿勢及對應各該手部姿勢之一操作指令；一攝影模組，其設於該機台本體，該攝影模組提供拍攝一使用者對應該多媒體資訊進行無接觸操控之一操作影像；一控制模組，其設於該機台本體且與該顯示介面、該資料庫及該攝影模組耦接，該控制模組由該攝影模組接收該操作影像，該控制模組將該操作影像透過一影像運算處理提取一手部影像，且由該手部影像標記一骨架影像，該控制模組將該骨架影像與該資料庫存有的各該手部姿勢進行比對，以獲取匹配之其中一手部姿勢及對應之所述操作指令，該控制模組將獲取之所述操作指令反饋回應於該多媒體資訊，以對該多媒體資訊進行無接觸操控；以及一編輯模組，其與該顯示介面及該資料庫耦接，該編輯模組能夠將該資料庫中各該手部姿勢及對應之操作指令顯示於該顯示介面，該編輯模組能夠選取所述手部姿勢進行編輯，以變更選取之所述手部姿勢及對應之所述操作指令。
2. 如請求項1所述之具有手部姿勢操控之人機介面裝置，其中，該骨架影像具有複數支點及複數支桿，各該支點對應手部之各指節及手部與手腕交界處，每一支桿連結於相鄰兩支點之間。
3. 如請求項2所述之具有手部姿勢操控之人機介面裝置，其中，各該支點具有專屬編碼，該控制模組判斷各該支點彼此之間的位置關係，以由該資 料庫取得匹配的所述手部姿勢。
4. 如請求項1所述之具有手部姿勢操控之人機介面裝置，其中，該攝影模組能夠動態追蹤該使用者對應該多媒體資訊進行無接觸操控之該操作影像。
5. 如請求項4所述之具有手部姿勢操控之人機介面裝置，其中，該操作影像為動態影像，該控制模組將該操作影像依照時序分割為複數階段操作影像，該控制模組將每一階段操作影像進行該影像運算處理，並依照時序產生複數個標記有所述骨架影像之所述手部影像，且依照時序由該資料庫獲取所述操作指令，該控制模組將獲取之所述操作指令反饋回應於該多媒體資訊，以對該多媒體資訊進行連續性無接觸操控。
6. 如請求項1所述之具有手部姿勢操控之人機介面裝置，其中，該編輯模組更與該攝影模組及該控制模組耦接，該編輯模組能夠啟用該攝影模組拍攝一樣本影像，並將該樣本影像傳送至該控制模組經過該影像運算處理產生標記有該骨架影像之該手部影像，該編輯模組能將標記有該骨架影像之該手部影像，取代該資料庫之所述手部姿勢或是設定對應之所述操作指令。
7. 如請求項1所述之具有手部姿勢操控之人機介面裝置，更具有一金融模組，其與該顯示介面及該控制模組耦接，該金融模組具有一結帳選項，該結帳選項配合該多媒體資訊顯示於該顯示介面，該操控模組能將獲取之所述操作指令反饋回應於該多媒體資訊並點選該結帳選項，以對該多媒體資訊進行無接觸操控之結帳作業，該金融模組能於該顯示介面呈現一消費金額並提供繳納該消費金額。
8. 如請求項1至7任一項所述之具有手部姿勢操控之人機介面裝 置，其中，該控制模組透過一資料標示程式(LabelImg)於該手部影像標記該骨架影像。
9. 如請求項8所述之具有手部姿勢操控之人機介面裝置，其中，該影像運算處理為電腦視覺(Computer Vision)結合深度學習(Deep Learning)。

Images