TWI512547B - 互動式系統及互動式裝置 - Google Patents

Description

互動式系統及互動式裝置

本發明是有關於一種互動式裝置，特別是指一種可與顯示裝置互動的互動式裝置。

隨著科技的進步及人們生活娛樂上的需求，現有的顯示裝置可藉由其所輸出的畫面及使用者介面，與使用者相互溝通互動。

然而，對於互動教學用的顯示裝置來說，其人機介面技術(例如：Microsoft Surface、Sony atracTable)皆是使用特製顯示器，此種類型的顯示器會內嵌攝影機，來追蹤使用者手部或是物體於螢幕上的位置，藉以產生互動之畫面。但是，此類顯示器並不相容於現有的顯示裝置，且機台笨重，製作成本高，也不具可攜性。

因此，本發明之目的，即在提供一種互動自然、低成本且具可攜性的互動式裝置。

於是，本發明互動式裝置，可與一顯示裝置通訊，該顯示裝置顯示一影像畫面，該互動式裝置包含一攝像單元、一耦接於攝像單元的控制單元、一耦接於控制單元的回饋單元，及一耦接於控制單元的訊號傳輸單元，其中，攝像單元會擷取部分顯示裝置所顯示之影像畫面，控制單元將攝像單元所擷取之畫面透過訊號傳輸單元傳送至顯示裝置，並與顯示裝置通訊，且根據顯示裝置回傳的一對應攝像單元所擷取之畫面的回饋訊號，控制回饋單元發出一對應回饋訊號的回饋訊息。如此，藉由互動式裝置擷取顯示裝置所顯示之影像，並透過無線傳輸的方式與顯示裝置相互溝通，將可達到互動式裝置與顯示裝置互動之目的。

詳細地說，顯示裝置所顯示之影像畫面包括至少一識別符號(symbol)，攝像單元是擷取部分影像畫面並辨別相對應之識別符號，且控制單元將該識別符號透過訊號傳輸單元傳送至顯示裝置，並與該顯示裝置通訊，且根據顯示裝置回傳的回饋訊號，控制回饋單元輸出回饋訊息。

本互動式裝置還包含一耦接於控制單元的電力單元，用以提供攝像單元、控制單元及訊號傳輸單元運作時所需之電力。

另外，本發明之另一目的，即在提供一種互動性高、低成本且具可攜性的互動式系統。

本發明互動式系統，包含一顯示裝置及一互動式裝置。顯示裝置包括一顯示模組、一耦接於顯示模組的處理模組及一耦接於處理模組的收發模組，顯示模組用以顯示一影像畫面；互動式裝置包括一攝像單元、一耦接於攝像單元的控制單元，及一耦接於控制單元且與收發模組通訊的訊號傳輸單元。攝像單元擷取部分顯示模組所顯示之影像畫面，控制單元將攝像單元所擷取之畫面透過訊號傳輸單元傳送至收發模組，使得處理模組根據攝像單元所擷取之畫面判斷互動式裝置相對於影像畫面之位置。因此，顯示裝置利用影像識別的方式定位出互動式裝置相對於顯示裝置的位置，並以此與互動式裝置互動，且顯示裝置也不需要額外裝設攝像設備而改變設計，其製作成本得以降低，也更具可攜性。

此外，本發明互動式系統，也可包含一顯示裝置及一互動式裝置。顯示裝置包括一顯示模組及一耦接於顯示模組的收發模組，顯示模組用以顯示一影像畫面；互動式裝置包括一攝像單元、一耦接於攝像單元的控制單元、一耦接於控制單元的處理單元，及一耦接於控制單元且與收發模組通訊的訊號傳輸單元。攝像單元擷取部分顯示模組所顯示之影像畫面，控制單元控制處理單元根據攝像單元所擷取之畫面判斷互動式裝置相對於影像畫面之位置，並將該位置透過訊號傳輸單元傳送至收發模組，使得顯示模組顯示對應該位置之畫面。同樣地，顯示裝置也可以利用影像識別的方式定位出互動式裝置相對於顯示裝置的位置，並以此與互動式裝置互動。

詳細地說，影像畫面包括至少一識別符號(symbol)，攝像單元係擷取部分影像畫面並辨別該識別符號，控制單元將識別符號透過訊號傳輸單元傳送至收發模組，使得處理模組根據識別符號判斷互動式裝置相對於影像畫面之位置。

此外，互動式裝置還包括一耦接於控制單元的回饋單元，控制單元根據處理模組的判斷結果，控制回饋單元發出對應攝像單元所擷取之畫面的訊號。進一步地，回饋單元可為顯示器、揚聲器及震動器或其組合。

互動式裝置還包括一耦接於控制單元的電力單元，用以提供攝像單元、控制單元及訊號傳輸單元運作時所需之電力。

本發明之功效在於，顯示裝置利用影像識別的方式定位出互動式裝置的位置，藉此達到與互動式裝置互動之功效，且顯示裝置將不需要額外裝設攝像設備而改變設計，其製作成本得以降低，也更具可攜性。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之三個實施例的詳細說明中，將可清楚的呈現。

參閱圖1，為本發明互動式系統之第一實施例，該互動式系統100包含一顯示裝置10及一可與顯示裝置10相互通訊的互動式裝置(interactive apparatus)20，在本實施例中，顯示裝置10為一大型平板電腦，其中包括一顯示模組11、一耦接於顯示模組11的處理模組12，以及一耦接於處理模組12的收發模組13，配合參閱圖2及圖3，顯示模組11用以顯示一影像畫面30，其可利用特殊形狀、色彩，或是條碼(barcode)等圖形編碼技術產生，且該影像畫面30包括多數個可供辨識的識別符號(symbol)31，例如：QR code；處理模組12用以處理影像訊號，以判斷互動式裝置20相對於影像畫面30之位置，並回傳一回饋訊號至互動式裝置20，以進行互動，其相關細節將於後段補述；收發模組13用以與互動式裝置20通訊以傳輸資料。

互動式裝置20包括一攝像單元21、一控制單元22、一訊號傳輸單元23、一回饋單元及一電力單元25。

攝像單元21為一短景深(DOF)的照相元件，例如：影像感測器(Contact Image Sensor，CIS)，攝像單元21用以擷取影像畫面30中其中一識別符號31，並辨別該識別符號31，以判斷該識別符號31是否為有效符號，特別說明的是，攝像單元21的攝像範圍會根據識別符號31的大小而改變，該攝像範圍至少需大於一個識別符號31的大小；控制單元22耦接於攝像單元21，用以控制所有電路元件的運作；訊號傳輸單元23耦接於控制單元22，並以無線的方式(例如：WiFi、藍芽等)與顯示裝置10的收發模組13通訊以傳輸資料；回饋單元受控制單元22的控制而輸出對應攝像單元21所擷取之畫面的回饋訊息，在本實施例中，回饋單元為一顯示器24(display device)；電力單元25為一電池組且耦接於控制單元22，用以提供所有電路元件運作時所需之電力。

在顯示模組11顯示影像畫面30的一工作週期中，主要可分為一顯示期間及一辨識期間，於顯示期間中，顯示模組11是顯示一如圖2所示的谷歌地圖(Google Map)的街道式地圖，而在辨識期間中，顯示模組11則會顯示多數個如圖3所示的識別符號31，由於該些相互排列的識別符號31是提供互動式裝置20辨識而產生相對應之互動畫面，故通常辨識期間的時間會短於顯示期間。

當互動式裝置20置於顯示模組11上且靜止不動時，互 動式裝置20進入一絕對定位(absolute localization)階段，攝像單元21會擷取部分顯示模組11所顯示的畫面，並辨別是否為有效識別符號31，若辨別為有效識別符號31，控制單元22會將該識別符號31透過訊號傳輸單元23傳送至顯示裝置10的收發模組13，處理模組12利用一內建的電子地圖與該識別符號31進行比較，以判斷互動式裝置20相對於影像畫面30(街道式地圖)之位置，並產生一絕對座標(x,y)及對應該絕對座標的相關地圖資訊(回饋訊號)。隨後，收發模組13將該相關地圖資訊回傳至互動式裝置20的訊號傳輸單元23，使得控制單元22控制顯示器24顯示對應該絕對座標的街景影像40(街景照片)。如此，透過顯示裝置10與互動式裝置20之間的相互溝通，可使顯示裝置10確實地追蹤互動式裝置20於影像畫面30上的位置，以達互動之功能，且顯示裝置10並不需要額外安裝攝像設備，更有利於現有平板電腦、微小化及可攜性之應用。

補充說明的是，處理模組12除了使用精確座標定位外，也可以利用影像畫面30中的一物件來表示定位結果，即處理模組12判斷該識別符號31為地圖上的物件(例如：加油站)時，則從一內建記憶體中直接讀取對應該物件的絕對座標，如此同樣能達到定位功能。

此外，本實施例之互動式裝置20還包括一耦接於控制單元22的電子羅盤26，用於感測互動式裝置20與北方的夾角，以辨識互動式裝置20的擺向。因此，在攝像單元21辨別其攝像的識別符號31為有效識別符號31時，控制單 元22會將該識別符號31連同互動式裝置20的擺向一併傳送至顯示裝置10，使得處理模組12所產生的地圖資訊會與互動式裝置20的擺向有關，如此使用者將可以利用互動式裝置20與北向的夾角來顯示同一絕對位置不同視角的街景影像40。

當互動式裝置20於顯示模組11上且移動時，互動式裝置20進入一相對定位(relative localization)階段，攝像單元21會隨著互動式裝置20的移動而連續拍攝多張影像，並將該些影像傳送至顯示裝置10，由於該些影像是短時間連續拍攝，彼此之間會有部分的重疊，處理模組12即利用該些影像部分重疊的特性，來計算互動式裝置20的位移量，再將該位移量加上絕對定位階段所得到的絕對位置，以推算出互動式裝置20移動後的絕對位置。如此一來，處理模組12不用如絕對定位階段時將每張影像進行比對，以更節省計算時間。

然而，相對定位階段中的計算也可以於互動式裝置20執行，參閱圖1，互動式裝置20還可包含一耦接於控制單元22的計算單元27，用以根據攝像單元21連續拍攝的多張影像，計算出互動式裝置20的位移量，再將該位移量加上絕對定位階段所得到的絕對位置，如此同樣可以推算出互動式裝置20移動後的絕對位置。

此外，互動式裝置20中也可以包含一耦接於控制單元22的處理單元28，在互動式裝置20進入絕對定位階段時，攝像單元21擷取部分顯示模組11所顯示的畫面並辨別 為有效識別符號31後，控制單元22可直接控制處理單元28判斷互動式裝置20相對於影像畫面30之位置，例如：將該識別符號31解碼以得到一攜帶位置(x,y)資訊的文字，之後控制單元22將該位置透過訊號傳輸單元23回傳至顯示裝置10，使得顯示裝置10的顯示模組11顯示更新的互動畫面。因此，由上述可知，判斷位置的處理可以藉由顯示裝置10的處理模組12，或是互動式裝置20的處理單元28來執行，並不以本實施例為限。特別說明的是，若判斷位置的處理改由互動式裝置20的處理單元28，則顯示裝置10可以不需要處理模組12的設置。

參閱圖1及圖4，圖4為本發明互動式系統之第二實施例，其大致與第一實施例相同，惟不同之處在於，本實施例之顯示裝置10為一具有觸控功能的平板電腦(例如；iPAD)，其中顯示模組11則為一觸控面板。

在本實施例中，顯示裝置10同樣包括一顯示模組11、一耦接於顯示模組11的處理模組12，以及一耦接於處理模組12的收發模組13，其中顯示模組11所顯示的影像畫面30為一遊戲畫面(如圖4)，互動式裝置20則包括一攝像單元21、一耦接於攝像單元21的控制單元22，以及耦接於控制單元22的一訊號傳輸單元23、一顯示器24及一電力單元25，其各電路元件的功能皆與第一實施例相同，故不多加贅述。

與第一實施例不同的是，在互動式裝置20未置於顯示模組11上時，顯示模組11會持續顯示影像畫面30，直到 顯示模組11偵測到互動式裝置20置於顯示模組11上所產生的觸壓訊號，顯示模組11才會顯示對應該觸壓位置的識別符號31，以供互動式裝置20攝像辨識。且特別說明的是，由於顯示模組11所顯示的影像畫面30為大富翁遊戲畫面，故影像畫面30僅需要在特定的地方(例如：圍繞在影像畫面30周圍的區域)繪製識別符號31即可。

因此，當使用者將互動式裝置20移動於顯示模組11上時，顯示模組11會顯示對應觸壓位置的識別符號31，使攝像單元21可擷取該識別符號31，並利用影像識別技術加以識別，訊號傳輸單元23將此識別結果以無線的方式傳送至顯示裝置10，處理模組12經過訊號處理後即可得知互動式裝置20相對於影像畫面30的位置，此為定位過程。定位完成後，收發模組13將對應該位置的畫面訊號回傳至互動式裝置20，使得互動式裝置20的顯示器24提供使用者互動影像50，其包括顯示位置資訊、物件資訊等，以達與顯示裝置10互動之目的。

參閱圖1及圖5，圖5為本發明互動式系統之第三實施例，其大致與第一實施例相同，惟不同之處在於，本實施例之互動式系統100是用於醫療影像之三維(3D)顯像，該三維顯像技術包括電腦斷層(Computed Tomography，CT)、磁振造影(Magnetic Resonance Imaging，MRI)、正子/電腦斷層掃描(PET/CT)等。

在本實施例中，顯示裝置10同樣包括一顯示模組11、一耦接於顯示模組11的處理模組12，以及一耦接於處理模 組12的收發模組13，其中顯示模組11所顯示的影像畫面30為一斷層掃描影像的口腔截面(如圖5)，互動式裝置20則包括一攝像單元21、一耦接於攝像單元21的控制單元22，以及耦接於控制單元22的一訊號傳輸單元23、一顯示器24、一電力單元25及一電子羅盤26，其各電路元件的功能皆與第一實施例相同，故不多加贅述。

當使用者將互動式裝置20在顯示模組11上移動時，會連續辨識其相對於顯示裝置10的位置(x,y)，並藉由顯示器24顯示該位置(x,y)的垂直切面圖。特別說明的是，此處所謂的垂直切面是指互動式裝置20與顯示裝置10的畫面垂直的切面，即在圖5中，互動式裝置20的位置(x,y)為顯示裝置10上L1及L2線的交叉點，且透過電子羅盤26可感測互動式裝置20與北方的夾角，進而得知互動式裝置20上的顯示器24面向南方，故互動式裝置20顯示在此位置(x,y)口腔的橫向切面(L1方向切面)。同樣地，在圖6中，透過電子羅盤26而得知互動式裝置20上的顯示器24面向西方，故互動式裝置20顯示在此位置(x,y)口腔的縱向切面(L2方向切面)。因此，透過顯示裝置10與互動式裝置20的互動，使得互動式裝置20可呈現口腔截面中不同方向的立體影像60。

綜上所述，本發明互動式系統100，藉由互動式裝置20擷取顯示裝置10所顯示之影像，並透過無線傳輸的方式與顯示裝置10相互溝通，以使顯示裝置10得知互動式裝置20的位置並提供回饋資訊，如此顯示裝置10將不需要 額外裝設攝像設備而改變設計，其製作成本得以降低，也更具可攜性，且顯示裝置10還可以同時定位多個互動式裝置20，使多位使用者可同時與顯示裝置10互動，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

100‧‧‧互動式系統

10‧‧‧顯示裝置

11‧‧‧顯示模組

12‧‧‧處理模組

13‧‧‧收發模組

20‧‧‧互動式裝置

21‧‧‧攝像單元

22‧‧‧控制單元

23‧‧‧訊號傳輸單元

24‧‧‧顯示器

25‧‧‧電力單元

26‧‧‧電子羅盤

27‧‧‧計算單元

28‧‧‧處理單元

30‧‧‧影像畫面

31‧‧‧識別符號

40‧‧‧街景影像

50‧‧‧互動影像

60‧‧‧立體影像

圖1是說明本發明互動式系統的第一實施例；圖2是說明顯示模組為顯示期間所顯示之畫面，以及互動式裝置所顯示的回饋畫面；圖3是說明顯示模組為辨識期間所顯示之畫面；圖4是說明本發明互動式系統的第二實施例；圖5是說明本發明互動式系統的第三實施例，其中顯示器是顯示口腔的橫向切面；及圖6是說明本發明互動式系統的第三實施例，其中顯示器是顯示口腔的縱向切面。

100‧‧‧互動式系統

10‧‧‧顯示裝置

11‧‧‧顯示模組

12‧‧‧處理模組

13‧‧‧收發模組

20‧‧‧互動式裝置

21‧‧‧攝像單元

22‧‧‧控制單元

23‧‧‧訊號傳輸單元

24‧‧‧回饋單元

25‧‧‧電力單元

26‧‧‧電子羅盤

27‧‧‧計算單元

28‧‧‧處理單元

Claims (6)

1. 一種互動式系統，包含：一顯示裝置，包括一顯示模組、一耦接於該顯示模組的處理模組及一耦接於該處理模組的收發模組，該顯示模組顯示一影像畫面；及一互動式裝置，包括一攝像單元、一耦接於該攝像單元的控制單元、一耦接於該控制單元且與該收發模組通訊的訊號傳輸單元，及一耦接於該控制單元的顯示器，該攝像單元擷取部分該影像畫面，該控制單元將該攝像單元所擷取之畫面透過該訊號傳輸單元傳送至該收發模組，使得該處理模組根據該攝像單元所擷取之畫面判斷該互動式裝置相對於該影像畫面之位置；其中，該影像畫面包括至少一識別符號，該攝像單元係擷取部分該影像畫面並辨別該識別符號，該控制單元將該識別符號透過該訊號傳輸單元傳送至該收發模組，使得該處理模組根據該識別符號判斷該互動式裝置相對於該影像畫面之位置，且該控制單元依據該互動式裝置相對於該影像畫面之不同位置而控制該顯示器顯示與該影像畫面之位置相關聯的一街景影像或一呈現與該影像畫面不同方向的立體影像。
2. 一種互動式系統，包含：一顯示裝置，包括一顯示模組及一耦接於該顯示模組的收發模組，該顯示模組顯示一影像畫面；及一互動式裝置，包括一攝像單元、一耦接於該攝像 單元的控制單元、一耦接於該控制單元的處理單元、一耦接於該控制單元且與該收發模組通訊的訊號傳輸單元，及一耦接於該控制單元的顯示器，該攝像單元擷取部分該影像畫面，該控制單元控制該處理單元根據該攝像單元所擷取之畫面判斷該互動式裝置相對於該影像畫面之位置，並將該位置透過該訊號傳輸單元傳送至該收發模組，使得該顯示模組顯示對應該位置之畫面；其中，該影像畫面包括至少一識別符號，該攝像單元係擷取部分該影像畫面並辨別該識別符號，該控制單元將該識別符號透過該訊號傳輸單元傳送至該收發模組，使得該處理模組根據該識別符號判斷該互動式裝置相對於該影像畫面之位置，且該控制單元依據該互動式裝置相對於該影像畫面之位置而控制該顯示器顯示與該影像畫面之位置相關聯的一互動影像。
3. 依據申請專利範圍第1項所述之互動式系統，其中，該互動式裝置還包括一耦接於該控制單元的電力單元，用以提供該攝像單元、該控制單元、該訊號傳輸單元及該顯示器運作時所需之電力。
4. 一種互動式裝置，可與一顯示裝置通訊，該顯示裝置顯示一影像畫面，該互動式裝置包含：一攝像單元，用以擷取部分該影像畫面；一控制單元，耦接於該攝像單元；一顯示器，耦接於該控制單元；及一訊號傳輸單元，耦接於該控制單元，該控制單元 將該攝像單元所擷取之畫面透過該訊號傳輸單元傳送至該顯示裝置，並與該顯示裝置通訊；其中，該影像畫面包括至少一識別符號，該攝像單元係擷取部分該影像畫面並辨別該識別符號，該控制單元將該識別符號透過該訊號傳輸單元傳送至該顯示裝置，並與該顯示裝置通訊，且該控制單元依據該互動式裝置相對於該影像畫面之不同位置而控制該顯示器顯示與該影像畫面之位置相關聯的一互動影像。
5. 依據申請專利範圍第4項所述之互動式裝置，還包含一耦接於該控制單元的電力單元，用以提供該攝像單元、該控制單元、該訊號傳輸單元及該顯示器運作時所需之電力。
6. 依據申請專利範圍第4項所述之互動式裝置，還包含一耦接於該控制單元的處理單元，該控制單元控制該處理單元將該攝像單元所擷取之畫面進行處理，並於處理後透過該訊號傳輸單元傳送至該顯示裝置。