TWI644235B - Wearable instant interaction system - Google Patents

Wearable instant interaction system Download PDF

Info

Publication number
TWI644235B
TWI644235B TW106112349A TW106112349A TWI644235B TW I644235 B TWI644235 B TW I644235B TW 106112349 A TW106112349 A TW 106112349A TW 106112349 A TW106112349 A TW 106112349A TW I644235 B TWI644235 B TW I644235B
Authority
TW
Taiwan
Prior art keywords
wearable
module
image information
information
processing device
Prior art date
Application number
TW106112349A
Other languages
English (en)
Other versions
TW201837660A (zh
Inventor
蔡子傑
李建誼
Original Assignee
國立政治大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立政治大學 filed Critical 國立政治大學
Priority to TW106112349A priority Critical patent/TWI644235B/zh
Priority to CN201710908255.1A priority patent/CN107818595A/zh
Publication of TW201837660A publication Critical patent/TW201837660A/zh
Application granted granted Critical
Publication of TWI644235B publication Critical patent/TWI644235B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種穿戴式即時互動系統，其包含至少一體感偵測裝置、一動作處理裝置以及至少一影像顯示裝置，其中該至少一體感偵測裝置包含複數穿戴式檢知單元，且該至少一體感偵測裝置感測一使用者的動作，並產生至少一組動作資訊；該動作處理裝置連接該至少一體感偵測裝置，接收該至少一組動作資訊，並處理與運算該至少一組動作資訊以產生一完整影像資訊；該至少一影像顯示裝置連接該動作處理裝置，接收並顯示所述完整影像資訊。藉此，達成新型態的即時性互動運用。

Description

穿戴式即時互動系統
本創作係有關一種即時互動系統，尤指一種使用穿戴式體感偵測裝置的即時互動系統。
近年來穿戴式議題非常熱門，許多知名企業都推出自家的穿戴式裝置，如美國谷歌公司的Google Glasses、美國蘋果公司的Apple Watch等等。穿戴式裝置有別於一般電子裝置，其特色在於透過貼身穿戴可以準確地取得穿戴者身上的各種資料、訊息，後續透過蒐集與資料處理，便能提供更加精確的服務，讓穿戴者產生有別於以往一般電子裝置所沒有的獨特體驗。
不過現階段單獨透過穿戴式裝置無法提供過於複雜的功能，所以大多數穿戴式裝置尚侷限於穿戴者身體狀況的感測之應用，可視為是行動電話的延伸功能。
目前各家廠商在穿戴式裝置方面都有不錯的研發成果，形成了各家爭鳴的狀態，在各自的封閉系統上，不同系統的穿戴式裝置互不相容，選擇某牌產品後就只能侷限於該廠商所提供的支援，難以兼容其他裝置。因此，使用者本身難以透過不同穿戴式裝置進行互動，而造成使用者孤獨一人面對電腦上活動的情境，缺乏社群互動的應用，使得穿戴式科技的發展與推廣進度停滯，難有更創新的技術突破。
以互動式表演為例，現有互動式表演能透過影像投影技術，使影像與表演者的肢體動作產生互動，在表演前先錄製影像，配合表演者事先安排好的動作產生疊套效果(over-layering)。然而這種方法在表演期間無法有效的和觀眾進行互動產生共鳴，且容易在表演者失手時穿幫，更會出現表演者被投影出的影像覆蓋的副作用。
隨著科技的進步，逐漸發展出能夠感應肢體動作的偵測技術，這項技術可分類為擴增實境(augmented reality, AR)與虛擬實境(virtual reality, VR)。擴增實境讓現實場景中能出現虛擬物件，達成虛實合一。擴增實境中有微軟開發的Kinect作為代表，使用紅外線感測器來偵測深度影像，配合彩色攝影機節取影像，再從影像中分析出使用者肢體動作。但此種技術的缺點需要在大型表演中，事先測量好表演場地並進行大範圍的感測裝置架設，以期能完整涵蓋整個場地。此外紅外線感測技術容易受到舞台燈光與環境光源干擾，以及大量的影像分析所導致表演畫面上的延遲，無法呈現優良互動品質。
虛擬實境則創造出完全虛擬的環境。虛擬實境中有Oculus 、Sony Playstation VR 被用於逼真的單人遊戲體驗上，不過虛擬實境仍必須透過彩色攝影機節取影像，再從影像中分析出使用者肢體動作，也需要對高品質影像資料進行高效能運算，還會拉高網路頻寬需求，因而降低了多人甚至是異地間的即時性互動，致無法更廣泛地加以應用。
本創作之目的在於提供一種穿戴式即時互動系統，可解決現有擴增實境與虛擬實境因需要進行高品質影像資料運算所衍生無法廣泛應用的問題。
為達成前揭目的，本創作所提出之該穿戴式即時互動系統，其包含： 至少一體感偵測裝置，其包括複數個穿戴式檢知單元，該些穿戴式檢知單元係供感測一使用者的動作，該至少一體感偵測裝置根據該些穿戴式檢知單元所感測的使用者動作產生至少一組動作資訊； 一動作處理裝置，係連接該至少一體感偵測裝置，以接收並處理與運算該至少一組動作資訊，並根據該至少一組動作資訊產生一使用者影像資訊，又該動作處理裝置產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊；及 至少一影像顯示裝置，係連接該動作處理裝置，以接收並顯示該完整影像資訊。
本創作之另一目的在於提供一種穿戴式即時互動系統，可在上述架構中達成多人異地的即時性互動運用。
為達成前揭目的，本創作所提出之該穿戴式即時互動系統，其包含： 複數個體感偵測裝置組，每個體感偵測裝置組包含至少一體感偵測裝置，各體感偵測裝置又包括複數個穿戴式檢知單元，該些穿戴式檢知單元係供感測一使用者的動作，該至少一體感偵測裝置根據該些穿戴式檢知單元所感測的使用者動作產生至少一組動作資訊； 複數個傳輸處理裝置，係與該複數個體感偵測裝置組分別對應，各傳輸處理裝置係連接與其對應的至少一體感偵測裝置； 複數個動作處理裝置，係與該複數個傳輸處理裝置分別對應，各動作處理裝置係連接對應的傳輸處理裝置；及 至少一雲端交換器，係連接於該複數個傳輸處理裝置之間，每個傳輸處理裝置將其自對應的至少一體感偵測裝置接收的至少一組動作資訊，通過該至少一雲端交換器傳送至其他傳輸處理裝置，進而傳送到其他動作處理裝置，每個動作處理裝置接收所有的動作資訊，並根據該些動作資訊產生使用者影像資訊，又該動作處理裝置產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊； 至少一影像顯示裝置，係連接該些傳輸處理裝置，以接收並顯示該完整影像資訊。
由於本創作係採用穿戴式的體感偵測裝置，作為偵測使用者動作的來源，因此並無既有擴增實境與虛擬實境需要進行高品質影像資料運算所衍生無法廣泛應用的問題，也因而更有機會可達成多人同地或多人異地的即時性互動運用。
為了能更進一步瞭解本創作為達成預定目的所採取之技術、手段及功效，請參閱以下有關本創作之詳細說明與圖式，相信本創作之目的、特徵與功效，當可由此得一深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本創作加以限制者。
茲有關本創作之技術內容及詳細說明，配合圖式說明如下。
穿戴式設備或裝置是近年新興的技術，在目前的表演領域中應用尚少，鮮少有表演群能透過穿戴式設備進行互動式展演。其原因在於藝術展演中，通常同時存在多位表演者，當這些表演者配合彼此演出各式複雜的動作時，處處充滿著不確定性，除了無法準確預期未來表演動作外，姿態偵測的即時性也相當重要。
表演者身上的穿戴式設備扮演舉足輕重的角色，為了有效達成感應表演者間「面對、背對、靠近、遠離、舉手、轉向」等大量肢體動作，透過分時偵測拉高感應動作的每秒幀數(frame per second, FPS)，確保每個時間分時區間都保有偵測資料，反應出表演者們即時的動作。
本創作著重即時感應連續動作，搭配遠端的運算系統，可達成互動展演應用。更可進一步以網路傳輸動作資料，輔以時間戳記完成異地展演互動，讓表演者就算分處不同地方，也能「同時異地進行互動」。
儘管穿戴式設備扮演舉足輕重的角色，但穿戴式設備間的整合需要花費大量時間，所以本創作提供的技術(通稱WISE)提供了一個易於整合與執行的平台，能讓穿戴式設備整合遠端的運算式系統，達成不同表演情境下的佈置。
WISE平台主要為體感姿態偵測裝置搭載無線傳輸技術，並結合異地資料即時同步整合的立體影像或虛擬實境(virtual reality, VR)/擴增實境(augmented reality, AR)/混合實境(mixed reality, MR)等情境顯示表演應用。
WISE平台可從體感偵測穿戴裝置感應表演者姿勢動作，以分散偵測技術拉高感應的資料頻率將表演者的動作即時記錄成電子訊號，經由無線傳輸至後端資料處理系統進行同步處理、分析篩選資料，整合3D成影或VR/AR/MR系統後再透過資料傳輸系統結合不同地區伺服間預先設計的虛擬演員和表演環境，隨時調整因網路因素造成的傳遞延遲，營造出異地間的互動表演可即時地進行；此外也提供以事件判斷為基礎的回饋法，能雙向觸發表演者穿戴裝置上的反應單元，營造出振動、閃光、聲音等體感回饋。
WISE平台有效減少傳統表演舞台架設線路的複雜性並突破現場表演的地域性物理限制，讓舞台和表演透過WISE平台可以有更多元、更廣域性的呈現，充實演出的效果和觀眾的數量，且易於調整應用於不同情境。
以下是本創作的實施例，圖1所示係本創作穿戴式即時互動系統之第一實施例的架構方塊圖。在數位互動展演中，表演者們身上的穿戴式設備透過WISE平台進行傳遞資訊與運算，依照主要功能分為三大裝置，包括一體感偵測裝置10、一動作處理裝置20以及一影像顯示裝置30，各裝置之間依功能細分為子單元與多種模組，透過不同子單元的結合完成技術的開發和平台易於整合、兼容、執行。WISE平台使用於數位互動展演中，以擁有高效率、低延遲地管理穿戴裝置間訊息的傳遞，與高擴充性的穿戴式裝置與服務管理，來簡化穿戴式互動展演的應用程式開發。
在WISE平台應用於數位互動展演上，該體感偵測裝置10係為穿戴於表演者身上的感測裝置，包括複數個穿戴式檢知單元11(稱WISE Item)，該複數個穿戴式檢知單元11(WISE Item)可由一使用者穿戴在身上的數個部位，之後該使用者所作的動作，皆會由各該穿戴式檢知單元11(WISE Item)感測，而該至少一體感偵測裝置10會根據該些穿戴式檢知單元11(WISE Item)所感測的使用者動作產生至少一組動作資訊。
該穿戴式檢知單元11(WISE Item)作為該體感偵測裝置10的核心，每個穿戴式檢知單元11(WISE Item)都是獨立的節點，彼此之間互不影響，個別負責讀取資料和接收命令的功能。每個穿戴式檢知單元11(WISE Item)都是獨立的，所產生的資料只代表其被使用者穿戴之部位的運動情形，所以後續還需要透過影像模型將這些節點連接起來才能產生全身的動畫，這種行為稱之為「連動」。透過連動將各組關節連接起來，才能讓真實反應使用者各種姿態動作，像舉手時，從上手臂、前手臂到手腕的提升便是連動功能產生出來；實作時，每個穿戴式檢知單元11(WISE Item)上會設置一MPU6050(姿態感測器)，每個穿戴式檢知單元11(WISE Item)係作為一個獨立節點，而主動從其上所設置的MPU6050讀取Yaw、Pitch、Roll三軸姿態資料。
請參見圖2所示，係為本創作穿戴式即時互動系統的具體架構方塊示意圖。在本實施例中，該穿戴式檢知單元11包括一姿態偵測模組111、一距離感測模組112及一分時偵測模組113。
人體動作是由身上關節的轉動達成，要得知人體姿態的變化便是透過身上的感測器來取得資料，目前市面上普遍以陀螺儀(gyroscope)配合加速度計(accelerometer)來取得資料，因此在本創作的實施例係以具有內建加速計及陀螺儀的六軸姿態感測器或九軸姿態感測器作為該姿態偵測模組111之用，透過開放原始碼(open source)能自由定義姿態資料格式，不僅功能符合設計要求，市售價格也相當低廉，因此，滿足需要在各關節穿戴感測器的使用需求所達到低成本的優勢。
此外，該距離感測模組112係作為測距感測之用，實作尚可採用透過接收信號強度指示(received signal strength indicator, RSSI)訊號計算距離的感測器為之。該分時偵測模組113係提供各感測器獲取感測訊號、資料的時間戳記。
由於在實作的設計上，該些穿戴式檢知單元11(WISE Item)通常不具備可直接連接網際網路的功能，一般來說多會使用一個方便能放在身上充當藍芽和/或無線/有線網路多方轉傳功能的中介裝置協助，因此如圖2所示，具體實施時，該體感偵測裝置10進一步包括一中介服務單元12(WISE Middleware)，該中介服務單元12(WISE Middleware)接收該些穿戴式檢知單元11(WISE Item)感測到的原始資料，並將該些原始資料處理成至少一組動作資訊後傳送出去。由於既有藍芽傳輸方式的連接容易因為使用者遠離的情形而呈現不穩定狀態，再加上該中介服務單元12(WISE Middleware)係由軟硬體共同構成，且與該些穿戴式檢知單元11(WISE Item)之間係透過有線或無線的傳輸方式連接，亦可以有線或無線的傳輸方式將該至少一組動作資訊傳送出去，所支援的無線傳輸方式可為WiFi、藍芽、3G、4G、5G或其他適用的無線通訊協定。更具體地，由於該些穿戴式檢知單元11(WISE Item)所傳來的原始資料並沒有固定的順序與頻率，因此該中介服務單元12(WISE Middleware)進一步包括一資料過濾模組121及一資料分析模組122，其中該資料過濾模組121係從該些穿戴式檢知單元11(WISE Item)感測到的原始資料中將非預設的資料格式濾除，以確保所接收到的動作資訊是正確、有效的，該資料分析模組122會將經過濾的原始資料再次篩選與濾除無效或不需要的資料後，轉化成至少一組動作資訊後才傳送出去。
此外，該動作處理裝置20(WISE Display)係連接該至少一體感偵測裝置10，以接收並處理與運算該至少一組動作資訊，並根據該至少一組動作資訊產生一使用者影像資訊，又該動作處理裝置20(WISE Display)產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊。
於本實施例中，如圖2所示，該動作處理裝置20(WISE Display)係包括一演員成影模組21、一環境建模模組22以及一事件判斷設定模組23。
該演員成影模組21接收並處理與運算該至少一組動作資訊，並根據該至少一組動作資訊產生使用者影像資訊，以提供虛擬角色的人物、動物…等等的影像資訊；該環境建模模組22係負責產生至少一環境影像資訊，提供場景、背景、劇場環境的環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊，使設計的角色模組融入即時的環境影像中；該事件判斷設定模組23則負責判斷該完整影像資訊中使用者影像資訊的動作，據以判別該環境影像資訊應如何調整或改變，進而通知該環境建模模組22產生新的環境影像資訊，並將該使用者影像資訊與新的環境影像資訊整合為一新的完整影像資訊。
在本創作的實作中，涉及到資料即時性、更新速率和低延遲需求，所以在資料處理上，需要往減少資料量、縮短資料處理時間的方向走，Protocol Buffers(簡稱protobuf)的設計特性剛好著重於資料量更小、處理速度更快，以及關鍵的兼容性高，因此本創作的實施例係以protobuf作為資料傳輸之用。
該影像顯示裝置30係連接該動作處理裝置20，以接收並顯示該完整影像資訊；實作上，該影像顯示裝置30可為一螢幕顯示器、一頭戴式顯示器、一投影機、或其他可供顯示影像畫面的設備。
由上述可知，使用者身著本創作之穿戴式體感偵測裝置時，只要身體有動作，該動作處理裝置20(WISE Display)即可透過該體感偵測裝置10，得知使用者的動作變化，並據以轉化為使用者影像資訊且將使用者影像資訊融入環境影像資訊，進而於該影像顯示裝置30上顯現，因此本創作並無既有擴增實境與虛擬實境需要進行高品質影像資料運算所衍生無法廣泛應用的問題。
又本創作的應用除將實體身體化為虛擬的身體，透過該影像顯示裝置30顯示的畫面而猶如投身虛擬空間般之外，尚可進一步衍生讓使用者在虛擬空間中產生視覺、觸覺、聽覺等感覺回饋，使體驗更加真實，因此請參閱圖3所示，係本創作具備感覺回饋功能之實施例的單人模式操作方塊圖，於本實施例中，本創作進一步包括一傳輸處理裝置40，且該穿戴式檢知單元11進一步包括一感覺反饋模組114，而該動作處理裝置20(WISE Display)則進一步包括一回饋觸發模組24。
該傳輸處理裝置40(WISE Platform)係連接於該動作處理裝置20(WISE Display)與該至少一體感偵測裝置10之間、以及該動作處理裝置20(WISE Display)與該影像顯示裝置30之間，以協同彼此之間的連接及資料處理，且該傳輸處理裝置40(WISE Platform)包括一區域協調器41(WISE local coordinator)及一區域暫存器42(WISE local broker)。
由於該中介服務單元12(WISE Middleware)的核心功能在軟體部分的資料處理和節點監控，因此實作時，該中介服務單元12(WISE Middleware)可透過藍芽連線接收來自該些穿戴式檢知單元11(WISE Item)讀取的原始資料，並將該些原始資料轉化成規範好的格式，產生該至少一組動作資訊後，接著再透過無線或有線網路傳送該至少一組動作資訊該傳輸處理裝置40(WISE Platform)，或由該傳輸處理裝置40(WISE Platform)透過紀錄各個中介服務單元12(WISE Middleware)的MAC Address反過來傳送該感覺回饋資訊至對應的穿戴式檢知單元11(WISE Item)，亦即該中介服務單元12(WISE Middleware)負責管理和該些穿戴式檢知單元11(WISE Item)的連接，然後和該傳輸處理裝置40(WISE Platform)透過協定進行管理溝通和數據傳輸。
如圖3所示，該區域協調器41(WISE local coordinator)包括一資料整合模組411及一裝置管理模組412，其中該資料整合模組411係整合接收到的該至少一組動作資訊，而該裝置管理模組412則儲存有該體感偵測裝置10的該些穿戴式檢知單元11(WISE Item)相關資訊，使該資料整合模組411可順利與該體感偵測裝置10的該些穿戴式檢知單元11(WISE Item)連線。實作時，係由該中介服務單元12(WISE Middleware)以基於IP網路的方式建立連線，和該區域協調器41(WISE local coordinator)進行協定的交握，以約定好的協定開始資料溝通、完成獲得設定檔、和該體感偵測裝置10(WISE Item)連線到傳輸姿態資料這完整的動作；並可利用人眼可讀的Json設定檔，來設定增減底層的體感偵測裝置10，設定檔中最外層以陣列來進行多組設定，並透過預先設定好的各個頻道，將不同型態的資料區分開來，讓各自的資料有專屬的頻道來完成高性能即時傳輸。此外，由於Json設定檔無法被中介服務單元12(WISE Middleware)直接讀取，因此該區域協調器41(WISE local coordinator)還可權當轉譯器，將中介服務單元12(WISE Middleware)發出的資料轉譯為Json設定檔，或是將Json設定檔轉譯為中介服務單元12(WISE Middleware)可讀取的資料。
該區域暫存器42(WISE local broker)連接該區域協調器22(WISE local coordinator)，負責暫存、過濾、與傳遞經該區域協調器41(WISE local coordinator)處理過的動作資訊，該區域暫存器42(WISE local broker)的具體實施可使用RabbitMQ或MQTT軟體達成，透過訂閱(subscriber)與發佈(publisher)減少延遲時間以及訂閱方重複收到訊息的問題；該區域暫存器42(WISE local broker)的本質係為一種訊息仲介(message broker)，所做的就是接收訊息，然後再把訊息轉送出去，透過其訊息佇列系統，可以很容易將分散的資料整合起來，再協同系統一起運作。因此，透過向該區域暫存器42(WISE local broker)訂閱感測資料與發佈回饋訊號，完成雙向的資料流，即時的取得感測資料讓動畫流暢不停頓。該區域暫存器42(WISE local broker)可包括一資料儲存模組421，係作為訊息交換核心，可儲存、管理資料並保證有效期和資料的傳送。
該感覺反饋模組114係提供體感回饋效果，該體感回饋效果可為觸覺(例如由振動器之振動達成)、視覺(例如由閃光器之發光達成)、聽覺(例如由蜂鳴器發出聲音達成)、嗅覺(例如由香精噴發器噴出香精達成)等任一或複數種人體感知效果。
該回饋觸發模組24係與該事件判斷設定模組23連接，由該事件判斷設定模組23判斷該完整影像資訊中使用者影像資訊的動作，據以判別該回饋觸發模組24應如何動作，進而通知該回饋觸發模組24發出一對應特定穿戴式檢知單元11之感覺反饋模組114的感覺回饋資訊，通過該傳輸處理裝置40(WISE Platform)將該感覺回饋訊號傳送至對應之穿戴式檢知單元11的感覺反饋模組114，由該感覺反饋模組114產生體感回饋效果，從而達成了提供虛擬的觸覺上、聽覺上、嗅覺上、視覺上的體感回饋，讓使用者的體驗更加真實。
本創作除上述應用外，亦可應用於多人同地進行互動，如圖4所示，係本創作之多人同地模式實施例的操作方塊圖，由身處同一環境的兩位使用者分別穿戴一體感偵測裝置10的穿戴式檢知單元11(WISE Item)，各該體感偵測裝置10個別將其穿戴式檢知單元11所感測到的使用者動作，個別產生動作資訊，並經由個別的中介服務單元12(WISE Middleware)連接且透過該傳輸處理裝置40(WISE Platform)將動作資訊傳送至該動作處理裝置20(WISE Display)，經該動作處理裝置20(WISE Display)處理、運算後，將整合該複數個體感偵測裝置10所偵測之動作資訊與至少一環境影像資訊之完整影像資訊透過該傳輸處理裝置40(WISE Platform)傳送至該影像顯示裝置30。具體來說，若兩位使用者在該完整影像資訊的虛擬環境中，有互相接觸或互動的情況，該動作處理裝置20(WISE Display)可據此產生包含不同之環境影像資訊的完整影像資訊或是感覺回饋資訊，並將該包含不同之環境影像資訊的完整影像資訊透過該傳輸處理裝置40(WISE Platform)傳送至該影像顯示裝置30，或是將該感覺回饋資訊透過該傳輸處理裝置40(WISE Platform)傳送至該體感偵測裝置10，因而達成使用者可互相看到對方與自己在虛擬環境中有接觸或互動，甚至使用者還可自該體感偵測裝置10中穿戴式檢知單元11(WISE Item)的感覺反饋模組114之做動，例如振動、閃光、聲音的回饋，感覺到猶如真正的在互動或接觸，使體驗更加真實。
如圖5所示，係為本創作穿戴式即時互動系統多人異地模式操作的方塊示意圖，而為達成不同場所之使用者互動的效果，每個場所中設置之本創作的系統係形成互不相連的獨立網路拓樸(topology)，要讓彼此間互動就必須進行區域間資料交換，也開始牽涉到網際網路的配置，一般常見的作法如下： 1. 可直接讓各場所中所設置的資料交換裝置40(WISE Platform)個別具有一網路位址，以透過各場所之資料交換裝置40(WISE Platform)彼此的連接來進行互動；惟為每個場所的資料交換裝置40(WISE Platform)個別網路位址的管控和作業成本較高。 2. 亦可由各場所中資料交換裝置40(WISE Platform)的其中之一作為主節點，其他場所的資料交換裝置40(WISE Platform)皆透過該作為主節點的資料交換裝置40(WISE Platform)連線，惟此做法除會讓作為主節點的資料交換裝置40(WISE Platform)負擔較重外，一旦發生故障，多人異地的連線就會受到影響。
基於上述原因，本創作於多人異地模式操作的較佳實施例，係進一步包括一雲端交換器50(WISE cloud exchanger)。例如，讓三位使用者各自裝設一體感偵測裝置10及一影像顯示裝置30，其中，一位使用者位於甲地，兩位使用者位於乙地，甲地和乙地各別皆設置有一動作處理裝置20(WISE Display)和一傳輸處理裝置40(WISE Platform)，甲地的體感偵測裝置10透過甲地傳輸處理裝置40(WISE Platform)連接並傳送動作資訊至甲地的動作處理裝置20，乙地的體感偵測裝置10則透過乙地傳輸處理裝置40(WISE Platform)連接並傳送動作資訊至乙地的動作處理裝置20，而該雲端交換器50(WISE cloud exchanger)係連接於甲地之傳輸處理裝置40(WISE Platform)的區域協調器41(WISE local coordinator)及乙地之傳輸處理裝置40(WISE Platform)的區域協調器41(WISE local coordinator)之間。
運作時，甲地的區域協調器41(WISE local coordinator)可自乙地之區域協調器41(WISE local coordinator)接收來自乙地的該兩個體感偵測裝置10所傳送之動作資訊，通過甲地的區域暫存器42(WISE local broker)傳送給甲地的動作處理裝置20(WISE Display)，由甲地的動作處理裝置20(WISE Display)根據來自甲地和乙地之體感偵測裝置10的動作資訊，據以產生一完整影像資訊，或是同時產生該完整影像資訊和感覺回饋資訊，乙地的區域協調器41(WISE local coordinator)可自甲地之區域協調器41(WISE local coordinator)接收來自甲地的該體感偵測裝置10所傳送之動作資訊，通過乙地的區域暫存器42(WISE local broker)傳送給乙地的動作處理裝置20(WISE Display)，由乙地的動作處理裝置20(WISE Display)根據來自甲地和乙地之體感偵測裝置10的動作資訊，據以產生完整影像資訊，或是同時產生該完整影像資訊和感覺回饋資訊；接著，甲地的動作處理裝置20(WISE Display)再透過甲地的傳輸處理裝置40(WISE Platform)將該完整影像資訊傳送至甲地的影像顯示裝置30上顯現、以及將該感覺回饋資訊傳送至甲地的體感偵測裝置10以由其感覺反饋模組114產生體感回饋效果，乙地的動作處理裝置20(WISE Display)再透過乙地的傳輸處理裝置40(WISE Platform)將該完整影像資訊傳送至乙地的影像顯示裝置30上顯現、以及將該感覺回饋資訊傳送至乙地的體感偵測裝置10以由其感覺反饋模組114產生體感回饋效果，如此一來，即使是分別身處於甲乙兩地的使用者，皆可透過本實施例的運作，達到多人異地的即時性互動運用，讓使用者的體驗更加真實。
具體地，甲地與乙地的異地資料與資訊傳輸、交換，係透過雲端交換器50(WISE cloud exchanger)所執行，該雲端交換器50(WISE cloud exchanger)係提供不同之傳輸處理裝置40(WISE Platform)之間的資料交換。在本較佳實施例中，該雲端交換器50(WISE cloud exchanger)包含有一資料同步模組51、一資料儲存模組52及一資料轉發模組53。該資料同步模組51是發揮於多位使用者時，也就是當該穿戴式即時互動系統具有複數體感偵測裝置10來分別感測多位使用者的動作時，該資料同步模組51會對齊該資料分析模組122篩選與濾除後的全身資料產生的時間軸，達到資料同步的目的，完成後將資料提供至該資料儲存模組52與該資料轉發模組53。該資料儲存模組52係用以暫存資料。該資料轉發模組53用於和其他動作處理裝置20(WISE Display)溝通。
此外，為了避免因單一雲端服務網路阻塞造成所有節點的影像即時性下降，如圖6所示，本創作之另一較佳實施例可在雲端佈建複數個雲端交換器50(WISE cloud exchanger)，每個雲端交換器50(WISE cloud exchanger)除了進行區域間交換資料之外，同時還兼具連線品質的偵測功能，於本實施例中，所謂連線品質係以網路封包來回時間(round trip time, RTT)作為判斷的依據，越低者代表連線品質越好，透過網路傳輸所帶來的延遲越少，越高則反之；然後該區域協調器41(WISE local coordinator)可試探地朝向每個雲端交換器50(WISE cloud exchanger)發送網路封包，並根據網路封包來回時間RTT選擇所需時間最短的雲端交換器50(WISE cloud exchanger)來進行資料傳輸。具體實施時，會在每個區域協調器41(WISE local coordinator)根據設定檔跟每個雲端交換器50(WISE cloud exchanger)先行連線，當穩定連線後會定期由各雲端交換器50(WISE cloud exchanger)對每個區域協調器41(WISE local coordinator)發出偵測RTT值的封包，依照定義的資料格式，以get/RTT的行為，各雲端交換器50(WISE cloud exchanger)計算從發出封包到自每個區域協調器41(WISE local coordinator)回收封包的時間作為每個區域協調器41(WISE local coordinator)的初始RTT值，例如是RTT 1、RTT 2、…RTT N，但各區域協調器41(WISE local coordinator)的RTT值需經過以下的修正運算方可得到，其步驟如下： 步驟1：先計算總值 RTT total=RTT 1+RTT 2+…+RTT N步驟2：修正運算後各區域協調器41(WISE local coordinator)的RTT N值 RTT 1=(RTT total−RTT 1)/(N−1)+RTT 1RTT 2=(RTT total−RTT 2)/(N−1)+RTT 2… RTT N=(RTT total−RTT N)/(N−1)+RTT N
各雲端交換器50(WISE cloud exchanger)將所運算的每個區域協調器41(WISE local coordinator)的RTT N值傳送給對應的區域協調器41(WISE local coordinator)，如此一來每個區域協調器41(WISE local coordinator)就可取得對應不同雲端交換器50(WISE cloud exchanger)的RTT N值。
經由上述方式，不需要複雜的計算就能讓各區域協調器41(WISE local coordinator)知曉其與每個雲端交換器50(WISE cloud exchanger)之間的RTT值。之後，每個區域協調器41(WISE local coordinator)就可選擇連線品質最佳的雲端交換器50(WISE cloud exchanger)來進行資料傳輸。
較佳地，每個雲端交換器50(WISE cloud exchanger)每次只會接收來自一區域協調器41(WISE local coordinator)的資料，並轉傳給其他區域協調器41(WISE local coordinator)，如此可確保每次連線都能保持最低延遲。
若將本發明穿戴式即時互動系統應用在多人異地展演時，其架構圖如圖7所示。由於地理上的距離侷限了現有的藝術展演，讓表演者互動範圍必須被限制在同一舞台上。然而利用本創作之技術，就能突破地區限制，當身處兩地或甚至超過兩地的表演者彼此進行諸如移動、轉身等動作時，該體感偵測裝置10將獲取使用者的動作資訊，透過微型可編程電腦收整該動作資訊並加上時間戳記後，該動作資訊又可透過該雲端交換器50(WISE cloud exchanger)進行資料傳輸，如圖所示雖有多台雲端交換器50(WISE cloud exchanger)，但本創作可自動篩選最佳傳送品質的雲端交換器50(WISE cloud exchanger)進行資料傳輸，以無線傳輸技術將動作資訊傳送到每個場地的動作處理裝置20(WISE Display)上進行統一高效運算的整合、判斷及分析篩選，有效地將龐大而零散的動作資訊轉化為完整影像資訊及感覺回饋資訊，如此一來，身處異地的眾多表演者，除可透過該影像顯示裝置30看到其他表演者在眼前，甚至是身處異地的表演者之間亦可產生猶如真正的在互動或接觸，如此展演的舞台就可拓展到全世界，打破地理空間的隔閡。
由上述可知，透過沉浸式的虛擬實境與穿戴式系統，讓表演者在虛擬空間中進行互動，並且發揮實質的感覺回饋。體驗中，多位表演者分別處於異地，透過虛擬實境眼鏡(virtual reality, VR)以及該體感偵測裝置10，立即將實體身體化為虛擬的身體，投身虛擬空間進行互動。一切在虛擬空間中的碰觸，也會產生視覺、觸覺、聽覺從而產生感覺的回饋，使體驗更加真實。
透過以身體作為聲音及視覺效果的產生器，結合VR、肢體偵測器及觸覺感應器等，將實體的身體轉化為虛擬的身體。藉由網路將不同地點的身體，傳輸到雲端上，形成一個虛擬身體的虛擬社交場域。彼此可以觸摸對方虛擬身體而引發聲音，實體身體亦會有真實觸覺的感覺。以全新的身體直覺出發，開創全新的科技媒體。
惟，以上所述，僅為本創作較佳具體實施例之詳細說明與圖式，惟本創作之特徵並不侷限於此，並非用以限制本創作，本創作之所有範圍應以下述之申請專利範圍為準，凡合於本創作申請專利範圍之精神與其類似變化之實施例，皆應包含於本創作之範疇中，任何熟悉該項技藝者在本創作之領域內，可輕易思及之變化或修飾皆可涵蓋在以下本案之專利範圍。
10 體感偵測裝置 11 穿戴式檢知單元 111 姿態偵測模組 112 距離感測模組 113 分時偵測模組 114 感覺反饋模組 12 中介服務單元 121 資料過濾模組 122 資料分析模組 20 動作處理裝置 21 演員成影模組 22 環境建模模組 23 事件判斷設定模組 24 回饋觸發模組 30 影像顯示裝置 40 資料交換裝置 41 區域協調器 411 資料整合模組 412 裝置管理模組 42 區域暫存器 50 雲端交換器 51 資料同步模組 52 資料儲存模組 53 資料轉發模組
圖1：為本創作穿戴式即時互動系統的架構方塊圖。 圖2：為本創作穿戴式即時互動系統的具體架構方塊示意圖。 圖3：為本創作穿戴式即時互動系統單人模式操作的方塊示意圖。 圖4：為本創作穿戴式即時互動系統多人同地模式操作的具體架構方塊圖。 圖5：為本創作穿戴式即時互動系統多人異地模式操作的具體架構方塊圖。 圖6：為本創作穿戴式即時互動系統異地展演的系統架構示意圖。 圖7：為本創作穿戴式即時互動系統雲端交換器提供不同區域間的資料交換的示意圖。

Claims (11)

  1. 一種穿戴式即時互動系統，包含：至少一體感偵測裝置，其包括複數個穿戴式檢知單元，該些穿戴式檢知單元係供感測一使用者的動作，該至少一體感偵測裝置根據該些穿戴式檢知單元所感測的使用者動作產生至少一組動作資訊；一動作處理裝置，係連接該至少一體感偵測裝置，以接收並處理與運算該至少一組動作資訊，並根據該至少一組動作資訊產生一使用者影像資訊，又該動作處理裝置產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊；及至少一影像顯示裝置，係連接該動作處理裝置，以接收並顯示該完整影像資訊；一傳輸處理裝置；其中該至少一體感偵測裝置係進一步包含：一中介服務單元；其中各該穿戴式檢知單元係感測該使用者的動作，並分別產生一原始資料，而該中介服務單元係連接至該些穿戴式檢知單元，且接收該些原始資料後，根據該些原始資料產生該至少一組動作資訊；其中該傳輸處理裝置係連接於該動作處理裝置與該至少一體感偵測裝置之間、以及該動作處理裝置與該影像顯示裝置之間，以協同彼此之間的連接及資料處理；其中該傳輸處理裝置係包含：一區域協調器，包含：一資料整合模組，係整合接收到的該至少一組動作資訊；及一裝置管理模組，儲存有該體感偵測裝置的該些穿戴式檢知單元相關資訊；及一區域暫存器，連接該區域協調器，並暫存、過濾、與傳遞經該區域協調器處理過的動作資訊。
  2. 如請求項1所述之穿戴式即時互動系統，其中：各穿戴式檢知單元包含有一感覺反饋模組，該感覺反饋模組提供體感回饋效果；該動作處理裝置包含有一回饋觸發模組，由該動作處理裝置判斷該完整影像資訊中使用者影像資訊的動作，進而由該回饋觸發模組依該完整影像資訊中使用者影像資訊的動作，發出一對應至少一穿戴式檢知單元之感覺反饋模組的感覺回饋資訊，該動作處理裝置將該感覺回饋資訊傳送至該對應之至少一穿戴式檢知單元的感覺反饋模組，由該對應之至少一感覺反饋模組產生體感回饋效果。
  3. 如請求項2所述之穿戴式即時互動系統，其中該至少一體感偵測裝置體感偵測裝置的穿戴式檢知單元產生的體感回饋為視覺回饋、觸覺回饋、聽覺回饋、嗅覺回饋之任一者或任兩者以上。
  4. 如請求項1至3項中任一項所述之穿戴式即時互動系統，其中該動作處理裝置包含：一演員成影模組，接收並處理與運算該至少一組動作資訊，並根據該至少一組動作資訊產生使用者影像資訊；一環境建模模組，產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊；及一事件判斷設定模組，判斷該完整影像資訊中使用者影像資訊的動作。
  5. 如請求項1所述之穿戴式即時互動系統，包含複數體感偵測裝置，其中各該體感偵測裝置個別將其穿戴式檢知單元所感測到的使用者動作，個別產生動作資訊，並經由各該體感偵測裝置的中介服務單元連接且透過該傳輸處理裝置將動作資訊傳送至該動作處理裝置，經該動作處理裝置處理、運算後，將整合該複數個體感偵測裝置所偵測之動作資訊與至少一環境影像資訊之完整影像資訊透過該傳輸處理裝置傳送至該影像顯示裝置。
  6. 如請求項1至3項中任一項所述之穿戴式即時互動系統，其中各穿戴式檢知單元分別包含：一姿態偵測模組，偵測該使用者的姿態動作；一距離感測模組，感測該使用者的距離資訊；及一分時偵測模組，提供所述姿態動作與所述距離資訊的時間戳記。
  7. 一種穿戴式即時互動系統，包含：複數個體感偵測裝置組，每個體感偵測裝置組包含至少一體感偵測裝置，各體感偵測裝置又包括複數個穿戴式檢知單元，該些穿戴式檢知單元係供感測一使用者的動作，該至少一體感偵測裝置根據該些穿戴式檢知單元所感測的使用者動作產生至少一組動作資訊；複數個傳輸處理裝置，係與該複數個體感偵測裝置組分別對應，各傳輸處理裝置係連接與其對應的至少一體感偵測裝置；複數個動作處理裝置，係與該複數個傳輸處理裝置分別對應，各動作處理裝置係連接對應的傳輸處理裝置；及至少一雲端交換器，係連接於該複數個傳輸處理裝置之間，每個傳輸處理裝置將其自對應的至少一體感偵測裝置接收的至少一組動作資訊，通過該至少一雲端交換器傳送至其他傳輸處理裝置，進而傳送到其他動作處理裝置，每個動作處理裝置接收所有的動作資訊，並根據該些動作資訊產生使用者影像資訊，又該動作處理裝置產生至少一環境影像資訊，並將該使用者影像資訊與該環境影像資訊整合為一完整影像資訊；複數個影像顯示裝置，各該影像顯數裝置係分別連接該些傳輸處理裝置，以接收並顯示該完整影像資訊；其中該傳輸處理裝置係包含：一區域協調器，包含：一資料整合模組，係整合接收到的該至少一組動作資訊；及一裝置管理模組，儲存有該體感偵測裝置的該些穿戴式檢知單元相關資訊；及一區域暫存器，連接該區域協調器，並暫存、過濾、與傳遞經該區域協調器處理過的動作資訊。
  8. 如請求項7所述之穿戴式即時互動系統，其中：各穿戴式檢知單元包含有一感覺反饋模組，該感覺反饋模組提供體感回饋效果；各動作處理裝置包含有一回饋觸發模組，由各動作處理裝置判斷該完整影像資訊中使用者影像資訊的動作，進而由該回饋觸發模組依該完整影像資訊中使用者影像資訊的動作，發出一對應至少一穿戴式檢知單元之感覺反饋模組的感覺回饋資訊，各動作處理裝置通過對應的資料傳輸模組將該感覺回饋資訊傳送至該對應之至少一穿戴式檢知單元的感覺反饋模組，由該對應之至少一感覺反饋模組產生體感回饋效果。
  9. 如請求項8所述之穿戴式即時互動系統，其中該至少一體感偵測裝置體感偵測裝置的穿戴式檢知單元產生的體感回饋為視覺回饋、觸覺回饋、聽覺回饋、嗅覺回饋之任一者或任兩者以上。
  10. 如請求項7至9項中任一項所述之穿戴式即時互動系統，係包含複數個雲端交換器，各雲端交換器係連接於該複數個傳輸處理裝置之間，其中該些傳輸處理裝置係選擇一雲端交換器連線。
  11. 如請求項10所述之穿戴式即時互動系統，其中各傳輸處理裝置係根據一封包來回時間作為選擇雲端交換器的依據，由各雲端交換器對每個資料傳輸模組發出偵測RTT值的封包，各雲端交換器計算從發出封包到自每個資料傳輸模組回收封包的時間作為每個資料傳輸模組的初始封包來回時間，包含RTT1、RTT2、...RTTN，而各資料傳輸模組的RTTN值需經過以下的修正運算方可得到，其步驟如下：先計算總值封包來回時間：RTTtotal=RTT1+RTT2+...+RTTN；修正運算後各資料傳輸模組的RTTN值：RTT1=(RTTtotal-RTT1)/(N-1)+RTT1；RTT2=(RTTtotal-RTT2)/(N-1)+RTT2；…RTTN=(RTTtotal-RTTN)/(N-1)+RTTN；各雲端交換器將所運算的每個資料傳輸模組的RTTN值傳送給對應的資料傳輸模組，使每個資料傳輸模組取得對應不同雲端交換器的RTTN值，其中每個資料傳輸模組係選擇具有最低RTTN值的雲端交換器進行連線。
TW106112349A 2017-04-13 2017-04-13 Wearable instant interaction system TWI644235B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106112349A TWI644235B (zh) 2017-04-13 2017-04-13 Wearable instant interaction system
CN201710908255.1A CN107818595A (zh) 2017-04-13 2017-09-29 穿戴式即时互动系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106112349A TWI644235B (zh) 2017-04-13 2017-04-13 Wearable instant interaction system

Publications (2)

Publication Number Publication Date
TW201837660A TW201837660A (zh) 2018-10-16
TWI644235B true TWI644235B (zh) 2018-12-11

Family

ID=61607077

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106112349A TWI644235B (zh) 2017-04-13 2017-04-13 Wearable instant interaction system

Country Status (2)

Country Link
CN (1) CN107818595A (zh)
TW (1) TWI644235B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725803B (zh) * 2020-03-31 2021-04-21 林閔瑩 運用穿戴式電子裝置之人體異常活動識別系統
TWI737068B (zh) * 2019-12-06 2021-08-21 未來市股份有限公司 動作追蹤系統和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679557B (zh) * 2018-05-14 2019-12-11 國立臺灣師範大學 適應性運動姿態感測系統與方法
TWI744589B (zh) 2018-12-28 2021-11-01 宏正自動科技股份有限公司 視訊互動系統
CN113029190A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 运动跟踪系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085818B2 (en) * 2001-09-27 2006-08-01 International Business Machines Corporation Method, system, and program for providing information on proximate events based on current location and user availability
CN105279354A (zh) * 2014-06-27 2016-01-27 冠捷投资有限公司 用户可融入剧情的情境建构系统
TW201612695A (en) * 2014-09-19 2016-04-01 Htc Corp Wearable electronic device and event-intimating method of the same
US9430028B2 (en) * 2013-11-27 2016-08-30 Ineda Systems Pvt. Ltd. Systems and method for providing hierarchical computing in wearable processing units

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459768B (zh) * 2011-12-30 2014-11-01 Ind Tech Res Inst 協助ｔｃｐ封包傳送的通訊系統與方法
CN203070360U (zh) * 2012-10-22 2013-07-17 广州新节奏数码科技有限公司 一种虚拟穿戴设备
CN104104647B (zh) * 2013-04-02 2018-02-06 宏碁股份有限公司 维持连线方法
US9311792B2 (en) * 2013-09-27 2016-04-12 Nokia Technologies Oy Wearable electronic device
TWI537767B (zh) * 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
TWI520002B (zh) * 2014-10-21 2016-02-01 Protection Method and System of Cloud Virtual Network Security
US10154129B2 (en) * 2015-05-15 2018-12-11 Polar Electro Oy Wearable electronic apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085818B2 (en) * 2001-09-27 2006-08-01 International Business Machines Corporation Method, system, and program for providing information on proximate events based on current location and user availability
US9430028B2 (en) * 2013-11-27 2016-08-30 Ineda Systems Pvt. Ltd. Systems and method for providing hierarchical computing in wearable processing units
CN105279354A (zh) * 2014-06-27 2016-01-27 冠捷投资有限公司 用户可融入剧情的情境建构系统
TW201612695A (en) * 2014-09-19 2016-04-01 Htc Corp Wearable electronic device and event-intimating method of the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI737068B (zh) * 2019-12-06 2021-08-21 未來市股份有限公司 動作追蹤系統和方法
TWI725803B (zh) * 2020-03-31 2021-04-21 林閔瑩 運用穿戴式電子裝置之人體異常活動識別系統

Also Published As

Publication number Publication date
TW201837660A (zh) 2018-10-16
CN107818595A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
TWI644235B (zh) Wearable instant interaction system
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN102571315B (zh) 一种在设备的范围内同步传感器数据的方法和系统
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN107911737A (zh) 媒体内容的展示方法、装置、计算设备及存储介质
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN110174950B (zh) 一种基于传送门的场景切换方法
JP2020530218A (ja) 没入型視聴覚コンテンツを投影する方法
JP7429861B2 (ja) マルチディスプレイシステムとその制御方法
US20230037102A1 (en) Information processing system, information processing method, and program
WO2024001799A1 (zh) 虚拟现实vr设备的防碰撞方法和电子设备
WO2022191200A1 (ja) ３ｄオブジェクトに関するユーザ入力の解析方法、装置、及びプログラム
CN116069974A (zh) 一种虚拟现实设备及视频播放方法
CN116964544A (zh) 信息处理装置、信息处理终端、信息处理方法和程序