TWM631301U - 互動式平台系統 - Google Patents

互動式平台系統 Download PDF

Info

Publication number
TWM631301U
TWM631301U TW110206958U TW110206958U TWM631301U TW M631301 U TWM631301 U TW M631301U TW 110206958 U TW110206958 U TW 110206958U TW 110206958 U TW110206958 U TW 110206958U TW M631301 U TWM631301 U TW M631301U
Authority
TW
Taiwan
Prior art keywords
sensor
user
communication device
signal
software
Prior art date
Application number
TW110206958U
Other languages
English (en)
Inventor
李志峯
Original Assignee
李志峯
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 李志峯 filed Critical 李志峯
Publication of TWM631301U publication Critical patent/TWM631301U/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H19/00—Massage for the genitals; Devices for improving sexual intercourse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H19/00—Massage for the genitals; Devices for improving sexual intercourse
    • A61H19/30—Devices for external stimulation of the genitals
    • A61H19/32—Devices for external stimulation of the genitals for inserting the genitals therein, e.g. vibrating rings for males or breast stimulating devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H19/00—Massage for the genitals; Devices for improving sexual intercourse
    • A61H19/40—Devices insertable in the genitals
    • A61H19/44—Having substantially cylindrical shape, e.g. dildos
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H23/00—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
    • A61H23/02—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Reproductive Health (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本創作為一種互動式平台系統，其包括：一內容伺服器，具有一內容中央處理器及一內容記憶體；一通訊裝置，電連接至該內容伺服器，具有一中央處理器及一記憶體，用以管控該互動式平台系統一系統軟體，用以自該內容伺服器傳遞一隨選內容，用於該使用者管控該需求系統；以及一感測器組件，其包含一具有3軸以上感測器與一振動馬達，該具有3軸以上感測器穿戴於一使用者之活動部位，用以供該使用者產生一感測器訊號，讓該使用者與之互動，振動馬達與動作機構則回饋使用者動作結果。

Description

互動式平台系統
本創作關於一種互動式平台系統，尤指一種能用人工智慧技術來分析感測器資料，精準反應使用者行為與系統互動；以及產生近乎無窮盡，高品質影像與聲音作為系統內容之素材者。
傳統上通過標準人機界面(如鍵盤滑鼠)控制的系統，使用者只能以有限的控制方式與系統互動，因受限於人機界面，於使用過程無法對系統進行更直覺的操作，單調乏味無趣。
本創作之主要目的是用以解決上述習知技術之缺失而提供一種互動式平台系統，包含：一通訊裝置，具有一中央處理器及一記憶體，用以管控該互動式平台系統；一軟體，用以提供人機介面之互動，於載入於該通訊裝置，讓一使用者與執行該軟體時之間產生互動；以及一感測器組件，包含一具有3軸以上感測器與一振動馬達，其電連接至該通訊裝置，該具有3軸以上感測器穿戴於該使用者之活動部位，用以供該使用者產生一感測器訊號，將該感測器訊號傳送至該通訊裝置，透過該軟體之執行，辨識該使用者的動作並產生一分類訊號，將該分類訊號轉換成一軟體控制信號，達到使用者控制軟體的效果，該振動馬達則接受軟體回應，回饋該使 用者動作之結果，其中該軟體係來自一網路、一光碟或一隨身碟或其他儲存裝置。
於一實施例中，本創作之一種互動式平台系統，進一步包含另一軟體程式，用以連接該感測器組件與該軟體，將該分類訊號轉換為控制訊號，並雙向傳遞於該組件與該軟體之間。
本創作提供第一實施例之一種互動式平台系統，其包括：一內容伺服器，設有一內容中央處理器及一內容記憶體，用以提供一互動內容；一通訊裝置，電連接至該內容伺服器，具有一中央處理器及一記憶體，用以管控該互動式平台系統；一系統軟體，載入於該通訊裝置，用以自該內容伺服器選擇並傳遞一隨選內容；以及一感測器組件，包含一具有3軸以上感測器與一振動馬達，其電連接至該通訊裝置，該具有3軸以上感測器穿戴於一使用者之活動部位，用以供該使用者產生一感測器訊號，經轉換成為該系統軟體之執行及操作信號，讓該使用者與之互動，該振動馬達則回饋該使用者動作結果。
本創作之第一實施例之互動式平台系統，進一步包含一人工智慧伺服器，電連接至一互聯網網路，該人工智慧伺服器具有一人工智慧中央處理器及一人工智慧記憶體，在該人工智慧中央處理器上執行一人工智慧訓練軟體，該人工智慧訓練軟體具有機器學習、深度學習、自然語言與語音交談訓練功能，並將訓練好之參數，用於各種平台內容需求；其中，該人工智慧訓練軟體係採用生成對抗網路(GAN,Generative Adversarial Network)技術，為一角色生成對抗網路模組，用於平台角色生成模組，透過大量的影音數據訓練，來生成虛擬角色；以及一人工智慧分類技術，其包 括一感測訊號分類模組，在訓練(training)階段收集感測訊號後，利用人工智慧深度學習結果來對該感測訊號分類，產生一分類參數，用於推論(inference)階段接收該感測訊號，以得到該使用者之行為分類，再將該行為分類與系統控制結合，達成互動、直覺的控制方式。
本創作第一實施例之互動式平台系統，其中該角色生成對抗網路模組進而包括：一無限語音生成子模組，採用Cycle GAN語音技術而將第一音色的語音用一第二音色模仿出來；以及一無限影像角色生成子模組，用以生成各式系統所需角色。
本創作第一實施例之互動式平台系統，進一步包含一智慧數位鏡頭，電連接至該人工智慧伺服器，用於人臉辨識、情緒辨識、行為辨識或年紀辨識，而產生一多模態輸出值，且與該人工智慧伺服器內一過去影像資料做人工智慧計算後產生一最佳生理動作條件訊號。
本創作第一實施例之互動式平台系統，進一步包含一影音播放軟體，可由使用者自定義觀看片段，配戴感測器時，藉由動作發送感測訊號至軟體，進行手勢/控制辨識，達到根據使用者想法快速切換影音片段，或控制影片速度，或接受影片回饋，與影片提高互動之效果。
本創作第一實施例之互動式平台系統，其中該具有3軸以上感測器與振動馬達的組件係一第一種感測器組件，係安裝九軸感測器(三軸加速度計、三軸陀螺儀、三軸磁力計)之手環偵測加速度，移動軌跡與方位，用來做到方向、角度、速度與姿勢判斷，且擁有控制偵測與手勢辨識功能，振動馬達則回饋使用者動作結果。
本創作第一實施例之互動式平台系統，其中該具有3軸以上 感測器與振動馬達的組件係一第二種感測器組件，作為AR擴增實境之感應器。
本創作第一實施例之互動式平台系統，其中該具有3軸以上感測器與振動馬達的組件係一第三種感測器組件，作為VR控制器，另外加入肌電感測器(EMG)，藉用人工智慧演算法分析肌電信號，實現精細如十根手指動作之多樣手勢與操作，用於本創作之互動式平台系統的VR版。
本創作第一實施例之互動式平台系統，其中該多模態輸出值為一人臉辨識狀態、情緒辨識狀態、行為辨識狀態與年紀辨識狀態之輸出值。
本創作第一實施例之互動式平台系統，其中使用者身上帶著一具有3軸以上感測器與振動馬達的組件時，電連接至該使用者個人健康狀況資料伺服器，用以將該穿載裝置所感測的使用者生理數據傳送至該使用者之個人健康狀況資料伺服器。
本創作第一實施例之互動式平台系統，其中該互動式平台系統是可以在人工智慧虛擬角色狀態與人工智慧最佳生理動作條件狀態之間轉換。
本創作第二實施例之一種互動式平台系統，包含：一第一通訊裝置，具有一第一通訊裝置中央處理器與一第一通訊裝置記憶體；一第一感測器組件，其包含一第一具有3軸以上感測器與振動馬達，及一第一動作機構，電連接至該第一通訊裝置，該具有3軸以上感測器穿戴於一第一使用者之活動部位，用於供該第一使用者產生一第一使用者動作訊號，在該第一通訊裝置之該中央處理器上將該第一使用者動作訊號轉換成一第一動 作分類訊號，以藉用該第一通訊裝置傳送至一互聯網網路；一第二通訊裝置，經由一互聯網網路電連接至該第一通訊裝置，具有一第二通訊裝置中央處理器與一第二通訊裝置記憶體；以及一第二感測器組件，其包含一第二具有3軸以上感測器與振動馬達，及一第二動作機構，電連接至一第二通訊裝置，該具有3軸以上感測器穿戴於一第二使用者之活動部位，用於供該第二使用者產生一第二使用者動作訊號，在該第二通訊裝置中央處理器上將該第二使用者動作訊號轉換成一第二動作分類訊號，以藉用該第二通訊裝置傳送出去至該互聯網網路，其中該第一通訊裝置從該互聯網網路接收該第二動作分類訊號後，經由該第一動作機構還原該第二使用者的原始動作；或該第二通訊裝置從該互聯網網路接收該第一動作分類訊號後，經由該第二動作機構還原該第一使用者的原始動作。
本創作第三實施例之一種互動式平台系統，其包括：一第一通訊裝置，具有一第一通訊裝置中央處理器與一第一通訊裝置記憶體；在一第一通訊裝置安裝系統軟體，並在系統運行分類軟體，軟體可以來自網路、光碟、隨身碟等任意儲存裝置，其中一感測器組件包含一具有3軸以上感測器、一振動馬達與一動作機構感測器組件，其電連接至該第一通訊裝置，用於讓該使用者產生一使用者動作訊號，傳遞至第一通訊裝置，藉由分類軟體辨識使用者動作後，轉換成控制信號，控制系統軟體；系統軟體也會根據結果利用振動馬達與動作機構回饋使用者。
本創作之”通訊裝置”泛指電腦裝置、手機、PDA或是其它具處理、儲存及顯示器的裝置。
1:互動式平台系統
11:內容伺服器
111:內容中央處理器
112:內容記憶體
12:第一使用者之通訊裝置
1311:第一感測器組件
14:人工智慧伺服器
141:人工智慧中央處理器
142:人工智慧記憶體
143:訓練軟體
144:影像識別軟體
15:互聯網網路
16:智慧數位鏡頭
2:第二實施例之互動式平台系統
21:第一通訊裝置
22:第二通訊裝置
23:第一感測器組件
24:第二感測器組件
26:互聯網網路
3:第三實施例之互動式平台系統
31:第一通訊裝置
32:手機平板系統
33:使用者
34:感測器組件
35:控制系統軟體
36:分類軟體
81:第一使用者
82:第二使用者
93a:一第一種感測器組件
93b:另一第一種感測器組件
94a:第一之第一種感測器組件
94b:第二之第一種感測器組件
94c:第三之第一種感測器組件
941c:遊戲道具
951a:手環感測器
952a:道具
953a-954a:揮動的動作
955b-956b:聲音示意方塊
957b:電腦顯示器
958b:遊戲物件:樹木
961a:配戴感測器組件手心朝上
961b:配戴感測器組件手心朝下
961c:配戴感測器組件虎口朝上
962a:角色立姿
962b:角色趴下
962c:角色坐姿
971a:第二種感測器組件
972a:定位記號
973a:手做出持盾動作
974a:AR擴增實境感測器(攝影機)
971b:AR顯示器(手機、電腦螢幕或AR眼鏡)
972b:由顯示器觀看到的AR物品
973b:AR遊戲的攻擊示意
981a:三軸以上感測器組件
981b:肌電(EMG)感測器
981c:VR(虛擬實境)顯示器
982a:VR內的使用者雙手
982b:VR鋼琴
第1圖為本創作第一實施例的互動式平台系統的架構示意圖。
第2A圖為本創作第二實施例的互動式平台系統的架構示意圖。
第2B圖係本創作第三實施例的互動式平台系統的架構示意圖。
第3A圖及第3B圖係本創作的第一種感測器組件的第一配戴狀態示意圖。
第4A圖及第4B圖係本創作的第一種感測器組件的第二配戴狀態示意圖。
第5A圖及第5B圖係本創作的第一種感測器組件的使用狀態示意圖。
第6A圖至第6C圖係本創作的應用方法的示意圖。
第7A圖及第7B圖係本創作的第二種感測器組件的使用狀態示意圖。
第8A圖為本創作之第三種感測器組件配戴狀態之示意圖。
第8B圖為本創作之第三種感測器組件使用狀態之示意圖。
請參閱第1圖，本創作第一實施例的互動式平台系統1，其包括：一內容伺服器11，具有一內容中央處理器111及一內容記憶體112，用以提供使用者81一互動內容，其包含影像、聲音或操作場景，以提供給使用者81操作本系統之相關內容；一使用者通訊裝置12，具有一使用者中央處 理器及一使用者記憶體，電連接至該內容伺服器11，在該通訊裝置12執行一系統軟體，由內容伺服器11傳遞一隨選內容，用於該使用者管控該系統1；以及一感測器組件，包含一具有3軸以上感測器與振動馬達的組件1311用於該使用者81，電連接至該使用者通訊裝置12，該具有3軸以上感測器穿戴於一使用者81之活動部位(例如使用者的四肢、活動關節處)，用以讓使用者81產生一感測器訊號，透過該系統軟體之執行與操作而與該使用者81之互動，該振動馬達則回饋該使用者81動作結果。
本創作第一實施例的互動式平台系統1，進一步包含一人工智慧伺服器14，電連接至一互聯網網路15，該人工智慧伺服器14具有一人工智慧中央處理器141及一人工智慧記憶體142，在該人工智慧中央處理器141上執行一人工智慧訓練軟體143，該人工智慧訓練軟體143具有機器學習與深度學習及自然語言與語音交談訓練功能，並將訓練好之參數，用於各種平台內容需求；該人工智慧訓練軟體143係採用生成對抗網路(GAN,Generative Adversarial Network)技術，為一角色生成對抗網路模組，用於平台角色生成模組，透過大量的影音數據訓練，來生成虛擬角色；以及人工智慧分類技術，用於感測訊號分類模組，在訓練(training)階段收集感測訊號後，利用人工智慧深度學習結果來對於感測訊號分類，產生一分類參數，用於推論(inference)階段接收該感測訊號，以得到一使用者行為分類，再將該行為分類與系統控制結合，達成互動、直覺的控制方式。
本創作第一實施例的互動式平台系統1，其中該角色生成對抗網路模組包括一無限語音生成子模組，採用Cycle GAN語音技術可將第一音色的語音用第二音色(可為真實或合成音色)模仿出來；以及一無限影像角 色生成子模組，係利用GAN生成各式系統所需角色。
本創作第一實施例的互動式平台系統1，進一步包含一智慧數位鏡頭16，電連接至該人工智慧伺服器14，用以一影像識別軟體144進行人臉辨識，情緒辨識，行為辨識或年紀辨識而與該人工智慧伺服器內一過去影像資料做人工智慧計算後產生一最佳生理動作條件訊號。
本創作第一實施例之互動式平台系統1，進一步包含一影音播放軟體，係將影音資料與分類參數安裝在該使用者通訊裝置12的光碟機或隨身碟或任意儲存裝置上，或者由可由該內容伺服器下載該影音資料與分類參數於該使用者通訊裝置12內，或使用者自定義觀看片段。影片來源可以是現有影片(來自網路、光碟或任一儲存裝置)，或是內容伺服器的隨選影片，使用者配戴感測器時，藉由其動作發送感測訊號至該影音播放軟體，並進行手勢/控制辨識，達到根據使用者想法快速切換影音片段，或是控制影片速度，或接受影片回饋，與影片內容提高互動之效果。
本創作第一實施例之互動式平台系統1，其中該具有3軸以上感測器與振動馬達的組件係一第一種感測器組件，係安裝九軸感測器(三軸加速度計、三軸陀螺儀、三軸磁力計)之手環偵測加速度，移動軌跡與方位，用來做到方向、角度、速度與姿勢判斷，且擁有控制偵測與手勢辨識功能，振動馬達則回饋使用者動作結果。
本創作第一實施例的互動式平台系統1，其中該具有3軸以上感測器與振動馬達的組件係一第二種感測器組件，作為AR擴增實境之感應器，於該第二種感應器組件上設置定位記號，以透過手機或平板電腦或電競電腦或其他顯示裝置(如AR眼鏡)將影像帶到三次元空間。
本創作第一實施例的互動式平台系統1，其中該具有3軸以上感測器與振動馬達的組件係一第三種感測器組件，作為VR控制器，其另加入肌電感測器(EMG)，藉用人工智慧演算法分析肌電信號，實現精細如十根手指動作之多樣手勢與操作，用於本發明互動式平台系統VR版。
如第1圖所示，本創作第一實施例之互動式平台系統1，在互動模式下，第一使用者81，用一具有3軸以上感測器與振動馬達與動作機構的第一感測器組件1311來操控互動式平台系統1，亦可以對使用者通訊裝置12所呈現的各式角色/影像/軟體進行互動。
請參閱第2A圖，本創作第二實施例之互動式平台系統2，其包括：一第一通訊裝置21，具有一第一通訊裝置中央處理器與一第一通訊裝置記憶體；一具有3軸以上感測器與振動馬達與動作機構的組件23，電連接至該第一通訊裝置21，用以讓第一使用者81產生一第一使用者感測器訊號，在該第一通訊裝置中央處理器上將該第一使用者動作訊號轉換成一第一動作分類訊號，以藉用該第一通訊裝置21傳送出去至一互聯網網路26；一第二通訊裝置22，經由一互聯網網路26電連接至該第一通訊裝置21，具有一第二通訊裝置中央處理器與一第二通訊裝置記憶體；以及一具有3軸以上感測器與振動馬達與動作機構的第二感測器組件24，電連接至一第二通訊裝置，用於讓第二使用者82產生一第二使用者感測器訊號，在該第二通訊裝置中央處理器上將該第二使用者感測器訊號轉換成一第二分類訊號，以藉用該第二通訊裝置22傳送出去至一互聯網網路26至一第一通訊裝置21，使得一第一通訊裝置可接收一第二使用者82之動作分類訊號，傳送該第二動作分類訊號給該第一通訊裝置21，並經由第一使用者的動作機構23 還原該第二使用82者的原始動作，反之亦然；此系統用於使用者之間的動作細節還原，加強遠距互動的真實感。例如，兩位使用者選擇了劍道互擊軟體，該第二使用者82使用一第二使用者通訊裝置22，透過無線之4G/5G/6G/WiFi通訊連線上網26，再與該第一使用者81的通訊裝置21語音或視訊會談並進行搏擊，期間第一使用者81隔空打擊到第二使用者82，產生的動作經由感測器23透過第一通訊裝置21送出分類結果，由第二通訊裝置22接收並將產生打擊的效果經由第二使用者82穿戴的振動馬達與動作機構24回饋到身上，反之亦然。
請參閱第2B圖，本創作第三實施例之互動式平台系統3，其包括：一第一通訊裝置31或手機平板系統32，具有一第一通訊裝置中央處理器與一第一通訊裝置記憶體；在一第一通訊裝置安裝系統軟體35，並在系統運行分類軟體36，軟體可以來自網路、光碟、隨身碟等任意儲存裝置，其中一感測器組件34包含一具有3軸以上感測器、振動馬達與動作機構組件，電連接至該第一通訊裝置，用以讓一使用者33產生一使用者動作訊號，傳遞至通訊裝置31或手機平板系統32，藉由分類軟體36辨識使用者33動作後，轉換成控制信號，控制系統軟體35；系統軟體也會根據結果利用該感測器組件34之振動馬達與動作機構回饋使用者33。
第3A圖及第3B圖為本創作的第一種感測器組件的第一配戴狀態示意圖，其中該第一種感測器組件為單手配戴(93a或93b)或雙手配戴一對(93a，93b)，第一配戴狀態下配備3軸以上加速器以及振動馬達，該振動馬達功能為傳遞系統軟體回饋反應，如事件通知。該第一種感測器組件93a係左手配戴，該另一第一種感測器組件93b係右手配戴。
本創作之互動式平台系統，其中第一種感測器組件安裝一九軸感測器(三軸加速度計、三軸陀螺儀、三軸磁力計)之手環，可以偵測加速度，移動軌跡與方位，用來做到方向、角度、速度與姿勢判斷，且擁有動作偵測功能，將上述感測器組件佩帶於手腕，可計算出手掌或手腕動作(手勢判斷)，成為與該系統隨選之內容互動的輸入訊號。該感測器可配戴於手腕，如第4A圖與第4B圖，亦可利用製具將感測器固定在任一器具，如第4C圖所示。
第4A圖及第4B圖為本創作的第一種感測器組件的第二配戴狀態示意圖，其中該第一種感測器組件共三個(94a，94b，94c)，於第二配戴狀態下配備3軸以上加速器以及振動馬達，該振動馬達功能為傳遞系統軟體回饋反應，如事件通知。該第一種感測器組件94a，94b，94c分別裝配於左、右手及固定於器具上使用，其中第一之該第一種感測器組件94a係左手配戴，第二之該第一種感測器組件94b係右手配戴，第三之該第一種感測器組件94c係固定於器具如遊戲道具941c使用。
第5A圖及第5B圖為本創作的第一種感測器組件的使用狀態示意圖，當使用者的手上佩戴著手環951a且用手握住道具952a上做出慢速砍柴動作953a或快速砍柴動作954a，在電腦顯示器957b上的樹木958b在慢速揮動953a之情況下晃動反應較小，劈砍聲音較小955b；若在快速揮動954a之情況下，則樹木958b晃動反應較大，劈砍聲音較大956b。
第6A圖至第6C圖係本創作的應用方法具體實施例，詳如表一。
表一係手環感測器與振動馬達與動作機構組件應用方法範 例
Figure 110206958-A0101-12-0012-1
如第7A圖與第7B圖，本創作之互動式平台系統，其中第二種感測器組件971a作為AR擴增實境之感應器，於該第二種感應器組件971a上設置定位記號972a，執行本創作之互動式平台系統的AR版，以防禦遊戲為範例，使用者的手臂973a做出防禦的動作，經AR攝影機974a進行拍攝。在AR顯示裝置971b(手機或平板電腦或電競電腦或AR眼鏡等顯示裝置)除了看到使用者的手臂973a，亦透過定位記號顯示AR物件-盾牌972b，抵擋AR程式裡的物件攻擊973b，當定位記號移動時，AR物件972b可跟隨記號做出相對應的移動，彷彿使用者手上真的有一面盾牌，藉此將影像帶到三次元空間，提升使用者體驗。
如第8A圖與第8B圖，本創作之互動式平台系統，其中該具有3軸以上感測器與振動馬達的組件係一第三種感測器組件981a，該第三種 感測器組件是VR遊戲控制器，進一步加入肌電感測器(EMG)981b，藉用人工智慧演算法分析肌電信號，實現精細動作之操作。傳統VR控制器為手持式，使用者須保留部分手指握住控制器避免其滑落，本創作可讓雙手十指完全自由，進行全手指之操作，如第8A圖，使用者穿戴感測器組件981a以及EMG組件981b，用於本創作之互動式平台系統的VR版，在VR螢幕981c裡呈現出使用者的VR手臂982a，即可使用十指進行演奏VR鋼琴982b，或是VR陶土工藝...等需精細操作之手指動作。
本創作之互動式平台系統使用的第一種感測器組件係採用AIoT技術，利用人工智慧機器學習技術，進行互動手勢過程分類，進一步包含一種訓練軟體，該訓練軟體係採用生成對抗網路(GAN,Generative Adversarial Network)技術，一內容生成對抗網路模組，產生各式內容與角色，該內容生成對抗網路模組係透過大量影像來用於生成內容與角色之訓練。該內容生成對抗網路模組包括一無限語音生成子模組，用於採用Cycle GAN語音技術可將A音色的語音，用B音色模仿出來；以及一無限影像內容生成子模組，用於利用GAN生成各式內容；以及人工智慧分類技術，而包括一感測訊號分類模組，用於接收到一感測訊號後輸入該感測訊號分類模組，利用人工智慧深度學習來對於感測訊號分類，以產生一分類訊號。
關於該無限語音生成子模組的延伸應用是一人分飾多角色的角色配音子模組，可以一人配音多人演出，應用場景有配音員，說故事者…等，該內容生成對抗網路模組是內容素材產生器，可合成出各式各樣內容。
1:互動式平台系統
11:內容伺服器
111:內容中央處理器
112:內容記憶體
12:第一使用者之通訊裝置
1311:第一感測器組件
14:人工智慧伺服器
141:人工智慧中央處理器
142:人工智慧記憶體
143:訓練軟體
144:影像識別軟體
15:互聯網網路
16:智慧數位鏡頭
81:第一使用者

Claims (14)

  1. 一種互動式平台系統，包含：
    一通訊裝置，具有一中央處理器及一記憶體，用以管控該互動式平台系統；
    一軟體，用以提供人機介面之互動，於載入於該通訊裝置時，讓一使用者與執行該軟體時之間產生互動；
    以及
    一感測器組件，包含一具有3軸以上感測器與一振動馬達，其電連接至該通訊裝置，該具有3軸以上感測器穿戴於該使用者之一活動部位，用以供該使用者產生一感測器訊號，將該感測器訊號傳送至該通訊裝置，透過該軟體之執行，辨識一使用者的動作並產生一分類訊號，將該分類訊號轉換成一軟體控制信號，達到使用者控制軟體的效果，該振動馬達接受軟體回應，回饋該使用者動作之結果，
    其中該軟體係來自一網路、一光碟或一隨身碟或其他儲存裝置。
  2. 如申請專利範圍第1項所述之互動式平台系統，進一步包含另一軟體程式，用以連接該感測器組件與該軟體，將該分類訊號轉換為一控制訊號，並雙向傳遞於該感測器組件與該軟體之間。
  3. 一種互動式平台系統，其包括：
    一內容伺服器，設有一內容中央處理器及一內容記憶體，用以提供一互動內容；
    一通訊裝置，電連接至該內容伺服器，具有一中央處理器及一記憶體，用以管控該互動式平台系統；
    一系統軟體，載入於該通訊裝置，用以自該內容伺服器選擇並傳遞一隨選內容；以及
    一感測器組件，包含一具有3軸以上感測器與一振動馬達，其電連接至該通訊裝置，該具有3軸以上感測器穿戴於一使用者之活動部位，用以供該使用者產生一感測器訊號，將該感測器訊號傳送至該通訊裝置，透過該軟體之執行，辨識該使用者的動作並產生一分類訊號，將該分類訊號轉換成一軟體控制信號，達到該使用者控制軟體的效果，該振動馬達則接受軟體回應，回饋該使用者動作之結果。
  4. 如申請專利範圍第3項之互動式平台系統，進一步包含一人工智慧伺服器，電連接至一互聯網網路，具有一人工智慧中央處理器及一人工智慧記憶體，於該人工智慧中央處理器上執行一人工智慧訓練軟體，該人工智慧訓練軟體具有機器學習與深度學習及自然語言與語音交談訓練功能，並將訓練好之參數，用於各種平台內容需求；
    一角色生成對抗網路模組，該人工智慧訓練軟體係採用生成對抗網路技術(GAN,Generative Adversarial Network)，用於一平台內容生成模組，透過大量的影音數據訓練，來生成虛擬角色與內容；以及
    一人工智慧分類技術，其包括一感測訊號分類模組，在訓練(training)階段收集感測訊號後，利用人工智慧深度學習結果來對該感測訊號分類，產生一分類參數，用於推論(inference)階段接收該感測訊號，以得到該使用者之行為分類，再將該行為分類與該控制系統結合，以達成互動、直覺的控制方式。
  5. 如申請專利範圍第4項之互動式平台系統，其中該角色生成對抗網路模組進而包括：一無限語音生成子模組，採用Cycle GAN語音技術而將第一音色的語音用一第二音色模仿出來；以及一無限影像角色生成子模組，用以生成各式系統所需角色。
  6. 如申請專利範圍第4項之互動式平台系統，進一步包含一智 慧數位鏡頭，電連接至該人工智慧伺服器，用於人臉辨識，情緒辨識，行為辨識與年紀辨識，而產生一多模態輸出值，且利用該人工智慧伺服器內一過去影像資料做人工智慧計算後產生一最佳生理動作條件訊號。
  7. 如申請專利範圍第3項之互動式平台系統，進一步包含一影音播放軟體，用以將影音資料與分類參數儲存在該通訊裝置上，配戴該感測器時，藉由發送該感測器訊號至該影音播放軟體，進行手勢/控制辨識，達到與影片提高互動之效果。
  8. 如申請專利範圍第4項之互動式平台系統，進一步包含一影音播放軟體，用以將影音資料與分類參數儲存在該通訊裝置上，配戴該感測器時，藉由發送該感測器訊號至該影音播放軟體，進行手勢/控制辨識，達到與影片提高互動之效果。
  9. 如申請專利範圍第3項之互動式平台系統，其中該感測器組件為一第一種感測器組件，係安裝一九軸感測器，用以偵測加速度，移動軌跡與方位。
  10. 如申請專利範圍第3項之互動式平台系統，其中該感測器組件為一第二種感測器組件，作為AR擴增實境之感應器，係設置一定位記號，以透過該通訊裝置將影像帶到三次元空間。
  11. 如申請專利範圍第3項之互動式平台系統，其中該感測器組件為一第三種感測器組件，進一步包含一肌電感測器(EMG)，藉用一人工智慧演算法分析該肌電感測器之肌電信號，實現精細如手指動作之多樣手勢。
  12. 如申請專利範圍第6項之互動式平台系統，其中該多模態輸出值為一人臉辨識狀態、情緒辨識狀態、行為辨識狀態或年紀辨識狀態之輸出值。
  13. 如申請專利範圍第3項之互動式平台系統，其中該使用者身上帶著一具有3軸以上感測器與振動馬達組件時，電連接至一使用者個人健康狀況資料伺服器，用於將該感測器組件所感測的使用者生理數據傳送至該使用者個人健康狀況資料伺服器。
  14. 一種互動式平台系統，包含：
    一第一通訊裝置，具有一第一通訊裝置中央處理器與一第一通訊裝置記憶體；
    一第一感測器組件，其包含一第一具有3軸以上感測器與振動馬達，及一第一動作機構，電連接至該第一通訊裝置，該具有3軸以上感測器穿戴於一第一使用者之活動部位，用於供該第一使用者產生一第一使用者動作訊號，在該第一通訊裝置之該中央處理器上將該第一使用者動作訊號轉換成一第一動作分類訊號，以藉用該第一通訊裝置傳送至一互聯網網路；
    一第二通訊裝置，電連接至該第一通訊裝置，具有一第二通訊裝置中央處理器與一第二通訊裝置記憶體；以及
    一第二感測器組件，其包含一第二具有3軸以上感測器與振動馬達，及一第二動作機構，電連接至一第二通訊裝置，該具有3軸以上感測器穿戴於一第二使用者之活動部位，用於供該第二使用者產生一第二使用者動作訊號，在該第二通訊裝置中央處理器上將該第二使用者動作訊號轉換成一第二動作分類訊號，以藉用該第二通訊裝置傳送出去至該互聯網網路，
    其中該第一通訊裝置從該互聯網網路接收該第二動作分類訊號後，經由該第一動作機構還原該第二使用者的原始動作；或該第二通訊裝置從該互聯網網路接收該第一動作分類訊號後，經由該第二動作機構還原該第一使用者的原始動作。
TW110206958U 2020-07-10 2021-06-16 互動式平台系統 TWM631301U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050115P 2020-07-10 2020-07-10
US63050115 2020-07-10

Publications (1)

Publication Number Publication Date
TWM631301U true TWM631301U (zh) 2022-09-01

Family

ID=79552748

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110206958U TWM631301U (zh) 2020-07-10 2021-06-16 互動式平台系統

Country Status (5)

Country Link
US (1) US20230252775A1 (zh)
JP (1) JP2023533701A (zh)
CN (1) CN116322507A (zh)
TW (1) TWM631301U (zh)
WO (1) WO2022007942A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368268B1 (en) * 1998-08-17 2002-04-09 Warren J. Sandvick Method and device for interactive virtual control of sexual aids using digital computer networks
TW201036603A (en) * 2009-04-14 2010-10-16 yun-ping Fan System and method for performing remote interaction for sexual article based on real-time communication architecture of network
TWM440803U (en) * 2011-11-11 2012-11-11 Yu-Chieh Lin Somatosensory deivice and application system thereof
EP3298479A1 (en) * 2015-05-21 2018-03-28 Cakmak, Tuncay Sexual interaction device and method for providing an enhanced computer mediated sexual experience to a user
CN107865757A (zh) * 2016-09-22 2018-04-03 上海科斗电子科技有限公司 具有感知互动功能的性爱辅助系统
CN109564706B (zh) * 2016-12-01 2023-03-10 英特吉姆股份有限公司 基于智能交互式增强现实的用户交互平台
CN106648116B (zh) * 2017-01-22 2023-06-20 隋文涛 一种基于动作捕捉的虚拟现实综合系统
US10576013B1 (en) * 2018-09-24 2020-03-03 Brian Sloan Synchronized video control system for sexual stimulation devices
CN110033505A (zh) * 2019-04-16 2019-07-19 西安电子科技大学 一种基于深度学习的人体动作捕捉与虚拟动画生成方法

Also Published As

Publication number Publication date
JP2023533701A (ja) 2023-08-04
WO2022007942A1 (zh) 2022-01-13
CN116322507A (zh) 2023-06-23
US20230252775A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
JP6912661B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR101700468B1 (ko) 사용자로부터 학습된 입력을 통해 비주얼 표현을 활성화하는 방법
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
KR20150140807A (ko) 홀로그램 객체 피드백
KR20120049218A (ko) 플레이어의 표현에 기반하는 비주얼 형상의 표현 방법
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
TW202119198A (zh) 虛擬化身動作產生方法和頭戴式顯示器系統
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
TWM631301U (zh) 互動式平台系統
US20220241692A1 (en) Program, method, and terminal device
US11430170B1 (en) Controlling joints using learned torques
JP7371820B1 (ja) アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
Mentzelopoulos et al. Hardware interfaces for VR applications: evaluation on prototypes
WO2023210164A1 (ja) アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
Reddy et al. IIMR: A Framework for Intangible Mid-Air Interactions in a Mixed Reality Environment
CN117679746A (zh) 游戏中的角色交互控制方法、装置及电子设备
GB2621868A (en) An image processing method, device and computer program

Legal Events

Date Code Title Description
GD4K Issue of patent certificate for granted utility model filed before june 30, 2004