TWI618048B - Music and video production system - Google Patents

Music and video production system Download PDF

Info

Publication number
TWI618048B
TWI618048B TW105136999A TW105136999A TWI618048B TW I618048 B TWI618048 B TW I618048B TW 105136999 A TW105136999 A TW 105136999A TW 105136999 A TW105136999 A TW 105136999A TW I618048 B TWI618048 B TW I618048B
Authority
TW
Taiwan
Prior art keywords
tone
mobile communication
communication terminal
image
unit
Prior art date
Application number
TW105136999A
Other languages
English (en)
Other versions
TW201740365A (zh
Inventor
Masaki Oguro
Daigo Kusunoki
Shogo Takeda
Hideaki Sago
Original Assignee
Dmet Products Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dmet Products Corp filed Critical Dmet Products Corp
Publication of TW201740365A publication Critical patent/TW201740365A/zh
Application granted granted Critical
Publication of TWI618048B publication Critical patent/TWI618048B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.

Abstract

一種樂音・影像產生系統，其包含：移動通信終端，其內置動作檢測裝置，且設置於動作對象物；及樂音・影像產生器，其具有與該移動通信終端以無線連接之通信裝置；且上述移動通信終端具有運算部，該運算部係將上述動作檢測裝置於大致正交之3軸之方向上檢測出之活動資料之大小之絕對值相加；上述樂音・影像產生系統具有判斷部，該判斷部根據上述運算部之運算結果，判斷是否檢測出特定量之活動，且上述樂音・影像產生器具有樂音・影像產生部，該樂音・影像產生部依照上述判斷部之判斷結果，產生樂音及影像之至少一者。

Description

樂音・影像產生系統
本發明係關於一種樂音．影像產生系統，其包含：移動通信終端，其內置動作檢測裝置，且設置於動作對象物；及樂音．影像產生器，其具有與該移動通信終端無線連接之通信裝置；且檢測動作對象物之運動而播放、或隨機播放預先設定之樂音及影像之至少一者。
先前，有一種可控制樂音之演奏介面，其主要著眼點在於：根據內置有裝在使用者身體上或手持的動作檢測裝置之移動通信終端之例如加速度之X方向、Y方向、Z方向之值之各者的大小關係，解析縱切動作、橫切、動作斜切動作、旋轉動作等，並基於此進行連音、斷音等使演奏樂曲具有音樂性(專利文獻1)。
然而，此種方式例如在跳舞者之手腕或腳上佩戴內置有動作檢測裝置之移動通信終端之情形時，哪怕微小之意外活動亦會發出聲音，無法展開身體活動。因此種壓力而無法集中精力跳舞。
又，於主要假設為玩具之演奏介面之情形時，採用怎麼也無法特定之多數兒童之平均值作為“發出、不發出樂音”之基準值，但並未考慮兒童之年齡差、體格差、力氣有無。因此，雖然動作看上去一樣，但有的兒童會發出樂音，有的兒童不會發出樂音。即，使用者若不熟練動作、且動作不夠有力等，便無法玩下去(專利文獻2)。
又，有一種音輸出控制裝置，將X軸方向及Z軸方向之加速度值相加 算出行程值，根據行程值之變化與預先規定之複數之閾值變成特定關係，推斷弦之操作位置，控制音輸出(專利文獻3)。又，有一種演奏裝置，演奏裝置本體之CPU判斷根據第1加速度感測器值之X軸、Y軸、Z軸之成分之值之平方之總和之平方根算出的感測器合成值，是否大於相當於(1+a)G之值，而產生樂音(專利文獻4)。進而，有一種演奏裝置，鼓棒部基於動作感測器資訊，進行敲擊檢測處理與動作檢測處理(專利文獻5)。
進而，於先前技術中，係採用如下方式：內置有動作檢測裝置之移動通信終端將動作檢測感測器(加速度、角速度、地磁等)之資訊全部發送至樂音產生器側，由該樂音產生器內之運算裝置進行判斷。於該情形時，若為單數或少量之複數，則處理上無問題，但例如大量跳舞者在各自雙手雙腳上佩戴內置有動作檢測裝置之移動通信終端，一齊發送動作檢測感測器資訊之情形時，樂音產生器側之運算裝置便無法完全處理。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2001-195059號公報
[專利文獻2]國際公開WO2015/177835號
[專利文獻3]日本專利特開2007-298598號公報
[專利文獻4]日本專利特開2012-018334號公報
[專利文獻5]日本專利特開2014-062949號公報
如上所述，人無法直觀地把握自身之3維位置(X，Y，Z)。但基於以X方向、Y方向、Z方向為基準構建之算法的演奏介面中，會於未預料之處發 出樂音。人體或包含人體之動作對象物有其獨特之活動，安裝於其之內置有動作檢測裝置之移動通信終端必須能單獨地調整檢測位準。內置有動作檢測裝置之多個移動通信終端同時發出樂音產生請求之情形時，最多只能1台樂音產生器相應其請求。
又，專利文獻3所記載之音輸出控制裝置中，係基於將X軸方向及Z軸方向之2軸之加速度值相加後之值而控制音輸出，但其係用控制器之行程值表現而算出弦之操作位置者，並非以檢測動作檢測裝置之活動之程度而產生樂音為目的。
又，專利文獻4所記載之演奏裝置本體，係基於算出加速度感測器值之X軸、Y軸、Z軸之各成分之值之平方之總和之平方根所得的感測器合成值，產生樂音，但與上述專利文獻1同樣地，因使用平方和，故而運算量多，有時會於未預料之處發出樂音。
又，專利文獻5所記載之演奏裝置係基於動作感測器資訊進行敲擊檢測處理及動作檢測處理，但並未具體揭示加速度感測器之信號之處理方法。
本發明係以解決上述問題為目的。
本發明之一實施形態係一種樂音．影像產生系統，其包含：移動通信終端，其內置動作檢測裝置，且設置於動作對象物；及樂音．影像產生器，其具有與該移動通信終端以無線連接之通信裝置；且上述移動通信終端具有運算部，該運算部係將上述動作檢測裝置於大致正交之3軸之方向上檢測出之活動資料之大小之絕對值相加；上述樂音．影像產生系統具有判斷部，該判斷部根據上述運算部之運算結果，判斷是否檢測出特定量之活動；上述樂音．影像產生器具有樂音．影像產生部，該樂音．影像產生部依照上 述判斷部之判斷結果，產生樂音及影像之至少一者。
根據本發明之一實施形態，可針對檢測出之活動忠實地產生樂音及影像之至少一者。
10‧‧‧移動通信終端
10_1‧‧‧移動通信終端
10_2‧‧‧移動通信終端
10_n‧‧‧移動通信終端
20‧‧‧伺服器鑰
30‧‧‧主機電腦
40‧‧‧樂音．影像產生器
ANT1‧‧‧收發天線
ANT2‧‧‧收發天線
ANTn‧‧‧收發天線
ANTD‧‧‧收發天線
C1‧‧‧連接器
C2‧‧‧連接器
CL1‧‧‧運算部
CL2‧‧‧運算部
CLn‧‧‧運算部
JD1‧‧‧判斷部
JD2‧‧‧判斷部
JDn‧‧‧判斷部
MD‧‧‧樂音資料
MEM‧‧‧記憶體
MS1‧‧‧動作感測器
MS2‧‧‧動作感測器
MSn‧‧‧動作感測器
PC‧‧‧通訊協定變換部
RF1‧‧‧RF開關
RF2‧‧‧RF開關
RV1‧‧‧接收部
RV2‧‧‧接收部
S01~S12‧‧‧步驟
SP‧‧‧揚聲器
SW1‧‧‧調測開關
SW2‧‧‧電源開關
TR1‧‧‧發送部
TR2‧‧‧發送部
TRD‧‧‧收發部
TRV1‧‧‧收發部
TRV2‧‧‧收發部
TRVn‧‧‧收發部
VD‧‧‧影像資料
圖1(a)-(m)係表示本發明之一實施形態之樂音．影像產生系統與應用例之圖。
圖2係本發明之一實施例之樂音．影像產生系統全體之概略構成圖。
圖3係本發明之一實施例之移動通信終端之概略構成圖。
圖4係內置有動作檢測裝置之移動通信終端之外觀之一例之圖。
圖5係樂音．影像產生器構成要素、伺服器鑰之概略構成圖。
圖6係伺服器鑰之外觀之一例之圖。
圖7係表示跳舞者2人於雙手、雙腳分別佩戴移動通信終端之例之圖。
圖8A係表示樂音．影像切換器之樂音群之切換例之圖。
圖8B係表示樂音．影像切換器之樂音群及影像群之切換例之圖。
圖9係將3維加速度感測器安裝於手腕且上下揮動10次之情形時之X、Y、Z方向之各值繪製而得之圖。
圖10係使用式(1)計算3維加速度感測器之X、Y、Z方向之各值並繪製而得之圖。
圖11係使用式(2)計算3維加速度感測器之X、Y、Z方向之各值並繪製而得之圖。
圖12係將3維陀螺儀感測器安裝於手腕並將手腕上下拿起放下之情形時之X、Y、Z方向之各值繪製而得的圖。
圖13係使用式(1)計算3維陀螺儀感測器之X、Y、Z方向之各值並繪製而得之圖。
圖14係使用式(2)計算3維陀螺儀感測器之X、Y、Z方向之各值並繪製而得之圖。
圖15係內置有動作檢測裝置之移動通信終端內之CPU之基本處理之圖。
圖16係表示3維加速度感測器之其他檢測例之圖。
以下敍述用以達成解決上述問題之目的之手段。
首先，為了便於說明，以3維加速度感測器為例。將3維感測器之正交之3軸(X軸、Y軸、Z軸)之加速度設為αx、αy、αz時，係如於αx<αz且αy<αz之情形時，為刺的動作；於αz<αx且αz<αy之情形時，為切的動作；於αz<αx且αz<αy且進而αx<αy，為橫切動作；於αz<αx且αz<αy且進而αy<αx，為縱切動作
等，不再使用先前之判斷方式，而是利用最簡單之方法計算活動之有無。再者，較理想為3軸正交，但只要為可檢測出不同方向之活動之方向即可，即，只要組合對於跳舞者之各種活動能用任一軸檢測之方向即可。
又，為了解決其他問題，對於安裝於動作對象物之內置有動作檢測裝置之移動通信終端，準備能單獨確認檢測位準閾值並將此值記憶於該移動通信終端內之手段。
於先前技術中，係採用內置有動作檢測裝置之移動通信終端係將動作檢測感測器(加速度、角速度、地磁等)之資訊全部發送至樂音．影像產生 器側，由其運算裝置進行判斷之方式，但例如大量跳舞者在各自雙手雙腳佩戴內置有動作檢測裝置之移動通信終端，並一齊發出動作檢測感測器資訊之情形時，樂音．影像產生器側之運算裝置便無法完全處理。
因此，本發明中，係於各個內置有動作檢測裝置之移動通信終端內判斷是否超過檢測位準閾值，將其判斷結果發送至樂音．影像產生器，於樂音．影像產生器側，依照指示產生預先設定(或隨機)之樂音。為了實現此目的，於內置有檢測裝置之移動通信終端內準備用於獨立判斷超過檢測位準閾值之硬體、軟體。
又，為了減輕樂音．影像產生器內之運算處理之負擔，亦可為如下實施例，於各個該移動通信終端內單獨地進行運算處理，僅將其運算結果發送至樂音．影像產生器，由該樂音．影像產生器內之運算裝置判斷是否超過各檢測位準閾值。
圖1中表示本發明之一實施形態之樂音．影像產生系統。
樂音．影像產生系統包含內置有動作檢測裝置之移動通信終端10及樂音．影像產生器40。藉由(a)~(h)所示之應用例、與(i)~(m)所示之樂音．影像產生器之各種組合而實現。
〔內置有動作檢測裝置之移動通信終端之佩戴例〕
圖1(a)表示由跳舞者佩戴之應用例。分別佩戴於雙手手腕、雙腳腳踝。腰等佩戴位置並無特別指定。跳舞原本是配合著音樂舞動，本發明中，即便沒有音樂，亦可由跳舞者通過自身的舞動奏出音樂。音樂與跳舞者奏出之音樂亦可合作。藉此，可實現更能動之跳舞構成，提昇藝術性。
圖1(b)表示BMX(Bicycle Motocross)之應用例。於跳躍、旋轉等表演、表演節目中能發出效果音，可吸引觀眾的注意。同樣地，也能用於使 用摩托越野賽、如空中旋轉之雜技表演。
圖1(c)表示安裝於滑板之例。空中飛躍時、落地時、刹停時等可發出效果音，吸引注意力。
圖1(d)表示於衝浪之應用。踏浪時、旋轉時、越過波浪時等，可藉由效果音吸引在海濱觀看的觀眾注意到自己的技藝。
進而，本發明中，可由沙灘上的同伴調整“發出音”、“不發出音”之位準，故而可進行微調整，如根據當日浪大、浪小，使未預料之處不發出效果音。
於含鹽分之海水內直接對該移動通信終端10進行位準調整，對於電子製品而言並不佳，且衝浪時帶著樂音．影像產生器表演並不現實。同樣地，於雪上、半管道等競技中亦可藉由效果音吸引注意。
圖1(e)表示籃球之應用例。若選手佩戴於手腕，投籃瞬間手腕揚起時，會發出引燃觀眾熱情的效果音，另，若內置於籃球內，當籃球在籃圈滾動時，會發出如咕嚕咕嚕之音，若籃球落入網中，便會發出如砰之效果音，可取樂觀眾。於街頭籃球之情形時，若於球之旋轉、反彈等時發出效果音，便可吸引走在路上的觀眾的注意。例如，於足球頂球之情形時，根據頂球瞬間或頂的高度發出效果音。又，頂球次數若於樂音．影像產生系統側產生如One，Two，Three等之音，便會增加遊戲效果。
圖1(f)表示顛球之應用例。於球或球桿內組入內置有動作檢測裝置之移動通信終端，根據衝擊、旋轉、高度發出效果音，非常有趣。
圖1(g)表示棒球之應用例。於棒球中組入內置有動作檢測裝置之移動通信終端，根據投球速度、轉速、旋轉方向改變音色。即便投出慢球，亦會發出如投出快球般之效果音，感受到進入手套之衝擊，發出如接住時速 150km之專業棒球投手投出之重球般之音等，增加娛樂性。進而，根據音辨識右旋、左旋、縱旋等，故而可進行變化球練習之確認。又，藉由搭載之感測器，亦可測定實際球速，故而增加有意性。
圖1(h)表示玩具之應用例。若為劍球，內置於球中，於空中飛行時發出旋轉音，接入劍內時發出喇叭聲等，玩具中亦能遊戲。悠悠球亦同樣地利用效果音享受樂趣。
〔樂音．影像產生器之例〕
樂音．影像產生器40係以作為主機電腦30之(i)平板PC、(j)智慧型手機、(k)筆記型PC、(l)桌上型PC、(m)專用機等之形態提供。
用於與內置有動作檢測裝置之移動通信終端10進行收發通信之電路，於未內置於上述(i)~(l)之情形時(專用機(m)為通信電路內置)，使用外接收發電路20(以下稱為伺服器鑰20)，例如經由USB(Univaersal Serial Bus)、微USB連接器等而連接於主機電腦(i)~(l)。
於內置於主機電腦(i)~(m)之揚聲器之音量小之情形時，如圖般使用外接之揚聲器或帶放大器之揚聲器。
〔系統全體之構成〕
圖2係本發明之一實施例之樂音．影像產生系統全體之概略構成圖。
內置有動作檢測裝置之移動通信終端10存在1至n個，藉由1台樂音．影像產生器30播放n個終端中預先設定之樂音。按商品企劃批次，亦可隨機播放樂音。
移動通信終端10_n包含動作感測器MSn、運算部CLn、判斷部JDn及收發部TRVn，通過天線ANTn，與構成樂音．影像產生器40之伺服器鑰20通信。其他移動通信終端10_1…亦具有相同之構成。無線通信係依照 WiFi、BlueTooth、ZigBee(均為註冊商標)或其他無線方式進行。於樂音．影像產生器40內置有該等無線通信裝置之情形時，無需伺服器鑰20。
於本發明之實施例中，移動通信終端10_n內之動作感測器MSn感知動作，根據樂音．影像產生器40產生樂音前之時間之關係，使用應答速度較快之ZigBee、Bluetooth。
伺服器鑰20包含收發天線ANTD，收發部TRD及通訊協定變換部PC，經由連接器C1而利用連接器C2與樂音．影像產生器40內之主機電腦30相連。一般而言，使用USB連接，故而伺服器鑰20內之介面為USB介面。
主機電腦30具備運算處理裝置CPU及GUI(Graphic User Interface)，使用者使用其進行各移動通信終端10_n之樂音分配等。於主機電腦內之記憶裝置(未圖示)保管有樂音資料MD及影像資料VD。影像資料VD可為動畫資料亦可為靜止圖像資料。
於自各移動通信終端10_n將產生樂音．影像之指示通過上述路徑送達主機電腦30之情形時，自主機電腦內之揚聲器(未圖示)、或外部連接之揚聲器SP、或者附放大器之揚聲器SP，產生使用上述GUI預先設定之樂音。
於自各移動通信終端10_n將產生影像之指示通過上述路徑送達主機電腦30之情形時，自主機電腦之顯示器、或外部連接之顯示器、投影儀(省略圖示)，產生使用上述GUI預先設定之影像。
樂音或影像是要預先設定、或是隨機選擇樂音或影像，係由產品企劃決定。又，可使樂音及影像兩者與跳舞者之動作建立對應，亦可使樂音或影像之一者與跳舞者之動作建立對應。可為檢測到跳舞者之手之活動則產生樂音、檢測到腳之活動則產生影像，亦可為檢測到右手或右腳之活動則產生樂音，檢測到左手或左腳之活動則產生影像。
如上述般，如要調整動作檢測位準之閾值，使用上述主機電腦之GUI一面改變閾值而將所需之移動通信終端10_n啟動，一面確認是否實際產生樂音。
於該情形時，資料係經由主機電腦之連接器C2、伺服器鑰20之連接器C1而流通，通過伺服器鑰20內之收發部TRD，自收發天線ANTD作為電波而流通。
所需之移動通信終端10_n中有個別識別編號，故而由識別出其為與自身通信之該移動通信終端10_n之收發部TRVn接收資料。將判斷部JDn之動作檢測位準之閾值作為比較值予以記憶(未圖示)。
〔內置有動作檢測裝置之移動通信終端之構成〕
圖3係本發明之一實施例之內置有動作檢測裝置之移動通信終端10之概略構成圖。
如上述般，於本發明中該移動通信終端為主體地與動作檢測位準之閾值進行比較，進行樂音之產生指示，故需要有用於運算處理之CPU1。
由上述手續決定之動作檢測位準之閾值係藉由CPU1之設定部而記憶於外部或CPU內部之記憶體MEM。CPU1之判斷部基於自動作感測器MS1獲得之資料，以運算部進行特定之運算，與記憶體MEM中保存之動作檢測位準之閾值進行比較，而判斷“產生樂音”或“不產生樂音”。
於CPU1之判斷部判斷為產生樂音之判斷之情形時，依照所使用之無線方式之通訊協定構成資料行，將RF開關RF1切換至輸出側後，通過發送部TR1自天線ANT1發送該資料行。
又，如上述般，亦可為利用CPU1之運算部進行特定之運算，僅將其結果發送至樂音．影像產生器40之主機電腦30，藉由該主機電腦30內之 CPU進行與特定之閾值進行比較，而判斷“產生樂音”或“不產生樂音”。
RF開關RF1於發送時以外係切換至輸入側，自天線ANT1通過接收部RV1輸入依照CPU1使用之無線方式之通訊協定的資料行。CPU1始終自上述資料行之中持續監視個別識別編號，於與自身編號一致之情形時，理解為自樂音．影像產生器40之伺服器鑰20發送了新的動作檢測位準之閾值，藉由CPU1內之設定部將該閾值記憶於外部或CPU內部之記憶體MEM。
動作感測器MS1如上述般為加速度感測器、陀螺儀感測器、地磁感測器等，根據商品企劃而單獨搭載或搭載複數種。存在1維(X方向)、2維(X方向、Y方向)、3維(X方向、Y方向、Z方向)等各種，3維方式占多數且流通成本低，故而僅記述3維方式已足夠。
SW1係用於獲得移動通信終端10_n與樂音．影像產生器30內之主機電腦配對之調測開關(commission switch)。藉此，可將移動通信終端10_n之個別識別編號保存並記憶於主機電腦內，使用上述主機電腦30之GUI，進行產生哪個樂音、將動作檢測位準之閾值設為哪個值等之設定。
LED1係用於在上述資料行之收發時確認動作而點亮之顯示器。移動通信終端10_n係如圖1所示安裝於各種地方，故而需要電池驅動。SW2為電源開關，經由其而向各電路供給電源。
使用之電池根據商品企劃而各種各樣。於使用充電電池之情形時，根據商品企劃亦有於移動通信終端10n內部具有充電電路之情形(未圖示)。
圖4表示內置有動作檢測裝置之移動通信終端10之外觀之一例。
表示有上述調測開關SW1、電源開關SW2、收發時之通信監視顯示器LED1。
〔伺服器鑰之構成〕
圖5係樂音．影像產生器40之構成要素、伺服器鑰20之概略構成圖。
連接器C1係如上述般通常使用USB。USB可對每1連接器自主機電腦獲取+5V、500mA之電源，故而足夠供應伺服器鑰20全體之電力。自連接器C1直接獲取電源並供給至伺服器鑰內之各部。僅於主機電腦動作時伺服器鑰發揮作用，故而不設置電源開關。
LED2係用於顯示正在供給電源。
自主機電腦流出之資料行係依照USB通訊協定而構成，經由USB纜線，通過USB介面INT而交接給CPU2。該伺服器鑰20具有將資料行變換成使用之電波通信方式之通訊協定的作用。
即，CPU2依照收發，利用通訊協定變換部進行變換，於發送時USB通訊協定→電波通信方式通訊協定
接收時電波通信方式通訊協定→USB通訊協定。
天線ANT2、RF開關RF2、接收部RV2、發送部TR2之動作係與上述相同故而省略說明。
圖6表示伺服器鑰20之外觀之一例。
伺服器鑰20具有電源顯示LED2、連接器C1(圖6中未示出)、及纜線。
〔其他應用例〕
圖7係跳舞者2人於雙手、雙腳分別佩戴內置有動作檢測裝置之移動通信終端之例。於該情形時，將合計8個移動通信終端之個別識別編號按照上述方法保存並記憶於樂音．影像產生器40內之主機電腦30內，使用上述主機電腦30之GUI，進行產生哪個樂音、或動作檢測位準之閾值設為哪個值等之設定。
此處，考慮將圖3之動作感測器MS1置換成單純之開關之例。將其命 名為樂音．影像切換器。該樂音．影像切換器於外觀上係與內置有動作檢測裝置之移動通信終端相同，使用依照無線方式之通訊協定之資料行中之最大1個位元，識別是移動通信終端還是樂音．影像切換器即可。
樂音．影像切換器與主機電腦30之配對依照將上述移動通信終端10_n之個別識別編號記憶於主機電腦之順序即可。即，利用調測開關，將樂音．影像切換器之個別識別編號保存並記憶於主機電腦內，利用依照上述無線方式之通訊協定之資料行中之最大1個位元，識別此係樂音．影像切換器。
圖8A表示樂音群之切換例。該應用例中，每次按下樂音．影像切換器之開關，按照樂音群1→樂音群2→樂音群3→樂音群1→…切換。跳舞者藉由用腳踩下設置在地板或地面的樂音．影像切換器之開關，而切換樂音群。藉由該樂音．影像切換器，跳舞者可構成更豐富多彩之表演。圖8A之例中，藉由樂音群1→樂音群2之切換，而利落地調換跳舞者A與跳舞者B之音。
圖8B表示樂音群及影像群之切換例。該應用例中，每次按下樂音．影像切換器之開關，按(樂音群1及影像群1)→(樂音群2及影像群2)→(樂音群3及影像群3)→(樂音群1及影像群1)→…切換。跳舞者藉由用腳踩下設置於地板或地面之樂音．影像切換器之開關，而切換樂音群及影像群。藉由該樂音．影像切換器，跳舞者可利用影像及樂音構成豐富多彩之表演。於圖8B之例中，藉由樂音群1→樂音群2之切換，調換跳舞者A與跳舞者B之音，但影像不調換，而是變成其他影像。
再者，雖使用圖8A說明了切換樂音之例、使用圖8B說明了切換樂音及影像之例，但於本實施例之樂音．影像產生系統中，亦可僅切換影像。
根據樂音．影像產生器40內之主機電腦30之應用軟體之商品企劃，樂音切換方式有多種多樣。例如，於每次按下樂音．影像切換器，便切換跳 舞者A與跳舞者B之樂音之例中，構成如跳舞者A為攻擊側、跳舞者B為防守側之情景舞蹈之情形時，可操作設置於地板之樂音．影像切換器之開關(例如腳踩)一下子實現如攻守轉換之表演。又，亦可實現有趣之演出，例如當跳舞者A指向跳舞者B時，操作開關便調換各移動通信終端之設定音。
樂音．影像切換器無須為一個，亦可如跳舞者A用、跳舞者B用般為各表演者準備固有之樂音．影像切換器。
〔根據動作感測器資料之活動檢測計算方法〕
根據本發明之技術方案1，其特徵在於具有將動作感測器資料之大小相加之運算部。
此處，以加速度感測器為例進行說明之、先前重視加速度之X方向、Y方向、Z方向之各成分的方式中，首先利用下式求出絕對加速度、即加速度之絕對值｜α｜。
於在X方向、Y方向、Z方向解析人之活動之情形時，已知其活動之波形為包含多個疑似波峰之複雜波形。因此，需要自上述式(1)之加速度絕對值除去不必要之高頻成分，故而需要通過例如12次之移動平均數位濾波器等。
圖9係將3維加速度感測器佩戴於手腕，上下揮動10次之情形時之X方向、Y方向、Z方向之值繪製而得的圖。
縱軸之值表示重力加速度mg(毫克)。繪製點之時間間隔係測定用個人 電腦軟體之主迴圈1周之時間。即，主迴圈內讀取1次3維加速度感測器之值。可知左側之下振幅較大之部分為向下側有力揮動手腕之情形，之後值係如下、下、上、…般波動。
圖10係使用式(1)計算圖9之各成分之值並繪製而得之圖。圖11係使用本發明中使用之式(2)進行計算並繪製而得之圖。
[數2]｜αx｜+｜αy｜+｜αz｜．．．(2)
對比圖10與圖11，可以說圖10為比較平穩之曲線，而圖11顯示振幅變化較大。但，圖10與圖11之曲線波形除了振幅以外並無明顯差別。
圖12係將3維陀螺儀感測器佩戴於手腕並將手腕上下拿起放下之情形時之X方向、Y方向、Z方向之值繪製而得的圖。
縱軸之值表示dps(Degree per Second)。繪製點之時間間隔係與上述同樣地為測定用個人電腦軟體之主迴圈一周之時間。即，主迴圈內讀取一次3維陀螺儀感測器之值。可知Z方向成分尤其於上下波動較大。
圖13係使用式(1)計算圖12之各成分之值並繪製而得之圖。圖14係基於本發明使用之式2之運算結果繪製而得之圖。
對比圖13與圖14，可以說圖13比較平穩，為振幅較小之曲線，而圖14顯然振幅變化較大。但，圖13與圖14之曲線波形除了振幅以外並無明顯差別。
如上述般實際地進行實驗並將計算結果分別變成曲線時，可知即便不進行複雜平方根計算或需要乘算器之平方計算等，僅單純地藉由絕對值之 加法運算便可獲得必要之資料。
於圖1(a)般使用複數個內置有動作檢測裝置之移動通信終端10之應用例中，要求該移動通信終端之市場價格低廉。如上述般要執行式(1)，需要自驅使平方計算或平方根計算所得之加速度絕對值除去不必要之高頻成分，故而進一步需要通過例如12次之移動平均數位濾波器等。
於移動通信終端10執行式(1)時，圖3之CPU1只能採用可進行複雜平方根計算、乘算之昂貴的個人電腦。就該點而言，如上述般沒有向市場廉價提供移動通信終端之餘地。
若設為由圖2之主機電腦30執行此複雜平方根計算、乘算之形式，如上述般，變成內置有動作檢測裝置之移動通信終端10將動作檢測感測器(加速度、角速度、地磁等)之資訊全部發送至樂音．影像產生器側的規格。就該點而言，例如於大量跳舞者在各自雙手雙腳佩戴內置有動作檢測裝置之移動通信終端，一齊送出動作檢測感測器資訊之情形時，樂音．影像產生器側之運算裝置便無法完全處理。
因此，捨棄使用以複雜平方根計算、乘算、進而高次之數位濾波器為前提之式(1)之方式，而是如本發明之技術方案1般使用僅藉由加算便可實現之式(2)。並且，於各該移動通信終端內判斷是否超過檢測位準閾值，僅將其判斷結果發送至樂音．影像產生器40、或將加算後之資料本身發送至樂音．影像產生器40，由樂音．影像產生器40內之主機電腦30進行判斷。主機電腦30依照指示產生預先設定(或隨機)之樂音。
根據本發明，圖3之CPU1可使用前幾代之非常廉價之位數少的個人電腦，從而可向市場廉價提供移動通信終端。
即，要執行平方根、平方計算，必須要浮點運算，甚至要準備12次之 數位濾波器，而需要昂貴之32bit個人電腦。就該點而言難以向使用者提供廉價之攜帶型終端。另一方面，於本發明中，僅進行單純之整數加法運算及整數值之大小比較，故而使用非常廉價之4代前之8bit個人電腦即足夠。根據本發明，可向使用者提供廉價之攜帶型終端。
於攜帶型終端不進行上述浮點運算，而是由樂音．影像產生器之主機電腦執行上述運算之先前技術之情形時，係發送攜帶型終端內之、例如3維加速度感測器之X方向、Y方向、Z方向之值本身。但，於自多個攜帶型終端一齊發送資料之情形時，主機電腦來不及處理，而引起產生樂音、未產生產生樂音、或樂音產生延遲之異狀。本發明可解決此種問題。
〔內置有動作檢測裝置之移動通信終端之更具體的構成〕
內置有動作檢測裝置之移動通信終端10如上述般需要電池驅動。為了增加電池驅動之移動通信終端之可動作時間，重要的是抑制耗電。
一般而言，已知移動通信終端中耗電多的部分為電波收發部。即，若不使用該電波收發部時關閉電源(待機模式)、僅於必要時接通電源，便可綜合性地抑制耗電。
於內置有動作檢測裝置之移動通信終端之更具體的構成中，圖3之發送部TR1、接收部RV1、RF開關RF1乃至收發天線ANT1，係使用成為一個單元之集合零件XB。於使用該集合零件之情形時，移動通信終端10以動作感測器MS1、CPU1及該集合零件XB為3個主要組件。
〔移動通信終端內之CPU之基本動作〕
圖15表示該移動通信終端10內之CPU1之基本處理流程之一閾值。若圖3、圖4之電源開關SW2接通，CPU1啟動，按照圖15之流程之順序開始處理。
首先，進行動作感測器MS1之初始設定(步驟S01)、動作檢測位準之閾值之初始設定(步驟S02)、集合零件XB之待機模式設定(步驟S03)。至此為初始設定。
於上述初始設定之後，進入主迴圈，進行一連串處理。此處，說明搭載3維加速度感測器之例。
首先，讀取3維加速度感測器MS1之X方向、Y方向、Z方向之各自之值(步驟S04)。然後，藉由運算部，使用式(2)進行計算(步驟S05)，以判斷部將其計算結果與動作檢測位準之閾值進行比較(步驟S06)。
於判斷部判斷計算結果超過閾值之情形時，解除集合零件XB之待機模式(步驟S07)，發送樂音．影像產生指示(步驟S08)。此處，集合零件XB於發送之同時接收來自樂音．影像產生器40內之主機電腦30之資料。於接收到資料之情形時(步驟S09)，若其為閾值資料(步驟S10)，藉由設定部將新的閾值資料存儲至圖3之記憶體MEM(步驟S11)。其後，再次將集合零件XB設定為待機模式以節能(步驟S12)，返回到再次讀取3維加速度感測器MS1之值之步驟(步驟S04)。以上構成主迴圈。
〔登錄處理〕
如上述般，登錄處理係藉由按下調測開關SW1而開始。CPU1若識別出該SW1被按下，便於依照使用之無線方式之通訊協定之資料行中，嵌入移動通信終端10之個別識別編號，並發送至樂音．影像產生器40。樂音．影像產生器40內之主機電腦30保存並記憶此個別識別編號，藉由GUI顯示而通知給使用者。
〔閾值資料收發處理〕
成為樂音．影像產生之判斷基準之閾值資料係根據主機電腦30之GUI 操作等而進行。使用者操作GUI畫面切換至閾值資料設定畫面決定閾值。此閾值資料係與成為對象之移動通信終端之個別識別編號，一併組入依照使用之無線方式之通訊協定的資料行，並通過圖2之伺服器鑰20之收發天線ANTD、移動通信終端10_n之收發天線ANTn輸入。
移動通信終端10_n確認發送來的個別識別編號是否與自身編號一致，並將該閾值利用CPU1內之設定部記憶於外部或CPU內部之記憶體MEM。
〔樂音．影像產生處理〕
如上述般，圖3之CPU1之判斷部基於自動作感測器MS1獲得之資料利用運算部進行特定之運算，與記憶體MEM中保存之動作檢測位準之閾值進行比較，判斷“產生樂音”或“不產生樂音”。於播放影像之情形時，判斷“產生影像”或“不產生影像”。其判斷結果係與個別識別編號一併組入依照使用之無線方式之通訊協定之資料行，並自收發天線ANT1發送。
發送之資料由圖2之樂音．影像產生器40之伺服器鑰20接收，通過通訊協定變換PC後發送至主機電腦30。主機電腦30確認發送來的個別識別編號中是否已設定樂音及影像，產生相應的樂音及影像。
如上述般，亦可為如下方式，藉由CPU1之運算部進行特定之運算，僅將其結果發送至樂音．影像產生器40之主機電腦30，藉由該主機電腦30內之CPU判斷“產生樂音”或“不產生樂音”。於播放影像之情形時，亦可為判斷“產生影像”或“不產生影像”之方式。
〔根據動作感測器資料之活動檢測之其他計算方法〕
其次，說明加速度之其他檢測例。於上述實施例中，係根據3軸之加速度值之絕對值之和檢測人之活動，但以下說明之變化例中，係根據加速 度之變化量檢測人之活動。
具體而言，於檢測加速度之X方向、Y方向、Z方向之各成分之情形時，根據3軸加速度感測器之輸出值，使用式(3)計算加速度αx、αy、αz之絕對值之和之特定時間(例如1毫秒等、CPU)之變化量，比較計算之值與特定之動作檢測位準閾值，於加速度之絕對值之合計值之變化量超過特定之閾值之情形時，判斷為“產生樂音”。
[數3]△(｜αx｜+｜αy｜+｜αz｜)…(3)
圖16表示X軸方向之加速度之變化。如圖16所示，波峰B大於波峰A，波峰B超過閾值C，但波峰A未超過閾值C。若比較波峰A及波峰B之上升部分，則波峰B之上升部B'相比波峰A之上升部A'，每單位時間之加速度之變化較大。因此，藉由比較特定時間之加速度之絕對值之和之變化量與特定之動作檢測位準閾值，可快速判斷為“產生樂音”，能以較少之延遲產生樂音或影像。
又，於使用加速度之變化量之情形時，亦可利用平方和之平方根算出各軸之加速度之合成值，根據此合成值判斷是否“產生樂音”。具體而言，比較使用式(4)計算之合成值之特定時間(例如1毫秒)之變化量與特定之動作檢測位準閾值，於加速度之合成值之變化量超過特定之閾值的情形時，判斷為“產生樂音”。
[數4]
如以上所說明般，於本變化例中，藉由使用加速度之變化量，於3軸之加速度之絕對值之和達到特定之閾值前，便可檢測出應產生樂音之活動，故而可較少延遲地產生樂音或影像。
該變化例係以加速度為例進行說明，但亦可使用角速度、地磁等之變化量檢測人之活動。又，亦可不判斷樂音之產生時機而是判斷影像之產生時機。亦可於樂音之產生時機之判斷之同時判斷影像之產生時機。
如以上所說明般，根據本發明之實施例，係根據大致正交之3軸之方向上檢測出之活動資料判斷動作對象物(人等)之活動，故而與專利文獻3所記載之使用2軸之加速度算出弦之操作位置相比所要解決之問題不同，且技術思想不同。
又，根據本發明之實施例，係使用將於大致正交之3軸之方向上檢測出之活動資料之大小之絕對值相加後的結果，判斷是否檢測出特定量之活動，故而與使用算出加速度值之X軸、Y軸、Z軸之各成分之值之平方之總和之平方根所得之值的先前技術不同，運算量變少，且可無延遲地處理多個動作對象物(人等)之活動。又，活動判定用之值之變化量變大，閾值之設定變得容易，可減少誤動作。
再者，本發明並不限定於上述實施例，包含各種變化例。例如，上述實施例係為了便於說明本發明而詳細地說明者，並非必須限定於具備說明之全體構成者。又，亦可將某一實施例之構成之一部分置換為其他實施例之構成，且亦可於某一實施例之構成中添加其他實施例之構成。又，關於各實施例之構成之一部分，可進行其他構成之追加．刪除．置換。
例如，判斷部係安裝於移動通信終端，但亦可安裝於主機電腦(樂音．影像產生器)。於該情形時，移動通信終端將活動之檢測值(加速度感測器之輸出)之各成分之和發送至主機電腦，由主機電腦之判斷部判斷計算結果是否超過閾值。

Claims (6)

  1. 一種樂音．影像產生系統，其包含：移動通信終端，其內置動作檢測裝置，且設置於動作對象物；及樂音．影像產生器，其具有與該移動通信終端以無線連接之通信裝置；且上述移動通信終端具有運算部，該運算部係將上述動作檢測裝置於大致正交之3軸之方向上檢測出的活動資料之大小之絕對值相加；上述樂音．影像產生系統具有判斷部，該判斷部根據上述運算部之運算結果，判斷是否檢測到特定量之活動；上述樂音．影像產生器具有樂音．影像產生部，該樂音．影像產生部依照上述判斷部之判斷結果，產生樂音及影像之至少一者。
  2. 如請求項1之樂音．影像產生系統，其中上述判斷部根據於加速度、角速度及地磁之至少一者中檢測出之活動資料之大小之絕對值之和超過特定之基準值，判斷是否檢測出上述特定量之活動。
  3. 如請求項1之樂音．影像產生系統，其中上述移動通信終端具有：上述判斷部；及發送部，其發送上述判斷部之判斷結果；且上述樂音．影像產生器具有自上述移動通信終端接收判斷結果之接收部。
  4. 如請求項3之樂音．影像產生系統，其中上述移動通信終端具有設定上述判斷部之判斷基準值之設定部，上述樂音．影像產生器係受理設定於上述設定部之基準值之輸入，且發送至上述移動通信終端。
  5. 如請求項3或4之樂音．影像產生系統，其包含：各自被賦予唯一之識別資訊之複數個上述移動通信終端，且上述發送部將上述識別資訊與上述判斷結果一併發送，上述樂音．影像產生部依照上述判斷部之判斷結果，產生對應於上述識別資訊而設定的樂音。
  6. 如請求項1之樂音．影像產生系統，其中上述判斷部係根據於檢測出之加速度、角速度及地磁之至少一者中檢測出之活動資料之特定時間內之絕對值之和之變化量是否超過特定之基準值，判斷是否檢測出上述特定量之活動。
TW105136999A 2016-05-13 2016-11-14 Music and video production system TWI618048B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/064248 WO2017195343A1 (ja) 2016-05-13 2016-05-13 楽音発生システム
PCT/JP2016/080487 WO2017195390A1 (ja) 2016-05-13 2016-10-14 楽音・映像発生システム

Publications (2)

Publication Number Publication Date
TW201740365A TW201740365A (zh) 2017-11-16
TWI618048B true TWI618048B (zh) 2018-03-11

Family

ID=60267797

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105136999A TWI618048B (zh) 2016-05-13 2016-11-14 Music and video production system

Country Status (3)

Country Link
US (1) US20180286366A1 (zh)
TW (1) TWI618048B (zh)
WO (2) WO2017195343A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168634B (zh) * 2017-03-24 2024-03-19 雅马哈株式会社 发声装置、发声系统及游戏装置
KR102415111B1 (ko) * 2018-01-08 2022-06-30 로란도가부시끼가이샤 악기용 송신기 및 그 모드 전환 방법
US11688373B2 (en) * 2018-04-19 2023-06-27 Roland Corporation Electric musical instrument system, control method and non-transitory computer readable medium t hereof
CN111803904A (zh) * 2019-04-11 2020-10-23 上海天引生物科技有限公司 一种舞蹈教学练习装置及方法
US11167206B2 (en) 2019-05-22 2021-11-09 Casio Computer Co., Ltd. Portable music playing game device
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
GB2611021A (en) * 2021-08-27 2023-03-29 Little People Big Noise Ltd Gesture-based audio syntheziser controller
TWI825576B (zh) * 2022-01-28 2023-12-11 中華電信股份有限公司 實現線上異地同步合奏之協作系統、方法及電腦可讀媒介

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195059A (ja) * 2000-01-11 2001-07-19 Yamaha Corp 演奏インターフェイス
TWI402784B (zh) * 2009-09-18 2013-07-21 Univ Nat Central Music detection system based on motion detection, its control method, computer program products and computer readable recording media

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003038469A (ja) * 2001-05-21 2003-02-12 Shigeru Ota 運動機能測定装置および運動機能測定システム
JP4679431B2 (ja) * 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
JP4941037B2 (ja) * 2007-03-22 2012-05-30 ヤマハ株式会社 トレーニング支援装置、トレーニング支援方法及びトレーニング支援装置用プログラム
JP2011053321A (ja) * 2009-08-31 2011-03-17 Yamaha Corp 携帯情報機器
JP5029732B2 (ja) * 2010-07-09 2012-09-19 カシオ計算機株式会社 演奏装置および電子楽器
JP5533915B2 (ja) * 2012-03-07 2014-06-25 カシオ計算機株式会社 習熟度判定装置、習熟度判定方法及びプログラム
JP6098083B2 (ja) * 2012-09-20 2017-03-22 カシオ計算機株式会社 演奏装置、演奏方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195059A (ja) * 2000-01-11 2001-07-19 Yamaha Corp 演奏インターフェイス
TWI402784B (zh) * 2009-09-18 2013-07-21 Univ Nat Central Music detection system based on motion detection, its control method, computer program products and computer readable recording media

Also Published As

Publication number Publication date
US20180286366A1 (en) 2018-10-04
TW201740365A (zh) 2017-11-16
WO2017195390A1 (ja) 2017-11-16
WO2017195343A1 (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
TWI618048B (zh) Music and video production system
US10384129B2 (en) System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
JP5730463B2 (ja) ゲームプログラムおよびゲーム装置
US8994659B2 (en) Methods for shape detection correlated with position detection and systems for processing the same
US8591333B2 (en) Game controller with receptor duplicating control functions
US9372534B2 (en) Interactive wearable videogame through the use of wireless electronic sensors and physical objects
US20080174550A1 (en) Motion-Input Device For a Computing Terminal and Method of its Operation
KR101599303B1 (ko) 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법
CN106062837A (zh) 用于实现身体体验的系统与方法
WO2008118666A1 (en) Interactive clothing system
US20220351708A1 (en) Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
JPWO2015107737A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20160357251A1 (en) System and Method for Generating Wireless Signals and Controlling Digital Responses from Physical Movement
US20190091563A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
KR20150120755A (ko) 초광대역 무선통신을 이용한 3d 가상현실 시스템
JP6722727B2 (ja) 表示システム
WO2010068901A2 (en) Interface apparatus for software
JP2019004927A (ja) 電子機器、リズム情報報知方法及びプログラム
US10758801B1 (en) Method and system for proper kicking technique
GB2552744A (en) Musical sound and image generation system
US20210178250A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
WO2011046014A1 (ja) ゲームシステム及びゲーム装置
TW201016270A (en) Sports implement for using in a virtual sports system
CN111045514A (zh) 用于游戏控制的鞋子及游戏控制方法
CN101168096A (zh) 模拟人体动作的游戏系统及系统中使用的空气流量传感器

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees