TW202418267A - 控制器、音樂產生系統、方法、程式及記憶媒體 - Google Patents

控制器、音樂產生系統、方法、程式及記憶媒體 Download PDF

Info

Publication number
TW202418267A
TW202418267A TW112123494A TW112123494A TW202418267A TW 202418267 A TW202418267 A TW 202418267A TW 112123494 A TW112123494 A TW 112123494A TW 112123494 A TW112123494 A TW 112123494A TW 202418267 A TW202418267 A TW 202418267A
Authority
TW
Taiwan
Prior art keywords
controller
music
operating element
unit
indicator
Prior art date
Application number
TW112123494A
Other languages
English (en)
Inventor
田中直基
村上晉太郎
九鬼慧太
藍耕平
Original Assignee
日商電通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商電通股份有限公司 filed Critical 日商電通股份有限公司
Publication of TW202418267A publication Critical patent/TW202418267A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

控制音樂產生裝置之控制器係具備有：取得部，其取得使用者之視線資訊；顯示控制部，其於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由取得部取得之視線資訊，於顯示部顯示用以選擇操作元件之指標；決定部，其決定複數個操作元件中與指標之至少一部分重疊之操作元件的選擇；及通信部，其將與決定部已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至音樂產生裝置。

Description

控制器、音樂產生系統、方法、程式及記憶媒體
本發明係關於一種控制器、音樂產生系統、方法、程式及記憶媒體。
過往，已知有一種演奏介面，其根據操作者之身體狀況而生成用以控制自音樂產生裝置產生之音樂的演奏控制資訊(參照專利文獻1)。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開2001-195059號公報
(發明所欲解決之問題)
然而，過往對於供ALS(Amyotrophic lateral sclerosis，肌萎縮性脊髓側索硬化症)患者等身體移動受到限制之使用者加以使用的情形，並無任何提案。
本發明所欲解決之問題在於，可使身體移動被限制之使用者容易地控制音樂產生裝置。 (解決問題之技術手段)
第1態樣之控制器係控制音樂產生裝置者；其具備有：取得部，其取得使用者之視線資訊；顯示控制部，其於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由上述取得部所取得之上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標；決定部，其決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇；及通信部，其將與上述決定部已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置。
根據該構成，身體移動被限制之使用者可容易地控制音樂產生裝置。
第2態樣之控制器係於上述第1態樣之控制器中，上述顯示控制部係於上述顯示部顯示三維空間之影像，且以在上述三維空間移動之方式於上述顯示部顯示上述複數個操作元件。
根據該構成，使用者可配合在三維空間移動之操作元件的動作來控制音樂產生裝置。
第3態樣之控制器係於上述第2態樣之控制器中，上述顯示控制部係以自上述三維空間之內部朝面前移動之方式，於上述顯示部顯示上述複數個操作元件中的至少一個操作元件。
根據該構成，使用者可一面配合自三維空間之內部朝面前移動之操作元件的動作而獲得沉浸感，一面控制音樂產生裝置。
第4態樣之控制器係於上述第1至第3態樣中任一態樣之控制器中，上述顯示控制部係於上述指標附近顯示指示器，該指示器係顯示與由上述音樂產生裝置所演奏之樂曲的一小節對應之既定時間的經過。
根據該構成，使用者可使時間點與指示器顯示之既定時間的經過相配合地控制音樂產生裝置。
第5態樣之控制器係於上述第4態樣之控制器中，上述指示器包含配合上述既定時間的經過而動態地變化之圓形的儀表圖形。
根據該構成，使用者可在視覺上容易地識別既定時間的經過。
第6態樣之控制器係於上述第4或第5態樣之控制器中，上述指示器包含計時器，該計時器係對上述既定時間進行遞減計時或遞增計時。
根據該構成，使用者可容易地使時間點與既定時間之經過配合而控制音樂產生裝置。
第7態樣之控制器係於上述第6態樣之控制器中，上述計時器係依逐一節拍地對上述既定時間進行遞減計時或遞增計時。
根據該構成，使用者可配合樂曲之節奏來控制音樂產生裝置。
第8態樣之控制器係於上述第4至第7態樣中任一態樣之控制器中，上述決定部係於上述既定時間之經過時，決定與上述指標之至少一部分重疊之操作元件的選擇。
根據該構成，由於在經過既定時間時自動地決定操作元件的選擇，因此可容易地配合樂曲之節奏來控制音樂產生裝置。
第9態樣之控制器係於上述第1至第8態樣中任一態樣之控制器中，上述決定部係決定與上述指標之基準位置重疊之操作元件的選擇。
根據該構成，可更準確地進行操作元件的選擇。
第10態樣之控制器係於上述第9態樣之控制器中，上述基準位置係上述指標之大致中心。
根據該構成，可更容易地選擇操作元件。
第11態樣之控制器係於上述第1至第10態樣中任一態樣之控制器中，上述決定部係於無上述使用者之視線資訊以外的使用者操作之狀態下，決定上述操作元件的選擇。
根據該構成，由於可僅藉由使用者之視線資訊(視線輸入)來選擇操作元件，因此即使為身體之自由被限制之使用者，也可容易地控制音樂產生裝置。
第12態樣之音樂產生系統係具備有音樂產生裝置及控制該裝置之控制器者；其具備有：取得部，其取得使用者之視線資訊；顯示控制部，其於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由上述取得部所取得之上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標；決定部，其決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇；及通信部，其將與上述決定部已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置。
第13態樣之方法係控制音樂產生裝置之方法，其特徵在於，其包含有以下步驟：取得使用者之視線資訊的步驟；於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標的步驟；決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇的步驟；及，將與上述已決定的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置的步驟。
根據該構成，身體移動被限制之使用者可容易地控制音樂產生裝置。
第14態樣之程式係用以使電腦執行控制音樂產生裝置之方法者；其特徵在於，上述方法包含有以下步驟：於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據使用者之視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標的步驟；決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇的步驟；及將與上述已決定的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置的步驟。
第15態樣之記憶媒體係可由記憶有上述第14態樣之程式的電腦進行讀取的記憶媒體。
以下，參照附加圖式，對本發明之實施形態詳細地進行說明。再者，於各圖中，對具有相同功能之構成要件賦予相同之符號，且不重複相同符號之構成要件的詳細說明。
(音樂產生系統之構成) 圖1為顯示一實施形態之音樂產生系統1之概略構成的圖。如圖1所示，本實施形態之音樂產生系統1係具備有控制器2與音樂產生裝置3。控制器2與音樂產生裝置3係藉由後述之通信介面(I/F)而可通信地加以連接。
控制器2係用以根據依照MIDI(Musical Instrument Digital Interface，音樂數位介面)規格之通信協定來控制音樂產生裝置3之裝置。並且，控制器2係連接於：眼動追蹤裝置21，其係用以供ALS患者等身體移動具有限制之使用者藉由視線輸入而將各種資訊輸入至控制器2；及輸入裝置22，其供使用者進行手動操作(控制器2也可具備眼動追蹤裝置21與輸入裝置22)。
眼動追蹤裝置21係追蹤使用者之眼睛的運動(視線方向)，而將視線資訊輸出至控制器2。視線資訊例如可藉由自依序拍攝使用者之眼球像而得之圖像中擷取瞳孔等特徵圖案而生成。本實施形態係著眼於可供ALS患者移動視線，使用視線資訊來控制音樂產生裝置3之技術。
輸入裝置22係手動開關、腳動開關等可供使用者操作之輸入裝置。當使用者使用輸入裝置22執行操作時，將與該操作對應之信號自輸入裝置22輸出至控制器2。較佳為，輸入裝置22可供ALS患者等身體移動被限制之使用者簡單地進行輸入操作，例如，輸入操作係藉由使用者之身體按下開關。
音樂產生裝置3係用以根據自控制器2接收之依據MIDI規格的信號來產生音樂的裝置。例如，藉由於個人電腦中安裝並執行被稱為DAW(Digital Audio Workstation，數位音訊工作站)之合成音樂軟體，而可將該個人電腦作為音樂產生裝置來使用。此外，音樂產生裝置3具備用以根據音響信號進行播放聲音之音響系統31。
(硬體構成) 接著，對本實施形態之音樂產生系統1之硬體構成進行說明。圖2為顯示本實施形態之音樂產生系統1之硬體構成的一例的方塊圖。
於控制器2中，CPU 23係控制該控制器2整體動作之處理裝置。ROM 24係儲存CPU 23所執行之控制程式及各種資料的非揮發性記憶體。RAM 25係CPU 23執行之程式在載入區域或工作區域使用的揮發性記憶體。顯示器26係顯示各種資訊(使用者界面)之顯示裝置。記憶裝置27係用以記憶各種資訊之記憶手段，其可為內置於控制器2本體，也可為能供記憶媒體裝卸。通信介面(I/F)28係用以與音樂產生裝置3連接之介面。匯流排29係將上述各構成要件相互連接之匯流排線。
於本實施形態中，音樂產生裝置3係於PC安裝有DAW軟體之裝置。藉由執行該DAW軟體，可實現音樂製作之各種功能(例如，硬碟錄音功能、MIDI資料或音訊資料之製作編輯功能、混音功能、音序器(Sequencer)功能等)。再者，於本實施形態中，以由PC及DAW軟體構成音樂產生裝置3之例子來進行說明，但也可為單體之音序器裝置等。
於音樂產生裝置3中，CPU 32、ROM 33、RAM 34、記憶裝置36、滑鼠/鍵盤等輸入裝置37、及顯示器38係通用PC所具備之基本構成。通信I/F 35係用以與控制器2連接之介面。再者，通信I/F 28與35係例如MIDI等音樂專用有線I/F、USB或IEEE1394等通用有線I/F、無線LAN或Bluetooth(藍牙(註冊商標))等通用無線I/F。音響系統31係播放出自編解碼器傳送之類比音響信號，該編解碼器係具備數位類比(D/A)轉換功能等之聲音I/O。該音響系統31係，以於構成音樂產生裝置3之PC所具備的插槽中插入板或卡的形式而被附加的功能。匯流排39係將上述各構成要件相互地連接之匯流排線。
(功能構成) 接著，對本實施形態之音樂產生系統1之功能構成進行說明。圖3為顯示本實施形態之音樂產生系統1之功能構成的一例的圖。
如圖3所示，控制器2具有控制部200、顯示部210、記憶部211及通信部212。
控制部200具有取得部201、受理部202、決定部204及顯示控制部203。
取得部201係取得控制器2之使用者的視線資訊。具體而言，取得部201取得自眼動追蹤裝置21輸出之與使用者之視線方向相關的資訊(視線資訊)。
受理部202係受理使用輸入裝置22(手動開關、腳動開關等)之使用者的輸入操作。
顯示控制部203係將與音樂產生裝置3之控制指令建立關聯的複數個操作元件(圖標)與各種資訊一起動態地顯示於顯示部210(與圖2之顯示器26相當)。此外，顯示控制部203係根據由取得部201所取得之使用者的視線資訊，於顯示部210顯示用以對操作元件進行操作之指標。
圖5A〜圖5D為將由顯示控制部203動態地顯示於顯示部210之使用者界面50的一例加以顯示的圖。顯示控制部203係隨著時間經過而以圖5A、圖5B、圖5C及圖5D之順序讓使用者界面50之顯示變化。
如圖5A〜圖5D所示，顯示控制部203係於顯示部210顯示三維空間51之影像來作為使用者界面50。並且，顯示控制部203係以自該三維空間51之內部朝面前移動之方式顯示複數個操作元件60。當複數個操作元件60移動至三維空間之最靠面前側時即消失，與此並行地，在畫面上生成新的複數個操作元件60且以自畫面內部朝面前移動之方式顯示。藉由以此方式顯示使用者界面50，可讓使用者產生類似於複數個操作元件60自顯示部210之畫面內部側朝向使用者靠近、或者讓使用者朝三維空間51內部側之方向前行的感覺。藉此，使用者可具有沉浸感地操作控制器2。
圖6為顯示在使用者界面50上顯示之複數個操作元件60之一例的圖。如圖6所示，複數個操作元件60包含操作元件61〜69之9個矩形的操作元件。其等各操作元件61〜69係與音樂產生裝置3(DAW)之各控制指令建立關聯，藉由使用者對各操作元件61〜69進行操作(選擇)，音樂產生裝置3進行根據各控制指令之處理。
返回圖5A〜圖5D，使用者界面50包含用以操作/選擇上述各操作元件之指標P。指標P係根據由取得部201所取得之視線資訊而被顯示於顯示部210。具體而言，根據視線資訊而求出顯示部210之畫面上的注視點位置，於該位置顯示指標P。
圖7為在圖5A〜圖5D所示之使用者界面50上顯示之指標P的放大圖。如圖7所示，指標P包含水平方向之基準線Px、及垂直方向之基準線Py，基準線Px與基準線Py之交點係成為基準位置。該基準位置係配置於根據視線資訊獲得之使用者的注視點位置。指標P還包含矩形區域P1、及顯示於該矩形區域內之指示器P2。矩形區域P1係藉由後述之決定部204來進行與操作元件之重疊判定的區域。指示器P2係顯示與由音樂產生裝置3所演奏之樂曲的一小節對應之既定時間的經過之指標。該指示器P2包含配合既定時間的經過而動態地變化之圓形的儀表圖形P21、及對既定時間進行遞減計時的計時器P22。例如，在四四節拍之樂曲的情況下，由於一小節由4拍構成，因此計時器P22係以4、3、2、1之順序逐拍進行遞減計時。再者，計時器P22也可不進行遞減計時而是進行遞增計時，或者，遞減計時或遞增計時也可不是逐拍進行。例如，計時器P22也可逐秒地進行遞減計時或遞增計時。如此，指標P具有指示器P2，藉此，控制器2之使用者可配合樂曲之節奏而容易地控制音樂產生裝置3，其中，該指示器P2係顯示與由音樂產生裝置3所演奏之樂曲的一小節對應之既定時間的經過。
返回圖3，決定部204在上述計時器之計時期滿的時間點(經過既定時間時)，決定上述複數個操作元件中與指標P之矩形區域P1之至少一部分重疊之操作元件的選擇。藉此，可僅藉由使用了眼動追蹤裝置21之視線輸入，配合樂曲之節奏來決定操作元件的選擇。此外，決定部204也可構成為，決定與指標P之基準位置重疊之操作元件的選擇。藉此，於鄰接配置有操作元件之情況下，可減少操作元件之誤操作(誤選擇)。如此之選擇方法由於可僅以視線資訊來選擇操作元件，因此對於除了移動視線外之動作皆難以進行的使用者亦有所助益。
此外，決定部204也可根據受理部202所受理之輸入操作來決定操作元件的選擇，該輸入操作係使用者使用輸入裝置22來進行。即，使用者可藉由使用了眼動追蹤裝置21之視線輸入來選擇操作元件，且使用輸入裝置22(手動開關、腳動開關等)來決定操作元件的選擇。藉由如此構成，可一面體驗由音樂產生裝置3所演奏之樂曲的節奏，一面操作控制器2。如此之選擇方法，除了移動視線外，對於可以手或腳等身體之一部分操作輸入裝置22之使用者也有助益。
記憶部211係記憶與各操作元件建立關聯之音樂產生裝置3(DAW)之各控制指令所相關的資訊。
通信部212係將與決定部204已決定選擇的操作元件對應之依據MIDI規格的資訊(控制指令資訊、MIDI事件資訊)傳送至音樂產生裝置3。
接著，對音樂產生裝置3之功能構成進行說明。如圖3所示，音樂產生裝置3具有音訊輸入部301、音序器302、錄音器303、音源304、混音器305、音響系統306、及通信部307。
音訊輸入部301係進行已轉換為數位後之類比音響信號的輸入、數位音響信號本身的輸入。
音序器302係記錄通信部307所接收之MIDI事件資訊。該MIDI事件資訊被供給至後述之音源304。
音源304係軟體音源。音源304根據輸入之MIDI事件資訊來生成音訊信號。自音源304輸出之音訊信號被輸入至錄音器303或混音器305。
錄音器303係記錄由音訊輸入部301輸入之音訊信號及自音源304輸出之音訊信號。記錄於錄音器303之音訊信號係根據播放之指示而被輸出至混音器305。
混音器305係將自音源304或錄音器303輸出之音訊信號朝音響系統306供給。
(動作之一例) 接著，對音樂產生系統1之動作的一例進行說明。圖4為顯示音樂產生系統1之動作的一例的流程圖。
首先，於控制器2中，控制部200之取得部201取得自眼動追蹤裝置21輸出之使用者的視線資訊(步驟S1)。視線資訊之取得可於任意時間點進行，例如即時地經常進行。
其次，控制部200之顯示控制部203係於顯示部210動態地顯示與音樂產生裝置3(DAW)之控制指令建立關聯的複數個操作元件(步驟S2)。
此外，控制部200之顯示控制部203係根據由取得部201所取得之視線資訊，而於顯示部210顯示用以對操作元件進行操作之指標(步驟S3)。
然後，控制部200之決定部204決定複數個操作元件中與指標之至少一部分重疊之操作元件的選擇(步驟S4)。
接著，通信部307將與由決定部204已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至音樂產生裝置3(步驟S5)。
然後，於音樂產生裝置3中，根據自控制器2接收之依據MIDI規格的資訊來進行各種處理(控制指令之執行、MIDI事件之記錄等)(步驟S6)。
如以上說明，根據本實施形態，音樂產生系統1係具備有：取得部201，其取得使用者的視線資訊；顯示控制部203，其於顯示部210動態地顯示與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由取得部201所取得之視線資訊，於顯示部210顯示用以對操作元件進行操作之指標P；決定部204，其決定複數個操作元件中與指標P之至少一部分重疊之操作元件的選擇；及通信部212，其將與決定部204已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至音樂產生裝置3；因此，身體移動被限制之使用者可容易地控制音樂產生裝置3。 也可藉由程式來實現本說明書所記載之各功能部之任意一部分或全部。於本說明書中提及之程式可非暫時性地記錄於電腦可讀取的記錄媒體中而加以分發，也可經由網際網路等之通信線路(還包含無線通信)而加以分發，或者也可在被安裝於任意終端之狀態下被分發。
根據上述記載，本發明所屬技術領域中具有通常知識者雖然也有可能思及本發明之附加效果及各種變形例，但本發明之態樣不限於上述各個實施形態。於不超出由申請專利範圍所規定之內容及自其等內容相同者所導出之本發明的概念性技術思想及實質內容之範圍內，可進行各種追加、變更及局部刪除。
例如，也可藉由複數個裝置來實現本說明書中作為一台裝置(或者構件，以下相同)而加以說明者(包含於圖式中作為一台裝置而加以描述者)。反之，也可藉由一台裝置來實現本說明書中作為複數個裝置而加以說明者(包含於圖式中作為複數個裝置而加以描述者)。或者，也可將包含於某個裝置(例如伺服器)之手段或功能的一部分或全部包含於其他裝置(例如使用者終端)內。
此外，本說明書中記載之所有事項並非必須要件。尤其是於本說明書中所記載、而未於申請專利範圍記載之事項，可稱為任意之附加性事項。
再者，也需要注意，本案申請人不過是了解本說明書之「先前技術文獻」欄之文獻中記載的文獻公知發明，本發明未必以解決該文獻公知發明中的課題為目的。本發明所欲解決之問題應於考慮整個說明書之基礎上進行認定。例如，於本說明書中，於具有藉由特定構成而獲得既定效果等內容之記載時，也可解決與該既定效果相對應之問題。但是，這種特定構成不一定為必需要件。
1:音樂產生系統 2:控制器 3:音樂產生裝置 21:眼動追蹤裝置 22:輸入裝置 23:CPU 24:ROM 25:RAM 26:顯示器 27:記憶裝置 28:通信介面(I/F) 29:匯流排 31:音響系統 32:CPU 33:ROM 34:RAM 35:通信I/F 36:記憶裝置 37:輸入裝置 38:顯示器 39:匯流排 50:使用者界面 51:三維空間 60(61〜69):操作元件 200:控制部 201:取得部 202:受理部 203:顯示控制部 204:決定部 210:顯示部 211:記憶部 212:通信部 301:音訊輸入部 302:音序器 303:錄音器 304:音源 305:混音器 306:音響系統 307:通信部 P:指標 Px:(水平方向之)基準線 Py:(垂直方向之)基準線 P1:矩形區域 P2:指示器 P21:儀表圖形 P22:計時器
圖1為顯示本實施形態之音樂產生系統1之系統構成的一例的圖。 圖2為顯示本實施形態之音樂產生系統1之硬體構成的一例的方塊圖。 圖3為顯示本實施形態之音樂產生系統1之功能構成的一例的方塊圖。 圖4為顯示本實施形態之音樂產生系統1之動作的一例的流程圖。 圖5A為顯示本實施形態之控制器2之動態變化之使用者界面的顯示例的圖。 圖5B為顯示本實施形態之控制器2之動態變化之使用者界面的顯示例的圖，且為顯示於圖5A之後變化的顯示例的圖。 圖5C為顯示本實施形態之控制器2之動態變化之使用者界面的顯示例的圖，且為顯示於圖5B之後變化的顯示例的圖。 圖5D為顯示本實施形態之控制器2之動態變化之使用者界面的顯示例的圖，且為顯示於圖5C之後變化的顯示例的圖。 圖6為將在本實施形態之控制器2之使用者界面上顯示之複數個操作元件的一例加以顯示的圖。 圖7為圖5A所示之使用者界面之指標的放大圖。
1:音樂產生系統
2:控制器
3:音樂產生裝置
200:控制部
201:取得部
202:受理部
203:顯示控制部
204:決定部
210:顯示部
211:記憶部
212:通信部
301:音訊輸入部
302:音序器
303:錄音器
304:音源
305:混音器
306:音響系統
307:通信部

Claims (15)

  1. 一種控制器，其係控制音樂產生裝置者；其特徵在於，其具備有： 取得部，其取得使用者之視線資訊； 顯示控制部，其於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由上述取得部所取得之上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標； 決定部，其決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇；及 通信部，其將與上述決定部已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置。
  2. 如請求項1之控制器，其中，上述顯示控制部係於上述顯示部顯示三維空間之影像，且以在上述三維空間移動之方式於上述顯示部顯示上述複數個操作元件。
  3. 如請求項2之控制器，其中，上述顯示控制部係以自上述三維空間之內部朝面前移動之方式，於上述顯示部顯示上述複數個操作元件中的至少一個操作元件。
  4. 如請求項1之控制器，其中，上述顯示控制部係於上述指標附近顯示指示器，該指示器係顯示與由上述音樂產生裝置所演奏之樂曲的一小節對應之既定時間的經過。
  5. 如請求項4之控制器，其中，上述指示器包含配合上述既定時間的經過而動態地變化之圓形的儀表圖形。
  6. 如請求項4之控制器，其中，上述指示器包含計時器，該計時器係對上述既定時間進行遞減計時或遞增計時。
  7. 如請求項6之控制器，其中，上述計時器係依逐一節拍地對上述既定時間進行遞減計時或遞增計時。
  8. 如請求項4至7中任一項之控制器，其中，上述決定部係於上述既定時間之經過時，決定與上述指標之至少一部分重疊之操作元件的選擇。
  9. 如請求項1之控制器，其中，上述決定部係決定與上述指標之基準位置重疊之操作元件的選擇。
  10. 如請求項9之控制器，其中，上述基準位置係上述指標之大致中心。
  11. 如請求項1之控制器，其中，上述決定部係於無上述使用者之視線資訊以外的使用者操作之狀態下，決定上述操作元件的選擇。
  12. 一種音樂產生系統，其係具備有音樂產生裝置及控制該裝置之控制器者；其特徵在於，其具備有： 取得部，其取得使用者之視線資訊； 顯示控制部，其於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據由上述取得部所取得之上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標； 決定部，其決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇；及 通信部，其將與上述決定部已決定選擇的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置。
  13. 一種控制音樂產生裝置之方法，其特徵在於，其包含有以下步驟： 取得使用者之視線資訊的步驟； 於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據上述視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標的步驟； 決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇的步驟；及 將與上述已決定的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置的步驟。
  14. 一種用以使電腦執行控制音樂產生裝置之方法的程式，其特徵在於，上述方法包含有以下步驟： 於顯示部動態地顯示經與音樂產生裝置之控制指令建立關聯的複數個操作元件，並且根據使用者之視線資訊，於上述顯示部顯示用以選擇上述操作元件之指標的步驟； 決定上述複數個操作元件中與上述指標之至少一部分重疊之操作元件的選擇的步驟；及 將與上述已決定的操作元件對應之依據MIDI規格的資訊傳送至上述音樂產生裝置的步驟。
  15. 一種記憶媒體，其係可由記憶有請求項14之程式的電腦進行讀取的記憶媒體。
TW112123494A 2022-06-23 2023-06-21 控制器、音樂產生系統、方法、程式及記憶媒體 TW202418267A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-101416 2022-06-23
JP2022101416A JP2024002309A (ja) 2022-06-23 2022-06-23 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
TW202418267A true TW202418267A (zh) 2024-05-01

Family

ID=89379927

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112123494A TW202418267A (zh) 2022-06-23 2023-06-21 控制器、音樂產生系統、方法、程式及記憶媒體

Country Status (3)

Country Link
JP (1) JP2024002309A (zh)
TW (1) TW202418267A (zh)
WO (1) WO2023249033A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097443A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 入力システム、入力プログラム

Also Published As

Publication number Publication date
JP2024002309A (ja) 2024-01-11
WO2023249033A1 (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
JP3919789B2 (ja) 情報処理装置、画像移動指示方法及びプログラム
US20140115468A1 (en) Graphical user interface for mixing audio using spatial and temporal organization
US20150309703A1 (en) Music creation systems and methods
JP2008125721A (ja) ゲーム装置、操作評価方法、および、プログラム
JP2015079189A (ja) 音響効果データ生成方法を実現するためのプログラムおよび音響効果データ生成装置
JPWO2019230852A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4688927B2 (ja) 混合割合算出装置、混合割合算出方法およびプログラム
US20070022379A1 (en) Terminal for displaying distributed picture content
TW202418267A (zh) 控制器、音樂產生系統、方法、程式及記憶媒體
WO2023249032A1 (ja) コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
JP4406410B2 (ja) 情報処理装置、画像移動指示方法及びプログラム
CN103226943B (zh) 用于显示乐音产生设备的状态的处理装置和方法
JP2015184420A (ja) 楽譜表示・演奏プログラム及び楽譜表示・演奏装置
JP4192461B2 (ja) 情報処理装置及び情報処理システム並びに情報処理用プログラム
JP2003114674A (ja) 演奏情報表示装置、及びプログラム
JP2016173599A (ja) 電子楽器及びプログラム
CN114206454A (zh) 生成装置、生成方法、程序和触觉呈现装置
JP2002366142A (ja) 演奏支援装置
Ren et al. Interactive virtual percussion instruments on mobile devices
JP2016041141A (ja) ゲームプログラム
JP6078673B1 (ja) 動画再生装置、動画再生方法、およびプログラム
JP5382880B2 (ja) ゲームプログラム、ゲーム装置、ゲーム制御方法
US11694724B2 (en) Gesture-enabled interfaces, systems, methods, and applications for generating digital music compositions
JP4028192B2 (ja) 動作入力方法、装置、プログラム、及び記録媒体
WO2011030761A1 (ja) 音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法