WO2023249032A1 - コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 - Google Patents

コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023249032A1
WO2023249032A1 PCT/JP2023/022851 JP2023022851W WO2023249032A1 WO 2023249032 A1 WO2023249032 A1 WO 2023249032A1 JP 2023022851 W JP2023022851 W JP 2023022851W WO 2023249032 A1 WO2023249032 A1 WO 2023249032A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
musical tone
unit
pointer
user
Prior art date
Application number
PCT/JP2023/022851
Other languages
English (en)
French (fr)
Inventor
田中　直基
晋太郎 村上
慧太 九鬼
耕平 藍
Original Assignee
株式会社電通
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通 filed Critical 株式会社電通
Publication of WO2023249032A1 publication Critical patent/WO2023249032A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments

Definitions

  • the present invention relates to a controller, a musical tone generation system, a method, a program, and a storage medium.
  • the problem to be solved by the present invention is to enable a user with limited physical movement to easily control a musical tone generating device.
  • the controller is a controller that controls a musical tone generating device, and includes an acquisition unit that acquires line-of-sight information of a user, and a display unit that displays a plurality of operators associated with control commands for the musical tone generating device. a display control unit that displays a pointer for selecting the operator on the display unit based on the line-of-sight information acquired by the acquisition unit; and at least some of the pointers among the plurality of operators.
  • the apparatus includes a determining section that determines the selection of overlapping operators, and a communication section that transmits information compliant with the MIDI standard corresponding to the operator selected by the determining section to the musical tone generating device.
  • the controller according to a second aspect is the controller according to the first aspect, further comprising a reception unit that receives an input operation by a user using an input device, and the determination unit responds to the input operation received by the reception unit. to determine the selection of the operator.
  • the input operation is to press a switch with a part of the user's body
  • the determining unit includes the user's line of sight information and the The selection of the operator is determined without any user operation other than pressing a switch.
  • the determining unit determines selection of an operator that overlaps with a reference position of the pointer.
  • a controller according to a sixth aspect is the controller according to the fifth aspect, wherein the reference position is approximately at the center of the pointer.
  • a controller according to a seventh aspect is the controller according to any one of the first to sixth aspects, wherein the display control section displays the beat and bar number of the song being played near the pointer.
  • the user can operate the controller while constantly checking the beat and bar number of the song being played.
  • the display control section enlarges an area including the pointer and displays it on the display section.
  • a program according to a fourteenth aspect is a program for causing a computer to execute a method for controlling a musical tone generating device, the method including displaying a plurality of operators associated with control commands for the musical tone generating device on a display unit. displaying a pointer for selecting the operator on the display unit based on the user's line of sight information; and selecting an operator that overlaps at least a portion of the pointer among the plurality of operators. 1.
  • a program comprising: a step of determining a controller; and a step of transmitting MIDI standard-compliant information corresponding to the determined operator to the musical tone generator.
  • the storage medium according to the fifteenth aspect is a computer-readable storage medium that stores the program according to the fourteenth aspect.
  • FIG. 1 is a diagram showing an example of a system configuration of a musical tone generation system 1 according to the present embodiment.
  • 1 is a block diagram showing an example of the hardware configuration of a musical tone generation system 1 according to the present embodiment.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a musical tone generation system 1 according to the present embodiment.
  • FIG. It is a flowchart showing an example of the operation of the musical tone generation system 1 according to the present embodiment.
  • FIG. 2 is a diagram showing an example of a user interface of the controller 2 according to the present embodiment.
  • 6 is an enlarged view of area A of the user interface shown in FIG. 5.
  • FIG. It is a figure which shows the modification of the user interface of the controller 2 based on this embodiment.
  • the controller 2 is a device for controlling the musical tone generating device 3 based on a communication protocol compliant with the MIDI standard.
  • the controller 2 is connected to an eye tracking device 21 that allows a user with limited physical movement, such as an ALS patient, to input various information to the controller 2 through gaze input, and an input device 22 that allows the user to perform manual operations.
  • the controller 2 may include an eye tracking device 21 and an input device 22).
  • the musical tone generating device 3 is a device for generating musical tones based on a signal compliant with the MIDI standard received from the controller 2. For example, by installing and running integrated music software called DAW (Digital Audio Workstation) on a personal computer, the personal computer can be used as a musical tone generator. Furthermore, the musical sound generating device 3 includes a sound system 31 for emitting sound based on an acoustic signal.
  • DAW Digital Audio Workstation
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the musical tone generation system 1 according to the present embodiment.
  • the CPU 23 is a processing device that controls the overall operation of the controller 2.
  • the ROM 24 is a nonvolatile memory that stores control programs executed by the CPU 23 and various data.
  • the RAM 25 is a volatile memory used as a load area and a work area for programs executed by the CPU 23.
  • the display 26 is a display device that displays various information (user interface).
  • the storage device 27 is a storage means for storing various information, and may be built into the main body of the controller 2 or may have a removable storage medium.
  • a communication interface (I/F) 28 is an interface for connecting to the musical tone generating device 3.
  • the bus 29 is a bus line that interconnects each of the above components.
  • the musical tone generating device 3 is a PC on which DAW software is installed.
  • DAW software By executing the DAW software, various music production functions (for example, hard disk recording function, MIDI data and audio data creation/editing function, mixing function, sequencer function, etc.) can be realized.
  • various music production functions for example, hard disk recording function, MIDI data and audio data creation/editing function, mixing function, sequencer function, etc.
  • the musical tone generating device 3 is configured by a PC and DAW software will be explained, but it may also be a stand-alone sequencer device or the like.
  • the CPU 32, ROM 33, RAM 34, storage device 36, input device 37 such as a mouse and keyboard, and display 38 are the basic components of a general-purpose PC.
  • the communication I/F 35 is an interface for connecting with the controller 2.
  • the communication I/Fs 28 and 35 are, for example, music-specific wired I/Fs such as MIDI, general-purpose wired I/Fs such as USB or IEEE1394, or general-purpose wireless I/Fs such as wireless LAN or Bluetooth (registered trademark).
  • the sound system 31 emits an analog audio signal passed from a codec, which is a sound I/O, including a digital-to-analog (D/A) conversion function. This sound system 31 is a function added in the form of a board or card inserted into a slot provided in a PC constituting the musical tone generator 3.
  • the bus 39 is a bus line that interconnects each of the above components.
  • FIG. 3 is a diagram showing an example of the functional configuration of the musical tone generation system 1 according to the present embodiment.
  • the controller 2 includes a control section 200, a display section 210, a storage section 211, and a communication section 212.
  • the control unit 200 includes an acquisition unit 201, a reception unit 202, a determination unit 204, and a display control unit 203.
  • the acquisition unit 201 acquires line-of-sight information of the user of the controller 2. Specifically, the acquisition unit 201 acquires information regarding the user's gaze direction (gaze information) output from the eye tracking device 21 .
  • the reception unit 202 receives input operations by the user using the input device 22 (manual switch, foot switch, etc.).
  • the display control unit 203 displays a plurality of operators (icons) associated with control commands for the musical tone generating device 3 together with various information on the display unit 210 (corresponding to the display 26 in FIG. 2). Further, the display control unit 203 displays a pointer for operating the operator on the display unit 210 based on the user's line of sight information acquired by the acquisition unit 201.
  • FIG. 5 is a diagram showing an example of the user interface 50 displayed on the display unit 210 by the display control unit 203.
  • the user interface 50 includes an index 51 and a performance scene name section 52 as indicators.
  • the user interface 50 also has a play button 53, a stop button 54, effector buttons 55 and 56, synthesizer buttons 57 to 60, an effector type selection button 61, mapping buttons 62 and 63 as a plurality of operators. , an XY pad 64, an automatic performance button 65, and a manual performance button 66.
  • Each of these operators 53 to 66 is associated with each control command of the musical tone generator 3 (DAW), and when the user operates (selects) each of the operators 53 to 66, the musical tone generator 3 performs each control. Perform processing according to the command.
  • DAW musical tone generator 3
  • the index 51 indicates the beat and bar number of the song being played in the format of "000.00 (beat.bar number)".
  • the performance scene name section 52 displays, for example, the name of the user who is the performer.
  • the play button 53 is an operator for starting playback of music. Further, the stop button 54 is an operator for stopping the reproduction of music. Effector buttons 55 and 56 are operators for executing audio effects. Synthesizer buttons 57 to 60 are operators for playing scales and synthesizing musical tones. Note that three types of each of the operators 55 to 60 can be selected, and icons with numbers 1 to 3 are displayed next to each operator.
  • the effector type selection button 61 is an operator for selecting the type of effector.
  • the mapping buttons 62 and 63 are operators for assigning an operation in the X direction and an operation in the Y direction of the XY pad 64, which accepts two-dimensional operations, as operations to different increase/decrease operators of the DAW.
  • the XY pad 64 is an operator that can change two types of parameters at the same time. By moving the pointer P on the XY pad 64, two types of parameters can be changed simultaneously. Note that the operation of the XY pad 64 may be made effective while the reception unit 202 is accepting the operation by the input device 22. For example, even if the user is able to operate the XY pad 64 (change two types of parameters) by moving the pointer P on the XY pad 64 using gaze input while pressing the manual switch (input device 22). good.
  • the automatic performance button 65 is an operator for reproducing pre-recorded musical tones.
  • the manual performance button 66 is an operator for starting and recording real-time performance.
  • the user interface 50 includes a pointer P for operating/selecting each of the above-mentioned operators.
  • the pointer P is displayed on the display unit 210 based on the line-of-sight information acquired by the acquisition unit 201. Specifically, the position of the gaze point on the screen of the display unit 210 is determined from the line-of-sight information, and the pointer P is displayed at the position.
  • the display control unit 203 can display a part of the user interface 50 (for example, area A) in an enlarged manner, as shown in FIG. This allows each operator to be operated/selected more reliably.
  • a part of the user interface 50 is enlarged and displayed, the indicator 51 displayed at the top left of the screen of the user interface 50 is out of the display range, but the indicator Q is displayed near the pointer P as described above. Even when the display is enlarged, the user can operate each operator while constantly checking the beat and bar number of the song being played.
  • FIG. 7 is a diagram showing a user interface 70 according to a modification of the user interface 50.
  • the user interface 70 in the user interface 70, more operators are displayed (arranged) near the center of the screen of the display unit 210 than at the periphery of the screen. Thereby, even a user with limited eye movement who has difficulty moving his/her line of sight from one end of the screen of the display unit 210 to the other can easily operate the operator.
  • the determining unit 204 determines the selection of the operator that overlaps at least a portion of the pointer P from among the plurality of operators. Thereby, the selection of the operator can be determined only by line-of-sight input using the eye tracking device 21. Further, the determining unit 204 may determine the selection of the operator that overlaps the reference position P1 of the pointer P. Thereby, when the operators are arranged adjacent to each other, it is possible to reduce erroneous operations (erroneous selections) of the operators. Further, the determining unit 204 may determine the selection of the operator that overlaps at least a portion of the pointer P for a predetermined period of time (for example, 2 seconds). Thereby, selection of the operator can be determined more reliably. Such a selection method is useful even for users who have difficulty performing operations other than moving their line of sight, since they can select the operator using only line-of-sight information.
  • the determining unit 204 may determine the selection of the operator according to the input operation by the user using the input device 22 that is received by the accepting unit 202. That is, the user can select the operator by inputting the line of sight using the eye tracking device 21, and can determine the selection of the operator by using the input device 22 (manual switch, foot switch, etc.). By doing this, the user can more quickly decide on the selection of the control, compared to the case where the selection of the control is determined after a predetermined period of time has elapsed since the state of overlapping with at least a portion of the pointer P described above is determined. . Such a selection method is useful for users who can operate the input device 22 with a part of their body, such as their hands or feet, in addition to moving their line of sight.
  • the storage unit 211 stores information regarding each control command of the musical tone generator 3 (DAW) associated with each operator.
  • DAW musical tone generator 3
  • the communication unit 212 transmits MIDI standard-compliant information (control command information, MIDI event information) corresponding to the operator whose selection is determined by the determining unit 204 to the musical tone generating device 3.
  • MIDI standard-compliant information control command information, MIDI event information
  • the musical tone generating device 3 includes an audio input section 301, a sequencer 302, a recorder 303, a sound source 304, a mixer 305, a sound system 306, and a communication section 307.
  • the audio input unit 301 inputs an analog audio signal converted into a digital signal or inputs the digital audio signal itself.
  • the sequencer 302 records the MIDI event information received by the communication unit 307. This MIDI event information is supplied to a sound source 304, which will be described later.
  • the sound source 304 is a software sound source.
  • the sound source 304 generates an audio signal according to input MIDI event information.
  • the audio signal output from the sound source 304 is input to the recorder 303 and mixer 305.
  • the mixer 305 supplies audio signals output from the sound source 304 and recorder 303 to the sound system 306.
  • FIG. 4 is a flowchart showing an example of the operation of the musical tone generation system 1.
  • the acquisition unit 201 of the control unit 200 acquires the user's line of sight information output from the eye tracking device 21 (step S1).
  • the line of sight information may be acquired at any timing, for example, constantly in real time.
  • the display control unit 203 of the control unit 200 displays a plurality of operators associated with the control commands of the musical tone generator 3 (DAW) on the display unit 210 (step S2).
  • the display control unit 203 of the control unit 200 displays a pointer for operating the operator on the display unit 210 based on the line-of-sight information acquired by the acquisition unit 201 (step S3).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

楽音発生装置を制御するコントローラは、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、取得部により取得した視線情報に基づいて、操作子を選択するためのポインタを表示部に表示する表示制御部と、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置に送信する通信部と、を有する。

Description

コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
　本発明は、コントローラ、楽音発生システム、方法、プログラム及び記憶媒体に関する。
　従来、楽音発生装置から発生される楽音を制御するための演奏制御情報を操作者の身体状況に応じて生成する演奏インターフェイスが知られている（特許文献１参照）。
特開２００１－１９５０５９号公報
　しかしながら、従来、ＡＬＳ患者等の身体の動きが制限されたユーザが使用することについては、何ら提案されていない。
　本発明が解決しようとする課題は、身体の動きが制限されたユーザが楽音発生装置を容易に制御可能にすることである。
　第１態様に係るコントローラは、楽音発生装置を制御するコントローラであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。
　この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。
　第２態様に係るコントローラは、上記第１態様に係るコントローラにおいて、入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定する。
　この構成によれば、ユーザの視線情報を用いた入力（視線入力）と入力装置を用いた入力とを併用することにより、操作子の選択の決定を迅速に行うことができる。
　第３態様に係るコントローラは、上記第２態様に係るコントローラにおいて、前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定する。
　この構成によれば、ユーザの視線情報とスイッチ操作により操作子を選択できるため、身体の動きが制限されたユーザであっても容易に楽音発生装置を制御することができる。
　第４態様に係るコントローラは、上記第１から第３態様のいずれかに係るコントローラにおいて、前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する。
　この構成によれば、手足を動かすことが困難なユーザであっても、視線情報を用いることにより操作子を選択することができる。
　第５態様に係るコントローラは、上記第１から第４態様のいずれかに係るコントローラにおいて、前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定する。
　この構成によれば、操作子の選択をより正確に行うことができる。
　第６態様に係るコントローラは、上記第５態様に係るコントローラにおいて、前記基準位置は、前記ポインタの略中心である。
　この構成によれば、より容易に操作子を選択することができる。
　第７態様に係るコントローラは、上記第１から第６態様のいずれかに係るコントローラにおいて、前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示する。
　この構成によれば、演奏中の楽曲の拍と小節番号をユーザが常に確認しながらコントローラを操作することができる。
　第８態様に係るコントローラは、上記第７態様に係るコントローラにおいて、前記表示制御部は、前記ポインタを含む領域を拡大して前記表示部に表示する。
　この構成によれば、複数の操作子の中から所望の操作子を容易に選択することができる。
　第９態様に係るコントローラは、上記第１から第８態様のいずれかに係るコントローラにおいて、前記表示制御部は、前記複数の操作子を前記表示部の画面中心付近に画面周辺よりも多く表示する。
　この構成によれば、眼球の動きが制限されたユーザであっても容易に操作子を選択することができる。
　第１０態様に係るコントローラは、上記第１から第９態様のいずれかに係るコントローラにおいて、前記複数の操作子は、２種類のパラメータを同時に変更可能なＸＹパッドを含む。
　この構成によれば、視線情報を用いてＸＹパッドを操作することができる。
　第１１態様に係るコントローラは、上記第１態様に係るコントローラにおいて、前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する。
　この構成によれば、ユーザの視線情報（視線入力）のみで操作子を選択できるため、身体の自由が制限されたユーザであっても容易に楽音発生装置を制御することができる。
　第１２態様に係る楽音発生システムは、楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。
　第１３態様に係る方法は、楽音発生装置を制御する方法であって、ユーザの視線情報を取得するステップと、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とする方法。
　この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。
　第１４態様に係るプログラムは、コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とするプログラム。
　第１５態様に係る記憶媒体は、上記第１４態様に係るプログラムを記憶したコンピュータで読み取り可能な記憶媒体である。
本実施形態に係る楽音発生システム１のシステム構成の一例を示す図である。 本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の機能構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の動作の一例を示すフローチャートである。 本実施形態に係るコントローラ２のユーザインタフェースの一例を示す図である。 図５に示すユーザインタフェースの領域Ａの拡大図である。 本実施形態に係るコントローラ２のユーザインタフェースの変形例を示す図である。
　以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。
（楽音発生システムの構成）
　図１は、一実施の形態に係る楽音発生システム１の概略的な構成を示す図である。図１に示すように、本実施形態に係る楽音発生システム１は、コントローラ２と楽音発生装置３とを備えている。コントローラ２と楽音発生装置３とは後述の通信インタフェース（Ｉ／Ｆ）により通信可能に接続されている。
　コントローラ２は、楽音発生装置３をＭＩＤＩ規格に準拠した通信プロトコルに基づいて制御するための装置である。そして、コントローラ２は、ＡＬＳ患者等の身体の動きに制限のあるユーザが視線入力により各種情報をコントローラ２に入力するためのアイトラッキング装置２１と、ユーザが手動操作を行う入力装置２２に接続される（コントローラ２がアイトラッキング装置２１と入力装置２２とを備えていてもよい）。
　アイトラッキング装置２１は、ユーザの眼の動き（視線方向）を追跡し、視線情報をコントローラ２に出力する。視線情報は、例えば、ユーザの眼球像を逐次撮像した画像から瞳孔等の特徴的なパターンを抽出することにより生成することができる。本実施形態は、ＡＬＳ患者が視線を動かすことができることに着目し、視線情報を用いて楽音発生装置３を制御するものである。
　入力装置２２は、手動スイッチ、フットスイッチ等のユーザが操作可能な入力装置である。ユーザが入力装置２２を用いて操作を行うと、その操作に応じた信号が入力装置２２からコントローラ２に出力される。入力装置２２は、ＡＬＳ患者等の身体の動きが制限されたユーザが簡単に入力操作を行えるものであるのが望ましく、例えば入力操作はユーザの体によってスイッチを押下することである。
　楽音発生装置３は、コントローラ２から受信したＭＩＤＩ規格に準拠した信号に基づいて楽音を発生させるための装置である。例えば、ＤＡＷ（Digital Audio Workstation）と称される統合音楽ソフトウェアをパーソナルコンピュータにインストールして実行することにより当該パーソナルコンピュータを楽音発生装置として用いることができる。また、楽音発生装置３は、音響信号に基づいて放音するためのサウンドシステム３１を備えている。
（ハードウェア構成）
　次に、本実施形態に係る楽音発生システム１のハードウェア構成について説明する。図２は、本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。
　コントローラ２において、ＣＰＵ２３は、このコントローラ２全体の動作を制御する処理装置である。ＲＯＭ２４は、ＣＰＵ２３が実行する制御プログラムや各種のデータを格納する不揮発性メモリである。ＲＡＭ２５は、ＣＰＵ２３が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。ディスプレイ２６は、各種の情報（ユーザインタフェース）を表示する表示装置である。記憶装置２７は、各種の情報を記憶するための記憶手段であり、コントローラ２本体に内蔵されているものでも、記憶媒体が着脱可能なものでもよい。通信インタフェース（Ｉ／Ｆ）２８は、楽音発生装置３と接続するためのインタフェースである。バス２９は、上記各構成要素を相互に接続するバスラインである。
　楽音発生装置３は、本実施形態ではＰＣにＤＡＷソフトウェアをインストールしたものである。該ＤＡＷソフトウェアを実行することにより、音楽制作の各種の機能（例えば、ハードディスクレコーディング機能、ＭＩＤＩデータやオーディオデータの作成編集機能、ミキシング機能、シーケンサ機能など）を実現することができる。なお、本実施形態では楽音発生装置３をＰＣとＤＡＷソフトウェアで構成した例で説明するが、単体のシーケンサ装置などでもよい。
　楽音発生装置３において、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、記憶装置３６、マウス・キーボード等の入力装置３７及びディスプレイ３８は、汎用のＰＣが備える基本構成である。通信Ｉ／Ｆ３５は、コントローラ２と接続するためのインタフェースである。なお、通信Ｉ／Ｆ２８と３５は、例えば、ＭＩＤＩなどの音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用有線Ｉ／Ｆや無線ＬＡＮやBluetooth(登録商標)等の汎用無線Ｉ／Ｆである。サウンドシステム３１は、デジタルアナログ（Ｄ／Ａ）変換機能などを備えるサウンドＩ／Ｏであるコーデックから渡されるアナログ音響信号を放音する。このサウンドシステム３１は、楽音発生装置３を構成するＰＣが備えるスロットにボードやカードを挿入する形式で付加された機能である。バス３９は、上記各構成要素を相互に接続するバスラインである。
（機能構成）
　次に、本実施形態に係る楽音発生システム１の機能構成について説明する。図３は、本実施形態に係る楽音発生システム１の機能構成の一例を示す図である。
　図３に示すように、コントローラ２は、制御部２００と、表示部２１０と、記憶部２１１と、通信部２１２とを有している。
　制御部２００は、取得部２０１と、受付部２０２と、決定部２０４と、表示制御部２０３とを有している。
　取得部２０１は、コントローラ２のユーザの視線情報を取得する。具体的には、取得部２０１はアイトラッキング装置２１から出力されるユーザの視線方向に関する情報（視線情報）を取得する。
　受付部２０２は、入力装置２２（手動スイッチ、フットスイッチ等）を用いたユーザによる入力操作を受け付ける。
　表示制御部２０３は、楽音発生装置３の制御コマンドに関連付けられた複数の操作子（アイコン）を各種の情報とともに表示部２１０（図２のディスプレイ２６に相当）に表示する。また、表示制御部２０３は、取得部２０１により取得したユーザの視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する。
　図５は、表示制御部２０３によって表示部２１０に表示されるユーザインタフェース５０の一例を示す図である。図５に示すように、ユーザインタフェース５０は、インジケータとして、指標５１と、演奏シーン名称部５２とを含む。また、ユーザインタフェース５０は、複数の操作子として、再生ボタン５３と、停止ボタン５４と、エフェクタボタン５５、５６と、シンセサイザボタン５７～６０と、エフェクタ種類選択ボタン６１と、マッピングボタン６２、６３と、ＸＹパッド６４と、自動演奏ボタン６５と、マニュアル演奏ボタン６６と、を含む。これらの各操作子５３～６６は、楽音発生装置３（ＤＡＷ）の各制御コマンドに関連付けられており、各操作子５３～６６をユーザが操作（選択）することにより楽音発生装置３が各制御コマンドに応じた処理を行う。
　指標５１は、演奏中の楽曲の拍と小節番号を「０００．００（拍．小節番号）」の形式で示す。演奏シーン名称部５２には、例えば、演奏者であるユーザの名前が表示される。
　再生ボタン５３は、楽曲の再生を開始するための操作子である。また、停止ボタン５４は、楽曲の再生を停止するための操作子である。エフェクタボタン５５、５６は、音声エフェクトを実行するための操作子である。シンセサイザボタン５７～６０は、音階演奏、楽音合成するための操作子である。なお、操作子５５～６０の各操作子は各々３種類ずつ選択でき、１～３の数字のアイコンで各操作子の隣に表示されている。エフェクタ種類選択ボタン６１は、エフェクタの種類を選択するための操作子である。マッピングボタン６２、６３は、２次元的な操作を受け付けるＸＹパッド６４のＸ方向の操作とＹ方向の操作とをＤＡＷのそれぞれ異なる増減操作子に対する操作として割り当てるための操作子である。ＸＹパッド６４は、２種類のパラメータを同時に変更可能な操作子である。ＸＹパッド６４上でポインタＰを移動させることにより２種類のパラメータを同時に変更することができる。なお、ＸＹパッド６４の操作は、受付部２０２が入力装置２２による操作を受け付けている間に有効となるようにしてもよい。例えば、ユーザが手動スイッチ（入力装置２２）を押下した状態で視線入力によりポインタＰをＸＹパッド６４上で移動させることでＸＹパッド６４の操作（２種類のパラメータの変更）ができるようにしてもよい。自動演奏ボタン６５は、事前に録音した楽音を再生するための操作子である。マニュアル演奏ボタン６６は、リアルタイム演奏の開始及び録音をするための操作子である。
　また、ユーザインタフェース５０は、上記の各操作子を操作／選択するためのポインタＰを含む。ポインタＰは、取得部２０１が取得した視線情報に基づいて表示部２１０に表示される。具体的には、視線情報から表示部２１０の画面上における注視点の位置を求め、当該位置にポインタＰが表示される。
　図６は、図５の領域Ａの拡大図である。図６に示すように、ポインタＰは、基準位置Ｐ１と、該基準位置Ｐ１を略中心とした所定の大きさの円形領域Ｐ２とを有する。また、ポインタＰの円形領域Ｐ２の近傍に指標Ｑが表示される。指標Ｑは、上述の指標５１と同様に演奏中の楽曲の拍と小節番号を「０００．００（拍．小節番号）」の形式で示す指標である。
　また、表示制御部２０３は、図６に示すように、ユーザインタフェース５０の一部（例えば、領域Ａ）が拡大表示することができる。これにより、各操作子の操作／選択をより確実に行うことができる。ユーザインタフェース５０の一部が拡大表示された場合には、ユーザインタフェース５０の画面左上に表示された指標５１が表示範囲外となるが、上述のとおりポインタＰの近傍に指標Ｑが表示されるので、拡大表示時においてもユーザは演奏中の楽曲の拍と小節番号を常に確認しながら各操作子を操作することができる。
　図７は、ユーザインタフェース５０の変形例に係るユーザインタフェース７０を示す図である。図７に示すように、ユーザインタフェース７０においては、複数の操作子が表示部２１０の画面中心付近に画面周辺よりも多く表示（配置）される。これにより、表示部２１０の画面の端から端まで視線を移動させることが困難な眼球の動きが制限されたユーザであっても容易に操作子を操作することができる。
　図３に戻って、決定部２０４は、上記複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する。これにより、アイトラッキング装置２１を用いた視線入力のみで操作子の選択を決定することができる。また、決定部２０４は、ポインタＰの基準位置Ｐ１と重なる操作子の選択を決定するようにしてもよい。これにより、操作子が隣接して配置されている場合に、操作子の誤操作（誤選択）を低減させることができる。また、決定部２０４は、ポインタＰの少なくとも一部と重なる状態が所定時間（例えば、２秒間）経過した操作子の選択を決定するようにしてもよい。これにより、より確実に操作子の選択を決定することができる。このような選択法は、視線情報のみで操作子を選択できるため、視線を動かすこと以外の動作が困難なユーザにも有用である。
　また、決定部２０４は、受付部２０２が受け付けたユーザによる入力装置２２を用いた入力操作に応じて操作子の選択を決定してもよい。すなわち、ユーザは、アイトラッキング装置２１を用いた視線入力で操作子を選択し、入力装置２２（手動スイッチ、フットスイッチ等）を用いて操作子の選択を決定することができる。このようにすることで、上述のポインタＰの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する場合と比べてユーザは操作子の選択の決定をより迅速に行うことができる。このような選択法は、視線を動かすことに加え、手や足など体の一部で入力装置２２の操作を可能なユーザに有用である。
　記憶部２１１は、各操作子に関連付けた楽音発生装置３（ＤＡＷ）の各制御コマンドに関する情報を記憶する。
　通信部２１２は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報（制御コマンド情報、ＭＩＤＩイベント情報）を楽音発生装置３に送信する。
　次に、楽音発生装置３の機能構成について説明する。図３に示すように、楽音発生装置３は、オーディオ入力部３０１と、シーケンサ３０２と、レコーダ３０３と、音源３０４と、ミキサ３０５と、サウンドシステム３０６と、通信部３０７とを有する。
　オーディオ入力部３０１は、デジタルに変換したアナログ音響信号の入力や、デジタル音響信号そのものの入力を行う。
　シーケンサ３０２は、通信部３０７が受信したＭＩＤＩイベント情報を記録する。このＭＩＤＩイベント情報は、後述の音源３０４に供給される。
　音源３０４はソフトウェア音源である。音源３０４は、入力したＭＩＤＩイベント情報に応じてオーディオ信号を生成する。音源３０４から出力されたオーディオ信号は、レコーダ３０３やミキサ３０５に入力する。
　レコーダ３０３は、オーディオ入力部３０１により入力されたオーディオ信号や音源３０４から出力されたオーディオ信号を記録する。レコーダ３０３に記録されたオーディオ信号は、再生の指示に応じてミキサ３０５に出力される。
　ミキサ３０５は、音源３０４やレコーダ３０３から出力されるオーディオ信号をサウンドシステム３０６へと供給する。
（動作の一例）
　次に、楽音発生システム１の動作の一例について説明する。図４は、楽音発生システム１の動作の一例を示すフローチャートである。
　まず、コントローラ２において制御部２００の取得部２０１は、アイトラッキング装置２１から出力されるユーザの視線情報を取得する（ステップＳ１）。視線情報の取得は任意のタイミングで行われてよく、例えばリアルタイムに常時行われる。
　次に、制御部２００の表示制御部２０３は、楽音発生装置３（ＤＡＷ）の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示する（ステップＳ２）。
　また、制御部２００の表示制御部２０３は、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する（ステップＳ３）。
　次に、制御部２００の決定部２０４は、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する（ステップＳ４）。
　続いて、通信部３０７は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する（ステップＳ５）。
　そして、楽音発生装置３において、コントローラ２から受信したＭＩＤＩ規格に準拠した情報に基づいて各種処理（制御コマンドの実行、ＭＩＤＩイベントの記録等）が行われる（ステップＳ６）。
　以上説明したとおり、本実施形態によれば楽音発生システム１が、ユーザの視線情報を取得する取得部２０１と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示するとともに、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する表示制御部２０３と、複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する決定部２０４と、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する通信部２１２と、を有するので、身体の動きが制限されたユーザが楽音発生装置３を容易に制御することができる。
　本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。
　上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。
　また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。
　なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

Claims (15)

  1. 　楽音発生装置を制御するコントローラであって、
    　ユーザの視線情報を取得する取得部と、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
    　前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
    　を有することを特徴とするコントローラ。
  2. 　入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、
    　前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  3. 　前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、
    　前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項２に記載のコントローラ。
  4. 　前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  5. 　前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  6. 　前記基準位置は、前記ポインタの略中心であることを特徴とする請求項５に記載のコントローラ。
  7. 　前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示することを特徴とする請求項１から６のいずれかに記載のコントローラ。
  8. 　前記表示制御部は、前記ポインタを含む領域を拡大して前記表示部に表示することを特徴とする請求項７に記載のコントローラ。
  9. 　前記表示制御部は、前記複数の操作子を前記表示部の画面中心付近に画面周辺よりも多く表示することを特徴とする請求項１に記載のコントローラ。
  10. 　前記複数の操作子は、２種類のパラメータを同時に変更可能なＸＹパッドを含むことを特徴とする請求項１に記載のコントローラ。
  11. 　前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  12. 　楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
    　ユーザの視線情報を取得する取得部と、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
    　前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
    　を有することを特徴とする楽音発生システム。
  13. 　楽音発生装置を制御する方法であって、
    　ユーザの視線情報を取得するステップと、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    　前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    　を有することを特徴とする方法。
  14. 　コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    　前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    　を有することを特徴とするプログラム。
  15. 　請求項１４に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
PCT/JP2023/022851 2022-06-23 2023-06-21 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 WO2023249032A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022101371A JP2024002275A (ja) 2022-06-23 2022-06-23 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
JP2022-101371 2022-06-23

Publications (1)

Publication Number Publication Date
WO2023249032A1 true WO2023249032A1 (ja) 2023-12-28

Family

ID=89379935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022851 WO2023249032A1 (ja) 2022-06-23 2023-06-21 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

Country Status (2)

Country Link
JP (1) JP2024002275A (ja)
WO (1) WO2023249032A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097443A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 入力システム、入力プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097443A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 入力システム、入力プログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "A universal musical instrument that can be played just by moving your eyes. ¨Eye Play the Piano", CNET JAPAN, 24 May 2016 (2016-05-24), XP093121088, Retrieved from the Internet <URL:https//japan.cnet.com/article/35082727> [retrieved on 20240118] *
ANONYMOUS: "Let everyone become a player- The Dentsu Lab Tokyo "All Players Welcome" project was launched to solve social problems with technology and ideas", PR TIMES, 21 June 2022 (2022-06-21), XP093121065, Retrieved from the Internet <URL:https://prtimes.jp/main/html/rd/p/000000006.000088502.html> [retrieved on 20240118] *
KENICHIRO YABU ET AL.: "Development of a music interface application aimed at live performance using gaze input for severely disabled people", PROCEEDINGS OF THE 2021 AUTUMN MEETING THE ACOUSTICAL SOCIETY OF JAPAN; SEPTEMBER 7-9, 2021, vol. 2021, 24 August 2021 (2021-08-24) - 9 September 2021 (2021-09-09), pages 1213 - 1214, XP009551730 *
MURATA KAZUYOSHI, YU SHIBUYA: "Acceptable Dwell Time Range in Object Selection using Mid-air Gesture Interaction System ", HUMAN INTERFACE : THE TRANSACTION OF HUMAN INTERFACE SOCIETY, HUMAN INTERFACE SOCIETY, JP, vol. 20, no. 4, 25 November 2018 (2018-11-25), JP , pages 479 - 490, XP093118653, ISSN: 1344-7262, DOI: 10.11184/his.20.4_479 *

Also Published As

Publication number Publication date
JP2024002275A (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
TWI304968B (en) Electronic musical apparatus, control method therefor, and storage medium storing instructions for implementing the method
JP6344578B2 (ja) 電子楽器を演奏する方法
JP4752425B2 (ja) 合奏システム
EP1973099A2 (en) Foot operated transport controller for digital audio workstations
EP2760014A1 (en) Method for making audio file and terminal device
JP4797523B2 (ja) 合奏システム
US20110095874A1 (en) Remote switch to monitor and navigate an electronic device or system
JP2009133928A (ja) 電子音楽システム及びプログラム
JP6167542B2 (ja) 電子装置及びプログラム
JP4692189B2 (ja) 合奏システム
JP2006201654A (ja) 伴奏追従システム
WO2023249032A1 (ja) コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
JP4379291B2 (ja) 電子音楽装置及びプログラム
JP6520162B2 (ja) 伴奏教習装置および伴奏教習プログラム
WO2023249033A1 (ja) コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
Krout et al. Music technology used in therapeutic and health settings
US8878044B2 (en) Processing device and method for displaying a state of tone generation apparatus
JP6836877B2 (ja) 吹奏楽器の練習支援装置及び練習支援方法
US20170278495A1 (en) Input Support Apparatus and Method Therefor
JP4192461B2 (ja) 情報処理装置及び情報処理システム並びに情報処理用プログラム
TW202418267A (zh) 控制器、音樂產生系統、方法、程式及記憶媒體
JP2008026544A (ja) 電子音楽装置
JP4479735B2 (ja) 演奏装置およびプログラム
EP2626781A1 (en) Electronic apparatus and audio guide program
JP6132052B2 (ja) 電子楽器及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827215

Country of ref document: EP

Kind code of ref document: A1