WO2023249033A1 - コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 - Google Patents

コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023249033A1
WO2023249033A1 PCT/JP2023/022852 JP2023022852W WO2023249033A1 WO 2023249033 A1 WO2023249033 A1 WO 2023249033A1 JP 2023022852 W JP2023022852 W JP 2023022852W WO 2023249033 A1 WO2023249033 A1 WO 2023249033A1
Authority
WO
WIPO (PCT)
Prior art keywords
musical tone
operator
pointer
unit
controller
Prior art date
Application number
PCT/JP2023/022852
Other languages
English (en)
French (fr)
Inventor
田中　直基
晋太郎 村上
慧太 九鬼
耕平 藍
Original Assignee
株式会社電通
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通 filed Critical 株式会社電通
Publication of WO2023249033A1 publication Critical patent/WO2023249033A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments

Definitions

  • a performance interface that generates performance control information for controlling musical tones generated from a musical tone generating device according to the physical condition of an operator (see Patent Document 1).
  • the controller is a controller that controls a musical tone generator, and includes an acquisition unit that acquires gaze information of a user, and a display unit that dynamically displays a plurality of operators associated with control commands of the musical tone generator. a display control unit that displays a pointer for selecting the operator on the display unit based on the line-of-sight information acquired by the acquisition unit; and at least one of the pointers among the plurality of operators.
  • the musical tone generator includes a determining section that determines the selection of the operator that partially overlaps with the other controller, and a communication section that transmits information compliant with the MIDI standard corresponding to the operator that the determining section has determined to select to the musical tone generating device.
  • At least one of the plurality of operators is configured such that the display control section moves from the back of the three-dimensional space to the front. is displayed on the display section.
  • the user can easily control the musical tone generating device in time with the passage of a predetermined time.
  • a controller according to a tenth aspect is the controller according to the ninth aspect, wherein the reference position is approximately at the center of the pointer.
  • the determining unit determines the selection of the operator without any user operation other than line-of-sight information of the user.
  • a program according to a fourteenth aspect is a program for causing a computer to execute a method for controlling a musical tone generating device, the method including displaying a plurality of operators associated with control commands for the musical tone generating device on a display unit. dynamically displaying a pointer for selecting the operator on the display unit based on user's line of sight information; and an operation that overlaps at least a portion of the pointer among the plurality of operators.
  • a program comprising the steps of: determining selection of a child; and transmitting MIDI standard-compliant information corresponding to the determined operator to the musical tone generating device.
  • FIG. 5B is a diagram illustrating a display example of a dynamically changing user interface of the controller 2 according to the present embodiment, and is a diagram illustrating a display example that has changed after FIG. 5B.
  • FIG. 5C is a diagram illustrating a display example of a dynamically changing user interface of the controller 2 according to the present embodiment, and is a diagram illustrating a display example that has changed after FIG. 5C.
  • FIG. FIG. 3 is a diagram showing an example of a plurality of operators displayed on the user interface of the controller 2 according to the present embodiment.
  • 5B is an enlarged view of the user interface pointer shown in FIG. 5A.
  • the controller 2 is a device for controlling the musical tone generating device 3 based on a communication protocol compliant with the MIDI standard.
  • the controller 2 is connected to an eye tracking device 21 that allows a user with limited physical movement, such as an ALS patient, to input various information to the controller 2 through gaze input, and an input device 22 that allows the user to perform manual operations.
  • the controller 2 may include an eye tracking device 21 and an input device 22).
  • the eye tracking device 21 tracks the movement of the user's eyes (direction of gaze) and outputs gaze information to the controller 2.
  • the line-of-sight information can be generated, for example, by extracting characteristic patterns such as pupils from sequentially captured images of the user's eyeballs. This embodiment focuses on the fact that ALS patients can move their line of sight, and controls the musical tone generator 3 using line of sight information.
  • the input device 22 is an input device that can be operated by the user, such as a manual switch or a foot switch. When the user performs an operation using the input device 22, a signal corresponding to the operation is output from the input device 22 to the controller 2.
  • the input device 22 is preferably one that allows a user with limited physical movement, such as an ALS patient, to easily perform an input operation; for example, the input operation is to press a switch with the user's body.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the musical tone generation system 1 according to the present embodiment.
  • the CPU 23 is a processing device that controls the overall operation of the controller 2.
  • the ROM 24 is a nonvolatile memory that stores control programs executed by the CPU 23 and various data.
  • the RAM 25 is a volatile memory used as a load area and a work area for programs executed by the CPU 23.
  • the display 26 is a display device that displays various information (user interface).
  • the storage device 27 is a storage means for storing various information, and may be built into the main body of the controller 2 or may have a removable storage medium.
  • a communication interface (I/F) 28 is an interface for connecting to the musical tone generating device 3.
  • the bus 29 is a bus line that interconnects each of the above components.
  • the musical tone generating device 3 is a PC on which DAW software is installed.
  • DAW software By executing the DAW software, various music production functions (for example, hard disk recording function, MIDI data and audio data creation/editing function, mixing function, sequencer function, etc.) can be realized.
  • various music production functions for example, hard disk recording function, MIDI data and audio data creation/editing function, mixing function, sequencer function, etc.
  • the musical tone generating device 3 is configured by a PC and DAW software will be explained, but it may also be a stand-alone sequencer device or the like.
  • FIG. 3 is a diagram showing an example of the functional configuration of the musical tone generation system 1 according to the present embodiment.
  • the control unit 200 includes an acquisition unit 201, a reception unit 202, a determination unit 204, and a display control unit 203.
  • the acquisition unit 201 acquires line-of-sight information of the user of the controller 2. Specifically, the acquisition unit 201 acquires information regarding the user's gaze direction (gaze information) output from the eye tracking device 21 .
  • the reception unit 202 receives input operations by the user using the input device 22 (manual switch, foot switch, etc.).
  • the display control unit 203 dynamically displays a plurality of operators (icons) associated with control commands for the musical tone generating device 3 together with various information on the display unit 210 (corresponding to the display 26 in FIG. 2). Further, the display control unit 203 displays a pointer for operating the operator on the display unit 210 based on the user's line of sight information acquired by the acquisition unit 201.
  • 5A to 5D are diagrams showing an example of the user interface 50 dynamically displayed on the display unit 210 by the display control unit 203.
  • the display control unit 203 changes the display of the user interface 50 in the order of FIG. 5A, FIG. 5B, FIG. 5C, and FIG. 5D as time passes.
  • the display control unit 203 displays an image of a three-dimensional space 51 on the display unit 210 as the user interface 50. Then, the display control unit 203 displays the plurality of operators 60 so as to move from the back of the three-dimensional space 51 toward the front. The plurality of controls 60 disappear when moved to the frontmost position in the three-dimensional space, but in parallel with this, a plurality of new controls 60 are generated on the screen and displayed so as to move from the back of the screen to the front. Ru.
  • the user interface 50 By displaying the user interface 50 in this way, the user can see a plurality of controls 60 approaching the user from the back of the screen of the display unit 210, or when the user moves in the three-dimensional space 51 in the depth direction. A feeling of being present arises. This allows the user to operate the controller 2 with a sense of immersion.
  • FIG. 6 is a diagram showing an example of a plurality of operators 60 displayed on the user interface 50.
  • the plurality of operators 60 includes nine rectangular operators 61 to 69.
  • Each of these operators 61 to 69 is associated with each control command of the musical tone generator 3 (DAW), and when the user operates (selects) each of the operators 61 to 69, the musical tone generator 3 performs each control. Perform processing according to the command.
  • DAW musical tone generator 3
  • the user interface 50 includes a pointer P for operating/selecting each of the above-mentioned operators.
  • the pointer P is displayed on the display unit 210 based on the line-of-sight information acquired by the acquisition unit 201. Specifically, the position of the gaze point on the screen of the display unit 210 is determined from the line-of-sight information, and the pointer P is displayed at the position.
  • FIG. 7 is an enlarged view of the pointer P displayed on the user interface 50 shown in FIGS. 5A to 5D.
  • the pointer P includes a horizontal reference line Px and a vertical reference line Py, and the intersection of the reference line Px and the reference line Py is the reference position. This reference position is placed at the position of the user's gaze point obtained from the line-of-sight information.
  • the pointer P includes a rectangular area P1 and an indicator P2 displayed within this rectangular area.
  • the rectangular area P1 is an area in which a determining unit 204 (described later) determines whether the rectangular area P1 overlaps with the operator.
  • the indicator P2 is an index indicating the elapse of a predetermined time period corresponding to one measure of the musical piece played by the musical tone generating device 3.
  • This indicator P2 includes a circular meter graph P21 that dynamically changes as a predetermined time elapses, and a timer P22 that counts down the predetermined time.
  • a timer P22 that counts down the predetermined time. For example, in the case of a piece of music with a 4/4 time signature, one measure consists of four beats, so the timer P22 counts down one beat at a time in the order of 4, 3, 2, and 1. Note that the timer P22 may count up instead of counting down, and the countdown or countup does not have to be one beat at a time. For example, the timer P22 may count down or count up one second at a time.
  • the pointer P has the indicator P2 indicating the elapse of a predetermined time corresponding to one measure of the music played by the musical tone generating device 3, the user of the controller 2 can easily follow the rhythm of the music.
  • the musical tone generator 3 can be controlled.
  • the determining unit 204 selects an operator that overlaps at least a part of the rectangular area P1 of the pointer P from among the plurality of operators at the timing when the count of the timer expires (when a predetermined time elapses). Determine. With this, it is possible to determine the selection of the operator in accordance with the rhythm of the music only by inputting the line of sight using the eye tracking device 21. Further, the determining unit 204 may determine the selection of the operator that overlaps the reference position of the pointer P. Thereby, when the operators are arranged adjacent to each other, it is possible to reduce erroneous operations (erroneous selections) of the operators. Such a selection method is useful even for users who have difficulty performing operations other than moving their line of sight, since they can select the operator using only line-of-sight information.
  • the determining unit 204 may determine the selection of the operator according to the input operation by the user using the input device 22 that is received by the accepting unit 202. That is, the user can select the operator by inputting the line of sight using the eye tracking device 21, and can determine the selection of the operator by using the input device 22 (manual switch, foot switch, etc.). By doing so, the controller 2 can be operated while experiencing the rhythm of the music played by the musical tone generating device 3. Such a selection method is useful for users who can operate the input device 22 with a part of their body, such as their hands or feet, in addition to moving their line of sight.
  • the storage unit 211 stores information regarding each control command of the musical tone generator 3 (DAW) associated with each operator.
  • DAW musical tone generator 3
  • the communication unit 212 transmits MIDI standard-compliant information (control command information, MIDI event information) corresponding to the operator whose selection is determined by the determining unit 204 to the musical tone generating device 3.
  • MIDI standard-compliant information control command information, MIDI event information
  • the musical tone generating device 3 includes an audio input section 301, a sequencer 302, a recorder 303, a sound source 304, a mixer 305, a sound system 306, and a communication section 307.
  • the audio input unit 301 inputs an analog audio signal converted into a digital signal or inputs the digital audio signal itself.
  • the sequencer 302 records the MIDI event information received by the communication unit 307. This MIDI event information is supplied to a sound source 304, which will be described later.
  • the recorder 303 records the audio signal input by the audio input section 301 and the audio signal output from the sound source 304.
  • the audio signal recorded on the recorder 303 is output to the mixer 305 in response to a reproduction instruction.
  • the mixer 305 supplies audio signals output from the sound source 304 and recorder 303 to the sound system 306.
  • FIG. 4 is a flowchart showing an example of the operation of the musical tone generation system 1.
  • the acquisition unit 201 of the control unit 200 acquires the user's line of sight information output from the eye tracking device 21 (step S1).
  • the line of sight information may be acquired at any timing, for example, constantly in real time.
  • the display control unit 203 of the control unit 200 dynamically displays a plurality of operators associated with the control commands of the musical tone generator 3 (DAW) on the display unit 210 (step S2).
  • the display control unit 203 of the control unit 200 displays a pointer for operating the operator on the display unit 210 based on the line-of-sight information acquired by the acquisition unit 201 (step S3).
  • the determining unit 204 of the control unit 200 determines the selection of an operator that overlaps at least a portion of the pointer from among the plurality of operators (step S4).
  • the communication unit 307 transmits information compliant with the MIDI standard corresponding to the operator whose selection has been determined by the determination unit 204 to the musical tone generating device 3 (step S5).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

楽音発生装置を制御するコントローラは、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、取得部により取得した視線情報に基づいて、操作子を選択するためのポインタを表示部に表示する表示制御部と、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置に送信する通信部と、を有する。

Description

コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
　本発明は、コントローラ、楽音発生システム、方法、プログラム及び記憶媒体に関する。
　従来、楽音発生装置から発生される楽音を制御するための演奏制御情報を操作者の身体状況に応じて生成する演奏インターフェイスが知られている（特許文献１参照）。
特開２００１－１９５０５９号公報
　しかしながら、従来、ＡＬＳ患者等の身体の動きが制限されたユーザが使用することについては、何ら提案されていない。
　本発明が解決しようとする課題は、身体の動きが制限されたユーザが楽音発生装置を容易に制御可能にすることである。
　第１態様に係るコントローラは、楽音発生装置を制御するコントローラであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。
　この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。
　第２態様に係るコントローラは、上記第１態様に係るコントローラにおいて、前記表示制御部が、前記表示部に３次元空間の映像を表示し、前記３次元空間で移動するように前記複数の操作子を前記表示部に表示する。
　この構成によれば、３次元空間で移動する操作子の動きに合わせてユーザが楽音発生装置を制御することができる。
　第３態様に係るコントローラは、上記第２態様に係るコントローラにおいて、前記表示制御部が、前記３次元空間の奥から手前に移動するように、前記複数の操作子のうちの少なくとも一つの操作子を前記表示部に表示する。
　この構成によれば、３次元空間の奥から手前に移動する操作子の動きに合わせて没入感を得ながらユーザが楽音発生装置を制御することができる。
　第４態様に係るコントローラは、上記第１から第３態様に係るコントローラにおいて、前記表示制御部が、前記ポインタの近傍に前記楽音発生装置により演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータを表示する。
　この構成によれば、インジケータが示す所定時間の経過にタイミングを合わせてユーザが楽音発生装置を制御することができる。
　第５態様に係るコントローラは、第４態様に係るコントローラにおいて、前記インジケータが、前記所定時間の経過に合わせて動的に変化する円形のメーターグラフを含む。
　この構成によれば、ユーザが所定時間の経過を視覚的に容易に認識することができる。
　第６態様に係るコントローラは、上記第４又は第５態様に係るコントローラにおいて、前記インジケータが、前記所定時間をカウントダウン又はカウントアップするタイマを含む。
　この構成によれば、所定時間の経過に容易にタイミングを合わせてユーザが楽音発生装置を制御することができる。
　第７態様に係るコントローラは、上記第６態様に係るコントローラにおいて、前記タイマが、前記所定時間を１拍ずつカウントダウン又はカウントアップする。
　この構成によれば、楽曲のリズムに合わせてユーザが楽音発生装置を制御することができる。
　第８態様に係るコントローラは、上記第４から第７態様に係るコントローラにおいて、前記決定部が、前記所定時間の経過時に、前記ポインタの少なくとも一部と重なる操作子の選択を決定する。
　この構成によれば、所定時間の経過時に自動的に操作子の選択が決定されるため、楽曲のリズムに合わせた楽音発生装置の制御が容易となる。
　第９態様に係るコントローラは、上記第１から第８態様のいずれかに係るコントローラにおいて、前記決定部が、前記ポインタの基準位置と重なる操作子の選択を決定する。
　この構成によれば、操作子の選択をより正確に行うことができる。
　第１０態様に係るコントローラは、上記第９態様に係るコントローラにおいて、前記基準位置が、前記ポインタの略中心である。
　この構成によれば、より容易に操作子を選択することができる。
　第１１態様に係るコントローラは、上記第１から第１０態様のいずれかに係るコントローラにおいて、前記決定部が、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する。
　この構成によれば、ユーザの視線情報（視線入力）のみで操作子を選択できるため、身体の自由が制限されたユーザであっても容易に楽音発生装置を制御することができる。
　第１２態様に係る楽音発生システムは、楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。
　第１３態様に係る方法は、楽音発生装置を制御する方法であって、ユーザの視線情報を取得するステップと、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とする方法。
　この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。
　第１４態様に係るプログラムは、コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とするプログラム。
　第１５態様に係る記憶媒体は、上記第１４態様に係るプログラムを記憶したコンピュータで読み取り可能な記憶媒体である。
本実施形態に係る楽音発生システム１のシステム構成の一例を示す図である。 本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の機能構成の一例を示すブロック図である。 本実施形態に係る楽音発生システム１の動作の一例を示すフローチャートである。 本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図である。 本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ａの後に変化した表示例を示す図である。 本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ｂの後に変化した表示例を示す図である。 本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ｃの後に変化した表示例を示す図である。 本実施形態に係るコントローラ２のユーザインタフェースに表示される複数の操作子の一例を示す図である。 図５Ａに示すユーザインタフェースのポインタの拡大図である。
　以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。
（楽音発生システムの構成）
　図１は、一実施の形態に係る楽音発生システム１の概略的な構成を示す図である。図１に示すように、本実施形態に係る楽音発生システム１は、コントローラ２と楽音発生装置３とを備えている。コントローラ２と楽音発生装置３とは後述の通信インタフェース（Ｉ／Ｆ）により通信可能に接続されている。
　コントローラ２は、楽音発生装置３をＭＩＤＩ規格に準拠した通信プロトコルに基づいて制御するための装置である。そして、コントローラ２は、ＡＬＳ患者等の身体の動きに制限のあるユーザが視線入力により各種情報をコントローラ２に入力するためのアイトラッキング装置２１と、ユーザが手動操作を行う入力装置２２に接続される（コントローラ２がアイトラッキング装置２１と入力装置２２とを備えていてもよい）。
　アイトラッキング装置２１は、ユーザの眼の動き（視線方向）を追跡し、視線情報をコントローラ２に出力する。視線情報は、例えば、ユーザの眼球像を逐次撮像した画像から瞳孔等の特徴的なパターンを抽出することにより生成することができる。本実施形態は、ＡＬＳ患者が視線を動かすことができることに着目し、視線情報を用いて楽音発生装置３を制御するものである。
　入力装置２２は、手動スイッチ、フットスイッチ等のユーザが操作可能な入力装置である。ユーザが入力装置２２を用いて操作を行うと、その操作に応じた信号が入力装置２２からコントローラ２に出力される。入力装置２２は、ＡＬＳ患者等の身体の動きが制限されたユーザが簡単に入力操作を行えるものであるのが望ましく、例えば入力操作はユーザの体によってスイッチを押下することである。
　楽音発生装置３は、コントローラ２から受信したＭＩＤＩ規格に準拠した信号に基づいて楽音を発生させるための装置である。例えば、ＤＡＷ（Digital Audio Workstation）と称される統合音楽ソフトウェアをパーソナルコンピュータにインストールして実行することにより当該パーソナルコンピュータを楽音発生装置として用いることができる。また、楽音発生装置３は、音響信号に基づいて放音するためのサウンドシステム３１を備えている。
（ハードウェア構成）
　次に、本実施形態に係る楽音発生システム１のハードウェア構成について説明する。図２は、本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。
　コントローラ２において、ＣＰＵ２３は、このコントローラ２全体の動作を制御する処理装置である。ＲＯＭ２４は、ＣＰＵ２３が実行する制御プログラムや各種のデータを格納する不揮発性メモリである。ＲＡＭ２５は、ＣＰＵ２３が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。ディスプレイ２６は、各種の情報（ユーザインタフェース）を表示する表示装置である。記憶装置２７は、各種の情報を記憶するための記憶手段であり、コントローラ２本体に内蔵されているものでも、記憶媒体が着脱可能なものでもよい。通信インタフェース（Ｉ／Ｆ）２８は、楽音発生装置３と接続するためのインタフェースである。バス２９は、上記各構成要素を相互に接続するバスラインである。
　楽音発生装置３は、本実施形態ではＰＣにＤＡＷソフトウェアをインストールしたものである。該ＤＡＷソフトウェアを実行することにより、音楽制作の各種の機能（例えば、ハードディスクレコーディング機能、ＭＩＤＩデータやオーディオデータの作成編集機能、ミキシング機能、シーケンサ機能など）を実現することができる。なお、本実施形態では楽音発生装置３をＰＣとＤＡＷソフトウェアで構成した例で説明するが、単体のシーケンサ装置などでもよい。
　楽音発生装置３において、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、記憶装置３６、マウス・キーボード等の入力装置３７及びディスプレイ３８は、汎用のＰＣが備える基本構成である。通信Ｉ／Ｆ３５は、コントローラ２と接続するためのインタフェースである。なお、通信Ｉ／Ｆ２８と３５は、例えば、ＭＩＤＩなどの音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用有線Ｉ／Ｆや無線ＬＡＮやBluetooth(登録商標)等の汎用無線Ｉ／Ｆである。サウンドシステム３１は、デジタルアナログ（Ｄ／Ａ）変換機能などを備えるサウンドＩ／Ｏであるコーデックから渡されるアナログ音響信号を放音する。このサウンドシステム３１は、楽音発生装置３を構成するＰＣが備えるスロットにボードやカードを挿入する形式で付加された機能である。バス３９は、上記各構成要素を相互に接続するバスラインである。
（機能構成）
　次に、本実施形態に係る楽音発生システム１の機能構成について説明する。図３は、本実施形態に係る楽音発生システム１の機能構成の一例を示す図である。
　図３に示すように、コントローラ２は、制御部２００と、表示部２１０と、記憶部２１１と、通信部２１２とを有している。
　制御部２００は、取得部２０１と、受付部２０２と、決定部２０４と、表示制御部２０３とを有している。
　取得部２０１は、コントローラ２のユーザの視線情報を取得する。具体的には、取得部２０１はアイトラッキング装置２１から出力されるユーザの視線方向に関する情報（視線情報）を取得する。
　受付部２０２は、入力装置２２（手動スイッチ、フットスイッチ等）を用いたユーザによる入力操作を受け付ける。
　表示制御部２０３は、楽音発生装置３の制御コマンドに関連付けられた複数の操作子（アイコン）を各種の情報とともに表示部２１０（図２のディスプレイ２６に相当）に動的に表示する。また、表示制御部２０３は、取得部２０１により取得したユーザの視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する。
　図５Ａ～図５Ｄは、表示制御部２０３によって表示部２１０に動的に表示されるユーザインタフェース５０の一例を示す図である。表示制御部２０３は、時間経過とともに図５Ａ、図５Ｂ、図５Ｃ、図５Ｄの順にユーザインタフェース５０の表示を変化させる。
　図５Ａ～図５Ｄに示すように、表示制御部２０３は、ユーザインタフェース５０として、３次元空間５１の映像を表示部２１０に表示する。そして、表示制御部２０３は、この３次元空間５１の奥から手前に向かって移動するように複数の操作子６０を表示する。複数の操作子６０は、３次元空間の最も手前まで移動すると消失するが、これと並行して新たな複数の操作子６０が画面上に生成されて画面奥から手前に移動するように表示される。このようにユーザインタフェース５０を表示することで、ユーザには複数の操作子６０が表示部２１０の画面奥からユーザに向かって近づいてくる、あるいは、ユーザが３次元空間５１を奥行方向に進んでいるかのような感覚が生じる。これにより、ユーザは没入感をもってコントローラ２を操作することができる。
　図６は、ユーザインタフェース５０に表示される複数の操作子６０の一例を示す図である。図６に示すように、複数の操作子６０は、操作子６１～６９の９個の矩形の操作子を含む。これらの各操作子６１～６９は、楽音発生装置３（ＤＡＷ）の各制御コマンドに関連付けられており、各操作子６１～６９をユーザが操作（選択）することにより楽音発生装置３が各制御コマンドに応じた処理を行う。
　図５Ａ～図５Ｄに戻って、ユーザインタフェース５０は、上記の各操作子を操作／選択するためのポインタＰを含む。ポインタＰは、取得部２０１が取得した視線情報に基づいて表示部２１０に表示される。具体的には、視線情報から表示部２１０の画面上における注視点の位置を求め、当該位置にポインタＰが表示される。
　図７は、図５Ａ～図５Ｄに示すユーザインタフェース５０に表示されるポインタＰの拡大図である。図７に示すように、ポインタＰは、水平方向の基準線Ｐｘと垂直方向の基準線Ｐｙとを含み、基準線Ｐｘと基準線Ｐｙとの交点が基準位置となる。この基準位置は、視線情報から得られるユーザの注視点の位置に配置される。また、ポインタＰは、矩形領域Ｐ１と、この矩形領域内に表示されるインジケータＰ２とを含む。矩形領域Ｐ１は、後述の決定部２０４によって操作子との重畳判定がされる領域である。インジケータＰ２は、楽音発生装置３によって演奏される楽曲の１小節に対応する所定時間の経過を示す指標である。このインジケータＰ２は、所定時間の経過に合わせて動的に変化する円形のメーターグラフＰ２１と、所定時間をカウントダウンするタイマＰ２２とを含む。タイマＰ２２は、例えば、４分の４拍子の楽曲の場合、１小節が４拍で構成されるため、４、３、２、１の順に１拍ずつカウントダウンする。なお、カウントダウンではなく、タイマＰ２２がカウントアップするようにしてもよいし、カウントダウン又はカウントアップは１拍ずつでなくてもよい。例えば、タイマＰ２２が、１秒ずつカウントダウン又はカウントアップするようにしてもよい。このように、ポインタＰが、楽音発生装置３によって演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータＰ２を有することにより、コントローラ２のユーザは、楽曲のリズムに合わせて容易に楽音発生装置３を制御することができる。
　図３に戻って、決定部２０４は、前記タイマのカウントが満了するタイミング（所定時間の経過時）に上記複数の操作子のうちポインタＰの矩形領域Ｐ１の少なくとも一部と重なる操作子の選択を決定する。これにより、アイトラッキング装置２１を用いた視線入力のみで楽曲のリズムに合わせて操作子の選択を決定することができる。また、決定部２０４は、ポインタＰの基準位置と重なる操作子の選択を決定するようにしてもよい。これにより、操作子が隣接して配置されている場合に、操作子の誤操作（誤選択）を低減させることができる。このような選択法は、視線情報のみで操作子を選択できるため、視線を動かすこと以外の動作が困難なユーザにも有用である。
　また、決定部２０４は、受付部２０２が受け付けたユーザによる入力装置２２を用いた入力操作に応じて操作子の選択を決定してもよい。すなわち、ユーザは、アイトラッキング装置２１を用いた視線入力で操作子を選択し、入力装置２２（手動スイッチ、フットスイッチ等）を用いて操作子の選択を決定することができる。このようにすることで、楽音発生装置３により演奏される楽曲のリズムを体感しながらコントローラ２を操作することができる。このような選択法は、視線を動かすことに加え、手や足など体の一部で入力装置２２の操作を可能なユーザに有用である。
　記憶部２１１は、各操作子に関連付けた楽音発生装置３（ＤＡＷ）の各制御コマンドに関する情報を記憶する。
　通信部２１２は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報（制御コマンド情報、ＭＩＤＩイベント情報）を楽音発生装置３に送信する。
　次に、楽音発生装置３の機能構成について説明する。図３に示すように、楽音発生装置３は、オーディオ入力部３０１と、シーケンサ３０２と、レコーダ３０３と、音源３０４と、ミキサ３０５と、サウンドシステム３０６と、通信部３０７とを有する。
　オーディオ入力部３０１は、デジタルに変換したアナログ音響信号の入力や、デジタル音響信号そのものの入力を行う。
　シーケンサ３０２は、通信部３０７が受信したＭＩＤＩイベント情報を記録する。このＭＩＤＩイベント情報は、後述の音源３０４に供給される。
　音源３０４はソフトウェア音源である。音源３０４は、入力したＭＩＤＩイベント情報に応じてオーディオ信号を生成する。音源３０４から出力されたオーディオ信号は、レコーダ３０３やミキサ３０５に入力する。
　レコーダ３０３は、オーディオ入力部３０１により入力されたオーディオ信号や音源３０４から出力されたオーディオ信号を記録する。レコーダ３０３に記録されたオーディオ信号は、再生の指示に応じてミキサ３０５に出力される。
　ミキサ３０５は、音源３０４やレコーダ３０３から出力されるオーディオ信号をサウンドシステム３０６へと供給する。
（動作の一例）
　次に、楽音発生システム１の動作の一例について説明する。図４は、楽音発生システム１の動作の一例を示すフローチャートである。
　まず、コントローラ２において制御部２００の取得部２０１は、アイトラッキング装置２１から出力されるユーザの視線情報を取得する（ステップＳ１）。視線情報の取得は任意のタイミングで行われてよく、例えばリアルタイムに常時行われる。
　次に、制御部２００の表示制御部２０３は、楽音発生装置３（ＤＡＷ）の制御コマンドに関連付けられた複数の操作子を表示部２１０に動的に表示する（ステップＳ２）。
　また、制御部２００の表示制御部２０３は、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する（ステップＳ３）。
　次に、制御部２００の決定部２０４は、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する（ステップＳ４）。
　続いて、通信部３０７は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する（ステップＳ５）。
　そして、楽音発生装置３において、コントローラ２から受信したＭＩＤＩ規格に準拠した情報に基づいて各種処理（制御コマンドの実行、ＭＩＤＩイベントの記録等）が行われる（ステップＳ６）。
　以上説明したとおり、本実施形態によれば楽音発生システム１が、ユーザの視線情報を取得する取得部２０１と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部２１０に動的に表示するとともに、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する表示制御部２０３と、複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する決定部２０４と、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する通信部２１２と、を有するので、身体の動きが制限されたユーザが楽音発生装置３を容易に制御することができる。　本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。
　上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。
　また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。
　なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

Claims (15)

  1. 　楽音発生装置を制御するコントローラであって、
    　ユーザの視線情報を取得する取得部と、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
    　前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
    　を有することを特徴とするコントローラ。
  2. 　前記表示制御部は、前記表示部に３次元空間の映像を表示し、前記３次元空間で移動するように前記複数の操作子を前記表示部に表示することを特徴とする請求項１に記載のコントローラ。
  3. 　前記表示制御部は、前記３次元空間の奥から手前に移動するように、前記複数の操作子のうちの少なくとも一つの操作子を前記表示部に表示することを特徴とする請求項２に記載のコントローラ。
  4. 　前記表示制御部は、前記ポインタの近傍に前記楽音発生装置により演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータを表示することを特徴とする請求項１に記載のコントローラ。
  5. 　前記インジケータは、前記所定時間の経過に合わせて動的に変化する円形のメーターグラフを含むことを特徴とする請求項４に記載のコントローラ。
  6. 　前記インジケータは、前記所定時間をカウントダウン又はカウントアップするタイマを含むことを特徴とする請求項４に記載のコントローラ。
  7. 　前記タイマは、前記所定時間を１拍ずつカウントダウン又はカウントアップすることを特徴とする請求項６に記載のコントローラ。
  8. 　前記決定部は、前記所定時間の経過時に、前記ポインタの少なくとも一部と重なる操作子の選択を決定することを特徴とする請求項４から７のいずれかに記載のコントローラ。
  9. 　前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  10. 　前記基準位置は、前記ポインタの略中心であることを特徴とする請求項９に記載のコントローラ。
  11. 　前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。
  12. 　楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
    　ユーザの視線情報を取得する取得部と、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
    　前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
    　を有することを特徴とする楽音発生システム。
  13. 　楽音発生装置を制御する方法であって、
    　ユーザの視線情報を取得するステップと、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    　前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    　を有することを特徴とする方法。
  14. 　コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
    　楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
    　前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
    　前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
    　を有することを特徴とするプログラム。
  15. 　請求項１４に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
PCT/JP2023/022852 2022-06-23 2023-06-21 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体 WO2023249033A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022101416A JP2024002309A (ja) 2022-06-23 2022-06-23 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
JP2022-101416 2022-06-23

Publications (1)

Publication Number Publication Date
WO2023249033A1 true WO2023249033A1 (ja) 2023-12-28

Family

ID=89379927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022852 WO2023249033A1 (ja) 2022-06-23 2023-06-21 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

Country Status (2)

Country Link
JP (1) JP2024002309A (ja)
WO (1) WO2023249033A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097443A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 入力システム、入力プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097443A (ja) * 2016-12-09 2018-06-21 アイシン・エィ・ダブリュ株式会社 入力システム、入力プログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
D2C CO., LTD.: ""Eye Play the Piano", a universal musical instrument that can be played just by moving your eyes ", CNET JAPAN, 24 May 2016 (2016-05-24), XP093118654, Retrieved from the Internet <URL:https://japan.cnet.com/article/35082727> [retrieved on 20240112] *
DENTSU LAB TOKYO MANAGEMENT OFFICE: "―Everyone as a player― Dentsu Lab Tokyo launches "ALL PLAYERS WELCOME" project to solve social issues with technology and ideas", PRTIMES, 21 June 2022 (2022-06-21), XP093118652, Retrieved from the Internet <URL:https://prtimes.jp/main/html/rd/p/000000006.000088502.html> [retrieved on 20240112] *
KENICHIRO YABU ET AL.: "Development of a music interface application aimed at live performance using gaze input for severely disabled people", PROCEEDINGS OF THE 2021 AUTUMN MEETING THE ACOUSTICAL SOCIETY OF JAPAN; SEPTEMBER 7-9, 2021, vol. 2021, 24 August 2021 (2021-08-24) - 9 September 2021 (2021-09-09), pages 1213 - 1214, XP009551730 *
MURATA KAZUYOSHI, YU SHIBUYA: "Acceptable Dwell Time Range in Object Selection using Mid-air Gesture Interaction System ", HUMAN INTERFACE : THE TRANSACTION OF HUMAN INTERFACE SOCIETY, HUMAN INTERFACE SOCIETY, JP, vol. 20, no. 4, 25 November 2018 (2018-11-25), JP , pages 479 - 490, XP093118653, ISSN: 1344-7262, DOI: 10.11184/his.20.4_479 *

Also Published As

Publication number Publication date
JP2024002309A (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
US9412349B2 (en) Intelligent keyboard interface for virtual musical instrument
KR101461448B1 (ko) 전자 음향 신호 발생 장치, 전자 음향 신호 발생 방법, 및 전자 음향 신호 발생 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US20160063975A1 (en) Performance method of electronic musical instrument and music
JP4752425B2 (ja) 合奏システム
JP4797523B2 (ja) 合奏システム
WO2016060254A1 (ja) 音楽演奏支援装置及び方法
EP4057211A1 (en) Information processing device, information processing method, and program
WO2023249033A1 (ja) コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
KR100312750B1 (ko) 센서를 이용한 가상 연주장치 및 그 방법
WO2023249032A1 (ja) コントローラ、楽音発生システム、方法、プログラム及び記憶媒体
JPWO2011030760A1 (ja) テキスト出力が可能な音楽ゲームシステム及びそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体
Krout et al. Music technology used in therapeutic and health settings
US8878044B2 (en) Processing device and method for displaying a state of tone generation apparatus
US20170278495A1 (en) Input Support Apparatus and Method Therefor
JP6217275B2 (ja) 曲データ表示装置、曲データ表示方法及びプログラム
TW202418267A (zh) 控制器、音樂產生系統、方法、程式及記憶媒體
JP2015184420A (ja) 楽譜表示・演奏プログラム及び楽譜表示・演奏装置
US20220189443A1 (en) Information processing device, information processing method, and program
Payne et al. Cyclops: Designing an eye-controlled instrument for accessibility and flexible use.
Jamal et al. EasyARPiano: Piano Teaching Mobile App with Augmented Reality
US11694724B2 (en) Gesture-enabled interfaces, systems, methods, and applications for generating digital music compositions
JP2016041141A (ja) ゲームプログラム
JP2008165098A (ja) 電子楽器
JP2008171441A (ja) 管理プログラムおよび情報処理装置
JP2018156016A (ja) 楽譜表示・演奏プログラム及び楽譜表示・演奏装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827216

Country of ref document: EP

Kind code of ref document: A1