WO2024101162A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2024101162A1
WO2024101162A1 PCT/JP2023/038615 JP2023038615W WO2024101162A1 WO 2024101162 A1 WO2024101162 A1 WO 2024101162A1 JP 2023038615 W JP2023038615 W JP 2023038615W WO 2024101162 A1 WO2024101162 A1 WO 2024101162A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter adjustment
information processing
source data
sound quality
sound
Prior art date
Application number
PCT/JP2023/038615
Other languages
English (en)
French (fr)
Inventor
正行 佐賀野
次郎 川野
慶子 洞
丈 松井
智治 笠原
裕也 由田
鈴奈 伊藤
崇 藤岡
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024101162A1 publication Critical patent/WO2024101162A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a program.
  • apps for recording and editing that run on information processing devices are known.
  • apps users can freely edit audio data recorded by the information processing device or purchased from an external source.
  • some recording and editing apps support the collaborative production of music content by multiple users by enabling editing of audio data recorded on multiple information processing devices via a network (see, for example, Patent Document 1).
  • this disclosure proposes an information processing device, an information processing method, and a program that can further improve the convenience for users when creating music content.
  • an information processing device includes a control unit capable of executing an application having a recording function and an editing function for sound source data, and a display unit that displays visual information related to the application.
  • the control unit executes a sound quality improvement process for the sound source data, executes a parameter adjustment process for the sound source data in parallel with the sound quality improvement process, and displays parameter adjustment parts in the parameter adjustment process in an overlapping manner on a waveform display area of the sound source data displayed on the display unit while the application is being executed.
  • FIG. 1 is a schematic explanatory diagram (part 1) of an information processing method according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram showing the content of sound quality improvement processing.
  • FIG. 11 is a diagram showing the contents of a parameter adjustment process.
  • FIG. 2 is a schematic explanatory diagram (part 2) of an information processing method according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating a configuration example of a smartphone according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of a server device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing a basic UI example (part 1).
  • FIG. 2 is a diagram showing a basic UI example (part 2).
  • FIG. 13 is a diagram showing an example of a UI when muted (part 1);
  • FIG. 2 is a diagram showing a second example of a UI when muted;
  • FIG. 13 is a diagram showing a UI example on a recording screen (part 1).
  • FIG. 2 is a diagram showing a second example of a UI on the recording screen.
  • FIG. 13 is a diagram illustrating an example of a UI during comping editing.
  • FIG. 13 is a diagram (part 1) showing an example of a UI during timing control with sound quality improvement processing.
  • FIG. 2 shows a second example of a UI during timing control with sound quality improvement processing.
  • FIG. 13 shows a second example of a UI during timing control with sound quality improvement processing.
  • FIG. 3 shows a third example of a UI during timing control with sound quality improvement processing.
  • FIG. 4 is a diagram showing an example of a UI during timing control with sound quality improvement processing;
  • FIG. 11 is a diagram (part 1) showing an example of a UI according to a modified example.
  • FIG. 11 is a diagram (part 2) showing an example of a UI according to a modified example.
  • FIG. 11 is a diagram (part 3) showing an example of a UI according to a modified example.
  • FIG. 4 is a diagram showing a UI example according to a modified example;
  • FIG. 5 is a diagram showing a UI example according to a modified example;
  • FIG. 6 shows a UI example according to a modified example.
  • FIG. 1 shows an example of a UI according to a modified example.
  • FIG. 11 is a diagram (part 2) showing an example of a UI according to a modified example.
  • FIG. 11 is a diagram (part 3) showing an
  • FIG. 7 is a diagram showing an example of a UI according to a modified example
  • FIG. 8 is a diagram showing an example of a UI according to a modified example
  • FIG. 9 is a diagram showing an example of a UI according to a modified example
  • FIG. 1 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of a smartphone.
  • the information processing device (hereinafter, appropriately referred to as “the present embodiment") will be mainly described as a smartphone 10 used by a user. Furthermore, in the following description, an app for recording and editing that runs on the smartphone 10 will be referred to as a “recording and editing app.”
  • audio data recorded by the smartphone 10 or purchased externally and stored in the smartphone 10's storage will be referred to as a "track” as appropriate.
  • the function of improving the sound quality of tracks in the recording and editing app according to this embodiment will be referred to as the sound quality improvement function.
  • the sound quality improvement function may be illustrated as "Studio tuning” or “STUDIO TUNING” in the drawings shown later.
  • the processing executed by the sound quality improvement function will be referred to as the "sound quality improvement processing.”
  • the function of adjusting various parameters such as the volume and reverb strength of each track for playing and mixing tracks in the recording and editing app is referred to as the parameter adjustment function.
  • “Mixing” includes writing out the sound source data in which the tracks are mixed.
  • the process executed by the parameter adjustment function is referred to as the "parameter adjustment process.”
  • Fig. 1 is a schematic diagram of an information processing method according to an embodiment of the present disclosure.
  • Fig. 2 is a diagram showing the content of a sound quality improvement process.
  • Fig. 3 is a diagram showing the content of a parameter adjustment process.
  • Fig. 4 is a schematic diagram (part 2) of an information processing method according to an embodiment of the present disclosure.
  • the information processing method according to this embodiment is executed by an information processing system 1.
  • the information processing system 1 includes a smartphone 10 and a server device 100.
  • the smartphone 10 is a portable information processing device used by a user.
  • the smartphone 10 has a platform capable of executing the recording and editing app according to this embodiment.
  • the smartphone 10 has a microphone 11, a speaker 12, and a display unit 15.
  • the microphone 11 is provided, for example, at one end of the smartphone 10 that is closer to the mouthpiece in the longitudinal direction.
  • the speaker 12 is provided at the other end that is closer to the earpiece relative to the one end.
  • the display unit 15 is realized as a touch screen integrated with the operation unit 14 (see FIG. 5), which will be described later, and has a rectangular shape.
  • the touch screen detects touch operations by the user.
  • Known detection methods such as the electrostatic capacitance method, resistive film method, surface acoustic wave method (or ultrasonic method), infrared method, electromagnetic induction method, and load detection method are used for the touch screen.
  • the touch screen When the recording and editing app is running on the smartphone 10, the touch screen displays various user interfaces (UIs) related to the recording and editing app.
  • UIs user interfaces
  • the touch screen also detects the user's touch operations on these UIs.
  • the microphone 11 collects the sound emitted from a sound source (e.g., a musical instrument) and records it as sound source data of a track type that is specified in advance for recording.
  • a sound source e.g., a musical instrument
  • the speaker 12 outputs the sound source data selected for playback.
  • the recording and editing app can adjust various parameters such as the volume of each track and the strength of reverb in response to user input.
  • “high sound quality” examples include “sound source separation” which separates multiple different sound sources contained in a track recorded using a single microphone 11, as shown in Figure 2, "noise reduction” which removes noise, and “dereverberation” which removes unwanted reverberation.
  • Other examples include “microphone simulation” which reproduces the microphone characteristics of a high-performance microphone, as shown in Figure 2, and “studio simulation” which adds the unique reverberation of a recording studio, etc.
  • the smartphone 10 is capable of executing the parameter adjustment process in parallel with the sound quality improvement process, and the parameter adjustment parts in the parameter adjustment process are displayed overlapping the waveform display area WA of the track displayed on the display unit 15 while the recording and editing app is running.
  • the smartphone 10 first executes the recording and editing app (step S1). Then, when the user uses the sound quality improvement function in the recording and editing app, the smartphone 10 transmits the sound source data selected as the target for sound quality improvement processing to the server device 100 (step S2).
  • the server device 100 is a device that is configured to be able to communicate with the smartphone 10 via a network N, such as a mobile phone network or the Internet.
  • the server device 100 is realized, for example, as a cloud server.
  • the server device 100 has a sound quality improvement processing model 102a (see FIG. 6) and is configured to be able to execute sound quality improvement processing using this sound quality improvement processing model 102a.
  • the sound quality improvement processing model 102a is, for example, a DNN (Deep Neural Network) model trained using a deep learning algorithm.
  • the server device 100 performs high-quality sound processing on the sound source data acquired from the smartphone 10 by AI (Artificial Intelligence) processing using this high-quality sound processing model 102a (step S3).
  • AI Artificial Intelligence
  • the server device 100 then transmits the high-quality sound processed data to the smartphone 10, which receives it (step S4).
  • the smartphone 10 can continue to use the recording and editing app or execute other apps while the high-quality sound processing is in progress, as long as this does not affect the high-quality sound processing.
  • the smartphone 10 executes a parameter adjustment process in parallel with the sound quality improvement process (step S5).
  • Figure 4 shows an example of the parameter adjustment screen in step S5.
  • the smartphone 10 causes the display unit 15 to display a parameter adjustment screen such as that shown in Figure 4.
  • the parameter adjustment screen according to this embodiment allows the type of parameter to be adjusted to be selected using tabs (point P1).
  • at least "volume” and "reverb” can be specified as types of adjustable parameters.
  • FIG. 4 shows an example in which the "reverb" tab T2 has been selected, and a reverb adjustment screen that allows the strength of reverb to be adjusted for each editable track is displayed as one of the parameter adjustment screens.
  • the smartphone 10 displays a parameter adjustment screen when the user touches an icon I1 (see FIG. 7) for parameter adjustment on the track editing screen shown later in FIG. 7, etc.
  • the track editing screen has a waveform display area WA that displays the waveform of each track, and the smartphone 10 displays the parameter adjustment screen by overlapping the parameter adjustment components on this waveform display area WA (point P2), as shown in FIG. 4.
  • the smartphone 10 displays the parameter adjustment screen in a skeletonized form, so that the parameters can be adjusted while the waveform display area WA behind it is visible to the user.
  • the smartphone 10 also displays the parameter adjustment screen so that only operable parameter adjustment components are enabled.
  • the parameter adjustment components include GUI (Graphical User Interface) such as sliders. This allows the user to easily adjust parameters, such as the strength of reverb for each track, with intuitive operations.
  • GUI Graphic User Interface
  • the user can adjust parameters while visually checking the waveform display area WA, the user can easily adjust parameters according to the musical development and intonation, etc., that can be inferred from the waveform of each track.
  • the smartphone 10 displays the slider using most of the width of the waveform display area WA (for example, at least half of the width). This allows the slider to be long, making it possible to adjust parameters with high resolution using the slider.
  • Specific UI examples for points P1 and P2 will be described later using Figures 7 to 14.
  • the smartphone 10 also displays a parameter adjustment screen so that the timing can be controlled with respect to the sound quality improvement process (point P3). For example, if there is a track undergoing sound quality improvement processing in the server device 100, the smartphone 10 displays the parameter adjustment screen so that parameters for this track can be adjusted only for the original track before the sound quality improvement processing.
  • the smartphone 10 does not immediately add this track that has been processed for high quality sound to the editing screen while the parameter adjustment screen is displayed, but instead adds and displays it when the parameter adjustment screen is exited.
  • the smartphone 10 reflects the results of the adjustments made to the original track before the high quality sound process for the parameters of the added and displayed track that has been processed for high quality sound.
  • FIG. 5 is a block diagram showing a configuration example of the smartphone 10 according to an embodiment of the present disclosure. Note that Fig. 5 and Fig. 6 shown later show only components necessary for explaining the features of the embodiment of the present disclosure, and descriptions of general components are omitted.
  • each component shown in Figures 5 and 6 is a functional concept, and does not necessarily have to be physically configured as shown.
  • the specific form of distribution and integration of each block is not limited to that shown, and all or part of it can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
  • the smartphone 10 has a microphone 11, a speaker 12, a communication unit 13, an operation unit 14, a display unit 15, a memory unit 16, and a control unit 17.
  • the communication unit 13 is realized by a communication module or the like.
  • the communication unit 13 is wirelessly connected to the aforementioned network N, and realizes communication with the server device 100 via the network N.
  • the operation unit 14 is an operation component mounted on the smartphone 10, and is realized, for example, by a touch panel.
  • the display unit 15 is a display component mounted on the smartphone 10, and is realized, for example, by a display.
  • the operation unit 14 and the display unit 15 are, for example, integrated to form the touch screen described above. Therefore, the operation unit 14 may be a software component displayed on the display unit 15, or may be, for example, a GUI that a recording and editing application displays on the display unit 15 in an operable manner.
  • the storage unit 16 is realized by, for example, semiconductor memory elements such as RAM (Random Access Memory), ROM (Read Only Memory), and Flash Memory.
  • the storage unit 16 stores application information 16a.
  • Application information 16a is information including the program of the recording and editing application, various parameters used during operation of the recording and editing application, and the like.
  • the control unit 17 is a controller, and is realized, for example, by a CPU (Central Processing Unit) or MPU (Micro Processing Unit) executing a program according to an embodiment of the present disclosure stored in the memory unit 16 using a RAM as a working area.
  • the control unit 17 can also be realized, for example, by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 17 has an application execution unit 17a, a display control unit 17b, and a communication control unit 17c, and realizes or executes the information processing functions and actions described below.
  • the application execution unit 17a reads the application information 16a stored in the memory unit 16 and executes the recording and editing application.
  • the application execution unit 17a executes the sound quality improvement process, for example, in response to the operation content input from the operation unit 14 when executing the sound quality improvement process in the recording and editing application.
  • the application execution unit 17a also executes the parameter adjustment process, for example, in response to the operation content input from the operation unit 14 when executing the parameter adjustment process in the recording and editing application.
  • the application execution unit 17a also causes the display control unit 17b to control the display of visual information, including various UIs, in response to various operations performed when executing the recording and editing application, including the sound quality improvement process and parameter adjustment process.
  • various UIs in the recording and editing application according to this embodiment will be described later with reference to Figures 7 to 18.
  • the display control unit 17b controls the display of visual information on the display unit 15 when the recording and editing app is executed based on instructions from the app execution unit 17a.
  • the communication control unit 17c controls communication with the server device 100 when the recording and editing app is executed.
  • the communication control unit 17c uploads, for example, sound source data to be subjected to high-quality sound processing to the server device 100 via the communication unit 13.
  • the communication control unit 17c downloads, for example, data that has been subjected to high-quality sound processing in the server device 100 from the server device 100 via the communication unit 13.
  • Fig. 6 is a block diagram showing a configuration example of the server device 100 according to an embodiment of the present disclosure.
  • the server device 100 has a communication unit 101, a memory unit 102, and a control unit 103.
  • the communication unit 101 is realized by a communication module or the like, similar to the above-mentioned communication unit 13.
  • the communication unit 101 is connected to the above-mentioned network N by wire or wirelessly, and realizes communication with the smartphone 10 via the network N.
  • the storage unit 102 like the storage unit 16 described above, is realized by, for example, semiconductor memory elements such as RAM, ROM, and flash memory.
  • the storage unit 102 is also realized by a disk device such as a hard disk device or an optical disk device. In the example shown in FIG. 6, the storage unit 102 stores a high-quality sound processing model 102a.
  • the sound quality improvement processing model 102a is a DNN model trained using, for example, a deep learning algorithm. Note that the learning algorithm of the sound quality improvement processing model 102a is not limited to deep learning.
  • the sound quality improvement processing model 102a is read by the sound quality improvement processing unit 103b (described later), and when sound source data to be processed is input, the sound quality improvement processing model 102a performs sound quality improvement processing on the sound source data using specified settings (options), and outputs the sound quality processed data.
  • the control unit 103 is a controller, similar to the control unit 17 described above, and is realized, for example, by a CPU, an MPU, or the like, executing various programs (not shown) stored in the storage unit 102 using the RAM as a working area.
  • the control unit 103 can also be realized, for example, by an integrated circuit such as an ASIC or an FPGA.
  • the control unit 103 has an acquisition unit 103a, a sound quality improvement processing unit 103b, and a transmission unit 103c, and realizes or executes the information processing functions and actions described below.
  • the acquisition unit 103a acquires the sound quality improvement processing options specified on the smartphone 10 and the sound source data to be processed via the communication unit 101.
  • the acquisition unit 103a also outputs each acquired data to the sound quality improvement processing unit 103b.
  • the high-quality sound processing unit 103b reads data from the storage unit 102 into the high-quality sound processing model 102a, and inputs each piece of data received from the acquisition unit 103a into the high-quality sound processing model 102a.
  • the high-quality sound processing unit 103b also acquires the high-quality sound processed data output from the high-quality sound processing model 102a, and outputs it to the transmission unit 103c.
  • the transmitting unit 103c transmits the high-quality sound processed data received from the high-quality sound processing unit 103b to the smartphone 10 via the communication unit 101.
  • Figures 7 to 9 are diagrams (part 1) to (part 3) showing basic UI examples.
  • the aforementioned display control unit 17b displays a track editing screen. As shown in FIG. 7, this editing screen displays the type of each editable track, an icon for switching between unmuted and muted states, waveforms, etc.
  • the display control unit 17b displays the track recording screen shown later in FIG. 12, etc.
  • the display control unit 17b also displays an icon I1 for adjusting the parameters of each track on the editing screen and recording screen, as shown in FIG. 7.
  • the display control unit 17b displays a volume adjustment screen, which is one of the parameter adjustment screens, with the "Volume" tab T1 selected by default, as shown in the upper diagram of FIG. 8.
  • the display control unit 17b displays a reverb adjustment screen, which is one of the parameter adjustment screens, as shown in the lower diagram of Figure 8.
  • the volume adjustment screen and reverb adjustment screen have an operation component area M1 and a setting value area M2.
  • the reverb adjustment screen further has a pull-down PD1, a general switch SW, and an operation component area M3.
  • a slider is displayed that allows for volume adjustment for each track.
  • a slider is displayed that allows for reverb adjustment for each track.
  • the icon indicating the -/+ of the slider may have a different design, for example, so that it is easy to distinguish between the volume adjustment screen and the reverb adjustment screen. In the example shown in FIG. 8, the icon simply indicates -/+ on the reverb adjustment screen, whereas on the volume adjustment screen it includes a speaker design.
  • the setting value area M2 displays the volume or reverb strength setting value set by the slider.
  • the setting value in the setting value area M2 is displayed variably in conjunction with the movement of the slider. As shown in FIG. 8, the setting value in the setting value area M2 is displayed as volume in decibels, for example, on the volume adjustment screen, and reverb strength in percentages, for example, on the reverb adjustment screen.
  • Pull-down PD1 is displayed on the reverb adjustment screen to allow the type of reverb to be changed. As shown in the lower diagram of Figure 8, when the user touches this pull-down PD1, various pre-preset reverb options are displayed, as shown in Figure 9. The user can set the reverb using a preset by selecting any one of these presets.
  • the global switch SW is displayed as a switch that allows the reverb adjustment function to be turned off/on as a whole.
  • the operation component area M3 displays switches that allow the individual reverb adjustment functions for each track to be turned off/on.
  • Figures 10 and 11 are diagrams (part 1) and (part 2) showing an example of the UI when muted.
  • the unmuted/muted state of each track can be switched by icon I2 displayed by the display control unit 17b, as shown in FIG. 10.
  • icon I2 is operated on the editing screen of the recording and editing application, and as shown in FIG. 10, for example, the track (Track_1) in the second row of the track list is muted. Also, the track in the first row above it is audio source data that has been imported, for example by purchasing it from an external source.
  • the display control unit 17b displays the volume adjustment screen with the "Volume" tab T1 selected by default, as shown in the upper diagram of FIG. 11.
  • the display control unit 17b causes a reverb adjustment screen to be displayed, as shown in the lower diagram of FIG. 11.
  • the display control unit 17b disables the operation components such as sliders that overlap the waveform display area TA1 of the muted second-stage track by graying them out, making them inoperable.
  • the display control unit 17b disables the slider that overlaps the waveform display area TA0 on the reverb adjustment screen by graying it out, making it inoperable.
  • Fig. 12 and Fig. 13 are diagrams (part 1) and (part 2) showing an example of a UI on the recording screen.
  • the display control unit 17b displays the icon I1 for adjusting parameters not only on the editing screen but also on the recording screen.
  • this icon I1 is touched on the recording screen.
  • the display control unit 17b displays the track recording screen. Then, when the user touches the icon I1 on this recording screen, the display control unit 17b displays only the volume adjustment screen as the parameter adjustment screen so that only volume adjustment is possible, as shown in the right diagram of FIG. 12, and does not make the reverb adjustment screen selectable. In other words, the display control unit 17b does not provide the aforementioned tab T2.
  • the recording and editing app does not allow reverb adjustment even when you touch icon I1 on the recording screen. This is to eliminate complexity in the parameter adjustment process and improve operability by not providing functions on the recording screen other than those necessary for recording.
  • the recording and editing app has a monitoring function that outputs the user's own voice from headphones when recording.
  • a monitoring function that outputs the user's own voice from headphones when recording.
  • an icon I3 related to this monitoring function is displayed on the recording screen, and when the user touches this icon I3, the display control unit 17b displays the monitoring function menu MM as shown in the center diagram of FIG. 13.
  • menu MM1 related to reverb from this menu MM and selects any reverb setting
  • the user can listen to their own voice with reverb added.
  • the contents of menu MM1 are the same as the presets shown in FIG. 9, for example, but they do not necessarily need to be linked to these presets and can be set separately.
  • the reverb applied using the method shown in FIG. 13 is applied only to the monitoring data heard by the user during monitoring, and is not reflected in the recorded audio data. It is possible to apply reverb to the recorded audio data individually on the reverb adjustment screen of the editing screen shown in FIG. 8 or FIG. 11.
  • Comping editing is an editing process in which the best parts of multiple takes, which are multiple recording data for one track, are joined together to create one track.
  • the display control unit 17b displays a comping editing screen TK on the editing screen of the recording and editing application, as shown in the upper diagram of Fig. 14.
  • the upper diagram of Fig. 14 shows an example in which partial ranges from each of three takes (Take_1 to Take_3) are taken and spliced together to be combined into one track (Track_5).
  • the display control unit 17b closes the comping edit screen TK and displays a parameter adjustment screen consisting of only the track list, as shown in the lower diagram of Figure 14.
  • reverb is not applied to each take used in comping, but to the track that is made up of each take. The same goes for volume. This allows the user to reliably adjust parameters for the track, without confusing the data that is the subject of the parameter adjustment.
  • Figs. 15 to 18 are diagrams (part 1) to (part 4) showing an example of a UI during timing control with the sound quality improvement process.
  • the sound quality improvement process is executed. While the sound quality improvement process is being executed, the display control unit 17b notifies the progress of the sound quality improvement process on the editing screen.
  • the display control unit 17b displays, as notification content, indicators indicating "uploading,” “tuning,” and “downloading,” along with their progress.
  • the upper diagram in Figure 15 shows an example in which the track in the second row of the track list (Track_1) is the target of sound quality improvement processing, and an indicator indicating "tuning" (processing in the server device 100) is displayed in the waveform display area TA1 of this track.
  • the display control unit 17b closes the indicator once and displays the parameter adjustment screen so that parameter adjustment is possible only for the original track before the high-quality sound processing.
  • the track undergoing high-quality sound processing is played back with volume and reverb adjustments made to the original sound source data.
  • the display control unit 17b waits for display control indicating that the sound quality improvement process has been completed.
  • the display control unit 17b additionally displays the track that has been processed for high sound quality at position A11, which is higher than the track before the sound quality processing.
  • the display control unit 17b also displays an icon I4 indicating that the sound quality processing has been completed.
  • the display control unit 17b also, for example, grays out the display of tracks before the high-quality sound processing. Furthermore, because tracks before the high-quality sound processing are basically unnecessary, they are automatically muted after the high-quality sound processing.
  • the application execution unit 17a also assigns a track name to the track that has been processed for high-quality sound that is different from the track name before the high-quality sound processing, and the display control unit 17b displays the track name accordingly.
  • the basic naming rule is, for example, to add "(Tuned)" to the original track name before the high-quality sound processing.
  • the application execution unit 17a reflects the results of adjustments made to the original track before the sound quality improvement process for each parameter of the additionally displayed track that has been processed for sound quality improvement.
  • the application execution unit 17a automatically sets the volume, for example, to the setting value set for the original track TR1 before the sound quality improvement process for the track TR11 after the sound quality improvement process (see part V1 in the figure). Then, the display control unit 17b performs display control accordingly.
  • the application execution unit 17a also automatically sets the reverb strength to the setting value set for the original track TR1 before the high-quality sound processing for the track TR11 after the high-quality sound processing (see R1 in the figure).
  • the display control unit 17b then performs display control accordingly.
  • Figures 19 to 27 are diagrams (part 1) to (part 9) showing UI examples according to the modified examples.
  • the types of parameter adjustment are not limited to this, and when icon I1 is touched as shown in FIG. 19, the display control unit 17b may display a menu AM and allow the user to select a type of parameter adjustment from this menu AM.
  • the display control unit 17b displays the parameter adjustment parts so as to overlap the waveform display area of the track, but the overlapping display is not necessarily required.
  • the display control unit 17b may perform display control to display parameter adjustment components for volume and reverb in parallel with the waveform display area in the column direction of the track list.
  • the length of the slider can be made large, making it possible to adjust parameters with high resolution using the slider.
  • the display control unit 17b displays one type of parameter adjustment component in an overlapping manner on the waveform display area, but the number of types is not necessarily limited to one.
  • the display control unit 17b may simultaneously display multiple types of parameter adjustment components, such as volume and reverb, in the waveform display area of each track in the track list.
  • the display control unit 17b may display a pull-down menu PD2 instead of tabs T1 and T2, and allow the user to select the type of parameter adjustment from the pull-down menu PD2.
  • the display control unit 17b may display similar pull-down menus PD21, PD22, PD23, etc. for each track in the track list, and allow the user to select the type of parameter adjustment from these pull-down menus PD21, PD22, PD23, etc.
  • two reverb systems “reverb 1" and “reverb 2,” may be provided, and when the tab T3 for "reverb 2" is touched, the display control unit 17b may display the parameter adjustment parts corresponding to this "reverb 2.”
  • an "LR” for balance adjustment may be provided, and the display control unit 17b may display the parameter adjustment component corresponding to this "LR” when the tab T4 for this "LR" is touched.
  • the display control unit 17b may display a circular slider as a parameter adjustment component.
  • the user can adjust parameters by touching down on this circular slider and dragging it left or right.
  • the display control unit 17b may display a parameter adjustment component that is circular but combined with -/+ buttons.
  • This circular adjustment component is selected by the user through a touch operation, and at the same time as it is selected, the -/+ buttons are expanded. By touching the -/+ buttons, the user can adjust the selected parameter one step at a time.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure.
  • the specific form of distribution and integration of each device is not limited to that shown in the figure, and all or part of them can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
  • FIG. 28 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the smartphone 10.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, a secondary storage device 1400, a communication interface 1500, and an input/output interface 1600.
  • Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the programs stored in the ROM 1300 or the secondary storage device 1400, and controls each part. For example, the CPU 1100 loads the programs stored in the ROM 1300 or the secondary storage device 1400 into the RAM 1200, and executes processes corresponding to the various programs.
  • the ROM 1300 stores boot programs such as the Basic Input Output System (BIOS) that is executed by the CPU 1100 when the computer 1000 starts up, as well as programs that depend on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the secondary storage device 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs. Specifically, the secondary storage device 1400 is a recording medium that records a program according to an embodiment of the present disclosure that corresponds to the app information 16a, which is an example of the program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550.
  • the CPU 1100 receives data from other devices and transmits data generated by the CPU 1100 to other devices via the communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a microphone or a touch panel via the input/output interface 1600.
  • the CPU 1100 also transmits data to an output device such as a display or a speaker via the input/output interface 1600.
  • the input/output interface 1600 may also function as a media interface that reads programs and the like recorded on a specific recording medium. Examples of media include optical recording media such as DVDs (Digital Versatile Discs) and PDs (Phase change rewritable Disks), magneto-optical recording media such as MOs (Magneto-Optical Disks), tape media, magnetic recording media, and semiconductor memories.
  • the CPU 1100 of the computer 1000 executes a program loaded onto the RAM 1200 to realize the functions of the control unit 17.
  • the secondary storage device 1400 stores the program according to the present disclosure and data in the storage unit 16.
  • the CPU 1100 reads and executes the program data 1450 from the secondary storage device 1400, but as another example, the CPU 1100 may obtain these programs from another device via the external network 1550.
  • the smartphone 10 (corresponding to an example of an "information processing device") includes a control unit 17 that is capable of executing a recording and editing application (corresponding to an example of an "application having a recording function and an editing function of sound source data"), and a display unit 15 that displays visual information related to the recording and editing application.
  • a recording and editing application corresponding to an example of an "application having a recording function and an editing function of sound source data”
  • a display unit 15 that displays visual information related to the recording and editing application.
  • the control unit 17 executes a sound quality improvement process for the sound source data, executes a parameter adjustment process for the sound source data in parallel with the sound quality improvement process, and displays parameter adjustment parts in the parameter adjustment process in an overlapping manner on the waveform display area WA of the sound source data displayed on the display unit 15 during the execution of the recording and editing application. This can improve the convenience for the user when producing music content.
  • the present technology can also be configured as follows.
  • a control unit capable of executing an application having a recording function and an editing function of sound source data, and a display unit displaying visual information related to the application,
  • the control unit is When the sound source data to be subjected to sound quality enhancement is selected by a user via the application, a sound quality enhancement process is executed on the sound source data;
  • a parameter adjustment process for the sound source data is executed in parallel with the sound quality improvement process; displaying parameter adjustment parts in the parameter adjustment process in an overlapping manner with a waveform display area of the sound source data displayed on the display unit during execution of the application;
  • Information processing device Information processing device.
  • the control unit is displaying the adjustment components in an overlapping manner so that the waveform display area is visible to a user;
  • the information processing device according to (1).
  • the adjustment component is a slider.
  • the information processing device according to (1) or (2). (4) The slider is linear.
  • the control unit is The slider is displayed overlapping at least half of the width of the waveform display area.
  • the information processing device according to (4). (6) The slider is circular.
  • the parameter adjustment process includes: adjusting at least the volume and reverb intensity of the sound source data as the parameters;
  • the control unit is displaying on the display unit the types of parameters including the volume and the intensity of the reverb in a selectable manner using at least one of a tab, a menu, and a pull-down menu;
  • the control unit is performing display control relating to the sound quality improvement process and the parameter adjustment process while performing timing control with respect to the sound quality improvement process;
  • the information processing device according to any one of (1) to (8).
  • the control unit is notifying the display unit of a progress status of the sound quality improvement process during the execution of the sound quality improvement process; when a selection operation for the parameter adjustment process is received from a user during the notification of the progress status, the notification of the progress status is closed, and the adjustment part is displayed so that the parameters can be adjusted only for the original sound source data before the sound quality improvement process.
  • the information processing device according to (9) above.
  • the control unit is when an operation to deselect the parameter adjustment process is received from a user, the notification of the progress is re-displayed.
  • the information processing device is if the parameter adjustment process is being selected when the sound quality improvement process is completed, wait for display control indicating that the sound quality improvement process has been completed, and when an operation to deselect the parameter adjustment process is received from a user, perform display control indicating that the sound quality improvement process has been completed.
  • the information processing device according to (10) or (11).
  • the control unit is When performing a display control to indicate that the sound quality improvement process has been completed, a result of the parameter adjustment performed on the original sound source data is reflected in the parameters of the sound source data that has been subjected to the sound quality improvement process.
  • the information processing device according to (12). (14) It is portable, The information processing device according to any one of (1) to (13).
  • An information processing method executed by an information processing device Executing an application having a function of recording and editing audio data; Displaying visual information related to the application on a display unit;
  • a sound quality enhancement process is executed on the sound source data; executing a parameter adjustment process for the sound source data in parallel with the sound quality improvement process; displaying parameter adjustment parts in the parameter adjustment process in an overlapping manner with a waveform display area of the sound source data displayed on the display unit during execution of the application;
  • An information processing method comprising: (16) Executing an application having a function for recording and editing audio data; Displaying visual information related to the application on a display unit; When the sound source data to be subjected to sound quality enhancement is selected by a user via the application, a sound quality enhancement process is executed on the sound source data; executing a parameter adjustment process for the sound source data in parallel with the sound quality improvement process; displaying parameter adjustment parts in the parameter adjustment process in an overlapping manner with a wave

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

情報処理装置は、音源データの録音機能および編集機能を有するアプリを実行可能に設けられる制御部と、上記アプリに関する視覚情報を表示する表示部と、を備える。また、上記制御部は、上記アプリを介してユーザにより高音質化の対象とする上記音源データが選択された場合に、当該音源データの高音質化処理を実行し、上記高音質化処理と並行に上記音源データのパラメータ調整処理を実行し、上記アプリの実行中に上記表示部へ表示される上記音源データの波形表示領域に対し、上記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させる。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、スマートフォンやタブレット端末といった携帯型の情報処理装置の普及が目覚ましい。また、これら携帯型の情報処理装置は、処理能力の高性能化も急速に進んでおり、ユーザは、かかる情報処理装置を用いて、個人で手軽に音楽や映像等の各種メディアコンテンツを制作することが可能になってきている。
　音楽コンテンツの制作に関しては、情報処理装置で動作する録音編集用のアプリケーションソフトウェア（アプリ）が知られている。ユーザは、かかるアプリを用いて、情報処理装置が録音したあるいは外部から購入した音源データの編集作業を自由度高く行うことができる。
　また、録音編集用のアプリには、ネットワークを介し、複数の情報処理装置で録音された音源データを編集可能とすることで、複数のユーザの共同での音楽コンテンツの制作を支援するものもある（例えば、特許文献１参照）。
国際公開第２０１９／１０２７３０号
　しかしながら、上述した従来技術には、ユーザが音楽コンテンツを制作する際の利便性をより向上させるうえで、さらなる改善の余地がある。
　そこで、本開示では、ユーザが音楽コンテンツを制作する際の利便性より向上させることができる情報処理装置、情報処理方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、音源データの録音機能および編集機能を有するアプリを実行可能に設けられる制御部と、前記アプリに関する視覚情報を表示する表示部と、を備える。また、前記制御部は、前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行し、前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行し、前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させる。
本開示の実施形態に係る情報処理方法の概要説明図（その１）である。 高音質化処理の内容を示す図である。 パラメータ調整処理の内容を示す図である。 本開示の実施形態に係る情報処理方法の概要説明図（その２）である。 本開示の実施形態に係るスマートフォンの構成例を示すブロック図である。 本開示の実施形態に係るサーバ装置の構成例を示すブロック図である。 基本的なＵＩ例を示す図（その１）である。 基本的なＵＩ例を示す図（その２）である。 基本的なＵＩ例を示す図（その３）である。 ミュート時のＵＩ例を示す図（その１）である。 ミュート時のＵＩ例を示す図（その２）である。 録音画面におけるＵＩ例を示す図（その１）である。 録音画面におけるＵＩ例を示す図（その２）である。 コンピング編集時のＵＩ例を示す図である。 高音質化処理とのタイミング制御時のＵＩ例を示す図（その１）である。 高音質化処理とのタイミング制御時のＵＩ例を示す図（その２）である。 高音質化処理とのタイミング制御時のＵＩ例を示す図（その３）である。 高音質化処理とのタイミング制御時のＵＩ例を示す図（その４）である。 変形例に係るＵＩ例を示す図（その１）である。 変形例に係るＵＩ例を示す図（その２）である。 変形例に係るＵＩ例を示す図（その３）である。 変形例に係るＵＩ例を示す図（その４）である。 変形例に係るＵＩ例を示す図（その５）である。 変形例に係るＵＩ例を示す図（その６）である。 変形例に係るＵＩ例を示す図（その７）である。 変形例に係るＵＩ例を示す図（その８）である。 変形例に係るＵＩ例を示す図（その９）である。 スマートフォンの機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下では、本開示の実施形態（以下、適宜「本実施形態」と言う）に係る情報処理装置が、ユーザの利用するスマートフォン１０である場合を主たる例に挙げて説明を行う。また、以下では、スマートフォン１０で動作する録音編集用のアプリを「録音編集アプリ」と言う。
　また、以下では、スマートフォン１０によって録音され、あるいは外部から購入されてスマートフォン１０のストレージに記憶されている音源データのことを適宜「トラック」と言う。
　また、以下では、本実施形態に係る録音編集アプリにおいてトラックを高音質化させる機能のことを高音質化機能と言う。高音質化機能は、後に示す図面において「Studio　tuning」や「STUDIO　TUNING」と図示される場合がある。また、高音質化機能によって実行される処理のことを「高音質化処理」と言う。
　また、以下では、本実施形態に係る録音編集アプリにおけるトラックの再生やミキシングのために、各トラックの音量やリバーブの強さといった各種のパラメータを調整する機能のことをパラメータ調整機能と言う。「ミキシング」は、トラックをミックスした音源データの書き出しを含む。また、パラメータ調整機能によって実行される処理のことを「パラメータ調整処理」と言う。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．概要
　　２．スマートフォンの構成例
　　３．サーバ装置の構成例
　　４．パラメータ調整処理実行時の各種のＵＩ例
　　　４－１．基本例
　　　４－２．ミュート時
　　　４－３．録音画面
　　　４－４．コンピング編集時
　　　４－５．高音質化処理とのタイミング制御時
　　５．変形例
　　　５－１．第１の変形例
　　　５－２．第２の変形例
　　　５－３．第３の変形例
　　　５－４．第４の変形例
　　　５－５．第５の変形例
　　　５－６．第６の変形例
　　６．ハードウェア構成
　　７．むすび
＜＜１．概要＞＞
　図１は、本開示の実施形態に係る情報処理方法の概要説明図である。また、図２は、高音質化処理の内容を示す図である。また、図３は、パラメータ調整処理の内容を示す図である。また、図４は、本開示の実施形態に係る情報処理方法の概要説明図（その２）である。
　本実施形態に係る情報処理方法は、情報処理システム１が実行する。図１に示すように、情報処理システム１は、スマートフォン１０と、サーバ装置１００とを含む。
　スマートフォン１０は、ユーザが利用する携帯型の情報処理装置である。スマートフォン１０は、本実施形態に係る録音編集アプリを実行可能なプラットフォームを有する。
　図１に示すように、スマートフォン１０は、マイク１１と、スピーカ１２と、表示部１５とを有する。マイク１１は、例えばスマートフォン１０の長手方向の送話口寄りの一端部に設けられる。スピーカ１２は、上記一端部に対する受話口寄りの他端部に設けられる。
　表示部１５は、後述する操作部１４（図５参照）と一体化したタッチスクリーンとして実現され、矩形形状を有する。タッチスクリーンは、ユーザのタッチ操作を検出する。タッチスクリーンの検出方式としては、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式および荷重検出方式などの公知の方式が用いられる。
　タッチスクリーンは、スマートフォン１０で録音編集アプリが実行されている場合、録音編集アプリに関する各種のユーザインターフェイス（User　Interface；ＵＩ）を表示する。また、タッチスクリーンは、このＵＩに対するユーザのタッチ操作を検出する。
　また、マイク１１は、録音編集アプリにおいて録音を開始する操作が行われた場合、音源（例えば楽器）から発せられる音を集音し、録音に際し予め指定されたトラック種別の音源データとして収録させる。また、スピーカ１２は、録音編集アプリにおいて音源データを再生する操作が行われた場合、再生に際して選択された音源データを出力する。
　なお、かかる再生時や、ミキシング時には、録音編集アプリはユーザの操作に応じて各トラックの音量やリバーブの強さといった各種のパラメータ調整が可能である。
　ところで、従来の録音編集アプリは、ユーザが音楽コンテンツを制作する際の利便性をより向上させるうえで、さらなる改善の余地がある。
　既に述べた通り、スマートフォン１０をはじめとする携帯型の情報処理装置は近年、処理能力の高性能化が急速に進んでおり、ユーザは、録音編集アプリを用いて、個人で手軽に音楽コンテンツを制作することが可能となっている。また、これに伴って、ユーザが、制作した音楽コンテンツを例えばＳＮＳ（Social　Network　Service）や動画配信サービスなどに公開する機会も増えてきている。
　このため、昨今、ユーザが自身の制作する音楽コンテンツの高音質化を求めるニーズも高まっている。「高音質化」の例としては、図２に示すように、例えば１つのマイク１１を用いて収録されたトラックに含まれる複数の異なる音源を分離する「音源分離」や、ノイズを除去する「ノイズ除去」、不要な残響を除去する「残響除去」などを挙げることができる。この他にも、図２に示すように、高性能なマイクのマイク特性を再現する「マイクシミュレート」や、レコーディングスタジオ等が持つ固有の反響を付加する「スタジオシミュレート」などを挙げることができる。
　また、高音質化だけでなく、前述のパラメータ調整に対し、高い操作性を求めるニーズも高まっている。「パラメータ調整」の例としては、図３に示すように、例えば各トラックの音量を調整する「音量調整」や、リバーブの強さを調整する「リバーブ調整」、各トラックのバランスを調整する「バランス調整」などを挙げることができる。「バランス」については以下、「ＬＲ」と言う場合がある。
　従来の録音編集アプリは、こうした高音質化機能やパラメータ調整機能のうち、特にパラメータ調整機能に関する拡充が十分ではないという実情があった。とりわけ、スマートフォン１０のように、表示部１５のサイズが通常のパソコンのディスプレイなどに比べて小さい機器において録音編集アプリを用いる場合、パラメータ調整機能の操作性には改善の余地がある。
　そこで、本実施形態に係る情報処理方法では、スマートフォン１０が、高音質化処理と並行してパラメータ調整処理を実行可能としつつ、録音編集アプリの実行中に表示部１５へ表示されるトラックの波形表示領域ＷＡに対し、パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させることとした。
　図１に示すように、スマートフォン１０はまず録音編集アプリを実行する（ステップＳ１）。そして、ユーザが録音編集アプリにおいて高音質化機能を用いる場合、スマートフォン１０は、高音質化処理の対象として選択された音源データをサーバ装置１００へ送信する（ステップＳ２）。
　サーバ装置１００は、携帯電話回線網やインターネット等であるネットワークＮを介し、スマートフォン１０と通信可能に設けられた装置である。サーバ装置１００は、例えばクラウドサーバとして実現される。
　サーバ装置１００は、高音質化処理モデル１０２ａ（図６参照）を有しており、この高音質化処理モデル１０２ａを用いた高音質化処理を実行可能に設けられる。高音質化処理モデル１０２ａは、例えば深層学習のアルゴリズムを用いて学習されたＤＮＮ（Deep　Neural　Network）モデルである。
　サーバ装置１００は、この高音質化処理モデル１０２ａを用いたＡＩ（Artificial　Intelligence）処理により、スマートフォン１０から取得した音源データに対し高音質化処理を実行する（ステップＳ３）。そして、サーバ装置１００は、高音質化処理済みのデータをスマートフォン１０へ向けて送信し、スマートフォン１０はこれを受信する（ステップＳ４）。
　なお、サーバ装置１００が、処理負荷の高い高音質化処理をクラウドサーバモデルにより統合的に実行することで、スマートフォン１０は、高音質化処理の間も、高音質化処理に影響を与えない範囲で録音編集アプリの使用を継続したり、他のアプリを実行したりすることができる。
　その一例として、スマートフォン１０は、高音質化処理と並行してパラメータ調整処理を実行する（ステップＳ５）。
　このステップＳ５におけるパラメータ調整画面の一例を示したのが図４である。スマートフォン１０は、録音編集アプリにおいてユーザがパラメータ調整機能を用いる場合、表示部１５に対し、図４に示すようなパラメータ調整画面を表示させる。
　図４に示すように、本実施形態に係るパラメータ調整画面は、調整するパラメータの種別をタブで選択可能である（ポイントＰ１）。本実施形態に係る情報処理方法では、調整可能なパラメータの種別として少なくとも「音量」、「リバーブ」の指定が可能である。図４には、「リバーブ」のタブＴ２が選択され、編集可能な各トラックについてリバーブの強さを調整可能なリバーブ調整画面がパラメータ調整画面の１つとして表示された例を示している。
　なお、スマートフォン１０は、後に図７等で示すトラックの編集画面において、パラメータ調整のためのアイコンＩ１（図７参照）をユーザがタッチ操作することでパラメータ調整画面を表示させる。
　トラックの編集画面には、各トラックの波形を表示する波形表示領域ＷＡが設けられており、スマートフォン１０は、図４に示すように、この波形表示領域ＷＡへパラメータ調整部品をオーバーラップ表示することで（ポイントＰ２）、パラメータ調整画面を表示させる。
　このとき、スマートフォン１０は、パラメータ調整画面をスケルトン化し、背後の波形表示領域ＷＡがユーザから視認可能な状態でパラメータ調整可能となるようにパラメータ調整画面を表示させる。また、スマートフォン１０は、操作可能なパラメータ調整部品のみ有効化するようにパラメータ調整画面を表示させる。
　パラメータ調整部品には、スライダー等のＧＵＩ（Graphical　User　Interface）が含まれる。これにより、ユーザは、直感的な操作でパラメータ、例えば各トラックのリバーブの強弱等を容易に調整することが可能となる。
　また、ユーザは、波形表示領域ＷＡを視認しながらのパラメータ調整が可能となるので、例えば各トラックの波形から推測される楽曲の展開や抑揚等に応じて容易にパラメータを調整することが可能となる。
　また、スマートフォン１０は、例えば直線状のスライダーであれば、波形表示領域ＷＡの横幅の大部分（例えば、少なくとも当該横幅の半分以上）を使ってスライダーを表示させる。これにより、スライダーの長さを大きくとることができ、そのスライダーによって分解能の高いパラメータ調整を行うことが可能となる。ポイントＰ１，Ｐ２に関する具体的なＵＩ例については、図７～図１４を用いた説明で後述する。
　また、スマートフォン１０は、高音質化処理とのタイミング制御可能にパラメータ調整画面を表示させる（ポイントＰ３）。スマートフォン１０は、例えばサーバ装置１００にて高音質化処理中のトラックがある場合、このトラックについては高音質化処理前のオリジナルのトラックに対してのみパラメータ調整が可能となるように、パラメータ調整画面を表示させる。
　また、スマートフォン１０は、高音質化処理中だったトラックの高音質化処理が完了しても、パラメータ調整画面の表示中はこの高音質化処理済みのトラックを即座に編集画面へ追加表示せず、パラメータ調整画面を抜けたタイミングで追加表示する。また、スマートフォン１０は、追加表示した高音質化処理済みのトラックのパラメータについては、高音質化処理前のオリジナルのトラックに対して行われた調整の結果を反映する。
　このような高音質化処理とのタイミング制御を行うことにより、ユーザの混乱を防ぎつつ、高音質化処理前のオリジナルのトラックと高音質化処理済みのトラックとの整合性を確保することができる。ポイントＰ３に関する具体的なＵＩ例については、図１５～図１８を用いた説明で後述する。
＜＜２．スマートフォンの構成例＞＞
　次に、スマートフォン１０の構成例について説明する。図５は、本開示の実施形態に係るスマートフォン１０の構成例を示すブロック図である。なお、図５および後に示す図６では、本開示の実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
　換言すれば、図５および図６に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
　また、図５および図６を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
　図５に示すように、スマートフォン１０は、マイク１１と、スピーカ１２と、通信部１３と、操作部１４と、表示部１５と、記憶部１６と、制御部１７とを有する。
　マイク１１およびスピーカ１２については説明済みのため、ここでは説明を省略する。通信部１３は、通信モジュール等によって実現される。通信部１３は、前述のネットワークＮに対し無線接続され、ネットワークＮを介したサーバ装置１００との間の通信を実現する。
　操作部１４は、スマートフォン１０に搭載された操作部品であり、例えばタッチパネルにより実現される。表示部１５は、スマートフォン１０に搭載された表示部品であり、例えばディスプレイにより実現される。
　なお、操作部１４と表示部１５とは例えば一体化され、前述のタッチスクリーンを構成する。したがって、操作部１４は、表示部１５に表示されるソフトウェア部品であってもよく、例えば録音編集アプリが表示部１５上に操作可能に表示させるＧＵＩであってもよい。
　記憶部１６は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子などによって実現される。図５に示す例では、記憶部１６は、アプリ情報１６ａを記憶する。アプリ情報１６ａは、録音編集アプリのプログラムや、録音編集アプリの動作中に用いられる各種のパラメータ等を含む情報である。
　制御部１７は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１６に記憶されている本開示の実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１７は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することができる。
　制御部１７は、アプリ実行部１７ａと、表示制御部１７ｂと、通信制御部１７ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　アプリ実行部１７ａは、記憶部１６に記憶されているアプリ情報１６ａを読み込んで録音編集アプリを実行する。アプリ実行部１７ａは、例えば、操作部１４から入力される録音編集アプリにおける高音質化処理実行時の操作内容に応じて、高音質化処理を実行する。また、アプリ実行部１７ａは、例えば、操作部１４から入力される録音編集アプリにおけるパラメータ調整処理実行時の操作内容に応じて、パラメータ調整処理を実行する。
　また、アプリ実行部１７ａは、これら高音質化処理およびパラメータ調整処理を含む録音編集アプリの実行に際しての各種の操作内容に応じ、各種のＵＩを含む視覚情報の表示制御を表示制御部１７ｂに行わせる。本実施形態に係る録音編集アプリにおける各種のＵＩの具体例については、図７～図１８を用いた説明で後述する。
　表示制御部１７ｂは、アプリ実行部１７ａの指示に基づいて、録音編集アプリを実行するに際しての表示部１５に対する視覚情報の表示制御を行う。通信制御部１７ｃは、録音編集アプリを実行するに際してのサーバ装置１００に対する通信制御を行う。
　通信制御部１７ｃは、通信部１３を介し、例えば高音質化処理の対象となる音源データをサーバ装置１００へ向けてアップロードする。また、通信制御部１７ｃは、通信部１３を介し、例えばサーバ装置１００において高音質化処理が行われた高音質化処理済みのデータをサーバ装置１００からダウンロードする。
＜＜３．サーバ装置の構成例＞＞
　次に、サーバ装置１００の構成例について説明する。図６は、本開示の実施形態に係るサーバ装置１００の構成例を示すブロック図である。
　図６に示すように、サーバ装置１００は、通信部１０１と、記憶部１０２と、制御部１０３とを有する。
　通信部１０１は、上述した通信部１３と同様に、通信モジュール等によって実現される。通信部１０１は、前述のネットワークＮに対し有線接続または無線接続され、ネットワークＮを介したスマートフォン１０との間の通信を実現する。
　記憶部１０２は、上述した記憶部１６と同様に、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ素子などによって実現される。また、記憶部１０２は、ハードディスク装置や光ディスク装置などのディスク装置によって実現される。図６に示す例では、記憶部１０２は、高音質化処理モデル１０２ａを記憶する。
　高音質化処理モデル１０２ａは、既に述べた通り、例えば深層学習のアルゴリズムを用いて学習されたＤＮＮモデルである。なお、高音質化処理モデル１０２ａの学習アルゴリズムは、深層学習に限られない。高音質化処理モデル１０２ａは、後述する高音質化処理部１０３ｂによって読み込まれ、処理対象となる音源データが入力された場合に、指定された設定内容（オプション）で当該音源データに対する高音質化処理を施し、高音質化処理済みのデータを出力する。
　制御部１０３は、上述した制御部１７と同様に、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、記憶部１０２に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１０３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。
　制御部１０３は、取得部１０３ａと、高音質化処理部１０３ｂと、送信部１０３ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　取得部１０３ａは、通信部１０１を介し、スマートフォン１０において指定された高音質化処理のオプション、および、処理対象となる音源データを取得する。また、取得部１０３ａは、取得した各データを高音質化処理部１０３ｂへ出力する。
　高音質化処理部１０３ｂは、記憶部１０２から高音質化処理モデル１０２ａへ読み込み、取得部１０３ａから受け取った各データを高音質化処理モデル１０２ａへ入力する。また、高音質化処理部１０３ｂは、高音質化処理モデル１０２ａから出力される高音質化処理済みのデータを取得し、送信部１０３ｃへ出力する。
　送信部１０３ｃは、通信部１０１を介し、高音質化処理部１０３ｂから受け取った高音質化処理済みのデータをスマートフォン１０へ向けて送信する。
＜＜４．パラメータ調整処理実行時の各種のＵＩ例＞＞
　次に、本実施形態に係る録音編集アプリにおけるパラメータ調整処理実行時の各種のＵＩ例について、図７～図１８を用いて順次説明する。
＜４－１．基本例＞
　まず、パラメータ調整処理実行時における基本的なＵＩ例から説明する。図７～図９は、基本的なＵＩ例を示す図（その１）～（その３）である。
　前述の表示制御部１７ｂは、録音編集アプリの実行中において、図７に示すようにＥＤＩＴタブＥＴが選択された状態では、トラックの編集画面を表示させる。図７に示すように、この編集画面には、編集可能な各トラックの種別や、非ミュート状態／ミュート状態を切り替えるアイコンや、波形等が表示される。表示制御部１７ｂは、ＥＤＩＴタブＥＴの隣のＲＥＣタブが選択された状態では、後に図１２等に示すトラックの録音画面を表示させる。
　また、表示制御部１７ｂは、これら編集画面および録音画面において、図７に示すように、各トラックのパラメータ調整のためのアイコンＩ１を表示させる。そして、ユーザが、編集画面においてこのアイコンＩ１をタッチ操作すると、表示制御部１７ｂは、図８の上図に示すように「音量」のタブＴ１がデフォルトで選択された状態で、パラメータ調整画面の１つである音量調整画面を表示させる。
　また、表示制御部１７ｂは、この音量調整画面が表示された状態でユーザが「リバーブ」のタブＴ２を選択すると、図８の下図に示すように、パラメータ調整画面の１つであるリバーブ調整画面を表示させる。
　音量調整画面およびリバーブ調整画面は、操作部品領域Ｍ１と、設定値領域Ｍ２とを有する。リバーブ調整画面はさらに、プルダウンＰＤ１と、全体スイッチＳＷと、操作部品領域Ｍ３とを有する。
　操作部品領域Ｍ１は、音量調整画面では、トラックごとの音量調整を可能にするスライダーが表示される。一方、リバーブ調整画面では、トラックごとのリバーブ調整を可能にするスライダーが表示される。スライダーの－／＋を示すアイコンは、音量調整画面とリバーブ調整画面とで識別が容易となるように、例えば違うデザインのものが用いられる。図８に示す例では、当該アイコンがリバーブ調整画面では単に－／＋を示すものであるのに対し、音量調整画面では、スピーカのデザインを含むものとなっている。
　設定値領域Ｍ２は、スライダーによって設定された音量またはリバーブの強さの設定値が表示される。設定値領域Ｍ２の設定値は、スライダーの動きに連動して可変表示される。なお、設定値領域Ｍ２の設定値は、図８に示すように、音量調整画面では例えばデシベル単位で音量が表示され、リバーブ調整画面では例えば％単位でリバーブの強さが表示される。
　プルダウンＰＤ１は、リバーブ調整画面においてリバーブの種別を変更可能に表示される。図８の下図に示すように、ユーザがこのプルダウンＰＤ１をタッチ操作すると、図９に示すように、予め用意されたリバーブの各種のプリセットが表示される。ユーザは、このプリセットの中から任意の１つを選択することにより、プリセットによるリバーブの設定を行うことができる。
　図８の説明に戻る。全体スイッチＳＷは、リバーブ調整機能の全体的なオフ／オンを設定可能にするスイッチとして表示される。操作部品領域Ｍ３は、トラックごとの個別のリバーブ調整機能のオフ／オンを設定可能にする各スイッチが表示される。
＜４－２．ミュート時＞
　次に、ミュート状態のトラックがある場合のＵＩ例について説明する。図１０および図１１は、ミュート時のＵＩ例を示す図（その１）および（その２）である。
　各トラックの非ミュート状態／ミュート状態は、図１０に示すように、表示制御部１７ｂが表示させるアイコンＩ２によって切り替え可能である。
　ここで、録音編集アプリの編集画面においてアイコンＩ２が操作され、図１０に示すように、例えばトラックリストの２段目のトラック（Track_1）がミュート状態にあるものとする。また、その上の１段目のトラックは、外部から購入するなどして取り込んだ音源データであるものとする。
　そして、この状態において、ユーザがアイコンＩ１をタッチ操作すると、表示制御部１７ｂは、図１１の上図に示すように「音量」のタブＴ１がデフォルトで選択された状態で、音量調整画面を表示させる。
　また、表示制御部１７ｂは、この音量調整画面が表示された状態でユーザが「リバーブ」のタブＴ２を選択すると、図１１の下図に示すように、リバーブ調整画面を表示させる。
　ただし、表示制御部１７ｂは、この場合の音量調整画面およびリバーブ調整画面では、ミュート状態にある２段目のトラックについては、その波形表示領域ＴＡ１にオーバーラップ表示するスライダー等の操作部品をグレーアウト表示するなどして無効化し、操作不可の状態とする。
　また、外部から取り込んだ１段目のトラックについては、表示制御部１７ｂは、リバーブ調整画面においてその波形表示領域ＴＡ０にオーバーラップ表示するスライダーをグレーアウト表示するなどして無効化し、操作不可の状態とする。
　これは、外部から取り込んだ音源データは通常リバーブ調整は不要なため、デフォルトの設定としてリバーブ調整機能をオフにするものである。なお、図１１の下図に示すように、この場合でも、１段目のトラックについて個別にリバーブ調整機能をオフ／オンさせるスイッチＳＷ０は有効であり、ユーザがこのスイッチＳＷ０をオンにすることによって、取り込んだ音源データについてリバーブ調整は可能となる。
＜４－３．録音画面＞
　次に、録音画面におけるＵＩ例について説明する。図１２および図１３は、録音画面におけるＵＩ例を示す図（その１）および（その２）である。
　表示制御部１７ｂは、既に述べた通り、編集画面だけでなく録音画面についてもパラメータ調整のためのアイコンＩ１を表示させる。ここでは、録音画面においてこのアイコンＩ１がタッチ操作された場合の動作について説明する。
　表示制御部１７ｂは、録音編集アプリの実行中において、図１２の左図に示すようにＲＥＣタブＲＴが選択された状態では、トラックの録音画面を表示させる。そして、ユーザが、この録音画面においてアイコンＩ１をタッチ操作すると、表示制御部１７ｂは、図１２の右図に示すように、音量調整のみが可能となるようにパラメータ調整画面として音量調整画面のみを表示し、リバーブ調整画面を選択可能としない。すなわち、表示制御部１７ｂは、前述のタブＴ２を用意しない。
　このように本実施形態に係る録音編集アプリは、録音画面ではアイコンＩ１をタッチ操作しても、リバーブ調整は行えないようにしている。これは、録音画面では録音に必要な機能以外は用意しないことで、パラメータ調整処理における煩雑さを解消し、操作性を高めるためである。
　なお、録音編集アプリは、録音時にユーザ自身の声をヘッドホンから出力するモニタリング機能を有している。図１３の左図に示すように、録音画面にはこのモニタリング機能に関するアイコンＩ３が表示されており、ユーザがこのアイコンＩ３をタッチ操作すると、表示制御部１７ｂは、図１３の中央図に示すようにモニタリング機能のメニューＭＭを表示させる。
　そして、図１３の中央図および右図に示すように、ユーザがこのメニューＭＭの中からリバーブに関するメニューＭＭ１を選択し、任意のリバーブ設定を選択すると、ユーザは自分の声にリバーブを付与して聴くことが可能となる。メニューＭＭ１の内容は、例えば図９に示したプリセットと同様であるが、必ずしもこのプリセットと連動する必要はなく、別個に設定可能である。
　なお、図１３に示した方法で付与されるリバーブはあくまでモニタリング時にユーザに聴こえるモニタリングデータに付与されるもので、録音された録音データには反映されない。録音データには、図８や図１１に示した編集画面のリバーブ調整画面において個別にリバーブを付与することが可能となる。
＜４－４．コンピング編集時＞
　次に、コンピング編集時におけるＵＩ例について説明する。図１４は、コンピング編集時のＵＩ例を示す図である。
　本実施形態に係る録音編集アプリは、コンピング編集機能を有する。コンピング編集は、１つのトラックについての複数の録音データである複数のテイクから良い所を繋ぎ合わせて１つのトラックとする編集作業である。
　ユーザがこのコンピング編集機能を用いる場合、表示制御部１７ｂは、図１４の上図に示すように、録音編集アプリの編集画面においてコンピング編集画面ＴＫを表示させる。図１４の上図では、３つのテイク（Take_1～Take_3）からそれぞれ部分的な範囲を採用して繋ぎ合わせ、１つのトラック（Track_5）として合成している例を示している。
　表示制御部１７ｂは、このコンピング編集画面ＴＫを表示中にパラメータ調整のためのアイコンＩ１がタッチ操作された場合、図１４の下図に示すように、コンピング編集画面ＴＫは閉じてトラックリストのみからなるパラメータ調整画面を表示させる。
　例えばリバーブは、コンピング編集の際に用いられた各テイクへ付与されるわけではなく、各テイクから繋ぎ合わされたトラックに対して付与されるためである。音量についても同様である。これにより、ユーザにパラメータ調整の対象となるデータを混乱させることなく、ユーザにトラックを対象として確実にパラメータ調整を行わせることが可能となる。
＜４－５．高音質化処理とのタイミング制御時＞
　次に、高音質化処理とのタイミング制御時におけるＵＩ例について説明する。本項は、図４に示したポイントＰ３に対応する。図１５～図１８は、高音質化処理とのタイミング制御時のＵＩ例を示す図（その１）～（その４）である。
　ユーザが、高音質化処理の対象となるトラックを選択し、図示略の高音質化処理実行画面において必要な設定内容を指定したうえで実行ボタンをタッチ操作すると、高音質化処理が実行される。表示制御部１７ｂは、高音質化処理の実行中、編集画面において高音質化処理の進捗状況を通知する。
　表示制御部１７ｂは、その通知内容として、「アップロード中」、「チューニング中」、「ダウンロード中」およびその進捗状況を示すインジケータを表示させる。図１５の上図では、トラックリストの２段目のトラック（Track_1）が高音質化処理の対象であり、このトラックの波形表示領域ＴＡ１に対して「チューニング中」（サーバ装置１００での処理中）であることを示すインジケータが表示されている例を示している。
　この状態において、ユーザがパラメータ調整のためのアイコンＩ１をタッチ操作すると、図１５の下図に示すように、表示制御部１７ｂはインジケータを一旦閉じ、高音質化処理前のオリジナルのトラックに対してのみパラメータ調整が可能となるように、パラメータ調整画面を表示させる。すなわち、高音質化処理中のトラックは、オリジナルの音源データに対して音量調整やリバーブ調整が施され、再生される。
　なお、図１５の下図の状態からアイコンＩ１がタッチ操作されると、パラメータ調整画面は閉じられ、図１５の上図の状態に戻りインジケータが再表示される。
　一方で、図１６の上図に示すように、高音質化処理が完了してもパラメータ調整画面が表示中であれば、表示制御部１７ｂは、高音質化処理が完了したことを示す表示制御を待ち合わせる。
　そして、高音質化処理の完了後、ユーザがアイコンＩ１をタッチ操作して初めて、図１６の下図に示すように、表示制御部１７ｂは高音質化処理が完了したことを示す表示制御を行う。
　具体的には、図１６の下図に示すように、表示制御部１７ｂは、高音質化処理済みのトラックを、高音質化処理前のトラックよりも上の位置Ａ１１に追加表示させる。また、表示制御部１７ｂは、高音質化処理済みであることを示すアイコンＩ４を併せて表示させる。
　また、表示制御部１７ｂは、高音質化処理前のトラックについては、その表示を例えばグレーアウトさせる。また、高音質化処理前のトラックは基本的に不要なので、高音質化処理後は自動的にミュート状態となる。
　また、アプリ実行部１７ａは、高音質化処理済みのトラックに対し、高音質化処理前とは異なるトラック名を命名し、表示制御部１７ｂはこれに応じてトラック名を表示させる。基本的な命名規則は、例えば高音質化処理前のオリジナルトラック名に対し、「(Tuned)」を付加したものとなる。
　また、アプリ実行部１７ａは、追加表示した高音質化処理済みのトラックの各パラメータについては、高音質化処理前のオリジナルのトラックに対して行われた調整の結果を反映する。
　具体的には、図１７に示すように、アプリ実行部１７ａは、例えば音量については、高音質化処理前のオリジナルのトラックＴＲ１に対して設定された設定値を、高音質化処理済みのトラックＴＲ１１に対して自動的に設定する（図中のＶ１部参照）。そして、表示制御部１７ｂは、これに応じた表示制御を行う。
　また、図１８に示すように、アプリ実行部１７ａは、リバーブの強さについても、高音質化処理前のオリジナルのトラックＴＲ１に対して設定された設定値を、高音質化処理済みのトラックＴＲ１１に対して自動的に設定する（図中のＲ１部参照）。そして、表示制御部１７ｂは、これに応じた表示制御を行う。
　このような高音質化処理とのタイミング制御を行うことにより、ユーザの混乱を防ぎつつ、高音質化処理前のオリジナルのトラックＴＲ１と高音質化処理済みのトラックＴＲ１１との整合性を確保することができる。
＜＜５．変形例＞＞
　ところで、上述してきた本実施形態には、いくつかの変形例を挙げることができる。図１９～図２７は、変形例に係るＵＩ例を示す図（その１）～（その９）である。
＜５－１．第１の変形例＞
　上述した本実施形態では、表示制御部１７ｂが、パラメータ調整のためのアイコンＩ１がタッチ操作された場合に、パラメータ調整の種別をタブＴ１，Ｔ２によって選択可能な表示制御を行うこととした。
　しかし、パラメータ調整の種別はこれに限られるものではなく、図１９に示すようにアイコンＩ１がタッチ操作された場合に、表示制御部１７ｂはメニューＡＭを表示させ、このメニューＡＭからユーザにパラメータ調整の種別を選択させるようにしてもよい。
＜５－２．第２の変形例＞
　また、上述した本実施形態では、表示制御部１７ｂが、トラックの波形表示領域へパラメータ調整部品をオーバーラップ表示させることとしたが、必ずしもオーバーラップ表示させなくともよい。
　例えば、図２０に示すように、ユーザが編集画面のトラックリストからトラックの１つを選択した場合に、表示制御部１７ｂが、トラックリストの列方向に対し、音量やリバーブのパラメータ調整部品を波形表示領域と並列に展開する表示制御を行うようにしてもよい。
　この場合にも、例えばスライダーの長さを大きくとることができ、そのスライダーによって分解能の高いパラメータ調整を行うことが可能となる。
＜５－３．第３の変形例＞
　また、上述した本実施形態では、表示制御部１７ｂが、波形表示領域に対し、１つの種別のパラメータ調整部品をオーバーラップ表示させることとしたが、必ずしも１つの種別には限られない。
　例えば、図２１に示すように、表示制御部１７ｂは、トラックリストの各トラックの波形表示領域に対し、音量やリバーブといった複数の種別のパラメータ調整部品を同時に表示させることとしてもよい。
　この場合、ユーザは、パラメータ調整の種別を選択することなく、また調整可能なパラメータの種別を一目で把握することが可能となるので、パラメータ調整に関する操作性を高めることができる。
＜５－４．第４の変形例＞
　また、上述した本実施形態では、パラメータ調整の種別をタブＴ１，Ｔ２によって選択し、図１９を用いた説明ではメニューＡＭによって選択する例を挙げたが、パラメータ調整の種別を選択する方法はこれらの例に限られない。
　例えば、図２２に示すように、表示制御部１７ｂは、タブＴ１，Ｔ２に替えてプルダウンＰＤ２を表示させ、このプルダウンＰＤ２からパラメータ調整の種別をユーザに選択させるようにしてもよい。
　また、例えば、図２３に示すように、表示制御部１７ｂは、トラックリストのトラックごとに同様のプルダウンＰＤ２１，ＰＤ２２，ＰＤ２３…を表示させ、このプルダウンＰＤ２１，ＰＤ２２，ＰＤ２３…からパラメータ調整の種別をユーザに選択させるようにしてもよい。
＜５－５．第５の変形例＞
　また、上述した本実施形態では、調整可能なパラメータの種別として「音量」、「リバーブ」の２種類を挙げたが、３種類以上であってもよい。
　例えば、図２４に示すように、リバーブに「リバーブ１」と「リバーブ２」の２系統を設け、表示制御部１７ｂは、「リバーブ２」のタブＴ３がタッチ操作された場合に、この「リバーブ２」に対応するパラメータ調整部品を表示させるようにしてもよい。
　また、例えば、図２５に示すように、「音量」、「リバーブ」に加えてバランス調整用の「ＬＲ」を設け、表示制御部１７ｂは、この「ＬＲ」のタブＴ４がタッチ操作された場合に、この「ＬＲ」に対応するパラメータ調整部品を表示させるようにしてもよい。
　なお、本実施形態や、図２４、図２５に示した以外にも、再生時やミキシング時に調整可能なパラメータの種別は多々ある。一例として、「音色」や、「ダイナミクス」、「エフェクト」等を挙げることができる。「音色」は、イコライザやフィルタ等で周波数特性を調整することとなる。「ダイナミクス」は、リミッタやコンプレッサ等で音源のピーク操作や平均レベルなどを調整することとなる。「エフェクト」は、前述の「リバーブ」も含まれるが、例えばリバーブレータ、コーラス、ディレイ、フランジャー等の空間系エフェクト処理によって音像と空間を調整することとなる。
＜５－６．第６の変形例＞
　また、上述した本実施形態や、図１９～図２５では、パラメータ調整のためのスライダーが直線状である例を挙げたが、パラメータ調整部品の形状を限定するものではない。
　例えば、図２６に示すように、表示制御部１７ｂは、円状のスライダーをパラメータ調整部品として表示させてもよい。この円状のスライダーは、ユーザがタッチダウンしたまま左右にドラッグすることによって、ユーザにパラメータ調整を行わせることができる。
　また、例えば、図２７に示すように、表示制御部１７ｂは、円状ではあるが－／＋ボタンと組み合わされたパラメータ調整部品を表示させてもよい。この円状の調整部品は、ユーザがタッチ操作することによって選択され、選択されると同時に－／＋ボタンが展開される。ユーザは、その－／＋ボタンをタッチ操作することによって、選択したパラメータを１ステップずつ調整することとなる。
　図２６および図２７に示した例によっても、ユーザは、直感的な操作でパラメータを容易に調整することが可能となる。
　また、上述した本開示の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上述した本開示の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
＜＜６．ハードウェア構成＞＞
　また、上述してきた本開示の実施形態に係るスマートフォン１０およびサーバ装置１００は、例えば図２８に示すような構成のコンピュータ１０００によって実現される。スマートフォン１０を例に挙げて説明する。図２８は、スマートフォン１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、二次記憶装置１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又は二次記憶装置１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又は二次記憶装置１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　二次記憶装置１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、二次記憶装置１４００は、プログラムデータ１４５０の一例であるアプリ情報１６ａに相当する本開示の実施形態に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、マイクやタッチパネル等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係るスマートフォン１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１７の機能を実現する。また、二次記憶装置１４００には、本開示に係るプログラムや、記憶部１６内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０を二次記憶装置１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜７．むすび＞＞
　以上説明したように、本開示の一実施形態によれば、スマートフォン１０（「情報処理装置」の一例に相当）は、録音編集アプリ（「音源データの録音機能および編集機能を有するアプリ」の一例に相当）を実行可能に設けられる制御部１７と、上記録音編集アプリに関する視覚情報を表示する表示部１５と、を備える。また、制御部１７は、上記録音編集アプリを介してユーザにより高音質化の対象とする上記音源データが選択された場合に、当該音源データの高音質化処理を実行し、上記高音質化処理と並行に上記音源データのパラメータ調整処理を実行し、上記録音編集アプリの実行中に表示部１５へ表示される上記音源データの波形表示領域ＷＡに対し、上記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させる。これにより、ユーザが音楽コンテンツを制作する際の利便性より向上させることができる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　音源データの録音機能および編集機能を有するアプリを実行可能に設けられる制御部と、前記アプリに関する視覚情報を表示する表示部と、を備え、
　前記制御部は、
　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行し、
　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行し、
　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させる、
　情報処理装置。
（２）
　前記制御部は、
　前記波形表示領域がユーザから視認可能となるように前記調整部品をオーバーラップ表示させる、
　前記（１）に記載の情報処理装置。
（３）
　前記調整部品は、スライダーである、
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記スライダーは、直線状である、
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記波形表示領域の横幅の少なくとも半分以上に対し前記スライダーをオーバーラップ表示させる、
　前記（４）に記載の情報処理装置。
（６）
　前記スライダーは、円状である、
　前記（３）に記載の情報処理装置。
（７）
　前記パラメータ調整処理は、
　前記パラメータとして少なくとも前記音源データの音量およびリバーブの強さを調整する、
　前記（１）～（６）のいずれか一つに記載の情報処理装置。
（８）
　前記制御部は、
　前記音量および前記リバーブの強さを含むパラメータの種別を、少なくともタブ、メニューおよびプルダウンのいずれかによって選択可能に前記表示部へ表示させる、
　前記（７）に記載の情報処理装置。
（９）
　前記制御部は、
　前記高音質化処理とのタイミング制御を行いつつ、前記高音質化処理および前記パラメータ調整処理に関する表示制御を行う、
　前記（１）～（８）のいずれか一つに記載の情報処理装置。
（１０）
　前記制御部は、
　前記高音質化処理の実行中、当該高音質化処理の進捗状況を前記表示部へ通知し、
　前記進捗状況の通知中にユーザから前記パラメータ調整処理の選択操作を受け付けた場合に、前記進捗状況の通知を閉じるとともに、高音質化処理前のオリジナルの前記音源データに対してのみ前記パラメータの調整が可能となるように前記調整部品を表示させる、
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、
　ユーザから前記パラメータ調整処理の選択を解除する操作を受け付けた場合に、前記進捗状況の通知を再表示させる、
　前記（１０）に記載の情報処理装置。
（１２）
　前記制御部は、
　前記高音質化処理の完了時に前記パラメータ調整処理が選択中である場合、前記高音質化処理が完了したことを示す表示制御を待ち合わせ、ユーザから前記パラメータ調整処理の選択を解除する操作を受け付けた場合に、前記高音質化処理が完了したことを示す表示制御を行う、
　前記（１０）または（１１）に記載の情報処理装置。
（１３）
　前記制御部は、
　前記高音質化処理が完了したことを示す表示制御を行う際に、高音質化処理済みの前記音源データの前記パラメータについて、前記オリジナルの前記音源データに対して行われた前記パラメータの調整の結果を反映する、
　前記（１２）に記載の情報処理装置。
（１４）
　携帯型である、
　前記（１）～（１３）のいずれか一つに記載の情報処理装置。
（１５）
　情報処理装置が実行する情報処理方法であって、
　音源データの録音機能および編集機能を有するアプリを実行することと、
　前記アプリに関する視覚情報を表示部へ表示させることと、
　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行することと、
　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行することと、
　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させることと、
　を含む、情報処理方法。
（１６）
　音源データの録音機能および編集機能を有するアプリを実行すること、
　前記アプリに関する視覚情報を表示部へ表示させること、
　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行すること、
　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行すること、
　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させること、
　をコンピュータに実行させる、プログラム。
（１７）
　音源データの録音機能および編集機能を有するアプリを実行すること、
　前記アプリに関する視覚情報を表示部へ表示させること、
　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行すること、
　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行すること、
　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させること、
　をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
　１　情報処理システム
　１０　スマートフォン
　１１　マイク
　１２　スピーカ
　１３　通信部
　１４　操作部
　１５　表示部
　１６　記憶部
　１６ａ　アプリ情報
　１７　制御部
　１７ａ　アプリ実行部
　１７ｂ　表示制御部
　１７ｃ　通信制御部
　１００　サーバ装置
　１０１　通信部
　１０２　記憶部
　１０２ａ　高音質化処理モデル
　１０３　制御部
　１０３ａ　取得部
　１０３ｂ　高音質化処理部
　１０３ｃ　送信部

Claims (16)

  1. 　音源データの録音機能および編集機能を有するアプリを実行可能に設けられる制御部と、前記アプリに関する視覚情報を表示する表示部と、を備え、
    　前記制御部は、
    　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行し、
    　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行し、
    　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させる、
    　情報処理装置。
  2. 　前記制御部は、
    　前記波形表示領域がユーザから視認可能となるように前記調整部品をオーバーラップ表示させる、
    　請求項１に記載の情報処理装置。
  3. 　前記調整部品は、スライダーである、
    　請求項１に記載の情報処理装置。
  4. 　前記スライダーは、直線状である、
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　前記波形表示領域の横幅の少なくとも半分以上に対し前記スライダーをオーバーラップ表示させる、
    　請求項４に記載の情報処理装置。
  6. 　前記スライダーは、円状である、
    　請求項３に記載の情報処理装置。
  7. 　前記パラメータ調整処理は、
    　前記パラメータとして少なくとも前記音源データの音量およびリバーブの強さを調整する、
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、
    　前記音量および前記リバーブの強さを含むパラメータの種別を、少なくともタブ、メニューおよびプルダウンのいずれかによって選択可能に前記表示部へ表示させる、
    　請求項７に記載の情報処理装置。
  9. 　前記制御部は、
    　前記高音質化処理とのタイミング制御を行いつつ、前記高音質化処理および前記パラメータ調整処理に関する表示制御を行う、
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、
    　前記高音質化処理の実行中、当該高音質化処理の進捗状況を前記表示部へ通知し、
    　前記進捗状況の通知中にユーザから前記パラメータ調整処理の選択操作を受け付けた場合に、前記進捗状況の通知を閉じるとともに、高音質化処理前のオリジナルの前記音源データに対してのみ前記パラメータの調整が可能となるように前記調整部品を表示させる、
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、
    　ユーザから前記パラメータ調整処理の選択を解除する操作を受け付けた場合に、前記進捗状況の通知を再表示させる、
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、
    　前記高音質化処理の完了時に前記パラメータ調整処理が選択中である場合、前記高音質化処理が完了したことを示す表示制御を待ち合わせ、ユーザから前記パラメータ調整処理の選択を解除する操作を受け付けた場合に、前記高音質化処理が完了したことを示す表示制御を行う、
    　請求項１０に記載の情報処理装置。
  13. 　前記制御部は、
    　前記高音質化処理が完了したことを示す表示制御を行う際に、高音質化処理済みの前記音源データの前記パラメータについて、前記オリジナルの前記音源データに対して行われた前記パラメータの調整の結果を反映する、
    　請求項１２に記載の情報処理装置。
  14. 　携帯型である、
    　請求項１に記載の情報処理装置。
  15. 　情報処理装置が実行する情報処理方法であって、
    　音源データの録音機能および編集機能を有するアプリを実行することと、
    　前記アプリに関する視覚情報を表示部へ表示させることと、
    　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行することと、
    　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行することと、
    　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させることと、
    　を含む、情報処理方法。
  16. 　音源データの録音機能および編集機能を有するアプリを実行すること、
    　前記アプリに関する視覚情報を表示部へ表示させること、
    　前記アプリを介してユーザにより高音質化の対象とする前記音源データが選択された場合に、当該音源データの高音質化処理を実行すること、
    　前記高音質化処理と並行に前記音源データのパラメータ調整処理を実行すること、
    　前記アプリの実行中に前記表示部へ表示される前記音源データの波形表示領域に対し、前記パラメータ調整処理におけるパラメータの調整部品をオーバーラップ表示させること、
    　をコンピュータに実行させる、プログラム。
PCT/JP2023/038615 2022-11-07 2023-10-26 情報処理装置、情報処理方法およびプログラム WO2024101162A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022178390 2022-11-07
JP2022-178390 2022-11-07

Publications (1)

Publication Number Publication Date
WO2024101162A1 true WO2024101162A1 (ja) 2024-05-16

Family

ID=91032590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/038615 WO2024101162A1 (ja) 2022-11-07 2023-10-26 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2024101162A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157915A (ja) * 2016-02-29 2017-09-07 株式会社Ｈｅａｒｒ 携帯端末装置およびコンテンツ配信システム
WO2022209171A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 信号処理装置、信号処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157915A (ja) * 2016-02-29 2017-09-07 株式会社Ｈｅａｒｒ 携帯端末装置およびコンテンツ配信システム
WO2022209171A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 信号処理装置、信号処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP6086188B2 (ja) 音響効果調整装置および方法、並びにプログラム
JP5702599B2 (ja) 音声データを処理するデバイス及び方法
JP3804615B2 (ja) 音響再生装置、音響再生方法、およびプログラム
US10062367B1 (en) Vocal effects control system
US9972297B2 (en) Sound processing device, sound data selecting method and sound data selecting program
US8874245B2 (en) Effects transitions in a music and audio playback system
JPWO2008111113A1 (ja) エフェクト装置、ａｖ処理装置およびプログラム
WO2014062842A1 (en) Methods and systems for karaoke on a mobile device
KR20110012125A (ko) 휴대용 단말기의 음악 재생 장치 및 방법
WO2022206366A1 (zh) 应用程序的视频处理方法和电子设备
US8032241B2 (en) Apparatus for playing back audio files and method of navigating through audio files using the apparatus
WO2024101162A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6926662B2 (ja) オーディオ装置及びプログラム
JP2007116363A (ja) 音響空間制御装置
WO2023218993A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5999408B2 (ja) 楽音信号制御システムおよびプログラム
JP2005150993A (ja) オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム
JP5511940B2 (ja) 音響調整方法
JP2014204258A (ja) 入力装置、音響機器、入力装置の制御方法およびプログラム
JP6281606B2 (ja) 音響効果調整装置および方法、並びにプログラム
Kjeldskov et al. Spatial mixer: Cross-device interaction for music mixing
WO2023217002A1 (zh) 音频处理方法、装置、设备及存储介质
JP5661730B2 (ja) アンプ内蔵スピーカ、拡声器、音響調整装置及び音響装置
WO2024134799A1 (ja) 楽曲再生装置、楽曲再生方法およびプログラム
TWI621067B (zh) 記錄聲音播放設定之方法及執行該方法之電子裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888510

Country of ref document: EP

Kind code of ref document: A1