WO2023199772A1 - Information processing method, information processing device, and program - Google Patents

Information processing method, information processing device, and program Download PDF

Info

Publication number
WO2023199772A1
WO2023199772A1 PCT/JP2023/013784 JP2023013784W WO2023199772A1 WO 2023199772 A1 WO2023199772 A1 WO 2023199772A1 JP 2023013784 W JP2023013784 W JP 2023013784W WO 2023199772 A1 WO2023199772 A1 WO 2023199772A1
Authority
WO
WIPO (PCT)
Prior art keywords
musical instrument
sound collection
type
sound
information processing
Prior art date
Application number
PCT/JP2023/013784
Other languages
French (fr)
Japanese (ja)
Inventor
菜津美 土岐
英里香 北原
真生 野口
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2023199772A1 publication Critical patent/WO2023199772A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings

Abstract

An information processing device according to the present invention comprises: a musical instrument identification unit that identifies the type of a musical instrument; and a notification control unit that notifies a user of a sound collecting position appropriate to the identified type as a position where musical performance sounds of the musical instrument should be collected.

Description

情報処理方法、情報処理装置およびプログラムInformation processing method, information processing device and program
　本開示は、利用者による収音を支援する技術に関する。 The present disclosure relates to technology that supports sound collection by users.
　収音装置を設置すべき位置（以下「収音位置」という）を利用者に報知する各種の技術が従来から提案されている。例えば特許文献１には、遠隔会議においてエコーキャンセル機能が充分に発揮される収音装置の位置を、利用者に報知する技術が開示されている。 Various techniques have been proposed in the past for notifying users of the position at which a sound collection device should be installed (hereinafter referred to as "sound collection position"). For example, Patent Document 1 discloses a technique for notifying users of the position of a sound collection device where the echo canceling function can be fully utilized in a remote conference.
特開２０１２－２０５２０１号公報Japanese Patent Application Publication No. 2012-205201
　ところで、例えば一般の利用者による動画の配信が普及したこと等を背景として、楽器の演奏を簡易的な収音装置により収音するケースが増加している。しかし、楽器に対する好適な収音位置は楽器の種類に応じて様々である。したがって、演奏音の収音に関する専門的な知識がなければ、楽器に対して適切な位置に収音装置を設置することは、現実的には困難である。収音装置の位置が不適切である場合、収録音量の過不足または収録音の音色の劣化等の問題が発生する。以上の事情を考慮して、本開示のひとつの態様は、演奏音の収音に関する知識を必要とせずに、楽器に対して好適な収音位置を利用者が把握できるようにすることを目的とする。 By the way, with the spread of video distribution by general users, for example, the number of cases in which musical instrument performances are recorded using simple sound recording devices is increasing. However, suitable sound pickup positions for musical instruments vary depending on the type of musical instrument. Therefore, without specialized knowledge regarding the collection of performance sounds, it is practically difficult to install the sound collection device at an appropriate position relative to the musical instrument. If the position of the sound collection device is inappropriate, problems such as excessive or insufficient recording volume or deterioration of the timbre of the recorded sound may occur. In consideration of the above circumstances, one aspect of the present disclosure aims to enable a user to grasp a suitable sound collection position for a musical instrument without requiring knowledge regarding the collection of performance sounds. shall be.
　以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、楽器の種類を特定し、前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する。 In order to solve the above problems, an information processing method according to one aspect of the present disclosure specifies the type of musical instrument, and sets the position where the performance sound of the musical instrument should be collected according to the specified type. Notify the user of the sound location.
　本開示のひとつの態様に係る情報処理装置は、楽器の種類を特定する楽器特定部と、前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する報知制御部とを具備する。 An information processing device according to one aspect of the present disclosure includes an instrument identifying unit that identifies the type of musical instrument, and a user who selects a sound collection position according to the identified type as a position where the performance sound of the musical instrument should be collected. and a notification control unit that notifies the user.
　本開示のひとつの態様に係るプログラムは、楽器の種類を特定する楽器特定部、および、前記特定した種類に応じた収音位置を利用者に報知する報知制御部、としてコンピュータシステムを機能させる。 A program according to one aspect of the present disclosure causes a computer system to function as an instrument specifying unit that specifies the type of musical instrument, and a notification control unit that notifies the user of a sound collection position according to the specified type.
第１実施形態の情報処理装置が使用される状況の説明図である。FIG. 2 is an explanatory diagram of a situation in which the information processing device of the first embodiment is used. 情報処理装置の構成を例示するブロック図である。FIG. 1 is a block diagram illustrating the configuration of an information processing device. 案内画像の模式図である。It is a schematic diagram of a guide image. 情報処理装置の機能的な構成を例示するブロック図である。1 is a block diagram illustrating a functional configuration of an information processing device. FIG. 楽器特定処理のフローチャートである。It is a flowchart of musical instrument identification processing. 制御処理のフローチャートである。It is a flowchart of control processing. 第２実施形態における情報処理装置の機能的な構成を例示するブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of an information processing device in a second embodiment. 第３実施形態における情報処理装置の機能的な構成を例示するブロック図である。FIG. 3 is a block diagram illustrating a functional configuration of an information processing device in a third embodiment. 第４実施形態における情報処理装置の機能的な構成を例示するブロック図である。FIG. 7 is a block diagram illustrating a functional configuration of an information processing device in a fourth embodiment. 第４実施形態における案内画像の模式図である。It is a schematic diagram of the guide image in 4th Embodiment. 第４実施形態における制御処理のフローチャートである。It is a flowchart of control processing in a 4th embodiment. 第５実施形態における制御処理のフローチャートである。It is a flowchart of control processing in a 5th embodiment.
Ａ：第１実施形態
　図１は、第１実施形態の情報処理装置１００が使用される状況の説明図である。情報処理装置１００の利用者Ｕは楽器２００を演奏する。図１においては、楽器２００としてトランペットが例示されている。情報処理装置１００は、利用者Ｕが楽器２００を演奏する場面の動画（映像および音響）を収録する収録システムとして利用される。具体的には、情報処理装置１００は、利用者Ｕが楽器２００を演奏する映像の撮像と、楽器２００から放射される演奏音の収音とを並列に実行する。演奏音は、利用者Ｕによる演奏に応じて楽器２００から放射される楽音である。 A: First Embodiment FIG. 1 is an explanatory diagram of a situation in which the information processing apparatus 100 of the first embodiment is used. A user U of the information processing device 100 plays a musical instrument 200. In FIG. 1, a trumpet is illustrated as the musical instrument 200. The information processing device 100 is used as a recording system that records a video (video and audio) of a scene in which the user U plays the musical instrument 200. Specifically, the information processing device 100 captures a video of the user U playing the musical instrument 200 and captures the performance sound emitted from the musical instrument 200 in parallel. The performance sound is a musical sound emitted from the musical instrument 200 in response to the performance by the user U.
　演奏音を収音すべき位置（以下「収音位置」という）は、楽器２００の種類（以下「楽器種類」という）に応じて相違する。第１実施形態の情報処理装置１００は、利用者Ｕが実際に演奏する楽器２００の種類に応じて最適な収音位置を、当該利用者Ｕに対して報知する。したがって、利用者Ｕは、自身が演奏する楽器２００に対して最適な収音位置で演奏音を収音できる。 The position at which the performance sound should be collected (hereinafter referred to as "sound collection position") differs depending on the type of musical instrument 200 (hereinafter referred to as "instrument type"). The information processing device 100 of the first embodiment notifies the user U of the optimal sound collection position according to the type of musical instrument 200 that the user U actually plays. Therefore, the user U can collect performance sounds at the optimal sound collection position for the musical instrument 200 that the user U is playing.
　図２は、情報処理装置１００の構成を例示するブロック図である。情報処理装置１００は、制御装置１１と記憶装置１２と通信装置１３と操作装置１４と収音装置１５と撮像装置１６と表示装置１７と放音装置１８とを具備する。情報処理装置１００は、例えばスマートフォンまたはタブレット端末等の可搬型の情報装置により実現される。なお、情報処理装置１００は、パーソナルコンピュータ等の可搬型または据置型の情報装置により実現されてもよい。また、情報処理装置１００は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。 FIG. 2 is a block diagram illustrating the configuration of the information processing device 100. The information processing device 100 includes a control device 11 , a storage device 12 , a communication device 13 , an operating device 14 , a sound collection device 15 , an imaging device 16 , a display device 17 , and a sound output device 18 . The information processing device 100 is realized by a portable information device such as a smartphone or a tablet terminal. Note that the information processing device 100 may be realized by a portable or stationary information device such as a personal computer. Further, the information processing device 100 is realized not only as a single device but also as a plurality of devices configured separately from each other.
　制御装置１１は、情報処理装置１００の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。 The control device 11 is one or more processors that control each element of the information processing device 100. Specifically, for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), SPU (Sound Processing Unit), DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), or ASIC (Application Specific Integrated Circuit). The control device 11 is composed of one or more types of processors such as the following.
　収音装置１５は、周囲の音響を収音することで音響信号Ａを生成するマイクである。具体的には、楽器２００の演奏音が収音装置１５により収音される。すなわち、音響信号Ａは、演奏音の波形を表す信号である。例えば単体のマイク、または複数のマイクが直線状または行列状に配列されたマイクアレイが、収音装置１５として例示される。なお、音響信号Ａをアナログからデジタルに変換するＡ/Ｄ変換器、および、音響信号Ａを増幅する増幅器の図示は、便宜的に省略されている。 The sound collection device 15 is a microphone that generates the audio signal A by collecting surrounding sounds. Specifically, the performance sound of the musical instrument 200 is collected by the sound collection device 15. That is, the acoustic signal A is a signal representing the waveform of the performance sound. For example, the sound collection device 15 may be a single microphone or a microphone array in which a plurality of microphones are arranged in a straight line or in a matrix. Note that illustration of an A/D converter that converts the audio signal A from analog to digital and an amplifier that amplifies the audio signal A are omitted for convenience.
　撮像装置１６は、周囲の物体を撮像することで映像信号Ｖを生成するカメラである。具体的には、利用者Ｕが楽器２００を演奏する状態が撮像される。すなわち、映像信号Ｖは、利用者Ｕが楽器２００を演奏する場面の動画を表す。例えば、撮像装置１６は、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じた映像信号Ｖを生成する処理回路とを具備する。 The imaging device 16 is a camera that generates a video signal V by imaging surrounding objects. Specifically, an image of the user U playing the musical instrument 200 is captured. That is, the video signal V represents a moving image of a scene in which the user U plays the musical instrument 200. For example, the imaging device 16 includes an optical system such as a photographic lens, an imaging element that receives incident light from the optical system, and a processing circuit that generates a video signal V according to the amount of light received by the imaging element.
　以上の通り、収音装置１５および撮像装置１６は、利用者Ｕが楽器２００を演奏する場面の動画（映像および音響）を収録する。収音装置１５および撮像装置１６は、情報処理装置１００に一体的に搭載される。すなわち、情報処理装置１００の可搬型の筐体に収音装置１５および撮像装置１６の双方が収容および支持される。 As described above, the sound collecting device 15 and the imaging device 16 record the moving image (video and audio) of the scene in which the user U plays the musical instrument 200. The sound collection device 15 and the imaging device 16 are integrally installed in the information processing device 100. That is, both the sound collection device 15 and the imaging device 16 are housed and supported in the portable housing of the information processing device 100.
　図１に例示される通り、情報処理装置１００は、利用者Ｕが所在する空間内の特定の位置に設置される。利用者Ｕは、情報処理装置１００により報知される収音位置に情報処理装置１００（収音装置１５）が位置するように、楽器２００を演奏しながら移動する。以上の手順により情報処理装置１００と楽器２００との位置関係を調整することで、楽器２００の演奏音を適切な収音位置において収音できる状態となる。第１実施形態においては収音装置１５が情報処理装置１００に搭載されるから、情報処理装置１００が報知する収音位置は、情報処理装置１００を設置すべき位置とも換言される。 As illustrated in FIG. 1, the information processing device 100 is installed at a specific position within the space where the user U is located. The user U moves while playing the musical instrument 200 so that the information processing device 100 (sound collection device 15) is located at the sound collection position notified by the information processing device 100. By adjusting the positional relationship between the information processing device 100 and the musical instrument 200 through the above-described procedure, it becomes possible to collect the performance sound of the musical instrument 200 at an appropriate sound collection position. In the first embodiment, the sound collection device 15 is installed in the information processing device 100, so the sound collection position notified by the information processing device 100 can also be referred to as the location where the information processing device 100 should be installed.
　図２の通信装置１３は、例えばインターネット等の通信網３００を介して外部装置と通信する。なお、通信装置１３と通信網３００との間の通信は有線および無線の何れでもよい。また、情報処理装置１００とは別体の通信装置１３を、情報処理装置１００に対して有線または無線により接続してもよい。 The communication device 13 in FIG. 2 communicates with an external device via a communication network 300 such as the Internet, for example. Note that communication between the communication device 13 and the communication network 300 may be either wired or wireless. Further, a communication device 13 that is separate from the information processing device 100 may be connected to the information processing device 100 by wire or wirelessly.
　第１実施形態の通信装置１３は、通信網３００を介して配信システム４００と通信する。具体的には、通信装置１３は、利用者Ｕによる楽器２００の演奏を表す動画コンテンツＣを、配信システム４００に送信する。動画コンテンツＣは、音響信号Ａおよび映像信号Ｖに対応する動画を表すコンテンツである。配信システム４００は、動画コンテンツＣを他の端末装置（図示略）に配信する。以上の通り、利用者Ｕは、自身による楽器２００の演奏を収録した動画コンテンツＣを多数の端末装置に配信できる。なお、通信装置１３は、通信網３００を介して他の端末装置に動画コンテンツＣを送信してもよい。すなわち、配信システム４００は省略されてよい。また、映像信号Ｖを含まない音楽コンテンツが情報処理装置１００から送信されてもよい。 The communication device 13 of the first embodiment communicates with the distribution system 400 via the communication network 300. Specifically, the communication device 13 transmits video content C representing the performance of the musical instrument 200 by the user U to the distribution system 400. Video content C is content representing a video corresponding to audio signal A and video signal V. Distribution system 400 distributes video content C to other terminal devices (not shown). As described above, the user U can distribute the video content C containing his or her performance on the musical instrument 200 to a large number of terminal devices. Note that the communication device 13 may transmit the video content C to another terminal device via the communication network 300. That is, the distribution system 400 may be omitted. Furthermore, music content that does not include the video signal V may be transmitted from the information processing device 100.
　操作装置１４は、利用者Ｕによる操作を受付ける入力機器である。例えば、利用者Ｕが操作する操作子、または、利用者Ｕによる接触を検知するタッチパネルが、操作装置１４として利用される。なお、情報処理装置１００とは別体の操作装置１４が、情報処理装置１００に対して有線または無線により接続されてもよい。 The operating device 14 is an input device that accepts operations by the user U. For example, an operator operated by the user U or a touch panel that detects a touch by the user U is used as the operating device 14. Note that an operating device 14 separate from the information processing device 100 may be connected to the information processing device 100 by wire or wirelessly.
　記憶装置１２は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として利用される。なお、例えば、情報処理装置１００に対して着脱される可搬型の記録媒体、または、制御装置１１が通信網３００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置１２として利用されてもよい。 The storage device 12 is one or more memories that store programs executed by the control device 11 and various data used by the control device 11. For example, a known recording medium such as a semiconductor recording medium and a magnetic recording medium, or a combination of multiple types of recording media is used as the storage device 12. Note that, for example, a portable recording medium that can be attached to and detached from the information processing device 100 or a recording medium that can be accessed by the control device 11 via the communication network 300 (e.g., cloud storage) may be used as the storage device 12. It's okay.
　第１実施形態の記憶装置１２は、複数の楽器種類の各々について参照データＲと案内データＧとを記憶する。各楽器種類の参照データＲは、当該楽器種類の楽器２００の標準的な演奏音に関する音響的な特徴を表すデータである。例えば強度スペクトル、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）、またはＭＳＬＳ（Mel-Scale Log Spectrum）等、演奏音の音色（周波数特性）の特徴を表す特徴量が参照データＲとして例示される。 The storage device 12 of the first embodiment stores reference data R and guide data G for each of a plurality of musical instrument types. The reference data R for each musical instrument type is data representing acoustic characteristics regarding the standard performance sound of the musical instrument 200 of the musical instrument type. For example, the reference data R is a feature value representing the characteristics of the timbre (frequency characteristics) of the performance sound, such as an intensity spectrum, MFCC (Mel-Frequency Cepstrum Coefficients), or MSLS (Mel-Scale Log Spectrum).
　各楽器種類の案内データＧは、当該楽器種類の楽器２００について最適な収音位置を表すデータである。すなわち、相異なる楽器種類に対応する複数の収音位置が、記憶装置１２に記憶される。各案内データＧは、収音位置を利用者Ｕに報知するための画像（以下「案内画像」という）および音声（以下「案内音声」という）を表す。案内画像は、動画および静止画の何れでもよい。以上の説明から理解される通り、第１実施形態の記憶装置１２は、相異なる楽器種類に対応する複数の案内画像と、相異なる楽器種類に対応する複数の案内音声とを記憶する。 The guide data G for each musical instrument type is data representing the optimal sound collection position for the musical instrument 200 of the musical instrument type. That is, a plurality of sound collection positions corresponding to different types of musical instruments are stored in the storage device 12. Each guide data G represents an image (hereinafter referred to as a "guidance image") and a sound (hereinafter referred to as a "guidance voice") for notifying the user U of the sound collection position. The guide image may be either a moving image or a still image. As understood from the above description, the storage device 12 of the first embodiment stores a plurality of guide images corresponding to different types of musical instruments and a plurality of guide voices corresponding to different types of musical instruments.
　図３は、楽器種類がトランペットである案内画像の模式図である。例えばトランペットのベルの正面で演奏音を収音した場合、ベルから吹出す気流が収音装置１５に直接的に衝突し、演奏音とともに風切音が収録される可能性がある。そこで、例えばトランペットの楽器種類に対応する案内画像は、図３に例示される通り、ベルの中心軸に対して所定の角度（３０°～４０°）をなす直線上において当該ベルの先端から所定の距離（１ｍ～２ｍ）だけ離間した位置を、収音位置として案内する。 FIG. 3 is a schematic diagram of a guide image where the musical instrument type is a trumpet. For example, if the performance sound is collected in front of the bell of a trumpet, the airflow blown from the bell will directly collide with the sound collection device 15, and there is a possibility that wind noise will be recorded along with the performance sound. Therefore, as illustrated in FIG. 3, the guide image corresponding to the type of musical instrument, trumpet, for example, is created at a predetermined position from the tip of the bell on a straight line forming a predetermined angle (30° to 40°) with respect to the central axis of the bell. A position separated by a distance of (1 m to 2 m) is guided as the sound collection position.
　また、例えばクラリネットまたはオーボエ等の木管楽器については、楽器２００本体の側面に対向する位置が、案内データＧにより収音位置として案内される。例えばフルートについては、楽器２００本体に対して斜め上方の位置が、案内データＧにより収音位置として案内される。以上の通り、案内データＧが表す収音位置は、楽器種類毎に相違する。 Further, for a woodwind instrument such as a clarinet or an oboe, for example, a position facing the side of the main body of the musical instrument 200 is guided as a sound collection position by the guide data G. For example, for a flute, a position diagonally above the main body of the musical instrument 200 is guided by the guidance data G as a sound collection position. As described above, the sound collection position represented by the guide data G differs depending on the type of musical instrument.
　図２の表示装置１７は、制御装置１１による制御のもとで画像を表示する。例えば、第１実施形態の表示装置１７は、案内データＧが表す図３の案内画像を表示する。なお、情報処理装置１００とは別体の表示装置１７が、情報処理装置１００に対して有線または無線により接続されてもよい。 The display device 17 in FIG. 2 displays images under the control of the control device 11. For example, the display device 17 of the first embodiment displays the guide image shown in FIG. 3 represented by the guide data G. Note that a display device 17 that is separate from the information processing device 100 may be connected to the information processing device 100 by wire or wirelessly.
　放音装置１８は、制御装置１１による制御のもとで音波を放射する。例えば、第１実施形態の放音装置１８は、案内データＧが表す案内音声を再生する。放音装置１８は、例えばスピーカまたはヘッドホンである。なお、情報処理装置１００とは別体の放音装置１８が、情報処理装置１００に対して有線または無線により接続されてもよい。 The sound emitting device 18 emits sound waves under the control of the control device 11. For example, the sound emitting device 18 of the first embodiment reproduces the guidance voice represented by the guidance data G. The sound emitting device 18 is, for example, a speaker or headphones. Note that a sound emitting device 18 that is separate from the information processing device 100 may be connected to the information processing device 100 by wire or wirelessly.
　図４は、情報処理装置１００の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、収音位置を利用者Ｕに報知するための複数の機能（楽器特定部２１、報知制御部２２、収録処理部２３）を実現する。 FIG. 4 is a block diagram illustrating the functional configuration of the information processing device 100. The control device 11 has a plurality of functions (instrument identification section 21, notification control section 22, recording processing section 23) for notifying the user U of the sound collection position by executing a program stored in the storage device 12. Realize.
　楽器特定部２１は、利用者Ｕが演奏する楽器２００の種類を特定する。第１実施形態の楽器特定部２１は、演奏音の収音により収音装置１５が生成した音響信号Ａを解析することで、楽器種類を特定する。 The musical instrument identification unit 21 identifies the type of musical instrument 200 played by the user U. The musical instrument identification unit 21 of the first embodiment identifies the type of musical instrument by analyzing the acoustic signal A generated by the sound collection device 15 by collecting performance sounds.
　図５は、楽器特定部２１が楽器種類を特定する処理（以下「楽器特定処理」という）のフローチャートである。楽器特定処理が開始されると、楽器特定部２１は、音響信号Ａから特徴データＱを生成する（Ｓa11）。特徴データＱは、音響信号Ａの音響的な特徴を表すデータである。具体的には、参照データＲと同種の特徴量が特徴データＱとして生成される。すなわち、例えば演奏音の音色（周波数特性）の特徴を表す特徴量が特徴データＱとして例示される。 FIG. 5 is a flowchart of a process in which the musical instrument identifying unit 21 identifies the type of musical instrument (hereinafter referred to as "musical instrument identifying process"). When the musical instrument identification process is started, the musical instrument identification unit 21 generates feature data Q from the acoustic signal A (Sa11). The feature data Q is data representing the acoustic features of the acoustic signal A. Specifically, the same type of feature as the reference data R is generated as the feature data Q. That is, the feature data Q is exemplified by a feature amount representing the characteristics of the timbre (frequency characteristics) of the performance sound, for example.
　楽器特定部２１は、記憶装置１２に記憶された複数の参照データＲの各々について、当該参照データＲと特徴データＱとの類似度を算定する（Ｓa12）。類似度は、参照データＲと特徴データＱとの間の類似の度合を表す指標である。例えば距離または相関が類似度として例示される。 The musical instrument identification unit 21 calculates the degree of similarity between the reference data R and the feature data Q for each of the plurality of reference data R stored in the storage device 12 (Sa12). The degree of similarity is an index representing the degree of similarity between the reference data R and the feature data Q. For example, distance or correlation is exemplified as the degree of similarity.
　楽器特定部２１は、複数の参照データＲのうち特徴データＱとの類似度が最大となる参照データＲに対応する楽器種類を、利用者Ｕが演奏する楽器２００の種類として特定する（Ｓa13）。なお、類似度の最大は、距離の最小または相関の最大を意味する。以上の説明から理解される通り、第１実施形態においては、演奏音の音色（周波数特性）に着目して楽器種類が特定される。 The musical instrument identifying unit 21 identifies the musical instrument type corresponding to the reference data R having the maximum degree of similarity to the feature data Q among the plurality of reference data R as the type of musical instrument 200 played by the user U (Sa13). . Note that maximum similarity means minimum distance or maximum correlation. As understood from the above description, in the first embodiment, the type of musical instrument is identified by focusing on the timbre (frequency characteristics) of the performance sound.
　図４の報知制御部２２は、楽器種類に応じた収音位置を利用者Ｕに報知する。第１実施形態の報知制御部２２は、相異なる楽器種類に対応する複数の案内データＧのうち、楽器特定部２１が特定した楽器種類に対応する案内データ（以下「特定案内データ」という）Ｇを利用して、利用者Ｕに収音位置を報知する。すなわち、特定案内データＧが表す収音位置が利用者Ｕに報知される。具体的には、報知制御部２２は、特定案内データＧが表す案内画像を表示装置１７に表示し、特定案内データＧが表す案内音声を放音装置１８により再生する。 The notification control unit 22 in FIG. 4 notifies the user U of the sound collection position according to the type of musical instrument. The notification control unit 22 of the first embodiment generates guidance data (hereinafter referred to as “specific guidance data”) G corresponding to the musical instrument type identified by the musical instrument identification unit 21 among the plurality of guidance data G corresponding to different musical instrument types. Using this, the user U is notified of the sound collection position. That is, the user U is notified of the sound collection position represented by the specific guidance data G. Specifically, the notification control unit 22 displays the guidance image represented by the specific guidance data G on the display device 17, and reproduces the guidance sound represented by the specific guidance data G by the sound emitting device 18.
　以上の説明から理解される通り、報知制御部２２は、相異なる楽器種類に対応する複数の案内画像のうち、利用者Ｕが演奏する楽器２００の種類に対応する案内画像を、表示装置１７に表示する。したがって、収音装置１５による収音対象として想定される楽器２００に対して好適な収音位置を、利用者Ｕが視覚的に確認できる。 As understood from the above description, the notification control unit 22 displays the guide image corresponding to the type of musical instrument 200 played by the user U on the display device 17, from among the plurality of guide images corresponding to different types of musical instruments. indicate. Therefore, the user U can visually confirm a suitable sound collection position for the musical instrument 200 that is assumed to be the target of sound collection by the sound collection device 15.
　また、報知制御部２２は、相異なる楽器種類に対応する複数の案内音声のうち、利用者Ｕが演奏する楽器２００の種類に対応する案内音声を、放音装置１８により再生する。したがって、収音装置１５による収音対象として想定される楽器２００に対して好適な収音位置を、利用者Ｕが聴覚的に確認できる。 Additionally, the notification control unit 22 causes the sound emitting device 18 to reproduce the guidance voice corresponding to the type of musical instrument 200 played by the user U, among the plurality of guidance voices corresponding to different types of musical instruments. Therefore, the user U can aurally confirm a suitable sound collection position for the musical instrument 200 that is assumed to be the target of sound collection by the sound collection device 15.
　収録処理部２３は、利用者Ｕによる楽器２００の演奏を収録することで動画コンテンツＣを生成する。収録処理部２３は、収音装置１５が収音する音響信号Ａに対して各種の音響処理を実行する。音響処理は、音響信号Ａが表す演奏音の音響特性を調整する信号処理である。例えば、リバーブまたはコンプレッサ等の各種の音響効果を音響信号Ａに付与する効果付与処理、または周波数帯域毎の信号レベルを調整するイコライジング処理等、公知の任意の音響処理が音響信号Ａに対して実行される。なお、音響処理は省略されてもよい。収録処理部２３は、撮像装置１６が生成する映像信号Ｖと音響処理後の音響信号Ａとを含む動画コンテンツＣを生成する。また、収録処理部２３は、動画コンテンツＣを通信装置１３から配信システム４００に送信する。 The recording processing unit 23 generates video content C by recording the performance of the musical instrument 200 by the user U. The recording processing unit 23 performs various types of audio processing on the audio signal A collected by the sound collection device 15. The acoustic processing is signal processing that adjusts the acoustic characteristics of the performance sound represented by the acoustic signal A. For example, any known sound processing is performed on the sound signal A, such as effect adding processing that adds various sound effects such as reverb or compressor to the sound signal A, or equalizing processing that adjusts the signal level for each frequency band. be done. Note that the sound processing may be omitted. The recording processing unit 23 generates video content C including the video signal V generated by the imaging device 16 and the audio signal A after the audio processing. Furthermore, the recording processing unit 23 transmits the video content C from the communication device 13 to the distribution system 400.
　図６は、制御装置１１が実行する処理（以下「制御処理」という）のフローチャートである。例えば操作装置１４に対する利用者Ｕからの指示を契機として、制御処理が開始される。制御処理の開始を指示すると、利用者Ｕは楽器２００を演奏する。具体的には、利用者Ｕは、楽器２００を操作することで例えば特定の音高を演奏する。 FIG. 6 is a flowchart of the process (hereinafter referred to as "control process") executed by the control device 11. For example, the control process is started in response to an instruction from the user U to the operating device 14. When the user U instructs to start the control process, the user U plays the musical instrument 200. Specifically, the user U plays, for example, a specific pitch by operating the musical instrument 200.
　制御処理が開始されると、制御装置１１（楽器特定部２１）は、図５に例示した楽器特定処理により、利用者Ｕが演奏する楽器２００の種類を特定する（Ｓa1）。具体的には、制御装置１１は、利用者Ｕが演奏した特定の音高の演奏音を表す音響信号Ａを解析することで、楽器種類を特定する。 When the control process is started, the control device 11 (musical instrument identifying unit 21) identifies the type of musical instrument 200 played by the user U through the musical instrument identifying process illustrated in FIG. 5 (Sa1). Specifically, the control device 11 identifies the type of musical instrument by analyzing the acoustic signal A representing the performance sound of a specific pitch played by the user U.
　報知制御部２２は、楽器種類に応じた収音位置を利用者Ｕに報知する（Ｓa2，Ｓa3）。具体的には、報知制御部２２は、特定案内データＧが表す案内画像を表示装置１７に表示し（Ｓa2）、特定案内データＧが表す案内音声を放音装置１８により再生する（Ｓa3）。以上の説明から理解される通り、表示装置１７および放音装置１８は、利用者Ｕに収音位置を報知する報知装置として機能する。利用者Ｕは、情報処理装置１００により報知された収音位置に当該情報処理装置１００（収音装置１５）が位置するように楽器２００とともに移動する。 The notification control unit 22 notifies the user U of the sound collection position according to the type of musical instrument (Sa2, Sa3). Specifically, the notification control unit 22 displays the guidance image represented by the specific guidance data G on the display device 17 (Sa2), and reproduces the guidance sound represented by the specific guidance data G by the sound emitting device 18 (Sa3). As understood from the above description, the display device 17 and the sound emitting device 18 function as a notification device that notifies the user U of the sound collection position. The user U moves with the musical instrument 200 so that the information processing device 100 (sound collection device 15) is located at the sound collection position notified by the information processing device 100.
　以上の手順により情報処理装置１００と楽器２００との位置関係を調整すると、利用者Ｕは、操作装置１４を操作することで収録の開始を指示する。収録の開始を指示すると、利用者Ｕは、楽器２００の演奏を開始する。 After adjusting the positional relationship between the information processing device 100 and the musical instrument 200 through the above procedure, the user U instructs to start recording by operating the operating device 14. When the user U instructs to start recording, the user U starts playing the musical instrument 200.
　制御装置１１（収録処理部２３）は、利用者Ｕから収録の開始が指示されるまで待機する（Ｓa4：NO）。収録の開始が指示された場合（Ｓa4：YES）、制御装置１１（収録処理部２３）は、収音装置１５が生成する音響信号Ａと撮像装置１６が生成する映像信号Ｖとを利用した動画コンテンツＣを生成する（Ｓa5）。制御装置１１（収録処理部２３）は、動画コンテンツＣを通信装置１３から配信システム４００に送信する（Ｓa6）。 The control device 11 (recording processing unit 23) waits until the start of recording is instructed by the user U (Sa4: NO). When the start of recording is instructed (Sa4: YES), the control device 11 (recording processing unit 23) creates a video using the audio signal A generated by the sound pickup device 15 and the video signal V generated by the imaging device 16. Content C is generated (Sa5). The control device 11 (recording processing unit 23) transmits the video content C from the communication device 13 to the distribution system 400 (Sa6).
　以上に説明した通り、第１実施形態においては、楽器種類に応じた収音位置が利用者Ｕに報知される。したがって、利用者Ｕは、演奏音の収音に関する知識を必要とせずに、自身が演奏する楽器２００に対して好適な収音位置を把握できる。さらに、利用者Ｕは、報知された収音位置に情報処理装置１００（収音装置１５）を設置することで、楽器２００の演奏音を好適な条件のもとで収音できる。 As explained above, in the first embodiment, the user U is notified of the sound collection position according to the type of musical instrument. Therefore, the user U can grasp a suitable sound collection position for the musical instrument 200 that he or she is playing without requiring any knowledge regarding the collection of performance sounds. Furthermore, the user U can collect the performance sound of the musical instrument 200 under suitable conditions by installing the information processing device 100 (sound collection device 15) at the notified sound collection position.
　また、第１実施形態においては、演奏音を収音する収音装置１５が、楽器特定部２１および報知制御部２２とともに可搬型の情報処理装置１００に搭載される。したがって、利用者Ｕは、報知制御部２２により報知される収音位置を確認しながら情報処理装置１００と楽器２００との位置関係を調整する簡便な作業により、当該収音装置１５を利用した演奏音の収音を実現できる。 Further, in the first embodiment, a sound collection device 15 that collects performance sounds is installed in the portable information processing device 100 together with the musical instrument identification section 21 and the notification control section 22. Therefore, the user U can perform a performance using the sound collection device 15 by simply adjusting the positional relationship between the information processing device 100 and the musical instrument 200 while checking the sound collection position notified by the notification control unit 22. Sound collection can be achieved.
Ｂ：第２実施形態
　第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。 B: Second Embodiment The second embodiment will be described. In addition, in each aspect illustrated below, for elements whose functions are similar to those in the first embodiment, the same reference numerals as in the description of the first embodiment are used, and detailed descriptions of each are omitted as appropriate.
　図７は、第２実施形態における情報処理装置１００の機能的な構成を例示するブロック図である。第２実施形態の制御装置１１は、第１実施形態と同様の機能（楽器特定部２１、報知制御部２２、収録処理部２３）を実現する。第２実施形態においては、楽器特定部２１の動作が第１実施形態とは相違する。 FIG. 7 is a block diagram illustrating the functional configuration of the information processing device 100 in the second embodiment. The control device 11 of the second embodiment realizes the same functions as those of the first embodiment (musical instrument identification section 21, notification control section 22, recording processing section 23). In the second embodiment, the operation of the musical instrument identifying section 21 is different from that in the first embodiment.
　第２実施形態の楽器特定部２１は、楽器２００の撮像により撮像装置１６が生成した映像信号Ｖを解析することで、楽器種類を特定する。楽器特定部２１による楽器種類の特定には、例えば学習済モデルを利用した物体検出が採用される。学習済モデルは、多数の教師データを利用した機械学習により映像信号Ｖと楽器種類との関係を学習した統計的推定モデルである。学習済モデルは、例えば畳込ニューラルネットワーク等の深層ニューラルネットワークで構成される。したがって、第２実施形態においては、第１実施形態において例示した参照データＲは省略される。なお、映像信号Ｖを利用して楽器種類を特定する方法は以上の例示に限定されない。 The musical instrument identification unit 21 of the second embodiment identifies the type of musical instrument by analyzing the video signal V generated by the imaging device 16 by imaging the musical instrument 200. The instrument identification unit 21 uses object detection using a learned model, for example, to identify the type of instrument. The trained model is a statistical estimation model that has learned the relationship between the video signal V and the type of musical instrument through machine learning using a large amount of training data. The trained model is composed of a deep neural network such as a convolutional neural network, for example. Therefore, in the second embodiment, the reference data R illustrated in the first embodiment is omitted. Note that the method of identifying the type of musical instrument using the video signal V is not limited to the above example.
　第２実施形態における制御処理の手順は第１実施形態（図６）と同様である。ただし、第２実施形態の楽器特定処理（Ｓa1）において、制御装置１１（楽器特定部２１）は、映像信号Ｖの解析により楽器種類を特定する。報知制御部２２が楽器種類に応じた収音位置を利用者Ｕに報知する動作、および、収録処理部２３が動画コンテンツＣを生成する動作は、第１実施形態と同様である。 The control processing procedure in the second embodiment is the same as that in the first embodiment (FIG. 6). However, in the musical instrument identifying process (Sa1) of the second embodiment, the control device 11 (musical instrument identifying unit 21) identifies the type of musical instrument by analyzing the video signal V. The operation in which the notification control unit 22 notifies the user U of the sound collection position according to the type of musical instrument, and the operation in which the recording processing unit 23 generates the video content C are the same as in the first embodiment.
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、撮像装置１６が生成する映像信号Ｖの解析により楽器種類が特定される。したがって、例えば雑音が存在する環境等、音響信号Ａからは楽器種類を高精度に特定できない環境でも、楽器種類を特定できる。他方、第１実施形態においては、収音装置１５が生成する音響信号Ａの解析により楽器種類が特定される。したがって、例えば充分な光量が存在しない環境等、映像信号Ｖからは楽器種類を高精度に特定できない環境でも、楽器種類を特定できる。なお、楽器特定部２１は、音響信号Ａおよび映像信号Ｖの双方の解析により楽器種類を特定してもよい。 The same effects as in the first embodiment are achieved in the second embodiment as well. Furthermore, in the second embodiment, the type of musical instrument is identified by analyzing the video signal V generated by the imaging device 16. Therefore, the type of musical instrument can be identified even in an environment where the type of musical instrument cannot be identified with high precision from the acoustic signal A, such as an environment where there is noise. On the other hand, in the first embodiment, the type of musical instrument is identified by analyzing the acoustic signal A generated by the sound collection device 15. Therefore, the type of musical instrument can be identified even in an environment where the type of musical instrument cannot be identified with high precision from the video signal V, such as an environment where there is not a sufficient amount of light. Note that the musical instrument identifying section 21 may identify the type of musical instrument by analyzing both the audio signal A and the video signal V.
Ｃ：第３実施形態
　図８は、第３実施形態における情報処理装置１００の機能的な構成を例示するブロック図である。第３実施形態の制御装置１１は、第１実施形態と同様の機能（楽器特定部２１、報知制御部２２、収録処理部２３）を実現する。第３実施形態においては、楽器特定部２１の動作が第１実施形態とは相違する。 C: Third Embodiment FIG. 8 is a block diagram illustrating the functional configuration of an information processing apparatus 100 in a third embodiment. The control device 11 of the third embodiment realizes the same functions as those of the first embodiment (musical instrument identification section 21, notification control section 22, recording processing section 23). In the third embodiment, the operation of the musical instrument identifying section 21 is different from the first embodiment.
　第３実施形態の楽器特定部２１は、利用者Ｕからの指示に応じて楽器種類を特定する。利用者Ｕは、操作装置１４を操作することで楽器種類を情報処理装置１００に指示できる。例えば、利用者Ｕは、表示装置１７に表示された複数の候補から、自身が演奏する楽器２００の種類を選択する。楽器特定部２１は、利用者Ｕから指示された種類を楽器種類として特定する。したがって、第３実施形態においても第２実施形態と同様に、参照データＲは省略される。 The musical instrument identification unit 21 of the third embodiment identifies the type of musical instrument according to an instruction from the user U. The user U can instruct the information processing device 100 about the type of musical instrument by operating the operating device 14 . For example, the user U selects the type of musical instrument 200 that he or she plays from among the multiple candidates displayed on the display device 17. The musical instrument identifying unit 21 identifies the type instructed by the user U as the musical instrument type. Therefore, in the third embodiment as well, the reference data R is omitted as in the second embodiment.
　第３実施形態における制御処理の手順は第１実施形態（図６）と同様である。ただし、第３実施形態の楽器特定処理（Ｓa1）において、制御装置１１（楽器特定部２１）は、利用者Ｕからの指示に応じて楽器種類を特定する。報知制御部２２が楽器種類に応じた収音位置を利用者Ｕに報知する動作、および、収録処理部２３が動画コンテンツＣを生成する動作は、第１実施形態と同様である。 The control processing procedure in the third embodiment is the same as that in the first embodiment (FIG. 6). However, in the musical instrument identifying process (Sa1) of the third embodiment, the control device 11 (musical instrument identifying unit 21) identifies the type of musical instrument according to an instruction from the user U. The operation in which the notification control unit 22 notifies the user U of the sound collection position according to the type of musical instrument, and the operation in which the recording processing unit 23 generates the video content C are the same as in the first embodiment.
　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、利用者Ｕからの指示に応じて楽器種類が特定される。したがって、例えば音響信号Ａまたは映像信号Ｖからは楽器種類を高精度に特定できない環境でも、楽器種類を特定できる。他方、音響信号Ａから楽器種類を特定する第１実施形態、または映像信号Ｖから楽器種類を特定する第２実施形態によれば、楽器種類の特定に利用者Ｕからの指示は不要である。したがって、利用者Ｕが楽器種類を指示する手間を削減できる。 The same effects as in the first embodiment are achieved in the third embodiment as well. Further, in the third embodiment, the type of musical instrument is specified according to an instruction from the user U. Therefore, even in an environment where the type of musical instrument cannot be identified with high precision from the audio signal A or the video signal V, for example, the type of musical instrument can be identified. On the other hand, according to the first embodiment in which the type of musical instrument is specified from the audio signal A or the second embodiment in which the type of musical instrument is specified from the video signal V, no instruction from the user U is required to specify the type of musical instrument. Therefore, the effort required by the user U to specify the type of musical instrument can be reduced.
Ｄ：第４実施形態
　図９は、第４実施形態における情報処理装置１００の機能的な構成を例示するブロック図である。第４実施形態の制御装置１１は、第１実施形態と同様の機能（楽器特定部２１、報知制御部２２、収録処理部２３）に加えて特徴抽出部２４としても機能する。 D: Fourth Embodiment FIG. 9 is a block diagram illustrating the functional configuration of an information processing apparatus 100 in a fourth embodiment. The control device 11 of the fourth embodiment functions as a feature extraction section 24 in addition to the same functions as those of the first embodiment (musical instrument identification section 21, notification control section 22, recording processing section 23).
　特徴抽出部２４は、第１実施形態の楽器特定部２１と同様に、収音装置１５が生成する音響信号Ａから特徴データＱを生成する。特徴データＱは、音響信号Ａの音響的な特徴を表すデータである。具体的には、特徴データＱは、第１特徴量の観測値ｑxと第２特徴量の観測値ｑyとを含む。第１特徴量と第２特徴量とは、演奏音に関する相異なる種類の特徴量である。例えば、第１特徴量は、演奏音の音色の特徴を表す特徴量であり、第２特徴量は、演奏音の音量に関する特徴量である。観測値ｑxは、音響信号Ａから抽出される第１特徴量の数値であり、観測値ｑyは、音響信号Ａから抽出される第２特徴量の数値である。観測値ｑxおよび観測値ｑyは、情報処理装置１００と楽器２００との位置関係に応じて変化する。 The feature extraction unit 24 generates feature data Q from the acoustic signal A generated by the sound collection device 15, similar to the musical instrument identification unit 21 of the first embodiment. The feature data Q is data representing the acoustic features of the acoustic signal A. Specifically, the feature data Q includes an observed value qx of the first feature amount and an observed value qy of the second feature amount. The first feature amount and the second feature amount are different types of feature amounts regarding the performance sound. For example, the first feature amount is a feature amount representing the timbre characteristic of the performance sound, and the second feature amount is a feature amount related to the volume of the performance sound. The observed value qx is the numerical value of the first feature extracted from the acoustic signal A, and the observed value qy is the numerical value of the second feature extracted from the acoustic signal A. The observed value qx and the observed value qy change depending on the positional relationship between the information processing device 100 and the musical instrument 200.
　第４実施形態の記憶装置１２には、第１実施形態と同様に、相異なる楽器種類に対応する複数の参照データＲが記憶される。各参照データＲは、第１特徴量の参照値ｒxと第２特徴量の参照値ｒyとを含む。各楽器種類に対応する参照値ｒxは、当該楽器種類の楽器２００の標準的な演奏音に関する第１特徴量の数値である。各楽器種類に対応する参照値ｒyは、当該楽器種類の楽器２００の標準的な演奏音に関する第２特徴量の数値である。すなわち、参照値ｒxは、観測値ｑxの標準的または理想的な数値に相当し、参照値ｒyは、観測値ｑyの標準的または理想的な数値に相当する。特定の種類の楽器２００に関する好適な収音位置は、当該楽器種類の参照データＲ内の参照値ｒxに観測値ｑxが近似（理想的には一致）し、かつ、当該楽器種類の参照データＲ内の参照値ｒyに観測値ｑyが近似（理想的には一致）する地点である。 Similar to the first embodiment, the storage device 12 of the fourth embodiment stores a plurality of reference data R corresponding to different types of musical instruments. Each reference data R includes a reference value rx of the first feature amount and a reference value ry of the second feature amount. The reference value rx corresponding to each musical instrument type is a numerical value of the first feature amount regarding the standard performance sound of the musical instrument 200 of the musical instrument type. The reference value ry corresponding to each musical instrument type is a numerical value of the second feature amount regarding the standard performance sound of the musical instrument 200 of the musical instrument type. That is, the reference value rx corresponds to a standard or ideal numerical value of the observed value qx, and the reference value ry corresponds to a standard or ideal numerical value of the observed value qy. A suitable sound collection position for a specific type of musical instrument 200 is such that the observed value qx approximates (ideally matches) the reference value rx in the reference data R of the relevant musical instrument type, and the reference value R in the reference data R of the relevant musical instrument type This is the point where the observed value qy approximates (ideally matches) the reference value ry within.
　第４実施形態の楽器特定部２１は、特徴抽出部２４が生成した特徴データＱと各楽器種類の参照データＲとを比較する楽器特定処理により、楽器種類を特定する。具体的には、楽器特定部２１は、複数の参照データＲのうち特徴データＱとの類似度が最大となる参照データＲに対応する楽器種類を、利用者Ｕが演奏する楽器２００の種類として特定する（Ｓa12，Ｓa13）。 The musical instrument identifying unit 21 of the fourth embodiment identifies the musical instrument type through musical instrument identifying processing that compares the feature data Q generated by the feature extracting unit 24 and the reference data R of each musical instrument type. Specifically, the musical instrument identifying unit 21 selects the musical instrument type corresponding to the reference data R having the maximum degree of similarity with the feature data Q among the plurality of reference data R as the type of the musical instrument 200 played by the user U. Identify (Sa12, Sa13).
　第４実施形態の報知制御部２２は、図１０の案内画像を表示装置１７に表示する。案内画像には、相互に直交するＸ軸とＹ軸とが設定される。Ｘ軸は、第１特徴量（音色）の数値を表す数直線であり、Ｙ軸は、第２特徴量（音量）の数値を表す数直線である。 The notification control unit 22 of the fourth embodiment displays the guide image of FIG. 10 on the display device 17. An X-axis and a Y-axis that are perpendicular to each other are set in the guide image. The X-axis is a number line representing the numerical value of the first feature quantity (timbre), and the Y-axis is a number line representing the numerical value of the second characteristic quantity (volume).
　図１０の参照点Ｚrは、複数の参照データＲのうち楽器特定部２１が特定した楽器種類に対応する参照データ（以下「特定参照データ」という）Ｒの参照値ｒxおよび参照値ｒyに対応する地点である。すなわち、参照点ＺrのＸ座標が参照値ｒxに相当し、参照点ＺrのＹ座標が参照値ｒyに相当する。参照点Ｚrは、楽器種類に応じて確定する地点である。他方、図１０の観測点Ｚqは、特徴データＱに対応する地点である。すなわち、観測点ＺqのＸ座標が観測値ｑxに相当し、観測点ＺqのＹ座標が観測値ｑyに相当する。したがって、利用者Ｕが演奏する楽器２００と情報処理装置１００（収音装置１５）との位置関係に応じて、観測点ＺqはＸＹ平面内で移動する。情報処理装置１００が楽器２００に対して理想的な収音位置にある状態では、観測点Ｚqは参照点Ｚrに充分に近似（理想的には一致）する。すなわち、特定参照データＲと特徴データＱとが充分に近似する。利用者Ｕは、案内画像を確認しながら、観測点Ｚqが参照点Ｚrに近付くように、情報処理装置１００に対して楽器２００とともに移動する。以上の説明から理解される通り、第４実施形態の報知制御部２２は、複数の参照データＲのうち楽器特定部２１が特定した楽器種類に対応する特定参照データＲに特徴データＱが近付くように、収音位置を利用者Ｕに報知する。 The reference point Zr in FIG. 10 corresponds to the reference value rx and the reference value ry of the reference data (hereinafter referred to as "specific reference data") R that corresponds to the musical instrument type identified by the instrument identifying section 21 among the plurality of reference data R. It is a spot. That is, the X coordinate of the reference point Zr corresponds to the reference value rx, and the Y coordinate of the reference point Zr corresponds to the reference value ry. The reference point Zr is a point determined depending on the type of musical instrument. On the other hand, observation point Zq in FIG. 10 is a point corresponding to feature data Q. That is, the X coordinate of observation point Zq corresponds to observation value qx, and the Y coordinate of observation point Zq corresponds to observation value qy. Therefore, the observation point Zq moves within the XY plane depending on the positional relationship between the musical instrument 200 played by the user U and the information processing device 100 (sound collection device 15). When the information processing device 100 is at an ideal sound collection position with respect to the musical instrument 200, the observation point Zq sufficiently approximates (ideally coincides with) the reference point Zr. That is, the specific reference data R and the feature data Q are sufficiently approximate. The user U moves with the musical instrument 200 relative to the information processing device 100 while checking the guide image so that the observation point Zq approaches the reference point Zr. As can be understood from the above description, the notification control unit 22 of the fourth embodiment causes the feature data Q to approach the specific reference data R corresponding to the musical instrument type identified by the musical instrument identification unit 21 among the plurality of reference data R. Then, the user U is notified of the sound collection position.
　図１１は、第４実施形態における制御処理のフローチャートである。例えば操作装置１４に対する利用者Ｕからの指示を契機として、制御処理が開始される。制御処理の開始を指示すると、利用者Ｕは楽器２００を演奏する。具体的には、利用者Ｕは、楽器２００を操作することで例えば特定の音高を演奏する。 FIG. 11 is a flowchart of control processing in the fourth embodiment. For example, the control process is started in response to an instruction from the user U to the operating device 14. When the user U instructs to start the control process, the user U plays the musical instrument 200. Specifically, the user U plays, for example, a specific pitch by operating the musical instrument 200.
　制御処理が開始されると、制御装置１１（特徴抽出部２４）は、収音装置１５が生成する音響信号Ａから特徴データＱを生成する（Ｓb1）。制御装置１１（楽器特定部２１）は、特徴データＱを利用した楽器特定処理により楽器種類を特定する（Ｓb2）。具体的には、制御装置１１は、複数の参照データＲのうち、特徴データＱとの類似度が最大となる参照データＲに対応する楽器種類を特定する。類似度は、参照データＲの一部と特徴データＱの一部との間で算定されてもよい。例えば、特徴データＱの観測値ｑxと参照データＲの参照値ｒxとの間で類似度が算定されてもよい。以上の説明から理解される通り、第４実施形態においても第１実施形態と同様に、音響信号Ａの解析により楽器種類が特定される。 When the control process is started, the control device 11 (feature extraction unit 24) generates feature data Q from the acoustic signal A generated by the sound collection device 15 (Sb1). The control device 11 (musical instrument identifying unit 21) identifies the type of musical instrument through musical instrument identifying processing using the feature data Q (Sb2). Specifically, the control device 11 specifies, from among the plurality of reference data R, the type of musical instrument corresponding to the reference data R having the maximum degree of similarity to the feature data Q. The degree of similarity may be calculated between a portion of the reference data R and a portion of the feature data Q. For example, the degree of similarity may be calculated between the observed value qx of the feature data Q and the reference value rx of the reference data R. As understood from the above description, in the fourth embodiment as well, the type of musical instrument is identified by analyzing the acoustic signal A, similarly to the first embodiment.
　他方、利用者Ｕは、表示装置１７に表示される案内画像を視認しながら楽器２００とともに移動する。制御装置１１が楽器種類を特定すると、利用者Ｕによる移動に並行して案内画像を順次に更新する以下の処理が実行される。 On the other hand, the user U moves with the musical instrument 200 while visually checking the guide image displayed on the display device 17. When the control device 11 specifies the type of musical instrument, the following process is executed to sequentially update the guide images in parallel with the movement by the user U.
　制御装置１１（特徴抽出部２４）は、音響信号Ａから特徴データＱを生成する（Ｓb3）。そして、制御装置１１（報知制御部２２）は、図１０の案内画像を表示装置１７に表示する（Ｓb4）。具体的には、案内画像は、前述の通り、特定参照データＲに対応する参照点Ｚrと、特徴データＱに対応する観測点Ｚqとを含む。特定参照データＲは、前述の通り、記憶装置１２に記憶された複数の参照データＲのうち利用者Ｕが演奏する楽器２００の種類に対応する参照データＲである。 The control device 11 (feature extraction unit 24) generates feature data Q from the acoustic signal A (Sb3). Then, the control device 11 (notification control section 22) displays the guide image of FIG. 10 on the display device 17 (Sb4). Specifically, the guide image includes the reference point Zr corresponding to the specific reference data R and the observation point Zq corresponding to the feature data Q, as described above. As described above, the specific reference data R is the reference data R that corresponds to the type of musical instrument 200 played by the user U, out of the plurality of reference data R stored in the storage device 12.
　制御装置１１（報知制御部２２）は、観測点Ｚqが参照点Ｚrに充分に接近したか否かを判定する（Ｓb5）。具体的には、制御装置１１は、特定参照データＲと特徴データＱとの類似度が所定の閾値を上回るか否かを判定する。すなわち、参照点Ｚrを含む所定の範囲内に観測点Ｚqが位置するか否かが判定される。 The control device 11 (notification control unit 22) determines whether the observation point Zq has sufficiently approached the reference point Zr (Sb5). Specifically, the control device 11 determines whether the degree of similarity between the specific reference data R and the feature data Q exceeds a predetermined threshold. That is, it is determined whether the observation point Zq is located within a predetermined range that includes the reference point Zr.
　観測点Ｚqが参照点Ｚrに接近していない場合（Ｓb5：NO）、制御装置１１は、処理をステップＳb3に移行する。すなわち、観測点Ｚqが参照点Ｚrに接近するまで、特徴データＱの生成（Ｓb3）と案内画像の更新（Ｓb4）とが反復される。利用者Ｕは、案内画像を確認しながら、観測点Ｚqが参照点Ｚrに接近するように楽器２００とともに移動する。利用者Ｕの移動により、案内画像における観測点Ｚqの位置が随時に変更される。 If the observation point Zq is not close to the reference point Zr (Sb5: NO), the control device 11 moves the process to step Sb3. That is, the generation of the feature data Q (Sb3) and the updating of the guide image (Sb4) are repeated until the observation point Zq approaches the reference point Zr. The user U moves with the musical instrument 200 so that the observation point Zq approaches the reference point Zr while checking the guide image. As the user U moves, the position of the observation point Zq in the guide image is changed at any time.
　観測点Ｚqが参照点Ｚrに充分に接近した場合には、情報処理装置１００が楽器２００に対して好適な収音位置にあることを意味する。したがって、観測点Ｚqが参照点Ｚrに充分に接近した場合（Ｓb5：YES）、制御装置１１（報知制御部２２）は、情報処理装置１００と楽器２００とが好適な位置関係にあることを利用者Ｕに報知する（Ｓb6）。例えば、例えば表示装置１７による画像の表示または放音装置１８による音声の再生により、情報処理装置１００と楽器２００とが好適な位置関係にあることが利用者Ｕに報知される。以上の説明から理解される通り、第４実施形態においても第１実施形態と同様に、利用者Ｕが演奏する楽器２００の種類に応じた収音位置が利用者Ｕに報知される。ただし、第４実施形態においては、第１実施形態における案内データＧが不要である。 When the observation point Zq is sufficiently close to the reference point Zr, it means that the information processing device 100 is at a suitable sound collection position with respect to the musical instrument 200. Therefore, when the observation point Zq approaches the reference point Zr sufficiently (Sb5: YES), the control device 11 (notification control section 22) takes advantage of the fact that the information processing device 100 and the musical instrument 200 are in a suitable positional relationship. Notify person U (Sb6). For example, the user U is notified that the information processing device 100 and the musical instrument 200 are in a suitable positional relationship, for example, by displaying an image on the display device 17 or reproducing audio using the sound emitting device 18. As understood from the above description, in the fourth embodiment as well, the user U is notified of the sound collection position according to the type of musical instrument 200 played by the user U, similarly to the first embodiment. However, in the fourth embodiment, the guide data G in the first embodiment is unnecessary.
　以上の手順により情報処理装置１００と楽器２００との位置関係を調整すると、利用者Ｕは、操作装置１４を操作することで収録の開始を指示する。収録の開始を指示すると、利用者Ｕは、楽器２００の演奏を開始する。 After adjusting the positional relationship between the information processing device 100 and the musical instrument 200 through the above procedure, the user U instructs to start recording by operating the operating device 14. When the user U instructs to start recording, the user U starts playing the musical instrument 200.
　制御装置１１（収録処理部２３）は、利用者Ｕから収録の開始が指示されるまで待機する（Ｓb7：NO）。収録の開始が指示された場合（Ｓb7：YES）、制御装置１１（収録処理部２３）は、収音装置１５が生成する音響信号Ａと撮像装置１６が生成する映像信号Ｖとを利用した動画コンテンツＣを生成する（Ｓb8）。制御装置１１（収録処理部２３）は、動画コンテンツＣを通信装置１３から配信システム４００に送信する（Ｓb9）。なお、収録の開始が指示されない場合（Ｓb7：NO）に、制御装置１１は処理をステップＳb3に移行してもよい。 The control device 11 (recording processing unit 23) waits until the start of recording is instructed by the user U (Sb7: NO). When the start of recording is instructed (Sb7: YES), the control device 11 (recording processing unit 23) creates a video using the audio signal A generated by the sound pickup device 15 and the video signal V generated by the imaging device 16. Content C is generated (Sb8). The control device 11 (recording processing unit 23) transmits the video content C from the communication device 13 to the distribution system 400 (Sb9). Note that if the start of recording is not instructed (Sb7: NO), the control device 11 may shift the process to step Sb3.
　以上に説明した通り、第４実施形態においては、楽器種類に応じた収音位置が利用者Ｕに報知される。したがって、第１実施形態と同様に、利用者Ｕは、演奏音の収音に関する知識を必要とせずに、自身が演奏する楽器２００に対して好適な収音位置を把握できる。さらに、利用者Ｕは、報知された収音位置に情報処理装置１００（収音装置１５）を設置することで、楽器２００の演奏音を好適な条件のもとで収音できる。 As explained above, in the fourth embodiment, the user U is notified of the sound collection position according to the type of musical instrument. Therefore, similarly to the first embodiment, the user U can grasp a suitable sound collection position for the musical instrument 200 that he/she plays without needing knowledge regarding the collection of performance sounds. Furthermore, the user U can collect the performance sound of the musical instrument 200 under suitable conditions by installing the information processing device 100 (sound collection device 15) at the notified sound collection position.
　第４実施形態においては、楽器２００の演奏音の特徴を表す特徴データＱが当該楽器２００の種類に対応する参照データＲに近付くように、収音位置が報知される。したがって、楽器２００について事前に想定された収音位置に限定されず、実際に利用者Ｕが楽器２００を演奏する環境のもとで演奏音を良好に収音可能な収音位置を、利用者Ｕに報知できる。 In the fourth embodiment, the sound collection position is notified so that the feature data Q representing the characteristics of the performance sound of the musical instrument 200 approaches the reference data R corresponding to the type of the musical instrument 200. Therefore, the user is not limited to the sound collection position assumed in advance for the musical instrument 200, but rather selects a sound collection position that can properly collect performance sounds under the environment in which the user U actually plays the musical instrument 200. Can notify U.
　第４実施形態においては特に、楽器種類の特定のための特徴データＱの抽出（Ｓb1）と、収音位置の報知のための特徴データＱの抽出（Ｓb3）とに音響信号Ａおよび特徴抽出部２４が共用される。したがって、音響信号Ａとは別個の案内データＧが収音位置の報知のために必要な第１実施形態と比較して、情報処理装置１００の構成および処理を簡素化できる。 In the fourth embodiment, in particular, the acoustic signal A and the feature extraction section 24 are shared. Therefore, the configuration and processing of the information processing device 100 can be simplified compared to the first embodiment in which the guide data G separate from the acoustic signal A is required to notify the sound collection position.
　なお、以上の説明においては、音響信号Ａの解析により楽器種類を特定する形態を例示したが、第４実施形態における楽器種類の特定（Ｓb2）には、第２実施形態または第３実施形態が適用されてもよい。すなわち、第４実施形態において、映像信号Ｖの解析により楽器種類を特定する構成（第２実施形態）、または、利用者Ｕからの指示に応じて楽器種類を特定する構成（第３実施形態）、が採用されてよい。 In the above description, the type of musical instrument is specified by analyzing the acoustic signal A, but the method according to the second embodiment or the third embodiment is used to identify the type of musical instrument (Sb2) in the fourth embodiment. may be applied. That is, in the fourth embodiment, there is a configuration in which the type of musical instrument is identified by analyzing the video signal V (second embodiment), or a configuration in which the type of musical instrument is identified in response to an instruction from the user U (third embodiment). , may be adopted.
Ｅ：第５実施形態
　第５実施形態における情報処理装置１００の機能的な構成は、第４実施形態（図９）と同様である。図１２は、第５実施形態における制御処理のフローチャートである。例えば操作装置１４に対する利用者Ｕからの指示を契機として、制御処理が開始される。制御処理の開始を指示すると、利用者Ｕは楽器２００を演奏する。 E: Fifth Embodiment The functional configuration of the information processing apparatus 100 in the fifth embodiment is the same as that in the fourth embodiment (FIG. 9). FIG. 12 is a flowchart of control processing in the fifth embodiment. For example, the control process is started in response to an instruction from the user U to the operating device 14. When the user U instructs to start the control process, the user U plays the musical instrument 200.
　制御処理が開始されると、制御装置１１（特徴抽出部２４）は、音響信号Ａから特徴データＱを生成する（Ｓc1）。制御装置１１（楽器特定部２１）は、特徴データＱを利用した楽器特定処理により楽器種類を特定する（Ｓc2）。すなわち、第５実施形態においても第１実施形態から第４実施形態と同様に、音響信号Ａの解析により楽器種類が特定される。 When the control process is started, the control device 11 (feature extraction unit 24) generates feature data Q from the acoustic signal A (Sc1). The control device 11 (musical instrument identifying unit 21) identifies the type of musical instrument through musical instrument identifying processing using the feature data Q (Sc2). That is, in the fifth embodiment as well, the type of musical instrument is identified by analyzing the acoustic signal A, similarly to the first to fourth embodiments.
　制御装置１１（報知制御部２２）は、第１処理を実行する（Ｓc3）。第１処理は、第１実施形態と同様に、記憶装置１２に記憶された特定案内データＧを利用して利用者Ｕに収音位置を報知する処理である。具体的には、第１処理は、特定案内データＧが表す図３の案内画像を表示装置１７に表示する処理（Ｓa2）と、当該特定案内データＧが表す案内音声を放音装置１８により再生する処理（Ｓa3）とを含む。すなわち、第１処理において、制御装置１１（報知制御部２２）は、記憶装置１２に記憶された複数の収音位置のうち、楽器特定処理により特定した楽器種類に対応する収音位置を利用者Ｕに報知する。 The control device 11 (notification control unit 22) executes the first process (Sc3). The first process is a process of notifying the user U of the sound collection position using the specific guidance data G stored in the storage device 12, as in the first embodiment. Specifically, the first process includes a process (Sa2) of displaying the guide image shown in FIG. (Sa3). That is, in the first process, the control device 11 (notification control unit 22) selects, from among the plurality of sound collection positions stored in the storage device 12, the sound collection position corresponding to the musical instrument type specified by the musical instrument identification process. Notify U.
　制御装置１１（報知制御部２２）は、第１処理の実行後に第２処理を実行する（Ｓc4）。第２処理は、第４実施形態と同様に、特徴データＱが特定参照データＲに近付くように利用者Ｕに収音位置を報知する処理である。具体的には、第２処理は、観測点Ｚqが参照点Ｚrに接近するまで特徴データＱの生成（Ｓb3）と案内画像の更新（Ｓb4）とを反復する動作と、観測点Ｚqと参照点Ｚrとの接近を利用者Ｕに報知する処理（Ｓb5，Ｓb6）とを含む。 The control device 11 (notification control unit 22) executes the second process after executing the first process (Sc4). The second process is a process of notifying the user U of the sound collection position so that the feature data Q approaches the specific reference data R, as in the fourth embodiment. Specifically, the second process includes repeating the generation of feature data Q (Sb3) and the updating of the guide image (Sb4) until the observation point Zq approaches the reference point Zr, and This includes a process (Sb5, Sb6) of notifying the user U of the approach with Zr.
　以上の手順により情報処理装置１００と楽器２００との位置関係が調整されると、制御装置１１（収録処理部２３）は、第１実施形態から第４実施形態と同様に、利用者Ｕによる収録の指示（Ｓc5）を契機として、動画コンテンツＣの生成（Ｓc6）および送信（Ｓc7）を実行する。 When the positional relationship between the information processing device 100 and the musical instrument 200 is adjusted through the above procedure, the control device 11 (recording processing unit 23) controls the recording by the user U, as in the first to fourth embodiments. In response to the instruction (Sc5), generation (Sc6) and transmission (Sc7) of video content C are executed.
　第５実施形態においても第１実施形態および第４実施形態と同様の効果が実現される。第５実施形態においては特に、第１処理（Ｓc3）において、記憶装置１２に事前に記憶された概略的な収音位置が利用者Ｕに報知され、第２処理（Ｓc4）において、特徴データＱが参照データＲに近付く具体的な収音位置が利用者Ｕに報知される。したがって、事前に記憶された概略的な収音位置のみが利用者Ｕに報知される第１実施形態と比較して、利用者Ｕが実際に楽器２００を演奏する環境のもとで演奏音を良好に収音可能な収音位置を、利用者Ｕに報知できる。また、情報処理装置１００と楽器２００との位置関係を、第１処理により概略的に調整してから、第２処理により演奏環境に応じて微調整できる。したがって、特徴データＱと参照データＲとが相互に近付く収音位置のみが利用者Ｕに報知される第４実施形態と比較して、情報処理装置１００と楽器２００とを適切な位置関係に調整する作業が容易化される。 The same effects as the first and fourth embodiments are achieved in the fifth embodiment as well. In the fifth embodiment, in particular, in the first process (Sc3), the user U is informed of the approximate sound collection position stored in advance in the storage device 12, and in the second process (Sc4), the feature data Q The user U is notified of a specific sound collection position where the sound source approaches the reference data R. Therefore, compared to the first embodiment in which only the general sound pickup position stored in advance is notified to the user U, the user U can hear the performance sound in an environment where the user U actually plays the musical instrument 200. The user U can be informed of a sound collection position where sound can be collected well. Further, after the positional relationship between the information processing device 100 and the musical instrument 200 is roughly adjusted by the first process, it can be finely adjusted according to the performance environment by the second process. Therefore, the information processing device 100 and the musical instrument 200 are adjusted to an appropriate positional relationship, compared to the fourth embodiment in which the user U is notified only of the sound collection positions where the feature data Q and the reference data R approach each other. This makes the work easier.
Ｆ：変形例
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。前述の実施形態および以下に例示する変形例から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。 F: Modifications Specific modifications added to each of the embodiments exemplified above will be exemplified below. A plurality of aspects arbitrarily selected from the above-described embodiment and the modified examples illustrated below may be combined as appropriate to the extent that they do not contradict each other.
（１）楽器種類に応じた収音位置を利用者Ｕに報知する方法は、以上の例示に限定されない。例えば、報知制御部２２は、音響信号Ａの解析により演奏音の音量（以下「観測音量」という）を算定し、観測音量が所定値に近付く（理想的には一致する）ように利用者Ｕに収音位置を報知しても良い。例えば、観測音量が所定値を下回る場合、報知制御部２２は、収音位置を楽器２００に近付けることを利用者Ｕに報知する。他方、観測音量が所定値を上回る場合、報知制御部２２は、収音位置を楽器２００から遠ざけることを利用者Ｕに報知する。 (1) The method of notifying the user U of the sound collection position according to the type of musical instrument is not limited to the above example. For example, the notification control unit 22 calculates the volume of the performance sound (hereinafter referred to as "observed volume") by analyzing the acoustic signal A, and sends the user U so that the observed volume approaches (ideally matches) a predetermined value. The sound collection position may be notified. For example, when the observed sound volume is below a predetermined value, the notification control unit 22 notifies the user U that the sound collection position will be moved closer to the musical instrument 200. On the other hand, when the observed sound volume exceeds the predetermined value, the notification control unit 22 notifies the user U to move the sound collection position away from the musical instrument 200.
（２）前述の各形態においては、１個の楽器２００が演奏される場面を想定したが、複数の楽器２００が演奏される場面にも、前述の各形態は適用される。複数の楽器２００の各々は、相異なる利用者Ｕにより演奏される。例えば、楽団の１個の演奏パートを構成する複数の利用者Ｕの各々が、ひとつの音響空間内において当該演奏パートの楽器２００を演奏する。以上の状況において、報知制御部２２は、複数の楽器２００に対する好適な収音位置を各利用者Ｕに報知する。具体的には、報知制御部２２は、各楽器２００の演奏音の特徴データＱが複数の楽器２００にわたり相互に近似する収音位置を、各利用者Ｕに報知する。例えば、各楽器２００の演奏音の音量または音色が複数の楽器２００にわたり相互に近似する収音位置が、利用者Ｕに報知される。したがって、利用者Ｕは、演奏音の収音に関する知識を必要とせずに、複数の楽器２００に対して好適な収音位置を把握できる。 (2) In each of the above embodiments, a scene in which one musical instrument 200 is played is assumed, but each of the above embodiments is also applicable to a scene in which a plurality of musical instruments 200 are played. Each of the plurality of musical instruments 200 is played by a different user U. For example, each of the plurality of users U who constitute one performance part of a band plays the musical instrument 200 of the performance part in one acoustic space. In the above situation, the notification control unit 22 notifies each user U of suitable sound collection positions for the plurality of musical instruments 200. Specifically, the notification control unit 22 notifies each user U of the sound collection positions where the characteristic data Q of the performance sounds of each musical instrument 200 are similar to each other across a plurality of musical instruments 200. For example, the user U is notified of sound collection positions where the volume or tone of the performance sound of each musical instrument 200 is similar to each other across a plurality of musical instruments 200. Therefore, the user U can grasp suitable sound collection positions for the plurality of musical instruments 200 without requiring knowledge regarding collection of performance sounds.
　例えば、楽器種類と楽器２００の個数との相異なる組合せに対応する複数の案内データＧが、記憶装置１２に記憶される。特定の楽器種類と特定の個数との組合せに対応する案内データＧは、当該楽器種類の楽器２００が当該個数だけ存在する環境において好適な収音位置を表す。利用者Ｕは、操作装置１４に対する操作で楽器２００の個数を入力可能である。報知制御部２２は、楽器特定部２１が特定した楽器種類と、利用者Ｕから指示された楽器２００の個数との組合せに対応する案内データＧ（特定案内データＧ）を記憶装置１２から取得し、当該案内データＧが表す収音位置を利用者Ｕに報知する。以上の構成によれば、複数の楽器２００が相互に並列に演奏される場面において、複数の楽器２００に対して総合的に好適な収音位置を、利用者Ｕに報知できる。 For example, a plurality of guide data G corresponding to different combinations of musical instrument types and the number of musical instruments 200 are stored in the storage device 12. The guide data G corresponding to a combination of a specific musical instrument type and a specific number represents a suitable sound collection position in an environment where the musical instruments 200 of the musical instrument type are present in the corresponding number. User U can input the number of musical instruments 200 by operating the operating device 14 . The notification control unit 22 acquires the guidance data G (specific guidance data G) corresponding to the combination of the musical instrument type identified by the musical instrument identification unit 21 and the number of musical instruments 200 instructed by the user U from the storage device 12. , informs the user U of the sound collection position represented by the guidance data G. According to the above configuration, in a scene where a plurality of musical instruments 200 are played in parallel, the user U can be informed of a comprehensively suitable sound collection position for the plurality of musical instruments 200.
（３）前述の各形態においては、１個の情報処理装置１００（収音装置１５）により楽器２００の演奏音を収音したが、相異なる位置に設置された複数の収音装置１５により楽器２００の演奏音を収音する場合にも、前述の各形態は適用される。具体的には、報知制御部２２は、楽器２００との関係が相違する複数の収音位置の各々を、第１実施形態から第４実施形態の方法により順次に利用者Ｕに報知する。 (3) In each of the above embodiments, the performance sound of the musical instrument 200 is collected by one information processing device 100 (sound collection device 15), but the sound of the musical instrument 200 is collected by a plurality of sound collection devices 15 installed at different positions. The above embodiments are also applied to the case where 200 performance sounds are collected. Specifically, the notification control unit 22 sequentially notifies the user U of each of a plurality of sound collection positions having different relationships with the musical instrument 200, using the methods of the first to fourth embodiments.
　例えば、楽器種類と位置関係との相異なる組合せに対応する複数の案内データＧが、記憶装置１２に記憶される。すなわち、ひとつの楽器種類について、相異なる位置関係に対応する複数の案内データＧが記憶される。例えば、楽器種類がピアノである場合、楽器２００の側方、上方および下方等の複数の位置関係の各々について案内データＧが記憶される。また、楽器種類が、相異なる複数のドラムで構成されるドラムセットである場合、バスドラムの近傍、ハイハットの近傍、およびスネアドラムの近傍、等の複数の位置関係の各々について案内データＧが記憶される。報知制御部２２は、複数の位置関係の各々について、楽器特定部２１が特定した楽器種類と、当該位置関係とに対応する案内データＧを記憶装置１２から取得し、当該案内データＧが表す収音位置を利用者Ｕに報知する。以上の構成によれば、楽器２００に対して相異なる複数の収音位置を利用者Ｕに報知できる。 For example, a plurality of guide data G corresponding to different combinations of musical instrument types and positional relationships are stored in the storage device 12. That is, for one type of musical instrument, a plurality of pieces of guide data G corresponding to different positional relationships are stored. For example, when the type of musical instrument is a piano, guide data G is stored for each of a plurality of positional relationships such as lateral, upper, and lower positions of the musical instrument 200. Additionally, if the type of instrument is a drum set consisting of multiple different drums, guide data G is stored for each of multiple positional relationships such as near the bass drum, near the hi-hat, and near the snare drum. be done. For each of the plurality of positional relationships, the notification control unit 22 acquires the instrument type specified by the musical instrument identification unit 21 and the guidance data G corresponding to the positional relationship from the storage device 12, and acquires the collection represented by the guidance data G. Notify the user U of the sound position. According to the above configuration, the user U can be informed of a plurality of different sound collection positions for the musical instrument 200.
（４）前述の各形態においては、情報処理装置１００に収音装置１５が搭載された形態を例示したが、情報処理装置１００とは別体の収音装置１５が有線または無線により情報処理装置１００に接続されてもよい。撮像装置１６についても同様に、情報処理装置１００とは別体の撮像装置１６が有線または無線により情報処理装置１００に接続されてもよい。 (4) In each of the above embodiments, the information processing device 100 is equipped with the sound collection device 15, but the sound collection device 15, which is separate from the information processing device 100, is connected to the information processing device by wire or wireless 100. Similarly, regarding the imaging device 16, the imaging device 16 separate from the information processing device 100 may be connected to the information processing device 100 by wire or wirelessly.
（５）前述の各形態においては、利用者Ｕが情報処理装置１００に対して楽器２００とともに移動する場合を例示したが、情報処理装置１００と楽器２００との位置関係を調整する方法は、以上の例示に限定されない。例えば、情報処理装置１００を利用者Ｕに対して移動することで、情報処理装置１００と楽器２００との位置関係を調整してもよい。 (5) In each of the above-mentioned embodiments, the case where the user U moves with the musical instrument 200 relative to the information processing device 100 was illustrated, but the method for adjusting the positional relationship between the information processing device 100 and the musical instrument 200 is as described above. The invention is not limited to this example. For example, by moving the information processing device 100 relative to the user U, the positional relationship between the information processing device 100 and the musical instrument 200 may be adjusted.
（６）前述の各形態においては、楽器２００の演奏音を収音する場合を例示したが、歌唱者による歌唱音を収音装置１５により収音する場合にも、前述の各形態が同様に適用される。楽器２００および歌唱者は、音楽的な音響を放射する発音源として包括的に表現される。また、前述の各形態において収音位置を利用者Ｕに報知する構成は、楽器２００および歌唱者に限定されない任意の発音源から放射される音響を収音する場合にも同様に適用される。 (6) In each of the above-mentioned embodiments, the case where the performance sound of the musical instrument 200 is collected is illustrated, but each of the above-mentioned embodiments also applies when the sound of a singer's singing is collected by the sound collection device 15. Applicable. The musical instrument 200 and the singer are collectively represented as sound sources that radiate musical sounds. Further, the configuration for notifying the user U of the sound collection position in each of the above-described embodiments is similarly applied to the case where sound emitted from any sound source not limited to the musical instrument 200 and the singer is collected.
（７）例えば、スマートフォンまたはタブレット端末等の端末装置との間で通信するサーバ装置により、前述の各形態における情報処理装置１００が実現されてもよい。収音装置１５および撮像装置１６は、端末装置に搭載または接続される。端末装置は、収音装置１５が生成する音響信号Ａと撮像装置１６が生成する映像信号Ｖとを情報処理装置１００に送信する。情報処理装置１００は、前述の各形態に例示した楽器特定部２１および報知制御部２２として機能し、楽器種類に対して好適な収音位置を報知するための報知データを端末装置に送信する。報知データは、例えば図３または図１０に例示した案内画像を端末装置に表示させる画像データである。 (7) For example, the information processing device 100 in each of the above embodiments may be realized by a server device that communicates with a terminal device such as a smartphone or a tablet terminal. The sound collection device 15 and the imaging device 16 are mounted on or connected to a terminal device. The terminal device transmits an acoustic signal A generated by the sound collection device 15 and a video signal V generated by the imaging device 16 to the information processing device 100. The information processing device 100 functions as the musical instrument specifying section 21 and the notification control section 22 illustrated in each of the above-described embodiments, and transmits notification data for notifying a suitable sound collection position for the type of musical instrument to the terminal device. The notification data is, for example, image data for displaying the guide image illustrated in FIG. 3 or FIG. 10 on the terminal device.
（８）前述の各形態に係る情報処理装置１００の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。 (8) As described above, the functions of the information processing device 100 according to each of the above embodiments are realized through cooperation between one or more processors that constitute the control device 11 and the programs stored in the storage device 12. . The programs exemplified above may be provided in a form stored in a computer-readable recording medium and installed on a computer. The recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but any known recording medium such as a semiconductor recording medium or a magnetic recording medium is used. Also included are recording media in the form of. Note that the non-transitory recording medium includes any recording medium excluding transitory, propagating signals, and does not exclude volatile recording media. Furthermore, in a configuration in which a distribution device distributes a program via a communication network, a recording medium that stores a program in the distribution device corresponds to the above-mentioned non-transitory recording medium.
Ｇ：付記
　以上に例示した形態から、例えば以下の構成が把握される。 G: Supplementary Note From the forms exemplified above, for example, the following configurations can be understood.
　本開示のひとつの態様（態様１）に係る情報処理方法は、楽器の種類を特定し、前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する。以上の態様においては、楽器の種類に応じた収音位置が利用者に報知される。したがって、利用者は、演奏音の収音に関する知識を必要とせずに、種々の楽器に対して好適な収音位置を把握できる。さらに、利用者は、報知された収音位置に収音装置を設置することで、楽器の演奏音を好適な条件のもとで収音できる。 An information processing method according to one aspect (aspect 1) of the present disclosure specifies the type of musical instrument, and selects a sound collection position corresponding to the identified type as a position where the performance sound of the musical instrument should be collected. to be notified. In the above aspect, the user is informed of the sound collection position according to the type of musical instrument. Therefore, the user can grasp suitable sound collection positions for various musical instruments without requiring any knowledge regarding collection of performance sounds. Furthermore, by installing the sound collection device at the notified sound collection position, the user can collect the sound of the musical instrument under suitable conditions.
　「楽器」は、演奏動作に応じた音波を空間に放射する自然楽器または電子楽器である。「楽器の種類」は、例えば楽器の性質または形態等に応じて楽器を分類した集合である。例えば管楽器、弦楽器、打楽器または鍵盤楽器等、発音の機序に応じた分類のほか、以上の分類をさらに細分化した分類が「楽器の種類」に包含される。例えば、管楽器については、金管楽器および木管楽器等の中位的な種類のほか、金管楽器に属する具体的な楽器の種類（例えばトランペット、トロンボーンまたはホルン）、木管楽器に属する具体的な楽器の種類（例えばクラリネット、サクソフォンまたはオーボエ）も、「楽器の種類」に包含される。弦楽器については、擦弦楽器および撥弦楽器等の中位的な種類のほか、擦弦楽器に属する具体的な楽器の種類（例えばバイオリン、チェロまたはコントラバス）、撥弦楽器に属する具体的な楽器の種類（例えばギター、ウクレレまたはマンドリン等）も、「楽器の種類」に包含される。鍵盤楽器に着目すると、例えばピアノ（打弦楽器）またはオルガン等の種類が「楽器の種類」に包含される。打楽器に着目すると、膜鳴楽器および体鳴楽器等の中位的な分類のほか、膜鳴楽器に属する具体的な楽器の種類（例えばドラム、太鼓またはティンパニ）、体鳴楽器に属する具体的な楽器の種類（例えばシンバルまたはトライアングル）が「楽器の種類」に包含される。 A "musical instrument" is a natural musical instrument or an electronic musical instrument that emits sound waves into space according to the performance movement. "Types of musical instruments" is a collection of musical instruments classified according to, for example, the nature or form of the musical instruments. For example, in addition to classifications according to the mechanism of pronunciation, such as wind instruments, string instruments, percussion instruments, or keyboard instruments, "types of musical instruments" include classifications that are further subdivided from the above classifications. For example, for wind instruments, there are intermediate types such as brass instruments and woodwind instruments, as well as specific types of instruments that belong to brass instruments (for example, trumpets, trombones, or horns), and specific types of instruments that belong to woodwinds. Types (eg, clarinet, saxophone, or oboe) are also included in "type of musical instrument." Regarding stringed instruments, there are intermediate types such as bowed string instruments and plucked string instruments, as well as specific types of instruments that belong to bowed string instruments (for example, violins, cellos, or double basses), and specific types of instruments that belong to plucked string instruments (for example, violins, cellos, or double basses). For example, guitar, ukulele, mandolin, etc.) are also included in the "type of musical instrument." When focusing on keyboard instruments, types such as pianos (string instruments) and organs are included in the "types of musical instruments", for example. Focusing on percussion instruments, in addition to intermediate classifications such as membranous instruments and somatic instruments, there are also specific types of instruments that belong to membranous instruments (for example, drums, drums, or timpani), and specific types that belong to somatic instruments. The type of musical instrument (for example, cymbal or triangle) is included in the "type of musical instrument".
　「収音位置」は、楽器の演奏音を収音するために好適な位置を意味する。演奏音の収音に好適な収音位置は楽器の種類に応じて相違する。すなわち、「楽器の種類に応じた収音位置」は、当該種類に属する楽器の演奏音を収音するために好適な位置である。したがって、楽器の種類が相違すれば収音位置も相違する。例えば、第１種類の楽器に対応する収音位置と第２種類の楽器に対応する収音位置とは相違する。 "Sound collection position" means a suitable position for collecting the sound of a musical instrument. A suitable sound collection position for collecting performance sounds differs depending on the type of musical instrument. That is, the "sound collection position according to the type of musical instrument" is a suitable position for collecting the performance sound of the musical instrument belonging to the relevant type. Therefore, if the type of musical instrument is different, the sound pickup position will also be different. For example, the sound collection position corresponding to the first type of musical instrument is different from the sound collection position corresponding to the second type of musical instrument.
　「報知」は、利用者が認識できる態様で収音位置を出力することを意味する。例えば、案内画像の表示により収音位置を利用者に報知する形態、または案内音声の再生により収音位置を利用者に報知する形態が想定される。また、例えば案内画像の印刷により収音位置が利用者に報知されてもよい。 "Notification" means outputting the sound collection position in a manner that the user can recognize. For example, it is possible to notify the user of the sound collection position by displaying a guide image, or to notify the user of the sound collection position by playing a guidance voice. Furthermore, the user may be notified of the sound collection position, for example, by printing a guide image.
　態様１の具体例（態様２）において、前記種類の特定においては、前記楽器の演奏音の収音により収音装置が生成した音響信号を解析することで、前記楽器の種類を特定する。以上の態様においては、収音装置が生成する音響信号の解析により楽器の種類が特定される。したがって、利用者が楽器の種類を指示する手間を削減できる。また、例えば充分な光量が存在しない環境等、映像信号からは楽器の種類を高精度に特定できない環境でも、楽器の種類を特定できる。 In the specific example of Aspect 1 (Aspect 2), in identifying the type, the type of the musical instrument is identified by analyzing an acoustic signal generated by a sound collection device by collecting the performance sound of the musical instrument. In the above embodiment, the type of musical instrument is identified by analyzing the acoustic signal generated by the sound pickup device. Therefore, the effort required by the user to specify the type of musical instrument can be reduced. Furthermore, the type of musical instrument can be identified even in an environment where the type of musical instrument cannot be identified with high precision from the video signal, such as an environment where there is not a sufficient amount of light.
　音響信号の解析により楽器の種類を特定する処理には公知の技術が任意に採用される。例えば、音響信号の特徴を表す特徴データを、相異なる楽器の種類に対応する複数の参照データの各々に照合し、当該特徴データに類似する参照データに対応する楽器の種類が特定される。 Known techniques may be arbitrarily adopted for the process of identifying the type of musical instrument by analyzing the acoustic signal. For example, feature data representing the features of the acoustic signal is compared with each of a plurality of reference data corresponding to different types of musical instruments, and the type of musical instrument corresponding to the reference data similar to the feature data is identified.
　態様１または態様２の具体例（態様３）において、前記種類の特定においては、前記楽器の撮像により撮像装置が生成した映像信号を解析することで、前記楽器の種類を特定する。以上の態様においては、撮像装置が生成する映像信号の解析により楽器の種類が特定される。したがって、利用者が楽器の種類を指示する手間を削減できる。また、例えば雑音が存在する環境等、音響信号からは楽器の種類を高精度に特定できない環境でも、楽器の種類を特定できる。 In a specific example of aspect 1 or aspect 2 (aspect 3), in identifying the type, the type of the musical instrument is identified by analyzing a video signal generated by an imaging device by imaging the musical instrument. In the above embodiment, the type of musical instrument is identified by analyzing the video signal generated by the imaging device. Therefore, the effort required by the user to specify the type of musical instrument can be reduced. Further, the type of musical instrument can be identified even in an environment where the type of musical instrument cannot be identified with high precision from the acoustic signal, such as an environment where there is noise.
　映像信号の解析により楽器の種類を特定する処理には公知の技術が任意に採用される。例えば、映像信号と楽器の種類との関係を学習した物体検出用の学習済モデルが、楽器の種類の特定に利用される。 A known technique is arbitrarily adopted for the process of identifying the type of musical instrument by analyzing the video signal. For example, a trained model for object detection that has learned the relationship between a video signal and the type of musical instrument is used to identify the type of musical instrument.
　態様１から態様３の何れかの具体例（態様４）において、前記種類の特定においては、前記利用者からの指示に応じて前記楽器の種類を特定する。以上の態様においては、利用者からの指示に応じて楽器の種類が特定されるから、音響信号または映像信号からは楽器の種類を高精度に特定できない環境でも、楽器の種類を特定できる。 In a specific example of any one of aspects 1 to 3 (aspect 4), in specifying the type, the type of the musical instrument is specified according to an instruction from the user. In the above aspect, since the type of musical instrument is specified according to an instruction from the user, the type of musical instrument can be specified even in an environment where the type of musical instrument cannot be specified with high precision from an audio signal or a video signal.
　「利用者からの指示」は、例えば当該利用者が収音対象として想定する楽器の種類を、事前に用意された複数の候補から選択する指示である。例えば操作装置に対する操作が利用者による指示として受付けられる。 The "instruction from the user" is, for example, an instruction for the user to select the type of musical instrument that the user envisions as the target of sound collection from a plurality of candidates prepared in advance. For example, an operation on an operating device is accepted as an instruction from a user.
　態様１から態様４の何れかの具体例（態様５）において、前記収音位置の報知においては、楽器の相異なる種類について収音位置を案内する複数の案内画像のうち、前記特定した種類に対応する案内画像を表示装置に表示する。以上の態様においては、収音対象として想定される楽器に対して好適な収音位置を、利用者が視覚的に確認できる。 In a specific example of any one of Aspects 1 to 4 (Aspect 5), in notifying the sound collection position, one of a plurality of guide images for guiding the sound collection position for different types of musical instruments is selected based on the identified type. A corresponding guide image is displayed on the display device. In the above aspect, the user can visually confirm a suitable sound collection position for a musical instrument assumed to be a sound collection target.
　態様１から態様５の何れかの具体例（態様６）において、前記収音位置の報知においては、楽器の相異なる種類について収音位置を案内する複数の案内音声のうち、前記特定した種類に対応する案内音声を放音装置により放射する。以上の態様においては、収音対象として想定される楽器に対して好適な収音位置を、利用者が聴覚的に確認できる。 In a specific example of any one of Aspects 1 to 5 (Aspect 6), in notifying the sound collection position, one of a plurality of guidance voices that guide the sound collection position for different types of musical instruments is selected according to the specified type. A corresponding guidance sound is emitted by a sound emitting device. In the above aspect, the user can aurally confirm a suitable sound collection position for a musical instrument assumed to be a sound collection target.
　態様１から態様６の何れかの具体例（態様７）において、前記楽器の演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データを生成し、前記収音位置の報知においては、楽器の相異なる種類に対応する複数の参照データのうち前記特定した種類に対応する参照データに、前記特徴データが近付くように、前記収音位置を前記利用者に報知する。以上の態様においては、楽器の演奏音の特徴を表す特徴データが当該楽器の種類に対応する参照データに近付くように、収音位置が報知される。したがって、楽器について事前に想定された収音位置に限定されず、利用者が実際に楽器を演奏する環境のもとで演奏音を良好に収音可能な収音位置を、利用者に報知できる。 In a specific example of any one of aspects 1 to 6 (aspect 7), feature data representing acoustic characteristics of an acoustic signal generated by a sound collection device by collecting the performance sound of the musical instrument is generated, In notifying the position, the sound collection position is notified to the user so that the characteristic data approaches reference data corresponding to the identified type among a plurality of reference data corresponding to different types of musical instruments. . In the above aspect, the sound collection position is notified so that the feature data representing the characteristics of the sound played by the musical instrument approaches the reference data corresponding to the type of musical instrument. Therefore, the user is not limited to the sound collection position assumed in advance for the musical instrument, but can inform the user of the sound collection position where the performance sound can be well captured in the environment in which the user actually plays the instrument. .
　「特徴データ」および「参照データ」は、演奏音の音響的な特徴を表す情報である。例えば、演奏音の音量または音色を表す特徴量が、「特徴データ」および「参照データ」として利用される。すなわち、例えば特徴データが表す音量と参照データが表す音量とを相互に近付けるという条件によれば、楽器の演奏音を適切な音量で収音可能な収音位置を利用者に報知できる。また、例えば特徴データが表す音色と参照データが表す音色とを相互に近付けるという条件によれば、楽器の演奏音を適切な音色で収音可能な収音位置を利用者に報知できる。音色を表す特徴量としては、例えば周波数スペクトル包絡またはメルスペクトル等が例示される。 "Feature data" and "reference data" are information representing acoustic characteristics of performance sounds. For example, feature amounts representing the volume or timbre of performance sounds are used as "feature data" and "reference data." That is, for example, under the condition that the volume represented by the feature data and the volume represented by the reference data are brought close to each other, it is possible to notify the user of a sound collection position where the sound of a musical instrument can be collected at an appropriate volume. Further, for example, according to the condition that the timbre represented by the feature data and the timbre represented by the reference data are brought close to each other, it is possible to inform the user of a sound collection position where the sound of the musical instrument can be collected with an appropriate timbre. Examples of the feature amount representing the timbre include a frequency spectrum envelope or a mel spectrum.
　態様７の具体例（態様８）において、前記種類の特定においては、前記音響信号の解析により前記楽器の種類を特定する。以上の態様においては、楽器種類の特定と収音位置の報知のための特徴データの生成とに、音響信号が共用される。したがって、音響信号とは別個のデータが収音位置の報知のために必要な形態と比較して、構成および処理を簡素化できる。 In a specific example of Aspect 7 (Aspect 8), in identifying the type, the type of musical instrument is identified by analyzing the acoustic signal. In the above embodiment, the acoustic signal is commonly used to identify the type of musical instrument and to generate characteristic data for reporting the sound collection position. Therefore, the configuration and processing can be simplified compared to a format in which data separate from the acoustic signal is required to notify the sound collection position.
　なお、楽器の種類の特定には、例えば音響信号から抽出される特徴データが利用される。例えば、楽器の相異なる種類に対応する複数の参照データのうち、特徴データに最も類似する参照データに対応する種類が特定される。以上の態様においては、音響信号から特徴データを生成する構成および処理が、楽器の種類の特定と収音位置の報知とに共用される。 Note that, for example, feature data extracted from the acoustic signal is used to identify the type of musical instrument. For example, among a plurality of reference data corresponding to different types of musical instruments, the type corresponding to the reference data most similar to the feature data is specified. In the above aspect, the configuration and processing for generating feature data from an acoustic signal are shared for identifying the type of musical instrument and notifying the sound collection position.
　態様７または態様８の具体例（態様９）において、前記特徴データは、第１特徴量の第１観測値と第２特徴量の第２観測値とを含み、前記参照データは、前記第１特徴量の第１参照値と前記第２特徴量の第２参照値とを含み、前記収音位置の報知においては、前記第１特徴量を表す第１軸と前記第２特徴量を表す第２軸とが設定された案内画像を表示装置に表示し、前記第１観測値と前記第２観測値とに対応する観測点と、前記第１参照値と前記第２参照値とに対応する参照点とを、前記案内画像に表示する。以上の態様において、利用者は、観測点が参照点に近付くように楽器を演奏しながら移動することで、好適な収音位置に移動できる。 In a specific example of aspect 7 or aspect 8 (aspect 9), the feature data includes a first observed value of the first feature amount and a second observed value of the second feature amount, and the reference data includes the first observed value of the first feature amount and the second observed value of the second feature amount. A first reference value of the feature quantity and a second reference value of the second feature quantity are included. displaying a guide image in which two axes are set on a display device, and an observation point corresponding to the first observation value and the second observation value, and a guide image corresponding to the first reference value and the second reference value. The reference point is displayed on the guide image. In the above aspect, the user can move to a suitable sound collection position by moving while playing the musical instrument so that the observation point approaches the reference point.
　態様１から態様６の何れかの具体例（態様１０）において、前記楽器の演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データを生成し、前記収音位置の報知は、第１処理と第２処理とを含み、前記第１処理においては、楽器の相異なる種類について記憶装置に記憶された複数の収音位置のうち、前記特定した種類に対応する収音位置を前記利用者に報知し、前記第２処理においては、楽器の相異なる種類に対応する複数の参照データのうち前記特定した種類に対応する参照データに、前記特徴データが近付くように、収音位置を報知する。以上の態様においては、第１処理において、記憶装置に事前に記憶された概略的な収音位置が利用者に報知され、第２処理において、特徴データが参照データに近付く具体的な収音位置が利用者に報知される。したがって、事前に記憶された概略的な収音位置のみが利用者に報知される形態と比較して、利用者が実際に楽器を演奏する環境のもとで演奏音を良好に収音可能な収音位置を、利用者に報知できる。また、楽器と情報処理装置との位置関係を、第１処理により概略的に調整してから、第２処理により演奏環境に応じて微調整できる。したがって、特徴データと参照データとが相互に近付く収音位置のみが利用者に報知される形態と比較して、楽器と情報処理装置とを適切な位置関係に調整する作業が容易化される。 In a specific example of any one of aspects 1 to 6 (aspect 10), feature data representing acoustic characteristics of an acoustic signal generated by a sound collection device by collecting the performance sound of the musical instrument is generated, The position notification includes a first process and a second process, and in the first process, a position corresponding to the specified type is selected from among a plurality of sound collection positions stored in the storage device for different types of musical instruments. The user is notified of the sound collection position, and in the second process, the characteristic data is made to approach reference data corresponding to the identified type among a plurality of reference data corresponding to different types of musical instruments. , notifies the sound collection position. In the above aspect, in the first process, the user is informed of the general sound collection position stored in advance in the storage device, and in the second process, the specific sound collection position where the feature data approaches the reference data is notified to the user. will be notified to the user. Therefore, compared to a system in which only the general sound collection position stored in advance is notified to the user, it is possible to better capture the performance sound in the environment where the user actually plays the instrument. The user can be notified of the sound collection position. Further, after the positional relationship between the musical instrument and the information processing device is roughly adjusted by the first process, it can be finely adjusted according to the performance environment by the second process. Therefore, compared to a configuration in which the user is notified of only the sound collection position where the feature data and the reference data are close to each other, it is easier to adjust the musical instrument and the information processing device to an appropriate positional relationship.
　態様１から態様１０の何れかの具体例（態様１１）において、前記収音位置の報知においては、前記楽器を含む複数の楽器に対する収音位置を報知する。以上の態様においては、複数の楽器に対する収音位置が利用者に報知される。したがって、利用者は、演奏音の収音に関する知識を必要とせずに、複数の楽器に対して好適な収音位置を把握できる。したがって、例えばひとつの演奏パートに属する同種の複数の楽器が並列に演奏される環境について、利用者は適切な収音位置を把握できる。 In a specific example of any one of aspects 1 to 10 (aspect 11), in notifying the sound collection position, sound collection positions for a plurality of musical instruments including the musical instrument are reported. In the above aspect, the user is informed of the sound collection positions for a plurality of musical instruments. Therefore, the user can grasp suitable sound collection positions for a plurality of musical instruments without requiring any knowledge regarding collection of performance sounds. Therefore, for example, in an environment where a plurality of instruments of the same type belonging to one performance part are played in parallel, the user can grasp the appropriate sound collection position.
　態様１１の具体例（態様１２）において、前記収音位置の報知においては、演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データが前記複数の楽器について相互に近似する収音位置を、前記利用者に報知する。以上の態様によれば、複数の楽器にとって総合的に好適な収音位置を利用者に報知できる。 In a specific example of aspect 11 (aspect 12), in notifying the sound collection position, feature data representing the acoustic characteristics of the acoustic signal generated by the sound collection device by collecting the performance sounds is mutually transmitted for the plurality of musical instruments. The user is notified of a sound collection position that is close to . According to the above aspect, it is possible to notify the user of a comprehensively suitable sound collection position for a plurality of musical instruments.
　本開示のひとつの態様（態様１３）に係る情報処理装置は、楽器の種類を特定する楽器特定部と、前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する報知制御部とを具備する。以上の態様においては、楽器の種類に応じた収音位置が利用者に報知される。したがって、利用者は、演奏音の収音に関する知識を必要とせずに、種々の楽器に対して好適な収音位置を把握できる。さらに、利用者は、報知された収音位置に収音装置を設置することで、楽器の演奏音を好適な条件のもとで収音できる。 An information processing device according to one aspect (aspect 13) of the present disclosure includes an instrument identifying unit that identifies the type of musical instrument, and a position where the performance sound of the musical instrument is to be collected, and a sound collection according to the identified type. and a notification control unit that notifies the user of the location. In the above aspect, the user is informed of the sound collection position according to the type of musical instrument. Therefore, the user can grasp suitable sound collection positions for various musical instruments without requiring any knowledge regarding collection of performance sounds. Furthermore, by installing the sound collection device at the notified sound collection position, the user can collect the sound of the musical instrument under suitable conditions.
　態様１３の具体例（態様１４）において、前記楽器の演奏音を収音する収音装置を具備し、当該情報処理装置は、前記収音位置に移動可能な可搬型の装置である。以上の態様においては、演奏音を収音する収音装置が楽器特定部および報知制御部とともに可搬型の情報処理装置に搭載される。したがって、利用者は、報知制御部により報知される収音位置を確認しながら情報処理装置を当該収音位置に移動する簡便な作業により、当該収音装置を利用した演奏音の収音を実現できる。 In a specific example of aspect 13 (aspect 14), the information processing device is a portable device that is equipped with a sound collection device that collects the sound of the musical instrument, and that is movable to the sound collection position. In the above aspect, a sound collection device that collects performance sounds is installed in a portable information processing device together with the musical instrument identification section and the notification control section. Therefore, the user can collect performance sounds using the sound collection device by simply moving the information processing device to the sound collection position while checking the sound collection position notified by the notification control unit. can.
　態様１４の具体例（態様１５）において、前記楽器の撮像により映像信号を生成する撮像装置を具備し、前記楽器特定部は、前記映像信号の解析により前記楽器の種類を特定する。以上の態様においては、楽器を撮像する撮像装置が、演奏音を収音する収音装置と楽器特定部および報知制御部とともに情報処理装置に搭載される。したがって、利用者は、情報処理装置の撮像装置により楽器を撮像してから当該情報処理装置を収音位置に移動する簡便な作業により、演奏音の収音を実現できる。 In a specific example of aspect 14 (aspect 15), the instrument includes an imaging device that generates a video signal by capturing an image of the musical instrument, and the musical instrument identifying section identifies the type of the musical instrument by analyzing the video signal. In the above aspect, an imaging device that captures an image of a musical instrument is installed in the information processing device along with a sound pickup device that captures performance sounds, a musical instrument identification section, and a notification control section. Therefore, the user can collect performance sounds by simply taking an image of the musical instrument using the imaging device of the information processing device and then moving the information processing device to the sound collection position.
　本開示のひとつの態様（態様１６）に係るプログラムは、楽器の種類を特定する楽器特定部、および、前記特定した種類に応じた収音位置を利用者に報知する報知制御部、としてコンピュータを機能させる。 A program according to one aspect (aspect 16) of the present disclosure uses a computer as an instrument specifying section that specifies the type of musical instrument, and a notification control section that notifies the user of a sound collection position according to the specified type. Make it work.
１００…情報処理装置、２００…楽器、３００…通信網、４００…配信システム、１１…制御装置、１２…記憶装置、１３…通信装置、１４…操作装置、１５…収音装置、１６…撮像装置、１７…表示装置、１８…放音装置、２１…楽器特定部、２２…報知制御部、２３…収録処理部、２４…特徴抽出部。 100... Information processing device, 200... Musical instrument, 300... Communication network, 400... Distribution system, 11... Control device, 12... Storage device, 13... Communication device, 14... Operating device, 15... Sound collection device, 16... Imaging device , 17...Display device, 18...Sound emitting device, 21...Musical instrument identification section, 22...Notification control section, 23...Recording processing section, 24...Feature extraction section.

Claims (16)

  1. 　楽器の種類を特定し、
    　前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する
    　コンピュータにより実現される情報処理方法。     Identify the type of instrument,
    An information processing method implemented by a computer that notifies a user of a sound collection position corresponding to the identified type as a position where the performance sound of the musical instrument should be collected.
  2. 　前記種類の特定においては、
    　前記楽器の演奏音の収音により収音装置が生成した音響信号を解析することで、前記楽器の種類を特定する
    　請求項１の情報処理方法。     In specifying the above type,
    The information processing method according to claim 1, wherein the type of the musical instrument is identified by analyzing an acoustic signal generated by a sound collection device by collecting the performance sound of the musical instrument.
  3. 　前記種類の特定においては、
    　前記楽器の撮像により撮像装置が生成した映像信号を解析することで、前記楽器の種類を特定する
    　請求項１の情報処理方法。     In specifying the above type,
    The information processing method according to claim 1, wherein the type of the musical instrument is identified by analyzing a video signal generated by an imaging device by imaging the musical instrument.
  4. 　前記種類の特定においては、
    　前記利用者からの指示に応じて前記楽器の種類を特定する
    　請求項１の情報処理方法。     In specifying the above type,
    The information processing method according to claim 1, further comprising specifying the type of the musical instrument according to an instruction from the user.
  5. 　前記収音位置の報知においては、
    　楽器の相異なる種類について収音位置を案内する複数の案内画像のうち、前記特定した種類に対応する案内画像を表示装置に表示する
    　請求項１から請求項４の何れかの情報処理方法。     In notifying the sound collection position,
    The information processing method according to any one of claims 1 to 4, wherein a guide image corresponding to the identified type is displayed on a display device among a plurality of guide images that guide sound collection positions for different types of musical instruments.
  6. 　前記収音位置の報知においては、
    　楽器の相異なる種類について収音位置を案内する複数の案内音声のうち、前記特定した種類に対応する案内音声を放音装置により放射する
    　請求項１から請求項４の何れかの情報処理方法。     In notifying the sound collection position,
    The information processing method according to any one of claims 1 to 4, wherein a sound emitting device emits a guidance sound corresponding to the identified type among a plurality of guidance sounds guiding sound collection positions for different types of musical instruments.
  7. 　さらに、前記楽器の演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データを生成し、
    　前記収音位置の報知においては、楽器の相異なる種類に対応する複数の参照データのうち前記特定した種類に対応する参照データに、前記特徴データが近付くように、前記収音位置を前記利用者に報知する
    　請求項１の情報処理方法。     Further, generating feature data representing the acoustic characteristics of the acoustic signal generated by the sound collecting device by collecting the performance sound of the musical instrument,
    In notifying the sound collection position, the sound collection position is set by the user so that the characteristic data approaches the reference data corresponding to the specified type among the plurality of reference data corresponding to different types of musical instruments. The information processing method according to claim 1.
  8. 　前記種類の特定においては、
    　前記音響信号の解析により前記楽器の種類を特定する
    　請求項７の情報処理方法。     In specifying the above type,
    The information processing method according to claim 7, wherein the type of the musical instrument is identified by analyzing the acoustic signal.
  9. 　前記特徴データは、第１特徴量の第１観測値と第２特徴量の第２観測値とを含み、
    　前記参照データは、前記第１特徴量の第１参照値と前記第２特徴量の第２参照値とを含み、
    　前記収音位置の報知においては、
    　前記第１特徴量を表す第１軸と前記第２特徴量を表す第２軸とが設定された案内画像を表示装置に表示し、前記第１観測値と前記第２観測値とに対応する観測点と、前記第１参照値と前記第２参照値とに対応する参照点とを、前記案内画像に表示する
    　請求項７または請求項８の情報処理方法。     The feature data includes a first observed value of a first feature amount and a second observed value of a second feature amount,
    The reference data includes a first reference value of the first feature amount and a second reference value of the second feature amount,
    In notifying the sound collection position,
    Displaying a guide image on a display device in which a first axis representing the first feature amount and a second axis representing the second feature amount are set, and the guide image corresponds to the first observation value and the second observation value. The information processing method according to claim 7 or 8, wherein an observation point and a reference point corresponding to the first reference value and the second reference value are displayed on the guide image.
  10. 　さらに、前記楽器の演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データを生成し、
    　前記収音位置の報知は、第１処理と第２処理とを含み、
    　前記第１処理においては、楽器の相異なる種類について記憶装置に記憶された複数の収音位置のうち、前記特定した種類に対応する収音位置を前記利用者に報知し、
    　前記第２処理においては、
    　楽器の相異なる種類に対応する複数の参照データのうち前記特定した種類に対応する参照データに、前記特徴データが近付くように、収音位置を前記利用者に報知する
    　請求項１の情報処理方法。     Further, generating feature data representing the acoustic characteristics of the acoustic signal generated by the sound collecting device by collecting the performance sound of the musical instrument,
    The notification of the sound collection position includes a first process and a second process,
    In the first process, the user is notified of a sound collection position corresponding to the identified type among a plurality of sound collection positions stored in a storage device for different types of musical instruments;
    In the second process,
    The information processing method according to claim 1, further comprising notifying the user of the sound collection position so that the feature data approaches the reference data corresponding to the identified type among a plurality of reference data corresponding to different types of musical instruments. .
  11. 　前記収音位置の報知においては、
    　前記楽器を含む複数の楽器に対する収音位置を報知する
    　請求項１の情報処理方法。     In notifying the sound collection position,
    The information processing method according to claim 1, further comprising notifying sound collection positions for a plurality of musical instruments including the musical instrument.
  12. 　前記収音位置の報知においては、
    　演奏音の収音により収音装置が生成した音響信号の音響的な特徴を表す特徴データが前記複数の楽器について相互に近似する収音位置を、前記利用者に報知する
    　請求項１１の情報処理方法。     In notifying the sound collection position,
    Information processing according to claim 11, wherein the user is informed of sound collection positions where feature data representing the acoustic characteristics of the sound signal generated by the sound collection device by collecting performance sounds are mutually approximate for the plurality of musical instruments. Method.
  13. 　楽器の種類を特定する楽器特定部と、
    　前記楽器の演奏音を収音すべき位置として、前記特定した種類に応じた収音位置を利用者に報知する報知制御部と
    　を具備する情報処理装置。     an instrument identification section that identifies the type of instrument;
    An information processing device comprising: a notification control unit that notifies a user of a sound collection position corresponding to the specified type as a position where the performance sound of the musical instrument should be collected.
  14. 　前記楽器の演奏音を収音する収音装置を具備し、
    　当該情報処理装置は、前記収音位置に移動可能な可搬型の装置である
    　請求項１３の情報処理装置。     comprising a sound collection device that collects the sound of the musical instrument,
    The information processing device according to claim 13, wherein the information processing device is a portable device that can be moved to the sound collection position.
  15. 　前記楽器の撮像により映像信号を生成する撮像装置を具備し、
    　前記楽器特定部は、前記映像信号の解析により前記楽器の種類を特定する
    　請求項１４の情報処理装置。     comprising an imaging device that generates a video signal by imaging the musical instrument,
    The information processing apparatus according to claim 14, wherein the musical instrument identifying section identifies the type of the musical instrument by analyzing the video signal.
  16. 　楽器の種類を特定する楽器特定部、および、
    　前記特定した種類に応じた収音位置を利用者に報知する報知制御部、
    　としてコンピュータを機能させるプログラム。     an instrument identification section that identifies the type of instrument; and
    a notification control unit that notifies the user of a sound collection position according to the identified type;
    A program that makes a computer function as
PCT/JP2023/013784 2022-04-14 2023-04-03 Information processing method, information processing device, and program WO2023199772A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-066830 2022-04-14
JP2022066830A JP2023157132A (en) 2022-04-14 2022-04-14 Information processing method, information processing device, and program

Publications (1)

Publication Number Publication Date
WO2023199772A1 true WO2023199772A1 (en) 2023-10-19

Family

ID=88329555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013784 WO2023199772A1 (en) 2022-04-14 2023-04-03 Information processing method, information processing device, and program

Country Status (2)

Country Link
JP (1) JP2023157132A (en)
WO (1) WO2023199772A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276592A (en) * 1992-03-30 1993-10-22 Yamaha Corp Recording and reproducing device
JP2017068125A (en) * 2015-09-30 2017-04-06 ヤマハ株式会社 Musical instrument identifying device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05276592A (en) * 1992-03-30 1993-10-22 Yamaha Corp Recording and reproducing device
JP2017068125A (en) * 2015-09-30 2017-04-06 ヤマハ株式会社 Musical instrument identifying device

Also Published As

Publication number Publication date
JP2023157132A (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US5142961A (en) Method and apparatus for stimulation of acoustic musical instruments
US9460695B2 (en) Synthesizer with bi-directional transmission
JP6063936B2 (en) System for video recording and recording of music organizations
US10418012B2 (en) Techniques for dynamic music performance and related systems and methods
Meneses et al. GuitarAMI and GuiaRT: two independent yet complementary augmented nylon guitar projects
JP6657713B2 (en) Sound processing device and sound processing method
WO2023199772A1 (en) Information processing method, information processing device, and program
JP2021128297A (en) Estimation model construction method, performance analysis method, estimation model construction device, performance analysis device, and program
WO2020158891A1 (en) Sound signal synthesis method and neural network training method
JP5400241B1 (en) Resonance enhancing device and musical instrument
US20240054982A1 (en) System and method for analyzing audio signals
JP6582517B2 (en) Control device and program
WO2022172732A1 (en) Information processing system, electronic musical instrument, information processing method, and machine learning system
Azizol Sonic Exploration of Alto Recorder for Nadi Bumi: Applied Research in Contemporary Classical Music Composition
WO2023181570A1 (en) Information processing method, information processing system, and program
US20230005460A1 (en) Signal processing apparatus, signal processing method, program, signal processing system, and encoding apparatus
Bruce Feedback Saxophone: Expanding the Microphonic Process in Post-Digital Research-Creation
US20180286363A1 (en) Systems and methods for recording and transcribing music
Rudman The Study of Bassoon Performance in the Recorded Medium
Torres et al. Multiphonics as a compositional element in writing for amplified guitar (1)
JP2023020577A (en) masking device
CN116805480A (en) Sound equipment and parameter output method thereof
Watts Adhocracies, for Chamber Orchestra with Dual Soprano Soloists
Dine Recording the Classical Tuba
JP2023044833A (en) Music instrument

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788192

Country of ref document: EP

Kind code of ref document: A1