JP6119422B2 - 情報処理装置及び楽器 - Google Patents

Description

本発明は、楽器の状態に関する情報を通知する技術に関する。

楽器を調律するために必要な情報を収集して、その楽器の調律の要否を報知する技術がある（例えば特許文献１）。特許文献１に記載の調律装置は、複数の音高のそれぞれに対応したメモリを有し、収録モード時には、選択した音高（音名）の楽器音信号を楽器に入力して、その音高情報を対応するメモリに書き込み、調律モード時には、選択した音高についての音高情報をメモリから読み出して、基準となる音高情報との比較結果を報知する。

特開平５−１８８１１号公報

特許文献１に記載の調律装置は、演奏者により楽器の演奏が行われていないときに、楽器を調律するために必要な情報を収集するものである。具体的には、この調律装置は、収録モード時に、楽器の調律を行う者によって、各音高の楽器音を出力させるための操作が行われると、その楽器音を発生させて音高情報を収集する。このため、楽器の調律を行う者にとっては、音高情報を収集させるために調律時専用の操作をしなければならないという手間がある。
これに対し、本発明の目的は、楽器で行われた演奏操作に係る情報に基づいて、その楽器の状態を通知できるようにすることである。

上述した課題を解決するため、本発明の情報処理装置は、演奏操作を受け付ける演奏操作子と、前記演奏操作子が受け付けた演奏操作に応じて発音する発音体と、前記受け付けた演奏操作を示す演奏情報を生成する演奏情報生成部とを有する楽器における、前記発音体の発音状態を示す検出データと、当該発音の基となった前記演奏情報とをそれぞれ収集する収集部と、前記演奏情報生成部により生成された演奏情報によって、単音による発音が行われていると判断された前記検出データと前記演奏情報とに基づいて、前記楽器の状態を通知するための通知情報を生成する通知情報生成部とを備えることを特徴とする。

本発明の情報処理装置において、前記通知情報生成部は、前記単音の直前の楽音を発音させるための前記演奏操作の終了時点から、所定時間が経過した後の当該単音の発音状態を示す検出データに基づいて、前記通知情報を生成するようにしてもよい。

本発明の情報処理装置において、前記楽器は、前記発音体による発音の終了を指示する第１の演奏操作後の残響に影響を与える、第２の演奏操作を受け付ける演奏操作子を有し、前記通知情報生成部は、前記第２の演奏操作を受け付けていないときの前記発音状態を示す検出データに基づいて、前記通知情報を生成するようにしてもよい。

本発明の情報処理装置において、前記単音の発音状態を示す検出データの収集結果に基づいて、特定の単音を発生させるための前記演奏操作を行うように前記楽器の演奏者に指示するための指示データを出力する指示部を備え、前記通知情報生成部は、前記指示データに基づく指示後に収集された、前記特定の単音の発音状態を示す検出データに基づいて、前記通知情報を生成するようにしてもよい。

また、本発明の情報処理装置は、演奏操作を受け付ける演奏操作子と、前記演奏操作子が受け付けた演奏操作に応じて発音する発音体と、前記受け付けた演奏操作を示す演奏情報を生成する演奏情報生成部と、前記演奏情報生成部により生成された演奏情報によって、前記発音体の発音が単音により行われているかどうかを判断し、単音による発音が行われていると判断したときの前記発音体の発音状態を示す検出データと、当該発音の基となった前記演奏情報とを、当該検出データと当該演奏情報とに基づいて自楽器の状態を通知するための通知情報を生成する情報処理装置へ出力する通知情報出力部とを備えることを特徴とする。

本発明によれば、楽器で行われた演奏操作に係る情報に基づいて、その楽器の状態を通知することができる。

本発明の一実施形態における通信システムの全体構成を示す図。 同実施形態のピアノのハードウェア構成を示す図。 同実施形態のログデータの構成を示す図。 同実施形態のサーバ装置のハードウェア構成を示すブロック図。 同実施形態のピアノ及びサーバ装置の機能構成を示すブロック図。 同実施形態のピアノで実行される処理の流れを示すフローチャート。 同実施形態のピアノが発する楽音のレベルの時間的変化を示すグラフ。 同実施形態のピアノでの発音状態の検出タイミングの具体例の説明図。 同実施形態のサーバ装置で実行される処理の流れを示すフローチャート。

以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の一実施形態における通信システム１の全体構成を示す図である。図１に示すように、通信システム１は、ピアノ１０とサーバ装置２０とを備える。ピアノ１０及びサーバ装置２０は、ネットワークＮＷ経由で相互に通信可能である。ネットワークＮＷは、例えばインターネットを含む通信回線である。
なお、ネットワークＮＷには、複数のピアノ１０及び複数のサーバ装置２０を接続可能であるが、図面が繁雑になるのを防ぐため、図１にはそれぞれ１つずつ示す。

ピアノ１０は、その前面に、複数の鍵２及びペダル３を演奏操作子として備えた鍵盤楽器であり、ここではグランドピアノである。この実施形態では、特に断りのない限り、ペダル３はダンパペダルを指すものとする。また、ピアノ１０は、その前面部分に設けられた操作パネル１３、及び、譜面台部分に設けられたタッチパネル１４を備える。
ピアノ１０は、演奏者が行った演奏操作に応じて発音する。演奏者が行う演奏操作は、ピアノ１０に発音させるための操作であり、鍵２を押す操作及びペダル３を押す（踏む）操作を含む。このうち、鍵２を押す操作は、楽音の音高を指定する操作である。ダンパペダルとしてのペダル３を押す操作は、ピアノ１０に対して発音の終了を指示する第１の演奏操作（すなわち、離鍵操作）後の残響に影響を与える（具体的には楽音の残響時間を伸ばす）第２の演奏操作である。ピアノ１０では、演奏者による鍵２の操作に応じて打弦を行って発音する。この打弦の際、ピアノ１０が備える響板は、打弦によって発せられた音によって振動し、楽音の音質を高めることに寄与する。すなわち、ピアノ１０は、演奏操作に基づく電子的な処理によって発音するための発音体として、スピーカや響板を備える。

また、ピアノ１０は、演奏者が行った演奏操作を示す演奏情報を生成して、生成した演奏情報に基づいて発音する。演奏情報は、ＭＩＤＩ（Musical Instrument Digital Interface：登録商標）形式であり、ＭＩＤＩメッセージともいう。この演奏情報は、例えば、ノートオン（発音開始）やノートオフ（発音終了）、音高、ペロシティ等を指示する情報を含む。ピアノ１０は、演奏情報に基づいて音源部（後述するピアノ音源１５４）により生成された楽音信号を用いて、スピーカ（後述するスピーカ１５６）から発音するとともに、加振部により響板を加振することにより発音する。すなわち、ピアノ１０は、演奏操作に基づく電子的な処理によって発音するための発音体として、スピーカや響板を備える。

図２は、ピアノ１０のハードウェア構成を示す図である。ピアノ１０は、制御部１１と、記憶部１２と、操作パネル１３と、タッチパネル１４と、演奏部１５と、通信部１６と、マイクロホン１７とを備える。ピアノ１０が備える図１に示すハードウェア要素はバスによって互いに接続され、このバスを介して各部間で信号の遣り取りが行われる。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部１２に記憶されたプログラムをＲＡＭに読み出して実行することにより、ピアノ１０の各部を制御する。

記憶部１２は、ハードディスク装置等の記憶装置を備え、制御部１１により実行されるプログラム、ピアノ１０を一意に識別する識別子である楽器ＩＤ及びログＤＢ１２１を記憶する。ログＤＢ１２１は、図３に示すデータ構成のログデータを記録するためのデータベースである。ログデータは、ピアノ１０における楽音の発音状態を示す検出データ（以下「発音検出データ」という。）と、その発音の基となった演奏情報（ここではＭＩＤＩメッセージ）とを対応付けたデータである。発音検出データは、ここでは、マイクロホン１７により収音された楽音の波形を示す楽音波形データである。ログデータの利用方法について後で説明する。

操作パネル１３は、操作ボタンを有し、この操作ボタンによりユーザの操作が受け付けると、受け付けた操作を示す操作データを制御部１１へ供給する。タッチパネル１４は、液晶ディスプレイ等の表示面と、この表示面の表面（おもてめん）に設けられたタッチセンサとを有する。このタッチセンサは、ユーザによって指示された表示面上の位置を示す操作データを、制御部１１へ供給する。また、タッチパネル１４は、表示面に画像を表示して、演奏者等の人物に情報を通知する。

演奏部１５は、電子的な処理によって楽音を発生させるための演奏処理を行う。具体的には、演奏部１５は、キーセンサ１５１と、ペダルセンサ１５２と、ピアノ電子回路１５３と、ピアノ音源１５４と、アンプ１５５と、スピーカ１５６とを有する。
キーセンサ１５１は、演奏者が鍵２を押したときの強さ及び深さを検出し、検出した鍵を特定するキー番号及びベロシティ情報を含むキー情報を、ピアノ電子回路１５３へ供給する。ペダルセンサ１５２は、演奏者がペダル３を押したときの強さ及び深さを検出し、検出したペダルを特定するペダル番号及びベロシティ情報を含むペダル情報を、ピアノ電子回路１５３へ供給する。ピアノ電子回路１５３は、キー情報及ペダル情報に基づいて演奏情報を生成し、生成した演奏情報をピアノ音源１５４へ供給する。ピアノ音源１５４は、演奏情報により指示された楽音を発生させるための楽音信号を生成する。ピアノ音源１５４により生成された楽音信号は、アンプ１５５に供給される。この楽音信号は、アンプ１５５によって増幅されて、スピーカ１５６から楽音として発せられる。

通信部１６は、ネットワークＮＷに接続してサーバ装置２０と通信して、データを送受信するためのインタフェースである。マイクロホン１７は、周辺で発生した音を収音（検出）して、収音した音を示すアナログ形式の音声データを制御部１１へ供給する。この音声データは、制御部１１によりアナログ形式からデジタル形式に変換されて、種々の音声処理が実行される。マイクロホン１７は、ピアノ１０により発せられた楽音を収音するように、１又は複数配置されている。マイクロホン１７の具体的な配置位置は特に問わないが、マイクロホン１７は、例えば、ピアノ１０の手前端付近の響板のすぐ上や、ピアノ１０の奥端付近の響板のすぐ上等に配置される。

図４は、サーバ装置２０のハードウェア構成を示すブロック図である。図４に示すように、サーバ装置２０は、制御部２１と、通信部２２と、記憶部２３とを備える。
制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部２３に記憶されたプログラムをＲＡＭに読み出して実行することにより、サーバ装置２０の各部を制御する。通信部２２は、ネットワークＮＷに接続して外部装置と通信して、データを送受信するためのインタフェースである。記憶部２３は、ハードディスク装置等の記憶装置を備え、制御部２１により実行されるプログラム及びログＤＢ２３１等を記憶する。ログＤＢ２３１は、ピアノ１０から収集したログデータを、このピアノ１０の楽器ＩＤと対応付けて記録するためのデータベースである。
以上の構成を有するサーバ装置２０は、ログＤＢ２３１に記録されたログデータを解析して、ピアノ１０の状態を通知するための情報処理を行う情報処理装置として機能する。

図５は、ピアノ１０及びサーバ装置２０の機能構成を示すブロック図である。図５に示すように、ピアノ１０は、演奏情報生成部１０１と、発音状態検出部１０２と、記録部１０３と、ログデータ出力部１０４と、通知情報取得部１０５と、通知部１０６とに相当する機能を実現する。サーバ装置２０は、収集部２０１と、通知情報生成部２０２と、通知情報出力部２０３とに相当する機能を実現する。
なお、図５に破線を用いて示した指示部２０４の機能は、後述する変形例１のサーバ装置２０で実現されるものであり、この実施形態には関係ないものとする。

演奏情報生成部１０１は、演奏操作を示す演奏情報を生成する。演奏情報生成部１０１は、演奏者が行った演奏操作を鍵２やペダル３等の演奏操作子によって受け付けた場合に演奏情報を生成するほか、ピアノ１０が自動演奏機能を有する場合には、自動演奏用の楽曲ファイルに基づいて演奏情報を生成する。

発音状態検出部１０２は、演奏情報生成部１０１が生成した演奏情報に基づいてピアノ１０が発音したときのピアノ１０における楽音の発音状態を、マイクロホン１７からの音声データを用いて検出して、発音検出データを生成する。この際、発音状態検出部１０２は、以下の（Ａ）及び（Ｂ）の両条件を満たす楽音による発音が行われているかどうかを判断し、この（Ａ）及び（Ｂ）の両条件を満たすと判断したときの発音検出データを生成する。他方、以下の（Ａ）又は（Ｂ）のどちらか一方でも満たさないと判断したときには、発音状態検出部１０２は、発音検出データを生成しないものとする。
（Ａ）ペダル３（ここではダンパペダル）が押されない状態で鍵２が押されたこと。
（Ｂ）楽音が単音であること（つまり楽音が複音でないこと）。

上記（Ａ）の条件は、ペダル３の操作によって楽音の残響に影響が与えられていない、標準的な状態での発音状態を検出するために設定された条件である。上記（Ｂ）の条件は、各音高の単音の発音状態を評価するために設定された条件である。単音は、ピアノ１０が有する複数の鍵２のうち、いずれか１の鍵２のみを押したときに発生させられる楽音である。他方、複音は、ピアノ１０が有する複数の鍵２のうち、２つ以上の鍵２を同時に押したときに発生させられる楽音である。

記録部１０３は、発音状態検出部１０２により検出された発音状態を示す発音検出データと、この発音の基となった演奏情報生成部１０１により生成された演奏情報とを対応付けたログデータを、ログＤＢ１２１に記録する（図４参照）。
記録部１０３は、ログデータをログＤＢ１２１に記録する際に、その記録日時（すなわち、検出日時）を示す日時情報と対応付けて記録するものとする。

ログデータ出力部１０４は、ログＤＢ２３１に記録されたログデータを、ネットワークＮＷ経由でサーバ装置２０へ送信出力する。この際、ログデータ出力部１０４は、ピアノ１０に割り当てられた楽器ＩＤに対応付けてログデータを送信出力する。

サーバ装置２０の収集部２０１は、ログデータ出力部１０４により送信出力されたログデータと楽器ＩＤとを受信してこれを収集して、ログＤＢ２３１に記録する。

通知情報生成部２０２は、ログＤＢ２３１に記録されたログデータに基づいて、ピアノ１０の状態を通知するための通知情報を生成する。通知情報生成部２０２は、ログデータを解析して、予め定められたアルゴリズムに従って通知情報を生成する。通知情報生成部２０２は、例えば、単音の各音高について、発音検出データが示す楽音波形の周波数と、基準周波数との差をピッチ誤差として算出し、算出したピッチ誤差の大きさに基づいて音高毎の発音状態を評価して、その評価結果に応じた通知情報を生成する。基準周波数については、ログデータに含まれる演奏情報から特定される音高に対応した周波数が用いられる。通知情報は、例えば、ピアノ１０の状態（例えば、各音高の発音状態の良否）、及び、ピアノ１０を調律すべき時期の推奨時期（以下「調律推奨時期」という。）を含む。
通知情報生成部２０２は、楽器ＩＤで識別されるピアノ１０毎に、ピアノ１０の状態に関する通知情報を生成する。

通知情報出力部２０３は、通知情報生成部２０２により生成された通知情報を、ネットワークＮＷ経由でピアノ１０へ送信出力する。この際、通知情報出力部２０３は、通知情報を生成する基となったログデータと対応付けられた楽器ＩＤに基づいて、この楽器ＩＤが示すピアノ１０へ通知情報を送信出力する。

ピアノ１０の通知情報取得部１０５は、通知情報出力部２０３により送信出力された通知情報が受信されると、受信された通知情報を取得する。
通知部１０６は、通知情報取得部１０５が取得した通知情報に応じた通知を行う。例えば、通知部１０６は、ピアノ１０の状態やピアノ１０の調律推奨時期を、タッチパネル１４によるメッセージや画像の表示により、ピアノ１０の所有者や演奏者等に通知する。

図６は、ピアノ１０で実行される処理の流れを示すフローチャートである。
ピアノ１０の制御部１１は、ピアノ１０に発音させるための演奏操作が受け付けられると、その演奏操作を示す演奏情報を生成する（ステップＳ１）。

次に、制御部１１は、ステップＳ１の処理で演奏情報を生成する基となった演奏操作（すなわち発音の基となった演奏操作）が、ペダル３を押した状態で行われたかどうかを判断する（ステップＳ２）。ステップＳ２の処理で、ペダル３が押されていないと判断した場合（ステップＳ２；ＹＥＳ）、制御部１１は、ステップＳ１の処理で生成した演奏情報により、ピアノ１０で単音による発音が行われたかどうかを判断する（ステップＳ３）。

ステップＳ３の処理で単音と判断した場合（ステップＳ３；ＹＥＳ）、制御部１１は、この単音の直前の楽音のノートオフイベントがあった時点から、予め決められた所定時間Δｔ以上が経過した時点において、マイクロホン１７からの音声データに基づいてこの単音の発音状態を検出する（ステップＳ４）。直前の楽音のノートオフイベントがあった時点とは、この楽音を発生させるための演奏操作の終了時点とみなすことができる。所定時間Δｔは、例えば０．５秒であるが、０．５秒以外の時間であってもよい。ここで、発音状態の検出タイミングを規定する根拠を説明する。

図７は、ピアノ１０が発する楽音のレベルの時間的変化の一例を示すグラフである。図７に示すグラフにおいて、横軸は時刻を表し、縦軸は楽音のレベル（例えば音量レベル）を表す。図７には、鍵２を押す演奏操作Ａと演奏操作Ｂとが続けて行われたときの、楽音のレベルの時間的変化がそれぞれ示されている。以下、演奏操作Ａに応じて発せられる楽音を「楽音ａ」と称し、演奏操作Ｂに応じて発せられる単音の楽音を「楽音ｂ」と称する。
時点ｔ１に演奏操作Ａに対応したノートオンイベントがあり、時点ｔ２にそのノートオフイベントがあった場合、時点ｔ１から時点ｔ２までの期間に、ピアノ１０により楽音ａが発せられる。時点ｔ２の後、時点ｔ３に演奏操作Ｂに対応したノートオンイベントがあった場合、時点ｔ３を開始時点として、ピアノ１０により楽音ｂが発せられる。ただし、時点ｔ２に演奏操作Ａに対応したノートオフイベントがあった場合であっても、時点ｔ２の経過後、直ちに楽音ａのレベルがゼロになるわけではない。図７の例では、時点ｔ３から、所定時間Δｔが経過する時点ｔ４までの期間においても楽音ａが発せられていて、すなわち、楽音ａと楽音ｂとが同時に発せられた状態となっている。時点ｔ３から時点ｔ４までの期間において楽音ａが発せられている原因として、ピアノ１０が備える弦や響板の振動がある。

このため、楽音ｂの発音状態を検出しようとした場合に、仮に、時点ｔ３又は時点ｔ３の直後の時点ｔ４までの時点でこの発音状態を検出してしまうと、楽音ａと楽音ｂとが混在した楽音の発音状態を検出することになる。この場合、単音である楽音ｂの発音状態とは異なる発音状態が得られてしまい、ピアノ１０の状態を正確に把握することができない可能性がある。以上の根拠により、制御部１１は、図７に示すように、時点ｔ４よりも後の時点で楽音ｂの発音状態を検出する。
なお、制御部１１は、楽曲における最初の演奏操作に対応した楽音や、フレーズの最初の１音に対応した楽音等、直前の楽音による影響を受けない楽音の発音状態を検出する場合には、発音状態の検出タイミングについて考慮しないようにしてもよい。

図６の説明に戻る。
ステップＳ４の処理で、単音の楽音の発音状態を検出すると、制御部１１は、この発音状態を示す発音検出データと、この発音の基となった演奏情報とを対応付けたログデータを、記憶部１２に記憶されたログＤＢ１２１に記録する（ステップＳ５）。次に、制御部１１は、ログＤＢ１２１に記録したログデータを、サーバ装置２０へ送信出力するかどうかを判断する（ステップＳ６）。発音状態を検出する処理を継続する場合、制御部１１は、ログデータをまだ送信しないと判断して（ステップＳ６；ＮＯ）、ステップＳ１の処理に戻る。発音状態を検出する処理を終了して、ログデータを送信すると判断した場合には（ステップＳ６；ＹＥＳ）、制御部１１は、ログＤＢ１２１に記録されたログデータを、通信部１６によりサーバ装置２０へ送信出力する（ステップＳ７）。

ところで、制御部１１は、ステップＳ２の処理でペダル３のいずれかが押されていると判断した場合（ステップＳ２；ＮＯ）、又は、ステップＳ３の処理で単音でないと判断した場合（ステップＳ３；ＮＯ）には、発音状態を検出する処理を行わないで、ステップＳ６の処理に進む。
なお、制御部１１は、１日１回等の所定期間毎に発音状態の検出を行って、ログデータを記録しサーバ装置２０へ送信出力するとよい。また、制御部１１は、全ての音高のログデータを収集するまで図６に示す処理を継続して実行してもよいし、処理の開始から予め決められた設定時間が経過すると図６に示す処理を終了してもよく、図６に示す処理を終了する条件はどのような条件であってもよい。

図８は、ピアノ１０での発音状態の検出タイミングの具体例を説明する図である。図８には、楽譜とともに、演奏操作ｈ１〜ｈ９に応じて発生させられる楽音の発音状態の検出の有無が示される。図８では、発音状態の検出タイミングを「○」で示し、発音状態を検出しないタイミングを「×」で示している。
演奏操作ｈ１〜ｈ９のうち、演奏操作ｈ１〜ｈ６についてはペダル３を押さずに行われ、演奏操作ｈ７〜ｈ９についてはペダル３が押されて行われたとする。また、演奏操作ｈ１〜ｈ３，ｈ５〜ｈ７及びｈ９は、単音を発生させるための演奏操作であり、演奏操作ｈ４，ｈ８は複音（和音）を発生させるための演奏操作である。この場合、制御部１１は、演奏操作ｈ１〜ｈ３，ｈ５，ｈ６に基づいて発音したときの発音状態を検出する。他方、制御部１１は、演奏操作ｈ４，ｈ７〜ｈ９に基づいて発音したときには発音状態を検出しない。

図９は、サーバ装置２０で実行される処理の流れを示すフローチャートである。
サーバ装置２０の制御部２１は、ピアノ１０により送信出力されたログデータを通信部２２により受信して収集し、記憶部２３に記憶されたログＤＢ２３１に記録する（ステップＳ１１）。その後、制御部２１は、記憶部２３に記録されたログデータを解析して、ピアノ１０の状態を通知するための通知情報を生成する（ステップＳ１２）。

例えば、制御部２１は、単音の各音高についてピッチ誤差を算出する。この際、１の音高について複数のログデータがある場合には、制御部２１は、これら複数のログデータのピッチ誤差の平均値等の統計的な値を用いてもよいし、最新のログデータに基づいてピッチ誤差を算出してもよい。また、ピアノ１０が複数のマイクロホン１７を有している場合には、制御部２１は、マイクロホン１７毎にピッチ誤差を算出してもよいし、これらの複数のマイクロホン１７について求めたピッチ誤差の平均値等の統計的な値を算出してもよい。そして、制御部２１は、ピッチ誤差が閾値レベル未満である音高については、その音高の楽音の発音状態が良好と評価し、ピッチ誤差が閾値レベル以上である音高については、その音高の楽音の発音状態が良好でないと評価し、その評価結果を通知するため通知情報を生成する。また、制御部２１は、各音高について、ピッチ誤差と閾値レベルとの差の時間的変化を解析して、ピッチ誤差が閾値レベル以上となる時期を予測してもよい。この場合、例えば、制御部２１は、ピッチ誤差が閾値レベル以上となる音高が発生する時期を調律推奨時期として通知するための通知情報を生成する。
また、制御部２１は、弦や響板等の発音体の物理的作用によってピアノ１０が発音していた場合には、この発音体の状態の良否を通知するための通知情報を生成してもよい。他方、制御部２１は、演奏部１５における電子的な処理によってピアノ１０が発音していた場合には、演奏部１５の状態（例えば、ピアノ音源１５４の状態）の良否を通知するための通知情報を生成してもよい。
制御部２１は、ステップＳ１２の処理で生成した通知情報を、通信部２２によりピアノ１０へ送信出力する（ステップＳ１３）。

ピアノ１０の制御部１１は、ステップＳ１３により送信された通知情報を受信してこれを取得すると、通知情報に応じた通知を行う。例えば、全ての音高についてピッチ誤差が閾値レベル未満である場合には、制御部１１は、「ピアノの状態は良好です。」等という、ピアノ１０の状態を示すメッセージをタッチパネル１４に表示させる。また、ピッチ誤差が閾値レベル以上である音高があれば、制御部１１は、「音高○○の状態が不良です。△△へ調律を依頼してください。」等という、現在のピアノ１０が調律する状態であることを示すメッセージをタッチパネル１４に表示させる。また、調律推奨時期が通知された場合には、制御部１１は、「今年の××月頃に調律することをお奨めします。」等という、調律推奨時期を示すメッセージをタッチパネル１４に表示させる。
なお、制御部１１は、音声出力をしたり発音状態が良好でない鍵２を光らせたりする等、タッチパネル１４以外の別の手段によって通知情報に応じた通知を行ってもよい。

以上説明した実施形態の通信システム１によれば、ピアノ１０で行われた演奏操作に係る情報から、そのピアノ１０の状態を把握するための情報を収集して、ピアノ１０の状態を通知することができる。よって、ピアノ１０の所有者や演奏者等の調律を行おうとする者は、ピアノ１０を演奏する機会以外の機会に、調律時専用の操作をしなくてもよい。このため、ピアノ１０の調律を行おうとする者は、現在のピアノ１０の状態やピアノ１０の調律推奨時期等の情報を、特に手間を要することなく知ることができ、また、ピアノ１０の所有者が調律の依頼を忘れる等して、ピアノ１０の状態を悪化させてしまう可能性を低くすることができる。

また、ピアノ１０は、ペダル３が押されずに鍵２が押されて単音を発生させた場合に、発音状態を検出してログデータを記録するので、ピアノ１０の状態（例えば、各音高の発音状態）を把握する上で有用な情報を容易に収集することができる。この際、ピアノ１０は、単音の直前の楽音のノートオフイベントの時点から所定時間が経過した後に、この単音の発音状態を検出するため、この単音の直前の楽音の影響を受けて発音状態の検出結果が不正確になるのを防ぐことができる。

本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
サーバ装置２０は、ピアノ１０において特定の単音を発音させるための演奏操作が行われなかった場合、又は、ほとんど行われずにこの単音についてのログデータの収集が不十分である場合には、この単音を発生させるための演奏操作を行うように、演奏者に指示するための処理を行ってもよい。例えば、ピアノ１０における最も高い音高又は最も低い音高の楽音を発生させるための演奏操作がほとんど行われないこともあるからである。

この変形例のサーバ装置２０は、上述した実施形態で説明した機能構成に加えて、指示部２０４に相当する機能を実現する。指示部２０４は、ログＤＢ２３１に記録されたログデータを参照して、単音の前記検出データの収集結果に基づいて、特定の単音を発生させるための演奏操作を行うようにピアノ１０の演奏者に指示するための指示データを、ピアノ１０へ送信出力する。この際、指示部２０４は、例えば、ログデータの数が閾値未満である音高について、演奏操作を行うように指示する。
指示データを受信したピアノ１０の制御部１１は、受信した指示データに基づいて、特定の単音を発生させる演奏操作を行うように促すような通知を行う。例えば、制御部１１は、「鍵○○を押してください。」というメッセージをタッチパネル１４に表示させたり、演奏操作を行わせたい鍵２を光らせたりするとよい。この指示データに基づく指示に応じて、ピアノ１０で単音を発音させるための演奏操作が行われると、制御部１１は、この単音の発音状態を検出して、発音検出データをサーバ装置２０へ送信出力する。以降、サーバ装置２０は、この発音検出データに基づいて、上述した実施形態で説明したアルゴリズムに従って通知情報を生成する。
この変形例の通信システム１によれば、ピアノ１０で発音可能な様々な音高について、発音検出データを収集しやすくなる。

（変形例２）
上述した実施形態の通信システム１では、サーバ装置２０は、ログデータに基づいて生成した通知情報をピアノ１０へ送信出力していたが、通知情報の出力先（つまり通知先）をこのピアノ１０以外としてもよい。
例えば、サーバ装置２０は、ホールや講演会場等の特定の場所（つまり音響空間）に置かれたピアノ１０について生成した通知情報に応じた通知を公開するべく、所定のｗｅｂサーバへ通知情報を送信出力してもよい。こうすれば、ホールや講演会場等の音響空間を利用しようとする者（例えば演奏者や客）は、その音響空間に置かれたピアノ１０の状態を予め知ることができる。また、サーバ装置２０は、通知情報の出力先を、ピアノ１０の調律作業を行う企業や調律師のコンピュータ装置へ送信出力してもよい。こうすれば、ピアノ１０の現在の状態やそのピアノ１０についての調律推奨時期を、ピアノ１０の所有者を介さずに通知することができる。また、サーバ装置２０は、通知情報の出力先を、ピアノ１０の製造メーカ（例えば研究者、設計者、営業担当者等）のコンピュータ装置としてもよい。こうすれば、ピアノ１０の状態の経時変化やピアノ１０においてよく利用される機能の分析等に、通知情報を役立てることができる。

（変形例３）
上述した実施形態の通信システム１では、ペダル３を押した状態で行われた演奏操作に対応したログデータを収集していなかったが、ペダル３を押した状態で行われた演奏操作に対応したログデータを収集し、通知情報の生成に用いてもよい。すなわち、上述した実施形態で説明した（Ａ）の条件を省略してもよい。この場合であっても、ピアノ１０が、例えば、上述した実施形態の場合よりも所定時間Δｔを長い時間に設定することより、ペダル３を押した場合に発生する残響の影響を受けないで、単音の発音状態を検出することができる。また、ピアノ１０は、ペダル３を押した状態で行われた演奏操作であることを特定した上で、単音の発音状態を検出してもよい。こうすれば、サーバ装置２０は、ペダル３を操作した場合に、残響の影響を受けた単音の発音状態に基づいて通知情報を生成することができる。

また、ペダル３は、ダンパペダル以外のペダル（例えばシフトペダル）を含んでいてもよい。すなわち、上述した実施形態で説明した（Ａ）の条件における「ペダル３」は、ダンパペダル以外の所定のペダルであってもよい。こうすれば、ペダルを操作した場合に発生する発音状態の変化（例えば音色や音量の変化）の影響を受けないで、ピアノ１０は単音の発音状態を検出することができる。

また、ピアノ１０は、最初の演奏操作に対応した楽音やフレーズの最初の１音の演奏操作に対応した楽音等の、直前の楽音による影響を受けない単音のみから発音状態を検出してもよい。この場合、ピアノ１０は、常に、単音の直前の楽音のノートオフイベントのタイミングから所定時間Δｔを待機せずに、発音状態を検出してもよい。
また、ピアノ１０は、複音の発音状態を検出して、公知の複音ピッチ抽出の信号処理を行って各音高のピッチを抽出してもよい。

（変形例４）
上述した実施形態の通信システム１では、サーバ装置２０が、発音検出データを用いてピッチ誤差を算出し、算出したピッチ誤差に基づいて通知情報を生成していたが、通知情報を生成するためのアルゴリズムはこの例に限られない。
サーバ装置２０は、ピッチ誤差のほか、楽音のパワースペクトルや楽音のレベル（例えば音圧レベルや音量レベル）の時間的変化、楽音の音色、楽音信号波形の立ち上がり部分の波形（つまり打鍵に対する発音の反応速度）等の、楽音検出データから特定可能な楽音の発音状態の特徴を示す特徴データを生成し、生成した特徴データに基づいて通知情報を生成してもよい。この場合も、サーバ装置２０は、生成した特徴データと、その特徴データの基準値を示す基準値データとを比較してピアノ１０の発音状態を特定し、通知情報を生成する。通知情報についても、ログデータを解析することによって得られる情報であればよい。例えば、サーバ装置２０は、特徴データと基準値データとの差分が小さいほど、発音状態が良好である旨の通知情報を生成し、その差分が大きいほど発音状態が不良である旨の通知情報を生成する。
また、発音検出データは、楽音波形データ以外のデータであってもよく、例えば、楽音のレベルや周波数を数値によって表したデータであってもよい。

更に、上述の基準値データは、サーバ装置２０の記憶部２３に記憶されていてもよいし、ピアノ１０の記憶部１２に記憶されていてもよい。また、この基準値データは、ピアノ１０の型番毎等のピアノの種別毎に設定されていてもよいし、例えばピアノ１０の工場出荷時の状態を示す基準値を示すように、ピアノ１０毎に設定されていてもよい。また、この基準値データは、ピアノ１０側で変更可能であってもよい。この場合、ピアノ１０の所有者等の人物が数値入力等によって基準値データを指定する態様であってもよいし、複数の基準値データの中から選択する態様であってもよい。

（変形例５）
ピアノ１０は、演奏者により行われた演奏操作に応じてログデータを生成する構成に代えて又は組み合わせて、自動演奏機能を利用した演奏操作に応じてログデータを生成してもよい。この自動演奏の際にピアノ１０が利用する自動演奏用の楽曲ファイルは、ログデータの生成時にだけ使用されるものであってもよいし、そうでなくてもよい。ただし、この楽曲ファイルは、ピアノ１０が備える全て又はほとんどの鍵２（すなわち音高）を使用する楽曲を表すものであることが望ましい。

（変形例６）
通信システム１では、波形の立ち上がりから所定の範囲であるアタック部を除いて、音波形が安定した後の部分（例えば、定常部）の発音状態を検出してもよいし、アタック部を含めた発音状態を検出してもよい。例えば、アタック部は、振幅の変動量が所定値以上であり、かつ収束している部分である。定常部は、変振幅の動量が所定値以下である部分である。なお、アタック部の時間は、楽器の特性や演奏方法によって若干の変動があるが、発音開始時の短い時間であるため、固定の値を設定しても実用上は問題ない。

（変形例７）
上述した実施形態では、ピアノ１０が通知情報の生成に利用するログデータをログＤＢ２３１に記録しておき、適当なタイミングでサーバ装置２０へ送信出力していた。これに代えて、ピアノ１０は、生成したログデータを逐一サーバ装置２０へ送信出力してもよい。

（変形例８）
上述した実施形態の通信システム１で実行されていた各処理の主体は、以下のように変形されてもよい。
例えば、上述した実施形態では、通知情報の生成に利用するログデータを判別してログＤＢ１２１に記録する処理を、ピアノ１０が実行していた。これに代えて、ピアノ１０は、ペダル３を押す操作の有無や楽音が単音であるかどうかの判断をせずに、全ての楽音の発音状態を検出して、ログデータを記録してもよい。この場合、サーバ装置２０が、ピアノ１０から収集したログデータの中から、ペダル３が押されずに鍵２が押されて発音させられた単音についてのログデータを抽出して、通知情報を生成すればよい。この際、サーバ装置２０は、ピアノ１０から収集した全てのログデータをログＤＢ２３１に記録してから、単音についてのログデータを抽出してもよいし、単音についてのログデータを抽出してログＤＢ２３１に記録してもよい。

また、上述した実施形態でサーバ装置２０が行っていた全ての処理を、ピアノ１０が行ってもよい。この場合、ピアノ１０が、図５で説明したサーバ装置２０の機能を実現すればよい。すなわち、ピアノ１０は、ログＤＢ１２１からログデータを読み出して上述した実施形態で説明したアルゴリズムに従って通知情報を生成し、生成した通知情報に応じた通知をする。
すなわち、本発明の情報処理装置は、ピアノ１０により実現されてもよい。また、本発明の情報処理装置は、演奏者が所有するパーソナル・コンピュータやスマートフォン等のサーバ装置以外の情報処理装置によって実現されてもよい。この場合、ネットワークＮＷに代えて、ＬＡＮ（Local Area Network）等の通信回線が使用されてよい。

（変形例９）
上述した実施形態のピアノ１０は、マイクロホン１７を用いてピアノ１０における楽音の発音状態を検出していたが、他の方法でこの発音状態を検出してもよい。例えば、ピアノ１０の響板の背面に、ピアノ１０による発音状態を検出するための振動センサ（トランスデューサ）が設けられてもよい。この振動センサは、例えば加速度センサであり、打弦時に生じる響板の加速度を検出する。制御部１１は、振動センサにより検出された加速度から響板の変位を求め、響板の振動波形を検出して発音検出データとする。この場合、振動センサの検出位置は、ピアノ１０の発音時に振動する部位であればよい。

（変形例１０）
上述した実施形態のピアノ１０は、グランドピアノであったが、本発明はアップライトピアノ及びその他のピアノに適用することができる。また、本発明を適用したピアノは、弦や響板等の発音体の物理的作用のみで発音するピアノであってもよいし、電子的な処理によって発生させた楽音のみで発音するピアノであってもよい。また、本発明を適用したピアノは、響板を有しないピアノであってもよい。
また、本発明の楽器は、電子オルガン等のピアノ以外の鍵盤楽器であってもよい。また、本発明の楽器は、鍵盤楽器に限らず、ギターやバイオリン等の弦楽器やフルートやクラリネット等の吹奏楽器（又は管楽器）等であってもよい。弦楽器の場合、弦楽器において弦を指示する駒に、振動センサ等を設けてもよいし、弦楽器が備える響板に設けてもよい。吹奏楽器（又は管楽器）の場合、その吹奏楽器の発音時に気体（空気）が流れる部位に、その部位における気体の流量や流速を検出するセンサを設けてもよい。本発明の楽器は、演奏情報に基づいて発音するものであれば、具体的な種類については特に問わない。
また、本発明の楽器は、演奏情報に基づいて発音する楽器でなくてもよい。例えば、本発明の楽器は、ログデータを生成するために、演奏操作子により受け付けた操作を示す演奏情報を生成する一方で、演奏情報を使用せずに、演奏操作子に応じた発音体の物理的作用により発音する楽器であってもよい。

また、本発明の演奏情報はＭＩＤＩ形式のものに限らず、楽音を発生させる基となる演奏操作を特定可能な情報であればよい。
また、本発明では、楽器のログデータを収集してクラウド上の記憶装置に記憶しておいて、この記憶装置からログデータを取得して通知情報を生成してもよい。
上述したピアノ１０やサーバ装置２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、楽器の状態を通知するための通知方法として把握することも可能である。

１…通信システム、１０…ピアノ、１０１…演奏情報生成部、１０２…発音状態検出部、１０３…記録部、１０４…ログデータ出力部、１０５…通知情報取得部、１０６…通知部、１１…制御部、１２…記憶部、１２１…ログＤＢ、１３…操作パネル、１４…タッチパネル、１５…演奏部、１５１…キーセンサ、１５２…ペダルセンサ、１５３…ピアノ電子回路、１５４…ピアノ音源、１５５…アンプ、１５６…スピーカ、１６…通信部、１７…マイクロホン、２０…サーバ装置、２０１…収集部、２０２…通知情報生成部、２０３…通知情報出力部、２０４…指示部、２１…制御部、２２…通信部、２３…記憶部、２３１…ログＤＢ。

Claims (5)

1. 演奏操作を受け付ける演奏操作子と、前記演奏操作子が受け付けた演奏操作に応じて発音する発音体と、前記受け付けた演奏操作を示す演奏情報を生成する演奏情報生成部とを有する楽器における、前記発音体の発音状態を示す検出データと、当該発音の基となった前記演奏情報とをそれぞれ収集する収集部と、
   前記演奏情報生成部により生成された演奏情報によって、単音による発音が行われていると判断された前記検出データと前記演奏情報とに基づいて、前記楽器の状態を通知するための通知情報を生成する通知情報生成部と
   を備えることを特徴とする情報処理装置。
2. 前記通知情報生成部は、
   前記単音の直前の楽音を発音させるための前記演奏操作の終了時点から、所定時間が経過した後の当該単音の発音状態を示す検出データに基づいて、前記通知情報を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記楽器は、前記発音体による発音の終了を指示する第１の演奏操作後の残響に影響を与える、第２の演奏操作を受け付ける演奏操作子を有し、
   前記通知情報生成部は、
   前記第２の演奏操作を受け付けていないときの前記発音状態を示す検出データに基づいて、前記通知情報を生成する
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記単音の発音状態を示す検出データの収集結果に基づいて、特定の単音を発生させるための前記演奏操作を行うように前記楽器の演奏者に指示するための指示データを出力する指示部を備え、
   前記通知情報生成部は、
   前記指示データに基づく指示後に収集された、前記特定の単音の発音状態を示す検出データに基づいて、前記通知情報を生成する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 演奏操作を受け付ける演奏操作子と、
   前記演奏操作子が受け付けた演奏操作に応じて発音する発音体と、
   前記受け付けた演奏操作を示す演奏情報を生成する演奏情報生成部と、
   前記演奏情報生成部により生成された演奏情報によって、前記発音体の発音が単音により行われているかどうかを判断し、単音による発音が行われていると判断したときの前記発音体の発音状態を示す検出データと、当該発音の基となった前記演奏情報とを、当該検出データと当該演奏情報とに基づいて自楽器の状態を通知するための通知情報を生成する情報処理装置へ出力する通知情報出力部と
   を備えることを特徴とする楽器。

Images