JP6759560B2 - 調律推定装置及び調律推定方法 - Google Patents

調律推定装置及び調律推定方法 Download PDF

Info

Publication number
JP6759560B2
JP6759560B2 JP2015220445A JP2015220445A JP6759560B2 JP 6759560 B2 JP6759560 B2 JP 6759560B2 JP 2015220445 A JP2015220445 A JP 2015220445A JP 2015220445 A JP2015220445 A JP 2015220445A JP 6759560 B2 JP6759560 B2 JP 6759560B2
Authority
JP
Japan
Prior art keywords
tuning
pitch
distribution
input sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015220445A
Other languages
English (en)
Other versions
JP2017090671A (ja
Inventor
辰弥 寺島
辰弥 寺島
松本 秀一
秀一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015220445A priority Critical patent/JP6759560B2/ja
Priority to US15/774,885 priority patent/US10733900B2/en
Priority to PCT/JP2016/081810 priority patent/WO2017082061A1/ja
Publication of JP2017090671A publication Critical patent/JP2017090671A/ja
Application granted granted Critical
Publication of JP6759560B2 publication Critical patent/JP6759560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G10G7/02Tuning forks or like devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/44Tuning means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325Musical pitch modification
    • G10H2210/331Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、調律値を算出する技術に関する。または、算出した調律値に基づいて歌唱または楽器演奏を評価する技術に関する。または、算出した調律値に基づいて歌唱データと演奏データとを合成する技術に関する。
カラオケ装置又は楽器演奏評価装置には、歌唱音声又は演奏音などの入力音を解析して評価する機能が備えられていることが多い。入力音は、例えば、歌唱音声又は演奏音のピッチと歌唱又は演奏すべきガイドメロディのピッチとを比較し、これらの一致の程度に基づいて評価される(例えば、特許文献1)。また、伴奏の音高を半音単位で調整して歌唱又は演奏した場合に、伴奏の音高情報による補正をすることで評価する技術が開発されている(例えば、特許文献2)。
特開2005−215493号公報 特開平06−295192号公報
しかしながら、特許文献1の技術では、ガイドメロディを判定の基準に用いるため、歌唱曲又は演奏曲ごとに判定の基準となる情報を用意する必要がある。また、伴奏の音高を変更して歌唱した場合や意図的に楽器の調律を変更していた場合、その調律情報がないと適正な評価をすることができない。また、特許文献2の技術では、適正な評価をするためには、変更された伴奏の音高情報が必要である。
本発明の目的の一つは、入力音に基づいて調律情報を算出することを目的とする。
本発明の一実施形態に係る調律推定装置によると、入力音を取得する第1入力音取得部と、第1入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、ピッチ算出部が算出したピッチの第1分布におけるピークに基づいて、調律の基準となる調律基準位置と第1分布における基準位置とのオフセットを表す調律値を算出する調律値算出部と、を備える。
また、調律値算出部は、第1分布における複数のピークを含むピーク群に基づいて調律値を算出してもよい。
また、調律値算出部は、周期性を有するピーク群の位置関係に基づいて調律値を算出してもよい。
また、調律値算出部は、ピーク群と調律基準位置を含む複数の基準ピッチとのずれ量に基づいて調律値を算出してもよい。
また、第1分布を一定周期で配置された基準点を始点とする複数の分布に分割し、分割された複数の分布を積算して第2分布を算出するピッチ変換部をさらに備え、調律値算出部は、ピッチ変換部によって積算された第2分布のピークに基づいて調律値を算出してもよい。
また、ピッチ変換部によって分割された前記複数の分布の各々の区間の間隔は、調律基準位置を含む複数の基準ピッチのうち隣接する基準ピッチ間の間隔と等しくてもよい。
また、第2分布を平滑化処理して第3分布を算出するピッチ平滑処理部をさらに備え、調律値算出部は、ピッチ平滑処理部によって算出された第3分布のピークを検索し、第2分布のピークは、第3分布のピークに基づいて決定される第2分布のピークであってもよい。
また、ピーク群と調律基準位置を含む複数の基準ピッチとの比較に基づいて入力音に対する評価値を算出する評価部をさらに備え、評価部は複数設けられ、異なる評価部の調律基準位置にはそれぞれオフセットが設けられ、調律値算出部は、複数の評価部によって算出された複数の評価値及び前記複数の評価部の調律基準位置に基づいて調律値を算出してもよい。
本発明の一実施形態に係る調律推定装置によると、入力音を取得する第1入力音取得部と、第1入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、調律の基準となる調律基準位置における基準ピッチとの比較に基づいて入力音に対する評価値を算出する評価部を複数備え、異なる評価部の調律基準位置は互いにオフセットが設けられ、調律値算出部は、複数の評価部によって算出された複数の評価値のうち、一の評価値を算出した評価部の調律基準位置に基づいて調律値を算出する。
また、上記の調律推定装置と、所定の評価区間において、入力音のピッチ、複数の基準ピッチ、及び調律値算出部によって算出された調律値に基づいて、ピッチと複数の基準ピッチとを比較するピッチ比較部と、ピッチ比較部によって比較された結果に基づいて、入力音に対する得点値を算出する得点計算部と、をさらに備えてもよい。
また、上記の調律推定装置と、第1入力音及び第2入力音を取得する第2入力音取得部と、第1入力音、第2入力音、及び調律推定装置が算出した調律値に基づいて、第1入力音及び第2入力音の関係を補正する補正部と、補正部によって補正された第1入力音及び第2入力音を合成する合成部と、を有し、調律推定装置は、第1入力音に基づいて調律値を算出してもよい。
また、調律値推定装置は、第1入力音に基づいて第1調律値を算出し、第2入力音に基づいて第2調律値を算出し、補正部は、第1入力音、第2入力音、第1調律値、及び第2調律値に基づいて、第1入力音及び第2入力音の関係を補正してもよい。
本発明の一実施形態に係る調律推定装置によると、入力音を取得する入力音取得部と、入力音取得部が取得した入力音のピッチを算出するピッチ算出部と、ピッチ算出部が算出したピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律値算出部と、を備える。
また、調律値算出部は、分布から、複数の音高に対してそれぞれの調律値を算出してもよい。
本発明の一実施形態に係るプログラムによると、入力音を取得し、取得した入力音のピッチを算出し、算出したピッチの第1分布における複数のピークを含むピーク群に基づいて、調律の基準となる調律基準位置と第1分布における基準位置とのオフセットを表す調律値を算出する。
本発明の一実施形態によれば、入力音に基づいて調律情報を算出することができる。
本発明の一実施形態における調律推定装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、取得したピッチの一例を示す図である。 本発明の一実施形態における調律方法において、算出されたピッチの度数分布を示す図である。 本発明の一実施形態における調律方法において、調律値の算出方法の一例を示す図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、ピッチ変換部による第1分布から第2分布への変換方法の一例を示す図である。 本発明の一実施形態における調律方法において、積算された第2分布の一例を示す図である。 本発明の一実施形態における調律推定機能部の機能構成を示すブロック図である。 本発明の一実施形態における調律方法において、積算された第2分布の一例を示す図である。 本発明の一実施形態における調律方法において、平滑化された第3分布の一例を示す図である。 本発明の一実施形態における調律機能の構成を示すブロック図である。 本発明の一実施形態における調律方法において、評価部による評価方法の一例を示す図である。 本発明の一実施形態における調律方法において、評価部によって得られた評価値に基づく調律方法の一例を示す図である。 本発明の一実施形態における評価装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における評価装置の機能構成を示すブロック図である。 本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。 本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。
以下、本発明の一実施形態における調律推定装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
〈第1実施形態〉
本発明の第1実施形態における調律推定装置について、図面を参照しながら詳細に説明する。第1実施形態に係る調律推定装置は、歌唱するユーザ(以下、歌唱者という場合がある)の歌唱音声の調律値を推定する装置である。この調律推定装置は、所定期間ごとに決められた複数のピッチ(以下、基準ピッチという場合がある)と、歌唱者の歌唱音声のピッチ(以下、歌唱ピッチという場合がある)とを比較して、調律値を算出する。この調律推定装置によると、歌唱ピッチに基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても調律値を得ることができる。以下、このような調律推定装置について説明する。
[ハードウェア]
図1は、本発明の一実施形態における調律推定装置10のハードウェア構成を示すブロック図である。調律推定装置10は、制御部100、記憶部110、操作部120、表示部130、通信部140、及び信号処理部150を含む。これらの各構成は、バスを介して接続されている。また、信号処理部150にはマイクロフォン160が接続されている。
制御部100は、CPUなどの演算処理回路を含む。制御部100は、記憶部110に記憶された制御プログラム112をCPUにより実行して、各種機能を調律推定装置10において実現させる。実現される機能には、歌唱音声の調律値推定機能が含まれる。記憶部110は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部110は、調律推定機能を実現するための制御プログラム112を記憶する。制御プログラム112は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、調律推定装置10は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム112は、ネットワーク経由でダウンロードされてもよい。
また、記憶部110は、上記の制御プログラム112に加えて、入力音データ114及び調律基準情報116を記憶する。入力音データ114は、歌唱者がマイクロフォン160から入力した歌唱音声を示すデータである。この例では、入力音データ114は、調律推定機能によって歌唱音声の調律値が算出されるまで、記憶部110にバッファされる。調律基準情報116は、後に説明する調律推定機能部200が歌唱音声の調律値算出の基準として用いる情報である。例えば、調律基準情報116には、歌唱ピッチと比較されるべき基準ピッチが規定されている。基準ピッチは、複数のピッチとして規定されている。この例では、基準ピッチは、調律基準位置である440Hzを含み、440Hzを基準として100cent間隔で規定されている。なお、楽曲によって調律基準位置が440Hzからずれている場合、例えば調律基準位置が442Hzである場合には、基準ピッチは442Hzを基準として100cent間隔で規定されればよい。
操作部120は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部100に出力する。表示部130は、液晶ディスプレイ、有機ELディスプレイ等の表示装置であり、制御部100による制御に基づいた画面が表示される。なお、操作部120と表示部130とは一体としてタッチパネルを構成してもよい。通信部140は、制御部100の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部110の機能は、通信部140において通信可能な外部装置で実現されてもよい。
信号処理部150はA/Dコンバータを含む。歌唱音声は、マイクロフォン160において電気信号に変換されて信号処理部150に入力され、信号処理部150においてA/D変換されて制御部100に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部110にバッファされる。
[調律推定機能部]
調律推定装置10の制御部100が制御プログラム112を実行することによって実現される調律推定機能部について説明する。なお、以下に説明する調律推定機能部を実現する構成の一部または全部は、ハードウェアによって実現されてもよい。
図2は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部200は、入力音取得部210、ピッチ算出部220、及び調律値算出部230を含む。
入力音取得部210は、マイクロフォン160から入力された歌唱音声を示す歌唱音声データ(入力音)を取得する。なお、入力音取得部210は、記憶部110にバッファされた歌唱音声データを取得するが、記憶部110に1曲全体の歌唱音声データが記憶された後に取得してもよく、信号処理部150から直接取得してもよい。また、入力音取得部210は、マイクロフォン160へ入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部140によりネットワーク経由で取得してもよい。
ピッチ算出部220は、入力音取得部210によって取得された歌唱音声データを解析し、歌唱ピッチ(周波数)の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、FFT(Fast Fourier Transform)を用いた方法等、公知の方法で歌唱ピッチ波形が算出される。
図3は、本発明の一実施形態における調律方法において、取得したピッチの一例を示す図である。図3に示す波形は、歌唱の一部における歌唱ピッチ波形300の例である。縦軸310はピッチを示す。ピッチ方向に100centごとに配置された破線は複数の基準ピッチ330を示している。横軸320は時間の経過を示している。ここで、図3中のS、F、K、Vの記号については後で詳しく説明する。
調律値算出部230は、ピッチ算出部220が算出した歌唱ピッチの度数分布(第1分布)における複数のピークを含むピーク群に基づいて調律値を算出する。ここで、第1分布は図3に示す歌唱ピッチ波形300に基づいて得られたものである。具体的には、所定のピッチ幅(例えば、2cent)単位でピッチを区分し、この区分された各ピッチ範囲における歌唱ピッチの度数、すなわち、各ピッチ範囲における歌唱ピッチが含まれるサンプル数を算出することで度数分布を算出する。そして、算出した度数分布における複数のピーク位置と度数分布に対して設定された複数の基準ピッチとのずれ量(オフセット値)に基づいて調律値を算出する。以下に調律値の具体的な算出方法について説明する。
図4は、本発明の一実施形態における調律方法において、算出されたピッチの度数分布を示す図である。横軸420はピッチ(各ピッチ範囲)をcent表示で示し、縦軸410は各ピッチ範囲における度数を示す。横軸420方向に所定の間隔で配置された破線は複数の基準ピッチ430を示している。ここで、基準ピッチ430は100centの間隔で配置されている。図4に示すように、第1分布400は各々の基準ピッチ430付近にピーク340、350、360を含むピーク群を有している。これは、歌唱者は伴奏に合わせて歌唱しようとするため、歌唱ピッチは基準ピッチ430付近に集中する傾向があるためである。図4に示す第1分布400はピーク340、350、360とそれぞれの基準ピッチ430とのずれがほとんどない場合、つまり、調律値がほぼゼロである場合の例を示した。ここで、複数の基準ピッチ430のうち、調律の基準となる調律基準位置432は440Hzであり、ピーク群のうち調律基準位置432に対応する第1分布400における基準位置に相当するピーク350も440Hzである。
図5は、本発明の一実施形態における調律方法において、調律値の算出方法の一例を示す図である。図5は、複数のピーク340、350、360と基準ピッチ430とがずれた場合を示している。図4と同様に、図5の横軸420はピッチ(各ピッチ範囲)をcent表示で示し、縦軸410は各ピッチ範囲における度数を示す。図5において、調律基準位置432は440Hzであるが、ピーク350は440Hzからずれている。つまり、調律基準位置432と第1分布400における基準位置に相当するピーク350との間にオフセット436が設けられている。換言すると、複数のピーク340、350、360はこれらのピークに対応する位置に設定された各々の基準ピッチ430に対して同一方向にずれている、ということもできる。このずれ量(オフセット値)を調律値として算出する。
上記では、複数のピーク340、350、360とこれらのピークに対応する基準ピッチ430との位置関係に基づいて調律値を算出する例を示したが、この例に限定されない。例えば、ピーク340、350、360の各々を含む山(凸形状の分布)の形状に基づく位置とこれらの山に対応する基準ピッチ430との位置関係に基づいて調律値を算出してもよい。例えば、ピーク340を含む山の形状に基づいて得られるガウシアン分布の平均値とその山に対応する基準ピッチ430とのずれ量を調律値として算出してもよい。
また、複数のピーク340、350、360とこれらのピークに対応する基準ピッチ430とのずれ量がそれぞれ異なる場合、以下のように調律値を算出してもよい。
(1)最も高いピークとそのピークに対応する基準ピッチ430とのずれ量を調律値とする。
(2)それぞれのピークに対する基準ピッチ430からのずれ量の平均値を調律値とする。
(3)それぞれのピークに対する基準ピッチ430からのずれ量に対して各ピークの高さを加重値として加算又は乗算し、加重値を加味したずれ量の平均値を調律値とする。
(4)それぞれのピークに対する基準ピッチ430からのずれ量を、演奏した各音高の調律値とする事でストレッチチューニングを施した楽器の音高調律値を算出する。
上記のうち(4)の調律値の算出方法によると、例えば、ピアノなら1音階ごとの調律値を算出することができ、ギターなら弦ごとの調律値を算出することができる。このようにすることで、プログラムが予めお勧めのストレッチチューニング値を持っていれば、当該お勧めのチューニング値からのずれ量に基づいて、例えばユーザに対して「A5のチューニングを5cent上げた方が明るく響いた演奏に聞こえます。」などのコメントを提供することが可能になる。
なお、上記の調律推定機能部200は1つのコンピュータに備えられていてもよい。又は、上記の調律推定機能部200は複数のコンピュータに備えられてもよい。つまり、入力音取得部210、ピッチ算出部220、及び調律値算出部230の機能が当該複数のコンピュータが協働することで実現されてもよい。例えば、入力音取得部210、ピッチ算出部220、及び調律値算出部230の一部又は全部が異なるコンピュータに備えられており、これらのコンピュータがネットワークを介してデータ通信を行うことで、調律推定機能部200としての機能を果たしてもよい。
以上のように、本発明の第1実施形態に係る調律推定装置10によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。
ここで、図3に示す歌唱ピッチ波形300において、ノイズを除去してから図4に示す第1分布400を算出してもよい。このノイズ除去の方法としては、例えば、細切れに取得されたピッチ(所定の時間以下の短いピッチ)はノイズと判断し、第1分布400に含まれないように処理されてもよい。また、入力音のボリュームが所定の音量以下の場合、又は入力音のボリュームのばらつきが所定のばらつき以上の場合にノイズと判断し、第1分布400に含まれないように処理されてもよい。又は、入力音のピッチのばらつきが所定のばらつき以内に安定している領域を調律推定領域と判断し、この領域のピッチに基づいて第1分布400を算出してもよい。又は、入力音のピッチが水平の箇所を調律推定領域と判断してもよい。ここで、ピッチが水平とは、所定期間のピッチが変動しない、又は所定期間のピッチの変動率が一定以下であることを意味する。また、歌唱又は演奏の手本となるデータ(例えばMIDIデータ)がある場合、そのMIDIデータから調律推定領域を決定してもよい。
〈第2実施形態〉
本発明の第2実施形態に係る調律推定装置10Aに含まれる調律推定機能部200Aの構成及びその推定方法について図6乃至図8を用いて説明する。ここで、第2実施形態において、調律推定装置のハードウェア構成は第1実施形態と同様であるので、ここでは説明を省略する。図6は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部200Aはピッチ算出部220Aと調律値算出部230Aとの間にピッチ変換部240Aが設けられている点において、第1実施形態に係る調律推定装置10と相違する。
ピッチ変換部240Aは、例えば図4に示す第1分布400を一定周期で配置された基準点を始点とする複数の分布に分割し、分割された複数の分布を積算して第2分布を算出する。ここで、図7は、本発明の一実施形態における調律方法において、ピッチ変換部による第1分布から第2分布への変換方法の一例を示す図である。図7を用いて具体的に説明すると、まず、図7(a)及び(b)に示すように図4に示す第1分布400を一定周期で配置された基準ピッチ430(基準ピッチ430−1、430−2、430−3を特に区別しない場合は単に基準ピッチ430という)を境界として、複数の分布450(分布450−1、450−2、450−3、450−4を特に区別しない場合は単に分布450という)に分割する。ここで、分割された複数の分布450は各々の基準ピッチ430を始点としているので、各々の分布450の横軸の幅は隣接する基準ピッチ430の間隔と同じである。つまり、各々の分布450は基準ピッチ430をゼロ点とし100centのピッチ幅を有する度数分布である。そして、図7(c)に示すように分割された複数の分布450を、各々の始点である基準ピッチ430が一致するように横軸を変換して積算する。ここで、図7(c)では、説明の便宜上、分布450−1、450−2、450−3、450−4だけを積算した例を示したが、もちろん分割された全ての分布を積算してもよい。
上記の変換方法を換言すると、例えば分割された複数の分布450のピッチ幅を100centとした場合、第1分布400を図5のピッチ値を100で割った余りの値を横軸とする複数の分布450に分割し、分割された複数の分布450を積算する、ということもできる。つまり、第1分布400の横軸Pから第2分布450の横軸Xへの変換は以下の式で計算することができる。
=P・mod(100cent)
図8は、本発明の一実施形態における調律方法において、積算された第2分布の一例を示す図である。図8に示すように、図7に示す分割された複数の分布450が積算された第2分布460は両端の度数が高く、中央付近の度数が低い度数分布である。これはピッチ変換部240Aが第1分布400をそのピーク付近で分割しているからである。ここで、第2分布460の両端は図7における基準ピッチ430に対応しており、図8では第2分布460の左端を基準ピッチ430Lといい、右端を基準ピッチ430Rという。図8では、積算された第2分布460は、基準ピッチ430Lの近傍に積算ピーク470(第2分布460のピーク)を有している。このようにして、ピッチ変換部240Aは第1分布400のピーク群の周期性を反映した分布を生成する。
調律値算出部230Aは、図8の積算された第2分布460に基づいて調律値を算出する。具体的には、調律値は積算ピーク470、及び積算された第2分布460の基準ピッチ430Lからのプラス方向へのずれ量又は430Rからのマイナス方向へのずれ量に基づいて算出される。つまり、調律値は基準ピッチ430からの相対的なずれ量を表している。第2実施形態では、分割された複数の分布450の区間は隣接する基準ピッチ430の間隔として定義されたが、分布450の区間は複数の基準ピッチ430毎の間隔としてもよい。この場合、分布450は複数のピークを含むことになるため、上記(1)〜(4)と同様の方法で調律値を算出してもよい。
以上のように、本発明の第2実施形態に係る調律推定装置10Aによると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、第1分布400の周期性を反映した第2分布460に基づいて調律値を算出することができるため、より正確な調律値を算出することができる。
〈第3実施形態〉
本発明の第3実施形態に係る調律推定装置10Bに含まれる調律推定機能部200Bの構成及びその推定方法について図9乃至図11を用いて説明する。ここで、第3実施形態において、調律推定装置のハードウェア構成は第1実施形態と同様であるので、ここでは説明を省略する。図9は、本発明の一実施形態における調律機能の機能構成を示すブロック図である。調律推定機能部200Bはピッチ変換部240Bと調律値算出部230Bとの間にピッチ平滑処理部250Bが設けられている点において、第2実施形態に係る調律推定装置10Aと相違する。
図10及び図11を用いて、ピッチ平滑処理部250Bの具体的な処理方法について説明する。図10は、本発明の一実施形態における調律方法において、積算された第2分布の一例を示す図である。図11は、本発明の一実施形態における調律方法において、平滑化された第3分布の一例を示す図である。ピッチ平滑処理部250Bは、図10に示す積算された第2分布460Bを平滑化処理して図11に示す第3分布480Bを得る。ここで、平滑化処理としては、移動平均やローパスフィルタなどを用いることができる。
例えば、第2分布460Bにノイズに起因した鋭いノイズピーク462Bが含まれていると、第2ピーク470Bの代わりにノイズピーク462Bを用いて調律値を算出してしまう。このような場合であっても、ピッチ平滑処理部250Bによる平滑化によってノイズピーク462Bを除去又は非顕在化することができる。そして、調律値算出部230Bは、平滑ピーク490B(第3分布480Bのピーク)に基づいて調律値を算出する。
以上のように、本発明の第3実施形態に係る調律推定装置10Bによると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、調律値を算出するピークを検出する前に平滑化処理を行うことで、突発的なノイズによって調律値が異常値を示すことを抑制することができる。
第3実施形態では、ノイズの影響を低減するために平滑化処理を用いたが、この方法に限定されない。例えば、図10に示す第2分布460Bにおいて、横軸に対する傾き値を算出し、傾き値が所定の範囲から外れた場合にその領域を調律値の計算対象外としてもよい。傾き値は隣接するピッチ間の傾きであってもよく、複数のピッチに基づく傾きであってもよい。また、第3実施形態では第2分布460Bに対して平滑化処理を行ったが、この方法に限定されない。例えば、図4及び図5に示す第1分布400に対して平滑化処理を行ってもよい。また、第1分布400に対して平滑化処理を行った後に、複数の分布に分割し、積算することで第2分布460Bを得てもよい。
〈第4実施形態〉
第4実施形態では、図11に示す平滑ピーク490Bに基づいて調律値算出に用いるピークの絞り込みを行う例について説明する。調律推定装置のハードウェア構成及び調律推定機能部の構成に関しては第3実施形態と同様であるので、ここでは説明を省略する。第4実施形態では、第3実施形態と同様に平滑化処理によって平滑ピーク490Bを含む第3分布480Bを算出し、平滑ピーク490Bの位置に対応する領域に限定して図10に示す第2分布460Bのピークを検索する。ここで、平滑ピーク490Bの位置に対応する領域とは、例えば、平滑ピーク490Bの位置から所定の範囲を含む領域としてもよい。具体的には、平滑ピーク490Bを基準に上下10centの領域としてもよい。又は、平滑ピーク490Bを含むガウシアン分布の平均値±標準偏差(σ)の領域としてもよい。また、第2分布460Bのピークを検索する領域は、平滑化処理の計算に用いるピッチ幅(つまり、何cent単位で平滑化処理を行うか)に応じて変化してもよい。つまり、平滑化処理の計算に用いるピッチ幅が広くなると、それに伴って上記の検索範囲も広く設定される。具体例としては、4cent単位で平滑化処理を行う場合は検索領域を平滑ピーク490Bを基準に上下4centの領域とし、10cent単位で平滑化処理を行う場合は検索領域を平滑ピーク490Bを基準に上下10centの領域とするように、平滑化処理を行う単位に応じて検索領域を自動的に設定してもよい。
以上のように、本発明の第4実施形態に係る調律推定装置によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、平滑化された分布に基づいて絞り込まれた領域におけるピークを用いて調律値を算出することで、突発的なノイズによって調律値が異常値を示すことを抑制しつつ、精度の高い調律値を算出することができる。
〈第5実施形態〉
本発明の第5実施形態に係る調律推定装置10Cに含まれる調律推定機能部200Cの構成及びその推定方法について図12乃至図14を用いて説明する。ここで、第5実施形態において、調律推定装置のハードウェア構成は第1実施形態と同様であるので、ここでは説明を省略する。図12は、本発明の一実施形態における調律機能の構成を示すブロック図である。調律推定機能部200Cはピッチ算出部220Cと調律値算出部230Cとの間に複数の評価部260C(260C−1〜260C−5)が設けられている点において、第1実施形態に係る調律推定装置10と相違する。図12に示す評価部260Cは、例えば、図4に示す複数のピーク340、350、360とそれらに対応する複数の基準ピッチ430との比較、又は図8に示す積算ピーク470と基準ピッチ430L又は430Rとの比較に基づいて、入力音に対する評価値を算出する。
複数の評価部260Cはそれぞれ異なる評価基準を有しており、入力音はそれぞれの評価基準に基づいて評価され、評価部260C毎に異なる評価値が算出される。そして、算出された複数の評価値に基づいて調律値が算出される。以下に評価値及び調律値の算出方法について詳しく説明する。
図13は、本発明の一実施形態における調律方法において、評価部による評価方法の一例を示す図である。図13を用いて、評価部260Cによる評価値の算出方法について説明する。図13には図8と同様の第2分布460Cが示されている。図13では、基準ピッチ430L及び430Rから一定の位置に第1しきい値434L及び第2しきい値434Rが設けられている。そして評価値は、基準ピッチ430Lから第1しきい値434Lまでの第1評価領域T1の第2分布460Cの積分値と、基準ピッチ430Rから第2しきい値434Rまでの第2評価領域T2の第2分布460Cの積分値との合計に基づいて求められる。つまり、第2分布460Cが基準ピッチ430L及び430Rの付近に集中するほど評価値は高くなる。
図14は、本発明の一実施形態における調律方法において、評価部によって得られた評価値に基づく調律方法の一例を示す図である。図14において、複数の評価部260C−1〜260C−5では、それぞれ図13と同様の第2分布460Cに対する基準ピッチ430L及び430Rの位置が異なっている。つまり、複数の評価部における調律基準位置には、それぞれオフセットが設けられている。例えば、評価部260C−3の調律基準位置を440Hzとして、評価部260C−1、260C−2の調律基準位置は、それぞれ440Hzから+20cent、+10centずれるように設定され、評価部260C−4、260C−5の調律基準位置は、それぞれ440Hzから−10cent、−20centずれるように設定されてもよい。換言すると、複数の評価部260Cはそれぞれ異なる調律値を有している、ということもできる。
複数の評価部260C−1〜260C−5では、第2分布460Cに対する基準ピッチ430Lの位置が異なるため、第2分布460Cに対する第1しきい値434L−1〜434L−5及び第2しきい値434R−1〜434R−5の相対的な位置関係が異なっている。したがって、複数の評価部260C−1〜260C−5に対して算出された評価値はそれぞれ異なる値となる。ここで、第2ピーク470Cは基準ピッチ430L又は430Rに近いほど評価値は高くなるため、評価値に基づいて調律基準位置が最適な評価部260Cを判断することができる。例えば、図14では、基準ピッチ430L及び430Rと第2ピーク470とがほぼ一致している評価部260C−2の評価値が最も高くなる。したがって、最も高い評価値を算出した評価部260C−2の調律基準位置に基づいて、調律値として「+10cent」が算出される。換言すると、調律値算出部230Cは、評価部260Cによって算出された複数の評価値に基づいて調律値を算出する、ということもできる。この例では、複数の評価部260Cのうち、評価値が最も高い評価部260C−2の調律基準位置に基づいて調律値を算出する方法について説明したが、この方法に限定されず、所定の評価値を算出した評価部260Cの調律基準位置に基づいて調律値を算出してもよい。また、その他の方法として、各評価部260Cの調律基準位置を横軸とし、それぞれの評価部260Cで算出された評価値を縦軸として、各評価部260Cに対してプロットされた評価値から得られるガウシアン分布の平均値に基づいて調律値を算出してもよい。
以上のように、本発明の第5実施形態に係る調律推定装置によると、ピッチの度数分布及び評価基準の異なる複数の評価部によって算出された評価値に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。上記の評価値は一定範囲の分布を反映するので、突発的なノイズ等の影響を受けにくくすることができる。
〈第6実施形態〉
第6実施形態では、対象範囲を限定して複数の評価部による評価値算出を行うことで、少ない評価部で精度の高い調律値の計算をすることができる調律推定装置について説明する。例えば、第4実施形態に示すように調律値算出に用いるピークの絞り込みを行い、そのピーク近傍において、調律基準位置を細かいステップで変化させた評価部260Cによって評価値を算出し、その評価値に基づいて調律値を算出してもよい。上記のピークの絞り込みは、第4実施形態と同様に平滑化処理された分布を用いて行ってもよく、平滑化前の分布を用いて行ってもよい。
以上のように、本発明の第6実施形態に係る調律推定装置によると、ピッチの度数分布及び評価基準の異なる複数の評価部によって算出された評価値に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。また、絞り込まれた領域に対して評価値を算出するため、より少ない評価部で高い精度の調律値を算出することができる。
ここで、第5実施形態及び第6実施形態において、第1しきい値434L及び第2しきい値434Rをさらに細分化してもよい。つまり、例えば、第1しきい値434Lを2つの領域に分割し、それぞれの領域に対して異なる加重の評価値を算出してもよい。例えば、基準ピッチ430L及び430Rに近いほど評価値が高くなるようにしてもよい。
また、フラット側とシャープ側とに分けて加算してもよい。つまり、第1評価領域T1の評価値と第2評価領域T2の評価値とのそれぞれに対して異なる加重を付与してもよい。例えば、聴感上目立つとされているシャープ側の評価値を相対的に低くすることで、評価値を聴取者の感覚に合わせてもよい。
〈第7実施形態〉
第7実施形態では、第1実施形態乃至第6実施形態のいずれかの調律推定機能部を用いたカラオケ装置20(評価装置)について説明する。第7実施形態では、カラオケ装置について説明するが、楽器演奏評価装置に適用することもできる。
[ハードウェア]
図15は、本発明の一実施形態におけるカラオケ装置のハードウェア構成を示すブロック図である。図15に示すように、カラオケ装置20は図1に示す調律推定装置10とは異なり、記憶部510が制御プログラム512、入力音データ514、及び調律基準情報516に加えて楽曲データ518及び得点基準情報519を有しており、信号処理部550にスピーカ570が接続されている。ここで、信号処理部550はMIDI形式の信号からオーディオ信号を生成する音源、D/Aコンバータ等を含む。
楽曲データ518は、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、MIDI形式で表現されたデータであってもよい。伴奏データは、制御部500によって読み出され、信号処理部550においてD/A変換され、スピーカ570から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ570から出力されるようにしてもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。
得点基準情報519は、評価機能が歌唱音声の評価の基準として用いる情報である。例えば、得点基準情報519には、歌唱技法を検出するための歌唱ピッチの変化(歌唱ピッチ波形)を特定するための情報が含まれる。ビブラート、コブシ、シャクリ、フォールといった歌唱技法であれば、例えば、以下のような歌唱ピッチ波形を示す。
(A)ビブラート:ピッチが細かく(所定周期以下で)高低に変化する。具体的な歌唱ピッチ波形の例を図3の「V」で示す。ビブラート検出の具体的な例は、特開2005−107087号公報に開示されている。
(B)コブシ:ピッチが一時的に(所定時間以内で)高くなり、その後、元のピッチに戻る。具体的な歌唱ピッチ波形の例を図3の「K」で示す。コブシ検出の具体的な例は、特開2008−268370号公報に開示されている。
(C)シャクリ:ピッチが所定時間かけて高くなり、その後安定する。具体的な歌唱ピッチ波形の例を図3の「S」で示す。シャクリ検出の具体的な例は、特開2005−107334号公報に開示されている。
(D)フォール:ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。具体的な歌唱ピッチ波形の例を図3の「F」で示す。フォール検出の具体的な例は、特開2008−225115号公報に開示されている。
[評価装置の機能部]
図16は、本発明の一実施形態におけるカラオケ装置の機能構成を示すブロック図である。カラオケ装置20は、伴奏出力部610、調律推定機能部200、特定区間検出部620、ピッチ比較部630、及び得点計算部640を含む。伴奏出力部610は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部550を介して、伴奏音をスピーカ570から出力させる。調律推定機能部200として、第1実施形態乃至第6実施形態で説明した調律推定機能部200を用いることができる。ここで、調律推定機能部200は基準ピッチ、ピッチ算出部220によって算出されたピッチ、及び調律値算出部230によって算出された調律値を出力してピッチ比較部630に送信する。なお、調律推定機能部200は算出された調律値によって補正されたピッチを出力してもよい。特定区間検出部620は、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、得点基準情報によって規定された歌唱技法を含む区間(特定区間)を検出する。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられていてもよい。
ピッチ比較部630は、歌唱音声の入力期間のうち、特定区間検出部620において検出された特定区間を除いた区間を、評価区間として設定する。ピッチ比較部630は、評価区間における歌唱ピッチ波形、基準ピッチ、及び調律推定機能部200によって算出された調律値に基づいて、歌唱ピッチと基準ピッチとを比較する。ここで、調律値を用いて歌唱ピッチを調整してもよく、また、逆に基準ピッチを調整してもよい。また、歌唱ピッチ又は基準ピッチの調整は曲の終了後に行われてもよく、歌唱中にリアルタイムに行われてもよい。比較結果として、この例では、歌唱ピッチ波形と基準ピッチとの不一致度を算出する。ここで、複数の基準ピッチが100cent間隔で存在する。そのため、複数の基準ピッチのうち、歌唱ピッチに最も近い基準ピッチが歌唱ピッチの比較対象として選択される。歌唱ピッチ波形と基準ピッチとの差が大きいほど、不一致度が高くなるように算出される。例えば、歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出される。
このようにして、メロディに依存しない歌唱評価を行うことができる。また、この例では、歌唱ピッチと基準ピッチとが、歌唱音声の入力期間全体ではなく、特定区間を除いた区間において比較している。したがって、特定区間における歌唱技法による意図的な歌唱ピッチのずれが、不一致度を増加させてしまわないようにすることもできる。なお、評価区間をさらに複数に分割された区間に分けて、それぞれの区間において不一致度を算出するようにしてもよい。複数に分割された区間は、それぞれ一部が重複した区間を有していてもよい。
得点計算部640は、ピッチ比較部630における比較結果に基づいて、歌唱音声の評価の指標となる得点値を算出する。この例では、ピッチ比較部630で算出された不一致度が高いほど得点値が低く算出され、歌唱音声の評価が悪くなる。なお、得点計算部640は、この不一致度のみに基づいて得点値を算出するのではなく、さらに他の要素に基づいて得点値を算出してもよい。他の要素は、歌唱技法および歌唱音声データから抽出可能な他のパラメータなどが想定される。歌唱技法を得点値に反映させる場合には、特定区間検出部620において検出された特定区間に対応する歌唱技法を用いればよい。他のパラメータとしては、例えば、音量変化がある。音量変化を用いれば、歌唱の抑揚を評価に加えることもできる。得点計算部640による評価結果は、表示部530において提示されてもよい。
以上のように、本発明の第7実施形態に係るカラオケ装置によると、ピッチの度数分布におけるピーク群に基づいて調律値を算出することができるため、ガイドメロディ又は変更された伴奏の音高情報がなくても入力音に基づいて調律情報を算出することができる。
ここで、第7実施形態において、ピッチ比較部630で算出される不一致度は、基準ピッチと歌唱ピッチとの差分をサンプルごとに加算していたが、この差分が大きいほど、不一致度がさらに大きくなるように重み付けをしてもよい。例えば、差分が10centである場合に対して20centである場合には、差分が2倍になるのではなく3倍になるようにすればよい。一方、基準ピッチと歌唱ピッチとの差分が所定範囲より小さい場合(例えば、2cent以下)である場合には、一致(差分0cent)しているものとして扱い、不一致度を大きくしないようにしてもよい。
また、基準ピッチと歌唱ピッチとの差分は、フラット側とシャープ側とに分けて加算してもよい。そして、フラット側の不一致度とシャープ側の不一致度とをそれぞれ算出してもよい。不一致度の大きさがいずれかに偏っている場合には、シャープ気味に外れた歌唱なのか、フラット気味に外れた歌唱なのかを判定することもできる。
〈第8実施形態〉
第8実施形態では、第1実施形態乃至第6実施形態のいずれかの調律推定機能部を用いたデータ処理装置について説明する。第8実施形態では、データ処理装置が調律された伴奏に対して歌唱データを補正して合成するデータ処理方法について説明する。ここで、ハードウェアは図1と同様のものを用いることができるため、ここでは説明を省略する。
[データ処理装置の機能部]
図17は、本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。データ処理装置30は、調律推定機能部200、入力音取得部700、補正部710、及び合成部720を含む。調律推定機能部200として、第1実施形態乃至第6実施形態で説明した調律推定機能部200を用いることができる。データ処理装置30において、入力音取得部700は第1入力音702及び第2入力音704の2つの入力音を取得する。それらのうち、第1入力音702が調律推定機能部200に送信され、調律推定機能部200では第1入力音702に基づく調律値706が算出される。補正部710は、調律推定機能部200によって算出された調律値706、第1入力音702、及び第2入力音704に基づいて、第1入力音702及び第2入力音704の関係を補正する。合成部720は、補正部710が補正した第1入力音712と第2入力音714とを合成する。
具体例として、以下に調律された伴奏に対して歌唱データを合成する場合について説明する。まず、調律推定機能部200に含まれる入力音取得部210は、歌唱データを取得する。次に、ピッチ算出部220は歌唱データに対する歌唱ピッチを算出する。次に、調律値算出部230は、歌唱ピッチの分布に基づいて歌唱データ調律値を算出する。次に、補正部710は、歌唱データ調律値に基づいて歌唱データを補正する。そして、合成部720は、補正された歌唱データと伴奏データとを合成する。
以上のように、本発明の第8実施形態に係るデータ処理装置によると、取得した歌唱データから算出された調律値に基づいて、自動的に歌唱データを補正して伴奏データと合成することができるため、ユーザの余計な操作を必要としないデータ処理装置を提供することができる。
〈第9実施形態〉
第9実施形態では、第1実施形態乃至第6実施形態のいずれかの調律推定機能部を用いたデータ処理装置について説明する。第9実施形態では、データ処理装置が楽器による演奏データ及び歌唱データを補正してこれらを合成するデータ処理方法について説明する。第9実施形態に用いられるハードウェアは図1と同様のものを用いることができるため、ここでは説明を省略する。また、データ処理機能部が有する機能ブロックは図17と同様であるが、各機能ブロックが有する機能が異なる。したがって、第9実施形態のデータ処理装置の動作について、図17を用いてその機能を説明する。
[データ処理装置の機能部]
図18は、本発明の一実施形態におけるデータ処理装置の機能構成を示すブロック図である。データ処理装置30Aは、データ処理装置30と同様に調律推定機能部200、入力音取得部700、補正部710、及び合成部720を含む。調律推定機能部200として、第1実施形態乃至第6実施形態で説明した調律推定機能部200を用いることができる。データ処理装置30Aにおいて、入力音取得部700は第1入力音702及び第2入力音704の2つの入力音を取得する。第1入力音702及び第2入力音704は調律推定機能部200に送信され、調律推定機能部200では第1入力音702に基づく第1調律値706及び第2入力音704に基づく第2調律値708が算出される。補正部710は、第1入力音702、第2入力音704、及び調律推定機能部200によって算出された第1調律値706、第2調律値708に基づいて、第1入力音702及び第2入力音704の関係を補正する。合成部720は、補正部710が補正した第1入力音712と第2入力音714とを合成する。
具体例として、演奏された演奏データ及び歌唱データを合成する場合について説明する。まず、入力音取得部210は演奏データ及び歌唱データを取得する。次に、ピッチ算出部220は演奏データに対する演奏ピッチ、及び歌唱データに対する歌唱ピッチを算出する。次に、調律値算出部230は、演奏ピッチの分布に基づいて演奏データ調律値を算出し、歌唱ピッチの分布に基づいて歌唱データ調律値を算出する。次に、補正部710は、演奏データ調律値に基づいて演奏データを補正し、歌唱データ調律値に基づいて歌唱データを補正する。そして、合成部720は、補正された演奏データと歌唱データとを合成する。
以上のように、本発明の第9実施形態に係るデータ処理装置によると、取得した演奏データ及び歌唱データから算出されたそれぞれの調律値に基づいて、自動的に演奏データ及び歌唱データを補正し、両者を合成することができるため、ユーザの余計な操作を必要としないデータ処理装置を提供することができる。
〈第10実施形態〉
第10実施形態では、第1実施形態乃至第6実施形態とは異なる方法で調律値を算出する調律推定装置について説明する。第10実施形態では、各音高に対して基準となる音高からのずれ量(調律値)を算出する調律値推定方法について説明する。ただし、第10実施形態に用いられるハードウェアは第1実施形態と同様のものを用いることができるので、ここでは説明を省略する。また、調律値推定装置が有する機能ブロックは図2と同様であるが、各機能ブロックが有する機能が異なる。したがって、第10実施形態の調律値推定装置の動作について、図2を用いたその機能を説明する。
[調律推定機能部]
第10実施形態の調律推定装置10Dの調律推定機能部200Dにおいて、入力音取得部210Dは入力音を取得する。また、ピッチ算出部220Dは入力音取得部210Dが取得した入力音のピッチを算出する。また、調律値算出部230Dは、基準ピッチに対して、ピッチ算出部220Dが算出したピッチが積算された分布におけるピークの調律値を音高毎に算出する。
図5の分布を用いて、調律推定装置10Dの動作を具体的に説明する。第1実施形態では、第1分布400のピーク340、350、360のうち一部又は全部と、それらの付近に設定された基準ピッチ430との差に基づいて、第1分布400全体の調律値を算出する方法について説明した。一方、第10実施形態では、ピッチが積算された第1分布400における各音高について個別に調律値を算出する。具体的には、ピーク340とその近傍の基準ピッチ430とのオフセット436に基づいて、ピーク340に対する調律値を算出する。同様にして、ピーク350とその近傍の基準ピッチ430とのオフセット436に基づいて、ピーク350に対する調律値を算出する。このようにして、各音高に対して個別に調律値を算出することができる。
以上のように、本発明の第10実施形態に係る調律推定装置によると、ピッチの度数分布における複数のピークに基づいて各音高に対して調律値を算出することができるため、特定の音高における調律値のずれを検出することができる。
〈第11実施形態〉
第11実施形態では、第1実施形態とは異なる方法で調律値を算出する調律推定装置について説明する。第1実施形態では、第1分布400の複数のピーク340、350、360と複数の基準ピッチ430とのずれ量に基づいて調律値を算出する調律方法について説明したが、第11実施形態では、第1分布400の複数のピーク340、350、360のうち、1つのピーク(例えば、ピーク350)と基準ピッチ430(例えば、調律基準位置432)とのずれ量に基づいて調律値を算出する調律方法について説明する。
第11実施形態の調律方法について、図5を参照して説明する。第11実施形態の調律推定装置は、調律基準位置432と第1分布400における基準位置に相当するピーク350とのずれ量のみに基づいて調律値を算出する。つまり、ピーク340とそれに対応する位置の基準ピッチ430とのずれ量、及びピーク360とそれに対応する位置の基準ピッチ430とのずれ量は考慮せず、調律基準位置432とピーク350とのずれ量のみに基づいて調律値を算出する。ただし、調律値の算出に用いる基準ピッチ430及び第1分布400のピークは、適宜選択することができ、上記のように、調律基準位置432及びピーク350に限定されない。また、第1分布400のピークは複数存在していなくてもよい。また、ピーク340、350、360と、それぞれのピークに対応する基準ピッチ430とのずれ量に基づいて、それぞれのピークに対応する調律値を算出してもよい。つまり、第1分布400から、複数の音高に対して、それぞれの音高に対する調律値を算出してもよい。
以上のように、本発明の第11実施形態に係る調律推定装置によると、特定の音高に対して調律値を算出することができるため、楽器のチューニングなどに利用することができる。また、複数の音高に対して、それぞれの調律値を同時に算出することが可能であるため、楽器のチューニング時間を短縮化することができる。
<その他の実施形態>
入力音取得部210によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。また、楽器音である場合には、特定区間として検出される技法として、例えば、ビブラート、スタッカート、ベンドアップ(シャクリ)、ベンドダウン(フォール)、スライド(ポルタメント)がある。これらの技法のうち、ピッチ変化を伴うビブラート、ベンドアップ、ベンドダウン、スライドが、実施形態と同様な方法で検出される。ピッチ算出部220において算出されるピッチに影響を及ぼすため、このようにして検出された特定区間においては、歌唱の場合と同様に評価区間における評価から除外される。これら以外にも、トリルおよび極めて短い修飾音等の音符の表現、サックスのグロール、ギターのカッティング等の音色に関する技法についても、ピッチの取得精度に影響があるため特定区間として検出して評価の除外の対象としてもよい。さらに複音の発音ができる楽器は誤動作を防止するために複音を検出して除去の対象としてもよい。
10:調律推定装置、 20:カラオケ装置、 30:データ処理装置、 100、500:制御部、 110、510:記憶部、 112:制御プログラム、 114:歌唱音声データ、 116:調律基準情報、 120:操作部、 130、530:表示部、 140:通信部、 150、550:信号処理部、 160:マイクロフォン、 20:カラオケ装置、 200:調律推定機能部、 210、700:入力音取得部、 220:ピッチ算出部、 230:調律値算出部、 240:ピッチ変換部、 250:ピッチ平滑処理部、 260:評価部、 300:歌唱ピッチ波形、 310、410:縦軸、 320、420:横軸、 330、430:基準ピッチ、 340、350、360:第1ピーク、 400:第1分布、 432:調律基準位置、 434L:第1しきい値、 434R:第2しきい値、 450:第2分布、 460:積算された第2分布、 462:ノイズピーク、 470:第2ピーク、 480:第3分布、 490:第3ピーク、 518:楽曲データ、 519:得点基準情報、 570:スピーカ、 610:伴奏出力部、 620:特定区間検出部、 630:ピッチ比較部、 640:得点計算部、 710:補正部、 720:合成部

Claims (11)

  1. 入力音を取得する第1入力音取得部と、
    前記第1入力音取得部が取得した前記入力音のピッチを算出するピッチ算出部と、
    前記ピッチ算出部が算出した前記ピッチの第1分布におけるピークに基づいて、調律の基準となる調律基準位置と前記第1分布における基準位置とのオフセットを表す調律値を算出する調律値算出部と、
    を備え、
    前記調律値算出部は、前記第1分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて前記調律値を算出することを特徴とする調律推定装置。
  2. 前記調律値算出部は、前記ピーク群と前記調律基準位置を含む複数の基準ピッチとのずれ量に基づいて前記調律値を算出することを特徴とする請求項1に記載の調律推定装置。
  3. 前記第1分布を一定周期で配置された基準点を始点とする複数の分布に分割し、前記分割された複数の分布を積算して第2分布を算出するピッチ変換部をさらに備え、
    前記調律値算出部は、前記ピッチ変換部によって積算された前記第2分布のピークに基づいて調律値を算出することを特徴とする請求項1に記載の調律推定装置。
  4. 前記ピッチ変換部によって分割された前記複数の分布の各々の区間の間隔は、前記調律基準位置を含む複数の基準ピッチのうち隣接する基準ピッチ間の間隔と等しいことを特徴とする請求項3に記載の調律推定装置。
  5. 前記第2分布を平滑化処理して第3分布を算出するピッチ平滑処理部をさらに備え、
    前記調律値算出部は、前記ピッチ平滑処理部によって算出された前記第3分布のピークを検索し、
    前記第2分布のピークは、前記第3分布のピークに基づいて決定される前記第2分布のピークであることを特徴とする請求項3に記載の調律推定装置。
  6. 請求項1乃至のいずれか一に記載の前記調律推定装置と、
    所定の評価区間において、前記入力音の前記ピッチ、複数の基準ピッチ、及び前記調律値算出部によって算出された前記調律値に基づいて、前記ピッチと前記複数の基準ピッチとを比較するピッチ比較部と、
    前記ピッチ比較部によって比較された結果に基づいて、前記入力音に対する得点値を算出する得点計算部と、
    をさらに備えることを特徴とする評価装置。
  7. 請求項1乃至のいずれか一に記載の前記調律推定装置と、
    第1入力音及び第2入力音を取得する第2入力音取得部と、
    前記第1入力音、前記第2入力音、及び前記調律推定装置が算出した前記調律値に基づいて、前記第1入力音及び前記第2入力音の関係を補正する補正部と、
    前記補正部によって補正された前記第1入力音及び前記第2入力音を合成する合成部と、を有し、
    前記調律推定装置は、前記第1入力音に基づいて前記調律値を算出することを特徴とするデータ処理装置。
  8. 入力音を取得する入力音取得部と、
    前記入力音取得部が取得した前記入力音のピッチを算出するピッチ算出部と、
    前記ピッチ算出部が算出した前記ピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律値算出部と、
    を備え、
    前記調律値算出部は、前記分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて前記調律値を算出することを特徴とする調律推定装置。
  9. 前記調律値算出部は、前記分布から、複数の音高に対してそれぞれの前記調律値を算出することを特徴とする請求項に記載の調律推定装置。
  10. 入力音を取得し、
    前記入力音のピッチを算出し、
    前記ピッチの第1分布におけるピークに基づいて、調律基準位置と前記第1分布における基準位置とのオフセットを表す調律値を算出する調律推定方法であって、
    前記調律値は、前記第1分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて算出される調律推定方法。
  11. 入力音を取得し、
    前記入力音のピッチを算出し、
    前記ピッチの分布におけるピークと音高毎に定められた基準とのオフセットを表す調律値を音高毎に算出する調律推定方法であって、
    前記調律値は、前記分布における複数のピークを含む、周期性を有するピーク群の位置関係に基づいて算出される調律推定方法。
JP2015220445A 2015-11-10 2015-11-10 調律推定装置及び調律推定方法 Active JP6759560B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015220445A JP6759560B2 (ja) 2015-11-10 2015-11-10 調律推定装置及び調律推定方法
US15/774,885 US10733900B2 (en) 2015-11-10 2016-10-27 Tuning estimating apparatus, evaluating apparatus, and data processing apparatus
PCT/JP2016/081810 WO2017082061A1 (ja) 2015-11-10 2016-10-27 調律推定装置、評価装置、およびデータ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015220445A JP6759560B2 (ja) 2015-11-10 2015-11-10 調律推定装置及び調律推定方法

Publications (2)

Publication Number Publication Date
JP2017090671A JP2017090671A (ja) 2017-05-25
JP6759560B2 true JP6759560B2 (ja) 2020-09-23

Family

ID=58695194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015220445A Active JP6759560B2 (ja) 2015-11-10 2015-11-10 調律推定装置及び調律推定方法

Country Status (3)

Country Link
US (1) US10733900B2 (ja)
JP (1) JP6759560B2 (ja)
WO (1) WO2017082061A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6690181B2 (ja) * 2015-10-22 2020-04-28 ヤマハ株式会社 楽音評価装置及び評価基準生成装置
JP6759560B2 (ja) * 2015-11-10 2020-09-23 ヤマハ株式会社 調律推定装置及び調律推定方法
JP6891662B2 (ja) * 2017-06-23 2021-06-18 富士通株式会社 音声評価プログラム、音声評価方法および音声評価装置
CN110998708A (zh) * 2017-08-03 2020-04-10 雅马哈株式会社 差分提示装置、差分提示方法及差分提示程序
WO2019026260A1 (ja) * 2017-08-03 2019-02-07 ヤマハ株式会社 評価装置、評価方法および評価プログラム
JP7307906B2 (ja) * 2019-02-01 2023-07-13 後藤ガット有限会社 楽器用調律器
JP6939922B2 (ja) * 2019-03-25 2021-09-22 カシオ計算機株式会社 伴奏制御装置、伴奏制御方法、電子楽器及びプログラム
CN110120216B (zh) * 2019-04-29 2021-11-12 北京小唱科技有限公司 用于演唱评价的音频数据处理方法及装置
US11211039B2 (en) 2019-08-29 2021-12-28 Yousician Oy Musical instrument tuning

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5056398A (en) * 1988-09-20 1991-10-15 Adamson Tod M Digital audio signal processor employing multiple filter fundamental acquisition circuitry
JPH06295192A (ja) 1993-04-09 1994-10-21 Matsushita Electric Ind Co Ltd 比較装置
JPH06308946A (ja) 1993-04-26 1994-11-04 Roland Corp 調律装置
US6580024B2 (en) * 2001-01-11 2003-06-17 Peterson Electro-Musical Products, Inc. Electronic strobe tuning aid
JP3597156B2 (ja) 2001-07-25 2004-12-02 株式会社第一興商 ピッチシフター付きカラオケ装置
US6924426B2 (en) * 2002-09-30 2005-08-02 Microsound International Ltd. Automatic expressive intonation tuning system
JP2005215493A (ja) 2004-01-30 2005-08-11 Brother Ind Ltd カラオケ装置及びプログラム
JP2008511023A (ja) * 2004-08-18 2008-04-10 トランスパフォーマンス, エルエルシー 付随的なビブラートメカニズムを用いて弦楽器を自己チューニングするための装置および方法
JP4581699B2 (ja) 2005-01-21 2010-11-17 日本ビクター株式会社 音程認識装置およびこれを利用した音声変換装置
JP2007193156A (ja) 2006-01-20 2007-08-02 Yamaha Corp 調律装置付電子楽器
US7514620B2 (en) * 2006-08-25 2009-04-07 Apple Inc. Method for shifting pitches of audio signals to a desired pitch relationship
JP2008076758A (ja) * 2006-09-21 2008-04-03 Roland Corp 楽器用チューナおよび楽器用アンプ
US8642874B2 (en) * 2010-01-22 2014-02-04 Overtone Labs, Inc. Drum and drum-set tuner
JP2013114088A (ja) 2011-11-29 2013-06-10 Kddi Corp 音響再生装置
JP6065703B2 (ja) 2013-03-27 2017-01-25 ブラザー工業株式会社 基準データ作成システム、及び演奏端末装置
JP6759560B2 (ja) * 2015-11-10 2020-09-23 ヤマハ株式会社 調律推定装置及び調律推定方法
US10586518B2 (en) * 2017-03-27 2020-03-10 Band Industries, Inc. Automatic tuning methods and systems

Also Published As

Publication number Publication date
WO2017082061A1 (ja) 2017-05-18
US20180357920A1 (en) 2018-12-13
JP2017090671A (ja) 2017-05-25
US10733900B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP6759560B2 (ja) 調律推定装置及び調律推定方法
JP4767691B2 (ja) テンポ検出装置、コード名検出装置及びプログラム
JP4823804B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
US8027631B2 (en) Song practice support device
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
US8859872B2 (en) Method for giving feedback on a musical performance
JP6759545B2 (ja) 評価装置およびプログラム
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4163584B2 (ja) カラオケ装置
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4932614B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5012263B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP5153517B2 (ja) コード名検出装置及びコード名検出用コンピュータ・プログラム
JP2009014923A (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP2016180965A (ja) 評価装置およびプログラム
JP5585320B2 (ja) 歌唱音声評価装置
JP2008015212A (ja) 音程変化量抽出方法、ピッチの信頼性算出方法、ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置
JP4367156B2 (ja) 調律装置及びそのプログラム
JP6638305B2 (ja) 評価装置
JP5012269B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
WO2016148256A1 (ja) 評価装置およびプログラム
JP2008015213A (ja) ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置
JP2008268358A (ja) カラオケ装置、歌唱評価方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6759560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151