JP6631199B2 - 技法判定装置 - Google Patents

技法判定装置 Download PDF

Info

Publication number
JP6631199B2
JP6631199B2 JP2015231562A JP2015231562A JP6631199B2 JP 6631199 B2 JP6631199 B2 JP 6631199B2 JP 2015231562 A JP2015231562 A JP 2015231562A JP 2015231562 A JP2015231562 A JP 2015231562A JP 6631199 B2 JP6631199 B2 JP 6631199B2
Authority
JP
Japan
Prior art keywords
start point
pitch
technique
volume
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015231562A
Other languages
English (en)
Other versions
JP2017097267A (ja
Inventor
隆一 成山
隆一 成山
松本　秀一
秀一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015231562A priority Critical patent/JP6631199B2/ja
Priority to CN201680068752.9A priority patent/CN108292499A/zh
Priority to PCT/JP2016/084945 priority patent/WO2017090720A1/ja
Publication of JP2017097267A publication Critical patent/JP2017097267A/ja
Priority to US15/989,514 priority patent/US10643638B2/en
Application granted granted Critical
Publication of JP6631199B2 publication Critical patent/JP6631199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、入力音の技法を判定する技術に関する。
カラオケ装置には、歌唱音声を解析して評価する機能が備えられている。歌唱の評価には様々な方法が用いられる。その方法の一つとして、例えば、特許文献１には、周波数（音程）や音量など異なる音楽要素をそれぞれ採点し、この採点結果に基づいて総合得点を算出する歌唱を採点するカラオケ装置が開示されている。
特開２００６−３１０４１号公報
カラオケ装置は、歌唱の特徴的な部分を技法として検出して評価するが、様々な技法があり、従来のカラオケ装置では検出できない技法があるという問題があった。
本発明の課題の一つは、入力音の技法を判定することにある。
本発明の一実施形態によると、入力音を取得する入力音取得部と、前記入力音取得部によって取得された前記入力音に基づいてピッチを時系列に検出するピッチ検出部と、前記入力音取得部によって取得された前記入力音に基づいて音量を時系列に検出する音量検出部と、予め定められた期間ごとに前記音量検出部によって検出された前記音量の変動が所定の閾値以上か否かを判定し、前記音量の変動が前記所定の閾値以上である期間の開始点を第１の開始点として検出する第１の開始点検出部と、前記第１の開始点検出部によって検出された前記第１の開始点後の音量の変化と前記第１の開始点後のピッチの変動とに基づいて、前記入力音の技法を判定する技法判定部と、を備える、技法判定装置が提供される。
前記技法判定部は、前記第１の開始点後の所定の期間におけるピッチの変動に基づいて前記技法を判定してもよい。
技法判定装置は、前記ピッチ検出部によって検出された前記ピッチが所定幅を超えて周期的に変動するピッチ変動期間の開始点を第２の開始点として検出する第２の開始点検出部をさらに備え、前記技法判定部は、前記第１の開始点と前記第２の開始点とに基づいて、前記技法を判定してもよい。
前記技法判定部は、前記音量の変動及び前記ピッチの変動の相関関係に基づいて前記技法を判定してもよい。
技法判定装置は、前記技法判定部によって判定された前記技法に基づいて入力音に対する評価値を算出する評価部をさらに備えてもよい。
本発明の一実施形態によると、コンピュータに、入力音を取得し、前記入力音に基づいてピッチを時系列に検出し、前記入力音に基づいて音量を時系列に検出し、予め定められた期間ごとに検出された前記音量の変動が所定の閾値以上か否かを判定し、前記音量の変動が前記所定の閾値以上である期間の開始点を第１の開始点として検出し、検出された前記第１の開始点後の音量の変化と前記第１の開始点後のピッチの変動とに基づいて、前記入力音の技法を判定することを実行させるためのプログラムが提供される。
本発明の一実施形態によれば、入力音の技法を正確に判定することが可能になる。
本発明の一実施形態における技法判定装置１の構成を示すブロック図である。 本発明の一実施形態における技法判定機能および評価機能の構成を示すブロック図である。 本発明の一実施形態における第１の開始点検出の概念を説明するための図である （ａ）本発明の一実施形態における抜き判定の概念を説明するための図である。（ｂ）本発明の一実施形態における抜き判定の概念を説明するための図である。 （ａ）本発明の一実施形態におけるビブラート判定の概念を説明するための図である。（ｂ）本発明の一実施形態におけるビブラート判定の概念を説明するための図である。 （ａ）本発明の一実施形態におけるデクレッシェンド判定の概念を説明するための図である。（ｂ）本発明の一実施形態におけるデクレッシェンド判定の概念を説明するための図である。 （ａ）本発明の一実施形態におけるクレッシェンド判定の概念を説明するための図である。（ｂ）本発明の一実施形態におけるクレッシェンド判定の概念を説明するための図である。 本発明の一実施形態における技法判定機能の変形例の構成を示すブロック図である。 本発明の一実施形態の変形例における第２の開始点検出の概念を説明するための図である。 （ａ）本発明の一実施形態の変形例における抜き判定の概念を説明するための図である。（ｂ）本発明の一実施形態の変形例における抜き判定の概念を説明するための図である。
以下、本発明の一実施形態における技法判定装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
＜第１実施形態＞
本発明の第１実施形態における技法判定装置について、図面を参照しながら詳細に説明する。第１実施形態に係る技法判定装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音を判定する機能を備えた装置である。この技法判定装置は、歌唱音のピッチと音量を時系列に検出し、音量の変化とピッチの変動に基づいて特定の技法を判定する。
［ハードウエア］
図１は、本発明の第１実施形態における技法判定装置１０の構成を示すブロック図である。技法判定装置１は、例えば、歌唱採点機能を備えたカラオケ装置である。技法判定装置１０は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。信号処理部２１には、音入力部（例えば、マイクロフォン）２３及び音出力部（例えば、スピーカ）２５が接続されている。これらの各構成は、バスを介して相互に接続されている。
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラム１３ａをＣＰＵにより実行して、各種機能を技法判定装置１０において実現させる。実現される機能には、歌唱の技法判定機能が含まれる。また、実現される機能に、技法判定によって判定された技法に基づいた歌唱の評価機能が含まれてもよい。
記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、技法判定機能を実現するための制御プログラム１３ａを記憶する。制御プログラム１３ａは、歌唱の評価機能を含んでもよい。制御プログラム１３ａは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、技法判定装置１０は、記録媒体を読み取る装置を備えていればよい。また、制御プログラム１３ａは、インターネット等のネットワーク経由でダウンロードされてもよい。
また、記憶部１３は、歌唱に関するデータとして、楽曲データ１３ｂ、歌唱音声データ１３ｃを記憶する。また、記憶部１３は、評価基準データ１３ｄを記憶してもよい。楽曲データ１３ｂは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。歌唱音声データ１３ｃは、歌唱者が音入力部２３から入力した歌唱音声に対応するデータである。本実施形態では、歌唱音声データ１３ｃは、技法判定機能によって歌唱音声が判定されるまで、記憶部１３に記憶される。評価基準データ１３ｄは、評価機能によって歌唱音声の評価の基準として用いられる情報であり、評価対象の歌唱曲（歌唱音声の入力がされるときに出力されている歌唱曲）を示す楽曲データに予め対応付けられている基準音データであってもよい。
操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とが一体となったタッチパネル装置であってもよい。通信部１９は、制御部１１の制御に基づいて、インターネットやＬＡＮなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、音入力部２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。歌唱音声は、歌唱音声データ１３ｃとして記憶部１３に記憶される。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、音出力部２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディも音出力部２５から出力されるようにしてもよい。
［技法判定機能］
技法判定装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される技法判定機能について説明する。なお、以下に説明する技法判定機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
図２は、本発明の第１実施形態における技法判定機能１００の構成を示すブロック図である。図２を参照すると、技法判定機能１００は、入力音取得部１０３、ピッチ検出部１０５、音量検出部１０７、開始点検出部１０９、及び技法判定部１１１を含む。
入力音取得部１０３は、音入力部２３から入力された歌唱音声に対応する歌唱音声データ（入力音）を取得する。なお、入力音取得部１０３は、歌唱音声データを信号処理部２１から直接取得するが、いったん記憶部１３に記憶された歌唱音声データを取得するようにしてもよい。また、入力音取得部１０３は、音入力部２３への入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。本実施形態においては、入力音取得部１０３は、楽曲データの再生中に順次入力される歌唱音声データを、順次出力する。
ピッチ検出部１０５は、入力音取得部１０３によって取得された歌唱音声データから、歌唱音のピッチを時系列に検出する。即ち、ピッチ検出部１０５は、フレーム（所定期間で区切られたデータサンプル）ごとに歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによって歌唱音のピッチ（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。また、ピッチ検出部１０５は、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルからピッチを特定してもよい。ピッチ検出部１０５は、このようにして検出したピッチを示す情報を、技法判定部１１１に時系列に出力する。
音量検出部１０７は、入力音取得部１０３によって取得された歌唱音声データから、歌唱音の音量を時系列に検出する。音量検出部１０７は、歌唱音声データに基づいて、歌唱音の音量の時間的な変化（音量波形）を検出する。本実施形態において、音量検出部１０７は、歌唱音声データが示す音声信号の振幅に基づいて音量を検出する。音量検出部１０７は、検出された音量を示すデータを開始点検出部１０９に時系列に出力する。
開始点検出部１０９は、音量検出部１０７によって検出された音量を示すデータに対しフレーム（所定期間で区切られたデータサンプル）ごとに音量の変動が予め決められた所定の閾値ΔＶｔｈ以上か否かを判定する。音量の変動が所定の閾値ΔＶｔｈ以上であるフレームが予め決められた数以上（例えば、２フレーム以上）継続して検出された場合、開始点検出部１０９は、音量の変動が所定の閾値ΔＶｔｈ以上である複数のフレームを音量変化期間として認識し、音量変化期間を構成する複数のフレームにおける最初のフレームの開始点を音量変化の開始点（第１の開始点）として検出する。開始点検出部１０９は、検出された音量変化の開始点を示すデータを技法判定部１１１に出力する。
技法判定機能１００は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音を音出力部２５から出力させる伴奏出力部１０１を含んでもよい。この場合、伴奏音が出力されている期間における音入力部２３への入力音が判定対象の歌唱音声として認識される。
図３は、開始点検出部１０９における、開始点検出の概念を説明するための図である。図３は、歌唱音の音量を時系列に示す音量波形であり、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図３では、フレームｆn-1〜ｆn+6が示されている。フレームｆの長さは任意である。開始点検出部１０９は、各フレームｆn-1〜ｆn+6における音量の変動が所定の閾値ΔＶｔｈ以上あるか否かを判定する。例えば、フレームｆn、ｆn+1、ｆn+2、ｆn+3、ｆn+4で音量の変動が所定の閾値ΔＶｔｈ以上である（ΔＶｎ≧ΔＶｔｈ、ΔＶｎ＋１≧ΔＶｔｈ、ΔＶｎ＋２≧ΔＶｔｈ、ΔＶｎ＋３≧ΔＶｔｈ、ΔＶｎ＋４≧ΔＶｔｈ）場合、開始点検出部１０９は、フレームｆn〜ｆn+4、即ち、フレームｆnの開始点ｔ１からフレームｆn+4の終了点ｔ６までを音量変化期間として認識し、音量変化期間を構成するフレームｆn〜ｆn+4のうち、最初のフレームであるフレームｆnの開始点ｔ１を音量変化の開始点（第１の開始点）として検出する。
技法判定部１１１は、開始点検出部１０９によって検出された第１の開始点（音量変化の開始点）以後の音量の変化と、音量変化の開始点以後のピッチの変動とに基づいて、歌唱音声の技法を判定する。例えば、技法判定部１１１は、歌唱技法として、抜き、ビブラート、クレッシェンド及びデクレッシェンドを判定してもよい。
図４は、技法判定部１１１における、抜き判定の概念を説明するための図である。抜きとは、音量の降下を伴いながらピッチを振動させる技法である。図４（ａ）は歌唱音のピッチ波形の一例である。図４（ａ）において、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。図４（ｂ）は図４（ａ）に対応する歌唱音の音量波形の一例である。図４（ｂ）において、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図４（ａ）及び（ｂ）では、時系列的に同一の期間におけるピッチ波形及び音量波形を示している。図４（ｂ）においては、開始点検出部１０９によって検出された第１の開始点（音量変化の開始点）をｔ１とし、音量変化期間をｔ１〜ｔ６までの期間とする。技法判定部１１１は、第１の開始点（音量変化の開始点）ｔ１以降の音量変化期間における少なくとも一部の所定の期間を検出区間と定め、該検出区間においてピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動している場合、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定してもよい。前記所定の期間（検出期間）は、例えば、図４（ｂ）に示すように、第１の開始点（音量変化開始点）ｔ１からの音量の降下が予め決められた所定の値（ΔＶａ）以上となった時点（検出期間の開始点）ｔ４から音量変化期間の終了点ｔ６までであってもよい。技法判定部１１１は、検出期間ｔ４〜ｔ６においてピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動している場合、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定してもよい。尚、検出期間の設定は、以上に述べた例に限定されるわけではない。
検出期間は、以上に述べたように第１の開始点ｔ１以降の音量変化期間における少なくとも一部の所定の期間であればよく、音量変化期間の全期間（ｔ１〜ｔ６）を検出期間として設定してもよい。技法判定部１１１は、歌唱音に含まれる抜きを判定する場合、第１の開始点ｔ１後の音量の降下中、即ち、図４（ｂ）における音量変化期間（ｔ１〜ｔ６までの期間）に、ピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動していれば、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定してもよい。例えば、音量変化期間の全期間に予め決められた所定幅を超えたピッチの振動があれば、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定してもよい。
図５は、技法判定部１１１における、ビブラート判定の概念を説明するための図である。ビブラートとは、主にピッチを振動させる技法である。図５（ａ）は歌唱音のピッチ波形の一例である。図５（ａ）において、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。図５（ｂ）は図５（ａ）に対応する歌唱音の音量波形の一例である。図５（ｂ）において、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図５（ａ）及び（ｂ）では、時系列的に同一の期間におけるピッチ波形及び音量波形を示している。図５（ｂ）に示した歌唱音の音量波形は、音量変化期間を含まない。即ち、図５（ｂ）は、ｔ０〜ｔ８において、音量の変動が所定の閾値ΔＶｔｈ以上であるフレームが検出されなかった場合の歌唱音の音量波形を示している。図５に示すように、音量変化期間でない期間において、ピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している場合、技法判定部１１１は、ピッチの変動がビブラートによるものであり、歌唱音にビブラートが含まれていると判定する。
尚、図５（ｂ）では音量変化期間を含まない歌唱音の音量波形を示したが、ビブラートは、ピッチの振動に同期した、所定の閾値ΔＶｔｈ以上である音量の変動を伴う場合もある。即ち、ビブラートは、音量変化期間でない期間におけるピッチの所定幅（ΔＰｗ）を超えた周期的な変動に限定されるわけではない。技法判定部１１１は、ピッチの振動に同期した音量の変動が存在する音量変化期間において、ピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している場合、歌唱音にビブラートが含まれていると判定してもよい。
図６は、技法判定部１１１における、デクレッシェンド判定の概念を説明するための図である。図６（ａ）は歌唱音のピッチ波形の一例である。図６（ａ）において、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。図６（ｂ）は図６（ａ）に対応する歌唱音の音量波形の一例である。図６（ｂ）において、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図６（ａ）及び（ｂ）では、時系列的に同一の期間におけるピッチ波形及び音量波形を示している。図６（ｂ）においては、開始点検出部１０９によって検出された第１の開始点（音量変化の開始点）をｔ１とし、音量変化期間をｔ１〜ｔ６までの期間とする。図６に示すように、第１の開始点ｔ１後の音量が降下し、且つ第１の開始点ｔ１以後の音量変化期間においてピッチの予め決められた所定幅（ΔＰｗ）を超えた周期的な変動がない（ピッチの変動がない）場合、技法判定部１１１は、第１の開始点ｔ１後の歌唱音にデクレッシェンドが含まれていると判定する。
図７は、技法判定部１１１における、クレッシェンド判定の概念を説明するための図である。図７（ａ）は歌唱音のピッチ波形の一例である。図７（ａ）において、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。図７（ｂ）は図７（ａ）に対応する歌唱音の音量波形の一例である。図７（ｂ）において、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図７（ａ）及び（ｂ）では、時系列的に同一の期間におけるピッチ波形及び音量波形を示している。図７（ｂ）においては、開始点検出部１０９によって検出された第１の開始点（音量変化の開始点）をｔ１とし、音量変化期間をｔ１〜ｔ６までの期間とする。図７に示すように、第１の開始点ｔ１後の音量が上昇し、且つ第１の開始点ｔ１以後の音量変化期間においてピッチの予め決められた所定幅（ΔＰｗ）を超えた周期的な変動がない（ピッチの変動がない）場合、技法判定部１１１は、第１の開始点ｔ１後の歌唱音にクレッシェンドが含まれていると判定する。
以上のように、第１実施形態における技法判定装置１０は、入力された歌唱音声データからピッチ及び音量を時系列に検出し、音量の変動（音量の変化）とピッチの変動に基づいて、即ち、音量の変動（音量の変化）とピッチの変動の相関関係に基づいて特定の技法を判定する。ピッチ及び音量の検出から技法判定までの一連の処理は、所定のフレームごとに少ない演算量で実行することが可能であるため、歌唱音声データの蓄積や機械学習が不要である。これにより、演算量を抑えつつ、リアルタイムに特定の技法を正確に判定することが可能となる。
＜変形例＞
本発明の実施形態について以上に説明したが、本発明は上述した実施形態に限定されるわけではなく、他の様々な態様で実施可能である。以下の他の態様の一例を示す。
（変形例１）
技法判定装置１０において実現される機能には、以上に述べた歌唱の技法判定機能１００に加え、技法判定によって判定された技法に基づいた歌唱の評価機能が含まれてもよい。以下に、技法判定装置１０の制御部１１が記憶部１３に記憶された制御プログラム１３ａを実行することによって実現される評価機能２００について説明する。評価機能２００を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
図２では、技法判定機能１００とともに、技法判定機能１００によって判定された技法に基づいて歌唱の評価を行う評価機能２００も示している。図２を参照すると、評価機能２００は、技法取得部２０１、ピッチ取得部２０３、音量取得部２０５、基準データ取得部２０７、比較部２０９、及び評価部２１１を含む。
技法取得部２０１は、技法判定機能１００における技法判定部１１１によって判定された歌唱音の技法を示すデータを取得し、比較部２０９に出力する。ピッチ取得部２０３は、技法判定機能１００におけるピッチ検出部１０５によって検出されたピッチを示すデータを時系列に取得し、比較部２０９に出力する。音量取得部２０５は、技法判定機能１００における音量検出部１０７によって検出された歌唱音の音量を示すデータを時系列に取得し、比較部に出力する。基準データ取得部２０７は、記憶部１３に記憶された、対応する歌唱音の評価基準データ１３ｄを読み出して取得し、比較部２０９に出力する。なお、評価基準音データ１３ｄは、評価の基準となる音を示していればよいため、必ずしも歌唱の模範となる音声を示していなくてもよい。
比較部２０９は、取得した歌唱音のピッチを示すデータ、歌唱音の音量を示すデータ、及び歌唱音の技法を示すデータを対応する歌唱音の評価基準データ１３ｄと比較する。比較部２０９は、取得した歌唱音のピッチを示すデータと評価基準データ１３ｄに含まれる基準ピッチデータとを時系列に比較してもよく、取得した歌唱音の音量を示すデータと評価基準データ１３ｄに含まれる基準音量データとを時系列に比較してもよく、取得した歌唱音の技法を示すデータと価基準データ１３ｄに含まれる基準の歌唱技法データとを比較してもよい。例えば、比較部２０９は、抜きやビブラートなどの技法に関し、周波数の標準偏差、周波数の平均値、ピッチの振幅の平均値、ピッチの振幅の標準偏差、及びピッチの振幅の線形近似直線の傾きなどについて、取得した歌唱音の技法と価基準データ１３ｄに含まれる基準の歌唱技法とを比較してもよい。比較部２０９は、比較結果を評価部２１１に出力する。
評価部２１１は、比較部２０９から出力された比較結果に基づいて、歌唱音の評価の指標となる評価値を算出する。評価部２１１は、歌唱者による歌唱音のピッチを示すデータ、歌唱音の音量を示すデータ、及び歌唱音の技法を示すデータと対応する歌唱音の評価基準データ１３ｄとの一致度が高いほど評価値を高く算出し、不一致度が高いほど評価値を低く算出する。また、評価部２１１は、抜きやビブラートなどの難易度の高い技法について、歌唱者による歌唱音と歌唱音の評価基準データ１３ｄとの一致度が高い場合は、加重値を付与してもよい。尚、評価部２１１は、歌唱における技法を評価する際、歌唱者による歌唱音と評価基準データ１３ｄとを比較しなくてもよい。例えば、評価部２１１は、技法の時系列的な検出位置に関係なく、歌唱において所定の技法が検出された場合、評価値に加重値を付与してもよい。評価部２１１による評価結果は、表示部１７に表示されてもよい。
（変形例２）
上述した実施形態では、技法判定機能１００において、技法判定部１１１は、開始点検出部１０９によって検出された第１の開始点（音量変化の開始点）以後の音量変化期間におけるピッチの変動の有無に基づいて、歌唱音における抜き技法を判定している。しかし、音量変化期間におけるピッチの変動の開始点を第２の開始点として検出し、第１の開始点（音量変化の開始点）と第２の開始点（ピッチの変動の開始点）との差が所定の期間の範囲内である場合に、技法判定部１１１は音量変化期間の歌唱音において抜きが含まれていると判定してもよい。
図８は、本発明の第１の実施形態に変形例における技法判定機能１００ａの構成を示すブロック図である。図８を参照すると、技法判定機能１００ａは、入力音取得部１０３、ピッチ検出部１０５、音量検出部１０７、第１の開始点検出部１０９ａ、技法判定部１１１ａ及び第２の開始点検出部１１３を含む。技法判定機能１００ａにおける、入力音取得部１０３、ピッチ検出部１０５、音量検出部１０７については、上述した技法判定機能１００と同様であるため説明を省略する。また、第１の開始点検出部１０９ａは、技法判定機能１００にける開始点検出部１０９と同様であるため、説明を省略する。技法判定機能１００ａは、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音を音出力部２５から出力させる伴奏出力部１０１を含んでもよい。
技法判定機能１００ａにおける第２の開始点検出部１１３は、ピッチ検出部１０５によって検出されたピッチを示すデータに対し、ピッチが予め決められた所定幅を超えて周期的に変動しているか否かを検出し、ピッチの周期的な変動が検出された場合に、ピッチの周期的な変動が検出された期間をピッチ変動期間と特定して、ピッチ変動期間の開始点を第２の開始点として検出し、技法判定部１１１ａに出力する。
図９は、第２の開始点検出部１１３における、第２の開始点検出の概念を説明するための図である。図９は、歌唱音のピッチを時系列に示すピッチ波形であり、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。第２の開始点検出部１１３は、ピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している区間を検出する。一例として、第２の開始点検出部１１３は、ピッチ検出部１０５によって検出されたピッチを示すデータに対しフレーム（所定期間で区切られたデータサンプル）ごとに、各フレーム内におけるピッチの変動が予め決められた所定幅（ΔＰｗ）を超えているか否かを判定する。ピッチの変動が予め決められた所定幅（ΔＰｗ）を超えているフレームが予め決められた数以上（例えば、２フレーム以上）検出された場合、第２の開始点検出部１１３は、ピッチの変動が予め決められた所定幅（ΔＰｗ）を超えている複数のフレームをピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している区間として検出する。図９では、フレームｆn-1〜ｆn+5が示されている。フレームｆの長さは任意である。図９を参照すると、第２の開始点検出部１１３は、ピッチの変動が予め決められた所定幅（ΔＰｗ）を超えているフレームとしてフレームｆn-1〜ｆn+3を予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している区間として検出してもよい。
次に、第２の開始点検出部１１３は、ピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している区間における、ピッチの最大値（Ｐｍａｘ）と最小値（Ｐｍｉｎ）とを検出し、該最大値（Ｐｍａｘ）と該最小値（Ｐｍｉｎ）との中間値を基準値（Ｐｒｅｆ）として算出する。次に、第２の開始点検出部１１３は、ピッチが予め決められた所定幅（ΔＰｗ）を超えて周期的に変動している区間において、ピッチが基準値（Ｐｒｅｆ）と一致するタイミングを検出する。例えば、図９において、ピッチが基準値（Ｐｒｅｆ）となる時刻すなわち、時刻ｔ９〜ｔ１７が、ピッチが基準値（Ｐｒｅｆ）となるタイミングとして特定されてもよい。次いで、第２の開始点検出部１１３は、ピッチが基準値（Ｐｒｅｆ）となるタイミングが現れる時間間隔を測定し、（１）測定された時間間隔が予め定められた範囲内であり、（２）、ピッチが基準値（Ｐｒｅｆ）となるタイミング箇所が連続して所定回数以上（例えば、３回以上）検出され、（３）ピッチが所定幅（ΔＰｗ）を超えて周期的に変動した区間を、ピッチ変動期間として特定する。ピッチ変動期間の開始点（第２の開始点）としては、ピッチ変動期間における、ピッチが基準値（Ｐｒｅｆ）となる時系列的に最初のタイミングをピッチ変動期間の開始点（第２の開始点）とする。また、ピッチ変動期間の終了点としては、ピッチ変動期間における、ピッチが基準値（Ｐｒｅｆ）となる時系列的に最後のタイミングをピッチ変動期間の終了点とする。例えば、図９においては、ｔ１０〜ｔ１７の期間がピッチ変動期間として特定され、ピッチ変動の開始点である、第２の開始点はｔ１０であり、ピッチ変動の終了点はｔ１７である。尚、図９において、ｔ９とｔ１０との間隔が予め定められた範囲内ではないものとする。第２の開始点検出部１１３は、以上のようにピッチ変動の開始点を第２の開始点として検出し、検出された第２の開始点を示すデータを技法判定部１１１ａに出力する。
尚、以上に述べたピッチ変動期間の検出方法は一例であり、限定されるわけではない。ピッチ変動期間の検出方法の他の例としては、例えば、可変ピッチが１００セントであるガイドメロディを基準に、ピッチを示すデータのゼロクロス箇所（ピッチが負から正又は正から負に変化するタイミング）を検出して、ゼロクロス箇所が現れる時間間隔を測定し、（１）測定された時間間隔が予め定められた範囲内であり、（２）ゼロクロス箇所が連続して所定回数以上（例えば、３回以上）検出され、（３）ピッチが所定幅（ΔＰｗ）を超えて周期的に変動した区間を、ピッチ変動期間として特定してもよい。この場合、ピッチ変動期間の開始点（第２の開始点）としては、ピッチが予め決められた所定幅（ΔＰｗ）を超える区間において、時系列的に最初のピッチのピーク（０セントを基準にピッチの振幅が最大になる）時点から予め定められた期間以内にあり、且つ時系列的に最初にゼロクロスする時点をピッチ変動期間の開始点（第２の開始点）としてもよい。また、ピッチ変動期間の終了点としては、ピッチが予め決められた所定幅（ΔＰｗ）を超えている区間において、時系列的に最後のピッチのピーク（０セントを基準にピッチの振幅が最大になる）時点から予め定められた期間以内にあり、且つ時系列的に最後にゼロクロスする時点をピッチ変動期間の終了点としてもよい。
技法判定部１１１ａは、第１の開始点検出部１０９ａによって検出された第１の開始点（音量変化の開始点）以後の音量の変化と、第１の開始点以後のピッチの変動とに基づいて、歌唱音声の技法を判定するが、特に、歌唱技法として抜きを判定する際に、第１の開始点以後の音量の変化、及び第１の開始点以後のピッチの変動に加え、第２の開始点検出部１１３によって検出された第２の開始点（ピッチの変動の開始点）を用いる。以下に技法判定部１１１ａによる抜き判定について説明する。尚、技法判定部１１１ａによるビブラート、デクレッシェンド及びクレッシェンドの判定は、技法判定部１１１と同様であるため、説明を省略する。
図１０は、技法判定部１１１における、抜き判定の概念を説明するための図である。図１０（ａ）は歌唱音のピッチ波形の一例である。図１０（ａ）において、縦軸はピッチ（Ｐ）を示し、横軸は時間（Ｔ）を示す。図１０（ｂ）は図１０（ａ）に対応する歌唱音の音量波形の一例である。図１０（ｂ）において、縦軸は音量（Ｖ）を示し、横軸は時間（Ｔ）を示す。図１０（ａ）及び（ｂ）では、時系列的に同一の期間におけるピッチ波形及び音量波形を示している。図１０（ａ）においては、第２の開始点検出部１１３によって検出された第２の開始点（ピッチの変動の開始点）をｔ１０とし、ｔ１０〜ｔ１７までの期間をピッチ変動期間とする。また、図１０（ｂ）においては、第１の開始点検出部１０９ａによって検出された第１の開始点（音量変化の開始点）をｔ１とし、ｔ１〜ｔ６までの音量変化期間とする。この例では、図１０（ａ）におけるｔ１０が、図１０（ｂ）におけるｔ３に一致するものとする。
図１０に示すように、第１の開始点ｔ１後の音量が降下し、第１の開始点ｔ１以後においてピッチが予め決められた所定幅（この例では、ΔＰｗ）を超えて上下に振動し、且つ第１の開始点ｔ１と第２の開始点ｔ１０とが所定の期間の範囲内にある場合、技法判定部１１１ａは、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定する。即ち、歌唱音に含まれる抜きを判定する場合、第１の開始点ｔ１後の音量の降下中、つまり、図１０（ｂ）における音量変化期間（ｔ１〜ｔ６までの期間）に、ピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動し、且つ第２の開始点が（ｔ１０＝ｔ３）が第１の開始点（ｔ１）から所定の時間間隔以内にあれば、第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定できる。
このように、歌唱音における抜きを判定する際に、音量変化の開始点（第１の開始点）以後の音量の変化、及び音量変化の開始点以後のピッチの変動に加え、ピッチの変動の開始点（第２の開始点）を用いることにより、さらに抜き判定の精度が向上する。
以上では、音量変化期間に、ピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動し、且つ、第１の開始点（音量変化の開始点）と第２の開始点（ピッチの変動の開始点）との差が所定の期間の範囲内である場合に、技法判定部１１１が音量変化期間の歌唱音において抜きが含まれていると判定する例を説明した。しかしながら、本発明はこの例に限定されるわけではない。例えば、図４（ａ）、（ｂ）を参照して説明したように、第１の開始点（音量変化の開始点）以降の音量変化期間における少なくとも一部の所定の期間を検出区間と定め、該検出区間においてピッチが予め決められた所定幅（ΔＰｗ）を超えて上下に振動し、且つ、検出期間の開始点と第２の開始点（ピッチの変動の開始点）との差が所定の期間の範囲内である場合に、技法判定部１１１が第１の開始点ｔ１後の歌唱音に抜きが含まれていると判定してもよい。
以上に述べた技法判定機能１００、１００ａにおいて、入力音取得部１０３によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。なお、楽器音である場合には、子音および母音の概念が存在しないが、演奏方法によっては、各音の発音の開始点において歌唱と同様な傾向を有する。したがって、楽器音においても同様の判定ができる場合もある。
本発明の実施形態として説明した構成を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、又は、工程の追加、省略もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
また、上述した実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされると解される。
１０…技法判定装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…音入力部、２５…音出力部、１００、１００ａ…技法判定機能、１０１…伴奏出力部、１０３…入力音取得部、１０５…ピッチ検出部、１０７…音量検出部、１０９…開始点検出部、１０９ａ…第１の開始点検出部、１１１、１１１ａ…技法判定部、１１３…第２の開始点検出部、２００…評価機能、２０１…技法取得部、２０３…ピッチ取得部、２０５…音量取得部、２０７…基準データ取得部、２０９…比較部、２１１…評価部

Claims (5)

  1. 入力音を取得する入力音取得部と、
    前記入力音取得部によって取得された前記入力音に基づいてピッチを時系列に検出するピッチ検出部と、
    前記入力音取得部によって取得された前記入力音に基づいて音量を時系列に検出する音量検出部と、
    予め定められた期間ごとに前記音量検出部によって検出された前記音量の変動が所定の閾値以上か否かを判定し、前記音量の変動が前記所定の閾値以上である期間の開始点を第１の開始点として検出する第１の開始点検出部と、
    前記第１の開始点検出部によって検出された前記第１の開始点後の音量の変化と前記第１の開始点後のピッチの変動とに基づいて、前記入力音の技法を判定する技法判定部と、
    を備える、技法判定装置。
  2. 前記技法判定部は、前記第１の開始点後の所定の期間におけるピッチの変動に基づいて前記技法を判定する、請求項１に記載の技法判定装置。
  3. 前記ピッチ検出部によって検出された前記ピッチが所定幅を超えて周期的に変動するピッチ変動期間の開始点を第２の開始点として検出する第２の開始点検出部をさらに備え、
    前記技法判定部は、前記第１の開始点と前記第２の開始点とに基づいて、前記技法を判定する、請求項１に記載の技法判定装置。
  4. 前記技法判定部は、前記音量の変動及び前記ピッチの変動の相関関係に基づいて前記技法を判定する、請求項１乃至３のいずれか一項に記載の技法判定装置。
  5. 前記技法判定部によって判定された前記技法に基づいて入力音に対する評価値を算出する評価部をさらに備える、請求項１乃至４のいずれか一項に記載の技法判定装置。
JP2015231562A 2015-11-27 2015-11-27 技法判定装置 Active JP6631199B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015231562A JP6631199B2 (ja) 2015-11-27 2015-11-27 技法判定装置
CN201680068752.9A CN108292499A (zh) 2015-11-27 2016-11-25 技巧确定装置和记录介质
PCT/JP2016/084945 WO2017090720A1 (ja) 2015-11-27 2016-11-25 技法判定装置及び記録媒体
US15/989,514 US10643638B2 (en) 2015-11-27 2018-05-25 Technique determination device and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015231562A JP6631199B2 (ja) 2015-11-27 2015-11-27 技法判定装置

Publications (2)

Publication Number Publication Date
JP2017097267A JP2017097267A (ja) 2017-06-01
JP6631199B2 true JP6631199B2 (ja) 2020-01-15

Family

ID=58763518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015231562A Active JP6631199B2 (ja) 2015-11-27 2015-11-27 技法判定装置

Country Status (4)

Country Link
US (1) US10643638B2 (ja)
JP (1) JP6631199B2 (ja)
CN (1) CN108292499A (ja)
WO (1) WO2017090720A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6838588B2 (ja) * 2018-08-28 2021-03-03 横河電機株式会社 音声分析装置、音声分析方法、プログラム、および記録媒体
JP7158282B2 (ja) * 2018-12-28 2022-10-21 株式会社第一興商 カラオケ装置
CN112397043B (zh) * 2020-11-03 2021-11-16 北京中科深智科技有限公司 一种语音转化成歌曲的方法和系统
CN114155878B (zh) * 2021-12-03 2022-06-10 北京中科智易科技有限公司 一种人工智能检测系统、方法和计算机程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
JP3293745B2 (ja) * 1996-08-30 2002-06-17 ヤマハ株式会社 カラオケ装置
JP4048249B2 (ja) * 2003-09-30 2008-02-20 ヤマハ株式会社 カラオケ装置
JP2006031041A (ja) 2005-08-29 2006-02-02 Yamaha Corp フレーズごとに出力される採点データに基づいて採点画像を逐次変化させるカラオケ装置
JP2007232750A (ja) * 2006-02-27 2007-09-13 Yamaha Corp カラオケ装置、制御方法およびプログラム
JP2008026622A (ja) * 2006-07-21 2008-02-07 Yamaha Corp 評価装置
US20090193959A1 (en) * 2008-02-06 2009-08-06 Jordi Janer Mestres Audio recording analysis and rating
CN101859560B (zh) * 2009-04-07 2014-06-04 林文信 卡拉ok歌曲伴唱自动评分方法
JP6102076B2 (ja) * 2012-04-02 2017-03-29 ヤマハ株式会社 評価装置
JP6035112B2 (ja) * 2012-10-31 2016-11-30 株式会社第一興商 シャウト技法による歌唱を評価する音声評価装置
JP6427902B2 (ja) * 2014-03-17 2018-11-28 富士通株式会社 抽出プログラム、方法、及び装置

Also Published As

Publication number Publication date
JP2017097267A (ja) 2017-06-01
US20180277144A1 (en) 2018-09-27
WO2017090720A1 (ja) 2017-06-01
US10643638B2 (en) 2020-05-05
CN108292499A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6631199B2 (ja) 技法判定装置
JP6627482B2 (ja) 技法判定装置
US10497348B2 (en) Evaluation device and evaluation method
JP6690181B2 (ja) 楽音評価装置及び評価基準生成装置
JP4910854B2 (ja) こぶし検出装置、こぶし検出方法及びプログラム
JP2004102146A (ja) ビブラート採点機能を有するカラオケ採点装置
JP5447624B2 (ja) カラオケ装置
JP2020122948A (ja) カラオケ装置
JP5585320B2 (ja) 歌唱音声評価装置
JP4910855B2 (ja) リファレンスデータ編集装置、こぶし評価装置、リファレンスデータ編集方法、こぶし評価方法及びプログラム
JP5618743B2 (ja) 歌唱音声評価装置
JP4855980B2 (ja) カラオケ装置、歌唱評価方法およびプログラム
JP6638305B2 (ja) 評価装置
JP6175034B2 (ja) 歌唱評価装置
JP6144592B2 (ja) 歌唱採点システム
JP6074835B2 (ja) 楽曲練習支援装置
JP2019015761A (ja) カラオケ装置
JP2017111274A (ja) データ処理装置
JP2016177144A (ja) 評価基準生成装置および歌唱評価装置
JP2018146933A (ja) 評価装置、評価方法及びプログラム
JP2018146929A (ja) 評価装置、評価方法及びプログラム
JP5697395B2 (ja) 歌唱音声評価装置およびプログラム
JP2020140109A (ja) カラオケ装置
JP2017129787A (ja) 音採譜装置
JP2020106763A (ja) カラオケ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R151 Written notification of patent or utility model registration

Ref document number: 6631199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151