JPWO2016208002A1 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
JPWO2016208002A1
JPWO2016208002A1 JP2017524496A JP2017524496A JPWO2016208002A1 JP WO2016208002 A1 JPWO2016208002 A1 JP WO2016208002A1 JP 2017524496 A JP2017524496 A JP 2017524496A JP 2017524496 A JP2017524496 A JP 2017524496A JP WO2016208002 A1 JPWO2016208002 A1 JP WO2016208002A1
Authority
JP
Japan
Prior art keywords
unit
stuttering
music
section
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017524496A
Other languages
English (en)
Other versions
JP6426843B2 (ja
Inventor
四郎 鈴木
四郎 鈴木
孝義 熊倉
孝義 熊倉
利尚 佐飛
利尚 佐飛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer DJ Corp
Original Assignee
Pioneer DJ Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer DJ Corp filed Critical Pioneer DJ Corp
Publication of JPWO2016208002A1 publication Critical patent/JPWO2016208002A1/ja
Application granted granted Critical
Publication of JP6426843B2 publication Critical patent/JP6426843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • G10L21/12Transforming into visible information by displaying time domain information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

表示制御装置(7)は、複数の楽曲の噪音成分を検出する噪音検出部(71)と、噪音検出部(71)の検出結果を表示部(5)に表示させる表示制御部(72)と、を備え、表示制御部(72)は、噪音成分の検出結果を複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部(721)と、複数の楽曲のうち1の楽曲の所定区間の選択操作を検出する選択検出部(722)と、選択された区間における噪音成分の検出結果に応じ、1の楽曲以外の検出結果の表示状態を変更する表示変更部(723)とを備えている。

Description

本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。
従来、再生中の先行曲を後続曲に切り替える構成が知られている(例えば、特許文献1参照)。
この特許文献1に記載の構成では、音楽プレーヤが先行曲から後続曲にクロスフェードさせて切り換える場合、先行曲のフェードアウトを開始する位置の直前の拍位置Xを取得するとともに、後続曲のフェードインを完了する位置の直後の拍位置Yを取得する。そして、音楽プレーヤは、拍位置Xと拍位置Yとが一致するように、先行曲の再生中に後続曲の再生開始を前倒しで行うことで、ユーザが曲のリズムに乗って運動等を行っているときでも、その運動等のリズムを崩さずに、曲を切り換えて再生することができる。
特開2008−242287号公報
ところで、上述のようなクロスフェードは、DJパフォーマンスにおいて行われるミキシングの一手法であり、この場合、特許文献1に記載のような処理を用いることが考えられる。
しかしながら、特許文献1に記載のような処理では、先行曲と後続曲の拍位置を一致させるだけのため、先行曲と後続曲との両方が再生されているときに不協和音が発生してしまうおそれがある。このため、DJが事前に楽曲を聴き、不協和音が発生せずミキシングの相性が良い箇所を予め決定しておく必要があり、この事前準備が煩わしい。
本発明は、良好な楽曲のミキシングを支援可能な表示制御装置、表示制御方法および表示制御プログラムを提供することを1つの目的とする。
請求項1に記載の発明は、複数の楽曲の噪音成分を検出する噪音検出部と、前記噪音検出部の検出結果を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部と、前記複数の楽曲のうち1の楽曲の所定区間の選択操作を検出する選択検出部と、前記選択された区間における前記噪音成分の検出結果に応じ、前記1の楽曲以外の前記検出結果の表示状態を変更する表示変更部と、を備えていることを特徴とする表示制御装置である。
請求項6に記載の発明は、表示制御装置が、楽曲の音成分に関する情報を表示部に表示させる表示制御方法であって、前記表示制御装置が、複数の楽曲の噪音成分を検出する噪音検出ステップと、前記噪音検出ステップの検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて前記表示部に表示させる結果表示ステップと、前記複数の楽曲のうち1の楽曲の所定区間の選択操作を検出する選択検出ステップと、前記選択された区間における前記噪音成分の検出結果に応じて、前記1の楽曲以外の前記検出結果の表示状態を変更する表示変更ステップと、を実行することを特徴とする表示制御方法である。
請求項7に記載の発明は、請求項6に記載の表示制御方法を表示制御装置に実行させることを特徴とする表示制御プログラムである。
本発明の一実施形態に係る楽曲再生装置の概略構成を示すブロック図。 相性度設定テーブルを示す図。 噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われる前の状態を示す。 噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われた後の状態を示す。 楽曲再生装置が実施する楽曲解析処理を示すフローチャート。 楽曲解析処理を示すフローチャートであり、図4に続く処理を示す。 調波構造成分の検出処理の説明図。 調波構造成分の同音高の繰り返し成分の検出処理の説明図。 楽曲再生装置が実施する楽曲情報表示処理を示すフローチャート。 本発明の変形例に係る噪音検出結果の表示画面を表す模式図であり、先行曲の所定区間の選択操作が行われる前の状態を示す。 図9Aに示す状態で先行曲の所定区間の選択操作が行われた後の状態を示す。 図9Aに示す状態で先行曲の所定区間の選択操作が行われた後の状態を示す。
本発明の一実施形態について、図面を参照して説明する。
[楽曲再生装置の構成]
まず、図1、図2、図3Aおよび図3Bに基づいて、本発明の一実施形態に係る楽曲再生装置の構成について説明する。
図1に示すように、楽曲再生装置1は、クロスフェード等のミキシングや、スクラッチ操作(ユーザが楽曲の再生方向を前後にずらして特殊な音を出す操作)等のDJパフォーマンスを行うためのシステムである。
ここで、噪音と噪音とをクロスフェードする場合、不協和音が発生し難いためクロスフェードの相性が良いことが知られている。また、楽音と楽音とをクロスフェードする場合、不協和音が発生し易いためクロスフェードの相性が悪いことが知られている。なお、楽音とは、基音および倍音で構成された調波構造を有し、音の高さが感じられる音である。噪音とは、楽音以外の音、すなわち調波構造を有さない音であり、音程が感じられない音である。楽音としては、ボーカル、ピアノ、ギター、ベースの音が例示できる。噪音としては、ドラム、パーカッション、スクラッチの音が例示できる。
楽曲再生装置1は、上述の不協和音が発生しない、あるいは不協和音が目立たないような(ユーザが違和感を覚えない程度の不協和音が発生しているような)、良好な楽曲のクロスフェードを支援する。楽曲再生装置1は、第1記憶部2と、第2記憶部3と、操作部4と、表示部5と、音声処理装置6と、表示制御装置7とを備えている。
第1記憶部2は、楽曲データ21等を記憶する。楽曲データ21は、音声処理装置6および表示制御装置7と通信可能な外部機器または外部サーバー内に記憶されていてもよい。
第2記憶部3は、表示制御プログラムや、図2に示すような相性度設定テーブル等の表示制御装置7で用いる各種データを記憶する。
操作部4は、図示しないキーボードやマウスやタッチパネル等により構成されている。
表示部5は、液晶ディスプレイ等により構成されている。
音声処理装置6は、図示しないジョグダイヤルやピッチコントローラ等の操作に基づき、第1記憶部2に記憶された楽曲データ21に対し、クロスフェード処理等の信号処理を行い、処理済みの音声信号を音声出力部8へ出力する。
表示制御装置7は、噪音検出部71と、表示制御部72と、第1メモリ73と、第2メモリ74とを備えている。噪音検出部71および表示制御部72は、第2記憶部3に記憶された表示制御プログラムおよびデータをCPU(Central Processing Unit)が処理することにより構成されている。
噪音検出部71は、複数の楽曲にそれぞれ含まれる噪音成分および楽音成分を検出する。噪音検出部71は、区間分割部711と、成分検出部712と、比率算出部713と、区間属性判定部714とを備えている。
区間分割部711は、操作部4の操作に基づいて、第1記憶部2から楽曲データ21を取得する。区間分割部711は、楽曲データ21を所定単位で分割して、区間データを取り込む。本実施形態では、楽曲データ21を小節単位で分割する構成を例示するが、例えば、拍単位で分割してもよいし、楽曲の展開を事前に分析し、展開単位で分割してもよい。
成分検出部712は、区間分割部711で取り込まれた区間データに基づいて、楽曲の各区間に含まれる噪音成分を検出する。
比率算出部713は、成分検出部712での検出結果に基づいて、各区間に噪音成分が含まれる比率を算出し、算出結果を第1メモリ73に保存する。
区間属性判定部714は、比率算出部713での算出結果に基づいて、各区間が噪音区間であるか、楽音区間であるかを判定し、判定結果を第2メモリ74に保存する。
表示制御部72は、噪音検出部71の検出結果を表示部5に表示させる。表示制御部72は、結果表示部721と、選択検出部722と、表示変更部723とを備えている。
結果表示部721は、噪音検出部71の検出結果を先行曲および後続曲の時間情報と関連付けて、表示部5に表示させる。具体的には、結果表示部721は、図3Aに示すように、先行曲に関する先行曲情報50と、後続曲に関する後続曲情報55とを表示部5に表示させる。
先行曲情報50は、先行曲の波形501と、先行曲の音成分情報502とを備えている。音成分情報502は、複数の区間バー503から構成されており、図3Aにおける左側の区間バー503に対応する区間の後に右側の区間が再生されることを表している。結果表示部721は、区間バー503の色を噪音検出部71での検出結果に応じて設定する。後続曲情報55は、先行曲情報50と同様の構成を有し、波形551と、複数の区間バー553から構成された音成分情報552とを備えている。
選択検出部722は、操作部4による先行曲の時間情報における任意の箇所の選択操作を検出する。選択検出部722は、図3Aに二点鎖線で示すように、先行曲情報50の所定の区間バー503上にカーソルCRが表示された状態で、選択決定操作がなされると、当該区間バー503の区間が選択されたことを検出する。
表示変更部723は、選択された区間における噪音成分の検出結果に応じて、後続曲の検出結果の表示状態を変更する。表示変更部723は、第2記憶部3に記憶された相性度設定テーブルと、第1メモリ73および第2メモリ74に保存されたデータとに基づいて、選択区間と後続曲の各区間との相性度を設定する。表示変更部723は、図3Bに示すように、相性度を表す相性情報554を各区間に対応する区間バー553の上方に表示させる。表示変更部723は、噪音成分の比率を表す噪音比率情報555を区間バー553の下方に表示させる。
なお、相性情報554および噪音比率情報555の表示位置は、上述した位置に限らず、各区間に対応する情報であることが分かる位置であれば、他の位置であってもよい。
[楽曲再生装置の作用]
次に、楽曲再生装置1の作用として、楽曲解析処理および楽曲情報表示処理について説明する。
まず、図4〜図7に基づいて、楽曲解析処理について説明する。
図4に示すように、表示制御装置7の区間分割部711は、ユーザによる操作部4の操作に基づいて、所定の楽曲に対する楽曲解析処理の開始操作を検出すると、この楽曲の楽曲データ21を第1記憶部2から取得する(ステップS1)。この後、区間分割部711は、区間番号Mを1に設定し(ステップS2)、M番目の1小節分の区間データを取り込む(ステップS3)。
次に、成分検出部712は、区間データを解析し、図6に示すようなパワースペクトラムを計測する(ステップS4)。パワースペクトラムは、成分検出部712が所定時間毎(例えば、0.1秒毎)の各周波数の強度を求め、この求めた強度を周波数毎に平均化した結果である。また、パワースペクトラムは、12の階名(ド、レ♭、レ、ミ♭、ミ、ファ、ソ♭、ソ、ラ♭、ラ、シ♭、シ)のそれぞれについて4オクターブ分の強度を計測した結果である。また、パワースペクトラムは、横軸方向に連続して並ぶ複数本のパワースペクトラム毎に、1つ階名の音を表している。すなわち、1つの階名の音に対応する複数本のパワースペクトラムのうち、左端のパワースペクトラムが基音を表し、例えば、1つの階名に対応する音が4本のパワースペクトラムで構成される場合、左から2,3,4番目のパワースペクトラムが基音の1,2,4オクターブ上の音(2,4,8倍音)を表している。
この後、図4に示すように、比率算出部713は、成分検出部712で計測された全パワースペクトラムを合算し、音成分全体量(Psa)を算出する(ステップS5)。
そして、成分検出部712は、パワースペクトラムから調波構造成分(Pgr)、すなわち楽音成分を検出する(ステップS6)。具体的には、成分検出部712は、1つの階名の音を構成する4本のパワースペクトラムのうち、2本以上のパワースペクトラムが楽音認定閾値Lm以上である場合、すなわち2つ以上のオクターブの音で構成されている場合、当該階名の音成分が調波構造成分であると判定する。一方、成分検出部712は、楽音認定閾値Lm以上のパワースペクトラムが1本または0本である場合、当該階名の音成分が調波構造成分でないと判断する。例えば、図6に示すようなパワースペクトラムの場合、成分検出部712は、「ド」、「ミ♭」、「ファ」の音成分は、それぞれ2本のパワースペクトラムが楽音認定閾値Lm以上のため、調波構造成分であると判断し、それ以外の音成分は、調波構造成分でないと判断する。
ここで、上述のように、楽音同士をクロスフェードすると不協和音が発生し易いことから、この組み合わせのクロスフェードの相性が良いとユーザに提示することは好ましくない。しかし、楽音であるが、同じ音程が繰り返されるラップ(歌唱法の一つであり、小節の終わり等で韻を踏みながら、あまりメロディを付けずに、リズミカルにしゃべるように歌う方法)等は、同じ音程が繰り返されない楽音と比べて、他の楽音とクロスフェードしても不協和音が発生し難い。そこで、本実施形態では、このような同じ音程が繰り返されるラップ等の楽音を噪音と見なし、他の楽音とクロスフェードしても不協和音が発生し難い音としてユーザに提示するために、以下のステップS7,S8の処理を行う。
図4に示すように、成分検出部712は、ステップS6で検出した調波構造成分における同音高の繰り返し成分(Pgrex)を検出する(ステップS7)。具体的には、成分検出部712は、ステップS6で検出した調波構造成分と同じ成分が、当該調波構造成分を検出した区間を含む複数の区間(例えば、4個以上の区間)で連続して検出された場合、当該調波構造成分が繰り返し成分であると判断する。例えば、図7に示すように、連続する4区間(M−3,M−2,M−1,M番目の区間)のパワースペクトラムが検出された場合、「ド」、「ミ♭」、「ファ」の調波構造成分が当該4区間の全てに含まれているため、当該調波構造成分が同音高の繰り返し成分であると判断する。
このステップS7の処理により、噪音成分と見なすことができる楽音成分が検出される。
この後、図4に示すように、比率算出部713は、調波構造成分(Pgr)から同音高の繰り返し成分(Pgrex)を差し引く。そして、比率算出部713は、この差し引き後の調波構造成分を構成するパワースペクトラムを合算し、楽音成分量(Pss)を算出する(ステップS8)。例えば、調波構造成分が4個(スペクトラムが16本)あり、そのうち3個(12本のスペクトラム)が繰り返し成分の場合、比率算出部713は、繰り返し成分でない1個の調波構造成分(4本のスペクトラム)について、パワースペクトラムの合算処理を行う。
このステップS8の処理により、成分構造の観点から楽音成分と見なされるパワースペクトルのうち、噪音成分と見なすことができる楽音成分を除いた楽音成分量が算出される。
次に、図5に示すように、比率算出部713は、以下の式(1)に基づき噪音成分比率(Rs)の算出処理を行い(ステップS9)、音成分全体量および噪音成分比率を楽曲および区間番号Mと関連付けて、第1メモリ73に保存する(ステップS10)。
Rs(%)=(1−楽音成分量/音成分全体量)×100…(1)
この後、区間属性判定部714は、噪音成分比率が閾値としての噪音認定閾値(例えば、51%)以上か否かを判断する(ステップS11)。そして、区間属性判定部714は、ステップS11の条件を満たすと判断した場合、M番目の区間を噪音区間として識別し、噪音区間フラグを楽曲および区間番号Mと関連付けて、第2メモリ74に保存する(ステップS12)。一方、区間属性判定部714は、ステップS11の条件を満たさないと判断した場合、楽音区間を意味する楽音区間フラグを楽曲および区間番号Mと関連付けて、第2メモリ74に保存する(ステップS13)。
区間属性判定部714がステップS12またはステップS13の処理を行った後、区間分割部711は、区間番号Mに1を加算する(ステップS14)。そして、区間属性判定部714は、楽曲の最終区間の解析が終了したか否かを判断し(ステップS15)、終了していない場合、ステップS3の処理を行い、終了した場合と判断した場合、楽曲解析処理を終了する。
なお、上述のように、ステップS7〜S9の処理により、同じ調波構造成分が4区間で連続して検出された場合、最新区間の調波構造成分を噪音成分と見なして噪音成分比率を算出する。しかし、上記最新区間より前の3区間の調波構造成分については、噪音成分と見なすことができるにもかかわらず、当該3区間のそれぞれに対する処理において、同じ調波構造成分が4区間で連続して検出されておらず、噪音成分と見なされずに噪音成分比率が算出されている場合がある。この場合、上記3区間における調波構造成分を噪音成分と見なして噪音成分比率を再算出し、第1メモリ73内のデータを更新するとともに、噪音成分比率の再算出結果に基づいて、第2メモリ74内の各区間フラグを更新してもよい。
次に、図3A、図3Bおよび図8に基づいて、楽曲情報表示処理について説明する。
楽曲情報表示処理は、複数の楽曲に対する楽曲解析処理後に行われる。
まず、ユーザは、操作部4を操作して、クロスフェードする先行曲と後続曲を選択する。図8に示すように、表示制御装置7の結果表示部721は、先行曲および後続曲の選択操作を検出すると(ステップS21,S22)、先行曲および後続曲の楽曲データ21を第1記憶部2から取得する(ステップS23)。
本実施形態では、先行曲と後続曲とがそれぞれ1曲ずつ選択された場合を説明するが、少なくとも一方の曲が2曲以上選択された場合も、同様の処理が行われる。
また、結果表示部721は、先行曲および後続曲の各区間の音成分全体量、噪音成分比率、および各区間フラグ(噪音区間フラグまたは楽音区間フラグ)を、第1メモリ73、第2メモリ74からそれぞれ取得する(ステップS24)。この後、結果表示部721は、先行曲情報50および後続曲情報55を表示部5に表示させる(ステップS25)。このとき、結果表示部721は、楽曲の全区間の先行曲情報50および後続曲情報55を一度に表示させてもよいし、一部の区間について表示させ、操作部4の操作に基づいて残りの区間の表示に更新するようにしてもよい。
結果表示部721は、楽曲データに基づいて、波形501,551をそれぞれ表示させる。また、結果表示部721は、音成分全体量および各区間フラグに基づいて、音成分情報502,552を表示させる。具体的には、結果表示部721は、以下の表1に基づいて、先行曲を構成する各区間の区間バー503の色を設定し、区間バー503を各区間の再生順に並べた音成分情報502を波形501の下側に表示させる。また、結果表示部721は、後続曲についても区間バー553の色を設定し、音成分情報552を波形551の下側に表示させる。
ユーザは、表1に基づき色が設定された区間バー503,553を見ることで、各区間の属性(噪音区間か否か)と、区間全体の音の強度との両方を認識することができる。
以上の処理により、図3Aに示すような先行曲情報50および後続曲情報55が表示部5に表示されると、ユーザは、操作部4の操作によりカーソルCRを移動させて、先行曲の所定区間をクロスフェード候補の区間として選択する。
選択検出部722が先行曲の所定区間の選択操作を検出すると(ステップS26)、表示変更部723は、図2に示す相性度設定テーブルに基づいて、当該選択区間と後続曲の各区間との相性度を設定する(ステップS27)。このとき、表示変更部723は、選択区間および後続曲の各区間の噪音成分比率を、例えば四捨五入して1%単位の値にしてから、相性度設定テーブルを参照する。例えば、表示変更部723は、図3Bに示す選択区間の噪音成分比率が20%の場合、噪音成分比率が30%、40%、70%、90%の区間に対し、相性度を35点、40点、55点、100点にそれぞれ設定する。
なお、相性度設定テーブルは、先行曲および後続曲の両方が噪音区間(Rs≧噪音認定閾値(51%))の場合、相性度が良いことを表す点数(70点以上)が設定され、両方が楽音区間(Rs<噪音認定閾値)の場合、相性度が悪いことを表す点数(70点未満)が設定されるように構成されている。また、相性度設定テーブルは、先行曲および後続曲のうち一方が噪音区間であり、他方が楽音区間の場合、相性度が良いことを表す点数が設定されるように構成されている。さらに、先行曲の選択区間に対する後続曲の各区間の相性度は、後続曲の各区間の噪音成分比率が高いほど点数が大きくなるように設定されている。また、相性度は、点数が大きいほど、不協和音が発生し難く、相性が良いことを表す。
そして、表示変更部723は、図3Bに示すように、後続曲の噪音比率情報555と相性情報554とを文字で表示部5に表示させ(ステップS28,S29)、楽曲情報表示処理を終了する。
その後、ユーザが表示部5の表示に基づきクロスフェードする区間の組み合わせを設定すると、音声処理装置6は、この組み合わせに基づく処理を行う。例えば、音声処理装置6は、先行曲の再生を開始した後、先行曲の選択区間と後続曲との選択区間とのクロスフェードを行うことで、先行曲の再生を終了するとともに後続曲の再生を開始する。
なお、このクロスフェードの際、先行曲のフェードアウトや後続曲のフェードインあるいは音量調整は、ユーザによるジョグダイヤル等の操作に基づき行われてもよいし、ユーザの設定に基づき音声処理装置6が自動的に行ってもよい。
また、ユーザが操作部4を用いて、先行曲のクロスフェードする区間の設定操作を行った場合、音声処理装置6は、この設定操作を検出して、当該区間をクロスフェードの区間として設定するとともに、後続曲の各区間のうち、先行曲の設定区間とクロスフェードの相性が良い区間を、クロスフェードの区間として設定可能にし、相性が悪い区間を設定不可能にするようにしてもよい。例えば、先行曲の設定区間が楽曲区間の場合、音声処理装置6は、第2メモリ74の区間フラグに基づいて、後続曲の噪音区間をクロスフェードの区間として設定可能にするとともに、楽音区間を設定不可能にしてもよい。同様に、先行曲の設定区間が噪音区間の場合、音声処理装置6は、後続曲の全区間をクロスフェードの区間として設定可能にしてもよい。
[実施形態の効果]
上述したように、表示制御装置7は、複数の楽曲の噪音成分を検出し、この検出結果を複数の楽曲のそれぞれの時間情報と関連付けて表示部5に表示させる。そして、表示制御装置7は、複数の楽曲のうち1の楽曲(先行曲)における所定区間の選択操作を検出すると、この所定区間の噪音成分の検出結果に応じて、他の楽曲(後続曲)の検出結果の表示状態を変更する。
このため、ユーザは、後続曲に関する検出結果の表示状態に基づいて、先行曲の選択区間とクロスフェード(ミキシング)の相性が良い区間を容易に認識することができる。したがって、良好な楽曲のクロスフェードを支援可能な表示制御装置7を提供することができる。
特に、本実施形態では、区間バー503,553を用いて楽曲の時間情報を表しているため、例えば「区間1」等の文字のみを用いて時間情報を表す構成と比べて、ユーザは、各時間情報における噪音の検出結果を、直感的に把握することができる。
また、表示制御装置7は、後続曲の検出結果の表示状態を変更する処理として、先行曲の選択区間とのクロスフェードの相性を表す相性情報554を表示させる。
このため、ユーザは、相性情報554を見て、クロスフェードの相性を容易に認識することができる。
特に、本実施形態では、相性情報554を文字で表示するため、相性情報554を文字以外の色等で表示する構成と比べて、ユーザは、クロスフェードの相性をさらに容易に認識することができる。
また、本実施形態では、先行曲の選択区間が楽音区間の場合、後続曲の噪音区間と選択区間とのクロスフェードの相性が良いことを表す相性情報554を表示させ、選択区間が噪音区間の場合、後続曲の全区間と選択区間とのクロスフェードの相性が良いことを表す相性情報554を表示させる。このため、ユーザは、相性が良い区間を表す相性情報554を見ることで、クロスフェードの相性をさらに容易に認識することができる。
また、表示制御装置7は、音成分情報552と重ならない位置に相性情報554を表示させる。
このため、例えば区間バー553の中に相性情報554を表示させる等、音成分情報552と相性情報554とを重ねて表示させる構成と比べて、ユーザは、クロスフェードの相性をさらに容易に認識することができる。
[変形例]
なお、本発明は上記実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の改良ならびに設計の変更などが可能である。
例えば、上記実施形態では、結果表示部721は、各区間の属性と音の強度との両方を表す音成分情報502,552を表示させたが、図9Aに示すように、各区間の属性と音の強度とを別々に表す音成分情報502A,552Aを表示部5に表示させてもよい。
音成分情報502Aは、複数の区間バー506Aから構成された噪音比率情報505Aと、複数の区間バー508Aから構成された音強度情報507Aとを備えている。音成分情報552Aは、音成分情報502Aと同様の構成を有し、それぞれ複数の区間バー556A,区間バー558Aから構成された噪音比率情報555Aおよび音強度情報557Aを備えている。
噪音比率情報505A,555Aは、区間の噪音成分比率を表す。噪音比率情報505A,555Aの区間バー506A,556Aは、噪音成分比率が25%未満であれば青色、25%以上50%未満であれば水色、50%以上75%未満であれば橙色、75%以上であれば赤色で表示される。
音強度情報507A,557Aは、区間の音の強度を表す。音強度情報507A,557Aの区間バー508A,558Aは、音成分全体量が第1強度閾値未満であれば緑色、第1強度閾値以上、第2強度閾値未満であれば薄緑色、第2強度閾値以上、第3強度閾値未満であれば黄緑色、第3強度閾値以上であれば黄色で表示される。なお、音強度情報507A,557Aを表示させなくてもよい。
そして、図9Aに示す状態において、二点鎖線で示すカーソルCRによる所定区間の選択操作が行われると、表示変更部723は、上記実施形態と同様に、当該所定区間と後続曲の各区間との相性度を設定し、図9Bに示すように、相性情報554を表示させる。
ここで、楽曲区間にクロスフェードする区間として、噪音区間を選択すると不協和音が発生し難いが、この噪音区間の噪音比率が高いほど、不協和音が発生し難いと考えられる。
図9Aに示すように、噪音成分比率のみを表す噪音比率情報505A,555Aを表示部5に表示させることで、ユーザは、不協和音がより発生し難い区間をクロスフェードする区間として選択することができる。また、音の強度のみを表す音強度情報507A,557Aを噪音比率情報505A,555Aと異なる位置に表示させるため、ユーザは、各区間の噪音比率と音の強度とを独立的に認識することができる。
図9Aに示す状態から先行曲の所定区間の選択操作が行われた際に、表示変更部723は、図10に示すように、音成分情報552Aの代わりに相性情報554Bを表示させてもよい。相性情報554Bは、複数の区間バー559Bから構成されている。区間バー559Bは、相性度が0点、10点であれば黒色、20点以上50点以下であれば灰色、60点以上80点以下でれば薄い灰色、90点、100点であれば白色で表示される。
図3A,図9A,図10に示す区間バー503,553,506A,556A,559Bの色は、他の色であってもよいし、色を設定するための閾値は、上述した値に限られず、他の値であってもよい。
結果表示部721、表示変更部723は、各区間に対応する波形501,551自体の色や、波形501,551を囲む枠の色、あるいは当該枠内の色を所定の色に設定することで、噪音比率(検出結果)や音の強度あるいは相性度を表してもよい。
結果表示部721、表示変更部723は、区間バー503,553,506A,556A,559Bや相性情報554,554Bの大きさや点滅状態で、噪音比率(検出結果)や音の強度あるいは相性度を表現してもよい。
結果表示部721、表示変更部723は、噪音比率や音の強度あるいは相性度を、丸や三角等の図形で表してもよいし、「(噪音成分比率が)高い」、「強い音」、「(相性が)良い」等の文字で表してもよい。
結果表示部721、表示変更部723は、楽曲の時間情報を区間バー503,553,506A,556A,559Bで表したが、例えば「区間1」や「再生時間1分0秒から1分5秒の区間」等の文字で表してもよい。この場合、時間情報を表す文字の上下あるいは左右に、噪音比率や音の強度あるいは相性度を表示させてもよいし、時間情報を表す文字の色や大きさ等の設定により、噪音比率や音の強度あるいは相性度を表してもよい。
結果表示部721、表示変更部723は、先行曲および後続曲のうち少なくとも一方が2曲以上選択された場合、この選択された2曲以上の音成分情報や相性情報を一度に表示してもよい。
結果表示部721、表示変更部723は、複数の表示部を用い、一方に先行曲の情報を表示させ、他方に後続曲の情報を表示させてもよい。
表示変更部723は、図3Aの区間バー553の中に相性度を表す文字を表示させる等、楽曲の音成分情報と相性情報とを重ねて表示させてもよい。
表示変更部723は、先行曲の選択区間が楽曲区間の場合、後続曲の噪音区間に関する相性情報554のみを表示させるとともに、楽音区間に関する相性情報554を表示させなくてもよい。すなわち、表示変更部723は、選択区間とクロスフェードの相性が良い区間のみについて、相性情報554を表示させてもよい。
表示変更部723は、先行曲の選択区間が楽曲区間の場合、後続曲の楽音区間に関する相性情報554のみを表示させるとともに、噪音区間に関する相性情報554を表示させず、選択区間が噪音区間の場合、後続曲の全区間に関する相性情報554を表示させなくてもよい。すなわち、表示変更部723は、選択区間とクロスフェードの相性が悪い区間のみについて、相性情報554を表示させてもよい。
表示変更部723は、後続曲の所定区間が選択された際に、先行曲の相性情報を表示してもよい。
噪音検出部71に区間分割部711を設けずに、成分検出部712が第1記憶部2から楽曲データ21を連続的に取得して、所定時間毎に、それまでに取得した楽曲データのうち未解析のデータに対し、ステップS4,S6,S7の処理を行ってもよい。
比率算出部713は、調波構造成分を構成するパワースペクトラムの本数に基づいて、噪音成分比率(Rs)を算出してもよい。
例えば、図6に示すようなパワースペクトラムが計測され、調波構造成分のパワースペクトラムが「ド」、「ミ♭」、「ファ」の6本であり、かつ、パワースペクトラムの合計本数が48本の場合、比率算出部713は、噪音成分比率(Rs)を88%(=(48−6)/48×100)と算出してもよい。
本発明の表示制御装置を、特許文献1に記載のような音楽プレーヤ等、DJ機器以外の製品に適用してもよい。
7…表示制御装置、71…噪音検出部、72…表示制御部、552…音成分情報、554,554B…相性情報、712…成分検出部、713…比率算出部、721…結果表示部、722…選択検出部、723…表示変更部。

Claims (7)

  1. 複数の楽曲の噪音成分を検出する噪音検出部と、
    前記噪音検出部の検出結果を表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、
    前記検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて表示させる結果表示部と、
    前記複数の楽曲のうち1の楽曲の所定区間の選択操作を検出する選択検出部と、
    前記選択された区間における前記噪音成分の検出結果に応じ、前記1の楽曲以外の前記検出結果の表示状態を変更する表示変更部と、を備えていることを特徴とする表示制御装置。
  2. 前記表示変更部は、前記表示状態を変更する処理として、前記1の楽曲以外の所定区間と前記選択された区間とのミキシングの相性を表す相性情報を表示させる処理を行うことを特徴とする請求項1に記載の表示制御装置。
  3. 前記噪音検出部は、
    前記楽曲の所定区間に含まれる噪音成分を検出する成分検出部と、
    前記所定区間に前記噪音成分が含まれる比率を算出する比率算出部を備え、
    前記表示変更部は、
    前記選択された区間の前記比率が閾値未満の場合、前記1の楽曲以外における前記比率が前記閾値以上の区間と前記選択された区間とのミキシングの相性が良いことを表す前記相性情報を表示させることを特徴とする請求項2に記載の表示制御装置。
  4. 前記噪音検出部は、
    前記楽曲の所定区間に含まれる噪音成分を検出する成分検出部と、
    前記所定区間に前記噪音成分が含まれる比率を算出する比率算出部と、を備え、
    前記表示変更部は、
    前記選択された区間の前記比率が閾値以上の場合、前記1の楽曲以外における全ての区間と前記選択された区間とのミキシングの相性が良いことを表す前記相性情報を表示させることを特徴とする請求項2または請求項3に記載の表示制御装置。
  5. 前記結果表示部は、前記複数の楽曲の各区間に前記噪音成分が含まれる比率が前記閾値以上か否かを表す音成分情報を表示させ、
    前記表示変更部は、前記音成分情報と重ならない位置に前記相性情報を表示させることを特徴とする請求項3または請求項4に記載の表示制御装置。
  6. 表示制御装置が、楽曲の音成分に関する情報を表示部に表示させる表示制御方法であって、
    前記表示制御装置が、
    複数の楽曲の噪音成分を検出する噪音検出ステップと、
    前記噪音検出ステップの検出結果を前記複数の楽曲のそれぞれの時間情報と関連付けて前記表示部に表示させる結果表示ステップと、
    前記複数の楽曲のうち1の楽曲の所定区間の選択操作を検出する選択検出ステップと、
    前記選択された区間における前記噪音成分の検出結果に応じて、前記1の楽曲以外の前記検出結果の表示状態を変更する表示変更ステップと、を実行することを特徴とする表示制御方法。
  7. 請求項6に記載の表示制御方法を表示制御装置に実行させることを特徴とする表示制御プログラム。
JP2017524496A 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム Active JP6426843B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/068187 WO2016208002A1 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2016208002A1 true JPWO2016208002A1 (ja) 2018-03-15
JP6426843B2 JP6426843B2 (ja) 2018-11-21

Family

ID=57584904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524496A Active JP6426843B2 (ja) 2015-06-24 2015-06-24 表示制御装置、表示制御方法および表示制御プログラム

Country Status (3)

Country Link
EP (1) EP3316251B1 (ja)
JP (1) JP6426843B2 (ja)
WO (1) WO2016208002A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244704A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd タイムストレッチシステムおよびプログラム
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244704A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd タイムストレッチシステムおよびプログラム
WO2010146624A1 (ja) * 2009-06-15 2010-12-23 パイオニア株式会社 音声信号処理装置のタイムスケーリング方法、音声信号処理装置のピッチシフト方法、音声信号処理装置およびプログラム
WO2013114421A1 (ja) * 2012-01-30 2013-08-08 パイオニア株式会社 表示システム、表示制御装置、音響機器、表示方法およびプログラム

Also Published As

Publication number Publication date
WO2016208002A1 (ja) 2016-12-29
EP3316251B1 (en) 2023-05-10
EP3316251A1 (en) 2018-05-02
EP3316251A4 (en) 2019-03-27
JP6426843B2 (ja) 2018-11-21

Similar Documents

Publication Publication Date Title
JP5135931B2 (ja) 楽曲加工装置およびプログラム
JP2006030692A (ja) 楽器演奏教習装置及びそのプログラム
JP5696435B2 (ja) コード検出装置及びプログラム
WO2016208000A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP5704368B2 (ja) 楽音演奏装置及び楽音演奏処理プログラム
WO2016208002A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2007078724A (ja) 電子楽器
JP2009014802A (ja) コード名検出装置及びコード名検出用プログラム
JP6803294B2 (ja) カラオケ装置
JP5618743B2 (ja) 歌唱音声評価装置
JP5782744B2 (ja) 歌唱音声評価装置
JP5585320B2 (ja) 歌唱音声評価装置
JP2009180757A (ja) 電子音楽装置及び演奏データ編集表示プログラム
CN111667554A (zh) 信息处理装置的控制方法、电子设备、演奏数据显示系统
JP3783687B2 (ja) 演奏練習装置及びプログラム
JP6657866B2 (ja) 音響効果付与装置及び音響効果付与プログラム
JP2020122949A (ja) カラオケ装置
JP7338669B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP2016057389A (ja) コード決定装置及びコード決定プログラム
JP5825449B2 (ja) コード検出装置
JP4793204B2 (ja) 電子楽器および電子楽器制御用プログラム
JP5342841B2 (ja) 長音符の歌唱部分で歌声の倍音特性を測定して表示するカラオケ装置
JP6412793B2 (ja) カラオケ装置
JP6427447B2 (ja) カラオケ装置
JP6427439B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R150 Certificate of patent or registration of utility model

Ref document number: 6426843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250