JP4237768B2

JP4237768B2 - 音声処理装置、音声処理プログラム

Info

Publication number: JP4237768B2
Application number: JP2006040691A
Authority: JP
Inventors: 広和小塩
Original assignee: 株式会社タイトー
Priority date: 2006-02-17
Filing date: 2006-02-17
Publication date: 2009-03-11
Anticipated expiration: 2026-02-17
Also published as: JP2007219241A

Description

本発明は、カラオケシステムにおける信号処理に好適な音声処理装置、音声処理プログラムに関する。

従来のカラオケ装置では、カラオケ演奏中に歌唱者によって入力された歌唱音声を本来歌唱すべき正しいピッチに補正するピッチ補正機能を備えたものがある（例えば、特許文献１参照）。特許文献１に記載されたカラオケ装置では、カラオケ演奏中に入力される歌唱者の音声を周波数分析することによって、歌唱者の基準周波数を特定する。同時に演奏されている楽曲の楽曲データからその時点における正しい音程情報を取得する。そして、この楽曲データからの正しい音程情報を周波数に変換し、歌唱者の音声の基準周波数と比較することによって歌唱者の音声の音程が、演奏されている楽曲に対してどの程度ずれているかを算出する。さらに、このずれ分の歌唱者の音声の基準周波数を補正して、音声を再合成することにより、演奏されている楽曲に対して正しい音程の音声を出力させることができる。
特開２００１−１１７５９９公報

このように従来のカラオケ装置では、歌唱者により入力された歌唱音声に対して周波数分析をすることにより、歌唱者から入力された音声の音程を、楽曲（ＢＧＭ（back ground music）に対して決められた音程情報に合わせて調整することができる。

しかしながら、従来のカラオケ装置では、楽曲（ＢＧＭ、演奏音（カラオケ））の音と歌唱者により入力された歌唱音声との不整合を調整することができなかった。例えば、楽曲の音が大きすぎるためにマイクにより集音された歌唱者の音声が聞こえない、あるいは逆に歌唱者の音声が大きいため集音された音声をそのまま出力すると、楽曲に対して音声が大きすぎてしまうといったことが発生してしまう。

なお、多くのカラオケ装置では、歌唱者の音声と楽曲（カラオケ）のバランスを調整するための機能を備えているが、それは手動操作により予めバランスを設定するものであって、実際に入力される歌唱者の音声と楽曲のレベルと関係なく調整されてしまう。このため、実際に入力される歌唱音声と楽曲（ＢＧＭ）に合わせて適切に音量のバランスを調整することが困難となっていた。

本発明は前述した事情に考慮してなされたもので、その目的は、実際に入力される歌唱音声と楽曲（ＢＧＭ）に合わせて適切に両者の音量バランスを自動的に調整することが可能な音声処理装置、音声処理プログラムを提供することにある。

本発明は、入力された音声信号と演奏音信号をもとにして音声と演奏音の音量レベルをそれぞれ検知する音量レベル検知手段と、前記音量レベル検知手段により検知された前記音声と前記演奏音のそれぞれの最大音量レベルを、前記音声と前記演奏音のそれぞれに対して予め設定された音量の許容出力に対する比率により示す所定レベルに調整して、この調整後の前記音声と前記演奏音の音量レベルの合計が前記許容出力と同じとなるようにすると共に、前記所定レベルに調整された前記音声の音量レベルの平均値が前記所定レベルに調整された前記演奏音の音量レベルの平均値と同じとなるように、前記所定レベルに調整された前記音声の最大音量を一定に保ったまま音量を変更する処理を実行して前記音声と前記演奏音のバランスを調整する音量調整手段と、前記音量調整手段により音量レベルが調整された音声について周波数分析を実行して周波数特性を求める音声分析手段と、前記音声分析手段により求められた周波数特性をもとに、前記音量調整手段によって前記所定レベルに調整された前記音声から歌唱者の声の高さを表す基本周波数帯域を検出する基本周波数帯域検出手段と、前記音量調整手段により音量レベルが調整された前記演奏音に対して、前記基本周波数帯域検出手段により検出された基本周波数帯域に対応する帯域の音量レベルを所定値分下げる調整をする帯域音量調整手段と、前記帯域音量調整手段により調整された演奏音の演奏音信号と、前記音量調整手段により調整された音声の音声信号を出力する信号出力手段とを具備したことを特徴とする。

本発明によれば、実際に入力される歌唱音声と楽曲（ＢＧＭ）に合わせて適切に両者の音量バランスを自動的に調整することができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１及び図２は、本実施形態における音声処理装置１０を用いたシステムの構成を示すブロック図である。本実施形態では、通常、一般的なカラオケシステム１１で処理される楽曲（ＢＧＭ）の信号、すなわち歌唱者の音声が含まれていない演奏音（カラオケ）の信号（以下、ＢＧＭ信号と称する）と、マイク１２から入力される歌唱者の歌唱による音声の信号（以下、音声信号と称する）に対する音声処理を実行する。

図１に示す構成では、音声処理装置１０は、カラオケシステム１１から出力されるカラオケコンテンツのＢＧＭ信号と、マイク１２からの音声信号を入力する。カラオケシステム１１は、音声処理装置１０に対してＢＧＭ信号を出力すると共に、カラオケコンテンツの映像信号をディスプレイ１３に出力することにより楽曲の歌詞や背景映像などを表示させる。音声処理装置１０は、カラオケシステム１１からのＢＧＭ信号とマイク１２からの音声信号に対して音声処理を実行し、ＢＧＭ信号と音声信号の音量のバランスを入力信号に応じて調整する。音声処理装置１０は、処理されたＢＧＭ信号と音声信号とをアンプ１４に出力する。アンプ１４は、音声処理装置１０からの信号を増幅してスピーカ１５から音量のバランスが調整された音を出力させる。

図２に示す構成では、音声処理装置１０は、図１と同様に、カラオケシステム１１からＢＧＭ信号を入力し、マイク１２から音声信号を入力する。図２に示す音声処理装置１０は、音声処理されたＢＧＭ信号と音声信号とを、カラオケシステム１１に出力する。カラオケシステム１１は、映像信号をディスプレイ１３に出力することにより楽曲の歌詞や背景映像などを表示させると共に、音声処理装置１０により処理されたＢＧＭ信号と音声信号とをアンプ１４に出力することより、スピーカ１５から音量のバランスが調整された音を出力させる。
本実施形態における音声処理装置１０は、図１あるいは図２の何れの形態によって使用されても良い。

なお、図１及び図２に示す構成では、音声処理装置１０は、カラオケシステム１１と別の装置として構成されているが、カラオケシステム１１に組み込まれて構成されていても良い。例えば、カラオケシステム１１に実装されたコンピュータの機能により、本実施形態における音声処理装置１０により音声処理を実行させるための音声処理プログラムを実行させることにより、音声処理装置１０と同等の音声処理をカラオケシステム１１内で実行することができる。

また、音声処理プログラムは、他のコンピュータの機能が搭載されたカラオケコンテンツを再生出力が可能な装置、例えば携帯電話機、ＰＤＡ（personal digital assistant）、ＰＣ（Personal Computer）などにおいて実行させることも可能である。

図３は、本実施形態における音声処理装置１０の構成を示すブロック図である。音声処理装置１０は、例えばスピーカ１５からの音声信号とカラオケシステム１１からのＢＧＭ信号を入力するための入力インタフェースと、処理された音声信号とＢＧＭ信号を出力する出力インタフェースを備えたコンピュータにより実現される。音声処理装置１０を実現するコンピュータは、メモリに記憶された音声処理プログラムをプロセッサにより実行することにより、図３に示す各機能を実現することができる。

図３に示すように、音声処理装置１０には、音声信号入力部２０、ＢＧＭ信号入力部２１、音圧処理部２３、周波数処理部２５、入力部２７、モード設定部２８が設けられる。

音声信号入力部２０は、歌唱者による歌唱によって入力された音声の音声信号をマイク１２から入力する。音声信号入力部２０は、マイク１２から入力された音声信号を音声処理装置１０において処理可能な形式のデータに変換する。

ＢＧＭ信号入力部２１は、カラオケシステム１１からのＢＧＭ信号を入力する。ＢＧＭ信号入力部２１は、ＭＩＤＩ（musical instruction digital interface）データ等の信号ではなく、アナログの音声信号を入力して、音声処理装置１０において処理可能な形式のデータに変換する。

音圧処理部２３は、音声信号入力部２０により入力された音声信号と、ＢＧＭ信号入力部２１により入力されたＢＧＭ信号に対して、音声信号の音量レベルとＢＧＭ信号の音量レベルに基づいて、両者の音量バランスを調整する処理を実行する。

音圧処理部２３には、音量レベル検知部３０（音声入力判定部３１）、音量調整部３３が設けられる。
音量レベル検知部３０は、音声信号入力部２０により入力された音声信号とＢＧＭ信号入力部２１により入力された演奏音信号をもとにして、音声と演奏音の音量レベルをそれぞれ検知する。

音声入力判定部３１は、音声信号に対して検出される音量レベルが所定の状態となったことを判定する。ここでは、楽曲のイントロや間奏の部分を判定するために、歌唱者による音声入力を利用する。例えば、音声入力が一定時間、予め決められた一定値以下の音量レベルとなったことを検知することにより、楽曲のイントロや間奏の部分を判定する。その他の判定方法を用いることも可能である。

音量調整部３３は、音量レベル検知部３０により検知された音声とＢＧＭのそれぞれの最大音量レベルを、予め設定された設定レベルに調整すると共に、この設定レベルに調整された音声と演奏音のそれぞれの平均値を調整する。これにより、音声とＢＧＭとの音量バランスを調整する。音量調整部３３は、モード設定部２８により設定されるモード（例えば、標準モード、音声優先モード、演奏優先モード）に応じた音量調整を実行することができる。音量調整部３３は、音声入力判定部３１により音声信号から検出される音量レベルが所定の状態となったと判定された場合、すなわち楽曲のイントロや間奏と判定された場合には、音声に対する調整をせず、また演奏音に対する音量レベルを、本来、音声が入力される部分よりも上げるように調整する（演奏優先モード）。

周波数処理部２５は、音圧処理部２３により音量レベルの調整がされたＢＧＭについて、音声が聞き取りやすくなるように周波数特性を変換するための周波数処理を実行する。

周波数処理部２５には、音声分析部４０、基本周波数帯域検出部４１、ＢＧＭ分析部４２、帯域音量調整部４３、信号出力部４４が設けられる。

音声分析部４０は、例えばＦＦＴ（Fast Fourier Transform）分析により、音圧処理部２３によって音量レベルの調整が施された音声ついて周波数分析を実行して周波数特性を求める。

基本周波数帯域検出部４１は、音声分析部４０による周波数分析により求められた音声についての周波数特性をもとに、入力された音声の基本周波数帯域（歌唱者の声の高さを表す）を検出する。

ＢＧＭ分析部４２は、例えばＦＦＴ（Fast Fourier Transform）分析により、音圧処理部２３（音量調整部３３）によって音量レベルの調整が施されたＢＧＭついて周波数分析を実行して周波数特性を求める。

帯域音量調整部４３は、音圧処理部２３（音量調整部３３）により音量レベルが調整されたＢＧＭに対して、ＢＧＭ分析部４２による分析結果をもとにして、基本周波数帯域検出部４１により検出された基本周波数帯域に対応する帯域の音量レベルを所定値分下げる。

信号出力部４４は、帯域音量調整部４３により調整された演奏音のＢＧＭ信号と、音圧処理部２３（音量調整部３３）により調整された音声の音声信号を出力する。信号出力部４４は、ＢＧＭ信号と音声信号とを合成した信号を出力する。なお、システムによってはＢＧＭ信号と音声信号とを、それぞれを独立して出力するようにしても良い。

入力部２７は、システムの利用からの指示を入力するためのもので、各種ボタンや、キー、あるいはリモコン装置からの信号を受信する機能などが設けられている。入力部２７には、モード選択ボタン２７ａが設けられており、音声処理モード、例えば標準モード、音声優先モード、演奏優先モードの何れかを任意に選択することができるものとする。なお、デフォルトでは、標準モードが選択されているものとする。

モード設定部２８は、入力部２７のモード選択ボタン２７ａに対する操作に応じた音声処理モード（標準モード、音声優先モード、演奏優先モード）を設定する。音圧処理部２３（音量調整部３３）は、モード設定部２８により設定された音声処理モードに応じて、音声とＢＧＭのそれぞれの最大音量レベルと平均値の調整を実行する。

次に、本実施形態の音声処理装置１０における音声処理について、図４に示すフローチャートを参照しながら説明する。図５〜図１１は、音声処理装置１０の各部における処理を説明するための信号波形の一例を示す図である。はじめに、基本的な音声処理について説明する。ここでは、モード設定部２８により設定される音声処理モードとして基本モードが設定されているものとする。

はじめに、音声処理装置１０は、音声信号入力部２０とＢＧＭ信号入力部２１のそれぞれから入力される音声信号とＢＧＭ信号に対して、音圧処理部２３における処理により音量レベルの調整を行う。

まず、音声処理装置１０は、カラオケシステム１１から出力されるＢＧＭ信号（例えばイントロ部分の音声）をＢＧＭ信号入力部２１によって入力し（ステップＡ４）、音声が十分に聞こえる音量を確保するためにＢＧＭの音量レベルを調整する。ここでは、音量レベル検知部３０によりＢＧＭの最大音量を検知し（ステップＡ５）、この最大音量が許容出力に対する所定レベル（設定レベル）、例えば５０％程度（−６ｄｂ）になるように、音量調整部３３によりＢＧＭの音量レベルを調整（上げる／下げる）する（ステップＡ６）。ここでの所定レベル（５０％）は、予め音声処理モードに応じて設定されているものとする。

図５（ｂ）には、ＢＧＭ信号入力部２１により入力されるＢＧＭ信号の波形の一例を示している。また、図５（ｂ）には、同図に示す信号の波形が示す各値の具体例を示している。

図５（ｂ）に示すＢＧＭ信号の最大音量（最大振幅値）は、「−０．１８ｄｂ」（０ｄＢ近く）であり、許容出力の１００％近くとなっていることを示している。

この場合、音圧処理部２３は、ＢＧＭ信号に対して、６ｄＢ下げるように調整する。

図６（ｂ）には、入力されたＢＧＭ信号に対して、６ｄＢ（許容出力の５０％）下げる調整をすることにより生成されるＢＧＭ信号の波形の一例を示している。図６（ｂ）に示すように、最大音量（最大振幅値）が「−６．１８ｄＢ」となっている。この時、ＢＧＭ信号の音量レベルの平均値が「−１９．８７ｄＢ」となっている。

一方、音声処理装置１０は、マイク１２から出力される音声信号を音声信号入力部２０によって入力し（ステップＡ１）、ＢＧＭ信号に対する処理と同様の処理を実行する。すなわち、音量レベル検知部３０により音声の最大音量を検知し（ステップＡ２）、この最大音量が許容出力に対する所定レベル、例えば５０％（−６ｄｂ）になるように、音量調整部３３によりＢＧＭの音量レベルを調整（上げる／下げる）する（ステップＡ３）。

図７（ａ）には、入力された音声信号に対して、６ｄＢ（許容出力の５０％）下げる調整をすることにより生成される音声信号の波形の一例を示している。図７（ａ）に示すように、最大音量（最大振幅値）が「−５．９７ｄＢ」となっている。

この時点では、音声とＢＧＭを合成すると、音声が小さく聞こえてしまう。これは、音声がＢＧＭに比較して音量の変動が大きく、音量レベルの平均値が低いためである。図７（ａ）に示すように、この時の音声信号の音量レベルの平均値が「−２５．０１ｄＢ」となっており、図６（ｂ）に示す音量レベルを調整した後のＢＧＭ信号の平均値「−１９．８７ｄＢ」よりも低くなっている。

そこで、音量調整部３３は、音声の音量レベルの平均値を上げるため、最大音量を一定に保ったまま音声の音量を上げるための処理（圧縮）を実行する。

ここで、音量調整部３３は、音声の音量レベルの平均値を、例えばＢＧＭの音量レベル平均値と同じとなるように調整することにより音声の音量を上げる。

図８（ａ）には、音声に対して音量レベルの平均値を上げる調整をすることにより生成される音声信号の波形の一例を示している。図８（ａ）に示すように、平均値が「−１９．５１ｄＢ」となっている。

こうして、音声信号入力部２０とＢＧＭ信号入力部２１によって実際に入力される音声信号とＢＧＭ信号の音量レベルをもとにして、予め設定された設定レベル（ここでは許容出力の５０％）に調整すると共に、この設定レベルに調節された音声とＢＧＭの音量レベルの平均値を調整することにより、音声とＢＧＭの音量バランスを、音声とＢＧＭを同時に出力した場合に音声が聞き取りやすくなるように調整することができる。

こうして、音圧処理部２３によって音声とＢＧＭに対して音量レベルが調整されると、周波数処理部２５によってさらに音声が聞き取りやすくなるように周波数処理を実行する。

音声分析部４０は、音圧処理部２３（音量調整部３３）により音量レベルが調整された音声について周波数分析を実行する（ステップＡ７）。また、ＢＧＭ分析部４２は、音圧処理部２３（音量調整部３３）により音量レベルが調整されたＢＧＭについて周波数分析を実行する（ステップＡ９）。

図９（ａ）には音声に対する周波数分析結果を示し、図９（ｂ）にはＢＧＭに対する周波数分析結果を示している。

基本周波数帯域検出部４１は、音声分析部４０による周波数分析の結果をもとに、基本周波数帯域を検出する（ステップＡ８）。図９（ａ）に示す周波数分析結果の場合には、６００Ｈｚ近辺の周波数帯域が最も強いエネルギーを持ち、基本周波数帯域として検出される。なお、基本周波数帯域の検出の方法は、どのような方法を用いても良い。

帯域音量調整部４３は、ＢＧＭ分析部４２により分析された音量レベルが調整されたＢＧＭに対して、基本周波数帯域検出部４１により検出された音声の基本周波数帯域に対応する帯域の音量レベルを所定値分下げる調整をする（ステップＡ１０）。

図１０には、帯域音量調整部４３による音量調整を説明するためのＢＧＭの信号波形の一例を示している。図１０（ａ）は、ＢＧＭ分析部４２による周波数分析結果を示している（図９（ｂ）と同じ）。基本周波数帯域検出部４１において基本周波数帯域が６００Ｈｚ近辺として検出されているため、図１０（ｂ）に示すように、その帯域に相当するＢＧＭの周波数帯域を所定値、ここでは例えば９ｄＢ下げている。なお、ＢＧＭの周波数帯域を下げる所定値は９ｄＢに限るものではなく、その他の値とすることも可能である。この値は、動作モードに応じて固定としても良いし、音声から検出される基本周波数帯域の音量レベル（エネルギー）やピーク値、あるいはＢＧＭの基本周波数帯域に相当する帯域の音量レベルなどに基づいて動的に変更するようにしても良い。

帯域音量調整部４３は、基本周波数帯域に相当する帯域の音量を下げたＢＧＭに対して音声変換を実行する（ステップＡ１１）。

信号出力部４４は、帯域音量調整部４３により音声変換されたＢＧＭのＢＧＭ信号と、音圧処理部２３における音圧処理により音量レベルが調整された音声の音声信号を出力する（ステップＡ１２）。

こうして、音圧処理部２３における音量レベルの調整だけでなく、実際に入力された音声から検出される基本周波数帯域に相当する帯域のＢＧＭの音量レベルを下げることにより、ＢＧＭと音声を同時に出力した場合においても、音声をより聞きやすくすることが可能となる。

次に、音声処理モードの設定について説明する。
前述した説明では、デフォルトとして設定された標準モードの場合について説明しているが、歌唱者による入力部２７のモード選択ボタン２７ａに対する操作に応じて、その他のモード（音声優先モード、演奏優先モード）を設定することができる。

図１１には、各モードを定義するモードデータの一例を示している。
標準モードでは、音声の最大音量５０％、ＢＧＭの最大音量５０％、音声の音量レベルの平均値＝ＢＧＭの音量レベルの平均値となるように、音圧処理により音声とＢＧＭのそれぞれに対して音量レベルの調整をすることで、ＢＧＭだけでなく音声についてもよく聞き取れるようにしている。

これに対して、音声優先モードでは、図１１に示すように、例えば音声の最大音量７０％、ＢＧＭの最大音量３０％、音声の音量レベルの平均値＝ＢＧＭの音量レベルの平均値＋６ｄＢとなるように、音圧処理により音声とＢＧＭのそれぞれに対して音量レベルの調整をすることで、ＢＧＭよりも音声の方が聞き取り易くすることができる。

図１２には、音声優先モードに従い、音圧処理部２３における音声信号とＢＧＭ信号に対する調整をすることにより生成される信号の波形の一例を示している。音声優先モードでは、図１２（ａ）に示すように、入力される音声信号に対して、最大値（最大振幅値）が７０％となる調整をすることで「−３．０２ｄＢ」となり、音量レベルの平均値をＢＧＭ＋６ｄＢとする調整をすることで「−１７．２６ｄＢ」となっている。また、入力されるＢＧＭ信号に対して、最大値（最大振幅値）が３０％となる調整をすることで「−９．９２ｄＢ」となっている。

また、演奏優先モードでは、図１１に示すように、例えば音声の最大音量３０％、ＢＧＭの最大音量７０％、音声の音量レベルの平均値＝ＢＧＭの音量レベルの平均値−６ｄＢとなるように、音圧処理により音声とＢＧＭのそれぞれに対して音量レベルの調整をすることで、ＢＧＭの方が音声よりも聞き取り易くすることができる。

図１３には、演奏優先モードに従い、音圧処理部２３における音声信号とＢＧＭ信号に対する調整をすることにより生成される信号の波形の一例を示している。音声優先モードでは、図１３（ａ）に示すように、入力される音声信号に対して、最大値（最大振幅値）が３０％となる調整をすることで「−９．０２ｄＢ」となり、音量レベルの平均値をＢＧＭ−６ｄＢとする調整をすることで「−２３．６７ｄＢ」となっている。また、入力されるＢＧＭ信号に対して、最大値（最大振幅値）が７０％となる調整をすることで、「−３．９２ｄＢ」となっている。

なお、図１１に示すモードデータの数値は一例であって、音声優先モードでは音声を優先し、演奏優先モードではＢＧＭを優先して出力（聞き取りやすく）することができれば、他の値を設定するようにしても良い。

モード設定部２８は、入力部２７（モード選択ボタン２７ａ）からの指示に応じて、何れかの音声処理モードを設定する。これにより、音圧処理部２３の音量調整部３３は、選択されたモードに応じて、図１１に示すモードデータが示すように音声とＢＧＭに対する調整を実行する。これにより、音声処理モードに応じた音量バランスの音声とＢＧＭを出力することができる。なお、演奏優先モードが設定された場合には、周波数処理部２５における周波数処理が音声を聞き取りやすくするための処理であるので実行しないものとする。

こうして、複数の音声処理モードから任意のモードを予め設定しておくことで、実際に入力される音声信号とＢＧＭ信号をもとにした、音声処理モードに従う音量レベルの調整が施された音声とＢＧＭを出力させることが可能となる。

次に、イントロ／間奏処理について説明する。
前述した説明では、音声とＢＧＭとが同時に出力される場合を対象とした音声処理について説明しているが、カラオケ中にはイントロや間奏などに代表されるように、基本的にＢＧＭのみが演奏（出力）されている部分がある。音声処理装置１０は、こうしたイントロあるいは間奏などの部分については、次のようなイントロ／間奏処理を実行するようにしても良い。

音量レベル検知部３０の音声入力判定部３１は、音量レベル検知部３０によって検出される音量の音量レベルを継続的に監視し、音声の入力が一定時間、一定値以下になった場合には、イントロあるいは間奏の部分であると判定する。

音量レベル検知部３０は、イントロあるいは間奏の部分であると判定すると、音量調整部３３に対して演奏優先モードに応じた処理を実行するように指示する。すなわち、音量調整部３３によって、入力されたＢＧＭ信号に対して、最大音量を７０％にするように音圧処理を実行させる。なお、音声については、監視のみとして音圧処理を実行しないものとする。

また、音声入力判定部３１は、音量レベル検知部３０により検出された音量レベルが一定値を越えた場合（さらに一定時間続く場合を条件としても良い）には、音量調整部３３に対して、モード設定部２８により設定された音声処理モードに応じた処理を実行するように動作を戻す。

図１４には、イントロ／間奏処理実行時の音圧処理部２３における音声信号とＢＧＭ信号に対する調整をすることにより生成される信号の波形の一例を示している。図１４（ｂ）に示すように、音声信号が入力されていない間（例えばイントロ部分）では、演奏優先モードに応じた音圧処理を実行している。すなわち、音声の最大振幅値を「−∞ｄＢ」とするのに対して、ＢＧＭ信号の最大値（最大振幅値）を「−３．００ｄＢ（７０％）」としている。

こうして、イントロ／間奏処理を実行することにより、音声入力がない状態ではＢＧＭが聞き取りやすくなるように出力し、音声入力（歌唱）が開始されると、音声が聞きやすくなるように、自動的に音声とＢＧＭの音量レベルの調整を実行して、音声とＢＧＭとを同時に出力させることができる。

このようにして、本実施形態における音声処理装置１０では、カラオケシステム１１から入力されるＢＧＭ信号と、マイク１２から入力された音声信号とに対して音声処理を実行するので、カラオケシステム１１が使用する楽曲データの形式に関係なく音量レベルの調整を実行することができる。従って、音声処理装置１０が音声信号の入力元とする装置についてもカラオケシステム１１に限るものではなく、音声（演奏）信号の出力が可能な装置、例えばＣＤプレーヤ、デジタルオーディオプレーヤなど、各種の装置を対象とすることも可能となる。

また、周波数処理では、音声の基本周波数帯域に対して、ＢＧＭ信号の特性を変更するので、歌唱者の声に対する処理を最低限に抑えて違和感がでないようにしている。

本実施形態の音声処理装置１０を用いることで、ＢＧＭ（演奏）の音量が大きすぎて自分の歌唱音声が聞こえない、あるいは歌唱音声が大きすぎてＢＧＭが聞き取りにくいといった状況を軽減できる。また、音声とＢＧＭとの音量バランスが調整されているので、音声あるいはＢＧＭを聞き取りやすくするため全体の音量を上げる必要もないため、周囲に迷惑となるような音量レベルでの使用を回避できる。さらに、音量に関する調整を手動操作によって行う必要もないので手間を軽減することができる。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本実施形態における音声処理装置１０を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

本実施形態における音声処理装置１０を用いたシステムの構成を示すブロック図。本実施形態における音声処理装置１０を用いたシステムの構成を示すブロック図。本実施形態における音声処理装置１０の構成を示すブロック図。本実施形態の音声処理装置１０における音声処理について説明するためのフローチャート。本実施形態における音圧処理部２３の処理を説明するための信号波形の一例を示す図。本実施形態における音圧処理部２３の処理を説明するための信号波形の一例を示す図。本実施形態における音圧処理部２３の処理を説明するための信号波形の一例を示す図。本実施形態における音圧処理部２３の処理を説明するための信号波形の一例を示す図。本実施形態における周波数処理部２５の処理を説明するための信号波形の一例を示す図。本実施形態における周波数処理部２５の処理を説明するための信号波形の一例を示す図。本実施形態における音声処理モードを定義するモードデータの一例を示す図。音声優先モードにおける処理を説明するための信号波形の一例を示す図。演奏優先モードにおける処理を説明するための信号波形の一例を示す図。本実施形態におけるイントロ／間奏処理を説明するための信号波形の一例を示す図。

符号の説明

１０…音声処理装置、１１…カラオケシステム、１２…マイク、１３…ディスプレイ、１４…アンプ、１５…スピーカ、２０…音声信号入力部、２１…ＢＧＭ信号入力部、２３…音圧処理部、２５…周波数処理部、２７…入力部、２７ａ…モード選択ボタン、２８…モード設定部、３０…音量レベル検知部、３１…音声入力判定部、３３…音量調整部、４０…音声分析部、４１…基本周波数帯域検出部、４２…ＢＧＭ分析部、４３…帯域音量調整部、４４…信号出力部。

Claims

入力された音声信号と演奏音信号をもとにして音声と演奏音の音量レベルをそれぞれ検知する音量レベル検知手段と、
前記音量レベル検知手段により検知された前記音声と前記演奏音のそれぞれの最大音量レベルを、前記音声と前記演奏音のそれぞれに対して予め設定された音量の許容出力に対する比率により示す所定レベルに調整して、この調整後の前記音声と前記演奏音の音量レベルの合計が前記許容出力と同じとなるようにすると共に、前記所定レベルに調整された前記音声の音量レベルの平均値が前記所定レベルに調整された前記演奏音の音量レベルの平均値と同じとなるように、前記所定レベルに調整された前記音声の最大音量を一定に保ったまま音量を変更する処理を実行して前記音声と前記演奏音のバランスを調整する音量調整手段と、
前記音量調整手段により音量レベルが調整された音声について周波数分析を実行して周波数特性を求める音声分析手段と、
前記音声分析手段により求められた周波数特性をもとに、前記音量調整手段によって前記所定レベルに調整された前記音声から歌唱者の声の高さを表す基本周波数帯域を検出する基本周波数帯域検出手段と、
前記音量調整手段により音量レベルが調整された前記演奏音に対して、前記基本周波数帯域検出手段により検出された基本周波数帯域に対応する帯域の音量レベルを所定値分下げる調整をする帯域音量調整手段と、
前記帯域音量調整手段により調整された演奏音の演奏音信号と、前記音量調整手段により調整された音声の音声信号を出力する信号出力手段と
を具備したことを特徴とする音声処理装置。
前記音量レベル検知手段は、前記音声信号に対して検出される音量レベルが一定時間、一定値以下となる所定の状態となったことを判定する音声入力判定手段を有し、
前記音量調整手段は、前記音声入力判定手段により前記音声信号に対して検出される音量レベルが前記所定の状態となったと判定された場合に、前記音声に対する調整をしないことを特徴とする請求項１記載の音声処理装置。
前記音量レベル検知手段は、前記音声信号に対して検出される音量レベルが一定時間、一定値以下となる所定の状態となったことを判定する音声入力判定手段を有し、
前記音量調整手段は、前記音声入力判定手段により前記音声信号に対して検出される音量レベルが前記所定の状態となったと判定された場合には、前記所定の状態となったと判定されていない場合よりも前記演奏音に対する音量レベルを上げるように調整することを特徴とする請求項１記載の音声処理装置。
前記音量調整手段により前記音声と前記演奏音のそれぞれの前記最大音量レベルを調整するための音量の許容出力に対する比率と、前記音量レベルの平均値のバランスを調整するための調整量を示すデータとが、それぞれ設定された複数の音声処理モードのうちの何れかの音声処理モードを設定するモード設定手段をさらに具備し、
前記音量調整手段は、前記モード設定手段により設定された音声処理モードに応じて、前記音声と前記演奏音の音量レベルの調整を行うことを特徴とする請求項１記載の音声処理装置。
コンピュータを、
入力された音声信号と演奏音信号をもとにして音声と演奏音の音量レベルをそれぞれ検知する音量レベル検知手段と、
前記音量レベル検知手段により検知された前記音声と前記演奏音のそれぞれの最大音量レベルを、前記音声と前記演奏音のそれぞれに対して予め設定された音量の許容出力に対する比率により示す所定レベルに調整して、この調整後の前記音声と前記演奏音の音量レベルの合計が前記許容出力と同じとなるようにすると共に、前記所定レベルに調整された前記音声の音量レベルの平均値が前記所定レベルに調整された前記演奏音の音量レベルの平均値と同じとなるように、前記所定レベルに調整された前記音声の最大音量を一定に保ったまま音量を変更する処理を実行して前記音声と前記演奏音のバランスを調整する音量調整手段と、
前記音量調整手段により音量レベルが調整された音声について周波数分析を実行して周波数特性を求める音声分析手段と、
前記音声分析手段により求められた周波数特性をもとに、前記音量調整手段によって前記所定レベルに調整された前記音声から歌唱者の声の高さを表す基本周波数帯域を検出する基本周波数帯域検出手段と、
前記音量調整手段により音量レベルが調整された前記演奏音に対して、前記基本周波数帯域検出手段により検出された基本周波数帯域に対応する帯域の音量レベルを所定値分下げる調整をする帯域音量調整手段と、
前記帯域音量調整手段により調整された演奏音の演奏音信号と、前記音量調整手段により調整された音声の音声信号を出力する信号出力手段として機能させるための音声処理プログラム。