以下、本発明における音声処理装置や、この音声処理装置を備える電子機器の実施形態について、図面を参照して説明する。また、最初に、音声処理装置を備える電子機器として、音声信号の記録とともに画像信号の記録も可能な撮像装置を例に挙げて説明する。
<<撮像装置>>
(撮像装置の基本構成)
まず、撮像装置の基本構成について、図1に基づいて説明する。図1は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
図1に示すように、撮像装置1は、入射される光を電気信号に変換するCCD(Charge Coupled Devices)またはCMOS(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子から成るイメージセンサ2と、被写体の光学像をイメージセンサ2に結像させるとともに光量などの調整を行うレンズ部3と、を備える。また、図示していないが、レンズ部3にはズームレンズと、ズームレンズの焦点距離である光学ズーム倍率を変化させるモータと、が備えられる。
さらに、撮像装置1は、イメージセンサ2から出力されるアナログ信号である画像信号をデジタル信号に変換するAFE(Analog Front End)4と、撮像装置1の前方の左右方向から入力される音声をそれぞれ独立して電気信号に変換するステレオマイク5と、AFE4から出力されるデジタル信号となる画像信号に対して階調補正処理などの各種画像処理を施す画像処理部6と、ステレオマイク5から出力されるアナログの音声信号をデジタル信号に変換するとともに音声補正処理を施す音声処理部7と、画像処理部6から出力される画像信号と音声処理部7から出力される音声信号のそれぞれに対してMPEG(Moving Picture Experts Group)圧縮方式などの動画用の圧縮符号化処理を施す圧縮処理部8と、圧縮処理部8で圧縮符号化された圧縮符号化信号を記録する外部メモリ9と、圧縮符号化信号を外部メモリ9に記録したり読み出したりするドライバ部10と、ドライバ部10において外部メモリ9から読み出した圧縮符号化信号を伸長して復号する伸長処理部11と、を備える。
また、撮像装置1は、伸長処理部11で復号されて得られる画像信号をディスプレイなどの表示装置(不図示)で表示するためにアナログ信号に変換する画像出力回路部12と、伸長処理部11で復号されて得られる音声信号をスピーカなどの再生装置(不図示)で再生するためにアナログ信号に変換する音声出力回路部13と、を備える。
また、撮像装置1は、撮像装置1内全体の動作を制御するCPU(Central Processing Unit)14と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ15と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部16と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ(TG)部17と、CPU14と各ブロックとの間でデータのやりとりを行うためのバス回線18と、メモリ15と各ブロックとの間でデータのやりとりを行うためのバス回線19と、を備える。
なお、外部メモリ9は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、SD(Secure Digital)カードのような半導体メモリ、DVDなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ9として使用することができる。また、外部メモリ9を撮像装置1から着脱自在としても構わない。
(撮像装置の基本動作)
次に、撮像装置1の基本動作について図1を用いて説明する。まず、撮像装置1は、レンズ部3より入射される光をイメージセンサ2において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ2は、TG部17から入力されるタイミング制御信号に同期して、所定のフレーム周期(例えば、1/60秒)で順次AFE4に画像信号を出力する。
そして、AFE4によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部6に入力される。画像処理部6では、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ15はフレームメモリとして動作し、画像処理部6が処理を行なう際に画像信号を一時的に保持する。
また、このとき画像処理部6に入力される画像信号に基づき、レンズ部3において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
一方、ステレオマイク5において電気信号に変換される音声信号は、音声処理部7に入力される。音声処理部7は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの音声補正処理を施す。さらに、入力される音声信号が水中で集音されたものであるか否かを判定し、その判定結果に基づいて水中特性補正処理を施す。なお、音声処理部7の構成や水中特性補正処理の詳細については後述する。
そして、画像処理部6から出力される画像信号と、音声処理部7から出力される音声信号と、がともに圧縮処理部8に入力され、圧縮処理部8において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部10を介して外部メモリ9に記録される。
また、音声のみを記録する場合であれば、音声信号が圧縮処理部8において所定の圧縮方法で圧縮され、外部メモリ9に記録されることとなる。
外部メモリ9に記録された圧縮符号化信号は、ユーザの指示に基づいて伸長処理部11に読み出される。伸長処理部11は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部12、音声信号を音声出力回路部13にそれぞれ出力する。そして、画像出力回路部12や音声出力回路部13において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。
なお、表示装置やスピーカは、撮像装置1と一体となっているものであっても構わないし、別体となっており撮像装置1に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部6から出力される画像信号を圧縮せずに画像出力回路部12に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部8で圧縮して外部メモリ9に記録する動作と並行して、画像出力回路部12を介して表示装置などに画像信号を出力することとしても構わない。
(音声処理部の基本構成)
次に、図1に示した音声処理部7の基本構成について図面を参照して説明する。図2は、本発明の実施形態における撮像装置の音声処理部の基本構成について示すブロック図である。
図2に示すように、音声処理部7は、図1のステレオマイク5から入力される2つの音声信号(Rch、Lch)をそれぞれデジタル信号に変換するA/D変換部71と、A/D変換部71から出力される2つの音声信号に基づいて集音環境を判定する集音環境判定部72と、A/D変換部71から出力される2つの音声信号が入力されるとともに集音環境判定部72の判定結果に基づいて入力される音声信号に水中特性補正処理を施す水中特性補正部73と、を備える。
集音環境判定部72は、入力される音声信号が水中で集音されたものであるか否かを判定し、判定結果を水中特性補正部73に出力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定する場合、水中特性補正部73は、水中における音の集音特性の影響を音声信号から低減させる水中特性補正処理を、入力される音声信号に施して出力する。一方、入力される音声信号が水中で集音されたものではないと集音環境判定部72が判定する場合、水中特性補正部73は、入力される音声信号に水中特性補正処理を施すことなく出力する。
以上のように構成することによって、水中で集音された音声信号に対して水中特性補正処理を施し、補正した音声信号を外部メモリ9に記録したりスピーカなどに出力したりすることが可能となる。したがって、ユーザの意図した音声信号を得ることが可能となる。
なお、集音環境判定部72が、入力される音声信号に基づいて集音された環境を判定する際に、その判定結果を撮像装置1に備えられるディスプレイに表示したり、表示用LED(Light Emitting Diode)を発光、点滅させたりして、ユーザに通知することとしても構わない。このように構成すると、正確に判定が行われていることをユーザに通知することが可能となる。
また、ユーザが操作部16の操作によって、水中特性補正処理を行わない通常モードと、水中特性補正処理を行う水中モードと、を設定することができる構成としても構わない。この場合においても、集音環境が水中か否かを判定することとしても構わなく、判定結果と、設定されたモードと、のどちらかを優先させることとしても構わない。
また、音声信号に基づいて集音環境の判定を行い、音声信号に対して水中特性補正処理を施すものとしたが、音声信号に加えて(または音声信号に代えて)画像信号に対して水中特性補正処理を施すこととしても構わない。また、音声信号に加えて(または音声信号に代えて)画像信号に基づいて水中か否かの判定を行うこととしても構わない。例えば、水の光学特性(光吸収など)による影響を低減させる補正や、水の光学特性を利用した判定を行うこととしても構わない。
また、音声処理部7において、水中特性補正部73の他に、音声補正処理を行う処理部を備えることとしても構わない。また、この処理部が、水中で集音されたものではないと判定された音声信号に対して音声補正処理を施すものであっても構わないし、入力される全ての音声信号に対して音声補正処理を施すものであっても構わない。
また、上述した基本構成は撮像装置1に関するものであるが、集音機能を備えた電子機器であれば、どのような電子機器にも適用することができる。例えば、撮像機能を備えず集音機能のみを備えたICレコーダなどにも適用することが可能である。この場合、画像信号を取得及び処理する部分を示すブロック(レンズ部3や、イメージセンサ2、画像処理部6、画像出力回路部12など)を備えないこととしても構わない。また、集音機能を備えず、入力される音声信号を再生する再生機能を備えた電子機器にも適用することができる。なお、この再生機能を備えた電子機器の詳細については後述する。
(集音環境判定部)
上述した集音環境判定部72及び水中特性補正部73のそれぞれの実施例について、以下に図面を参照してそれぞれ説明する。最初に、集音環境判定部72のそれぞれの実施例について説明し、その後に水中特性補正部73のそれぞれの実施例について説明する。また、以下の説明において、上述した基本構成と同様の部分については同じ符号を付し、その詳細な説明については省略する。
<集音環境判定部の第1実施例>
最初に、図2に示した集音環境判定部72の第1実施例について図面を参照して説明する。図3は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第1実施例について示すブロック図である。図3に示すように音声処理部7aは、A/D変換部71と、集音環境判定部72aと、水中特性補正部73と、を備える。
また、集音環境判定部72aは、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、の差異に基づいて、入力される音声信号が集音された環境を判定する周波数特性判定部721を備える。
ここで、周波数特性判定部721について図面を参照して説明する。図4は、空気中で集音された音声信号の周波数特性の一例を示すグラフであり、図5は、水中で集音された音声信号の周波数特性の一例を示すグラフである。図4及び図5に示すグラフでは、横軸を周波数、縦軸を利得(減衰量)として示す。
図4及び図5に示すように、水中で集音すると、空気中で集音する場合と比較して高周波帯域の減衰が大きく、低周波帯域に強度が集中することとなる。そこで、周波数特性判定部721はこの周波数特性の差異を利用して、集音環境判定部72aに入力される音声信号が水中で集音されたものであるか否かを判定する。
この周波数特性判定部721によって集音環境判定部72aに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部73が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部73が、入力される音声信号に水中特性補正処理を施すことなく出力する。
集音環境判定部72aを本実施例のように構成すると、集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、空気中と水中との周波数特性の差異が大きいために判定の高精度化を図ることが可能となり、誤判定を抑制することが可能となる。
なお、集音環境判定部72aが実行する判定方法を以下に示す方法としても構わない。本例の方法では、A/D変換部71から出力された二つの音声信号を対象として、低帯域(例えば、数十(70)Hz〜3kHz)、中帯域(例えば、6kHz〜9kHz)、高帯域(例えば、12kHz〜15kHz)の各帯域で信号レベルの平均値を算出する。なお、各帯域は上記具体例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。
その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1、中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2、及び、高帯域に対する中帯域の信号レベル比(中帯域/高帯域)R3は、ステレオマイク5を空気中から水中に挿入し再び空気中に戻した場合図6に示すような時間変化を示す。図6中の期間T1及びT3はステレオマイク5が空気中に位置する期間であり図6中の期間T2はステレオマイク5が水中に位置する期間である。高帯域に対する中帯域の信号レベル比(中帯域/高帯域)R3は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2は、空気中では小さい値であるが、水中では集音感度が変化し、空気中の場合と比べて大幅に大きな値になる。
このことを利用して、集音環境判定部72aは、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2が閾値以上に大きくなった場合に水中であると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2を算出せず、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1が閾値以上に大きくなった場合に水中であると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1を算出せず、中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2が閾値以上に大きくなった場合に水中であると判定することも可能である。
なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2が瞬間的に小さな値になる可能性がある。そのため、集音環境判定部72aが判定に使用する高帯域に対する低帯域の信号レベル比(低帯域/高帯域)R1及び中帯域に対する低帯域の信号レベル比(低帯域/中帯域)R2は、一定時間において平均をとった値を用いることが望ましい。
また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。
<集音環境判定部の第2実施例>
次に、図2に示した集音環境判定部72の第2実施例について図面を参照して説明する。図7は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第2実施例について示すブロック図である。図7に示すように、音声処理部7bは、A/D変換部71と、集音環境判定部72bと、水中特性補正部73と、を備える。
また、集音環境判定部72bは、空気中で集音された音声信号の伝播特性と、水中で集音された音声信号の伝播特性と、の差異に基づいて、入力される音声信号が集音された環境を判定する伝播特性判定部722を備える。
伝播特性判定部722が判定に用いる音声信号の伝播特性として、例えば、音速の差異がある。空気中での音速は344m/s程度であり、水中での音速は1500m/s程度となる。本例ではこの音速の差異に基づいて集音環境を判定する。また、このように判定を行う場合、例えば、レンズ部3に備えられる光学ズーム倍率を変化させるモータの駆動音を用いることができる。このように判定を行う場合について以下に説明する。
CPU14は、モータ駆動制御信号をレンズ部3に備えられるモータに対して出力することで、モータの駆動を制御する。モータが駆動すると、図1に示す撮像装置1における駆動音(自己発生駆動音)としてステレオマイク5によって集音される。一方、CPU14はモータの駆動タイミングの時間管理を行い、その時間情報を集音環境判定部72bの伝播特性判定部722に出力する。伝播特性判定部722は、入力される音声信号に含まれる自己発生駆動音の集音時間と、モータの駆動タイミングに関する時間情報と、に基づいて自己発生駆動音の伝播速度を測定する。伝播特性判定部722は得られる伝播速度に基づいて、集音環境判定部72bに入力される音声信号が水中で集音されたものであるか否かを判定する。
この伝播特性判定部722によって集音環境判定部72bに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部73が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部73が、入力された音声信号に水中特性補正処理を施すことなく出力する。
集音環境判定部72bを本実施例のように構成すると、第1実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、自己発生駆動音を自己が集音することによって判定を行うことができるため、精度よく時間管理を行うことによって正確な判定を行うことが可能となる。
<集音環境判定部の第3実施例>
次に、図2に示した集音環境判定部72の第3実施例について図面を参照して説明する。図8は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第3実施例について示すブロック図である。図8に示すように、音声処理部7cは、A/D変換部71と、集音環境判定部72cと、水中特性補正部73と、を備える。
また、集音環境判定部72cは、入力される音声信号の集音環境を空気中及び水中における音声信号の周波数特性の差異に基づいて判定する第1判定部723と、入力される音声信号の集音環境を空気中及び水中における音声信号の伝播特性の差異に基づいて判定する第2判定部724と、第1判定部723と第2判定部724との判定結果に基づいて総合的な判定を行うとともに水中特性補正部73に判定結果を出力する総合判定部725と、を備える。
第1判定部723は、図3に示す周波数特性判定部721と同様に、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、の差異を利用して判定を行う。また、第2判定部724は、図7に示す伝播特性判定部722と同様に、CPU14から入力される時間情報と、ステレオマイク5を介して入力される音声信号に含まれる自己発生駆動音の集音時間と、に基づいて伝播速度を測定し、これを利用して判定を行う。また、総合判定部725は、第1判定部723及び第2判定部724がともに音声信号が水中で集音されたものであると判定した場合にのみ、集音環境判定部72cに入力される音声信号が水中で集音されたものであると判定する。
総合判定部725によって集音環境判定部72cに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部73が、入力される音声信号に水中特性補正処理を施して出力する。また、第1判定部723及び第2判定部724が異なる判定をしたり、ともに水中で集音されたものでないと判定したりする場合には、水中特性補正部73が、入力される音声信号に水中特性補正処理を施さずに出力する。
集音環境判定部72cを本実施例のように構成すると、第1及び第2実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、複数の判定方法に基づいて判定を行うことができるため、より正確に判定を行うことが可能となる。
なお、第1判定部723及び第2判定部724における判定方法の組み合わせについては、上述した組み合わせに限るものではない。例えば、上述したような周波数特性または伝播特性に基づいた判定方法と、これ以外の他の判定方法であり入力される音声信号に基づいて判定する判定方法と、を組み合わせることとしても構わない。また、同様の判定方法を組み合わせても構わない。
さらに、入力される音声信号に基づいて判定する判定方法と、入力される音声信号に基づかない判定方法(例えば、従来技術として記載した圧力センサなど)の組み合わせとすることも可能である。このように構成する場合、入力される音声信号に基づいて判定する判定方法を組み合わせた場合には及ばないが、圧力センサなどの専用部品を複数組み合わせて判定する場合と比較して、小型化及び低コスト化を図ることができる。即ち、判定の精度を高めることができるとともに、小型化及び低コスト化を図ることができる。
また、本例では二つの判定部(第1判定部723及び第2判定部724)を備える構成について示しているが、判定部を2以上備える構成としても構わない。
<集音環境判定部の第4実施例>
次に、図2に示した集音環境判定部72の第4実施例について図面を参照して説明する。図9は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第4実施例について示すブロック図である。図9に示すように、音声処理部7dは、A/D変換部71と、集音環境判定部72dと、水中特性補正部73と、を備える。
また、集音環境判定部72dは、入力される音声信号の集音環境を空気中及び水中における音声信号の伝播特性の差異に基づいて判定する伝播特性判定部726を備える。ただし、伝播特性判定部726は、図7に示す第2実施例の伝播特性判定部722や、図8に示す第3実施例の第2判定部724とは異なる方法で判定を行う。
伝播特性判定部726の判定方法について、図10を用いて説明する。図10は、ステレオマイクの模式図である。図10に示すように、音源が発する音がステレオマイク5に集音される際に、マイク5Lとマイク5Rとの間に行路差dが生じる。そして、この行路差dに起因して到達時間の差(行路差dを音速で除算した値)が生じる。また、この到達時間の差が異なることにより、マイク5Rから入力される音声信号(Rch)とマイク5Lから入力される音声信号(Lch)との間に位相差が生じる。
そして、上述したように空気中と水中とでは音速が異なる。そのため、音声信号(Rch)と音声信号(Lch)との間に生じる位相差が、空気中で集音された音声信号と水中で集音された音声信号とによって異なるものとなる。そこで、伝播特性判定部726はこの位相差の差異に基づいて、集音環境判定部72dに入力される音声信号が水中で集音されたものであるか否かを判定する。
伝播特性判定部726によって集音環境判定部72dに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部73が、入力される音声信号に水中特性補正処理を施して出力する。一方、水中で集音されたものではないと判定される場合には、水中特性補正部73が、入力される音声信号に水中特性補正処理を施すことなく出力する。
集音環境判定部72dを本実施例のように構成すると、第1〜第3実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。また、多チャネルのマイクアレイを使用し、2以上の複数のマイク間の位相差を得ることとすると、さらに判定の精度を向上させることが可能となる。
なお、撮像装置1が発生させる音に対して判定を行うこととしても構わない。このように構成すると、音源とそれぞれのマイクとの位置とが固定されるために精度良く判定を行うことが可能となる。また、図8に示す第3実施例の集音環境判定部72cのように、他の判定方法と組み合わせることとしても構わない。
<集音環境判定部の第5実施例>
次に、図2に示した集音環境判定部72の第5実施例について図面を参照して説明する。図11は、本発明の実施形態における音声処理部に備えられる集音環境判定部の第5実施例について示すブロック図である。図11に示すように、音声処理部7eは、A/D変換部71と、集音環境判定部72eと、水中特性補正部73と、を備える。
また、集音環境判定部72eは、音声信号(Rch)における集音環境の判定を行うRch判定部727と、音声信号(Lch)における集音環境の判定を行うLch判定部728と、Rch判定部727とLch判定部728との判定結果に基づいて総合的な判定を行うとともに水中特性補正部73に判定結果を出力する総合判定部729と、を備える。
Rch判定部727及びLch判定部728は、上述した実施例の周波数特性判定部721や、伝播特性判定部722などと同様のものとすることができる。また、総合判定部729は、Rch判定部727及びLch判定部728がともに水中で集音された音声信号であると判定した場合にのみ、集音環境判定部72eに入力される音声信号が水中で集音されたものであると判定する。
総合判定部729によって集音環境判定部72eに入力される音声信号が水中で集音されたものであると判定される場合、水中特性補正部73が、入力される音声信号に水中特性補正処理を施して出力する。また、Rch判定部727及びLch判定部728が異なる判定をしたり、ともに水中で集音されたものでないと判定したりする場合には、水中特性補正部73が、入力される音声信号に水中特性補正処理を施さずに出力する。
さらに、総合判定部729は、Rch判定部727及びLch判定部728の判定結果が異なる場合、ユーザにその旨を通知するために警告信号を出力する。この警告信号は、例えば、撮像装置1に備えられるディスプレイなどの表示装置に「集音環境判定エラー」等の文字情報を表示するものであっても構わないし、撮像装置1に警告用の表示用LEDを備えるとともにこれを点灯させて通知しても構わない。
このような警告信号を出力してユーザに通知することとすると、例えば、撮像装置1を水中から空気中に移動させる際に、ステレオマイク5の一方のマイクの水切れが不十分である場合が発生したとしても、そのことをユーザに対して通知することができる。これにより、ユーザは集音環境判定が適切に行われていることを確認することができる。また、水切りが不十分なマイクが存在することをユーザに通知することが可能となるため、それぞれのマイクが、異なる集音環境で音声を継続して集音することを抑制することが可能となる。
また、集音環境判定部72eを本実施例のように構成すると、第1〜第4実施例と同様に集音した音声信号に基づいて集音環境の判定を行うことが可能となる。そのため、集音環境を判定するための特別な装置や専用部品を用いずに集音環境の判定を行うことが可能となる。
なお、第1〜第5実施例の集音環境判定部72a〜72eにおいて、多チャネルのマイクアレイ(例えば、5.1chサラウンド録音対応マイク)を用いることとして、複数のマイクから入力されるそれぞれの音声信号に基づいて判定を行うこととしても構わない。また、所定のマイクから入力される音声信号に基づいて判定を行うこととしても構わない。ただし、第4実施例及び第5実施例の集音環境判定部72d,72eは、少なくとも二つのマイクから入力される音声信号に基づいて判定を行うこととする。
また、第1〜第3実施例の集音環境判定部72a〜72cについて、一つのチャネルのマイクから入力される音声信号に基づいて判定を行うこととしても構わなく、モノラルマイクを用いることとしても構わない。
また、第2及び第3実施例の集音環境判定部72b,72cのように自己発生駆動音を利用して判定を行う場合について、レンズ部3に備えられるモータの駆動音を利用する場合を例に挙げて説明したが、他の音を利用しても構わない。
(水中特性補正部)
以下において、図2に示した水中特性補正部73のそれぞれの実施例について図面を参照して説明する。なお、以下では簡単のため、ステレオマイク5で集音される音声信号をチャネルの区別なく1つの音声信号としてまとめて記載するが、水中特性補正処置部73による水中特性補正処理がチャネル毎に施されることとしても構わない。
<水中特性補正部の第1実施例>
最初に、図2に示した水中特性補正部73の第1実施例について図面を参照して説明する。図12は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第1実施例について示すブロック図である。図12に示すように、音声処理部7fは、A/D変換部71と、集音環境判定部72と、水中特性補正部73aと、を備える。
また、水中特性補正部73aは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するLPF(Low Pass Filter)7301と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するHPF(High Pass Filter)7302と、集音環境判定部72の判定結果に基づいてLPF7301から出力される低周波帯域成分を減衰させる減衰部7303と、減衰部7303から出力される低周波帯域成分とHPF7302から出力される高周波帯域成分とを合成して音声信号を出力する合成部7304と、を備える。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部73aは、LPF7301において入力される音声信号の低周波帯域成分を抽出するとともに、HPF7302において入力される音声信号の高周波帯域成分を抽出する。減衰部7303は、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定する場合に、LPF7301から出力される低周波帯域成分の減衰を行う。また、入力される音声信号が水中で集音されたものではないと集音環境判定部72が判定する場合は、低周波帯域成分を減衰せずに出力する。そして、合成部7304において低周波帯域成分と高周波帯域成分とを合成して音声信号を出力する。
図4及び図5に示したように、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、は異なる。特に、水中で集音される音声信号は、空気中で集音される音声信号と比較して低周波帯域に強度が集中する。そのため、再生時に非常に聞き取り難くなったり耳障りになったりするなどして、ユーザの意図する音声信号とかけ離れたものとなる場合がある。
しかしながら、本実施例のように水中特性補正部73aを構成すると、水中で集音された音声信号の低周波帯域成分を減衰させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、LPF7301及びHPF7302のカットオフ周波数をある周波数λ1としても構わない。また、周波数λ1を例えば2kHzとしても構わない。また、減衰部7303による利得の減衰量を、例えば20dBとしても構わない。
また、本例ではLPF7301、HPF7302を用いて、周波数λ1以下の成分を全て減衰させる構成としたが、所定の周波数帯の成分を減衰させる構成としても構わない。このような構成とするために、例えば、LPF7301を、上限の周波数λ1、下限の周波数λaとした周波数帯の成分を通過させるBPF(Band Pass Filter)に置き換え、このBPFを通過した成分を減衰部7303で減衰させる構成としても構わない。さらにこの場合、例えば、HPF7302を、周波数λ1以上及び周波数λa以下の成分を通過させるBEF(Band Elimination Filter)に置き換えても構わない。
<水中特性補正部の第2実施例>
次に、図2に示した水中特性補正部73の第2実施例について図面を参照して説明する。図13は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第2実施例について示すブロック図である。図13に示すように、音声処理部7gは、A/D変換部71と、集音環境判定部72と、水中特性補正部73bと、を備える。
また、水中特性補正部73bは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するLPF7305と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するHPF7306と、集音環境判定部72の判定結果に基づいてHPF7306から出力される高周波帯域成分を増幅させる増幅部7307と、増幅部7307から出力される高周波帯域成分とLPF7305から出力される低周波帯域成分とを合成して音声信号を出力する合成部7308と、を備える。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部73bは、LPF7305において入力される音声信号の低周波帯域成分を抽出するとともに、HPF7306において入力される音声信号の高周波帯域成分を抽出する。そして、増幅部7307は、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定する場合に、HPF7306から出力される高周波帯域成分の増幅を行う。また、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定しない場合は、高周波帯域成分を増幅せずに出力する。そして、合成部7308において低周波帯域成分及び高周波帯域成分を合成して音声信号を出力する。
上述したように、空気中で集音された音声信号の周波数特性と、水中で集音された音声信号の周波数特性と、は異なる。特に、水中で集音される音声信号は、空気中で集音される音声信号と比較して高周波帯域が大きく減衰する。そのため、再生時に非常に聞き取り難くなったり耳障りになったりするなどして、ユーザの意図する音声信号とかけ離れたものとなる場合がある。
しかしながら、水中特性補正部73bを本実施例のように構成すると、水中で集音された音声信号の高周波帯域成分を増幅させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、LPF7305及びHPF7306のカットオフ周波数をある周波数λ2としても構わない。また、周波数λ2を例えば4kHzとしても構わない。また、増幅部7307による利得の増幅量を、例えば15dBとしても構わない。
また、本例ではLPF7305、HPF7306を用いて、周波数λ2以上の成分を全て増幅させる構成としたが、所定の周波数帯の成分を増幅させる構成としても構わない。例えば、HPF7306を、下限の周波数λ2、上限の周波数λbとした周波数帯の成分を通過させるBPFに置き換え、このBPFを通過した成分を増幅部7307で増幅させる構成としても構わない。さらにこの場合、例えば、LPF7305を、周波数λ2以上及び周波数λb以下の成分を通過させるBEFに置き換えても構わない。
<水中特性補正部の第3実施例>
次に、図2に示した水中特性補正部73の第3実施例について図面を参照して説明する。図14は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第3実施例について示すブロック図である。図14に示すように、音声処理部7hは、A/D変換部71と、集音環境判定部72と、水中特性補正部73cと、を備える。
また、水中特性補正部73cは、集音環境判定部72の判定結果とCPU14から出力される制御情報とに基づいて、入力される音声信号中の所定の周波数帯の成分を減衰させる所定信号減衰部7309を備える。なお、この所定信号減衰部7309に、例えば、ノッチフィルタなどの所定の周波数帯の成分を減衰させるフィルタなどを備えても構わない。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定して所定信号減衰部7309に入力する。また、CPU14は、上述したレンズ部3の光学ズーム倍率を変化させるモータを駆動させるモータ駆動制御信号をレンズ部3に出力するとともに、その駆動情報を示す制御情報を所定信号減衰部7309に出力する。所定信号減衰部7309は、制御情報に基づいてレンズ部3のモータの駆動を検知する。
そして、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定するとともに、モータが駆動していることを示す制御情報がCPU14から出力された場合に所定信号減衰部7309が動作し、入力される音声信号の所定の周波数帯の成分を減衰させる。
水中特性補正部73cを本実施例のように構成すると、例えばモータなどを駆動させる際に発生する自己発生駆動音ノイズを減衰させることが可能となる。この自己発生駆動音ノイズについて図15に示す。図15は、水中で集音された音声信号に含まれる自己発生駆動音ノイズについて示したグラフである。また図15は図4及び図5と同様のグラフであり、低周波帯域を拡大して示したものである。
図15には、自己発生駆動音ノイズ(図中の破線で囲まれた部分)が0.5kHzを中心として発生する場合について示している。このような自己発生駆動音ノイズの周波数は撮像装置1に用いる装置によって決まるため、予めどのような周波数帯に自己発生駆動音ノイズが発生するかを知ることができる。したがって、その周波数帯の成分(図15の場合、0.5kHz周辺の信号)を減衰させるように所定信号減衰部7309を設定することにより、自己発生駆動音ノイズを減衰させることが可能となる。
特に、水中で集音すると自己発生駆動音ノイズなどのノイズ信号に対する集音感度が高くなり、強調され易くなる。そのため、空気中で集音する場合には自己発生駆動音ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
しかしながら、本実施例のように、水中で集音した音声信号と判定される場合に自己発生駆動音ノイズを減衰させることとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
また、撮像装置1を駆動させる際に、自己発生駆動音ノイズの周波数帯の成分を減衰させることにより、自己発生駆動音ノイズを選択的に減衰させることが可能となる。したがって、減衰に伴う音声信号の劣化を極力抑制することが可能となる。
なお、CPU14から出力される制御情報を、上述した時間情報と同様のものとすると、一つの情報に基づいて、集音環境の判定と水中特性補正処理とをそれぞれ行うことが可能となる。そのため、CPU14や音声処理部7hの構成及び動作を簡略化することが可能となる。このとき、CPU14からの制御情報が集音環境判定部72の方に入力されることとして、集音環境判定部72からの信号のみに基づいて、所定信号減衰部7309が動作の要否を決定されるように構成しても構わない。
また、自己発生駆動音ノイズは、レンズ部3に備えられるモータの駆動に起因するものとは限らない。即ち、他の装置に起因して発生する自己発生駆動音ノイズであっても、低減することが可能である。
<水中特性補正部の第4実施例>
次に、図2に示した水中特性補正部の第4実施例について図面を参照して説明する。図16は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第4実施例について示すブロック図である。図16に示すように、音声処理部7kは、A/D変換部71と、集音環境判定部72と、水中特性補正部73dと、を備える。
また、水中特性補正部73dは、集音環境判定部72の判定結果に基づいて、入力される音声信号中の平滑化を行う平滑部7310を備える。なお、この平滑部7310に、例えば、平滑化フィルタなどの平滑化処理を行うフィルタなどを備えても構わない。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定して平滑部7310に入力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定する場合に、平滑部7310が動作し、入力される音声信号の平滑化を行う。
水中特性補正部73dを本実施例のように構成すると、擦り切れ音ノイズを低減させることが可能となる。この擦り切れ音ノイズについて図17に示す。図17は、水中で集音された音声信号に含まれる擦り切れ音ノイズと平滑部の処理について示したグラフである。また図17は図4、図5及び図15と同様のグラフである。
図17(a)に示すように、擦り切れ音ノイズ(図中の破線で囲まれた部分)が発生すると、不特定の周波数の信号の強度が局所的に減衰する。そこで、平滑部7310が入力される音声信号に対して平滑化を行うことにより、擦り切れ音ノイズを抑制する。図17(b)に、平滑化後の音声信号(実線)と、比較用の平滑化前の音声信号(破線)と、を併せて示す。図17(b)に示すように、平滑化を行うことで局所的に減衰する部分の減衰量を低減することが可能となる。即ち、擦り切れ音ノイズを低減することが可能となる。
上述のように、水中で集音するとノイズ信号に対する集音感度が高くなり、強調され易くなる。即ち、擦り切れ音ノイズは水中で集音した音声信号で特に強調され易くなる。そのため、空気中で集音する場合には擦り切れ音ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
しかしながら、本実施例のように、水中で集音した音声信号であると集音環境判定部72において判定される場合に擦り切れ音ノイズを低減することとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、擦り切れ音ノイズに限らず、周波数軸方向に現れるノイズ全般に対して、本実施例を適用することが可能である。例えば、フォーカスやズームなどに伴う所定の周波数のノイズ(自己発生駆動音ノイズ)に対して、上述した所定信号減衰部7309を用いる代わりに、本実施例の平滑部7310を用いて対処することができる。
また、平滑部7310で行われる平滑化処理として、加算平均値を用いた方法を利用することができる。この方法で用いられる加算平均値x´[f]は、周波数f(Hz)を中心としたある周波数幅Fa(Hz)に含まれる各周波数i(Hz)の信号値x[i]を加算して、合計値をFaで除算することによって求められる。具体的には、以下の式(1)に示す計算式によって求められる。
そして、得られる加算平均値x´[f]が、信号値x[f]よりも小さくなる場合に、周波数fにおける信号値として加算平均値x´[f]の値の方を採用する。一方、加算平均値x´[f]が信号値x[f]よりも大きくなる場合には、信号値x[f]の値の方をそのまま採用する。平滑部7310がこのような平滑化処理を行う場合の模式図を図18に示す。図18は、フォーカス音によるノイズと平滑部の処理とについて示したグラフである。破線が平滑化処理前の信号値を表し、実線が平滑化処理後の信号値を表すものとする。
図18に示すように、平滑化処理前の信号では、いくつかの帯域において強度が急激に大きくなっている。また、このようなノイズは低周波帯域の信号である場合が多いため、上述のように水中で強調されやすい信号となる。そのため、このような帯域の信号が聴覚上ノイズとして聞こえることとなる。しかしながら、本実施例のように平滑化処理を行うこととすると、実線で示すような信号とすることが可能となる。即ち、強度が急激に大きくなる帯域の信号値を低減して、ノイズを低減することが可能となる。
なお、式(1)において、x´[f]を算出する際にx[f−(Fa/2)+1]〜x[f+(Fa/2)]のFa(個)の各値を合計することとしているが、x[f−(Fa/2)]〜x[f+(Fa/2)−1]の各値を合計することとしても構わない。また、上述した例はFaが偶数である場合のものであるが、Faを奇数として、x[f−(Fa/2)+1/2]〜x[f+(Fa/2)−1/2]の各値を合計するとともにFaで除算して加算平均値x´[f]を算出することとしても構わない。
さらに、周波数軸上に現れるノイズだけでなく、時間軸方向に現れるノイズに対しても、平滑化処理を行うことによって対処することが可能である。この場合、上述した式(1)と同様の、加算平均値を用いた処理を適用することが可能である。ただし、この場合は時間軸方向に対して加算平均値をとることとする。
求める加算平均値x´[t]は、時間t(sec)を中心としてある時間幅Ta(sec)に含まれる各時間k(sec)の信号値x[k]を加算して、合計値をTaで除算することによって求められる。具体的には、以下の式(2)に示す計算式によって求められる。
上述した周波数軸方向に現れるノイズを低減する場合と同様に、得られる加算平均値x´[t]が、信号値x[t]よりも小さくなる場合に、時間tにおける信号値として加算平均値x´[t]の値の方を採用する。一方、加算平均値x´[t]が信号値x[t]よりも大きくなる場合には、信号値x[t]の値の方をそのまま採用する。このような平滑化処理を行うことで、例えば、撮像装置の筐体が何かと接触することによって、突発的で大きなノイズが発生したとしても、発生するノイズを低減することが可能となる。
なお、式(2)において、x´[t]を算出する際にx[t−(Ta/2)+1]〜x[t+(Ta/2)]のTa(個)の各値を合計することとしているが、x[t−(Ta/2)]〜x[t+(Ta/2)−1]の各値を合計することとしても構わない。また、上述した例はTaが偶数である場合のものであるが、Taを奇数として、x[t−(Ta/2)+1/2]〜x[t+(Ta/2)−1/2]の各値を合計するとともにTaで除算して加算平均値x´[t]を算出することとしても構わない。
また、周波数軸方向、時間軸方向に対して行う平滑化処理の例として、加算平均値を利用する場合について示したが、本実施例はこの方法に限られない。特に、平滑化処理を実行できるものであれば、他の方法を用いても構わない。
<水中特性補正部の第5実施例>
次に、図2に示した水中特性補正部73の第5実施例について図面を参照して説明する。図19は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第5実施例について示すブロック図である。図19に示すように、音声処理部7mは、入力される音声信号の利得を自動的に制御するAGC(Automatic Gain Control)部74と、AGC部74から出力される音声信号が入力されるA/D変換部71と、集音環境判定部72と、水中特性補正部73eと、を備える。また、水中特性補正部73eは、集音環境判定部72の判定結果に基づいて、AGC部74のレスポンス速度を制御するレスポンス速度制御部7311を備える。なお、本実施例について示す図19にのみAGC部74を示しているが、他の実施例においてAGC部74を備えることとして構わない。
AGC部74は、入力される音声信号の強度を監視するとともに、音声信号の強度が設定値より大きくなる場合は減衰を行い、音声信号の強度が設定値より小さくなる場合には増幅を行う。AGC部74はこのように動作することにより、音声信号の強度を制御して後段の処理に適した強度に近づける。
AGC部74の具体的な動作例について、図20を参照して説明する。図20は、AGC部の動作の具体例について示したグラフである。図中の波は音声信号を模式的に示したものである。また、その波の上下に記載した破線は、音声信号の振幅(強度)の時間変化を示したものである。また、図20では、区間Iにおける音声信号の強度が設定値と等しいものであり、区間IIにおける強度が区間Iにおける強度より小さく、区間IIIにおける強度が区間Iにおける強度よりも大きいものであるとする。
図20に示すように、区間IIにおいて音声信号の強度が設定値より小さくなったことがAGC部74によって確認されると、強度を設定値と同等にするための上昇率が区間(一)において設定される。そして、区間(二)では、区間(一)において設定された上昇率で音声信号が増幅され、区間(二)の終了時に音声信号の強度が設定値と同等になるように調整される。一方、区間IIIになり、音声信号の強度が設定値より大きくなったことがAGC部74によって確認されると、強度を設定値と同等にするための下降率が区間(三)において設定される。そして、区間(四)では、区間(三)において設定された下降率で音声信号が減衰され、区間(四)の終了時に音声信号の強度が設定値と同等になるように調整される。
また、集音環境判定部72は上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定してレスポンス速度制御部7311に入力する。そして、入力される音声信号が水中で集音されたものであると集音環境判定部72が判定する場合に、レスポンス速度制御部7311が、AGC部74におけるレスポンス速度を、水中と判定されない場合と比較して速くする制御を行う。例えば、AGC部74が図20に示すような制御を行う場合、レスポンス制御部7311が、区間(一)、(二)、(三)及び(四)の区間をそれぞれ短くする制御を行う。
水中特性補正部73eを本実施例のように構成すると、クリックノイズなどの突発ノイズを低減させることが可能となる。この突発ノイズについて図21に示す。図21は、水中で集音された音声信号に含まれる突発ノイズとレスポンス速度制御部の処理について示したグラフである。図21に示すグラフにおいては、横軸を時間、縦軸を利得として示す。また、図21(a)は、レスポンス速度制御部7311がAGC部74のレスポンス速度を速くする制御を行わない状態(水中であると判定されない場合と同じレスポンス速度とした状態)を示すグラフであり、図21(b)は、レスポンス速度を速くするように制御した状態を示すグラフである。
図21(a)に示すように、突発ノイズ(図中の破線で囲まれた部分)が発生すると、時間軸方向において信号の強度が局所的に増大する部分が生じる。この局所的な信号の強度の増大を抑制するために、レスポンス速度制御部7311が、AGC部74のレスポンス速度を速くするように制御する。図21(b)に、レスポンス速度を速くした場合の音声信号のグラフ(実線)と、比較用のレスポンス速度を速くする前の音声信号(破線)のグラフと、を併せて示す。図21(b)に示すように、レスポンス速度を速くすると、ノイズに対して迅速にAGCが行われるようになる。したがって、局所的な信号強度の増大を抑制することが可能となる。即ち、突発ノイズを低減することが可能となる。
上述のように、水中で集音するとノイズ信号に対する集音感度が高くなり、強調され易くなる。即ち、突発ノイズは水中で集音した音声信号で特に強調され易くなる。そのため、空気中で集音する場合には突発ノイズが耳障りにならないが、水中で集音した場合には耳障りになるということが生じる。
しかしながら、本実施例のように、水中で集音した音声信号であると集音環境判定部72において判定される場合に、突発ノイズを低減することとすると、強調されやすいノイズ信号を効果的に低減することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、突発ノイズによって局所的に信号の強度が減少する場合についても、同様に低減することができる。この場合は、AGC部74によって迅速に信号が増幅されることで、信号強度の減少が抑制される。
<水中特性補正部の第6実施例>
次に、図2に示した水中特性補正部73の第6実施例について図面を参照して説明する。図22は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第6実施例について示すブロック図である。図22に示すように、音声処理部7nは、A/D変換部71と、集音環境判定部72と、水中特性補正部73fと、を備える。
また、水中特性補正部73fは、入力される音声信号中の所定の周波数以下となる低周波帯域成分を抽出して出力するLPF7312と、入力される音声信号中の所定の周波数帯となる中周波帯域成分を抽出して出力するBPF7313と、入力される音声信号中の所定の周波数以上となる高周波帯域成分を抽出して出力するHPF7314と、集音環境判定部72から出力される混合係数αをLPF7312から出力される低周波帯域成分に積算する係数積算部7315と、BPF7313から出力される中周波帯域成分に基づいて音声信号を復元して復元信号を出力する復元部7316と、復元部7316から出力される復元信号から低周波帯域を抽出して復元低周波帯域成分を出力するLPF7317と、集音環境判定部72から出力される混合係数(1−α)をLPF7317から出力される復元低周波帯域成分に積算する係数積算部7318と、係数積算部7315から出力される低周波帯域成分と係数積算部7318から出力される復元低周波帯域成分とを合成して合成低周波帯域成分を出力する合成部7319と、合成部7319から出力される合成低周波帯域成分とBPF7313から出力される中周波帯域成分とHPF7314から出力される高周波帯域成分とを合成して音声信号を出力する合成部7320と、を備える。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部73fは、LPF7312において入力される音声信号の低周波帯域成分を抽出する。また、BPF7313において入力される音声信号の中周波帯域成分を抽出するとともに、HPF7314において入力される音声信号の高周波帯域成分を抽出する。
集音環境判定部72において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部7315が、LPF7312から出力される低周波帯域成分に混合係数αを積算して出力する。また、BPF7313から出力される中周波帯域成分は、復元部7316によって復元されるとともに復元信号として出力される。このとき復元部7316は、入力される中周波帯域成分に対して非線形処理を施す。非線形処理とは、例えば、二乗処理や、全波整流処理(絶対値処理)、半波整流処理などである。
二乗処理を用いる場合、復元部7316はBPF7313から出力される中周波帯域成分を二乗する。このとき、中周波帯域成分にステレオマイク5で集音される音声のピッチ信号の高調波成分(基本周波数の倍音成分)が含まれているため、二乗することによって各高調波成分の差及び和に相当する周波数の信号が生成される。したがって、中周波帯域成分より低周波側の帯域と、高周波側の帯域と、に調波成分(基本周波数である基本波成分や、高調波成分)が生成される。したがって、中周波帯域成分から低周波帯域成分や高周波帯域成分を復元することが可能となる。なお、二乗処理を行う場合、生成される調波成分の振幅が本来求めたい調波成分の二乗になる。これに対して、二乗した信号に対して正規化を行い、それによって振幅を調整することとしても構わない。
全波整流処理(絶対値処理)、半波整流処理についても同様に行うことができる。例えば、全波整流を用いる場合、中周波帯域成分の絶対値を算出して復元を行う。また、上述の復元方法について、例えば、特開平8−130494号公報、特開平8−278800号公報、特開平9−55778号公報などに記載されている方法を用いても構わない。
復元部7316は、上述のような方法を用いることで復元を行い、復元信号を出力する。LPF7317は、入力される復元信号から低周波帯域成分を抽出することで復元低周波帯域成分を生成し、出力する。そして、復元低周波帯域成分は係数積算部7318に入力され、混合係数(1−α)が積算される。また、混合係数(1−α)が積算された復元低周波帯域成分と、混合係数αが積算された低周波帯域成分と、は合成部7319で合成され、一つの合成低周波帯域成分として出力される。
そして、合成部7319から出力される合成低周波帯域成分と、BPF7313から出力される中周波帯域成分と、HPF7314から出力される高周波帯域成分と、が合成部7320で合成され、一つの音声信号として出力される。
水中特性補正部73fを本実施例のように構成すると、低周波帯域成分の信号を改善することが可能となる。この改善方法について図23を用いて説明する。図23は、水中で集音された音声信号と空気中で集音された音声信号とを併せて示した模式的なグラフであり、図4、図5、図15及び図17と同様のグラフである。
上述したように、水中で集音した音声信号(実線)は、空中で集音した音声信号(破線)と比較して、低周波帯域に強度が集中するとともに高周波帯域の強度が大きく減衰する。そのため、水中で集音した音声信号は、空気中で集音した音声信号とは異なるものとなる。しかしながら、図23に示すように、周波数λ3と周波数λ4との間の中周波帯域においては、水中で集音した音声信号と空気中で集音した音声信号とが同様のものとなる。即ち、この帯域については集音環境の影響を受けにくく、水中で集音された音声信号であったとしても良好な信号となり易い。そのため、この帯域の信号に基づいて復元される他の帯域の信号が、水中で集音されたそのままの信号よりも良好な信号となり易くなる。
したがって、本実施例のように、水中で集音した音声信号であると集音環境判定部72において判定される場合に、合成部7319から出力される合成低周波帯域成分に復元低周波帯域成分を含ませることとすると、合成部7320から出力される音声信号を改善することが可能となる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、上述した合成を可能とするために、LPF7312及びLPF7317のカットオフ周波数をλ3として、HPFのカットオフ周波数をλ4としても構わない。また、BPF7313の低周波側のカットオフ周波数をλ3として、高周波側のカットオフ周波数をλ4としても構わない。また、λ3を例えば2kHzとして、λ4を例えば6kHzとしても構わない。
また、集音環境判定部72が、水中で集音されたものであると判定する場合に混合係数αを小さくし、水中で集音されたものではないと判定する場合に混合係数αを大きくしても構わない。さらに、集音環境判定部72が、水中で集音されたものではないと判定する場合に混合係数αを1にしても構わない。混合係数αを1にすると、LPF7312から出力される低周波帯域成分が係数積算部7315及び合成部7319をそのまま通過し、合成部7320に入力される。即ち、合成部7319から出力される合成低周波帯域成分が、低周波帯域成分と等しいものとなる。また、このとき復元部7316において復元処理を行わないこととしても構わない。
また、入力される音声信号の強度などに基づいて入力される音声信号の劣化の程度を判断し、混合係数αの値を変化させることとしても構わない。さらに、劣化の程度が大きいと判断される場合に、混合係数αを小さくしても構わない。また、混合係数αが0を取りうることとしても構わない。
また、図22に示す水中特性補正部73fでは、中周波帯域成分から低周波帯域成分を復元する構成としたが、同様に、高周波帯域成分を復元して復元高周波帯域成分を作り、HPF7314から出力される高周波帯域成分に所定の割合で合成することとしても構わない。
この構成について図24に示す。図24は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第6実施例の別例について示すブロック図である。図24に示す水中特性補正部73faでは、LPF7312と、BPF7313と、HPF7314と、復元部7316と、復元部7316から出力される復元信号から高周波帯域成分を抽出して復元高周波帯域成分を出力するHPF7321と、集音環境判定部72から出力される混合係数α1をHPF7314から出力される高周波帯域成分に積算する係数積算部7322と、集音環境判定部72から出力される混合係数(1−α1)をHPF7321から出力される復元高周波帯域成分に積算する係数積算部7323と、係数積算部7322から出力される高周波帯域成分と係数積算部7323から出力される復元高周波帯域成分とを合成して合成高周波帯域成分を出力する合成部7324と、合成部7324から出力される合成高周波帯域成分とBPF7313から出力される中周波帯域成分とLPF7312から出力される低周波帯域成分とを合成して音声信号を出力する合成部7325と、を備える。
この水中特性補正部73faは、低周波帯域成分ではなく高周波帯域成分の復元及び合成を行う点において、水中特性補正部73fと相違する。しかしながら、他の動作については同様のものとなるため、説明を省略する。
また、低周波帯域成分及び高周波帯域成分を復元して復元低周波帯域成分及び復元高周波帯域成分をそれぞれ作り、LPF7312から出力される低周波帯域成分と、HPF7314から出力される高周波帯域成分と、にそれぞれ所定の割合で合成させる構成としても構わない。
この構成について図25に示す。図25は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第6実施例の別例について示すブロック図である。図25に示す水中特性補正部73fbでは、LPF7312と、BPF7313と、HPF7314と、復元部7316と、LPF7317と、HPF7321と、係数積算部7315と、係数積算部7322と、係数積算部7318と、係数積算部7323と、合成部7319と、合成部7324と、合成部7319から出力される合成低周波帯域成分とBPF7313から出力される中周波帯域成分と合成部7324から出力される合成高周波帯域成分とを合成して音声信号を出力する合成部7326と、を備える。
この水中特性補正部73fbは、低周波帯域成分及び高周波帯域成分の両方の復元及び合成を行う点において、水中特性補正部73fや水中特性補正部73faと相違する。しかしながら、他の動作については同様のものとなるため、説明を省略する。
水中で集音される音声信号は、低周波帯域成分も高周波帯域成分も、空気中で集音された音声信号のそれとは異なり、水中の音の集音特性の影響を大きく受けたものとなる。そのため、水中特性補正部73f,73fa及び73fbについて、音声信号の高周波帯域成分及び低周波帯域成分のいずれかまたは両方に復元した成分を合成させる構成とすることにより、水中の音の集音特性の影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
<水中特性補正部の第7実施例>
次に、図2に示した水中特性補正部73の第7実施例について図面を参照して説明する。図26は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第7実施例について示すブロック図である。図26に示すように、音声処理部7pは、A/D変換部71と、集音環境判定部72と、水中特性補正部73gと、を備える。
水中特性補正部73gは、入力される音声信号から所定の周波数の成分を抽出して所定周波帯域成分を出力する所定成分抽出部7327と、入力される音声信号から所定成分抽出部7327が抽出する周波数の成分を低減して非所定周波帯域成分を出力する所定成分低減部7328と、代替成分を出力する代替成分供給部7329と、所定成分抽出部7327から出力される所定周波帯域成分に集音環境判定部72から出力される混合係数βを積算する係数積算部7330と、代替成分供給部から出力される代替成分に集音環境判定部72から出力される混合係数(1−β)を積算する係数積算部7331と、係数積算部7330から出力される所定周波帯域成分と係数積算部7331から出力される代替成分とを合成して合成所定周波帯域成分を出力する合成部7332と、合成部7332から出力される合成所定周波帯域成分と所定成分低減部から出力される非所定周波帯域成分とを合成して音声信号を出力する合成部7333と、を備える。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部73gは、所定成分抽出部7327において、入力される音声信号の所定周波帯域成分を抽出する。また、所定成分低減部7328において、入力される音声信号の所定周波帯域成分を低減し、非所定周波帯域成分を得る。さらに、代替成分供給部7329から、所定周波帯域成分と同様の周波帯域の成分である代替成分が出力される。そして、所定成分抽出部7327によって抽出される所定周波帯域成分は係数積算部7330に入力され、代替成分供給部7329から出力される代替成分は係数積算部7331に入力される。
集音環境判定部72において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部7330が、入力される所定周波帯域成分に混合係数βを積算して出力する。また、係数積算部7331は、入力される代替成分に混合係数(1−β)を積算して出力する。そして、混合係数βが積算された所定周波帯域成分と、混合係数(1−β)が積算された代替成分と、は合成部7332で合成され、一つの合成所定周波帯域成分として出力される。
そして、合成部7332から出力される合成所定周波帯域成分と、所定成分低減部7328から出力される非所定周波帯域成分と、が合成部7333で合成され、一つの音声信号として出力される。
代替成分供給部7329から出力される代替成分は、例えば、予め集音することによって得られた代替信号から、所定周波帯域成分と同様の周波数の成分を抽出することによって得られる。この代替成分は、ユーザが代替したいと考える信号であり、任意のものである。例えば、空気中の静音時に集音して得られるものであっても構わない。また、水泡が弾けるような音であっても構わないし、人工的な音や無音であっても構わない。
水中特性補正部73gを本実施例のように構成すると、所定周波帯域成分の信号を改善することが可能となる。特に、水中で集音を行う際に強度が集中する低周波帯域成分や、強度が大きく減衰する高周波帯域成分、感度が高くなり耳障りとなりやすい自己発生駆動音が含まれる所定周波帯域成分など、の成分に、水中の音の集音特性の影響を受けていない(ノイズが小さいなど、水中の音の集音特性の影響をあまり受けていないものも含む)代替成分を合成させることができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、所定成分抽出部7327及び所定成分低減部7328の組み合わせを、カットオフ周波数の等しいLPF及びHPFの組み合わせとしても構わない。また、所定成分抽出部7327をBPFとして、所定成分低減部7328を、BPFによって抽出される周波数帯の成分を遮断するBEFとしても構わない。
また、第3実施例と同様に、自己発生駆動音(例えばモータの駆動音)が発生したことを代替成分供給部7329や集音環境判定部72が検出し、自己発生駆動音の発生に応じて代替成分の合成を行うこととしても構わない。また、このときの代替成分を、耳障りにならない程度に抑制された自己発生駆動音としても構わない。
また、予め集音して得られた代替信号から代替成分を作成する場合に、空気中である程度の時間以上集音して得られる音声信号から、代替成分に使用すると好適となる部分(例えば、ノイズなどの信号が含まれず、一定の強度で安定している部分など)を取り出して組み合わせ、代替信号を作成しても構わない。このような代替信号から代替成分を作成して合成する構成とすると、より効果的にユーザの意図する音声信号を得ることが可能となる。
また、複数の代替成分を記録するとともに、これらをランダムで出力して合成することとしても構わない。このような構成とすると、格納する代替成分の総時間を短くすることができる。そのため、代替成分のデータ量が低減されて、代替成分を記録する装置の小型化を図ることが可能となる。また、代替成分が所定のパターンの繰り返しではなくなるため、自然な音声信号を得ることが可能となる。
また、代替成分供給部7329に代替成分を格納することとしても構わないし、図1に示すメモリ15や外部メモリ9に代替成分を格納することとしても構わない。また、代替信号を格納するとともに、代替成分供給部7329によって適宜必要となる代替成分を代替信号から抽出して、係数積算部7331に出力する構成としても構わない。
また、集音環境判定部72が、水中で集音されたものであると判定する場合に混合係数βを小さくし、水中で集音されたものではないと判定する場合に混合係数βを大きくしても構わない。さらに、集音環境判定部72が水中で集音されたものではないと判定する場合に、混合係数βを1にしても構わない。混合係数βを1とすると、所定成分抽出部7327から出力される所定周波帯域成分が、係数積算部7330及び合成部7332をそのまま通過して合成部7333に入力される。即ち、合成部7332から出力される合成所定周波帯域成分が、所定周波帯域成分と等しいものとなる。また、このとき代替成分供給部7329から代替成分が出力されないこととしても構わない。
また、入力される音声信号の強度などに基づいて入力される音声信号の劣化の程度を判断し、混合係数βの値を変化させることとしても構わない。さらに、劣化の程度が大きいと判断される場合に、混合係数βを小さくしても構わない。また、混合係数βが0を取りうることとしても構わない。
また、本例では所定成分抽出部7327によって抽出される所定の周波数の成分に、代替成分を合成することとしたが、全ての周波数帯域において代替成分または代替信号を合成する構成としても構わない。
<水中特性補正部の第8実施例>
次に、図2に示した水中特性補正部73の第8実施例について図面を参照して説明する。図27は、本発明の実施形態における音声処理部に備えられる水中特性補正部の第8実施例について示すブロック図である。図27に示すように、音声処理部7qは、A/D変換部71と、集音環境判定部72と、水中特性補正部73hと、を備える。また、音声処理部7qには、0ch〜nch(ただし、nは自然数)のn+1チャネルの音声信号が入力されるものとする。
水中特性補正部73hには、入力される複数チャネルの音声信号の中から強度が最小となる音声信号を選択して出力する最小信号選択部7334と、入力される複数チャネルの音声信号のそれぞれに混合係数(1−γ)を積算する係数積算部7335〜7337と、最小信号選択部7334から出力される音声信号に混合係数γを積算する係数積算部7338と、係数積算部7335〜7337のそれぞれから出力される音声信号と係数積算部7338から出力される音声信号とをそれぞれ合成してそれぞれのチャネルの音声信号として出力する合成部7339〜7341と、を備える。
集音環境判定部72は、上述したような方法で、入力される音声信号が水中で集音されたものであるか否かを判定する。一方、水中特性補正部73hは、最小信号選択部7334において、入力される複数の音声信号の中から強度が最も小さい音声信号を選択する。選択された音声信号は、係数積算部7338に入力される。また、水中特性補正部73hに入力されるそれぞれのチャネルの音声信号は、係数積算部7335〜7337のそれぞれにも入力される。
集音環境判定部72において、入力される音声信号が水中で集音されたものであると判定される場合は、係数積算部7338が、最小信号選択部7334から出力される音声信号に混合係数γを積算して出力する。また、係数積算部7335〜7337は、入力されるそれぞれのチャネルの音声信号に混合係数(1−γ)を積算して出力する。そして、混合係数γが積算された音声信号と、混合係数(1−γ)が積算されたそれぞれのチャネルの音声信号と、は合成部7339〜7341でそれぞれ合成され、それぞれのチャネルの音声信号として出力される。
水中特性補正部73hを本実施例のように構成すると、いずれかのチャネルのマイクで集音した音声信号に強度が大きいノイズが含まれたとしても、そのノイズを低減することが可能となる。特に、水中ではマイクに水圧がかかるため、集音して得られる音声信号中に強度が大きいノイズがランダムで発生することがある。しかしながら、本実施例のように、所定の割合(混合係数γ及び(1−γ))で、最も強度が小さい音声信号をそれぞれのチャネルの音声信号に合成することとすると、いずれかのチャネルの音声信号に含まれる強度が大きいノイズを、他のチャネルの音声信号(最も強度が小さい音声信号、即ち強度が大きいノイズが含まれないと見込まれるチャネルの音声信号)を合成することによって低減することができる。したがって、水中で集音された音声信号から、水中の音の集音特性による影響を低減することが可能となる。即ち、効果的にユーザの意図する音声信号に近づけることが可能となる。
なお、γ=1としても構わない。γ=1とすると、全てのチャネルの音声信号が最も強度が小さい音声信号に統一されることとなる。即ち、モノラルの音声信号とすることが可能となり、強度が大きくノイズを含んでいると見込まれるチャネルの音声信号を排除することが可能となる。
また、集音環境判定部72が、水中で集音されたものであると判定する場合に混合係数γを大きくし、水中で集音されたものではないと判定する場合に混合係数γを小さくしても構わない。さらに、集音環境判定部72が水中で集音されたものではないと判定する場合に、混合係数γを0にしても構わない。混合係数γを0にすると、入力されるそれぞれのチャネルの音声信号が係数積算部7335〜7337及び合成部7339〜7341をそのまま通過して出力される。また、このとき最小信号選択部7334において音声信号が選択及び出力されないこととしても構わない。
また、入力される音声信号の強度に基づいて混合係数γの値を変化させることとしても構わない。さらに、係数積算部7335〜7337毎に、混合係数を設定することとしても構わない。この場合、それぞれのチャネルの音声信号毎に合成される割合が調整されることとなる。
また、上述した例では音声信号全体に対する合成について述べたが、音声信号の所定の周波数帯の成分のみに対して合成を行うこととしても構わない。このように構成する場合、最小信号選択部7334及び係数積算部7335〜7337に、各チャネルの音声信号の所定の周波数帯の成分がそれぞれ入力されることとなる。また、合成部7339〜7341からは、それぞれの音声信号の所定の周波数帯の成分が出力されることとなる。このとき、最小信号選択部7334及び係数積算部7335〜7337の前段に、所定の周波数帯の成分を抽出する所定成分抽出部を備えることとしても構わない。また、合成部7339〜7341の後段に、合成後の所定の周波数帯の成分を各チャネルの音声信号に合成させる合成部を備えることとしても構わない。
<水中特性補正部の実施例の組み合わせ>
上述した実施例の水中特性補正部73a〜73hについては、組み合わせて実施することが可能である。組み合わせる場合、それぞれの実施例の効果を得ることができる。組み合わせ方について、同時に実施する組み合わせ方(例えば、第1実施例と第2実施例とを組み合わせる場合、図12のHPF7302と合成部7304の間に図13の増幅部7303を備えるなど)でも構わないし、多段で組み合わせる組み合わせ方(例えば、第1実施例と第4実施例とを組み合わせる場合、図12の合成部7304の出力側に図16の平滑部7310を接続するなど)でも構わない。
<<再生時の適用例>>
上述の実施形態は、集音時に集音環境を判定して音声信号に水中特性補正処理を行う音声処理装置や電子機器に関するものである。しかしながら、本発明はこれに限らず、再生時に集音環境を判定して水中特性補正処理を行う再生機能を備える電子機器にも適用することができる。
図28に、再生時に集音環境を判定して水中特性補正処理を行うことが可能な撮像装置1aを示す。図28は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図であり、図1に相当するものである。なお、図1と同様の部分については同じ符号を付し、その詳細な説明については省略する。
図28に示す撮像装置1aは、音声処理部7の代わりに音声処理部7rを備える点と、伸長処理部11から入力される信号を処理して音声出力回路部13に出力する音声処理部7sをさらに備える点を除き、図1の撮像装置1と同様の構成となる。
また、音声処理部7rは、集音環境判定部72と、水中特性補正部73と、を備えない構成となる点を除き、図2に示す音声処理部7と同様の構成となる。また、音声処理部7sは、A/D変換部71を備えない構成となる点を除き、図2に示す音声処理部7と同様の構成となる。そして、本例では、音声処理部7sに備えられる集音環境判定部及び水中特性補正部において、音声信号が水中で集音されたものであるか否かの判定と、その判定に基づいた水中特性補正処理とが行われる。集音環境判定部及び水中特性補正部の構成や、判定方法及び補正方法は上述したそれぞれの実施例と同様であるため、詳細な説明については省略する。
このように構成することで、再生する音声信号に基づいて集音環境が水中であるか否かを判定し、集音環境が水中であると判定される場合に水中特性補正を音声信号に施して再生することが可能となる。したがって、水中特性補正処理を行わずに記録した音声信号に対しても、集音環境の判定と水中特性補正処理とを行うことが可能となる。
なお、音声処理部7rが、集音環境判定部と水中特性補正部とを備える構成として、音声処理部7r,7sのどちらにおいても、集音環境の判定と水中特性補正処理とを行うことができる構成としても構わない。このように構成すると、集音時及び再生時の任意の時期において、集音環境の判定と水中特性補正処理とを行うことが可能となる。
また、再生機能のみを備える再生装置(例えば、光ディスクなどに記録された画像信号及び音声信号を再生する再生装置など)に、本例を適用することとしても構わない。このような構成としても、音声信号に基づいた集音環境の判定と水中特性補正処理とを行うことができる。
また、音声処理部7sに備えられる集音環境判定部として、図7及び図8に示した集音環境判定部72b,72cを用いる場合や、水中特性補正部として図14に示す水中特性補正部73cを用いる場合、CPU14から集音環境判定部72b,72c及び水中特性補正部73cが時間情報を受け取る構成とせず、音声信号に付加されたインデックスなどから自己発生駆動音の発生を検出することとしても構わない。さらにこの場合、音声処理部7rがCPU14から時間情報を取得して、音声信号に付加することとしても構わない。
このように構成すると、撮像装置1aで集音及び記録されていない音声信号を、撮像装置1aを用いて再生する場合でも、集音環境の判定及び水中特性補正処理を行うことが可能となる。
<<変形例>>
なお、図2に示した音声処理部7の集音環境判定部72や水中特性補正部73において処理される音声信号を、時間軸の信号としても構わないし、周波数軸の信号としても構わない。
また、本発明の実施形態における撮像装置1,1aについて、音声処理部7,7sの集音環境判定部72や水中特性補正部73などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図1及び図28の撮像装置1,1a、図2の音声処理部7は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置1,1aや音声処理部7を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。