JP5267982B2 - 音声入力装置、雑音除去方法及びコンピュータプログラム - Google Patents

Description

本発明は、反響音に基づいて雑音除去を行う音声入力装置、雑音除去方法及びコンピュータプログラムに関する。

音声入力装置では、マイクからある程度離れている場所から生じた音を取得する場合、周辺騒音ならびに部外者の声といった不特定な雑音も取り込んでしまう。このため、目的音から雑音を除去することが望ましい。

このような観点から、雑音除去機能や話者位置検出機能を備え、周辺ノイズを抑え、目的とする音声を強調した入力が可能な音声入力装置が種々提案されている。

例えば、特許文献１には、アレイマイクを構成する各マイクが取り込んだ音声の位相差を検出し、位相差から、音源の位置を特定することができる音声検出装置が開示されている。この音声検出装置によれば、例えば、話者の位置を推定し、話者に向いたマイクロフォンに対応した話者の音声のみを判別し、ノイズを抑圧した音声入力が可能となる。

特開平７−９２９８８号公報

特許文献１に開示された音声検出装置では、目的音と雑音とが同一方向で発生した場合、雑音の位相差と目的音の位相差とがほぼ同じになるため、雑音の除去が困難となる。

例えば、特許文献１に開示された音声検出装置を屋外で使用する場合、壁等による近距離での反響が起きにくい。このため、雑音は、ほぼ直接アレイマイクに到達する。したがって、この音声検出装置は、屋外では、雑音の音源と目的音の音源とが音声入力装置に対して同一方向になければ、雑音を除去することができる。

これに対し、当該音声検出装置を屋内で使用した場合、壁や天井等で音が反響し、雑音もさまざまな方向からマイクに到達する。したがって、雑音の音源と目的音の音源とが当該音声検出装置に対して同一方向にない場合であっても、反響によって、目的音と同一方向から雑音がマイクに到達することがある。

このような場合、雑音の除去が困難であり、無理に雑音を除去すると、目的音そのものを歪ませてしまう可能性がある。

携帯電話等のモバイル機器は、持ち運びが容易であるため、反響のある場所と反響のない場所との間を頻繁に行き来して使用される。このため、従来の音声検出装置をモバイル機器に適用すると、環境の変化により、雑音の除去を適切に行うことができず、かえって目的音を歪ませる等の事態が頻繁に発生してしまう。

本発明は、上記問題点に鑑みてなされたもので、周辺環境による反響の程度に応じて、雑音を適切に除去することができるようにすることを目的とする。
また、本発明は、環境が変化しても雑音を適切に除去することができるようにすることを目的とする。

上記の目的を達成するために、本発明の第１の観点に係る音声入力装置は、
音声を入力する音声入力手段と、
前記音声入力手段が入力した音声から雑音を除去する雑音除去手段と、
所定の測定音を出力する音声出力手段と、
前記音声入力手段が入力した音声から、前記音声出力手段が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定手段と、
前記反響測定手段が求めた反響の程度に基づいて、前記雑音除去手段による雑音除去の態様を制御する雑音除去制御手段と、
映像を撮影する撮影手段と、を備え、
前記音声出力手段は、前記撮影手段が撮影を開始するときに前記測定音を出力し、
前記反響測定手段は、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
ことを特徴とする。
また、本発明の第２の観点に係る音声入力装置は、
音声を入力する音声入力手段と、
前記音声入力手段が入力した音声から雑音を除去する雑音除去手段と、
所定の測定音を出力する音声出力手段と、
前記音声入力手段が入力した音声から、前記音声出力手段が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定手段と、
前記反響測定手段が求めた反響の程度に基づいて、前記雑音除去手段による雑音除去の態様を制御する雑音除去制御手段と、
自装置の位置が変化したことを検出する移動検出手段と、を備え、
前記音声出力手段は、前記移動検出手段が前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
ことを特徴とする。

また、本発明の第３の観点に係る雑音除去方法は、
音声を入力する音声入力ステップと、
前記音声入力ステップで入力した音声から雑音を除去する雑音除去ステップと、
所定の測定音を出力する測定音出力ステップと、
前記音声入力ステップで入力した音声から、前記測定音出力ステップで出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定ステップと、
前記反響測定ステップで求めた反響の程度に基づいて、前記雑音除去ステップにおける雑音除去の態様を制御する雑音除去制御ステップと、
映像を撮影する撮影ステップと、を備え、
前記測定音出力ステップでは、前記撮影ステップで撮影を開始するときに前記測定音を出力し、
前記反響測定ステップでは、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
ことを特徴とする。
また、本発明の第４の観点に係る雑音除去方法は、
音声を入力する音声入力ステップと、
前記音声入力ステップで入力した音声から雑音を除去する雑音除去ステップと、
所定の測定音を出力する測定音出力ステップと、
前記音声入力ステップで入力した音声から、前記測定音出力ステップで出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定ステップと、
前記反響測定ステップで求めた反響の程度に基づいて、前記雑音除去ステップによる雑音除去の態様を制御する雑音除去制御ステップと、
自装置の位置が変化したことを検出する移動検出ステップと、を備え、
前記測定音出力ステップでは、前記移動検出ステップで前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
ことを特徴とする。

また、本発明の第５の観点に係るコンピュータプログラムは、
コンピュータに、
音声を入力する音声入力機能、
前記音声入力機能が入力した音声から雑音を除去する雑音除去機能、
所定の測定音を出力する測定音出力機能、
前記音声入力機能が入力した音声から、前記測定音出力機能が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定機能、
前記反響測定機能が求めた反響の程度に基づいて、前記雑音除去機能による雑音除去の態様を制御する雑音除去制御機能、
映像を撮影する撮影機能、を実現させ、
前記測定音出力機能は、前記撮影機能が撮影を開始するときに前記測定音を出力し、
前記反響測定機能は、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
ことを特徴とする。
また、本発明の第６の観点に係るコンピュータプログラムは、
コンピュータに、
音声を入力する音声入力機能、
前記音声入力機能が入力した音声から雑音を除去する雑音除去機能、
所定の測定音を出力する測定音出力機能、
前記音声入力機能が入力した音声から、前記測定音出力機能が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定機能、
前記反響測定機能が求めた反響の程度に基づいて、前記雑音除去機能による雑音除去の態様を制御する雑音除去制御機能、
自装置の位置が変化したことを検出する移動検出機能、を実現させ、
前記測定音出力機能は、前記移動検出機能が前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
ことを特徴とする。

本発明によれば、自機周辺で反響した測定音を用いて反響の程度を求め、雑音の除去の態様を制御するので、周辺の環境が変化した場合でも目的音をあまり歪ませることなく、雑音を適切に除去することができる。

（実施の形態１）
以下、本発明の実施形態１に係る音声入力装置を、動画を撮影する動画撮影装置に適用した例について説明する。

この動画撮影装置１は、動画撮影時に、反響測定用の測定音を出力し、この測定音の反響を検出して、検出した反響の程度（大きさ）により、入力音声中の雑音の除去の程度を調整する機能を有し、図１に示すように、アレイマイク１０１と、ＡＤＣ１０２と、カメラ１０３と、画像処理部１０４と、メモリ１０５と、表示部１０６と、ＤＡＣ（Digital to Analog Converter）１０７と、スピーカ１０８と、入力部１０９と、タイミング通知部１１０と、反響測定音選択フィルタ１１１と、反響音測定部１１２と、雑音除去部１１３と、制御部１１４と、を備える。

アレイマイク１０１は、音声を集音し、集音した音声をアナログ信号に変換し、ＡＤＣ１０２に供給する複数のマイクから構成されている。

ＡＤＣ（Analog to Digital Converter）１０２は、アレイマイク１０１から供給されたアナログ信号をディジタル信号に変換し、変換したディジタル信号を反響測定音選択フィルタ１１１及び制御部１１４に供給する。

カメラ１０３は、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS)センサ等から構成され、映像を撮影する。カメラ１０３は、撮影した映像を電気信号に変換し、画像処理部１０４に供給する。

メモリ１０５は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、カメラ１０３で撮影された静止画や動画（映像）を格納する。また、メモリ１０５は、周辺の反響状態を測定するための反響測定音の音声データを記憶する。反響測定音は、可聴帯域の外の周波数（例えば、２００Ｈｚ以下、１５ＫＨｚ以上）を有する音から構成される。

表示部１０６は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、ドライバ等から構成され、カメラ１０３で取得した映像を表示する。

ＤＡＣ１０７は、制御部１１４から供給されたディジタル音声信号をアナログ音声信号に変換し、変換したアナログ音声信号をスピーカ１０８に供給する。

スピーカ１０８は、増幅器、マイクロスピーカ等から構成され、ＤＡＣ１０７から供給されたアナログ音声信号に基づいて音声を出力する。

入力部１０９は、電源スイッチ、録画ボタン等を備え、カメラの起動、動画撮影の開始・終了又は動画録画の開始・終了を指示する操作情報を制御部１１４に供給する。

タイミング通知部１１０は、タイマなどから構成され、一定時間を計時する度に、制御部１１４にタイミング信号を出力する。

反響測定音選択フィルタ１１１は、アレイマイク１０１から入力された音から、反響測定音のみを抽出するためのものであり、例えば、反響測定音のスペクトルパターンに相似する通過特性を有する。

反響音測定部１１２は、タイマ１１２ａを内蔵し、反響測定音選択フィルタ１１１を通過した信号に基づいて反響の程度を測定する。具体的には、スピーカ１０８から出力された反響測定音のうちアレイマイク１０１に直接入力された信号を検出したときにタイマ１１２ａを起動し、反響を検出したときにタイマ１１２ａを停止し、タイマ値（直接入力音を検出してから反響音を検出するまでの時間）を制御部１１４に通知する。

雑音除去部１１３は、制御部１１４の一機能として構成され、アレイマイク１０１から入力された音声から雑音を除去する。

雑音除去部１１３が入力音声に含まれる雑音を除去する態様は任意である。例えば、雑音除去部１１３は、アレイマイク１０１からの複数の入力を用いて音源の位置（向き）を特定し、音源方向のマイクからの入力音声を強調し、他のマイクからの入力音声を抑圧して合成することにより、雑音を除去することが可能である。また、雑音除去部１１３は、音源からの到来が予定されている音声の周波数帯を予め記憶し、その周波数帯の音声を強調し、他を抑圧することにより、雑音を除去することも可能である。

制御部１１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ等から構成され、動画撮影装置１全体の動作を制御する。例えば、制御部１１４は、入力部１０９に設けられた電源ボタン（図示せず）が押下される毎に、動画撮影装置１の電源（動作電源）をオン又はオフする。

また、制御部１１４は、入力部１０９に設けられた録画ボタンが押下されると、カメラ１０３を起動して、動画の撮影を開始する。制御部１１４は、動画の撮影に際し、メモリ１０５から反響測定音を読み出し、ＤＡＣ１０７及びスピーカ１０８を介して、これを放音する。反響測定音の一部は、アレイマイク１０１に直接入力し、他の一部は、周辺の障害物（壁、天井等）で反射されて、反響となってアレイマイク１０１に入力する。制御部１１４は、直接入力から反響入力までの時間Ｔを反響音測定部１１２を用いて測定し、反響の程度とする。制御部１１４は、この反響の程度に従って、雑音除去部１１３による雑音除去の態様を制御する。

以下、上記構成の動画撮影装置１が行う動画撮影処理を、図２及び３のフローチャートを参照して詳細に説明する。

動画撮影装置１は、通常の動画撮像機能を備えるだけでなく、周囲の反響の程度を測定し、測定した反響の程度に応じて、入力音声の雑音を除去する程度を調整するという特徴的な機能を有する。以下、特徴的な機能を中心に説明する。

入力部１０９に設けられた電源ボタンが押下され、録画ボタンが押下されると、制御部１１４は、図２に示す動画撮影処理を開始する。

まず、制御部１１４は、カメラ１０３を起動する（ステップＳ１００）。

制御部１１４は、メモリ１０５から反響測定音のデータを読み出し、ＤＡＣ１０７でアナログ信号に変換し、スピーカ１０８から出力する（ステップＳ１０１）。

制御部１１４は、ステップＳ１０２で、反響測定音の反響音を測定し、反響の程度（スピーカ１０８から放出された反響測定音のうちアレイマイク１０１へと直接到達した直接音と周辺で反響して入力した反響測定音との到達時間の差）を求め、反響の程度に基づいて、雑音除去を行うか否かの判定を行う（ステップＳ１０２）。

この反響音測定及び雑音除去判定処理（ステップＳ１０２）の詳細を、図３のフローチャートを参照して説明する。

制御部１１４がステップＳ１０１で出力した反響測定音の一部はアレイマイク１０１に直接入力する。この直接音は、ＡＤＣ１０２によりディジタル化され、反響測定音選択フィルタ１１１を通過し、反響音測定部１１２に到達する。反響音測定部１１２は、入力信号の信号レベルが基準レベル（閾値）以上となると、直接音を検出したと判別し（ステップＳ２０１）、タイマ１１２ａを起動する（ステップＳ２０２）。

続いて、反響音測定部１１２は、反響測定音選択フィルタ１１１の出力信号の信号レベルが基準レベル以上となるまで待機する。

続いて、ステップＳ１０１で出力した反響測定音の一部が周辺で反響し、アレイマイク１０１に入力する。この反響音も、ＡＤＣ１０２によりディジタル化され、反響測定音選択フィルタ１１１を通過し、反響音測定部１１２に到達する。反響音測定部１１２は、反響測定音選択フィルタ１１１の出力信号の信号レベルが基準レベル以上となると、反響音を検出したと判別し（ステップＳ２０３）、タイマ１１２ａを停止する（ステップＳ２０４）。タイマ１１２ａのカウント値Ｔが、反響の程度を示す指標となる。

なお、反響音を検出しないまま、タイマ１１２ａが、一定時間を計時したときにはタイムアウトとなる。

制御部１１４は、反響の程度（タイマ１１２ａのカウント値Ｔ）に基づいて、雑音除去を実行するか否かを判定する（ステップＳ２０５）。ここでは、反響の程度が基準以上であれば（タイマ１１２ａのカウント値Ｔが基準カウント値以上で、タイムアウトでは無いのであれば）、反響が存在するため、雑音除去を実行しないと判定し（ステップＳ２０５；オフ）、反響の程度が、基準未満であれば（タイマ１１２ａのカウント値Ｔが基準カウント値未満又はタイムアウトであれば）、雑音除去を行うと判定する（ステップＳ２０５；オン）。

雑音除去を実行しないと判定した場合（ステップＳ２０５；オフ）、制御部１１４は、処理を図２のステップＳ１０３に進める。

一方、雑音除去を実行すると判定した場合（ステップＳ２０５；オン）、制御部１１４は、雑音除去部１１３を制御して、アレイマイク１０１から入力した音声中の雑音を除去させる（ステップＳ２０６）。

続いて、制御部１１４は、図２のステップＳ１０３に制御を移し、動画の撮影を開始する（ステップＳ１０３）。なお、この動画の撮影・録画の処理は、図２の処理とは別処理で実行される。

以上の処理により、撮影当初の反響状態に応じたノイズ除去の態様で撮影が行われる。

動画撮影中は、目的音が屋内と屋外で移動する場合があり、それに伴って周辺環境の反響量が変化する。このため、状況の変化に応じた適切な雑音除去の制御が必要となる。

そこで、制御部１１４は、タイミング通知部１１０が一定時間毎に出力するタイミング信号に応答して、メモリ１０５から反響測定音データを読み出し、ＤＡＣ１０７でアナログ信号に変換し、スピーカ１０８から反響測定音を出力する（ステップＳ１０４）。なお、反響測定音は、可聴帯域の外の周波数の音であるため、動画撮影には影響を与えない。

そして、制御部１１４は、反響測定音の反響音を測定し、雑音除去を行うか否かを判定する（ステップＳ１０５）。この処理は、図３を参照して説明したステップＳ１０２の処理と同一である。

こうして、制御部１１４は、その時点の反響の程度に応じたノイズ除去の態様で撮影を継続する。

そして、制御部１１４は、入力部１０９から動画撮影の終了を指示する旨の操作情報が供給されたか否かを判別する（ステップＳ１０６）。当該操作情報が供給されたと判別した場合（ステップＳ１０６；Ｙｅｓ）、制御部１１４は、動画撮影処理を終了する。

一方、当該操作情報が供給されていないと判別した場合（ステップＳ１０６；Ｎｏ）、制御部１１４は、処理をステップＳ１０４に戻し、動画撮影を続行する。

したがって、制御部１１４は、動画撮影終了を指示する操作情報が供給されるまで、ステップＳ１０４〜ステップＳ１０６の処理を繰り返し実行する。

以上説明したように、本実施形態の動画撮影装置１は、周辺環境の反響の程度を考慮して雑音除去のオン・オフを設定する。従って、例えば、屋内等で、反響があるにもかかわらず、無理に雑音を除去して、目的音そのものを歪ませてしまう事態を防止できる。一方、屋外等の反響が無い或いは少ない環境では、雑音を除去して、クリアな目的音を取得することができる。

また、撮影中もタイミング通知部１１０からの通知に応答して、反響の程度を測定し、ノイズ除去のオン・オフを制御する。従って、動画撮影装置１が反響のある場所と反響のない場所との間を行き来して使用されるような場合でも、環境の変化に応じて、雑音の除去を適切に行うことができる。

また、直接音と反響音とを反響測定音選択フィルタ１１１で選択・抽出し、直接音の到来から反響音の到来までの時間Ｔをタイマ１１２ａで測定して、測定した時間に基づいて、反響の程度を求めている。従って、反響の程度を簡単な構成で正確に求めることが可能となる。

また、反響測定音が非可聴帯域の音から構成されているので、録音や録画には影響を与えない。

（実施の形態２）
実施の形態１では、制御部１１４は、タイミング通知部１１０が一定の間隔で周期的に出力するタイミング信号に応答して、反響検出音を出力して反響の程度を測定した。
しかしながら、動画撮影装置１の周囲の環境は、周期的に変化する場合よりも、非周期的に変化する場合の方が多い。

そこで、図４に示す動画撮影装置２のように、自装置の移動を検出するセンサ部２００を配置し、センサ部２００の検知に応じてノイズ除去の態様を制御することも可能である。

センサ部２００は、自装置の移動を検出することができる加速度センサや自装置の移動に伴って生じる振動を検出する振動センサから構成される。センサ部２００は、自装置の移動（加速度、振動等）を検出すると、制御部１１４に検出信号を供給する。制御部１１４は、センサ部２００から供給された検出信号に応答し、反響の程度の測定を開始する。

本発明の実施形態２に係る動画撮影装置が行う動画撮影処理を、図５のフローチャートを参照して詳細に説明する。

入力部１０９に設けられた電源ボタンが押下され、続いて、録画ボタンが押下されると、制御部１１４は、動画撮影処理を開始する。

まず、制御部１１４は、カメラ１０３を起動する（ステップＳ１００）。

制御部１１４は、メモリ１０５から反響測定音の音声データを読み出し、スピーカ１０８から出力する（ステップＳ１０１）。

制御部１１４は、ステップＳ１０１で出力した反響測定音の反響音を測定し、雑音を除去するか否かを判定する（ステップＳ１０２）。即ち、撮影開始時点の位置での反響に応じたノイズ除去の態様を設定する。この反響音測定及び雑音除去判定の処理の内容は、図３のフローチャートに示す処理と同様である。

そして、制御部１１４は、動画の撮影を開始する（ステップＳ１０３）。

次に、制御部１１４は、センサ部２００の出力を取り込み（ステップＳ３００）、取り込んだ情報に基づいて、自機の移動の有無を求め（ステップＳ３０１）、自機の移動の有無を判別する（ステップＳ３０２）。

自機が移動したと判別すると（ステップＳ３０２；Ｙｅｓ）、メモリ１０５から反響測定音データを読み出し、スピーカ１０８から反響測定音を出力する（ステップＳ１０４）。

そして、制御部１１４は、反響測定音の反響音を測定し、雑音除去を行うか否かを判定する（ステップＳ１０５）。この処理は、図３を参照して説明した処理と同様である。これにより、自機の移動中或いは移動後の周辺環境に応じた反響量が求められ、その反響量に応じたノイズ除去の態様が設定され、動画撮影が行われる。

そして、制御部１１４は、入力部１０９から動画撮影の終了を指示する旨の操作情報が供給されたか否かを判別する（ステップＳ１０６）。当該操作情報が供給されたと判別した場合（ステップＳ１０６；Ｙｅｓ）、制御部１１４は、動画撮影処理を終了する。

一方、当該操作情報が供給されていないと判別した場合（ステップＳ１０６；Ｎｏ）、制御部１１４は、処理をステップＳ３００に戻し、動画撮影を続行する。

したがって、制御部１１４は、動画撮影終了を指示する操作情報が供給されるまで、ステップＳ３００〜ステップＳ１０６の処理を繰り返し実行する。

以上説明したように、本実施形態の動画撮影装置２によっても、実施形態１の動画撮影装置１と同様に、周辺環境の反響の程度に応じて、雑音除去をオン・オフすることにより、雑音を適切に除去し、音声を適切に入力することができる。

また、撮影中も、センサ部２００で位置の変化が検出されると反響の程度を測定し、雑音除去の態様を制御するので、環境の変化に対応することができる。

（実施の形態３）
実施の形態２では、制御部１１４は、加速度センサが加速度を検出した場合や振動センサが振動を検出した場合に反響量の測定を行う。しかしながら、例えば、動画撮影を行う際に、ユーザが一定速度で歩行しながら撮影する場合がある。この場合、加速度センサは加速度を検出しない。また、例えば、ユーザが動画撮影装置を安定な状態で持ちながら撮影を行う場合もある。この場合、振動センサは振動を検出しない。したがって、これらの場合、動画撮影装置の周囲の環境が変化しても、反響量の測定が行われず、適切な雑音除去がなされないおそれがある。

そこで、本実施形態では、動画撮影装置の位置が変化したことを検出したときに、反響量の測定を行う動画撮影装置について説明する。

本実施形態に係る動画撮影装置３は、図６に示すように、実施形態２に係る動画撮影装置１の構成のうち、センサ部２００をＧＰＳ部３００に替えた構成を有する。

ＧＰＳ（Global Positioning System)部３００は、ＧＰＳ衛星から送信されるＧＰＳ信号を取得し、取得したＧＰＳ信号に基づいて現在位置を求め、現在位置を示す位置データをメモリ１０５及び制御部１１４に供給する。メモリ１０５は、ＧＰＳ部３００から供給された位置データを記憶する。制御部１１４は、ＧＰＳ部３００から供給された位置データを取得するとともに、前回ＧＰＳ部３００から供給されメモリ１０５に記憶されている位置データを読み出す。そして、制御部１１４は、今回取得した位置データが示す位置が前回取得した位置データが示す位置と異なるか否かを判別する。異なると判別した場合、制御部１１４は、反響量の測定を開始する。

本発明の実施形態に係る動画撮影装置が行う動画撮影処理を、図７のフローチャートを参照して説明する。

入力部１０９に設けられた電源ボタンが押下され、録画ボタンが押下されると、制御部１１４は、動画撮影処理を開始する。

まず、制御部１１４は、カメラ１０３を起動する（ステップＳ１００）。

制御部１１４は、メモリ１０５から反響測定音データを読み出し、スピーカ１０８から反響測定音を出力する（ステップＳ１０１）。制御部１１４は、ステップＳ１０１で出力した反響測定音の反響音を測定し、雑音を除去するか否かを判定する（ステップＳ１０２）。この反響音測定及び雑音除去判定処理は、図３のフローチャートを参照して説明した処理と同様である。

そして、制御部１１４は、動画の撮影を開始する（ステップＳ１０３）。

次に、制御部１１４は、ＧＰＳ部３００の出力（位置情報）を取り込み（ステップＳ４００）、取り込んだ情報に基づいて、自機の位置を判別し（ステップＳ４０１）、自機の移動の有無を判別する（ステップＳ４０２）。

自機が移動したと判別すると（ステップＳ４０２；Ｙｅｓ）、メモリ１０５から反響測定音データを読み出し、スピーカ１０８から反響測定音を出力する（ステップＳ１０４）。

そして、制御部１１４は、ステップＳ１０４で出力した反響測定音の反響音を測定し、雑音除去を行うか否かを判定する（ステップＳ１０５）。この処理は、図３を参照して説明した処理と同様である。これにより、自機の移動中或いは移動後の周辺環境に応じた反響量が求められ、その反響量に応じたノイズ除去の態様が設定され、動画撮影が行われる。

そして、制御部１１４は、入力部１０９から動画撮影の終了を指示する旨の操作情報が供給されたか否かを判別する（ステップＳ１０６）。当該操作情報が供給されたと判別した場合（ステップＳ１０６；Ｙｅｓ）、制御部１１４は、動画撮影処理を終了する。

一方、当該操作情報が供給されていないと判別した場合（ステップＳ１０６；Ｎｏ）、制御部１１４は、処理をステップＳ４００に戻し、動画撮影を続行する。

したがって、制御部１１４は、動画撮影終了を指示する操作情報が供給されるまで、ステップＳ４００〜ステップＳ１０６の処理を繰り返し実行する。

以上説明したように、本実施形態の動画撮影装置３によっても、実施形態１、２の動画撮影装置１、２と同様に、周辺環境の反響の程度に応じて、雑音除去をオン・オフすることにより、雑音を適切に除去し、音声を適切に入力することができる。

また、撮影中も、ＧＰＳ部３００で測定された現在位置の変化に基づいて、自装置の位置の変化が検出されると、反響の程度を測定し、雑音除去の態様を制御する。従って、環境の変化に対応することができる。

以上説明したように、上記第１〜第３の実施の形態に係る動画撮影装置１，２，３によれば、反響の程度を考慮して雑音除去の態様が設定され、雑音を適切に除去することが可能となる。このため、例えば、屋内等で、反響があるにもかかわらず、無理に雑音を除去して、目的音そのものを歪ませてしまう事態を防止できる。一方、屋外等の反響が無い或いは少ない環境では、雑音を除去して、クリアな目的音を取得することができる。また、携帯電話等のモバイル機器が、反響のある場所と反響のない場所との間を行き来して使用されるような場合でも、環境の変化に応じて、雑音の除去を行うことができる。

また、直接音と反響音とを反響測定音選択フィルタ１１１で選択・抽出し、直接音の到来から反響音の到来までの時間Ｔをタイマ１１２ａで測定して、測定した時間に基づいて、反響の程度を求めているので、反響の程度を簡単な構成で正確に求めることが可能となる。

また、反響測定音は、非可聴帯域の周波数の音から構成されるので、録音や録画には影響を与えない。

なお、本発明は上記実施形態に限定されず、種々の応用及び変形が可能である。

例えば、上記実施形態では、雑音除去の態様を変更する方法として、雑音除去をオン／オフの２値で制御する（実施する／しない）例を説明した。この発明はこれに限定されず、例えば、図８（ａ）〜（ｃ）に示すように、反響の程度が大きく（小さく）なるに従って、雑音除去量（減衰量）を小さくする（大きくする）ようにリニアに、連続的に、或いは段階的に設定できるようにしてもよい。この場合、反響の程度と雑音除去量との相関を予めメモリ１０５に記憶させておき、制御部１１４は、反響音測定部１１２で測定された反響の程度とに基づいて、メモリ１０５を参照して、雑音除去量を求め、雑音除去部１１３に指示する。

また、反響の程度に応じて雑音除去のオン・オフを設定し、雑音の除去をオンしたときに、雑音除去の程度を制御するように設定してもよい。この場合は、雑音除去のオン・オフを制御する閾値と反響の程度と雑音除去量との相関を予めメモリ１０５に記憶させておく。制御部１１４は、反響音測定部１１２で測定された反響の程度に基づいて、メモリ１０５を参照して、雑音除去のオン・オフを求め、オンの場合には、雑音除去の程度を求め、雑音除去部１１３に指示する。

また、反響の程度と雑音除去能力の程度との関係（雑音除去パターン）を複数メモリ１０５に格納しておき、いずれかの雑音除去パターンを適宜選択して設定・使用できるようにしてもよい。

これらの構成によれば、雑音除去の態様をより詳細に設定可能であり、目的音の歪みを抑えつつノイズを適切に減衰させることができる。

上記実施形態では、反響の程度を、反響測定音の直接音到達から反響音到達までの時間Ｔと定義したが、他の尺度も使用可能である。例えば、反響の程度＝反響測定音の反響音の音圧レベル／反響測定音の直接音の音圧レベルとし、反響音測定部１１２で反響測定音の反響音と反響測定音の直接音の音圧レベルを測定して、反響の程度を求めるようにしてもよい。

また、雑音除去部１１３で実行する雑音の除去の手法は任意であり、前述のように、アレイマイク１０１を用いて音源の向きと位置を特定し、その音源からの音声を強調し、他の位置からの音を抑圧するような周知の手法を採用可能である。

また、上記実施形態においては、反響測定音として、非可聴帯域の音を使用したが、ステップＳ１０１で出力する音に関しては、動画撮影を開始することを報知する意味を含めて、可聴音を出力するようにしてもよい。この場合、メモリ１０５には、動画撮影開始時用の反響測定音（動画撮影開始音）の音データと、動画撮影中用の反響測定音の音データと、を格納し、制御部１１４は、ステップＳ１０１では、動画撮影開始音を放音し、ステップＳ１０４では、反響測定音を放音する。また、反響測定音選択フィルタ１１１は、両測定音を通過する帯域特性を備える。

この構成とすれば、被撮影者に撮影の開始を報知する処理と反響の程度を測定する処理を兼ねて、処理を簡略化することができる一方で、撮影への悪影響を与えることがない。

図１，図４，図６で示した回路構成、図２，図３，図５，図７に示したフローチャートなどは例示であり、これらに限定されるものではなく、同等の機能を実現できるならば、任意に変更可能である。

例えば、反響測定音選択フィルタ１１１の入力をアレイマイク１０１の出力とし、反響測定音選択フィルタ１１１と反響音測定部１１２とを、アナログ処理回路で構成してもよい。

また、反響音測定部１１２を構成するタイマとして、タイミング通知部１１０を構成するタイマを使用したり、制御部１１４の内部タイマを使用する等してもよい。また、雑音除去部１１３を専用回路としたり、タイミング通知部１１０、反響測定音選択フィルタ１１１、反響音測定部１１２等を、制御部１１４の機能の一部としてもよい。

上記の実施形態では、本発明に係る音声入力装置を、動画撮影を行う動画撮影装置に適用した例を示した。しかしながら、これに限られない。例えば、携帯電話や音声を長時間録音可能なＩＣ（Integrated Circuit）レコーダ等に適用してもよい。また、例えば、マイクに適用してもよい。

音声入力装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する音声入力装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで音声入力装置を構成してもよい。

また、音声入力システムの機能を、ＯＳ（Operating System）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、その他、具体的な細部構成等についても適宜変更可能である。

本発明の実施形態１に係る動画撮影装置の構成図である。 図１に示す制御部が実行する動画撮影処理のフローチャートである。 図１に示す制御部が実行する動画撮影処理のフローチャートである。 本発明の実施形態２に係る動画撮影装置の構成図である。 図４に示す制御部が実行する動画撮影処理のフローチャートである。 本発明の実施形態３に係る動画撮影装置の構成図である。 図６に示す制御部が実行する動画撮影処理のフローチャートである。 （ａ）〜（ｃ）は、反響の程度とノイズ圧縮量との関係の例を示す図である。

符号の説明

１，２，３・・・動画撮影装置、１０１・・・アレイマイク、１０２・・・ＡＤＣ（Analog to Digital Converter）、１０３・・・カメラ、１０４・・・画像処理部、１０５・・・メモリ、１０６・・・表示部、１０７・・・ＤＡＣ（Digital to Analog Converter）、１０８・・・スピーカ、１０９・・・入力部、１１０・・・タイミング通知部、１１１・・・反響測定音選択フィルタ、１１２・・・反響音測定部、１１３・・・雑音除去部、１１４・・・制御部、２００・・・センサ部、３００・・・ＧＰＳ（Global Positioning System）部

Claims (13)

1. 音声を入力する音声入力手段と、
   前記音声入力手段が入力した音声から雑音を除去する雑音除去手段と、
   所定の測定音を出力する音声出力手段と、
   前記音声入力手段が入力した音声から、前記音声出力手段が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定手段と、
   前記反響測定手段が求めた反響の程度に基づいて、前記雑音除去手段による雑音除去の態様を制御する雑音除去制御手段と、
   映像を撮影する撮影手段と、を備え、
   前記音声出力手段は、前記撮影手段が撮影を開始するときに前記測定音を出力し、
   前記反響測定手段は、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
   ことを特徴とする音声入力装置。
2. 前記反響測定手段は、前記音声入力手段が入力した音声から、前記音声出力手段が出力した前記測定音の直接音と反響音とを抽出するフィルタを有し、
   前記反響測定手段は、前記フィルタが前記測定音の直接音を抽出してから、前記フィルタが前記測定音の反響音を抽出するまでの時間から反響の程度を求める、
   ことを特徴とする請求項１に記載の音声入力装置。
3. 前記測定音は、前記撮影手段が撮影中に出力する撮影中測定音を含み、
   前記音声出力手段は、前記撮影手段が撮影中に、前記撮影中測定音を出力する、
   ことを特徴とする請求項１又は２に記載の音声入力装置。
4. 前記撮影中測定音は、非可聴帯域の周波数の音から構成される、
   ことを特徴とする請求項３に記載の音声入力装置。
5. 音声を入力する音声入力手段と、
   前記音声入力手段が入力した音声から雑音を除去する雑音除去手段と、
   所定の測定音を出力する音声出力手段と、
   前記音声入力手段が入力した音声から、前記音声出力手段が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定手段と、
   前記反響測定手段が求めた反響の程度に基づいて、前記雑音除去手段による雑音除去の態様を制御する雑音除去制御手段と、
   自装置の位置が変化したことを検出する移動検出手段と、を備え、
   前記音声出力手段は、前記移動検出手段が前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
   ことを特徴とする音声入力装置。
6. 前記音声出力手段に前記測定音を出力させるタイミングを通知するタイミング通知手段、をさらに備え、
   前記音声出力手段は、前記タイミング通知手段がタイミングを通知したときに、前記測定音を出力する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の音声入力装置。
7. 前記タイミング通知手段は、前記音声出力手段に、周期的にタイミングを通知する、
   ことを特徴とする請求項６に記載の音声入力装置。
8. 自装置の現在位置を取得する現在位置取得手段と、前記現在位置取得手段が取得した現在位置に基づいて、前記自装置の位置が変化したか否かを判別する判別手段と、をさらに備え、
   前記音声出力手段は、前記判別手段が前記自装置の位置が変化したと判別したときに、前記測定音を出力する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の音声入力装置。
9. 前記雑音除去制御手段は、前記反響測定手段が求めた反響の程度に基づいて、前記雑音除去手段による雑音の除去の実行と停止を制御する手段及び／又は雑音の除去の態様を制御する手段を備える、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の音声入力装置。
10. 音声を入力する音声入力ステップと、
    前記音声入力ステップで入力した音声から雑音を除去する雑音除去ステップと、
    所定の測定音を出力する測定音出力ステップと、
    前記音声入力ステップで入力した音声から、前記測定音出力ステップで出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定ステップと、
    前記反響測定ステップで求めた反響の程度に基づいて、前記雑音除去ステップにおける雑音除去の態様を制御する雑音除去制御ステップと、
    映像を撮影する撮影ステップと、を備え、
    前記測定音出力ステップでは、前記撮影ステップで撮影を開始するときに前記測定音を出力し、
    前記反響測定ステップでは、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
    ことを特徴とする雑音除去方法。
11. 音声を入力する音声入力ステップと、
    前記音声入力ステップで入力した音声から雑音を除去する雑音除去ステップと、
    所定の測定音を出力する測定音出力ステップと、
    前記音声入力ステップで入力した音声から、前記測定音出力ステップで出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定ステップと、
    前記反響測定ステップで求めた反響の程度に基づいて、前記雑音除去ステップによる雑音除去の態様を制御する雑音除去制御ステップと、
    自装置の位置が変化したことを検出する移動検出ステップと、を備え、
    前記測定音出力ステップでは、前記移動検出ステップで前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
    ことを特徴とする雑音除去方法。
12. コンピュータに、
    音声を入力する音声入力機能、
    前記音声入力機能が入力した音声から雑音を除去する雑音除去機能、
    所定の測定音を出力する測定音出力機能、
    前記音声入力機能が入力した音声から、前記測定音出力機能が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定機能、
    前記反響測定機能が求めた反響の程度に基づいて、前記雑音除去機能による雑音除去の態様を制御する雑音除去制御機能、
    映像を撮影する撮影機能、を実現させ、
    前記測定音出力機能は、前記撮影機能が撮影を開始するときに前記測定音を出力し、
    前記反響測定機能は、前記測定音の直接音を検出してから、前記測定音の反響音を検出するまでの時間から反響の程度を求める、
    ことを特徴とするコンピュータプログラム。
13. コンピュータに、
    音声を入力する音声入力機能、
    前記音声入力機能が入力した音声から雑音を除去する雑音除去機能、
    所定の測定音を出力する測定音出力機能、
    前記音声入力機能が入力した音声から、前記測定音出力機能が出力した前記測定音を検出し、検出した測定音に基づいて、反響の程度を求める反響測定機能、
    前記反響測定機能が求めた反響の程度に基づいて、前記雑音除去機能による雑音除去の態様を制御する雑音除去制御機能、
    自装置の位置が変化したことを検出する移動検出機能、を実現させ、
    前記測定音出力機能は、前記移動検出機能が前記自装置の位置が変化したことを検出すると、前記測定音を出力する、
    ことを特徴とするコンピュータプログラム。

Images