JPH10191498A

JPH10191498A - 音信号処理装置

Info

Publication number: JPH10191498A
Application number: JP8351419A
Authority: JP
Inventors: Taro Imagawa; 太郎今川; Michiyo Moriya; みち代森家; Susumu Maruno; 進丸野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-12-27
Filing date: 1996-12-27
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】音到達遅延時間に基づいて音信号を新たに合
成することにより、マイクの設置場所を変えずにマイク
から離れた音源の音を選択的に集音および活用すること
ができる音信号処理装置を提供する。【解決手段】音記録部１０１〜１０ｎにより複数の異
なる位置における音信号を記録し、音記録座標記憶部４
により音記録部１０１〜１０ｎが音信号を記録する位置
座標を記憶する。次に、位置座標指定部５が出力する位
置座標と音記録座標記憶部４が記憶する位置座標とに基
づいて、遅延時間算出部３により音到達遅延時間を算出
し、遅延時間算出部３が算出した音到達遅延時間に基づ
いて、音信号合成部２により音記録部１０１〜１０ｎが
記録した音信号から新たな音信号を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音を選択的に集音
し、伝送し、記録し、または活用する音信号処理装置に
関するものである。

【０００２】

【従来の技術】音を選択的に集音して利用する従来の音
信号処理装置として、例えば、特開平５−５６４２６号
公報に開示されるカメラコントロール回路がある。この
カメラコントロール回路では、テレビ会議において話者
の各席にマイクを設置し、このマイクの音圧を監視する
ことで、音圧がある基準以上になったマイクについて、
音を集音および送信していた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の音信号処理装置では、マイク付近の音を集音するた
め、マイクから離れた音源の音が必要になった場合に直
ちに対応することができないという課題を有していた。
すなわち、話者が席から移動した場合や新たな話者を追
加する場合においては、マイクの移動、マイクの向きの
調整、マイクの追加などが必要になるという問題があっ
た。

【０００４】本発明は、上記の課題を解決するため、音
到達遅延時間に基づいて音信号を新たに合成することに
より、マイクの設置場所を変えずにマイクから離れた音
源の音を選択的に集音および活用することができる音信
号処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、本発明による音信号処理装置は、複数の異なる位置
における音信号を記録する音記録手段と、音記録手段が
記録した複数の音信号から新たな音信号を合成する音信
号合成手段と、位置座標を指定する位置座標指定手段
と、音記録手段が音信号を記録する位置座標を記憶する
音記録座標記憶手段と、位置座標指定手段が出力する位
置座標と音記録座標記憶手段が記憶する位置座標とに基
づいて音到達遅延時間を算出する遅延時間算出手段とを
備え、音信号合成手段は、遅延時間算出手段が算出した
音到達遅延時間に基づいて音記録手段が記録した複数の
音信号から新たな音信号を合成する。

【０００６】上記の構成により、遅延時間算出手段が指
定された位置座標からの音到達遅延時間を算出し、音合
成手段が音到達遅延時間に基づいて音信号を新たに合成
することができるので、３次元的に連続的な音の追随が
可能となる。したがって、マイクの設置場所を変えずに
マイクから離れた音源の音を選択的に集音および活用す
ることができる。

【０００７】また、音信号合成手段は、遅延時間算出手
段が算出した音到達遅延時間に基づいて音記録手段が記
録した音信号を遅延させる遅延手段と、遅延手段が遅延
させた音信号を合成する合成手段とを含むことが好まし
い。この場合、指定された位置座標に応じて遅延させた
音信号を合成することができる。

【０００８】また、遅延時間算出手段は、音記録座標記
憶手段が記憶する位置座標と位置座標指定手段が指定す
る位置座標との距離を算出する距離算出手段と、距離算
出手段が算出した距離に基づいて音到達遅延時間を算出
する遅延算出手段とを含むことが好ましい。この場合、
音記録座標記憶手段が記憶する位置座標と位置座標指定
手段が指定する位置座標との間の距離を算出し、算出し
た距離に基づいて音到達遅延時間を高精度に算出するこ
とができる。

【０００９】また、音信号合成手段が合成した音信号が
あらかじめ定めた基準を満たすか否かを判断する音信号
判断手段をさらに含み、位置座標指定手段は、音信号判
断手段の判断結果に基づいて新たな位置座標を指定する
ことが好ましい。この場合、。ユーザが所望の基準を定
めることができ、この基準に基づいて新たな位置座標を
指定することができる。

【００１０】また、音信号判断手段は、音信号合成手段
が合成した音信号の音圧強度を基準として、音信号合成
手段が合成した音信号があらかじめ定めた基準を満たす
か否かを判断することが好ましい。この場合、音信号の
判断処理を簡素化することができる。

【００１１】また、音信号判断手段は、音信号合成手段
が合成した音信号のスペクトル分布形状を基準として、
音信号合成手段が合成した音信号があらかじめ定めた基
準を満たすか否かを判断することが好ましい。この場
合、音信号をより詳細に区分することができる。

【００１２】また、位置座標指定手段は、一ヶ所または
複数ヶ所における物体の位置を計測する位置計測手段
と、位置計測手段が計測した位置に基づいて位置座標を
決定する座標決定手段とを含むことが好ましい。この場
合、物体の位置を計測することにより、集音した音信号
からだけでは困難な音源の位置を容易に特定することが
できる。

【００１３】また、位置計測手段は、一ヶ所または複数
ヶ所の赤外線の強度を計測する赤外線センサを含み、座
標決定手段は、赤外線センサにより計測された赤外線の
強度があらかじめ定めた基準を満たす位置座標を決定す
ることが好ましい。この場合、赤外線センサにより、特
定波長の赤外線を放出する人体などを特異的に検出で
き、人や音源の位置を測定することができる。

【００１４】また、位置計測手段は、一ヶ所または複数
ヶ所の圧力を計測する圧力センサを含み、座標決定手段
は、圧力センサにより計測された圧力があらかじめ定め
た基準を満たす位置座標を決定することが好ましい。こ
の場合、例えば、圧力センサを床面に設け、人の存在に
よる圧力を検知して人の存在する位置が得られ、人や音
源の位置を測定することができる。

【００１５】また、位置計測手段は、一ヶ所または複数
ヶ所の超音波の強度を計測する超音波センサを含み、座
標決定手段は、超音波センサにより計測された超音波の
強度があらかじめ定めた基準を満たす位置座標を決定す
ることが好ましい。この場合、超音波センサにより、近
距離に人が存在する場合に人の存在を検知することがで
き、人や音源の位置を測定することができる。

【００１６】また、位置座標指定手段は、ユーザの指示
に応じた位置座標を指定することが好ましい。この場
合、ユーザの指示に応じた位置座標からの音到達遅延時
間を算出し、この音到達遅延時間をもとに音信号を新た
に合成することができる。

【００１７】また、位置座標指定手段は、ユーザが所望
の座標を入力するための座標入力手段を含み、位置座標
指定手段は、座標入力手段により入力された座標に基づ
いて位置座標を指定することが好ましい。この場合、ユ
ーザの所望の位置座標からの音到達遅延時間を算出し、
この音到達遅延時間をもとに音信号を新たに合成するこ
とができる。

【００１８】また、位置座標指定手段が指定する位置座
標を表示する画像を合成する画像合成手段と、画像合成
手段により合成された画像を表示する画像表示手段とを
さらに含むことが好ましい。この場合、対象位置の確認
が容易となる。

【００１９】また、位置座標指定手段が指定する位置座
標を含む領域の画像を入力するための画像入力手段をさ
らに含み、画像合成手段は、画像入力手段により入力さ
れた画像に、位置座標指定手段が指定する位置座標を表
示する画像を合成することが好ましい。この場合、指定
された位置座標を含む領域の画像に、指定された位置座
標を表示する画像が合成されているので、対象位置の確
認がさらに容易となる。

【００２０】また、画像入力手段は、画像を撮像する撮
像手段と、撮像手段が撮像した画像を記憶する画像記憶
手段とを含み、画像入力手段は、画像記憶手段が記憶し
ている画像を出力することが好ましい。この場合、撮像
した画像を記憶しているので、ユーザは所望の画像を何
度でも再生することができる。

【００２１】また、画像入力手段は、位置座標指定手段
が指定する位置座標を用いて、入力する画像を変更する
ことが好ましい。この場合、指定された位置座標の位置
がわかりやすくなるように入力する画像を変更すること
ができるので、音の選択を容易に行うことができる。

【００２２】また、画像入力手段は、位置座標指定手段
が指定する位置座標を用いて、入力する画像を拡大、縮
小、移動、および焦点変更のうち少なくとも一つの処理
を行うことが好ましい。この場合、指定された位置座標
の位置がわかりやすくなるように入力する画像を拡大、
縮小、移動、または焦点変更することができるので、音
の選択をさらに容易に行うことができる。

【００２３】また、位置座標指定手段は、画像入力手段
が入力する画像を用いて位置座標を指定することが好ま
しい。この場合、位置座標を容易に指定できる。また、
比較画像を記憶する比較画像記憶手段と、比較画像記憶
手段が記憶している比較画像と画像入力手段が入力する
画像との差分画像を生成する画像差分手段とをさらに含
み、位置座標指定手段は、画像差分手段が出力する差分
画像を用いて位置座標を指定することが好ましい。この
場合、例えば、１フレーム前に入力した画像を用い、フ
レーム間で変化が生じた位置を新しい位置座標とし、動
きのある人などの位置を効率よく検出することができ
る。

【００２４】また、音信号合成手段が合成した音信号を
送信する音信号送信手段をさらに含むことが好ましい。
この場合、有線または無線の経路に対して、合成した音
信号を送信することができる。

【００２５】また、音信号送信手段が送信する音信号を
受信する音信号受信手段と、音信号受信手段が受信した
音信号を再生して出力する音信号出力手段とをさらに含
むことが好ましい。この場合、送信された音信号を受信
して音信号を再構成して可聴な音に変換することができ
る。

【００２６】また、音記録手段が記録した音信号を記憶
する音信号記憶手段をさらに含み、音信号合成手段は、
音信号記憶手段が記憶した音信号から新たな音信号を合
成することが好ましい。この場合、音信号を記憶してお
くことにより、ユーザは、望みの音を何度でも再生で
き、また、同じ時刻の異なる位置の音を再現することが
できる。

【００２７】また、ユーザが位置座標を入力するための
位置座標入力手段と、位置座標入力手段により入力され
た位置座標を送信する位置座標送信手段と、位置座標送
信手段が送信した位置座標を受信する位置座標受信手段
とをさらに含み、位置座標指定手段は、位置座標受信手
段が受信した位置座標に基づいて新たな位置座標を指定
することが好ましい。この場合、ユーザが所望の位置座
標を指定することができる。

【００２８】また、位置座標指定手段が指定した位置座
標を送信する位置情報送信手段と、位置情報送信手段が
送信した位置座標を受信する位置情報受信手段とをさら
に含み、画像合成手段は、位置情報受信手段が受信した
位置座標に基づいて画像を合成することが好ましい。こ
の場合、位置座標指定手段が指定した位置座標に基づい
て画像を合成することができ、対象位置の確認が容易と
なる。

【００２９】また、画像入力手段が入力した画像を送信
する画像送信手段と、画像送信手段が送信した画像を受
信する画像受信手段とをさらに含み、画像合成手段は、
画像受信手段が受信した画像と位置座標指定手段が指定
する位置座標とを用いて画像を合成することが好まし
い。この場合、画像受信手段が受信した画像と位置座標
指定手段が指定した位置座標とに基づいて画像を合成す
ることができ、対象位置の確認がさらに容易となる。

【００３０】また、音信号合成手段が合成した音信号を
用いて音声認識を行う音声認識手段をさらに含むことが
好ましい。この場合、音声認識の対象となる人間の発話
位置等が移動するとき、音記録手段の位置を移動せず
に、発話位置等を滑らかに追跡することができ、効率良
く認識対象の音声を追跡できるとともに、発話者にマイ
クの存在を感じさせにくくすることができる。

【００３１】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて図面を参照して説明する。図１は、本発明の第一の
実施の形態の音信号処理装置の構成を示すブロック図で
ある。

【００３２】図１を参照して、音信号処理装置は、音記
録部１０１〜１０ｎ、音信号合成部２、遅延時間算出部
３、音記録座標記憶部４、位置座標指定部５、音信号判
断部６、画像合成部７、画像表示部８、画像入力部９、
音信号送信部１２、音信号受信部１３、音信号出力部１
４、位置座標送信部１６、位置座標受信部１７、位置情
報送信部１８、位置情報受信部１９、画像送信部２０、
画像受信部２１、位置座標入力部２３を含む。

【００３３】また、図２は、図１に示す音信号合成部２
の一例の構成を示すブロック図である。図２を参照し
て、音信号合成部２は、遅延部２ａ、合成部２ｂを含
む。図３は、図１に示す遅延時間算出部３の一例の構成
を示すブロック図である。図３を参照して、遅延時間算
出部３は、距離算出部３ａ、遅延算出部３ｂを含む。図
４は、図１に示す位置座標指定部５の一例の構成を示す
ブロック図である。図４を参照して、位置座標指定部５
は、位置計測部５ａ、座標入力部５ｂ、座標決定部５ｃ
を含む。

【００３４】次に、図１ないし図４を用いて、本実施の
形態の音信号処理装置の動作について説明する。音記録
部１０１〜１０ｎは、複数の異なる位置に設置され、音
を同時に集音する。音記録座標記憶部４は、音記録部１
０１〜１０ｎがそれぞれ音を記録する位置の座標を記憶
する。音記録部１０１〜１０ｎの配置としては、例え
ば、図５の（ａ）〜（ｃ）のような配置が可能である。
図５の（ａ）は直線上に配置したもの、（ｂ）は円周上
に配置したもの、（ｃ）は２次元格子点上に配置したも
のである。他に３次元的な配置も可能であり、球面上へ
の配置、直方体表面上への配置、３次元格子点上への配
置などでもよい。

【００３５】音信号合成部２は、音記録部１０１〜１０
ｎが記録した複数の音信号から新たな音信号を合成す
る。具体的には、遅延部２ａは、遅延時間算出部３が算
出した音到達遅延時間に基づいて、音記録部１０１〜１
０ｎの記録した音信号を遅延させ、合成部２ｂは、遅延
部２ａが遅延させた音信号を合成して新しい音信号を合
成する。

【００３６】例えば、遅延時間算出部３が、音記録部１
０１が記録した音信号を基準として、音記録部１０２が
記録した音信号に対する音到達遅延時間を１ｍｓとして
算出した場合、遅延部２ａは、音記録部１０２が記録し
た音信号を１ｍｓ遅らせる。次に、合成部２ｂは、音記
録部１０１が記録した音信号と音記録部１０２が記録し
た音信号を１ｍｓ遅らせた信号とを加算する。

【００３７】上記のようにして、全ての音記録部１０１
〜１０ｎの記録した音信号について加算した後、加算し
た信号を音記録部１０１〜１０ｎの個数ｎで割り、新た
な音信号とする。このように遅延を持たせて音信号を加
算平均することで各音信号に含まれる特定の位相成分を
強調することができる。なお、上記の例では音信号の合
成方法として加算平均を用いているが、重み付けの加算
平均や、条件付きの加算平均などを用いてもよい。ま
た、合成前の音信号にローパスフィルタ、ハイパスフィ
ルタ、バンドパスフィルタなどを用いて、あらかじめ不
要な周波数成分を低減しておいてもよい。

【００３８】音信号判断部６は、音信号合成部２が合成
した信号があらかじめ定めた基準を満たすか否かを判断
する。例えば、音信号判断部６は、音信号合成部２が合
成した信号についてあらかじめ定めた時間、例えば、過
去１００ｍｓ間にわたる平均強度を求め、この平均強度
があらかじめ定めた基準以上の場合は１を出力し、それ
以外の場合は０を出力する。

【００３９】このとき、平均強度を求める代わりに特定
の周波数成分の強度などを用いてもよい。また、信号の
強度を基準値と比較する代わりに、音合成部２が合成し
た音信号のスペクトルパタンを算出し、このスペクトル
パタンがあらかじめ定めたスペクトル分布形状と一致し
た場合に音信号判断部６が１を出力し、一致しない場合
には０を出力するようにしてもよい。前者のように音信
号判断部６が合成音信号の強度を基準とする場合は、簡
素な判断処理が可能であり、後者のように合成音信号の
スペクトル分布形状を基準とする場合は、判断処理は複
雑になるが音信号のより詳細な区別が可能となる。

【００４０】位置座標指定部５の位置計測部５ａは、人
や音源の位置を計測する。例えば、位置計測部５ａは、
赤外線センサを備え、一ヶ所または複数の位置の赤外線
強度を計測し、赤外線強度があらかじめ定めた基準値以
上の位置座標を出力する。位置の計測には、赤外線セン
サ以外に圧力センサや超音波センサなどを使ってもよ
い。

【００４１】例えば、位置の計測に圧力センサを用いた
場合、床面に圧力センサを配置し、一ヶ所または複数の
位置の圧力を計測して、床にかかる圧力があらかじめ定
めた基準値以上の位置座標を出力する。また、超音波距
離センサを用いた場合は、超音波を用いて、一ヶ所また
は複数の位置までの距離を計測し、距離があらかじめ定
めた基準値以下の場合にその位置座標を出力する。

【００４２】座標入力部５ｂは、位置座標指定部５の外
部から入力される位置を示す情報に基づいて位置座標を
出力する。座標決定部５ｃは、位置計測部５ａ、座標入
力部５ｂ、および音信号判断部６からの入力に基づいて
新たな座標を決定する。座標決定部５ｃは、座標入力部
５ｂからの位置座標の入力がある場合には、その位置座
標を新たな位置座標として決定する。一方、座標入力部
５ｂからの位置座標の入力が無い場合には、音信号判断
部６が１を出力していれば過去に決定した位置座標と同
じ値を新たな位置座標として決定し、音信号判断部６が
０を出力していれば位置計測部５ａが出力する位置座標
を新たな位置座標として決定する。

【００４３】遅延時間算出部３は、音記録座標記憶部４
が記憶する位置座標と位置座標指定部５が指定する位置
座標とを用いて、位置座標指定部５が指定する位置座標
から音記録座標記憶部４が記憶する位置までの音の到達
時間の差、すなわち音到達遅延時間を計算する。音信号
合成部２は、再度新しい音到達遅延時間を用いて音信号
の合成を行う。

【００４４】具体的には、遅延時間算出部３において、
距離算出部３ａは、位置座標指定部５の指定する位置座
標と音記録座標記憶部４が記憶するｎ個の位置座標との
間の距離をそれぞれ計算する。次に、遅延時間算出部３
は、距離算出部３ａが算出した距離と音速とを用いて、
位置座標指定部５の指定する位置から音記録座標記憶部
４が記憶するｎ個の位置までの音到達遅延時間を算出す
る。

【００４５】例えば、距離算出部３ａが算出する距離と
して、位置座標指定部５の指定する位置から音記録部１
０１の記録位置までの距離が４ｍで、位置座標指定部５
の指定する位置から音記録部１０２の記録位置までの距
離を１０ｍとする。この場合、遅延算出部３ｂは、音記
録部１０１を基準として音記録部１０２の音到達遅延時
間として両者の距離の差６ｍを音速で割った値を音記録
部１０２に対する音到達遅延時間とする。

【００４６】音信号送信部１２は、有線または無線の経
路に対して、音信号合成部２が合成した音信号を送信
し、音信号受信部１３は、音信号送信部１２が送信した
音信号を受信して音信号を再構成する。次に、音信号出
力部１４は、音信号受信部１３が再構成した音信号を可
聴な音に変換する。

【００４７】画像入力部９は、位置座標指定部５が指定
する位置座標に対応する位置を含む領域の画像を入力す
る。また、画像入力部９は、必要に応じて位置座標指定
部５が指定する位置を含むように、画像の拡大、縮小、
移動、焦点の変更を行う。なお、画像を入力するカメラ
は複数でもよく、必要に応じて複数のカメラからの画像
を切り替えてもよい。

【００４８】画像送信部２０は、有線または無線の経路
に対して、画像入力部９が入力した画像を送信し、画像
受信部２１は、画像送信部２０が送信した画像を受信す
る。また、位置情報送信部１８は、有線または無線の経
路に対して、位置座標指定部５が指定した位置座標の情
報を送信し、位置情報受信部１９は、位置情報送信部１
８が送信した位置座標の情報を受信する。画像合成部７
は、画像受信部２１が受信した画像上に位置情報受信部
１９が受信した位置を示す印を加えた画像を合成する。
画像表示部８は、画像合成部７が合成した画像を表示す
る。

【００４９】位置座標入力部２３は、ユーザが指示する
座標を入力とする。位置座標送信部１６は、有線または
無線の経路に対して、位置座標入力部２３で入力した位
置座標を送信し、位置座標受信部１７は、位置座標送信
部１６が送信した位置座標を受信する。位置座標指定部
５において、座標入力部５ｂは、位置座標受信部１７の
受信した位置座標を入力とする。

【００５０】次に、上記のように構成された音信号処理
装置において、ユーザを含めた動作を説明する。この場
合、ユーザは、音源と離れた位置から遠隔的に所望の音
を得ることを目的とする。

【００５１】画像入力部９で入力した画像は、画像送信
部２０、画像受信部２１、画像合成部７、および画像表
示部８を通してユーザに伝わる。ここで、位置座標指定
部５が指定する位置は、画像合成部７が画像上に所定の
印として合成し、画像表示部８が表示する。このような
画像の合成により対象位置の確認が容易になる。

【００５２】また、ユーザが任意に位置座標指定部５の
指定する位置座標を変更する場合は、位置座標入力部２
３（例えば、マウス、キーボード、音声、タッチパネル
など）により座標を指定し、指定された座標の座標値
を、位置座標送信部１６および位置座標受信部１７を通
じて位置座標指定部５に送る。位置座標指定部５は、座
標入力部５ｂに座標の入力があった場合には、その座標
を次に指定する位置座標とする。

【００５３】次に、遅延時間算出部３は、位置座標指定
部５が指定した位置座標と音記録座標記憶部４が記憶す
る位置座標とに基づいて音到達遅延時間を算出し、音信
号合成部２は、算出された音到達遅延時間に基づいて音
記録部１０１〜１０ｎで記録した音信号に時間的な遅延
を加えて加算する。すなわち、位置座標指定部５が指定
する位置と音記録部１０１〜１０ｎとの距離に応じた音
到達遅延時間を音信号に加えて、各信号を加算すること
により、音信号合成部２において位置座標指定部５の指
定する位置からある時刻に発生した音を同じタイミング
で加算することになる。この結果、位置座標指定部５が
指定する位置付近で発生する音を強調することができ
る。また、位置座標指定部５の指定する位置座標は、任
意に変更可能なため、音記録部１０１〜１０ｎそのもの
を移動または追加することなく、目的とする音源を変更
または追跡することが可能となる。なお、合成した音信
号は、音信号送信部１２、音信号受信部１３、および音
信号出力部１４を通じてユーザに伝わる。

【００５４】一方、ユーザが位置座標を指定しない場合
は、位置測定部５ａがセンサを用いて物体の位置を検出
する。位置測定部５ａが赤外線センサを用いた場合、特
定波長の赤外線を放出する人体などを特異的に検出でき
る。したがって、音信号判断部６が、その位置において
基準値以上の音圧であると判断することで、発話者の位
置を自動的に検知し、音を選択的に集音することが可能
となる。

【００５５】また、音圧を基準とする代わりに、音のス
ペクトルパタンを調べ、人間の発話スペクトルと比較す
ることで、人間の発話か否かを精度良く判断することも
可能である。また、圧力センサを床面に設けた場合に
も、人の存在による圧力を検知して人の存在する位置が
得られる。さらに、超音波距離センサを用いた場合も、
近距離に人が存在する場合に人の存在を検知することが
可能である。このように、位置測定部５ａを用いること
で、集音した音信号からだけでは困難な音源の位置を特
定することが容易になる。

【００５６】また、画像入力部９は、位置座標指定部５
が指定する位置座標の位置がわかりやすいように、入力
画像を拡大、縮小、移動、または焦点変更することで目
的とする音の選択を容易にすることができる。

【００５７】次に、本発明の第二の実施の形態について
図面を参照して説明する。図６は、本発明の第二の実施
の形態の音信号処理装置の構成を示すブロック図であ
る。図６に示す音信号処理装置と図１に示す音信号処理
装置とで異なる点は、音信号記憶部１５がさらに付加さ
れ、画像入力部９ａが撮像部９ｂおよび画像記憶部９ｃ
を含む点である。その他の部分は、図１に示す音信号処
理装置と同様であるので、以下詳細な説明は省略する。

【００５８】音信号記憶部１５は、音記録部１０１〜１
０ｎで記録した音信号を記憶し、音信号の記録後いつで
も、音信号合成部２は、所望の音信号を得ることができ
る。撮像部９ｂは、位置座標指定部５が指定する座標を
含む領域を撮像し、画像記憶部９ｃは、撮像部９ｂが撮
像した画像を記憶する。本実施の形態における基本的な
動作は、第一の実施の形態と同様であるが、音信号およ
び画像を記録しておくことにより、ユーザは、望みの音
を何度でも再生でき、また、同じ時刻の異なる位置の音
を再現することが可能となる。

【００５９】次に、本発明の第三の実施の形態について
図面を参照して説明する。図７は、本発明の第三の実施
の形態の音信号処理装置の構成を示すブロック図であ
る。図７に示す音信号処理装置と図１に示す音信号処理
装置とで異なる点は、画像差分部１０および比較画像記
憶部１１がさらに付加された点である。その他の部分
は、図１に示す音信号処理装置と同様であるので、以下
詳細な説明は省略する。

【００６０】本実施の形態における基本的な動作は、第
一の実施の形態と同様であるが、以下の点が異なる。比
較画像記憶部１１は、画像入力部９が撮像する領域の背
景画像（比較画像）を記憶し、画像差分部１０は、比較
画像記憶部１１が記憶する画像と画像入力部９が撮像す
る画像との差（差分画像）を求める。位置座標指定部５
において、位置計測部５ａは、差分画像の中で画像の差
の大きい位置の座標を新しい位置座標とする。したがっ
て、背景画像では存在しない人の映像などが検出でき、
効率よく音源の位置を推定することが可能となる。

【００６１】また、比較画像記憶部１１が記憶する画像
として、１フレーム前に画像入力部９が入力した画像を
用いることも可能で、この場合はフレーム間で変化が生
じた位置を位置計測部５ａが新しい座標とする。この結
果、動きのある人などの位置を効率よく検出することが
可能となる。

【００６２】次に、本発明の第四の実施の形態について
図面を参照して説明する。図８は、本発明の第四の実施
の形態の音信号処理装置の構成を示すブロック図であ
る。図８に示す音信号処理装置と図１に示す音信号処理
装置とで異なる点は、音信号送信部１２等の代りに音声
認識部２２が具備された点である。その他の部分は、図
１に示す音信号処理装置と同様であるので、以下詳細な
説明は省略する。

【００６３】本実施の形態における各ブロックの動作
は、第一の実施の形態と同様であるが、音声認識部２２
は、音信号合成部２が合成した音信号を用いて音声認識
を行う。音声認識の手法としては、ＨＭＭ（隠れマルコ
フモデル）、ＤＰ（ダイナミックプログラミング）マッ
チング、ベクトル量子化などを用いることができる。

【００６４】本実施の形態では、単一のマイクを用いた
音声認識システムとは異なり、音声認識の対象となる人
間の発話位置が移動するとき、音記録部１０１〜１０ｎ
（マイクなど）の位置を移動せずに、発話位置を滑らか
に追跡することができる。したがって、効率良く認識対
象の音声を追跡できるとともに、発話者にマイクの存在
を感じさせにくいシステムを提供することが可能とな
る。

【００６５】以上のように、上記の各実施の形態では、
位置座標指定部５がユーザの指示または音源位置の推定
にしたがって位置座標を指定し、遅延時間算出部３が指
定された位置座標からの音到達遅延時間を算出し、音信
号合成部２が音到達遅延時間をもとに音信号を新たに合
成することで、３次元的に連続的な音の追随を可能とす
る。また、位置座標指定部５が自動的に音源を推定する
ことにより、必ずしもユーザが詳細な位置座標の指定を
行わなくても、適切な音源位置を選択することが可能と
なる。

【００６６】このように、位置座標指定部５が指定する
位置座標を変えるごとに音を合成することで、限られた
音情報から数多くの種類の音を自由に取り出すことが可
能なため、ネットワークを通じた音情報の提供システム
などにも非常に有効である。したがって、音記録部１０
１〜１０ｎが記録するすべての音信号を残しておけば、
事後に任意の場所の音の提供も可能となる。また、位置
座標指定部５が複数の位置座標を指定することで、同時
に複数の位置の音を再生することも可能である。

【００６７】また、マイクの移動無しに選択位置の移動
が可能で、機械的な可動部も不要なため、装置のメンテ
ナンスの負担も大きく軽減することが可能となる。特
に、音声を入力とする場合、人にマイクの移動を意識さ
せないため、ユーザの精神的負担が少ないＴＶ会議シス
テム、ＴＶ電話、音声認識システム等を構築することが
可能となる。

【００６８】このように、上記の各実施の形態では、音
記録部１０１〜１０ｎの設置場所を変えずに、ユーザが
離れた音源の音を選択的に集音および活用することがで
きる。なお、上記の各実施の形態におけるの各ブロック
部は、ハードウェアを用いて構成してもよいし、コンピ
ュータ上のソフトウェアを用いて実現してもよい。

【００６９】

【発明の効果】本発明によれば、遅延時間算出手段が指
定された位置座標からの音到達遅延時間を算出し、音合
成手段が音到達遅延時間に基づいて音信号を新たに合成
することができるので、３次元的に連続的な音の追随が
可能となり、マイクの設置場所を変えずにマイクから離
れた音源の音を選択的に集音および活用することができ
る。

【図面の簡単な説明】

【図１】本発明の第一の実施の形態による音信号処理装
置の構成を示すブロック図

【図２】図１に示す音信号処理装置の音信号合成部の一
例の構成を示すブロック図

【図３】図１に示す音信号処理装置の遅延時間算出部の
一例の構成を示すブロック図

【図４】図１に示す音信号処理装置の位置座標指定部の
一例の構成を示すブロック図

【図５】図１に示す音信号処理装置の音記録部の配置例
を示す図

【図６】本発明の第二の実施の形態による音信号処理装
置の構成を示すブロック図

【図７】本発明の第三の実施の形態による音信号処理装
置の構成を示すブロック図

【図８】本発明の第四の実施の形態による音信号処理装
置の構成を示すブロック図

【符号の説明】

１０１〜１０ｎ音記録部２音信号合成部３遅延時間算出部４音記録座標記憶部５位置座標指定部６音信号判断部７画像合成部８画像表示部９画像入力部１２音信号送信部１３音信号受信部１４音信号出力部１６位置座標送信部１７位置座標受信部１８位置情報送信部１９位置情報受信部２０画像送信部２１画像受信部２３位置座標入力部

Claims

【特許請求の範囲】

【請求項１】複数の異なる位置における音信号を記録
する音記録手段と、前記音記録手段が記録した複数の音
信号から新たな音信号を合成する音信号合成手段と、位
置座標を指定する位置座標指定手段と、前記音記録手段
が音信号を記録する位置座標を記憶する音記録座標記憶
手段と、前記位置座標指定手段が出力する位置座標と前
記音記録座標記憶手段が記憶する位置座標とに基づいて
音到達遅延時間を算出する遅延時間算出手段とを備え、前記音信号合成手段は、前記遅延時間算出手段が算出し
た音到達遅延時間に基づいて前記音記録手段が記録した
複数の音信号から新たな音信号を合成する音信号処理装
置。
【請求項２】前記音信号合成手段は、前記遅延時間算
出手段が算出した音到達遅延時間に基づいて前記音記録
手段が記録した音信号を遅延させる遅延手段と、前記遅
延手段が遅延させた音信号を合成する合成手段とを含む
請求項１記載の音信号処理装置。
【請求項３】前記遅延時間算出手段は、前記音記録座
標記憶手段が記憶する位置座標と前記位置座標指定手段
が指定する位置座標との距離を算出する距離算出手段
と、前記距離算出手段が算出した距離に基づいて音到達
遅延時間を算出する遅延算出手段とを含む請求項１また
は請求項２記載の音信号処理装置。
【請求項４】前記音信号合成手段が合成した音信号が
あらかじめ定めた基準を満たすか否かを判断する音信号
判断手段をさらに含み、前記位置座標指定手段は、前記音信号判断手段の判断結
果に基づいて新たな位置座標を指定する請求項１から請
求項３までのいずれか一項記載の音信号処理装置。
【請求項５】前記音信号判断手段は、前記音信号合成
手段が合成した音信号の音圧強度を基準として、前記音
信号合成手段が合成した音信号があらかじめ定めた基準
を満たすか否かを判断する請求項４記載の音信号処理装
置。
【請求項６】前記音信号判断手段は、前記音信号合成
手段が合成した音信号のスペクトル分布形状を基準とし
て、前記音信号合成手段が合成した音信号があらかじめ
定めた基準を満たすか否かを判断する請求項４または請
求項５記載の音信号処理装置。
【請求項７】前記位置座標指定手段は、一ヶ所または
複数ヶ所における物体の位置を計測する位置計測手段
と、前記位置計測手段が計測した位置に基づいて位置座
標を決定する座標決定手段とを含む請求項１から請求項
６までのいずれか一項記載の音信号処理装置。
【請求項８】前記位置計測手段は、一ヶ所または複数
ヶ所の赤外線の強度を計測する赤外線センサを含み、前記座標決定手段は、前記赤外線センサにより計測され
た赤外線の強度があらかじめ定めた基準を満たす位置座
標を決定する請求項７記載の音信号処理装置。
【請求項９】前記位置計測手段は、一ヶ所または複数
ヶ所の圧力を計測する圧力センサを含み、前記座標決定手段は、前記圧力センサにより計測された
圧力があらかじめ定めた基準を満たす位置座標を決定す
る請求項７または請求項８記載の音信号処理装置。
【請求項１０】前記位置計測手段は、一ヶ所または複
数ヶ所の超音波の強度を計測する超音波センサを含み、前記座標決定手段は、前記超音波センサにより計測され
た超音波の強度があらかじめ定めた基準を満たす位置座
標を決定する請求項７から請求項９までのいずれか一項
記載の音信号処理装置。
【請求項１１】前記位置座標指定手段は、ユーザの指
示に応じた位置座標を指定する請求項１から請求項１０
までのいずれか一項記載の音信号処理装置。
【請求項１２】前記位置座標指定手段は、ユーザが所
望の座標を入力するための座標入力手段を含み、前記位置座標指定手段は、前記座標入力手段により入力
された座標に基づいて位置座標を指定する請求項１１記
載の音信号処理装置。
【請求項１３】前記位置座標指定手段が指定する位置
座標を表示する画像を合成する画像合成手段と、前記画
像合成手段により合成された画像を表示する画像表示手
段とをさらに含む請求項１から請求項１２までのいずれ
か一項記載の音信号処理装置。
【請求項１４】前記位置座標指定手段が指定する位置
座標を含む領域の画像を入力するための画像入力手段を
さらに含み、前記画像合成手段は、前記画像入力手段により入力され
た画像に、前記位置座標指定手段が指定する位置座標を
表示する画像を合成する請求項１３記載の音信号処理装
置。
【請求項１５】前記画像入力手段は、画像を撮像する
撮像手段と、前記撮像手段が撮像した画像を記憶する画
像記憶手段とを含み、前記画像入力手段は、前記画像記憶手段が記憶している
画像を出力する請求項１４記載の音信号処理装置。
【請求項１６】前記画像入力手段は、前記位置座標指
定手段が指定する位置座標を用いて、入力する画像を変
更する請求項１４または請求項１５記載の音信号処理装
置。
【請求項１７】前記画像入力手段は、前記位置座標指
定手段が指定する位置座標を用いて、入力する画像を拡
大、縮小、移動、および焦点変更のうち少なくとも一つ
の処理を行う請求項１４から請求項１６までのいずれか
一項記載の音信号処理装置。
【請求項１８】前記位置座標指定手段は、前記画像入
力手段が入力する画像を用いて位置座標を指定する請求
項１４から請求項１７までのいずれか一項記載の音信号
処理装置。
【請求項１９】比較画像を記憶する比較画像記憶手段
と、前記比較画像記憶手段が記憶している比較画像と前
記画像入力手段が入力する画像との差分画像を生成する
画像差分手段とをさらに含み、前記位置座標指定手段
は、前記画像差分手段が出力する差分画像を用いて位置
座標を指定する請求項１４から請求項１８までのいずれ
か一項記載の音信号処理装置。
【請求項２０】前記音信号合成手段が合成した音信号
を送信する音信号送信手段をさらに含む請求項１から請
求項１９までのいずれか一項記載の音信号処理装置。
【請求項２１】前記音信号送信手段が送信する音信号
を受信する音信号受信手段と、前記音信号受信手段が受
信した音信号を再生して出力する音信号出力手段とをさ
らに含む請求項２０記載の音信号処理装置。
【請求項２２】前記音記録手段が記録した音信号を記
憶する音信号記憶手段をさらに含み、前記音信号合成手段は、前記音信号記憶手段が記憶した
音信号から新たな音信号を合成する請求項１から請求項
２１までのいずれか一項記載の音信号処理装置。
【請求項２３】ユーザが位置座標を入力するための位
置座標入力手段と、前記位置座標入力手段により入力さ
れた位置座標を送信する位置座標送信手段と、前記位置座標送信手段が送信した位置座標を受信する位
置座標受信手段とをさらに含み、前記位置座標指定手段は、前記位置座標受信手段が受信
した位置座標に基づいて新たな位置座標を指定する請求
項１から請求項２２までのいずれか一項記載の音信号処
理装置。
【請求項２４】前記位置座標指定手段が指定した位置
座標を送信する位置情報送信手段と、前記位置情報送信
手段が送信した位置座標を受信する位置情報受信手段と
をさらに含み、前記画像合成手段は、前記位置情報受信手段が受信した
位置座標に基づいて画像を合成する請求項１３から請求
項１９までのいずれか一項記載の音信号処理装置。
【請求項２５】前記画像入力手段が入力した画像を送
信する画像送信手段と、前記画像送信手段が送信した画
像を受信する画像受信手段とをさらに含み、前記画像合成手段は、前記画像受信手段が受信した画像
と前記位置座標指定手段が指定する位置座標とを用いて
画像を合成する請求項１４から請求項１９および請求項
２４のいずれか一項記載の音信号処理装置。
【請求項２６】前記音信号合成手段が合成した音信号
を用いて音声認識を行う音声認識手段をさらに含む請求
項１から請求項２５までのいずれか一項記載の音信号処
理装置。