JP3195920B2 - 音源同定・分離装置及びその方法 - Google Patents
音源同定・分離装置及びその方法Info
- Publication number
- JP3195920B2 JP3195920B2 JP16518299A JP16518299A JP3195920B2 JP 3195920 B2 JP3195920 B2 JP 3195920B2 JP 16518299 A JP16518299 A JP 16518299A JP 16518299 A JP16518299 A JP 16518299A JP 3195920 B2 JP3195920 B2 JP 3195920B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- processing means
- information
- sources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、複数の音源から
の画像情報と音響情報に基づいて、各音源を個別に同定
するための音源同定装置及び方法に関するものである。
の画像情報と音響情報に基づいて、各音源を個別に同定
するための音源同定装置及び方法に関するものである。
【０００２】
【従来の技術】従来、混合音における音声、楽音といっ
た特定の音について混合音から分離する方法の研究が行
われている。例えば入力音として音声を仮定する音声認
識システムが知られている。また画像処理自体に関し
て、対象物の抽出に色、形状、動きを特徴として仮定す
るシステムが知られている。
た特定の音について混合音から分離する方法の研究が行
われている。例えば入力音として音声を仮定する音声認
識システムが知られている。また画像処理自体に関し
て、対象物の抽出に色、形状、動きを特徴として仮定す
るシステムが知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、音認識
と画像処理を組み合わせた音認識システムはなく、また
音声を仮定する音認識システムでは、マイクロフォンが
口元にある時や他の音源が全く存在しない時にしか成立
しない。さらに複数の音源から調波構造を基に特定の音
響信号を分離するとともに音源方向を求めるものもある
が、音源方向の精度は±１０°であり、隣接音源が近接
している場合は音源の分離ができない。
と画像処理を組み合わせた音認識システムはなく、また
音声を仮定する音認識システムでは、マイクロフォンが
口元にある時や他の音源が全く存在しない時にしか成立
しない。さらに複数の音源から調波構造を基に特定の音
響信号を分離するとともに音源方向を求めるものもある
が、音源方向の精度は±１０°であり、隣接音源が近接
している場合は音源の分離ができない。
【０００４】また音源の数と同じ数の集音マイクを使用
することにより、各集音マイクからの音響情報に基づい
て、音源の同定を行なう方法も提案されている。これは
音の強度と音源の位置を同定するものであるが、その周
波数情報は方位軸に沿って拡散してしまい、良質な音源
同定が困難である。さらにこのような方法では音源の認
識率を高めることは可能であるが、各音源がそれぞれ独
立していることと、音源の数だけ集音マイクが必要であ
ることから、コストが高くなる。
することにより、各集音マイクからの音響情報に基づい
て、音源の同定を行なう方法も提案されている。これは
音の強度と音源の位置を同定するものであるが、その周
波数情報は方位軸に沿って拡散してしまい、良質な音源
同定が困難である。さらにこのような方法では音源の認
識率を高めることは可能であるが、各音源がそれぞれ独
立していることと、音源の数だけ集音マイクが必要であ
ることから、コストが高くなる。
【０００５】この発明は、以上の点にかんがみて、音源
物体を特定し、その画像情報と音響情報とを用いて混合
音から各音を分離して、より高精度で複数の音源を同定
し得るようにした、音源同定装置及びその同定方法を提
供することを目的とする。
物体を特定し、その画像情報と音響情報とを用いて混合
音から各音を分離して、より高精度で複数の音源を同定
し得るようにした、音源同定装置及びその同定方法を提
供することを目的とする。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に本発明の音源同定・分離装置は、複数の音源に対して
所定間隔に配置した二つの集音マイクで複数の音源から
の混合音をそれぞれ取り込む集音手段と、複数の音源と
なり得る物体を連続撮像する撮像手段及び／又は上記複
数の音源となり得る物体の方向を検知する感知手段と、
上記二つの集音マイクで集音した、複数の音源からの混
合音からなるそれぞれの音響情報の位相差及び強度差に
基づいて全ての音源方向を同定する音響処理手段と、上
記撮像手段により撮像された画像情報及び／又は上記感
知手段により検知した各々の物体の方向情報から、音源
となり得る各々の物体に関する方向を同定する画像処理
手段と、方向フィルタと、上記集音手段，撮像手段，感
知手段，画像処理手段及び音響処理手段を制御する制御
手段とを備えており、上記制御手段は、上記集音手段が
集音した音響情報から上記音響処理手段が概略音源方向
を同定するように制御し、この同定された概略音源方向
の範囲内で上記画像処理手段が音源となり得る各々の物
体に関する方向を同定するように制御し、又は、上記撮
像手段により撮像された画像情報及び／又は上記感知手
段により検知した各々の物体の方向情報のみから画像処
理手段が音源方向を同定するように制御し、この同定さ
れた方向の所定角度範囲内で上記音響処理手段が音源方
向を同定するように制御し、この同定された音源方向に
対応する上記方向フィルタを上記音響処理手段が選択す
るように制御しており、上記複数の音源の隣接音源が近
接している場合にも、全ての複数の音源方向を同定及び
分離することを特徴とする。
に本発明の音源同定・分離装置は、複数の音源に対して
所定間隔に配置した二つの集音マイクで複数の音源から
の混合音をそれぞれ取り込む集音手段と、複数の音源と
なり得る物体を連続撮像する撮像手段及び／又は上記複
数の音源となり得る物体の方向を検知する感知手段と、
上記二つの集音マイクで集音した、複数の音源からの混
合音からなるそれぞれの音響情報の位相差及び強度差に
基づいて全ての音源方向を同定する音響処理手段と、上
記撮像手段により撮像された画像情報及び／又は上記感
知手段により検知した各々の物体の方向情報から、音源
となり得る各々の物体に関する方向を同定する画像処理
手段と、方向フィルタと、上記集音手段，撮像手段，感
知手段，画像処理手段及び音響処理手段を制御する制御
手段とを備えており、上記制御手段は、上記集音手段が
集音した音響情報から上記音響処理手段が概略音源方向
を同定するように制御し、この同定された概略音源方向
の範囲内で上記画像処理手段が音源となり得る各々の物
体に関する方向を同定するように制御し、又は、上記撮
像手段により撮像された画像情報及び／又は上記感知手
段により検知した各々の物体の方向情報のみから画像処
理手段が音源方向を同定するように制御し、この同定さ
れた方向の所定角度範囲内で上記音響処理手段が音源方
向を同定するように制御し、この同定された音源方向に
対応する上記方向フィルタを上記音響処理手段が選択す
るように制御しており、上記複数の音源の隣接音源が近
接している場合にも、全ての複数の音源方向を同定及び
分離することを特徴とする。
【０００７】また、画像処理手段は、音源となり得る物
体に関する方向の同定を、物体の色、形状及び高さのい
ずれか、或いは、物体の色、形状及び高さの全てを基準
として同時に全て同定する機能を有することを特徴とす
る。
体に関する方向の同定を、物体の色、形状及び高さのい
ずれか、或いは、物体の色、形状及び高さの全てを基準
として同時に全て同定する機能を有することを特徴とす
る。
【０００８】また、音響処理手段は、画像処理手段から
の音源となり得る物体に関する方向情報に基づく所定の
範囲内で、二つの集音マイクの混合音からなるそれぞれ
の音響情報の間の位相差及び強度差に基づいて音源方向
を同時に全て同定する機能を有すること特徴とする。
の音源となり得る物体に関する方向情報に基づく所定の
範囲内で、二つの集音マイクの混合音からなるそれぞれ
の音響情報の間の位相差及び強度差に基づいて音源方向
を同時に全て同定する機能を有すること特徴とする。
【０００９】またさらに、感知手段が音源となり得る物
体の磁気に基づいて検知することを特徴とする。 また、
音源となり得る物体に磁気を帯びた器材を設けたことを
特徴とする。
体の磁気に基づいて検知することを特徴とする。 また、
音源となり得る物体に磁気を帯びた器材を設けたことを
特徴とする。
【００１０】この構成による本発明の音源同定・分離装
置によれば、複数の音源の隣接音源が近接している場合
にも、複数の音源からの混合音と連続撮像画像とから、
複数の音源方向を極めて短時間に全て同定及び分離でき
る。
置によれば、複数の音源の隣接音源が近接している場合
にも、複数の音源からの混合音と連続撮像画像とから、
複数の音源方向を極めて短時間に全て同定及び分離でき
る。
【００１１】また、本発明の音源同定・分離方法によれ
ば、複数の音源に対して所定間隔に配置した二つの集音
マイクからなる集音手段により混合音を集音する第一の
段階と、第一の段階と同時に、撮像手段により上記複数
の音源となり得る物体の連続撮像及び／又は感知手段に
より上記複数の音源の方向検知を行なう第二の段階と、
第一の段階で集音した混合音の音響情報から、音響処理
手段により上記全ての複数の音源の各々の概略方向を音
響情報の位相差及び強度差に基づいて同定する第三の段
階と、第三の段階で同定した概略方向の範囲内で、第二
の段階で撮像された画像及び／又は方向検知情報から、
画像処理手段により全ての複数の音源となり得る物体に
関する各々の方向を音響情報の位相差及び強度差に基づ
いて同定する第四の段階と、第四の段階で同定した方向
に関する所定角度範囲内で、音響処理手段により全ての
複数の音源の各々の方向を音響情報の位相差及び強度差
に基づいて同定する第五の段階と、 第五の段階で同定し
た複数の音源の各々の方向に基づき、音響処理手段が方
向フィルタを選定して、全ての複数の音源を分離する第
六の段階と、 第二の段階で撮像された画像及び／又は感
知手段による複数の音源の方向検知情報のみに基づき、
画像処理手段により全ての複数の音源となり得る物体に
関する各々の方向を同定し、この同定した方向に関する
所定角度範囲内で、音響処理手段により全ての複数の音
源の各々の方向を音響情報の位相差及び強度差に基づい
て同定し、この同定した複数の音源の各々の方向に基づ
き、音響処理手段が方向フィルタを選定して、全ての複
数の音源を分離する第七の段階と、 第三の段階で同定し
た概略方向のみに基づき、音響処理手段が方向フィルタ
を選定して、全ての複数の音源を分離する第八の段階
と、を含んでいることを特徴とする。
ば、複数の音源に対して所定間隔に配置した二つの集音
マイクからなる集音手段により混合音を集音する第一の
段階と、第一の段階と同時に、撮像手段により上記複数
の音源となり得る物体の連続撮像及び／又は感知手段に
より上記複数の音源の方向検知を行なう第二の段階と、
第一の段階で集音した混合音の音響情報から、音響処理
手段により上記全ての複数の音源の各々の概略方向を音
響情報の位相差及び強度差に基づいて同定する第三の段
階と、第三の段階で同定した概略方向の範囲内で、第二
の段階で撮像された画像及び／又は方向検知情報から、
画像処理手段により全ての複数の音源となり得る物体に
関する各々の方向を音響情報の位相差及び強度差に基づ
いて同定する第四の段階と、第四の段階で同定した方向
に関する所定角度範囲内で、音響処理手段により全ての
複数の音源の各々の方向を音響情報の位相差及び強度差
に基づいて同定する第五の段階と、 第五の段階で同定し
た複数の音源の各々の方向に基づき、音響処理手段が方
向フィルタを選定して、全ての複数の音源を分離する第
六の段階と、 第二の段階で撮像された画像及び／又は感
知手段による複数の音源の方向検知情報のみに基づき、
画像処理手段により全ての複数の音源となり得る物体に
関する各々の方向を同定し、この同定した方向に関する
所定角度範囲内で、音響処理手段により全ての複数の音
源の各々の方向を音響情報の位相差及び強度差に基づい
て同定し、この同定した複数の音源の各々の方向に基づ
き、音響処理手段が方向フィルタを選定して、全ての複
数の音源を分離する第七の段階と、 第三の段階で同定し
た概略方向のみに基づき、音響処理手段が方向フィルタ
を選定して、全ての複数の音源を分離する第八の段階
と、を含んでいることを特徴とする。
【００１２】さらに、第四の段階における音源となり得
る物体に関する方向情報の同定は、物体の色、形状及び
高さのいずれか、或いは、物体の色、形状及び高さの全
てを基準として同定することを特徴とする。 また、方向
検知を磁気に基づいて検知することを特徴とする。
る物体に関する方向情報の同定は、物体の色、形状及び
高さのいずれか、或いは、物体の色、形状及び高さの全
てを基準として同定することを特徴とする。 また、方向
検知を磁気に基づいて検知することを特徴とする。
【００１３】上記方法によれば、隣接音源が近接してい
る場合にも、複数の音源からの混合音と連続撮像画像及
び／又は方向検知から、複数の音源方向を全て同定及び
分離できる。 また、撮像手段によって得られた画像情報
及び方向検知情報のいずれか、或いは両方に基づいて、
例えばその色，形状，高さにより画像処理手段によって
選定された音源となり得る物体に関する位置情報を参考
にして音源の方向を絞り込んで、各周波数帯域の信号例
えば調波構造を基準として音源の位置を同定するので、
音源の位置の同定に関して全方向に関する音響情報の処
理が不要となり、より正確な音源の位置の同定を行なう
ことができると共に、処理情報量が少なくて済み、処理
時間を短縮することができる。また、第二の段階で撮像
された画像及び／又は感知手段による複数の音源の方向
検知情報のみに基づき、音源の位置を同定し、音源分離
することもできる。 さらに、第三の段階で同定した概略
方向のみに基づき、音源分離することもできる。
る場合にも、複数の音源からの混合音と連続撮像画像及
び／又は方向検知から、複数の音源方向を全て同定及び
分離できる。 また、撮像手段によって得られた画像情報
及び方向検知情報のいずれか、或いは両方に基づいて、
例えばその色，形状，高さにより画像処理手段によって
選定された音源となり得る物体に関する位置情報を参考
にして音源の方向を絞り込んで、各周波数帯域の信号例
えば調波構造を基準として音源の位置を同定するので、
音源の位置の同定に関して全方向に関する音響情報の処
理が不要となり、より正確な音源の位置の同定を行なう
ことができると共に、処理情報量が少なくて済み、処理
時間を短縮することができる。また、第二の段階で撮像
された画像及び／又は感知手段による複数の音源の方向
検知情報のみに基づき、音源の位置を同定し、音源分離
することもできる。 さらに、第三の段階で同定した概略
方向のみに基づき、音源分離することもできる。
【００１４】
【発明の実施の形態】以下、図面に示した実施形態に基
づいてこの発明を詳細に説明する。図１はこの発明によ
る音源同定装置の一実施形態を示している。図１におい
て、音源同定装置１０は、集音手段１１と、撮像手段１
２と、画像処理手段１３と、音響処理手段１４と、制御
手段１５と、を含んでいる。
づいてこの発明を詳細に説明する。図１はこの発明によ
る音源同定装置の一実施形態を示している。図１におい
て、音源同定装置１０は、集音手段１１と、撮像手段１
２と、画像処理手段１３と、音響処理手段１４と、制御
手段１５と、を含んでいる。
【００１５】上記集音手段１１は、複数の音源（例えば
三人の話者）に対して所定間隔Ｄ（図１参照）に配置し
た二つの集音マイク１１ａ，１１ｂで音を取り込んで処
理している。これらの集音マイクの配置は適宜決定し得
るが、図１に示した例では撮像手段１２の両側、すなわ
ち左右に設けられている。
三人の話者）に対して所定間隔Ｄ（図１参照）に配置し
た二つの集音マイク１１ａ，１１ｂで音を取り込んで処
理している。これらの集音マイクの配置は適宜決定し得
るが、図１に示した例では撮像手段１２の両側、すなわ
ち左右に設けられている。
【００１６】上記撮像手段１２は、例えばＣＣＤ（固体
撮像素子）カメラから構成されており、図２に示すよう
に、上記複数の音源（三人の話者Ａ，Ｂ，Ｃ）を含む画
像を連続撮像するものである。
撮像素子）カメラから構成されており、図２に示すよう
に、上記複数の音源（三人の話者Ａ，Ｂ，Ｃ）を含む画
像を連続撮像するものである。
【００１７】上記画像処理手段１３は、撮像手段１２に
より撮像された画像、例えば画像における色、形状又は
動きに基づいて、音源となり得る物体に関する位置情報
を選定するものである。なお、動きには振動なども含ま
れる。この場合、画像処理手段１３は、図３（Ｂ）に示
すように、撮像手段１２により撮像された画像につい
て、色（例えば人の肌の色）や高さ等に基づいて三人の
話者Ａ，Ｂ，Ｃについてそれぞれ枠Ａ１，Ｂ１，Ｃ１を
設定し、図３（Ｃ）に示すように、これらの枠Ａ１，Ｂ
１，Ｃ１の中心位置Ａ２，Ｂ２，Ｃ２（図３にてそれぞ
れ枠Ａ１，Ｂ１，Ｃ１内にて「＋」図示）の水平座標Ａ
３，Ｂ３，Ｃ３を音源となり得る物体に関する位置情報
として選定する。
より撮像された画像、例えば画像における色、形状又は
動きに基づいて、音源となり得る物体に関する位置情報
を選定するものである。なお、動きには振動なども含ま
れる。この場合、画像処理手段１３は、図３（Ｂ）に示
すように、撮像手段１２により撮像された画像につい
て、色（例えば人の肌の色）や高さ等に基づいて三人の
話者Ａ，Ｂ，Ｃについてそれぞれ枠Ａ１，Ｂ１，Ｃ１を
設定し、図３（Ｃ）に示すように、これらの枠Ａ１，Ｂ
１，Ｃ１の中心位置Ａ２，Ｂ２，Ｃ２（図３にてそれぞ
れ枠Ａ１，Ｂ１，Ｃ１内にて「＋」図示）の水平座標Ａ
３，Ｂ３，Ｃ３を音源となり得る物体に関する位置情報
として選定する。
【００１８】ここで、「音源となり得る物体」としたの
は、必ずしも画像認識のみでは音源か否か不明だからで
ある。なお、画像処理手段１３は、好ましくは画像処理
の簡略化のために、上述の画像処理の前に、後述するよ
うに音響処理手段１４で選定された各音源の概略方向Ａ
０，Ｂ０，Ｃ０（図３（Ａ）参照）が入力され、この概
略方向Ａ０，Ｂ０，Ｃ０に絞り込んだ状態にて、即ちこ
れらの概略方向Ａ０，Ｂ０，Ｃ０の範囲内で上記画像処
理を行なうことにより、音源となり得る物体に関する位
置情報Ａ３，Ｂ３，Ｃ３を選定する。
は、必ずしも画像認識のみでは音源か否か不明だからで
ある。なお、画像処理手段１３は、好ましくは画像処理
の簡略化のために、上述の画像処理の前に、後述するよ
うに音響処理手段１４で選定された各音源の概略方向Ａ
０，Ｂ０，Ｃ０（図３（Ａ）参照）が入力され、この概
略方向Ａ０，Ｂ０，Ｃ０に絞り込んだ状態にて、即ちこ
れらの概略方向Ａ０，Ｂ０，Ｃ０の範囲内で上記画像処
理を行なうことにより、音源となり得る物体に関する位
置情報Ａ３，Ｂ３，Ｃ３を選定する。
【００１９】上記音響処理手段１４は、集音手段１１の
マイクにより集音された、例えば音響情報と画像処理手
段１３により選定された位置情報Ａ３，Ｂ３，Ｃ３に基
づいて音源の位置を同定するものである。音源の位置の
同定は、音響情報に関しては左右の集音マイク１１ａ，
１１ｂの音響情報の間の位相差及び強度差に基づいて行
なわれる。これは、図４に示すように、一つの音源から
の音響情報は、その音源の方向θ（θは、正面を０度と
し、左にマイナス、右にプラスとする。）に対応して、
左右の集音マイク１１ａ，１１ｂから音源までの距離が
ｄ（ｄ＝Ｄ・ｓｉｎθ）だけ異なることに起因して、集
音マイク１１ａ，１１ｂに達する音の位相が異なると共
に、距離差ｄによる減衰により強度差が異なることを利
用している。
マイクにより集音された、例えば音響情報と画像処理手
段１３により選定された位置情報Ａ３，Ｂ３，Ｃ３に基
づいて音源の位置を同定するものである。音源の位置の
同定は、音響情報に関しては左右の集音マイク１１ａ，
１１ｂの音響情報の間の位相差及び強度差に基づいて行
なわれる。これは、図４に示すように、一つの音源から
の音響情報は、その音源の方向θ（θは、正面を０度と
し、左にマイナス、右にプラスとする。）に対応して、
左右の集音マイク１１ａ，１１ｂから音源までの距離が
ｄ（ｄ＝Ｄ・ｓｉｎθ）だけ異なることに起因して、集
音マイク１１ａ，１１ｂに達する音の位相が異なると共
に、距離差ｄによる減衰により強度差が異なることを利
用している。
【００２０】なお、ここでは、音源の位置が不明である
ことから、音響処理手段１４は、−９０度≦θ≦＋９０
度の全角度範囲に亘って上記処理を行なう。この場合、
処理作業の軽減のために、例えばθに関して一定間隔、
例えば５度間隔で処理を行なうようにしてもよい。
ことから、音響処理手段１４は、−９０度≦θ≦＋９０
度の全角度範囲に亘って上記処理を行なう。この場合、
処理作業の軽減のために、例えばθに関して一定間隔、
例えば５度間隔で処理を行なうようにしてもよい。
【００２１】音響処理手段１４は、先ず集音手段１１か
らの左右の音響情報に基づいて、音源の概略方向Ａ０，
Ｂ０，Ｃ０を選定する。これは、従来行なわれている音
源同定（特開平９−３３３３０号公報参照）と同じであ
って、±１０度程度の精度である。そして、音響処理手
段１４は、この概略方向Ａ０，Ｂ０，Ｃ０を画像処理手
段１３に出力する。
らの左右の音響情報に基づいて、音源の概略方向Ａ０，
Ｂ０，Ｃ０を選定する。これは、従来行なわれている音
源同定（特開平９−３３３３０号公報参照）と同じであ
って、±１０度程度の精度である。そして、音響処理手
段１４は、この概略方向Ａ０，Ｂ０，Ｃ０を画像処理手
段１３に出力する。
【００２２】さらに、音響処理手段１４は、画像処理手
段１３から入力される位置情報Ａ３，Ｂ３，Ｃ３を参照
して、これらの位置情報Ａ３，Ｂ３，Ｃ３の範囲内に絞
り込んだ状態で、即ちこれらの位置情報Ａ３，Ｂ３，Ｃ
３の近傍にて、再び音響情報に基づいて音源の位置を同
定する。
段１３から入力される位置情報Ａ３，Ｂ３，Ｃ３を参照
して、これらの位置情報Ａ３，Ｂ３，Ｃ３の範囲内に絞
り込んだ状態で、即ちこれらの位置情報Ａ３，Ｂ３，Ｃ
３の近傍にて、再び音響情報に基づいて音源の位置を同
定する。
【００２３】この場合、音響処理手段１４は、各音源
Ａ，Ｂ，Ｃに関してそれぞれ適宜の所謂方向フィルタを
選択することにより音源の位置を同定する。ここで、方
向フィルタは、図５に示すように、特定時刻ｔ０の音響
情報のみを取り出すために作成され、音源の方向に対す
る対照表として制御手段１５内の補助記憶手段（図示せ
ず）内に記憶されており、画像処理手段１３からの位置
情報Ａ３，Ｂ３，Ｃ３に基づいて、音響処理手段１４が
適宜の方向フィルタを選択して、上記補助記憶手段から
読み出す。
Ａ，Ｂ，Ｃに関してそれぞれ適宜の所謂方向フィルタを
選択することにより音源の位置を同定する。ここで、方
向フィルタは、図５に示すように、特定時刻ｔ０の音響
情報のみを取り出すために作成され、音源の方向に対す
る対照表として制御手段１５内の補助記憶手段（図示せ
ず）内に記憶されており、画像処理手段１３からの位置
情報Ａ３，Ｂ３，Ｃ３に基づいて、音響処理手段１４が
適宜の方向フィルタを選択して、上記補助記憶手段から
読み出す。
【００２４】これにより、図６に示すように一つの方向
θに関して、ある時刻ｔ１における右側の音響情報に対
して、位相差による遅延時間Δｔ後の時刻ｔ２（ｔ２＝
ｔ１＋Δｔ）における左側の音響情報を取り出すことに
より、音源から同時に発して各集音マイク１１ａ，１１
ｂにより集音された音響情報を取得する。なお、Δｔは
負の場合もあり得る。このようにして、ある程度正確な
方向情報を持った各音源Ａ，Ｂ，Ｃについて、音響処理
手段１４が方向フィルタを選択することにより、図７に
示すように、混合音からそれぞれの音響情報を得ること
ができる。なお、ここでは、音響処理手段１４は、位置
情報Ａ３，Ｂ３，Ｃ３により音源の方向がある程度絞り
込まれているので、θの全角度範囲（−９０度≦θ≦＋
９０度）について処理を行なう必要はなく、位置情報Ａ
３，Ｂ３，Ｃ３に関して所定の角度範囲で処理を行なえ
ばよい。
θに関して、ある時刻ｔ１における右側の音響情報に対
して、位相差による遅延時間Δｔ後の時刻ｔ２（ｔ２＝
ｔ１＋Δｔ）における左側の音響情報を取り出すことに
より、音源から同時に発して各集音マイク１１ａ，１１
ｂにより集音された音響情報を取得する。なお、Δｔは
負の場合もあり得る。このようにして、ある程度正確な
方向情報を持った各音源Ａ，Ｂ，Ｃについて、音響処理
手段１４が方向フィルタを選択することにより、図７に
示すように、混合音からそれぞれの音響情報を得ること
ができる。なお、ここでは、音響処理手段１４は、位置
情報Ａ３，Ｂ３，Ｃ３により音源の方向がある程度絞り
込まれているので、θの全角度範囲（−９０度≦θ≦＋
９０度）について処理を行なう必要はなく、位置情報Ａ
３，Ｂ３，Ｃ３に関して所定の角度範囲で処理を行なえ
ばよい。
【００２５】上記制御手段１５は、例えばコンピュータ
等から構成されており、上記集音手段１１，撮像手段１
２，画像処理手段１３及び音響処理手段１４を制御する
と共に、上述したように前以て設定された方向フィルタ
が補助記憶手段（図示せず）に記憶されている。
等から構成されており、上記集音手段１１，撮像手段１
２，画像処理手段１３及び音響処理手段１４を制御する
と共に、上述したように前以て設定された方向フィルタ
が補助記憶手段（図示せず）に記憶されている。
【００２６】本発明実施形態による音源同定装置１０は
以上のように構成されており、図８に示すフローチャー
トに従って、以下に説明するように動作する。即ち、図
８において、先ずステップＳＴ１にて、制御手段１５が
集音手段１１を制御することにより、集音手段１１の各
集音マイク１１ａ，１１ｂで、音源Ａ，Ｂ，Ｃからの音
を集音すると同時に、ステップＳＴ２にて、制御手段１
５が撮像手段１２を制御することにより、音源の画像を
連続的に撮像する。
以上のように構成されており、図８に示すフローチャー
トに従って、以下に説明するように動作する。即ち、図
８において、先ずステップＳＴ１にて、制御手段１５が
集音手段１１を制御することにより、集音手段１１の各
集音マイク１１ａ，１１ｂで、音源Ａ，Ｂ，Ｃからの音
を集音すると同時に、ステップＳＴ２にて、制御手段１
５が撮像手段１２を制御することにより、音源の画像を
連続的に撮像する。
【００２７】次に、ステップＳＴ３にて、制御手段１５
が音響処理手段１４を制御することにより、音響処理手
段１４が、集音手段１１じ得た二つの同じ音源の同じ音
の位相差及び強度差の音響情報に基づいて、音源の概略
方向Ａ０，Ｂ０，Ｃ０（図３（Ａ）参照）を選定する。
このとき位相差のある全ての調波構造を調べ、大体の音
源分離を行っている。なお、任意に分割した各周波数帯
域の信号の一例として調波構造を基準とした。
が音響処理手段１４を制御することにより、音響処理手
段１４が、集音手段１１じ得た二つの同じ音源の同じ音
の位相差及び強度差の音響情報に基づいて、音源の概略
方向Ａ０，Ｂ０，Ｃ０（図３（Ａ）参照）を選定する。
このとき位相差のある全ての調波構造を調べ、大体の音
源分離を行っている。なお、任意に分割した各周波数帯
域の信号の一例として調波構造を基準とした。
【００２８】続いて、ステップＳＴ４にて、制御手段１
５が画像処理手段１３を制御することにより、画像処理
手段１３が、撮像手段１２から撮像画面に基づいて音響
処理手段１４からの概略方向の範囲内で、画像の色，形
状等により音源となり得る物体に関する位置情報Ａ３，
Ｂ３，Ｃ３（図３（Ｃ）参照）を選定する。
５が画像処理手段１３を制御することにより、画像処理
手段１３が、撮像手段１２から撮像画面に基づいて音響
処理手段１４からの概略方向の範囲内で、画像の色，形
状等により音源となり得る物体に関する位置情報Ａ３，
Ｂ３，Ｃ３（図３（Ｃ）参照）を選定する。
【００２９】その後、ステップＳＴ５にて、制御手段１
５が音響処理手段１４を制御することにより、音響処理
手段１４が、集音手段からの音響情報に基づいて画像処
理手段１４からの位置情報Ａ３，Ｂ３，Ｃ３に関して所
定角度範囲内にて、音源Ａ，Ｂ，Ｃの位置を同定する。
５が音響処理手段１４を制御することにより、音響処理
手段１４が、集音手段からの音響情報に基づいて画像処
理手段１４からの位置情報Ａ３，Ｂ３，Ｃ３に関して所
定角度範囲内にて、音源Ａ，Ｂ，Ｃの位置を同定する。
【００３０】最後にステップＳＴ６にて、音響処理手段
１４が方向フィルタを選択し、同じ音源の同じ音の時間
遅れを含んだ音響情報だけを取り出す。
１４が方向フィルタを選択し、同じ音源の同じ音の時間
遅れを含んだ音響情報だけを取り出す。
【００３１】このようにして、本発明実施形態による音
源同定装置１０によれば、音響処理手段１４が、集音手
段１１からの音響情報だけでなく、撮像手段１２により
撮像された画像に基づいて、画像処理手段１３により音
源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３を参照し
ながら、音源の位置を同定するので、従来の集音手段１
１からの音響情報だけの場合には±１０度前後の精度で
あったのに対して、本発明実施形態による音源同定装置
１０によれば、より正確に音源の位置を同定することが
できる。また予め大体の音源分離をした音源情報を画像
情報から得られた方向情報を基に分離しているので、近
接する音源であっても音源同定が確実にできる。
源同定装置１０によれば、音響処理手段１４が、集音手
段１１からの音響情報だけでなく、撮像手段１２により
撮像された画像に基づいて、画像処理手段１３により音
源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３を参照し
ながら、音源の位置を同定するので、従来の集音手段１
１からの音響情報だけの場合には±１０度前後の精度で
あったのに対して、本発明実施形態による音源同定装置
１０によれば、より正確に音源の位置を同定することが
できる。また予め大体の音源分離をした音源情報を画像
情報から得られた方向情報を基に分離しているので、近
接する音源であっても音源同定が確実にできる。
【００３２】具体的には、撮像手段１２により、音源で
ある三人の話者の連続撮像を行なった場合、例えば図９
に示すような画像が得られる。なお、図９は連続撮像さ
れた画像のうち、７，５１，７８及び１５８番目のフレ
ームを示している。ここで、各話者の正確な顔の位置
は、図１０（Ａ）に示すようになっている。これにより
各話者は、θが−３０度，０度及び＋２０度付近に位置
していることが明らかである。
ある三人の話者の連続撮像を行なった場合、例えば図９
に示すような画像が得られる。なお、図９は連続撮像さ
れた画像のうち、７，５１，７８及び１５８番目のフレ
ームを示している。ここで、各話者の正確な顔の位置
は、図１０（Ａ）に示すようになっている。これにより
各話者は、θが−３０度，０度及び＋２０度付近に位置
していることが明らかである。
【００３３】これに対して、画像処理手段１３が色のみ
を基準として画像処理を行なって音源となり得る物体の
位置を選定した場合、図１０（Ｂ）のグラフに示すよう
に、撮像画面中の種々の物体をも音源となり得る物体と
して誤認しているが、色及び高さを基準として画像処理
を行なった場合には、図１０（Ｃ）のグラフに示すよう
に誤認が減少している。
を基準として画像処理を行なって音源となり得る物体の
位置を選定した場合、図１０（Ｂ）のグラフに示すよう
に、撮像画面中の種々の物体をも音源となり得る物体と
して誤認しているが、色及び高さを基準として画像処理
を行なった場合には、図１０（Ｃ）のグラフに示すよう
に誤認が減少している。
【００３４】また、画像処理手段１３が、音響処理手段
１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色を
基準として画像処理を行なった場合には、図１０（Ｄ）
のグラフに示すようにより一層誤認が減少している。
１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色を
基準として画像処理を行なった場合には、図１０（Ｄ）
のグラフに示すようにより一層誤認が減少している。
【００３５】さらに、画像処理手段１３が、音響処理手
段１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色
及び高さを基準として画像処理を行なった場合には、図
１０（Ｅ）のグラフに示すように、図１０（Ａ）に示し
た正確な顔の位置と比較して遜色のない、すなわち、か
なり正確な音源の位置情報が選択され得ることが明白で
ある。
段１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色
及び高さを基準として画像処理を行なった場合には、図
１０（Ｅ）のグラフに示すように、図１０（Ａ）に示し
た正確な顔の位置と比較して遜色のない、すなわち、か
なり正確な音源の位置情報が選択され得ることが明白で
ある。
【００３６】なお、上述した実施形態においては、画像
処理手段１３は、撮像した連続画像に基づいて、音源と
なり得る物体の枠Ａ１，Ｂ１，Ｃ１の中心位置Ａ２，Ｂ
２，Ｃ２の水平座標Ａ３，Ｂ３，Ｃ３を音源となり得る
物体に関する位置情報としているが、水平垂直座標を音
源となり得る物体に関する位置情報としてもよい。ま
た、上述した実施形態においては、画像処理手段１３
は、撮像した連続画像に基づいて、色や形状（例えば高
さ）等を基準として音源となり得る物体の位置情報を選
定するようになっている。さらに、上述した実施形態に
おいては、画像処理手段１３は音響処理手段１４からの
概略方向Ａ０，Ｂ０，Ｃ０を参考にして画像処理を行な
っているが、これに限らず、撮像手段１２からの画像情
報のみにより、音源となり得る物体の位置情報を選定す
るようにしてもよい。
処理手段１３は、撮像した連続画像に基づいて、音源と
なり得る物体の枠Ａ１，Ｂ１，Ｃ１の中心位置Ａ２，Ｂ
２，Ｃ２の水平座標Ａ３，Ｂ３，Ｃ３を音源となり得る
物体に関する位置情報としているが、水平垂直座標を音
源となり得る物体に関する位置情報としてもよい。ま
た、上述した実施形態においては、画像処理手段１３
は、撮像した連続画像に基づいて、色や形状（例えば高
さ）等を基準として音源となり得る物体の位置情報を選
定するようになっている。さらに、上述した実施形態に
おいては、画像処理手段１３は音響処理手段１４からの
概略方向Ａ０，Ｂ０，Ｃ０を参考にして画像処理を行な
っているが、これに限らず、撮像手段１２からの画像情
報のみにより、音源となり得る物体の位置情報を選定す
るようにしてもよい。
【００３７】音源の方向を検知する場合、音源のそれぞ
れに磁気を帯びた器材のアクティブバッジなどを装着
し、感知手段である磁気検知装置を用いて磁気を発する
方向を選定してもよい。これを音響処理手段にフィード
バックし、音響処理手段はこの磁気検知装置から得られ
た方向を用いて方向フィルターを作成し、音源を分離す
るようにしてもよい。さらに音源が例えば人の場合、熱
線を発しているので赤外線センサにより音源の方向を検
知するようにしてもよい。
れに磁気を帯びた器材のアクティブバッジなどを装着
し、感知手段である磁気検知装置を用いて磁気を発する
方向を選定してもよい。これを音響処理手段にフィード
バックし、音響処理手段はこの磁気検知装置から得られ
た方向を用いて方向フィルターを作成し、音源を分離す
るようにしてもよい。さらに音源が例えば人の場合、熱
線を発しているので赤外線センサにより音源の方向を検
知するようにしてもよい。
【００３８】
【発明の効果】以上述べたように、この発明によれば、
音響情報に基づいて音源を同定する際に、画像情報と方
向検知情報とに基づいて、音源となり得る物体に関する
位置情報を参考にして音源の方向を絞り込んでいるの
で、音源の同定に関して全方向に関する音響情報の処理
が不要となり、より正確な音源の同定を行なうことがで
きると共に、処理情報量が少なくて済み、処理時間を短
縮することができる。これにより、この発明によれば、
二本のマイクロフォンで高精度で複数の音源を同定し得
るようにした極めて優れた音源同定装置及び方法が提供
される。
音響情報に基づいて音源を同定する際に、画像情報と方
向検知情報とに基づいて、音源となり得る物体に関する
位置情報を参考にして音源の方向を絞り込んでいるの
で、音源の同定に関して全方向に関する音響情報の処理
が不要となり、より正確な音源の同定を行なうことがで
きると共に、処理情報量が少なくて済み、処理時間を短
縮することができる。これにより、この発明によれば、
二本のマイクロフォンで高精度で複数の音源を同定し得
るようにした極めて優れた音源同定装置及び方法が提供
される。
【図１】この発明による音源同定装置の一実施形態の構
成を示す概略図である。
成を示す概略図である。
【図２】図１の音源同定装置における撮像手段による撮
像画面の一例を示す概略図である。
像画面の一例を示す概略図である。
【図３】図１の音源同定装置における撮像画面に対する
説明図であり、（Ａ）は音響処理手段による概略方向Ａ
０，Ｂ０，Ｃ０を、また、（Ｂ）は画像処理手段による
枠Ａ１，Ｂ１，Ｃ１を、さらに、（Ｃ）は画像処理手段
による音源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３
を、それぞれ示している。
説明図であり、（Ａ）は音響処理手段による概略方向Ａ
０，Ｂ０，Ｃ０を、また、（Ｂ）は画像処理手段による
枠Ａ１，Ｂ１，Ｃ１を、さらに、（Ｃ）は画像処理手段
による音源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３
を、それぞれ示している。
【図４】図１の音源同定装置における集音手段の二つの
集音マイクと音源との距離差を示す説明図である。
集音マイクと音源との距離差を示す説明図である。
【図５】図１の音源同定装置における音響処理手段での
方向フィルタの作用を示すグラフである。
方向フィルタの作用を示すグラフである。
【図６】図１の音源同定装置における音響処理手段での
同一音源からの二つの音響情報の取出しを示すグラフで
ある。
同一音源からの二つの音響情報の取出しを示すグラフで
ある。
【図７】図１の音源同定装置における音響処理手段での
方向フィルタによる各音源からの音響情報の取出しを示
す説明図である。
方向フィルタによる各音源からの音響情報の取出しを示
す説明図である。
【図８】図１の音源同定装置における動作方法を示すフ
ローチャートである。
ローチャートである。
【図９】図１の音源同定装置における撮像手段による連
続撮像画面の一部を示す図である。
続撮像画面の一部を示す図である。
【図１０】図１の音源同定装置における画像処理手段に
よる種々の基準での音源となり得る物体の位置情報を示
すグラフである。
よる種々の基準での音源となり得る物体の位置情報を示
すグラフである。
１０ 音源同定装置 １１ 集音手段 １１ａ，１１ｂ 集音マイク １２ 撮像手段 １３ 画像処理手段 １４ 音響処理手段 １５ 制御手段
フロントページの続き (56)参考文献 特開 平11−41577（ＪＰ，Ａ) 特開 平10−253743（ＪＰ，Ａ) 特開 平９−33330（ＪＰ，Ａ) 特開 平５−323010（ＪＰ，Ａ) 特開 平５−215833（ＪＰ，Ａ) 特開 平６−351015（ＪＰ，Ａ) 特開 平６−105306（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01S 5/18 - 5/30 G01S 7/52 - 7/64 G01S 15/00 - 15/96 H04N 7/15 G10L 3/00
Claims (8)
- 【請求項１】 複数の音源に対して所定間隔に配置した
二つの集音マイクで上記複数の音源からの混合音をそれ
ぞれ取り込む集音手段と、 上記複数の音源となり得る物体を連続撮像する撮像手段
及び／又は上記複数の音源となり得る物体の方向を検知
する感知手段のいずれか、或いは両方と、上記二つの集音マイクで集音した、複数の音源からの混
合音からなるそれぞれの音響情報の位相差及び強度差に
基づいて全ての音源方向 を同定する音響処理手段と、 上記撮像手段により撮像された画像情報及び／又は上記
感知手段により検知した各々の物体の方向情報から、音
源となり得る各々の物体に関する方向を同定する画像処
理手段と、方向フィルタと 、 上記集音手段，撮像手段，感知手段，画像処理手段及び
音響処理手段を制御する制御手段とを備えており、上記制御手段は、上記集音手段が集音した音響情報から
上記音響処理手段が概略音源方向を同定するように制御
し、この同定された概略音源方向の範囲内で上記画像処
理手段が音源となり得る各々の物体に関する方向を同定
するように制御し、又は、上記撮像手段により撮像され
た画像情報及び／又は上記感知手段により検知した各々
の物体の方向情報のみから画像処理手段が音源方向を同
定するように制御し、この同定された方向の所定角度範
囲内で上記音響処理手段が音源方向を同定するように制
御し、この同定された音源方向に対応する上記方向フィ
ルタを上記音響処理手段が選択するように制御してお
り、 上記複数の音源の隣接音源が近接している場合にも、全
ての複数の音源方向を同定及び分離することを特徴とす
る音源同定・分離装置。 - 【請求項２】 前記画像処理手段は、前記音源となり得
る全ての物体に関する方向の同定を、物体の色、形状及
び高さのいずれか、或いは、物体の色、形状及び高さの
全てを基準として同定する機能を有することを特徴とす
る、請求項１に記載の音源同定・分離装置。 - 【請求項３】 前記音響処理手段は、前記画像処理手段
からの音源となり得 る全ての物体に関する方向情報に基
づく所定の範囲内で、前記二つの集音マイクの混合音か
らなるそれぞれの音響情報の間の位相差及び強度差に基
づいて音源方向を全て同定する機能を有すること特徴と
する、請求項１又は２に記載の音源同定・分離装置。 - 【請求項４】 前記感知手段が前記音源となり得る物体
の磁気に基づいて検知することを特徴とする請求項１〜
３のいずれかに記載の音源同定・分離装置。 - 【請求項５】 前記音源となり得る物体に磁気を帯びた
器材を設けたことを特徴とする、請求項１〜４のいずれ
かに記載の音源同定・分離装置。 - 【請求項６】 複数の音源に対して所定間隔に配置した
二つの集音マイクで上記複数の音源からの混合音をそれ
ぞれ集音する第一の段階と、 第一の段階と同時に、撮像手段により上記複数の音源と
なり得る物体の連続撮像及び／又は感知手段により上記
複数の音源の方向検知を行なう第二の段階と、第一の段階で集音した混合音の音響情報から、音響処理
手段により上記全ての複数の音源の各々の概略方向を上
記音響情報の位相差及び強度差に基づいて同定する 第三
の段階と、第三の段階で同定した概略方向の範囲内で、第二の段階
で撮像された画像及び／又は方向検知情報から、画像処
理手段により、全ての複数の音源となり得る物体に関す
る各々の方向を同定する 第四の段階と、第四の段階で同定した方向に関する所定角度範囲内で、
上記音響処理手段により上記全ての複数の音源の各々の
方向を上記音響情報の位相差及び強度差に基づいて同定
する第五の段階と、 第五の段階で同定した複数の音源の各々の方向に基づ
き、音響処理手段が方向フィルタを選定して、上記全て
の複数の音源を分離する第六の段階と、 第二の段階で撮像された画像及び／又は感知手段による
上記複数の音源の方向検知情報のみに基づき、画像処理
手段により全ての複数の音源となり得る物体に関する各
々の方向を同定し、この同定した方向に関する所定角度
範囲内で、上記音響処理手段により上記全ての複数の音
源の各々の方向を上記音響情報の位相差及び強度差に基
づいて同定し、この同定した複数の音源の各々の方向に
基づき、音響処理手段が方向フィルタを選定して、上記
全ての複数の音源を分離する第七 の段階と、 第三の段階で同定した概略方向のみに基づき、音響処理
手段が方向フィルタを選定して、上記全ての複数の音源
を分離する第八の段階と、 を含んでいることを特徴とする、音源同定・分離方法。 - 【請求項７】 前記第四の段階における音源となり得る
物体に関する方向情報の同定は、物体の色、形状及び高
さのいずれか、或いは、物体の色、形状及び高さの全て
を基準として同定することを特徴とする、請求項６に記
載の音源同定・分離方法。 - 【請求項８】 前記方向検知を磁気に基づいて検知する
ことを特徴とする、請求項６又は７に記載の音源同・分
離定方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16518299A JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
| DE60036216T DE60036216T2 (de) | 1999-06-11 | 2000-06-07 | Verfahren und gerät zur bestimmung einer tonquelle |
| EP00935570A EP1205762B1 (en) | 1999-06-11 | 2000-06-07 | Method and apparatus for determining sound source |
| US09/926,673 US7035418B1 (en) | 1999-06-11 | 2000-06-07 | Method and apparatus for determining sound source |
| PCT/JP2000/003695 WO2000077537A1 (fr) | 1999-06-11 | 2000-06-07 | Procede et appareil de determination d'une source sonore |
| ES00935570T ES2292441T3 (es) | 1999-06-11 | 2000-06-07 | Metodo y aparato para determinar una fuente de sonido. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16518299A JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000356674A JP2000356674A (ja) | 2000-12-26 |
| JP3195920B2 true JP3195920B2 (ja) | 2001-08-06 |
Family
ID=15807412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16518299A Expired - Fee Related JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7035418B1 (ja) |
| EP (1) | EP1205762B1 (ja) |
| JP (1) | JP3195920B2 (ja) |
| DE (1) | DE60036216T2 (ja) |
| ES (1) | ES2292441T3 (ja) |
| WO (1) | WO2000077537A1 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE517765C2 (sv) * | 2000-11-16 | 2002-07-16 | Ericsson Telefon Ab L M | Registrering av rörliga bilder medelst en portabel kommunikationsenhet samt en tillbehörsanordning vilken är samlokaliserad med objektet |
| JP2004266343A (ja) * | 2003-02-05 | 2004-09-24 | Matsushita Electric Ind Co Ltd | 画像サーバーと画像サーバーシステム、そのプログラム及び記録媒体 |
| US20080120100A1 (en) * | 2003-03-17 | 2008-05-22 | Kazuya Takeda | Method For Detecting Target Sound, Method For Detecting Delay Time In Signal Input, And Sound Signal Processor |
| JP4269883B2 (ja) * | 2003-10-20 | 2009-05-27 | ソニー株式会社 | マイクロホン装置、再生装置及び撮像装置 |
| DE602004021716D1 (de) * | 2003-11-12 | 2009-08-06 | Honda Motor Co Ltd | Spracherkennungssystem |
| GB0330253D0 (en) | 2003-12-31 | 2004-02-04 | Mitel Networks Corp | Self-discovery method |
| JP2006245725A (ja) * | 2005-03-01 | 2006-09-14 | Yamaha Corp | マイクロフォンシステム |
| JP4441879B2 (ja) * | 2005-06-28 | 2010-03-31 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| JP4757786B2 (ja) * | 2006-12-07 | 2011-08-24 | Ｎｅｃアクセステクニカ株式会社 | 音源方向推定装置、音源方向推定方法、及びロボット装置 |
| IL188156A0 (en) * | 2007-12-16 | 2008-11-03 | Maly Edelman | A method and system for protecting an area |
| US20100098258A1 (en) * | 2008-10-22 | 2010-04-22 | Karl Ola Thorn | System and method for generating multichannel audio with a portable electronic device |
| US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
| CA2765116C (en) | 2009-06-23 | 2020-06-16 | Nokia Corporation | Method and apparatus for processing audio signals |
| TWI402531B (zh) * | 2009-06-29 | 2013-07-21 | Univ Nat Cheng Kung | 音源辨位方法與應用此音源辨位方法之音源辨位系統和電腦程式產品 |
| US9094645B2 (en) * | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
| TWI417563B (zh) * | 2009-11-20 | 2013-12-01 | Univ Nat Cheng Kung | 遠距離音源定位晶片裝置及其方法 |
| US9955209B2 (en) | 2010-04-14 | 2018-04-24 | Alcatel-Lucent Usa Inc. | Immersive viewer, a method of providing scenes on a display and an immersive viewing system |
| US9294716B2 (en) | 2010-04-30 | 2016-03-22 | Alcatel Lucent | Method and system for controlling an imaging system |
| US8754925B2 (en) * | 2010-09-30 | 2014-06-17 | Alcatel Lucent | Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal |
| US8185387B1 (en) | 2011-11-14 | 2012-05-22 | Google Inc. | Automatic gain control |
| US9008487B2 (en) | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
| JP6216169B2 (ja) * | 2012-09-26 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP2014143678A (ja) * | 2012-12-27 | 2014-08-07 | Panasonic Corp | 音声処理システム及び音声処理方法 |
| CN103902963B (zh) * | 2012-12-28 | 2017-06-20 | 联想(北京)有限公司 | 一种识别方位及身份的方法和电子设备 |
| KR101997449B1 (ko) * | 2013-01-29 | 2019-07-09 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
| EP2879047A3 (en) * | 2013-11-28 | 2015-12-16 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
| CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
| JP6297858B2 (ja) * | 2014-02-25 | 2018-03-20 | 株式会社熊谷組 | 音源推定用画像の作成装置 |
| CN104914409B (zh) * | 2014-03-10 | 2017-11-07 | 李文嵩 | 智能住宅定位装置 |
| DE102014217598A1 (de) * | 2014-09-03 | 2016-03-03 | Gesellschaft zur Förderung angewandter Informatik e.V. | Verfahren und Anordnung zur Erfassung von akustischen und optischen Informationen sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium |
| CN105070304B (zh) * | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
| CN109696658B (zh) * | 2017-10-23 | 2021-08-24 | 京东方科技集团股份有限公司 | 采集设备、声音采集方法、声源跟踪系统及其方法 |
| JP6589041B1 (ja) * | 2018-01-16 | 2019-10-09 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3232608B2 (ja) * | 1991-11-25 | 2001-11-26 | ソニー株式会社 | 収音装置、再生装置、収音方法および再生方法、および、音信号処理装置 |
| JPH05244587A (ja) * | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| US5402499A (en) * | 1992-08-07 | 1995-03-28 | Lsi Logic Corporation | Multimedia controller |
| JPH06105306A (ja) * | 1992-09-16 | 1994-04-15 | Funai Denki Kenkyusho:Kk | テレビ会議システム |
| JPH0739000A (ja) | 1992-12-05 | 1995-02-07 | Kazumoto Suzuki | 任意の方向からの音波の選択的抽出法 |
| JP2937009B2 (ja) * | 1994-03-30 | 1999-08-23 | ヤマハ株式会社 | 音像定位制御装置 |
| CA2148631C (en) * | 1994-06-20 | 2000-06-13 | John J. Hildin | Voice-following video system |
| JP3714706B2 (ja) | 1995-02-17 | 2005-11-09 | 株式会社竹中工務店 | 音抽出装置 |
| JP2947113B2 (ja) * | 1995-03-09 | 1999-09-13 | 日本電気株式会社 | 画像通信端末用ユーザインタフェース装置 |
| JPH0933330A (ja) | 1995-07-17 | 1997-02-07 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分離方法およびこの方法を実施する装置 |
| GB2309105A (en) * | 1996-01-12 | 1997-07-16 | Ibm | Intuitive GUI in the form of a representation of a physical environment |
| AUPN988996A0 (en) | 1996-05-16 | 1996-06-06 | Unisearch Limited | Compression and coding of audio-visual services |
| JP3537962B2 (ja) | 1996-08-05 | 2004-06-14 | 株式会社東芝 | 音声収集装置及び音声収集方法 |
| WO1998010358A1 (en) * | 1996-09-04 | 1998-03-12 | Goldberg David A | Method and system for obtaining person-specific images in a public venue |
| JP3355598B2 (ja) | 1996-09-18 | 2002-12-09 | 日本電信電話株式会社 | 音源分離方法、装置及び記録媒体 |
| US6021206A (en) * | 1996-10-02 | 2000-02-01 | Lake Dsp Pty Ltd | Methods and apparatus for processing spatialised audio |
| TW379309B (en) * | 1997-05-16 | 2000-01-11 | Samsung Electronics Co Ltd | Signal management apparatus and method using on screen display |
| US6072522A (en) * | 1997-06-04 | 2000-06-06 | Cgc Designs | Video conferencing apparatus for group video conferencing |
| JP3541339B2 (ja) | 1997-06-26 | 2004-07-07 | 富士通株式会社 | マイクロホンアレイ装置 |
| JPH1141577A (ja) | 1997-07-18 | 1999-02-12 | Fujitsu Ltd | 話者位置検出装置 |
| US6192134B1 (en) * | 1997-11-20 | 2001-02-20 | Conexant Systems, Inc. | System and method for a monolithic directional microphone array |
| US5940118A (en) * | 1997-12-22 | 1999-08-17 | Nortel Networks Corporation | System and method for steering directional microphones |
| US6005610A (en) * | 1998-01-23 | 1999-12-21 | Lucent Technologies Inc. | Audio-visual object localization and tracking system and method therefor |
| US6311155B1 (en) * | 2000-02-04 | 2001-10-30 | Hearing Enhancement Company Llc | Use of voice-to-remaining audio (VRA) in consumer applications |
-
1999
- 1999-06-11 JP JP16518299A patent/JP3195920B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-07 US US09/926,673 patent/US7035418B1/en not_active Expired - Lifetime
- 2000-06-07 ES ES00935570T patent/ES2292441T3/es not_active Expired - Lifetime
- 2000-06-07 DE DE60036216T patent/DE60036216T2/de not_active Expired - Lifetime
- 2000-06-07 WO PCT/JP2000/003695 patent/WO2000077537A1/ja active IP Right Grant
- 2000-06-07 EP EP00935570A patent/EP1205762B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| ES2292441T3 (es) | 2008-03-16 |
| JP2000356674A (ja) | 2000-12-26 |
| EP1205762A4 (en) | 2005-07-06 |
| EP1205762B1 (en) | 2007-08-29 |
| DE60036216D1 (de) | 2007-10-11 |
| US7035418B1 (en) | 2006-04-25 |
| EP1205762A1 (en) | 2002-05-15 |
| DE60036216T2 (de) | 2008-05-15 |
| WO2000077537A1 (fr) | 2000-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3195920B2 (ja) | 音源同定・分離装置及びその方法 | |
| US9084038B2 (en) | Method of controlling audio recording and electronic device | |
| CN106653041B (zh) | 音频信号处理设备、方法和电子设备 | |
| US6005610A (en) | Audio-visual object localization and tracking system and method therefor | |
| CN103688292B (zh) | 图像显示装置和图像显示方法 | |
| JP2006525743A (ja) | 音源追跡のための配置及び方法 | |
| TW201120469A (en) | Method, computer readable storage medium and system for localizing acoustic source | |
| JP7194897B2 (ja) | 信号処理装置及び信号処理方法 | |
| US11258940B2 (en) | Imaging apparatus | |
| US20170236516A1 (en) | System and Method for Audio-Visual Speech Recognition | |
| JP2005274707A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP3714706B2 (ja) | 音抽出装置 | |
| CN113014844A (zh) | 一种音频处理方法、装置、存储介质及电子设备 | |
| JP2010154260A (ja) | 音声識別装置 | |
| JPH06351015A (ja) | テレビジョン会議システム用の撮像システム | |
| JPH07181024A (ja) | ３次元形状計測方法および装置 | |
| KR101542647B1 (ko) | 화자 검출을 이용한 오디오 신호 처리 방법 및 장치 | |
| CN112015364A (zh) | 拾音灵敏度的调整方法、装置 | |
| JP2001067098A (ja) | 人物検出方法と人物検出機能搭載装置 | |
| CN116095254B (zh) | 音频处理方法和装置 | |
| Zotkin et al. | An audio-video front-end for multimedia applications | |
| JP2017174259A (ja) | 動体計数装置及びプログラム | |
| JP2621285B2 (ja) | フォーカス制御回路 | |
| JP2000092368A (ja) | カメラ制御装置及びコンピュータ読み取り可能な記憶媒体 | |
| CN117859339A (zh) | 媒体设备及其控制方法和装置、目标跟踪方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3195920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080601 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |