JPH07264700A - 音像定位装置 - Google Patents

Abstract

(57)【要約】 【目的】ＴＶ電話，ＴＶ会議等において、話者が存在す
るように音像を定位させる。 【構成】話者および受話者の位置を検出する手段と話者
と受話者の両耳（顔）の方向を検出する手段を設け、話
者と受話者の位置関係および話者と受話者の向きより直
接音と間接音の伝達量を考慮し、同一空間内にいる場合
の話者と受話者間の音の伝達関数計算により求め、伝達
関数を再現することにより音像を定位させる。 【効果】あたかも同一地点に居るように音像を定位し、
さらに話者の移動に追従して定位位置を移動することが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、離れた二つの場所また
は複数の場所で一方向または双方向通話を行う会話シス
テムに係り、特に、話者が話した音声が、あたかも同一
空間で話しているように音像を定位し、さらに話者が移
動した場合、移動に追従して音像も移動するように音像
の定位を制御する音像定位装置に関する。

【０００２】

【従来の技術】例えば、特開平1−280982 号公報に示す
音像定位方式では、映像の位置に応じて音像との相対位
置関係を保持するように音像の移動を制御している。

【０００３】

【発明が解決しようとする課題】上記従来技術は、話者
が複数固定された場所にいる場合に効果がある。しか
し、同一室内で複数の話者が同時に自由に移動した場
合、音像と画像の位置関係が不自然になる問題があっ
た。また、画像に追従して音像を制御するため、画像が
無い場合、音像を定位することができない。さらに音像
を画像の表示画面方向にしか定位できないため、空間上
の前後左右に音像を定位できない。さらに画像の表示位
置に基づいて音像を定位するため視聴者の位置が変化し
た場合、視聴者に追従して音像定位位置ができない。

【０００４】

【課題を解決するための手段】第１の発明は、話者およ
び受話者の位置を検出する手段を設け、話者と受話者の
位置関係より、同一空間内に存在する場合の話者と受話
者間の音の伝達関数を計算により求め、上記伝達関数に
基づいて音声を再生することにより音像を定位させるこ
とを特徴としている。

【０００５】第２の発明は、話者および受話者の位置を
検出する手段と話者と受話者の両耳（顔）の方向を検出
する手段を設け、話者と受話者の位置関係および話者と
受話者の向きより直接音と間接音の伝達量を考慮し、同
一空間内にいる場合の話者と受話者間の音の伝達関数計
算により求め、伝達関数を再現することにより音像を定
位させることを特徴としている。

【０００６】

【作用】本発明では、話者の位置を検出する手段を設け
ることにより、話者の音像を定位することが可能にな
り、さらに話者と受話者の移動に追従して音像を移動す
ることが可能になる。また、話者と受話者の向きを検出
する手段を設けることにより、話者，受話者の向きに応
じてより自然な音を再生することが可能になる。また、
直接受話者の耳に受信された音声を入力することによ
り、複数の受話者がいてもそれぞれの位置に応じた音像
を定位することができる。

【０００７】

【実施例】以下、本発明の第１の実施例を図面を用いて
詳細に説明する。図１は本発明の第１の実施例を示すブ
ロック図であり、図２は本発明の第１の実施例の動作原
理を示す図、図３は、本発明の説明図、図４は本発明の
第１の実施例の動作を示すフローチャートである。

【０００８】図１において、１は話者がいるＡ地点、２
は話者の音声を入力するマイク、３はＡ地点１において
話者の位置を検出する話者位置検出手段、１１は第２の
話者がいるＢ地点、１２はＢ地点１１において話者の音
声を入力するマイク、１３は話者の位置を検出する話者
位置検出手段、４は受話者がいるＣ地点、５は右側の音
を再生するスピーカ、６は左側の音を再生するスピー
カ、９は受話者の位置を検出する受話者位置検出手段、
４０はマイク２の出力の音声情報、４２はマイク１２の
出力の音声情報、４１は話者位置検出手段３の出力の位
置情報、４３は話者位置検出手段１３の出力の位置情
報、４４は受話者位置検出手段９の出力の位置情報、７
は音声情報４０および音声情報４２を伝達関数にしたが
い変換を行う処理手段、８は音声情報４０および音声情
報４２を伝達関数にしたがい変換を行う処理手段、１０
は位置情報４１，位置情報４３、および位置情報４４よ
り、処理手段７および処理手段８の伝達関数を求める制
御手段である。

【０００９】図２において、１７は受話者、３７は発話
者の音像、３０は音像３７から受話者１７への直接音、
３１は音像３７から受話者１７への間接音、３２はＲス
ピーカ５から受話者１７への直接音、３３はＲスピーカ
５から受話者１７への間接音、３４はＬスピーカ６から
受話者１７への直接音、３５はＬスピーカ６から受話者
１７への間接音である。

【００１０】図３において、１４はＡ地点１にいる話
者、１５はＢ地点１１にいる話者、１７はＣ地点４にい
る受話者、１８はＡ地点１における基準点、１９はＢ地
点１１における基準点、２０はＣ地点４における基準
点、２１はＣ地点４の仮想的な空間を示す仮想地点、２
２は話者１３の仮想地点２１における音像、２３は話者
１５の仮想地点２１における音像、２５は仮想地点２１
における基準点である。

【００１１】次に図４のフロチャートに基づいて図１の
各部の動作を図２および図３を用いて説明する。本実施
例では、二地点に話者が一地点に受話者が居る場合の例
を示す。

【００１２】まず、話者１４の音声および話者１５の音
声はそれぞれマイク２およびマイク１２により入力（ス
テップ１０１）され、入力された音声情報４０および音
声情報４２は、変換手段７および変換手段８に入力され
る。話者位置検出手段３は話者１４の位置情報４１を求
め、話者位置検出手段１３は話者１５の位置情報４３を
求め、受話者位置検出手段９は受話者１７の位置情報４
４を求め出力（ステップ１０２）する。

【００１３】話者１４，話者１５および受話者１７が同
一の仮想地点２１に存在すると仮定すると、Ａ地点１，
Ｂ地点１１およびＣ地点４それぞれの基準点１８と基準
点１９と基準点２０を、仮想地点２１における基準点２
５と同一とみなすことにより、仮想地点２１に基準点２
０を基準とした座標位置に話者１４，話者１５および受
話者１７が存在すると仮定する。

【００１４】制御手段１０は、位置情報４１と位置情報
４４より話者１４と受話者１７との位置関係、および位
置情報４３と位置情報４４より話者１５と受話者１７と
の位置関係より、変換手段７および変換手段９における
伝達関数を求め（ステップ１０４）、変換手段７および
変換手段８にそれぞれ与える。変換手段７および変換手
段８は、入力された音声情報４０および音声情報４２
を、制御手段１０より指定された伝達関数に応じて変換
を行い（ステップ１０５）、Ｒスピーカ５およびＬスピ
ーカ６より出力（ステップ１０６）する。

【００１５】伝達関数の求め方を図２を用いて説明す
る。ここでは、説明を簡略化するため話者１４と受話者
１７との間についてのみ示す。なお話者１５と受話者１
７との間の伝達関数も話者１５を話者１４に置き換えて
同様に求めることができる。

【００１６】話者１４の位置情報４１と受話者１７の位
置情報４４よりＣ地点４に話者１４が存在するとして話
者１４の音像３７があると仮定すると、音像３７の直接
音３０の伝達関数Ｈｄおよび間接音３１の伝達関数Ｈｉ
が求まる(ステップ１０７)。また、スピーカ５から受話
者１７への直接音３２の伝達関数ＲＨｄ，間接音３３の
伝達関数ＲＨｉおよびスピーカ６から受話者１７への直
接音３４の伝達関数ＬＨｄ，間接音３５の伝達関数ＬＨ
ｉが求まる（ステップ１０８）。したがって変換手段７
および変換手段８のそれぞれの伝達関数（Ｈｄ＋Ｈｉ)
／(ＲＨｄ＋ＲＨｉ），（Ｈｄ＋Ｈｉ)／(ＬＨｄ＋ＬＨ
ｉ）が求まる（ステップ１０９）。

【００１７】本実施例では、説明を簡略化するため、話
者がそれぞれに一人いる二地点と、受話者が一人いる一
地点との間での会話の一例を示したが、話者が同一地点
に複数いることももちろん可能である。

【００１８】また本実施例では、話者から受話者へ一方
向に会話する場合の一例を示したが、話者と受話者が同
一人物として双方向に会話することももちろん可能であ
る。

【００１９】また本実施例では、三地点間での会話の一
例を示したが、二地点以上でももちろん可能である。ま
た本実施例では、実在の話者と受話者間での会話の一例
を示したが、話者を計算機などにより仮想話者を生成し
実在の話者と同様に音像を作ることももちろん可能であ
る。

【００２０】また本実施例では、受話者の位置を検出す
る手段を設けたが、受話者の位置を固定して話者の位置
だけを移動させることももちろん可能である。また本実
施例では、音声の再生にスピーカを用いたが、例えばヘ
ッドホンのように直接左右の音を受話者の耳に入力する
ことももちろん可能であり、この場合、スピーカからの
伝達関数を省略可能である。

【００２１】また本実施例では、例えば、ヘッドホンの
ように直接個人の耳に音を出力する手段を利用すること
により、複数の受話者が存在する場合、各受話者の位置
に応じて伝達関数を求めることにより各受話者に応じて
音像を定位できる。

【００２２】また本実施例での伝達関数を求める方法
は、実際の空間の伝達関数をインパルス応答，ホワイト
ノイズ，ピンクノイズ、などの信号源を利用して実測す
る方法，計算機などを利用したシミュレーションにより
伝達関数を求める方法などが利用可能である。

【００２３】また本実施例での話者及び受話者の位置を
検出する手段として、例えば、話者及び受話者に発信機
を持たせて発信源を測定する手段，衛星などの電波によ
り位置を検出する手段，カメラなどにより画像より位置
を検出する手段などが利用可能である。

【００２４】次に、本発明の第２の実施例を図面を用い
て詳細に説明する。本実施例では、二地点に話者が一地
点に受話者が居る場合の例を示す。

【００２５】図５は本発明の第２の実施例を示すブロッ
ク図であり、図６は本発明の第２の実施例の動作原理を
示す図であり、図７は本発明の第２の実施例の動作を示
すフローチャートである。

【００２６】図５において、５０はＡ地点１において話
者の発声方向を検出する話者方向検出手段、５１はＢ地
点１１において話者の発声方向を検出する話者方向検出
手段、５２は受話者が向いている方向を検出する受話者
方向検出手段、５３は話者方向検出手段５０より出力さ
れる方向情報、５４は話者方向検出手段５１より出力さ
れる方向情報、５５は受話者方向検出手段より出力され
る方向情報、５６はヘッドホン、５７は位置情報４１，
位置情報４３，位置情報４４，方向情報５３，方向情報
５４，方向情報５５より、処理手段７および処理手段８
の伝達関数を求める制御手段である。

【００２７】図６において、９０は音像３７から受話者
１７の右耳への直接音、９１は音像３７から受話者１７
の左耳への直接音、９２は音像３７から受話者１７の右
耳への間接音、９３は音像３７から受話者１７の左耳へ
の間接音である。

【００２８】次に図７のフロチャートに基づいて、図５
の各部の動作を図３を用いて説明する。

【００２９】まず、話者１４の音声および話者１５の音
声はそれぞれマイク２およびマイク１２により入力（ス
テップ１０１）され、入力された音声情報４０および音
声情報４２は、変換手段７および変換手段８に入力され
る。話者位置検出手段３は話者１４の位置情報４１を求
め、話者位置検出手段１３は話者１５の位置情報４３を
求め、受話者位置検出手段９は受話者１７の位置情報４
４を求め出力（ステップ１０２）する。

【００３０】また、話者方向検出手段５０は話者１４の
方向情報５３を求め、話者方向検出手段５１は話者１５
の方向情報５４を求め出力し、受話者方向検出手段５２
は受話者１７の方向情報５５を求め出力（ステップ１０
３）する。

【００３１】話者１４，話者１５および受話者１７は、
Ａ地点１，Ｂ地点１１およびＣ地点４の基準点１８と基
準点１９と基準点２０を同一基準点２５とみなした仮想
地点２１に存在すると仮定する。

【００３２】制御手段５７は、位置情報４１と位置情報
４４より話者１４と受話者１７との位置関係，位置情報
４２と位置情報４４より話者１５と受話者１７との位置
関係、および方向情報５３と方向情報５４と方向情報５
５より、変換手段７および変換手段９における伝達関数
を求め（ステップ２０１）、変換手段７および変換手段
８にそれぞれ与える。変換手段７および変換手段８は、
入力された音声情報４０および音声情報４２を、制御手
段１０より指定された伝達関数に応じて変換を行い（ス
テップ１０５）、ヘッドホン５６より出力（ステップ２
１０）する。

【００３３】伝達関数の求め方を図６を用いて説明す
る。ここでは、説明を簡略化するため話者１４と受話者
１７との間についてのみ示す。なお話者１５と受話者１
７との間の伝達関数も話者１５を話者１４に置き換えて
同様に求めることができる。

【００３４】話者１４と受話者１７の位置情報４１と位
置情報４４よりＣ地点４に話者が存在するとして音像３
７があると仮定する。話者が受話者方向に向いてない場
合、または話者が受話者に向きかつ受話者が話者に向か
ない場合（ステップ２０２，２０５）は、直接音９０は
存在せず伝達関数Ｈｒｄは省略（ステップ２０４，２０
７）される。直接音がある場合、音像３７の受話者１７
の右耳への直接音９０の伝達関数Ｈｒｄおよび左耳への
直接音９１の伝達関数Ｈｌｄが求まる（ステップ２０
３，２０６）。さらに右耳への間接音９２の伝達関数Ｈ
ｒｉおよび左耳への間接音９３の伝達関数Ｈｌｉが求ま
る（ステップ２０８）。したがって変換手段７および変
換手段８のそれぞれの伝達関数が求まる（ステップ２０
９）。

【００３５】本実施例では、説明を簡略化するため、話
者がそれぞれに一人いる二地点と、受話者が一人いる一
地点との間での会話の一例を示したが、話者が同一地点
に複数いることももちろん可能である。

【００３６】また本実施例では、話者から受話者へ一方
向に会話する場合の一例を示したが、話者と受話者が同
一人物として双方向に会話することももちろん可能であ
る。また本実施例では、三地点間での会話の一例を示し
たが、二地点以上でももちろん可能である。また本実施
例では、実在の話者と受話者間での会話の一例を示した
が、話者を計算機などにより仮想話者を生成し実在の話
者と同様に音像を作ることももちろん可能である。

【００３７】また本実施例では、受話者の位置を検出す
る手段を設けたが、受話者の位置を固定して話者の位置
だけを移動させることももちろん可能である。

【００３８】また本実施例では、音声の再生にスピーカ
を用いたが、例えばヘッドホンのように直接左右の音を
受話者の耳に入力することももちろん可能であり、この
場合、スピーカからの伝達関数を省略可能である。

【００３９】また本実施例での伝達関数を求める方法
は、実際の空間の伝達関数をインパルス応答，ホワイト
ノイズ，ピンクノイズ、などの信号源を利用して実測す
る方法，計算機などを利用したシミュレーションにより
伝達関数を求める方法などが利用可能である。また本実
施例での話者及び受話者の位置を検出する手段として、
例えば、話者及び受話者に発信機を持たせて発信源を測
定する手段，ＧＰＳなど衛星からの電波により位置を検
出する手段，カメラなどにより画像より位置を検出する
手段などが利用可能である。

【００４０】また本実施例での話者及び受話者の方向を
検出する手段として、例えば、ヘッドホンの左右に発信
源を設け、二つの発信源の位置より方向を検出する手
段，カメラなどにより画像より位置を検出する手段など
が利用可能である。

【００４１】

【発明の効果】第１の発明によると、話者，受話者が異
なる多地点の空間に存在していても、それぞれの空間に
基準点を設けることにより、話者の音像を受話者の空間
に定位することができ、さらに話者と受話者の移動に追
従して常に受話者との相対位置を保ちながら移動する話
者の音像定位ができる。

【００４２】第２の発明によると、話者と受話者の位置
および向きに応じて音像定位することにより、話者と受
話者が対面に近い場合、直接音および間接音が聞こえ、
対面に近くない場合より直接音が弱く聞こえるようにな
り、より現実的な音像定位ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図

【図２】本発明の第１の実施例の動作原理を示す説明
図。

【図３】本発明の説明図。

【図４】本発明の第１の実施例の動作を示すフローチャ
ート。

【図５】本発明の第２の実施例を示すブロック図。

【図６】本発明の第２の実施例の動作原理を示す説明
図。

【図７】本発明の第２の実施例の動作を示すフローチャ
ート。

【符号の説明】

１，４，１１…地点、２，１２…マイク、３，１３…話
者位置検出手段、５，６…スピーカ、７，８…処理手
段、９…受話者検出手段、１０…制御手段、４０，４２
…音声情報、４１，４３，４４…位置情報。

Claims (2)

【特許請求の範囲】
1. 【請求項１】聴覚者と異なる空間に少なくとも一つの音
   源を有し、あたかも聴覚者と同じ空間上に音源が存在す
   るように音を再生する音像定位方式において、 音源のある空間に第１の基準点を設け、上記第１の基準
   点から音源の第１の相対位置情報を検出し、受信される
   上記音源からの音情報を再生する空間に第２の基準点を
   設け、上記第２の基準点から聴覚者の第２の相対位置情
   報を検出し、上記受信された音情報と上記音情報を再生
   する再生手段への経路の途中に、上記第１の基準点と上
   記第２の基準点および上記第１の相対位置情報と上記第
   ２の相対位置情報より、音源と聴覚者との間の伝達関数
   を求める手段により制御される変換手段を設けることを
   特徴とする音像定位装置。
2. 【請求項２】請求項１において、聴覚者の両耳の方向情
   報と音源の発音方向情報とを検出し、受信された音情報
   と上記音情報を再生する再生手段への経路の途中に、上
   記第１の相対位置情報と上記第２の相対位置情報に加
   え、上記方向情報と上記発音方向情報より、音源と聴覚
   者との間の伝達関数を求める手段により制御される変換
   手段を設ける音像定位装置。