JPH04191885A - 音像制御処理方法 - Google Patents
音像制御処理方法Info
- Publication number
- JPH04191885A JPH04191885A JP2323539A JP32353990A JPH04191885A JP H04191885 A JPH04191885 A JP H04191885A JP 2323539 A JP2323539 A JP 2323539A JP 32353990 A JP32353990 A JP 32353990A JP H04191885 A JPH04191885 A JP H04191885A
- Authority
- JP
- Japan
- Prior art keywords
- display
- sound
- sound image
- acoustic
- sound producing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000004807 localization Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010042135 Stomatitis necrotising Diseases 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 201000008585 noma Diseases 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Stereophonic System (AREA)
- Television Receiver Circuits (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
(産業上の利用分野〕
本発明は、テレビ会議やマルチメディア・アプリケーシ
ヨン等、1つまたは複数の発音体が1画面に、この画面
上で移動が可能なように表示され。
ヨン等、1つまたは複数の発音体が1画面に、この画面
上で移動が可能なように表示され。
これらの発音体が発音するサウンドを音響空間に出力す
るシステムにおいて、その発音体が発するサウンドを画
面表示と対応づけて音響空間に定位させる音像制御処理
方法に関するものである。
るシステムにおいて、その発音体が発するサウンドを画
面表示と対応づけて音響空間に定位させる音像制御処理
方法に関するものである。
従来、テレビ会議システム、マルチメディア・アプリケ
ーシヨンでは、モノラルまたは単にステレオを用いて、
固定的に音像を定位させていた。
ーシヨンでは、モノラルまたは単にステレオを用いて、
固定的に音像を定位させていた。
第5図は従来技術を示す装置ブロンク図である。
104は動画・音声入力部で、カメラやマイ外通信回線
等より動画・音声を取り込み、動画はライン107を用
いて動画表示部102へ、音声はラインIf)8を用い
てステレオ音声ミキサー105へ出力する。ステレオ音
声ミキサー105はライン108より入力した音声を固
定的にステレオ音場に定位させてスピーカ線110.1
11を用いてスピーカへ出力する。動画表示部102は
制御部103の指示を受けてライン107より入力した
動画を任意の位置・大きさで表示する。制御部103は
ボインティングデイバイス人力部101よりマウスやタ
ブレット等の入力を読み込み、それがウィンドウの移動
などの表示座標の変更であったならば動画表示部102
を制御して動画の表示位置を変更する。110.111
は左右のスピーカ線、109はデイスプレィ出力線であ
る。
等より動画・音声を取り込み、動画はライン107を用
いて動画表示部102へ、音声はラインIf)8を用い
てステレオ音声ミキサー105へ出力する。ステレオ音
声ミキサー105はライン108より入力した音声を固
定的にステレオ音場に定位させてスピーカ線110.1
11を用いてスピーカへ出力する。動画表示部102は
制御部103の指示を受けてライン107より入力した
動画を任意の位置・大きさで表示する。制御部103は
ボインティングデイバイス人力部101よりマウスやタ
ブレット等の入力を読み込み、それがウィンドウの移動
などの表示座標の変更であったならば動画表示部102
を制御して動画の表示位置を変更する。110.111
は左右のスピーカ線、109はデイスプレィ出力線であ
る。
以上ブロック図を用いて説明した通り、従来技術では第
6図左側の図に示すように発音体が発するサウンドを発
音体の表示値!と無関係に固定的に定位させていた。し
たがって第6図右側の図に示すようなマルチウィンドウ
型のテレビ会議システム等では、ユーザがマウス等のボ
インティングデイハイスにより発音体の表示位置を移動
すると。
6図左側の図に示すように発音体が発するサウンドを発
音体の表示値!と無関係に固定的に定位させていた。し
たがって第6図右側の図に示すようなマルチウィンドウ
型のテレビ会議システム等では、ユーザがマウス等のボ
インティングデイハイスにより発音体の表示位置を移動
すると。
発音体の表示位置と音声の定位とが合致せず、例えばテ
レビ会議の場合には顔画像は右に表示されでいるにもか
かわらず、声は左から聞こえるという問題があった。
レビ会議の場合には顔画像は右に表示されでいるにもか
かわらず、声は左から聞こえるという問題があった。
本発明の目的は、テレビ会議システムやマルチメディア
・アプリケーション等、1つまたは複数の発音体が画面
に、この画面上で移動が可能なように表示され、これら
の発音体が発音するサウンドを音響空間に出力するシス
テムにおいて、その発音体の表示位置に合致した音像定
位を実現し。
・アプリケーション等、1つまたは複数の発音体が画面
に、この画面上で移動が可能なように表示され、これら
の発音体が発音するサウンドを音響空間に出力するシス
テムにおいて、その発音体の表示位置に合致した音像定
位を実現し。
さらにユーザが発音体の表示位置に変更を加えた際もあ
らかじめ定義しておいた方法で表示位置の変更に追従し
て音像定位を変更することにより。
らかじめ定義しておいた方法で表示位置の変更に追従し
て音像定位を変更することにより。
上記従来システムの欠点を解決し1優れたヒユーマンイ
ンクフェースを提供することにある。
ンクフェースを提供することにある。
〔課題を解決するための手段)
本発明の音像制御処理方法は、サウンドを音響空間に定
位する音像定位手段と、座標検出手段により画面上の発
音体の位置座標を検出する手段とを備え5百面上での発
音体の位置座標と前記音像定位手段により音響空間上で
音像を定位する位置との相関関係をあらかしめ定めてお
き、前記座標検出手段によって検出された特定の発音体
の画面上での位置座標とあらかじめ定めた相関関係にあ
る位置に、前記音像定位手段により音響空間上に前記特
定の発音体が発音するサウンドの音像を定位することを
特徴とする。
位する音像定位手段と、座標検出手段により画面上の発
音体の位置座標を検出する手段とを備え5百面上での発
音体の位置座標と前記音像定位手段により音響空間上で
音像を定位する位置との相関関係をあらかしめ定めてお
き、前記座標検出手段によって検出された特定の発音体
の画面上での位置座標とあらかじめ定めた相関関係にあ
る位置に、前記音像定位手段により音響空間上に前記特
定の発音体が発音するサウンドの音像を定位することを
特徴とする。
第1図は本発明の寛施例フローチャートを示し。
当該フローチャートを基に実際の処理手順の説明を行う
。
。
まず1個々の発音体の表示座標を求め(301) 。
あらかしめ定義しておいた相関関係にしたがって個々の
発音体が発するサウンドの音響パラメータを算出する(
302)。この音響パラメータに基づいて個々の発音体
のサウンドを音像定位手段二こより音響空間に定位させ
る(303)。これを発音体の数だけ繰り返す。
発音体が発するサウンドの音響パラメータを算出する(
302)。この音響パラメータに基づいて個々の発音体
のサウンドを音像定位手段二こより音響空間に定位させ
る(303)。これを発音体の数だけ繰り返す。
次に1個々の発音体の表示座標に変更があった場合には
以下の処理を行う(304)。まず1表示座標に変更が
あった発音体の新たな表示座標を求め(305) 、新
たな音響パラメータを算出する(306) 。
以下の処理を行う(304)。まず1表示座標に変更が
あった発音体の新たな表示座標を求め(305) 、新
たな音響パラメータを算出する(306) 。
この発音体のサウンドを新たな音響パラメータに基づい
て音像定位手段を制御することにより音響空間に定位さ
せる(307)。
て音像定位手段を制御することにより音響空間に定位さ
せる(307)。
ここで1発音体の表示座標とその発音体が発するサウン
ドが定位すべき音響パラメータとの相関間係rは1表示
部間をり、音響パラメータ空間を5とすると。
ドが定位すべき音響パラメータとの相関間係rは1表示
部間をり、音響パラメータ空間を5とすると。
1) = f (S ) −(11
なる写像で表すことが出来る。相関関係fの具体例は実
施例にて示す。
施例にて示す。
従来の技術とは1発音体の表示座標と、音像定位に相関
関係を持たせ、発音体の表示座標の変更に伴って、サウ
ンドの音像定位を動的に変更する点が異なる。
関係を持たせ、発音体の表示座標の変更に伴って、サウ
ンドの音像定位を動的に変更する点が異なる。
第2図2第3図、第4図は夫々マルチポイント。
マルチウィンドウのテレビ会議へ本発明を通用する実施
例を示す。
例を示す。
第2図は実施例を表す装置ブロンク図である。
406は動画・音声入力部で、カメラやマイク、通信回
線等より動画・音声を取り込み、動画はライン409を
用いて動画表示部402へ、音声はライン410を用い
て音像定位部407へ出力する。動画表示部402は制
御部405の指示を受けてライン409より人力した動
画を任意の位置・大きさで表示する。制御部405はポ
インティングデイハイス入力部401よりマウスやタブ
レット等の入力を読み込み、それがウィンドウの移動な
どの表示座標の変更であったならば動画表示部402を
制御して動画の表示位置を変更すると共に1表示座標抽
出部403を制御して新たな表示座標を取得し、音響パ
ラメータ算出部404を用いて相関関係式(1)より音
響)<ラメータを算出して、そのデータに基づC1て音
像定位部407を制御してサウンドの定位を変更する。
線等より動画・音声を取り込み、動画はライン409を
用いて動画表示部402へ、音声はライン410を用い
て音像定位部407へ出力する。動画表示部402は制
御部405の指示を受けてライン409より人力した動
画を任意の位置・大きさで表示する。制御部405はポ
インティングデイハイス入力部401よりマウスやタブ
レット等の入力を読み込み、それがウィンドウの移動な
どの表示座標の変更であったならば動画表示部402を
制御して動画の表示位置を変更すると共に1表示座標抽
出部403を制御して新たな表示座標を取得し、音響パ
ラメータ算出部404を用いて相関関係式(1)より音
響)<ラメータを算出して、そのデータに基づC1て音
像定位部407を制御してサウンドの定位を変更する。
411、412は左右のスピーカ線、413はデイスプ
レィ出力線である。
レィ出力線である。
第3図はウィンドウの水平方向の移動を左右の音像定位
(ステレオ音場)へと対応づけた実施例である。デイス
プレィの水平方向の解像度をH(pixel)とし、デ
イスプレィの左端から水平方向へhx(pixel)に
ウィンドウXの中心点がある場合とし、ウィンドウXに
対応するサウンドの音量をAx(dB)、cを定数とす
ると、左右のスピーカから出力すべき音量A L x
、 A Rx (dB)をそれぞれ。
(ステレオ音場)へと対応づけた実施例である。デイス
プレィの水平方向の解像度をH(pixel)とし、デ
イスプレィの左端から水平方向へhx(pixel)に
ウィンドウXの中心点がある場合とし、ウィンドウXに
対応するサウンドの音量をAx(dB)、cを定数とす
ると、左右のスピーカから出力すべき音量A L x
、 A Rx (dB)をそれぞれ。
で表す。
第3図図示左側の図ではA、B、Cの各ウィンドウにA
、B、C各人の画像が表示されている。
、B、C各人の画像が表示されている。
ウィンドウの配置にしたがって相関関係式(2)に基づ
いて音響パラメータ算出部404により左右のスピーカ
から出力すべき各人のサウンドの音量ALx、ARx(
dB)を求め、その結果より音像定位部407を用いて
各人の声の左右バランスをとり。
いて音響パラメータ算出部404により左右のスピーカ
から出力すべき各人のサウンドの音量ALx、ARx(
dB)を求め、その結果より音像定位部407を用いて
各人の声の左右バランスをとり。
第3図図示左側の図に示すように声を定位させる。
第3図図示右側の図に示すようにユーザがマウスなどの
ポインティングデイバイスによりウィンドウAを移動す
ると、制御部405は表示座標抽出部403を用いて新
たな座標を取得し、音響パラメータ算出部404を用い
て相関関係式(2)に基づいて左右の音量を算出し、音
像定位部407を用いてへの声の左右バランスをリアル
タイムに変更し、第3図図示右側の図に示したように各
ウィンドウの位置関係に合致するように定位を変更する
。
ポインティングデイバイスによりウィンドウAを移動す
ると、制御部405は表示座標抽出部403を用いて新
たな座標を取得し、音響パラメータ算出部404を用い
て相関関係式(2)に基づいて左右の音量を算出し、音
像定位部407を用いてへの声の左右バランスをリアル
タイムに変更し、第3図図示右側の図に示したように各
ウィンドウの位置関係に合致するように定位を変更する
。
第4図はウィンドウの面積をそれぞれの発音体の音量に
対応づけた実施例である。ウィンドウχの高さをvx(
pixel) 、幅をhx(pixel) 、 ウィ
ンドウXに対応するサウンドの音量をAx(dB) 、
c 1およびC2を定数とすると、ウィンドウの面
積と音量を対応づける式は。
対応づけた実施例である。ウィンドウχの高さをvx(
pixel) 、幅をhx(pixel) 、 ウィ
ンドウXに対応するサウンドの音量をAx(dB) 、
c 1およびC2を定数とすると、ウィンドウの面
積と音量を対応づける式は。
Am =C+ ’ Vw 、hx ”Cz
(31で表すことが出来る。
(31で表すことが出来る。
第4図図示左側の図では、A、B、C各つィンドウの面
積が同しなので相関関係式(3)より、グラフに示すよ
うにA、B、C各人の声の音量は一定である。第4図図
示右側の図でユーザがウィンドウAをマウスなどのボイ
ンテイングデイノ\イスにより縮小すると、制御部40
5は表示座標抽出部403を用いて新たな座標を取得し
2音響ノマラメ一タ夏出部404を用いて相関関係式(
3)に基づいてへの音量を凍少し、ウィンドウBのよう
にウィンドウを拡大すると、同様にBの音量を増加する
。
積が同しなので相関関係式(3)より、グラフに示すよ
うにA、B、C各人の声の音量は一定である。第4図図
示右側の図でユーザがウィンドウAをマウスなどのボイ
ンテイングデイノ\イスにより縮小すると、制御部40
5は表示座標抽出部403を用いて新たな座標を取得し
2音響ノマラメ一タ夏出部404を用いて相関関係式(
3)に基づいてへの音量を凍少し、ウィンドウBのよう
にウィンドウを拡大すると、同様にBの音量を増加する
。
以上述べたごとく9本発明によれば、テレビ会議ノステ
ムやマルチメディア・アブリケーンヨン等、1つまたは
複数の発音体が画面に、この画面上で移動が可能なよう
に表示され、これらの発音体が発音するサウンドを音響
空間に出力するンステムにおいて4個々の発音体の表示
座標に合致しだ音像定位を実現し、さらに発音体の表示
位置に変更を加えた際もあらかしめ設定しておいた方法
で表示位置の変更↓こ伴って自動的に音像定位を変更す
ることから、メディアの表示位置関係に合致した音響表
現が得られ、テレビ会議やマルチメディア・アプリケー
ション等において優れたヒユーマンインタフェースを提
供することが可能になるという効果がある。
ムやマルチメディア・アブリケーンヨン等、1つまたは
複数の発音体が画面に、この画面上で移動が可能なよう
に表示され、これらの発音体が発音するサウンドを音響
空間に出力するンステムにおいて4個々の発音体の表示
座標に合致しだ音像定位を実現し、さらに発音体の表示
位置に変更を加えた際もあらかしめ設定しておいた方法
で表示位置の変更↓こ伴って自動的に音像定位を変更す
ることから、メディアの表示位置関係に合致した音響表
現が得られ、テレビ会議やマルチメディア・アプリケー
ション等において優れたヒユーマンインタフェースを提
供することが可能になるという効果がある。
第1図は本発明のフローチャート第2図は本発明のブロ
ック図、第3図はウィンドウの水平位置とステレオ音場
を対応づけた実施例、第4図はウィンドウの面積と音量
を対応づけた実施例、第5図は従来技術の装置ブロック
図を説明する図。 第6図は従来技術の音像定位の問題点を説明する図であ
る。 401・・・ポインティングデイハイス人力部402・
・・動画表示部 403・・・表示座標抽出部 404・・・音響パラメータ算出部 405・・・制御部 406・・・動画・音声入力部 407・・・音像定位部 408・・・ボインティングデイハイス入力線409
・・動画伝送ライン 410・・・音声伝送ライン 411、412・・・スピーカ線 413・・・デイスプレィ出力線。 特許出願人 日本電信電話株式会社
ック図、第3図はウィンドウの水平位置とステレオ音場
を対応づけた実施例、第4図はウィンドウの面積と音量
を対応づけた実施例、第5図は従来技術の装置ブロック
図を説明する図。 第6図は従来技術の音像定位の問題点を説明する図であ
る。 401・・・ポインティングデイハイス人力部402・
・・動画表示部 403・・・表示座標抽出部 404・・・音響パラメータ算出部 405・・・制御部 406・・・動画・音声入力部 407・・・音像定位部 408・・・ボインティングデイハイス入力線409
・・動画伝送ライン 410・・・音声伝送ライン 411、412・・・スピーカ線 413・・・デイスプレィ出力線。 特許出願人 日本電信電話株式会社
Claims (1)
- 【特許請求の範囲】 1つまたは複数の発音体が画面に、この画面上で移動が
可能なように表示され、これらの発音体が発音するサウ
ンドを音響空間に出力するシステムにおいて、 サウンドを音響空間に定位する音像定位手段と、座標検
出手段により画面上の発音体の位置座標を検出する手段
とを備え、 画面上での発音体の位置座標と前記音像定位手段により
音響空間上で音像を定位する位置との相関関係をあらか
じめ定めておき、 前記座標検出手段によって検出された特定の発音体の画
面上での位置座標とあらかじめ定めた相関関係にある位
置に、前記音像定位手段により音響空間上に前記特定の
発音体が発音するサウンドの音像を定位する ことを特徴とする音像制御処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2323539A JPH04191885A (ja) | 1990-11-27 | 1990-11-27 | 音像制御処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2323539A JPH04191885A (ja) | 1990-11-27 | 1990-11-27 | 音像制御処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH04191885A true JPH04191885A (ja) | 1992-07-10 |
Family
ID=18155831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2323539A Pending JPH04191885A (ja) | 1990-11-27 | 1990-11-27 | 音像制御処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH04191885A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003433A1 (fr) * | 1995-07-13 | 1997-01-30 | Fourie, Inc. | Appareil destine a fournir du son sur des images |
JPH09162995A (ja) * | 1995-12-08 | 1997-06-20 | Nec Corp | 遠隔会議方式 |
JP2007215163A (ja) * | 2006-01-12 | 2007-08-23 | Kobe Steel Ltd | 音源分離装置,音源分離装置用のプログラム及び音源分離方法 |
JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Jvcケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
CN111213082A (zh) * | 2017-10-17 | 2020-05-29 | 奇跃公司 | 混合现实空间音频 |
-
1990
- 1990-11-27 JP JP2323539A patent/JPH04191885A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003433A1 (fr) * | 1995-07-13 | 1997-01-30 | Fourie, Inc. | Appareil destine a fournir du son sur des images |
AU698548B2 (en) * | 1995-07-13 | 1998-10-29 | Fourie, Inc. | Apparatus for presenting picture along with sound |
US6040831A (en) * | 1995-07-13 | 2000-03-21 | Fourie Inc. | Apparatus for spacially changing sound with display location and window size |
JPH09162995A (ja) * | 1995-12-08 | 1997-06-20 | Nec Corp | 遠隔会議方式 |
JP2007215163A (ja) * | 2006-01-12 | 2007-08-23 | Kobe Steel Ltd | 音源分離装置,音源分離装置用のプログラム及び音源分離方法 |
JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Jvcケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
CN111213082A (zh) * | 2017-10-17 | 2020-05-29 | 奇跃公司 | 混合现实空间音频 |
CN111213082B (zh) * | 2017-10-17 | 2022-07-22 | 奇跃公司 | 混合现实空间音频 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8571192B2 (en) | Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays | |
US10491643B2 (en) | Intelligent augmented audio conference calling using headphones | |
US10206030B2 (en) | Microphone array system and microphone array control method | |
US9767618B2 (en) | Adaptive ambisonic binaural rendering | |
KR101405646B1 (ko) | 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화 | |
US8509454B2 (en) | Focusing on a portion of an audio scene for an audio signal | |
US10447970B1 (en) | Stereoscopic audio to visual sound stage matching in a teleconference | |
US10587978B2 (en) | Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space | |
EP3342187B1 (en) | Suppressing ambient sounds | |
US7177413B2 (en) | Head position based telephone conference system and associated method | |
US20220337969A1 (en) | Adaptable spatial audio playback | |
JPH04237288A (ja) | 複数画像ウインドウ表示用音信号出力方法 | |
WO2007004147A2 (en) | Stereo dipole reproduction system with tilt compensation. | |
US6215879B1 (en) | Method for introducing harmonics into an audio stream for improving three dimensional audio positioning | |
JPH04191885A (ja) | 音像制御処理方法 | |
JP2691185B2 (ja) | 音像定位制御方式 | |
CN113301294B (zh) | 一种通话控制方法、装置及智能终端 | |
WO2022054900A1 (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
Hollier et al. | Spatial audio technology for telepresence | |
CN115442556A (zh) | 空间音频控制器 | |
JPH11313272A (ja) | 映像音声出力装置 | |
Chabot et al. | An immersive virtual environment for congruent audio-visual spatialized data sonifications | |
JPH1042396A (ja) | 音像制御装置 | |
Marentakis | Pictorize: Transforming image region luminosity to sound brightness for monitoring location | |
JPH03252258A (ja) | 指向性再生装置 |