JPH04191885A - 音像制御処理方法 - Google Patents

音像制御処理方法

Info

Publication number
JPH04191885A
JPH04191885A JP2323539A JP32353990A JPH04191885A JP H04191885 A JPH04191885 A JP H04191885A JP 2323539 A JP2323539 A JP 2323539A JP 32353990 A JP32353990 A JP 32353990A JP H04191885 A JPH04191885 A JP H04191885A
Authority
JP
Japan
Prior art keywords
display
sound
sound image
acoustic
sound producing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2323539A
Other languages
English (en)
Inventor
Kazuo Arita
有田 一穗
Yutaka Ishii
裕 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2323539A priority Critical patent/JPH04191885A/ja
Publication of JPH04191885A publication Critical patent/JPH04191885A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Television Receiver Circuits (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野〕 本発明は、テレビ会議やマルチメディア・アプリケーシ
ヨン等、1つまたは複数の発音体が1画面に、この画面
上で移動が可能なように表示され。
これらの発音体が発音するサウンドを音響空間に出力す
るシステムにおいて、その発音体が発するサウンドを画
面表示と対応づけて音響空間に定位させる音像制御処理
方法に関するものである。
〔従来の技術〕
従来、テレビ会議システム、マルチメディア・アプリケ
ーシヨンでは、モノラルまたは単にステレオを用いて、
固定的に音像を定位させていた。
第5図は従来技術を示す装置ブロンク図である。
104は動画・音声入力部で、カメラやマイ外通信回線
等より動画・音声を取り込み、動画はライン107を用
いて動画表示部102へ、音声はラインIf)8を用い
てステレオ音声ミキサー105へ出力する。ステレオ音
声ミキサー105はライン108より入力した音声を固
定的にステレオ音場に定位させてスピーカ線110.1
11を用いてスピーカへ出力する。動画表示部102は
制御部103の指示を受けてライン107より入力した
動画を任意の位置・大きさで表示する。制御部103は
ボインティングデイバイス人力部101よりマウスやタ
ブレット等の入力を読み込み、それがウィンドウの移動
などの表示座標の変更であったならば動画表示部102
を制御して動画の表示位置を変更する。110.111
は左右のスピーカ線、109はデイスプレィ出力線であ
る。
〔発明が解決しようとする課題〕
以上ブロック図を用いて説明した通り、従来技術では第
6図左側の図に示すように発音体が発するサウンドを発
音体の表示値!と無関係に固定的に定位させていた。し
たがって第6図右側の図に示すようなマルチウィンドウ
型のテレビ会議システム等では、ユーザがマウス等のボ
インティングデイハイスにより発音体の表示位置を移動
すると。
発音体の表示位置と音声の定位とが合致せず、例えばテ
レビ会議の場合には顔画像は右に表示されでいるにもか
かわらず、声は左から聞こえるという問題があった。
本発明の目的は、テレビ会議システムやマルチメディア
・アプリケーション等、1つまたは複数の発音体が画面
に、この画面上で移動が可能なように表示され、これら
の発音体が発音するサウンドを音響空間に出力するシス
テムにおいて、その発音体の表示位置に合致した音像定
位を実現し。
さらにユーザが発音体の表示位置に変更を加えた際もあ
らかじめ定義しておいた方法で表示位置の変更に追従し
て音像定位を変更することにより。
上記従来システムの欠点を解決し1優れたヒユーマンイ
ンクフェースを提供することにある。
〔課題を解決するための手段) 本発明の音像制御処理方法は、サウンドを音響空間に定
位する音像定位手段と、座標検出手段により画面上の発
音体の位置座標を検出する手段とを備え5百面上での発
音体の位置座標と前記音像定位手段により音響空間上で
音像を定位する位置との相関関係をあらかしめ定めてお
き、前記座標検出手段によって検出された特定の発音体
の画面上での位置座標とあらかじめ定めた相関関係にあ
る位置に、前記音像定位手段により音響空間上に前記特
定の発音体が発音するサウンドの音像を定位することを
特徴とする。
〔作 用〕
第1図は本発明の寛施例フローチャートを示し。
当該フローチャートを基に実際の処理手順の説明を行う
まず1個々の発音体の表示座標を求め(301) 。
あらかしめ定義しておいた相関関係にしたがって個々の
発音体が発するサウンドの音響パラメータを算出する(
302)。この音響パラメータに基づいて個々の発音体
のサウンドを音像定位手段二こより音響空間に定位させ
る(303)。これを発音体の数だけ繰り返す。
次に1個々の発音体の表示座標に変更があった場合には
以下の処理を行う(304)。まず1表示座標に変更が
あった発音体の新たな表示座標を求め(305) 、新
たな音響パラメータを算出する(306) 。
この発音体のサウンドを新たな音響パラメータに基づい
て音像定位手段を制御することにより音響空間に定位さ
せる(307)。
ここで1発音体の表示座標とその発音体が発するサウン
ドが定位すべき音響パラメータとの相関間係rは1表示
部間をり、音響パラメータ空間を5とすると。
1) = f  (S ) −(11 なる写像で表すことが出来る。相関関係fの具体例は実
施例にて示す。
従来の技術とは1発音体の表示座標と、音像定位に相関
関係を持たせ、発音体の表示座標の変更に伴って、サウ
ンドの音像定位を動的に変更する点が異なる。
〔実施例〕
第2図2第3図、第4図は夫々マルチポイント。
マルチウィンドウのテレビ会議へ本発明を通用する実施
例を示す。
第2図は実施例を表す装置ブロンク図である。
406は動画・音声入力部で、カメラやマイク、通信回
線等より動画・音声を取り込み、動画はライン409を
用いて動画表示部402へ、音声はライン410を用い
て音像定位部407へ出力する。動画表示部402は制
御部405の指示を受けてライン409より人力した動
画を任意の位置・大きさで表示する。制御部405はポ
インティングデイハイス入力部401よりマウスやタブ
レット等の入力を読み込み、それがウィンドウの移動な
どの表示座標の変更であったならば動画表示部402を
制御して動画の表示位置を変更すると共に1表示座標抽
出部403を制御して新たな表示座標を取得し、音響パ
ラメータ算出部404を用いて相関関係式(1)より音
響)<ラメータを算出して、そのデータに基づC1て音
像定位部407を制御してサウンドの定位を変更する。
411、412は左右のスピーカ線、413はデイスプ
レィ出力線である。
第3図はウィンドウの水平方向の移動を左右の音像定位
(ステレオ音場)へと対応づけた実施例である。デイス
プレィの水平方向の解像度をH(pixel)とし、デ
イスプレィの左端から水平方向へhx(pixel)に
ウィンドウXの中心点がある場合とし、ウィンドウXに
対応するサウンドの音量をAx(dB)、cを定数とす
ると、左右のスピーカから出力すべき音量A L x 
、 A Rx (dB)をそれぞれ。
で表す。
第3図図示左側の図ではA、B、Cの各ウィンドウにA
、B、C各人の画像が表示されている。
ウィンドウの配置にしたがって相関関係式(2)に基づ
いて音響パラメータ算出部404により左右のスピーカ
から出力すべき各人のサウンドの音量ALx、ARx(
dB)を求め、その結果より音像定位部407を用いて
各人の声の左右バランスをとり。
第3図図示左側の図に示すように声を定位させる。
第3図図示右側の図に示すようにユーザがマウスなどの
ポインティングデイバイスによりウィンドウAを移動す
ると、制御部405は表示座標抽出部403を用いて新
たな座標を取得し、音響パラメータ算出部404を用い
て相関関係式(2)に基づいて左右の音量を算出し、音
像定位部407を用いてへの声の左右バランスをリアル
タイムに変更し、第3図図示右側の図に示したように各
ウィンドウの位置関係に合致するように定位を変更する
第4図はウィンドウの面積をそれぞれの発音体の音量に
対応づけた実施例である。ウィンドウχの高さをvx(
pixel) 、幅をhx(pixel) 、  ウィ
ンドウXに対応するサウンドの音量をAx(dB) 、
  c 1およびC2を定数とすると、ウィンドウの面
積と音量を対応づける式は。
Am =C+  ’ Vw  、hx ”Cz    
  (31で表すことが出来る。
第4図図示左側の図では、A、B、C各つィンドウの面
積が同しなので相関関係式(3)より、グラフに示すよ
うにA、B、C各人の声の音量は一定である。第4図図
示右側の図でユーザがウィンドウAをマウスなどのボイ
ンテイングデイノ\イスにより縮小すると、制御部40
5は表示座標抽出部403を用いて新たな座標を取得し
2音響ノマラメ一タ夏出部404を用いて相関関係式(
3)に基づいてへの音量を凍少し、ウィンドウBのよう
にウィンドウを拡大すると、同様にBの音量を増加する
〔発明の効果〕
以上述べたごとく9本発明によれば、テレビ会議ノステ
ムやマルチメディア・アブリケーンヨン等、1つまたは
複数の発音体が画面に、この画面上で移動が可能なよう
に表示され、これらの発音体が発音するサウンドを音響
空間に出力するンステムにおいて4個々の発音体の表示
座標に合致しだ音像定位を実現し、さらに発音体の表示
位置に変更を加えた際もあらかしめ設定しておいた方法
で表示位置の変更↓こ伴って自動的に音像定位を変更す
ることから、メディアの表示位置関係に合致した音響表
現が得られ、テレビ会議やマルチメディア・アプリケー
ション等において優れたヒユーマンインタフェースを提
供することが可能になるという効果がある。
【図面の簡単な説明】
第1図は本発明のフローチャート第2図は本発明のブロ
ック図、第3図はウィンドウの水平位置とステレオ音場
を対応づけた実施例、第4図はウィンドウの面積と音量
を対応づけた実施例、第5図は従来技術の装置ブロック
図を説明する図。 第6図は従来技術の音像定位の問題点を説明する図であ
る。 401・・・ポインティングデイハイス人力部402・
・・動画表示部 403・・・表示座標抽出部 404・・・音響パラメータ算出部 405・・・制御部 406・・・動画・音声入力部 407・・・音像定位部 408・・・ボインティングデイハイス入力線409 
 ・・動画伝送ライン 410・・・音声伝送ライン 411、412・・・スピーカ線 413・・・デイスプレィ出力線。 特許出願人 日本電信電話株式会社

Claims (1)

  1. 【特許請求の範囲】 1つまたは複数の発音体が画面に、この画面上で移動が
    可能なように表示され、これらの発音体が発音するサウ
    ンドを音響空間に出力するシステムにおいて、 サウンドを音響空間に定位する音像定位手段と、座標検
    出手段により画面上の発音体の位置座標を検出する手段
    とを備え、 画面上での発音体の位置座標と前記音像定位手段により
    音響空間上で音像を定位する位置との相関関係をあらか
    じめ定めておき、 前記座標検出手段によって検出された特定の発音体の画
    面上での位置座標とあらかじめ定めた相関関係にある位
    置に、前記音像定位手段により音響空間上に前記特定の
    発音体が発音するサウンドの音像を定位する ことを特徴とする音像制御処理方法。
JP2323539A 1990-11-27 1990-11-27 音像制御処理方法 Pending JPH04191885A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2323539A JPH04191885A (ja) 1990-11-27 1990-11-27 音像制御処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2323539A JPH04191885A (ja) 1990-11-27 1990-11-27 音像制御処理方法

Publications (1)

Publication Number Publication Date
JPH04191885A true JPH04191885A (ja) 1992-07-10

Family

ID=18155831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2323539A Pending JPH04191885A (ja) 1990-11-27 1990-11-27 音像制御処理方法

Country Status (1)

Country Link
JP (1) JPH04191885A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997003433A1 (fr) * 1995-07-13 1997-01-30 Fourie, Inc. Appareil destine a fournir du son sur des images
JPH09162995A (ja) * 1995-12-08 1997-06-20 Nec Corp 遠隔会議方式
JP2007215163A (ja) * 2006-01-12 2007-08-23 Kobe Steel Ltd 音源分離装置,音源分離装置用のプログラム及び音源分離方法
JP2017103801A (ja) * 2017-01-19 2017-06-08 株式会社Jvcケンウッド 通信端末、通信端末の制御方法、通信端末の制御プログラム
CN111213082A (zh) * 2017-10-17 2020-05-29 奇跃公司 混合现实空间音频

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997003433A1 (fr) * 1995-07-13 1997-01-30 Fourie, Inc. Appareil destine a fournir du son sur des images
AU698548B2 (en) * 1995-07-13 1998-10-29 Fourie, Inc. Apparatus for presenting picture along with sound
US6040831A (en) * 1995-07-13 2000-03-21 Fourie Inc. Apparatus for spacially changing sound with display location and window size
JPH09162995A (ja) * 1995-12-08 1997-06-20 Nec Corp 遠隔会議方式
JP2007215163A (ja) * 2006-01-12 2007-08-23 Kobe Steel Ltd 音源分離装置,音源分離装置用のプログラム及び音源分離方法
JP2017103801A (ja) * 2017-01-19 2017-06-08 株式会社Jvcケンウッド 通信端末、通信端末の制御方法、通信端末の制御プログラム
CN111213082A (zh) * 2017-10-17 2020-05-29 奇跃公司 混合现实空间音频
CN111213082B (zh) * 2017-10-17 2022-07-22 奇跃公司 混合现实空间音频

Similar Documents

Publication Publication Date Title
US8571192B2 (en) Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
US10491643B2 (en) Intelligent augmented audio conference calling using headphones
US10206030B2 (en) Microphone array system and microphone array control method
US9767618B2 (en) Adaptive ambisonic binaural rendering
KR101405646B1 (ko) 휴대용 통신 디바이스 및 지향된 사운드 출력을 이용한 통신 가능화
US8509454B2 (en) Focusing on a portion of an audio scene for an audio signal
US10447970B1 (en) Stereoscopic audio to visual sound stage matching in a teleconference
US10587978B2 (en) Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
EP3342187B1 (en) Suppressing ambient sounds
US7177413B2 (en) Head position based telephone conference system and associated method
US20220337969A1 (en) Adaptable spatial audio playback
JPH04237288A (ja) 複数画像ウインドウ表示用音信号出力方法
WO2007004147A2 (en) Stereo dipole reproduction system with tilt compensation.
US6215879B1 (en) Method for introducing harmonics into an audio stream for improving three dimensional audio positioning
JPH04191885A (ja) 音像制御処理方法
JP2691185B2 (ja) 音像定位制御方式
CN113301294B (zh) 一种通话控制方法、装置及智能终端
WO2022054900A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
Hollier et al. Spatial audio technology for telepresence
CN115442556A (zh) 空间音频控制器
JPH11313272A (ja) 映像音声出力装置
Chabot et al. An immersive virtual environment for congruent audio-visual spatialized data sonifications
JPH1042396A (ja) 音像制御装置
Marentakis Pictorize: Transforming image region luminosity to sound brightness for monitoring location
JPH03252258A (ja) 指向性再生装置