JP3426267B2 - Audio output control method - Google Patents

Audio output control method

Info

Publication number
JP3426267B2
JP3426267B2 JP28389292A JP28389292A JP3426267B2 JP 3426267 B2 JP3426267 B2 JP 3426267B2 JP 28389292 A JP28389292 A JP 28389292A JP 28389292 A JP28389292 A JP 28389292A JP 3426267 B2 JP3426267 B2 JP 3426267B2
Authority
JP
Japan
Prior art keywords
window
output
pointer
application
audio information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28389292A
Other languages
Japanese (ja)
Other versions
JPH06110642A (en
Inventor
忍 長谷部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP28389292A priority Critical patent/JP3426267B2/en
Publication of JPH06110642A publication Critical patent/JPH06110642A/en
Application granted granted Critical
Publication of JP3426267B2 publication Critical patent/JP3426267B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Digital Computer Display Output (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、ウインドウシステム上
で画像のみならず音声情報の出力を行なう場合に使用さ
れる音声出力制御方法に関する。 【0002】 【従来の技術】ウインドウシステムにおいては、複数の
アプリケーションが同時に動作し、それぞれのアプリケ
ーションによって表示されるウインドウがディスプレイ
上に映し出される。このウインドウは、並べて表示され
る場合や重なり合って表示される場合等さまざまであ
る。図2に一般のウインドウシステム説明図を示す。図
に示すように、ディスプレイ1には、例えばアプリケー
ションAの動作によって表示されるウインドウ2−1
と、アプリケーションBの動作によって表示されるウイ
ンドウ2−2とが互いに重なり合って表示されている。 【0003】図3に、このようなウインドウシステムを
動作させる一般のコンピュータシステムハードウェアブ
ロック図を示す。図において、このシステムでは、シス
テムバス3に接続されたCPU(中央処理装置)4がシ
ステム全体を制御する。このシステムバス3には、メモ
リ5、外部記憶装置6、音声出力装置7、表示装置8、
キー入力装置9及びマウス10が接続されている。メモ
リ5にはプログラムや各種パラメータ等が格納され、外
部記憶装置6にはデータベース等が格納される。表示装
置8はディスプレイ等から構成され、キー入力装置9
は、装置の動作を制御する各種の情報を入力するために
使用される。また、マウス10は表示装置8上に表示さ
れたポインタやカーソルを制御するためのものである。
更に、アプリケーションによっては、表示される画像や
文字に対応させて種々の音声を出力するものがあり、こ
のシステムでは音声出力装置7が接続される。なお、こ
の種の音声出力装置7はアプリケーションの出力するデ
ータに従って、D/Aコンバータ等を利用して所定の音
声を生成するもので、例えば文字等をそのまま音声に変
換して出力する規則音声合成装置等から成るものも良く
知られている。 【0004】 【発明が解決しようとする課題】ところで、上記のよう
な音声を出力するアプリケーションが複数動作した場
合、従来次のような問題が生じていた。図4に従来の音
声出力例説明図を示す。図において、この装置では、デ
ィスプレイ1にアプリケーションAが動作することによ
るウインドウ2−1が表示され、アプリケーションBが
動作することによるウインドウ2−2がその横に並んで
表示されている。ここで、例えばアプリケーションAの
動作によって「こんにちは」という音声が出力されると
する。また、アプリケーションBの動作によって「さよ
うなら」という音声が出力されるものとする。 【0005】この場合、この装置に設けられたスピーカ
11からは、アプリケーションA及びアプリケーション
Bの動作に従って、「こんにちは」と「さようなら」と
いう音声が出力される。しかしながら、これらのアプリ
ケーションが同時にこれらの言葉を出力した場合、「こ
んにちは」と「さようなら」という言葉が混ざり合い、
実質的にオペレータに聞き取れないような音声になって
しまったり、ただの雑音になってしまうこともある。3
以上のアプリケーションが同時に動作してウインドウを
表示しているような場合、更にこの現象は著しくなる。
従って、何らかの簡単な手段によって任意のアプリケー
ションの音声を優先的に出力するような機能が要求され
る。 【0006】本発明は以上の点に着目してなされたもの
で、ウインドウシステム上で所定のウインドウを表示し
て動作する複数のアプリケーションのうち、いずれかの
アプリケーションの出力する音声を大きく出力させた
り、他のアプリケーションの出力を抑制したりして操作
性を向上させた音声出力制御方法を提供することを目的
とするものである。 【0007】 【課題を解決するための手段】本発明は、ウインドウシ
ステム上でそれぞれ所定のウインドウを表示して動作す
る複数のアプリケーションが、それぞれ任意の音声情報
を生成する場合において、ポインタ表示位置と、前記各
ウインドウとの相対的位置関係を検出し、前記ポインタ
表示位置と表示されるウインドウとの距離に対応させ
て、各アプリケーションの生成する音声情報の音量を選
択し混合して、音声出力装置に出力することを特徴とす
る音声出力制御方法に関する。 【0008】 【0009】 【作用】この方法では、マウスやキーボードによってデ
ィスプレイ上に表示されるポインタの表示位置が、例え
ば最も近いウインドウのアプリケーションに生成される
音声情報の音量を最も大きくするように制御する。各音
声情報は、その音量を調整して混合して出力する。 【0010】 【実施例】以下、本発明を図の実施例を用いて詳細に説
明する。図1は本発明の方法実施のためのハードウェア
ブロック図である。図において、このディスプレイ20
には、ウインドウシステムによって複数のウインドウ2
1−1、21−2及び21−3が表示されている。ウイ
ンドウ21−1はアプリケーションAの動作によって表
示され、ウインドウ21−2はアプリケーションBの動
作により、ウインドウ21−3はアプリケーションCの
動作によって表示されている。また、この実施例では各
アプリケーションは、それぞれウインドウに表示する画
像と共に音声情報も出力するものとする。 【0011】ここで、本発明の方法では、これらのアプ
リケーションを操作するために、キーボードやマウスに
よって、ポインタ26の表示位置を制御する。ポインタ
26の表示位置情報と各アプリケーションのウインドウ
の表示位置情報は相対的位置関係演算部22に入力し、
これらの間の位置関係が演算処理される。また、この装
置には、音声出力装置23を介してスピーカ24が接続
されており、これによって各アプリケーションの出力す
る音声情報が適当に選択混合されて出力される構成とな
っている。なお、相対的位置関係演算部22は音声出力
装置23に対し、後で説明する音量選択信号26を出力
する構成となっている。 【0012】なお、ここで第1発明においては、ポイン
タ26と各ウインドウ21−1〜21−3との表示位置
の相対的位置関係を検出し、ポインタ26の表示位置と
各ウインドウ21−1〜21−3の表示位置との距離に
対応させて、それぞれのアプリケーションの生成する音
声情報の音量を選択する。従って、例えばこの図に示し
たように、ポインタ26がウインドウ21−1に最も近
く、次にウインドウ21−2に近く、ウインドウ21−
3に最も遠いような状態にある場合、アプリケーション
Aの出力する「こんにちは」という音声情報が最も大き
く出力され、アプリケーションBの生成する「さような
ら」という音声情報は比較的小さい音で出力され、例え
ばアプリケーションCの生成する「またあした」という
音声情報は、極めて小さく出力されるといった構成とな
る。 【0013】上記のようなポインタとウインドウの距離
は次のようにして演算処理される。図5に、ポインタと
ウインドウの距離演算法説明図を示す。図に示すよう
に、例えばウインドウ2の左側の点26−1にポインタ
が存在するような場合、ここでは、ウインドウ2とポイ
ンタとの距離は点26−1からウインドウ2の左辺に垂
直に下ろした線分の長さとする。また、ポインタがウイ
ンドウ2の上の点26−2にあるような場合、ウインド
ウ2との距離はウインドウ2の上の辺に垂直に下ろした
線分の長さとする。また、このような距離のとらえ方を
すると、例えばウインドウ2の左上の点26−3から
は、どの辺に対しても垂直な直線を引くことができな
い。そこで、この場合のウインドウ2との距離は、ウイ
ンドウ2の左上の頂点と点26−3とを結んだ線分の長
さとする。 【0014】ポインタの表示位置情報は、ポインタが表
示されている位置座標である。この位置座標は、例えば
ディスプレイの左上の頂点をX=0、Y=0として表わ
すものとする。また、ウインドウ2の表示位置情報は、
ウインドウ2の左上頂点の位置座標とし、これにはウイ
ンドウ2の横幅Mと縦幅Nとが付加される。このような
位置情報が与えられた場合、次のような演算処理によっ
てポインタがウインドウ2のどの方向に存在するかを判
断する。 【0015】図6にポインタの表示位置判定基準説明図
を示す。ここで、ポインタの表示位置を座標(X,Y)
で表わすものとする。図のように、演算は、X座標及び
Y座標をそれぞれ比較して行なわれる。即ち、XがX1
より小さく、YがY1より小さい場合には、ポインタは
ウインドウの左上にあると判断する。また、XがX1よ
り大きく、X1+Mより小さい場合、YがY1より小さ
ければウインドウの上にポインタがあると判断する。ま
た、XがX1+Mより大きく、YがY1より小さい場合
には、ポインタはウインドウの右上にあると判断する。
同様にして、図に示すような判断処理によってポインタ
の位置を決定し、その後先に説明した要領でポインタと
ウインドウとの間の距離を演算する。 【0016】図7に距離の演算基準説明図を示す。図に
示すように、ポインタの表示位置が左上、右、左下、上
…というように判断された場合、それぞれその距離の演
算基準は左上の頂点、左辺あるいは左下の頂点というよ
うに選定される。このような内容の演算テーブルにより
演算内容が決定される。なお、ポインタがウインドウの
中にある場合には、距離は“0”となる。 【0017】図8に距離と音量の関係説明図を示す。本
発明においては、この図に示すように、ポインタとウイ
ンドウとの距離が、例えば長くなるほど音量を小さくす
るように選定する。図8(a)に示したものは、ポイン
タとウインドウの距離が近い場合には大きく音声情報が
出力され、遠い場合には小さく音声情報が出力される。
一方、図8(b)に示したものは、ある一定の距離以下
の場合、音量が最大で出力され、ある一定の距離以上に
なった場合には、音声情報は出力されない。このよう
に、本発明の方法によっては、ポインタとウインドウの
距離と音量との関係をさまざまにとることによって各種
の利用態様が考えられる。 【0018】図9に、本発明によるウインドウ表示位置
情報テーブル(その1)を示し、図10に本発明による
ウインドウ表示位置情報テーブル(その2)を示す。図
9は、図8(a)のように、距離と音量の関係によっ
て、音量選択を行なったもので、図10は、図8の
(b)に示すような方法により音量選択を行なったもの
である。即ち、図9に示すように、アプリケーション
A、アプリケーションB、アプリケーションCによるウ
インドウは、それぞれ表示位置座標及びその大きさがこ
のテーブルによって与えられており、ポインタの位置に
応じてアプリケーションAは音量が100%、アプリケ
ーションBは音量が70%、アプリケーションCは音量
が30%に、その音声情報の出力レベルが選択されてい
る。 【0019】また、図10の場合、アプリケーション
A、アプリケーションB、アプリケーションCがそれぞ
れ動作しているが、例えばアプリケーションAのみが音
声出力を可能とし、その他のアプリケーションについて
は音声出力ができない構成となっている。なお、この図
10に示した実施例は、ポインタの位置がアプリケーシ
ョンAの示すウインドウに、ある程度以上近づいた場合
の動作としてもよいし、また、ポインタがアプリケーシ
ョンAの表示するウインドウ内に存在する場合のみアプ
リケーションAの生成する音声を出力するようにしても
差し支えない。 【0020】図11に、このような音量選択のためのハ
ードウェアを説明する音量選択用回路ブロック図を示
す。図に示すように、アプリケーションAの出力はD/
A変換器31−1に入力し、アンプ32−1により増幅
されてスピーカ33−1から出力される。また、アプリ
ケーションBの出力する音声情報は、D/A変換器31
−2に入力し、更にアンプ32−2により増幅されてス
ピーカ33−2から出力される。更にアプリケーション
Cの出力する音声情報は、D/A変換器31−3に入力
し、アンプ32−3によって増幅されてスピーカ33−
3から出力される。ここで、本発明の方法を実施する場
合には、相対位置関係演算部22の出力が3台のD/A
変換器31−1〜31−3の制御端子に入力するよう結
線される。そして、これらの変換器の出力レベルが相対
位置関係演算部22の出力によって制御される。 【0021】図12に本発明の方法による具体的な動作
例説明図を示す。図の(a)に示すディスプレイ20に
は、ウインドウ21−1及び21−2が表示されてい
る。ここで、ウインドウ21−1の近くにポインタ26
が位置している場合、先に説明したように、例えばウイ
ンドウ21−1を動作させるアプリケーションによる音
声情報が大きく出力され、ウインドウ21−2を表示す
るアプリケーションの生成する音声情報が小さく出力さ
れる。また、(b)に示すディスプレイ20には、同様
の2個のウインドウ21−1と21−2が表示されてい
るが、ポインタ26がウインドウ21−1の内部に存在
し、この例ではポインタ26が内部に存在するウインド
ウ21−1のアプリケーションが出力する音声情報のみ
が出力される構成となっている。従って、例えばポイン
タ26がいずれのウインドウの中にも存在しない場合、
音声情報は全く出力されない。 【0022】また、(c)に示すような2個のウインド
ウ21−1と21−2が互いに一部重なり合っているよ
うな場合、例えば(a)に示すようなウインドウとの間
の距離に応じた音量制御を行なうとすれば、この図のよ
うな状態の場合、ポインタ26はいずれのウインドウに
も含まれるような位置にあるため、両方のウインドウの
アプリケーションから最大の音量の音声情報が出力され
る。一方、(b)に示すような制御を行なう場合、例え
ばこのような状態を両方のウインドウ21−1と21−
2の中に同時にポインタ26が存在するというように判
断してもよいし、また上に重なったウインドウ21−1
を優先し、ポインタ26はウインドウ21−1にのみ含
まれていると判断して、そのアプリケーションの生成す
る音声情報のみを出力するような制御を行なってもよ
い。 【0023】以下、本発明の具体的な動作制御をフロー
チャートを用いて説明する。図13は、本発明の第1発
明による動作フローチャートである。まず、ステップS
1において、アプリケーションのウインドウ表示位置と
大きさの読取りを行なう。この情報は、先に図9や図1
0を用いて説明したような内容の情報である。更に、ス
テップS2において、ポインタの表示位置を読み取る。
そしてステップS3において、距離計算を行なう。この
計算は図5、図6及び図7を用いて説明した方法によ
る。次に、ステップS4において、そのポインタとウイ
ンドウとの相対的位置関係によって音量を決定する。そ
して、ステップS5において、更に次のウインドウがあ
るかどうかを判断する。第1番目のウインドウについ
て、上記のようなステップS1からステップS4までの
処理を行なった後、第2番目のウインドウについて再び
ステップS1からステップS4までの処理が行なわれる
ことになる。また、ステップS5において、例えば最後
の3番目のウインドウまでの処理が完了したと判断され
た場合、ステップS6に移る。ステップS6では、音量
選択信号が音声出力装置に向け出力される。これによっ
て、先に図11を用いて説明した要領で音量制御が行な
われる。従って、選択された音量の音声情報が互いに混
合されて出力されることになる。 【0024】図14に本発明の第2発明による動作フロ
ーチャートを示す。まず、図14のステップS1におい
て、全アプリケーションの音声出力を一旦出力不可の状
態とする。そして、ステップS2において、最初のアプ
リケーションのウインドウ表示位置と大きさの読取りを
行なう。この動作は、既に図13を用いて説明したもの
と同様である。また、ステップS3において、ポインタ
の表示位置を読み取り、ステップS4において、ポイン
タがウインドウの中かどうかが判断される。この判断
は、既に図5や図6を用いて説明した方法と同様の方法
により行なわれる。そして、ポインタがウインドウの中
にない場合には、次のウインドウについて同様の判断を
行なうためステップS5に移る。次のウインドウがある
場合には、ステップS2に戻る。 【0025】そして、再び同様の処理によって、ステッ
プS4でポインタがウインドウの中かどうかを判断す
る。もし、ポインタがウインドウの中にあれば、その該
当するアプリケーションの音声出力を可能にし(ステッ
プS6)処理を直ちに終了する。この場合、このような
処理をディスプレイ上の最も上に表示されたウインドウ
から下に重なり合って表示されたウインドウに向かって
順に行なう。このようにすれば、上にあるウインドウの
中にポインタが存在すると判断された場合、直ちにその
音声出力が選択され、その他のアプリケーションの音声
出力は禁止されたままとなる。従って、ポインタの存在
するウインドウのアプリケーションによる音声情報のみ
が選択されて出力されることになる。なお、ステップS
5において、全てのウインドウについてこのような処理
が終了したと判断された場合には、処理を終了する。従
って、この場合いずれのアプリケーションの音声情報も
出力されないことになる。これは、ポインタがどのウイ
ンドウにも属さない場合に該当する。 【0026】本発明は以上の実施例に限定されない。上
記実施例においては、ポインタやウインドウの位置を、
例えばピクセル単位でX−Y座標により表示するように
したが、これらはポインタとウインドウとの相対的位置
関係を演算することのできる各種の方法により行なうこ
とが可能である。また、音量を制御するための回路はデ
ィジタル処理部分によるものも、またアナログ処理部分
によるものも自由に選定して差し支えない。更に、表示
されるウインドウの中に音声情報を出力しないようなア
プリケーションがある場合、これらのウインドウについ
ての判断を無視したり、一律に判断処理に含めても差し
支えない。 【0027】 【発明の効果】以上説明した本発明の音声出力制御方法
は、ウインドウシステム上でそれぞれ所定のウインドウ
を表示して動作する複数のアプリケーションが、それぞ
れ任意の音声情報を生成する場合に、ポインタ位置と各
ウインドウとの相対的位置関係を検出し、ポインタ表示
とウインドウとの距離に対応させて各アプリケーション
の生成する音声情報の音量を選択し混合するようにした
ので、オペレータの求める音声情報がより明瞭に聞こえ
るよう、その調整を容易に行なうことができる。また、
ポインタ表示位置がウインドウ中に含まれるアプリケー
ションの生成する音声情報のみを選択するようにすれ
ば、他のアプリケーションにより生成される音声情報に
妨害されることなく、特定のアプリケーションの生成す
る音声情報のみを容易に選択し出力させることができ
る。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an audio output control method used when outputting not only images but also audio information on a window system. 2. Description of the Related Art In a window system, a plurality of applications operate simultaneously, and windows displayed by the respective applications are projected on a display. This window has various cases such as a case where the windows are displayed side by side and a case where the windows are displayed overlapping each other. FIG. 2 is an explanatory diagram of a general window system. As shown in the drawing, a window 2-1 displayed by the operation of the application A is displayed on the display 1, for example.
And the window 2-2 displayed by the operation of the application B are displayed overlapping each other. FIG. 3 is a hardware block diagram of a general computer system for operating such a window system. In the figure, in this system, a CPU (central processing unit) 4 connected to a system bus 3 controls the entire system. The system bus 3 includes a memory 5, an external storage device 6, an audio output device 7, a display device 8,
The key input device 9 and the mouse 10 are connected. The memory 5 stores programs, various parameters, and the like, and the external storage device 6 stores a database and the like. The display device 8 includes a display and the like, and a key input device 9
Is used to input various information for controlling the operation of the device. The mouse 10 is for controlling a pointer and a cursor displayed on the display device 8.
Furthermore, some applications output various sounds in correspondence with displayed images and characters. In this system, a sound output device 7 is connected. Note that this type of audio output device 7 generates a predetermined audio using a D / A converter or the like in accordance with data output from an application. Devices composed of devices and the like are well known. [0004] By the way, when a plurality of applications for outputting the above-mentioned sounds operate, the following problems have conventionally occurred. FIG. 4 shows an explanatory diagram of a conventional audio output example. In the figure, in this device, a window 2-1 due to the operation of the application A is displayed on the display 1, and a window 2-2 due to the operation of the application B is displayed side by side. Here, the sound is output as "Hello", for example by the operation of the application A. It is also assumed that the sound of “goodbye” is output by the operation of the application B. [0005] In this case, from the speaker 11 provided in the apparatus, in accordance with the operation of the application A and application B, the voice of the "Hello", "Goodbye" is output. However, if these applications has output these words at the same time, mixes the word as "hello,""goodbye",
The sound may be substantially inaudible to the operator, or may be merely noise. 3
This phenomenon becomes more remarkable when the above applications are simultaneously operating and displaying a window.
Therefore, a function is required that preferentially outputs the sound of an arbitrary application by some simple means. SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and makes it possible to output a large sound from any one of a plurality of applications that operate by displaying a predetermined window on a window system. It is another object of the present invention to provide a sound output control method in which the operability is improved by suppressing the output of another application. [0007] This onset bright [Means for solving problems], a plurality of applications operating each display a predetermined window in the window system, when each generating an arbitrary audio information, pointer display position And detecting the relative positional relationship with each of the windows, selecting and mixing the volume of audio information generated by each application in accordance with the distance between the pointer display position and the displayed window, and outputting audio. The present invention relates to a sound output control method characterized by outputting to a device. According to this method, the display position of the pointer displayed on the display by the mouse or the keyboard is controlled so that the volume of the audio information generated in the application of the nearest window is maximized. I do. Each audio information is output after adjusting its volume and mixing . DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to the embodiments shown in the drawings. FIG. 1 is a hardware block diagram for implementing the method of the present invention. In the figure, this display 20
Has several windows 2 by the window system.
1-1, 21-2 and 21-3 are displayed. The window 21-1 is displayed by the operation of the application A, the window 21-2 is displayed by the operation of the application B, and the window 21-3 is displayed by the operation of the application C. In this embodiment, each application outputs audio information together with an image to be displayed in a window. Here, in the method of the present invention, the display position of the pointer 26 is controlled by a keyboard or a mouse in order to operate these applications. The display position information of the pointer 26 and the display position information of the window of each application are input to the relative position calculation unit 22,
The positional relationship between them is processed. A speaker 24 is connected to this device via an audio output device 23, whereby audio information output from each application is appropriately selected and mixed and output. Note that the relative positional relationship calculation unit 22 is configured to output a volume selection signal 26 described later to the audio output device 23. In the first invention, the relative positional relationship between the display position of the pointer 26 and each of the windows 21-1 to 21-3 is detected, and the display position of the pointer 26 and each of the windows 21-1 to 21-1 are detected. The volume of audio information generated by each application is selected according to the distance from the display position of 21-3. Therefore, for example, as shown in this figure, the pointer 26 is closest to the window 21-1, next to the window 21-2, and
When in the farthest such state 3, the audio information "Hello" to the output of the application A is largest output, the audio information of "Goodbye" to generate application B is output with a relatively small sound, for example, the application The audio information “Creating again” generated by C is output very small. The distance between the pointer and the window as described above is calculated as follows. FIG. 5 is an explanatory diagram of a distance calculation method between the pointer and the window. As shown in the figure, for example, when a pointer exists at a point 26-1 on the left side of the window 2, the distance between the window 2 and the pointer is lowered vertically from the point 26-1 to the left side of the window 2. The length of the line segment. When the pointer is located at a point 26-2 on the window 2, the distance from the window 2 is the length of a line segment perpendicular to the upper side of the window 2. In addition, if such a distance is grasped, for example, a straight line perpendicular to any side cannot be drawn from the upper left point 26-3 of the window 2. Therefore, the distance from window 2 in this case is the length of a line segment connecting the upper left vertex of window 2 and point 26-3. The pointer display position information is the position coordinates where the pointer is displayed. The position coordinates are assumed to represent, for example, the upper left vertex of the display as X = 0 and Y = 0. The display position information of the window 2 is
The position coordinates of the upper left vertex of the window 2 are added to the horizontal width M and the vertical width N of the window 2. When such position information is given, it is determined in which direction of the window 2 the pointer exists by the following arithmetic processing. FIG. 6 is an explanatory diagram of a reference for judging a display position of a pointer. Here, the display position of the pointer is represented by coordinates (X, Y).
It shall be represented by As shown in the figure, the calculation is performed by comparing the X coordinate and the Y coordinate, respectively. That is, X is X1
If Y is smaller than Y1, it is determined that the pointer is at the upper left of the window. When X is larger than X1 and smaller than X1 + M, if Y is smaller than Y1, it is determined that the pointer is on the window. When X is larger than X1 + M and Y is smaller than Y1, it is determined that the pointer is at the upper right of the window.
Similarly, the position of the pointer is determined by a determination process as shown in the figure, and then the distance between the pointer and the window is calculated in the manner described above. FIG. 7 is an explanatory diagram of the calculation standard of the distance. As shown in the figure, when the display position of the pointer is determined as upper left, right, lower left, upper, etc., the calculation standard of the distance is selected as the upper left vertex, the left side, or the lower left vertex. The calculation contents are determined by the calculation table having such contents. When the pointer is in the window, the distance is “0”. FIG. 8 is a diagram for explaining the relationship between the distance and the sound volume. In the present invention, as shown in this figure, the sound volume is selected such that the sound volume decreases as the distance between the pointer and the window increases, for example. In the example shown in FIG. 8A, when the distance between the pointer and the window is short, large audio information is output, and when it is far, small audio information is output.
On the other hand, in the example shown in FIG. 8B, when the distance is less than a certain distance, the sound volume is output at a maximum, and when the distance is more than a certain distance, no sound information is output. As described above, depending on the method of the present invention, various utilization modes can be considered by variously setting the relationship between the distance between the pointer and the window and the volume. FIG. 9 shows a window display position information table (part 1) according to the present invention, and FIG. 10 shows a window display position information table (part 2) according to the present invention. FIG. 9 shows the case where the sound volume is selected according to the relationship between the distance and the sound volume as shown in FIG. 8A, and FIG. 10 shows the case where the sound volume is selected by the method shown in FIG. 8B. It is. That is, as shown in FIG. 9, the windows of the application A, the application B, and the application C have their display position coordinates and their sizes given by this table, and the application A has a volume of 100 according to the position of the pointer. %, The volume of the application B is 70%, and the volume of the application C is 30%, and the output level of the audio information is selected. In the case of FIG. 10, the application A, the application B, and the application C are respectively operating. For example, only the application A can output audio, and the other applications cannot output audio. I have. Note that the embodiment shown in FIG. 10 may be operated when the position of the pointer approaches the window indicated by the application A to some extent, or when the pointer exists in the window displayed by the application A. Only the audio generated by the application A may be output. FIG. 11 is a block diagram of a circuit for selecting a sound volume for explaining hardware for such a sound volume selection. As shown, the output of application A is D /
The signal is input to the A converter 31-1, amplified by the amplifier 32-1, and output from the speaker 33-1. The audio information output from the application B is transmitted to the D / A converter 31.
-2, and further amplified by the amplifier 32-2 and output from the speaker 33-2. Further, the audio information output from the application C is input to the D / A converter 31-3, amplified by the amplifier 32-3, and amplified by the speaker 33-.
3 is output. Here, when the method of the present invention is carried out, the output of the relative positional relationship calculation unit 22 is three D / A
The input terminals are connected to control terminals of the converters 31-1 to 31-3. Then, the output levels of these converters are controlled by the output of the relative positional relationship calculation unit 22. FIG. 12 is an explanatory diagram of a specific operation example according to the method of the present invention. The windows 20-1 and 21-2 are displayed on the display 20 shown in FIG. Here, the pointer 26 is located near the window 21-1.
Is located, as described above, for example, the audio information generated by the application that operates the window 21-1 is output large, and the audio information generated by the application that displays the window 21-2 is output small. Also, the display 20 shown in (b) shows two similar windows 21-1 and 21-2, but the pointer 26 exists inside the window 21-1. Is configured to output only the audio information output by the application of the window 21-1 inside. Thus, for example, if the pointer 26 is not in any of the windows,
No audio information is output. In the case where two windows 21-1 and 21-2 partially overlap each other as shown in FIG. 2C, for example, according to the distance between the windows as shown in FIG. If the volume control is performed in such a state as shown in the figure, since the pointer 26 is located at a position included in both windows, the audio information of the maximum volume is output from the applications in both windows. You. On the other hand, when performing the control as shown in (b), for example, such a state is set in both windows 21-1 and 21-.
2 may be determined to exist at the same time as the pointer 26, or the window 21-1 overlaid on the top may be determined.
, And it may be determined that the pointer 26 is included only in the window 21-1, and control may be performed to output only the audio information generated by the application. Hereinafter, specific operation control of the present invention will be described with reference to flowcharts. FIG. 13 is an operation flowchart according to the first invention of the present invention. First, step S
In step 1, the window display position and size of the application are read. This information is described in FIG. 9 and FIG.
This is information having contents described using 0. Further, in step S2, the display position of the pointer is read.
Then, in step S3, distance calculation is performed. This calculation is based on the method described with reference to FIGS. 5, 6, and 7. Next, in step S4, the sound volume is determined based on the relative positional relationship between the pointer and the window. Then, in step S5, it is determined whether there is a next window. After performing the above-described processing from step S1 to step S4 for the first window, the processing from step S1 to step S4 is performed again for the second window. If it is determined in step S5 that the processing up to the last third window has been completed, the process proceeds to step S6. In step S6, a volume selection signal is output to the audio output device. Thus, the volume control is performed in the manner described above with reference to FIG. Therefore, the audio information of the selected volume is mixed and output. FIG. 14 shows an operation flowchart according to the second invention of the present invention. First, in step S1 of FIG. 14, audio output of all applications is temporarily disabled. Then, in step S2, the window display position and size of the first application are read. This operation is the same as that already described with reference to FIG. In step S3, the display position of the pointer is read, and in step S4, it is determined whether the pointer is in the window. This determination is made by a method similar to the method already described with reference to FIGS. If the pointer is not in the window, the process moves to step S5 to make the same determination for the next window. If there is a next window, the process returns to step S2. Then, by the same processing again, it is determined in step S4 whether the pointer is in the window. If the pointer is in the window, the corresponding application can be output as audio (step S6), and the process is immediately terminated. In this case, such processing is performed in order from the window displayed on the top on the display to the window displayed overlapping on the bottom. In this way, when it is determined that the pointer is present in the window above, the sound output is immediately selected, and the sound output of other applications remains prohibited. Therefore, only the audio information by the application in the window where the pointer exists is selected and output. Step S
If it is determined in step 5 that such processing has been completed for all windows, the processing is terminated. Therefore, in this case, no audio information of any application is output. This is the case when the pointer does not belong to any window. The present invention is not limited to the above embodiment. In the above embodiment, the position of the pointer or window is
For example, the display is made by the XY coordinates in pixel units, but these can be performed by various methods that can calculate the relative positional relationship between the pointer and the window. The circuit for controlling the sound volume may be freely selected from a digital processing part and an analog processing part. Further, when there is an application that does not output audio information in the displayed window, the determination on these windows may be ignored or may be uniformly included in the determination processing. According to the audio output control method of the present invention described above, when a plurality of applications each operating by displaying a predetermined window on a window system generate arbitrary audio information, The relative positional relationship between the pointer position and each window is detected, and the volume of the audio information generated by each application is selected and mixed according to the distance between the pointer display and the window. Can be easily adjusted so that is more clearly heard. Also,
If the pointer display position selects only the audio information generated by the application included in the window, only the audio information generated by the specific application can be displayed without being disturbed by the audio information generated by other applications. It can be easily selected and output.

【図面の簡単な説明】 【図1】本発明の方法実施のためのハードウェアブロッ
ク図である。 【図2】一般のウインドウシステム説明図である。 【図3】一般のコンピュータシステムハードウェアブロ
ック図である。 【図4】従来の音声出力例説明図である。 【図5】ポインタとウインドウの距離演算法説明図であ
る。 【図6】ポインタの表示位置判定基準説明図である。 【図7】距離の演算基準説明図である。 【図8】距離と音量の関係説明図である。 【図9】本発明によるウインドウ表示位置情報テーブル
(その1)である。 【図10】本発明によるウインドウ表示位置情報テーブ
ル(その2)である。 【図11】音量選択用回路ブロック図である。 【図12】本発明の方法による動作例説明図である。 【図13】第1発明による動作フローチャートである。 【図14】第2発明による動作フローチャートである。 【符号の説明】 20 ディスプレイ 21−1〜21−3 ウインドウ 22 相対的位置関係演算部 23 音声出力装置 24 スピーカ 25 音量選択信号 26 ポインタ
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a hardware block diagram for implementing a method of the present invention. FIG. 2 is an explanatory diagram of a general window system. FIG. 3 is a hardware block diagram of a general computer system. FIG. 4 is an explanatory diagram of a conventional audio output example. FIG. 5 is an explanatory diagram of a distance calculation method between a pointer and a window. FIG. 6 is an explanatory diagram of a display position determination criterion of a pointer. FIG. 7 is an explanatory diagram of a calculation standard for distance. FIG. 8 is a diagram illustrating the relationship between distance and volume. FIG. 9 is a window display position information table (part 1) according to the present invention. FIG. 10 is a window display position information table (part 2) according to the present invention. FIG. 11 is a block diagram of a circuit for volume selection. FIG. 12 is an explanatory diagram of an operation example according to the method of the present invention. FIG. 13 is an operation flowchart according to the first invention. FIG. 14 is an operation flowchart according to the second invention. [Description of Signs] 20 Display 21-1 to 21-3 Window 22 Relative positional relationship calculation unit 23 Audio output device 24 Speaker 25 Volume selection signal 26 Pointer

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/00 G06F 3/14 - 3/153 G06F 3/16 G10L 3/00 ──────────────────────────────────────────────────続 き Continued on the front page (58) Fields investigated (Int. Cl. 7 , DB name) G06F 3/00 G06F 3/14-3/153 G06F 3/16 G10L 3/00

Claims (1)

(57)【特許請求の範囲】 【請求項1】 ウインドウシステム上でそれぞれ所定の
ウインドウを表示して動作する複数のアプリケーション
が、それぞれ任意の音声情報を生成する場合において、 ポインタ表示位置と、前記各ウインドウとの相対的位置
関係を検出し、 前記ポインタ表示位置と表示されるウインドウとの距離
に対応させて、各アプリケーションの生成する音声情報
の音量を選択し混合して、音声出力装置に出力すること
を特徴とする音声出力制御方法。
(57) [Claims 1] When a plurality of applications that operate by displaying predetermined windows on a window system respectively generate arbitrary audio information, a pointer display position, The relative positional relationship with each window is detected, and the volume of audio information generated by each application is selected and mixed according to the distance between the pointer display position and the displayed window, and output to the audio output device. A sound output control method.
JP28389292A 1992-09-29 1992-09-29 Audio output control method Expired - Fee Related JP3426267B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28389292A JP3426267B2 (en) 1992-09-29 1992-09-29 Audio output control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28389292A JP3426267B2 (en) 1992-09-29 1992-09-29 Audio output control method

Publications (2)

Publication Number Publication Date
JPH06110642A JPH06110642A (en) 1994-04-22
JP3426267B2 true JP3426267B2 (en) 2003-07-14

Family

ID=17671538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28389292A Expired - Fee Related JP3426267B2 (en) 1992-09-29 1992-09-29 Audio output control method

Country Status (1)

Country Link
JP (1) JP3426267B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490184B2 (en) 2019-07-10 2022-11-01 Samsung Electronics Co., Ltd. Electronic device and method for outputting audio signal

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728675B1 (en) * 1999-06-03 2004-04-27 International Business Machines Corporatiion Data processor controlled display system with audio identifiers for overlapping windows in an interactive graphical user interface
KR20010002723A (en) * 1999-06-17 2001-01-15 전주범 sound control method into operate program using wheel mouse
JP2001043062A (en) 1999-07-27 2001-02-16 Nec Corp Personal computer, volume control method thereof, and recording medium
WO2002078328A1 (en) * 2001-03-26 2002-10-03 Fujitsu Limited Multi-channel information processor
WO2009081478A1 (en) * 2007-12-21 2009-07-02 Fujitsu Limited Electronic device, control method, and program
JP5448611B2 (en) 2009-07-02 2014-03-19 キヤノン株式会社 Display control apparatus and control method
JP5929243B2 (en) * 2012-01-30 2016-06-01 カシオ計算機株式会社 Information processing apparatus, information processing method, and program
JP2013171312A (en) * 2012-02-17 2013-09-02 Denso Corp Video voice control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490184B2 (en) 2019-07-10 2022-11-01 Samsung Electronics Co., Ltd. Electronic device and method for outputting audio signal

Also Published As

Publication number Publication date
JPH06110642A (en) 1994-04-22

Similar Documents

Publication Publication Date Title
JP2000339130A (en) Display controller and recording medium for recording display control program
JP3426267B2 (en) Audio output control method
CN110188299B (en) Response type page processing method and device and electronic equipment
CN112181329A (en) Data display method and device
CN109753333B (en) Interface layout method, device, equipment and medium
JPS6098489A (en) Image data processor
CN112019556B (en) Voice live broadcast visualization method, device, equipment and storage medium
CN110377192B (en) Method, device, medium and electronic equipment for realizing interactive effect
JPS6057376A (en) Display control system for electronic computer
CN114625983A (en) House resource information display method and device, electronic equipment and readable storage medium
JPH0638122A (en) Voice processing unit for picture division display system
JPH0540589A (en) Method and device for displaying multiwindow
JP2912295B2 (en) Screen switching method of numerical controller
JP2563569B2 (en) Image display device
JPH09190544A (en) Acoustic presentation method for image data
JP4810001B2 (en) Image display device and image display system
JP3244269B2 (en) String input control method
JPH0239307A (en) Plant monitor device
JP2854616B2 (en) Graphic display device
JP2606443B2 (en) Voice recognition device
CN115101176A (en) Terrain editing method, system and storage medium for virtual sand table game
JPH03286264A (en) Guidance display system by moving image mode
JPH02183293A (en) Scrolling control system of display device
JPH09179991A (en) Graph display device
JPH0756707A (en) Display control device for receiving data

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees