JP2753324B2

JP2753324B2 - 情報処理システム

Info

Publication number: JP2753324B2
Application number: JP1107616A
Authority: JP
Inventors: 繁藪内
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-04-28
Filing date: 1989-04-28
Publication date: 1998-05-20
Anticipated expiration: 2013-05-20
Also published as: JPH02288600A

Description

【発明の詳細な説明】【産業上の利用分野】

本発明は音声情報を含むマルチメディア文書等を処理
する情報処理システムに関する。

【従来の技術】

例えば，サイディス社のボイスステーション（Robert
T.Nicholson,“Integrating Voice in the Office Wor
d",BYTE magazine,1983,12月号）のシステムは，編集可
能な文書に音声の注釈をつけることが可能である。この
システムでは，音声メッセージの内容を文書とは別の一
つのウィンドウ内に棒グラフで表示し，音声の長さ，該
音声メッセージの有音部と無音部等を視覚的に表示す
る。そして，システム共通の操作メニュー欄に表示され
たソフトキーを用いて音声の編集を行なう。該フソトキ
ーにはテープレコーダと同じ操作コマンドが備えられて
いる。具体的には，“record",“stop",“play",“rewi
nd",“fast forward"がある。さらに，該ウィンドウに
は音声文章ごとに番号が表示され，この番号をキーで指
定しながら音声文章単位で音メッセージの挿入，削除，
追加録音を行なうことが出来る。また，文書において音
声の注釈を付した個所にスピーカを抽象化したアイコン
を印し，このアイコンを指示すると前記のウィンドウが
開くようになっている。

【発明が解決しようとする課題】

しかし，従来のボイスステーションシステムは，音響
的に臨場感を高めたり，音によって操作対象の位置を操
作者に知らせる手段を備えておらず，音の持つ良さを十
分活かしたシステムとなっていない。本発明の目的は，
従来技術のこのような問題点を解決するためのものであ
る。

【課題を解決するための手段】

本発明の情報処理システムでは，上記の問題点を解決
するために録音及び／又は合成したステレオ音を出力す
る手段を備えた。マイクを複数本設置し，ステレオ録音
した音の再生は言うまでもなく，単一マイクで収録され
た音や合成音の音量と出力時点を制御して疑似ステレオ
化し，複数の音響出力機器を使用して出力する手段を備
える。

【作用】

本発明の情報処理システムでは，ステレオ再生によっ
て情感や臨場感を高め，表示手段上に表示されたマルチ
メディアで表現された文書やカタログ等の内容及びイメ
ージの理解を促進させることが出来ると共に，ステレオ
による聴覚的距離感覚を利用し，操作あるいは着目した
い対象の存在位置を音で知らせることが出来るようにな
り，音の良さを活かした，より使い勝手の良いシステム
を実現できる。

【実施例】

以下，図面に従って本発明を説明する。第１図は，本発明の一実施例の情報処理システムを示
す図である。１は表示手段であり，文字，図形，画像及
び／又は音を表示する。２は表示処理手段であり、後述
する情報処理手段５からの表示コマンドに従って前記各
情報を表示手段１の画面に表示させる。３は前記表示手
段１の画面内の位置を入力する手段、４は同様に文字を
入力する手段、８は画像を入力する手段である。これら
の入力手段から入力されたデータは前記表示処理手段２
を経由して前記表示手段１に表示される。５は上記入力
されたデータを処理し、文書の作成・編集・蓄積等を行
う情報処理手段である。６は上記情報処理に使用する各
種データ（前記文書も含む）を記憶する手段、７は上記
文書を蓄積するファイリング手段である。９はマイクや電話,VTR等の音入力手段、14は上記音入
力手段９から入力されるアナログ音信号を増幅し，周波
数フィルタリングする手段、19は上記手段14の出力信号
をサンプリングし，離散的音響データに変換するAD変換
器、20,21,22および23は録音及び／又は合成した離散的
音響データをアナログ音信号に変換するDA変換器、15,1
6,17および18は上記手段の出力信号を増幅し，周波数フ
ィルタリングする手段、10,11,12および13はスピーカ等
の音響出力手段である。また、29は前記ADおよびDA変換を一定周期で繰り返す
ための制御信号を発生する手段、28は前記AD変換された
離散的音響データの圧縮符号化処理と，該符号化された
音信号の復号化処理および音合成処理等を行う信号処理
プロセッサである。24は前記AD変換器19からの離散的音
響データの情報処理手段５または信号処理プロセッサ28
への転送制御と情報処理手段５または信号処理プロセッ
サ28からの離散的音響データのDA変換器20,21,22,23へ
の転送制御等を行う音響データ処理手段である。32はCD
（コンパクディスク）装置である。そして，上記各手段は，データ，アドレスおよびコン
トロールラインからなる主バス30または音バス31によっ
て結合されている。さらに，前記音響データ処理手段24には，前記複数の
音響出力手段の個々の出力音量を制御する出力音量制御
手段27と、前記離散的音響データを一時的に記憶する音
響データ記憶手段26と，該記憶手段26からむだ時間制御
を行って離散的音響データを読み出すむだ時間メモリ読
み出し制御手段25を備えている。また，本実施例では，前記複数の音響出力機器10,11,
12および13は第２図に示すように表示手段１の左右およ
び上下に配置されているものとする。なお，情報処理手段５および音響データ処理手段24は
一般のマイクロプロセッサ（例えば，モトローラ社の68
000,インテル社の8086など），信号処理プロセッサはイ
ンテル社のTMS32020等のディジタル信号処理装置で構成
されているものとする。表示処理手段２は，表示手段１の画面を複数の部分領
域（ウィンドウ）に分割し，ウィンドウを独立した表示
手段として動作させ，表示手段１からなる実端末の画面
より大きな論理画面を持つ仮想的な端末と実端末の画面
に表示されるウインドウを対応付けて制御することによ
って，マルチウインドウを実現する。具体的には，特開
昭62-281074や特開昭63-153625等に示された技術を用い
て，該表示処理手段は情報処理手段５の命令によって仮
想端末を生成し，論理的な仮想画面を編集する。そし
て，仮想画面の一部を視野として切り出し，実端末であ
る表示手段２の画面に窓（ウィンドウ）として表示す
る。さらに，実端末の画面上でのウィンドウの移動，大き
さ変更，仮想平面上の視野移動等の機能を持ち，仮想端
末に対する操作者の前記表示手段の画面における位置を
入力する手段３（マウス等）あるいは文字を入力する手
段４（キーボード等）からの入力を情報処理手段５に渡
す。情報処理手段５からは，仮想画面の構成，大きさを
自由に設定可能であり，文字，図形，画像等を混在させ
て表示させ，複数のウィンドウを同時に表示させること
が可能である。次に，本発明の情報処理システムにおける使用者とシ
ステムとの交信方法について述べる。該交信方法には，コマンドメニューを表示手段１に表
示し、これを位置入力手段３を用いて選択する方法と，
文字入力手段４からコマンドをタイプ入力する方法が備
えられている。前者の方法では，情報処理手段５が予め
プログラムで記述されている手続きに従って，文字，図
形，画像及び／又は音の入力，編集，蓄積及び／又は出
力等で必要とされるコマンドメニュー欄を表示する前記
仮想画面上の位置を決定し，コマンドメニュー欄内の各
コマンドの表示領域情報（例えば，領域原点座標，横
幅，縦幅など）を情報処理用記憶手段６に記憶する。そ
して，該表示領域情報とコマンドメニュー文字コードを
表示処理手段２に送り，該手段により表示手段１の画面
に前記コマンドメニューを表示する。このような状態において，使用者が表示手段１の画面
に表示されている前記コマンドメニュー中のコマンド
を，位置入力手段３で指示すると，この位置情報が表示
処理手段２によって情報処理手段５に伝えられる。情報
処理手段５は，情報処理用記憶手段６を制御して前記コ
マンドメニュー欄の領域情報を読み出し，前記位置情報
とのマッチングを行い，使用者が選択したコマンドを認
識する。以上に述べた本発明の情報処理システムにおいて，ま
ず録音の実施例について説明する。情報処理手段５は，前記のいずれかの方法にて使用者
から録音が指示されると，音響データ処理手段24に録音
のための初期化命令を主バス30経由で発する。音響デー
タ処理手段24は，該初期命令を受けて，信号処理プロセ
ッサ28に音バス31経由でリセット信号を発行し，該手段
の状態をリセット状態にする。その後，音響データ処理
手段24は，リセット完了を主バス30経由で情報処理手段
５に知らせる。情報処理手段５は，音響データ処理手段24からリセッ
ト完了の知らせを受け取ると，情報処理用記憶手段６内
に録音音の記憶領域を確保する。そして，音響データ処
理手段24に録音開始命令を発行する。音響データ処理手段24は，該命令を受けると，信号処
理プロセッサ28を起動し，情報処理手段５から録音停止
命令を受けるまで，手段29が発行する信号のタイミング
でAD変換器19の出力である離散的音響データ（８ビット
以上の長さを有する）を該手段24の入力命令を使用して
取り込み，同手段24の出力命令を用いて信号処理プロセ
ッサ28に転送し続ける。信号処理プロセッサ28は，この
離散的音響データを国際標準規格であるCCITT G.721 AD
PCMの方法で数ビットの長さに圧縮符号化し，情報処理
手段５に音バス31経由で出力する。情報処理手段５は，
信号処理プロセッサ28から送られた前記圧縮符号化され
た録音音響データを情報処理用記憶手段６内に確保した
前記記憶領域に順次格納してゆく。このような状態で，情報処理手段５が前記の方法にて
使用者からの録音停止指示を検知すると，音響データ処
理手段24に対して録音停止命令を発行する。音響データ
処理手段24は，該録音停止命令を受信すると,AD変換器1
9からの離散的音響データの取り込みと音響データ処理
手段24への該音響データの転送を停止すると共に，信号
処理プロセッサ28に処理の停止命令を発行し，前記圧縮
符号化処理を停止させる。その後，録音停止完了を情報
処理手段５に知らせる。情報処理手段５は，該停止完了の知らせを受けると，
情報処理用記憶手段６内の前記記憶領域に格納されてい
る録音音響データをファイル手段７内に蓄積する。な
お，音を高品質で録音する場合には，信号処理プロセッ
サ28による圧縮符号化を行わず,AD変換器19から取り込
んだ離散的音響データを音響データ処理手段24が直接情
報処理手段５に転送する。以上，本発明の一実施例における音録音処理について
述べた。次に，このようにして録音した音あるいは合成
音をステレオ化して出力する手段について詳述する。まず，疑似ステレオ化の原理を第３図および第４図を
用いて説明する。第３図は，使用者101と第２図中の音
響出力機器11,12と音源100との位置関係を上から見た図
である。一方，第４図は，使用者101と第２図中の音響
出力機器12,13と音源100との位置関係を上から見た図で
ある。人間の両耳による音源定位機能は，心理生理分野にお
いて研究されており，人間は音源位置を両耳に入る音の
時間差（位相差）と音圧差によつて知覚していることが
知られている。例えば，第３図において，音源100から
発した音が音響出力機器10の位置に到達する時間をT₁₀
とすると，音響出力機器10の位置での音Y₁₀（ｔ）は次
式のように表される。 Y₁₀（ｔ）＝K/T₁₀×Ｘ（ｔ−T₁₀）（１）ここで,Kは定数,tは時間およびＸ（ｔ）は音源100の
音を表す。同様に，音源100から発した音が音響出力機器11の位
置に到達する時間をT₁₁とすると，音響出力機器11の位
置での音Y₁₁（ｔ）は次式のように表される。 Y₁₁（ｔ）＝K/T₁₁×Ｘ（ｔ−T₁₁）（２）従って，音響出力機器10と11を使用者を中心にして左右
等間隔で，かつ使用者の近くに配置し，式（１）の音を
音響出力機器10および式（２）の音を音響出力機器11か
ら出力することによって使用者は聴覚的に音源の位置を
知覚することができる。すなわち，水平方向に対する音
の奥行きを持たせることが可能となる。さらに，第４図に示すように音響出力機器12と13を使
用者101の正面上下に，使用者を中心にして上下等間隔
で，かつ使用者の近くに配置し，式（３）の音を音響出
力機器12および式（４）の音を音響出力機器13から出力
することによって使用者に聴覚的なステレオ感覚を知覚
させることができる。 Y₁₂（ｔ）＝K/T₁₂×Ｘ（ｔ−T₁₂）（３） Y₁₃（ｔ）＝K/T₁₃×Ｘ（ｔ−T₁₃）（４）なお，式（３）のT₁₂および式（４）のT₁₃は，音源10
0から発した音が音響出力機器12および13の位置に到達
する時間を表す。以上に述べた処理は，第１図中の音響データ処理手段
24内で行う。その詳細な一実施例を第５図に示す。第５図の回路は，手段49〜51から成る音響データ記憶
手段26と，手段52〜55から成る出力音量制御手段27とこ
れらを除いた部分から成るむだ時間メモリ読み出し制御
手段25の３つ部分から構成される。まず，式（１）のＸ（ｔ−T₁₀）の項を実現する手段
について述べる。本発明では音響データ記憶手段26を用
いて該項を実現する。音響データ記憶手段26は，離散的音響データである前
記Ｘ（ｔ）を一時的に記憶する手段である。該手段26
は，メモリ49中のメモリアドレスレジスタ51に設定され
たアドレスに対して，メモリデータレジスタ50の内容を
書き込んだり，または該アドレスの内容をメモリデータ
レジスタ50に読み込む。メモリアドレスレジスタ51は複
数ビットからなり，正の範囲の値を扱う。従って，アド
レスを１だけ増加させてゆき，最上位ビットから溢れる
と該レジスタの値は再び０から増加する。すなわち，第
５図に示すようにリング的なアクセスが可能である。該
メモリアドレスカウンタ56の内容は前記時間ｔに相当す
るアドレスを表しており，メモリアドレスカウンタ56は
前記周期信号発生手段29の信号に合わせて１だけ増加さ
せてゆく。このような環境において，音響データ記憶手段26は，
まずセレクタ60を制御して，レジスタ61の内容をメモリ
データレジスタ50に書き込む。レジスタ61には，情報処
理手段５によって前記Ｘ（ｔ）の値が適宜書き込まれ
る。また，これと並行して，セレクタ59を制御してメモ
リアドレスカウンタ56の内容をメモリアドレスレジスタ
51に書き込む。そして，音響データ記憶手段26を制御
し，メモリデータレジスタ50の内容をメモリアドレスレ
ジスタ51が示すメモリ49内のアドレスに書き込む。このようにして，前記Ｘ（ｔ）の値をメモリ49に書き
込んだ後,X（ｔ−T₁₀）の値を次のような処理を行って
メモリ49から読み出す。まず，音響データ処理手段24
は，減算器58を制御してメモリアドレスカウンタ56の内
容から後述の手段によつてレジスタ73に設定された前記
T₁₀を減じ，セレクタ59を制御して減算器58の出力をメ
モリアドレスレジスタ51に書き込む。そして，音響デー
タ記憶手段26を制御し，メモリアドレスレジスタ51が示
すメモリ49内のデータすなわちT₁₀時間前のＸの値をメ
モリデータレジスタ50に読み出し，かつセレクタ60を制
御してレジスタ55に設定する。以上，式（１）のＸ（ｔ−T₁₀）の項を実現する手段
について述べた。次に，式（１）におけるK/T₁₀×Ｘ
（ｔ−T₁₀）の演算を行う出力音量制御手段27の実施例
について説明する。音響データ処理手段24は，後述の手段により読み出さ
れ設定されているレジスタ70の内容T₁₀を，割算器52を
制御してレジスタ53の内容Ｋで割る。レジスタ53の内容
Ｋは，情報処理手段５によって設定される。さらに，乗
算器54を制御して，割算器52の出力と前記レジスタ55の
内容Ｘ（ｔ−T₁₀）を乗算し，該出力すなわちY₁₁（ｔ）
をレジスタ74に設定する。このようにして求めたY₁₁（ｔ）は，音響データ処理
手段24によってレジスタ74から音バス31経由でDA変換器
20に送られ，フィルタ15を経由してアナログ信号に変換
され，音響出力手段10から出力される。以上，式（１）の一実施例を述べたが，一般的には前
記T₁₀は定数ではなく，時間と共に変化する関数T
₁₀（ｔ）で表される。次に，これを実現する一実施例を，第５図を用いて説
明する。本実施例では，前述のように時間ｔにおいてＸ（ｔ）
をメモリ49に書き込み，時間ｔよりT₁₀だけ前に書き込
まれた値を読み出す。すなわちＸ（ｔ）を書き込んだ時
点よりもT₁₀だけ後にT₁₀をＸ（ｔ−T₁₀）の処理に使用
する。このため，本発明では第５図中のむだ時間制御用
メモリ62を備えて，前記処理を実現する。音響データ処理手段24は，まず，メモリアドレスカウ
ンタ56の内容と情報処理手段によりレジスタ72に設定さ
れたT₁₀（ｔ）の値を加算し，セレクタ69を制御してメ
モリアドレスレジスタ67に設定する。これと並行して，
レジスタ72の内容をセレクタ68を制御してメモリデータ
レジスタ66に設定する。この後，メモリデータレジスタ
66の内容をメモリアドレスレジスタ67が示すむだ時間制
御用メモリ62内のアドレスに書き込む。この動作が終了すると，さらにメモリアドレスカウン
タ56の内容をセレクタ69を制御してメモリアドレスレジ
スタ67に設定し，該メモリアドレスレジスタ67が示すむ
だ時間制御用メモリ62内のアドレスの内容をメモリデー
タレジスタ66に読み出す。そして，該内容をセレクタ68
を制御し，レジスタ70に設定する。以上，式（１）に関する一実施例の詳細な手段を第５
図を用いて説明したが，式（２）から式（４）までは，
むだ時間制御用メモリを各式用にそれぞれ備え，出力制
御手段27およびむだ時間メモリ読み出し制御手段25を時
間的に分割して使用し，式（１）と同様な処理を行い，
音のステレオ化を実現する。なお，信号処理プロセッサ28は，情報処理手段５から
転送される前記圧縮符号化録音された音響データをCCIT
T G.721 ADPCMの方法で復元し，第６図のレジスタ61に
前記手段29の出力タイミングに合わせて設定する。ま
た，特公昭60-14360あるいは特公昭47-15402等に記載さ
れる方法を用いて音を合成し，第６図のレジスタ61に前
記手段29の出力タイミングに合わせて設定する。信号処
理プロセッサ28におけるこれらの処理の切り替えは，情
報処理手段５が主バス30を介して行う。さらに，第６図に示すように，第５図で示したステレ
オ化手段を複数備え，前記時分割制御を行い，信号処理
プロセッサ28で録音再生および合成した複数の音を情報
処理手段５によって設定された条件でステレオ化し，該
ステレオ化音の総和を積和演算器80で求め，該積和演算
器80の出力をDA変換器に出力する。次に，本発明の一応用例を第７図を用いて説明する。
第７図は表示手段１を正面から見たときの配置図を示し
ている。第７図において，符号90は前記仮想端末の仮想
画面を表しており，情報処理手段５の命令によって表示
処理手段２が生成し，文字，図形，画像及び／又は音を
表示する。前述のごとく，表示処理手段２は，情報処理
手段５の命令に従って該仮想画面の一部を視野として切
り出し，実端末である表示手段２の画面にウィンドウ91
として表示する。第７図中の符号91は，このウィンドウ
を表している。さらに，符号92は音響データの存在を示
すアイコンを表している。ただし，ウィンドウ91にはア
イコン92が表示されていないため，使用者にはその存在
位置は分からない。このような状況において，本発明の手段を用いて第７
図中のアイコンすなわち音響データの存在位置をステレ
オ音による距離感覚を利用して知らせる処理内容を述べ
る。情報処理手段５は，第７図に示した表示対象物の座
標を表示手段１の実画面座標系と個々の仮想画面座標系
の両方で管理している。ここで，情報処理手段５はアイ
コン92の表示座標値と表示手段１の実画面座標系の原点
93との差を計算し，該原点93とアイコン92との距離成分
であるXLとYLを求める。そして，距離感を持たせるために，第８図に示すよう
に仮想的な奥行き距離Ｌを導入し，ステレオ感を生成す
る。第８図において，符号10と11は第３図に示した音響出
力機器10と11を表す。情報処理手段５は，前記XLの大き
さを調べ，次式で表される演算を行い，第３図で説明し
たT₁₀とT₁₁を求め，第５図中のレジスタ72に設定する。（１）XL＜０の場合，（２）XL≧０の場合，情報処理手段５は，画面の縦方向すなわち第４図に示
した音響出力機器12と13への出力音を，上記式（５）〜
（８）中のXLをYLに置換えて，上記と同様な手続きで計
算し，第５図中のレジスタ72に設定する。このような処理を行い，ステレオ化された音を前記複
数の音響出力機器から出力し，表示手段上での各種対象
物の存在位置を知らせる。また，第７図のＬを対象物の
奥行き方向の位置にとることによって該対象物の３次元
空間での動きを聴覚的に使用者に伝えることができる。なお，第１図に示した本発明の実施例では，フィルタ
とDA変換器を一組とし，これを複数組備えてステレオ出
力する例を示したが，第９図に示すように１つのDA変換
器93を備え，これを時分割制御して使用し，この出力を
分配器94を用いて第１図に示したフィルタ15〜18に出力
する構成で実施することも可能である。

【発明の効果】

本発明の情報処理システムにより，ステレオ再生によ
って情感や臨場感を高め，表示手段上に表示されたマル
チメディアで表現された文書やカタログ等の内容及びイ
メージの理解を促進させることが出来ると共に，ステレ
オによる聴覚的距離感覚を利用し，操作あるいは着目し
たい対象の存在位置や動きを音で知らせることが出来る
ようになり，音の良さを活かした，より使い勝手の良い
システムを実現できる。

【図面の簡単な説明】

第１図は本発明の一実施例の情報処理システムの全体構
成を示すブロック図、第２図は音響出力機器の配置を示
す正面図、第３図および第４図はステレオ化方式の原理
説明図、第５図はステレオ化処理を行う詳細な手段を示
すブロック図、第６図は複数の音をステレオ化するため
の実施例の構成を示すブロック図、第７図および第８図
は本発明の情報処理システムでのステレオ出力の応用例
を示す説明図、第９図は音をステレオ化するための別の
実施例の構成を示すブロック図である。符号の説明１……表示手段、２……表示処理手段、３……表示手段
の画面内位置入力手段、４……文字入力手段、５……情
報処理手段、６……各種データ記憶手段、７……ファイ
リング手段、８……画像入力手段、９……音入力手段、
10,11,12および13……音響出力手段、14……周波数フィ
ルタリング手段、15,16,17および18……周波数フィルタ
リング手段、19……AD変換器、20,21,22および23……DA
変換器、24……音響データ処理手段、25……むだ時間メ
モリ読み出し制御手段、26……音響データ記憶手段、27
……出力音量制御手段、28……信号処理プロセッサ、29
……制御信号発生手段、31……音バス、30……主バス、
32……CD（コンパクディスク）装置。

Claims

(57)【特許請求の範囲】

【請求項１】文字、図形もしくは画像を表示する画面を
有する表示手段と、音響データを記憶する記憶手段と、
情報処理手段と、上記音響データより上記情報処理手段
の設定する条件にしたがってステレオ化音を生成する音
響処理手段と、上記ステレオ化音を出力する音響出力手
段とを有する情報処理システムにおいて、上記情報処理手段は、仮想画面を生成し、上記仮想画面
の部分領域を上記表示手段の画面に表示するとともに、
上記部分領域を基準とした上記仮想画面上の位置関係に
したがって上記ステレオ化音を生成する条件を設定する
ことを特徴とする情報処理システム。
【請求項２】請求項１記載の情報処理システムにおい
て、上記音響出力手段は上記表示手段の画面の上下左右に配
置される複数の音響出力装置を有し、上記音響処理手段は、水平方向の音の奥行きを示す音響
信号及び上下方向の音の奥行きを示す音響信号を生成
し、上記水平方向の音の奥行きを示す音響信号は左右の
音響出力装置に割り当てられ、上記上下方向の音の奥行
きを示す音響信号は上下の音響出力装置に割り当てられ
ることを特徴とする情報処理システム。
【請求項３】請求項２記載の情報処理システムにおい
て、上記音響信号は、相互に位相及び音圧差の双方もしくは
そのいずれかが異なることを特徴とする情報処理システ
ム。