JP2654543B2 - 音響ディスプレイ装置 - Google Patents
音響ディスプレイ装置Info
- Publication number
- JP2654543B2 JP2654543B2 JP6211644A JP21164494A JP2654543B2 JP 2654543 B2 JP2654543 B2 JP 2654543B2 JP 6211644 A JP6211644 A JP 6211644A JP 21164494 A JP21164494 A JP 21164494A JP 2654543 B2 JP2654543 B2 JP 2654543B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- information
- event
- unit
- cursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【産業上の利用分野】本発明は計算機システムのユーザ
・インタフェースに関し、特に視覚フィードバックなし
にグラフィカル・ユーザ・インタフェース（以下ＧＵ
Ｉ）を利用することが可能な音響ディスプレイ装置に関
するものである。
・インタフェースに関し、特に視覚フィードバックなし
にグラフィカル・ユーザ・インタフェース（以下ＧＵ
Ｉ）を利用することが可能な音響ディスプレイ装置に関
するものである。
【０００２】
【従来の技術】ＧＵＩは２次元的な情報の提示手法を用
いることで、柔軟で幅の広い情報提示を実現した。しか
し、ＧＵＩは視覚的情報提示手段に頼っているため、ユ
ーザは常にＣＲＴディスプレイを凝視していなければ操
作を行うことが困難であった。
いることで、柔軟で幅の広い情報提示を実現した。しか
し、ＧＵＩは視覚的情報提示手段に頼っているため、ユ
ーザは常にＣＲＴディスプレイを凝視していなければ操
作を行うことが困難であった。
【０００３】ＧＵＩにおける動的情報（状態変化）を聴
覚的情報提示で表現しようとした動的情報音響表示装置
としてシナジー・エフエックス（ＳＹＮＡＧＹ／ＦＸ）
などが商品として知られている（参考文献：シナジー
ユーザーズガイド／リファレンス、ｐｐ．７９−８９、
アスキー出版）。シナジー・エフエックス（ＳＹＮＡＧ
Ｙ／ＦＸ）では、例えばウィンドウのアイコン化、ウィ
ンドウの最大化、アプリケーションの起動、ボタン押
下、メニュー選択などに対して音響提示を行うことがで
きる。こういった機能は例えば図６で示す装置構成でで
実現可能である。
覚的情報提示で表現しようとした動的情報音響表示装置
としてシナジー・エフエックス（ＳＹＮＡＧＹ／ＦＸ）
などが商品として知られている（参考文献：シナジー
ユーザーズガイド／リファレンス、ｐｐ．７９−８９、
アスキー出版）。シナジー・エフエックス（ＳＹＮＡＧ
Ｙ／ＦＸ）では、例えばウィンドウのアイコン化、ウィ
ンドウの最大化、アプリケーションの起動、ボタン押
下、メニュー選択などに対して音響提示を行うことがで
きる。こういった機能は例えば図６で示す装置構成でで
実現可能である。
【０００４】すなわち、ユーザが対話システム１０にお
いて操作を行うと、対話システム１０ではイベントが発
生するが、動的情報音響変換部４０のイベント取得部４
０１はそのイベント情報を取得し、イベント音制御部４
０２に入力する。イベント音制御部４０２はイベント音
対応テーブル４０３を用いて入力されたイベント情報か
ら音響情報を決定し、この音響情報を発音部３０が出力
するものである。
いて操作を行うと、対話システム１０ではイベントが発
生するが、動的情報音響変換部４０のイベント取得部４
０１はそのイベント情報を取得し、イベント音制御部４
０２に入力する。イベント音制御部４０２はイベント音
対応テーブル４０３を用いて入力されたイベント情報か
ら音響情報を決定し、この音響情報を発音部３０が出力
するものである。
【０００５】
【発明が解決しようとする課題】以上述べた構造におい
ては、ＧＵＩを有する対話システムにおいてイベントが
発生したとき、つまりユーザがなんらかの操作を行い対
話システムの状態が変化したとき、そのイベントに対応
した音響情報が出力されるのみであり、操作前の対話オ
ブジェクトの静的な情報を音響情報によりユーザが得る
ことはできなかった。つまり、ユーザは音響表示によっ
て操作の確認を行うことはできても、操作の対象となる
対話オブジェクトを音響表示をたよりに探索することは
できなかった。
ては、ＧＵＩを有する対話システムにおいてイベントが
発生したとき、つまりユーザがなんらかの操作を行い対
話システムの状態が変化したとき、そのイベントに対応
した音響情報が出力されるのみであり、操作前の対話オ
ブジェクトの静的な情報を音響情報によりユーザが得る
ことはできなかった。つまり、ユーザは音響表示によっ
て操作の確認を行うことはできても、操作の対象となる
対話オブジェクトを音響表示をたよりに探索することは
できなかった。
【０００６】本発明の目的は、このような従来の欠点を
除去するため、画面上でカーソルを移動するだけでカー
ソル下に存在する対話オブジェクトの情報を音響表示す
る音響ディスプレイ装置を提供することにある。
除去するため、画面上でカーソルを移動するだけでカー
ソル下に存在する対話オブジェクトの情報を音響表示す
る音響ディスプレイ装置を提供することにある。
【０００７】
【課題を解決するための手段】本発明における音響ディ
スプレイ装置はＧＵＩを有する対話システムと、前記対
話システムにおいて、カーソル座標に存在するＧＵＩの
対話オブジェクトの静的な情報を音響情報に変換する静
的情報音響変換部と、前記静的情報音響変換部で決定さ
れた音響情報を出力する発音部と、を備えている。
スプレイ装置はＧＵＩを有する対話システムと、前記対
話システムにおいて、カーソル座標に存在するＧＵＩの
対話オブジェクトの静的な情報を音響情報に変換する静
的情報音響変換部と、前記静的情報音響変換部で決定さ
れた音響情報を出力する発音部と、を備えている。
【０００８】また、本発明における音響ディスプレイ装
置は、ＧＵＩを有する対話システムと、前記対話システ
ムにおいて、カーソル座標に存在するＧＵＩの対話オブ
ジェクトの静的な情報を音響情報に変換する静的情報音
響変換部と、前記対話システムの状態変化を音響情報に
変換する動的情報音響変換部と、前記静的情報音響変換
部と前記動的情報音響変換部で決定された音響情報を出
力する発音部と、を備えている。
置は、ＧＵＩを有する対話システムと、前記対話システ
ムにおいて、カーソル座標に存在するＧＵＩの対話オブ
ジェクトの静的な情報を音響情報に変換する静的情報音
響変換部と、前記対話システムの状態変化を音響情報に
変換する動的情報音響変換部と、前記静的情報音響変換
部と前記動的情報音響変換部で決定された音響情報を出
力する発音部と、を備えている。
【０００９】また、本発明の一つの態様においては前記
静的情報音響変換部は、前記対話システムよりカーソル
移動のイベントを取得するカーソル移動イベント取得部
と、前記対話システムよりカーソル座標を取得するカー
ソル座標取得部と、前記カーソル座標取得部で得られた
カーソル座標に存在する対話オブジェクトの情報をオブ
ジェクト情報として前記対話システムより取得するオブ
ジェクト情報取得部と前記オブジェクト情報の履歴を記
憶するヒストリ管理部と、前記オブジェクト情報と音響
情報の対応を示すオブジェクト音対応テーブルと、前記
ヒストリ管理部と前記オブジェクト音対応テーブルを用
いて音響情報を決定するオブジェクト音制御部と、から
構成される。
静的情報音響変換部は、前記対話システムよりカーソル
移動のイベントを取得するカーソル移動イベント取得部
と、前記対話システムよりカーソル座標を取得するカー
ソル座標取得部と、前記カーソル座標取得部で得られた
カーソル座標に存在する対話オブジェクトの情報をオブ
ジェクト情報として前記対話システムより取得するオブ
ジェクト情報取得部と前記オブジェクト情報の履歴を記
憶するヒストリ管理部と、前記オブジェクト情報と音響
情報の対応を示すオブジェクト音対応テーブルと、前記
ヒストリ管理部と前記オブジェクト音対応テーブルを用
いて音響情報を決定するオブジェクト音制御部と、から
構成される。
【００１０】
【作用】本発明においては、静的情報音響変換部を設け
ることにより、ＧＵＩを有する対話システムにおいてカ
ーソル座標に存在する対話オブジェクトの情報を音響情
報に変換しユーザに音響提示する。したがってユーザは
カーソルを移動することで、操作対象である対話オブジ
ェクトを探索することができる。また、動的情報音響変
換部では対話システムのイベントを音響情報に変換しユ
ーザに音響提示する。したがってユーザはシステムの状
態変化を音響で確認することができる。
ることにより、ＧＵＩを有する対話システムにおいてカ
ーソル座標に存在する対話オブジェクトの情報を音響情
報に変換しユーザに音響提示する。したがってユーザは
カーソルを移動することで、操作対象である対話オブジ
ェクトを探索することができる。また、動的情報音響変
換部では対話システムのイベントを音響情報に変換しユ
ーザに音響提示する。したがってユーザはシステムの状
態変化を音響で確認することができる。
【００１１】以上の構成によりユーザは、操作対象オブ
ジェクトの探索→操作→状態変化確認というＧＵＩにお
ける一連の作業を、視覚フィードバックに頼ることなく
行うことが可能となる。
ジェクトの探索→操作→状態変化確認というＧＵＩにお
ける一連の作業を、視覚フィードバックに頼ることなく
行うことが可能となる。
【００１２】
【実施例】次に図１から図５を参照して本発明の実施例
について説明する。
について説明する。
【００１３】図１は本発明の一実施例である音響ディス
プレイ装置の構成図で、ＧＵＩを有する対話システム１
０と、カーソル座標に存在する対話オブジェクトの静的
な情報を音響情報に変換する静的情報音響変換部２０
と、対話システムにおけるイベントを音響情報に変換す
る動的情報音響変換部４０と、静的情報音響変換部２０
と動的情報音響変換部４０で決定された音響情報を実際
の音として出力する発音部３０とから構成される。
プレイ装置の構成図で、ＧＵＩを有する対話システム１
０と、カーソル座標に存在する対話オブジェクトの静的
な情報を音響情報に変換する静的情報音響変換部２０
と、対話システムにおけるイベントを音響情報に変換す
る動的情報音響変換部４０と、静的情報音響変換部２０
と動的情報音響変換部４０で決定された音響情報を実際
の音として出力する発音部３０とから構成される。
【００１４】静的情報音響変換部２０は、対話システム
１０よりカーソル移動のイベントを取得するカーソル移
動イベント取得部２０１と、対話システム１０よりカー
ソル座標を取得するカーソル座標取得部２０２と、カー
ソル座標取得部２０２で得られたカーソル座標に存在す
る対話オブジェクトの情報を対話システム１０より取得
するオブジェクト情報取得部２０３と、オブジェクト情
報取得部２０３で取得された対話オブジェクト情報の履
歴を記憶するヒストリ管理部２０５と、オブジェクト情
報取得部２０３で得られる対話オブジェクト情報と音響
情報の対応を示すオブジェクト音対応テーブル２０６
と、ヒストリ管理部２０５とオブジェクト音対応テーブ
ル２０６を用いて出力する音響情報を決定するオブジェ
クト音制御部２０４と、から構成される。
１０よりカーソル移動のイベントを取得するカーソル移
動イベント取得部２０１と、対話システム１０よりカー
ソル座標を取得するカーソル座標取得部２０２と、カー
ソル座標取得部２０２で得られたカーソル座標に存在す
る対話オブジェクトの情報を対話システム１０より取得
するオブジェクト情報取得部２０３と、オブジェクト情
報取得部２０３で取得された対話オブジェクト情報の履
歴を記憶するヒストリ管理部２０５と、オブジェクト情
報取得部２０３で得られる対話オブジェクト情報と音響
情報の対応を示すオブジェクト音対応テーブル２０６
と、ヒストリ管理部２０５とオブジェクト音対応テーブ
ル２０６を用いて出力する音響情報を決定するオブジェ
クト音制御部２０４と、から構成される。
【００１５】動的情報音響変換部４０は、図６に従来技
術として示した動的情報音響変換部と同様の構成であ
る。したがって、図６と同一の参照番号を用いて示し、
再度の説明は行わない。
術として示した動的情報音響変換部と同様の構成であ
る。したがって、図６と同一の参照番号を用いて示し、
再度の説明は行わない。
【００１６】以下まず、図１の音響ディスプレイ装置の
静的情報音響変換部２０について、その処理手順に従っ
て説明する。
静的情報音響変換部２０について、その処理手順に従っ
て説明する。
【００１７】ＧＵＩを有する対話システム１０はさまざ
まな状態変化に応じてイベントを発生するが、カーソル
移動イベント取得部２０１はカーソル移動イベントを常
に監視し、カーソル移動イベントが発生すると、発音ト
リガをカーソル座標取得部２０２に入力する。カーソル
座標取得部２０２は、カーソル移動イベント取得部２０
１から発音トリガが入力されると直ちに対話システム１
０よりカーソル座標を取得し、オブジェクト情報取得部
２０３に入力する。次に、オブジェクト情報取得部２０
３はカーソル座標取得部２０２より入力されたカーソル
座標を用いて、その座標に存在する対話オブジェクトの
情報（例えば、種類、タイトル名、状態、オブジェクト
の親ウィンドウのタイトル名、など）を取得し、得られ
たオブジェクト情報をオブジェクト音制御部２０４へ入
力する。
まな状態変化に応じてイベントを発生するが、カーソル
移動イベント取得部２０１はカーソル移動イベントを常
に監視し、カーソル移動イベントが発生すると、発音ト
リガをカーソル座標取得部２０２に入力する。カーソル
座標取得部２０２は、カーソル移動イベント取得部２０
１から発音トリガが入力されると直ちに対話システム１
０よりカーソル座標を取得し、オブジェクト情報取得部
２０３に入力する。次に、オブジェクト情報取得部２０
３はカーソル座標取得部２０２より入力されたカーソル
座標を用いて、その座標に存在する対話オブジェクトの
情報（例えば、種類、タイトル名、状態、オブジェクト
の親ウィンドウのタイトル名、など）を取得し、得られ
たオブジェクト情報をオブジェクト音制御部２０４へ入
力する。
【００１８】ここで、カーソルの移動はある時間をもっ
て連続におこるため、カーソル移動イベントは連続的に
発生する。これは、例えばカーソルが同一対話オブジェ
クト上で移動した場合、同一のオブジェクト情報が連続
的にオブジェクト音制御部２０４に入力されることを意
味している。
て連続におこるため、カーソル移動イベントは連続的に
発生する。これは、例えばカーソルが同一対話オブジェ
クト上で移動した場合、同一のオブジェクト情報が連続
的にオブジェクト音制御部２０４に入力されることを意
味している。
【００１９】そこで、ヒストリ管理部２０５は、過去に
オブジェクト音制御部２０４に入力されたオブジェクト
情報を少なくとも１回分記憶している。オブジェクト音
制御部２０４は新たにオブジェクト情報が入力されたと
き、ヒストリ管理部２０５に記憶されている最新のヒス
トリ情報と入力されたオブジェクト情報を比較し、それ
が異なっていた場合、オブジェクト音対応テーブル２０
６を用いてオブジェクト情報取得部２０３より入力され
たオブジェクト情報に対応する音響情報を決定し、その
音響情報を発音部３０へ入力する。発音部３０は入力さ
れた音響情報を直ちに発音する。
オブジェクト音制御部２０４に入力されたオブジェクト
情報を少なくとも１回分記憶している。オブジェクト音
制御部２０４は新たにオブジェクト情報が入力されたと
き、ヒストリ管理部２０５に記憶されている最新のヒス
トリ情報と入力されたオブジェクト情報を比較し、それ
が異なっていた場合、オブジェクト音対応テーブル２０
６を用いてオブジェクト情報取得部２０３より入力され
たオブジェクト情報に対応する音響情報を決定し、その
音響情報を発音部３０へ入力する。発音部３０は入力さ
れた音響情報を直ちに発音する。
【００２０】発音部３０としてはＰＣＭファイル再生装
置、音声合成装置、ＭＩＤＩ音源を用いる方法等が挙げ
られる。
置、音声合成装置、ＭＩＤＩ音源を用いる方法等が挙げ
られる。
【００２１】一方、動的情報音響変換部４０では、イベ
ント取得部４０１がイベント情報を取得し、イベント音
制御部４０２に入力する。イベント音制御部４０２はイ
ベント音対応テーブル４０３を用いて入力されたイベン
ト情報から音響情報を決定し、この音響情報を発音部３
０が出力する。
ント取得部４０１がイベント情報を取得し、イベント音
制御部４０２に入力する。イベント音制御部４０２はイ
ベント音対応テーブル４０３を用いて入力されたイベン
ト情報から音響情報を決定し、この音響情報を発音部３
０が出力する。
【００２２】図２はイベント音対応テーブル４０３の一
例である。図３はオブジェクト音対応テーブル２０６の
一例を示す。
例である。図３はオブジェクト音対応テーブル２０６の
一例を示す。
【００２３】まず、イベント音対応テーブル４０３およ
びオブジェクト音対応テーブル２０６の記述（一例）に
ついて簡単に説明する。
びオブジェクト音対応テーブル２０６の記述（一例）に
ついて簡単に説明する。
【００２４】イベント音対応テーブル４０３は、対話シ
ステムにおいて発生する各種イベントとそれに対応する
音響情報を定義する。オブジェクト音対応テーブル２０
６はオブジェクト情報取得部２０３によって得られるオ
ブジェクト情報とそれに対応する音響情報を定義する。
ステムにおいて発生する各種イベントとそれに対応する
音響情報を定義する。オブジェクト音対応テーブル２０
６はオブジェクト情報取得部２０３によって得られるオ
ブジェクト情報とそれに対応する音響情報を定義する。
【００２５】イベント音対応テーブル４０３およびオブ
ジェクト音対応テーブル２０６において、出力形式欄が
ＰＣＭ出力の場合は、出力データ欄には出力されるＰＣ
Ｍファイル名が記述されている。一方、出力形式欄が音
声出力の場合は、出力データ欄には音声合成される文字
列が記述される。このとき“ ”で囲まれた部分は変数
である。例えば図３のオブジェクト音対応テーブル２０
６の出力データ欄に「“タイトル名”メニューです」と
いう文字列が存在するが、この文字列の“タイトル名”
の部分は変数であり、ここにはオブジェクト情報の一つ
としてオブジェクト音制御部２０４に入力されたオブジ
ェクトのタイトル名が随時代入される。
ジェクト音対応テーブル２０６において、出力形式欄が
ＰＣＭ出力の場合は、出力データ欄には出力されるＰＣ
Ｍファイル名が記述されている。一方、出力形式欄が音
声出力の場合は、出力データ欄には音声合成される文字
列が記述される。このとき“ ”で囲まれた部分は変数
である。例えば図３のオブジェクト音対応テーブル２０
６の出力データ欄に「“タイトル名”メニューです」と
いう文字列が存在するが、この文字列の“タイトル名”
の部分は変数であり、ここにはオブジェクト情報の一つ
としてオブジェクト音制御部２０４に入力されたオブジ
ェクトのタイトル名が随時代入される。
【００２６】以下、図１の音響ディスプレイ装置の動作
をその処理手順に従って説明する。図４、図５は音響デ
ィスプレイ装置の利用イメージ図である。
をその処理手順に従って説明する。図４、図５は音響デ
ィスプレイ装置の利用イメージ図である。
【００２７】図４において矢印であるカーソルが５０１
に示す位置に移動したとき、カーソル移動イベント取得
部２０１とイベント取得部４０１は、対話システム１０
よりカーソル移動イベントを取得する。このときイベン
ト取得部４０１はカーソル移動イベントをイベント音制
御部４０２に入力するが、イベント音対応テーブル４０
３（図２参照）のイベント欄にカーソル移動イベントが
存在しないときは、処理をここで中止する。
に示す位置に移動したとき、カーソル移動イベント取得
部２０１とイベント取得部４０１は、対話システム１０
よりカーソル移動イベントを取得する。このときイベン
ト取得部４０１はカーソル移動イベントをイベント音制
御部４０２に入力するが、イベント音対応テーブル４０
３（図２参照）のイベント欄にカーソル移動イベントが
存在しないときは、処理をここで中止する。
【００２８】一方、カーソル移動イベント取得部２０１
は、発音トリガをカーソル座標取得部２０２に入力す
る。カーソル座標取得部２０２は対話システム１０より
その時点でのカーソル座標を取得し、オブジェクト情報
取得部２０３に入力する。オブジェクト情報取得部２０
３は、カーソル座標取得部２０２より得られたカーソル
座標に存在するオブジェクト情報を、対話システム１０
より取得する。この場合は、例えば＜種類＝メニュー、
タイトル名＝ファイル、親ウィンドウ名＝メモ帳＞とい
うオブジェクト情報が得られ、その情報がオブジェクト
音制御部２０４に入力される。
は、発音トリガをカーソル座標取得部２０２に入力す
る。カーソル座標取得部２０２は対話システム１０より
その時点でのカーソル座標を取得し、オブジェクト情報
取得部２０３に入力する。オブジェクト情報取得部２０
３は、カーソル座標取得部２０２より得られたカーソル
座標に存在するオブジェクト情報を、対話システム１０
より取得する。この場合は、例えば＜種類＝メニュー、
タイトル名＝ファイル、親ウィンドウ名＝メモ帳＞とい
うオブジェクト情報が得られ、その情報がオブジェクト
音制御部２０４に入力される。
【００２９】オブジェクト音制御部２０４はヒストリ管
理部２０５に記憶されるオブジェクト情報の最新のヒス
トリを参照し、それが入力されたオブジェクト情報と一
致した場合は、処理を打ち止める。最新のヒストリが、
入力されたオブジェクト情報と一致しなかった場合、オ
ブジェクト音制御部２０４はオブジェクト音対応テーブ
ル２０６を参照する。この場合、オブジェクト音対応テ
ーブル２０６のオブジェクト欄のメニューに対応する音
響情報欄は、＜出力形式＝音声出力、出力データ＝
「“タイトル名”メニューです」＞となっている。ここ
でまず、出力データ欄の文字列中の“タイトル名”とい
う変数にオブジェクト音制御部２０４に入力されたオブ
ジェクト情報のうちのタイトル名である＜ファイル＞を
文字列として代入する。この結果として、オブジェクト
音制御部２０４は入力されたオブジェクト情報に対応す
る音響情報として＜出力形式＝音声出力、出力データ＝
「ファイルメニューです」＞を得て、それを発音部３０
に入力する。発音部３０はこの場合、音声合成装置を用
いて「ファイルメニューです」という音声を発音する
（図４参照）。この音響提示をたよりに、ユーザは操作
を行いたい対話オブジェクトの探索を行うことができ
る。
理部２０５に記憶されるオブジェクト情報の最新のヒス
トリを参照し、それが入力されたオブジェクト情報と一
致した場合は、処理を打ち止める。最新のヒストリが、
入力されたオブジェクト情報と一致しなかった場合、オ
ブジェクト音制御部２０４はオブジェクト音対応テーブ
ル２０６を参照する。この場合、オブジェクト音対応テ
ーブル２０６のオブジェクト欄のメニューに対応する音
響情報欄は、＜出力形式＝音声出力、出力データ＝
「“タイトル名”メニューです」＞となっている。ここ
でまず、出力データ欄の文字列中の“タイトル名”とい
う変数にオブジェクト音制御部２０４に入力されたオブ
ジェクト情報のうちのタイトル名である＜ファイル＞を
文字列として代入する。この結果として、オブジェクト
音制御部２０４は入力されたオブジェクト情報に対応す
る音響情報として＜出力形式＝音声出力、出力データ＝
「ファイルメニューです」＞を得て、それを発音部３０
に入力する。発音部３０はこの場合、音声合成装置を用
いて「ファイルメニューです」という音声を発音する
（図４参照）。この音響提示をたよりに、ユーザは操作
を行いたい対話オブジェクトの探索を行うことができ
る。
【００３０】さらに図５に示すごとく、ユーザが実際に
ファイルメニューに対して操作を行い、メニューをオー
プンしたとする。このとき対話システム１０ではメニュ
ーオープンイベントが発生する。イベント取得部４０１
はこのメニューオープンイベントを取得し、イベント音
制御部４０２に入力する。イベント音制御部４０２は図
２のイベント音対応テーブル４０３を参照し、メニュー
オープンに対応する＜出力形式＝ＰＣＭ出力、出力デー
タ＝ｏｐｅｎ．ｗａｖ＞という音響情報を得て、発音部
３０に入力する。発音部はＰＣＭ出力装置を用いてｏｐ
ｅｎ．ｗａｖファイルを出力する。ユーザはこの音響提
示を聞くことで、実際にメニューがオープンしたことを
確認することができる（図５参照）。
ファイルメニューに対して操作を行い、メニューをオー
プンしたとする。このとき対話システム１０ではメニュ
ーオープンイベントが発生する。イベント取得部４０１
はこのメニューオープンイベントを取得し、イベント音
制御部４０２に入力する。イベント音制御部４０２は図
２のイベント音対応テーブル４０３を参照し、メニュー
オープンに対応する＜出力形式＝ＰＣＭ出力、出力デー
タ＝ｏｐｅｎ．ｗａｖ＞という音響情報を得て、発音部
３０に入力する。発音部はＰＣＭ出力装置を用いてｏｐ
ｅｎ．ｗａｖファイルを出力する。ユーザはこの音響提
示を聞くことで、実際にメニューがオープンしたことを
確認することができる（図５参照）。
【００３１】
【発明の効果】本発明においては、静的情報音響変換部
を備えることで、カーソル座標に存在する対話オブジェ
クトの静的な情報を音響提示によって知ることができ
る。これによって、ユーザは視覚フィードバックに頼る
ことなく、対話オブジェクトの探索を行うことができ
る。
を備えることで、カーソル座標に存在する対話オブジェ
クトの静的な情報を音響提示によって知ることができ
る。これによって、ユーザは視覚フィードバックに頼る
ことなく、対話オブジェクトの探索を行うことができ
る。
【００３２】また、静的情報音響変換部と動的情報音響
変換部を双方備えることで、オブジェクト探索→操作→
状態変化確認、という一連の作業を視覚フィードバック
に頼ることなく行うことができる。
変換部を双方備えることで、オブジェクト探索→操作→
状態変化確認、という一連の作業を視覚フィードバック
に頼ることなく行うことができる。
【図１】実施例における、音響ディスプレイ装置の構成
図である。
図である。
【図２】実施例である音響ディスプレイ装置における、
イベント音対応テーブルを示す図である。
イベント音対応テーブルを示す図である。
【図３】実施例である音響ディスプレイ装置における、
オブジェクト音対応テーブルを示す図である。
オブジェクト音対応テーブルを示す図である。
【図４】実施例である音響ディスプレイ装置における、
静的情報音響提示に関するイメージ図である。
静的情報音響提示に関するイメージ図である。
【図５】実施例である音響ディスプレイ装置における、
動的情報音響提示に関するイメージ図である。
動的情報音響提示に関するイメージ図である。
【図６】従来の動的情報音響変換装置を示す構成図であ
る。
る。
１０ 対話システム ２０ 静的情報音響変換部 ３０ 発音部 ４０ 動的情報音響変換部 ２０１ カーソル移動イベント取得部 ２０２ カーソル座標取得部 ２０３ オブジェクト情報取得部 ２０４ オブジェクト音制御部 ２０５ ヒストリ管理部 ２０６ オブジェクト音対応テーブル ４０１ イベント取得部 ４０２ イベント音制御部 ４０３ イベント音対応テーブル ５０１ カーソル
Claims (3)
- 【請求項１】グラフィカル・ユーザ・インタフェースを
有する対話システムと、 前記対話システムにおいて、カーソル座標に存在するグ
ラフィカル・ユーザ・インタフェースの対話オブジェク
トの静的な情報を音響情報に変換する静的情報音響変換
部と、 前記静的情報音響変換部で決定された音響情報を出力す
る発音部と、を備え、 前記静的情報音響変換部が、 前記対話システムよりカーソル移動のイベントを取得す
るカーソル移動イベント取得部と、 前記カーソル移動イベント取得部がカーソル移動のイベ
ントを取得したときに、前記対話システムよりカーソル
座標を取得するカーソル座標取得部と、 前記カーソル座標取得部で得られたカーソル座標に存在
する対話オブジェクトの情報をオブジェクト情報として
前記対話システムより取得するオブジェクト情報取得部
と、 前記オブジェクト情報の履歴を記憶するヒストリ管理部
と、 前記オブジェクト情報と音響情報の対応を示すオブジェ
クト音対応テーブルと、 前記ヒストリ管理部と前記オブジェクト音対応テーブル
を用いて音響情報を決定するオブジェクト音制御部と、 から構成される音響ディスプレイ装置。 - 【請求項２】請求項１に記載の音響ディスプレイ装置に
おいて、 前記対話システムの状態変化を音響情報に変換する動的
情報音響変換部と、を更に備え、 前記発音部が、前記静的情報音響変換部と前記動的情報
音響変換部で決定された音響情報を出力することを特徴
とする音響ディスプレイ装置。 - 【請求項３】請求項２に記載の音響ディスプレイ装置に
おいて、 前記動的情報音響変換部が、 前記対話システムよりイベント情報を取得するイベント
取得部と、 前記イベント情報と音響情報の対応を示すイベント音対
応テーブルと、 前記イベント取得部で得られたイベント情報から、前記
イベント音対応テーブルを用いて音響情報を決定するイ
ベント音制御部と、 から構成されることを特徴とする音響ディスプレイ装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6211644A JP2654543B2 (ja) | 1994-09-06 | 1994-09-06 | 音響ディスプレイ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6211644A JP2654543B2 (ja) | 1994-09-06 | 1994-09-06 | 音響ディスプレイ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0876968A JPH0876968A (ja) | 1996-03-22 |
| JP2654543B2 true JP2654543B2 (ja) | 1997-09-17 |
Family
ID=16609203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6211644A Expired - Fee Related JP2654543B2 (ja) | 1994-09-06 | 1994-09-06 | 音響ディスプレイ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2654543B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1083269A (ja) * | 1996-09-09 | 1998-03-31 | Nec Corp | ユーザインタフェース変換装置 |
| US20060026531A1 (en) * | 2004-07-29 | 2006-02-02 | Sony Coporation | State-based computer help utility |
| GB2445603A (en) * | 2007-01-11 | 2008-07-16 | Peter John Charles Spurgeon | Audio description of controls |
| KR101314262B1 (ko) * | 2010-11-11 | 2013-10-14 | (주) 에스엔아이솔라 | 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02228729A (ja) * | 1989-03-01 | 1990-09-11 | Fujitsu Ltd | マルチウインドウシステムの入力音発生装置 |
| EP0607727A1 (en) * | 1992-12-22 | 1994-07-27 | International Business Machines Corporation | Method and system for nonvisual status determination of multistate graphic objects in a data processing system |
-
1994
- 1994-09-06 JP JP6211644A patent/JP2654543B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0876968A (ja) | 1996-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5223828A (en) | Method and system for enabling a blind computer user to handle message boxes in a graphical user interface | |
| Brewster | Nonspeech auditory output | |
| JP3725566B2 (ja) | 音声認識インターフェース | |
| US5374924A (en) | Computer user interface with stereo and filtered sound effects | |
| JPH07200230A (ja) | オブジェクト指向ユーザ・インターフェイス内にマルチメディア表現を統合する方法及びシステム | |
| JP2001014319A (ja) | ハイパーテキストアクセス装置 | |
| JPH0721750B2 (ja) | 盲目或いは視覚障害のコンピュータ・ユーザのための表示要素のグラフィック的選択方法及び装置 | |
| Mynatt | Auditory presentation of graphical user interfaces | |
| JPH0651930A (ja) | 計算機 | |
| Rigas | Guidelines for auditory interface design: an empirical investigation | |
| JPH07311677A (ja) | 操作処理装置 | |
| JP2654543B2 (ja) | 音響ディスプレイ装置 | |
| JP3340581B2 (ja) | テキスト読み上げ装置及びウインドウシステム | |
| JP2001051759A (ja) | 操作反応音生成装置及び操作反応音生成プログラムを記録した記録媒体 | |
| JP7230803B2 (ja) | 情報処理装置および情報処理方法 | |
| JP4613890B2 (ja) | 電子音楽装置 | |
| JP2006189799A (ja) | 選択可能な音声パターンの音声入力方法及び装置 | |
| KR20000030906A (ko) | 음성 인식과 음성 합성을 이용한 컴퓨터에서의 명령 실행방법 및 어플리케이션 프로그램에서의 선택된 텍스트를음성으로 변환하여 출력하기 위한 방법 | |
| JPH09127970A (ja) | 合成音声の音声特性を修正するための方法と装置 | |
| JPH0793353A (ja) | 情報検索装置 | |
| JP3963349B2 (ja) | 対話型番組提示装置及び対話型番組提示プログラム | |
| JPH0744343A (ja) | 操作支援情報自動生成装置 | |
| Karshmer et al. | Equal access to information for all: making the world of electronic information more accessible to the handicapped in our society | |
| JPH08166867A (ja) | 音声ガイダンス装置 | |
| JP3077724B2 (ja) | メニュー選択方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970401 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |