JPH0883156A - Graphical user interface operating device for visually handicapped person - Google Patents
Graphical user interface operating device for visually handicapped personInfo
- Publication number
- JPH0883156A JPH0883156A JP6219662A JP21966294A JPH0883156A JP H0883156 A JPH0883156 A JP H0883156A JP 6219662 A JP6219662 A JP 6219662A JP 21966294 A JP21966294 A JP 21966294A JP H0883156 A JPH0883156 A JP H0883156A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- output
- interactive
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明はパーソナルコンピュータ
などの対話型情報処理システムにおいて、近年主流とな
りつつあるグラフィカル・ユーザ・インタフェース（Ｇ
ＵＩ）を視覚障害者が操作するための装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a graphical user interface (G) which has become mainstream in recent years in an interactive information processing system such as a personal computer.
The present invention relates to a device for visually impaired person to operate UI.
【０００２】[0002]
【従来の技術】従来の情報処理システムは、文字ベース
のオペレーティングシステム（例えば米国マイクロソフ
ト社のエムエス・ドス）を有しており、入力したコマン
ドや画面に表示されている文字列の合成音声による読み
上げや、点字ディスプレイへの表示により視覚障害者に
も利用可能であった。例えば、北風氏の「福祉分野にお
けるパーソナルインタフェースの研究」（情報処理学会
ヒュ−マンインタフェース研究会報告，９２巻，１５
号，１９９２）の中で述べられている「ブレイル・パー
トナー」等を用いて視覚障害者はパーソナルコンピュー
タを利用できる。2. Description of the Related Art A conventional information processing system has a character-based operating system (for example, MS Dos of Microsoft Corporation in the United States) and reads aloud a synthetic voice of an input command or a character string displayed on the screen. Also, it was possible to use it for the visually impaired by displaying it on the braille display. For example, Mr. Kitakaze's "Research on personal interface in the field of welfare" (Information Processing Society Human Interface Research Group report, Vol. 92, 15)
No. 1992), "Brail Partner" and the like can be used by the visually impaired to use a personal computer.
【０００３】上記のような音声出力に代表される視覚障
害者向け情報提示機能を持つ装置は、例えば図８の構成
で実現可能である。これらの装置は、キャラクタベース
対話システム３１０の中で、中央処理装置３１１で処理
された後キャラクタディスプレイ３１２に表示される文
字データを画面表示監視部３２０が参照し情報提示手段
３６０へ渡すという動作を基本としている。この基本構
成に加えて、音声を利用した場合の聞き逃しや、ワード
プロセッサーなど画面上の自由位置での編集が可能なア
プリケーションの操作に対応するため、出力済みの文字
を保存する画面情報保持部３３０を設ける。画面情報保
持部３３０には、画面表示監視部３２０から情報提示手
段３６０に送るデータと同じデータが送られており、そ
のデータを基に仮想画面生成部３２１はキャラクタディ
スプレイ３１２と同じ文字配置を再現した仮想画面を仮
想画面用バッファ３３２上に生成する。情報再提示要求
手段３５０から情報再提示の要求および再提示する画面
上の位置等の指定がなされると、出力データ取得部３４
０は上記画面情報保持部３３０より出力すべきデータを
取得し情報提示手段３６０へ渡す。A device having an information presentation function for visually impaired persons, represented by the above-described voice output, can be realized by the configuration shown in FIG. In the character-based dialogue system 310, these devices perform an operation of referring to the character data displayed on the character display 312 after being processed by the central processing unit 311 by the screen display monitoring unit 320 and passing it to the information presenting means 360. It is based. In addition to this basic configuration, the screen information holding unit 330 that saves the characters that have been output in order to respond to the missed hearing when using voice and the operation of an application such as a word processor that can be edited at free positions on the screen. To provide. The same data as the data sent from the screen display monitoring unit 320 to the information presenting means 360 is sent to the screen information holding unit 330, and the virtual screen generation unit 321 reproduces the same character arrangement as the character display 312 based on the data. The created virtual screen is generated on the virtual screen buffer 332. When the information re-presentation request means 350 requests the information re-presentation and specifies the position on the screen to be re-presented, the output data acquisition unit 34.
0 acquires the data to be output from the screen information holding unit 330 and passes it to the information presenting means 360.
【０００４】[0004]
【発明が解決しようとする課題】近年大きな注目を集め
急速に普及しつつある視覚情報中心のグラフィカル・ユ
ーザ・インタフェースでは、操作情報を図などの視覚情
報で表現し、それらを二次元空間に配置し、それらの二
次元的な移動が操作の重要な要素となる、などの特徴が
あり、従来技術のように合成音声や点字ディスプレイを
簡単に利用できないため、視覚障害者は操作できなくな
るという問題点があった。この問題を解決するために
は、視覚的に表現されている対話部品の情報を音声や点
字などの非視覚情報で説明する方法が考えられる。しか
しながら、視覚情報は視覚の並列処理能力を利用し、多
くの情報を一度に表現しており、それを非視覚情報で表
現するにはシーケンシャルに提示していかざるを得な
い。その場合、情報提示に時間がかかる、情報の流れの
中から操作者が必要とする情報を切り出さなければなら
ず非効率的、という新たな問題が生じる。In a graphical user interface centered on visual information, which has been drawing a lot of attention in recent years and is rapidly spreading, operation information is represented by visual information such as a diagram and arranged in a two-dimensional space. However, there is a feature that such two-dimensional movement becomes an important element of operation, and the problem that visually impaired people cannot operate because it is not possible to easily use synthetic voice and Braille display as in the prior art. There was a point. In order to solve this problem, a method of explaining the information of the interactive parts visually expressed by non-visual information such as voice or Braille can be considered. However, visual information uses visual parallel processing ability to represent a lot of information at one time, and in order to represent it as non-visual information, it must be presented sequentially. In that case, new problems arise in that it takes time to present the information and it is inefficient to cut out the information required by the operator from the information flow.
【０００５】本発明の目的は、視覚障害者にグラフィカ
ル・ユーザ・インタフェースにおける操作対象である対
話部品の情報を非視覚情報で提示すること、および効率
良く対話部品を認識させるための手段を提供することで
ある。An object of the present invention is to provide a visually impaired person with a means for presenting information of a dialogue component, which is an operation target in a graphical user interface, as non-visual information and for efficiently recognizing the dialogue component. That is.
【０００６】[0006]
【課題を解決するための手段】本発明の視覚障害者向け
グラフィカル・ユーザ・インタフェース操作装置は、パ
ーソナルコンピュータのようなグラフィカル・ユーザ・
インタフェースを有する対話型情報処理システムにおい
て、前記グラフィカル・ユーザ・インタフェース上に、
図などで視覚的に表現されている情報提示および操作の
ための対話部品の情報を抽出する画面情報抽出部と、抽
出した対話部品の情報を視覚障害を持つ操作者に提示す
る方法を制御する情報提示制御部と、前記提示方法の制
御を操作者が行うための情報提示方法選択部と、前記情
報提示制御部で決定される出力情報を実際に提示する情
報提示制御手段とを有することを特徴とする。SUMMARY OF THE INVENTION A graphical user interface operating device for visually impaired persons of the present invention is a graphical user interface such as a personal computer.
In an interactive information processing system having an interface, on the graphical user interface,
Controls the screen information extraction unit that extracts the information of the interactive parts for visually presenting and operating the information visually represented by diagrams and the method of presenting the extracted information of the interactive parts to the visually impaired operator. An information presentation control unit, an information presentation method selection unit for the operator to control the presentation method, and an information presentation control unit that actually presents the output information determined by the information presentation control unit. Characterize.
【０００７】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、グラフィカル
・ユーザ・インタフェースを有する対話型システムと、
カーソルが指し示す対話部品の属性情報を抽出する画面
情報抽出部と、抽出された前記属性情報の中からどの属
性情報を提示するか、および提示方法を操作者が指定す
るための情報提示方法選択部と、前記の操作者による指
定に基づいて出力情報を決定する情報提示制御部と、前
記情報提示制御部で決定された前記出力情報を実際に提
示する情報提示手段と、から構成されることを特徴とす
る。The graphical user interface operating apparatus for visually impaired persons of the present invention is an interactive system having a graphical user interface,
A screen information extraction unit that extracts the attribute information of the interactive component pointed by the cursor, and an information presentation method selection unit for the operator to specify which attribute information is presented from the extracted attribute information and the presentation method. And an information presentation control unit that determines output information based on designation by the operator, and an information presentation unit that actually presents the output information determined by the information presentation control unit. Characterize.
【０００８】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記画面情報
抽出部が、前記カーソルの移動を検出するカーソル移動
イベント監視部と、現在のカーソル座標を前記対話型シ
ステムから取得するカーソル座標取得部と、前記カーソ
ル座標取得部で得られたカーソル位置に存在する前記対
話部品の属性情報を前記対話型システムから抽出する対
話部品属性情報取得部と、前記対話部品属性情報取得部
で抽出された対話部品の属性情報をテーブル形式で記憶
する対話部品属性情報格納部とから構成されることを特
徴とする。Further, in the graphical user interface operating device for visually impaired persons of the present invention, the screen information extraction unit detects the cursor movement event monitoring unit for detecting the movement of the cursor, and the current cursor coordinates by the interactive type. A cursor coordinate acquisition unit for acquiring from a system, an interactive component attribute information acquisition unit for extracting attribute information of the interactive component existing at the cursor position obtained by the cursor coordinate acquisition unit from the interactive system, and the interactive component attribute. The interactive component attribute information storage unit stores the interactive component attribute information extracted by the information acquisition unit in a table format.
【０００９】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記情報提示
制御部が、前記情報提示方法選択部から操作者の入力を
受け取り、前記操作者が提示を希望している属性情報、
および前記操作者が希望する情報の前記提示方法を記憶
しておく操作者入力管理部と、前記画面情報抽出部から
入力された前記対話部品の属性情報の中から前記操作者
入力管理部を参照して操作者が提示を希望している属性
情報を選択し、前記提示方法に基づいて前記出力情報を
決定する情報変換部と、から構成されることを特徴とす
る。In the graphical user interface operating device for visually impaired persons of the present invention, the information presentation control unit receives an operator's input from the information presentation method selection unit, and the operator wishes to present. Attribute information,
And the operator input management unit that stores the method of presenting the information desired by the operator, and the operator input management unit from the attribute information of the interactive component input from the screen information extraction unit. Then, the operator selects attribute information desired to be presented, and an information conversion unit that determines the output information based on the presentation method.
【００１０】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記情報提示
手段が、音声出力部と、音響出力部と、前記情報提示制
御部から送られてきた前記出力情報が音声データの場合
には、前記音声出力部に、前記出力情報が音響データの
場合には、前記音響出力部に前記出力情報を振り分ける
音源管理部と、から構成されることを特徴とする。Further, in the graphical user interface operating device for visually impaired persons of the present invention, the information presenting means outputs the output information sent from the voice output section, the sound output section, and the information presentation control section. Is sound data, the sound output unit is configured to distribute the output information to the sound output unit when the output information is sound data.
【００１１】[0011]
【作用】本発明において、視覚表現された対話部品の情
報を抽出する画面情報抽出部を設けたことにより、グラ
フィカル・ユーザ・インタフェースの操作対象である対
話部品の情報提示が可能になった。また、対話部品の情
報の提示方法を操作者が選択するための情報提示方法選
択部、および操作者の選択に基づいた情報提示を行う情
報提示制御部を設けたことにより、システムが一方的に
情報を流すだけでなく、操作者主導の効率的な情報獲得
が可能になった。In the present invention, the provision of the screen information extraction unit for extracting the information of the visually expressed interactive parts makes it possible to present the information of the interactive parts to be operated by the graphical user interface. Further, by providing the information presentation method selection unit for the operator to select the presentation method of the information of the interactive component and the information presentation control unit that presents the information based on the selection by the operator, the system is unilaterally Not only information is sent, but it is possible to efficiently obtain information led by the operator.
【００１２】[0012]
【実施例】次に図面を参照しながら本発明の実施例を説
明する。この実施例は、カーソルの下にある対話部品の
情報が音または音声で提示され、視覚障害者がこの音を
頼りに現在カーソルの下にある対話部品を確認しなが
ら、グラフィカル・ユーザ・インタフェースを操作する
装置の一例である。目的の対話部品を効率よく見つける
ために、情報の提示方法を操作者が目的に合わせて制御
できる機能を有している。なお、本実施例ではカーソル
を移動させるための手段としてタッチパネルをディスプ
レイ上に貼った装置を利用し、画面に直接触るとその点
にカーソルが移動するものとする。Embodiments of the present invention will now be described with reference to the drawings. In this example, the information of the interactive component under the cursor is presented by sound or voice, and the visually impaired person relies on this sound to confirm the interactive component currently under the cursor, while displaying the graphical user interface. It is an example of a device to be operated. In order to efficiently find the target interactive component, the operator has the function of controlling the information presentation method according to the purpose. In this embodiment, a device in which a touch panel is pasted on the display is used as a means for moving the cursor, and when the screen is directly touched, the cursor moves to that point.
【００１３】図１は実施例の構成を示すブロック図で、
本実施例は、グラフィカル・ユーザ・インタフェースを
有する対話型システム１０と、カーソルが指し示す対話
部品の属性要素を抽出する画面情報抽出部２０と、抽出
した属性の中からどの属性を提示するか、どのメディア
で提示するか、および情報提示の細かさを操作者が指定
するための情報提示方法選択部４０と、前記の操作者に
よる指定に基づいて出力情報を決定する情報提示制御部
３０と、前記情報提示制御部３０から参照される変換テ
ーブル６０と、情報提示制御部３０で決定される出力情
報を実際に提示する情報提示手段５０と、から構成され
る。FIG. 1 is a block diagram showing the configuration of the embodiment.
In the present embodiment, the interactive system 10 having a graphical user interface, the screen information extraction unit 20 for extracting the attribute element of the interactive component pointed by the cursor, and which attribute to present from the extracted attributes, An information presentation method selection unit 40 for the operator to specify whether to present the information on the medium and the fineness of the information presentation, an information presentation control unit 30 for determining output information based on the specification by the operator, The conversion table 60 is referred to by the information presentation control unit 30, and the information presentation unit 50 that actually presents the output information determined by the information presentation control unit 30.
【００１４】前記対話型システム１０は、上記対話型シ
ステム１０の中心となる中央処理装置１１と、画面表示
用のグラフィックディスプレイ１２と、データ入力用の
データ入力装置１３と、対話部品を指示するためのポイ
ンティング装置１４と、から構成される。The interactive system 10 has a central processing unit 11, which is the core of the interactive system 10, a graphic display 12 for displaying a screen, a data input device 13 for inputting data, and an interactive part for instructing. The pointing device 14 of FIG.
【００１５】前記画面情報抽出部２０は、カーソルの移
動を検出するカーソル移動イベント監視部２１と、現在
のカーソル座標を対話型システム１０より取得するカー
ソル座標取得部２２と、上記カーソル座標取得部２２で
得られたカーソル位置に存在する対話部品の属性情報を
対話システム１０より抽出する対話部品属性情報取得部
２３と、上記対話部品属性情報取得部２３で抽出した対
話部品の属性情報をテーブル形式で記憶する対話部品属
性情報格納部２４と、から構成される。The screen information extraction unit 20 includes a cursor movement event monitoring unit 21 for detecting the movement of the cursor, a cursor coordinate acquisition unit 22 for acquiring the current cursor coordinates from the interactive system 10, and the cursor coordinate acquisition unit 22. The interactive component attribute information acquisition unit 23 for extracting the attribute information of the interactive component existing at the cursor position obtained from the interactive system 10 and the interactive component attribute information extracted by the interactive component attribute information acquisition unit 23 in a table format. The dialogue component attribute information storage unit 24 stores the information.
【００１６】前記情報提示制御部３０は、情報提示方法
選択部４０から操作者入力を受け取り、操作者が希望し
ている情報の提示方法を記憶しておく操作者入力管理部
３２と、操作者入力管理部３２を参照して操作者が提示
を希望している属性情報を選択し、場合によっては変換
テーブル６０を参照して選択した属性情報と出力ファイ
ル名を対応づけて出力情報を決定する情報変換部３１
と、から構成される。The information presentation control unit 30 receives an operator input from the information presentation method selection unit 40 and stores an operator's desired information presentation method, and an operator input management unit 32. By referring to the input management unit 32, attribute information desired by the operator to be selected is selected, and in some cases, referring to the conversion table 60, the selected attribute information is associated with the output file name to determine output information. Information conversion unit 31
It consists of and.
【００１７】前記情報提示手段５０は、情報提示制御部
３０から送られてきたデータファイルを対応する出力部
に振り分ける音源管理部５１と、音声出力部５２と、音
響出力部５３と、から構成される。The information presenting means 50 comprises a sound source managing section 51 for allocating a data file sent from the information presenting control section 30 to a corresponding output section, a voice output section 52, and a sound output section 53. It
【００１８】以下で、図１に示す実施例の画面情報抽出
部２０と情報提示制御部３０、および情報提示手段５０
の動作について説明する。Below, the screen information extraction unit 20, the information presentation control unit 30, and the information presentation means 50 of the embodiment shown in FIG.
The operation of will be described.
【００１９】カーソル移動イベント監視部２１は、カー
ソル移動を示すカーソル移動イベントが送られるのを監
視し、そのイベントを検出するとカーソル座標取得部２
２にその旨を伝える。カーソル座標取得部２２は、上記
カーソルイベント監視部２１からカーソルが移動した通
知を受けると、現在のカーソル位置を対話型システム１
０に問い合わせ、そのカーソル座標の情報を対話部品属
性情報取得部２３に送る。対話部品属性情報取得部２３
は、カーソル座標の位置に存在する対話部品の情報を対
話型システム１０から抽出し対話部品属性情報格納部２
４へ渡す。対話部品属性情報格納部２４は対話部品属性
情報取得部２３から送られてくる対話部品の属性情報を
テーブル形式に整えて保持し、そのテーブル形式にした
属性情報を情報提示制御部３０へ渡す。The cursor movement event monitoring unit 21 monitors the sending of a cursor movement event indicating the movement of the cursor, and when the event is detected, the cursor coordinate acquisition unit 2 is detected.
Tell 2 to that effect. Upon receiving the notification that the cursor has moved from the cursor event monitoring unit 21, the cursor coordinate acquisition unit 22 determines the current cursor position as the interactive system 1.
0 is sent to the interactive component attribute information acquisition section 23. Dialog component attribute information acquisition unit 23
Extracts from the interactive system 10 the information of the interactive component existing at the position of the cursor coordinate, and stores the interactive component attribute information storage unit 2
Pass to 4. The dialogue component attribute information storage unit 24 arranges and holds the attribute information of the dialogue components sent from the dialogue component attribute information acquisition unit 23 in a table format, and passes the attribute information in the table format to the information presentation control unit 30.
【００２０】操作者入力管理部３２は、情報提示方法選
択部４０で操作者が指定した、情報提示を制御するパラ
メータの値を記憶しておく。情報変換部３１は画面情報
抽出部２０から送られてくる対話部品の属性情報の中か
ら、操作者入力管理部３２で記憶されているパラメータ
値を参照して最終的に提示する属性と提示メディアを選
択し、属性情報と出力ファイルの対応付けを行い、その
ファイル名と情報提示手段５０に知らせる。The operator input management unit 32 stores the value of the parameter for controlling the information presentation designated by the operator in the information presentation method selection unit 40. The information conversion unit 31 refers to the parameter values stored in the operator input management unit 32 from among the attribute information of the dialogue components sent from the screen information extraction unit 20, and finally presents the attribute and the presentation medium. Is selected, the attribute information is associated with the output file, and the file name and the information presenting means 50 are notified.
【００２１】音源管理部５１は、情報提示制御部３０で
決定された出力ファイル名を調べて、出力するデータが
音声データの場合は音声出力部５２へ、音響データの場
合は音響出力部５３へファイル名を知らせる。音声出力
部５２と音響出力部５３は、音源管理部５１より伝達さ
れる出力ファイル名のファイルに格納されているデータ
を実際に出力装置へ出力する。The sound source management unit 51 checks the output file name determined by the information presentation control unit 30, and if the data to be output is voice data, to the voice output unit 52, and if it is acoustic data, to the sound output unit 53. Tell the file name. The sound output unit 52 and the sound output unit 53 actually output the data stored in the file having the output file name transmitted from the sound source management unit 51 to the output device.
【００２２】次に、以上の実施例のシステム構成におけ
る、画面情報抽出部２０と情報提示制御部３０の具体的
な動作を説明する。Next, the specific operations of the screen information extraction unit 20 and the information presentation control unit 30 in the system configuration of the above embodiment will be described.
【００２３】図２は本実施例の動作を表す模式図であ
る。図２のテーブルは対話部品属性情報格納部２４に存
在し、グラフィカル・ユーザ・インタフェースの対話部
品とその属性情報の一覧が記憶されている。対話部品
は、図２のテーブルにあげたものをはじめ様々な属性情
報を持っており、この属性情報を抽出するのが対話部品
属性情報取得部２３である。本実施例では、図２にあげ
た属性要素のうち対話部品名とキャプションを抽出す
る。図３に三つの対話部品に対して属性情報の抽出例を
示す。キャプションとは対話部品に書かれている文字列
のことで、その対話部品がどんな意味を持つかを示すも
のである。最大化ボタン１２０のようにキャプションが
存在しない対話部品については、その対話部品が配され
ているウィンドウのタイトルで代用する。FIG. 2 is a schematic diagram showing the operation of this embodiment. The table of FIG. 2 exists in the dialog component attribute information storage unit 24 and stores a list of dialog components of the graphical user interface and their attribute information. The interactive component has various attribute information including those listed in the table of FIG. 2, and the interactive component attribute information acquisition unit 23 extracts this attribute information. In this embodiment, the dialogue part name and the caption are extracted from the attribute elements shown in FIG. FIG. 3 shows an example of extracting attribute information for three dialogue parts. The caption is a character string written in the dialogue part, and indicates what the dialogue part means. For a dialog component such as the maximize button 120 that does not have a caption, the title of the window in which the dialog component is placed is used instead.
【００２４】図２のテーブルの縦横の軸をパラメータと
して制御することにより、対話部品についてユーザが希
望する情報のみを提示することができ、かつ目的の対話
部品の探索効率を改善することが可能になる。By controlling the vertical and horizontal axes of the table in FIG. 2 as parameters, it is possible to present only the information desired by the user for the interactive parts, and it is possible to improve the efficiency of searching for the desired interactive parts. Become.
【００２５】常にすべての属性情報を提示すると提示に
時間がかかるため、図２のテーブルにおける横軸、つま
り抽出した属性のどちらを提示するかをユーザが選択す
るために「モード」というパラメータを導入する。モー
ドは出力で音で行うか音声で行うかの出力メディアの選
択と兼用とし、部品名を音で知らせる「音響モード」、
部品名を読み上げる「音声モード」、キャプションを読
み上げる「キャプションモード」の三つを設ける。Since it takes time to present all the attribute information if it is always presented, a parameter "mode" is introduced for the user to select which of the abscissas in the table of FIG. 2, ie, the extracted attributes, is presented. To do. "Acoustic mode", in which the mode is shared with the selection of the output medium whether it is performed with sound or voice with output, and informs the part name by sound,
Three parts are provided: "Voice mode" that reads the part name and "Caption mode" that reads the caption.
【００２６】また、操作者の目的に関わらずすべての対
話部品に対して情報提示を行っていると、提示情報量が
多すぎて目的の対話部品の探索効率が悪くなる。そこ
で、図２にテーブルにおける縦軸の選択、つまりどの対
話部品に対して属性情報を提示するかを選択するための
「レベル」というパラメータを導入する。レベルとし
て、ウィンドウおよび最小化ウィンドウ上にカーソルが
存在する場合だけ情報提示を行う（その他の細かな対話
部品一つ一つには情報提示を行わない）「ウィンドウレ
ベル」、ウィンドウを操作するための部品にも情報提示
を行う「ウィンドウ操作レベル」、アプリケーション上
で利用する部品にも情報提示を行う「アプリケーション
操作レベル」の三つを設ける。Further, if the information is presented to all the dialogue parts regardless of the operator's purpose, the amount of presented information is too large, and the efficiency of searching for the desired dialogue parts deteriorates. Therefore, FIG. 2 introduces a parameter "level" for selecting the vertical axis in the table, that is, for selecting which interactive component the attribute information is presented to. As a level, the information is presented only when the cursor is on the window and the minimized window (the information is not presented to each of the other detailed dialogue parts) "window level", for operating the window There are three "window operation levels" for presenting information to parts and "application operation levels" for presenting information for parts used in applications.
【００２７】上記の、モードとレベルの値を操作者入力
管理部３２が記憶しており、その記憶した値を基に、出
力情報を決定しているのが情報変換部３１である。The operator input management section 32 stores the values of the mode and level, and the information conversion section 31 determines the output information based on the stored values.
【００２８】次に、実際の操作例の幾つかを図４から図
７を参照しながら説明する。図４はグラフィカル・ユー
ザ・インタフェースの画面例である。この画面に対する
操作を前記の実施例により行うものとする。Next, some actual operation examples will be described with reference to FIGS. 4 to 7. FIG. 4 is an example of a screen of a graphical user interface. The operation on this screen is performed according to the above-described embodiment.
【００２９】図５は図４の画面上から、「ウィンドウ
１」というタイトルのウィンドウ２２０を探す場合の手
順を示した図である。まず、モードを「音響モード」、
レベルをウィンドウの探索が目的であるため「ウィンド
ウレベル」に設定しカーソル２００を動かしていく。
「ウィンドウレベル」を選ぶことで、情報提示を行う対
話部品をウィンドウ２１０、ウィンドウ２２０と最小化
ウィンドウ２３０だけに限定することができる。ウィン
ドウ２１０、ウィンドウ２２０や最小化ウィンドウ２３
０のあるところにカーソル２００が移動すると、図５
（ａ）、図５（ｂ）に示すようにウィンドウに応じた音
が出力される。図５（ｂ）の状態で「ウィンドウ１」の
音を操作者が覚えている場合は、この時点で目的のウィ
ンドウが見つかったことになる。ここで、「ウィンドウ
１」の音を覚えていなくても、図５（ｃ）のように「キ
ャプションモード」に切り替えることによりウィンドウ
のタイトルを読み上げさせることが可能である。FIG. 5 is a diagram showing a procedure for searching for a window 220 having the title "Window 1" on the screen of FIG. First, the mode is "acoustic mode",
Since the level is to search for windows, the level is set to "window level" and the cursor 200 is moved.
By selecting the "window level", it is possible to limit the interactive components that present information to only the windows 210, 220 and the minimization window 230. Window 210, window 220 and minimized window 23
When the cursor 200 moves to the position where there is 0,
As shown in FIGS. 5A and 5B, the sound corresponding to the window is output. If the operator remembers the sound of "window 1" in the state of FIG. 5B, it means that the target window is found at this point. Here, even if the user does not remember the sound of "window 1", the title of the window can be read aloud by switching to "caption mode" as shown in FIG. 5 (c).
【００３０】上記の操作で目的のウィンドウが見つかっ
た後、メニューバー２４０から「ファイル」という項目
を選択する場合の手順を図６、図７に示す。今回は、モ
ードを「音響モード」、メニューバー２４０というアプ
リケーション操作のための対話部品を見つけることか
ら、レベルを「アプリケーション操作レベル」に設定し
カーソル２００を移動させる。「アプリケーション操作
レベル」を選ぶことで、図６、図７の例ではウィンドウ
２１０、ウィンドウ２２０、最小化ウィンドウ２３０と
いう「ウィンドウレベル」で情報提示されていた対話部
品に加えて、メニューバー２４０、コントロールメニュ
ーボタン２５０というアプリケーション操作に必要な対
話部品に対しても情報提示が行われる。図６（ａ）で示
すようにカーソル２００がメニューバー２４０を指し示
すとメニューバー２４０を示す音が出力される。音を覚
えていない場合は、「音声モード」に切り替えること
で、図６（ｂ）のように部品名を読み上げさせることが
可能である。目的の部品が見つかった後「キャプション
モード」に切り替えると、図７（ａ）に示すように現在
カーソル２００が指し示しているメニュー項目の読み上
げが行われる。この状態でカーソル２００を移動させな
がら、図７（ｂ）に示すように「ファイル」という音声
出力が得られる場所を探すことで、目的のメニュー項目
の選択が完了する。6 and 7 show the procedure for selecting the item "File" from the menu bar 240 after the target window is found by the above operation. This time, since the mode is "acoustic mode" and the interactive component for application operation called the menu bar 240 is found, the level is set to "application operation level" and the cursor 200 is moved. By selecting the "application operation level", in addition to the interactive components such as the window 210, the window 220, and the minimized window 230, which have been presented at the "window level" in the examples of FIGS. 6 and 7, the menu bar 240, the control Information is also presented to the menu button 250, which is an interactive component necessary for operating the application. As shown in FIG. 6A, when the cursor 200 points to the menu bar 240, a sound indicating the menu bar 240 is output. If the user does not remember the sound, the part name can be read aloud as shown in FIG. 6B by switching to the “voice mode”. After switching to the "caption mode" after the target part is found, the menu item currently pointed to by the cursor 200 is read aloud as shown in FIG. In this state, while moving the cursor 200, as shown in FIG. 7B, by searching for a place where a voice output of “file” is obtained, the selection of the target menu item is completed.
【００３１】以上、二つの場合について操作例を示した
が、他の対話部品についても同様な方法で検索可能であ
る。Although the operation examples have been shown in the above two cases, the other interactive parts can be searched by the same method.
【００３２】以上実施例を持って、本発明を詳細に説明
したが、本発明はこの実施例のみに限定されるものでは
ない。例えば、実施例は情報提示手段として音および音
声を使用しているが、点字を加えることも可能である。
さらに、本実施例ではカーソルで指し示している対話部
品の情報を提示しているが、現在開いているウィンドウ
の一覧などカーソル位置に限定されない情報を抽出して
提示することも可能である。また、本実施例では二つの
パラメータで情報提示を制御しているが、一つまたは三
つ以上のパラメータも導入することも可能である。Although the present invention has been described in detail with reference to the embodiment, the present invention is not limited to this embodiment. For example, although the embodiment uses sound and voice as the information presenting means, it is also possible to add Braille.
Furthermore, in the present embodiment, the information of the interactive component pointed by the cursor is presented, but it is also possible to extract and present information not limited to the cursor position, such as a list of currently open windows. Further, in the present embodiment, the information presentation is controlled by two parameters, but it is also possible to introduce one or three or more parameters.
【００３３】[0033]
【発明の効果】以上説明した通り、本発明によれば、視
覚障害者がグラフィカル・ユーザ・インタフェースの対
話情報を取得することが可能であり、取得できる情報を
操作者が目的に合わせて選択可能なため情報の獲得が効
率良く行える。As described above, according to the present invention, a visually handicapped person can acquire interactive information of a graphical user interface, and the operator can select the acquired information according to his / her purpose. Therefore, information can be acquired efficiently.
【図１】本発明の一実施例の構成を示すブロック図。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
【図２】本発明の一実施例の動作を示す模式図。FIG. 2 is a schematic diagram showing the operation of one embodiment of the present invention.
【図３】対話部品の属性情報取得例を示す図。FIG. 3 is a diagram showing an example of obtaining attribute information of a dialogue component.
【図４】グラフィカル・ユーザ・インタフェースの画面
例を示す図。FIG. 4 is a diagram showing an example of a screen of a graphical user interface.
【図５】実施例を用いた目的ウィンドウの探索手順を示
す図。FIG. 5 is a diagram showing a procedure for searching a target window using the embodiment.
【図６】実施例を用いた目的のメニュー項目探索手順
（１）を示す図。FIG. 6 is a diagram showing a target menu item search procedure (1) using the embodiment.
【図７】実施例を用いた目的のメニュー項目探索手順
（２）を示す図。FIG. 7 is a diagram showing a target menu item search procedure (2) using the embodiment.
【図８】従来の技術を示す図。FIG. 8 is a diagram showing a conventional technique.
１０ 対話型システム １１ 中央処理装置 １２ グラフィックディスプレイ １３ データ入力装置 １４ ポインティング装置 ２０ 画面情報抽出部 ２１ カーソル移動イベント監視部 ２２ カーソル座標取得部 ２３ 対話部品属性情報取得部 ２４ 対話部品属性情報格納部 ３０ 情報提示制御部 ３１ 情報変換部 ３２ 操作者入力管理部 ４０ 情報提示方法選択部 ５０ 情報提示手段 ５１ 音源管理部 ５２ 音声出力部 ５３ 音響出力部 ６０ 変換テーブル １００ カーソル １１０ プッシュボタン １２０ 最大化ボタン １３０ メニューバー ２００ カーソル ２１０ ウィンドウ ２２０ ウィンドウ ２３０ 最小化ウィンドウ ２４０ メニューバー ２５０ コントロールメニューボタン ３１０ キャラクタベース対話型システム ３１１ 中央処理装置 ３１２ キャラクタディスプレイ ３１３ データ入力装置 ３１４ コマンド入力装置 ３２０ 画面表示監視部 ３３０ 画面情報保持部 ３３１ 仮想画面生成部 ３３２ 仮想画面用バッファ ３４０ 出力データ取得部 ３５０ 情報再提示要求手段 ３６０ 情報提示手段 10 Interactive System 11 Central Processing Unit 12 Graphic Display 13 Data Input Device 14 Pointing Device 20 Screen Information Extraction Section 21 Cursor Movement Event Monitoring Section 22 Cursor Coordinate Acquisition Section 23 Interactive Component Attribute Information Acquisition Section 24 Interactive Component Attribute Information Storage Section 30 Information Presentation control unit 31 Information conversion unit 32 Operator input management unit 40 Information presentation method selection unit 50 Information presentation means 51 Sound source management unit 52 Voice output unit 53 Sound output unit 60 Conversion table 100 Cursor 110 Push button 120 Maximize button 130 Menu bar 200 cursor 210 window 220 window 230 minimization window 240 menu bar 250 control menu button 310 character-based interactive system 311 central processing unit 312 Kuta display 313 the data input device 314 command input device 320 a screen display monitor 330 screen information holding section 331 virtual screen generating unit 332 virtual screen buffer 340 outputs the data acquiring unit 350 information resubmitted request unit 360 information presenting means
Claims (5)
カル・ユーザ・インタフェースを有する対話型情報処理
システムにおいて、 前記グラフィカル・ユーザ・インタフェース上に、図な
どで視覚的に表現されている情報提示および操作のため
の対話部品の情報を抽出する画面情報抽出部と、 抽出した対話部品の情報を視覚障害を持つ操作者に提示
する方法を制御する情報提示制御部と、 前記提示方法の制御を操作者が行うための情報提示方法
選択部と、 前記情報提示制御部で決定される出力情報を実際に提示
する情報提示制御手段とを有することを特徴とする視覚
障害者向けグラフィカル・ユーザ・インタフェース操作
装置。1. An interactive information processing system having a graphical user interface such as a personal computer, for presenting and operating information graphically represented on the graphical user interface. A screen information extraction unit that extracts the information of the interactive component, an information presentation control unit that controls the method of presenting the extracted information of the interactive component to an operator with visual impairment, and the operator controls the presentation method. 2. A graphical user interface operating device for visually impaired persons, comprising: the information presentation method selection unit and the information presentation control unit that actually presents the output information determined by the information presentation control unit.
有する対話型システムと、 カーソルが指し示す対話部品の属性情報を抽出する画面
情報抽出部と、 抽出された前記属性情報の中からどの属性情報を提示す
るか、および提示方法を操作者が指定するための情報提
示方法選択部と、 前記の操作者による指定に基づいて出力情報を決定する
情報提示制御部と、 前記情報提示制御部で決定された前記出力情報を実際に
提示する情報提示手段と、から構成されることを特徴と
する視覚障害者向けグラフィカル・ユーザ・インタフェ
ース操作装置。2. An interactive system having a graphical user interface, a screen information extraction unit for extracting attribute information of an interactive component pointed by a cursor, and which attribute information is presented from the extracted attribute information. , And an information presentation method selection unit for the operator to specify the presentation method, an information presentation control unit that determines output information based on the specification by the operator, and the output determined by the information presentation control unit. A graphical user interface operating device for visually impaired persons, characterized by comprising information presenting means for actually presenting information.
視部と、 現在のカーソル座標を前記対話型システムから取得する
カーソル座標取得部と、 前記カーソル座標取得部で得られたカーソル位置に存在
する前記対話部品の属性情報を前記対話型システムから
抽出する対話部品属性情報取得部と、 前記対話部品属性情報取得部で抽出された対話部品の属
性情報をテーブル形式で記憶する対話部品属性情報格納
部とから構成されることを特徴とする請求項２に記載の
視覚障害者向けグラフィカル・ユーザ・インタフェース
操作装置。3. The screen information extraction unit includes a cursor movement event monitoring unit that detects movement of the cursor, a cursor coordinate acquisition unit that acquires current cursor coordinates from the interactive system, and a cursor coordinate acquisition unit. A dialog component attribute information acquisition unit that extracts the attribute information of the dialog component present at the obtained cursor position from the dialog system, and the dialog component attribute information extracted by the dialog component attribute information acquisition unit in a table format. 3. The graphical user interface operating device for visually impaired persons according to claim 2, further comprising: a dialogue component attribute information storage unit that stores the dialogue component attribute information.
前記操作者が提示を希望している属性情報、および前記
操作者が希望する情報の前記提示方法を記憶しておく操
作者入力管理部と、 前記画面情報抽出部から入力された前記対話部品の属性
情報の中から前記操作者入力管理部を参照して操作者が
提示を希望している属性情報を選択し、前記提示方法に
基づいて前記出力情報を決定する情報変換部と、から構
成されることを特徴とする請求項２又は３に記載の視覚
障害者向けグラフィカル・ユーザ・インタフェース操作
装置。4. The information presentation control unit receives an operator's input from the information presentation method selection unit,
The operator input management unit that stores the attribute information that the operator wants to present, and the presentation method of the information that the operator wants, and the interactive component input from the screen information extraction unit. An information conversion unit that selects attribute information that the operator desires to be presented by referring to the operator input management unit from the attribute information and determines the output information based on the presentation method. The graphical user interface operating device for the visually impaired according to claim 2 or 3.
声データの場合には、前記音声出力部に、前記出力情報
が音響データの場合には、前記音響出力部に前記出力情
報を振り分ける音源管理部と、 から構成されることを特徴とする請求項２、３又は４に
記載の視覚障害者向けグラフィカル・ユーザ・インタフ
ェース操作装置。5. The information presenting means includes: a voice output section; a sound output section; and when the output information sent from the information presentation control section is voice data, the output to the voice output section. When the information is acoustic data, a sound source management section that distributes the output information to the acoustic output section, and a graphical user for a visually impaired person according to claim 2, 3 or 4. -Interface operating device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6219662A JP2760289B2 (en) | 1994-09-14 | 1994-09-14 | Graphical user interface operating device for the visually impaired |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6219662A JP2760289B2 (en) | 1994-09-14 | 1994-09-14 | Graphical user interface operating device for the visually impaired |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0883156A true JPH0883156A (en) | 1996-03-26 |
| JP2760289B2 JP2760289B2 (en) | 1998-05-28 |
Family
ID=16739018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6219662A Expired - Fee Related JP2760289B2 (en) | 1994-09-14 | 1994-09-14 | Graphical user interface operating device for the visually impaired |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2760289B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09258946A (en) * | 1996-03-26 | 1997-10-03 | Fujitsu Ltd | Information processor |
| JPH10326178A (en) * | 1997-03-21 | 1998-12-08 | Fujitsu Ltd | Information processor and program storage medium |
| WO2003081414A1 (en) * | 2002-03-25 | 2003-10-02 | David Michael King | Gui and support hardware for maintaining long-term personal access to the world |
| JP2005234818A (en) * | 2004-02-18 | 2005-09-02 | Ricoh Co Ltd | Electronic equipment, program, and recording medium |
| JP2008071354A (en) * | 2006-09-14 | 2008-03-27 | Avaya Technology Llc | Audible computer user interface method and apparatus |
| JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
| US9633191B2 (en) | 2012-03-31 | 2017-04-25 | Apple Inc. | Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader |
| US10156904B2 (en) | 2016-06-12 | 2018-12-18 | Apple Inc. | Wrist-based tactile time feedback for non-sighted users |
| US10996761B2 (en) | 2019-06-01 | 2021-05-04 | Apple Inc. | User interfaces for non-visual output of time |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05233188A (en) * | 1991-12-05 | 1993-09-10 | Internatl Business Mach Corp <Ibm> | Method and device for graphically selecting display element for blind or visually handicapped computer user |
| JPH06230916A (en) * | 1992-12-22 | 1994-08-19 | Internatl Business Mach Corp <Ibm> | Method and system for nonvisual decision of situation of graphic object |
| JPH06230913A (en) * | 1993-02-03 | 1994-08-19 | Shinko Seisakusho Co Ltd | Mechanical correction value setting device for data processing terminal equipment |
-
1994
- 1994-09-14 JP JP6219662A patent/JP2760289B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05233188A (en) * | 1991-12-05 | 1993-09-10 | Internatl Business Mach Corp <Ibm> | Method and device for graphically selecting display element for blind or visually handicapped computer user |
| JPH06230916A (en) * | 1992-12-22 | 1994-08-19 | Internatl Business Mach Corp <Ibm> | Method and system for nonvisual decision of situation of graphic object |
| JPH06230913A (en) * | 1993-02-03 | 1994-08-19 | Shinko Seisakusho Co Ltd | Mechanical correction value setting device for data processing terminal equipment |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09258946A (en) * | 1996-03-26 | 1997-10-03 | Fujitsu Ltd | Information processor |
| JPH10326178A (en) * | 1997-03-21 | 1998-12-08 | Fujitsu Ltd | Information processor and program storage medium |
| WO2003081414A1 (en) * | 2002-03-25 | 2003-10-02 | David Michael King | Gui and support hardware for maintaining long-term personal access to the world |
| GB2402591A (en) * | 2002-03-25 | 2004-12-08 | David Michael King | GUI and support hardware for maintaining long-term personal access to the world |
| JP2005234818A (en) * | 2004-02-18 | 2005-09-02 | Ricoh Co Ltd | Electronic equipment, program, and recording medium |
| JP2008071354A (en) * | 2006-09-14 | 2008-03-27 | Avaya Technology Llc | Audible computer user interface method and apparatus |
| JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
| US9009612B2 (en) | 2009-06-07 | 2015-04-14 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| US10061507B2 (en) | 2009-06-07 | 2018-08-28 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| US10474351B2 (en) | 2009-06-07 | 2019-11-12 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| US9633191B2 (en) | 2012-03-31 | 2017-04-25 | Apple Inc. | Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader |
| US10013162B2 (en) | 2012-03-31 | 2018-07-03 | Apple Inc. | Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader |
| US10156904B2 (en) | 2016-06-12 | 2018-12-18 | Apple Inc. | Wrist-based tactile time feedback for non-sighted users |
| US10996761B2 (en) | 2019-06-01 | 2021-05-04 | Apple Inc. | User interfaces for non-visual output of time |
| US11460925B2 (en) | 2019-06-01 | 2022-10-04 | Apple Inc. | User interfaces for non-visual output of time |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2760289B2 (en) | 1998-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4388982B2 (en) | Web browser capable of navigation between hypertext objects by remote control device | |
| KR100220042B1 (en) | Presentation supporting method and apparatus therefor | |
| US6587820B2 (en) | Information processing apparatus and method, a computer readable medium storing a control program for making a computer implemented information process, and a control program for selecting a specific grammar corresponding to an active input field or for controlling selection of a grammar or comprising a code of a selection step of selecting a specific grammar | |
| US20080104505A1 (en) | Method, System and Program Product Supporting Customized Presentation of Toolbars Within a Document | |
| JPH10116220A (en) | System and method for easily displaying parameter on local display device | |
| JP4098239B2 (en) | Controller that can select hyperlink | |
| US20210064397A1 (en) | Operation display apparatus and operation display program | |
| JP2760289B2 (en) | Graphical user interface operating device for the visually impaired | |
| JP4045768B2 (en) | Video processing device | |
| JPH08115194A (en) | Help display method for information processing system | |
| US6996533B2 (en) | Information processing system | |
| JPH01232412A (en) | Help system | |
| JPH06242886A (en) | Electronic mail system | |
| JPH10187408A (en) | User interface for controlling audio function in web browser | |
| US5692140A (en) | Methods and apparatus for synchronizing application and utility programs | |
| JPH04131921A (en) | Interactive input system | |
| JP3716016B2 (en) | Screen search interface device | |
| JP7180622B2 (en) | Information processing device, information processing method and information processing program | |
| Mynatt et al. | The Mercator Environment a Nonvisual Interface to X Windows and Unix Workstations | |
| JPH10326178A (en) | Information processor and program storage medium | |
| JPS61243518A (en) | Help guide system | |
| JP2564590B2 (en) | Information processing device | |
| JPH0440491A (en) | Method and device for backing up announcement | |
| JP3099753B2 (en) | User interface device | |
| Bolchini et al. | Requirements for aural web sites |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980217 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080320 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120320 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120320 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140320 Year of fee payment: 16 |
|
| LAPS | Cancellation because of no payment of annual fees |