JP3716016B2 - 画面探索インタフェース装置 - Google Patents
画面探索インタフェース装置 Download PDFInfo
- Publication number
- JP3716016B2 JP3716016B2 JP26071095A JP26071095A JP3716016B2 JP 3716016 B2 JP3716016 B2 JP 3716016B2 JP 26071095 A JP26071095 A JP 26071095A JP 26071095 A JP26071095 A JP 26071095A JP 3716016 B2 JP3716016 B2 JP 3716016B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- information
- screen
- unit
- dialog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視覚や上肢に障害を持つユーザのＧＵＩ(Graphical User Interface)環境の利用を支援するための情報処理装置における画面探索インタフェース装置に関し、特に、画面上の対話部品のレイアウト構造および論理構造を統合的に利用して効率的な情報探索を行うことのできる画面探索インタフェース装置に関する。
【０００２】
【従来の技術】
情報処理装置がＧＵＩ環境に移行したことによって、ディスプレイ画面を見ることやポインティングが不得手な視覚障害者，上肢障害者などのユーザは、情報処理装置の利用が困難になってきた。それは、視覚障害者では、画面上にどのような対話部品がどのように配置されているかを正確に認識すること、及びその正確な位置をマウス等のポインティングデバイスでポインティングすることが共に困難であり、また上肢障害者では、対話部品の配置が認識できてもマウス等のポインティングデバイスによる目的とする対話部品の正確なポインティングが困難であることによる。
【０００３】
そこで視覚障害者等の便宜を図るため、ＧＵＩ環境で画面上の情報を順次に探索してそれを読み上げる探索方式として、「Nonvisual Presentation of Graphical User Interfaces:Contrasting Two Approaches(Elizabeth D. Mynatt、Gerhard Weber CHI'94 Conference Proceedings)」に見られるように、画面のレイアウト構造をもとに対話部品の探索を行うＧＵＩＢなどのレイアウト構造探索方式と、対話部品の論理構造をもとに探索を行うMercatorなどの論理構造探索方式の２種類が提案されている。なお、レイアウト構造探索方式では、out SPOKEN for Windows(Berkeley System社）などの製品も存在する。
【０００４】
また、上肢障害のユーザに対しては、キーボードなどでマウスポインタの動きを制御する方式が存在し、「クイックシフトドライバ Qsdw (開発者：吉村隆樹）」などのマウスエミュレーションソフトウェアがフリーソフトウェア等にも見られる。
【０００５】
【発明が解決しようとする課題】
レイアウト構造探索方式では、画面上に配置された対話部品のレイアウトを利用して探索を行うため、画面上での対話部品の配置を或る程度把握している場合には適している。しかし、そうでない場合には、ＧＵＩ環境では多くの対話部品が画面上の様々な位置に分布しており、レイアウト構造探索ではそのレイアウト通りに探索が進められるため、画面上に散らばる多くの対話部品の中から目的とする対話部品を探し出すには、目的としない対話部品を幾つも経由しなければならず、操作効率が極端に低下する。
【０００６】
他方、論理構造探索方式では、対話部品の論理構造であるツリー構造を利用するため、論理構造に従った規則的な探索が行える。しかし、論理構造探索方式では、対話部品のツリー構造を利用するため、決まったパス上でしか探索できず、たとえ画面上では隣接する対話部品であっても、多くの対話部品を経由しなければ見出せない場合がある。また、従来の論理構造探索方式では、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品も含めて探索が行われているため、視覚障害者にとって無意味な対話部品が探索されることが多く、対話部品の探索操作がより一層冗長なものとなっている。
【０００７】
このように、レイアウト構造探索方式，論理構造探索方式にはそれぞれ一長一短があり、何れか一方の方式しか利用できない従来の環境では、視覚障害者などのユーザは冗長な探索操作を強いられており、これが操作効率の向上や操作の容易さを妨げる要因となっていた。
【０００８】
他方、上肢障害のユーザに対する上述した従来のマウスエミュレーションソフトウェアによる方式では、ポインティング位置の移動はオブジェクト単位でなく画素単位で行われ、且つ、画面上の対話部品のサイズ，位置がＧＵＩで規定されたサイズ，位置のままであるため、目的の対話部品が小さい場合には目的の対話部品を正確にポインティングすることが困難だったり、ある対話部品から遠く離れた対話部品をポインティングする場合カーソルなどの移動の効率が悪いという問題点があった。
【０００９】
そこで本発明の第１の目的は、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を探索することができる画面探索インタフェース装置を提供することにある。
【００１０】
また、本発明の第２の目的は、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品を除外した論理構造探索を実現することにより、探索操作の冗長性をより一層低減させることにある。
【００１１】
また本発明の第３の目的は、レイアウト構造探索，論理構造探索において、ユーザが探索を必要としない対話部品を事前に指定しておけば、それらを除外して、ユーザに通知すべき対話部品の探索を行う画面探索インタフェース装置を提供することにある。
【００１２】
更に本発明の第４の目的は、画面上の対話部品に対するポインティング操作を容易にするために、ポインティングされるべき対話部品を一同に集めたウィンドウにて、個々の対話部品を直接ポインティングすることを可能にする画面探索インタフェース装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は上記第１の目的を達成するために、各種の入出力デバイスとグラフィカルユーザインタフェースのＯＳとアプリケーションプログラムとを有する情報処理装置において、視覚に障害を持つユーザのグラフィカルユーザインタフェース環境の利用を支援するために、ユーザの探索操作に応答して画面上の対話部品の情報を探索して音声，点字出力などの所定の方法でユーザに知らしめるようにした画面探索インタフェース装置であって、
ディスプレイ画面の状態が変化するごとに最新の画面上の対話部品の情報を抽出する画面情報抽出部と、
レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持するレイアウト構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報と、前記レイアウト構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御するレイアウト構造探索部と、
論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持する論理構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する探索テーブル構成部と、
該探索テーブル構成部で作成された探索テーブルと、前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する論理構造探索部と、
ユーザによる探索方式の切り換え操作に応答して、前記レイアウト構造探索部によるレイアウト構造探索から前記論理構造探索部による論理構造探索へ、またはその逆へ、探索方式を切り換えると共に、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が前記探索テーブルに存在すれば該存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば該現れている対話部品をレイアウト構造探索における探索ポイントに設定する対話制御部とを備えている。
【００１４】
このような構成を有する本発明の画面探索インタフェース装置にあっては、ディスプレイ画面の状態が変化すると、画面情報抽出部が最新の画面上の対話部品の情報を抽出し、探索テーブル構成部が、この抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。そして、ユーザが論理構造探索を指定している場合には、対話制御部によって論理構造探索部が働くように制御され、論理構造探索部が、前記探索テーブル構成部で作成された探索テーブルと、論理構造探索情報蓄積部に保持されている、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。他方、ユーザがレイアウト構造探索を指定している場合には、対話制御部によってレイアウト構造探索部が働くように制御され、レイアウト構造探索部が、前記画面情報抽出部で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部に保持されている、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００１５】
そして、ユーザがレイアウト構造探索から論理構造探索へ切り換えた際の探索の連続性を保証するために、対話制御部は、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が前記探索テーブルに存在すれば該存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば該現れている対話部品をレイアウト構造探索における探索ポイントに設定する。このような処理によって、或る部分まではレイアウト構造探索で探索し、残りを続けて論理構造で探索することが可能となり、またその逆に、或る部分までは論理構造探索で探索し、残りを続けてレイアウト構造探索で探索することが可能となり、双方の探索方式の利点を活かした効率の良い探索が可能となる。
【００１６】
また本発明は上記の第２の目的を達成するために、前記画面情報抽出部で抽出された対話部品の情報から前記探索テーブルを作成する際のテンプレートとなるテーブル構成情報を保持するテーブル構成情報蓄積部を備え、前記探索テーブル構成部は、前記テーブル構成情報と前記画面情報抽出部で抽出された対話部品の情報とから、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成するようにしている。
【００１７】
さらに本発明は上記の第３の目的を達成するめために、前記論理構造探索情報蓄積部、前記レイアウト構造情報蓄積部がそれぞれフィルタリング指定テーブルを有し、前記論理構造探索部が前記探索テーブル中の対話部品の情報のうち前記論理構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進める論理構造フィルタリング制御部を有し、前記レイアウト構造探索部が前記画面情報抽出部で抽出された対話部品の情報のうち前記レイアウト構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進めるレイアウト構造フィルタリング制御部を有している。
【００１８】
また更に、本発明は上記の第４の目的を達成するために、前記対話制御部が、前記探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位でのポインティング操作を可能とし、且つ前記探索テーブルと前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する直接指示制御部を有している。
【００１９】
以上の論理構造探索および画面構造探索を統合的に利用するための探索ポイントの整合制御、探索テーブルを構成する対話部品の絞り込み処理，ウィンドウ上での直接指示制御の機構を設けることによって、視覚や上肢に障害を持つユーザがＧＵＩの対話部品の探索、操作を容易かつ効率的に行うことが可能となる。
【００２０】
【発明の実施の形態】
次に本発明の実施の形態の例について図面を参照して詳細に説明する。
【００２１】
図１を参照すると、本発明の一実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ１０１（以下、単にＯＳ１０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス１０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス１０３と、ＯＳ１０１の下で動作する各種のアプリケーションプログラム１０４と、画面情報抽出部１１０と、レイアウト構造探索情報蓄積部１１１と、レイアウト構造探索部１１２と、テーブル構成情報蓄積部１１３と、探索テーブル構成部１１４と、論理構造探索情報蓄積部１１５と、論理構造探索部１１６と、対話制御部１１７と、画面変化通知情報蓄積部１１８とで構成されている。
【００２２】
ＯＳ１０１は、出力デバイス１０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。
【００２３】
画面情報抽出部１１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部１１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００２４】
レイアウト構造探索部１１２およびレイアウト構造探索情報蓄積部１１１はレイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部１１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。レイアウト構造探索部１１２は、画面情報抽出部１１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部１１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２５】
論理構造探索部１１６，探索テーブル構成部１１４，テーブル構成情報蓄積部１１３および論理構造探索情報蓄積部１１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部１１３は、画面情報抽出部１１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部１１４は、画面情報抽出部１１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部１１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部１１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。論理構造探索部１１６は、探索テーブル構成部１１４で作成された探索テーブルと、論理構造探索情報蓄積部１１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２６】
対話制御部１１７はレイアウト構造探索と論理構造探索との切り換えを行う。また、その切り換え時に発生し得る不整合を排除する。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００２７】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００２８】
図２は図１の実施例の処理を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（６０１）、それぞれに対応する処理を行う。
【００２９】
○画面状態変化
ＯＳ１０１から出力デバイス１０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部１１０では、ＯＳ１０１からその時点において画面上に表示されている対話部品の情報を抽出する（６１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。図３に画面情報抽出部１１０によって抽出される情報の例を示す。同図に示すように、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部１１４およびレイアウト構造探索部１１２に出力される。
【００３０】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部１１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部１１０は、画面状態の変化時に、画面変化通知情報蓄積部１１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部１１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（６１１）。
【００３１】
他方、探索テーブル構成部１１４では、テーブル構成情報蓄積部１１３よりテーブル構成情報を取得し（６１２）、このテーブル構成情報と、画面情報抽出部１１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（６１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことである。図４にテーブル構成情報の例を示す。この例のテーブル構成情報では、各項目のグループ名（アプリケーション名，子ウィンドウ名等），そのグループに属する各項目名称（項目名称１，項目名称２等），項目数（項目数（ｍ）等）を横方向に並べた行を、操作手順に従って縦方向に並べてある。なお、この例は、アプリケーションに対するユーザ操作が、アプリケーションの選択，この選択したアプリケーションに関連する子ウィンドウの選択，この選択した子ウィンドウに関連するメニュー項目の選択，この選択したメニュー項目に関連するリスト項目の選択といった順序で行われることを想定している。このテンプレートをもとに作成される探索テーブルは、画面の状態変化イベントの発生に応じて、即ち変化後の画面状態に応じて、随時更新される。図５に図４のテンプレートをもとに構成された探索テーブルとその更新の例を示す。図５（ａ）の状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合に更新された探索テーブルが図５（ｂ）である。なお、図５において網かけを施した部分は選択されている対話部品を示す。ここで、本実施例の特徴は、画面情報抽出部１１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外されていることである。
【００３２】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーのボタン操作などによって通知されると、対話制御部１１７は探索イベントを論理構造探索部１１６に渡す。論理構造探索部１１６では、探索テーブル構成部１１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（６２０）。図５（ａ）の探索テーブルに対する探索ポイントの移動例を図６に示す。
【００３３】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動するように設定している。「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。
【００３４】
探索ポイント移動後、論理構造探索部１１６は、その位置の対話部品の情報を取得し（６２１）、論理構造探索情報蓄積部１１５より取得した出力変換情報（６２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６２３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３５】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーなどから通知されると、対話制御部１１７は探索イベントをレイアウト構造探索部１１２に渡す。レイアウト構造探索部１１２では、画面情報抽出部１１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（６３０）。探索ポイントの移動は、図７に示すように対話部品単位で行われる。
【００３６】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、この例では、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。図のＡの位置から（ｂ）右方向の移動操作を行うとウィンドウ枠，アイコン，アイコン，ウィンドウ枠，画面端の順に移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００３７】
探索ポイント移動後、レイアウト構造探索部１１２は、その位置の対話部品の情報を取得し（６３１）、レイアウト構造探索情報蓄積部１１１より取得した出力変換情報（６３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０２に出力する（６３３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３８】
○選択実行操作
例えば入力デバイス１０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行処理が開始される。対話部品の選択実行は、論理構造探索部１１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（６４０）、論理構造探索情報蓄積部１１５のイベント変換情報を利用して（６４１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部１１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００３９】
対話部品の選択実行は、レイアウト構造探索部１１２では、画面上の探索ポイントで指定された対話部品の情報を取得し（６５０）、レイアウト構造探索情報蓄積部１１１のイベント変換情報を利用して（６５１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部１１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力し（６５３）、ユーザの選択実行指示に対する結果を知らせる。
【００４０】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部１１０による画面情報の抽出，探索テーブル構成部１１４による探索テーブルの更新が起こる。
【００４１】
○探索方式切換
例えば入力デバイス１０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により、論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部１１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（６６０）。
【００４２】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部１１２で最後に探索された対話部品の情報が、論理構造探索部１１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００４３】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部１１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部１１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００４４】
また、探索方式の切り換え時、対話制御部１１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６６１）。
【００４５】
以上のように本実施例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。
【００４６】
図８を参照すると、本発明の別の実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ２０１（以下、単にＯＳ２０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス２０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス２０３と、ＯＳ２０１の下で動作する各種のアプリケーションプログラム２０４と、画面情報抽出部２１０と、レイアウト構造探索情報蓄積部２１１と、レイアウト構造探索部２１２と、テーブル構成情報蓄積部２１３と、探索テーブル構成部２１４と、論理構造探索情報蓄積部２１５と、論理構造探索部２１６と、対話制御部２１７と、画面変化通知情報蓄積部２１８とで構成され、図１の実施例と異なり、レイアウト構造探索情報蓄積部２１１および論理構造探索情報蓄積部２１５はフィルタリング指定テーブル２２０およびフィルタリング指定テーブル２２１を有し、また、レイアウト構造探索部２１２および論理構造探索部２１６はフィルタリング制御部２２２およびフィルタリング制御部２２３を有している。
【００４７】
ＯＳ２０１は、出力デバイス２０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。
【００４８】
画面情報抽出部２１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部２１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００４９】
フィルタリング制御部２２２を有するレイアウト構造探索部２１２およびフィルタリング指定テーブル２２０を有するレイアウト構造探索情報蓄積部２１１はレイアウト構造探索を実現している。レイアウト構造探索情報蓄積部２１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部２１２は、画面情報抽出部２１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部２１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部２１２は、フィルタリング制御部２２２を使用して、画面情報抽出部２１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル２２０で指定された対話部品の情報を除外して探索を進める。
【００５０】
フィルタリング制御部２２３を有する論理構造探索部２１６，探索テーブル構成部２１４，テーブル構成情報蓄積部２１３およびフィルタリング指定テーブル２２１を有する論理構造探索情報蓄積部２１５は論理構造探索を実現する。テーブル構成情報蓄積部２１３は、画面情報抽出部２１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部２１４は、画面情報抽出部２１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部２１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部２１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部２１６は、探索テーブル構成部２１４で作成された探索テーブルと、論理構造探索情報蓄積部２１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部２１６は、フィルタリング制御部２２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル２２１で指定された対話部品の情報を除外して探索を進める。
【００５１】
対話制御部２１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００５２】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００５３】
図９は図８の実施例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（７０１）、それぞれに対応する処理を行う。
【００５４】
○画面状態変化
ＯＳ２０１から出力デバイス２０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部２１０では、ＯＳ２０１からその時点において画面上に表示されている対話部品の情報を抽出する（７１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部２１４およびレイアウト構造探索部２１２に出力される。
【００５５】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部２１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部２１０は、画面状態の変化時に、画面変化通知情報蓄積部２１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部２１７を通じて出力デバイス２０３中のスピーカ，点字ディスプレイ等から出力する（７１１）。
【００５６】
他方、探索テーブル構成部２１４では、テーブル構成情報蓄積部２１３よりテーブル構成情報を取得し（７１２）、このテーブル構成情報と、画面情報抽出部２１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（７１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の実施例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の実施例と同様に、画面情報抽出部２１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００５７】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーのボタン操作などによって通知されると、対話制御部２１７は探索イベントを論理構造探索部２１６に渡す。論理構造探索部２１６では、探索テーブル構成部２１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（７２０）。
【００５８】
探索ポイント移動後、論理構造探索部２１６は、その位置の対話部品の情報を取得する（７２１）。そして、フィルタリング制御部２２３において、論理構造探索情報蓄積部２１５のフィルタリング指定テーブル２２１の情報を取得し（７７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部２１５より取得した出力変換情報（７２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００５９】
図５（ａ）の探索テーブルに対する探索ポイントの移動例を図１０に示す。
【００６０】
入力デバイス２０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００６１】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００６２】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーなどから通知されると、対話制御部２１７は探索イベントをレイアウト構造探索部２１２に渡す。レイアウト構造探索部２１２では、画面情報抽出部２１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（７３０）。
【００６３】
探索ポイント移動後、レイアウト構造探索部２１２は、その位置の対話部品の情報を取得する（７３１）。そして、フィルタリング制御部２２２において、レイアウト構造探索情報蓄積部２１１のフィルタリング指定テーブル２２０の情報を取得し（７８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部２１１より取得した出力変換情報（７３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００６４】
レイアウト構造探索における探索ポイントの移動例を図１１に示す。探索ポイントの移動は対話部品単位で行われる。入力デバイス２０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。
【００６５】
例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリング指定されていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００６６】
○選択実行操作
例えば入力デバイス２０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部２１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（７４０）、論理構造探索情報蓄積部２１５のイベント変換情報を利用して（７４１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部２１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００６７】
対話部品の選択実行は、レイアウト構造探索部２１２では、画面上で指定された対話部品の情報を取得し（７５０）、レイアウト構造探索情報蓄積部２１１のイベント変換情報を利用して（７５１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部２１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力し（７５３）、ユーザの選択実行指示に対する結果を知らせる。
【００６８】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部２１０による画面情報の抽出，探索テーブル構成部２１４による探索テーブルの更新が起こる。
【００６９】
○探索方式切換
例えば入力デバイス２０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部２１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（７６０）。
【００７０】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部２１２で最後に探索された対話部品の情報が、論理構造探索部２１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００７１】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部２１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部２１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００７２】
また、探索方式の切り換え時には、対話制御部２１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７６１）。
【００７３】
以上のように本実施例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。また、フィルタリングする項目を指定することで、ユーザにとって重要度の低い項目への探索をなくし、より効率的な操作を行うことが可能となる。
【００７４】
図１２を参照すると、本発明の更に別の実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ３０１（以下、単にＯＳ３０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス３０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス３０３と、ＯＳ３０１の下で動作する各種のアプリケーションプログラム３０４と、画面情報抽出部３１０と、レイアウト構造探索情報蓄積部３１１と、レイアウト構造探索部３１２と、テーブル構成情報蓄積部３１３と、探索テーブル構成部３１４と、論理構造探索情報蓄積部３１５と、論理構造探索部３１６と、対話制御部３１７と、画面変化通知情報蓄積部３１８とで構成され、図１の実施例と異なり、レイアウト構造探索情報蓄積部３１１および論理構造探索情報蓄積部３１５はフィルタリング指定テーブル３２０およびフィルタリング指定テーブル３２１を有し、また、レイアウト構造探索部３１２および論理構造探索部３１６はフィルタリング制御部３２２およびフィルタリング制御部３２３を有し、図８の実施例と異なり、対話制御部３１７は直接指示制御部３３０を有している。
【００７５】
ＯＳ３０１は、出力デバイス３０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。更に、探索テーブルウィンドウを表示し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上で対話部品単位で直接ポインティングを可能としている。
【００７６】
画面情報抽出部３１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部３１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００７７】
フィルタリング制御部３２２を有するレイアウト構造探索部３１２およびフィルタリング指定テーブル３２０を有するレイアウト構造探索情報蓄積部３１１は、レイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部３１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部３１２は、画面情報抽出部３１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部３１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部３１２は、フィルタリング制御部３２２を使用して、画面情報抽出部３１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル３２０で指定された対話部品の情報を除外して探索を進める。
【００７８】
フィルタリング制御部３２３を有する論理構造探索部３１６，探索テーブル構成部３１４，テーブル構成情報蓄積部３１３およびフィルタリング指定テーブル３２１を有する論理構造探索情報蓄積部３１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部３１３は、画面情報抽出部３１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部３１４は、画面情報抽出部３１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部３１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部３１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部３１６は、探索テーブル構成部３１４で作成された探索テーブルと、論理構造探索情報蓄積部３１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部３１６は、フィルタリング制御部３２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル３２１で指定された対話部品の情報を除外して探索を進める。
【００７９】
対話制御部３１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００８０】
また本実施例の対話制御部３１７は、探索テーブル構成部３１４で作成された探索テーブルを出力デバイス３０３中のディスプレイ上にウィンドウとして変換出力し、入力デバイス３０２中のタッチパネル、マウス等によって対話部品の直接ポインティングを可能とする制御を行うための直接指示制御部３３０を有している。
【００８１】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００８２】
図１３は図１２の実施例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（８０１）、それぞれに対応する処理を行う。
【００８３】
○画面状態変化
ＯＳ３０１から出力デバイス３０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部３１０では、ＯＳ３０１からその時点において画面上に表示されている対話部品の情報を抽出する（８１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部３１４およびレイアウト構造探索部３１２に出力される。
【００８４】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部３１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部３１０は、画面状態の変化時に、画面変化通知情報蓄積部３１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部３１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（８１１）。
【００８５】
他方、探索テーブル構成部３１４では、テーブル構成情報蓄積部３１３よりテーブル構成情報を取得し（８１２）、このテーブル構成情報と、画面情報抽出部３１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（８１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の実施例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の実施例と同様に、画面情報抽出部３１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００８６】
探索テーブル構成部３１４で作成された探索テーブルは論理構造探索部３１６および対話制御部３１７に出力される。
【００８７】
対話制御部３１７は、直接指示制御部３３０を働かせて、探索テーブルを出力デバイス３０３中のディスプレイの画面上に探索テーブルウィンドウとして変換出力し（８９０）、この探索テーブルウィンドウによる直接入力を制御する。このとき、画面上に提示された探索テーブルウィンドウ域以外の対話部品に対するマウス、タッチパネルなど入力デバイス３０２からの入力を無視する（無反応域とする）ような制御を行う（８９１）。
【００８８】
図１５に探索テーブルウィンドウの例を示す。この例では、ポインティングデバイスとして、ディスプレイ画面上の任意の点を指でポインティングできるタッチパネルを使用し、そのタッチパネル上に探索テーブルウィンドウを重ねて表示している。探索テーブルウィンドウは、ユーザが容易にポインティングできる大きさで、且つポインティングし易い画面端などの位置に提示され、この領域だけが反応域となりボタンとして機能する。他の部分は無反応域となる。よりポインティングを容易にするために、タッチパネルには、あらかじめ決められたボタンサイズにあわせて触覚的なガイドラインを付加しても良い。これにより直接的なポインティング操作がより容易となる。
【００８９】
○探索テーブル直接指示
ユーザによって探索テーブルに対する直接指示操作が行われた場合、直接指示制御部３３０による探索テーブル直接指示制御が行われる（８９２）。以下、図１５に例示したようなタッチパネルを入力デバイスとした場合について説明する。
【００９０】
図１４は図１３の探索テーブル直接指示制御８９２の詳細を示すフローチャートである。探索テーブルウィンドウの対話部品表示上（反応域）に指示操作があった場合（９００）、対話制御部３１７の直接指示制御部３３０では、対応する対話部品情報を論理構造探索部３１６を介して取得する（９０１）。また、論理構造探索部３１６のフィルタリング制御部３２３を介して、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１から対話部品のフィルタリング情報を得る（９０２）。そして、ステップ９０１で取得した対話部品がフィルタリング指定されているか否かを判定し、フィルタリング指定されている場合は何も情報出力せず、フィルタリング指定されていない場合には、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の出力変換情報を取得し（９０４）、定義された出力変換方法に従い、対話部品情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０５）。
【００９１】
入力デバイス３０２のタッチパネルからの入力が無反応域に入らず途切れた場合（反応域上でタッチを離した場合）には、選択実行操作が行われたものとして（９０６）、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５のイベント変換情報を取得し（９０７）、実行イベントを発生させる（９０８）。またこのとき、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の選択実行イベント通知情報を取得し、定義された出力変換方法に従い、選択実行イベント発生の情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０９）。
【００９２】
なお、上記選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出、探索テーブル構成部３１４による探索テーブルの更新が起こる。従って、探索テーブルウィンドウの内容の更新も起こる。
【００９３】
例えば入力デバイス３０２中のテンキーの特定のボタンが論理構造探索，レイアウト構造探索の併用指示用に割り当てられている。このボタン操作により論理構造探索、レイアウト構造探索も併用することが指定されている場合、上述した直接指示制御以外にそれらの探索方式も利用することができる。なお、この場合の論理構造探索，レイアウト構造探索は図８の実施例と同様であり、以下のように行われる。
【００９４】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーのボタン操作などによって通知されると、対話制御部３１７は探索イベントを論理構造探索部３１６に渡す。論理構造探索部３１６では、探索テーブル構成部３１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（８２０）。
【００９５】
探索ポイント移動後、論理構造探索部３１６は、その位置の対話部品の情報を取得する（８２１）。そして、フィルタリング制御部３２３において、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１の情報を取得し（８７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部３１５より取得した出力変換情報（８２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００９６】
例えば前述した図５（ａ）の探索テーブルに対する探索ポイントの移動は、図１０で説明したように以下のように行われる。入力デバイス３０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００９７】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００９８】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーなどから通知されると、対話制御部３１７は探索イベントをレイアウト構造探索部３１２に渡す。レイアウト構造探索部３１２では、画面情報抽出部３１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（８３０）。
【００９９】
探索ポイント移動後、レイアウト構造探索部３１２は、その位置の対話部品の情報を取得する（８３１）。そして、フィルタリング制御部３２２において、レイアウト構造探索情報蓄積部３１１のフィルタリング指定テーブル３２０の情報を取得し（８８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部３１１より取得した出力変換情報（８３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【０１００】
本実施例におけるレイアウト構造探索における探索ポイントの移動も図１１に例示したように行われ、探索ポイントの移動も対話部品単位で行われる。入力デバイス３０２中のテンキーなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリングされていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【０１０１】
○選択実行操作
例えば入力デバイス３０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部３１６では、探索テーブル上で指定された対話部品の情報を取得し（８４０）、論理構造探索情報蓄積部３１５のイベント変換情報を利用して（８４１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部３１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０２に出力する（８４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【０１０２】
対話部品の選択実行は、レイアウト構造探索部３１２では、画面上で指定された対話部品の情報を取得し（８５０）、レイアウト構造探索情報蓄積部３１１のイベント変換情報を利用して（８５１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部３１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力し（８５３）、ユーザの選択実行指示に対する結果を知らせる。
【０１０３】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出，探索テーブル構成部３１４による探索テーブルの更新が起こる。
【０１０４】
○探索方式切換
例えば入力デバイス３０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部３１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（８６０）。
【０１０５】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部３１２で最後に探索された対話部品の情報が、論理構造探索部３１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【０１０６】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部３１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部３１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【０１０７】
また、探索方式の切り換え時には、対話制御部３１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８６１）。
【０１０８】
図１２に示した実施例によれば、探索テーブルをディスプレイ上にウィンドウとして変換出力し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上の対話部品単位を直接ポインティング可能としたことにより、より効率的な操作を行うことができる。また、論理構造探索、レイアウト構造探索の併用も可能であり、論理構造探索，レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を利用することでユーザの要求に応じて探索を行うことができる。更に、フィルタリングする項目を指定することでユーザにとって重要度の低い項目が一々探索される煩わしさを低減することができる。
【０１１０】
【発明の効果】
以上説明したように本発明によれば以下のような効果を得ることができる。
【０１１１】
対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を探索することができるので、その時々の状況に応じた探索方式を使用して効率的に対話部品の探索が可能となる。また、単に両探索を併存させたに過ぎない場合には、両探索方式間で探索ポイントの整合がとれないため、一方の探索方式で最後に探索した対話部品を出発点として他方の探索方式で探索を続行するといったことができず、有効性が半減されるが、本発明では、探索方式の切り換え時に切り換え前の探索方式で最後に探索した対話部品を切り換え後の探索方式の探索ポイントとして設定して整合をとっているので、或る部分まではレイアウト構造探索で探索し、残りを続けて論理構造で探索することが可能となり、またその逆に、或る部分までは論理構造探索で探索し、残りを続けてレイアウト構造探索で探索することも可能となり、双方の探索方式を併用した効率の良い探索が可能となる。
【０１１２】
テーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する構成にあっては、視覚障害者等にとって本来不要なウィンドウの拡大ボタン，縮小ボタンを論理構造探索の探索対象範囲から除外でき、論理構造探索の効率を向上させることができる。
【０１１３】
フィルタリング指定テーブル，論理構造フィルタリング制御部，レイアウト構造フィルタリング制御部を有する構成にあっては、各ユーザが事前に探索不要な対話部品を指定しておくことによって、それらを除外した探索が可能となり、個々のユーザに応じた効率的な探索を行うことができる。
【０１１４】
直接指示制御部を有する構成にあっては、ポインティングされるべき対話部品が１つのウィンドウ内に一同に集められていること、ポインティングの移動が対話部品単位で行われることから、個々の対話部品を直接ポインティングすることが簡単に行える。
【０１１５】
このように、本発明では、視覚に障害を持つユーザが必要に応じて探索方式を切り換え、必要に応じて最小限に限定された操作に対して直接的なポインティング操作を可能とすることで、効率的な操作でＧＵＩ環境を利用することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例における画面探索インタフェース装置のブロック図である。
【図２】図１の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図３】画面情報抽出部で抽出される画面情報の例を示す図である。
【図４】探索テーブル構成情報の例を示す図である。
【図５】探索テーブルの更新の例を示す図である。
【図６】図１の実施例における論理構造探索時の探索ポイントの移動の例を示す図である。
【図７】図１の実施例におけるレイアウト構造探索時の探索ポイントの移動の例を示す図である。
【図８】本発明の別の実施例における画面探索インタフェース装置のブロック図である。
【図９】図８の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図１０】図８の実施例における論理構造探索時の探索ポイントの移動の例である。
【図１１】図８の実施例におけるレイアウト構造探索時の探索ポイントの移動の例である。
【図１２】本発明の更に別の実施例における画面探索インタフェース装置のブロック図である。
【図１３】図１２の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図１４】図１３の探索テーブル直接指示制御の詳細を示すフローチャートである。
【図１５】探索テーブルウィンドウの例を示す図である。
【符号の説明】
１０１ ＧＵＩのＯＳ
１０２ キーボード、マウス、タッチパネル等の入力デバイス
１０３ ディスプレイ、スピーカ等の出力デバイス
１０４ アプリケーションプログラム
１１０ 画面情報抽出部
１１１ レイアウト構造探索情報蓄積部
１１２ レイアウト構造探索部
１１３ テーブル構成情報蓄積部
１１４ 探索テーブル構成部
１１５ 論理構造探索情報蓄積部
１１６ 論理構造探索部
１１７ 対話制御部
１１８ 画面変化通知情報蓄積部
２０１ ＧＵＩのＯＳ
２０２ キーボード、マウス、タッチパネル等の入力デバイス
２０３ ディスプレイ、スピーカ等の出力デバイス
２０４ アプリケーションプログラム
２１０ 画面情報抽出部
２１１ レイアウト構造探索情報蓄積部
２１２ レイアウト構造探索部
２１３ テーブル構成情報蓄積部
２１４ 探索テーブル構成部
２１５ 論理構造探索情報蓄積部
２１６ 論理構造探索部
２１７ 対話制御部
２１８ 画面変化通知情報蓄積部
２２０ フィルタリング指定テーブル
２２１ フィルタリング指定テーブル
２２２ フィルタリング制御部
２２３ フィルタリング制御部
３０１ ＧＵＩのＯＳ
３０２ キーボード、マウス、タッチパネル等の入力デバイス
３０３ ディスプレイ、スピーカ等の出力デバイス
３０４ アプリケーションプログラム
３１０ 画面情報抽出部
３１１ レイアウト構造探索情報蓄積部
３１２ レイアウト構造探索部
３１３ テーブル構成情報蓄積部
３１４ 探索テーブル構成部
３１５ 論理構造探索情報蓄積部
３１６ 論理構造探索部
３１７ 対話制御部
３１８ 画面変化通知情報蓄積部
３２０ フィルタリング指定テーブル
３２１ フィルタリング指定テーブル
３２２ フィルタリング制御部
３２３ フィルタリング制御部
３３０ 直接指示制御部
【発明の属する技術分野】
本発明は、視覚や上肢に障害を持つユーザのＧＵＩ(Graphical User Interface)環境の利用を支援するための情報処理装置における画面探索インタフェース装置に関し、特に、画面上の対話部品のレイアウト構造および論理構造を統合的に利用して効率的な情報探索を行うことのできる画面探索インタフェース装置に関する。
【０００２】
【従来の技術】
情報処理装置がＧＵＩ環境に移行したことによって、ディスプレイ画面を見ることやポインティングが不得手な視覚障害者，上肢障害者などのユーザは、情報処理装置の利用が困難になってきた。それは、視覚障害者では、画面上にどのような対話部品がどのように配置されているかを正確に認識すること、及びその正確な位置をマウス等のポインティングデバイスでポインティングすることが共に困難であり、また上肢障害者では、対話部品の配置が認識できてもマウス等のポインティングデバイスによる目的とする対話部品の正確なポインティングが困難であることによる。
【０００３】
そこで視覚障害者等の便宜を図るため、ＧＵＩ環境で画面上の情報を順次に探索してそれを読み上げる探索方式として、「Nonvisual Presentation of Graphical User Interfaces:Contrasting Two Approaches(Elizabeth D. Mynatt、Gerhard Weber CHI'94 Conference Proceedings)」に見られるように、画面のレイアウト構造をもとに対話部品の探索を行うＧＵＩＢなどのレイアウト構造探索方式と、対話部品の論理構造をもとに探索を行うMercatorなどの論理構造探索方式の２種類が提案されている。なお、レイアウト構造探索方式では、out SPOKEN for Windows(Berkeley System社）などの製品も存在する。
【０００４】
また、上肢障害のユーザに対しては、キーボードなどでマウスポインタの動きを制御する方式が存在し、「クイックシフトドライバ Qsdw (開発者：吉村隆樹）」などのマウスエミュレーションソフトウェアがフリーソフトウェア等にも見られる。
【０００５】
【発明が解決しようとする課題】
レイアウト構造探索方式では、画面上に配置された対話部品のレイアウトを利用して探索を行うため、画面上での対話部品の配置を或る程度把握している場合には適している。しかし、そうでない場合には、ＧＵＩ環境では多くの対話部品が画面上の様々な位置に分布しており、レイアウト構造探索ではそのレイアウト通りに探索が進められるため、画面上に散らばる多くの対話部品の中から目的とする対話部品を探し出すには、目的としない対話部品を幾つも経由しなければならず、操作効率が極端に低下する。
【０００６】
他方、論理構造探索方式では、対話部品の論理構造であるツリー構造を利用するため、論理構造に従った規則的な探索が行える。しかし、論理構造探索方式では、対話部品のツリー構造を利用するため、決まったパス上でしか探索できず、たとえ画面上では隣接する対話部品であっても、多くの対話部品を経由しなければ見出せない場合がある。また、従来の論理構造探索方式では、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品も含めて探索が行われているため、視覚障害者にとって無意味な対話部品が探索されることが多く、対話部品の探索操作がより一層冗長なものとなっている。
【０００７】
このように、レイアウト構造探索方式，論理構造探索方式にはそれぞれ一長一短があり、何れか一方の方式しか利用できない従来の環境では、視覚障害者などのユーザは冗長な探索操作を強いられており、これが操作効率の向上や操作の容易さを妨げる要因となっていた。
【０００８】
他方、上肢障害のユーザに対する上述した従来のマウスエミュレーションソフトウェアによる方式では、ポインティング位置の移動はオブジェクト単位でなく画素単位で行われ、且つ、画面上の対話部品のサイズ，位置がＧＵＩで規定されたサイズ，位置のままであるため、目的の対話部品が小さい場合には目的の対話部品を正確にポインティングすることが困難だったり、ある対話部品から遠く離れた対話部品をポインティングする場合カーソルなどの移動の効率が悪いという問題点があった。
【０００９】
そこで本発明の第１の目的は、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を探索することができる画面探索インタフェース装置を提供することにある。
【００１０】
また、本発明の第２の目的は、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品を除外した論理構造探索を実現することにより、探索操作の冗長性をより一層低減させることにある。
【００１１】
また本発明の第３の目的は、レイアウト構造探索，論理構造探索において、ユーザが探索を必要としない対話部品を事前に指定しておけば、それらを除外して、ユーザに通知すべき対話部品の探索を行う画面探索インタフェース装置を提供することにある。
【００１２】
更に本発明の第４の目的は、画面上の対話部品に対するポインティング操作を容易にするために、ポインティングされるべき対話部品を一同に集めたウィンドウにて、個々の対話部品を直接ポインティングすることを可能にする画面探索インタフェース装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は上記第１の目的を達成するために、各種の入出力デバイスとグラフィカルユーザインタフェースのＯＳとアプリケーションプログラムとを有する情報処理装置において、視覚に障害を持つユーザのグラフィカルユーザインタフェース環境の利用を支援するために、ユーザの探索操作に応答して画面上の対話部品の情報を探索して音声，点字出力などの所定の方法でユーザに知らしめるようにした画面探索インタフェース装置であって、
ディスプレイ画面の状態が変化するごとに最新の画面上の対話部品の情報を抽出する画面情報抽出部と、
レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持するレイアウト構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報と、前記レイアウト構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御するレイアウト構造探索部と、
論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持する論理構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する探索テーブル構成部と、
該探索テーブル構成部で作成された探索テーブルと、前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する論理構造探索部と、
ユーザによる探索方式の切り換え操作に応答して、前記レイアウト構造探索部によるレイアウト構造探索から前記論理構造探索部による論理構造探索へ、またはその逆へ、探索方式を切り換えると共に、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が前記探索テーブルに存在すれば該存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば該現れている対話部品をレイアウト構造探索における探索ポイントに設定する対話制御部とを備えている。
【００１４】
このような構成を有する本発明の画面探索インタフェース装置にあっては、ディスプレイ画面の状態が変化すると、画面情報抽出部が最新の画面上の対話部品の情報を抽出し、探索テーブル構成部が、この抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。そして、ユーザが論理構造探索を指定している場合には、対話制御部によって論理構造探索部が働くように制御され、論理構造探索部が、前記探索テーブル構成部で作成された探索テーブルと、論理構造探索情報蓄積部に保持されている、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。他方、ユーザがレイアウト構造探索を指定している場合には、対話制御部によってレイアウト構造探索部が働くように制御され、レイアウト構造探索部が、前記画面情報抽出部で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部に保持されている、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００１５】
そして、ユーザがレイアウト構造探索から論理構造探索へ切り換えた際の探索の連続性を保証するために、対話制御部は、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が前記探索テーブルに存在すれば該存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば該現れている対話部品をレイアウト構造探索における探索ポイントに設定する。このような処理によって、或る部分まではレイアウト構造探索で探索し、残りを続けて論理構造で探索することが可能となり、またその逆に、或る部分までは論理構造探索で探索し、残りを続けてレイアウト構造探索で探索することが可能となり、双方の探索方式の利点を活かした効率の良い探索が可能となる。
【００１６】
また本発明は上記の第２の目的を達成するために、前記画面情報抽出部で抽出された対話部品の情報から前記探索テーブルを作成する際のテンプレートとなるテーブル構成情報を保持するテーブル構成情報蓄積部を備え、前記探索テーブル構成部は、前記テーブル構成情報と前記画面情報抽出部で抽出された対話部品の情報とから、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成するようにしている。
【００１７】
さらに本発明は上記の第３の目的を達成するめために、前記論理構造探索情報蓄積部、前記レイアウト構造情報蓄積部がそれぞれフィルタリング指定テーブルを有し、前記論理構造探索部が前記探索テーブル中の対話部品の情報のうち前記論理構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進める論理構造フィルタリング制御部を有し、前記レイアウト構造探索部が前記画面情報抽出部で抽出された対話部品の情報のうち前記レイアウト構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進めるレイアウト構造フィルタリング制御部を有している。
【００１８】
また更に、本発明は上記の第４の目的を達成するために、前記対話制御部が、前記探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位でのポインティング操作を可能とし、且つ前記探索テーブルと前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する直接指示制御部を有している。
【００１９】
以上の論理構造探索および画面構造探索を統合的に利用するための探索ポイントの整合制御、探索テーブルを構成する対話部品の絞り込み処理，ウィンドウ上での直接指示制御の機構を設けることによって、視覚や上肢に障害を持つユーザがＧＵＩの対話部品の探索、操作を容易かつ効率的に行うことが可能となる。
【００２０】
【発明の実施の形態】
次に本発明の実施の形態の例について図面を参照して詳細に説明する。
【００２１】
図１を参照すると、本発明の一実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ１０１（以下、単にＯＳ１０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス１０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス１０３と、ＯＳ１０１の下で動作する各種のアプリケーションプログラム１０４と、画面情報抽出部１１０と、レイアウト構造探索情報蓄積部１１１と、レイアウト構造探索部１１２と、テーブル構成情報蓄積部１１３と、探索テーブル構成部１１４と、論理構造探索情報蓄積部１１５と、論理構造探索部１１６と、対話制御部１１７と、画面変化通知情報蓄積部１１８とで構成されている。
【００２２】
ＯＳ１０１は、出力デバイス１０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。
【００２３】
画面情報抽出部１１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部１１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００２４】
レイアウト構造探索部１１２およびレイアウト構造探索情報蓄積部１１１はレイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部１１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。レイアウト構造探索部１１２は、画面情報抽出部１１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部１１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２５】
論理構造探索部１１６，探索テーブル構成部１１４，テーブル構成情報蓄積部１１３および論理構造探索情報蓄積部１１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部１１３は、画面情報抽出部１１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部１１４は、画面情報抽出部１１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部１１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部１１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。論理構造探索部１１６は、探索テーブル構成部１１４で作成された探索テーブルと、論理構造探索情報蓄積部１１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２６】
対話制御部１１７はレイアウト構造探索と論理構造探索との切り換えを行う。また、その切り換え時に発生し得る不整合を排除する。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００２７】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００２８】
図２は図１の実施例の処理を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（６０１）、それぞれに対応する処理を行う。
【００２９】
○画面状態変化
ＯＳ１０１から出力デバイス１０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部１１０では、ＯＳ１０１からその時点において画面上に表示されている対話部品の情報を抽出する（６１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。図３に画面情報抽出部１１０によって抽出される情報の例を示す。同図に示すように、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部１１４およびレイアウト構造探索部１１２に出力される。
【００３０】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部１１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部１１０は、画面状態の変化時に、画面変化通知情報蓄積部１１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部１１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（６１１）。
【００３１】
他方、探索テーブル構成部１１４では、テーブル構成情報蓄積部１１３よりテーブル構成情報を取得し（６１２）、このテーブル構成情報と、画面情報抽出部１１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（６１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことである。図４にテーブル構成情報の例を示す。この例のテーブル構成情報では、各項目のグループ名（アプリケーション名，子ウィンドウ名等），そのグループに属する各項目名称（項目名称１，項目名称２等），項目数（項目数（ｍ）等）を横方向に並べた行を、操作手順に従って縦方向に並べてある。なお、この例は、アプリケーションに対するユーザ操作が、アプリケーションの選択，この選択したアプリケーションに関連する子ウィンドウの選択，この選択した子ウィンドウに関連するメニュー項目の選択，この選択したメニュー項目に関連するリスト項目の選択といった順序で行われることを想定している。このテンプレートをもとに作成される探索テーブルは、画面の状態変化イベントの発生に応じて、即ち変化後の画面状態に応じて、随時更新される。図５に図４のテンプレートをもとに構成された探索テーブルとその更新の例を示す。図５（ａ）の状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合に更新された探索テーブルが図５（ｂ）である。なお、図５において網かけを施した部分は選択されている対話部品を示す。ここで、本実施例の特徴は、画面情報抽出部１１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外されていることである。
【００３２】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーのボタン操作などによって通知されると、対話制御部１１７は探索イベントを論理構造探索部１１６に渡す。論理構造探索部１１６では、探索テーブル構成部１１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（６２０）。図５（ａ）の探索テーブルに対する探索ポイントの移動例を図６に示す。
【００３３】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動するように設定している。「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。
【００３４】
探索ポイント移動後、論理構造探索部１１６は、その位置の対話部品の情報を取得し（６２１）、論理構造探索情報蓄積部１１５より取得した出力変換情報（６２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６２３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３５】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーなどから通知されると、対話制御部１１７は探索イベントをレイアウト構造探索部１１２に渡す。レイアウト構造探索部１１２では、画面情報抽出部１１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（６３０）。探索ポイントの移動は、図７に示すように対話部品単位で行われる。
【００３６】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、この例では、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。図のＡの位置から（ｂ）右方向の移動操作を行うとウィンドウ枠，アイコン，アイコン，ウィンドウ枠，画面端の順に移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００３７】
探索ポイント移動後、レイアウト構造探索部１１２は、その位置の対話部品の情報を取得し（６３１）、レイアウト構造探索情報蓄積部１１１より取得した出力変換情報（６３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０２に出力する（６３３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３８】
○選択実行操作
例えば入力デバイス１０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行処理が開始される。対話部品の選択実行は、論理構造探索部１１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（６４０）、論理構造探索情報蓄積部１１５のイベント変換情報を利用して（６４１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部１１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００３９】
対話部品の選択実行は、レイアウト構造探索部１１２では、画面上の探索ポイントで指定された対話部品の情報を取得し（６５０）、レイアウト構造探索情報蓄積部１１１のイベント変換情報を利用して（６５１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部１１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力し（６５３）、ユーザの選択実行指示に対する結果を知らせる。
【００４０】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部１１０による画面情報の抽出，探索テーブル構成部１１４による探索テーブルの更新が起こる。
【００４１】
○探索方式切換
例えば入力デバイス１０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により、論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部１１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（６６０）。
【００４２】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部１１２で最後に探索された対話部品の情報が、論理構造探索部１１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００４３】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部１１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部１１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００４４】
また、探索方式の切り換え時、対話制御部１１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６６１）。
【００４５】
以上のように本実施例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。
【００４６】
図８を参照すると、本発明の別の実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ２０１（以下、単にＯＳ２０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス２０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス２０３と、ＯＳ２０１の下で動作する各種のアプリケーションプログラム２０４と、画面情報抽出部２１０と、レイアウト構造探索情報蓄積部２１１と、レイアウト構造探索部２１２と、テーブル構成情報蓄積部２１３と、探索テーブル構成部２１４と、論理構造探索情報蓄積部２１５と、論理構造探索部２１６と、対話制御部２１７と、画面変化通知情報蓄積部２１８とで構成され、図１の実施例と異なり、レイアウト構造探索情報蓄積部２１１および論理構造探索情報蓄積部２１５はフィルタリング指定テーブル２２０およびフィルタリング指定テーブル２２１を有し、また、レイアウト構造探索部２１２および論理構造探索部２１６はフィルタリング制御部２２２およびフィルタリング制御部２２３を有している。
【００４７】
ＯＳ２０１は、出力デバイス２０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。
【００４８】
画面情報抽出部２１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部２１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００４９】
フィルタリング制御部２２２を有するレイアウト構造探索部２１２およびフィルタリング指定テーブル２２０を有するレイアウト構造探索情報蓄積部２１１はレイアウト構造探索を実現している。レイアウト構造探索情報蓄積部２１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部２１２は、画面情報抽出部２１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部２１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部２１２は、フィルタリング制御部２２２を使用して、画面情報抽出部２１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル２２０で指定された対話部品の情報を除外して探索を進める。
【００５０】
フィルタリング制御部２２３を有する論理構造探索部２１６，探索テーブル構成部２１４，テーブル構成情報蓄積部２１３およびフィルタリング指定テーブル２２１を有する論理構造探索情報蓄積部２１５は論理構造探索を実現する。テーブル構成情報蓄積部２１３は、画面情報抽出部２１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部２１４は、画面情報抽出部２１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部２１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部２１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部２１６は、探索テーブル構成部２１４で作成された探索テーブルと、論理構造探索情報蓄積部２１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部２１６は、フィルタリング制御部２２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル２２１で指定された対話部品の情報を除外して探索を進める。
【００５１】
対話制御部２１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００５２】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００５３】
図９は図８の実施例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（７０１）、それぞれに対応する処理を行う。
【００５４】
○画面状態変化
ＯＳ２０１から出力デバイス２０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部２１０では、ＯＳ２０１からその時点において画面上に表示されている対話部品の情報を抽出する（７１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部２１４およびレイアウト構造探索部２１２に出力される。
【００５５】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部２１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部２１０は、画面状態の変化時に、画面変化通知情報蓄積部２１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部２１７を通じて出力デバイス２０３中のスピーカ，点字ディスプレイ等から出力する（７１１）。
【００５６】
他方、探索テーブル構成部２１４では、テーブル構成情報蓄積部２１３よりテーブル構成情報を取得し（７１２）、このテーブル構成情報と、画面情報抽出部２１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（７１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の実施例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の実施例と同様に、画面情報抽出部２１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００５７】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーのボタン操作などによって通知されると、対話制御部２１７は探索イベントを論理構造探索部２１６に渡す。論理構造探索部２１６では、探索テーブル構成部２１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（７２０）。
【００５８】
探索ポイント移動後、論理構造探索部２１６は、その位置の対話部品の情報を取得する（７２１）。そして、フィルタリング制御部２２３において、論理構造探索情報蓄積部２１５のフィルタリング指定テーブル２２１の情報を取得し（７７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部２１５より取得した出力変換情報（７２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００５９】
図５（ａ）の探索テーブルに対する探索ポイントの移動例を図１０に示す。
【００６０】
入力デバイス２０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００６１】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００６２】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーなどから通知されると、対話制御部２１７は探索イベントをレイアウト構造探索部２１２に渡す。レイアウト構造探索部２１２では、画面情報抽出部２１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（７３０）。
【００６３】
探索ポイント移動後、レイアウト構造探索部２１２は、その位置の対話部品の情報を取得する（７３１）。そして、フィルタリング制御部２２２において、レイアウト構造探索情報蓄積部２１１のフィルタリング指定テーブル２２０の情報を取得し（７８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部２１１より取得した出力変換情報（７３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００６４】
レイアウト構造探索における探索ポイントの移動例を図１１に示す。探索ポイントの移動は対話部品単位で行われる。入力デバイス２０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。
【００６５】
例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリング指定されていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００６６】
○選択実行操作
例えば入力デバイス２０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部２１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（７４０）、論理構造探索情報蓄積部２１５のイベント変換情報を利用して（７４１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部２１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００６７】
対話部品の選択実行は、レイアウト構造探索部２１２では、画面上で指定された対話部品の情報を取得し（７５０）、レイアウト構造探索情報蓄積部２１１のイベント変換情報を利用して（７５１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部２１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力し（７５３）、ユーザの選択実行指示に対する結果を知らせる。
【００６８】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部２１０による画面情報の抽出，探索テーブル構成部２１４による探索テーブルの更新が起こる。
【００６９】
○探索方式切換
例えば入力デバイス２０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部２１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（７６０）。
【００７０】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部２１２で最後に探索された対話部品の情報が、論理構造探索部２１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００７１】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部２１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部２１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００７２】
また、探索方式の切り換え時には、対話制御部２１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７６１）。
【００７３】
以上のように本実施例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。また、フィルタリングする項目を指定することで、ユーザにとって重要度の低い項目への探索をなくし、より効率的な操作を行うことが可能となる。
【００７４】
図１２を参照すると、本発明の更に別の実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ３０１（以下、単にＯＳ３０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス３０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス３０３と、ＯＳ３０１の下で動作する各種のアプリケーションプログラム３０４と、画面情報抽出部３１０と、レイアウト構造探索情報蓄積部３１１と、レイアウト構造探索部３１２と、テーブル構成情報蓄積部３１３と、探索テーブル構成部３１４と、論理構造探索情報蓄積部３１５と、論理構造探索部３１６と、対話制御部３１７と、画面変化通知情報蓄積部３１８とで構成され、図１の実施例と異なり、レイアウト構造探索情報蓄積部３１１および論理構造探索情報蓄積部３１５はフィルタリング指定テーブル３２０およびフィルタリング指定テーブル３２１を有し、また、レイアウト構造探索部３１２および論理構造探索部３１６はフィルタリング制御部３２２およびフィルタリング制御部３２３を有し、図８の実施例と異なり、対話制御部３１７は直接指示制御部３３０を有している。
【００７５】
ＯＳ３０１は、出力デバイス３０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であり、上肢障害者の場合は画面上の対話部品の配置を認識できても正確なポインティングが困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。更に、探索テーブルウィンドウを表示し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上で対話部品単位で直接ポインティングを可能としている。
【００７６】
画面情報抽出部３１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部３１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００７７】
フィルタリング制御部３２２を有するレイアウト構造探索部３１２およびフィルタリング指定テーブル３２０を有するレイアウト構造探索情報蓄積部３１１は、レイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部３１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部３１２は、画面情報抽出部３１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部３１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部３１２は、フィルタリング制御部３２２を使用して、画面情報抽出部３１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル３２０で指定された対話部品の情報を除外して探索を進める。
【００７８】
フィルタリング制御部３２３を有する論理構造探索部３１６，探索テーブル構成部３１４，テーブル構成情報蓄積部３１３およびフィルタリング指定テーブル３２１を有する論理構造探索情報蓄積部３１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部３１３は、画面情報抽出部３１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部３１４は、画面情報抽出部３１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部３１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部３１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部３１６は、探索テーブル構成部３１４で作成された探索テーブルと、論理構造探索情報蓄積部３１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部３１６は、フィルタリング制御部３２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル３２１で指定された対話部品の情報を除外して探索を進める。
【００７９】
対話制御部３１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００８０】
また本実施例の対話制御部３１７は、探索テーブル構成部３１４で作成された探索テーブルを出力デバイス３０３中のディスプレイ上にウィンドウとして変換出力し、入力デバイス３０２中のタッチパネル、マウス等によって対話部品の直接ポインティングを可能とする制御を行うための直接指示制御部３３０を有している。
【００８１】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００８２】
図１３は図１２の実施例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（８０１）、それぞれに対応する処理を行う。
【００８３】
○画面状態変化
ＯＳ３０１から出力デバイス３０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部３１０では、ＯＳ３０１からその時点において画面上に表示されている対話部品の情報を抽出する（８１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部３１４およびレイアウト構造探索部３１２に出力される。
【００８４】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部３１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部３１０は、画面状態の変化時に、画面変化通知情報蓄積部３１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部３１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（８１１）。
【００８５】
他方、探索テーブル構成部３１４では、テーブル構成情報蓄積部３１３よりテーブル構成情報を取得し（８１２）、このテーブル構成情報と、画面情報抽出部３１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（８１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の実施例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の実施例と同様に、画面情報抽出部３１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００８６】
探索テーブル構成部３１４で作成された探索テーブルは論理構造探索部３１６および対話制御部３１７に出力される。
【００８７】
対話制御部３１７は、直接指示制御部３３０を働かせて、探索テーブルを出力デバイス３０３中のディスプレイの画面上に探索テーブルウィンドウとして変換出力し（８９０）、この探索テーブルウィンドウによる直接入力を制御する。このとき、画面上に提示された探索テーブルウィンドウ域以外の対話部品に対するマウス、タッチパネルなど入力デバイス３０２からの入力を無視する（無反応域とする）ような制御を行う（８９１）。
【００８８】
図１５に探索テーブルウィンドウの例を示す。この例では、ポインティングデバイスとして、ディスプレイ画面上の任意の点を指でポインティングできるタッチパネルを使用し、そのタッチパネル上に探索テーブルウィンドウを重ねて表示している。探索テーブルウィンドウは、ユーザが容易にポインティングできる大きさで、且つポインティングし易い画面端などの位置に提示され、この領域だけが反応域となりボタンとして機能する。他の部分は無反応域となる。よりポインティングを容易にするために、タッチパネルには、あらかじめ決められたボタンサイズにあわせて触覚的なガイドラインを付加しても良い。これにより直接的なポインティング操作がより容易となる。
【００８９】
○探索テーブル直接指示
ユーザによって探索テーブルに対する直接指示操作が行われた場合、直接指示制御部３３０による探索テーブル直接指示制御が行われる（８９２）。以下、図１５に例示したようなタッチパネルを入力デバイスとした場合について説明する。
【００９０】
図１４は図１３の探索テーブル直接指示制御８９２の詳細を示すフローチャートである。探索テーブルウィンドウの対話部品表示上（反応域）に指示操作があった場合（９００）、対話制御部３１７の直接指示制御部３３０では、対応する対話部品情報を論理構造探索部３１６を介して取得する（９０１）。また、論理構造探索部３１６のフィルタリング制御部３２３を介して、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１から対話部品のフィルタリング情報を得る（９０２）。そして、ステップ９０１で取得した対話部品がフィルタリング指定されているか否かを判定し、フィルタリング指定されている場合は何も情報出力せず、フィルタリング指定されていない場合には、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の出力変換情報を取得し（９０４）、定義された出力変換方法に従い、対話部品情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０５）。
【００９１】
入力デバイス３０２のタッチパネルからの入力が無反応域に入らず途切れた場合（反応域上でタッチを離した場合）には、選択実行操作が行われたものとして（９０６）、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５のイベント変換情報を取得し（９０７）、実行イベントを発生させる（９０８）。またこのとき、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の選択実行イベント通知情報を取得し、定義された出力変換方法に従い、選択実行イベント発生の情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０９）。
【００９２】
なお、上記選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出、探索テーブル構成部３１４による探索テーブルの更新が起こる。従って、探索テーブルウィンドウの内容の更新も起こる。
【００９３】
例えば入力デバイス３０２中のテンキーの特定のボタンが論理構造探索，レイアウト構造探索の併用指示用に割り当てられている。このボタン操作により論理構造探索、レイアウト構造探索も併用することが指定されている場合、上述した直接指示制御以外にそれらの探索方式も利用することができる。なお、この場合の論理構造探索，レイアウト構造探索は図８の実施例と同様であり、以下のように行われる。
【００９４】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーのボタン操作などによって通知されると、対話制御部３１７は探索イベントを論理構造探索部３１６に渡す。論理構造探索部３１６では、探索テーブル構成部３１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（８２０）。
【００９５】
探索ポイント移動後、論理構造探索部３１６は、その位置の対話部品の情報を取得する（８２１）。そして、フィルタリング制御部３２３において、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１の情報を取得し（８７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部３１５より取得した出力変換情報（８２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００９６】
例えば前述した図５（ａ）の探索テーブルに対する探索ポイントの移動は、図１０で説明したように以下のように行われる。入力デバイス３０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００９７】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００９８】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーなどから通知されると、対話制御部３１７は探索イベントをレイアウト構造探索部３１２に渡す。レイアウト構造探索部３１２では、画面情報抽出部３１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（８３０）。
【００９９】
探索ポイント移動後、レイアウト構造探索部３１２は、その位置の対話部品の情報を取得する（８３１）。そして、フィルタリング制御部３２２において、レイアウト構造探索情報蓄積部３１１のフィルタリング指定テーブル３２０の情報を取得し（８８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部３１１より取得した出力変換情報（８３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【０１００】
本実施例におけるレイアウト構造探索における探索ポイントの移動も図１１に例示したように行われ、探索ポイントの移動も対話部品単位で行われる。入力デバイス３０２中のテンキーなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリングされていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【０１０１】
○選択実行操作
例えば入力デバイス３０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部３１６では、探索テーブル上で指定された対話部品の情報を取得し（８４０）、論理構造探索情報蓄積部３１５のイベント変換情報を利用して（８４１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部３１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０２に出力する（８４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【０１０２】
対話部品の選択実行は、レイアウト構造探索部３１２では、画面上で指定された対話部品の情報を取得し（８５０）、レイアウト構造探索情報蓄積部３１１のイベント変換情報を利用して（８５１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部３１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力し（８５３）、ユーザの選択実行指示に対する結果を知らせる。
【０１０３】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出，探索テーブル構成部３１４による探索テーブルの更新が起こる。
【０１０４】
○探索方式切換
例えば入力デバイス３０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部３１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（８６０）。
【０１０５】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部３１２で最後に探索された対話部品の情報が、論理構造探索部３１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【０１０６】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部３１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部３１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【０１０７】
また、探索方式の切り換え時には、対話制御部３１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８６１）。
【０１０８】
図１２に示した実施例によれば、探索テーブルをディスプレイ上にウィンドウとして変換出力し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上の対話部品単位を直接ポインティング可能としたことにより、より効率的な操作を行うことができる。また、論理構造探索、レイアウト構造探索の併用も可能であり、論理構造探索，レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を利用することでユーザの要求に応じて探索を行うことができる。更に、フィルタリングする項目を指定することでユーザにとって重要度の低い項目が一々探索される煩わしさを低減することができる。
【０１１０】
【発明の効果】
以上説明したように本発明によれば以下のような効果を得ることができる。
【０１１１】
対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を探索することができるので、その時々の状況に応じた探索方式を使用して効率的に対話部品の探索が可能となる。また、単に両探索を併存させたに過ぎない場合には、両探索方式間で探索ポイントの整合がとれないため、一方の探索方式で最後に探索した対話部品を出発点として他方の探索方式で探索を続行するといったことができず、有効性が半減されるが、本発明では、探索方式の切り換え時に切り換え前の探索方式で最後に探索した対話部品を切り換え後の探索方式の探索ポイントとして設定して整合をとっているので、或る部分まではレイアウト構造探索で探索し、残りを続けて論理構造で探索することが可能となり、またその逆に、或る部分までは論理構造探索で探索し、残りを続けてレイアウト構造探索で探索することも可能となり、双方の探索方式を併用した効率の良い探索が可能となる。
【０１１２】
テーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する構成にあっては、視覚障害者等にとって本来不要なウィンドウの拡大ボタン，縮小ボタンを論理構造探索の探索対象範囲から除外でき、論理構造探索の効率を向上させることができる。
【０１１３】
フィルタリング指定テーブル，論理構造フィルタリング制御部，レイアウト構造フィルタリング制御部を有する構成にあっては、各ユーザが事前に探索不要な対話部品を指定しておくことによって、それらを除外した探索が可能となり、個々のユーザに応じた効率的な探索を行うことができる。
【０１１４】
直接指示制御部を有する構成にあっては、ポインティングされるべき対話部品が１つのウィンドウ内に一同に集められていること、ポインティングの移動が対話部品単位で行われることから、個々の対話部品を直接ポインティングすることが簡単に行える。
【０１１５】
このように、本発明では、視覚に障害を持つユーザが必要に応じて探索方式を切り換え、必要に応じて最小限に限定された操作に対して直接的なポインティング操作を可能とすることで、効率的な操作でＧＵＩ環境を利用することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例における画面探索インタフェース装置のブロック図である。
【図２】図１の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図３】画面情報抽出部で抽出される画面情報の例を示す図である。
【図４】探索テーブル構成情報の例を示す図である。
【図５】探索テーブルの更新の例を示す図である。
【図６】図１の実施例における論理構造探索時の探索ポイントの移動の例を示す図である。
【図７】図１の実施例におけるレイアウト構造探索時の探索ポイントの移動の例を示す図である。
【図８】本発明の別の実施例における画面探索インタフェース装置のブロック図である。
【図９】図８の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図１０】図８の実施例における論理構造探索時の探索ポイントの移動の例である。
【図１１】図８の実施例におけるレイアウト構造探索時の探索ポイントの移動の例である。
【図１２】本発明の更に別の実施例における画面探索インタフェース装置のブロック図である。
【図１３】図１２の実施例における画面探索インタフェース装置の処理例を示すフローチャートである。
【図１４】図１３の探索テーブル直接指示制御の詳細を示すフローチャートである。
【図１５】探索テーブルウィンドウの例を示す図である。
【符号の説明】
１０１ ＧＵＩのＯＳ
１０２ キーボード、マウス、タッチパネル等の入力デバイス
１０３ ディスプレイ、スピーカ等の出力デバイス
１０４ アプリケーションプログラム
１１０ 画面情報抽出部
１１１ レイアウト構造探索情報蓄積部
１１２ レイアウト構造探索部
１１３ テーブル構成情報蓄積部
１１４ 探索テーブル構成部
１１５ 論理構造探索情報蓄積部
１１６ 論理構造探索部
１１７ 対話制御部
１１８ 画面変化通知情報蓄積部
２０１ ＧＵＩのＯＳ
２０２ キーボード、マウス、タッチパネル等の入力デバイス
２０３ ディスプレイ、スピーカ等の出力デバイス
２０４ アプリケーションプログラム
２１０ 画面情報抽出部
２１１ レイアウト構造探索情報蓄積部
２１２ レイアウト構造探索部
２１３ テーブル構成情報蓄積部
２１４ 探索テーブル構成部
２１５ 論理構造探索情報蓄積部
２１６ 論理構造探索部
２１７ 対話制御部
２１８ 画面変化通知情報蓄積部
２２０ フィルタリング指定テーブル
２２１ フィルタリング指定テーブル
２２２ フィルタリング制御部
２２３ フィルタリング制御部
３０１ ＧＵＩのＯＳ
３０２ キーボード、マウス、タッチパネル等の入力デバイス
３０３ ディスプレイ、スピーカ等の出力デバイス
３０４ アプリケーションプログラム
３１０ 画面情報抽出部
３１１ レイアウト構造探索情報蓄積部
３１２ レイアウト構造探索部
３１３ テーブル構成情報蓄積部
３１４ 探索テーブル構成部
３１５ 論理構造探索情報蓄積部
３１６ 論理構造探索部
３１７ 対話制御部
３１８ 画面変化通知情報蓄積部
３２０ フィルタリング指定テーブル
３２１ フィルタリング指定テーブル
３２２ フィルタリング制御部
３２３ フィルタリング制御部
３３０ 直接指示制御部
Claims (4)
- 各種の入出力デバイスとグラフィカルユーザインタフェースのＯＳとアプリケーションプログラムとを有する情報処理装置において、視覚に障害を持つユーザのグラフィカルユーザインタフェース環境の利用を支援するために、ユーザの探索操作に応答して画面上の対話部品の情報を探索して予め定められた所定の方法でユーザに知らしめるようにした画面探索インタフェース装置であって、
ディスプレイ画面の状態が変化するごとに最新の画面上の対話部品の情報を抽出する画面情報抽出部と、
レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持するレイアウト構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報と、前記レイアウト構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御するレイアウト構造探索部と、
論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持する論理構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する探索テーブル構成部と、
該探索テーブル構成部で作成された探索テーブルと、前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する論理構造探索部と、
ユーザによる探索方式の切り換え操作に応答して、前記レイアウト構造探索部によるレイアウト構造探索から前記論理構造探索部による論理構造探索へ、またはその逆へ、探索方式を切り換えると共に、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が前記探索テーブルに存在すれば該存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば該現れている対話部品をレイアウト構造探索における探索ポイントに設定する対話制御部とを備えることを特徴とする画面探索インタフェース装置。 - 前記画面情報抽出部で抽出された対話部品の情報から前記探索テーブルを作成する際のテンプレートとなるテーブル構成情報を保持するテーブル構成情報蓄積部を備え、
前記探索テーブル構成部は、前記テーブル構成情報と前記画面情報抽出部で抽出された対話部品の情報とから、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する構成を有することを特徴とする請求項１記載の画面探索インタフェース装置。 - 前記論理構造探索情報蓄積部、前記レイアウト構造情報蓄積部がそれぞれフィルタリング指定テーブルを有し、前記論理構造探索部が前記探索テーブル中の対話部品の情報のうち前記論理構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進める論理構造フィルタリング制御部を有し、前記レイアウト構造探索部が前記画面情報抽出部で抽出された対話部品の情報のうち前記レイアウト構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進めるレイアウト構造フィルタリング制御部を有することを特徴とする請求項１または２記載の画面探索インタフェース装置。
- 前記対話制御部が、前記探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位でのポインティング操作を可能とし、且つ前記探索テーブルと前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する直接指示制御部を有することを特徴とする請求項１，２または３記載の画面探索インタフェース装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26071095A JP3716016B2 (ja) | 1995-09-13 | 1995-09-13 | 画面探索インタフェース装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26071095A JP3716016B2 (ja) | 1995-09-13 | 1995-09-13 | 画面探索インタフェース装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004206840A Division JP3860185B2 (ja) | 2004-07-14 | 2004-07-14 | 画面探索インタフェース装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0981351A JPH0981351A (ja) | 1997-03-28 |
| JP3716016B2 true JP3716016B2 (ja) | 2005-11-16 |
Family
ID=17351693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26071095A Expired - Fee Related JP3716016B2 (ja) | 1995-09-13 | 1995-09-13 | 画面探索インタフェース装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3716016B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09258946A (ja) * | 1996-03-26 | 1997-10-03 | Fujitsu Ltd | 情報処理装置 |
| AU5652599A (en) * | 1998-09-22 | 2000-04-10 | Yasufumi Mase | Information processor for visually disabled person and tactile input/output device |
| US7472347B2 (en) * | 2004-06-30 | 2008-12-30 | Microsoft Corporation | Aligned behavior in templated lists |
| US8037414B2 (en) * | 2006-09-14 | 2011-10-11 | Avaya Inc. | Audible computer user interface method and apparatus |
| JP4972026B2 (ja) * | 2008-04-14 | 2012-07-11 | 日本放送協会 | 代替コンテンツ提示装置および代替コンテンツナビゲーションプログラム |
| CN102193953B (zh) * | 2010-03-17 | 2017-04-12 | 日电（中国）有限公司 | 桌面应用迁移系统和方法 |
-
1995
- 1995-09-13 JP JP26071095A patent/JP3716016B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0981351A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3688738B2 (ja) | 対話ボックスを持つデータ処理装置 | |
| JP3322609B2 (ja) | グラフィカル・ユーザ・インターフェースにおけるポインタの音声サポートされたナビゲーション方法及び装置 | |
| JPH1083269A (ja) | ユーザインタフェース変換装置 | |
| JPH0764749A (ja) | コマンド実行処理装置 | |
| JPH04344928A (ja) | データ処理システムにおいてユーザダイアログ表示を主要アプリケーションに図式的に関連付ける方法及び装置 | |
| JP3716016B2 (ja) | 画面探索インタフェース装置 | |
| JP2002351600A (ja) | 入力操作支援プログラム | |
| JPH08115194A (ja) | 情報処理システムのヘルプ表示方法 | |
| JP2760289B2 (ja) | 視覚障害者向けグラフィカル・ユーザ・インタフェース操作装置 | |
| JP3860185B2 (ja) | 画面探索インタフェース装置 | |
| JPH08161138A (ja) | メニュー表示方法 | |
| JP2842305B2 (ja) | 対話処理方式 | |
| JPH01280821A (ja) | ガイドヘルプ情報表示装置及びガイドヘルプ情報表示方法 | |
| JPH01233617A (ja) | 情報処理装置 | |
| JPH05216574A (ja) | 情報処理装置 | |
| JPH0470925A (ja) | ヘルプメッセージ表示方式 | |
| JPH06202863A (ja) | Ｇｕｉアプリケーションプログラムの設計支援システム | |
| JPH1069364A (ja) | ウィンドウ画面選択方式 | |
| JP3189110B2 (ja) | 文書処理装置 | |
| JPH0793077A (ja) | 簡易入力機能を持つデータ処理装置 | |
| JP3568762B2 (ja) | シナリオ管理装置およびシナリオ管理をするプログラムを格納した媒体 | |
| NL1025098C2 (nl) | Inrichting, werkwijze, programmatuur en datadrager omvattende programmatuur voor het weergeven van informatie op een beeldscherm. | |
| JPH08249155A (ja) | メニュー画面制御方法 | |
| JPH04318619A (ja) | マルチウィンドウシステムにおけるウィンドウ表示制御装置 | |
| JPH06149521A (ja) | マルチウィンドウ最適化表示方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050829 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080902 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090902 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090902 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100902 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110902 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120902 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130902 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |