JPS63141121A - Vision applied interaction system - Google Patents
Vision applied interaction systemInfo
- Publication number
- JPS63141121A JPS63141121A JP61287819A JP28781986A JPS63141121A JP S63141121 A JPS63141121 A JP S63141121A JP 61287819 A JP61287819 A JP 61287819A JP 28781986 A JP28781986 A JP 28781986A JP S63141121 A JPS63141121 A JP S63141121A
- Authority
- JP
- Japan
- Prior art keywords
- interaction
- retrieval
- user
- description
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 230000014509 gene expression Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
Landscapes
- Input From Keyboards Or The Like (AREA)
- Devices For Executing Special Programs (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、計算機を利用したシステムにおいて、利用者
に理解し易い情報表現を行うとともに、それに基づき、
任意の順序による入力を可能とする視覚応用対話方式に
関するものである。[Detailed Description of the Invention] [Industrial Application Field] The present invention expresses information that is easy for users to understand in a system using a computer, and based on this,
This invention relates to a visual interaction method that allows input in any order.
従来、計算機を利用したシステムとの対話は、利用者が
その意図したところの作業を表現するのに最も適したコ
マンドをシステム提供言語の中から選択し、システム提
供言語のシンタクスに従ってテキストで入力することに
より、行われていた。Traditionally, when interacting with a system using a computer, the user selects the most appropriate command from the system-provided language to express the intended task, and inputs it as text according to the syntax of the system-provided language. By doing so, it was done.
この対話方式においては、利用者は膨大なコマンドに関
する知識をもつ必要があり、それらのコマンドから適当
なコマンドを選択し、システム提供言語の固定されたシ
ンタクスに従って入力する必要がある。In this interactive method, the user is required to have knowledge about a huge number of commands, select an appropriate command from these commands, and input it according to the fixed syntax of the language provided by the system.
これに対し、あらかじめ利用者が必要とするであろう作
業に対応したコマンドを設定し、利用者の目に触れる形
でメニューとして提示する方式がある。この方式には、
メニューをテキストとして提示するものと、アイコンと
呼ばれる視覚表現を用いて提示するものがある。これに
よれば、コマンドに関する知識によらず最低限必要な作
業に対応した表現が可能となる。さらに、アイコンを用
いてメニューを提示する方式においては、利用者に理解
し易いメニュー表現となる。On the other hand, there is a method in which commands corresponding to tasks that the user will need are set in advance and presented as a menu in a way that the user can see. This method includes
Some menus are presented as text, while others are presented using visual representations called icons. According to this, it is possible to express expressions that correspond to the minimum necessary work, regardless of knowledge about commands. Furthermore, in a method of presenting menus using icons, the menu representation is easy for users to understand.
しかしながら、前述の方式においても、システム提供の
制限された処理に対応するコマンドのみメニューとして
利用者に提示され、利用者はそのメニューを用いて、シ
ステム提供言語のシンタクスにのっとり、入力を行う必
要がある。そのため、利用者がその意図を表現し、シス
テムに入力するにあたっては、的確な記述の生成、その
シンタクスにおいて制限を受け、利用者の特性に適応し
た対話を行うことができない、という問題がある。However, even in the above-mentioned method, only commands corresponding to the limited processes provided by the system are presented to the user as a menu, and the user must use the menu to input data according to the syntax of the language provided by the system. be. Therefore, when users express their intentions and input them into the system, they are limited in the generation of accurate descriptions and their syntax, and there is a problem in that they are unable to conduct dialogues that are appropriate to the characteristics of the users.
本発明の目的は、このような従来の方式の問題点を解決
し、視覚情報を利用して個別ユーザにとって理解し易く
、操作し易い対話方式を提供することにある。An object of the present invention is to solve the problems of the conventional methods and to provide an interactive method using visual information that is easy for individual users to understand and operate.
本発明の視覚応用対話方式は、利用者が入力すべき情報
を視覚表現により入出力ハードウェアへ提示するととも
に、提示された情報をもとに利用者が入出力ハードウェ
アを用いて指定した入力情報により対話記述を生成する
視覚対話記述生成部と、
前記対話記述を解釈するとともに、応用処理部で用いら
れる応用処理言語にしたがって構文化し、応用処理言語
へ変換したのち応用処理部へ出力する応用処理言語変換
部と、
前記視覚対話記述生成部と応用処理言語変換部を制御す
る制御部とから構成され、
視覚表現を用いた、自由な手順による入力が可能である
ことを特徴としている。The visual application dialog method of the present invention presents the information that the user should input to the input/output hardware in a visual representation, and also uses the input/output hardware to specify the input that the user specifies based on the presented information. a visual dialogue description generation unit that generates a dialogue description based on information; and an application that interprets the dialogue description, syntaxizes it according to an application processing language used in the application processing unit, converts it into the application processing language, and then outputs it to the application processing unit. It is composed of a processing language conversion unit, and a control unit that controls the visual interaction description generation unit and the applied processing language conversion unit, and is characterized in that it is possible to input in a free procedure using visual expression.
本発明に従う視覚応用対話方式の原理を、以下図面を用
いて説明する。第1図は、本発明の機能ブロック図であ
る。The principle of the visual application interaction system according to the present invention will be explained below using the drawings. FIG. 1 is a functional block diagram of the present invention.
第1図において、視覚対話記述生成部2は、制御部1の
制御のもとてまず利用者が行おうとする処理に対応する
視覚表現による対話記述を生成し、入出力ハードウェア
5を通じて利用者に提示する。In FIG. 1, under the control of the control unit 1, the visual interaction description generation unit 2 first generates an interaction description in visual representation corresponding to the process that the user is trying to perform, and the to be presented.
ここで生成される視覚表現は、利用者の概念上の対象に
対する操作、利用者の概念を表す操作、前記2種の操作
を制御する操作より構成される操作の記述、操作の対象
に関する記述、利用者の対話に関する見方の記述、なら
びに操作、対象、見方の組合せの記述に対応するもので
ある。The visual representation generated here includes an operation on the conceptual object of the user, an operation representing the user's concept, a description of the operation consisting of an operation that controls the above two types of operations, a description about the object of the operation, It corresponds to a description of a user's perspective regarding dialogue, as well as a description of a combination of operations, objects, and perspectives.
利用者は、視覚表現の中から、その意図に適した表現を
利用者に適した自由なシンタクスにより選択し、入出力
ハードウェア5より視覚対話記述生成部2に入力する。The user selects an expression suitable for his/her intention from among the visual expressions using a free syntax suitable for the user, and inputs the selected expression to the visual interaction description generation section 2 from the input/output hardware 5.
視覚対話記述生成部2は、入力された表現から対応する
対話記述を生成し、応用処理言語変換部3へ送る。The visual interaction description generation unit 2 generates a corresponding interaction description from the input expression and sends it to the applied processing language conversion unit 3.
応用処理言語変換部3は、視覚対話記述生成部2より送
られた対話記述を、応用処理部6で用いられる応用処理
言語のシンタクスにもとづき、応用処理言語へと変換し
、応用処理部6へ出力する。The application processing language conversion unit 3 converts the dialogue description sent from the visual dialogue description generation unit 2 into an application processing language based on the syntax of the application processing language used by the application processing unit 6, and sends it to the application processing unit 6. Output.
入出力ハードウェア5および応用処理部6は対話制御部
4により制御される。The input/output hardware 5 and the application processing section 6 are controlled by the interaction control section 4.
以下、本発明の視覚応用対話方式の実施例を説明する。 Hereinafter, an embodiment of the visual application interaction system of the present invention will be described.
第2図は、本発明の視覚応用、対話方式により天気情報
の検索業務を行うシステムの対話画面例である。第2図
において、対話画面は上から対話記述提示画面1、対話
記述提示画面2、対話履歴表示画面、検索結果表示画面
から構成される。FIG. 2 is an example of an interactive screen of a system that performs weather information retrieval work using the visual application and interactive method of the present invention. In FIG. 2, the dialog screen is composed of, from the top, a dialog description presentation screen 1, a dialog description presentation screen 2, a dialog history display screen, and a search result display screen.
第3図は、前記検索システムのブロック図である。視覚
対話記述生成部12は、天気情報の検索業務に必要とさ
れる、日付、都市、天気、気温、検索実行等に対応する
視覚表現による記述を、出力バードウェア17の対話記
述提示画面lないし2を通じて利用者に提示する。利用
者は、例えばマウスのような入力手段により、提示され
た視覚情報を選択し、第2図の対話履歴表示画面に示さ
れるような検索要求を入力バードウェア18により入力
する。第2図の対話履歴表示画面に示される検索要求は
天気、検索実行、都市9日付の各項目を選択したもので
あり、利用者の“東京の、今日の、天気を知りたい。”
という意図に対応している。FIG. 3 is a block diagram of the search system. The visual interaction description generation unit 12 generates a visual description corresponding to the date, city, weather, temperature, search execution, etc. required for the weather information search operation from the interaction description presentation screen l of the output hardware 17. 2 to the user. The user selects the presented visual information using an input means such as a mouse, and inputs a search request as shown on the dialogue history display screen in FIG. 2 using the input hardware 18. The search request shown on the dialogue history display screen in Fig. 2 selects the following items: weather, search execution, and city date, and the user's request is “I want to know the weather in Tokyo today.”
It corresponds to the intention.
視覚対話記述生成部12は、入力された視覚情報から、
視覚情報と対話記述との対応関係をもとに、第4図に示
す対応する対話記述を生成し、この対話記述を検索言語
変換部13へ出力する。The visual interaction description generation unit 12 generates, from the input visual information,
Based on the correspondence between the visual information and the dialogue description, a corresponding dialogue description shown in FIG. 4 is generated, and this dialogue description is output to the search language conversion unit 13.
検索言語変換部13は、対話記述を、各検索項目の性質
、ならびに検索項目間の関係をもとに解釈し、検索処理
で用いられる検索言語へと変換する。The search language conversion unit 13 interprets the dialog description based on the properties of each search item and the relationship between the search items, and converts it into a search language used in search processing.
視覚対話記述生成部12および検索言語変換部13は、
制御部11によりそれぞれ制御される。また、出力バー
ドウェア17.入カバードウエア18および後述する検
索処理部16は、対話制御部14によりそれぞれ制御さ
れる。The visual interaction description generation unit 12 and the search language conversion unit 13 are
Each is controlled by the control section 11. Also, output hardware 17. The input coverware 18 and the search processing section 16, which will be described later, are each controlled by the interaction control section 14.
日付、都市、天気または気温、検索実行命令の各項目か
ら構成される文を当該システムの検索処理における最小
単位文とする。第4図の対話記述に含まれる項目は、日
付、都市、天気、検索実行命令であり、この対話記述は
最小単位文を構成している。さらに日付ならびに都市に
関してはその具体値、天気に関しては項目名が各項目の
実現値として記述されている。従って、検索言語変換部
13は、上記対話記述を、当該システムの検索処理にお
ける最小単位文において日付、都市を条件としたとき、
天気を検索する検索要求であると解釈する。解釈に基づ
き、検索言語変換部13は対話記述を検索言語へと変換
する。この検索言語は、従来方式においては、利用者が
直接例えば第5図に示す形式で記述していたものである
。A sentence consisting of the following items: date, city, weather or temperature, and search execution command is the minimum unit sentence in the search process of the system. Items included in the dialog description in FIG. 4 are date, city, weather, and search execution command, and this dialog description constitutes a minimum unit sentence. Further, specific values for dates and cities, and item names for weather are described as actual values for each item. Therefore, when the search language conversion unit 13 uses the date and city as conditions in the minimum unit sentence in the search process of the system, the above-mentioned dialogue description,
Interpret it as a search request to search for weather. Based on the interpretation, the search language conversion unit 13 converts the dialog description into a search language. In the conventional system, this search language is directly written by the user in the format shown in FIG. 5, for example.
検索言語は、検索処理部16へ出力され、検索処理部1
6での検索結果は出力バードウェア17により検索結果
表示画面に示される。The search language is output to the search processing section 16, and the search processing section 1
The search results in step 6 are displayed on the search result display screen by the output hardware 17.
以上説明したように、本発明の視覚応用対話方式によれ
ば、利用者の意図に対応した視覚表現を用いて対話を記
述するとともに、対話記述から応用処理で用いられる言
語のシンククスにしたがった変換を行うことにより、利
用者にとって理解し易く、操作し易いなど、その特性に
適応した対話を行うことが可能となる。As explained above, according to the visual applied dialogue method of the present invention, the dialogue is described using a visual expression that corresponds to the user's intention, and the dialogue description is converted according to the syntax of the language used in applied processing. By doing so, it becomes possible to conduct a dialogue that is easy for the user to understand and operate, and that is adapted to the characteristics of the user.
第1図は、本発明の視覚応用対話方式の構成を示すブロ
ック図、
第2図は、本発明の一実施例である情報検索システムの
対話画面例を示す図、
第3図は、第2図で示したシステムのブロック図・
第4図は、対話記述例を示す図、
第5図は、従来方式による検索言語の例を示す図である
。
l、11・・・制御部
2.12・・・視覚対話記述生成部
3・・・・・応用処理言語変換部
4.14・・・対話制御部
5・・・・・入出力ハードウェア
6・・・・・応用処理部
13・・・・・検索言語変換部
16・・・・・検索処理部FIG. 1 is a block diagram showing the configuration of the visual application interaction system of the present invention, FIG. A block diagram of the system shown in FIG. 4 is a diagram showing an example of dialog description, and FIG. 5 is a diagram showing an example of a conventional search language. l, 11... Control unit 2.12... Visual interaction description generation unit 3... Application processing language conversion unit 4.14... Dialogue control unit 5... Input/output hardware 6 ... Application processing section 13 ... Search language conversion section 16 ... Search processing section
Claims (1)
ハードウェアへ提示するとともに、提示された情報をも
とに利用者が入出力ハードウェアを用いて指定した入力
情報により対話記述を生成する視覚対話記述生成部と、 前記対話記述を解釈するとともに、応用処理部で用いら
れる応用処理言語にしたがって構文化し、応用処理言語
へ変換したのち応用処理部へ出力する応用処理言語変換
部と、 前記視覚対話記述生成部と応用処理言語変換部を制御す
る制御部とから構成され、 視覚表現を用いた、自由な手順による入力が可能である
ことを特徴とする視覚応用対話方式。(1) The information that the user should input is presented to the input/output hardware in a visual representation, and based on the presented information, an interaction description is generated based on the input information specified by the user using the input/output hardware. a visual interaction description generation unit that interprets the interaction description, syntaxizes it according to an application processing language used in the application processing unit, converts it into an application processing language, and then outputs it to the application processing unit; A visual applied dialogue method comprising a control part for controlling the visual dialogue description generation part and an applied processing language conversion part, and capable of inputting in a free procedure using visual expression.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61287819A JPS63141121A (en) | 1986-12-04 | 1986-12-04 | Vision applied interaction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61287819A JPS63141121A (en) | 1986-12-04 | 1986-12-04 | Vision applied interaction system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS63141121A true JPS63141121A (en) | 1988-06-13 |
Family
ID=17722172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61287819A Pending JPS63141121A (en) | 1986-12-04 | 1986-12-04 | Vision applied interaction system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS63141121A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101117A (en) * | 1991-07-04 | 1993-04-23 | Fujitsu Sooshiaru Sci Raboratori:Kk | Image data base retrieving method |
-
1986
- 1986-12-04 JP JP61287819A patent/JPS63141121A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101117A (en) * | 1991-07-04 | 1993-04-23 | Fujitsu Sooshiaru Sci Raboratori:Kk | Image data base retrieving method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0534409B1 (en) | A method and system for controlling the execution of an application program | |
US8275617B1 (en) | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands | |
JPH0778782B2 (en) | Interactive computer system and apparatus and method for adapting use environment thereof | |
JPH08123648A (en) | Data processor having interaction box | |
JPH0458052B2 (en) | ||
US7206747B1 (en) | Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands | |
JP2001022494A (en) | Display system by data processor control, having sound identifier for window overlapped in interactive graphical user interface | |
MXPA03011916A (en) | Active content wizard: execution of tasks and structured content. | |
JPH10116144A (en) | Method and device for voice-supported navigation of pointer of graphical user interface | |
EP0557205B1 (en) | System for developing software from a natural language specification using object networks | |
JPH07311677A (en) | Operation processor | |
JP2000122774A (en) | Data transfer device and method, and recording medium | |
JP2003271389A (en) | Method for operating software object in natural language and its program | |
JPS63141121A (en) | Vision applied interaction system | |
JPH0628136A (en) | Function selection system of information processor | |
Bertino | Design issues in interactive user interfaces | |
Shaikh et al. | Comprehensive understanding of intelligent user interfaces | |
JP3716016B2 (en) | Screen search interface device | |
JPH07152550A (en) | Method for preparing object-oriented system | |
Sharples | Human-computer interaction | |
JP7480402B2 (en) | Document creation support device, document creation support method, and document creation support program | |
JP2677605B2 (en) | Information processing apparatus and information processing method | |
JPH0215326A (en) | Window control system | |
JPH06243223A (en) | Interactive processing system | |
JPH06110834A (en) | Software application executing device |