WO2003079188A1 - Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant - Google Patents

Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant Download PDF

Info

Publication number
WO2003079188A1
WO2003079188A1 PCT/JP2002/012882 JP0212882W WO03079188A1 WO 2003079188 A1 WO2003079188 A1 WO 2003079188A1 JP 0212882 W JP0212882 W JP 0212882W WO 03079188 A1 WO03079188 A1 WO 03079188A1
Authority
WO
WIPO (PCT)
Prior art keywords
software object
natural language
expression
user
dictionary
Prior art date
Application number
PCT/JP2002/012882
Other languages
English (en)
French (fr)
Inventor
Shuichi Araki
Michio Ogura
Original Assignee
Shuichi Araki
Michio Ogura
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuichi Araki, Michio Ogura filed Critical Shuichi Araki
Priority to US10/508,173 priority Critical patent/US20050165712A1/en
Priority to AU2002367792A priority patent/AU2002367792A1/en
Publication of WO2003079188A1 publication Critical patent/WO2003079188A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Definitions

  • the present invention relates to a method of operating a software object operating on a computer in a natural language and a program therefor.
  • a software object refers to an operating system ( ⁇ S) for controlling electronic devices such as a personal computer and a microcomputer control device, and an application program operating on OS. It also processes signals received from input devices (keyboards, microphones, handwriting tablets, etc.) to generate natural language character strings, analyzes the character strings, and operates software objects based on the analysis results.
  • ⁇ S operating system
  • input devices keyboards, microphones, handwriting tablets, etc.
  • Such a system that generates a language is referred to herein as a natural language interface. Background art
  • H8-147096 discloses a video deck having a control system in which a recording process starts when a user inputs "recording" by handwriting.
  • Traditional natural language interfaces are, for example, All that is specific to individual software objects, such as VCR control programs, and the natural language interface developed for one software object is transferred to the operation of another software object. That is not basically assumed. For this reason, if a software developer wants to provide a natural language interface for a software object, he or she must spend considerable effort to develop a new dedicated natural language interface.
  • the present invention has been made to solve the above-mentioned problems, and its purpose is to provide versatility for operating a plurality of different software objects in a unified manner, as well as user requirements, desires, and objects. It is an object of the present invention to provide a technology for realizing a natural language interface with flexibility that enables appropriate processing even when a natural language expression such as is received as input. Disclosure of the invention
  • a step of translating the semantic expression to generate a function description expression composed of words in which operation instructions to be given to the software object to cause the software object to execute the process according to the request are normalized;
  • the present invention also provides a program for causing a computer to execute the above processing.
  • the procedure of the process according to the present invention will be specifically described with reference to the drawings.
  • the input means is hardware such as a keyboard, handwriting input device, and voice input device, and software that generates a character string in a natural language from the output signal of the hardware (keyboard driver, pattern recognition software, voice recognition software, etc.) It consists of.
  • a character string “I want to create a notice of a movie viewing party” has been input.
  • Step 51 This processing can be executed by a well-known natural language processing method including procedures such as morphological analysis, syntax analysis, and semantic analysis.
  • procedures such as morphological analysis, syntax analysis, and semantic analysis.
  • a software object optimal for performing a process according to the user's request is selected based on the semantic expression (step 52).
  • Software-Object selection is performed using a dictionary that associates semantic expressions with software objects (hereinafter referred to as the environment setting dictionary).
  • Fig. 2 shows an example of the environment setting section dictionary.
  • the evaluation score for each software object is obtained, and the "word processor" with the highest evaluation score is selected as the optimal software object.
  • the software or object with the highest evaluation score may be automatically selected, or the software object may be selected after the step of obtaining approval from the user.
  • a semantic expression is translated into a functional description expression using a dictionary for translating the functions of software objects into normalized words (hereinafter referred to as a functional translation unit dictionary).
  • Fig. 3 shows an example of the functional translation dictionary.
  • the functional translation unit dictionary 40 in FIG. 3 is a conversion table in which output words (translated words) that can be replaced with input words are one conversion pair. With this conversion table, for example, the input word “create” can be converted to an output word “create”.
  • the input word type and conversion to output word are added information to select an appropriate output word.
  • An evaluation score indicating the validity of is given to each conversion pair. This score changes dynamically over the course of the work.
  • step 54 execute the instruction (step 54).
  • a command description sequence for reading out and executing the program of the word processor stored in a predetermined location on the hard disk is generated and executed by OS.
  • a command description sequence for calling the new document creation function is generated and executed by the program of the first processor through the S.
  • the instruction description sequence to be passed to OS is created in accordance with the specifications of the ⁇ S application 'programming interface (API), and the instruction description sequence to be passed to the word processor program is created in accordance with the specification of the word processor's API. Examples of the instruction description sequence include a command line for starting a program, and a script for using various functions within a running program environment.
  • a result obtained by executing the instruction description sequence by the OS or the software object is output in a predetermined form recognizable by the user. For example, if the instruction corresponding to "start the word processor" can be executed normally, the word processor window is brought to the foreground on the computer screen (step 55). Also, if the instruction corresponding to “Create a new document” can be executed normally, a blank document is generated in the window of the word processor. If the operation cannot be executed normally, a predetermined error processing is executed (step 56). As described above, the present invention automatically selects an optimal software object to perform a process according to a user's request input in a natural language, and furthermore, an appropriate software object for operating the software object.
  • It provides a basic architecture that automatically generates a simple instruction description sequence. According to the present invention, it is possible to realize cooperation between a software object and a natural language interface more easily than before. In other words, a mechanism for operating the software object in natural language is realized by simply defining the instruction description sequence for operating the software object and creating the dictionary data that associates each instruction description sequence with the function description expression. can do.
  • an input natural language character string is regarded as a user command (that is, equivalent to the function description expression of the present invention), whereas in the present invention, the input natural language Analyzes the character string by treating the character string as a representation of the user's request. Generates an intermediate description of the function of the software object using various dictionaries.
  • the user was expressed in words how he / she wants to use the function of the software object, but in the present invention, the user is expressed in words what he / she wants to do. Therefore, the user does not need to know in advance what software objects are available and what functions are provided for each software object. You can manipulate software objects simply by expressing in words what you want to do.
  • FIG. 1 is a flowchart showing an example of a procedure for operating a software object by the method according to the present invention.
  • FIG. 2 Configuration example of environment setting section dictionary.
  • FIG. 4 is a block diagram showing a hardware configuration of a computer system according to one embodiment of the present invention.
  • FIG. 5 shows the functional structure of the natural language interface constructed according to the present invention.
  • FIG. 6 is a flowchart showing another example of the operation procedure of the software object by the method according to the present invention.
  • FIG. 4 shows a schematic configuration of an example of a computer-system having a natural language interface configured according to the present invention.
  • This computer system is constructed using a general personal computer, and includes a CPU (central processing unit) 10, a ROM (read only main memory) 11, and a RAM ( Read / write main storage device) 1 2, External storage device controller 13 and external storage device (auxiliary storage device) 14, Network controller 15 for coordination with external users, User interface, Adapter 1 16, display controller 21 and display 22 are provided.
  • the user interface adapter 16 is connected to various input devices (keyboard 17, voice input microphone 18, mouse 19, and handwriting input evening bullet 20) for inputting word strings. I have.
  • FIG. 5 shows the functional configuration of the system of this embodiment.
  • a natural language input unit 30 receives a word, word string or sentence (hereinafter collectively referred to as “words”) in a natural language and generates a character string representing the word. It is.
  • Word input methods include key input using the keyboard 17, voice input using the microphone 18, operation of the character input panel on the screen using the mouse 19, or handwriting using the evening bullet 20. You can select from input. Of course, other methods can be used for inputting words, provided that input devices and software (drivers) are provided.
  • the natural language analysis unit 34 has a natural language analysis, parsing using a dictionary, interactive syntax generation, and a category-one dictionary manager function, and analyzes the character string to generate a semantic expression.
  • character string analysis techniques generally known in the field of natural language processing can be used.
  • natural language analysis engines such as “ChaSen” of Nara Institute of Science and Technology and “KNP” of Kyoto University are already known. Can be configured.
  • the environment setting section 36 searches the environment setting section dictionary 39 (see FIG. 2) for all the concepts appearing in the semantic expressions, and performs the most appropriate software object to perform processing according to the user's request. Select and set the operating environment for the software object.
  • the environment setting section dictionary 39 stores information relating the concept used in the semantic expression to the software object usable in the system and information on the method of setting the environment of the software object.
  • the environment settings include the settings of the dictionary used for subsequent processing and the settings of the environment in the device on which the software object operates.
  • the functional translator 37 searches the functional translator dictionary 40 (see Fig. 3) for all the concepts that appear in the semantic expressions, and describes the functional description that matches the function of the software object stored in the dictionary. Replace with expression. Since the natural language itself may be registered in the dictionary, this replacement process is a recursive process via the natural language analysis unit 34. Eventually, the generated functional description expression will be a semantic expression composed of normalized words. If an undefined part is defined in the dictionary, the function translating unit 37 receives the designation of the undefined part from the user via the user interaction unit 31.
  • the command transmitting unit 38 searches the command transmitting unit dictionary 41 for all the concepts appearing in the function description expression created by the function translating unit 37, and searches the functions of the software objects 42 stored in the dictionary. Generate an instruction description sequence to be executed.
  • the instruction description sequence is, for example, an API and parameter of the software object 42 or a command sequence passed through a command stream.
  • the instruction transmitting unit 38 executes the instruction description sequence and executes the function of the corresponding software object 42.
  • the response generation unit 33 receives the execution result of the software object 42 executed by the instruction transmission unit 38, and responds in a form desired by the user.
  • Various forms of response can be considered, for example, display on the display 22, printing by a printer (not shown), storage of information on a data base, control of equipment, and the like.
  • the response generating unit 33 transmits the response via the user interaction unit 31 to the user. Present a message to the user and ask the user for instructions if necessary.
  • the dictionary management unit 35 creates new information of the environment setting unit dictionary 39, the function translation unit dictionary 40, and the command transmission unit dictionary 41, and changes, deletes, and browses and displays stored information.
  • the control unit 42 is a natural language input unit 30, a natural language analysis unit 34, an environment setting unit 36, a function translation unit 37, a command transmission unit 38, a response generation unit 33, and a user dialogue unit. 31 1. Transfers necessary data to the dictionary management unit 35 and controls a series of operations.
  • the natural language input section 30 receives a keyboard input.
  • the user receives a character string “I want to create a newsletter for movie watching” through the interface (step 50). This character string is passed to the natural language analyzer 34.
  • the natural language analysis unit 34 analyzes the received character string, and for example, the syntax and the “movie”, “watching party”, “news” and “creation (want)” Generate a semantic expression consisting of four semantically separated words (step 51). This semantic expression is passed to the environment setting section 36.
  • the environment setting unit 36 obtains the software and object evaluation scores of the above four words based on the environment setting unit dictionary 39 (see Fig. 2), and the software object with the highest overall evaluation score is It determines that it is a “word processor” and executes the environment setting processing for the “word processor” stored in the environment setting section dictionary 39 (step 52).
  • the environment setting process includes the setting of the function translation unit dictionary 40 and the command transmission unit dictionary 41, and confirmation and securing of computer resources.
  • the function translator 37 replaces the above four words with the functions provided by the software object and their combinations based on the function translator dictionary 40 (see Fig. 3), thereby describing the semantic expression as a functional description.
  • Translate to expression step 53. For example, for "make”, there are two output word (translation) candidates: “make a document” and “make a figure”. Here, the score of "make a document” is the highest. Make ".
  • the functional translation unit 37 generates the “movie”, “watching party”, “news”, “created” Recursively search and replace the semantic expression ")" with the functional translator dictionary 40 in Fig. 3 to "start the word processor", "guide the movie watching party”, "create a new document” Is generated.
  • the semantic expression is dynamically changed using the natural language analysis unit 34.
  • the instruction transmitting unit 38 generates an instruction description sequence using the instruction transmitting unit dictionary 41 (step 54). Taking “j to start a word processor” as an example, first, the natural language analysis unit 34 analyzes this character string and separates “word processor (") "and” start ("do") ". Next, the command transmitting unit 38 searches the command transmitting unit dictionary 41 based on these concepts and generates a command description sequence. In this case, the “start” is replaced with executable software that starts a specific word processor application through an API provided by the operating system, and the instruction transmitting unit 38 executes the “start”. The instruction description sequence is also searched and replaced recursively, and the semantic expression is dynamically changed using the natural language analysis unit 34.
  • the response generator 33 confirms that the word processor has been activated, and places the word processor at the forefront of the display (step 55). If the word processor does not start due to some trouble, the response generation unit 33 interacts with the user via the user interaction unit 31 to determine a coping method (step 56).
  • the word processor is started, the user continues to create a document by sequentially entering his or her desired (request) in words. For example, the words to be input are, for example, “make the title a movie appreciation notice” or “want to emphasize the title”. The program ends when the word “quit” is entered.
  • the user made a series of natural language inputs to create a “notice of a movie viewing party”.
  • FIG. 6 a procedure for registering the operation procedure for creating the “notification” in the system so that the similar “notification” can be easily recreated will be described.
  • a function description expression corresponding to a series of operations as described above is appropriately named in the function translation unit dictionary 40 via the dictionary management unit 35 (here, “Notice of the movie viewing party” J) and register (step 60).
  • a character string "notice of movie viewing party" is registered in the environment setting section dictionary 39 via the dictionary management section 35 in association with the password processor software object (step 62).
  • the user can use the natural language input section 30 to enter the “Movie viewing party notification”.
  • the natural language analysis unit 34 and the environment setting unit 36 perform the same processing as in the example of FIG. 1 to generate a semantic expression (step 63).
  • the function translation unit 37 when translating the semantic expression into a function description expression, the function translation unit 37 replaces “notice of a movie appreciation meeting” with a series of function description expressions previously registered in the function translation unit dictionary 40. Then, the recursive translation process as described above is executed for the function description expression (step 64). If it finds an undefined part (date and time, place, movie name, movie introduction) included in the function description expression (step 65), the function translator 37 will give the part to the user via the user dialogue 31. Ask the definition of When the user inputs a word (character string) corresponding to the definition, the function translator 37 replaces the undefined portion with the word (step 66). In this way, the user can easily create a notice of the movie viewing party by inputting the date and time, place, movie name, and movie introduction according to the guidance of the user interaction section 31.
  • a plurality of applications, software, and objects installed in a personal computer are operated through a natural language interface, but are connected to a network such as a LAN or the Internet. It is also possible to operate multiple network-enabled electronic devices (including computers) through the natural language interface of the control device connected to the network. So, for example, connected to a LAN in your home It is also possible to realize a system in which one voice input type controller is provided for network compatible appliances.

Description

明 細 書 自然言語によるソフトウェア ·オブジェクトの操作方法及びそのためのプロダラ ム 技術分野
本発明は、 コンピュータ上で動作するソフトウエア ·オブジェクトを自然言語 で操作する方法及びそのためのプログラムに関する。 本明細書においてソフトゥ エア ·オブジェクトとは、 パーソナル ·コンピュータやマイコン制御機器等の電 子機器を制御するためのオペレーティング ·システム （〇S ) や、 O S上で動作 するアプリケーション ·プログラムのことをいう。 また、 入力機器 （キーボード 、 マイク、 手書きタブレット等） から受け取った信号を処理して自然言語の文字 列を生成し、 その文字列を解析し、 解析結果に基づいてソフトウェア ·オブジェ ク卜の操作命令を生成するようなシステムのことを本明細書では自然言語イン夕 一フェースと呼ぶ。 背景技術
ソフトウェア ·ォブ ェクトを自然言語で操作するための自然言語インターフ エースに関する研究は従来より盛んに行われている。 例として、 特開平 8- 147096 号公報に記載の手書き入力方法及び装置、 特開平 6-75692号公報に記載の情報処理 装置、 特開平 6- 131108号公報に記載の情報入力装置、 特開平 6-282566号公報に記 載の情報入力装置等が挙げられる。 これら従来の自然言語イン夕一フェースは、 ソフトウェア ·オブジェクトに用意された内部機能を自然言語で呼び出すために 用いられる。 例えば、 特開平 6-75692には、 ユーザが 「大きくする」 と手書き入力 すると予め指定された文字列が倍角文字になるようなワードプロセッサが開示さ れている。 また、 特開平 8-147096には、 ユーザが 「録画」 と手書き入力すると録 画処理が始まるような制御系を有するビデオデッキが開示されている。 従来の自然言語インターフエ一スは、 例えばワードプロセッサ'プログラムや ビデオデッキの制御プログラムといった個々のソフトウェア ·オブジェクトに特 化したものばかりであって、 あるソフトウェア ·オブジェクトのために開発され た自然言語インタ一フエ一スを他のソフトウェア ·オブジェクトの操作に転用す ることは基本的に想定されていない。 このため、 ソフトウェア開発者は、 あるソ フトウェア ·オブジェクト用の自然言語インターフェースを装備したい場合、 専 用の自然言語インタ一フェースを新たに開発するために相当な労力を費やさなけ ればならない。
また、 従来の自然言語インターフェースでは、 ソフトウェア ·オブジェクトに 予め用意された内部機能を呼び出すための命令が入力されることが想定されてい る。 従って、 ユーザは、 ソフトウェア ·オブジェクトがどのような機能を備えて おり、 それをどのような自然言語で呼び出せばよいかに関する情報 （知識） を予 め持ち合わせていなければならない。 つまり、 ユーザの要求に応える形でソフト ウェア ·オブジェクトが機能するというより、 ソフトウェア ·オブジェクトの機 能に合わせてユーザが命令を出すのである。 このような形態に留まる限り、 自然 言語によるソフトウェア ·オブジェクトの操作は柔軟性を欠いたものとならざる を得ない。 例えば、 ユーザが 「映画鑑賞会のお知らせを作成したい」 と考え、 そ の考えをそのまま言葉にして入力したとする。 「映画鑑賞会のお知らせを作成し たい」 は、 いわばユーザの要求、 願望又は目的を表現したものであって、 ソフト ウェア ·オブジェクトの何らかの機能を明示的に呼び出すための命令ではない。 従来の自然言語インターフェースではこのような入力に対して適切な処理を実行 することは不可能である。
本発明は以上のような課題を解決するために成されたものであり、 その目的と するところは、 複数の異なるソフトウェア ·オブジェクトを統一的に操作できる 汎用性と、 ユーザの要求、 願望、 目的等の自然言語表現を入力として受け取った ときでも適切な処理ができる柔軟性を備えた自然言語インターフェースを実現す るための技術を提供することにある。 発明の開示
上記課題を解決するために成された本発明に係る自然言語によるソフトウェア •オブジェク卜の操作方法は、
要求を表現した自然言語の文字列を所定の入力手段から受け取る手順、 前記文字列が示す言葉又は文の意味を解析して意味論的表現を生成する手順、 前記要求に応じた処理を行なうのに最適なソフトウェア ·オブジェクトを前記 意味論的表現に基づいて選択するとともに、 該ソフトウェア ·オブジェクトを操 作するための環境を設定する手順、
前記意味論的表現を翻訳して、 前記要求に応じた処理を前記ソフトウェア ·ォ ブジェクトに実行させるために該ソフトウェア ·オブジェクトに与えるべき操作 命令を正規化した言葉から成る機能記述表現を生成する手順、
前記機能記述表現から前記ソフトウエア ·オブジェクトの実行可能な命令を生 成して該ソフトウェア ·オブジェクトに伝達する手順、 及び、
前記命令を受けて前記ソフトウェア ·オブジェクトが実行した処理の結果を前 記ユーザが認識可能な所定の形態で出力する手順、
を含む処理をコンピュータに実行させることを特徴とする。
また、 本発明は、 コンピュータに上記のような処理を実行させるためのプログ ラムを提供する。 本発明による処理の手順について図面を参照しながら具体的に説明する。 まず、 ユーザがコンピュータの入力手段を用いて自然言語で入力する文字列を 受け取る （ステップ 5 0 ) 。 入力手段は、 キーボード、 手書き入力装置、 音声入 力装置等のハードウェアと、 そのハードウェアの出力信号から自然言語の文字列 を生成するソフトウェア （キーボードドライバ、 パターン認識ソフトウェア、 音 声認識ソフトウェア等） により構成する。 ここでは 「映画鑑賞会のお知らせを作 成したい」 という文字列が入力されたものとする。
次に、 上記のようにして生成された文字列を解析して意味論的表現を生成する
(ステップ 5 1 ) 。 この処理は、 形態素解析、 構文解析、 意味解析等の手順を含 む周知の自然言語処理方法で実行することができる。 ここでは、 「映画 （の） 」
「鑑賞会 （の） 」 「お知らせ （を） 」 「作成 （したい） 」 という意味論的表現が 生成されたものとする。 次に、 ユーザの要求に応じた処理を行なうのに最適なソフトウェア ·オブジェ クトを上記意味論的表現に基づいて選択する （ステップ 5 2 ) 。 ソフトウエア - オブジェクトの選択は、 意味論的表現とソフトウェア ·オブジェクトとを関連づ けた辞書 （以下、 環境設定部辞書と呼ぶ） を用いて行われる。 環境設定部辞書の 一例を第 2図に示す。 第 2図の辞書を用いた場合、 「映画 （の） 」 「鑑賞会 （の
) 」 「お知らせ （を） 」 「作成 （したい） 」 という意味論的表現から、
ヮ一ドプロセッサの評価点 = 1. 7
電子メールクライアントの評価点 =0. 2
作図ソフトの評価点 =0. 2
というようにソフトウエア ·オブジェクト毎の評価点が得られ、 最も評価点の高 い 「ワードプロセッサ」 が最適なソフトウェア ·オブジェクトとして選択される 。 ここでは、 最も評価点の高いソフトウェア，オブジェクトを自動的に選択して もよいが、 ユーザから承認を得るステップを経た後でソフトウェア ·オブジェク トを選択するようにしてもよい。
次に、 上記のように選択したソフトウェア ·オブジェクトを操作するための環 境を設定する （ステップ 5 3 ) 。 具体的には、 ソフトウェア ·オブジェクトの機 能を正規化された言葉に翻訳するための辞書 （以下、 機能翻訳部辞書と呼ぶ） を 用いて、 意味論的表現を機能記述表現に翻訳する。 機能翻訳部辞書の一例を第 3 図に示す。 第 3図の機能翻訳部辞書 4 0は、 入力語と置き換え可能な出力語 （訳 語） を一つの変換対とした変換表である。 この変換表により、 例えば入力語であ る 「作成」 は、 「作る」 という出力語に変換できる。 第 3図の例ではさらに、 一 つの入力語に対して複数の出力語の候補がある場合に、 適切な出力語を選択する ための付加情報として、 入力語の種類と、 出力語への変換の妥当性を示す評価点 を各変換対に与えている。 この評価点は、 作業の過程で動的に変化する。
第 3図の辞書に基づく入力語から出力語への変換 （翻訳） 手順を更に具体的に 説明する。 例えば 「作成」 という言葉を見ると、 まずこの言葉は 「作る」 に翻訳 される。 「作る」 は更に 「文書を作る」 、 「図形を作る」 及び 「メールを作る」 のいずれかに翻訳可能であるが、 ここではワードプロセッサがソフトウェア ·ォ ブジェクトとして選択されているから、 「文書を作る」 の評価点が最も高くなつ ている。 従って、 「文書を作る」 が自動的に （あるいはユーザから承認を得た後 で） 訳語 （訳文） として選択される。 「文書を作る」 は更に 「ワードプロセッサ を起動する/文書を新規作成する」 に翻訳される。 「ワードプロセッサを起動す る Z文書を新規作成する」 に対応するエントリは辞書に存在しない。 従って、 「 ワードプロセッサを起動する z文書を新規作成する」 が 「作成」 の機能記述表現 となる。 同様にして、 「映画 （の） 」 「鑑賞会 （の） 」 「お知らせ （を） 」 「作 成 （したい） 」 という意味論的表現の各語を再帰的に翻訳すると、 最終的に、 「 ワードプロセッサを起動する」 「映画鑑賞会の案内の」 「文書を新規作成する」 という機能記述表現が得られる。
次に、 上記機能記述表現からソフトウェア ·オブジェクトの操作命令を生成し
、 その命令を実行する （ステップ 5 4 ) 。 例えば、 「ワードプロセッサを起動す る」 という機能記述表現に対しては、 ハードディスクの所定場所に保存されたヮ ードプロセッサのプログラムを読み出して実行するための命令記述列を生成し、 O Sに実行させる。 また、 「文書を新規作成する」 という機能記述表現に対して は、 文書新規作成機能を呼び出すための命令記述列を生成し、 〇Sを通じてヮ一 ドプロセッサのプログラムに実行させる。 O Sに渡すべき命令記述列は〇 Sのァ プリケーシヨン 'プログラミング ·インターフェース （A P I ) の仕様に従って 作成し、 ワードプロセッサのプログラムに渡すべき命令記述列はワードプロセッ サの A P Iの仕様に従って作成する。 命令記述列の例としては、 プログラムを起 動するためのコマンドラインや、 動作中のプログラム環境の内部で各種機能を利 用するためのスクリプトが挙げられる。
次に、 O S又はソフトウェア ·オブジェクトにより命令記述列を実行して得ら れた結果をユーザの認識可能な所定の形態で出力する。 例えば、 「ワードプロセ ッサを起動する」 に対応する命令が正常に実行できた場合、 ワードプロセッサの ウィンドウがコンピュータの画面上で最前面に表示される (ステップ 5 5 ) 。 ま た、 「文書を新規作成する」 に対応する命令が正常に実行できた場合、 ワードプ 口セッサのウィンドウ内に白紙の文書が生成される。 なお、 操作が正常に実行で きなかった場合、 所定のエラ一処理が実行される （ステップ 5 6 ) 。 以上のように、 本発明は、 自然言語で入力されたユーザの要求に応じた処理を 行うのに最適なソフトウェア ·オブジェクトを自動的に選択し、 更にそのソフト ウェア ·オブジェクトを操作するための適切な命令記述列を自動的に生成する基 本的なアーキテクチャを提供するものである。 このような本発明により、 ソフト ウェア ·オブジェクトと自然言語インターフェースとの連携を従来よりも簡単に 実現することができる。 すなわち、 ソフトウェア ·オブジェクトを操作するため の命令記述列を定めるとともに、 各命令記述列と機能記述表現とを関連づける辞 書データを作成するだけで、 そのソフトウェア ·オブジェクトを自然言語で操作 する仕組みを実現することができる。
また、 従来の技術では、 入力された自然言語の文字列をユーザの命令 （すなわ ち、 本発明の機能記述表現に相当するもの） ととらえるのに対し、 本発明では、 入力された自然言語の文字列をユーザの要求の表現ととらえて文字列の解析を行 レ 各種辞書を用いてソフトウエア ·オブジェクトの機能記述表現を中間的に生 成する。 言い換えると、 従来はソフトウェア ·オブジェクトの機能をどのように 利用したいかをユーザに言葉で表現させていたのに対し、 本発明では自分が何を したいかをユーザに言葉で表現させる。 従って、 ュ一ザは、 どのようなソフトゥ エア ·オブジェク 1、が利用できるかとか、 各ソフトウェア ·才ブジェクトにどの ような機能が備わつているかといったことを事前に知らなくても、 自分が何をし たいかを直接言葉で表現するだけで、 ソフトウェア ·オブジェクトを操作するこ とができる。 図面の簡単な説明
第 1図 本発明に係る方法によるソフトウェア ·オブジェク卜の操作手順の一 例を示すフローチヤ一ト。
第 2図 環境設定部辞書の構成例。
第.3図 機能翻訳部辞書の構成例。
第 4図 本発明の一実施例であるコンピュータ ·システムのハードウェア構成 を示すブロック図。
第 5図 本発明に従って構成された自然言語ィンタ一フェースの機能的構成を 示すブロック図。
第 6図 本発明に係る方法によるソフトウェア ·オブジェクトの操作手順の別 の例を示すフローチャート。 発明を実施するための最良の形態
本発明に従って構成された自然言語インターフェースを備えるコンピュータ - システムの一例の概略構成を第 4図に示す。 このコンピュータ ·システムは、 一 般のパーソナル ·コンピュータを利用して構成されたものであって、 C P U (中 央演算処理装置） 1 0、 R OM (読出し専用主記憶装置） 1 1、 R AM (読書き 可能主記憶装置） 1 2、 外部記憶装置コントローラ 1 3と外部記憶装置 （補助記 憶装置） 1 4、 外部と連携するためのネットワーク ·コントローラ 1 5、 ユーザ •イン夕一フェース ·アダプタ一 1 6、 ディスプレイ ·コントローラ 2 1とディ スプレイ 2 2を備えている。 ュ一ザ ·インターフェース ·アダプター 1 6には、 言葉列を入力するための各種入力機器 （キーボード 1 7、 音声入力用マイク 1 8 、 マウス 1 9、 手書き入力用夕ブレット 2 0 ) が接続されている。
本実施例のシステムの機能的構成を第 5図に示す。 第 5図において、 自然言語 入力部 3 0は、 自然言語による言葉、 言葉列又は文 （以下、 これらをまとめて 「 言葉」 と呼ぶ） の入力を受け付け、 その言葉を表す文字列を生成する手段である 。 言葉の入力方法としては、 キーボード 1 7を用いたキー入力、 マイク 1 8を用 いた音声入力、 マウス 1 9を用いた画面上の文字入力パネルの操作、 あるいは、 夕ブレット 2 0を用いた手書き入力から選択できる。 もちろん、 これら以外の方 法でも、 そのための入力機器とそのためのソフトウェア （ドライバ） を用意しさ えすれば、 言葉の入力に利用できる。
自然言語解析部 3 4は、 自然言語解析、 辞書によるパーシング、 対話形式構文 生成、 カテゴリ一辞書マネージャー機能を有しており、 上記文字列を解析して意 味論的表現を生成する。 文字列の解析には、 自然言語処理の分野で一般的に知ら れた技術が利用できる。 例えば、 奈良先端科学技術大学院大学の 「茶筌」 、 京都 大学の 「KN P」 等の自然言語解析エンジンが既に知られているが、 このような 既存のエンジンを用いて自然言語解析部 3 4を構成することができる。 環境設定部 3 6は、 意味論的表現に現れる全ての概念で環境設定部辞書 3 9 ( 第 2図参照） を検索し、 ユーザの要求に応じた処理を行うのに最適なソフトゥェ ァ ·オブジェクトを選択し、 そのソフトウェア ·オブジェクトの操作環境を設定 する。 環境設定部辞書 3 9には、 意味論的表現に用いられる概念とシステムで利 用可能なソフトウェア ·オブジェクトとを関連づける情報や、 ソフトウェア ·ォ ブジェクトの環境設定方法に関する情報が保存されている。 環境設定には、 以降 の処理に利用する辞書の設定、 ソフトウェア ·オブジェクトが動作する機器内の 環境の設定が含まれる。 環境設定方法が自然言語で記述されている場合、 自然言 語解析部 3 4を介して一連の動作を再帰的に繰り返す。
機能翻訳部 3 7は、 意味論的表現に現れる全ての概念で機能翻訳部辞書 4 0 ( 第 3図参照） を検索し、 辞書に記憶されているソフトウェア ·オブジェクトの機 能に合った機能記述表現に置き換える。 辞書に自然言語そのものが登録されてい る可能性があるため、 この置換処理は自然言語解析部 3 4を介した再帰的処理と なる。 最終的には生成される機能記述表現は、 正規化された言葉から成る意味論 的表現になる。 なお、 辞書内に未定義部分が定義されていた場合、 機能翻訳部 3 7はユーザ対話部 3 1を介して未定義部分の指定をユーザから受け取る。
命令伝達部 3 8は、 機能翻訳部 3 7により作成された機能記述表現に現れる全 ての概念で命令伝達部辞書 4 1を検索し、 辞書に記憶されているソフトウェア · オブジェクト 4 2の機能を実行するための命令記述列を生成する。 命令記述列は 、 例えば、 該当ソフトウェア ·オブジェクト 4 2の A P Iとパラメータ、 あるい は、 コマンドストリームを介して渡すコマンド列である。 命令伝達部 3 8は命令 記述列を実行し、 該当ソフトウェア ·オブジェクト 4 2の機能を実行する。
応答発生部 3 3は、 命令伝達部 3 8により実行されたソフトウェア ·オブジェ クト 4 2の実行結果を受け取り、 ユーザが所望する形態で応答する。 応答の形態 は、 例えば、 ディスプレイ 2 2への表示、 プリンタ （図示せず） による印刷、 デ 一夕ベースへの情報格納、 機器の制御等、 様々なものが考えられる。 ソフトゥェ ァ ·オブジェクト 4 2の機能を実行して得られた結果が不十分なものであり、 ュ 一ザの所望した形態で応答できない場合、 応答発生部 3 3はユーザ対話部 3 1を 介してユーザにメッセージを提示し、 必要があればユーザに指示を求める。 辞書管理部 3 5は、 環境設定部辞書 3 9、 機能翻訳部辞書 4 0、 命令伝達部辞 書 4 1の新規情報の作成、 格納情報の変更、 削除、 閲覧表示を行う。 さらに、 制 御部 4 2は自然言語入力部 3 0、 自然言語解析部 3 4、 環境設定部 3 6、 機能翻 訳部 3 7、 命令伝達部 3 8、 応答発生部 3 3、 ユーザ対話部 3 1、 辞書管理部 3 5に必要なデータを受け渡し、 一連の動作を制御する。
「映画鑑賞会のお知らせを作成したい」 という入力文字列の処理を本実施例の システムで行う手順について第 1図〜第 3図を参照しながら説明する。
映画鑑賞会のお知らせを作成しようと考えたユーザが、 例えばキ一ボード 1 7 を用いて 「映画鑑賞会のお知らせを作成したい」 という文を打ち込むと、 自然言 語入力部 3 0が、 キーボード入力インターフェースを通じて 「映画鑑賞会のお知 らせを作成したい」 という文字列を受け取る （ステップ 5 0 ) 。 この文字列は自 然言語解析部 3 4に渡される。
自然言語解析部 3 4は受け取った文字列を解析し、 例えば 「映画 （の） 」 、 「 鑑賞会 （の） 」 、 「お知らせ （を） 」 及び 「作成 （したい） 」 という、 構文およ び意味的に分離した 4つの言葉から成る意味論的表現を生成する （ステップ 5 1 ) 。 この意味論的表現は環境設定部 3 6に渡される。
環境設定部 3 6は、 環境設定部辞書 3 9 (第 2図参照） に基づいて上記 4つの 言葉のソフトウェア ·オブジェクト別評価点を取得し、 総合的な評価点の最も高 いソフトウェア ·オブジェクトは 「ワードプロセッサ」 であると判断し、 環境設 定部辞書 3 9に格納されている 「ワードプロセッサ」 向けの環境設定処理を実行 する （ステップ 5 2 ) 。 環境設定処理には、 機能翻訳部辞書 4 0と命令伝達部辞 書 4 1の設定とコンピュータ資源の確認及び確保が含まれる。
機能翻訳部 3 7は、 機能翻訳部辞書 4 0 (第 3図参照） に基づいて上記 4つの 言葉をソフトウェア ·オブジェクトが提供する機能およびその組み合わせで置き 換えることにより、 意味論的表現を機能記述表現に翻訳する （ステップ 5 3 ) 。 例えば、 「作る」 については 「文書を作る」 、 「図形を作る」 の二つの出力語 （ 訳語） の候補があるが、 ここでは 「文書を作る」 の評価点が最も高いので、 「文 書を作る」 に変換する。 こうして機能翻訳部 3 7は、 自然言語解析部 3 4が生成 した 「映画 （の） 」 、 「鑑賞会 （の） 」 、 「お知らせ （を） 」 、 「作成 （したい ) 」 という意味論的表現を第 3図の機能翻訳部辞書 4 0で再帰的に検索 ·置換し 、 「ワードプロセッサを起動する」 、 「映画鑑賞会の案内の」 、 「文書を新規作 成する」 という機能記述表現を生成する。 再帰的検索 ·置換時には、 自然言語解 析部 3 4を利用して意味論的表現を動的に変更する。
次に、 命令伝達部 3 8が命令伝達部辞書 4 1を用いて命令記述列を生成する （ ステップ 5 4 ) 。 「ワードプロセッサを起動する j を例にとると、 まず、 自然言 語解析部 3 4がこの文字列を解析し 「ワードプロセッサ （を） 」 、 「起動 （する ) 」 を分離する。 次に、 命令伝達部 3 8がこれらの概念で命令伝達部辞書 4 1を 検索し命令記述列を生成する。 この場合、 「起動 （する） 」 が、 特定のワードプ 口セッサ用アプリケーションをオペレーティング ·システムが提供する A P Iを 介して起動する実行可能ソフトウェアに置き換わり、 命令伝達部 3 8が実行する 。 命令記述列の生成も再帰的に検索 ·置換を行い、 自然言語解析部 3 4を利用し て意味論的表現を動的に変更する。
次に、 応答生成部 3 3はワードプロセッサが起動したことを確認し、 ディスプ レイの最前面にワードプロセッサを配置する （ステップ 5 5 ) 。 なお、 何らかの 障害によりワードプロセッサが起動しなかった場合、 応答生成部 3 3は、 ユーザ 対話部 3 1を介してユーザと対話し、 対処方法を決定する （ステップ 5 6 ) 。 ワードプロセッサが起動したら、 ユーザは引き続き自分のやりたいこと （要求 ) を言葉で順次入力することによりドキュメントを作成する。 例えば、 入力され る言葉は、 例えば 「タイトルを映画鑑賞会のお知らせにする」 、 「タイトルを強 調したい」 といったものである。 なお、 「終了する」 という言葉を入力するとプ ログラムが終了する。
前記例では、 ユーザが一連の自然言語入力を行うことで 「映画鑑賞会のお知ら せ」 を作成した。 次に、 この 「お知らせ」 を作成する操作手順をシステムに登録 することにより同様の 「お知らせ」 を簡単に再作成できるようにする手順につい て第 6図を参照しながら説明する。 ここでは例として、 日時、 場所、 映画名、 映 画の紹介を自由に変更した 「お知らせ」 を作成できるようにすることを考える。 まず、 辞書管理部 3 5を介して、 先に説明したような一連の操作に相当する機 能記述表現を機能翻訳部辞書 4 0に適宜名前 （ここでは 「映画鑑賞会のお知らせ J とする） で登録する （ステップ 6 0 ) 。
次に、 辞書管理部 3 5を介して、 機能翻訳部辞書 4 0に登録された前記一連の 機能記述表現に含まれる文字列のうち、 日時、 場所、 映画名、 映画の紹介に相当 する部分を未定義部分として再定義する （ステップ 6 1 ) 。
次に、 辞書管理部 3 5を介して、 「映画鑑賞会のお知らせ」 という文字列をヮ —ドプロセッサ ·ソフトウェア ·オブジェクトと関連づけて環境設定部辞書 3 9 に登録する （ステップ 6 2 ) 。
上記のように機能翻訳部辞書 4 0及び環境設定部辞書 3 9に 「映画鑑賞会のお 知らせ」 のエントリを追加した後、 ユーザが自然言語入力部 3 0を介して 「映画 鑑賞会のお知らせを作成する」 と自然言語入力を行なうと、 自然言語解析部 3 4 と環境設定部 3 6が第 1図の例と同様の処理を行ない、 意味論的表現を生成する (ステップ 6 3 ) 。
次に、 機能翻訳部 3 7は、 前記意味論的表現を機能記述表現に翻訳する際、 「 映画鑑賞会のお知らせ」 を先に機能翻訳部辞書 4 0に登録した一連の機能記述表 現に置換え、 その機能記述表現に対して先に説明したような再帰的翻訳処理を実 行する （ステップ 6 4 ) 。 機能記述表現に含まれる未定義部分 （日時、 場所、 映 画名、 映画の紹介） を見つけると （ステップ 6 5 ) 、 機能翻訳部 3 7は、 ユーザ 対話部 3 1を介してユーザにその部分の定義を問う。 ユーザが定義に相当する言 葉 （文字列） を入力すると、 機能翻訳部 3 7は未定義部分をその言葉で置き換え る （ステップ 6 6 ) 。 このようにして、 ユーザはユーザ対話部 3 1のガイダンス に沿い、 日時、 場所、 映画名、 映画の紹介を入力することで、 映画鑑賞会のお知 らせを簡単に作成できる。
以上、 本発明の実施例について説明したが、 実施例は上記に限られるものでは ない。 例えば、 上記実施例ではパーソナル ·コンピュータにインストールされた 複数のアプリケーション ·ソフトウエア ·オブジェクトを自然言語イン夕一フエ ースを通じて操作するものとしたが、 L ANやインタ一ネット等のネットワーク に接続された複数のネットワーク対応電子機器 （コンピュータも含む） を、 同ネ ットワークに接続された制御機器の自然言語インタ一フェースを通じて操作でき るようにすることも可能である。 従って、 例えば、 家庭内の L ANに接続された ネットワーク対応型電化製品に対して一つの音声入力型コントローラを設けると いうシステムを実現することもできる。

Claims

請 求 の 範 囲
1 . 要求を表現した自然言語の文字列を所定の入力手段から受け取る手順、 前記文字列が示す言葉又は文の意味を解析して意味論的表現を生成する手順、 前記要求に応じた処理を行なうのに最適なソフトウェア ·オブジェクトを前記 意味論的表現に基づいて選択するとともに、 該ソフトウェア ·ォブジェクトを操 作するための環境を設定する手順、
前記意味論的表現を翻訳して、 前記要求に応じた処理を前記ソフトウェア ·ォ ブジェクトに実行させるために該ソフトウエア ·オブジェクトに与えるべき操作 命令を正規化した言葉から成る機能記述表現を生成する手順、
前記機能記述表現から前記ソフトウェア ·オブジェク卜の実行可能な命令を生 成して該ソフトウエア ·オブジェクトに伝達する手順、 及び、
前記命令を受けて前記ソフトウエア ·オブジェクトが実行した処理の結果を前 記ユーザが認識可能な所定の形態で出力する手順、
を含む処理をコンピュータに実行させることを特徴とする、 自然言語によるソフ トウエア ·オブジェクトの操作方法。
2 . 請求項 1に記載の方法に従った処理をコンピュータに実行させるための プログラム。
PCT/JP2002/012882 2002-03-19 2002-12-09 Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant WO2003079188A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/508,173 US20050165712A1 (en) 2002-03-19 2002-12-09 Method for operating software object using natural language and program for the same
AU2002367792A AU2002367792A1 (en) 2002-03-19 2002-12-09 Method for operating software object using natural language and program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002076319A JP2003271389A (ja) 2002-03-19 2002-03-19 自然言語によるソフトウェア・オブジェクトの操作方法及びそのためのプログラム
JP2002-76319 2002-03-19

Publications (1)

Publication Number Publication Date
WO2003079188A1 true WO2003079188A1 (fr) 2003-09-25

Family

ID=28035438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/012882 WO2003079188A1 (fr) 2002-03-19 2002-12-09 Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant

Country Status (4)

Country Link
US (1) US20050165712A1 (ja)
JP (1) JP2003271389A (ja)
AU (1) AU2002367792A1 (ja)
WO (1) WO2003079188A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849049B2 (en) * 2005-07-05 2010-12-07 Clarabridge, Inc. Schema and ETL tools for structured and unstructured data
US7849048B2 (en) * 2005-07-05 2010-12-07 Clarabridge, Inc. System and method of making unstructured data available to structured data analysis tools
US9189249B2 (en) * 2005-09-20 2015-11-17 Ca, Inc. Method for automatically defining icons
US10372741B2 (en) 2012-03-02 2019-08-06 Clarabridge, Inc. Apparatus for automatic theme detection from unstructured data
JP5880339B2 (ja) 2012-08-01 2016-03-09 富士通株式会社 情報処理装置、ソフトウェア起動プログラム、及びソフトウェア起動方法
JP6295539B2 (ja) * 2013-08-08 2018-03-20 富士通株式会社 プログラム、及びツール選択方法
EP3093759B1 (en) 2015-05-11 2019-12-04 Samsung Electronics Co., Ltd. Electronic device and method for managing applications on an electronic device
KR102469758B1 (ko) 2015-09-02 2022-11-22 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템
CN117094260B (zh) * 2023-10-16 2024-01-19 上海合见工业软件集团有限公司 一种基于自然语言的命令交互系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131188A (ja) * 1997-07-09 1999-02-02 Just Syst Corp データ編集システム
JPH1131149A (ja) * 1997-07-09 1999-02-02 Just Syst Corp インテリジェント・インターフェイス・システムおよびそれを用いた文書検索方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974191A (en) * 1987-07-31 1990-11-27 Syntellect Software Inc. Adaptive natural language computer interface system
EP0361570B1 (en) * 1988-09-15 1997-08-06 Océ-Nederland B.V. A system for grammatically processing a sentence composed in natural language
US5530863A (en) * 1989-05-19 1996-06-25 Fujitsu Limited Programming language processing system with program translation performed by term rewriting with pattern matching
JPH077419B2 (ja) * 1989-06-30 1995-01-30 シャープ株式会社 機械翻訳装置における略称付き固有名詞処理方法
US5251129A (en) * 1990-08-21 1993-10-05 General Electric Company Method for automated morphological analysis of word structure
US5442780A (en) * 1991-07-11 1995-08-15 Mitsubishi Denki Kabushiki Kaisha Natural language database retrieval system using virtual tables to convert parsed input phrases into retrieval keys
JPH05120324A (ja) * 1991-10-30 1993-05-18 Sharp Corp 言語処理方式
JPH0668137A (ja) * 1992-08-21 1994-03-11 Hitachi Ltd 操作指示対象情報生成システムおよび操作指示対象認識システム
JPH06332678A (ja) * 1993-05-18 1994-12-02 Software Kouchiku Kagaku Kenkyusho:Kk 特定業務用プログラムの製造方法
JP3067966B2 (ja) * 1993-12-06 2000-07-24 松下電器産業株式会社 画像部品を検索する装置及びその方法
US5729659A (en) * 1995-06-06 1998-03-17 Potter; Jerry L. Method and apparatus for controlling a digital computer using oral input
US5899989A (en) * 1996-05-14 1999-05-04 Sharp Kabushiki Kaisha On-demand interface device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131188A (ja) * 1997-07-09 1999-02-02 Just Syst Corp データ編集システム
JPH1131149A (ja) * 1997-07-09 1999-02-02 Just Syst Corp インテリジェント・インターフェイス・システムおよびそれを用いた文書検索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATSUNORI MORIMOTO: "Ichitaro office 8 handbai kaishi", NIKKEI PC 21, 1 November 1997 (1997-11-01), pages 146 - 149, XP002968484 *

Also Published As

Publication number Publication date
US20050165712A1 (en) 2005-07-28
JP2003271389A (ja) 2003-09-26
AU2002367792A1 (en) 2003-09-29

Similar Documents

Publication Publication Date Title
JP3662780B2 (ja) 自然言語を用いた対話システム
JP5921527B2 (ja) インプットメソッドエディタのための拡張フレームワーク
US7389223B2 (en) Method and apparatus for testing a software program using mock translation input method editor
US7698656B2 (en) Methods, apparatus and computer programs supporting shortcuts across a plurality of devices
US5991719A (en) Semantic recognition system
JP5634860B2 (ja) 第２言語モードを有する入力メソッドエディタ
KR101066741B1 (ko) 컴퓨터 시스템과 동적으로 상호작용하기 위한 컴퓨터 구현 방법, 시스템, 및 컴퓨터 판독가능 기록 매체
US7703037B2 (en) Searchable task-based interface to control panel functionality
TWI510965B (zh) 輸入方法編輯器整合
US7295964B2 (en) Apparatus and method for selecting a translation word of an original word by using a target language document database
US20070033526A1 (en) Method and system for assisting users in interacting with multi-modal dialog systems
JP5513898B2 (ja) 共有された言語モデル
WO2008122243A1 (fr) Procédé et système permettant d'appeler rapidement une commande de programme et système destiné à un procédé d'entrée
JP2001249920A (ja) 推測入力源からのテキストに対して候補を提供する方法およびシステム
WO2012000335A1 (zh) 与应用接口相结合的输入方法和设备
JP2020118955A (ja) 非表音文字体系を使用する言語のための音声支援型アプリケーションプロトタイプの試験中の音声コマンドマッチング
JP2004021791A (ja) 自然言語による既存データの記述方法及びそのためのプログラム
US11853689B1 (en) Computer-implemented presentation of synonyms based on syntactic dependency
CN110968245B (zh) 一种透过语音控制office办公软件的操作方法
US8725505B2 (en) Verb error recovery in speech recognition
WO2003079188A1 (fr) Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant
JP2008145769A (ja) 対話シナリオ生成システム，その方法およびプログラム
JP2002197118A (ja) 情報アクセス方法、情報アクセスシステムおよび記録媒体
JP2003167600A (ja) 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2002351652A (ja) 音声認識操作支援システム、音声認識操作支援方法、および、音声認識操作支援プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10508173

Country of ref document: US

122 Ep: pct application non-entry in european phase