JP7247593B2 - 生成装置、ソフトウェアロボットシステム、生成方法及び生成プログラム - Google Patents

Description

本発明は、文書を生成する装置に関する。

近年、ホワイトワーカーの生産性向上を目的として、ＲＰＡ（Ｒｏｂｏｔｉｃ Ｐｒｏｃｅｓｓ Ａｕｔｏｍａｔｉｏｎ）が普及している。ＲＰＡは、人が行う定型的なコンピュータ操作を、ソフトウェア型の仮想ロボットに記憶させることで、コンピュータに代行させるものである。ＲＰＡとしては、例えば、操作対象箇所の画像をソフトウェアロボットがキャプチャしたり、ソフトウェアロボットに記憶させた文字列を、業務アプリの所定の入力箇所に入力させるものが想定される。

図１は、ソフトウェアロボットが伝票登録システムの操作を代行する動作の例を表すイメージ図である。

ソフトウェアロボットは、まず、伝票登録システムがコンピュータ画面上に表示している画像Ｂをクリックした場合に発生する操作信号を、伝票登録システムへ送付する。当該操作信号の送付により、伝票登録システムは、当該送付を受けた時刻である１１：５８：１０を画面に出力する。

また、伝票登録システムは、当該送付を受けて、画像Ｂの周りに、矢印形状の画像Ｃと、閉じた点線形状の画像Ｄを表示する。そして、伝票登録システムは、画像Ｂをアクティブな状態にする。当該状態は、画像Ｂについてさらにクリックされた場合に伝票登録システムが起動する状態である。

次に、ソフトウェアロボットは、画像Ｂがクリックされた場合に発生する操作信号を伝票登録システムへ送付する。すると、伝票登録システムは、伝票登録システムウインドウを画面に表示する。伝票登録システムウインドウには、受注番号フィールドが表示されている。

次に、ソフトウェアロボットは、伝票登録システムウインドウがクリックされた場合に生成される操作信号を伝票登録システムへ送付する。これにより、伝票登録システムは、伝票登録システムウインドウを、次の操作を受け付けるアクティブな状態にする。

そして、ソフトウェアロボットは、キーボードのＴＡＢキーを押した時に生成される信号を伝票登録システムへ送付する。すると、伝票登録システムは、受注フィールドを、受注番号の入力が可能なアクティブな状態にする。

次に、ソフトウェアロボットは、受注番号フィールドに１９０００１が入力された場合に発生する信号を伝票登録システムへ送付する。

以上により、ソフトウェアロボットは、人が行う受注番号１９０００１の伝票登録システムへの入力動作を代行する。

ここで、ＲＰＡでは、ソフトウェアロボットによって実行される業務の動作についての手順書が存在しない場合がある。その場合、ソフトウェアロボットが行う各操作の操作意図がブラックボックス化され得る。

操作意図がブラックボックス化されると、ソフトウェアロボットの継続運用に支障が生じ得る。例えば、あるコンピュータで動作しているソフトウェアロボットを別のコンピュータへ移行することを想定する。その場合、別のコンピュータへ移行したソフトウェアロボットに、画像やファイルパスを記憶させ直す必要が生じる。しかしながら、操作意図がブラックボックス化され理解できないと、どの画像やファイルパスを記憶させ直すべきか分からなくなる。

この問題に対して、特許文献１は、アプリケーションプログラムを実行する際の操作手順を自然言語形式のファイルへ変換する変換システムを開示する。

特開平０７－１２９３８４号公報

小林豊、鈴木諒、谷津元樹、原田実、人工知能学会インタラクティブ、情報アクセスと可視化間イニング研究会（第１７回）、ＳＩＧ－ＡＭ－１７－０４、「深層学習による日本語キャプション生成システムの開発」、［平成３１年１月８日検索］、インターネット（ｈｔｔｐ：／／ｍｕｓｔ．ｃ．ｕ－ｔｏｋｙｏ．ａｃ．ｊｐ／ｓｉｇａｍ／ｓｉｇａｍ１７／ｓｉｇａｍ１７０４．ｐｄｆ） 今村賢治、齋藤邦子、貞光九月、西川仁、日本電信電話株式会社、ＮＴＴサイバースペース研究所、言語処理学会、第１８回年次大会、発表論文集、２０１２年３月、［平成３１年１月８日検索］、インターネット（＜ｈｔｔｐ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｐｒｏｃｅｅｄｉｎｇｓ／ａｎｎｕａｌ＿ｍｅｅｔｉｎｇ／２０１２／ｐｄｆ＿ｄｉｒ／Ａ１－５．ｐｄｆ）

しかしながら、特許文献１が開示する変換システムは、アプリケーションプログラムを実行する際の操作手順を自然言語文でしか蓄積しない。そのため、作業者等は、自然言語文を読まなければ業務手順を把握することができず、業務手順の把握に困難性をともなう場合がある。

本発明は、ソフトウェアロボットによる操作手順の理解の容易化を図り得る生成装置等の提供を目的とする。

本発明の生成装置は、ソフトウェアロボットからの出力情報を自然言語文にする自然言語化部と、前記自然言語文から第一イラストを選択する第一選択部と、前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する生成部と、を備える。

本発明の生成装置等は、ソフトウェアロボットによる操作手順の理解の容易化を図り得る。

ソフトウェアロボットに操作を代行させる動作の例を表すイメージ図である。 本実施形態のソフトウェアロボットシステムの構成例を表す概念図である。 手順書生成処理の処理フロー例を表す概念図である。 操作情報の具体例を表す概念図である。 定義情報の具体例を表す概念図である。 操作情報データベースの例を表す概念図である。 定義情報データベースの例を表す概念図である。 操作情報の自然言語化に関する処理の処理フロー例を表す概念図である。 定義情報の自然言語化に関する処理の処理フロー例を表す概念図である。 操作情報データベースに格納された各「自然言語文」について行うイラスト化処理の処理フロー例を表す概念図である。 Ｓ４０５の処理に用いられる「自然言語文」及び特定される名詞の具体例を表す概念図である。 Ｓ４０６及びＳ４０７の処理に用いられる名詞、その名詞により読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。 Ｓ４０９の処理に用いられる「自然言語文」及びそれから特定される動詞の具体例を表す概念図である。 Ｓ４１０及びＳ４１１の処理に用いられる動詞、それにより読み出される第二イラスト及び当該第二イラストの第一イラストへの付加のされ方、の具体例を表す概念図である。 Ｓ４１３の処理により、付加後画像に付する画像名の具体例を表す概念図である。 Ｓ１０３の処理の処理フロー例を表す概念図である。 Ｓ５０５の処理に用いられる要約文及びそれから特定される名詞の具体例を表す概念図である。 Ｓ５０６及びＳ５０７の処理に用いられる名詞、その名詞から読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。 Ｓ５０９の処理に用いられる要約文及びその要約文から特定される動詞の具体例を表す概念図である。 Ｓ５１０及びＳ５１１の処理に用いられる動詞、その動詞により読み出される第二イラスト及びその第二イラストに具される画像名の具体例を表す概念図である。 Ｓ５１３の処理により、画像に付する画像名の具体例を表す概念図である。 Ｓ１０７の処理の処理フロー例を表す概念図である。 Ｓ６０５及びＳ６０６の処理に用いる「自然言語文」及びその「自然言語文」の第一イラストと第二イラストとの組合せへの追記のされ方の具体例を表す概念図である。 Ｓ１０４の処理の処理フロー例を表す概念図である。 Ｓ７０５及びＳ７０６の処理に用いる「要約文」及びその「要約文」の第一イラスト及び第二イラストへの追記のされ方の具体例を表す概念図である。 実施形態のソフトウェアロボットシステムを実現可能な情報処理装置のハードウェア構成例を表す概念図である。 実施形態の生成装置の最小限の構成を表すブロック図である。

本実施形態のソフトウェアロボットシステムは、ソフトウェアロボットとしての動作を行うための処理を行う部分である動作処理部が処理を行う際に生成する情報から自然言語文の手順書を自動的に生成する。手順書はソフトウェアロボットの動作を説明する文書である。そして、本実施形態のソフトウェアロボットシステムは、生成した自然言語文と、その自然言語文から自動生成したイラストとを組み合わせる。そして、本実施形態のソフトウェアロボットシステムは、当該組合せから、イラストと自然言語文とにより表された手順書を自動生成する。前記ソフトウェアロボットシステムは、イラストにより手順書の内容の直感的な把握を容易化することにより、手順書の内容の理解の容易化を図る。
［構成と動作］
図２は、本実施形態のソフトウェアロボットシステムの例であるソフトウェアロボットシステム１００の構成を表す概念図である。

ソフトウェアロボットシステム１００は、ロボット部２００と手順書生成装置３００とを備える。

ロボット部２００は、動作処理部２０１と入力部２０６とを備える。

動作処理部２０１は、背景技術の項において説明した、人が行う定型的なコンピュータ操作を代行するソフトウェア型の仮想ロボットの動作にともなう処理を行う部分である。動作処理部２０１は、例えば、背景技術において図１を参照して説明した伝票登録システムの操作を行う。

入力部２０６は、動作処理部２０１が行うコンピュータ操作にともなう操作情報と定義情報とを手順書生成装置へ入力する。

ここで、操作情報は、動作処理部２０１が操作信号の送付により代行する人が行う操作の内容を表す情報である。また、定義情報は、前記操作のために人が行う動作を表す情報である。操作情報の例は、図４を参照して後述される。また、定義情報の例は、図５を参照して後述される。

手順書生成装置３００は、自然言語化部３０１と、要約部３０６と、イラスト化部３１１と、レイアウト部３１６と、追記部３２１と、出力部３２６と、記憶部３３１とを備える。

記憶部３３１は、操作情報格納部４０１と、定義情報格納部４０６と、第二イラスト格納部４１１と、第一イラスト格納部４１６と、要約版画像格納部４２１と、非要約版画像格納部４２６とを備える。記憶部３３１は、さらに、要約版手順書格納部４３１と、非要約版手順書格納部４３６と、その他情報格納部４４１とを備える。

記憶部３３１は、ロボット部２００の入力部２０６から送付された前述の操作情報を操作情報格納部４０１へ格納する。操作情報の例は、図４を参照して後述される。

操作情報格納部４０１は、さらに、自然言語化部３０１が後述のように操作情報から生成した、操作情報の自然言語文を格納する。操作情報格納部４０１は、さらに、操作情報の自然言語文の要約を格納する。

操作情報格納部４０１は、例えば、操作情報ＤＢを保持することにより、操作情報、その自然言語文及びその要約を格納する。ここで、ＤＢはＤａｔａ Ｂａｓｅ（データベース）の略である。操作情報ＤＢの例は図６を参照して後述される。

記憶部３３１は、また、ロボット部２００の入力部２０６から送付された前述の定義情報を定義情報格納部４０６へ格納する。定義情報の例は、図５を参照して後述される。

定義情報格納部４０６は、さらに、自然言語化部３０１が後述のように定義情報から生成した、定義情報の自然言語文を格納する。定義情報格納部４０６は、さらに、定義情報の自然言語文の要約を格納する。

定義情報格納部４０６は、定義情報、その自然言語文及びその要約を、例えば、保持している定義情報ＤＢに格納する。定義情報ＤＢの例は、図７を参照して、後述される。

記憶部３３１は、第一イラストの画像群を、第一イラスト格納部４１６に、予め保持する。なお、本明細書においては、当該記述のように、画像を表示させるための画像情報を画像ということもある。当該第一イラストは、イラスト化部３１１が、後述のように、自然言語化された操作情報に含まれる名詞をイラスト化する際に用いるイラストである。

ここで、自然言語化された操作情報に含まれる名詞は、一般的に動作の対象を表す場合が多い。その理由は、動作処理部２０１が代行する操作の主体は通常は動作処理部２０１であり、入力部２０６から送付される操作情報においては省略されるからである。従い、第一イラストは、通常は、操作の対象を表現するイラストである。

当該イラスト化の処理フロー例は、図１０を参照して後述される。また、当該イラスト化の具体例は、図１１及び図１２を参照して、後述される。

記憶部３３１は、また、第二イラストの画像群を、第二イラスト格納部４１１に、予め保持する。第二イラスト格納部４１１に格納された第二イラストは、イラスト化部３１１が、後述のように、自然言語化された操作情報に含まれる動詞をイラスト化する際に用いるイラストである。

当該イラスト化の処理フロー例は、図１０を参照して後述される。また、当該イラスト化の具体例は、図１１及び図１２を参照して、後述される。

要約版画像格納部４２１には、イラスト化部３１１が生成した要約版画像が格納される。要約版画像は、イラスト付の要約された手順書（要約版手順書）に用いられる画像である。

非要約版画像格納部４２６には、イラスト化部３１１が生成した後述の非要約版画像が格納される。要約版画像は、イラスト付の要約されていない手順書（非要約手順書）に用いられる画像である。

要約版手順書格納部４３１には、レイアウト部３１６が生成したイラスト付の要約された手順書（要約版手順書）が格納される。

非要約版画像格納部４２６には、レイアウト部３１６が生成したイラスト付の要約されていない手順書（非要約手順書）が格納される。

その他情報格納部４４１には、手順書生成装置３００の各構成が種々の処理を行うためのソフトウェアや情報が予め格納される。その他情報格納部４４１には、その他、手順書生成装置３００の各構成が格納を指示した情報が格納される。

記憶部３３１は、手順書生成装置３００の各構成が指示した情報を、手順書生成装置３００の送付を指示された構成へ送付する。

自然言語化部３０１は、操作情報格納部４０１に格納された各操作情報を自然言語文に変換し、変換後の自然言語文を、操作情報格納部４０１内の所定の格納場所に格納する。当該自然言語文は、操作情報を自然言語により説明するものである。当該変換の方法例は、図８を参照して後述される。

自然言語化部３０１は、また、定義情報格納部４０６に格納された各定義情報を自然言語文に変換し、変換後の自然言語文を、定義情報格納部４０６内の所定の格納場所に格納する。当該自然言語文は、定義情報を自然言語により説明するものである。当該変換の方法は、図９を参照して後述される。

要約部３０６は、自然言語化部３０１により操作情報格納部に格納された操作情報の自然言語文から、操作情報の要約の自然言語文（要約文）を生成し、生成した要約文を、操作情報格納部４０１内の所定の格納場所に格納する。要約部３０６は、当該要約を、例えば、文書要約エンジンにより行う。文書要約エンジンによる要約手法としては、例えば、一般的に用いられている、ｔｆ－ｉｄｆやＬｅｘＲａｎｋが適用され得る。

イラスト化部３１１は、自然言語化部３０１により操作情報格納部４０１に格納された操作情報の自然言語文から、操作情報を表現するイラストを生成する。イラスト化部３１１は、当該生成を、記憶部３３１が保持する第一イラスト格納部４１６に格納された第一イラスト及び第二イラスト格納部４１１に格納された第二イラストにより行う。当該生成の方法例及び具体例は、図１０乃至図１５を参照して後述される。イラスト化部３１１は、生成したイラストを非要約版画像格納部４２６に格納する。

イラスト化部３１１は、また、自然言語化部３０１により操作情報格納部４０１に格納された操作情報の自然言語文の要約文から、操作情報の要約を表現するイラストを生成する。イラスト化部３１１は、当該生成を、記憶部３３１が保持する第一イラスト格納部４１６に格納された第一イラスト及び第二イラスト格納部４１１に格納された第二イラストにより行う。当該生成の方法例及び具体例は、図１６乃至図２１を参照して後述される。イラスト化部３１１は、生成した画像を要約版画像格納部４２１に格納する。

追記部３２１は、イラスト化部３１１により非要約版画像格納部４２６に格納された画像の各々に、その画像に対応する、操作情報格納部４０１が保持する操作情報の自然言語文を、画像として追記する。追記部３２１は、また、操作情報の自然言語文を追加した画像の各々に、その画像に対応する、定義情報格納部４０６が保持する定義情報の自然言語文を、画像として追記する。当該追記の方法及び具体例は、図２２及び図２３を参照して、後述される。追記部３２１は、追記後の画像を、非要約版画像格納部４２６に格納する。追記部３２１は、追記後の画像により、追記前の画像を置き換えてもよい。

追記部３２１は、またイラスト化部３１１により要約版画像格納部４２１に格納された画像の各々に、その画像に対応する、操作情報格納部４０１が保持する操作情報の自然言語文の要約文を、画像として追記する。当該追記の方法及び具体例は、図２４及び図２５を参照して、後述される。追記部３２１は、追記後の画像を、要約版画像格納部４２１に格納する。追記部３２１は、追記後の画像により、追記前の画像を置き換えてもよい。

レイアウト部３１６は、非要約版画像格納部４２６に格納された、追記部３２１による追記が完了した画像を、例えば、操作時刻順に並べ、非要約版のイラスト付き手順書を生成する。レイアウト部３１６は、あるいは、追記部３２１による追記が完了した画像を、当該画像と結び付けて予め定められた重要度により並べて、非要約版のイラスト付き手順書を生成しても構わない。レイアウト部３１６は、生成した手順書を、非要約版手順書格納部４３６に格納する。

レイアウト部３１６は、また、要約版画像格納部４２１に格納された、追記部３２１による追記が完了した画像を並べ、要約版のイラスト付き手順書を生成する。その際に、レイアウト部３１６は、前記画像を、例えば、操作時刻順に並べる。レイアウト部３１６は、前記画像を、あるいは、例えば、重要度順に並べてもよい。レイアウト部３１６が、前記画像を重要度順に並べる場合は、例えば、第一イラストや第二イラストに重要度を表す重要度情報が予め関連付けられている。そして、レイアウト部３１６は、重要度情報から、前記画像のイラストの重要度を表す値を導出し、その値により、前記画像を並べる。レイアウト部３１６は、生成した手順書を、要約版手順書格納部４３１に格納する。

出力部３２６は、要約版手順書格納部４３１に格納された要約版手順書、及び、非要約版手順書格納部４３６に格納された非要約版手順書を、出力する。当該出力は、例えば、画面への表示、プリンタによる印刷、他の装置への送信である。

図３は、図２に表す手順書生成装置３００が行う手順書生成処理の処理フロー例を表す概念図である。

手順書生成装置３００は、例えば、操作情報格納部４０１への操作情報の格納、及び、定義情報格納部４０６への定義情報の格納が、それぞれ完了したことを判定することにより、図３に表す処理を開始する。

まず、自然言語化部３０１は、Ｓ１０１の処理として、操作情報格納部４０１に格納された操作情報及び定義情報格納部４０６に格納された定義情報の自然言語文にする。当該自然言語化の処理フロー例は、図８及び図９を参照して後述される。自然言語化部３０１は、生成した自然言語文を、操作情報格納部４０１及び定義情報格納部４０６に格納する。

Ｓ１０１の処理の次に、手順書生成装置３００は、Ｓ１０２の処理とＳ１０６の処理とを行う。

要約部３０６は、Ｓ１０２の処理を行う場合は、同処理として、Ｓ１０１の処理により操作情報格納部４０１及び定義情報格納部４０６に格納された、自然言語文である操作情報の要約及び自然言語文である定義情報の要約を生成する。要約部３０６は、当該要約を、前述のように、一般的な文書要約エンジンにより行う。要約部３０６は、生成した操作情報の要約及び定義情報の要約を、操作情報格納部４０１及び定義情報格納部４０６に格納する。

そして、イラスト化部３１１は、Ｓ１０３の処理として、Ｓ１０２の処理により生成された操作情報の要約及び定義情報の要約のイラスト化を行う。当該イラスト化の処理フロー例及び具体例は、図１６乃至図２１を参照して後述される。

そして、追記部３２１は、Ｓ１０４の処理として、Ｓ１０３の処理により生成された各イラストへの、自然言語文の要約文の、画像としての追記を行う。当該追記の処理フロー例及び具体例は、図２４及び図２５を参照して、後述される。

次に、レイアウト部３１６は、Ｓ１０４の処理により追記されたイラストを、前述のように並べ、要約版手順書にする。レイアウト部３１６は、生成した要約版手順書を要約版手順書格納部４３１へ格納する。

一方、イラスト化部３１１は、Ｓ１０６の処理を行う場合は、同処理として、Ｓ１０１の処理により操作情報格納部４０１に格納された、操作情報の自然言語文のイラスト化を行う。当該イラスト化の処理フロー例及び具体例は、図１０乃至図１５を参照して後述される。イラスト化部３１１は、生成したイラストを非要約版画像格納部４２６に格納する。

そして、追記部３２１は、Ｓ１０７の処理として、Ｓ１０６の処理により生成された各イラストへの、Ｓ１０１の処理により生成された、操作情報及び定義情報の自然言語文の、画像としての追記を行う。当該追記の処理フロー例及び具体例は、図２２及び図２３を参照して、後述される。

そして、レイアウト部３１６は、Ｓ１０８の処理として、Ｓ１０７の処理により追記されたイラストを、前述のように並べ、非要約版手順書を生成する。レイアウト部３１６は、生成した非要約版手順書を、非要約版手順書格納部４３６へ格納する。

Ｓ１０５の処理及びＳ１０８の処理のうちの少なくとも一方が完了すると、出力部３２６は、Ｓ１０９の処理として、Ｓ１０５の処理により生成された要約版手順書及びＳ１０８の処理により生成された非要約版手順書を、出力する。

そして、手順書生成装置３００は、図３に表す処理を終了する。

図４は、前述の操作情報の具体例を表す概念図である。

操作情報は、前述のように、図２に表す動作処理部２０１が操作信号の送付により代行する人が行う操作の内容を表す情報である。図４に表す操作情報は、背景技術の項で図１を参照して説明したソフトウェアロボットが行う動作を、図２に表す動作処理部２０１が行った場合を想定したものである。

図４には４つの操作情報が表されている。

各操作情報は、「操作時刻」、「操作後にアクティブとなるオブジェクト」、「操作後に実現される動作」及び「スクリーンショット」の４つの項目からなる。

「操作時刻」は、動作処理部２０１が行う、人が行う操作に対応する操作信号の伝票登録システムへの送付の時刻である。

「操作後にアクティブとなるオブジェクト」は、その操作信号の伝票システムへの送付により、伝票登録システムが、「操作後に実現される動作」を行う対象である。

「操作後に実現される動作」は、動作処理部２０１が、「操作後にアクティブとなるオブジェクト」を、別途定義された操作により実現する動作の内容である。

「スクリーンショット」は、動作処理部２０１が、「操作後にアクティブとなるオブジェクト」に対応する画像が表示されたコンピュータ画面のファイル名である。当該ファイル名に対応する画像は、入力部２０６から送付され、操作情報格納部４０１に別途格納されている。

なお、「操作時刻」、「操作後にアクティブとなるオブジェクト」及び「操作後に実現される動作」の「操作」の内容は、次に説明する定義情報により定義される。

図５は、前述の定義情報の具体例を表す概念図である。

図５に表す各定義情報は、図４に表す各操作情報における「操作」の内容を記述したものである。

操作情報は、「操作時刻」と、「コマンド」と、「補足情報」とからなる。

「操作時刻」は、動作処理部２０１が行う、人が行う操作に対応する操作信号の伝票登録システムへの送付の時刻である。図５に表す「操作時刻」は、図４に表す「操作時刻」と同じものである。

「コマンド」は、図２に表す動作処理部２０１が、伝票登録システムに送付するコマンドを記述したものである。

「補足情報」は、対応する「コマンド」の内容を補足説明したものである。

図６は、操作情報格納部４０１が格納する前述の操作情報ＤＢの例である操作情報ＤＢ４５１を表す概念図である。図６は、操作情報ＤＢ４５１を、画面等に表示させた場合が想定された図である。

操作情報ＤＢ４５１には、図４に表す操作情報の４つの項目である「操作時刻」、「操作後にアクティブとなるオブジェクト」、「操作後に実現される動作」及び「スクリーンショット」のファイル名を格納する欄が設定されている。「スクリーンショット」に格納された各ファイル名の画像ファイルは、前述のように、操作情報格納部４０１が、別途保持している。当該画像ファイルは、入力部２０６から操作情報とともに送付されるものである。

操作情報ＤＢ４５１には、各操作情報に、「操作時刻」の早いものから連番で「番号」が付与されている。操作情報ＤＢ４５１には、さらに、各操作情報の「自然言語文」を格納する欄と、４つの操作情報の自然言語文を要約した「操作情報要約文」を格納する欄が設定されている。

図６に表す操作情報ＤＢ４５１には、図４に表す各操作情報は既に格納されているが、「自然言語文」及び「操作情報要約文」は未格納である。

図７は、定義情報格納部４０６が保持する前述の定義情報ＤＢの例である定義情報ＤＢ４５６を表す概念図である。図７は、定義情報ＤＢ４５６を画面等に表示させた場合を想定した図である。

定義情報ＤＢ４５６には、図５に表す定義情報の３つの項目である「操作時刻」、「コマンド」及び「補足情報」を格納する欄が設定されている。

定義情報ＤＢ４５６では、各定義情報に、「操作時刻」の早いものから連番で「番号」が付与されている。

定義情報ＤＢ４５６には、さらに、各定義情報についての「自然言語文」を格納する欄と、４つの定義情報の自然言語文を要約した「定義情報要約文」を格納する欄が設定されている。

図７に表す定義情報ＤＢ４５６には、図５に表す各定義情報は既に格納されているが、「自然言語文」及び「定義情報要約文」は未格納である。

図８は、図２に表す自然言語化部３０１が行う、図３に表すＳ１０１の処理のうち操作情報の自然言語化に関する処理の処理フロー例を表す概念図である。図８の各処理は、図６に表すフォーマットの操作情報ＤＢが用いられることを前提としている。

自然言語化部３０１は、例えば、操作情報ＤＢへの操作情報の格納が完了したことを表す通知情報の入力により、図８に表す処理を開始する。

まず、自然言語化部３０１は、Ｓ２０１の処理として、操作情報ＤＢへのアクセスを開始する。

次に、自然言語化部３０１は、Ｓ２０２の処理として、番号ｎに１を代入する。当該番号は、図６に表す「番号」に対応するものである。

そして、自然言語化部３０１は、Ｓ２０３の処理として、番号ｎの「スクリーンショット」が操作情報ＤＢに格納されているかについての判定を行う。

自然言語化部３０１は、Ｓ２０３の処理による判定結果がｙｅｓの場合は、Ｓ２０４の処理を行う。

一方、自然言語化部３０１は、Ｓ２０３の処理による判定結果がｎｏの場合は、図８に表す処理を終了する。

自然言語化部３０１は、Ｓ２０４の処理を行う場合は、同処理として、番号ｎの「スクリーンショット」のファイル名に対応する画像ファイルを読み出す。前述のように、当該画像ファイルは、操作情報格納部４０１に格納されている。

そして、自然言語化部３０１は、Ｓ２０５の処理として、読み出した画像ファイルを、自然言語化部３０１が備える図示しない学習システムに入力する。

当該学習システムは、スクリーンショットの画像ファイルとの入力により所定の表現形式のダミーの自然言語文（ダミー文）を出力するように予め学習させたシステムである。当該ダミー文においては、そのダミー文に含まれる名詞と動詞の内容を除き正しい内容になっている。当該ダミー説明文においては、名詞と動詞は、例えば、所定の記号等の仮の内容が記述されている。

なお、そのような学習システムは、例えば、非特許文献１等に開示されており、周知である。

そして、自然言語化部３０１は、Ｓ２０６の処理として、学習システムから出力されたダミー文を操作情報格納部４０１の所定の格納場所に格納する。

次に、自然言語化部３０１は、Ｓ２０７の処理として、ダミー文に含まれる名詞及び動詞を特定する。ダミー説明文において、名詞及び動詞が所定の記号で表現されるようにしておけば、その記号により名詞及び動詞が特定される。

次に、自然言語化部３０１は、Ｓ２０８の処理として、Ｓ２０７の処理により特定した名詞を、操作情報ＤＢの番号ｎの「操作後にアクティブとなるオブジェクト」で置き換える。

次に、自然言語化部３０１は、Ｓ２０９の処理として、Ｓ２０７の処理により特定した動詞を、操作情報ＤＢの番号ｎの「操作後に実行される動作」で置き換える。

そして、自然言語化部３０１は、Ｓ２１０の処理として、Ｓ２０９の処理により置き換えた文を、操作情報ＤＢの番号ｎの「自然言語文」の欄に格納する。

そして、自然言語化部３０１は、Ｓ２１１の処理として、番号ｎに１を加算する。

そして、自然言語化部３０１は、Ｓ２０３の処理を再度行う。

図９は、図２に表す自然言語化部３０１が行う、図３に表すＳ１０１の処理のうち定義情報の自然言語化に関する処理の処理フロー例を表す概念図である。図９は、定義情報格納部４０６が、図７に表すフォーマットの定義情報ＤＢを保持することを前提とした処理を表す。

自然言語化部３０１は、例えば、定義情報ＤＢへの定義情報の格納が完了したことを表す通知情報の入力により、図９に表す処理を開始する。

まず、自然言語化部３０１は、Ｓ３０１の処理として、定義情報ＤＢへのアクセスを開始する。

次に、自然言語化部３０１は、Ｓ３０２の処理として、番号ｎに１を代入する。当該番号は、図７に表す「番号」に相当するものである。

そして、自然言語化部３０１は、Ｓ３０３の処理として、番号ｎの「コマンド」が定義情報ＤＢに格納されているかについての判定を行う。

自然言語化部３０１は、Ｓ３０３の処理による判定結果がｙｅｓの場合は、Ｓ３０４の処理を行う。

一方、自然言語化部３０１は、Ｓ３０３の処理による判定結果がｎｏの場合は、図９に表す処理を終了する。

自然言語化部３０１は、Ｓ３０４の処理を行う場合は、同処理として、定義情報ＤＢに格納された、番号ｎの「コマンド」を読み出す。

そして、自然言語化部３０１は、Ｓ３０５の処理として、番号ｎの「補足情報」を読み出す。

そして、自然言語化部３０１は、Ｓ３０６の処理として、Ｓ３０４の処理により読み出した「コマンド」とＳ３０５の処理により読み出した「補足情報」とから、自然言語文を生成する。自然言語化部３０１は、当該自然言語文の生成を、例えば、予め定められた定型文の所定の位置に「コマンド」と「補足情報」とを挿入することにより行う。当該定型文は、例えば、「「コマンド」を「補足情報」でする。」というものである。

そして、自然言語化部３０１は、Ｓ３０７の処理として、Ｓ３０６の処理により生成した自然言語文の格助詞を補正する。当該補正には、例えば、非特許文献２が開示する方法等の周知の方法を用いればよい。

そして、自然言語化部３０１は、Ｓ３０８の処理として、Ｓ３０７の処理により格助詞を補正した自然言語文を、定義情報ＤＢの、番号ｎの「自然言語文」の項に格納する。

そして、自然言語化部３０１は、Ｓ３０９の処理として、番号ｎの値を一つ増やす。

そして、自然言語化部３０１は、Ｓ３０３の処理を再度行う。

図１０は、図２に表すイラスト化部３１１が、図６に表す操作情報ＤＢと同様のフォーマットを有する操作情報ＤＢに格納された各「自然言語文」について行うイラスト化処理の処理フロー例を表す概念図である。

イラスト化部３１１は、例えば、外部からの開始情報の入力により図１０に表す処理を開始する。

まず、イラスト化部３１１は、Ｓ４０１の処理として、操作情報ＤＢへのアクセスを開始する。

そして、イラスト化部３１１は、Ｓ４０２の処理として、番号ｎに１を代入する。番号ｎは、図６に表す「番号」に対応する。

そして、イラスト化部３１１は、Ｓ４０３の処理として、Ｓ４０１の処理によりアクセスを開始した操作情報ＤＢに、番号ｎの「自然言語文」が格納されているかについての判定を行う。

イラスト化部３１１は、Ｓ４０３の処理による判定結果がｙｅｓの場合は、Ｓ４０４の処理を行う。

一方、イラスト化部３１１は、Ｓ４０３の処理による判定結果がｎｏの場合は、図１０に表す処理を終了する。

イラスト化部３１１は、Ｓ４０４の処理を行う場合は、同処理として、番号ｎの「自然言語文」を読み出す。

そして、イラスト化部３１１は、Ｓ４０５の処理として、Ｓ４０４の処理により読み出した「自然言語文」に含まれる名詞を特定する。この名詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。なお、操作情報ＤＢの「自然言語文」から名詞を抽出する様子を表す具体例は、図１１を参照して後述される。

そして、イラスト化部３１１は、Ｓ４０６の処理として、Ｓ４０５の処理により特定した名詞と類似した画像名が付与されて第一イラスト格納部４１６に格納されている第一イラストがあるかについての判定を行う。当該類比判断には、一般的な類比判断の手法を用いることができる。また、第一イラストの具体例は図１２を参照して後述される。

イラスト化部３１１は、Ｓ４０６の処理による判定結果がｙｅｓの場合は、Ｓ４０７の処理を行う。

一方、イラスト化部３１１は、Ｓ４０６の処理による判定結果がｎｏの場合は、Ｓ４０８の処理を行う。

イラスト化部３１１は、Ｓ４０７の処理を行う場合は、同処理として、Ｓ４０６の処理により第一イラスト格納部４１６に格納されていることを判定した第一イラストを読み出し、所定の格納場所に格納する。当該読み出し及び格納する様子を表す具体例は図１２を参照して後述される。そして、イラスト化部３１１は、Ｓ４０９の処理を行う。

イラスト化部３１１は、Ｓ４０８の処理を行う場合は、同処理として、非該当画像を読み出し、それを第一イラストとして、所定の格納場所に格納する。ここで、非該当画像は、Ｓ４０５の処理により特定した名詞に類似した画像名で第一イラスト格納部４１６に格納された第一イラストが存在しないことを表す画像である。非該当画像は、第一イラスト格納部４１６に予め格納されているものとする。そして、イラスト化部３１１は、Ｓ４０９の処理を行う。

イラスト化部３１１は、Ｓ４０９の処理を行う場合は、同処理として、Ｓ４０４の処理により読み出した「自然言語文」に含まれる動詞を特定する。動詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。動詞の特定する様子を表す具体例は図１３を参照して後述される。

そして、イラスト化部３１１は、Ｓ４１０の処理として、Ｓ４０９の処理により特定した動詞と類似した画像名が付与された第二イラストが第二イラスト格納部４１１に格納されているかについての判定を行う。第二イラストの具体例は、図１４を参照して後述される。

イラスト化部３１１は、Ｓ４１０の処理による判定結果がｙｅｓの場合は、Ｓ４１１の処理を行う。

一方、イラスト化部３１１は、Ｓ４１０の処理による判定結果がｎｏの場合は、Ｓ４１２の処理を行う。

イラスト化部３１１は、Ｓ４１１の処理を行う場合は、同処理として、Ｓ４０７の処理により格納した第一イラストにＳ４１０の処理により第二イラスト格納部に格納されていることを判定した第二イラストを付加する。当該付加の様子を表す具体例は、図１４を参照して後述される。イラスト化部３１１は、付加後のイラストを所定の格納場所に格納する。

次に、イラスト化部３１１は、Ｓ４１２の処理として、操作情報ＤＢに含まれる、番号ｎの操作時刻を読み出す。

そして、イラスト化部３１１は、Ｓ４１３の処理として、Ｓ４１１の処理により付加されたイラストを、Ｓ４１２の処理により読み出した操作時刻と関連付けて、図２に表す非要約版画像格納部４２６に格納する。当該格納の具体例は、図１５を参照して後述される。

そして、イラスト化部３１１は、Ｓ４１４の処理として、番号ｎを一つ増やす。

そして、イラスト化部３１１は、Ｓ４０３の処理を再度行う。

図１１は、イラスト化部３１１による図１０に表すＳ４０５の処理に用いられる「自然言語文」及びその「自然言語文」から特定される名詞の具体例を表す概念図である。図１１に表すように、操作情報ＤＢ４５１には、番号１に対応付けられて、「自然言語文」である「伝票登録システム．ｅｘｅを実行する」が格納されている。そして、イラスト化部３１１は、「伝票登録システム．ｅｘｅを実行する」から、その名詞である「伝票登録システム．ｅｘｅ」を抽出する。イラスト化部３１１は、当該抽出を一般的な形態素解析により行う。

図１２は、イラスト化部３１１による図１０に表すＳ４０６及びＳ４０７の処理に用いられる名詞、その名詞により読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。

第一イラスト格納部４１６には、第一イラストである画像９０１乃至９０３が格納されている。図１２に表すように、画像９０１は、「ｅｘｅ」という画像名で第一イラスト格納部４１６に格納されている。また、名詞である「伝票登録システム．ｅｘｅ」が、番号１の「自然言語文」から抽出されている。

そして、図１２には示されないが、イラスト化部３１１は、図１０のＳ４０６の処理により、「伝票登録システム．ｅｘｅ」に類似した画像名の付与された画像が第一イラスト格納部４１６に格納されていないか調べる。その結果、イラスト化部３１１は、画像９０１の画像名である「ｅｘｅ」が「伝票登録システム．ｅｘｅ」に含まれることから、画像９０１の画像名が「伝票登録システム．ｅｘｅ」に類似していることを判定する。

そして、図１２に表すように、イラスト化部３１１は、Ｓ４０７の処理として画像９０１を第一イラスト格納部４１６から読み出す。

そして、イラスト化部３１１は、同処理として、画像９０１に「伝票登録システム．ｅｘｅ」という画像名を付与して、図２に表す非要約版画像格納部４２６に格納する。

図１３は、イラスト化部３１１による図１０に表すＳ４０９の処理に用いられる「自然言語文」及びそれから特定される動詞の具体例を表す概念図である。操作情報ＤＢ４５１の番号１には「自然言語文」である「伝票登録システム．ｅｘｅを実行する」が格納されている。そして、その動詞である「実行する」を抽出する。イラスト化部３１１は、当該抽出を一般的な形態素解析により行う。

図１４は、イラスト化部３１１による図１０に表すＳ４１０及びＳ４１１の処理に用いられる動詞、それにより読み出される第二イラスト及び当該第二イラストの第一イラストへの付加のされ方、の具体例を表す概念図である。

図１４に表すように、第二イラスト格納部４１１には、第二イラストである画像９１１乃至９１３が格納されている。画像９１１は、「実行」という画像名で格納されている。

また、図１４に表すように、イラスト化部３１１は、番号１の「自然言語文」から、動詞である「実行する」を抽出している。

そして、図１４には図示されないが、イラスト化部３１１は、図１０のＳ４１０の処理により、「実行する」に類似した画像名の付与された画像が第二イラスト格納部４１１に格納されていないか調べる。その結果、イラスト化部３１１は、画像９１１の画像名である「実行」が動詞である「実行する」に含まれることから、画像９１１の画像名が「実行する」に類似していることを判定する。

そして、図１４に表すように、イラスト化部３１１は、画像９１１を第二イラスト格納部４１１から読み出す。

そして、図１４に表すように、イラスト化部３１１は、既に読み出されている画像９０１に画像９１１を付加する。なお、第一イラストに第二イラストを付加する際の規則（第一イラストのどの位置に第二イラストを挿入するか等）は、例えば、第一イラストと第二イラストとの組と関連付けて予め定められているものとする。

図１５は、イラスト化部３１１が、図１０に表すＳ４１３の処理により、付加後画像に付する画像名の具体例を表す概念図である。

図１５に表すようにイラスト化部３１１は、画像９０１に画像９１１を付加した付加後画像を生成している。そして、図１５には図示されないが、イラスト化部３１１は、図１０に表すＳ４１２の処理により、番号１の「操作時刻」である１１：５８：１０を操作情報ＤＢ４５１から読み出す。

そして、図１５に表すように、イラスト化部３１１は、当該操作時刻を表す１１５８１０をファイル名として、付加後画像を、非要約版画像格納部４２６に格納する。なお、図１５に表す「ｐｎｇ」は、ファイル名に付された拡張子である。

図１６は、イラスト化部３１１が行う、図３に表すＳ１０３の処理の処理フロー例を表す概念図である。

イラスト化部３１１は、例えば、外部からの開始情報の入力により図１６に表す処理を開始する。

まず、イラスト化部３１１は、Ｓ５０１の処理として、操作情報ＤＢへのアクセスを開始する。当該操作情報ＤＢは、図６に表す操作情報ＤＢ４５１と同様のフォーマットを有するものである。

そして、イラスト化部３１１は、Ｓ５０２の処理として、要約書の文番号に１を代入する。ここで、要約書は、１以上の自然言語文からなることを前提とする。そして、各自然言語文には文番号が付与されているものとする。ただし、要約書の自然言語文が１文のみである場合には、文番号は省略されていても構わない。その場合において、イラスト化部３１１は、その自然言語文の文番号を１とみなしても構わない。

そして、イラスト化部３１１は、Ｓ５０３の処理として、文番号ｍの文が、操作情報ＤＢの「要約書」の欄に格納されているかについての判定を行う。

イラスト化部３１１は、Ｓ５０３の処理による判定結果がｙｅｓの場合は、Ｓ５０４の処理を行う。

一方、イラスト化部３１１は、Ｓ５０３の処理による判定結果がｎｏの場合は、図１６に表す処理を終了する。

イラスト化部３１１は、Ｓ５０４の処理を行う場合は、同処理として、文番号ｍの自然言語文を操作情報ＤＢから読み出す。

そして、イラスト化部３１１は、Ｓ５０５の処理として、Ｓ５０４の処理により読み出した自然言語文に含まれる名詞を特定する。この名詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。なお、操作情報ＤＢの「自然言語文」から名詞を抽出する様子を表す具体例は、図１７を参照して後述される。

そして、イラスト化部３１１は、Ｓ５０６の処理として、Ｓ５０５の処理により特定した名詞と類似した画像名で第一イラスト格納部４１６に格納されている第一イラストがあるかについての判定を行う。当該類比判断には、一般的な類比判断の手法を用いることができる。

イラスト化部３１１は、Ｓ５０６の処理による判定結果がｙｅｓの場合は、Ｓ５０７の処理を行う。

一方、イラスト化部３１１は、Ｓ５０６の処理による判定結果がｎｏの場合は、Ｓ５０８の処理を行う。

イラスト化部３１１は、Ｓ５０７の処理を行う場合は、同処理として、Ｓ５０６の処理により第一イラスト格納部４１６に格納されていることを判定した第一イラストを読み出し、所定の格納場所へ格納する。当該読み出し及び格納する様子を表す具体例は図１８を参照して後述される。そして、イラスト化部３１１は、Ｓ５０９の処理を行う。

イラスト化部３１１は、Ｓ５０８の処理を行う場合は、同処理として、非該当画像を読み出し、それを第一イラストとして、所定の格納場所に格納する。ここで、非該当画像は、Ｓ５０５の処理により特定した名詞に類似した画像名が付与されて第一イラスト格納部４１６に格納された第一イラストが存在しないことを表す画像である。非該当画像は、第一イラスト格納部４１６に予め格納されているものとする。そして、イラスト化部３１１は、Ｓ５０９の処理を行う。

イラスト化部３１１は、Ｓ５０９の処理を行う場合は、同処理として、Ｓ５０４の処理により読み出した「自然言語文」に含まれる動詞を特定する。動詞の特定には、形態素解析による構文解析の一般的な手法を用いることができる。動詞の特定の具体例は図１９を参照して後述される。

そして、イラスト化部３１１は、Ｓ５１０の処理として、Ｓ５０９の処理により特定した動詞と類似した画像名が付与されて第二イラスト格納部４１１に格納された第二イラストがあるかについての判定を行う。

イラスト化部３１１は、Ｓ５１０の処理による判定結果がｙｅｓの場合は、Ｓ５１１の処理を行う。

一方、イラスト化部３１１は、Ｓ５１０の処理による判定結果がｎｏの場合は、Ｓ５１２の処理を行う。

イラスト化部３１１は、Ｓ５１１の処理を行う場合は、同処理として、Ｓ５０７の処理により格納した第一イラストにＳ５１０の処理により第二イラスト格納部に格納されていることを判定した第二イラストを付加する。当該付加の具体例は、図２０を参照して後述される。イラスト化部３１１は、付加後のイラストを所定の格納場所に格納する。

次に、イラスト化部３１１は、Ｓ５１２の処理として、Ｓ５０５の処理により特定した名詞とＳ５０９の処理により特定した動詞とから重要度を表す値を導出する。当該重要度は、例えば、名詞ごとに予め定められた数値である名詞重要度と動詞ごとに予め定められた数値である動詞重要度とを加算した値である。Ｓ５１２の処理により重要度を導出する理由は、図３のＳ１０５の処理により行われるレイアウトが、画像が文番号ｍの順ではなく重要度順に並べられることにより行われる場合に対応できるようにするためである。

そして、イラスト化部３１１は、文番号ｍとＳ５１２の処理により導出した重要度の組を画像名にし、Ｓ５１１の処理により付加した付加後イラストを、図２に表す要約版画像格納部４２１に格納する。

そして、イラスト化部３１１は、Ｓ５１４の処理として、文番号ｍを一つ増やす。そして、イラスト化部３１１は、Ｓ５０３の処理を再度行う。

図１７は、イラスト化部３１１が行う図１６に表すＳ５０５の処理に用いられる要約文及びその要約文から特定される名詞の具体例を表す概念図である。

図１７の例では、操作情報ＤＢの「要約文」は、「伝票登録システム．ｅｘｅの受注番号フィールドに入力する」の一文のみである。イラスト化部３１１は、この「要約文」から、その名詞である「伝票登録システム．ｅｘｅ」と「受注番号フィールド」とを抽出する。イラスト化部３１１は、当該抽出を一般的な形態素解析により行う。

図１８は、イラスト化部３１１が行う図１６に表すＳ５０６及びＳ５０７の処理に用いられる名詞、その名詞から読み出される第一イラスト及びその第一イラストに付される画像名の具体例を表す概念図である。

図１８に表すように、イラスト化部３１１は、名詞である「受注番号フィールド」を「要約文」から特定している。なお、図１８には図示されないが、イラスト化部３１１は、名詞である「伝票登録システム．ｅｘｅ」も「要約文」から特定している。

また、図１８に表すように、第一イラスト格納部４１６には、第一イラストである画像９０１乃至９０３が格納されている。画像９０２は、「フィールド」という画像名で格納されている。

そして、図１８には図示されないが、イラスト化部３１１は、図１６のＳ５０６の処理により、「受注番号フィールド」という名詞に類似した画像名が付与されている第一イラストが第一イラスト格納部４１６に格納されていないか探す。そして、イラスト化部３１１は、画像９０２の画像名の「フィールド」が「受注番号フィールド」という名詞に含まれていることから、これらが類似していることを判定する。

そして、イラスト化部３１１は、図１８に表すように、画像９０２を第一イラスト格納部４１６から読み出す。

そして、イラスト化部３１１は、画像９０２を、「受注番号フィールド」という画像名で、図２に表す要約版画像格納部４２１に格納する。

なお、図１８には図示されないが、イラスト部３１１は、図１６のＳ５０６の処理により、「要約文」から特定した名詞である「伝票登録システム．ｅｘｅ」について、類似した画像名が付与されている第一イラストが第一イラスト格納部４１６に格納されていないか探す。そして、イラスト化部３１１は、画像９０１を、画像名が「伝票登録システム．ｅｘｅ」に類似しているとして第一イラスト格納部４１６から読み出し、画像名「伝票登録システム．ｅｘｅ」を付し、要約版画像格納部４２１に格納する。

図１９は、イラスト化部３１１が行う図１６に表すＳ５０９の処理に用いられる要約文及びその要約文から特定される動詞の具体例を表す概念図である。「要約文」には「伝票登録システム．ｅｘｅの受注番号フィールドに入力する」が格納されている。イラスト化部３１１は、「要約文」から、その動詞である「入力する」を抽出する。イラスト化部３１１は、当該抽出を一般的な形態素解析により行う。

図２０は、図１６に表すＳ５１０及びＳ５１１の処理に用いられる動詞、その動詞により読み出される第二イラスト及びその第二イラストに付される画像名の具体例を表す概念図である。

図２０に表すように、第二イラスト格納部４１１には、第二イラストである画像９１１乃至９１３が格納されている。画像９１２は、「入力」という画像名で格納されている。また、イラスト化部３１１は、「要約文」から動詞である「入力する」を抽出している。

そして、イラスト化部３１１は、図１６のＳ５１０の処理により、「入力する」に類似した画像名の付与された画像が第二イラスト格納部４１１に格納されていないか調べる。その結果、イラスト化部３１１は、画像９１２の画像名である「入力」が図１９に表す動作により抽出された動詞である「入力する」に含まれることから、画像９１２の画像名が「入力する」に類似していることを判定する。

そして、図２０に表すように、イラスト化部３１１は、画像９１２を第二イラスト格納部４１１から読み出す。

そして、図２０に表すように、イラスト化部３１１は、画像９０２に画像９１２を付加する。なお、第一イラストに第二イラストを付加する際の規則は、第一イラストと第二イラストとの組と関連付けて予め定められているものとする。当該規則には、例えば、複数の第一イラストがある場合に、どの第一イラストに第二イラストを付加するかを表すものが含まれる。当該規則には、あるいは、例えば、第一イラストのどの位置に第二イラストを付加するかを表すものが含まれる。

図２１は、イラスト化部３１１が、図１０に表すＳ５１３の処理により、画像に付する画像名の具体例を表す概念図である。

図２１に表すように、イラスト化部３１１は、画像９０２に画像９１２を付加した付加後画像を生成している。イラスト化部３１１は、また、画像９０１を読み出している。

そして、イラスト化部３１１は、画像９０１と、画像９０２に画像９１２を付加した付加後画像とを、要約中に現れる名詞の順に組み合わせた画像９２１を、図２に表す要約版画像格納部４２１に格納する。イラスト化部３１１は、当該格納に用いる画像名を、文番号と重要度とを組み合わせた「文番号＿重要度」にする。当該重要度は、図１６に表すＳ５１２の処理により、Ｓ５０５により特定した「伝票登録システム．ｅｘｅ」及び「受注番号フィールド」とＳ５０９により特定した「入力する」により、導出されたものである。図２１に表す例では、文番号及び重要度は共に１である。なお、図１２に表すｐｎｇはファイル名に付与された拡張子である。

図２２は、図２に表す追記部３２１が行う図３に表すＳ１０７の処理の処理フロー例を表す概念図である。

追記部３２１は、例えば、外部からの開始情報の入力により、図２２に表す処理を開始する。

まず、追記部３２１は、Ｓ６０１の処理として、図２の操作情報格納部４０１に格納された操作情報ＤＢ、定義情報格納部４０６に格納された定義情報ＤＢ及び非要約版画像格納部４２６へのアクセスを開始する。

そして、追記部３２１は、Ｓ６０２の処理として、番号ｎに１を代入する。当該番号は、図６及び図７に表す「番号」に対応するものである。

そして、追記部３２１は、Ｓ６０３の処理として、操作情報ＤＢの番号ｎの「操作時刻」を画像名に含む画像は、非要約版画像格納部４２６に格納されているかについての判定を行う。

追記部３２１は、Ｓ６０３の処理による判定結果がｙｅｓの場合はＳ６０４の処理を行う。

一方、追記部３２１は、Ｓ６０３の処理による判定結果がｎｏの場合は、図２２に表す処理を終了する。

追記部３２１は、Ｓ６０４の処理を行う場合は、同処理として、Ｓ６０３の処理により非要約版画像格納部４２６に格納されていることを判定した画像を、非要約版画像格納部４２６から読み出す。

そして、追記部３２１は、Ｓ６０５の処理として、Ｓ６０４の処理により読み出した画像に、操作情報ＤＢの番号ｎの「自然言語文」を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、「自然言語文」の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図２３を参照して、後述される。

そして、追記部３２１は、Ｓ６０６の処理として、定義情報ＤＢの番号ｎの「自然言語文」を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、「自然言語文」の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図２３を参照して、後述される。

そして、追記部３２１は、Ｓ６０７の処理として、追記後の画像を図２に表す非要約版画像格納部４２６に格納する。その際に、追記部３２１は、例えば、非要約版画像格納部４２６に格納されている追記前の画像を追記後の画像により置き換える。

そして、追記部３２１は、Ｓ６０８の処理として、番号ｎを一つ増加させる。そして、追記部３２１は、Ｓ６０３の処理を再度行う。

図２３は、追記部３２１が行う図２２に表すＳ６０５及びＳ６０６の処理に用いる「自然言語文」及びその「自然言語文」の第一イラストと第二イラストとの組合せへの追記のされ方の具体例を表す概念図である。

図２３に表すように、操作情報ＤＢ４５１には番号１に対応して「自然言語文」の「伝票登録システム．ｅｘｅを実行する」が格納されている。また、定義情報ＤＢ４５６には番号１に対応して「自然言語文」の「ソフトウェアロボットはダブルクリックする」が格納されている。

図２３に表すように、追記部３２１は、図２２のＳ６０５の処理により、「伝票登録システム．ｅｘｅを実行する」の「自然言語文」を、画像として、付加後画像の下に追記する。追記部３２１は、また、図２２のＳ６０６の処理により、「ソフトウェアロボットはダブルクリックする」の「自然言語文」を、画像として、「伝票登録システム．ｅｘｅを実行する」の「自然言語文」の画像の下に、さらに追記する。

そして、追記部３２１は、図２２のＳ６０７の処理により、追記後の画像により、非要約版画像格納部４２６に格納されている追記前の１１５８１０．ｐｎｇを置き換える。

図２４は、図２に表す追記部３２１が行う図３に表すＳ１０４の処理の処理フロー例を表す概念図である。

追記部３２１は、例えば、外部からの開始情報の入力により、図２４に表す処理を開始する。

まず、追記部３２１は、Ｓ７０１の処理として、図２の操作情報格納部４０１に格納された操作情報ＤＢ、定義情報格納部４０６に格納された定義情報ＤＢ及び要約版画像格納部４２１へのアクセスを開始する。

そして、追記部３２１は、Ｓ７０２の処理として、文番号ｍに１を代入する。

そして、追記部３２１は、Ｓ７０３の処理として、操作情報ＤＢの文番号ｍを画像名に含む画像は、要約版画像格納部４２１の所定の位置に格納されているかについての判定を行う。

追記部３２１は、Ｓ７０３の処理による判定結果がｙｅｓの場合はＳ７０４の処理を行う。

一方、追記部３２１は、Ｓ７０３の処理による判定結果がｎｏの場合は、図２４に表す処理を終了する。

追記部３２１は、Ｓ７０４の処理を行う場合は、同処理として、Ｓ７０３の処理により要約版画像格納部４２１に格納されていることを判定した画像を、要約版画像格納部４２１から読み出す。

そして、追記部３２１は、Ｓ７０５の処理として、Ｓ７０４の処理により読み出した画像に、操作情報ＤＢの「要約文」に含まれる、文番号ｍの自然言語文を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、自然言語文の当該追記の位置や大きさが含まれる。当該追記後の画像の例は、図２５を参照して、後述される。

そして、追記部３２１は、Ｓ７０６の処理として、定義情報ＤＢの「要約文」に含まれる、文番号ｍの自然言語文を、画像として追記する。当該追記の際の規則は予め定められているものとする。当該規則には、例えば、自然言語文の追記の位置や大きさが含まれる。当該追記後の画像の例は、図２５を参照して、後述される。

そして、追記部３２１は、Ｓ７０７の処理として、追記後の画像を図２に表す要約版画像格納部４２１に格納する。その際に、追記部３２１は、例えば、要約版画像格納部４２１に格納されている追記前の画像を追記後の画像により置き換える。

そして、追記部３２１は、Ｓ７０８の処理として、文番号ｍを一つ増加させる。そして、追記部３２１は、Ｓ７０３の処理を再度行う。

図２５は、追記部３２１が行う図２４に表すＳ７０５及びＳ７０６の処理に用いる「要約文」及びその「要約文」の第一イラスト及び第二イラストへの追記のされ方の具体例を表す概念図である。

図２５に表すように操作情報ＤＢ４５１の「要約文」には自然言語文の「伝票登録システム．ｅｘｅの受注番号フィールドに入力する」が格納されている。また、定義情報ＤＢ４５６の「要約文」には自然言語文の「自然言語文」の「ソフトウェアロボットはダブルクリックして値入力する」が格納されている。

図２５に表すように、追記部３２１は、「伝票登録システム．ｅｘｅの受注番号フィールドに入力する」を画像として画像９０１、９０２及び９１２の下に追記する。

そして、図２５に表すように、追記部３２１は、図２４のＳ７０６の処理により、「ソフトウェアロボットはダブルクリックして値入力する」を画像として、「伝票登録システム．ｅｘｅの受注番号フィールドに入力する」の画像の下に、さらに追記する。

そして、追記部３２１は、図２４のＳ７０７の処理により、追記後の画像により、要約版画像格納部４２１に格納されている追記前の１＿１．ｐｎｇを置き換える。
［効果］
本実施形態のソフトウェアロボットシステムは、動作処理部が動作を行う際に出力する出力情報から生成した、ソフトウェアロボットの動作を説明する手順書にその内容を表すイラストを組み込む。動作処理部は、前記ソフトウェアロボットシステムにおける、ソフトウェアロボットとしての動作を行うための処理を行う部分である。そのため、前記ソフトウェアロボットシステムは、生成した手順書の内容の理解の容易化を図り得る。

前記ソフトウェアロボットシステムは、前記手順書の自然言語文を生成し、その自然言語文から生成したイラストと前記自然言語文とを組み合わせた手順書を生成する場合がある。その場合、前記ソフトウェアロボットシステムは、自然言語文により担保された説明の正確性と、イラストにより直感的な理解の容易さを兼ね備えた手順書を生成し得る。

その場合において、前記ソフトウェアロボットシステムは、個々の自然言語文とその自然言語文に対応するイラストとの組合せを一つのファイルとする場合がある。その場合、前記ソフトウェアロボットシステムは、組み合わせたファイルを並べることにより、容易にイラスト付の手順書を生成することができる。

その場合において、前記ソフトウェアロボットシステムは、生成したファイルに重要度を付与する場合がある。その場合、前記ソフトウェアロボットシステムは、前記ファイルを重要度順に並べることにより、手順書の内容の把握の容易化を一層図り得る。

前記ソフトウェアロボットシステムは、動作処理部が、操作対象のシステムへ送付し前記出力情報に含まれるコマンド情報の送付のタイミングごとの前記出力情報から、前記自然言語文を生成する場合がある。前記コマンド情報は、前記ソフトウェアロボットが行う主要な動作のために生成されるものである。従い、前記コマンド情報の送付のタイミングにおける前記出力情報は、動作処理部が行う主要な動作を説明するための情報として適切なものである。従い、前記ソフトウェアロボットシステムは、この場合、動作処理部が行う主要な動作の説明を網羅した手順書を生成し得る。

前記ソフトウェアロボットシステムは、前記自然言語文に含まれる名詞から前記イラストを生成する場合がある。名詞は、意味のうえから、事物の名称を表したり、状態，性質，存在などの概念を表したりする単語である。さらに、動作処理部が生成する情報では、一般的に主語は省略されているので、名詞は、対象を表す場合がほとんどである。従い、名詞は、一般的に、前記自然言語文が説明すべき内容が集約されていると考えられる。そのため、前記ソフトウェアロボットシステムは、名詞をイラスト化することにより、説明すべき内容を適切に表現するイラストを生成し得る。

前記ソフトウェアロボットシステムは、前記自然言語文に含まれる動詞から生成したイラストを名詞から生成したイラストに組み合わせる場合がある。動詞は、一般的には，文の述語となって，動作，状態などの概念を表すものとされる。従い、この場合、前記ソフトウェアロボットシステムは、名詞から生成したイラストの内容を、動詞により生成したイラストにより強調、限定及び明確化することが可能になる。従い、その場合、前記ソフトウェアロボットシステムは、名詞から生成したイラストに動詞から生成したイラストを組み合わせることにより、説明すべき内容を一層適切に表現するイラストを生成し得る。

前記ソフトウェアロボットシステムは、操作情報から生成した前記自然言語文と定義情報から生成した前記自然言語文とを別々に生成し、同自タイミングに係るこれらを後に組み合わせる場合がある。ここで、前記操作情報は、動作処理部が操作信号の送付により代行する人が行う操作の内容を説明する情報である。また、前記定義情報は、前記操作のために人が行う動作を表す情報である。従い、同時刻に係る前記操作情報と前記定義情報とは、組み合わせられることにより、説明すべき内容をより適切に説明し得る。従い、前記ソフトウェアロボットシステムは、より適切な手順書を生成し得る。

前記ソフトウェアロボットシステムは、前記自然言語文を要約したうえで、その要約文に前記イラストを挿入する場合がある。その場合、前記ソフトウェアロボットシステムは、前記手順書の内容の要旨の把握を容易化し得る。

図２６は、実施形態のソフトウェアロボットシステムを実現可能な情報処理装置のハードウェア構成例を表す概念図である。

情報処理装置９０は、通信インタフェース９１、入出力インタフェース９２、演算装置９３、記憶装置９４、不揮発性記憶装置９５及びドライブ装置９６を備える。

通信インタフェース９１は、各実施形態のソフトウェアロボットシステムが、有線あるいは／及び無線で外部装置と通信するための通信手段である。なお、ソフトウェアロボットシステムを、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース９１経由で相互に通信可能なように接続しても良い。

入出力インタフェース９２は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。

演算装置９３は、汎用のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロプロセッサ等の演算処理装置である。演算装置９３は、例えば、不揮発性記憶装置９５に記憶された各種プログラムを記憶装置９４に読み出し、読み出したプログラムに従って処理を実行することが可能である。

記憶装置９４は、演算装置９３から参照可能な、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置９４は、揮発性のメモリ装置であっても良い。

不揮発性記憶装置９５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。

ドライブ装置９６は、例えば、後述する記録媒体９７に対するデータの読み込みや書き込みを処理する装置である。

記録媒体９７は、例えば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。

本発明の各実施形態は、例えば、図２６に例示した情報処理装置９０によりソフトウェアロボットシステムを構成することにより実現されてもよい。その場合において、本発明の各実施形態は、このソフトウェアロボットシステムに対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現されてもよい。

この場合、ソフトウェアロボットシステムに対して供給したプログラムを、演算装置９３が実行することによって、実施形態を実現することが可能である。また、ソフトウェアロボットシステムのすべてではなく、一部の機能を情報処理装置９０で構成することも可能である。

さらに、上記プログラムを記録媒体９７に記録しておき、ソフトウェアロボットシステムの出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置９５に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用してソフトウェアロボットシステム内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。

図２７は、実施形態の生成装置の最小限の構成である生成装置３００ｘの構成を表すブロック図である。

生成装置３００ｘは、自然言語化部３０１ｘと、第一選択部３１１ｘと、生成部３１６ｘとを備える。

自然言語化部３０１ｘは、ソフトウェアロボットからの出力情報を自然言語文にする。

第一選択部３１１ｘは、前記自然言語文から第一イラストを選択する。

生成部３１６ｘは、前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する。

生成装置３００ｘは、前記ソフトウェアロボットの動作を説明する文書にその文書を生成する元となった前記自然言語文から生成し他前記第一イラストを組み込む。そのため、生成装置３００ｘは、前記第一イラストにより、生成した手順書の内容の理解の容易化を図り得る。

そのため、生成装置３００ｘは、前記構成により、［発明の効果］の項に記載した効果を奏する。

ここで、図２７に表す生成装置３００ｘは、例えば、図２に表す手順書生成装置３００である。

また、自然言語化部３０１ｘは、例えば、自然言語化部３０１である。

また、第一選択部３１１ｘは、例えば、イラスト化部３１１である。

また、生成部３１６ｘは、例えば、レイアウト部３１６である。

また、前記ソフトウェアロボットは、例えば、ロボット部２００である。

また、前記自然言語文は、例えば、図６及び図７に表す「自然言語文」の項に格納される自然言語文である。

また、前記第一イラストは、例えば、図１２に表す画像９０１乃至９０３である。

また、前記自然言語文と前記第一イラストとの組は、例えば、図２３に表す画像名１１５８１０．ｐｎｇの画像である。

また、前記ソフトウェアロボットの動作を説明する文書は、例えば、手順書である。

以上、本発明の各実施形態を説明したが、本発明は、前記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で更なる変形、置換、調整を加えることができる。例えば、各図面に示した要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

また、前記の実施形態の一部又は全部は、以下の付記のようにも記述され得るが、以下には限られない。
（付記１）
ソフトウェアロボットからの出力情報を自然言語文にする自然言語化部と、
前記自然言語文から第一イラストを選択する第一選択部と、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する生成部と、
を備える、
生成装置。
（付記２）
前記出力情報は、前記ソフトウェアロボットがその操作対象とするシステムへ送付するコマンド情報を含み、前記自然言語化部は、前記コマンド情報の生成のタイミングごとの前記出力情報を前記自然言語文にする、付記１に記載された生成装置。
（付記３）
前記第一選択部は、前記自然言語文に含まれる名詞から前記第一イラストを選択する、付記１又は付記２に記載された生成装置。
（付記４）
前記第一イラストを保持する第一イラスト格納部をさらに備え、前記第一選択部は、前記第一イラストの選択を、前記第一イラスト格納部が保持する前記第一イラストから行う、付記３に記載された生成装置。
（付記５）
前記第一選択部は、前記第一イラストの選択を、第一の類比判断により行う、付記３又は付記４に記載された生成装置。
（付記６）
前記自然言語文が含む動詞から第二イラストを選択する第二選択部と、前記第二イラストを、前記第一選択部がその前記自然言語文から選択した前記第一イラストと組み合わせた第二組合情報を生成する第二組合部とをさらに備える、付記３乃至付記５のうちのいずれか一に記載された生成装置。
（付記７）
前記第二イラストを保持する第二イラスト格納部をさらに備え、前記第二選択部は、前記第二イラストの選択を、前記第二イラスト格納部が保持する前記第二イラストから行う、付記６に記載された生成装置。
（付記８）
前記第二選択部は、前記第二イラストの選択を、第二の類比判断により行う、付記６又は付記７に記載された生成装置。
（付記９）
前記自然言語文の各々と、その前記自然言語文から生成した前記第一イラストとを組み合わせた第一組合情報を生成する第一組合部をさらに備える、付記１乃至付記８のうちのいずれか一に記載された生成装置。
（付記１０）
前記第一組合情報が画像情報である、付記９に記載された生成装置。
（付記１１）
前記第一組合情報が前記自然言語文を画像で含む、付記９又は付記１０に記載された生成装置。
（付記１２）
前記生成部は、前記第一組合情報を並べることにより、前記文書を生成する、付記９乃至付記１１のうちのいずれか一に記載された生成装置。
（付記１３）
前記第一組合情報には前記第一組合情報の重要度が結び付けられており、前記生成部は、前記重要度により前記第一組合情報を並べる、付記１２に記載された生成装置。
（付記１４）
前記自然言語文から要約文を生成する要約部をさらに備え、前記第一選択部は、前記要約文から前記第一イラストである要約用第一イラストを選択し、前記生成部は、前記要約文と前記要約用第一イラストとの組から、前記文書の要約を生成する、付記１乃至付記１３のうちのいずれか一に記載された生成装置。
（付記１５）
前記第一選択部は、前記要約文に含まれる名詞から前記要約用第一イラストを選択する、付記１４に記載された生成装置。
（付記１６）
前記第一選択部は、前記要約用第一イラストの選択を、第三類比判断により行う、付記１５に記載された生成装置。
（付記１７）
前記要約文が含む動詞から要約用第二イラストを選択する第四選択部と、前記要約用第二イラストを、前記第一選択部がその前記要約文から選択した前記要約用第一イラストと組み合わせた第四組合情報を生成する第四組合部とを備える、付記１５又は付記１６に記載された生成装置。
（付記１８）
前記第四選択部は、前記要約用第二イラストの選択を、第四の類比判断により行う、付記１７に記載された生成装置。
（付記１９）
前記要約文の各々に、その前記要約文から選択した前記要約用第一イラストを組み合わせた第三組合情報を生成する第三組合部をさらに備える、付記１４乃至付記１８のうちのいずれか一に記載された生成装置。
（付記２０）
前記第三組合情報が画像情報である、付記１９に記載された生成装置。
（付記２１）
前記第三組合情報に前記要約文が画像により含まれている、付記１９又は付記２０に記載された生成装置。
（付記２２）
前記生成部は、前記第三組合情報を並べることにより、前記要約を生成する、付記１９乃至付記２１のうちのいずれか一に記載された生成装置。
（付記２３）
前記第三組合情報には前記第三組合情報の要約用重要度が結び付けられており、前記生成部は、前記要約用重要度により前記第三組合情報を並べる、付記１９乃至付記２２のうちのいずれか一に記載された生成装置。
（付記２４）
付記１乃至付記２３のうちのいずれか一に記載された生成装置と、前記ソフトウェアロボットを備える、ソフトウェアロボットシステム。
（付記２５）
ソフトウェアロボットからの出力情報を自然言語文にし、
前記自然言語文から第一イラストを選択し、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する、
生成方法。
（付記２６）
ソフトウェアロボットからの出力情報を自然言語文にする処理と、
前記自然言語文から第一イラストを選択する処理と、
前記自然言語文と前記第一イラストとの組から、前記ソフトウェアロボットの動作を説明する文書を生成する処理と、
をコンピュータに実行させる生成プログラム。

９０ 情報処理装置
９１ 通信インタフェース
９２ 入出力インタフェース
９３ 演算装置
９４ 記憶装置
９５ 不揮発性記憶装置
９６ ドライブ装置
９７ 記録媒体
１００ ソフトウェアロボットシステム
２００ ロボット部
２０１ 動作処理部
２０６ 入力部
３００ 手順書生成装置
３００ｘ 生成装置
３０１、３０１ｘ 自然言語化部
３０６ 要約部
３１１ イラスト化部
３１１ｘ 第一選択部
３１６ レイアウト部
３１６ｘ 生成部
３２１ 追記部
３２６ 出力部
３３１ 記憶部
４０１ 操作情報格納部
４０６ 定義情報格納部
４１１ 第二イラスト格納部
４１６ 第一イラスト格納部
４２１ 要約版画像格納部
４２６ 非要約版画像格納部
４３１ 要約版手順書格納部
４３６ 非要約版手順書格納部
４４１ その他情報格納部
４５１ 操作情報ＤＢ
４５６ 定義情報ＤＢ
９０１、９０２、９０３、９１１、９１２、９１３、９２１ 画像

Claims (10)

1. ソフトウェアロボットから出力される出力情報を受け、前記ソフトウェアロボットの動作を説明する文書を生成する生成装置であって、
   前記ソフトウェアロボットが行う操作の内容を説明する情報であって前記出力情報に含まれる操作情報、及び、前記操作のために前記ソフトウェアロボットが行う動作を表す情報であって前記出力情報に含まれる定義情報から、それぞれ自然言語文を作成する自然言語化部と、
   前記操作情報から作成された自然言語文から第一イラストを生成する第一イラスト化部と、
   前記第一イラストと、前記操作情報から作成された自然言語文と前記定義情報から作成された自然言語文との組から、前記ソフトウェアロボットの動作を説明する文書を生成する生成部と、
   を備える、
   生成装置。
2. 前記出力情報は、前記ソフトウェアロボットがその操作対象とするシステムへ送付するコマンド情報を含み、前記自然言語化部は、前記コマンド情報の生成のタイミングごとの前記出力情報を前記自然言語文にする、請求項１に記載された生成装置。
3. 前記第一イラスト化部は、前記自然言語文に含まれる名詞から前記第一イラストを生成する、請求項１又は請求項２に記載された生成装置。
4. 前記自然言語文が含む動詞から第二イラストを生成する第二イラスト化部と、前記第二イラストを、前記第一イラスト化部がその前記自然言語文から生成した前記第一イラストと組み合わせた第二組み合わせ情報を生成する第二組み合わせ部とをさらに備える、請求項３に記載された生成装置。
5. 前記自然言語文の各々と、その前記自然言語文から生成した前記第一イラストとを組み合わせた第一組み合わせ情報を生成する第一組み合わせ部をさらに備える、請求項１乃至請求項４のうちのいずれか一に記載された生成装置。
6. 前記生成部は、前記第一組み合わせ情報を並べることにより、前記文書を生成する、請求項５に記載された生成装置。
7. 前記自然言語文から要約文を生成する要約部をさらに備え、前記第一イラスト化部は、前記要約文から前記第一イラストである要約用第一イラストを生成し、前記生成部は、前記要約文と前記要約用第一イラストとの組から、前記文書の要約を生成する、請求項１乃至請求項６のうちのいずれか一に記載された生成装置。
8. 請求項１乃至請求項７のうちのいずれか一に記載された生成装置と、前記ソフトウェアロボットを備える、ソフトウェアロボットシステム。
9. ソフトウェアロボットから出力される出力情報を受け、前記ソフトウェアロボットの動作を説明する文書を生成する生成方法であって、
   前記ソフトウェアロボットが行う操作の内容を説明する情報であって前記出力情報に含まれる操作情報、及び、前記操作のために前記ソフトウェアロボットが行う動作を表す情報であって前記出力情報に含まれる定義情報から、それぞれ自然言語文を作成し、
   前記操作情報から作成された自然言語文から第一イラストを生成し、
   前記第一イラストと、前記操作情報から作成された自然言語文と前記定義情報から作成された自然言語文との組から、前記ソフトウェアロボットの動作を説明する文書を生成する、
   生成方法。
10. ソフトウェアロボットから出力される出力情報を受け、前記ソフトウェアロボットの動作を説明する文書を生成する生成プログラムであって、
    前記ソフトウェアロボットが行う操作の内容を説明する情報であって前記出力情報に含まれる操作情報、及び、前記操作のために前記ソフトウェアロボットが行う動作を表す情報であって前記出力情報に含まれる定義情報から、それぞれ自然言語文を作成する処理と、
    前記操作情報から作成された自然言語文から第一イラストを生成する処理と、
    前記第一イラストと、前記操作情報から作成された自然言語文と前記定義情報から作成された自然言語文との組から、前記ソフトウェアロボットの動作を説明する文書を生成する処理と、
    をコンピュータに実行させる生成プログラム。

Images