JP6540384B2 - 評価プログラム、手順書評価方法、および評価装置 - Google Patents

Description

本発明は、評価プログラム、手順書評価方法、および評価装置に関する。

コンピュータシステムを運用する場合、システムに含まれるコンピュータに対して様々な作業が行われる。作業は、データのバックアップ、ログの収集、ソフトウェアの更新などをコンピュータに指示する一連の操作である。１つの作業を実施するには、複数の操作を伴うことが多い。１つの作業を行うための一連の操作は、運用手順として定義される。運用手順は、自然言語でテキスト化され、手順書として、例えば運用管理サーバに保持される。

システムの作業者は、手順書を参照して、システム内の作業対象のコンピュータに対して、手順書通りの操作を行う。なお作業対象のコンピュータの数が大量になると、作業者の作業負担が過大となる。そこで最近は、作業の自動化が推進されている。

作業の自動化では、例えば、手順書に記載された個々の操作をコマンドに置き換えたスクリプトのような、作業自動実行用のプログラム（以下、自動化プログラムと呼ぶ）が用いられる。手順書の操作表現が具体的であれば、置き換えるべきコマンドを一意に特定しやすく、手順書に基づいて自動化プログラムを自動生成することも可能である。他方、操作表現が具体的でなければ、どのようなコマンドに置き換えればよいか分からないため、自動化プログラムの自動生成は難しい。

大規模なシステムでは、運用操作に作業が多岐にわたり、手順書の量も膨大である。しかも、同じ作業に対する手順書が、異なる表現で複数作成されている場合もあり得る。そのため、手順書に基づいて運用操作自動化用の自動化プログラムを作成する場合、膨大な手順書の中から、自動化プログラムの生成が可能なほど具体的な手順書を抽出する作業が発生する。

文書の具体性を決定する手法としては、例えば、文書のテーマ数をその文書のクラスタ数により決定し、その文書の具体性をテーマ数により決定する方法がある。また、自然言語で書かれた曖昧語を含む文書から、曖昧性の高い箇所の指摘を可能にする文書分析システムも考えられている。

特開２００９−０９３６５４号公報 特開２０１４−２２５１７４号公報

作業の手順書に基づいてその作業の自動化プログラムを生成する場合、手順書内の操作手順の記述が具体的であることが重要である。しかし、従来の文書に対する具体性の判断技術は、作業の手順書の操作手順に重点を置いて具体性を評価するものではない。そのため、従来の技術では、手順書の具体性を適切に評価することができない。

手順書の具体性が適切に評価できないと、例えば、同じ作業に関する複数の手順書の中から、どの手順書に基づいて自動化プログラムを生成すればよいのかが分からない。誤って曖昧な記述の手順書に基づいて自動化プログラムを生成すると、不完全なプログラムが生成され、プログラムの修正に手間がかかる。

１つの側面では、本発明は、手順書の具体性を適切に評価できるようにすることを目的とする。

１つの案では、コンピュータに、以下の処理を実行させる評価プログラムが提供される。この評価プログラムに基づいて、コンピュータは、管理対象システムに対して実施する作業に関する複数の手順書であり、作業の名称を示す作業名と管理対象システムに対する操作手順とが記述された複数の手順書から、操作を表現する複数の語句を抽出する。次にコンピュータは、複数の語句それぞれについて、複数の手順書の作業名における語句の出現数と、複数の手順書の操作手順における語句の出現数とを計数する。さらにコンピュータは、複数の語句それぞれについて、複数の手順書の作業名における語句の出現数に応じた値と、複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定する。そしてコンピュータは、複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する。

１態様によれば、作業を自動実行させやすい手順書かどうかを適切に評価できる。

第１の実施の形態に係る評価装置の機能構成例を示す図である。 第２の実施の形態に係るシステムの構成例を示す図である。 本実施の形態に用いる運用管理サーバのハードウェアの一構成例を示す図である。 手順書の具体性評価およびスクリプト生成機能を示すブロック図である。 手順書ＤＢの一例を示す図である。 具体度情報記憶部の一例を示す図である。 手順書評価部の機能の一例を示す図である。 手順書評価処理手順の一例を示す図である。 操作手順抽出処理の一例を示す図である。 操作手順抽出処理の一例を示す図である。 操作分布取得処理の一例を示す図である。 操作分布取得処理の手順の一例を示すフローチャートの前半である。 操作分布取得処理の手順の一例を示すフローチャートの後半である。 操作重み算出処理の一例を示す図である。 操作重み算出処理の手順の一例を示すフローチャートである。 手順書操作重み量の算出例を示す図である。 手順書操作重み量の算出手順の一例を示すフローチャートである。 標準操作重み量の算出例を示す図である。 標準操作重み量算出処理の手順の一例を示すフローチャートである。 手順書の評価例を示す図である。 手順書具体性評価処理の手順の一例を示すフローチャートである。 手順書の検索結果の一例を示す図である。 手順書具体度が高い手順書に基づくスクリプト生成例を示す図である。 手順書具体度が低い手順書に基づくスクリプト生成例を示す図である。 第３の実施の形態の手順書評価部の機能を示す図である。 具体度上位手順情報の一例を示す図である。 第３の実施の形態の手順書評価処理手順の一例を示すフローチャートである。 第３の実施の形態における操作手順抽出処理の一例を示すフローチャートである。 手順書選別処理の手順の一例を示すフローチャートである。

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、コンピュータシステムの運用操作の作業の手順書の具体性を評価する評価装置に関するものある。

図１は、第１の実施の形態に係る評価装置の機能構成例を示す図である。評価装置１０は、記憶部１１と演算部１２とを有する。
記憶部１１は、管理対象システムに対して実施する作業に関する複数の手順書１１ａ，１１ｂ，・・・を記憶する。複数の手順書１１ａ，１１ｂ，・・・は、作業の名称を示す作業名と管理対象システムに対する操作手順とが記述されている。作業名は、作業全体で実行する処理を上位概念で表現しており、曖昧な語句（１つの単語、または複数の単語が連なった句）が使用されることが多い。他方、操作手順は、例えば実施する作業が時系列に記述されており、具体的な語句が使用されることが多い。ただし、複数の手順書１１ａ，１１ｂ，・・・の中には、操作手順の記述が曖昧なものも存在する。そこで、演算部１２が、複数の手順書１１ａ，１１ｂ，・・・の具体性を適切に評価する評価処理を実行する。評価処理の手順は以下の通りである。

まず、演算部１２は、複数の手順書１１ａ，１１ｂ，・・・から、操作を表現する複数の語句を抽出する（ステップＳ１）。例えば演算部１２は、複数の手順書１１ａ，１１ｂ，・・・を解析し、「作成」、「コピー」などの操作を表現する動詞を抽出する。また演算部１２は、「メールで送信」のような、「名詞＋手段を表す格助詞＋動詞」という関係の句を抽出してもよい。このとき演算部１２は、手順書の作業名から抽出した語句と、手順書の操作手順から抽出した語句とを区別する。

次に演算部１２は、抽出した複数の語句それぞれについて、複数の手順書１１ａ，１１ｂ，・・・の作業名における語句の出現数と、複数の手順書の操作手順における語句の出現数とを計数する（ステップＳ２）。このとき演算部１２は、各語句の、作業名と操作手順とのそれぞれにおける出現頻度を計算してもよい。例えば演算部１２は、複数の手順書１１ａ，１１ｂ，・・・の作業名におけるすべての語句の出現数の合計に対する、複数の手順書１１ａ，１１ｂ，・・・の作業名における決定対象の語句の出現数の割合を示す第１の出現頻度を算出する。また演算部１２は、複数の手順書１１ａ，１１ｂ，・・・の操作手順におけるすべての語句の出現数の合計に対する、複数の手順書１１ａ，１１ｂ，・・・の操作手順における決定対象の語句の出現数の割合を示す第２の出現頻度を算出する。

次に演算部１２は、複数の語句それぞれについて、語句で表現される操作の具体性の度合いを示す重み値を決定する（ステップＳ３）。例えば演算部１２は、複数の手順書１１ａ，１１ｂ，・・・の作業名における語句の出現数に応じた値と、複数の手順書１１ａ，１１ｂ，・・・の操作手順における該語句の出現数に応じた値とを比較する。そして、演算部１２は、複数の手順書１１ａ，１１ｂ，・・・の作業名における出現数が少ない語句ほど重み値を高くし、複数の手順書１１ａ，１１ｂ，・・・の操作手順における出現数が多い語句ほど重み値を高くする。

演算部１２は、重み値の決定に、第１の出現頻度と第２の出現頻度とを用いることもできる。例えば演算部１２は、決定対象の語句の第２の出現頻度を、その語句の第１の出現頻度で除算した値を、その語句の重み値として算出する。これにより、操作手順への出現頻度が高い語句ほど重み値が高くなり、作業項目名への出現頻度が低い語句ほど重み値が高くなる。

その後、演算部１２は、複数の手順書１１ａ，１１ｂ，・・・それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、操作手順の記述の具体性を評価する（ステップＳ４〜Ｓ６）。具体性の評価は、例えば以下の手順で実行される。

演算部１２は、複数の手順書１１ａ，１１ｂ，・・・について、手順書の操作手順に含まれるすべての語句の重み値の合計を算出する（ステップＳ４）。この合計を、手順書操作重み量とする。手順書１１ａの例であれば、語句「作成」、「コピー」、「メールで送信」それぞれの重み値の合計が、手順書１１ａの手順書操作重み量となる。

次に演算部１２は、複数の語句それぞれを、標準操作重み量の算出対象の語句とし、算出対象の語句が操作手順に出現する手順書を抽出し、抽出された手順書の手順書操作重み量の平均を、算出対象の語句の標準操作重み量として算出する（ステップＳ５）。例えば、語句「コピー」が操作手順に出現する手順書は、手順書１１ａと手順書１１ｂだけであるものとする。この場合、手順書１１ａの手順書操作重み量「５．５」と、手順書１１ｂの手順書操作重み量「３．５」との平均値「４．５」が、語句「コピー」の標準操作重み量となる。語句の標準操作重み量は、操作手順内にその語句が出現する手順書の標準的な手順書操作重み量を表している。標準操作重み量が高い語句は、具体性の高い語句を操作手順内に多く含む手順書で使用されることが多い語句である。

次に演算部１２は、複数の手順書１１ａ，１１ｂ，・・・それぞれについて、手順書内の操作手順に含まれるすべての語句の重み値の合計を、その手順書の操作手順に出現する語句それぞれの標準操作重み量のうちの最大値で除算する。そして演算部１２は、除算結果を、手順書の操作手順の記述の具体性の高さを示す具体度とする（ステップＳ６）。手順書の具体度は、値が大きいほど、操作手順の具体性が高いことを示す。

手順書の具体度が「１」以上となるのは、操作手順内の語句の標準操作重み量の最大値よりも、その手順書の手順書操作重み量が高い場合である。高い具体度（例えば１以上）を有する手順書は、特定の語句を操作手順内に含む手順書群の中で、平均以上の具体性を有している。しかもその手順書群の操作手順に出現する特定の語句は、具体度算出対象の手順書の操作手順において標準操作重み量が最も高い語句であり、その語句を含む手順書群も、具体性が比較的高い手順書の集まりであると言える。このような手順書群の中で手順書操作重み量が大きい方の手順書であれば、操作手順の具体性はかなり高いといえる。

演算部１２は、複数の手順書１１ａ，１１ｂ，・・・それぞれの具体度を比較することで、各手順書の具体性を評価する。例えば、手順書１１ａと手順書１１ｂとを比べた場合、手順書１１ａの方が具体性が高いと評価され、手順書１１ｂの方が具体性が低いと評価される。例えば演算部１２は、手順書の検索が行われたとき、検索結果を具体度で降順にソートして出力することができる。これにより、操作手順の具体性が高い手順書を容易に選択できる。

このようにして、評価装置１０により、複数の手順書１１ａ，１１ｂ，・・・の具体性を評価することができる。例えばログ取得の作業を自動化させる場合、手順書１１ａ，１１ｂの具体度を比較することで、手順書１１ａの方が具体性が高いことが分かる。そこで、作業者は、手順書１１ａに基づいて、スクリプトのような自動化プログラムを生成するのが適切であることが、容易に理解できる。このように、複数の手順書１１ａ，１１ｂ，・・・の中から、自動化プログラムの生成に適した手順書を容易に見つけ出すことができ、自動化プログラムの生成が容易となる。

しかも第１の実施の形態では、手順書の操作手順の記述に重点を置いて具体性を評価しており、高い信頼性の評価結果を得ることができる。すなわち、作業名よりも操作手順への出現頻度が高い語句の重み値を高くすることで、作業名を表すような曖昧な語句が、手順書内の操作手順に頻出する場合、その手順書の手順書操作重み量は低く抑えられる。その結果、曖昧な語句で操作手順が記述された手順書について、具体性が高く評価されることが抑止されている。

なお、図１の例では、各手順書の具体度によって具体性を評価しているが、他の方法で評価してもよい。例えば、手順書操作重み量によって手順書の具体性を評価することもできる。この場合、手順書操作重み量が大きい手順書ほど、具体性が高く評価される。また、例えば手順書の操作手順に含まれる語句の中に、重み値が所定値以下の語句が少なくとも１つある場合、その手順書の具体性を低く評価するようにしてもよい。これにより、コマンドに置き換えることが困難な操作表現が存在する手順書の評価を下げ、誤ってその手順書に基づいて自動化プログラムを生成することを抑止できる。

また、手順書の具体性の評価は、新たな手順書が記憶部１１に格納されるごとに繰り返し実行してもよい。この場合、具体性が低いと分かっている手順書については、具体性評価時の処理の対象から除外してもよい。すなわち、演算部１２は、複数の手順書１１ａ，１１ｂ，・・・から語句を抽出する際に、既に具体性が評価されている手順書のうちの、具体性の評価が高い方から所定数の手順書と、具体性が未評価の手順書とから、語句を抽出することができる。これにより、具体性の評価の精度を向上させることができる。

なお、演算部１２は、例えば評価装置１０が有するプロセッサにより実現することができる。また、記憶部１１は、例えば評価装置１０が有するメモリまたはストレージ装置により実現することができる。

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、具体性の高い手順書を抽出し、その手順書に基づいてスクリプトを生成するものである。

図２は、第２の実施の形態に係るシステムの構成例を示す図である。例えば運用管理サーバ１００が、ネットワーク２０を介して、管理対象システム２００に接続されている。管理対象システム２００は、例えば複数のコンピュータ２１０，２２０，２３０を含んでいる。

運用管理サーバ１００は、ネットワーク２０を介して管理対象システム２００にアクセスし、運用管理に関する作業を実施する。作業は、例えば自然言語で記述された手順書に基づいて、作業者が手作業で実施する。作業の内容を自動的に実行させるためのスクリプトが運用管理サーバ１００に用意されていれば、作業者は、そのスクリプトの実行命令を入力するだけで済む。

運用管理サーバ１００は、自然言語で記述された作業の手順書から、その作業を自動化させるスクリプトを自動生成する機能を有している。ただし、手順書の記述が具体的でない場合、スクリプトの自動生成に失敗する。そこで第２の実施の形態では、運用管理サーバ１００に、スクリプトの自動生成が可能なほどに手順書が具体的かどうかについて評価する機能が実装されている。

図３は、本実施の形態に用いる運用管理サーバのハードウェアの一構成例を示す図である。運用管理サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

メモリ１０２は、運用管理サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ストレージ装置１０３は、内蔵した記憶媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取りを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース１０７は、運用管理サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した評価装置１０も、図３に示した運用管理サーバ１００と同様のハードウェアにより実現することができる。

運用管理サーバ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。運用管理サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、運用管理サーバ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また運用管理サーバ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

運用管理サーバ１００は、例えばストレージ装置１０３に格納したプログラムに基づいて、手順書の具体性評価機能とスクリプト生成機能とを実現する。
図４は、手順書の具体性評価およびスクリプト生成機能を示すブロック図である。運用管理サーバ１００は、手順書データベース（ＤＢ）１１０、手順書評価部１２０、具体度情報記憶部１３０、およびスクリプト生成部１４０を有する。

手順書ＤＢ１１０は、複数の手順書１１１に関する情報を記憶する。手順書ＤＢ１１０としては、例えばストレージ装置１０３の記憶領域の一部が使用される。
手順書評価部１２０は、手順書内の記述の具体性を評価する。例えば手順書評価部１２０は、キーボード２２などの入力装置を介して手順書の評価指示が入力されると、手順書ＤＢ１１０に格納されている複数の手順書１１１を読み出し、内容を解析する。そして手順書評価部１２０は、各手順書の具体度を示す数値を算出する。手順書評価部１２０は、各手順書の具体度を示す手順書具体度情報１３１を、具体度情報記憶部１３０に格納する。

具体度情報記憶部１３０は、手順書具体度情報１３１を記憶する。具体度情報記憶部１３０としては、メモリ１０２またはストレージ装置１０３の記憶領域の一部が使用される。

スクリプト生成部１４０は、特定の手順書に示される各操作をコマンドに置き換えることで、その手順書に対応する運用操作を自動実行させるためのスクリプトを生成する。例えばスクリプト生成部１４０は、所定の作業に関する複数の手順書のうち、手順書評価部１２０により具体度が最も高いと判定された手順書に基づいて、スクリプトを生成する。

次に、手順書ＤＢ１１０の内容を詳細に説明する。
図５は、手順書ＤＢの一例を示す図である。手順書ＤＢ１１０には、複数の手順書１１１ａ，１１１ｂ，１１１ｃ，・・・が格納されている。各手順書１１１ａ，１１１ｂ，１１１ｃ，・・・には、手順書ＩＤ、作業項目名、および操作手順が記載されている。手順書ＩＤは、手順書を識別する識別情報である。作業項目名は、手順書において実施する運用作業の名称である。操作手順は、運用作業において実施する操作の内容である。

次に、具体度情報記憶部１３０の内容を詳細に説明する。
図６は、具体度情報記憶部の一例を示す図である。図６の例では、具体度情報記憶部１３０に、テーブル形式の手順書具体度情報１３１が格納されている。手順書具体度情報１３１には、手順書ＩＤ、作業項目名、および手順書具体度の欄が設けられている。手順書ＩＤの欄には、手順書ＩＤが設定される。作業項目名の欄には、手順書の作業項目名が設定される。手順書具体度の欄には、手順書に記載された操作手順の具体度を表す数値（手順書具体度）が設定される。

次に、手順書評価部１２０の機能を詳細に説明する。
図７は、手順書評価部の機能の一例を示す図である。手順書評価部１２０は、記憶部１２１、操作抽出部１２２、操作分布取得部１２３、操作重み算出部１２４、手順書操作重み量算出部１２５、標準操作重み量算出部１２６、および手順書具体性評価部１２７を有する。

記憶部１２１は、手順書の評価過程で使用する情報を記憶する。例えば記憶部１２１には、手順書操作情報１２１ａ、操作分布情報１２１ｂ、操作重み情報１２１ｃ、手順書操作重み量情報１２１ｄ、および標準操作重み量情報１２１ｅが記憶される。手順書操作情報１２１ａは、手順書ＤＢ１１０から読み出した手順書の内容を管理する情報である。操作分布情報１２１ｂは、手順書の操作手順内に出現する操作表現（語句）が、作業項目と操作手順とのそれぞれに、どの程度の割合で出現するのかを示す情報である。操作重み情報１２１ｃは、手順書の操作手順内に出現する各操作表現の具体性を表す値（操作重み値）を示す情報である。手順書操作重み量情報１２１ｄは、複数の手順書それぞれの、操作手順に含まれる操作表現の操作重み値を合計した値（手順書操作重み量）を示す情報である。標準操作重み量情報１２１ｅは、各操作表現について、その操作表現を含む手順書の手順書操作重み量の平均値（標準操作重み量）を示す情報である。

操作抽出部１２２は、手順書ＤＢ１１０から手順書を抽出し、手順書操作情報１２１ａを生成する。操作抽出部１２２は、生成した手順書操作情報１２１ａを記憶部１２１に格納する。

操作分布取得部１２３は、手順書操作情報１２１ａに基づいて、各操作表現の出現する手順書の割合（分布状況）を取得し、操作分布情報１２１ｂを生成する。操作分布取得部１２３は、生成した操作分布情報１２１ｂを記憶部１２１に格納する。

操作重み算出部１２４は、操作分布情報１２１ｂに基づいて、各操作表現の操作重み値を算出し、操作重み情報１２１ｃを生成する。操作重み算出部１２４は、生成した操作重み情報１２１ｃを記憶部１２１に格納する。

手順書操作重み量算出部１２５は、操作重み情報１２１ｃに基づいて、手順書ごとの手順書操作重み量を算出し、手順書操作重み量情報１２１ｄを生成する。手順書操作重み量算出部１２５は、生成した手順書操作重み量情報１２１ｄを記憶部１２１に格納する。

標準操作重み量算出部１２６は、手順書操作重み量情報１２１ｄに基づいて、操作表現ごとの標準操作重み量を算出し、標準操作重み量情報１２１ｅを生成する。標準操作重み量算出部１２６は、生成した標準操作重み量情報１２１ｅを記憶部１２１に格納する。

手順書具体性評価部１２７は、手順書操作重み量情報１２１ｄと標準操作重み量情報１２１ｅとに基づいて、手順書ごとの具体度を計算し、手順書具体度情報１３１を生成する。手順書具体性評価部１２７は、生成した手順書具体度情報１３１を、具体度情報記憶部１３０に格納する。

次に、手順書評価部１２０における手順書評価処理を詳細に説明する。
図８は、手順書評価処理手順の一例を示す図である。図８に示すように、最初に、操作抽出部１２２により、操作手順抽出処理が実行される（ステップＳ１０１）。次に、操作分布取得部１２３により、操作分布取得処理が実行される（ステップＳ１０２）。次に操作重み算出部１２４により、操作重み算出処理が実行される（ステップＳ１０３）。次に、手順書操作重み量算出部１２５により、手順書操作重み量算出処理が実行される（ステップＳ１０４）。次に、標準操作重み量算出部１２６により、標準操作重み量算出処理が実行される（ステップＳ１０５）。次に、手順書具体性評価部１２７により、手順書具体性評価処理が実行される（ステップＳ１０６）。

次に、図８に示す各ステップの処理を詳細に説明する。まず図９、図１０を参照して操作手順抽出処理を説明する。
図９は、操作手順抽出処理の一例を示す図である。操作抽出部１２２は、手順書ＤＢ１１０から複数の手順書１１１ａ，１１１ｂ，１１１ｃ，・・・を読み出す。そして操作抽出部１２２は、複数の手順書１１１ａ，１１１ｂ，１１１ｃ，・・・それぞれの内容を解析し、作業項目名と操作手順とを抽出する。そして操作抽出部１２２は、抽出結果に基づいて、手順書操作情報１２１ａを生成する。

手順書操作情報１２１ａには、手順書ＩＤ、作業項目名、および操作手順の欄が設けられている。手順書ＩＤの欄には、手順書に付与されている手順書ＩＤが設定される。作業項目名の欄には、手順書の作業項目名が設定される。操作手順の欄には、手順書に記載されている操作手順が設定される。

図１０は、操作手順抽出処理の一例を示す図である。以下、図１０に示す処理をステップ番号に沿って説明する。
［ステップＳ１１１］操作抽出部１２２は、入力する手順書の手順書ＩＤを１つ選択する。入力する手順書の手順書ＩＤは、例えば、評価指示の入力時に指定される。例えば手順書ＤＢ１１０内のすべての手順書が、入力する手順書と指定された場合、操作抽出部１２２は、手順書ＤＢ１１０内のすべての手順書それぞれの手順書ＩＤを１つずつ選択する。

［ステップＳ１１２］操作抽出部１２２は、選択した手順書ＩＤの手順書を、手順書ＤＢ１１０から読み込む。
［ステップＳ１１３］操作抽出部１２２は、読み込んだ手順書を解析し、作業項目名と操作手順とを取得する。例えば操作抽出部１２２は、手順書から「作業項目名：」という文字列を検索する。そして操作抽出部１２２は、検出した文字列に続く文字列（改行があるまで）を、その手順書の作業項目名として取得する。また操作抽出部１２２は、手順書から「操作手順：」という文字列を取得する。そして操作抽出部１２２は、検出した文字列以降のすべての行の文字列を、操作手順として取得する。

［ステップＳ１１４］操作抽出部１２２は、選択した手順書ＩＤと、抽出した作業項目名および操作手順とを関連付けて、手順書操作情報１２１ａに記録する。
［ステップＳ１１５］操作抽出部１２２は、すべての手順書ＩＤについて処理が完了したか否かを判断する。すべての手順書ＩＤで処理が完了した場合、操作手順抽出処理を終了する。未処理の手順書ＩＤがある場合、処理がステップＳ１１１に進められる。

このようにして、操作手順抽出処理が実行され、手順書操作情報１２１ａが生成される。
次に、図１１〜図１３を参照し、操作分布取得処理について説明する。

図１１は、操作分布取得処理の一例を示す図である。操作分布取得部１２３は、手順書操作情報１２１ａに基づき、各手順書の作業項目名から、作業項目分布度数を取得する。例えば操作分布取得部１２３は、作業項目名に含まれる文字列の形態素解析を行い、以下の品詞パターンにあてはまる表現を操作表現として抽出する。
・動詞（「する」「します」などは省く）
・名詞＋「で（手段を表す格助詞）」＋動詞
例えば「ログ取得」から「取得」が抽出され、「ジョブ設定変更」から「変更」が抽出される。操作分布取得部１２３は、抽出した操作表現ごとに、抽出した回数を計数し、作業項目分布度数とする。そして操作分布取得部１２３は、抽出された操作表現の総数に対する操作表現の作業項目分布度数の比率を、その操作表現の作業項目分布比率とする。

また操作分布取得部１２３は、手順書操作情報１２１ａに基づき、各手順書の操作手順から、操作手順分布度数を取得する。例えば操作分布取得部１２３は、操作手順に含まれる文字列の形態素解析を行い、操作表現を示す動詞を抽出する。例えば「サーバからログファイルをコピーします。」から「コピー」が抽出され、「変更結果を確認します。」から「確認」が抽出される。操作分布取得部１２３は、「メールで送信」というように、操作の手段を示す語句を含めて、操作表現として抽出することもできる。操作分布取得部１２３は、抽出した操作表現ごとに、抽出した回数を計数し、操作手順分布度数とする。そして操作分布取得部１２３は、抽出された操作表現の総数に対する操作表現の操作手順分布度数の比率を、その操作表現の操作手順分布比率とする。

操作分布取得部１２３は、得られた情報を用いて、操作分布情報１２１ｂを生成する。操作分布情報１２１ｂには、例えば操作表現、作業項目分布度数、作業項目分布比率、操作手順分布度数、および操作手順分布比率の欄が設けられている。操作表現の欄には、抽出された操作表現を示す文字列が設定される。作業項目分布度数の欄には、対応する操作表現の作業項目分布度数が設定される。作業項目分布比率の欄には、対応する操作項目の作業項目分布比率が設定される。操作手順分布度数の欄には、対応する操作項目の操作手順分布度数が設定される。操作手順分布比率の欄には、対応する操作項目の操作手順分布比率が設定される。

図１２は、操作分布取得処理の手順の一例を示すフローチャートの前半である。以下、図１２に示す処理をステップ番号に沿って説明する。
［ステップＳ１２１］操作分布取得部１２３は、手順書操作情報１２１ａから手順書ＩＤを１つ選択する。

［ステップＳ１２２］操作分布取得部１２３は、選択した手順書ＩＤの作業項目名を手順書操作情報１２１ａから読み込み、解析する。例えば操作分布取得部１２３は、読み込んだ操作項目の形態素解析を行う。そして操作分布取得部１２３は、解析結果に基づいて、操作表現を取得する。このとき、１または複数の操作表現が取得される。

［ステップＳ１２３］操作分布取得部１２３は、ステップＳ１２２で取得した操作表現を１つ選択する。
［ステップＳ１２４］操作分布取得部１２３は、選択した操作表現が、操作分布情報１２１ｂに登録済みか否かを判断する。例えば操作分布取得部１２３は、操作分布情報１２１ｂの操作表現の欄から、ステップＳ１２３で選択した操作表現を検索する。操作分布取得部１２３は、該当する操作表現がある場合、登録済みと判断する。登録済みであれば、処理がステップＳ１２６に進められる。登録済みでなければ、処理がステップＳ１２５に進められる。

［ステップＳ１２５］操作分布取得部１２３は、操作分布情報１２１ｂに新たなレコードを追加し、そのレコードの操作表現の欄に、ステップＳ１２３で選択した操作表現を設定する。また操作分布取得部１２３は、新たに追加したレコードの作業項目分布度数に「１」を設定する。その後、処理がステップＳ１２７に進められる。

［ステップＳ１２６］操作分布取得部１２３は、選択した操作表現に対応するレコードの作業項目分布度数に「１」を加える。
［ステップＳ１２７］操作分布取得部１２３は、ステップＳ１２２で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップＳ１３１（図１３参照）に進められる。未処理の操作表現がある場合、処理がステップＳ１２３に進められる。

図１３は、操作分布取得処理の手順の一例を示すフローチャートの後半である。以下、図１３に示す処理をステップ番号に沿って説明する。
［ステップＳ１３１］操作分布取得部１２３は、ステップＳ１２１で選択した手順書ＩＤの操作手順を手順書操作情報１２１ａから読み込み、解析する。例えば操作分布取得部１２３は、読み込んだ操作手順の形態素解析を行う。そして操作分布取得部１２３は、解析結果に基づいて、操作表現を取得する。このとき、１または複数の操作表現が取得される。

［ステップＳ１３２］操作分布取得部１２３は、ステップＳ１３１で取得した操作表現を１つ選択する。
［ステップＳ１３３］操作分布取得部１２３は、選択した操作表現が、操作分布情報１２１ｂに登録済みか否かを判断する。登録済みであれば、処理がステップＳ１３５に進められる。登録済みでなければ、処理がステップＳ１３４に進められる。

［ステップＳ１３４］操作分布取得部１２３は、操作分布情報１２１ｂに新たなレコードを追加し、そのレコードの操作表現の欄に、ステップＳ１３２で選択した操作表現を設定する。また操作分布取得部１２３は、新たに追加したレコードの操作手順分布度数に「１」を設定する。その後、処理がステップＳ１３６に進められる。

［ステップＳ１３５］操作分布取得部１２３は、選択した操作表現に対応するレコードの操作手順分布度数に「１」を加える。
［ステップＳ１３６］操作分布取得部１２３は、ステップＳ１３１で取得したすべての操作表現に対して処理を完了したか否かを判断する。すべての操作表現に対する処理が完了した場合、処理がステップＳ１３７に進められる。未処理の操作表現がある場合、処理がステップＳ１３２に進められる。

［ステップＳ１３７］操作分布取得部１２３は、手順書操作情報１２１ａに設定されているすべての手順書ＩＤに対して、処理が完了したか否かを判断する。すべての手順書ＩＤに対する処理が完了していれば、処理がステップＳ１３８に進められる。未処理の手順書ＩＤがあれば、処理がステップＳ１２１（図１２参照）に進められる。

［ステップＳ１３８］操作分布取得部１２３は、各操作表現の作業項目分布度数を合計する。また操作分布取得部１２３は、各操作表現の操作手順分布度数を合計する。
［ステップＳ１３９］操作分布取得部１２３は、各操作項目の、作業項目分布比率と操作手順分布比率とを算出し、操作分布情報１２１ｂに設定する。

例えば操作分布取得部１２３は、操作分布情報１２１ｂに設定されている操作表現を順番に選択する。操作分布取得部１２３は、選択した操作表現の作業項目分布度数を、全操作表現の作業項目分布度数の合計で除算する。操作分布取得部１２３は、除算結果を、選択した操作表現の作業項目分布比率として、操作分布情報１２１ｂに設定する。また操作分布取得部１２３は、選択した操作表現の操作手順分布度数を、全操作表現の操作手順分布度数の合計で除算する。操作分布取得部１２３は、除算結果を、選択した操作表現の操作手順分布比率として、操作分布情報１２１ｂに設定する。その後、操作分布取得処理が終了する。

次に、図１４、図１５を参照し、操作重み算出処理について詳細に説明する。
図１４は、操作重み算出処理の一例を示す図である。操作重み算出部１２４は、操作分布情報１２１ｂに基づいて、各操作表現の操作重み値を算出する。例えば操作重み算出部１２４は、以下の式により操作重み値を算出する。
（操作重み値）＝（操作手順分布比率）／（作業項目分布比率）
この操作重み値は、操作手順に登場する頻度が高い操作表現ほど、値が高くなる。また操作重み値は、作業項目名に登場する頻度が高い操作表現ほど、値が低くなる。操作重み値が高い操作表現ほど、具体性が高いと評価できる。すなわち、作業項目名と操作手順とを比較した場合、作業項目名は、運用操作全体を表しており、抽象的な用語が使用されることが多い。それに対して、操作手順は、その操作手順に基づいて作業者が作業を実施することが目的であり、具体的な用語が使用されていることが多い。そこで第２の実施の形態では、作業項目名よりも操作表現で多く使用されている操作表現ほど、操作重み値を高くしている。

操作重み算出部１２４は、算出した操作重み値により、操作重み情報１２１ｃを生成する。操作重み情報１２１ｃには、操作表現と操作重み値との欄が設けられている。操作表現の欄には、手順書から抽出された操作表現が設定される。操作重み値の欄には、対応する操作表現の重み値が設定される。

図１５は、操作重み算出処理の手順の一例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
［ステップＳ１４１］操作重み算出部１２４は、操作分布情報１２１ｂから操作表現を１つ選択する。

［ステップＳ１４２］操作重み算出部１２４は、操作分布情報１２１ｂから、選択した操作表現の作業項目分布比率と操作手順分布比率とを読み込む。
［ステップＳ１４３］操作重み算出部１２４は、操作重み情報１２１ｃに新たなレコードを追加し、追加したレコードの操作表現の欄に、選択した操作表現を設定する。

［ステップＳ１４４］操作重み算出部１２４は、ステップＳ１４２で読み込んだ作業項目分布比率が「０」より大きいか否かを判断する。作業項目分布比率が「０」より大きい場合、処理がステップＳ１４５に進められる。作業項目分布比率が「０」であれば、処理がステップＳ１４６に進められる。

［ステップＳ１４５］操作重み算出部１２４は、ステップＳ１４２で読み込んだ作業項目分布比率と操作手順分布比率とにより、（操作手順分布比率）／（作業項目分布比率）を計算する。そして操作重み算出部１２４は、計算結果を操作重み値として、選択した操作表現に対応付けて操作重み情報１２１ｃに記録する。

［ステップＳ１４６］操作重み算出部１２４は、操作分布情報１２１ｂ内のすべての操作表現に対してステップＳ１４１〜Ｓ１４５の処理が完了したか否かを判断する。すべての操作表現に対して処理が完了していれば、処理がステップＳ１４７に進められる。未処理の操作表現があれば、処理がステップＳ１４１に進められる。

［ステップＳ１４７］操作重み算出部１２４は、操作重み値が未記録の操作表現があるか否かを判断する。ステップＳ１４４の判断において作業項目分布比率が「０」と判断された操作表現は、操作重み値が未記録である。該当する操作表現がある場合、処理がステップＳ１４８に進められる。該当する操作表現がない場合、操作重み値算出処理が終了する。

［ステップＳ１４８］操作重み算出部１２４は、操作重み情報１２１ｃに設定されている操作重み値の最大値を取得する。そして操作重み算出部１２４は、取得した最大値を、操作重み値が未記録の操作表現に対する操作重み値の暫定値として、操作重み情報１２１ｃに設定する。

このようにして、各操作表現に対して操作重み値が設定される。
次に、図１６、図１７を参照して、手順書操作重み量算出処理について詳細に説明する。

図１６は、手順書操作重み量の算出例を示す図である。手順書操作重み量算出部１２５は、手順書操作情報１２１ａに示される手順書ＩＤごとに、操作手順内の操作表現を抽出する。そして手順書操作重み量算出部１２５は、手順書ＩＤごとに、操作手順から抽出した操作表現それぞれの操作重み値を合計し、合計値を、手順書ＩＤに対応する手順書操作重み量として、手順書操作重み量情報１２１ｄに設定する。

なお、操作表現それぞれの操作重み値の合計を、操作手順における操作ステップ数で除算した値を、手順書操作重み量としてもよい。操作ステップ数は、例えば操作手順に示されるステップ番号（各行の先頭の数字）の最大値である。また操作手順の記述の行数を操作ステップ数としてもよい。図１６の手順書ＩＤ「１」の例であれば、操作ステップ数は「３」である。すると操作表現それぞれの操作重み値の合計を操作ステップ数で除算した値は、「５．５／３＝１．８３」となる。操作重み値の合計を操作ステップ数で除算することで、１ステップ当たりの操作重み量が得られる。この１ステップ当たりの操作重み量を、手順書操作重み量とすることで、手順書操作重み量が操作手順の長さの影響を受けることを抑止できる。

手順書操作重み量情報１２１ｄには、手順書ＩＤ、操作表現、および手順書操作重み量の欄が設けられている。手順書ＩＤの欄には、手順書操作情報１２１ａに含まれる手順書ＩＤが設定される。操作表現の欄には、手順書ＩＤに対応する操作手順に含まれる操作表現が設定される。手順書操作重み量の欄には、対応する操作表現それぞれの操作重み値の合計（手順書操作重み量）が設定される。

図１７は、手順書操作重み量の算出手順の一例を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。
［ステップＳ１５１］手順書操作重み量算出部１２５は、手順書操作情報１２１ａから手順書ＩＤを１つ選択する。

［ステップＳ１５２］手順書操作重み量算出部１２５は、選択した手順書ＩＤの操作手順を、手順書操作情報１２１ａから読み込み、解析する。そして手順書操作重み量算出部１２５は、読み込んだ操作手順内の操作表現を取得する。

［ステップＳ１５３］手順書操作重み量算出部１２５は、取得した操作表現を、手順書操作重み量情報１２１ｄに記録する。
［ステップＳ１５４］手順書操作重み量算出部１２５は、取得した操作表現それぞれの操作重み値を、操作重み情報１２１ｃから読み取る。そして手順書操作重み量算出部１２５は、取得した操作表現それぞれの操作重み値を積算する。

［ステップＳ１５５］手順書操作重み量算出部１２５は、ステップＳ１５４における積算値を、手順書操作重み量として、手順書操作重み量情報１２１ｄに記録する。
［ステップＳ１５６］手順書操作重み量算出部１２５は、すべての手順書ＩＤについて処理が完了したか否かを判断する。すべての手順書ＩＤについて処理が完了した場合、手順書操作重み量算出処理が終了する。未処理の手順書ＩＤがある場合、処理がステップＳ１５１に進められる。

このようにして、手順書ＩＤごとの手順書操作重み量が算出される。手順書操作重み量は、具体性（操作重み値）が高い操作表現が操作手順内に多く含まれるほど高い値となる。

次に、図１８、図１９を参照し、標準操作重み量算出処理について説明する。
図１８は、標準操作重み量の算出例を示す図である。標準操作重み量算出部１２６は、操作表現ごとに、その操作表現を操作手順に含む手順書ＩＤの手順書操作重み量の平均を算出する。算出された平均が、その操作表現の標準操作重み量となる。例えば操作表現「コピー」を操作手順に含む手順書の手順書ＩＤは、「１」と「３」である。手順書ＩＤ「１」の手順書操作重み量は「５．５」であり、手順書ＩＤ「３」の手順書操作重み量は「３．５」である。すると、操作表現「コピー」の標準操作重み量は「４．５」となる。

図１９は、標準操作重み量算出処理の手順の一例を示すフローチャートである。以下、図１９に示す処理をステップ番号に沿って説明する。
［ステップＳ１６１］標準操作重み量算出部１２６は、操作分布情報１２１ｂから操作表現を１つ選択する。

［ステップＳ１６２］標準操作重み量算出部１２６は、選択した操作表現を操作手順に含む手順書の手順書ＩＤを、手順書操作重み量情報１２１ｄから検索する。そして標準操作重み量算出部１２６は、選択した操作表現に関連付けて、該当する手順書ＩＤを標準操作重み量情報１２１ｅに新たなレコードとして記録する。

［ステップＳ１６３］標準操作重み量算出部１２６は、記録した手順書ＩＤそれぞれの手順書操作重み量を積算する。
［ステップＳ１６４］標準操作重み量算出部１２６は、手順書操作重み量の積算値を、手順書ＩＤの数で除算し、手順書操作重み量の平均値を算出する。

［ステップＳ１６５］標準操作重み量算出部１２６は、算出した平均値を、選択した操作表現に関連付けて、標準操作重み量として標準操作重み量情報１２１ｅに記録する。
［ステップＳ１６６］標準操作重み量算出部１２６は、すべての操作表現に対して処理が完了したか否かを判断する。すべての操作表現に対して処理が完了した場合、標準操作重み量算出処理が終了する。未処理の操作表現があれば、処理がステップＳ１６１に進められる。

このようにして各操作表現の標準操作重み量が算出される。標準操作重み量は、操作表現が、どの程度具体性のある手順書に使用されているのかを示している。すなわち、操作手順の具体性が高い手順書に多く使用されている操作表現ほど、標準操作重み量が大きくなる。

以下、図２０、図２１を参照し、手順書具体性評価処理について詳細に説明する。
図２０は、手順書の評価例を示す図である。手順書具体性評価部１２７は、手順書の具体度を、手順書操作重み量の、標準操作重み量の最大値に対する比率として算出する。式で表すと以下の通りである。
（手順書具体度）＝（手順書操作重み量）／（標準操作重み量の最大値）
標準操作重み量の最大値は、計算対象の手順書の操作手順に含まれる操作表現のうち、標準操作重み量が最大の操作表現についての標準操作重み量である。

例えば手順書具体性評価部１２７は、手順書操作重み量情報１２１ｄと標準操作重み量情報１２１ｅとを参照して、手順書ＩＤ「１」の手順書１１１ａの操作手順に含まれる操作表現のうち、標準操作重み量が最も大きいのは、操作表現「コピー」であると判断する。操作表現「コピー」の標準操作重み量は「４．５」である。他方、手順書ＩＤ「１」の手順書の手順書操作重み量は「５．５」である。すると、「５．５／４．５＝１．２２」が、手順書ＩＤ「１」の手順書１１１ａの手順書具体度となる。

また、例えば手順書ＩＤ「３」の手順書１１１ｃの操作手順に含まれる操作表現のうち、標準操作重み量が最も大きいのは、操作表現「コピー」であると判断する。操作表現「コピー」の標準操作重み量は「４．５」である。他方、手順書ＩＤ「３」の手順書１１１ｃの手順書操作重み量は「３．５」である。すると、「３．５／４．５＝０．７８」が、手順書ＩＤ「３」の手順書１１１ｃの手順書具体度となる。

手順書の操作手順内の操作表現のうち、標準操作重み量が最も高い操作表現は、手順書操作重み量の高い手順書において多く使用されている操作表現である。標準操作重み量が最も高い操作表現の標準操作重み量に比べ、その操作表現を使用している手順書の手順書操作重み量が大きけいほど、その手順書は具体性が高いと考えられる。

図２１は、手順書具体性評価処理の手順の一例を示すフローチャートである。以下、図２１に示す処理をステップ番号に沿って説明する。
［ステップＳ１７１］手順書具体性評価部１２７は、手順書操作重み量情報１２１ｄから手順書ＩＤを１つ選択する。

［ステップＳ１７２］手順書具体性評価部１２７は、手順書操作重み量情報１２１ｄから、選択した手順書ＩＤの操作手順に含まれる操作表現を読み込む。
［ステップＳ１７３］手順書具体性評価部１２７は、操作手順に含まれる操作表現それぞれの標準操作重み量を、標準操作重み量情報１２１ｅから取得する。手順書具体性評価部１２７は、取得した標準操作重み量を比較し、標準操作重み量が最大の操作表現を特定する。そして手順書具体性評価部１２７は、特定した操作表現の標準操作重み量を記憶部１２１に記憶する。

［ステップＳ１７４］手順書具体性評価部１２７は、選択した手順書ＩＤに対応する手順書の手順書操作重み量を、手順書操作重み量情報１２１ｄから取得し、記憶部１２１に記憶する。

［ステップＳ１７５］手順書具体性評価部１２７は、ステップＳ１７４で記憶した手順書操作重み量を、ステップＳ１７３で記憶した標準操作重み量で除算し、手順書具体度を算出する。

［ステップＳ１７６］手順書具体性評価部１２７は、すべての手順書ＩＤに対して処理が完了したか否かを判断する。すべての手順書ＩＤに対して処理が完了した場合、手順書具体性評価処理が終了する。未処理の手順書ＩＤがある場合、処理がステップＳ１７１に進められる。

このようにして、入力されたすべての手順書について、手順書具体度が算出される。手順書の自動化を図る場合、手順書具体度が高い手順書に基づいてスクリプトを作成すれば、手順書に曖昧性が少なく、正しいスクリプトを作成しやすい。例えば作業項目名により手順書を検索し、該当する手順書の手順書具体度を比較することで、同様な作業に関する手順書のうち、作業具体度が高い手順書を迅速に見つけ出すことができる。

図２２は、手順書の検索結果の一例を示す図である。図２２には、「ログ」を検索キーワードとして、手順書の作業項目名を対象とした検索の検索結果３１が示されている。図２２の例では、「ログ取得」や「ログ採取」といった作業項目名を有する手順書の手順書具体度が、検索結果３１に示されている。この検索結果３１を参照すれば、ログ取得に関する作業の手順書としては、手順書ＩＤ「１」の手順書の操作手順が最も具体的であることが分かる。

手順書ＩＤ「１」の手順書の操作手順は具体的であるため、スクリプトを自動生成できる可能性が高い。
図２３は、手順書具体度が高い手順書に基づくスクリプト生成例を示す図である。手順書１１１ａの第１ステップは、スクリプト４１において、ディレクトリの作成コマンドに置き換えられている。手順書１１１ａの第２ステップは、スクリプト４１において、サーバからそのディレクトリに、ログファイルをコピーするコマンドに置き換えられている。手順書１１１ａの第３ステップは、スクリプト４１において、作業完了した旨のメッセージをメールで送信するコマンドに置き換えられている。

このように、手順書１１１ａ内の操作手順に含まれるすべての操作ステップは、コマンドに置き換えることができ、スクリプト４１を完成させることができる。他方、手順書具体度が低い手順書では、スクリプトを自動生成しようとしても、曖昧性が高すぎ、置き換え先のコマンドを決定できない可能性がある。

図２４は、手順書具体度が低い手順書に基づくスクリプト生成例を示す図である。手順書１１１ｃの第１ステップの「ディレクトリの準備」は、無条件で新たにディレクトリを作成するのか、所定のディレクトリの有無を確認し、該当するディレクトリがない場合にのみディレクトリを作成するのかの区別がつかない。そのため手順書１１１ｃの第１ステップは、スクリプト４２作成時に、コマンドへの変換に失敗している。また手順書１１１ｃの第３ステップは、「作業完了の連絡」における連絡手段が特定できない。そのため手順書１１１ｃの第３ステップは、スクリプト４２作成時に、コマンドへの変換に失敗している。

図２４に示すようにスクリプト４２の自動生成に失敗すると、作業者自身が、スクリプト４２にコマンドを設定してスクリプト４２を完成させるか、コマンドへ変換できなかった操作ステップについて、手動で実行することとなる。

以上説明したように、第２の実施の形態によれば、スクリプトの自動生成に有効な手順書を特定することができ、手順書に対応するスクリプトの生成が容易となる。手順書をスクリプトに置き換えることができれば、運用操作の自動化が可能となり、システム運用の効率化が図れる。

〔第３の実施の形態〕
次に第３の実施の形態について説明する。第３の実施の形態は、手順書の具体性を繰り返し評価する際に、手順書具体度の低い手順書を、次の手順書評価時の入力から除外することで、手順書評価の信頼性を向上させるものである。

すなわち、手順書具体度は、入力された手順書間での相対値となる。そのため、仮に対象運用手順書の具体性が全体的に低い場合、具体度の判定精度が低くなる。そこで第３の実施の形態では、具体度の判定精度を向上させるため、新たな手順書の具体性評価を行う際に、以前の具体性評価で具体性が高いと分かっている手順書と、新たな手順書とにより、手順書の具体性を評価する。

以下、第３の実施の形態における、第２の実施の形態との相違点を説明する。
図２５は、第３の実施の形態の手順書評価部の機能を示す図である。第３の実施の形態の手順書評価部１２０ａは、第２の実施の形態と同様の機能に加え、手順書選別部１２８を有している。また記憶部１２１には、具体度上位手順書情報１２１ｆが格納されている。

手順書選別部１２８は、手順書具体性評価部１２７により算出された手順書具体度に基づいて、評価した手順書のち、手順書具体度が高い所定数の手順書を、上位手順書として選別する。例えば手順書選別部１２８は、手順書具体度が上位２分の１の手順書を、上位手順書として選別する。手順書選別部１２８は、選別した上位手順書の手順書ＩＤを含む具体度上位手順書情報１２１ｆを生成し、記憶部１２１に格納する。

また第３の実施の形態では、操作抽出部１２２は、新たに具体性の評価対象とする手順書が手順書ＤＢ１１０に格納されたとき、新たな手順書と、具体度上位手順書情報１２１ｆに示される手順書を、手順書ＤＢ１１０から取得する。そして操作抽出部１２２は、取得した手順書に基づいて、手順書操作情報１２１ａを生成する。

図２６は、具体度上位手順情報の一例を示す図である。具体度上位手順書情報１２１ｆには、具体度算出済み手順書に関する情報と、具体度上位の手順書に関する情報とが含まれている。具体度算出済み手順書に関する情報には、例えば、手順書具体度を算出した手順書ＩＤの範囲が示される。具体度上位の手順書の情報には、例えば手順書選別部１２８で、上位手順書として選別された手順書の手順書ＩＤが設定される。

次に、第３の実施の形態の手順書評価処理手順について説明する。
図２７は、第３の実施の形態の手順書評価処理手順の一例を示すフローチャートである。図２７に示す処理のうち、図８に示した第２の実施の形態の処理と異なるのは、操作手順抽出処理（ステップＳ１０１ａ）と、手順書選別処理（ステップＳ１０７）である。

操作手順抽出処理（ステップＳ１０１ａ）では、操作抽出部１２２が、手順書ＤＢ１１０から、具体度上位手順書情報１２１ｆに上位手順書と設定されている手順書１１１ｄ，１１１ｅと、新規の手順書１１１ｇ，１１１ｆとを読み込む。そして操作抽出部１２２は、読み込んだ手順書に基づいて手順書操作情報１２１ａを生成する。

手順書選別処理（ステップＳ１０７）では、手順書選別部１２８が、手順書具体性評価部１２７により算出された複数の手順書の手順書具体度に基づいて、具体度上位手順書情報１２１ｆを生成する。

図２８は、第３の実施の形態における操作手順抽出処理の一例を示すフローチャートである。図２８に示す処理のうち、ステップＳ２０２〜Ｓ２０５の処理は、図１０に示す第２の実施の形態の操作手順抽出処理のステップＳ１１２〜Ｓ１１５と同じである。

ステップＳ２０１において操作抽出部１２２は、手順書ＤＢ１１０から、新たに作成された手順書、または具体度が上位の手順書の手順書ＩＤを１つ選択する。例えば操作抽出部１２２は、具体度上位手順書情報１２１ｆに含まれる具体度算出済み手順書の手順書ＩＤを取得し、取得した手順書ＩＤに含まれない手順書ＩＤを有する手順書ＤＢ１１０内の手順書を、新たに作成された手順書と判断する。また操作抽出部１２２は、具体度上位手順書情報１２１ｆに含まれる具体度上位の手順書の手順書ＩＤが付与された手順書ＤＢ１１０内の手順書を、具体度が上位の手順書と判断する。

このように、具体度が上位の手順書と、新たな手順書とに基づいて操作手順抽出処理が行われる。すなわち、手順書ＤＢ１１０に格納されている手順書のうち、過去の具体性評価において具体性が低いと判断された手順書については、次回以降の具体性評価において、入力対象から除外される。

次に、手順書選別処理について詳細に説明する。
図２９は、手順書選別処理の手順の一例を示すフローチャートである。以下、図２９に示す処理をステップ番号に沿って説明する。

［ステップＳ２１１］手順書選別部１２８は、手順書具体度情報１３１に示されているすべての手順書について、手順書具体度情報１３１を読み込む。このとき手順書選別部１２８は、読み込んだ手順書具体度情報１３１に示される手順書ＩＤを、具体度算出済み手順書に関する情報として、具体度上位手順書情報１２１ｆに設定する。

［ステップＳ２１２］手順書選別部１２８は、具体度が上位の手順書の手順書ＩＤを、具体度上位手順書情報１２１ｆに出力する。例えば手順書選別部１２８は、読み込んだ手順書ＩＤを、手順書具体度により降順にソートする。手順書選別部１２８は、上位から所定数の手順書ＩＤを、具体度上位手順書情報１２１ｆに設定する。そして手順書選別部１２８は、具体度上位手順書情報１２１ｆを、記憶部１２１に格納する。

このように、第３の実施の形態では、手順書の具体性評価を繰り返し行う際に、前回の具体性評価において具体性が低いと判定された手順書につては、評価対象から除外される。これにより、具体性評価の対象となる手順書全体の具体性を高めることができる。その結果、具体性が低い手順書について、誤って具体性を高く評価してしまうことを抑止できる。

なお、第２・第３の実施の形態では、手順書具体度によって、手順書の操作手順の記述の具体性を評価しているが、例えば、手順書操作重み量によって手順書の操作手順の記述の具体性を評価してもよい。その場合、手順書操作重み量が大きい手順書ほど、高い評価となる。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

１０ 評価装置
１１ 記憶部
１１ａ，１１ｂ，・・・ 手順書
１２ 演算部

Claims (7)

1. コンピュータに、
   管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書から、操作を表現する複数の語句を抽出し、
   前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、
   前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、
   前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、
   処理を実行させる評価プログラム。
2. 前記重み値の決定では、前記複数の手順書の作業名における出現数が少ない語句ほど重み値を高くし、前記複数の手順書の操作手順における出現数が多い語句ほど重み値を高くする、
   請求項１記載の評価プログラム。
3. 前記重み値の決定では、
   前記複数の語句それぞれを、決定対象の語句とし、
   前記複数の手順書の作業名におけるすべての語句の出現数の合計に対する、前記複数の手順書の作業名における前記決定対象の語句の出現数の割合を示す第１の出現頻度と、前記複数の手順書の操作手順におけるすべての語句の出現数の合計に対する、前記複数の手順書の操作手順における前記決定対象の語句の出現数の割合を示す第２の出現頻度とを算出し、
   前記第２の出現頻度を前記第１の出現頻度で除算した値を、前記決定対象の語句の重み値として算出する、
   請求項２記載の評価プログラム。
4. 前記具体性の評価では、
   前記複数の語句それぞれを、標準操作重み量の算出対象の語句とし、
   前記算出対象の語句が操作手順に出現する手順書を抽出し、抽出された抽出手順書の操作手順に含まれるすべての語句の重み値の合計の、前記抽出手順書間での平均を、前記算出対象の語句の標準操作重み量として算出し、
   前記複数の手順書それぞれについて、手順書内の操作手順に含まれるすべての語句の重み値の合計を、該手順書の操作手順に出現する語句それぞれの標準操作重み量のうちの最大値で除算した値を、該手順書の操作手順の記述の具体性の高さを示す具体度として算出する、
   請求項１乃至３のいずれかに記載の評価プログラム。
5. 前記複数の手順書からの語句の抽出では、
   既に具体性が評価されている手順書のうちの、具体性の評価が高い方から所定数の手順書と、具体性が未評価の手順書とから、語句を抽出する、
   請求項１乃至４のいずれかに記載の評価プログラム。
6. コンピュータが、
   管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書から、操作を表現する複数の語句を抽出し、
   前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、
   前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、
   前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、
   手順書評価方法。
7. 管理対象システムに対して実施する作業に関する複数の手順書であり、前記作業の名称を示す作業名と前記管理対象システムに対する操作手順とが記述された前記複数の手順書を記憶する記憶部と、
   前記複数の手順書から操作を表現する複数の語句を抽出し、前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数と、前記複数の手順書の操作手順における語句の出現数とを計数し、前記複数の語句それぞれについて、前記複数の手順書の作業名における語句の出現数に応じた値と、前記複数の手順書の操作手順における該語句の出現数に応じた値とを比較して、該語句で表現される操作の具体性の度合いを示す重み値を決定し、前記複数の手順書それぞれについて、手順書の操作手順に含まれる語句の重み値に基づいて、該操作手順の記述の具体性を評価する、演算部と、
   を有する評価装置。

Images