JPWO2019030884A1 - レビュア管理システムおよび方法 - Google Patents
レビュア管理システムおよび方法 Download PDFInfo
- Publication number
- JPWO2019030884A1 JPWO2019030884A1 JP2018568443A JP2018568443A JPWO2019030884A1 JP WO2019030884 A1 JPWO2019030884 A1 JP WO2019030884A1 JP 2018568443 A JP2018568443 A JP 2018568443A JP 2018568443 A JP2018568443 A JP 2018568443A JP WO2019030884 A1 JPWO2019030884 A1 JP WO2019030884A1
- Authority
- JP
- Japan
- Prior art keywords
- topic
- document
- reviewer
- review
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本発明は、ユーザの経験からユーザの得意観点および不得意観点を判定し、ユーザの中からレビュー対象文書に適したレビュア候補を判定できるようにしたレビュア管理システムおよび方法を提供する。本発明に従うレビュア管理システム1は、文書D2のレビュアを管理するレビュア管理システム1であって、レビュアにより指摘された文書D2の指摘事項を解析し、予め登録された複数ユーザの得意観点および不得意観点を判定する指摘事項解析部11と、レビュー対象文書を解析する文書解析部12と、文書解析部によるレビュー対象文書の解析結果と得意観点および不得意観点とに基づいて、各ユーザの中からレビュー対象文書のレビュア候補を判定するレビュア判定部13と、を備える。
Description
本発明は、レビュア管理システムおよび方法に関する。
企業や自治体等の組織では、例えば、設計図、システム構成図、仕様書、取扱説明書等々、種々の文書が日々作成されている。これら文書の多くは、作成者以外の人間によるチェック(レビュー)が要求される。したがって、適切なレビューを実施するために、適切なレビュアを選択する必要がある。
そこで、特許文献1では、各個人のレビュー作業に関する実質的な経験を定量的に評価して、レビューを依頼すべき適切な個人を検索できるようにした個人検索システムが開示されている。
特許文献1の従来技術では、過去のレビュー作業時間とレビュー文書の文章量およびレビューコメントの文章量とを定量的な個人の経験として用いているが、作業時間と文章量とは必ずしもスキルレベルと比例しない。例えば、一般に、文章は簡潔である方が良いとされている。また、レビュー作業に長時間かかったとしても、そのレビューの質が悪ければ意味がない。さらに、特許文献1では、レビュイ視点のスキル評価がされていないため、レビュイの不得意分野に着目してレビューすることができない。
本発明は上記課題に鑑みてなされたもので、その目的は、ユーザの経験からユーザの得意観点および不得意観点を判定し、ユーザの中からレビュー対象文書に適したレビュア候補を判定できるようにしたレビュア管理システムおよび方法を提供することにある。
上記課題を解決すべく、本発明に従うレビュア管理システムは、文書のレビュアを管理するレビュア管理システムであって、レビュアにより指摘された文書の指摘事項を解析し、予め登録された複数ユーザの得意観点および不得意観点を判定する指摘事項解析部と、レビュー対象文書を解析する文書解析部と、文書解析部によるレビュー対象文書の解析結果と得意観点および不得意観点とに基づいて、各ユーザの中からレビュー対象文書のレビュア候補を判定するレビュア判定部と、を備える。
本発明によれば、レビュー対象文書の解析結果と得意観点および不得意観点とに基づいて、各ユーザの中からレビュー対象文書のレビュア候補を判定することができる。
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態は、文書レビューに際して、適切なレビュアの選択を支援する技術を開示する。
レビューにおいて重要なことは、レビュアの経験に基づいた観点でレビューを実施することである。しかし、レビュー文書ごとにレビューすべき観点はそれぞれ異なることから、レビューごとに適切なレビュアは異なる。
そこで、本実施形態では、ユーザの経験(ノウハウ)をデータとして蓄積し、レビューにおいて必要となる観点を経験したユーザをレビュアとして指定可能とすることにより、レビューの質およびレビュー文書の品質の向上をはかる。
そこで、本実施形態では、後述するように、レビュアまたはレビュイになりえる各ユーザの得意事項および不得意事項を過去の指摘事項を解析することで把握し、レビュー対象文書の内容と得意事項および不得意事項とに基づいて、レビュー対象文書のレビュアとして適切なユーザをレビュア候補として抽出する。
これにより本実施形態によれば、適切なレビュアを選択することができるため、観点漏れの発生を抑制することができる。また、本実施形態によれば、適切なレビュアがいない場合でも、漏れている観点をレビュイ自身が気づくことができる。したがって、本実施形態のレビュア管理システムによれば、経験の浅いレビュイであっても、熟練したレビュア同程度の品質の文書を作成可能である。
図1〜図16を用いて第1実施例を説明する。図1は、レビュア管理システム1の機能構成の概要を示す説明図である。なお、以下の説明中、レビュア候補の抽出結果を表示する構成の説明は、必ずしも必要ではない。抽出結果を表示する例は、第2実施例にて後述する。
レビュア管理システム1は、レビュアR1またはレビュイR2のいずれにもなり得る複数ユーザの中から、レビュー対象文書(図中、「レビュー文書」と記載)D2のレビュアとして適切と考えられるレビュア候補を判定し、その判定結果を表示する。
レビュアR1a,R1b,R1cを区別しない場合、レビュアR1と呼ぶ。本システム1に関与する各ユーザは、レビュアR1またはレビュイR2のいずれにもなり得る。ユーザが本システム1にレビュイとして参加した場合、レビュアから指摘された事項は、そのユーザ(レビュイ)にとって不得意な事項であると考えることができる。これに対し、ユーザが本システム1にレビュアとして参加した場合、レビューで指摘した事項は、そのユーザ(レビュア)にとって得意な事項であると考えることができる。
つまり、本実施例では、文書レビュー時の指摘事項D1から、レビュイの不得意な事項とレビュアの得意な事項とをそれぞれ抽出し、レビュイまたはレビュアとなるユーザに対応づけて管理する。そして、本システム1は、得意事項と不得意事項と文書トピックとに基づいて、レビュー対象文書のレビュアとして適切なレビュア候補を抽出し、その結果を表示する。
図1に示すように、レビュア管理システム1は、例えば、指摘事項トピック生成部11と、文書トピック生成部12と、レビュア判定部13と、結果表示部14と、指摘事項管理部21と、レビュー文書管理部22と、文書トピック管理部23と、指摘事項トピック管理部24と、を備える。
指摘事項トピック生成部11は、「指摘事項解析部」の一例である。指摘事項トピック生成部11は、図9および図10で後述するように、指摘事項管理部21で管理されている指摘事項D1を解析して、登録された各ユーザの得意トピックおよび不得意トピックを生成する。
さらに、指摘事項トピック生成部11は、得意トピックの熟練度RV1と不得意トピックの熟練度RV2とをそれぞれ算出し、対応づける。熟練度RV1,RV2を区別しない場合、熟練度RVと呼ぶ。熟練度は、そのトピックに対する経験の豊富さ、知識の有無を示す度合である。ユーザの熟練度が大きいほど、ユーザがそのトピックについて詳しいことを示す。
指摘事項トピック生成部11での処理結果である得意トピックとその熟練度、不得意トピックとその熟練度とは、指摘事項トピック管理部24により管理される。
文書トピック生成部12は、「文書解析部」の一例である。文書トピック生成部12は、図13〜図15で後述のように、レビュー文書管理部22で管理されているレビュー対象文書(レビュー文書または文書とも呼ぶ)D2を解析することで、その文書D2のトピックである文書トピックを生成する。
さらに、文書トピック生成部12は、レビュー対象文書D2の内容に基づいて、そのレビュー対象文書D2に含まれる各文書トピックの重要度RDを算出する。文書トピックの重要度RDは、得意トピックに一致する場合に増加され、不得意トピックに一致する場合に減少される。
文書トピック生成部12での処理結果である文書トピックとその重要度RDとは、文書トピック管理部23で管理される。
レビュア判定部13は、図16で後述するように、指摘事項トピック生成部11で生成された得意トピックおよび不得意トピックと、文書トピック生成部12で生成された文書トピックとに基づいて、登録されたユーザがレビュー対象文書D1のレビュアとして適切であるか判定する。すなわち、レビュア判定部13は、登録されたユーザの中から、レビュー対象文書D1のレビュアとして適切なレビュア候補を抽出する。
結果表示部14は、レビュア判定部13の判定結果(レビュア候補の抽出結果)をディスプレイ等を介して、レビュイに提示する。表示部14を通じて判定結果を確認したレビュイは、レビュア候補の中から一人または複数のレビュアを指名(選択)する。
指名されたレビュアは、レビュー文書管理部22に管理されているレビュー対象文書D2をレビューし、レビュー結果としての指摘事項D1を作成する。指摘事項D1は、指摘事項管理部21により管理される。
ユーザは、あるときはレビュアとなり、別のあるときはレビュイとなる。ユーザがレビュアになったとき、指摘事項D1でレビュイに指摘した内容から、得意トピックが算出される。これに対し、同じユーザがレビュイになったとき、指摘事項D1でレビュアから指摘された内容から、不得意トピックが算出される。
図2は、レビュア管理システム1のシステム構成図である。レビュア管理システム1は、例えば、演算装置(CPU:Central Processing Unit)101、主記憶装置102、補助記憶装置103、ユーザインターフェース装置104を備えている。本システム1は、1台の計算機から構成してもよいし、複数の計算機から構成してもよい。ここでは、レビュアを管理する計算機と、その計算機のユーザインターフェースを提供する計算機端末とに分ける場合を説明する。
演算装置101は、例えば、指摘事項トピック生成部11、文書トピック生成部12、レビュア判定部13、表示部14といった各機能に対応するコンピュータプログラムを読み込んで実行することにより、各機能11〜14を実現する。
補助記憶装置103には、例えば、指摘事項管理テーブル21、レビュー文書管理テーブル22、文書トピック管理テーブル23、指摘事項トピック管理テーブル24、レビュー管理テーブル25、ユーザ管理テーブル26を格納する。
指摘事項トピック管理テーブル24は、得意トピック管理テーブル241と、不得意トピック管理テーブル242とを備える。
なお、指摘事項管理テーブル21は図1の指摘事項管理部21に、レビュー文書管理テーブル22は図1のレビュー文書管理部22に、文書トピック管理テーブル23は図1の文書トピック管理部23に、指摘事項トピック管理テーブル24は指摘事項トピック管理部24に、それぞれ対応する。各テーブルの詳細な一例は、後述する。
ユーザインターフェース装置104は、情報入力装置と情報出力装置(いずれも不図示)とを備える。情報入力装置としては、例えば、キーボード、マウス、タッチパネル、音声認識装置等がある。情報出力装置としては、例えば、ディスプレイ、プリンタ、音声合成装置等がある。
ユーザインターフェース装置104の設けられる計算機端末は、通信ネットワークCNを介して、レビュア管理システム1の本体を構成する計算機に接続されている。ユーザインターフェース装置104は、図20で後述するように、結果表示部14で生成される結果表示画面G1をユーザ(例えばレビュイ)へ提供する。
図3は、レビュア管理システム1の実行するレビュア管理処理を示すフローチャートである。
システム1は、レビュア候補となり得る各ユーザとレビュー対象文書とについてのトピックをそれぞれ生成する(S1)。すなわち、システム1は、指摘事項トピック生成部11により指摘事項トピックを生成すると共に、文書トピック生成部12により文書トピックを生成する(S1)。
トピックとは、文書を解析してその文書を特徴づけるキーワードとそのキーワードに関連する単語の集合体のことである。指摘事項トピック生成部11は、指摘事項D1から指摘事項トピックを生成し、指摘事項トピックをユーザごとに得意トピックまたは不得意トピックに分類する。さらに指摘事項トピック生成部11は、得意トピックおよび不得意トピックのそれぞれについて、ユーザの経験値を示す指標となる熟練度を算出する。
文書トピック生成部12は、レビュー対象文書D2から文書トピックを生成し、生成した文書トピックに重みを付ける。
ステップS1で生成された指摘事項トピック(得意トピック、不得意トピックおよびそれらの熟練度)は、指摘事項トピック管理テーブル24(得意トピック管理テーブル241、不得意トピック管理テーブル242)に格納される。同様に、ステップS1で生成された文書トピックは、重みと共に、文書トピック管理テーブル23に格納される。
続いてシステム1は、レビュア判定部13により、指摘事項トピックと文書トピックとを照合することで、登録されたユーザの中からトピックごとにレビュア候補を判定する(S2)。レビュア判定部13は、指摘事項D1から生成されたトピックとレビュー対象文書D2から生成されたトピックとを突き合わせる処理と、突き合わせた結果をレビュー管理テーブル25に格納する処理からなる。
レビュア候補の中からレビュイにより指名されたレビュアは、システム1から指定されたレビュア対象文書D2をレビューし、そのレビュー結果を指摘事項D1としてシステム1へ入力する。
最後に、レビュア管理システム1は、レビュアから指摘事項D1が入力されると、指摘事項管理テーブル21、レビュー文書管理テーブル22、レビュー管理テーブル25を更新する(S4)。
図4は、指摘事項管理テーブル21の例を示す。指摘事項管理テーブル21は、レビューの際にあがった指摘事項を管理するテーブルである。
指摘事項管理テーブル21は、列としてユーザID(レビュイ)210、文書ID211、レビューID212、ユーザID(レビュア)213、指摘内容214、対策有無215、対策期限216、指摘分類217、指摘分類(重要度)218を持つ。
ユーザID(レビュイ)210は、指摘事項が入力されたレビューのレビュイを特定する識別情報である。文書ID211は、指摘事項が入力されたレビューのレビュー文書を特定する識別情報である。レビューID212は、指摘事項が入力されたレビューを特定する識別情報である。ユーザID(レビュア)213は、指摘事項をシステム1へ入力したユーザを特定する識別情報である。
指摘内容214は、入力された指摘事項の内容である。対策有無215は、指摘内容214に対する対策の必要性を示す。対策有無215には、指摘内容に対して対策が必要な場合は「1」が、対策が不要な場合は「0」が格納される。
対策期限216は、指摘された内容に対して対策が必要な場合に、その対策を実施する期限日を格納する。指摘分類217では、予め用意された分類の中からいずれか一つの分類を選択して格納する。予め用意される分類には、例えば、「設計漏れ」、「設計誤り」、「設計不明確」、「設計不統一」、「設計改善」、「設計基準不遵守」、「記載誤り」、「表現改善」、「誤字脱字」、「用語不統一」がある。指摘分類(重要度)218には、指摘分類に対応づいた重要度を格納する。図4では、「指摘分類(重要度)」を「重要度」と略記している。
重要度の設定例を説明する。例えば、「設計漏れ」、「設計誤り」、「設計不明確」、「設計不統一」の場合は、重要度218に「3」を設定する。「設計改善」、「設計基準不遵守」、「記載誤り」の場合は、重要度218に「2」を設定する。「表現改善」、「誤字脱字」、「用語不統一」の場合は、重要度218に「1」を格納する。
指摘事項管理テーブル21には、レビューが実施され、指摘事項がシステム1へ入力されると、データが登録される。
図5を用いて、レビュー管理テーブル25の例を説明する。レビュー管理テーブル25は、例えばレビュー日と、レビューに参加または参加予定のレビュアとを管理するテーブルである。
レビュー管理テーブル25は、列としてレビューID250、文書ID251、レビュー日252、ユーザID(レビュア)253を持つ。ここでレビューID250が主キーである。レビューID250は、レビューごとに採番する。
レビュー管理テーブル25のデータは、レビュアの判定後に登録され、レビュー実施後に更新される。
図6を用いて、ユーザ管理テーブル26の例を説明する。ユーザ管理テーブル26は、レビュア候補者となるユーザを管理するテーブルである。
ユーザ管理テーブル26は、列としてユーザID260、名前261、部署コード262、部署名263を持つ。ここでユーザID260が主キーとなる。ユーザID260は、ユーザごとに採番する。
ユーザ管理テーブル26のデータは、レビュア候補者が増加または減少した際に更新される。
図7を用いて、得意トピック管理テーブル241の例を説明する。得意トピック管理テーブル241は、レビュア候補者の得意トピックを管理するテーブルである。得意トピック管理テーブル241は、不得意トピック管理テーブル242と一緒に指摘事項トピック管理テーブル24を構成する。
得意トピック管理テーブル241には、指摘事項トピック生成部11の処理により、ユーザにとって得意と判定されたトピックが格納される。
得意トピック管理テーブル241は、列としてユーザID2410、得意トピック2411、熟練度2412を持つ。熟練度2412には、得意トピックの得意度合いを線形変換で正規化した値が格納される。熟練度2412は図1の熟練度RV1に対応する。
得意トピック管理テーブル241のデータは、指摘事項管理テーブル21が追加されトピックが生成されると登録される。
図8は、不得意トピック管理テーブル242の例を示す。不得意トピック管理テーブル242は、レビュア候補者の不得意トピックを管理するテーブルである。不得意トピック管理テーブル242には、指摘事項トピック生成部11の処理により、ユーザにとって不得意と判定されたトピックが格納される。
不得意トピック管理テーブル242は、列としてユーザID2420、不得意トピック2421、熟練度2422を持つ。熟練度2422は、不得意トピックの得意度合いを線形変換で正規化した値を格納する。
不得意トピック管理テーブル242のデータは、指摘事項管理テーブル21が追加されトピックが生成されると登録される。
図9は、指摘事項トピック生成部11の実行する指摘事項トピック生成処理を示すフローチャートである。
指摘事項トピック生成部11は、指摘事項管理テーブル21の行数だけ以下のステップS102〜S113を繰り返す(S101)。なお、指摘事項トピック生成部11をトピック生成部11と略記する場合がある。
最初に、トピック生成部11は、指摘事項管理テーブル21から指摘内容を取得し(S102)、取得した指摘内容を解析することによりトピック(指摘事項トピック)を生成する(S103)。
次に、トピック生成部11は、ステップS103で生成したトピックの数だけ以下のステップS105〜S113を繰り返す(S104)。
トピック生成部11は、指摘事項管理テーブル21からレビューID212、対策有無215、対策期限216を取得し(S105)、レビューIDをもとにレビュー管理テーブル25からレビュー日252を取得する(S106)。
トピック生成部11は、ステップS105で取得した対策有無および対策期限と、ステップS106で取得したレビュー日とをもとに、得意トピックの熟練度を算出する(S107)。以下では、得意トピックの熟練度を「熟練度(得意)」と、不得意トピックの熟練度を「熟練度(不得意)」と略記する場合がある。
熟練度(得意)は、例えば、対策有無に対して対策期限とレビュー日との差を乗じることで算出される(熟練度(得意)=対策有無×(対策期限−レビュー日))。
ここで、(対策期限−レビュー日)は、対策に要した時間を表しており、この時間は指摘の重要度に比例する。例えば、2月11日に実施されたレビューの指摘により対策を実施することとなり(対策有無=1)、その対策期限が2月14日に設定されていた場合、熟練度(得意)は「3」となる(=1×3日間)。
続いてトピック生成部11は、ステップS105で取得した対策有無および対策期限と、ステップS106で取得したレビュー日とをもとに、熟練度(不得意)を算出する(S108)。
熟練度(不得意)は、例えば、対策有無に対して対策期限とレビュー日との差と「−1」とを乗じることにより、算出される(熟練度(得意)=対策有無×(対策期限−レビュー日)×(−1))。
熟練度(不得意)は、ステップS107で算出された熟練度(得意)と対をなす。例えば、2月11日に実施したレビューの指摘により対策を実施することとなり(対策有無=1)、その対策期限が2月14日である場合、熟練度(不得意)は「−3」となる(=1×3×(−1))。
トピック生成部11は、ステップS107で算出した熟練度(得意)と、ステップS108で算出した熟練度(不得意)とをまとめて1つのデータとして、線形変換を用いて正規化する(S109)これにより、後の計算が容易になる。
トピック生成部11は、指摘事項管理テーブル21からユーザID(レビュア)213を取得する(S110)。トピック生成部11は、得意トピック管理テーブル241にレコードを追加して、ユーザID2410、得意トピック2411、熟練度2412に値をそれぞれ格納する(S111)。得意トピック管理テーブル241のユーザID2410には、レビュアのユーザIDが格納される。得意トピック管理テーブルの熟練度2412列には、熟練度(得意)が格納される。
トピック生成部11は、指摘事項管理テーブル21からユーザID(レビュイ)210を取得する(S112)。トピック生成部11は、不得意トピック管理テーブル242にレコードを追加して、ユーザID2420、不得意トピック2421、熟練度2422に値をそれぞれ格納する(S113)。不得意トピック管理テーブル242のユーザID2420には、レビュイのユーザIDが格納される。不得意トピック管理テーブル242の熟練度2422には、熟練度(不得意)が格納される。
上述のように、トピックが生成された後のステップS105からステップS113までの処理を、生成されたトピックの数繰り返す(ループ2)。ループ2の繰り返し処理が終了すると、最初のステップS102からステップS113までの処理を、指摘事項管理テーブル21のレコード数だけ繰り返す(ループ1)。
図10を参照する。トピック生成部11は、得意トピック管理テーブル241からユーザID2410を取得する(S114)。トピック生成部11は、ステップS114で取得したユーザIDをもとに、後述するステップS116,S117を得意トピック管理テーブル241に格納されているユーザ数だけ繰り返す(S115、ループ3)。
トピック生成部11は、得意トピック管理テーブル241から熟練度2412を取得する(S116)。トピック生成部11は、ステップS116で取得した熟練度を降順に並べて、任意の数の得意トピックのみを得意トピック管理テーブル241に残し、それ以外は削除する(S117)。ステップS117は、すべての得意トピックを得意トピック管理テーブル241に格納せずに、重要な得意トピックのみをテーブル241へ格納するために行う処理である。これにより、テーブルサイズを限定し、補助記憶装置103の記憶容量を効率的に使用することができる。
トピック生成部11は、不得意トピック管理テーブル242からユーザID2420を取得する(S118)。トピック生成部11は、取得したユーザIDをもとに、後述のステップS120,S121を、不得意トピック管理テーブル242に格納されているユーザの数だけ繰り返す(S119、ループ4)。
トピック生成部11は、不得意トピック管理テーブル242から熟練度2422を取得する(S120)。トピック生成部11は、ステップS120で取得した熟練度を降順に並べて、任意の数の不得意トピックのみを不得意トピック管理テーブル242に残し、それ以外は削除する(S121)。ステップS121は、すべての不得意トピックを不得意トピック管理テーブル242に格納せずに、重要な不得意トピックのみを格納するために行う処理である。
図9および図10で述べた処理により、指摘事項D1からレビュアの得意トピックとレビュイの不得意トピックとを生成することができる。
図11を用いて、レビュー文書管理テーブル22を説明する。レビュー文書管理テーブル22は、文書トピックを生成する際に使用するレビュー対象文書D2を管理するテーブルである。
レビュー文書管理テーブル22は、列として文書ID220、文書名221、ユーザID(作成者)222、文書内容223を持つ。文書ID220が主キーとなる。文書ID220は、文書ごとに採番する。
レビュー文書管理テーブル22では、文書トピックを生成する際にレビュー文書が追加され、レビューが実施された後に、レビュー文書のレコードを更新する。
図12を用いて、文書トピック管理テーブル23を説明する。文書トピック管理テーブル23は、レビュー文書ごとのトピックを管理するテーブルである。
文書トピック管理テーブル23は、列として文書ID230、トピック231、重要度232を持つ。重要度232は、文書を特徴づけるトピックの重要度合いを線形変換で正規化した値を格納する。
文書トピック管理テーブル23のデータは、レビュー文書管理テーブル22が追加され、トピックが生成されると登録される。
図13は、文書トピック生成部12の実行する処理を示すフローチャートである。本処理では、文書トピック生成部12により、レビュー文書(レビュー対象文書)からトピックを生成する。文書から生成されるトピックを文書トピックと呼ぶ。なお、以下では、文書トピック生成部12を、トピック生成部12と略記する場合がある。
トピック生成部12は、レビュー文書管理テーブル22からレビュー文書の文書内容を取得する(S131)。
トピック生成部12は、ステップS131で取得した文書内容を解析することにより、文書トピックを生成する(S132)。トピック生成部12は、ステップS132において、生成されたトピックに対し、TF−IDFを用いて重要度を算出する。TF−IDF(Term Frequency - Inverse Document Frequency)とは、単語の出現頻度を逆文書頻度に基づいて計算する、文書中の単語に関する重みの一種である。TF−IDFは、情報検索や文章要約などの分野で使用される特徴量の指標である。
トピック生成部12は、ステップS132で算出した重要度を線形変換で正規化する(S133)。重要度を正規化することにより、指摘事項D1から生成された得意トピックおよび不得意トピックの熟練度と重要度とを比較することができる。
トピック生成部12は、正規化された重要度を降順に並べ、任意の数のトピックと重要度とを文書トピック管理テーブル23へ格納する(S134)。ステップS134は、すべてのトピックを文書トピック管理テーブル23に格納せずに、重要なトピックのみを格納するために行う処理である。
以下のステップS135〜S138を省略しても、レビュア管理システム1は正常に動作可能である。しかし、本実施例では、より適切なレビュアを選定するために、ステップS135〜S138を実行する。
トピック生成部12は、レビュー文書管理テーブル22からレビュー文書を作成したユーザ(レビュイ)のユーザID222を取得する(S135)。
トピック生成部12は、得意トピック管理テーブル241から、レビュー文書のユーザIDに対応する得意トピックおよび熟練度を取得する(S136)。ステップS136と並行して、トピック生成部12は、不得意トピック管理テーブル242からレビュー文書のユーザIDに対応する不得意トピックおよび熟練度を取得する(S137)。これにより、トピック生成部12は、レビュー文書(レビュー対象文書)を作成したユーザの得意トピックと不得意トピックをそれぞれ取得する。
図14は、図13中のステップS136の詳細な一例を示す。トピック生成部12は、以下に述べるステップS1362〜S1364を、得意トピック管理テーブル241の行数だけ繰り返す(S1361)。
トピック生成部12は、レビュー文書の作成者であるユーザの得意トピックおよび熟練度を取得した後(S1362)、作成者であるユーザの得意なトピックとレビュー文章から生成される文書トピックとが一致するか判定する(S1363)。
トピック生成部12は、レビュー文書作成者の得意トピックとレビュー文書のトピックとが一致する場合(S1363:YES)、文書トピックの重要度を任意の所定量(x%)だけ減算する(S1364)。
レビュー文書のトピックに文書作成者の得意トピックが含まれている場合、その文書作成者の得意なトピックは他の分野のトピックと比較して重要ではない。したがって、文書作成者の得意なトピックに一致する文書トピックの重要度を減少させる。なお、ステップS1363で「NO」と判定すると、ステップS1364をスキップする。
図15は、図13中のステップS137の詳細な一例を示す。トピック生成部12は、以下に述べるステップS1372〜S1374を、不得意トピック管理テーブル242の行数だけ繰り返す(S1371)。
トピック生成部12は、レビュー文書の作成者であるユーザの不得意トピックおよび熟練度を取得した後(S1372)、作成者であるユーザの不得意なトピックとレビュー文章から生成される文書トピックとが一致するか判定する(S1373)。
トピック生成部12は、レビュー文書作成者の不得意トピックとレビュー文書のトピックとが一致する場合(S1373:YES)、文書トピックの重要度を任意の所定量(x%)だけ増加させる(S1374)。
レビュー文書のトピックに文書作成者の不得意トピックが含まれている場合、その文書作成者の不得意なトピックはレビューにおいて重視する必要があるため、その文書トピックの重要度を増加させる。なお、ステップS1373で「NO」と判定すると、ステップS1374をスキップする。
図13に戻る。最後にトピック生成部12は、文書トピック管理テーブル23の重要度232を更新する(S138)。
図16は、レビュア判定部13が実施する処理のフローチャートである。レビュア判定部13は、文書トピック管理テーブル23からレビュー文書のトピック231および重要度232を取得し(S201)、重要度の降順に並べる(S202)。
そして、ループ1では、以下のステップS204〜S207について、重要度の降順で並べたトピックの数だけ繰り返す(S203)。
レビュア判定部13は、得意トピック管理テーブル241からレビュー文書のトピックに対応する得意トピック2411について、そのユーザID2410および熟練度2412を取得する(S204)。
そして、ループ2では、以下のステップS206およびステップS207について、得意トピック管理テーブル241から取得したユーザの数だけ繰り返す(S205)。
レビュア判定部13は、レビュー文書のトピックと得意トピックとが同じであり、かつ得意トピックの熟練度がレビュー文書のトピックの重要度以上である場合であるか判定する(S206)。
レビュア判定部13は、文書トピックと得意トピックとが一致し、かつ、得意トピックの熟練度が文書トピックの重要度以上であると判定すると(S206:YES)、レビュー管理テーブル25に行を追加して、ユーザIDを格納する。
これにより、レビュー文書のトピックを得意トピックとしているユーザの中から、得意トピックの熟練度がレビュー文書のトピックに対する重要度以上であるユーザのみをレビュア候補として抽出する。
なお、図12に示す文書トピック管理テーブル23のトピック231の値(トピック名)と、図7に示す得意トピック管理テーブル241のトピック2411の値(トピック名)とは、見掛け上異なっている。これは、文書トピック管理テーブル23では、文書ごとにトピックをわけて示しているのに対し、得意トピック管理テーブル241では、ユーザごとにトピックをわけて示しているたけである。テーブル内でトピックを区別するための方法が異なるため、見掛けのトピック名は異なるが、実際には、各テーブル23,241には、例えば「サーバ」、「セキュリティ」、「ネットワーク」などのトピック名が登録されている。したがって、トピック名を比較することで、文書トピックと得意トピック(または不得意トピック)とが一致するか判定できる。
このように構成される本実施例によれば、ユーザの得意な観点(得意トピック)および不得意な観点(不得意トピック)をそのユーザのレビューに関する経験に基づいて評価することができ、その評価に基づいてレビュー対象文書に適したレビュア候補を見つけ出すことができる。
詳しくは、本実施例では、ユーザのレビュアとしての経験から得意トピックを検出すると共に、ユーザのレビュイとしての経験から不得意トピックを検出することにより、同一ユーザをレビュアおよびレビュイの両方の側面から評価することができる。
従来技術では、レビュアとしての実績でのみ個人を評価するため、得意な分野しか把握することができず、不得意な分野を把握することが難しい。したがって、レビュー対象文書に不得意なトピックが含まれていた場合、適切ではないレビュアが選択されるおそれがある。
これに対し本実施例では、ユーザのレビュアとしての経験から解析される得意トピックだけでなく、ユーザのレビュイとしての経験から解析される不得意トピックも考慮して、レビュー対象文書のレビュア候補として適切であるか総合的に判断できる。これにより、本実施例では、より適切なレビュア候補を抽出することができる。
また、本実施例では、レビュー対象文書に含まれるトピック(文書トピック)の重要度と、その文書トピックに対応する得意トピック(同一トピック)のについてのユーザの熟練度とを比較し、熟練度が重要度以上の場合のみ、そのユーザをレビュア候補として選択する。これにより、文書トピックに関して実質的なチェック能力を持つユーザをレビュア候補として抽出することができ、適切なレビューを実現できる。
さらに本実施例では、例えば、レビュー対象文書に出現する単語に基づいて、重要度の基本値を算出し(図13のS132)、文書トピックに一致する得意トピックまたは不得意トピックを考慮して、重要度を修正する(図13のS136,S137)。
これにより本実施例では、レビュイの得意なトピックを多く含むレビュー対象文書の重要度を低下させることができ、一方、レビュイの不得意なトピックを多く含むレビュー対象文書の重要度を高くすることができる。
したがって、本実施例によれば、上述した重要度以上の熟練度を持つユーザをレビュア候補として抽出する構成と結合することにより、レビュイの苦手なトピックのチェックに長けたユーザをレビュア候補として抽出することができ、適切なレビューを得る可能性を高くすることができる。
また、本実施例では、レビュアの指摘した事項に関する対策の実施状況に応じて、レビュアの熟練度(得意)および熟練度(不得意)を算出する。これにより、レビュアの書いたコメントの文字数やレビューに要した時間の長さといった形式的な指標に基づくのではなく、レビュアのレビューが尊重されたかといった実質的な指標に基づいて、レビュアを評価することができる。なお、対策の実施状況に加えて、形式的な指標を考慮する構成も本発明の範囲に含まれる。
図17〜図20を用いて、第2実施例を説明する。本実施例を含む以下の各実施例では、第1実施例との相違を中心に述べる。本実施例では、レビュア候補の判定後に、その判定結果を画面G1(図20参照)に表示する。
図17は、本実施例によるレビュア管理処理のフローチャートである。図17のフローチャートは、図3に示すフローチャートに比べて、ステップS2とステップS4の間に、新規ステップS3が追加されている点で異なる。
すなわち、レビュア管理システム1の結果表示部14は、レビュア判定処理の結果を、画面G1として作成し、作成した画面G1をユーザインターフェース装置104へ送って表示させる(S3)。
図18は、本実施例による文書トピック生成処理のフローチャートである。図18に示すフローチャートは、図13で述べたフローチャートに比べて、ステップS131の前に新規なステップS130が追加されている点で異なる。
本実施例では、本システム1のユーザ(例えば、レビュア)がユーザインターフェース装置104からシステム1へ入力したレビュー文書(レビュー対象文書)を、レビュー文書管理テーブル22へ自動的に追加する。すなわち、ユーザがレビュー文書をシステム1へ入力すると、そのレビュー文書に関する文書ID220、文書名221、作成者のユーザID222、文書内容223がレビュー文書管理テーブル22に格納される。
図19は、結果表示部14が実行する結果表示処理のフローチャートである。結果表示部14は、レビュア判定部13にて追加されたレビューIDをもとに、レビュー管理テーブル25からユーザID253を取得する(S301)。
結果表示部14は、ステップS301で取得したユーザIDをもとに、ユーザ管理テーブル26から名前261および部署名263を取得する(S302)。
結果表示部14は、レビュア判定部13にて追加されたレビューIDに対応する文書IDをもとに、文書トピック管理テーブル23からトピック231および重要度232を取得する(S303)。
結果表示部14は、ステップS303で取得したトピックとステップS301で取得したユーザIDとをもとに、得意トピック管理テーブル241から熟練度2412を取得する(S304)。
最後に結果表示部14は、ここまでに取得した、トピック、重要度、名前、部署名、熟練度が所定位置に配置された画面G1を作成して、ユーザインターフェース装置104へ出力する(S305)。画面G1を見たユーザ(レビュイ)は、提示されたレビュア候補の中から、所望のレビュア候補をレビュアとして選択することができ、その選択結果はユーザインターフェース装置104を介してシステム1へ入力される。
図20は、結果表示画面G1の例を示す。結果表示画面G1は、例えば、レビュア候補の検索をシステム1へ指示するレビュア検索領域G11と、その検索結果を表示するレビュア候補領域G12とを含む。
レビュア検索領域G11では、ユーザは、例えば参照ボタンG111を操作することにより、文書名表示部G112にレビュー対象文書を表示させて選択する。レビュー対象文書が選択されると、ユーザは、レビュア候補の検索を指示するためのレビュア検索ボタンG113を操作する。本システム1は、このユーザ操作をユーザインターフェース装置104を介して検出すると、図17の処理を実行する。
図17の処理が終了すると、レビュア候補領域G12に各トピックに応じたレビュア候補が表示される。
このように結果画面G1には、レビュー対象文書を特定する情報と、レビュー対象文書に含まれる文書トピックと、文書トピックの重要度と、レビュア候補を特定する情報とが表示される。詳しくは、レビュア候補領域G12には、文書トピックごとに熟練度の大きいユーザから順にレビュア候補として表示され、かつ、文書トピックは重要度の大きい順に表示される。
ユーザ(レビュイ)は、レビュア候補領域G12に表示されたレビュア候補の中から、所望のユーザをレビュアとして選択する。ユーザ(レビュイ)は、例えば、トピックごとに1人ずつレビュアを選択してもよい。ここで、ユーザ(レビュイ)によりレビュアが選択されても、レビュー管理テーブル25は更新しない。選択されたレビュアが実際にレビューを実施した後に参加したレビュア以外のユーザを削除する。
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、レビュア候補の抽出結果をユーザ(レビュイ)に提示することができるため、使い勝手が向上する。
また、本実施例では、レビュー対象文書に含まれるトピック(文書トピック)のうち、重要度の高いトピックを優先して画面に表示すると共に、文書トピックの重要度以上の熟練度を持つレビュア候補を熟練度の高い順に表示する。これにより、レビュイは、多くのレビュイ候補が抽出された場合でも、より適切なレビュア候補を短時間で容易に確認することができ、使い勝手が向上する。
図21を用いて、第3実施例を説明する。第1実施例では、得意トピックの熟練度および不得意トピックの熟練度を、指摘事項に関する対策有無と対策期限とレビュー日とから算出したが、本実施例では、さらに指摘分類を加味して熟練度を算出する。
本実施例は、指摘事項からトピックを生成する指摘事項トピック生成部11での処理が第1実施例と相違する。
図21は、指摘事項トピック生成部11の実行する指摘事項トピック生成処理のフローチャートである。図21に示すフローチャートは、図9で示したフローチャートに比べて、ステップS105,S107,S108が変更されており、ステップS105a,S107a,S108aとなっている。
ステップS105aでは、指摘事項管理テーブル21から指摘分類(重要度)218を取得する。取得した指摘分類(重要度)は、熟練度(得意)および熟練度(不得意)の算出に使用する(S107a,S108a)。
熟練度(得意)の算出方法は、対策有無×(対策期限−レビュー日)×指摘分類(重要度)である(S107a)。同様に、熟練度(不得意)の算出方法は、対策有無×(対策期限−レビュー日)×(−1)×指摘分類(重要度)である(S108a)。
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、指摘分類(重要度)を算出方法に加えることで、熟練度の精度を高めることができ、この結果、より一層適切なレビュア候補を抽出することができる。
以上で本発明の説明を終えるが、本発明は上述した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述の各実施例は、本発明のより良い理解のために詳細に説明したのであり、必ずしも上述の説明の全ての構成を備えるものに限定されものではない。
ある実施例の構成の一部を他の実施例の構成に置き換えることも可能である。ある実施例の構成に他の実施例の構成を加えることも可能である。各実施例の構成の一部について、削除したり、他の構成を追加したり、他の構成に置換したりすることもできる。
上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶デバイス、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
1:レビュア管理システム、11:指摘事項トピック生成部、12:文書トピック生成部、13:レビュア判定部、14:結果表示部、21:指摘事項管理部、22:レビュー文書管理部、23:文書トピック管理部、24:指摘事項トピック管理部
Claims (13)
- 文書のレビュアを管理するレビュア管理システムであって、
レビュアにより指摘された前記文書の指摘事項を解析し、予め登録された複数ユーザの得意観点および不得意観点を判定する指摘事項解析部と、
レビュー対象文書を解析する文書解析部と、
前記文書解析部による前記レビュー対象文書の解析結果と前記得意観点および前記不得意観点とに基づいて、前記各ユーザの中から前記レビュー対象文書のレビュア候補を判定するレビュア判定部と、
を備えるレビュア管理システム。 - 前記指摘事項解析部は、前記指摘事項をキーワード解析することにより、前記指摘事項に含まれる指摘事項トピックを生成し、前記生成した指摘事項トピックに基づいて、前記得意観点としての得意トピックと前記不得意観点としての不得意トピックとを前記各ユーザについて判定し、
前記文書解析部は、前記レビュー対象文書をキーワード解析することにより、前記レビュー対象文書に含まれる文書トピックを生成し、
前記レビュア判定部は、前記文書トピックと前記得意トピックおよび前記不得意トピックとに基づいて、前記レビュア候補を抽出する、
請求項1に記載のレビュア管理システム。 - 前記指摘事項解析部は、前記得意トピックおよび前記不得意トピックに加えて、さらに、前記各ユーザについての前記得意トピックに対する熟練度と前記不得意トピックに対する熟練度とを算出し、
前記文書解析部は、前記文書トピックに加えて、さらに、前記各ユーザのうち前記レビュー対象文書を作成したレビュイについての前記得意トピックおよび前記不得意トピックに基づいて、前記文書トピックの重要度を算出し、
前記レビュア判定部は、前記文書トピックと前記得意トピックとが一致しているかと、前記得意トピックの熟練度と前記文書トピックの重要度とが所定の関係にあるかとに基づいて、前記レビュア候補を抽出する、
請求項2に記載のレビュア管理システム。 - 前記熟練度と前記重要度とは比較可能な値として算出されており、
前記所定の関係とは、前記得意トピックの熟練度が前記文書トピックの重要度以上であること、である、
請求項3に記載のレビュア管理システム。 - 前記指摘事項解析部は、前記得意トピックに対する熟練度と前記不得意トピックに対する熟練度とを、前記指摘事項についての対策状況に基づいて算出する、
請求項3に記載のレビュア管理システム。 - 前記対策状況は、前記指摘事項についての対策の実施の有無、および、前記対策の実施時期とを含む、
請求項5に記載のレビュア管理システム。 - 前記指摘事項解析部は、前記指摘事項に含まれる指摘内容の種類ごとに予め重みを付けて管理しており、前記指摘事項についての対策状況と前記重みとに基づいて、前記得意トピックに対する熟練度および前記不得意トピックに対する熟練度を算出する、
請求項5に記載のレビュア管理システム。 - さらに、前記レビュア判定部の判定結果を表示する表示部を備える、
請求項3に記載のレビュア管理システム。 - 前記判定結果には、前記レビュー対象文書を特定する情報と、前記レビュー対象文書に含まれる前記文書トピックと、前記文書トピックの重要度と、前記レビュア候補を特定する情報とが含まれる、
請求項8に記載のレビュア管理システム。 - 前記判定結果には、前記文書トピックごとに前記熟練度の大きいユーザから順にレビュア候補として表示されており、かつ、前記文書トピックは前記重要度の大きい順に表示される、
請求項9に記載のレビュア管理システム。 - 文書のレビュアを計算機を用いて管理するレビュア管理方法であって、
前記計算機は、
レビュアにより指摘された前記文書の指摘事項を解析して、予め登録された複数ユーザの得意観点および不得意観点を判定する第1ステップと、
レビュー対象文書を解析する第2ステップと、
前記レビュー対象文書の解析結果と前記得意観点および前記不得意観点とに基づいて、前記各ユーザの中から前記レビュー対象文書のレビュア候補を判定する第3ステップとを実施する、
レビュア管理方法。 - 前記計算機は、
前記第1ステップにおいて、
前記指摘事項をキーワード解析することにより、前記指摘事項に含まれる指摘事項トピックを生成し、
前記生成した指摘事項トピックに基づいて、前記得意観点としての得意トピックと前記不得意観点としての不得意トピックとを前記各ユーザについて判定し、
前記第2ステップにおいて、
前記レビュー対象文書をキーワード解析することにより、前記レビュー対象文書に含まれる文書トピックを生成し、
前記第3ステップにおいて、
前記文書トピックと前記得意トピックおよび前記不得意トピックとに基づいて、前記レビュア候補を抽出する、
請求項11に記載のレビュア管理方法。 - 前記計算機は、
前記第1ステップにおいて、
前記得意トピックおよび前記不得意トピックに加えて、さらに、前記各ユーザについての前記得意トピックに対する熟練度と前記不得意トピックに対する熟練度とを算出し、
前記第2ステップにおいて、
前記文書トピックに加えて、さらに、前記各ユーザのうち前記レビュー対象文書を作成したレビュイについての前記得意トピックおよび前記不得意トピックに基づいて、前記文書トピックの重要度を算出し、
前記第3ステップにおいて、
前記文書トピックと前記得意トピックとが一致しているかと、前記得意トピックの熟練度と前記文書トピックの重要度とが所定の関係にあるかに基づいて、前記レビュア候補を抽出する、
請求項12に記載のレビュア管理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/029041 WO2019030884A1 (ja) | 2017-08-10 | 2017-08-10 | レビュア管理システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019030884A1 true JPWO2019030884A1 (ja) | 2019-11-07 |
JP6676792B2 JP6676792B2 (ja) | 2020-04-08 |
Family
ID=65272526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018568443A Active JP6676792B2 (ja) | 2017-08-10 | 2017-08-10 | レビュア管理システムおよび方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6676792B2 (ja) |
WO (1) | WO2019030884A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800208B (zh) * | 2021-01-21 | 2022-10-18 | 中国人民解放军国防科技大学 | 面向问答社区的问题审阅人自动化推荐方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003223462A (ja) * | 2002-01-31 | 2003-08-08 | Denso Corp | 情報システム、端末、情報取得方法、プログラム |
JP2013205875A (ja) * | 2012-03-27 | 2013-10-07 | Kddi Corp | 批評者に批評すべきアイテムを検出するレコメンドアイテム検出プログラム、装置及び方法 |
-
2017
- 2017-08-10 JP JP2018568443A patent/JP6676792B2/ja active Active
- 2017-08-10 WO PCT/JP2017/029041 patent/WO2019030884A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003223462A (ja) * | 2002-01-31 | 2003-08-08 | Denso Corp | 情報システム、端末、情報取得方法、プログラム |
JP2013205875A (ja) * | 2012-03-27 | 2013-10-07 | Kddi Corp | 批評者に批評すべきアイテムを検出するレコメンドアイテム検出プログラム、装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6676792B2 (ja) | 2020-04-08 |
WO2019030884A1 (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102432104B1 (ko) | 데이터 요소 간의 관계를 결정하기 위한 시스템 및 방법 | |
US7562088B2 (en) | Structure extraction from unstructured documents | |
US9195952B2 (en) | Systems and methods for contextual mapping utilized in business process controls | |
US9171072B2 (en) | System and method for real-time dynamic measurement of best-estimate quality levels while reviewing classified or enriched data | |
US10467252B1 (en) | Document classification and characterization using human judgment, tiered similarity analysis and language/concept analysis | |
US20080162455A1 (en) | Determination of document similarity | |
US20100185660A1 (en) | Determining suitability of entity to provide products or services based on factors of acquisition context | |
JP2017041171A (ja) | テストシナリオ生成支援装置およびテストシナリオ生成支援方法 | |
US20130238531A1 (en) | Automatic Combination and Mapping of Text-Mining Services | |
Pan et al. | Assessing the reliability of electronic products using customer knowledge discovery | |
JP5905651B1 (ja) | 実績評価装置、実績評価装置の制御方法、および実績評価装置の制御プログラム | |
US20220366346A1 (en) | Method and apparatus for document evaluation | |
US7992126B2 (en) | Apparatus and method for quantitatively measuring the balance within a balanced scorecard | |
US20210279608A1 (en) | Prediction rationale analysis apparatus and prediction rationale analysis method | |
US9495341B1 (en) | Fact correction and completion during document drafting | |
JP6676792B2 (ja) | レビュア管理システムおよび方法 | |
JP6894461B2 (ja) | 情報処理装置、プログラム、及び情報処理方法 | |
JP6917400B2 (ja) | 文書審査支援方法、文書審査支援装置及びコンピュータプログラム | |
JP6336922B2 (ja) | 業務バリエーションに基づく業務影響箇所抽出方法および業務影響箇所抽出装置 | |
CN114266496A (zh) | 一种基于政策完成度分析的政策落地效果评价方法及系统 | |
JP2006285825A (ja) | リスク定量化支援システム及びリスク定量化支援方法 | |
JPWO2012144139A1 (ja) | UI(UserInterface)作成支援装置、UI作成支援方法及びプログラム | |
JP2018156552A (ja) | 計算機システム及び文章データの検索方法 | |
US10120652B2 (en) | System and method for representing software development requirements into standard diagrams | |
JP2013054490A (ja) | 情報検索装置および情報検索プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6676792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |