JP6251004B2

JP6251004B2 - 転用状況可視化システム及び転用状況可視化方法

Info

Publication number: JP6251004B2
Application number: JP2013221194A
Authority: JP
Inventors: 英志木村
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2013-10-24
Filing date: 2013-10-24
Publication date: 2017-12-20
Anticipated expiration: 2033-10-24
Also published as: JP2015082292A

Description

本発明は、転用されるデータの有用性を俯瞰的に且つ半自動的に評価することができ、転用元データの有用性評価を効率化することができる転用状況可視化システム及び転用状況可視化方法に関する。

近年、あるコンピュータシステムで適用された数値・テキスト・音声といった各種データを他コンピュータシステムに転用又は転記することが行われており、この他コンピュータシステムにデータがどれだけ転用・活用されているかという判断により対象となるデータの有用性を評価するために非常に有効である。

例えば、企業においてヘルプデスクにより顧客から入手した非定型データである過去事例に基づいて作成したＦＡＱに対して新しく入手した過去事例をＦＡＱに転用した場合、転用データがどれだけ転用・活用されているかデータの有用性を評価することは非常に有効である。このため、従来技術においては、過去事例に基づいてＦＡＱを作成する場合、何を新しいＦＡＱを追加し、陳腐化したＦＡＱを削除する作業は人手による作業に頼るしかないものであった。

尚、データの転用に関する技術が記載された文献としては下記の特許文献が挙げられ、特許文献１には、項目比較により作業手順の不足を検知して管理されている作業項目を自動的に追加する作業手順の管理技術が記載され、特許文献２には、特定の文献に対して類似度判定することによって、著作物の無断転用などを防止する技術が記載されている。

特開２０１０−１２３０４５号公報特開２００９−２０５６７４号公報

前述の特許文献に記載の技術は、作業項目を自動的に追加することや特定の文献に対して類似度判定することができるものの、様々な転用状況の把握や頻度の把握や、詳細な転用状況を判定することは考慮されていない。

本発明の目的は、転用されるデータの有用性を俯瞰的に且つ半自動的に評価することができる転用状況可視化システム及び転用状況可視化方法を提供することである。

本発明は、転用元データ及び転用先データを入力として、その転用状況の評価を支援する転用状況可視化システムであって、転用元データ及び転用先データの変換スキーマの解析を行って統合データ群ＤＢ６０２へ格納するデータ統合処理を行い、統合データ群ＤＢ６０２に格納したデータを元に生成した特徴ベクトルを用いた類似度計算によるクラスタリング処理を行って統合データ群ＤＢ６０２に格納する自動分類処理を行い、転用元データ及び転用先データの転用状況を、クラスタ最新データとクラスタ内最新転用元データの同一性及び類似性に基づいて転用状況の判定を行う。

本発明による転用状況可視化システム及び転用状況可視化方法は、転用されるデータの有用性を俯瞰的に且つ半自動的に評価することができる。

本発明の実施形態による転用状況可視化システムを示す図である。本実施形態によるデータ統合サブシスステムの処理フローを示す図である。本実施形態による変換スキーマ定義ＤＢのテーブル定義例を示す図である。本実施形態による統合データ群ＤＢのテーブル定義例を示す図である。本実施形態による自動分類サブシステムの処理フローを示す図である。本実施形態による転用判定部の処理フローを示す図である。本実施形態によるクラスタ区分部の処理フローを示す図である。本実施形態による表示画面例を示す図である。

以下、本発明による転用状況可視化方法を適用した転用状況可視化システムの一実施形態を図面を参照して詳細に説明する。
［構成］

本実施形態による転用状況可視化システムは、図１に示す如く、次の部位を備える。
（１）転用元となるデータを一意に表すデータソースと該データソースの区分とデータ項目（テキストデータ項目、音声データ項目）とを含む変換スキーマ定義情報を格納する変換スキーマ定義（データベース）ＤＢ６０１。
（２）一意の識別子別のデータソース区分とクラスタと転用状況（修正転用・履歴参照）とデータ内容（テキストデータの内容）とを含む総合情報を格納する統合データ群ＤＢ６０２。

（３）類似する要素群のクラスタ間の距離を含むクラスタ情報を格納するクラスタ情報ＤＢ６０３。
（４）操作者による入力データ（転用元データ、転用先データ、変換スキーマ定義を含む様々な要求）を入力するための入力部２０１及び転用状況判定結果画面他の表示を行う表示部２０２を有する可視化サブシステム２００。

（５）前記入力部２０１から入力された転用元データ及び転用先データに対してソース区分（「転用元」、「転用先」のラベル）を追加するソース区分追加部３０１及び変換スキーマ定義ＤＢ６０１に定義された変換スキーマ定義６０３２を用いて統合データ群ＤＢ６０２のデータ形式に沿ったデータ形式に変換し、統合データ群ＤＢ６０２に格納するスキーマ管理部３０２とを有するデータ統合サブシステム３００。

（６）前記クラスタ情報ＤＢ６０３に格納したクラスタ情報間の転用判定を行って転用判定結果を出力する転用判定部４０１及び該転用判定結果を更に転用判定の高精度化のために必要に応じて更に区分し、転用判定結果を統合データ群ＤＢ６０２に格納するクラスタ区分部４０２を有する転用状況判定サブシステム４００。
（７）統合データ群ＤＢ６０２に格納されたデータから特徴量を抽出し、ベクトル化した特徴ベクトルを生成する特徴ベクトル生成部５０１及び該特徴ベクトルを用いて自動分類処理を行うクラスタリング部５０２を有する自動分類サブシステム５００。

また、本実施形態による転用状況可視化システムは、一般のコンピュータシステムから構成され、後述する処理においては図示しないＣＰＵ等の制御手段がメモリの一時記憶領域に各種データを格納・参照・更新しながら所定の動作を実行するものであり、このメモリへのデータ格納・参照・更新の詳細については省略して説明する。

前記変換スキーマ定義ＤＢ６０１のテーブル定義は、図３に示す如く、転用元となるデータを一意に表すデータソース６０１１と、該データソースの区分６０１２と、日時と、テキストデータ項目であるテキスト６０１３及び６０１４と、音声データ項目である音声６０１５とを含む変換スキーマ定義情報を格納する。この変換スキーマ定義は、データソース６０１１及びデータソース区分６０１２対応に、後述する統合データスキーマの各列に対応する列名を格納するマッピング定義列（テキスト６０１３〜６０１５）を格納するように構成されている。

前記統合データ群ＤＢ６０２のテーブル定義は、図４に示す如く、転用元及び転用先を含む接頭字が追加された一意の識別子６０２１と、データソース区分６０２２と、クラスタと、修正転用・履歴参照等の転用状況６０２５と、テキストデータの内容の具体的内容である複数のテキスト６０２３及び６０２４とを含む総合情報を格納する。即ち、統合データは、接頭字が追加された識別子６０２１とデータソース区分６０２２とマッピング定義列で定義した通りの列値（テキスト６０２３〜６０２５）を格納する。

［動作］
前述のように構成された本実施形態によるデータ統合サブシステム３００は、図２に示す如く、ソース区分追加部３０１が、次の各ステップを実行する。
（１）入力されたデータ６０３１に含まれるスキーマ定義から一意の識別子及びデータ型を抽出し、該入力データ６０３１のスキーマ（構造）を抽出するステップＳ３０１１。
（２）該ステップＳ３０１１で抽出したスキーマ又は入力されたデータスキーマに基づいて一意の識別子を選定し、一意の識別子候補がなければ自動的に連番の識別子を採番するステップＳ３０１２。
（３）該ステップＳ３０１２により選定または採番された一意識別子に、変換スキーマ定義のデータソース区分に基づいて接頭字を追加するステップＳ３０１３。尚、前記データ区分とは、転用元か転用先かの種別に基づく組合せ、「転用先」「転用元」である。

次いで、本データ統合サブシステム３００は、スキーマ管理部３０２が、次の各ステップを実行することによってデータ統合処理を行うように動作する。
（１）前記ステップ３０１１で抽出したスキーマと前記変換スキーマ定義ＤＢ６０１に格納された変換スキーマ定義６０３２とを入力とし、これらをマッピングすることにより変換スキーマの解析を行うステップＳ３０２１。
（２）該ステップＳ３０１２によるマッピング結果に基づいて統合データ群ＤＢ６０２に入力データを格納するためのクエリ文（処理要求［問い合わせ］を文字列として表したもの）を生成するステップＳ３０２２。
（３）該ステップＳ３０２２により生成したクエリ文と前記ステップＳ３０１３にて加工済みのデータを入力として、統合データスキーマへの変換及び統合データ群ＤＢ６０２への格納を行うステップＳ３０２３。

次いで、本実施形態による自動分類サブシステム５００は、図５に示す如く、特徴ベクトル生成部５０１が、統合データ群ＤＢ６０２を参照し、ベクトル化が必要なデータを抽出して、特徴量を算出するステップＳ５０１１と、算出した特徴量を列挙することにより特徴ベクトルを生成するステップＳ５０１２と、クラスタリング部５０２が、前記生成した特徴ベクトルを用いた類似度計算を基本としたクラスタリング処理を行って統合データ群ＤＢ６０２に格納するステップＳ５０２２とを実行することによって、自動分類処理を行うように動作する。

尚、前記ステップＳ５０１１における特徴量はデータ形式や目的に応じて算出方法を変えることができ、例えば文書テキストの場合には単語毎の出現頻度やテキストの文字数を算出することや、音声ファイルであれば音の大きさや音素の数を算出することが挙げられる。前記ステップＳ５０１２による特徴量の列挙は、自動分類の精度を向上させるために特徴量の正規化を行っても良く、前記ステップＳ５０２２によるクラスタリング処理結果は、データがどのクラスタに所属するかを統合データ群ＤＢ６０２に格納し、クラスタ間の距離と言ったクラスタそのものの情報は、クラスタ情報ＤＢ６０３に格納する。

次に、本実施形態によるクラスタ区分部４０２は、図７に示す如く、次の各ステップを実行することによってクラスタ区分の判定処理を行う。
（１）統合データ群ＤＢ６０２に格納した各クラスタ内データのデータソース区分について、それぞれ「転用元」「転用先」のデータ数を集計するステップＳ４２０１。
（２）クラスタ要素のデータ区分に「転用先」が存在するかどうかを判定するステップＳ４２０２。
（３）該ステップＳ４２０２において存在しないと判定したとき、クラスタ区分を「転用先流用」とするステップＳ４２０３。
（４）前記ステップＳ４２０２において存在すると判定したとき、クラスタ要素のデータソース区分に「転用元」が存在するか否かを判定するステップＳ４２０４。
（５）該ステップＳ４２０４において存在しないと判定したとき、クラスタ区分を「転用先類似」と設定するステップＳ４２０５。
（６）前記ステップＳ４２０４において存在すると判定したとき、クラスタ区分を「転用元転用」と設定するステップＳ４２０６。

更に、本実施形態による転用状況判定サブシステム４００は、図６に示す如く、転用判定部４０１が、次の各ステップを実行することによって、転用状況を判定し、格納するように動作する。
（１）入力となる各クラスタについて、クラスタの最新データ（クラスタ最新データと呼ぶ）の取り出し及びクラスタ内転用元データの最新データ（クラスタ内最新転用元データと呼ぶ）の取り出しを行うため、更新日時に基づいたソート処理を行った上で転用元データのみを抽出するステップＳ４１０１。
（２）前記クラスタ最新データとクラスタ内最新転用元データとが同一データであるか否か（最新か否か）を判定するステップＳ４１０２。
（３）該ステップＳ４１０２において同一（最新）であると判定したとき、未だ転用されていないと判断し、転用状況を「未転用」に設定して更新処理を行うステップＳ４１０３。
（４）前記ステップＳ４１０２において同一でない（最新でない）と判定したとき、クラスタ内の転用先データ毎に下記処理（対象転用元データは転用判定外として次の対象転用元データを対象とした処理）の実行を開始するステップ４１０４。
（５）対象転用先データの更新日時がクラスタ内最新転用元データの更新日時よりも新しいか否かを判定するステップＳ４１０５。
（６）該ステップＳ４１０５において対象転用元データの方が新しいと判定したとき、クラスタ内最新転用元データと対象転用先データの値が転用元対象となる値に対し数値や文字列比較して一致するかを判定するステップＳ４１０６。
（７）該ステップＳ４１０６において一致していると判定したとき、転用状況を「転用」に設定して更新処理を行うステップＳ４１０７。
（８）前記ステップＳ４１０６において一致しないと判定したとき、対象転用先データとクラスタ内の各データの類似度（各データの類似度は図３ステップ５０２２の特徴量計算と同等の処理により算出）を比較し、クラスタ内で最も類似するデータが最新転用元データか否かを判定するステップＳ４１０８。
（９）該ステップＳ４１０８において最も類似するデータが最新転用元データと判定したとき、転用状況を「修正転用」に設定して更新処理を行うステップＳ４１０９。
（１０）記ステップＳ４１０８において最も類似するデータが最新転用元データでないと判定したとき、クラスタ内で最も類似するデータが過去の転用元データか否かを判定するステップＳ４１１０。
（１１）該ステップＳ４１１０において最も類似するデータが過去の転用元データであると判定したとき、転用状況を「転用不良」に設定して更新処理を行うステップＳ４１１１。
（１２）前記ステップＳ４１１０において最も類似するデータが過去の転用元データでないと判定したとき、クラスタ内で最も類似するデータが過去の転用先データか否かを判定するステップＳ４１１２。
（１３）該ステップＳ４１１２において最も類似するデータが過去の転用先データであると判定したとき、転用状況を「履歴参照」に設定して更新処理を行うステップＳ４１１３。
（１４）前記ステップＳ４１１２において最も類似するデータが過去の転用先データでないと判定したとき、統合データ群ＤＢ６０２にデータを格納し、更新される転用状況を転用状況６０２５のレコードに格納して処理を終了するステップ。
尚、本判定処理は、処理の追加・削除を禁止しておらず、新しい判定処理を追加することもできるし、詳細な判定条件により細分化された転用状況を付与することも可能である。

次に、本実施形態によるデータ統合サブシステム３００は、転用状況判定サブシステム４００が表示部２０２に図８に示した転用状況判定結果画面を表示する。

この転用状況判定結果画面は、図８に示す如く、画面全体２０１０の内部にクラスタの情報２０１１を表示し、このクラスタの情報２０１１は、必要な数だけ繰返し列挙されものであって、ユーザが記入可能なクラスタタイトル部２０１２と、クラスタ区分の結果を表示するクラスタ区分表示部２０１４と、クラスタを構成するデータの特徴ベクトル生成に用いられた情報を抜粋して表示する特徴表示部２０１３と、クラスタを構成するデータを一覧表示し、これらデータは、ソース区分２０１５と転用状況２０１６と識別子２０１７と更新日時２０１８とテキスト２０１９及び２０２０の各項目情報から成る。例えば、ソース区分２０１５が「転用元」のレコードに、識別子２０１７が「Ａ転用元００１Ｄ」、更新日時２０１８が「２０：１１：１１」、テキスト２０１９が「ＸＸサービスに関する〜」、テキスト２０２０が「ＸＸ機能は昨日列挙した〜」の如く表示され、ソース区分２０１５が「転用先」のレコードに、転用状況２０１６が「修正転用」、識別子２０１７が「Ａ転用先Ａ４３２」、更新日時２０１８が「２０：１１：１３」、テキスト２０１９が「○Ｘサービスに関する〜」、テキスト２０２０が「機能リストを参照したところ〜」の如く表示される。

このように本実施形態によるデータ統合サブシステム３００は、クラスタを構成するデータとして、ソース区分２０１５、転用状況２０１６、識別子２０１７、更新日時２０１８や、自動分類サブシステムにて特徴量を抽出した値、例えばテキスト情報（符号２０１９、２０２０）を表示することによって、クラスタを構成するデータを俯瞰することができ、また、転用状況の傾向把握を支援することができる。

以上の実施形態によるデータ統合サブシステム３００は、自動分類した集合（クラスタ）の要素が転用元を含むか転用先を含むか否かによって区分し、自動分類した集合（クラスタ）の中で転用状況を判定する手段を備えたことによって、単なる一致判定では判定が困難な転用状況においても、転用元と転用先を同集合として自動分類し、類似判定を行うことで転用状況の判定に基づいた作業を支援することができる。また、転用状況が記録されたデータを画面から参照することで、転用状況を一覧的に参照することができ、個々のデータの状況だけではなく、俯瞰した視点により転用元・転用先データの状況の把握を支援することができ、例えば、コールセンタ受付履歴とＦＡＱに適用することにより、新しく入手した過去事例をＦＡＱに転用した場合、転用データがどれだけ転用・活用されているかデータの有用性を評価することができる。

このように本発明は、例えば、「転用元類似」に設定されたクラスタが、転用元データが陳腐化しており、転用先データに見合う記載になっていないことが示唆され、該転用元データの修正や削除などの改善が期待でき、「転用先流用」に設定されたクラスタは転用元データが不足している可能性を示唆しており、転用元データを追加するなどの改善が期待でき、「転用元転用」では、転用元データが転用先データに「転用」されている可能性があり、改善のためには詳細な転用の状況に関して分析が必要であることが示唆されるといったように俯瞰的に且つ半自動的に評価することができる。

１００転用状況可視化システム、２００可視化サブシステム、
２０１入力部、２０２表示部、３００データ統合サブシステム、
３０１ソース区分追加部、３０２スキーマ管理部、
４００転用状況判定サブシステム、４０１転用判定部、
４０２クラスタ区分部、５００自動分類サブシステム、
５０１特徴ベクトル生成部、５０２クラスタリング部、
６０１変換スキーマ定義ＤＢ、６０２統合データ群ＤＢ、
６０３クラスタ情報ＤＢ

Claims

転用元データ及び転用先データを入力として、その転用状況の評価を支援する転用状況可視化システムであって、
操作者による転用元データ及び転用先データを入力するための入力部及び転用状況判定結果画面他のデータ表示を行う表示部を有する可視化サブシステムと、
転用元データおよび転用先データが統合されたデータにマッピングするための変換スキーマ定義情報を格納する変換スキーマ定義データベースと、
転用元及び転用先を統合したフォーマットのデータを格納する統合データ群データベースと、
前記入力部から入力された転用元データ及び転用先データが「転用元」か「転用先」かを表すソース区分を転用元データ及び転用先データに追加するソース区分追加部及び変換スキーマ定義データベースに定義された変換スキーマ定義を用いて統合データ群データベースのデータ形式に沿ったデータ形式に変換し、統合データ群データベースに格納するスキーマ管理部とを有するデータ統合サブシステムと、
統合データ群データベースに格納されたデータから特徴量を抽出し、ベクトル化した特徴ベクトルを生成する特徴ベクトル生成部及び各統合データの該特徴ベクトル上の類似性を用いて類似するクラスタを生成するクラスタリング部を有する自動分類サブシステムと、
前記クラスタリング部で出力されたクラスタ情報を格納するクラスタ情報データベースと、
前記クラスタ情報データベースに格納した各クラスタを構成する統合データのソース区分に基づいて転用元データのみから成るクラスタ区分である「転用元類似」か転用先のみから成るクラスタ区分である「転用先流用」か転用元及び転用先を含むクラスタ区分である「転用元転用」かに区分するクラスタ区分部並びに前記クラスタ区分とクラスタ情報を入力として転用判定結果を統合データ群データベースに格納する転用判定部を有する転用状況判定サブシステムと、
を備える転用状況可視化システム。
前記転用状況判定サブシステムの転用判定部が、クラスタ区分とクラスタ情報を入力と
し、クラスタ内の転用元データ及び転用先データ、転用元データ同士、あるいは転用先データ同士の比較と類似度処理によって、転用状況である「未転用」「転用」「修正転用」「転用不良」「履歴参照」を判定するサブ工程を実施する請求項１に記載の転用状況可視化システム。
前記自動分類サブシステムが、データ統合サブシステムに格納したデータが文書テキストの場合に単語毎の出現頻度、テキストの文字数を算出すること、及び又は音声ファイルの場合に音の大きさや音素の数を算出することにより特徴量を抽出する請求項１又は請求項２に記載の転用状況可視化システム。
操作者による転用元データ及び転用先データを入力するための入力部及び転用状況判定結果画面他のデータ表示を行う表示部を有する可視化サブシステムと、転用元データおよび転用先データが統合されたデータにマッピングするための変換スキーマ定義情報を格納する変換スキーマ定義データベースと、転用元及び転用先を統合したフォーマットのデータを格納する統合データ群データベースと、クラスタ情報を格納するクラスタ情報データベースと、を備え、転用元データ及び転用先データを入力として転用状況の評価を支援するコンピュータシステムの転用状況可視化方法であって、
前記コンピュータシステムが、
入力部から入力された転用元データ及び転用先データが「転用元」か「転用先」かを表すソース区分を転用元データ及び転用先データに追加するソース区分追加機能及び変換スキーマ定義データベースに定義された変換スキーマ定義を用いて統合データ群データベースのデータ形式に沿ったデータ形式に変換し、統合データ群データベースに格納するスキーマ管理機能を行うデータ統合サブ工程と、
統合データ群データベースに格納されたデータから特徴量を抽出し、ベクトル化した特徴ベクトルを生成する特徴ベクトル生成機能及び各統合データの該特徴ベクトル上の類似性を用いて類似するクラスタを生成するクラスタリング機能を行う自動分類サブ工程と、
前記クラスタ情報データベースに格納した各クラスタを構成する統合データのソース区分に基づいて転用元データのみから成るクラスタ区分である「転用元類似」か転用先のみから成るクラスタ区分である「転用先流用」か転用元及び転用先を含むクラスタ区分である「転用元転用」かに区分するクラスタ区分機能並びに前記クラスタ区分とクラスタ情報を入力として転用判定結果を統合データ群データベースに格納する転用判定機能を行う転用状況判定サブ工程と、
を実行する転用状況可視化方法。
前記転用状況判定サブ工程において、クラスタ区分とクラスタ情報を入力とし、クラスタ内の転用元データ及び転用先データ、転用元データ同士、あるいは転用先データ同士の比較と類似度処理によって、転用状況である「未転用」「転用」「修正転用」「転用不良」「履歴参照」を判定する請求項４に記載の転用状況可視化方法。
前記コンピュータシステムが、データ統合サブ工程により格納したデータが文書テキストの場合に単語毎の出現頻度、テキストの文字数を算出すること、及び又は音声ファイルの場合に音の大きさや音素の数を算出することにより特徴量を抽出する工程を実行する請求項４又は請求項５に記載の転用状況可視化方法。