JP6685985B2 - 分類支援装置、分類支援方法、および分類支援プログラム - Google Patents

Description

本発明は、分類支援装置、分類支援方法、および分類支援プログラムに関する。

従来、自然言語処理やディープラーニング技術などの人工知能関連技術を用いて、テキストや画像などの情報を、複数のカテゴリのうちいずれかのカテゴリに分類する技術が知られている。この分類技術は、例えば、サービス提供者がサービスの提供を受けた顧客から受け付けた意見や苦情などを分類することに利用されている。これに関連して、学習ステップを経て人工知能を成長させながら、データを人工知能によって評価し、評価に基づいて人工知能の成長の段階を可視化できるようにした技術が知られている（特許文献１参照）。

特許第５８８５８７５号公報

しかしながら、人工知能に教師データを学習させたり、人工知能の分類結果を評価したり、異なる教師データを学習させた人工知能を切り替えて分類させるといった作業は、サービス提供者にとって煩雑な作業となるため、サービス提供者にとって大きな負担となる場合があった。

本発明は、このような事情を考慮してなされたものであり、サービス提供者の負担を軽減することができる分類支援装置、分類支援方法、および分類支援プログラムを提供することを目的の一つとする。

本発明の一態様は、利用者によって作成されたテキストデータを含む対象データの分類を依頼するクライアントから、前記対象データを取得する第１の取得部と、前記対象データと、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルの特徴との対応関係を記憶する記憶部と、前記学習モデルを複数備える分類装置に、前記対応関係において前記第１の取得部により取得した前記対象データに対応した前記特徴を持つ前記学習モデルを指定して、前記対象データを分類させるための情報を提供する制御部と、を備える、分類支援装置である。

本発明の一態様によれば、サービス提供者の負担を軽減することができる。

分類システム１の一例を示す構成図である。 実施形態の分類装置４００の一例を示すブロック図である。 学習モデルパラメータ記憶部４３０に記憶される学習モデルテーブルの一例を示す図である。 実施形態の中央管理システム５００の一例を示すブロック図である。 学習モデル管理テーブルの一例を示す図である。 意見情報を収集するためのコンテンツ２２０の一例を示す図である。 意見収集部２１０において収集された意見の数を表すコンテンツ３１０の一例を示す図である。 意見情報の一覧を表すコンテンツ３２０の一例を示す図である。 分類装置４００により分類されたカテゴリを変更するコンテンツ３３０の一例を示す図である。 学習モデルを生成するためのコンテンツ３４０の一例を示す図である。 学習モデルの一覧を表すコンテンツ３５０の一例を示す図である。 学習モデルの詳細な情報を表すコンテンツ３６０の一例を示す図である。 教師データを更新するためのコンテンツ３７０の一例を示す図である。 分類対象データの分類を行うためのコンテンツ３８０の一例を示す図である。 分類結果をダウンロードするためのコンテンツ３９０の一例を示す図である。 分類対象データに含まれる個人情報の漏洩を防止するためのコンテンツ３８０Ａの一例を示す図である。 分類結果の確信度に閾値を設定するためのコンテンツ３８０Ｂの一例を示す図である。 学習支援処理の流れの一例を示すフローチャートである。 分類支援処理の流れの一例を示すフローチャートである。 ユーザ端末装置１００、サービス提供装置２００、管理端末装置３００、分類装置４００、および中央管理システム５００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の分類支援装置、分類支援方法、および分類支援プログラムの実施形態について説明する。

＜１．概要＞
図１は、分類システム１の一例を示す構成図である。実施形態の分類システム１は、サービス提供者が顧客から受け付けた分類対象データを、予め設定した複数のカテゴリのうちいずれかのカテゴリに分類する処理を行うと共に、その分類を行う過程で発生し得る作業を支援するものである。分類システム１の分類装置４００は、サービス提供者が顧客から受け付けた分類対象データを分類するために、サービス提供者から受け付けた教師データに基づいて学習モデルを生成する。分類装置４００は、サービス提供者から教師データを受け付ける度に学習を実行することで、バージョンなどが異なる複数の学習モデルを生成する。そして、分類システム１の中央管理システム５００は、サービス提供者から分類対象データを受け付けた場合に、学習モデルのバージョンなどに基づいて、分類対象データを適切な学習モデルに振り分ける。これにより、分類システム１は、サービス提供者が学習モデルのバージョンなどを考慮することなく、分類対象データを適切なカテゴリに分類することができる。この結果、分類システム１は、サービス提供者の負担を軽減することができる。

＜２．分類システム１の構成＞
実施形態の分類システム１は、例えば、一以上のユーザ端末装置１００と、一以上のサービス提供装置２００と、管理端末装置３００と、分類装置４００と、中央管理システム５００とを備える。

ユーザ端末装置１００、サービス提供装置２００、管理端末装置３００、分類装置４００、および中央管理システム５００は、互いにネットワーク（不図示）に接続されている。ユーザ端末装置１００、サービス提供装置２００、管理端末装置３００、分類装置４００、および中央管理システム５００は、ＮＩＣ（Network Interface Card）や無線通信モジュールなどの通信インターフェースを備えている（図１では不図示）。ネットワークは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、これらの構成要素の全ての組み合わせが相互に通信可能である必要はなく、ネットワークは、一部にローカルなネットワークを含んでもよい。

ユーザ端末装置１００は、サービス提供者から提供されるサービス利用者によって使用される装置である。ユーザ端末装置１００は、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータなどのコンピュータ装置（通信装置）である。ユーザ端末装置１００は、ウェブブラウザなどのＵＡ（User Agent）が起動し、ユーザによって所定の操作がなされることで、サービス提供装置２００に対してＨＴＴＰ（Hypertext Transfer Protocol）リクエストを送信する。そして、ユーザ端末装置１００は、サービス提供装置２００から返信されたコンテンツに基づいてウェブ画面を生成し、表示部に表示させる。なお、コンテンツを取得するための手段として、ウェブブラウザに代えて、任意のアプリケーションプログラムが使用されてもよい。

サービス提供装置２００は、例えばＣＰＵ（Central Processing Unit）などのプロセッサが、プログラムメモリに格納されたアプリケーションプログラム（ソフトウェア）を実行するコンピュータである。サービス提供装置２００は、例えば、サービス利用者にサービスを提供するサーバ装置である。サービス提供装置２００が提供するサービスは、例えば、ユーザ端末装置１００から受信した要求に基づいて処理を行い、処理結果をユーザ端末装置１００に提供するサービスである。サービス提供装置２００が提供するサービスは、例えば、ユーザ端末装置１００から受け付けたクエリに基づいて検索結果を提供する検索サービス、ユーザ端末装置１００から受け付けた位置情報などに基づいて経路を案内するカーナビサービス、ユーザ端末装置１００から受け付けた要求に基づいて動画を配信する動画配信サービスなどである。

さらに、サービス提供装置２００は、提供しているサービスに関する意見を受け付けるサービスを提供する。サービス提供装置２００は、意見収集部２１０を備える。意見収集部２１０は、ユーザ端末装置１００の要求に応じて意見を受け付けるためのコンテンツを提供する。意見収集部２１０は、意見を受け付けるためのコンテンツを利用して受け付けた意見の本文などを含む意見情報を受信し、記憶部に記憶する。

サービス提供装置２００は、ミニブログなどのソーシャルネットワークサービス（ＳＮＳ）を提供するサーバ装置であってもよい。サービス提供装置２００は、自身が提供しているソーシャルネットワークサービスにおいて投稿されたツイートやメッセージなどを意見情報として記憶する。

サービス提供装置２００は、他のサービス提供装置２００が受け付けた意見情報を収集するサービスを提供してよい。このサービス提供装置２００は、検索サービスなどのサービス提供装置２００に特有のサービスを提供することなしに、他のサービス提供装置２００から意見情報を収集する。サービス提供装置２００は、収集した意見を分類した結果などを他のサービス提供装置２００に提供する。

サービス提供装置２００は、収集した意見情報のうち、分類を依頼する分類対象データを中央管理システム５００に送信する。サービス提供装置２００は、分類対象データに、サービス提供装置２００が提供するサービスに関する情報を含める。サービスに関する情報は、例えば、ＩＤおよびパスワードである。サービス提供装置２００は、分類対象データを分類した結果を受け付ける。サービス提供装置２００は、受け付けた結果を、分類対象データに対応付けて意見収集部２１０に記憶させる。

管理端末装置３００は、サービス提供装置２００の管理者または中央管理システム５００の管理者によって使用される装置である。管理端末装置３００は、例えば、タブレット端末やパーソナルコンピュータなどのコンピュータ装置（通信装置）である。管理端末装置３００は、ウェブブラウザなどのＵＡ（User Agent）が起動し、ユーザによって所定の操作がなされることで、中央管理システム５００に対してＨＴＴＰリクエストを送信する。そして、管理端末装置３００は、中央管理システム５００から返信されたコンテンツに基づいてウェブ画面を生成し、表示部に表示させる。なお、コンテンツを取得するための手段として、ウェブブラウザに代えて、任意のアプリケーションプログラムが使用されてもよい。

管理端末装置３００は、意見収集部２１０が収集した意見情報に基づいて教師データを生成する。管理端末装置３００は、生成した教師データを中央管理システム５００に供給する。教師データとは、意見の本文などの分類対象のデータに、当該分類対象のデータのカテゴリ（正解値）を付加したデータである。教師データにおけるカテゴリは、カテゴリの正解値を表す。

［２．１ 分類装置４００の構成］
分類装置４００は、教師データに基づいて学習処理を行うことで、学習モデルを生成する。学習モデルは、教師データを用いた学習結果に基づいて分類対象データを分類するソフトウェアプログラムである。学習モデルは、例えば、ニューラルネットワークを多層化したディープラーニングなどの人工知能技術を利用してデータを分類するソフトウェアプログラムである。分類装置４００は、学習モデルにより、分類対象データを、予め設定されたカテゴリのうちいずれかのカテゴリに分類する。カテゴリは、意見の種類を表す。カテゴリは、賛辞、要望、苦情、問い合わせ、会話、など、サービス提供者が意見を分析する際に必要な区分で設定される。

図２は、実施形態の分類装置４００の一例を示すブロック図である。分類装置４００は、例えば、学習部４１０と、学習モデル管理部４２０と、学習モデルパラメータ記憶部４３０と、分類部４４０とを備える。学習部４１０、学習モデル管理部４２０、および分類部４４０は、例えばＣＰＵなどのプロセッサが、プログラムメモリ（例えば学習モデルパラメータ記憶部４３０）に格納されたアプリケーションプログラム（ソフトウェア）を実行することにより実現される。学習部４１０、学習モデル管理部４２０、および分類部４４０を含む機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

学習部４１０は、中央管理システム５００から供給された教師データに基づいて学習モデルの生成および更新を行う。学習部４１０は、例えば、学習モデルがニューラルネットワークを実行するソフトウェアプログラムである場合、ソフトウェアプログラムにより実行される処理に変化を与える処理パラメータを生成または更新する。

学習モデル管理部４２０は、学習部４１０により生成または更新した処理パラメータを、学習モデルの処理パラメータとして学習モデルパラメータ記憶部４３０に記憶する。また、学習モデル管理部４２０は、学習モデルに対応する、学習モデルの識別情報およびパスワードを生成する。学習モデルに対応するＩＤおよびパスワード（以下、モデルＩＤ(ＭＩＤ)およびモデルパスワード（ＭＰＷ）と記載する）は、学習モデルの処理パラメータと対応付けられて記憶される情報である。なお、学習モデル管理部４２０は、モデルＩＤおよびモデルパスワードの両方を学習モデルに対応付けてよいが、これに限定されず、モデルＩＤのみを対応付けてよく、モデルＩＤおよびモデルパスワードに加えて他の情報を対応付けてもよい。

学習モデルパラメータ記憶部４３０は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、或いはこれらのうち複数を組み合わせたハイブリッド型記憶装置により実現される。また、学習モデルパラメータ記憶部４３０の一部または全部は、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、分類装置４００がアクセス可能な外部装置であってよい。学習モデルパラメータ記憶部４３０は、学習モデル管理部４２０により学習モデルの処理パラメータを記憶する。

図３は、学習モデルパラメータ記憶部４３０に記憶される学習モデルテーブルの一例を示す図である。学習モデルパラメータ記憶部４３０は、モデルＩＤ、モデルパスワード、および学習モデルの処理パラメータを対応付けて記憶する。

分類部４４０は、中央管理システム５００から分類対象データ、モデルＩＤおよびモデルパスワードが供給される。分類部４４０は、モデルＩＤおよびモデルパスワードに対応する学習モデルの処理パラメータを学習モデルパラメータ記憶部４３０から読み出す。分類部４４０は、読み出した処理パラメータに従って、分類対象データを、予め設定されたカテゴリのうちいずれかのカテゴリに分類する。分類部４４０は、分類した結果を、中央管理システム５００に提供する。

［２．２ 中央管理システム５００の構成］
図４は、実施形態の中央管理システム５００の一例を示すブロック図である。中央管理システム５００は、分類対象データを分類装置４００により分類させる処理を支援する。中央管理システム５００は、分類支援装置の一例である。中央管理システム５００は、例えば、教師データ取得部５１０と、学習制御部５２０と、学習管理部５３０と、学習モデル管理テーブル記憶部５４０と、分類対象データ取得部５５０と、分類制御部５６０とを備える。教師データ取得部５１０、学習制御部５２０、学習管理部５３０、分類対象データ取得部５５０、および分類制御部５６０は、例えばＣＰＵなどのプロセッサが、プログラムメモリ（例えば学習モデル管理テーブル記憶部５４０）に格納されたアプリケーションプログラム（ソフトウェア）を実行することにより実現される。教師データ取得部５１０、学習制御部５２０、学習管理部５３０、分類対象データ取得部５５０、および分類制御部５６０を含む機能部のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

教師データ取得部５１０は、管理端末装置３００から供給された教師データを取得する。学習制御部５２０は、教師データ取得部５１０により取得された教師データを分類装置４００に提供する。学習管理部５３０は、分類装置４００から提供されたモデルＩＤおよびモデルパスワードを取得する。学習管理部５３０は、取得したモデルＩＤおよびモデルパスワードを、学習モデル管理テーブル記憶部５４０に記憶させる。

学習モデル管理テーブル記憶部５４０は、学習モデル管理テーブルを記憶する。学習モデル管理テーブル記憶部５４０は、例えば、ＨＤＤやフラッシュメモリ、ＲＡＭ、ＲＯＭ、或いはこれらのうち複数を組み合わせたハイブリッド型記憶装置により実現される。また、学習モデルパラメータ記憶部４３０の一部または全部は、ＮＡＳや外部のストレージサーバなど、中央管理システム５００がアクセス可能な外部装置であってよい。

学習モデル管理テーブル記憶部５４０は、分類対象データと、学習モデルの特徴との対応関係を記憶する。図５は、学習モデル管理テーブルの一例を示す図である。学習モデル管理テーブルは、サービスＩＤ（ＳＩＤ）に、サービスパスワード（ＳＰＷ）、モデルＩＤ（ＭＩＤ）、およびモデルパスワード（ＭＰＷ）が対応付けられた情報である。サービスＩＤは、サービス提供装置２００により提供されるサービスに対応する情報である。サービスＩＤは、サービス提供装置２００から提供される分類対象データに相当する情報である。モデルＩＤ、およびモデルパスワードは、学習モデルの特徴に相当する情報である。

学習モデル管理テーブル記憶部５４０は、サービスＩＤまたはモデルＩＤに、学習モデルの特徴を表す情報を対応付けて記憶してもよい。学習モデルの特徴を表す情報は、例えば、学習モデルのバージョンである。また、学習モデルの特徴を表す情報は、学習モデルの名前など、サービス提供者などが学習モデルを切り替えたい場合に識別可能な情報であればよい。

分類対象データ取得部５５０は、サービス提供装置２００から供給された分類対象データを取得する。分類対象データには、サービスＩＤおよびサービスパスワードが含まれている。

分類制御部５６０は、分類対象データ取得部５５０により取得されたサービスＩＤおよびサービスパスワードに対応するモデルＩＤおよびモデルパスワードを学習モデル管理テーブル記憶部５４０から取得する。分類制御部５６０は、モデルＩＤ、モデルパスワード、および分類対象データを分類装置４００に送信する。これにより、分類制御部５６０は、分類装置４００に、学習モデルを指定して、分類対象データを分類させるための情報を提供する。

＜３．意見情報の収集＞
図６は、意見情報を収集するためのコンテンツ２２０の一例を示す図である。サービス提供装置２００は、意見情報を収集するため、コンテンツ２２０をユーザ端末装置１００で表示させるための情報を提供する。コンテンツ２２０は、例えば、種別選択欄２２２、本文入力欄２２４、および送信ボタン２２６を含む情報である。サービス提供装置２００は、意見の種別が選択され、本文が入力された状態において送信ボタン２２６が選択された場合に、意見の種別および本文を含む意見情報を受け付ける。サービス提供装置２００は、受け付けた意見収集を意見収集部２１０に格納する。

＜４．分類結果の修正＞
図７は、意見収集部２１０において収集された意見の数を表すコンテンツ３１０の一例を示す図である。意見収集部２１０において収集された意見情報は、管理端末装置３００により取得される。管理端末装置３００は、例えば、サービスおよび日付に対応付けて、意見収集部２１０において収集された意見の数を表すコンテンツ３１０を管理者に提供する。

図８は、意見情報の一覧を表すコンテンツ３２０の一例を示す図である。管理端末装置３００は、コンテンツ３１０におけるサービスおよび日付に対応付けられた意見の数を選択する操作を受け付けた場合に、コンテンツ３２０を管理者に提供する。コンテンツ３２０には、一又は複数の意見情報が含まれる。各意見情報には、ＩＤと、投稿日時と、サービス名と、フォーム名と、選択種別と、本文とが含まれている。

図９は、分類装置４００により分類されたカテゴリを変更するコンテンツ３３０の一例を示す図である。管理端末装置３００は、コンテンツ３２０のうちいずれかの意見情報が選択された場合に、サービス名、フォーム名、投稿日時、意見の内容、および分類装置４００により分類された結果を含むコンテンツ３３０を管理者に提供する。管理者は、意見情報の分類結果を確認することができる。

管理端末装置３００は、分類結果を修正する操作を受け付けた場合、意見情報および修正した分類結果を記憶する。これにより、管理端末装置３００は、意見情報および修正した分類結果を、教師データとして中央管理システム５００に送信することができる。

＜５．学習モデルの生成＞
図１０は、学習モデルを生成するためのコンテンツ３４０の一例を示す図である。管理端末装置３００は、学習モデルを生成する操作を受け付けた場合に、コンテンツ３４０を提供する。コンテンツ３４０には、例えば、分類名入力欄３４２、学習対象データ入力欄３４４、ファイル選択ボタン３４６、および作成ボタン３４８が含まれている。管理端末装置３００は、ファイル選択ボタン３４６が選択されることで、記憶していた教師データを学習対象データとして指定することができる。

管理端末装置３００は、学習モデル名に相当する分類名、および学習対象データが指定された状態で、作成ボタン３４８が選択された場合に、教師データを中央管理システム５００に送信する。中央管理システム５００は、管理端末装置３００から教師データを取得した場合に、取得した教師データを分類装置４００に送信する。これにより、分類装置４００は、教師データを用いた学習処理を行うことで学習モデルを生成する。分類装置４００は、生成した学習モデルに対応するモデルＩＤおよびモデルパスワードを中央管理システム５００に送信する。中央管理システム５００は、受信したモデルＩＤおよびモデルパスワードを、学習モデル管理テーブル記憶部５４０に記憶する。これにより、分類システム１は、学習モデルを生成することができる。

＜６．学習モデルおよび教師データの更新＞
図１１は、学習モデルの一覧を表すコンテンツ３５０の一例を示す図である。管理端末装置３００は、分類部４４０により生成された学習モデルを確認する場合、コンテンツ３５０を提供する。コンテンツ３５０には、検索ワード入力欄３５２、検索ボタン３５４、新規作成ボタン３５６、および学習モデルの一覧３５８が含まれている。学習モデルの一覧３５８には、ステータス、サービス名に対応する分類名、およびサービスと連携したシステムが含まれている。ステータスは、例えば、「学習中」、分類対象データを分類することができる「利用可能」などである。システム連携は、意見情報を収集するサービスを利用しているか否かを表す。システム連携が「意見収集システム」であるとは、例えば、カーナビサービスにおいて受け付けた意見情報を、連携する意見収集システムに集約していることを表している。

図１２は、学習モデルの詳細な情報を表すコンテンツ３６０の一例を示す図である。管理端末装置３００は、コンテンツ３５０のうちカーナビに対応する学習モデルが選択された場合に、コンテンツ３６０を提供する。コンテンツ３６０には、分類名、作成者、バージョン、作成日、および連携システムが含まれている。バージョンは、学習モデルのバージョンである。学習モデルのバージョンは、例えば、同じ学習モデル名を指定して教師データにより学習する度にインクリメントされる、学習モデルに関連する数字である。

図１３は、教師データを更新するためのコンテンツ３７０の一例を示す図である。管理端末装置３００は、図１２に示したコンテンツ３６０と共にコンテンツ３７０を提供する。また、管理端末装置３００は、学習モデルを指定してコンテンツ３７０を提供してもよい。コンテンツ３７０には、教師データを指定するためのワード入力欄３７２、ファイル選択ボタン３７４、および更新開始ボタン３７６が含まれている。管理端末装置３００は、ファイル選択ボタン３７４が選択されることで、記憶していた教師データを学習対象データとして指定することができる。

なお、管理端末装置３００は、教師データの内容を特定する情報と、更新開始ボタンとを含むコンテンツを提供し、更新開始ボタンが選択された場合に、当該コンテンツにより提供した教師データを学習対象データとして指定してもよい。教師データの内容を特定する情報は、例えば、サービス名、作成者、バージョン、作成日、連携システム、カテゴリの一覧、カテゴリの修正履歴である。

管理端末装置３００は、教師データが指定された状態で、更新開始ボタン３７６が選択された場合に、学習モデルを指定する情報、および教師データを中央管理システム５００に送信する。学習モデルを指定する情報は、モデルＩＤおよびモデルパスワードである。学習モデルを指定する情報は、サービスＩＤおよびサービスパスワードであってもよい。中央管理システム５００は、管理端末装置３００から教師データを取得した場合に、取得した教師データを分類装置４００に送信する。これにより、分類装置４００は、教師データを用いた学習処理を行うことで学習モデルを生成する。分類装置４００は、生成した学習モデルに対応するモデルＩＤおよびモデルパスワードを中央管理システム５００に送信する。中央管理システム５００は、受信したモデルＩＤおよびモデルパスワードを、学習モデル管理テーブル記憶部５４０に記憶する。また、中央管理システム５００は、更新した学習モデルのバージョンに対応する番号をインクリメントする。これにより、分類システム１は、学習モデルを更新することができる。

［６．１ 学習モデルの選択］
学習モデルのバージョンを更新した場合において、新たに更新されたバージョンの学習モデルにより取得された分類結果が、前のバージョンの学習モデルにより取得された分類結果よりも好ましくない場合がある。そこで、中央管理システム５００は、クライアントごとに複数の学習モデルが生成されている場合において、クライアントからの要求に基づいて学習モデルを変更してもよい。

中央管理システム５００は、例えば、学習モデルのバージョンを選択させるコンテンツを提供することで、学習モデルのバージョンを変更する情報を受け付ける。中央管理システム５００は、学習モデルのバージョンを、新しいバージョンから古いバージョンに変更する要求を受け付けた場合、サービスＩＤおよびサービスパスワードに対応するモデルＩＤおよびモデルパスワードを、新しいバージョンのモデルＩＤおよびモデルパスワードから古いバージョンのモデルＩＤおよびモデルパスワードに変更する。

＜７．分類対象データの分類＞
［７．１ 自動的な分類対象データの分類］
分類対象データの分類は、意見収集部２１０に意見情報が収集されたタイイングで、自動的に行われる。意見情報が収集されたタイイングは、意見情報が所定量に達したタイミング、または前回の分類を行った時刻からの経過時間が所定時間に達したタイミングであってもよい。意見収集部２１０は、サービス提供装置２００から意見情報を収集した場合に、意見情報を分類対象データとして中央管理システム５００に送信する。中央管理システム５００は、分類対象データと共に受信したサービスＩＤおよびサービスパスワードに対応したモデルＩＤおよびモデルパスワードを指定して分類対象データを分類装置４００に送信する。分類装置４００は、モデルＩＤおよびモデルパスワードにより指定された学習モデルにより分類対象データを所定のカテゴリのうちいずれかのカテゴリに分類する。分類装置４００は、分類結果を中央管理システム５００に送信する。中央管理システム５００は、分類結果を受信した場合に、受信した分類結果を意見収集部２１０に送信する。意見収集部２１０は、受信した分類結果を、分類対象データに対応付けて記憶する。

［７．２ 手動の分類対象データの分類］
図１４は、分類対象データの分類を行うためのコンテンツ３８０の一例を示す図である。管理端末装置３００は、分類対象データの分類を行う場合に、コンテンツ３８０を提供する。なお、コンテンツ３８０が提供される端末装置は、サービス提供者が利用する端末装置（不図示）であってもよい。コンテンツ３８０には、分類対象データを指定する入力欄３８２、分類対象データを含むファイルを選択するためのファイル選択ボタン３８４、および手動分類開始ボタン３８６が含まれている。管理端末装置３００は、分類対象データが指定された状態で手動分類開始ボタン３８６が選択された場合、指定された分類対象データを中央管理システム５００に送信する。これにより、中央管理システム５００は、自動的な分類対象データの分類と同様に、学習結果を取得する。

図１５は、分類結果をダウンロードするためのコンテンツ３９０の一例を示す図である。管理端末装置３００は、分類結果を確認する場合に、コンテンツ３９０を提供する。コンテンツ３９０には、分類対象データごとに、処理ステータス、分類名（サービス名）、開始日、実行者、およびダウンロード（ＤＬ）ステータスが含まれている。処理ステータスは、分類処理のステータスである。分類処理のステータスは、例えば、分類結果の生成中、分類の完了、または分類の失敗を表す。ダウンロードステータスは、分類結果のダウンロードが未だ開始できないこと、ダウンロードが可能であること、または、ダウンロードが不能であることを表す。ダウンロードステータスは、アイコンで表示されてもよい。管理端末装置３００は、ダウンロードステータスが可能であることを表すアイコンが選択された場合に、選択されたアイコンに対応する分類結果をダウンロードすることができる。

［７．３ 個人情報のマスク］
図１６は、分類対象データに含まれる個人情報の漏洩を防止するためのコンテンツ３８０Ａの一例を示す図である。管理端末装置３００は、分類対象データを分類させる場合において、個人情報が分類装置４００に漏洩することを防止する場合、コンテンツ３８０Ａを提供する。コンテンツ３８０Ａには、分類対象データを指定するための入力欄３８２Ａおよびファイル選択ボタン３８４Ａが含まれている。コンテンツ３８０Ａには、個人情報をマスキングすることを指示するボタン３８６Ａ−１、個人情報を削除することを指定するボタン３８６Ａ−２、および個人情報に該当する個所にマーキングすることを指定するボタン３８６Ａ−３が含まれている。コンテンツ３８０Ａには、決定ボタン３８８Ａが含まれている。管理端末装置３００は、分類対象データ、および個人情報の削除方法が指定された状態で、決定ボタン３８８Ａが選択されたことに応じて、分類対象データに対する個人情報の削除方法を表す情報を中央管理システム５００に提供する。

中央管理システム５００は、分類対象データに個人情報に相当する情報が含まれているか否かを判定する。中央管理システム５００は、分類対象データに個人情報に相当する情報が含まれている場合、指定された削除方法に従って、個人情報に相当する情報に対して変換処理を行う。

［７．４ 分類結果の送信閾値］
図１７は、分類結果の確信度に閾値を設定するためのコンテンツ３８０Ｂの一例を示す図である。分類装置４００は、学習モデルにより分類対象データの分類を行った結果に対して確信度を付加する。確信度は、学習モデルから供給された分類結果の確からしさを表す情報である。管理端末装置３００は、分類対象データを分類させる場合において、確信度の閾値を設定する場合、コンテンツ３８０Ｂを提供する。コンテンツ３８０Ｂには、確信度の閾値を指定するためのスライダ３８２Ｂ、および決定ボタン３８４Ｂが含まれている。管理端末装置３００は、スライダ３８２Ｂの位置が選択された状態で、決定ボタン３８４Ｂが選択されたことに応じて、確信度の閾値を表す情報を中央管理システム５００に提供する。

中央管理システム５００は、分類対象データに確信度の閾値を表す情報が含まれている場合、確信度の閾値を分類装置４００に送信する。分類装置４００は、分類結果の確信度が確信度の閾値を超えている場合、分類結果をそのまま中央管理システム５００に送信する。分類装置４００は、分類結果の確信度が確信度の閾値を超えていない場合、分類できないことを表す「unknown」を中央管理システム５００に送信する。これにより、中央管理システム５００は、確信度の閾値が所定の閾値を超える分類結果を意見収集部２１０に提供することができる。

なお、中央管理システム５００は、分類装置４００から受信した分類結果から設定された閾値を超えている確信度の分類結果を抽出し、抽出した分類結果を意見収集部２１０または管理端末装置３００に提供してもよい。

＜８．中央管理システム５００の処理手順＞
［８．１ 学習支援処理］
図１８は、学習支援処理の流れの一例を示すフローチャートである。なお、学習支援処理は、所定時間ごとに繰り返して実行される。中央管理システム５００は、学習を開始するか否かを判定する（Ｓ１００）。中央管理システム５００は、所定条件を満たした場合に、学習を開始すると判定する。所定条件とは、例えば、コンテンツ３４０または３７０を提供している状態で学習対象データを指定した要求を受信したことである。所定条件とは、特定のサービスに関する教師データを用いて学習を行っていない期間が所定期間を超えたことであってもよい。所定条件とは、特定のサービスに関して、カテゴリを修正した結果得られた教師データの数が所定数を超えたことであってもよい。中央管理システム５００は、学習を開始しない場合、本フローチャートの処理を終了する。

中央管理システム５００は、学習を開始する場合、管理端末装置３００から学習対象データを取得する（Ｓ１０２）。中央管理システム５００は、新たな学習モデルを作成するか否かを判定する（Ｓ１０４）。中央管理システム５００は、コンテンツ３４０を提供している状態で分類対象データを指定した要求を取得した場合には、新たに学習モデルを作成すると判定する。中央管理システム５００は、コンテンツ３７０を提供している状態で分類対象データを指定した要求を取得した場合には、学習モデルを更新すると判定する。

中央管理システム５００は、新たな学習モデルを作成する場合、取得した学習対象データを分類装置４００に送信する（Ｓ１０６）。中央管理システム５００は、分類装置４００により学習モデルが生成されたことに応じ、新たな学習モデルに対応するモデルＩＤおよびモデルパスワードを取得する（Ｓ１０８）。中央管理システム５００は、取得したモデルＩＤおよびモデルパスワードを、サービスＩＤおよびサービスパスワードに対応付けて、記憶する。

［８．１．１ 交差検証］
中央管理システム５００は、交差検証技術を用いて、教師データを変更してもよい。中央管理システム５００は、まず、教師データのうち一部の教師データにより、分類装置４００において学習モデルを生成させる。次に中央管理システム５００は、生成された学習モデルを指定して、教師データのうち残りの一部を分類させる。中央管理システム５００は、残りの一部の教師データの分類結果と、残りの一部の教師データに付加されたカテゴリとを比較する。中央管理システム５００は、分類結果と教師データに付加されたカテゴリとの一致率が所定値（例えば９０％）を超える場合、残りの一部の教師データを用いて学習を継続させる。中央管理システム５００は、分類結果と教師データに付加されたカテゴリとの一致率が所定値（例えば９０％）以下である場合、残りの一部の教師データを変更して、学習を継続させる。

［８．２ 分類支援処理］
図１９は、分類支援処理の流れの一例を示すフローチャートである。なお、分類支援処理は、所定時間ごとに繰り返して実行される。中央管理システム５００は、分類要求を受け付けたか否かを判定する（Ｓ２００）。中央管理システム５００は、意見収集部２１０から分類対象データを受信した場合、分類要求を受け付けたと判定する。また、中央管理システム５００は、コンテンツ３８０を提供している状態で、管理端末装置３００から分類対象データを受信した場合に、分類要求を受け付けたと判定する。中央管理システム５００は、分類要求を受け付けていない場合、本フローチャートの処理を終了する。

中央管理システム５００は、分類要求を受け付けた場合、分類対象データを取得する（Ｓ２０２）。中央管理システム５００は、分類対象データと共に受け付けたサービスＩＤおよびサービスパスワードに対応するモデルＩＤおよびモデルパスワードを取得する（Ｓ２０４）。中央管理システム５００は、取得したモデルＩＤおよびモデルパスワードと、分類対象データを分類装置４００に送信する（Ｓ２０６）。中央管理システム５００は、分類対象データと共に、個人情報の削除方法および／または確信度の閾値を送信してもよい。

中央管理システム５００は、分類処理のステータスを取得する（Ｓ２０８）。中央管理システム５００は、分類処理のステータスとして、分類中、または分類失敗を取得する。次に中央管理システム５００は、分類結果を受信したか否かを判定する（Ｓ２１０）。中央管理システム５００は、分類結果を受信していない場合、処理をＳ２０８に戻す。

中央管理システム５００は、分類結果を受信した場合、受信した分類結果を意見収集部２１０または管理端末装置３００に提供する（Ｓ２１２）。

＜９．実施形態の効果＞
以上説明した中央管理システム５００によれば、分類対象データと学習モデルの特徴との対応関係に基づいて学習モデルを指定して、分類対象データを分類させるための情報を、分類装置４００に提供するので、分類装置４００に特徴が異なる複数の学習モデルがある場合であっても、サービス提供者などのクライアントが学習モデルを選択する必要がない。この結果、中央管理システム５００によれば、学習モデルのバージョンを管理するなどの煩雑な作業を省くことができ、サービス提供者の負担を軽減することができる。

中央管理システム５００によれば、サービス提供装置２００から中央管理システム５００に提供するサービスＩＤおよびサービスパスワードに対応したモデルＩＤおよびモデルパスワードを指定することで、所望の学習モデルによって分類対象データを分類させることができる。これにより、中央管理システム５００は、クライアントごとに学習モデルを選択し、選択した学習モデルを指定して分類対象データを分類させることができる。これにより、中央管理システム５００は、サービス提供者の負担を軽減することができる。

中央管理システム５００によれば、学習モデルのバージョンが変更された場合にサービスＩＤおよびサービスパスワードに対応するモデルＩＤおよびモデルパスワードを変更するので、学習モデルのバージョンをサービス提供者が意識することなく、分類対象データの分類を実行することができる。

中央管理システム５００によれば、クライアントからの要求に基づいて選択されたバージョンにより学習モデルを切り替えることができるので、サービス提供者の負担を軽減しつつ、利便性を向上させることができる。

中央管理システム５００によれば、分類対象データに個人情報などのユーザに関する情報が含まれる場合に、ユーザに関する情報の削除方法を選択することができる。これにより、中央管理システム５００によれば、サービス提供装置２００により収集した意見情報を中央管理システム５００に対する外部装置に提供することを抑制することができる。

中央管理システム５００によれば、分類結果の確信度に基づいて分類結果をクライアントに提供する処理を制限するので、クライアントの要求に合わせた確信度の分類結果を提供することでき、サービス提供者の負担を軽減しつつ、利便性を向上させることができる。

中央管理システム５００によれば、所定条件を満たした場合に、教師データを用いて学習した学習モデルを分類装置に生成させるので、サービス提供者の負担をさらに軽減することができる。

中央管理システム５００によれば、交差検証により教師データを変更するので、学習の精度を高くすることができる。

＜１０．ハードウェア構成＞
図２０は、ユーザ端末装置１００、サービス提供装置２００、管理端末装置３００、分類装置４００、および中央管理システム５００のハードウェア構成の一例を示す図である。本図は、ユーザ端末装置１００がパーソナルコンピュータなどである例を示している。ユーザ端末装置１００は、例えば、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、フラッシュメモリなどの二次記憶装置１０４、操作および表示などのためのインターフェース１０５、および無線通信モジュール１０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。管理端末装置３００は、例えば、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、フラッシュメモリなどの二次記憶装置３０４、操作および表示などのためのインターフェース３０５、および無線通信モジュール３０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。

サービス提供装置２００は、例えば、ＮＩＣ２０１、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、フラッシュメモリやＨＤＤなどの二次記憶装置２０５、およびドライブ装置２０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置２０６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置２０５、またはドライブ装置２０６に装着された可搬型記憶媒体に記憶されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ２０３に展開され、ＣＰＵ２０２によって実行されることで、サービス提供装置２００の機能部が実現される。

分類装置４００は、例えば、ＮＩＣ４０１、ＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、フラッシュメモリやＨＤＤなどの二次記憶装置４０５、およびドライブ装置４０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置４０６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置４０５、またはドライブ装置４０６に装着された可搬型記憶媒体に記憶されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ４０３に展開され、ＣＰＵ４０２によって実行されることで、分類装置４００の機能部が実現される。

中央管理システム５００は、例えば、ＮＩＣ５０１、ＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、フラッシュメモリやＨＤＤなどの二次記憶装置５０５、およびドライブ装置５０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置５０６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置５０５、またはドライブ装置５０６に装着された可搬型記憶媒体に記憶されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ４０３に展開され、ＣＰＵ５０２によって実行されることで、中央管理システム５００の機能部が実現される。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…分類システム、１００…ユーザ端末装置、２００…サービス提供装置、２１０…意見収集部、３００…管理端末装置、４００…分類装置、４１０…学習部、４２０…学習モデル管理部、４３０…学習モデルパラメータ記憶部、４４０…分類部、５００…中央管理システム、５１０…教師データ取得部、５２０…学習制御部、５３０…学習管理部、５４０…学習モデル管理テーブル記憶部、５５０…分類対象データ取得部、５６０…分類制御部

Claims (12)

1. 対象データの分類を依頼するクライアントから、前記対象データを取得する第１の取得部と、
   教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を記憶する記憶部と、
   前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させる制御部と、
   を備え、
   前記制御部は、
   前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新し、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更し、
   前記第１の取得部により取得された前記対象データに前記クライアントに関連するサービスを利用するユーザに関する情報が含まれる場合に、管理者によって指定された方法で前記ユーザに関する情報を変換し、変換した情報を含む前記対象データを分類させる、
   分類支援装置。
2. 対象データの分類を依頼するクライアントから、前記対象データを取得する第１の取得部と、
   教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を記憶する記憶部と、
   前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させる制御部と、
   を備え、
   前記制御部は、
   前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新し、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更し、
   前記学習モデルから供給された分類結果の確からしさを表す確信度が、管理者によって設定された閾値を超える場合に、前記分類結果を前記クライアントに提供する、
   分類支援装置。
3. 前記クライアントは、サービス提供者であり、
   前記記憶部は、前記学習モデルのバージョン情報を前記クライアントのサービスごとに記憶し、
   前記制御部は、前記クライアントのサービスごとに前記学習モデルのバージョン情報を管理する、
   請求項１または２記載の分類支援装置。
4. 前記記憶部は、更に、前記対象データと、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルの特徴との対応関係を記憶し、
   前記制御部は、前記学習モデルを複数備える分類装置に、前記対応関係において前記第１の取得部により取得した前記対象データに対応した前記特徴を持つ前記学習モデルを指定して、前記対象データを分類させるための情報を提供する、
   請求項１から３のうちいずれか１項記載の分類支援装置。
5. 前記学習モデルの特徴は、前記クライアントからの要求に基づいて選択された前記学習モデルの特徴を表す情報であり、
   前記制御部は、前記選択された学習モデルの特徴が変更された場合に、前記対応関係における前記学習モデルの特徴を変更する、
   請求項４に記載の分類支援装置。
6. 前記教師データを取得する第２の取得部を更に備え、
   前記制御部は、所定条件を満たした場合に、前記第２の取得部により取得された前記教師データを用いて学習した前記学習モデルを前記分類装置に生成させる、
   請求項１から５のうちいずれか１項に記載の分類支援装置。
7. 前記第２の取得部は、前記教師データを選択させるコンテンツを提供し、前記教師データを選択する操作に基づく情報を受け付けたことに応じて、前記教師データを用いて前記学習モデルに学習させる、
   請求項６に記載の分類支援装置。
8. 前記制御部は、前記教師データのうち一部の教師データにより前記学習モデルを生成し、生成した学習モデルにより前記教師データのうち残りの一部を用いて分類した結果に基づいて、前記教師データを変更する、
   請求項６または７に記載の分類支援装置。
9. コンピュータが、
   対象データの分類を依頼するクライアントから、前記対象データを取得し、
   記憶部に記憶された、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を参照し、前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させ、
   前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新し、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更し、
   前記取得された前記対象データに前記クライアントに関連するサービスを利用するユーザに関する情報が含まれる場合に、管理者によって指定された方法で前記ユーザに関する情報を変換し、変換した情報を含む前記対象データを分類させる、
   分類支援方法。
10. コンピュータが、
    利用者によって投稿された意見情報を含む対象データの分類を依頼するクライアントから、前記対象データを取得し、
    記憶部に記憶された、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を参照し、前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させ、
    前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新し、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更し、
    前記学習モデルから供給された分類結果の確からしさを表す確信度が、管理者によって設定された閾値を超える場合に、前記分類結果を前記クライアントに提供する、
    分類支援方法。
11. コンピュータに、
    対象データの分類を依頼するクライアントから、前記対象データを取得させ、
    記憶部に記憶された、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を参照し、前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させる処理を行わせ、
    前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新させ、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更させ、
    前記取得された前記対象データに前記クライアントに関連するサービスを利用するユーザに関する情報が含まれる場合に、管理者によって指定された方法で前記ユーザに関する情報を変換し、変換した情報を含む前記対象データを分類させることを行わせる、
    分類支援プログラム。
12. コンピュータに、
    利用者によって投稿された意見情報を含む対象データの分類を依頼するクライアントから、前記対象データを取得させ、
    記憶部に記憶された、教師データを用いた学習結果に基づいて前記対象データを分類する学習モデルのバージョン情報を参照し、前記学習モデルを複数備える分類装置に、現行のバージョンの学習モデルを指定して、前記対象データを分類させる処理を行わせ、
    前記学習モデルのバージョンが新しく変更された場合に、前記バージョン情報を更新させ、前記学習モデルのバージョンを古いバージョンに変更する要求を前記クライアントから受け付けた場合、現行のバージョンを古いバージョンに変更させ、
    前記学習モデルから供給された分類結果の確からしさを表す確信度が、管理者によって設定された閾値を超える場合に、前記分類結果を前記クライアントに提供させる、
    分類支援プログラム。

Images