JP4368336B2

JP4368336B2 - カテゴリ設定支援方法及び装置

Info

Publication number: JP4368336B2
Application number: JP2005204192A
Authority: JP
Inventors: 大悟井上; 寛治内野; 宏弥稲越; 宏和半野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-07-13
Filing date: 2005-07-13
Publication date: 2009-11-18
Anticipated expiration: 2025-07-13
Also published as: JP2007025868A; CN100472518C; CN1896990A; US20070016581A1

Description

本発明は、ユーザによる、データのカテゴリ設定を支援するための技術に関する。

インターネットが社会的なインフラになりつつある現在、その上で様々な情報が発信されている。従って、ユーザにとっては所望の情報に容易にたどり着くため、情報提供者にとってはユーザに対して必要な情報を適切に提供するため、情報の分類整理は非常に重要である。従来、ルールベースや機械学習をベースにした情報の分類技術は存在するが、システムを運用していくためには、ルールベースのルールのメンテナンスや機械学習の基となる正解データの作成が欠かせない。また、精度１００％の正解データとのマッチングにてカテゴリを特定するためには、正解データの拡充が欠かせない。しかしながら、正解データの作成は、システム管理者が手作業で行うものであるから、非常にコストが高いものとなってしまう。

また、情報が商品の情報であったりする場合には、日々新たな商品情報が膨大な量追加され、サービス時間外の限られた時間でそれらに対応する正解データを作成するのは不可能である。また、商品ははやり廃りが激しいので、正解データを作成しても直ぐに用いられなくなってしまうこともあり、結果的に作業が無駄となる場合も多い。

なお、米国特許第６６５４７４４号には、分類対象の情報の内容、量にかかわらず、分類精度を高めるための技術が開示されている。具体的には、サンプルテキスト群と複数の分類カテゴリとが予め対応付けられた分類サンプルデータに含まれる複数のサンプルテキストのそれぞれから分類カテゴリ毎に特徴素を抽出する特徴素抽出部と、分類サンプルデータに基づいて、複数の分類方法の中から最も分類精度が高い分類方法を決定する分類方法決定部と、分類方法決定部により決定された分類方法に従って、特徴素抽出部により抽出された特徴素に基づいて、分類カテゴリ毎の特徴を表す分類学習情報を生成する分類学習情報生成部と、分類方法決定部により決定された分類方法および分類学習情報に従って、分類対象である新規テキスト群を分類カテゴリ毎に分類する自動分類部とを備えている。但し、正解データについては触れられていない。
米国特許第６６５４７４４号

このように正解データを効率よく作成する必要があるが、従来技術ではこの点につき検討されていない。正解データは、分類の必要のある情報に対して直接システム管理者などがカテゴリを設定することで得られる。

従って、本発明の目的は、効率的にデータに対してカテゴリを設定することができるようにするための技術を提供することである。

本発明に係るカテゴリ設定支援方法は、データ格納部に格納された複数のデータ項目に対するカテゴリの設定を支援するカテゴリ設定支援方法であって、データ格納部に格納された複数のデータ項目の各々について、当該データ項目に対してカテゴリの設定を行う影響度を、予め定められた関連事項に基づき算出し、データ項目に対応してデータ格納部に格納するステップと、データ格納部に格納された影響度に基づいて各データ項目についてカテゴリの設定優先順位を決定し、当該設定優先順位に基づきカテゴリの設定のための表示を表示装置に対して行う表示ステップとを含む。このようにすれば、システム管理者などのユーザが効率的にデータ項目に対してカテゴリを設定することができるようになる。

また、上で述べた影響度が、データ項目の利用頻度と、データ項目に対してカテゴリの設定を行うことにより得られ且つ他のデータ項目に対するカテゴリの設定に用いられる正解データの将来利用度とに基づき決定されるようにしてもよい。また、データ項目の利用頻度が、各データ項目に対するアクセスログが格納されているアクセスログ格納部に格納されているデータを用いることにより特定される、データ項目のアクセス量及びアクセス増加量、並びにネットワークにおいて提供されている検索エンジンにおけるデータ項目の該当件数のうち少なくともいずれかによって算出されるようにしてもよい。利用頻度が高いデータ項目から順にカテゴリの設定を行うことによりデータ項目の閲覧者に正しいカテゴリで当該データ項目を提示することができるようになる。また、作成される正解データの将来利用度が高いデータ項目の順にカテゴリの設定を行うことにより、他のデータ項目に対するカテゴリの設定が正確且つ自動的に行われやすくなる。

さらに、上で述べた将来利用度が、データ項目の特定属性に含まれる名詞の出現度と、データ項目の特定属性に含まれる名詞の一般性を表す指標との少なくともいずれかにより算出されるようにしてもよい。例えば商品名は単純な名詞だけで構成される場合だけではなくキャッチフレーズのようなものも商品名として設定される場合があり、このような場合には名詞に着目すると、将来利用度が高い一般的な名詞を多く含む商品名を属性として含むデータ項目の影響度を上げることができる。そして、一般的な名詞が登録されるデータベースを参照すれば、上記データ項目の特定属性に含まれる名詞が一般的なものか否かを判断することができ、例えば一般的な名詞の割合を上記指標として用いる。

また、各データ項目について、カテゴリの自動判断処理を行い、データ項目に対応してデータ格納部に格納するカテゴリ判断ステップをさらに含むようにしてもよい。その場合、カテゴリ判断ステップにおいて、各データ項目について、信頼度の異なる複数の自動判断処理を実施し、最初に特定されたカテゴリをデータ格納部に格納する。また、表示ステップにおいて、各データ項目についてカテゴリの自動判断処理結果を表示し、データ項目が、影響度とカテゴリを特定した自動判断処理の信頼度に応じた指標値とに基づき設定優先順位を決定するようにしてもよい。このようにシステム管理者などのユーザの支援を行っている。そして、信頼度が高いものからユーザに設定させるようにすれば、誤りを訂正する頻度が下がり設定効率が向上する。

本発明に係る方法をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してディジタル信号にて頒布される場合もある。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

本発明によれば、効率的にデータに対してカテゴリを設定することができるようになる。

図１に本発明の一実施の形態に係るシステム概要図を示す。以下では、カテゴリを設定すべきデータ項目が商品データである場合について説明する。但し、本発明の適用範囲はこれに限定されるものではない。

本実施の形態におけるカテゴリ設定支援装置は、インターネットなどのネットワークに接続しており、商品データを格納する商品データ格納部１と、システム管理者などのユーザにより設定された商品名とカテゴリコードとの対のデータを格納する正解データＤＢ２３と、システム管理者などのユーザからの指示に応じて商品データ格納部１と正解データＤＢ２３とに格納されたデータを用いて処理を行う第１比較部３と、全カテゴリにおいて頻出する語のデータを格納する頻出語ＤＢ１３と、第１比較部３からの指示に応じて商品データ格納部１と頻出語ＤＢ１３とに格納されたデータを用いて処理を行う第２比較部５と、商品のメーカ及び型番と対応するカテゴリコードとを格納する商品ＤＢ１５と、第２比較部５からの指示に応じて商品ＤＢ１５と商品データ格納部１とに格納されるデータを用いて処理を行う第３比較部７と、システム管理者などによって設定されたルールのデータを格納するルールベースＤＢ１７と、第３比較部７からの指示に応じて商品データ格納部１とルールベースＤＢ１７とに格納されたデータを用いて処理を行うルールベース分類部９と、機械学習の結果である分類ルールのデータを格納する分類ルールＤＢ１９と、ルールベース分類部９又はユーザからの指示などに応じて商品データ格納部１と分類ルールＤＢ１９とに格納されたデータを用いて処理を行う機械学習分類部１１と、第２比較部５、第３比較部７、ルールベース分類部９又は機械学習分類部１１の処理結果を格納する分類済商品データ格納部２５と、サービスサーバ３１への外部からのアクセスに応じて生成されるアクセスログを格納するアクセスログＤＢ３３から抽出されたアクセスデータを格納するアクセスデータ格納部２９と、分類済商品データ格納部２５とルールベースＤＢ１７とアクセスデータ格納部２９とに格納されたデータを用いて処理を行うランキング処理部２７と、ランキング処理部２７の処理結果を格納するランキング計算結果格納部３５と、ランキング計算結果格納部３５に格納されたデータを用いてシステム管理者などのユーザにカテゴリの設定を促し且つ設定されたカテゴリに基づき商品データ格納部１及び正解データＤＢ２３の更新処理を実施する正解データ設定部３７と、正解データＤＢ２３に格納されたデータに基づき頻出語ＤＢ１３、ルールベースＤＢ１７及び分類ルールＤＢ１９のデータを更新する更新処理部２１とを有する。

なお、インターネットなどのネットワークに接続されたサービスサーバ３１は、商品データ格納部１に格納されているデータを、ネットワーク経由で要求する端末に対して送信し、アクセスログを生成してアクセスログＤＢ３３に格納する。

また、カテゴリコードは、図２に示すように予め定義されており、以下の処理では商品データに対し図２で定義されているカテゴリコードを割り当てる。図２では、カテゴリコードに対してカテゴリ名が対応付けられている。カテゴリコードは階層的に構成されており、例えばファッションとファッションの下位のファッション＞レディスについては、カテゴリコードの上位２桁が共通しており、下位のファッション＞レディスについてはカテゴリコード下位８桁が異なるようになっている。同様に、生活・インテリア＞文具＞事務小物＞シールと、生活・インテリア＞文具＞事務小物＞はさみと、生活・インテリア＞文具＞事務小物＞シュレッダーとは、カテゴリコード上位７桁が共通しており、下位３桁が異なるようになっている。

商品データ格納部１は、例えば図３に示すようなデータを格納している。図３の例では、商品名と、商品ＵＲＬ（Uniform Resource Locator）と、価格と、商品キーワードと、店舗名と、メーカ名と、商品説明と、商品画像ＵＲＬと、確定カテゴリコードと仮カテゴリコードとが格納されている。商品名の列に示されているように、商品名は、単純な商品名だけではなく、キャッチフレーズのような商品名や、商品の型番のようなものや、商品名と型番の組み合わせといった様々な態様が存在している。図３の例では、商品データにはメーカ名のみが含まれているが、場合によっては型番も含まれる場合もある。

頻出語ＤＢ１３は、例えば図４に示すようなデータを格納している。図４の例では、全カテゴリで発生する頻出語の文字列と、その出現数とが格納されている。頻出語は、カテゴリ設定においては注目すべき語ではなく、そのような語が商品名に用いられていないか判断するために用いられる。

商品ＤＢ１５は、例えば図５に示すようなデータを格納している。図５の例では、型番と、メーカ名と、対応するカテゴリコードとが格納されている。商品ＤＢ１５における型番とメーカ名が一致する場合、又は型番が一致する場合には、対応するカテゴリコードをその商品データに設定するものである。

ルールベースＤＢ１７は、例えば図６に示すようなデータを格納している。図６の例では、カテゴリコードと、システム管理者などによって設定されたキーワード条件式（ＡＮＤ，ＯＲ，ＮＯＴなどを用いた式）とが格納されている。ルールベース分類部９は、ルールベースＤＢ１７に格納されているキーワード条件式を満たすか判断して、キーワード条件式を満たす場合には対応するカテゴリコードを設定する。

分類ルールＤＢ１９は、例えば図７に示すようなデータを格納している。図７の例では、他のカテゴリに現れないような特徴語と、カテゴリコードと、相関係数とが格納されている。機械学習分類部１１は、分類ルールＤＢ１９に格納されている特徴語と相関係数などから、商品データとカテゴリとのベクトル空間における角度を計算し、最も角度が小さいカテゴリコードをその商品データに設定する。このような処理は従来から存在するので、これ以上述べない。

正解データＤＢ２３は、例えば図８に示すようなデータを格納している。図８の例では、商品名と、カテゴリコードと、カテゴリ名とが格納されている。正解データは、システム管理者などによって設定されたカテゴリコード及びカテゴリ名と、商品名とを対応付けたものであって、システム管理者などによって設定されているのでキャッチフレーズのような商品名や識別性の無いような商品名であっても正解データとして登録される。

次に、図９乃至図１９を用いて図１に示したシステムの処理を説明する。最初に、新規商品の商品データは、既に登録済みの商品データと共に商品データ格納部１に適宜登録される（図９：ステップＳ１）。但し、この段階では確定カテゴリコードも仮カテゴリコードも設定されていない。次に、第１比較部３は、商品データ格納部１に格納されている商品データの各商品名で正解データＤＢ２３を検索することにより、商品データの商品名と正解データの商品名との比較を行う（ステップＳ３）。なお、商品データ格納部１において確定カテゴリコードが設定されている商品データについてはステップＳ３以下の処理を行う必要はない。そして、商品データの商品名と正解データのいずれかの商品名とが一致したか判断する（ステップＳ５）。一致していると判断された商品データについては、当該商品データに対してその正解データのカテゴリコードを付与する（ステップＳ７）。すなわち、商品データ格納部１において、確定カテゴリコードとして正解データのカテゴリコードを登録する。既に確定カテゴリコードが登録されている商品データについてもステップＳ３を実施する場合、ステップＳ７でも同じカテゴリコードが付与される。これは、確定カテゴリコードが登録されている場合には既に対応する正解データも生成されているためである。そして、端子Ａを介して処理を終了させる。

一方、商品データの商品名が正解データのいずれの商品名とも一致しないと判断された商品データについては、第１比較部３は第２比較部５に処理開始指示を出力する。第２比較部５は、第１比較部３からの処理開始指示に応じて、商品データ格納部１において確定カテゴリコードが登録されていない商品データについて、その商品データの商品名を形態素解析で分解し、頻出語ＤＢ１３に登録されている頻出語と同一の語を除去する処理を実施する（ステップＳ１１）。例えば、「激安多機能シュレッダー」であれば、「激安」が頻出語ＤＢ１３に登録されているので除去されて、ステップＳ１１では「多機能シュレッダー」が生成される。そして、頻出語除去後の商品名で正解データＤＢ２３を検索することにより、頻出語除去後の商品名と正解データとの比較を行う（ステップＳ１３）。そして、頻出語除去後の商品名と正解データのいずれかの商品名とが一致したか判断する（ステップＳ１５）。一致していると判断された商品データについては、当該商品データに対してその正解データのカテゴリコードを仮カテゴリコードとして付与する（ステップＳ１７）。すなわち、分類済商品データ格納部２５に、仮カテゴリコードとして正解データのカテゴリコードを含む商品データを登録する。また、当該商品データに対して分類コード「２」を設定して、分類済商品データ格納部２５に登録する（ステップＳ１９）。そして端子Ｂを介してステップＳ３７に移行する。

一方、頻出語除去後の商品名が正解データのいずれの商品名とも一致しないと判断された商品データについては、第２比較部５は第３比較部７に処理開始指示を出力する。第３比較部７は、第２比較部５からの処理開始指示に応して、商品データ格納部１に確定カテゴリコードが登録されておらず且つ分類済商品データ格納部２５に登録されていない商品データについて、その商品データの商品名以外のデータで商品ＤＢ１５に格納された既知のメーカ名及び型番と比較を行う（ステップＳ２１）。型番は、商品名として含まれる場合もあるが、商品キーワードや商品説明などに含まれている場合もある。そして、商品データの商品名以外のデータである型番が商品ＤＢ１５のレコードの型番と一致するか、又は商品データの商品名以外のデータであるメーカ名及び型番が商品ＤＢ１５のレコードのメーカ名及び型番と一致するか判断する（ステップＳ２３）。一致していると判断された商品データについては、商品ＤＢ１５において一致したと判断されたレコードのカテゴリコードを仮カテゴリコードとして付与する（ステップＳ２５）。すなわち、分類済商品データ格納部２５に、仮カテゴリコードとして商品ＤＢ１５から取得したカテゴリコードを含む商品データを登録する。また、当該商品データに対して分類コード「３」を設定して、分類済商品データ格納部２５に登録する（ステップＳ２７）。そして端子Ｂを介して図１０のステップＳ３７に移行する。また、商品ＤＢ１５に登録されている型番又はメーカ名及び型番と商品データの商品名以外のデータが一致しないと判断された場合には、端子Ｃを介して図１０のステップＳ２９に移行する。

第３比較部７は、ルールベース分類部９に処理開始指示を出力する。ルールベース分類部９は、第３比較部７からの処理開始指示に応じて、商品データ格納部１において確定カテゴリコードが登録されておらず且つ分類済商品データ格納部２５に登録されていない商品データに対して、ルールベースＤＢ１７に格納されたキーワード条件式を適用して分類を実施する（図１０：ステップＳ２９）。ルールベースＤＢ１７に格納されたキーワード条件式によって分類可能な商品データについては（ステップＳ３１：Ｙｅｓルート）、ルールベースＤＢ１７に登録されており且つ合致したキーワード条件式に対応するカテゴリコードを仮カテゴリコードとして付与する（ステップＳ３３）。すなわち、分類済商品データ格納部２５に、仮カテゴリコードとしてルールベースＤＢ１７から取得したカテゴリコードを含む商品データを登録する。また、当該商品データに対して分類コード「４」を設定して、分類済商品データ格納部２５に登録する（ステップＳ３５）。そして、ステップＳ３７に移行する。

一方、ルールベースＤＢ１７に登録されているキーワード条件式に合致しない商品データについてはステップＳ３７に移行する。

次に、ルールベース分類部９は、処理開始指示を機械学習分類部１１に出力する。機械学習分類部１１は、ルールベース分類部９からの処理開始指示に応じて、商品データ格納部１に確定カテゴリコードが登録されていない商品データについて、分類ルールＤＢ１９に格納されているデータを用いて周知の機械学習分類処理を実施する（ステップＳ３７）。機械学習分類処理では、必ず何らかのカテゴリが特定される。そして、機械学習分類部１１は、分類済商品データ格納部２５を参照して分類コードが登録済みの商品データについては（ステップＳ３９：Ｙｅｓルート）、分類ルールＤＢ１９に基づき特定されたカテゴリコードを候補カテゴリコードとして分類済商品データ格納部２５に登録する（ステップＳ４１）。候補カテゴリコードは、例えば仮カテゴリコードを確定カテゴリコードとして用いることができない場合においてシステム管理者などの他の選択肢となる。その後端子Ｄを介して図１３の処理に移行する。

一方、分類済商品データ格納部２５を参照して分類コードが未登録の商品データについては（ステップＳ３９：Ｎｏルート）、分類ルールＤＢ１９に基づき特定されたカテゴリコードを仮カテゴリコードとして分類済商品データ格納部２５に登録する（ステップＳ４３）。また、当該商品データに対して分類コード「５」を設定して、分類済商品データ格納部２５に登録する（ステップＳ４５）。さらに、分類ルールＤＢ１９に基づき特定された２位以下のカテゴリを候補カテゴリコードとして分類済商品データ格納部２５に登録する（ステップＳ４７）。その後端子Ｄを介して図１３の処理に移行する。

このようにして得られた分類済商品データ格納部２５内のデータは、例えば図１１に示すようなデータである。図１１の例では、商品名と、商品ＵＲＬと、価格と、商品キーワードと、店舗名と、メーカ名と、商品説明と、商品画像ＵＲＬと、仮カテゴリコードと、分類コードと、候補カテゴリコードとが格納されている。商品データ格納部１との差は、仮カテゴリコードと、分類コードと、候補カテゴリコードとが追加されている点である。図１１の例では、第１レコードの分類コードは「２」であり、第２レコードの分類コードは「３」であり、第３レコードの分類コードは「４」であり、第４レコードの分類コードは「５」である。なお、正解データによってカテゴリコードが特定された商品データについては、分類コード「１」であるとみなす。

一般に、図１２に示すように、値の小さな分類コードの分類手法の方が分類精度が高い。また、値の小さな分類コードの分類手法の方が人手によるコントロールのしやすさが高くなる。一方、値の大きな分類コードの分類手法の方が手間がかからない。本実施の形態では、正解データによる１対１マッチングが精度が高く最も好ましい分類手法であるものとして、正解データをできるだけ多く効率的に設定するために必要な手法を以下に説明する。

そのため、ランキング処理部２７は、ランキング値計算処理を実施する（図１３：ステップＳ４９）。ランキング値計算処理については図１４乃至図１７を用いて詳細に説明する。なお、アクセスログＤＢ３３に格納されたデータのうち必要なデータ（例えば所定期間内のログ。アクセスに関するログ以外のログも含まれる場合には、例えばアクセスに関するログのみ。）を、アクセスデータ格納部２９に格納しておく。但し、ランキング処理部２７はアクセスログＤＢ３３をそのまま用いるようにしても良い。

ランキング処理部２７は、アクセスデータ格納部２９から、分類済商品データ格納部２５に格納されている該当商品ｉに対するアクセス数Ａを取得し、ランキング計算結果格納部３５に格納する（ステップＳ６１）。例えば、該当商品ｉ毎にアクセスログの件数を所定期間において計数する。アクセス数は、該当商品ｉがよく参照されるかどうか、すなわち該当商品ｉが一般ユーザに注目されているかを表す指標である。アクセス数が大きければ、カテゴリが間違っていた場合その影響は大きい。また、アクセス数が多いということは、商品データの利用頻度が高いというだけではなく、同じような商品が登録される可能性が高く、正解データの利用頻度も高いと予測される。そして、予め定められた関数Ｓ１に基づき、該当商品ｉ毎にランキング値Ｒ(i)＝Ｓ１（Ａ）を算出する（ステップＳ６３）。関数Ｓ１は、Ａが大きな値を有する場合にはそれに応じて大きな値を出力する関数である。

さらに、ランキング処理部２７は、アクセスデータ格納部２９から、分類済商品データ格納部２５に格納されている該当商品ｉが属するカテゴリ（ここでは仮カテゴリ）に対するアクセス数Ｂを取得し、ランキング計算結果格納部３５に格納する（ステップＳ６５）。例えば、該当商品ｉが属するカテゴリを分類済商品データ格納部２５から特定し、当該カテゴリのカテゴリコードに基づきアクセスログの件数を所定期間において計数する。例えば、アクセス先のＵＲＬ等からカテゴリコードを特定できるようにしておき、それに基づきアクセス数を集計する。このアクセス数も、該当商品ｉを含むカテゴリに対するユーザの注目度合いを表すものである。そして、予め定められた関数Ｓ２に基づき、Ｒ(i)＝Ｒ(i)＋Ｓ２（Ｂ）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ６７）。関数Ｓ２は、Ｂが大きな値を有する場合にはそれに応じて大きな値を出力する関数である。

また、ランキング処理部２７は、例えばインターネットなどにおける外部検索エンジンで該当商品ｉの商品名を検索し、ヒット件数Ｃを取得し、ランキング計算結果格納部３５に格納する（ステップＳ６９）。そして、ヒット件数Ｃ≧閾値Ｘであるか判断する（ステップＳ７１）。商品名が一般的な名称である場合にはヒット件数が膨大となり、ランキング値算出において不適切なため、閾値Ｘを設定している。もし、ヒット件数Ｃが閾値Ｘ以上である場合には（ステップＳ７１：Ｙｅｓルート）、メーカ名及び店舗名などの予め定められた属性を商品名に加えて再度外部検索エンジンで検索し、ヒット件数Ｃ'を取得し、ランキング計算結果格納部３５に格納する（ステップＳ７３）。ステップＳ６９又はＳ７３のいずれであってもヒット件数は、その商品名の普及度合いを示すものであり、アクセス数と同様に一般ユーザの注目度合いも反映している。そして、予め定められた関数Ｓ３に基づき、Ｒ(i)＝Ｒ(i)＋Ｓ３（Ｃ'）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ７５）。そしてステップＳ７９に移行する。関数Ｓ３も、Ｃが大きな値を有する場合にはそれに応じて大きな値を出力する関数である。

一方、ヒット件数Ｃが閾値Ｘ未満である場合には（ステップＳ７１：Ｎｏルート）、予め定められた関数Ｓ３に基づき、Ｒ(i)＝Ｒ(i)＋Ｓ３（Ｃ）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ７７）。そしてステップＳ７９に移行する。

さらに、ランキング処理部２７は、該当商品ｉの商品名に対して形態素解析を実施する（ステップＳ７９）。

例えば、図１１の第１レコード及び第４レコードの商品の商品名に対する形態素解析の結果を図１６及び図１７に示す。図１６は、図１１の第１レコードの商品の商品名に対する形態素解析の結果を示す。「激安多機能シュレッダー」の場合には、形態素が３つのところ３つ全てが名詞と判断される。すなわち名詞の割合は３／３＝１．０となる。一方、図１７は、図１１の第４レコードの商品の商品名に対する形態素解析の結果を示す。このようなキャッチフレーズのような商品名については、形態素１５のうち名詞の個数は７つであり、名詞の割合は７／１５＝０．４７となる。

商品名において名詞の割合が低い場合には、例えば図１７のようなキャッチフレーズのような商品名の可能性が高くなると考えられる。キャッチフレーズのような商品名にわざわざ正解データを設定したとしても、その正解データが他の商品について適用される可能性は非常に低いと考えられる。従って、名詞の割合がある程度高いことが望まれる。

従って、ランキング処理部２７は、該当商品ｉの商品名における名詞の出現割合αを算出する（ステップＳ８１）。また、該当商品ｉの商品名に含まれる名詞でルールベースＤＢ１７を検索し、該当商品ｉの商品名に含まれる名詞がルールベースで用いられているか確認し、ルールベースで使用されている名詞の割合βを算出する（ステップＳ８３）。図１６の例では、シュレッダーのみがルールベースＤＢ１７に登録されているので、ルールベースで使用されている名詞の割合βは１／３＝０．３３となる。また、図１７の例では、チョコレートとケーキとがルールベースＤＢ１７に登録されているので、ルールベースで使用されている名詞の割合βは２／７＝０．２８となる。ルールベースで使用されている名詞は一般的な名詞であって、ルールベースに登録されている名詞の割合が低い場合には固有名詞など汎用性の低い名詞の割合が高いことが予測される。従って、汎用性の低い名詞ばかりの商品名に対して正解データを作成しても、その正解データが他の商品について適用される可能性は低いと考えられる。従って、ルールベースに登録されている名詞の割合βがある程度高いことが望まれる。

そして、ランキング処理部２７は、該当商品ｉの名詞出現割合α、ルールベースで使用されている名詞の割合βを用いて、予め定められている関数Ｓ４（α，β）（例えば、α及びβが大きいほど大きい値が出力される関数）の値を算出する（ステップＳ８５）。さらに、Ｓ４（α，β）≧閾値γであるか判断する（ステップＳ８７）。もし、Ｓ４（α，β）が閾値γ以上である場合には、正解データの将来利用度が高いと判断されるので、ランキング値を上げるべく、Ｒ(i)＝Ｒ(i)＋Ｓ４（α，β）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ８９）。一方、Ｓ４（α，β）が閾値γ未満である場合には、正解データの将来利用度が低いと判断されるので、ランキング値を下げるべく、Ｒ(i)＝Ｒ(i)−Ｓ４（α，β）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ９１）。

ステップＳ８９又はステップＳ９１の後に、ランキング処理部２７は、アクセスデータ格納部２９に格納されているデータを用いて、該当商品ｉの過去ｎ日間のアクセス増加量Ｄを取得し、ランキング計算結果格納部３５に格納する（ステップＳ９３）。アクセス増加量は、例えば現在アクセス量とｎ日前のアクセス量との差を算出する。このアクセス増加量も、該当商品ｉに対するユーザの注目度合いを表すものである。そして、予め定められた関数Ｓ５に基づき、Ｒ(i)＝Ｒ(i)＋Ｓ５（Ｄ）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ９５）。関数Ｓ５も、Ｄが大きな値を有する場合にはそれに応じて大きな値を出力する関数である。

また、ランキング処理部２７は、分類済商品データ格納部２５から該当商品ｉの分類方式の番号（分類コード）Ｅを取得する（ステップＳ９７）。そして、予め定められた関数Ｓ６に基づき、Ｒ(i)＝Ｒ(i)＋Ｓ６（Ｅ）を算出して該当商品ｉ毎にランキング値Ｒ(i)を更新する（ステップＳ９９）。図１２に示すように、分類コードの値が小さいほど信頼度が高く、関数Ｓ６は分類コードの値が小さいほど大きな値を出力するような関数である。本実施の形態では、信頼度が高い仮カテゴリコードについて優先度を高くして、システム管理者などのユーザがあまり手をかけずに、できる限り仮カテゴリコードをそのまま確定カテゴリコードに設定できるようにし、作業効率を向上させるものである。

そしてステップＳ９９で算出された該当商品ｉのランキング値Ｒ(i)をランキング計算結果格納部３５に格納する（ステップＳ１０１）。なお、図１４及び図１５の処理フローのいずれかの段階で分類済商品データ格納部２５に格納された商品データについては、ランキング計算結果格納部３５に格納する。処理は元の処理に戻る。

このようにしてランキング値を該当商品ｉ毎に算出する。ランキング値は、特定の商品について正解データを作成する影響度、すなわち特定の商品データに対してカテゴリを設定する影響度を表しているものと考えられる。ランキング値が大きな値を有する場合には、正解データを作成する、すなわち商品データに対してカテゴリを設定する波及効果が高い。一方、ランキング値が小さな値を有する場合には、正解データを作成する、すなわち商品データに対してカテゴリを設定する波及効果が低い。波及効果は、商品データを参照する一般ユーザに対する効果と、正解データを作成する、すなわち商品データに対してカテゴリを設定するシステム管理者などのユーザに対する効果がある。前者については、一般ユーザの利用頻度が高く注目されている商品データ（アクセス数、外部検索エンジンのヒット件数、アクセス増加量が大きい値を有する商品）に対してはその露出度の観点から、間違ったカテゴリを付与してしまった場合において問題が大きいということからも分かる。後者については、一度正解データを作成してしまえば他の多くの商品について当該正解データが適用されて人手による作業量を削減できるという将来利用度という観点から影響度に関係している。名詞の出現割合及びルールベースにおいて使用されている名詞の割合が商品名の一般性の度合いを表しており、一般性が高いほど上記観点において将来利用度が高くなり、優先して正解データの作成を行うべきものである。一般性の低い固有名詞のような商品名の場合には、優先して正解データを作成する必要はない。

さらに、本実施の形態では、分類コードに基づきランキング値が更新されるので、ランキング値は正解データの設定効率と上記影響度とによって設定される。上でも述べたが、カテゴリ設定の精度が高いほどシステム管理者などのユーザによる修正確率は減るため、設定効率が向上する。

以上のような考え方に基づき算出されるランキング値に従ってシステム管理者などのユーザに対して商品データを提示する優先度が決まる。

ランキング計算結果格納部３５に格納されるデータの一例を図１８に示す。図１８の例では、図１１に示した分類済商品データ格納部２５に格納されたデータに加え、商品アクセス数、カテゴリアクセス数、ヒット件数、アクセス増加量、ランキング値が追加されている。

図１３の説明に戻って、次に、正解データ設定部３７は、ランキング計算結果格納部３５に格納されたレコードをランキング値等（ユーザによって指示された場合には商品アクセス数、カテゴリアクセス数、アクセス増加量などの場合もある）に基づきソートする（ステップＳ５１）。そして、ソート結果に基づきユーザに提示する表示データを生成し、表示装置に出力する（ステップＳ５３）。例えば図１９に示すような画面を表示する。図１９の画面では、ランキング値でソート、ヒット件数でソート、商品アクセス数でソート、アクセス増加量でソートのいずれかを選択するためのラジオボタンと、ランキング計算結果格納部３５に格納されたデータを表すテーブルと、当該テーブルの各行について仮カテゴリが正しくない場合に正しいカテゴリコードを入力するための入力欄と、テーブルの各行について仮カテゴリが正しい場合にチェックを付すためのチェック欄と、設定指示を行うためのＯＫボタンとが設けられている。カテゴリコードからカテゴリ名を抽出するのは例えば図２に示すようなデータを保持しておけばよい。システム管理者などのユーザは、ラジオボタンで商品の並べ替えを行うことができ、商品データと仮カテゴリを確認して正しければチェック欄にチェックを付し、正しくなければ、例えば候補カテゴリのデータを参照してそのコードを入力するようにしても良いし、他のカテゴリのコードを入力しても良い。図１９ではランキング値の上位の一部のみを示しているが、スクロールしてランキング値が下位の商品データを示すようにしても良いし、複数画面に分割するようにして提示しても良い。

正解データ設定部３７は、ユーザからの入力を受け付け（ステップＳ５５）、入力に従ってチェック欄にチェックが付された商品データ又は正しいカテゴリコードが入力された商品データについて、商品名とカテゴリコードとの組を正解データＤＢ２３に格納する（ステップＳ５７）。さらに、商品データ格納部１に、チェック欄にチェックが付された商品データ又は正しいカテゴリコードが入力された商品データについては、確定カテゴリコードとして、仮カテゴリコード又は入力カテゴリコードを登録し、チェック欄にチェックが付されなかった商品については仮カテゴリコードとして、仮カテゴリコードを登録する。

以上のような処理を実施することにより、ランキング値に応じた優先順位が付された形でシステム管理者などのユーザに商品データを提示することができる。ユーザは、優先順位に従ってカテゴリコードを設定してゆけば、カテゴリコードを設定することによる影響度が高い順及び作業効率が良い順に作業を行うことができる。

以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図１に示した機能ブロック図は必ずしも実際のプログラム・モジュールに対応するものではない。また、図１９の画面構成も一例であって、これに限定されるものではない。さらに、ランキング値を算出する際に用いられる関数については適宜処理対象のデータに応じて変更することが可能である。さらにルールベースに使用されている名詞を一般的な名詞の例として示しているが、ルールベースＤＢ１７の他に一般的な名詞を蓄積したデータ格納部を用意するようにしても良い。

なお、上で述べたカテゴリ設定支援装置は、例えばサービスサーバ３１とネットワークで接続されたサーバであって、例えばネットワークに接続された他の端末から指示を出すようにしても良い。

また、更新処理部２１は、例えば定期的に又は任意のタイミングで、正解データＤＢ２３に格納されたデータを用いて、頻出語ＤＢ１３、ルールベースＤＢ１７、分類ルールＤＢ１９の更新処理を実施する。頻出語ＤＢ１３には、正解データＤＢ２３に格納されている商品名において特定のカテゴリに偏らず頻出する語を抽出して格納する。ルールベースＤＢ１７には、正解データＤＢ２３に格納されている商品名及びカテゴリコードからキーワード条件式を抽出する処理を実施して格納する。この処理についてはユーザの指示に従って行う。また、分類ルールＤＢ１９には、正解データＤＢ２３に格納されている商品名及びカテゴリコードについて機械分類処理を行って処理結果を格納する。

さらに、カテゴリ設定支援装置は、図２０に示すようなコンピュータ装置であって、メモリ２５０１（記憶装置）とＣＰＵ２５０３（処理装置）とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施の形態における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。必要に応じてＣＰＵ２５０３は、表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ２５０１に格納され、必要があればＨＤＤ２５０５に格納される。本発明の実施の形態では、上で述べた処理を実施するためのアプリケーション・プログラムはリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及び必要なアプリケーション・プログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

（付記１）
データ格納部に格納された複数のデータ項目に対するカテゴリの設定を支援するカテゴリ設定支援方法であって、
前記データ格納部に格納された前記複数のデータ項目の各々について、当該データ項目に対してカテゴリの設定を行う影響度を、予め定められた関連事項に基づき算出し、前記データ項目に対応して前記データ格納部に格納するステップと、
前記データ格納部に格納された影響度に基づいて各前記データ項目についてカテゴリの設定優先順位を決定し、当該設定優先順位に基づきカテゴリの設定のための表示を表示装置に対して行う表示ステップと、
を含み、コンピュータに実行されるカテゴリ設定支援方法。

（付記２）
前記影響度が、
前記データ項目の利用頻度と、前記データ項目に対してカテゴリの設定を行うことにより得られ且つ他のデータ項目に対するカテゴリの設定に用いられる正解データの将来利用度とに基づき決定される
付記１記載のカテゴリ設定支援方法。

（付記３）
前記データ項目の利用頻度が、
各データ項目に対するアクセスログが格納されているアクセスログ格納部に格納されているデータを用いることにより特定される、前記データ項目のアクセス量及びアクセス増加量、並びにネットワークにおいて提供されている検索エンジンにおける前記データ項目の該当件数のうち少なくともいずれかによって算出される
付記２記載のカテゴリ設定支援方法。

（付記４）
前記将来利用度が、
前記データ項目の特定属性に含まれる名詞に関する指標に基づき算出される
付記２記載のカテゴリ設定支援方法。

（付記５）
前記名詞に関する指標が、
前記特定属性に含まれる名詞の出現度と、前記データ項目の特定属性に含まれる名詞の一般性を表す指標との少なくともいずれかにより算出される
付記４記載のカテゴリ設定支援方法。

（付記６）
各前記データ項目について、カテゴリの自動判断処理を行い、前記データ項目に対応して前記データ格納部に格納するカテゴリ判断ステップ
をさらに含み、
前記表示ステップにおいて、各前記データ項目について前記カテゴリの自動判断処理結果を表示する
付記１記載のカテゴリ設定支援方法。

（付記７）
前記カテゴリ判断ステップにおいて、
各前記データ項目について、信頼度の異なる複数の自動判断処理を実施し、最初に特定されたカテゴリを前記データ格納部に格納し、
前記表示ステップにおいて、前記データ項目が、前記影響度と前記カテゴリを特定した自動判断処理の信頼度に応じた指標値とに基づき設定優先順位が決定される
付記６記載のカテゴリ設定支援方法。

（付記８）
前記データ格納部に格納された前記データ項目のうち、前記正解データとのマッチングによりカテゴリが特定されるデータ項目を処理対象から除外するステップ
をさらに含む付記１記載のカテゴリ設定支援方法。

（付記９）
ユーザからカテゴリ設定入力を受け付けたデータ項目に対応して前記データ格納部に設定入力されたカテゴリのコードを登録するステップと、
ユーザからカテゴリ設定入力を受け付けたデータ項目の特定属性と前記カテゴリのコードとを正解データとして正解データ格納部に登録するステップと、
をさらに含む付記８記載のカテゴリ設定支援方法。

（付記１０）
付記１乃至９記載のカテゴリ設定支援方法をコンピュータに実行させるためのプログラム。

（付記１１）
データ格納部に格納された複数のデータ項目に対するカテゴリの設定を支援するカテゴリ設定支援装置であって、
前記データ格納部に格納された前記複数のデータ項目の各々について、当該データ項目に対してカテゴリの設定を行う影響度を、予め定められた関連事項に基づき算出し、前記データ項目に対応して前記データ格納部に格納する手段と、
前記データ格納部に格納された影響度に基づいて各前記データ項目についてカテゴリの設定優先順位を決定し、当該設定優先順位に基づきカテゴリの設定のための表示を表示装置に対して行う手段と、
を有するカテゴリ設定支援装置。

本発明の実施の形態の機能ブロック図である。カテゴリコード及びカテゴリ名の対応関係の一例を示すテーブルである。商品データ格納部に格納されるデータの一例を示すテーブルである。頻出語ＤＢに格納されるデータの一例を示す図である。商品ＤＢに格納されるデータの一例を示すテーブルである。ルールベースＤＢに格納されるデータの一例を示すテーブルである。分類ルールＤＢに格納されるデータの一例を示すテーブルである。正解データＤＢ２３に格納されるデータの一例を示すテーブルである。本発明の実施の形態におけるメイン処理フローの第１の部分を示す図である。本発明の実施の形態におけるメイン処理フローの第２の部分を示す図である。分類済商品データ格納部に格納されるデータの一例を示す図である。分類手法の信頼度などを説明するための図である。本発明の実施の形態におけるメイン処理フローの第３の部分を示す図である。ランキング値計算処理の処理フローの第１の部分を示す図である。ランキング値計算処理の処理フローの第２の部分を示す図である。形態素解析結果の一例を示す図である。形態素解析結果の他の例を示す図である。ランキング計算結果格納部に格納されるデータの一例を示すテーブルである。ユーザに提示される画面例を示す図である。コンピュータの機能ブロック図である。

符号の説明

１商品データ格納部３第１比較部５第２比較部
７第３比較部９ルールベース分類部１１機械学習分類部
１３頻出語ＤＢ１５商品ＤＢ１７ルールベースＤＢ
１９分類ルールＤＢ２１更新処理部２３正解データＤＢ
２５分類済商品データ格納部２７ランキング処理部
２９アクセスデータ格納部３５ランキング計算結果格納部
３７正解データ設定部

Claims

データ格納部に格納された複数のデータ項目に対するカテゴリの設定を支援するカテゴリ設定支援方法であって、
前記データ格納部に格納された前記複数のデータ項目の各々について、当該データ項目の利用頻度に応じて算出される第１の値に、前記データ項目に対応付けて前記データ格納部に登録されている属性のうちの特定属性に含まれる名詞の出現度と、前記特定属性に含まれる名詞のうち、予め設定された一般的な名詞を格納するルールベース格納部に格納されている前記一般的な名詞の割合とに応じて算出される第２の値を加算することにより、当該データ項目に対してカテゴリの設定を行うことによる波及効果の度合いを表す影響度を算出し、前記データ項目に対応付けて前記データ格納部に格納する影響度算出ステップと、
各前記データ項目を、前記データ格納部に格納された前記影響度の高い順に、カテゴリを設定可能な態様で表示装置に表示する表示ステップと、
を含み、コンピュータに実行されるカテゴリ設定支援方法。
前記データ項目の利用頻度が、
各データ項目に対するアクセスログが格納されているアクセスログ格納部に格納されているデータを用いることにより特定される、前記データ項目のアクセス量及びアクセス増加量、並びにネットワークにおいて提供されている検索エンジンにおける前記データ項目の該当件数のうち少なくともいずれかによって算出される
請求項１記載のカテゴリ設定支援方法。
各前記データ項目について、カテゴリを特定するための複数の自動判断処理であって、予め定められた信頼度が異なる複数の自動判断処理を、前記信頼度の高い順に少なくとも１のカテゴリを特定するまで実施し、最初に特定されたカテゴリと当該カテゴリを特定した自動判断処理の前記信頼度とを前記データ項目に対応付けて前記データ格納部に格納するカテゴリ判断ステップ
をさらに含み、
前記影響度算出ステップが、
前記データ格納部に格納された前記信頼度に応じて算出される第３の値を前記影響度に加算することにより、前記影響度を更新するステップ
を含み、
前記表示ステップにおいて、
各前記データ項目について前記カテゴリの自動判断処理結果を表示する
請求項１記載のカテゴリ設定支援方法。
データ格納部に格納された複数のデータ項目に対するカテゴリの設定を支援するカテゴリ設定支援装置であって、
前記データ格納部に格納された前記複数のデータ項目の各々について、当該データ項目の利用頻度に応じて算出される第１の値に、前記データ項目に対応付けて前記データ格納部に登録されている属性のうちの特定属性に含まれる名詞の出現度と、前記特定属性に含まれる名詞のうち、予め設定された一般的な名詞を格納するルールベース格納部に格納されている前記一般的な名詞の割合とに応じて算出される第２の値を加算することにより、当該データ項目に対してカテゴリの設定を行うことによる波及効果の度合いを表す影響度を算出し、前記データ項目に対応付けて前記データ格納部に格納する手段と、
各前記データ項目を、前記データ格納部に格納された前記影響度の高い順に、カテゴリを設定可能な態様で表示装置に表示する手段と、
を有するカテゴリ設定支援装置。