JP6506839B2 - 不満情報処理装置及びシステム - Google Patents

不満情報処理装置及びシステム Download PDF

Info

Publication number
JP6506839B2
JP6506839B2 JP2017520072A JP2017520072A JP6506839B2 JP 6506839 B2 JP6506839 B2 JP 6506839B2 JP 2017520072 A JP2017520072 A JP 2017520072A JP 2017520072 A JP2017520072 A JP 2017520072A JP 6506839 B2 JP6506839 B2 JP 6506839B2
Authority
JP
Japan
Prior art keywords
dissatisfaction
information
product
industry
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017520072A
Other languages
English (en)
Other versions
JPWO2016189594A1 (ja
Inventor
正成 中島
正成 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insight Tech
Original Assignee
Insight Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insight Tech filed Critical Insight Tech
Publication of JPWO2016189594A1 publication Critical patent/JPWO2016189594A1/ja
Application granted granted Critical
Publication of JP6506839B2 publication Critical patent/JP6506839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ユーザや顧客等からの不満情報を収集して処理する装置及びシステムに関する。
ユーザや顧客等は、製品やサービスについて不満を抱く場合があり、当該製品やサービスを提供する企業にとってこのような不満情報は極めて重要である。すなわち、「消費者の不満には、事業や商品開発のヒントが詰まっている」のである。特に、近年では、インターネットの普及に伴い、不満情報はSNS等を通じて容易に拡散するため、不満情報の管理や活用は不可避となっている。
特許文献1には、入力された顧客の声としての文に対する事例モデルの判別機能部である事例モデルベース判別部、文モデルの判別機能部である文モデルベース判別部、及び最終文モデルの判別機能部としての最終文モデルベース判別部それぞれにおける、顧客の声についてのクラス判別結果を統合して、顧客の不満・意見・苦情を判別する顧客意見分析装置が記載されている。
特許文献2には、問題や不満を否定してコメントを投稿したユーザがいる場合に、当該コメントから品詞解析等により対策を自動的に注出して、問題や不満を投稿したユーザに対して提示する処理装置が記載されている。
特許文献3には、車載装置のユーザが不満を感じているか否かを判定し、不満を感じていると判定された場合に、車載装置から得られる情報に基づいて不満情報を作成し、不満情報を情報収集センサに送信する車載不満情報収集装置が記載されている。
特開2013−161119号公報 特開2011−48524号公報 特開2008−58039号公報
ユーザや顧客から収集した不満情報は、種々の有益なデータを含んでいるため、多様な観点から分析して製品やサービスを提供した企業に提示することが望ましいが、従来においては必ずしも満足し得る解析結果が得られておらず、不満情報を十分に活用できていない問題があった。
本発明の目的は、収集した不満情報を処理し、種々の観点から解析した解析結果を提示できる装置及びシステムを提供することにある。
本発明は、不満情報処理装置であって、入力された不満情報を記憶するデータベースと、前記データベースに記憶された前記不満情報に含まれるカテゴリ属性に基づき、前記不満情報を業界毎に解析し統計処理して業界相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる製品属性に基づき、前記不満情報を製品毎に解析し統計処理して製品相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる不満内容属性に基づき、前記不満情報を自然言語解析し統計処理して単語相間解析結果を出力するプロセッサを備え、前記業界相間解析結果は、指定期間における全業界の不満情報数に対する指定業界の不満情報数の比率を含み、前記製品相間解析結果は、指定期間における全業界の不満情報数に対する指定製品の不満情報数の比率を含み、前記単語相間解析結果は、指定期間における指定業界あるいは指定製品の不満情報に含まれる単語の係り受けを含むことを特徴とする。
本発明の1つの実施形態では、前記業界相間解析結果は、指定期間における指定業界の不満情報に含まれる単語の出現頻度情報を含む。
本発明の他の実施形態では、前記製品相間解析結果は、指定期間における指定製品の不満情報が相対的に多い会社情報を含む。
本発明のさらに他の実施形態では、前記単語相間解析結果は、指定業界あるいは指定製品の不満情報に含まれる単語をノードとし、前記係り受けを前記ノードの間を結ぶリンクとした図形情報を含む。
また、本発明は、不満情報処理システムであって、不満情報を入力する入力装置と、前記入力装置からの前記不満情報を解析処理する不満情報処理装置と、前記不満情報処理装置からの解析結果を出力する出力装置とを備え、前記不満情報処理装置は、前記入力装置からの不満情報を記憶するデータベースと、前記出力装置からの解析要求に応じ、前記データベースに記憶された前記不満情報に含まれるカテゴリ属性に基づき、前記不満情報を業界毎に解析し統計処理して業界相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる製品属性に基づき、前記不満情報を製品毎に解析し統計処理して製品相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる不満内容属性に基づき、前記不満情報を自然言語解析し統計処理して単語相間解析結果を出力するプロセッサを備え、前記業界相間解析結果は、指定期間における全業界の不満情報数に対する指定業界の不満情報数の比率を含み、前記製品相間解析結果は、指定期間における全業界の不満情報数に対する指定製品の不満情報数の比率を含み、前記単語相間解析結果は、指定期間における指定業界あるいは指定製品の不満情報に含まれる単語の係り受けを含むことを特徴とする。
本発明によれば、収集した不満情報を処理し、種々の観点から解析した解析結果を提示できる。本発明による解析結果は、自社製品の改善や新規製品の開発に供することができる他、コンサルティングやマーケットリサーチ等にも用いることができる。
不満情報処理システムの概念構成図である。 不満情報処理システムのハードウェア構成ブロック図である。 不満情報処理装置の機能ブロック図である。 入力装置に表示される不満情報入力画面例である。 出力装置に表示される業界相間解析結果の画面例である。 出力装置に表示される製品相間解析結果の画面例である。 出力装置に表示される単語レベル相間解析結果の画面例である。 出力装置に表示される他の画面例である。 出力装置に表示されるさらに他の画面例である。 出力装置に表示されるさらに他の画面例である。
以下、図面に基づき本発明の実施形態について説明する。本実施形態では、不満情報を収集する際に、製品ユーザあるいはサービスユーザから不満情報を買い取ることで収集する場合について説明するが、本発明は必ずしも買い取りにより収集された不満情報に限定されるものではない。なお、不満情報を買い取ることで、製品ユーザに対して不満情報をシステムに提供するインセンティブを付与できるので、不満情報を効率的に収集できる効果がある。本実施形態において、「不満情報」とは、製品ユーザあるいはサービスユーザによる、もの足りなく、満足しない感情を文字や音声その他で表現した情報をいう。
図1は、本実施形態に係る不満情報処理システムのシステム概念図である。不満情報処理システムは、不満情報を入力する入力装置10と、入力された不満情報を蓄積・処理する不満情報処理装置12と、不満情報処理装置12で処理された結果を出力する出力装置14から構成される。
入力装置10は、各種の電気電子・情報デバイスから構成され、例えば、ロボット10a、コンピュータ端末10b、ウェアラブル端末10c、スマートフォン10d、スマート家電10e、カメラ10f等から構成される。ロボット10a、コンピュータ端末10b、ウェアラブル端末10c、スマートフォン10d、スマート家電10eは、テキストデータや音声データとして不満情報を入力する。カメラ10fは、不満情報に付随する画像データを入力する。カメラ10fは、ロボット10aやスマートフォン10d等に組み込まれていてもよい。ある製品に不満がある場合、当該製品の不満内容をテキストデータとして入力するとともに、当該製品の画像を撮影して入力し得る。これらの入力装置10から任意のタイミングで入力されたユーザの不満情報は、通信回線を介して逐次、不満情報処理装置12に供給される。
ユーザは、不満情報を入力装置10から入力する際に、不満内容とともに、不満の対象を特定するための情報、及びユーザを特定するための情報も併せて入力する。不満の対象を特定するための情報は、例えば不満の対象が製品であれば製品名や会社名等であり、不満の対象がサービスであれば業界名や店名等である。ユーザを特定するための情報はユーザの氏名や住所、年齢、性別、職業等であるが、システムがユーザに対して一意に付与したIDでもよい。
不満情報処理装置12は、不満データベース12a及び不満解析装置12bを備え、入力装置10から供給された不満情報を不満データベース12aに記憶し、不満データベース12aに記憶された不満情報を読み出して不満解析装置12bで解析する。不満解析装置12bは、不満情報に含まれる属性(アトリビュート)、具体的には、カテゴリ、製品、不満内容に基づいて不満情報を複数の観点から解析する。すなわち、不満解析装置12bは、不満情報を業界相間の観点、製品相間の観点、単語レベルの相間の観点から解析する。不満解析装置12bで解析して得られた結果は、出力装置14に供給される。
出力装置14は、不満情報処理装置12に対して解析要求を送信するとともに、不満情報処理装置12で実行された解析結果を受信して出力する。出力装置14における出力形態は、複数存在し得る。すなわち、コンサルティング用の出力形態14a、マーケットリサーチ用の出力形態14b、解析ビューサービス用の出力形態14cである。業界相間、製品相間、単語レベル相間のそれぞれの解析結果は、これらのいずれの出力形態にも利用し得る。例えば、コンサルティング用の出力形態では、業界毎、製品毎の不満情報の解析結果を利用し得る。
不満解析装置12bでの解析結果を利用するユーザ、つまり出力装置14のユーザの一例は、製品あるいはサービスを提供する企業自身である。当該企業は、自社が提供する製品あるいはサービスについて、ユーザがどのような不満を抱えているかを解析結果から認識し、既存の製品あるいはサービスの改善、さらには新商品あるいは新サービスの開発を行うことができる。出力装置14のユーザは、業界相間、製品相間、単語レベル相間の各解析結果のいずれか、あるいは複数を任意に指定して出力することができる。
不満情報処理装置12の不満データベース12a及び不満解析装置12bは、必ずしも物理的に同一筐体内に組み込まれている必要はなく、物理的に別個の装置として通信回線等により接続されていてもよい。
図2は、本実施形態に係る不満情報処理システムの具体的なハードウェア構成図である。入力装置10(図ではスマートフォンを例示)と不満情報処理装置12はインターネット100を介して接続され、かつ、出力装置14(図ではコンピュータ端末を例示)と不満情報処理装置12はインターネット100を介して接続される。入力装置10からの不満情報は、インターネット100を介して不満情報処理装置12に供給される。不満情報処理装置12で不満情報を解析して得られた結果は、インターネット100を介して出力装置14に供給される。
不満情報処理装置12は、既述したように、不満データベース12aと、不満解析装置12bを備える。不満データベース12aは、大容量メモリで構成される。大容量メモリは、磁気ディスク、磁気テープ、光ディスク、半導体等で構成される。不満解析装置12bは、公知のコンピュータで構成され、具体的には、インターフェース(I/F)12c,12d、プロセッサ12e、プログラムメモリ12f及びワーキングメモリ12gを備える。
インターフェースI/F12cは、入力装置10から不満情報を入力し、入力装置10に対してポイント数データ等を出力する。インターフェースI/F12dは、出力装置14から出力要求を入力し、出力装置14に対して解析結果を出力する。
プロセッサ12eは、プログラムメモリ12fに格納された処理プログラムを読み出して実行し、ワーキングメモリ12gを用いて所定の処理を実行する。所定の処理には、入力装置10からの不満情報を受信して不満データベース12aに蓄積する処理(収集処理)、不満データベース12aに蓄積された不満情報を読み出して解析する処理(解析処理)、解析結果を出力装置14に出力する処理(出力処理)が含まれる。解析処理には、業界相間解析処理、製品相間解析処理、及び単語レベル相間解析処理が含まれる。処理プログラムは、それぞれの解析処理に対応するモジュールを有する。プロセッサ12eは、単一である必要はなく、互いに協働する複数のプロセッサから構成されていてもよい。
図3は、プロセッサ12eの機能ブロック図である。プロセッサ12eは、機能ブロックとして、データクレンジング部12e1、カテゴリ分類部12e2、不満査定部12e3、自然言語解析部12e4、単語集計・統計処理部12e5、及び関係図構築処理部12e6を備える。また、図3では、不満データベース12aは、査定前の不満データベース12a1と、査定済み不満データベース12a2の2つのデータベースから構成されるものとしている。これら2つのデータベースは、物理的に単一でもよく、あるいは別個でもよい。
査定前の不満データベース12a1は、入力装置10から入力された不満情報を順次蓄積する。査定前の不満データベース12a1は、バッファメモリとして機能するともいえる。
データクレンジング部12e1は、不満データベース12a1に蓄積されている不満情報の中から、重複や誤記、表記の揺れ等を探し出し、削除や修正、正規化等を行い、データの品質を高める。
カテゴリ分類部12e2は、データクレンジングされた不満情報をカテゴリ毎に分類する。カテゴリ毎の分類は、業界毎の分類、製品毎の分類、会社毎の分類等である。
不満査定部12e3は、分類された不満情報に対し、不満情報処理装置12側で不満情報の買取の可否、及び買い取る場合の価格の査定を行う。買取可否及び価格査定は、プログラムメモリ12fに格納されている処理プログラムに従って実行する。処理プログラムは、不満情報に含まれる不満内容を解析し、不満内容の具体性や明確性、あるいは新規性等に基づいて買取可否及び買取価格を決定する。不満内容がある程度の具体性があれば買取可能と判別し、不満内容が全く具体性のない場合(不満内容がそもそも何らの情報も含んでいない場合も含む)には買取不可と判別する。より形式的に、不満情報が備えるべき必要最小限の要件を備えている場合に買取可能と判別してもよい。不満情報が備えるべき必要最小限の要件は、例えば、「不満の対象」及び「不満の内容」であり、これらが備わっていれば買取可能と判別し、これらのいずれかが備わっていない場合には買取不能と判別する。
また、買取価格は、換金可能なポイント数として査定することができる。例えば、標準的な不満情報を1件1ポイントとし、具体性がより高いほどポイント数を高くする等である。例えば、不満対象に具体的な店名が含まれている場合にはポイント数を増大し、不満対象に具体的な製品名が含まれていればさらにポイント数を増大する等が好適である。不満対象に具体的な店名や製品名が含まれていれば、当該不満が業界に共通する不満なのか、特定の店単独の不満なのか、特定の商品の不満なのかを解析し得る。不満査定部12e3は、不満情報の買取の可否、及び買取価格の査定に際し、既に査定済みの不満データを蓄積する査定済み不満データベース12a2のデータを参照する。すなわち、査定済みの不満情報を順次、査定済み不満データベース12a2に蓄積していき、複数の不満情報が蓄積されたときに機械学習を行って一定の規則やルールを抽出し、これらの規則やルールに従って新たに収集された不満情報の買取可否及び買取価格を決定する。機械学習のアルゴリズムは、公知のアルゴリズム、例えば、決定木学習、相間ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン(SVM)、クラスタリング、ベイジアンネットワーク、強化学習、表現学習等を用いることができる。
査定済み不満データベース12a2には、査定済み、つまり買取がなされた不満情報がカテゴリ毎に分類されて登録される。登録される不満情報のフォーマットは任意であるが、その属性として、不満情報が入力された日付、不満情報を入力したユーザID、不満対象、不満内容が含まれ、不満対象には業界、会社名、製品名が含まれ、不満内容にはテキストデータが含まれる。なお、査定済み不満データベース12a2には、ユーザの氏名や住所、年齢、性別とID及びポイント数を関連付けたユーザデータも登録する。
自然言語解析部12e4は、不満情報に対し、形態素解析・係り受け解析・意味解析・トピック解析等を行う。形態素解析等は、プログラムメモリ12fに格納されている自然言語解析プログラムに従って実行する。
形態素解析は、対象言語の文法の知識(文法のルールの集まり)や辞書(品詞等の情報付きの単語リスト)を情報源として用い、自然言語で書かれた文を形態素(言語で意味を持つ最小単位)の列に分割し、それぞれの品詞を判別することをいう。形態素解析の基本的な手法は、文から切り出した単語が属する品詞を辞典を用いて調べていき、その結果得られた品詞の並びから文法的に正しい並びであるものを正解とするものである。多くの自然言語には品詞の接続に制限が存在する。例えば、日本語では動詞のあとに格助詞がくることはできない。この性質を利用することによって単語の境界の判別を行う。具体的にこの性質を利用する方法には、規則による方法と、確率的言語モデルを用いる方法がある。これらの方法は公知であるが、以下、簡単に説明する。
<規則による方法>
次のようなアルゴリズムを用いる。
ステップ1.事前に用意しておいた辞書や規則をテーブル形式で読み込む。
ステップ2.入力文を読み込む。
ステップ3.慣用句テーブルとのマッチングを行う。マッチングした部分は固定され、以降の解析では変更されない。
ステップ4.句読点と字種の変わり目(基本的にひらがなから漢字に変わる箇所)で、文節を切り出す。
ステップ5.切り出された文節の中で、慣用句にマッチングしていない箇所について、ひらがな書き自立語テーブル等とのマッチングを行う。
ステップ6.以上で出てきた慣用句や単語を接続条件に基づいて連鎖させていく。複数の連鎖がありうる場合、全てを出力する。
ステップ7.結果をファイルに書き出す。
ステップ8.未処理の文節があれば、上記のステップ5に戻る。
なお、前提として、漢字で書かれた部分は基本的に切り分けず、そこが自立語になると想定する。用いるテーブルは、例えば以下のものである。
・慣用句テーブル
・ひらがな部分の単語切り分け用テーブル
・付属語テーブル
・ひらがな自立語テーブル
・活用語尾テーブル
・ひらがな語幹テーブル
・特殊動詞テーブル
・副詞テーブル
・情報テーブル ( 上記テーブル内の各項目に対応した辞書的情報)
・接続テーブル(形態素間の相互接続関係を記述したテーブルであり、規則に相当する。接続カテゴリ(品詞)毎に、その前に出現可能な形態素のカテゴリや活用形が記されている。)
<確率論的言語モデルによる方法>
主な手法に「ラティス上の経路予測」と「点予測」がある。
ラティス上の経路予測では、事前に生成可能な単語列 (ラティス) を辞書を使って網羅的に列挙し、各単語間の連結部において両単語が連結して出現する確率に相当するスコアを付与する。文全体でこのスコアの合計がもっとも高くなるような品詞列を答えとする。スコアの計算は隠れマルコフモデル (HMM: Hidden Markov Model) や条件付き確率場 (CRF: Conditional Random Field) 等によりモデル化する。
点予測では、すべての文字の境界に対し、分割可能かどうかをサポートベクターマシン(SVM: Support Vector Machine) 等の分類器により判定する。分割可能な場合はその点が単語区切りとなる。分割判定には、分割点の周りの文字やその種類、部分文字列が単語辞書に含まれるかどうかといった情報が与えられる。品詞推定においても、ある判定箇所について、その単語と周りの単語から SVM などにより判定する。点予測は、辞書を使って単語ラティスを生成する必要がないという利点がある。このため、入力文中の単語が辞書に無い場合 (未知語を含む場合) でも、周りの文字列を使って単語らしい部分を識別可能な場合があり、辞書が貧弱でも比較的高い精度で解析できる。
本実施形態では、いずれの手法を用いてもよく、また、不満情報は必ずしも日本語でなくてもよく、例えば英語であってもよい。英語の文は日本語とは異なり、予め単語と単語の区切りがほとんどの箇所で明確に示されるので、単語分割の処理は日本語の場合ほど複雑である必要はなく、簡単なルールでよい。
また、係り受け解析は、構文解析であり、統計学的手法を部分的に取り入れて行うことができる。すなわち、事前に構文解析済みのトレーニング用データ群を使う。この場合、システムは特定の文脈でどのような構文が出現しやすいかという頻度情報を持つことになる。この手法では確率文脈自由文法(PCFG)を使うもの、最大エントロピー原理を使うもの、ニューラルネットワークを使うものがある。品詞も含めた単語の出現順の統計をとってもよい。自然言語の構文解析アルゴリズムには、CYK(Cocke-Younger-Kasami)法を用いることができる。CYK法は、チョムスキー標準形の文法を対象に構文解析を行うものである。ここで、チョムスキー標準形は、「動詞」「名詞句」といった品詞を指す記号(文字列)を非終端記号、「見た」「望遠鏡」のような具体的な単語を終端記号と呼んで区別し、二つの非終端記号から一つの非終端記号が得られるか、一つの非終端記号から一つの終端記号が得られる規則だけから成る文法をいう。
形態素解析は、不満情報に含まれる不満内容から単語を抽出するために用いられ、係り受け解析は、不満情報に含まれる不満内容から単語間のコンビネーションを抽出するために用いられる。
単語集計・統計処理部12e5は、自然言語解析部12e4の解析で得られた、不満情報に含まれる単語を集計し、統計処理を行う。単語集計・統計処理部12e5は、集計結果及び統計結果を出力する。この際に、必要に応じて購入済み・収集済みの外部データ13と照合して比較チャートグラフを出力する。購入済み・収集済みの外部データ13は、システムの外部に存在する、業界や製品についてのデータであり、不満解析装置12bでの解析結果と外部データとを照合することで、解析結果をより効果的に利用し得る。外部データの一例は、業界毎あるいは会社毎の株価チャートである。
関係図構築処理部12e6は、自然言語解析部12e4の解析で得られた、不満情報に含まれる単語の相互の関係をマップとして表現し、単語マップとして出力する。単語の相互の関係とは、単語の係り受け関係を意味し、2つの単語と、単語間を結ぶ矢印付きのリンクを最小単位として表現される。すなわち、
(単語1)→(単語2)
である。勿論、単語1と単語0が係り受け関係にあり、単語2と単語3が係り受け関係にある場合には、
(単語0)→(単語1)→(単語2)→(単語3)
となる。単語間の関係をマップとして表現することで、単に単語をリストアップする場合に比べて、不満内容を視覚的に容易に理解することができる。不満内容は多岐にわたるが、マップとして表現することで系統的に把握することが容易となる。
図4は、入力装置10から不満情報を入力する場合の入力画面例である。なお、不満情報を提供したい(あるいは不満情報を売りたい)と欲するユーザは、まず、不満情報処理装置12に対して住所、氏名、年齢、性別等を入力して会員登録し、IDを取得しておく。不満情報処理装置12は、会員のID及びポイント数を含む個人情報をユーザデータとして管理する。ユーザデータは、既述のように査定済み不満データベース12a2に登録して管理することができるが、これとは別個のユーザデータベースを設けてもよい。
入力画面の上部には、「不満を売る」とのメッセージ100が表示され、その右側に「ただいま5pt」とユーザが現在までに不満情報を売ることで獲得したポイント数102が表示される。また、その下のフィールドには、
「不満対象として「カテゴリ」、「カテゴリ2」、「会社・団体」、「商品名」をもれなく記入すると、買取金額が5ptから10ptにアップします」
とのメッセージ104が表示され、ユーザに対してカテゴリ、会社・団体名、商品名を具体的に特定するように促す。
不満情報を入力するための入力フィールドとして、不満の対象を入力するフィールド106、不満の内容を入力するフィールド108、改善提案を入力するフィールド110が設けられる。不満の対象を入力するフィールド106には、カテゴリ、カテゴリ2、会社・団体、支店・店舗名、商品名を入力することができる。カテゴリ1、2はともに業界であり、カテゴリ2はカテゴリ1よりも細分類である。カテゴリ1には例えば食品・飲料と入力し、カテゴリ2にはインスタント食品と入力する。カテゴリ1及びカテゴリ2は、いずれも選択メニューをポップアップ表示し、ユーザが選択メニューからいずれかを選択することで入力してもよい。この場合、カテゴリ1で選択されたメニューに応じてカテゴリ2における選択メニューが変化することは言うまでもない。会社・団体名、支店、店舗名、商品名はいずれも任意の入力項目であるが、既述したようにこれらの項目に入力することでポイント数が増大するため、ユーザにはこれらの項目に入力するためのインセンティブが付与される。
フィールド108には、不満の内容をテキストで入力することができる。改善提案には、入力した不満を解消するための改善内容をテキストで入力することができる。例えば、カテゴリに「食品・飲料」、カテゴリ2に「インスタント食品」、会社・団体名に「株式会社○○食品」、商品名に「△△ラーメン」、不満の内容に「ラーメンのスープが××で麺が××で具が××で容器が××」、「改善提案」に「スープをaa、麺をbb、具をcc、容器をddとした方がいいのではないか」等と入力する。
不満情報処理装置12は、このような不満情報を入力すると、カテゴリ1及びカテゴリ2で分類し、不満情報を査定して査定済み不満データベース12a2に登録する。カテゴリ1あるいはカテゴリ2にデータが入力されていない場合(null)、あるいは不満の内容にデータが入力されていない場合(null)は、買取不可として査定済み不満データベース12a2に登録しない。また、不満情報のうち、不満の内容に含まれるテキストデータ(あるいは音声データ)を自然言語解析し、不満の内容に含まれる単語を集計して統計処理する。改善提案についても同様である。統計処理は、単語数のカウントや、単語のコンビネーションのカウント等である。不満情報処理装置12は、出力装置14からの要求に応じ、査定済み不満データベース12a2に登録された不満情報を用いて、業界相間解析、製品相間解析、及び単語レベル解析を実行して出力する。以下、これらの各解析について具体的に説明する。
<業界相間解析>
業界相間解析は、業界毎に不満情報を解析するものであり、入力された不満情報に含まれる「カテゴリ」を用いて分類して査定済み不満データベース12a2に蓄積された不満情報を統計処理した結果を出力する。統計処理には、一定期間における全業界の不満数の算出、一定期間における特定業界の不満数の算出、前記2つの不満数の比率の算出、特定業界における不満数の多い会社の抽出、特定業界における不満数の多い製品の抽出が含まれる。また、入力された不満情報に含まれる「不満の内容」を自然言語解析して得られた単語を統計処理した結果を出力する。この統計処理には、一定期間における不満情報に多く含まれる単語の抽出、一定期間における不満情報に多く含まれる単語のコンビネーションの抽出が含まれる。
具体的な処理アルゴリズムは次のとおりである。
不満情報が入力されると、プロセッサ12eは、不満情報に含まれるカテゴリ1及びカテゴリ2を用いて不満情報を分類し、買取の可否及び買取価格を査定し、査定済み不満データベース12a2に登録する。例えば、カテゴリをC1,C2,・・・とし、カテゴリC1に属する会社Aの製品をa1,a2とし、製品a1についての不満情報をfuman111, fuman112, fuman113、製品a2についての不満情報をfuman121, fuman122, fuman123、カテゴリC2に属する会社Bの製品を製品b1とし、製品b1についての不満情報をfuman211,fuman212,fuman213とすると、
カテゴリC1ー会社Aー製品a1ーfuman111, fuman112, fuman113
―会社Aー製品a2ーfuman121, fuman122, fuman123
カテゴリC2ー会社Bー製品b1ーfuman211, fuman212, fuman213
等と登録する。各不満情報には、入力された日付データがメタデータとして付加される。
また、プロセッサ12eは、入力された不満情報に含まれる単語を解析し、形態素解析してその結果を査定済み不満データベース12a2に登録する。例えば、fuman111を形態素解析して、単語w1、w2,w3,w4が得られた場合、
fuman111= (w1, w2, w3, w4)
として査定済み不満データベース12a2に登録する。なお、各単語には、形態素解析により得られたその品詞を特定するメタデータも含まれる。例えば、単語w1:形容詞、単語w2:名詞等である。
出力装置14から業界及び商品並びに期間を指定した業界相間解析の要求を入力すると、プロセッサ12eは、査定済み不満データベース12a2に登録されている不満情報のうち、指定された業界及び製品並びに期間に該当する不満情報を検索し、統計処理して出力装置14に出力する。指定された期間に該当する不満情報の検索には、各不満情報に付加される日付データが用いられる。プロセッサ12eは、指定された期間における全業界の不満情報の総数Nを抽出してカウントし、かつ、指定された期間における指定業界の不満情報の総数nをカウントする。そして、指定された業界におけるトレンドを示す指数として、
比率=n/N
を算出する。需要者の興味が比較的高い業界においては、一定程度の不満が生じると考えられる(興味のないところには不満もない)ため、比率が一定程度ある場合にはその業界は注目度が高い業界であると解釈し得る。また、比率がある特定の時期において急峻に増大した場合には、当該業界に何らかの問題が生じている可能性があると解釈し得る。逆に、比率が急峻に増大した後に減少に転じた場合には、不満の原因が取り除かれた、つまり当該業界での不満の原因に対する対策が奏功したと解釈し得る。
また、プロセッサ12eは、検索して得られた不満情報に含まれる単語を検索し、統計処理して出力装置14に出力する。
図5は、出力装置14に出力される画面例である。出力装置14のユーザは、業界及び製品を入力し、不満情報の対象期間を入力する。対象期間とともに、その単位(週間(week)あるいは月間(month))を入力してもよい。これにより、出力装置14には、指定された業界におけるトレンドグラフ200が表示される。図において、横軸は日付(date)であり、縦軸は比率(ratio)である。ここで、比率は、上記のように、
比率=(指定された業界の不満数n)/(全業界の不満数N)
であり、週間を指定した場合には週単位での不満数、月間を指定した場合には月単位での不満数が用いられる。図5では、週単位を指定した場合の比率のトレンドを示す。
また、対象期間において、検索して得られた不満情報に含まれていた単語のうち、最も頻度の高い単語の上位3単語がグラフ202として表示される。この際、ユーザは、(全て)/(名詞)/(形容詞)/(動詞)のいずれかを指定することができる。図では、ユーザが(全て)を選択し、word a,word b,word cが頻度の高い上位3単語であることを示す。さらに、ユーザが、これらの単語のいずれかをクリックあるいはタッチして指定すると、最も頻度の高い単語のコンビネーションがポップアップ表示される。さらに、指定された業界において、不満数の多い会社名のランキング204、及び不満数の多い製品のランキング206が表示される。
図5に示す画面例を視認することで、ユーザは、特定の業界における不満の増大傾向あるいは不満の減少傾向を把握することができる。また、特定の業界における不満として、どのような不満が多いのかを把握することができる。さらに、特定の業界における不満として、どのような会社あるいはどのような製品の不満が多いのかを把握することができる。外部データとしての株価チャートと照合することで、株価と不満がどのように連動しているかを知ることもできる。
<製品相間解析>
製品相間解析は、製品毎に不満情報を解析するものであり、入力された不満情報に含まれる「製品」を用いて査定済み不満データベース12a2に蓄積された不満情報を検索して統計処理した結果を出力する。統計処理には、一定期間における全業界の不満数の算出、一定期間における特定製品の不満数の算出、前記2つの不満数の比率の算出、特定製品における不満数の多い会社の抽出が含まれる。また、入力された不満情報に含まれる「不満の内容」を自然言語解析して得られた単語を統計処理した結果を出力する。この統計処理には、一定期間における不満情報に多く含まれる単語の抽出、一定期間における不満情報に多く含まれる単語のコンビネーションの抽出が含まれる。
具体的な処理アルゴリズムは次のとおりである。
不満情報が入力されると、プロセッサ12eは、不満情報に含まれるカテゴリを用いて不満情報を分類し、カテゴリ毎に買取の可否及び買取価格を査定し、査定済み不満データベース12a2に登録する。
出力装置14から業界及び商品並びに期間を指定した製品相間解析の要求を入力すると、プロセッサ12eは、査定済み不満データベース12a2に登録されている不満情報のうち、指定された業界及び製品並びに期間に該当する不満情報を検索し、統計処理して出力装置14に出力する。指定された期間に該当する不満情報の検索には、各不満情報に付加される日付データが用いられる。プロセッサ12eは、指定された期間における全業界の不満情報の総数Nを抽出してカウントし、かつ、指定された期間における指定製品の不満情報の総数mをカウントする。そして、指定された業界におけるトレンドを示す指数として、
比率=m/N
を算出する。出力装置14から複数の製品が指定された場合、指定された製品毎に比率を算出する。また、プロセッサ12eは、検索して得られた不満情報に含まれる単語を検索し、統計処理して出力装置14に出力する。
図6は、出力装置14に出力される画面例である。出力装置14のユーザは、業界及び製品並びに会社名を入力し、不満情報の対象期間を入力する。対象期間とともに、不満数の単位(週間(week)あるいは月間(month))を入力してもよい。これにより、指定された製品におけるトレンドグラフ300が表示される。図において、横軸は日付(date)であり、縦軸は比率(ratio)である。ここで、比率は、上記のように、
比率=(指定された製品の不満数m)/(全業界の不満数N)
であり、週間を指定した場合には週単位での不満数、月間を指定した場合には月単位での不満数が用いられる。図6では、週単位を選択した場合の比率のトレンドを示す。
製品のトレンドグラフ300の右側には、製品を指定するためのチェックボックス302が表示される。ユーザは、このチェックボックスを用いて所望の製品を指定すると、指定された製品のトレンドグラフ300が表示される。複数の製品が指定された場合、複数の製品それぞれのトレンドグラフ300が重ねて表示される。図6では、3つの製品のトレンドグラフが色別に重ねて表示される。また、指定された製品のランキング304が表示される。
なお、ユーザがある特定の会社であり、指定された製品の中にユーザの会社の製品自身が含まれている場合には、デフォルト状態でユーザの会社の製品を中央に表示するのが好ましい。例えば、指定された製品が製品a1、a2、a3であり、製品a1がユーザの会社の製品である場合、
ランク 製品
3位 a2
5位 a1
1位 a3
等である。ユーザが、これらの製品のいずれかをクリックあるいはタッチして指定すると、当該製品についての不満情報に含まれる単語のうち最も頻度の高い単語がポップアップ表示される。
業界相間解析に加えて、製品相間解析を行う利点は以下の通りである。すなわち、業界相間解析では、業界トレンドにより特定の業界の不満の程度が他の業界の不満の程度と比べてどの程度であるかを把握することができるが、特定の業界の不満が多い場合に、それがその業界固有の問題であるのか、あるいはその業界における特定の製品あるいはサービスの問題であるのかを把握することができない。
他方、製品相間解析では、製品トレンドにより特定の業界におけるほぼ全ての製品に不満が多いのか、あるいは特定の製品のみに不満が集中しているのかを把握することができる。従って、業界相間解析と製品相間解析を共に実行することで、より正確な不満解析を行うことができ、業界レベルの改善、あるいは製品レベルの改善に供することができる。
<単語レベル相間解析>
単語レベル相間解析は、不満情報に含まれる単語間の関係を解析して出力するものである。
具体的な処理アルゴリズムは次のとおりである。
プロセッサ12eは、入力された不満情報に含まれる単語を解析し、形態素解析してその結果を査定済み不満データベース12a2に登録する。例えば、fuman111を形態素解析して、単語w1、w2,w3,w4が得られた場合、
fuman111= (w1, w2, w3, w4)
として査定済み不満データベース12a2に登録する。なお、各単語には、その品詞を特定するためのメタデータも含まれる。
さらに、プロセッサ12eは、係り受け解析して単語間の係り受けの関係を登録する。なお、係り受け解析は、文節間の「修飾する(係る)」「修飾される(受ける)」の関係を調べることをいう。例えば、fuman111に含まれる単語w1、w2、w3、w4において、
w1→w2
w3→w4
の関係を抽出する。プロセッサ12eは、各単語の頻度とともに、係り受けの関係の頻度についてもカウントし、これらの頻度に応じて単語、及び単語間の関係を図形表示する。
例えば、
w1→(5)→w2
w3→(7)→w4
等である。ここで、括弧内の数字は、係り受けの出現頻度を表す。
プロセッサ12eは、指定された業界あるいは指定された製品の不満情報から単語を解析する他に、特定の単語を指定された場合に、当該単語を検索し、その単語との間で係り受けの関係にあるコンビネーションを査定済み不満データベース12a2から検索してもよい。例えば、出力装置14から単語としてw2を指定された場合、
w1→(5)→w2
を検索して出力装置14に出力する等である。
図7は、出力装置14に出力される画面例である。出力装置14のユーザは、業界及び製品並びに会社名を入力し、不満情報の対象期間を入力する。これにより、指定された製品についての指定された期間における不満情報が検索され、検索して得られた不満情報に含まれる単語及びその係り受けが頻度とともに単語相間マップ400として表示される。
単語相間マップ400は、ノードと矢印付きリンク(方向性リンク)から構成され、ノードには検索して得られた不満情報に含まれる単語が表示され、単語間の係り受けが矢印付きリンクで表示される。すなわち、修飾する単語を矢印付きリンクの始点、修飾される単語を矢印付きリンクの終点として表示する。修飾する単語を[word from]、修飾される単語を[word to]とすると、
[word from] → [word to]
となる。ここで、「→」は矢印付きリンクを表す。なお、他の単語を修飾するとともに、他の単語から修飾される単語も存在し得るので、単語としては、
[word from]
[word to]
[word from & word to]
の3種類の単語が存在する。
出現頻度の高い単語のノードはマップのほぼ中央に表示する。また、出現頻度に応じてノードの大きさを変える、つまり出現頻度に比例してノードの面積を大きくしてもよい。
また、出現頻度に応じて矢印付きリンクの太さを変える、つまり出現頻度に比例してリンクの太さを大きくしてもよい。出現頻度に応じてリンクの色を変化させることも可能である。単語及び単語間の係り受けをこのようなノードとリンクの図形表示とすることで、不満の内容をパターンとして理解することができる。
以上、本発明の実施形態について説明したが、本発明は実施形態に限定されず、種々の変更が可能である。
例えば、製品相間解析において、さらに、不満情報を入力したユーザの年齢や性別により不満情報を検索し、統計処理した結果を出力装置14に出力してもよい。
図8は、出力装置14のユーザが、業界及び製品並びに会社名を指定するとともに、年齢を指定した場合の出力装置14に出力される画面例である。年齢として、10代、20代、30代を指定すると、10代の不満情報、20代の不満情報、30代の不満情報が検索され、それぞれの総数が製品毎にカウントされて500として出力される。このチャート500により、製品についての年代別の不満トレンドを正確に把握することができる。
また、不満情報を入力したユーザの年齢に代えて、あるいは年齢とともに、ユーザの居住地域を指定し、居住地域により不満情報を検索して統計処理した結果を出力装置14に出力してもよい。
図9は、出力装置14のユーザが、業界及び製品並びに会社名を指定するとともに、年齢及び地域を指定した場合の出力装置14に出力される画面例である。年齢として、10代、20代、30代を指定し、地域として、東京、大阪、神奈川を指定すると、10代の指定地域の不満情報、20代の指定地域の不満情報、30代の指定地域の不満情報が検索され、それぞれの総数が製品毎にカウントされてチャート600として出力される。このチャート600により、製品についての年代別かつ地域別の不満トレンドを正確に把握することができる。同一製品に対して地域が異なればその製品に対するニーズも異なることが知られている。このようなチャートにより、製品についての地域別の不満トレンドを正確に把握することができる。
また、出力装置14のユーザが、業界及び製品並びに会社名を指定するとともに、年齢及び性別を指定し、これらの属性により不満情報を検索して統計処理した結果を出力装置14に出力してもよい。
図10は、出力装置14のユーザが、業界及び製品並びに会社名を指定するとともに、年齢及び性別を指定した場合の出力装置14に出力される画面例である。年齢で検索した場合の不満総数及び性別で検索した場合の不満総数がそれぞれカウントされてチャート700として出力される。
また、本実施形態では、製品相間分析において、ユーザの年齢や性別、地域を用いて解析しているが、単語レベル相間分析においても、同様にユーザの年齢や性別、地域を用いて解析してもよい。
また、本実施形態では、図5等に示すように、出力装置14に「業界トレンド」、「製品トレンド」、「単語マップ」のタブが表示され、これらのタブを選択することでそれぞれ業界相間解析、製品相間解析、単語レベル相間解析を不満情報処理装置12に要求する構成であるが、出力装置14からの解析要求に応じ、業界相間解析、製品相間解析、単語レベル相間解析を全て自動的に実行してこれらの解析結果を出力装置14に出力してもよい。
10 入力装置、10a ロボット、10b コンピュータ端末、10c ウェアラブル端末、10d スマートフォン、10e スマート家電、10f カメラ、12 不満情報処理装置、12a 不満データベース、12b 不満解析装置、12c,12d インターフェース(I/F)、12e プロセッサ、12f プログラムメモリ、12g ワーキングメモリ、14 出力装置、100 インターネット。

Claims (5)

  1. 不満情報処理装置であって、
    入力された不満情報を記憶するデータベースと、
    前記データベースに記憶された前記不満情報に含まれるカテゴリ属性に基づき、前記不満情報を業界毎に解析し統計処理して業界相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる製品属性に基づき、前記不満情報を製品毎に解析し統計処理して製品相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる不満内容属性に基づき、前記不満情報を自然言語解析し統計処理して単語相間解析結果を出力するプロセッサと、
    を備え、
    前記業界相間解析結果は、指定期間における全業界の不満情報数に対する指定業界の不満情報数の比率を含み、
    前記製品相間解析結果は、指定期間における全業界の不満情報数に対する指定製品の不満情報数の比率を含み、
    前記単語相間解析結果は、指定期間における指定業界あるいは指定製品の不満情報に含まれる単語の係り受けを含む
    ことを特徴とする不満情報処理装置。
  2. 前記業界相間解析結果は、指定期間における指定業界の不満情報に含まれる単語の出現頻度情報を含む
    ことを特徴とする請求項1記載の不満情報処理装置。
  3. 前記製品相間解析結果は、指定期間における指定製品の不満情報が相対的に多い会社情報を含む
    ことを特徴とする請求項1記載の不満情報処理装置。
  4. 前記単語相間解析結果は、指定業界あるいは指定製品の不満情報に含まれる単語をノードとし、前記係り受けを前記ノードの間を結ぶリンクとした図形情報を含む
    ことを特徴とする請求項1記載の不満情報処理装置。
  5. 不満情報処理システムであって、
    不満情報を入力する入力装置と、
    前記入力装置からの前記不満情報を解析処理する不満情報処理装置と、
    前記不満情報処理装置からの解析結果を出力する出力装置と、
    を備え、
    前記不満情報処理装置は、
    前記入力装置からの不満情報を記憶するデータベースと、
    前記出力装置からの解析要求に応じ、前記データベースに記憶された前記不満情報に含まれるカテゴリ属性に基づき、前記不満情報を業界毎に解析し統計処理して業界相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる製品属性に基づき、前記不満情報を製品毎に解析し統計処理して製品相間解析結果を出力し、前記データベースに記憶された前記不満情報に含まれる不満内容属性に基づき、前記不満情報を自然言語解析し統計処理して単語相間解析結果を出力するプロセッサと、
    を備え、
    前記業界相間解析結果は、指定期間における全業界の不満情報数に対する指定業界の不満情報数の比率を含み、
    前記製品相間解析結果は、指定期間における全業界の不満情報数に対する指定製品の不満情報数の比率を含み、
    前記単語相間解析結果は、指定期間における指定業界あるいは指定製品の不満情報に含まれる単語の係り受けを含む
    ことを特徴とする不満情報処理システム。
JP2017520072A 2015-05-22 2015-05-22 不満情報処理装置及びシステム Active JP6506839B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064798 WO2016189594A1 (ja) 2015-05-22 2015-05-22 不満情報処理装置及びシステム

Publications (2)

Publication Number Publication Date
JPWO2016189594A1 JPWO2016189594A1 (ja) 2018-03-15
JP6506839B2 true JP6506839B2 (ja) 2019-04-24

Family

ID=57392976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520072A Active JP6506839B2 (ja) 2015-05-22 2015-05-22 不満情報処理装置及びシステム

Country Status (2)

Country Link
JP (1) JP6506839B2 (ja)
WO (1) WO2016189594A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731469B2 (ja) * 2018-12-21 2020-07-29 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266586B2 (ja) * 1999-07-07 2002-03-18 インターナショナル・ビジネス・マシーンズ・コーポレーション データ分析システム
JP2002140419A (ja) * 2000-11-02 2002-05-17 Hitachi Koukiyou Syst Eng Kk 苦情受付代行業のサービス方法および装置
JP5138621B2 (ja) * 2009-03-02 2013-02-06 日本電信電話株式会社 情報処理装置及び不満解決商品発見方法及びプログラム
JP5471673B2 (ja) * 2010-03-23 2014-04-16 大日本印刷株式会社 文書分類装置、プログラムおよび記憶媒体
JP5599073B2 (ja) * 2011-06-10 2014-10-01 株式会社野村総合研究所 感性分析システム及びプログラム

Also Published As

Publication number Publication date
JPWO2016189594A1 (ja) 2018-03-15
WO2016189594A1 (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
US10311377B2 (en) Categorization of user interactions into predefined hierarchical categories
US7930302B2 (en) Method and system for analyzing user-generated content
US20150186790A1 (en) Systems and Methods for Automatic Understanding of Consumer Evaluations of Product Attributes from Consumer-Generated Reviews
JP6022056B2 (ja) 検索結果の生成
US20150286943A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
KR20210047229A (ko) 구매 우선순위와 상품 리뷰 감성분석을 반영한 상품 추천 시스템 및 방법
KR101540683B1 (ko) 감정어의 극성을 분류하는 방법 및 서버
US20220382794A1 (en) System and method for programmatic generation of attribute descriptors
US20230144844A1 (en) Systems and methods for managing a personalized online experience
Banjar et al. Aspect-Based Sentiment Analysis for Polarity Estimation of Customer Reviews on Twitter.
WO2016186923A1 (en) Process journey sentiment analysis
CN109582788A (zh) 垃圾评论训练、识别方法、装置、设备及可读存储介质
CN108470289B (zh) 基于电商购物平台的虚拟物品发放方法及设备
CN104881446A (zh) 搜索方法及装置
CN113722487A (zh) 用户情感分析方法、装置、设备及存储介质
CN111737607B (zh) 数据处理方法、装置、电子设备以及存储介质
JP5138621B2 (ja) 情報処理装置及び不満解決商品発見方法及びプログラム
Groot Data mining for tweet sentiment classification
JP6506839B2 (ja) 不満情報処理装置及びシステム
JP2020154464A (ja) 推定装置、推定方法及び推定プログラム
CN111144122A (zh) 评价处理方法、装置和计算机系统及介质
JP6993955B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7351502B2 (ja) 変数データ生成装置、予測モデル生成装置、変数データ生産方法、予測モデル生産方法、プログラム及び記録媒体
JP2018067215A (ja) データ分析システム、その制御方法、プログラム、及び、記録媒体
Aishwarya et al. Summarization and Prioritization of Amazon Reviews based on multi-level credibility attributes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190329

R150 Certificate of patent or registration of utility model

Ref document number: 6506839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250