JP7159248B2 - レビュー情報の処理方法、装置、コンピュータ機器及び媒体 - Google Patents

レビュー情報の処理方法、装置、コンピュータ機器及び媒体 Download PDF

Info

Publication number
JP7159248B2
JP7159248B2 JP2020127189A JP2020127189A JP7159248B2 JP 7159248 B2 JP7159248 B2 JP 7159248B2 JP 2020127189 A JP2020127189 A JP 2020127189A JP 2020127189 A JP2020127189 A JP 2020127189A JP 7159248 B2 JP7159248 B2 JP 7159248B2
Authority
JP
Japan
Prior art keywords
review
viewpoint
phrase
phrases
corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020127189A
Other languages
English (en)
Other versions
JP2021108098A (ja
Inventor
ハオ リウ,
ボレイ へー,
シンヤン シャオ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021108098A publication Critical patent/JP2021108098A/ja
Application granted granted Critical
Publication of JP7159248B2 publication Critical patent/JP7159248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本出願は、コンピュータ技術における自然言語処理技術の分野に関し、特に、レビュー情報の処理方法は、装置、コンピュータ機器及び媒体に関する。
電子商取引の急速な発展に伴い、ますます多くのユーザが電子商取引プラットフォームから商品を購入し、ユーザが買い物をする時に、通常、既に商品を購入した他のユーザが発表したレビュー情報を参照して、レビュー情報に基づいて商品の品質を決定するようになってきている。商品のレビュー情報は、ユーザが消費の決定を行うように支援することや、販売業者がサービス品質を向上させるように支援することに重要な意義がある。しかしながら、データ量の爆発的な増加に伴い、ユーザは、大量のレビューデータから有用な情報を取得する必要がある。
関連技術において、レビューデータの処理には、レビュー観点抽出、観点レベルの感情分類、及び観点分類などのようなサブタスクを含むことができる。観点抽出タスクに対しては、監督シーケンスラベル付けのある方法を採用してレビュー情報からレビュー観点を抽出し、ユーザはレビュー観点が元のレビュー文に出現する位置をラベル付けし、監督のあるシーケンスラベル付けモデルを順次にトレーニングする必要がある。観点分類タスクに対しては、ユーザごとにカスタマイズした観点分類体系をラベル付けする必要があるため、観点分類データが異なるユーザ間で共有されることができない。したがって、異なるアプリケーションシナリオのデータラベル付けに対して、大量の人件費を浪費してデータをラベル付けする必要があり、ユーザの体験に深刻な影響を与える。
本出願は、観点フレーズに対応するカテゴリをラベル付けするだけでトレーニングサンプルを生成することで、作業量を減らし、人件費をある程度節約することができるレビュー情報の処理方法、装置、コンピュータ機器及び媒体を提供する。
本出願の第1の態様の実施例は、レビュー情報の処理方法を提供する。前記方法は、ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定するステップと、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するステップと、各観点フレーズに対して、対応される観点カテゴリ対応する観点フレーズにマッチングするターゲットコーパスをラベリングして、第1のトレーニングサンプルを取得するステップと、前記第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識するステップと、を含み、第1のトレーニングサンプルは、レビュー観点辞書における各観点フレーズにマッチングするターゲットコーパスを含み、各観点フレーズにマッチングするターゲットコーパスは、いずれも対応する観点フレーズに対応される観点カテゴリでラベリングされる
本出願の実施例の第1の可能な実現方式として、各観点フレーズは、実体語と説明語とを含み、前記複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するステップは、各観点フレーズに対して、前記複数のレビューコーパスから、対応する観点フレーズ内の実体語と説明語とを含む候補コーパスを選別するステップと、前記候補コーパスにおける実体語と説明語が同じ短文に出現し、間隔単語の個数が閾値以下である場合、前記候補コーパスを対応する観点フレーズにマッチングするターゲットコーパスとするステップと、を含む。
本出願の実施例の第2の可能な実現方式として、前記複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得した後、各ターゲットコーパスをマッチングする観点フレーズでラベリングして、第2のトレーニングサンプルを取得するステップと、複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、手動でラベルを付けることによって、観点フレーズで前記暗黙的コーパスをラベリングして、第3のトレーニングサンプルを取得するステップと、前記第2のトレーニングサンプルと前記第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出するステップと、をさらに含み、レビューが暗黙的コーパスである場合、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在しない。
本出願の実施例の第3の可能な実現方式として、前記符号化復号モデルは、エンコーダとデコーダとを含み、前記エンコーダは、入力されたレビューを意味的に符号化して、対応するレビューの暗黙的状態ベクトルを取得する。
前記デコーダは、前記暗黙的状態ベクトルを復号化して前記観点フレーズを出力し、前記デコーダは、学習することで暗黙的状態ベクトルと観点フレーズとのマッピング関係を既に取得している。
本出願の実施例の第4の可能な実現方式として、前記第2のトレーニングサンプルと前記第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングした後、観点フレーズを抽出する必要があるレビューに対して、前記レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定するステップと、観点フレーズが存在する場合、マッチングする観点フレーズを前記レビューの観点フレーズとするステップと、観点フレーズが存在しない場合、前記レビューをトレーニングされた符号化復号モデルに入力して、前記トレーニングされた符号化復号モデルによって出力された観点フレーズを前記レビューの観点フレーズとするステップと、をさらに含む。
本出願の実施例の第5の可能な実現方式として、前記レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有し、マッチングする観点フレーズを前記レビューの観点フレーズとした後、観点フレーズにマッチングする固定的にコロケーションされた感情語に基づいて、前記レビューの感情的な傾向を決定するステップをさらに含む。
本出願の実施例の第6の可能な実現方式として、ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定する前に、予め設定された抽出ルールに基づいて、前記複数のレビューコーパスに対してフレーズ抽出を行って、複数の候補フレーズを取得するステップと、各候補フレーズの前記複数のレビューコーパスにおける出現頻度に基づいて、前記複数の候補フレーズから複数のレビュー観点フレーズを選別して取得するステップと、をさらに含み、前記レビュー観点辞書は、前記複数のレビュー観点フレーズによって構成される
本出願第2の態様の実施例は、レビュー情報の処理装置を提供し、前記装置は、ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定するための応答モジュールと、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するための取得モジュールと、各観点フレーズに対して、対応される観点カテゴリ対応する観点フレーズにマッチングするターゲットコーパスをラベリングして、第1のトレーニングサンプルを取得するためのラベル付けモジュールと、前記第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識するためのトレーニングモジュールと、を含み、第1のトレーニングサンプルは、レビュー観点辞書における各観点フレーズにマッチングするターゲットコーパスを含み、各観点フレーズにマッチングするターゲットコーパスは、いずれも対応する観点フレーズに対応される観点カテゴリでラベリングされる
本出願の第3の態様の実施例は、コンピュータ機器を提供し、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信するように接続されるメモリと、を含み、前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令を記憶し、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、第1の態様の実施例に記載のレビュー情報の処理方法を実行する。
本出願の第4の態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記プログラムが実行される場合に、第1の態様の実施例に記載のレビュー情報の処理方法が実現される。
本出願の第5の態様の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムにおける命令が実行された場合に、第1の態様の実施例に記載のレビュー情報の処理方法が実行される。
上記の出願の一実施例は、以下のような利点又は有益な効果を有する。ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定し、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得し、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得し、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。当該方法は、観点フレーズに対応される観点カテゴリをラベル付けするだけでトレーニングサンプルを生成することができ、関連技術における異なるアプリケーションシナリオに対するレビューについて、ユーザがすべてのトレーニングサンプルをラベル付けする必要があり、大量の人件費を浪費するといった技術的問題を解決することで、作業量を減らし、人件費を節約することができる。
上記の選択可能な方式が有する他の効果は、以下の具体的な実施例を組み合わせて説明する。
図面は、本技術案をよりよく理解するために使用されており、本出願の限定を構成するものではない。
本出願の実施例により提供されるレビュー情報の処理方法の概略フローチャートである。 本出願の実施例により提供される別のレビュー情報の処理方法の概略フローチャートである。 本出願の実施例により提供されるもう一つのレビュー情報の処理方法の概略フローチャートである。 本出願の実施例により提供されるレビュー情報の処理装置の概略構成図である。 本出願の実施例のレビュー情報の処理方法を実現するためのコンピュータ機器のブロック図である。
以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細を含んでいるが、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構造の説明を省略する。
レビュー分析の核心的アプリケーションシナリオは電子商取引レビュー分析であるが、電子商取引シーンでのレビュー分析は多くの技術的困難に直面している。
まず、レビュー観点抽出のサブタスクには、次元とレビューの表現の多様性の問題が存在する。次に、トレーニング可能なデータが少なく、サンプルラベル付けコストが高いという問題がある。レビュー観点抽出に対して、レビュー観点がレビューテキストに直接出現された場合、ユーザは、レビューテキスト内のレビュー観点に対応する元のテキスト内の位置をラベル付けする必要があり、暗黙的表現のレビュー観点に対して、ユーザはレビュー内容を読んで理解した前提で、要約的なレビュー観点を提供する必要がある。観点感情分類に対して、ユーザは、提供されたレビュー観点と元のレビュー文とに基づいて、感情の極性をさらにラベル付けする必要がある。観点分類タスクに対して、ユーザは上記のラベル付けに基づいて観点カテゴリにラベル付けを続ける必要がある。これから分かるように、大量の人力を費やしてこそ、数量、品質が良好な観点分析トレーニングデータを構築することができるため、ユーザの体験に深刻な影響を与える。
関連技術の技術的問題に対して、本出願は、レビュー情報の処理方法を提供し、ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定し、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得し、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得し、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。当該方法は、観点フレーズに対応されるカテゴリをラベル付けするだけでトレーニングサンプルを生成するため、作業量を減らし、人件費をある程度節約することができる。
以下、図面を組み合わせて本出願のレビュー情報の処理方法は、装置、コンピュータ機器及び媒体を説明する。
図1は、本出願の実施例により提供されるレビュー情報の処理方法の概略フローチャートである。
本出願の実施例は、当該レビュー情報の処理方法がレビュー情報の処理装置に構成されている例を挙げて説明する。当該レビュー情報の処理装置は、任意のコンピュータ機器に適用することで、当該コンピュータ機器がレビュー情報の処理機能を実行することができる。
コンピュータ機器は、パーソナルコンピュータ(Personal Computer、PCと略称する)、クラウドデバイス、モバイルデバイスなどであってもよく、モバイルデバイスは、例えば、携帯電話、タブレットコンピュータ、携帯情報端末、車載デバイスなどの様々なオペレーティングシステムを有するスマートデバイスであってもよい。
図1に示すように、当該レビュー情報の処理方法は、以下のようなステップを含むことができる。
ステップ101:ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定する。
レビュー情報の処理は、レビュー情報からユーザレビュー観点を要約できるタグを自動的に抽出することを目的としており、例えば、次元語、評価語、感情の極性、観点カテゴリを含む4次元の集合を出力することができることを理解されたい。例えば、レビュー情報は、「拡張ネジを締め付けると、水平ではなかったり、機械に水漏れがあったりした。修理もしたが、費用も高く、設置業者はむやみに料金を徴収する。」であり、レビュー観点が、「機械-水漏れ-消極的-商品」、「費用-高い-積極的-修理」、「設置業者-むやみに料金を徴収する-消極的-取り付け」などを抽出することができる。
本出願の実施例では、各観点フレーズは、実体語と説明語とを含むことができ、観点フレーズは、レビュー情報から自動的に発掘された次元語、評価語、感情の極性からなるフレーズである。例えば、観点フレーズは、「費用-高い-消極的」、「取り付け-粗末-消極的」などであってもよい。実体語は、「費用」、「取り付け」などである。レビュー観点辞書は、レビュー情報から発掘された複数のレビュー観点フレーズによって構成される。レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有する。例えば、感情語は、「消極的」、「積極的」などであってもよい。
なお、品詞テンプレートマッチングとクラスタリングを組み合わせる方法を採用してレビューコーパスから観点フレーズを自動的に抽出することができ、また、ディープニューラルネットワークモデル、又はトピックモデルに基づく方法を採用してレビュー情報から観点フレーズを自動的に抽出することもでき、具体的な発掘方法は、本出願の実施例では限定されない。
本出願の実施例では、予め設定された抽出ルールに基づいて、複数のレビューコーパスに対してフレーズ抽出を行って、複数の候補フレーズを取得し、さらに、各候補フレーズの複数のレビューコーパスにおける出現頻度に基づいて、複数の候補フレーズから複数のレビュー観点フレーズを選別して取得することもできる。
例えば、候補フレーズ中で出現頻度が高いいくつかの候補フレーズを、レビュー観点フレーズとすることができる。
本出願の実施例では、レビュー観点辞書における各観点フレーズに対して、ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けする必要があるため、コンピュータ機器がユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対応される観点カテゴリを決定することができる。
例えば、ユーザは、観点フレーズ「費用-高い-消極的」を修理にラベル付けした後、当該観点フレーズに対応される観点カテゴリが「修理」であると決定することができる。ユーザは、観点フレーズ「取り付け-粗末-消極的」を取り付けにラベル付けした後、当該観点フレーズに対応される観点カテゴリが「取り付け」であると決定することができる。
ステップ102:複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得する。
レビューコーパスは、サーバから取得されたユーザのレビュー情報、すなわちユーザの元のレビューテキストであってもよい。
本出願の実施例では、レビュー観点辞書における各観点フレーズに対して、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得することができる。
可能な実現方式として、各観点フレーズに対して、複数のレビューコーパスから、対応する観点フレーズ内の実体語と説明語とを含む複数の候補コーパスを選別し、候補コーパスにおける実体語と説明語が同じ短文に出現し、間隔単語の個数が閾値以下である場合、当該候補コーパスを対応する観点フレーズにマッチングするターゲットコーパスとすることができる。
例えば、観点フレーズは「費用-高い-消極的」であり、取得されたユーザレビューの複数のレビューコーパスの中から、対応する観点フレーズにおける実体語と説明語とを含む複数の候補コーパスを選別することができ、さらに候補コーパスにおける実体語と説明語が同じ短文に出現され、間隔単語の個数が閾値以下であることに基づいて、当該観点フレーズにマッチングするターゲットコーパスが「拡張ネジを締め付けると、水平ではなかったり、機械に水漏れがあったりした。修理もしたが、費用も高く、設置業者はむやみに料金を徴収する。」であると決定することができる。
ステップ103:各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得する。
本出願の実施例では、レビュー観点辞書における各観点フレーズに対応される観点カテゴリ、及びマッチングされるターゲットコーパスを決定した後、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得することができる。
以上記の例を例に続けると、観点フレーズ「費用-高い-消極的」に対応される観点カテゴリが「修理」であると決定した後、当該観点フレーズに対応される観点カテゴリを使用して当該観点フレーズにマッチングするターゲットコーパス「拡張ネジを締め付けると、水平ではなかったり、機械に水漏れがあったりした。修理もしたが、費用も高く、設置業者はむやみに料金を徴収する。」をラベル付けして、観点フレーズカテゴリを既にラベル付けしたトレーニングサンプルを取得することができる。
本出願の実施例では、第1のトレーニングサンプルは、他のトレーニングサンプルと区別するために命名されたものであり、レビュー観点辞書における各観点フレーズにマッチングするターゲットコーパスを含み、各観点フレーズにマッチングするターゲットコーパスは、いずれも対応する観点フレーズに対応される観点カテゴリを使用してラベル付けする。
ステップ104:第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。
本出願の実施例では、第1のトレーニングサンプルを取得した後、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。
本出願の実施例のレビュー情報の処理方法は、ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定し、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得し、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得し、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。当該方法は、観点フレーズに対応される観点カテゴリをラベル付けするだけでトレーニングサンプルを生成することができ、関連技術における異なるアプリケーションシナリオに対するレビューについて、ユーザがすべてのトレーニングサンプルをラベル付けする必要があり、大量の人件費を浪費するという技術的問題を解決することで、作業量を減らし、人件費を節約することができる。
上記の実施例に基づいて、ステップ102では、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得した後、さらに、ターゲットコーパスをラベル付けして、第2のトレーニングサンプルを取得し、複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを人工的にラベル付けして、第3のトレーニングサンプルを取得し、さらに、第2のトレーニングサンプルと第3のトレーニングサンプルを使用して符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出することもできる。以下、図2を組み合わせて上記のプロセスを詳細に説明する。図2は、本出願の実施例により提供される別のレビュー情報の処理方法の概略フローチャートである。
図2に示すように、当該レビュー情報の処理方法は、さらに以下のようなステップを含むことができる。
ステップ201:ターゲットコーパスごとにマッチングする観点フレーズを使用してラベル付けして、第2のトレーニングサンプルを取得する。
ステップ202:複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、人工ラベル付け情報を使用して暗黙的コーパスに観点フレーズをラベル付けして、第3のトレーニングサンプルを取得する。
可能な場合には、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得した後、各ターゲットコーパスに対して、マッチングする観点フレーズを使用してラベル付けして、第2のトレーニングサンプルを取得する。
別の可能な場合には、複数のレビューコーパスに、任意の観点フレーズにいずれもマッチングしていないレビューコーパスが存在した場合、複数のレビューコーパスから、レビュー観点辞書における任意の観点フレーズにいずれもマッチングしていないレビューコーパスを暗黙的コーパスとし、さらに、人工ラベル付け情報を使用して暗黙的コーパスに観点フレーズをラベル付けして、第3のトレーニングサンプルを取得することができる。
暗黙的コーパスとは、レビューコーパスに実体語と説明語とが直感的に含まれておらず、ユーザ意見を暗黙的に表現するレビューテキストを指す。
例えば、レビューコーパスが「食べられるかどうか疑わしい」であると仮定すると、当該レビューコーパスは、レビュー観点辞書内の任意の観点フレーズにいずれもマッチングしておらず、人工ラベル付けの方式を採用して当該レビューコーパスが観点フレーズ「味-悪い-消極的」であるとラベル付けすることができる。
なお、複数のレビューコーパスについて、任意の観点フレーズにいずれもマッチングしていないレビューコーパスは、いずれも情報を人工的にラベル付けする方式を使用して観点フレーズをラベル付けし、上記のトレーニングテキストと区分することを容易にするために、ここでは、観点フレーズをラベル付けした後の暗黙的コーパスを第3のトレーニングサンプルとする。
ステップ203:第2のトレーニングサンプルと第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出する。
本出願の実施例では、符号化復号モデルは、エンコーダとデコーダとを含む。エンコーダは、入力されたレビューを意味的に符号化して、対応するレビューの暗黙的状態ベクトルを取得し、デコーダは、暗黙的状態ベクトルを復号化して観点フレーズを出力する。デコーダは、学習することで暗黙的状態ベクトルと観点フレーズとのマッピング関係を既に取得している。これにより、レビューをトレーニングされた符号化復号モデルに入力した後、レビューの観点フレーズを正確に抽出して取得することができる。
暗黙的状態ベクトルは、対応するレビュー及びそのコンテキストの意味を示すために用いられる。意味符号化は、単語によって情報を加工し、意義、システム分類によって言語材料を自分の言語形式で組織及び要約して、材料の基本論点、論拠、論理構造を見つけ、意味特徴に従って符号化する。
自然言語処理では、自然言語テキストは、たくさんの記号が順序でスプライスされる不定長シーケンスであり、コンピュータで理解できる数値型のデータに直接変換することが難しいため、さらなる計算処理を直接行うことができない。暗黙的状態ベクトルは、豊富な情報を含んでいるため、ディープラーニングがほとんどの自然言語処理アプリケーションを処理することができる。
なお、エンコーダで入力されたレビューを音声符号化し、対応するレビューの暗黙的状態ベクトルを生成する方法は多くある。例えば、双方向長短記憶ネットワーク(Bi-directional Long Short-Term Memor5、BiLSTMと略称する)、自己注意機構(Self Attention)、畳み込みニューラルネットワーク(Convolutional Neural Network、CNNと略称する)などを採用することができる。本出願の実施例では、エンコーダによって採用される符号化技術には何の制限もない。
本出願の実施例では、第2のトレーニングサンプルと第3のトレーニングサンプルを取得した後、第2のトレーニングサンプルと第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出する。これにより、レビューをトレーニングされた符号化復号モデルに入力した後、レビューの観点フレーズを正確に抽出して取得することができる。
本出願の実施例のレビュー情報の処理方法は、ターゲットコーパスごとにマッチングする観点フレーズを使用してラベル付けして、第2のトレーニングサンプルを取得し、複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、人工ラベル付け情報を使用して暗黙的コーパスに観点フレーズをラベル付けして、第3のトレーニングサンプルを取得し、第2のトレーニングサンプルと第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出する。これにより、レビューをトレーニングされた符号化復号モデルに入力した後、レビューの観点フレーズを正確に抽出して取得することで、観点のリコール率を最大限に向上させることができる。
上記の実施例に基づいて、観点フレーズを抽出する必要があるレビューに対して、レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定することで、レビューをトレーニングされた符号化復号モデルに入力する必要があるか否かを決定することができる。以下、図3を組み合わせて上記のプロセスを詳細に説明する。図3は、本出願の実施例により提供されるもう一つのレビュー情報の処理方法概略フローチャートである。
図3に示すように、当該レビュー情報の処理方法は、さらに以下のようなステップを含むことができる。
ステップ301:観点フレーズを抽出する必要があるレビューに対して、レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定する。
本出願の実施例では、観点フレーズを抽出する必要があるレビューに対して、まず、レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定する。
なお、観点フレーズ内の実体語と説明語が観点フレーズを抽出する必要があるレビューの同じ短文に出現し、間隔単語の個数が閾値以下である場合、当該観点フレーズを、観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズとして決定する。
ステップ302:観点フレーズが存在する場合、マッチングする観点フレーズをレビューの観点フレーズとする。
可能な場合には、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在する場合、マッチングする観点フレーズを当該レビューの観点フレーズとすることができる。
例えば、観点フレーズを抽出する必要があるレビューが「拡張ネジを締め付けると、水平ではなかったり、機械に水漏れがあったりした。修理もしたが、費用も高く、設置業者はむやみに料金を徴収する。」である。レビュー観点辞書に当該レビューにマッチングする「費用-高い-消極的」という観点フレーズが存在すると、「費用-高い-消極的」をレビューの観点フレーズとする。
なお、レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有し、可能な実現方式として、マッチングする観点フレーズをレビューの観点フレーズとした後、観点フレーズにマッチングする固定的にコロケーションされた感情語に基づいて、レビューの感情的な傾向を決定することができる。
上記の例示を例として、マッチングする観点フレーズ固定的にコロケーションされた感情語が「消極的」であると決定された後、レビューの感情的な傾向も「消極的」であると決定することができる。
別の可能な実現方式として、感情分類モデルを使用して認識してレビューの感情的な傾向を決定することもできる。感情分類モデルは、汎用シーンの分類モデルであってもよく、特定シーンで人工的に少量ラベル付けられたトレーニングサンプルに基づいて遷移学習を行って、当該特定シーンでの感情分類モデルを取得する。
ステップ303:観点フレーズが存在しない場合、レビューをトレーニングされた符号化復号モデルに入力して、トレーニングされた符号化復号モデルによって出力された観点フレーズをレビューの観点フレーズとする。
別の可能な場合には、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在しない場合、レビューをトレーニングされた符号化復号モデルに入力して、トレーニングされた符号化復号モデルによって出力された観点フレーズをレビューの観点フレーズとする。
レビューが暗黙的コーパスであり、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在しない場合、レビューをトレーニングされた符号化復号モデルに入力して、トレーニングされた符号化復号モデルによって出力された観点フレーズをレビューの観点フレーズとすることができることを理解されたい。
本出願の実施例のレビュー情報の処理方法は、観点フレーズを抽出する必要があるレビューに対して、レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定し、観点フレーズが存在する場合、マッチングする観点フレーズをレビューの観点フレーズとし、観点フレーズが存在しない場合、レビューをトレーニングされた符号化復号モデルに入力して、トレーニングされた符号化復号モデルによって出力された観点フレーズをレビューの観点フレーズとする。これにより、レビューテキストの多様性の問題に対して、観点フレーズのリコール率を最大限に向上させ、ユーザの異なるアプリケーションシナリオにおけるニーズを満たすことができる。
上記の実施例を実現するために、本出願は、レビュー情報の処理装置を提供する。
図4は、本出願の実施例提供のレビュー情報の処理装置の概略構成図である。
図4に示すように、当該レビュー情報の処理装置400は、応答モジュール410と、取得モジュール420と、ラベル付けモジュール430と、トレーニングモジュール440とを含むことができる。
応答モジュール410は、ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定するために用いられる。
取得モジュール420は、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するために用いられる。
ラベル付けモジュール430は、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得するために用いられる。
トレーニングモジュール440は、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識するために用いられる。
可能な場合として、各観点フレーズは、実体語と説明語とを含み、取得モジュール420は、さらに、各観点フレーズに対して、複数のレビューコーパスから、対応する観点フレーズ内の実体語と説明語とを含む候補コーパスを選別し、候補コーパスにおける実体語と説明語が同じ短文に出現し、間隔単語の個数が閾値以下である場合、候補コーパスを対応する観点フレーズにマッチングするターゲットコーパスとするために用いられる。
別の可能な場合として、ラベル付けモジュール430は、さらに、ターゲットコーパスごとにマッチングする観点フレーズを使用してラベル付けして、第2のトレーニングサンプルを取得し、複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、人工ラベル付け情報を使用して暗黙的コーパスに観点フレーズをラベル付けして、第3のトレーニングサンプルを取得するために用いられる。
トレーニングモジュール440は、さらに、第2のトレーニングサンプルと第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出するために用いられる。
別の可能な場合として、符号化復号モデルは、エンコーダとデコーダとを含み、エンコーダは、入力されたレビューを意味的に符号化して、対応するレビューの暗黙的状態ベクトルを取得するために用いられ、デコーダは、暗黙的状態ベクトルを復号化して観点フレーズを出力し、デコーダは、学習することで暗黙的状態ベクトルと観点フレーズとのマッピング関係を既に取得している。
別の可能な場合として、当該レビュー情報の処理装置400は、観点フレーズを抽出する必要があるレビューに対して、レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定し、観点フレーズが存在する場合、マッチングする観点フレーズをレビューの観点フレーズとし、観点フレーズが存在しない場合、レビューをトレーニングされた符号化復号モデルに入力して、トレーニングされた符号化復号モデルによって出力された観点フレーズをレビューの観点フレーズとするための処理モジュールをさらに含むことができる。
別の可能な場合として、レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有し、当該レビュー情報の処理装置400は、観点フレーズにマッチングする固定的にコロケーションされた感情語に基づいて、レビューの感情的な傾向を決定するための決定モジュールをさらに含むことができる。
別の可能な場合として、当該レビュー情報の処理装置400は、予め設定された抽出ルールに基づいて、複数のレビューコーパスに対してフレーズ抽出を行って、複数の候補フレーズを取得するための抽出モジュールをさらに含むことができる。
各候補フレーズの複数のレビューコーパスにおける出現頻度に基づいて、複数の候補フレーズから複数のレビュー観点フレーズを選別して取得するための選別モジュールをさらに含むことができる。
なお、上記のレビュー情報の処理方法の実施例の説明は、当該構造化処理装置にも適用され、ここでは説明を省略する。
本出願の実施例のレビュー情報の処理装置は、ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定し、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得し、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得し、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。当該方法は、観点フレーズに対応される観点カテゴリをラベル付けするだけでトレーニングサンプルを生成することができ、関連技術における異なるアプリケーションシナリオに対するレビューについて、ユーザがすべてのトレーニングサンプルをラベル付けする必要があり、大量の人件費を浪費するという技術的問題を解決することで、作業量を減らし、人件費を節約することができる。
本出願の実施例によれば、本出願は、コンピュータ機器と読み取り可能な記憶媒体をさらに提供する。
図5には、本出願の実施例に係るレビュー情報の処理方法のコンピュータ機器のブロック図が示されている。コンピュータ機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。コンピュータ機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図5に示すように、当該コンピュータ機器は、一つ又は複数のプロセッサ501と、メモリ502と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリに記憶されている命令を含む、コンピュータ機器内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び/又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数のコンピュータ機器を接続することができ、各機器は、部分的な必要な操作(例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図5では、一つのプロセッサ501を例とする。
メモリ502は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供されるレビュー情報の処理方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供されるレビュー情報の処理方法を実行するためのコンピュータ命令を記憶する。
メモリ502は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるレビュー情報の処理方法に対応するプログラム命令/モジュール(例えば、図4に示す応答モジュール410、取得モジュール420、ラベル付けモジュール430、トレーニングモジュール440)ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ501は、メモリ502に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例におけるレビュー情報の処理方法を実現する。
メモリ502は、ストレージプログラム領域とストレージデータ領域とを含むことができる。ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、レビュー情報の処理方法に基づくコンピュータ機器の使用によって作成されたデータなどを記憶することができる。また、メモリ402は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ502は、プロセッサ501に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介してレビュー情報の処理方法のコンピュータ機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。
レビュー情報の処理方法のコンピュータ機器は、入力装置503と出力装置504とをさらに含むことができる。プロセッサ501と、メモリ502と、入力装置503と、出力装置504とは、バス又は他の方式を介して接続することができ、図5では、バスを介して接続することを例とする。
入力装置503は、入力された数字又は文字情報を受信することができ、及びレビュー情報の処理方法のコンピュータ機器のユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置504は、ディスプレイデバイス、補助照明デバイス(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、上記レビュー情報の処理方法が実行される。
本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び/又はオブジェクト指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び/又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上において、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。
本出願の実施例の技術案によれば、ユーザ操作に応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定し、複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得し、各観点フレーズに対して、対応される観点カテゴリを採用して対応する観点フレーズにマッチングするターゲットコーパスをラベル付けして、第1のトレーニングサンプルを取得し、第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識する。当該方法は、観点フレーズに対応される観点カテゴリをラベル付けするだけでトレーニングサンプルを生成することができ、関連技術における異なるアプリケーションシナリオに対するレビューが、ユーザがすべてのトレーニングサンプルをラベル付けする必要があり、大量の人件費を浪費するという技術的問題を解決することで、作業量を減らし、人件費を節約することができる。
上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができればよく、本明細書では限定されない。
上記の具体的な実施方式は、本出願に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

Claims (17)

  1. ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定するステップと、
    複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するステップと、
    各観点フレーズに対して、対応される観点カテゴリで対応する観点フレーズにマッチングするターゲットコーパスをラベリングして、第1のトレーニングサンプルを取得するステップと、
    前記第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識するステップと、を含み、
    第1のトレーニングサンプルは、レビュー観点辞書における各観点フレーズにマッチングするターゲットコーパスを含み、各観点フレーズにマッチングするターゲットコーパスは、いずれも対応する観点フレーズに対応される観点カテゴリでラベリングされる、ことを特徴とする、レビュー情報の処理方法。
  2. 各観点フレーズは、実体語と説明語とを含み、
    前記複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するステップは、
    各観点フレーズに対して、前記複数のレビューコーパスから、対応する観点フレーズ内の実体語と説明語とを含む候補コーパスを選別するステップと、
    前記候補コーパスにおける実体語と説明語が同じ短文に出現し、間隔単語の個数が閾値以下である場合、前記候補コーパスを対応する観点フレーズにマッチングするターゲットコーパスとするステップと、を含むことを特徴とする、請求項1に記載のレビュー情報の処理方法。
  3. 前記複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得した後、
    各ターゲットコーパスをマッチングする観点フレーズでラベリングして、第2のトレーニングサンプルを取得するステップと、
    複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、手動でラベルを付けることによって、観点フレーズで前記暗黙的コーパスをラベリングして、第3のトレーニングサンプルを取得するステップと、
    前記第2のトレーニングサンプルと前記第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出するステップと、をさらに含み、
    レビューが暗黙的コーパスである場合、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在しない、ことを特徴とする、請求項1に記載のレビュー情報の処理方法。
  4. 前記符号化復号モデルは、エンコーダとデコーダとを含み、
    前記エンコーダは、入力されたレビューを意味的に符号化して、対応するレビューの暗黙的状態ベクトルを取得し、
    前記デコーダは、前記暗黙的状態ベクトルを復号化して前記観点フレーズを出力し、
    前記デコーダは、学習することで暗黙的状態ベクトルと観点フレーズとのマッピング関係を既に取得してることを特徴とする、請求項3に記載のレビュー情報の処理方法。
  5. 前記第2のトレーニングサンプルと前記第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングした後、
    観点フレーズを抽出する必要があるレビューに対して、前記レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定するステップと、
    観点フレーズが存在する場合、マッチングする観点フレーズを前記レビューの観点フレーズとするステップと、
    観点フレーズが存在しない場合、前記レビューをトレーニングされた符号化復号モデルに入力して、前記トレーニングされた符号化復号モデルによって出力された観点フレーズを前記レビューの観点フレーズとするステップと、をさらに含むことを特徴とする、請求項3に記載のレビュー情報の処理方法。
  6. 前記レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有し、
    マッチングする観点フレーズを前記レビューの観点フレーズとした後、
    観点フレーズにマッチングする固定的にコロケーションされた感情語に基づいて、前記レビューの感情的な傾向を決定するステップをさらに含むことを特徴とする、請求項5に記載のレビュー情報の処理方法。
  7. ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定する前に、
    予め設定された抽出ルールに基づいて、前記複数のレビューコーパスに対してフレーズ抽出を行って、複数の候補フレーズを取得するステップと、
    各候補フレーズの前記複数のレビューコーパスにおける出現頻度に基づいて、前記複数の候補フレーズから前記複数のレビュー観点フレーズを選別して取得するステップと、をさらに含み、
    前記レビュー観点辞書は、前記複数のレビュー観点フレーズによって構成される、ことを特徴とする、請求項1から6のいずれかに記載のレビュー情報の処理方法。
  8. ユーザが観点フレーズに対応される観点カテゴリを手動でラベル付けすることに応答して、レビュー観点辞書における各観点フレーズに対して、対応される観点カテゴリを決定するための応答モジュールと、
    複数のレビューコーパスから、各観点フレーズにマッチングするターゲットコーパスを取得するための取得モジュールと、
    各観点フレーズに対して、対応される観点カテゴリで対応する観点フレーズにマッチングするターゲットコーパスをラベリングして、第1のトレーニングサンプルを取得するためのラベル付けモジュールと、
    前記第1のトレーニングサンプルを使用して分類モデルをトレーニングして、トレーニングされた分類モデルを使用してレビューの観点カテゴリを認識するためのトレーニングモジュールと、を含み、
    第1のトレーニングサンプルは、レビュー観点辞書における各観点フレーズにマッチングするターゲットコーパスを含み、各観点フレーズにマッチングするターゲットコーパスは、いずれも対応する観点フレーズに対応される観点カテゴリでラベリングされる、ことを特徴とする、レビュー情報の処理装置。
  9. 各観点フレーズは、実体語と説明語とを含み、
    前記取得モジュールは、さらに、
    各観点フレーズに対して、前記複数のレビューコーパスから、対応する観点フレーズ内の実体語と説明語とを含む候補コーパスを選別し、
    前記候補コーパスにおける実体語と説明語が同じ短文に出現し、間隔単語の個数が閾値以下である場合、前記候補コーパスを対応する観点フレーズにマッチングするターゲットコーパスとするために用いられることを特徴とする、請求項8に記載のレビュー情報の処理装置。
  10. 前記ラベル付けモジュールは、さらに、各ターゲットコーパスをマッチングする観点フレーズでラベリングして、第2のトレーニングサンプルを取得し、複数のレビューコーパスから、任意の観点フレーズにいずれもマッチングしないレビューコーパスを暗黙的コーパスとし、手動でラベルを付けることによって、観点フレーズで前記暗黙的コーパスをラベリングして、第3のトレーニングサンプルを取得するために用いられ、
    前記トレーニングモジュールは、さらに、前記第2のトレーニングサンプルと前記第3のトレーニングサンプルを使用して、符号化復号モデルをトレーニングし、トレーニングされた符号化復号モデルを使用してレビューの観点フレーズを抽出するために用いられ、
    レビューが暗黙的コーパスである場合、レビュー観点辞書に観点フレーズを抽出する必要があるレビューにマッチングする観点フレーズが存在しない、ことを特徴とする、請求項8に記載のレビュー情報の処理装置。
  11. 前記符号化復号モデルは、エンコーダとデコーダとを含み、
    前記エンコーダは、入力されたレビューを意味的に符号化して、対応するレビューの暗黙的状態ベクトルを取得し、
    前記デコーダは、前記暗黙的状態ベクトルを復号化して前記観点フレーズを出力し、前記デコーダは、学習することで暗黙的状態ベクトルと観点フレーズとのマッピング関係を既に取得していることを特徴とする、請求項10に記載のレビュー情報の処理装置。
  12. 前記装置は、処理モジュールをさらに含み、
    前記処理モジュールは、観点フレーズを抽出する必要があるレビューに対して、前記レビュー観点辞書にマッチングする観点フレーズが存在するか否かを決定し、
    観点フレーズが存在する場合、マッチングする観点フレーズを前記レビューの観点フレーズとし、
    観点フレーズが存在しない場合、前記レビューをトレーニングされた符号化復号モデルに入力して、前記トレーニングされた符号化復号モデルによって出力された観点フレーズを前記レビューの観点フレーズとすることを特徴とする、請求項10に記載のレビュー情報の処理装置。
  13. 前記レビュー観点辞書における各観点フレーズは、固定的にコロケーションされた感情語を有し、
    前記装置は、観点フレーズにマッチングする固定的にコロケーションされた感情語に基づいて、前記レビューの感情的な傾向を決定するための決定モジュールをさらに含むことを特徴とする、請求項12に記載のレビュー情報の処理装置。
  14. 前記装置は、
    予め設定された抽出ルールに基づいて、前記複数のレビューコーパスに対してフレーズ抽出を行って、複数の候補フレーズを取得するための抽出モジュールと、
    各候補フレーズの前記複数のレビューコーパスにおける出現頻度に基づいて、前記複数の候補フレーズから前記複数のレビュー観点フレーズを選別して取得するための選別モジュールと、をさらに含み、
    前記レビュー観点辞書は、前記複数のレビュー観点フレーズによって構成される、ことを特徴とする、請求項8から13のいずれかに記載のレビュー情報の処理装置。
  15. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信するように接続されるメモリと、を含み、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令を記憶し、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、請求項1から7のいずれかに記載のレビュー情報の処理方法を実行することを特徴とする、コンピュータ機器。
  16. プログラムが実行される場合に、請求項1から7のいずれかに記載のレビュー情報の処理方法が実現されることを特徴とする、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。
  17. 命令が実行された場合に、請求項1から7のいずれかに記載の方法が実行されることを特徴とする、コンピュータプログラム。
JP2020127189A 2019-12-27 2020-07-28 レビュー情報の処理方法、装置、コンピュータ機器及び媒体 Active JP7159248B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911380220.0 2019-12-27
CN201911380220.0A CN111191428B (zh) 2019-12-27 2019-12-27 评论信息处理方法、装置、计算机设备和介质

Publications (2)

Publication Number Publication Date
JP2021108098A JP2021108098A (ja) 2021-07-29
JP7159248B2 true JP7159248B2 (ja) 2022-10-24

Family

ID=70707643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020127189A Active JP7159248B2 (ja) 2019-12-27 2020-07-28 レビュー情報の処理方法、装置、コンピュータ機器及び媒体

Country Status (3)

Country Link
US (1) US11507751B2 (ja)
JP (1) JP7159248B2 (ja)
CN (1) CN111191428B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859146B (zh) * 2020-07-30 2024-02-23 网易(杭州)网络有限公司 信息挖掘方法、装置及电子设备
CN112017645B (zh) * 2020-08-31 2024-04-26 广州市百果园信息技术有限公司 一种语音识别方法及装置
CN112148878A (zh) * 2020-09-23 2020-12-29 网易(杭州)网络有限公司 情感数据处理方法及装置
CN112328793A (zh) * 2020-11-09 2021-02-05 北京小米松果电子有限公司 评论文本数据的处理方法、装置及存储介质
CN113626592A (zh) * 2021-07-08 2021-11-09 中汽创智科技有限公司 一种基于语料的分类方法、装置,电子设备及存储介质
CN113608945B (zh) * 2021-07-30 2024-05-28 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备及计算机可读存储介质
CN114676695B (zh) * 2022-05-30 2022-09-02 华南师范大学 基于情感分析的文本语句处理方法、装置以及设备
CN116932853A (zh) * 2023-07-25 2023-10-24 重庆邮电大学 一种基于app评论数据的用户需求获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157841A (ja) 2002-11-07 2004-06-03 Nec Corp 意見抽出装置、意見抽出方法、意見抽出プログラム
JP2009217642A (ja) 2008-03-11 2009-09-24 Ntt Pc Communications Inc 評判情報抽出装置、辞書構築方法、及びプログラム
CN108021609A (zh) 2017-11-01 2018-05-11 深圳市牛鼎丰科技有限公司 文本情感分类方法、装置、计算机设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201863B2 (en) * 2009-12-24 2015-12-01 Woodwire, Inc. Sentiment analysis from social media content
US8725495B2 (en) * 2011-04-08 2014-05-13 Xerox Corporation Systems, methods and devices for generating an adjective sentiment dictionary for social media sentiment analysis
CA2865187C (en) * 2012-05-15 2015-09-22 Whyz Technologies Limited Method and system relating to salient content extraction for electronic content
US10503480B2 (en) * 2014-04-30 2019-12-10 Ent. Services Development Corporation Lp Correlation based instruments discovery
US11113471B2 (en) * 2014-06-19 2021-09-07 International Business Machines Corporation Automatic detection of claims with respect to a topic
US9978362B2 (en) * 2014-09-02 2018-05-22 Microsoft Technology Licensing, Llc Facet recommendations from sentiment-bearing content
US20160132900A1 (en) * 2014-11-12 2016-05-12 Adobe Systems Incorporated Informative Bounce Rate
KR101741509B1 (ko) * 2015-07-01 2017-06-15 지속가능발전소 주식회사 뉴스의 데이터마이닝을 통한 기업 평판 분석 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
EP3347833A1 (en) * 2015-09-08 2018-07-18 Iacus, Stefano, Maria Isa: a fast, scalable and accurate algorithm for supervised opinion analysis
WO2017051425A1 (en) * 2015-09-23 2017-03-30 Devanathan Giridhari A computer-implemented method and system for analyzing and evaluating user reviews
US20170364797A1 (en) * 2016-06-16 2017-12-21 Sysomos L.P. Computing Systems and Methods for Determining Sentiment Using Emojis in Electronic Data
RU2635257C1 (ru) * 2016-07-28 2017-11-09 Общество с ограниченной ответственностью "Аби Продакшн" Сентиментный анализ на уровне аспектов и создание отчетов с использованием методов машинного обучения
US20180053107A1 (en) * 2016-08-19 2018-02-22 Sap Se Aspect-based sentiment analysis
US10880330B2 (en) * 2017-05-19 2020-12-29 Indiana University Research & Technology Corporation Systems and methods for detection of infected websites
US10810472B2 (en) * 2017-05-26 2020-10-20 Oracle International Corporation Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network
CN109002443B (zh) * 2017-06-06 2021-12-28 北京国双科技有限公司 一种文本信息的分类方法及装置
US10311454B2 (en) * 2017-06-22 2019-06-04 NewVoiceMedia Ltd. Customer interaction and experience system using emotional-semantic computing
US10394959B2 (en) * 2017-12-21 2019-08-27 International Business Machines Corporation Unsupervised neural based hybrid model for sentiment analysis of web/mobile application using public data sources
JP6799562B2 (ja) * 2018-04-24 2020-12-16 日本電信電話株式会社 言語特徴の抽出装置、固有表現の抽出装置、抽出方法、及びプログラム
US11308419B2 (en) * 2018-08-22 2022-04-19 International Business Machines Corporation Learning sentiment composition from sentiment lexicons
CN109299457B (zh) * 2018-09-06 2023-04-28 北京奇艺世纪科技有限公司 一种观点挖掘方法、装置及设备
US10817668B2 (en) * 2018-11-26 2020-10-27 Sap Se Adaptive semi-supervised learning for cross-domain sentiment classification
CN109800418B (zh) * 2018-12-17 2023-05-05 北京百度网讯科技有限公司 文本处理方法、装置和存储介质
CN109902273B (zh) * 2019-01-30 2024-05-07 平安科技(深圳)有限公司 关键词生成模型的建模方法和装置
US20200257762A1 (en) * 2019-02-08 2020-08-13 Royal Caribbean Cruises Ltd. Text classification and sentimentization with visualization
US11017006B2 (en) * 2019-03-09 2021-05-25 Wipro Limited Method and system for generating review summaries
US20200311414A1 (en) * 2019-03-27 2020-10-01 BigID Inc. Dynamic Document Clustering and Keyword Extraction
US11170168B2 (en) * 2019-04-11 2021-11-09 Genesys Telecommunications Laboratories, Inc. Unsupervised adaptation of sentiment lexicon
US20200349529A1 (en) * 2019-04-30 2020-11-05 Wework Companies Llc Automatically processing tickets
US11227120B2 (en) * 2019-05-02 2022-01-18 King Fahd University Of Petroleum And Minerals Open domain targeted sentiment classification using semisupervised dynamic generation of feature attributes
US11586659B2 (en) * 2019-05-03 2023-02-21 Servicenow, Inc. Clustering and dynamic re-clustering of similar textual documents
CN110083705B (zh) * 2019-05-06 2021-11-02 电子科技大学 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN110287319B (zh) * 2019-06-13 2021-06-15 南京航空航天大学 基于情感分析技术的学生评教文本分析方法
US11068666B2 (en) * 2019-10-11 2021-07-20 Optum Technology, Inc. Natural language processing using joint sentiment-topic modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157841A (ja) 2002-11-07 2004-06-03 Nec Corp 意見抽出装置、意見抽出方法、意見抽出プログラム
JP2009217642A (ja) 2008-03-11 2009-09-24 Ntt Pc Communications Inc 評判情報抽出装置、辞書構築方法、及びプログラム
CN108021609A (zh) 2017-11-01 2018-05-11 深圳市牛鼎丰科技有限公司 文本情感分类方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小林のぞみ 他4名,テキストマイニングによる評価表現の収集,情報処理学会研究報告,日本,社団法人情報処理学会,2003年03月06日,Vol2003 No.23(2003-NL-154),77-84頁

Also Published As

Publication number Publication date
JP2021108098A (ja) 2021-07-29
US11507751B2 (en) 2022-11-22
US20210200958A1 (en) 2021-07-01
CN111191428B (zh) 2022-02-25
CN111191428A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
JP7159248B2 (ja) レビュー情報の処理方法、装置、コンピュータ機器及び媒体
CN110287278B (zh) 评论生成方法、装置、服务器及存储介质
US11663404B2 (en) Text recognition method, electronic device, and storage medium
US11769480B2 (en) Method and apparatus for training model, method and apparatus for synthesizing speech, device and storage medium
KR20210092148A (ko) 시계열 지식그래프 생성 방법, 장치, 기기 및 매체
JP2022028887A (ja) テキスト誤り訂正処理方法、装置、電子機器及び記憶媒体
JP7301922B2 (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP7149993B2 (ja) 感情分析モデルの事前トレーニング方法、装置及び電子機器
CN112036162B (zh) 文本纠错的适配方法、装置、电子设备及存储介质
US11907671B2 (en) Role labeling method, electronic device and storage medium
CN113220836B (zh) 序列标注模型的训练方法、装置、电子设备和存储介质
JP7179123B2 (ja) 言語モデルの訓練方法、装置、電子デバイス及び可読記憶媒体
US20210200813A1 (en) Human-machine interaction method, electronic device, and storage medium
KR20210154705A (ko) 시맨틱 매칭 방법, 장치, 기기 및 저장 매체
CN112633017B (zh) 翻译模型训练、翻译处理方法、装置、设备和存储介质
CN111506725B (zh) 生成摘要的方法和装置
JP2022008207A (ja) トリプルサンプルの生成方法、装置、電子デバイス及び記憶媒体
CN111738015B (zh) 文章情感极性分析方法、装置、电子设备及存储介质
CN114912450B (zh) 信息生成方法与装置、训练方法、电子设备和存储介质
EP3855341A1 (en) Language generation method and apparatus, electronic device and storage medium
CN112397050B (zh) 韵律预测方法、训练方法、装置、电子设备和介质
CN112270169B (zh) 对白角色预测方法、装置、电子设备及存储介质
CN111339314A (zh) 一种三元组数据的生成方法、装置和电子设备
US11893977B2 (en) Method for recognizing Chinese-English mixed speech, electronic device, and storage medium
US20210382918A1 (en) Method and apparatus for labeling data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7159248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150