JP3820242B2 - 質問応答型文書検索システム及び質問応答型文書検索プログラム - Google Patents

質問応答型文書検索システム及び質問応答型文書検索プログラム Download PDF

Info

Publication number
JP3820242B2
JP3820242B2 JP2003364949A JP2003364949A JP3820242B2 JP 3820242 B2 JP3820242 B2 JP 3820242B2 JP 2003364949 A JP2003364949 A JP 2003364949A JP 2003364949 A JP2003364949 A JP 2003364949A JP 3820242 B2 JP3820242 B2 JP 3820242B2
Authority
JP
Japan
Prior art keywords
question
sentence
document
search
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003364949A
Other languages
English (en)
Other versions
JP2005128873A (ja
Inventor
賢治 小林
大輔 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2003364949A priority Critical patent/JP3820242B2/ja
Priority to US10/572,458 priority patent/US7587420B2/en
Priority to CNB2004800313320A priority patent/CN100535898C/zh
Priority to PCT/JP2004/015719 priority patent/WO2005041068A1/ja
Publication of JP2005128873A publication Critical patent/JP2005128873A/ja
Application granted granted Critical
Publication of JP3820242B2 publication Critical patent/JP3820242B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99942Manipulating data structure, e.g. compression, compaction, compilation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99943Generating database or data structure, e.g. via user interface
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Description

本発明は、質問文形式の検索要求としての質問文の意味役割(SRA:Semantic Role Analysis)を分析して、その質問文に対する答えとなる記述を文書から抽出し、抽出された記述を検索要求元の表示手段の表示画面に一覧表示させる質問応答型文書検索システム及び質問応答型文書検索プログラムに関する。
従来から、利用者からの検索要求に応じて文書を検索する文書検索システムが種々開発されている。この種の文書検索システムとして、フルテキストサーチ方式、或いは形態素解析を利用して、単語ベースで文書を検索する文書検索システムが知られている。ところが、1つの検索要求を満たす文書の数と文書データの量は膨大である。この場合、利用者は、検索された膨大な数の文書の各々の内容を表示画面上で確認し、その中から必要な文書を選定するか、或いは必要な情報を取り出さなければならない。
そこで近年は、この手間を省くために、検索された各文書のタイトル、作成者等の文書情報と合わせて、当該文書の要約(或いは抄録)を一覧表示するユーザインタフェースが開発されている。ここで要約には、検索された文書中の、利用者が指定したキーワードを含む文、或いは検索された文書中の先頭の文等が用いられるのが一般的である。
しかし、一覧表示された各文書の要約が利用者に必要なものであるかは、利用者の観点の相異や個人差に左右される。そこで、検索の対象となる多数の文書の各々について、当該文書を構成する文書データ(原文データ)から、文型と呼ばれる様々な観点や基準に基づいて、文型毎に対応する文や情報を抜粋文データとして抽出して文書単位でデータベース(抜粋文データベース)に格納しておき、検索された文書の文書データから抽出された抜粋文データのうち、利用者が選択した文型に合致する抜粋文データを一覧表示する文書検索技術が提案されている(例えば、特許文献1参照)。このような文書検索技術によれば、利用者の必要とする可能性の高い抜粋文(要約)を表示できる。
また最近は、質問文形式の検索要求、例えば「XXXの値段はいくら?」とか「YYY社の社長は誰?」という検索要求、つまり質問文から、検索語集合と質問種別を判定し、その検索語集合と質問種別に従って文書集合から関連文書集合を検索し、その関連文書集合から質問に対する回答(単語)を抽出して、当該回答と当該回答を含む文書(または当該文書の文書番号)との組を質問文に対する回答結果として出力する、いわゆる質問応答検索技術が提案されている(例えば、特許文献2参照)。
特開平8−255172号公報(段落0030) 特開2002−132811号公報(段落0007,0008)
上記したように、特許文献1に記載された文書検索技術(以下、第1の文書検索技術と称する)によれば、検索された文書の文書データから抽出された抜粋文データのうち、利用者が選択した文型に合致する抜粋文データを一覧表示することにより、利用者の必要とする可能性の高い抜粋文(要約)を表示できるため、利用者の文書検索作業に要する負荷を軽減できる。しかし、第1の文書検索技術では、抜粋文(要約)として用いられる抜粋文データは、原文データベースに格納されている各文書の原文データから文型毎に予め抽出されたものであるため、文型の追加・変更に対応できない。
一方、特許文献2に記載された質問応答検索技術(以下、第2の文書検索技術と称する)によれば、質問文(自然言語による検索要求)に対する直接的な回答とその回答の元となった文書とを利用者に提示できるため、回答の信頼性を利用者が確認できる。また、回答として用いられるデータを予め用意する必要がないため、質問種別の追加・変更に容易に対応できる。しかし、第2の文書検索技術では、質問文がキーワードだけとか、質問文が曖昧で質問種別を判定できない場合、回答結果(検索)を利用者に提示できない。
本発明は上記事情を考慮してなされたものでその目的は、質問文から抽出されたキーワードを用いてキーワード検索手法により検索された文書から抽出された第1の要約の一覧と、当該検索された文書から質問応答検索手法を利用して抽出された、質問文に対する答えに相当する第2の要約の一覧とを、それぞれ利用者に提示できる質問応答型文書検索システム及び質問応答型文書検索プログラムを提供することにある。
本発明の1つの観点によれば、質問文形式の検索要求に応じて文書検索を実行する質問応答型文書検索システムが提供される。このシステムは、質問文形式の検索要求としての質問文から抽出されたキーワードに従って関連する文書を検索して、検索された文書に含まれている、対応するキーワードに関連した記述を第1の要約として抽出し、抽出された第1の要約の一覧を含む文書検索結果を取得する検索手段と、前記質問文の意味役割を分析して当該質問文の質問タイプを判定する質問タイプ判定手段と、原文データベースに格納されている検索対象となる各文書を構成する原文データのうちの、前記検索手段により取得された文書検索結果により示される各文書をそれぞれ構成する原文データから、前記質問タイプ判定手段によって判定された質問タイプに適合する答えに相当する記述を第2の要約として抽出することにより、当該第2の要約の一覧を取得する要約抽出手段と、前記検索手段により取得された第1の要約の一覧を含む文書検索結果と前記要約抽出手段により取得された第2の要約の一覧とを前記検索要求に対する応答として検索要求元の表示手段の表示画面に表示させるインタフェース手段とを備えている。
このような構成においては、利用者からの質問文形式の検索要求が与えられた場合、質問文から抽出されたキーワードに従って関連する文書を検索する、いわゆるキーワード検索手法を用いた文書検索が行われて、検索された文書に含まれている、対応するキーワードに関連した記述が第1の要約として抽出され、その第1の要約の一覧を含む文書検索結果が取得される。また、文書検索結果により示される文書だけを対象に、質問文の意味役割を分析することにより判定される質問タイプに適合する答えに相当する記述が第2の要約として抽出され、その第2の要約の一覧が取得される。そして、検索要求元の表示手段の表示画面に、キーワード検索手法を用いて取得された第1の要約の一覧を含む文書検索結果と、質問応答検索手法を用いて取得された第2の要約の一覧とが、インタフェース手段により表示させられる。
これにより、質問応答検索で質問文に対する答えに相当する記述を第2の要約として探し出せた場合には、その第2の要約が利用者に明示的に提示されるため、利用者はその第2の要約から探している情報に容易にアクセスできる。また文書検索結果により示される文書に対してのみに質問応答検索の処理が行われるため、応答時間の低下を抑えることができる。更に、(1)質問文がキーワードだけである、(2)質問文が曖昧である、(3)質問タイプの判定ルールが十分でない、(4)質問タイプに適合する答えに相当する記述の抽出ルールが十分でない等の要因で、質問応答検索で答えに相当する記述が探せなかった場合でも、利用者には、キーワード検索手法を用いて取得された第1の要約の一覧を含む文書検索結果が提示されるため、その一覧から探している情報にアクセスすることができる。
ここで、上記インタフェース手段が、上記検索手段によりキーワードに従って関連する文書が検索される際に計算されたスコアに従って、対応する第1の要約の表示順位を決定すると共に、上記要約抽出手段により第2の要約が抽出される際に計算されたスコアに従って、当該第2の要約の表示順位を決定する構成とするとよい。
このようにすると、利用者は、性質の異なる2種の要約一覧、即ち第1の要約の一覧及び第2の要約の一覧の各々について、スコアの高い要約から順に参照することが可能となるため、探している情報に容易にアクセスすることができる。なお、第2の要約の一覧だけを表示する構成とし、文書検索結果により示される文書から質問タイプに適合する答えに相当する記述(第2の要約)を探し出せなかった場合だけ、その文書からキーワードに関連した記述を第1の要約として抽出して、第2の要約に代わる要約として表示することが考えられる。しかし、この場合、第1の要約と第2の要約とが区別できない。また、同一文書から抽出された第1及び第2の要約を組にして表示することも考えられる。この場合、表示順を、文書が検索される際に計算されたスコア順、または第2の要約が抽出される際に計算されたスコア順のいずれにしても、第1または第2の要約の一方はスコア順とはならないため、利用者にとって利用しにくいものとなる。
本発明によれば、質問文から抽出されたキーワードを用いてキーワード検索手法により検索された文書から抽出された第1の要約の一覧と、当該検索された文書から質問応答検索手法を利用して抽出された、質問文に対する答えに相当する第2の要約の一覧とを、それぞれ利用者に提示できるため、利用者は探している情報に容易にアクセスすることができる。
以下、本発明の実施の形態につき図面を参照して説明する。
図1は本発明の一実施形態に係る質問応答型文書検索システムのハードウェア構成を示すブロック図である。図1に示すように、質問応答型文書検索システムは、CPU1と、記憶部2と、表示部3と、入力部4とを備えている。
CPU1は、文書検索に関係する各種処理及び装置全体の制御を行う。記憶部2は、CPU1によって実行される各種プログラムを格納するのに用いられる。このプログラムの1つは、質問応答型文書検索を実現するための質問応答型文書検索プログラムである。なお、質問応答型文書検索プログラムが独立のプログラムではなくて、1つのアプリケーションプログラムの一要素であっても構わない。記憶部2はまた、原文データベース201、単語インデックス202、形態素辞書203、及び型判定用辞書204を格納するのに用いられる。原文データベース201は、検索の対象となる文書を構成する原文データ(文書データ)を格納する。単語インデックス202は、キーワードから文書を検索するのに用いられ、検索の対象となる各文書に含まれている単語について、その単語が含まれている文書と当該文書中の位置を示す。形態素辞書203は、質問文形式の検束要求としての質問文(つまり自然言語で表される質問文)を形態素解析するのに用いられる辞書であり、形態素毎に、当該形態素とその品詞を示す品詞情報との組を含む。型判定用辞書204は、質問文の意味役割を分析して質問の型(質問タイプ)を判定するのに用いられる。記憶部2は、例えば主メモリ及びディスク装置(例えばハードディスクドライブ)を含む。ここで、主メモリ及びディスク装置をどのように使い分けるかについては、本発明に直接関係しないため説明を省略する。
表示部3は、液晶ディスプレイに代表される表示器及び当該表示器を制御する表示コントローラを含み、文書検索要求、例えば質問文形式の文書検索要求の入力フィールド、及び当該検索要求に対する検索結果等を表示するのに用いられる。入力部4は、キーボード及びマウスを含み、利用者の操作による文書検索要求の入力及び各種の選択等に用いられる。
図2は、図1の質問応答型文書検索システムの機能ブロック構成を示す。図2において、インタフェース部21、検索部22及び抜粋部23は、図1中のCPU1が質問応答型文書検索プログラムを実行することにより実現される機能ブロックである。
インタフェース部21は、利用者が図1中の入力部4を操作することにより当該入力部4から入力される検索要求(ここでは質問文形式の検索要求)を受け付けて、当該検索要求を検索部22に渡す機能を有する。インタフェース部21はまた、検索部22から検索結果を受け取って、当該検索結果と上記検索要求とを抜粋部23に渡す機能を有する。インタフェース部21は更に、抜粋部23から検索要求に適合する要約を受け取って、当該要約を検索部22からの検索結果と共に表示部3の検索結果一覧画面に表示させる機能を有する。
検索部22は、インタフェース部21から渡された質問形式の検索要求からキーワードを抽出し、そのキーワードを含む文書を単語インデックス205を用いて検索する。このキーワードを利用した検索を、キーワード検索と称する。ここでは、キーワード検索により検索される文書に対して、例えばキーワードの出現率に基づくスコア付け(スコアリング)が行われる。検索部22は、スコア付けされた文書の中から上位M件の文書を選択し、当該選択された文書のタイトル及び要約を含む検索結果をインタフェース部21に渡す。
抜粋部23は、質問タイプ判定部231と、要約抽出部232とを含む。質問タイプ判定部231は、インタフェース部21から渡された質問形式の検索要求の持つ意味役割(即ち質問形式の検索要求としての質問文の意味役割)を、型判定用辞書204に基づいて分析して質問タイプを判定する。要約抽出部232は、質問タイプ判定部231によって判定された質問タイプに固有の文構造を型判定用辞書204に基づいて特定し、その文構造を持つ文を、インタフェース部21から渡された検索結果により示される最大M件の文書の原文データから抽出する。要約抽出部232は、抽出された各文に対してスコア付けを行って、上位N件(NはN≦Mを満足する整数)の文を、質問文に適合した要約として選択する。選択されたN件の要約はインタフェース部21に渡される。
次に、本実施形態の動作について、利用者の操作により入力部4から質問形式の検索要求が入力された場合の動作を例に、図3乃至図8を参照して説明する。なお、図3は検索部22の動作手順を示すフローチャート、図4は質問タイプ判定部231の動作手順を示すフローチャート、図5は要約抽出部232の動作手順を示すフローチャート、図6は型判定用辞書204を利用して行われる質問タイプ判定部231による質問タイプ判定を説明するための図、図7は型判定用辞書204を利用して行われる要約抽出部232による要約抽出を説明するための図、図8は表示画面例を示す図である。
まず、図8に示すように、表示部3の表示画面上に、質問文形式の検索要求を入力するための質問文入力フィールド81が表示されているものとする。この状態で、利用者が入力部4を用いて、質問文形式の検索要求としての質問文を、質問文入力フィールド81に入力するための操作を行ったものとする。ここでは、図8に示すように、「XXXの値段はいくら」という、「XXXの値段」を問い合わせるための自然言語を用いた質問文82が入力されたものとする。この入力部4から入力された質問文82は、質問文形式の検索要求として、インタフェース部21に渡される。インタフェース部21は、入力部4から渡された質問文形式の検索要求を受け付けると、当該検索要求を検索部22に渡す。
検索部22は、インタフェース部21から渡された質問文形式の検索要求、つまり質問文82を、形態素辞書203に基づいて形態素解析する(ステップS1)。ここでは、質問文82、即ち「XXXの値段はいくら」は、「/XXX<名>+/の<付>+/値段<名>+/は<付>+/いくら<副詞>」のように形態素解析される。この形態素解析結果中の<名>、<付>は、対応する形態素が、それぞれ「名詞」、「付属語」であることを示す。次に検索部22は、形態素解析結果に従って質問文に含まれているキーワードを抽出する(ステップS2)。ここでは、品詞が名詞のキーワード、即ち「XXX」及び「値段」が抽出される。
次に検索部22は、質問文82から抽出されたキーワードを含む文書を検索する、いわゆるキーワード検索手法による文書検索を行う(ステップS3)。ここでは、単語インデックス202を参照することにより、キーワードを含む文書が検索される。この単語インデックス202を用いた文書検索手法は、キーワードを含む文書を高速に検索するための手法として従来から良く知られており、本発明に直接関係しないため詳細な説明は省略する。
次に検索部22は、検索された全文書に対してスコア付けを行う(ステップS4)。ここでは、“TFIDF”と呼ばれる従来から知られているアルゴリズムを用いて、検索された文書毎に、その文書中におけるキーワードの出現率に基づいてスコア付けが行われる。なお、“TFIDF”以外にも、検索された文書に対するスコア付けの方法は従来から種々知られている。例えば、キーワードとなる用語毎に予めスコアを与えておいて、検索された文書のスコア付けを行うことも可能である。
検索部22は、検索された全文書に対するスコア付けの結果をもとに、検索された全文書の中から、スコアが上位のM件をスコアの高い順に文書検索結果として選択する(ステップS5)。なお、検索された文書の数がMに満たない場合には、検索された全文書が選択される。ここで、一定のスコアを越えた文書だけをスコアの高い順に文書検索結果として選択することも可能である。
次に検索部22は、選択された全文書(ここではM文書)について、原文データベース201に格納されている当該文書を構成する原文データを参照して、上記キーワードに関連する記述、例えば当該キーワードを含む文を要約(第1の要約)として抽出する(ステップS6)。そして検索部22は、選択されたM文書の各々の要約(第1の要約)を含む検索結果をインタフェース部21に渡す(ステップS7)。インタフェース部21は、検索部22から検索結果を受け取ると、その検索結果を、上記質問形式の検索要求と共に抜粋部23に渡す。
すると、抜粋部23内の質問タイプ判定部231は、インタフェース部21から渡された質問文形式の検索要求、つまり質問文82を形態素解析する(ステップ11)。これにより、図6に示すように、質問文82である「XXXの値段はいくら」に対する形態素解析結果61、即ち「/XXX<名>+/の<付>+/値段<名>+/は<付>+/いくら<副詞>」が得られる。次に質問タイプ判定部231は、形態素解析結果61に従って質問文82に含まれているキーワードを抽出する(ステップ12)。ここでは、名詞「XXX」及び「値段」だけでなく、副詞「いくら」も抽出される。
さて、型判定用辞書204には、予め定められた質問タイプ別に、その質問タイプを判定するキーワードとなる質問タイプ判定ルール情報が格納されている。本実施形態では、型判定用辞書204には、図6に示されるように、人物に関する質問タイプを判定するための質問タイプ判定ルール情報204aと、値段、価格等のお金に関する質問タイプを判定するための質問タイプ判定ルール情報204bとを含む質問タイプ判定ルール情報が格納されている。質問タイプ判定ルール情報204aは、人物に関する質問タイプを示す質問タイプ情報と、当該人物に関する質問タイプに固有の単語情報、例えば「誰」「だれ」「どなた」とを含む。この場合、質問タイプ判定ルール情報204aは、質問文から抽出されたキーワード群の中に、「誰」、「だれ」及び「どなた」のうちの少なくとも1つが含まれている場合に、人物に関する質問タイプであると判定されることを示す。一方、質問タイプ判定ルール情報204bは、お金に関する質問タイプを示す質問タイプ情報と、当該お金に関する質問タイプに固有の単語情報、例えば「値段」「価格」「金額」「いくら」とを含む。ここで、図6中の質問タイプ判定ルール情報204bに含まれている「(値段|価格|金額)&いくら」(「|」はOR条件を、「&」はAND条件を示す)は、質問文から抽出されたキーワード群の中に、「値段」、「価格」または「金額」のうちの少なくとも1つと「いくら」とが共に含まれている場合に、お金に関する質問タイプであると判定されることを示す。「値段」、「価格」及び「金額」は類義語である。
質問タイプ判定部231はステップS12を実行すると、図6に示すように、質問文から抽出されたキーワードと型判定用辞書204に格納されている質問タイプ判定ルール情報とのパターンマッチング62を行うことで、質問文の意味役割を分析して、その意味役割表す質問タイプを判定する(ステップS13)。ここでは、質問文から抽出されたキーワードのうちの「値段」及び「いくら」が、質問タイプ判定ルール情報204bに含まれている「(値段|価格|金額)&いくら」にヒットする。この場合、質問タイプ判定部231は、質問タイプが「お金」であると判定する。質問タイプ判定部231は、判定された質問タイプを抜粋部23内の要約抽出部232に通知する(ステップS14)。
要約抽出部232は、インタフェース部21から抜粋部23に渡された検索結果の示すM文書のうちの未処理の1文書を選択し、原文データベース201に格納されている当該選択された文書を構成する原文データを取り出す(ステップS21)。次に要約抽出部232は、取り出された原文データを、形態素辞書203に基づいて形態素解析する(ステップS22)。ここでは、原文データが、図7に示すように、「XXXは12月1日発売で、価格は125万円からです。」という文71を含むものとすると、この文71に対する形態素解析結果72は、「/XXX<名>+は<付>/12<数>/月<助数>/1<数>/日<助数>/発売<両名>+で<付>/、<句読>/価格<名>+は<付>/125<数>/万円<助数>+からです<付>/。<句読>」となる。この形態素解析結果72中の<数>、<助数>、<両名>、<句読>は対応する形態素が、それぞれ「数詞」、「助数詞、「サ変名詞」、「句読点」であることを示す。
さて、型判定用辞書204には、上記した質問タイプ判定ルール情報の他に、予め定められた質問タイプ別に、その質問タイプに適合する文の文構造を示す文構造情報が格納されている。本実施形態では、型判定用辞書204には、図7に示されるように、人物に関する質問タイプに固有の文構造情報204cと、お金に関する質問タイプに固有の文構造情報204dとを含む文構造情報が格納されている。文構造情報204cは、質問タイプが「人物」である場合に、その質問タイプに適合するとして推奨される文(記述)に共通の文構造「(<姓固>|<名固>|<人尾>|<姓尾>)/(君<尾>|氏<名>)」を示す。ここで、<姓固>、<名固>、<人尾>、<姓尾>、<尾>は、対応する形態素が、それぞれ「姓(固有名詞)」、「名(固有名詞)」、「人名接尾語」、「姓接尾語」、「接尾語」であることを示し、「|」及び「/」はそれぞれOR条件及びAND条件を示す。この文構造情報204cにより、「(<姓固>または<名固>または<人尾>または<姓尾>)+((君+<尾>)または氏<名>)」の文構造を含む文を、人物に関する質問タイプに適合する文として抽出することが可能となる。一方、文構造情報204dは、質問タイプが「お金」である場合に、その質問タイプに適合するとして推奨される文(記述)に共通の文構造「<数>/(円|万円|億<名>/円|ドル)<助数>」を示す。この文構造情報204dにより、「数詞+(円または万円または(億+名詞+円)またはドル)+助数詞」の文構造を含む文を、お金に関する質問タイプに適合する文として抽出することが可能となる。
要約抽出部232はステップS21で取り出された原文データの各文(つまり、検索部22によって検索された文書の各文)を形態素解析すると(ステップS22)、その形態素解析結果72に基づき、当該各文に対して、型判定用辞書204に格納されている質問タイプ毎の文構造情報のうち質問タイプ判定部231によって判定された質問タイプに固有の文構造情報(ここでは文構造情報204d)とのパターンマッチング73を行う(ステップS23)。このパターンマッチング73により、要約抽出部232は、マッチングのとれた文を、質問タイプに適合する文(つまり質問文の示す意味役割に適合する文)の候補として抽出する(ステップS24)。ここでは、図7に示すように、文71である「XXXは12月1日発売で、価格は125万円からです。」のうちの「125万円」が文構造情報204dの示す文構造にヒットすることから、当該文71が質問タイプに適合する文の候補として抽出される。次に要約抽出部232は、質問文82から例えば名詞をキーワードとして抽出し、ステップS24で抽出された候補(文71)の中から、抽出されたキーワードを含む候補を選択する(ステップS25,S26)。ここでは、質問文82である「XXXの値段はいくら?」から「XXX」及び「値段」がキーワードとして抽出される。「XXX」は上記文71(「XXXは12月1日発売で、価格は125万円からです。」)に含まれている。したがって、ステップS25では、「XXXは12月1日発売で、価格は125万円からです。」が選択される。このように要約抽出部232は、検索部22によって検索された文書の各文の中から、質問文の質問タイプに固有の文構造を含み、且つ質問文から抽出されたキーワードを含む文を選択する(ステップS23〜S26)。なお、質問文からキーワードとして抽出された「値段」の類義語「価格」及び「金額」もキーワードとして用いることが可能である。この類義語は、型判定用辞書204に格納されている、お金に関する質問タイプ判定ルール情報204bに含まれている。
要約抽出部232は、選択された文に対し、例えばステップS4と同様にキーワードの出現率に基づいてスコア付けを行う(ステップS27)。要約抽出部232は、以上のステップS21〜S27を、検索結果の示すM文書について繰り返す(ステップS28)。そして要約抽出部232は、スコア付けされた文(候補)の中から上位N件(NはN≦Mを満足する整数)の文を、質問文に適合した推奨すべき要約(第2の要約)として選択する(ステップS29)。なお、スコア付けされた文の数がNに満たない場合には、当該スコア付けされた全ての文が選択される。ここで、一定のスコアを越えた文だけをスコアの高い順に選択することも可能である。要約抽出部232は、選択された要約(第2の要約)をインタフェース部21に渡す(ステップS30)。
インタフェース部21は、先に検索部22から渡された検索結果と要約抽出部232から渡された要約とを、表示部3の表示コントローラにより当該表示部3の表示画面に表示させる。ここでは、図8に示すように、検索部22から渡された第1の要約を含む検索結果が、表示画面の第1の領域83に例えばスコア順に一覧表示されると共に、要約抽出部232から渡された第2の要約が、表示画面の第2の領域84に例えばスコア順に一覧表示される。
このように本実施形態においては、質問文入力フィールド81に入力された、質問文形式の検索要求としての質問文から抽出されたキーワードを用いてキーワード検索手法により検索された文書から抽出された第1の要約の一覧、及び当該検索された文書から質問応答検索手法を利用して抽出された、質問文に対する答えに相当する第2の要約の一覧が、それぞれ表示画面の第1の領域83及び第2の領域84にスコア順に表示される。このため、第1の要約の一覧及び第2の要約の一覧の何れからも、利用者は所望の探している情報に容易にアクセスすることができる。また、利用者が所望の要約を選択する操作を行うことで、その要約に対応する文書を表示させることも可能である。
上記実施形態では、文書検索要求を入力する入力部と、当該文書検索要求に従う文書検索等を行う処理部(インタフェース部21、検索部22及び抜粋部23)とが、同一システム内に存在していることを前提としている。しかし、上記入力部が、例えばクライアント端末の入力部であり、上記処理部が、例えば当該クライアント端末とネットワークを介して接続された検索サーバ計算機の処理部であっても構わない。また、原文データベース201が、検索サーバ計算機と例えばネットワークを介して接続されたデータベースサーバ計算機に設けられていても構わない。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
本発明の一実施形態に係る質問応答型文書検索システムのハードウェア構成を示すブロック図。 図1の質問応答型文書検索システムの機能ブロック構成を示す図。 同実施形態における検索部22の動作手順を示すフローチャート。 同実施形態における質問タイプ判定部231の動作手順を示すフローチャート。 同実施形態における要約抽出部232の動作手順を示すフローチャート。 型判定用辞書204を利用して行われる質問タイプ判定部231による質問タイプ判定を説明するための図。 型判定用辞書204を利用して行われる要約抽出部232による要約抽出を説明するための図。 同実施形態における表示画面例を示す図。
符号の説明
1…CPU、2…記憶部、3…表示部、4…入力部、21…インタフェース部、22…検索部、23…抜粋部、201…原文データベース、202…単語インデックス、203…形態素辞書、204…型判定用辞書、204a,204b…質問タイプ判定ルール情報、204c,204d…文構造情報、231…質問タイプ判定部、232…要約抽出部。

Claims (2)

  1. 質問文形式の検索要求に応じて文書検索を実行する質問応答型文書検索システムにおいて、
    質問文形式の検索要求としての質問文から抽出されたキーワードに従って関連する文書を検索する検索手段であって、前記質問文から抽出されたキーワードに基づいて関連する文書が検索される際に、文書毎に当該キーワードとの関連性の度合いを表す第1のスコアを計算する第1のスコア付け手段と、前記計算された第1のスコアに基づいて関連する文書を選択する第1の選択手段と、前記選択された文書に含まれている、対応するキーワードに関連したを第1の要約として抽出する第1の抽出手段と、前記抽出された第1の要約の一覧を含む文書検索結果を取得する取得手段とを含む検索手段と、
    前記質問文の意味役割を分析して当該質問文の質問タイプを判定する質問タイプ判定手段と、
    原文データベースに格納されている検索対象となる各文書を構成する原文データのうちの、前記検索手段により取得された文書検索結果により示される各文書をそれぞれ構成する原文データから、前記質問タイプ判定手段によって判定された質問タイプに適合する答えに相当する文を第2の要約として抽出することにより、当該第2の要約の一覧を取得する要約抽出手段であって、前記判定された質問タイプに適合する文の候補を抽出する第2の抽出手段と、前記抽出された文の候補の中から、前記質問文から抽出されるキーワードを含む文を前記判定された質問タイプに適合する回答に相当する文の候補として選択する第2の選択手段と、前記選択された文の候補毎に、前記質問文から抽出されるキーワードとの関連性の度合いを表す第2のスコアを計算する第2のスコア付け手段と、前記選択された文の候補の中から、前記計算された第2のスコアに基づいて推奨すべき文を前記第2の要約として選択する第3の選択手段とを含む要約抽出手段と、
    前記検索手段により取得された第1の要約の一覧を含む文書検索結果と前記要約抽出手段により取得された第2の要約の一覧とを前記検索要求に対する応答として検索要求元の表示手段の表示画面に互いに独立に表示させるインタフェース手段であって、前記検索手段によりキーワードに従って関連する文書が検索される際に前記第1のスコア付け手段によって計算された第1のスコアに従って、対応する第1の要約の表示順位を決定すると共に、前記要約抽出手段により前記第2の要約が抽出される際に前記第2のスコア付け手段によって計算された第2のスコアに従って、当該第2の要約の表示順位を決定するインタフェース手段
    を具備することを特徴とする質問応答型文書検索システム。
  2. 質問文形式の検索要求に応じてコンピュータが文書検索を実行するのに用いられる質問応答型文書検索プログラムであって、
    前記コンピュータに、
    質問文形式の検索要求としての質問文から抽出されたキーワードに従って関連する文書を検索するステップと、
    前記質問文から抽出されたキーワードに基づいて関連する文書が検索される際に、文書毎に当該キーワードとの関連性の度合いを表す第1のスコアを計算するステップと、
    前記計算された第1のスコアに基づいて関連する文書を選択するステップと、
    前記選択された文書に含まれている、対応するキーワードに関連したを第1の要約として抽出するステップと、
    前記抽出された第1の要約の一覧を含む文書検索結果を取得するステップと、
    前記質問文の意味役割を分析して当該質問文の質問タイプを判定するステップと、
    原文データベースに格納されている検索対象となる各文書を構成する原文データのうちの、前記文書検索結果により示される各文書をそれぞれ構成する原文データから、前記判定された質問タイプに適合する文の候補を抽出するステップと、
    前記抽出された文の候補の中から、前記質問文から抽出されるキーワードを含む文を前記判定された質問タイプに適合する回答に相当する文の候補として選択するステップと、
    前記選択された文の候補毎に、前記質問文から抽出されるキーワードとの関連性の度合いを表す第2のスコアを計算するステップと、
    前記選択された文の候補の中から、前記計算された第2のスコアに基づいて推奨すべき文を第2の要約として選択するステップと、
    前記取得された第1の要約の一覧を含む文書検索結果と前記選択された第2の要約の一覧とを前記検索要求に対する応答として検索要求元の表示手段の表示画面に互いに独立に表示させるステップであって、前記取得された第1の要約の表示順位を、当該第1の要約を含む文書に対応する前記第1のスコアに基づいて決定すると共に、前記選択された第2の要約の表示順位を、当該第2の要約に対応する前記第2のスコアに基づいて決定するステップ
    を実行させるための質問応答型文書検索プログラム。
JP2003364949A 2003-10-24 2003-10-24 質問応答型文書検索システム及び質問応答型文書検索プログラム Expired - Lifetime JP3820242B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003364949A JP3820242B2 (ja) 2003-10-24 2003-10-24 質問応答型文書検索システム及び質問応答型文書検索プログラム
US10/572,458 US7587420B2 (en) 2003-10-24 2004-10-22 System and method for question answering document retrieval
CNB2004800313320A CN100535898C (zh) 2003-10-24 2004-10-22 问答式文献检索系统和方法
PCT/JP2004/015719 WO2005041068A1 (ja) 2003-10-24 2004-10-22 質問応答型文書検索のためのシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003364949A JP3820242B2 (ja) 2003-10-24 2003-10-24 質問応答型文書検索システム及び質問応答型文書検索プログラム

Publications (2)

Publication Number Publication Date
JP2005128873A JP2005128873A (ja) 2005-05-19
JP3820242B2 true JP3820242B2 (ja) 2006-09-13

Family

ID=34510140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003364949A Expired - Lifetime JP3820242B2 (ja) 2003-10-24 2003-10-24 質問応答型文書検索システム及び質問応答型文書検索プログラム

Country Status (4)

Country Link
US (1) US7587420B2 (ja)
JP (1) JP3820242B2 (ja)
CN (1) CN100535898C (ja)
WO (1) WO2005041068A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210109960A1 (en) * 2019-10-14 2021-04-15 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983977B2 (en) * 2006-03-01 2015-03-17 Nec Corporation Question answering device, question answering method, and question answering program
US20100287162A1 (en) * 2008-03-28 2010-11-11 Sanika Shirwadkar method and system for text summarization and summary based query answering
US7966316B2 (en) * 2008-04-15 2011-06-21 Microsoft Corporation Question type-sensitive answer summarization
US8275803B2 (en) * 2008-05-14 2012-09-25 International Business Machines Corporation System and method for providing answers to questions
US8332394B2 (en) 2008-05-23 2012-12-11 International Business Machines Corporation System and method for providing question and answers with deferred type evaluation
US8984398B2 (en) * 2008-08-28 2015-03-17 Yahoo! Inc. Generation of search result abstracts
CN103250129A (zh) 2010-09-24 2013-08-14 国际商业机器公司 使用具有受限结构的文本提供具有延迟类型评估的问答
US8943051B2 (en) 2010-09-24 2015-01-27 International Business Machines Corporation Lexical answer type confidence estimation and application
US8892550B2 (en) 2010-09-24 2014-11-18 International Business Machines Corporation Source expansion for information retrieval and information extraction
US9002773B2 (en) 2010-09-24 2015-04-07 International Business Machines Corporation Decision-support application and system for problem solving using a question-answering system
WO2012040350A1 (en) 2010-09-24 2012-03-29 International Business Machines Corporation Lexical answer type confidence estimation and application
US9569724B2 (en) * 2010-09-24 2017-02-14 International Business Machines Corporation Using ontological information in open domain type coercion
EP2622592A4 (en) 2010-09-28 2017-04-05 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
EP2622428A4 (en) 2010-09-28 2017-01-04 International Business Machines Corporation Providing answers to questions using hypothesis pruning
CN103229162B (zh) 2010-09-28 2016-08-10 国际商业机器公司 使用候选答案逻辑综合提供问题答案
CN102456060A (zh) * 2010-10-28 2012-05-16 株式会社日立制作所 信息处理装置及信息处理方法
WO2013142493A1 (en) * 2012-03-19 2013-09-26 Mayo Foundation For Medical Education And Research Analyzing and answering questions
US9229974B1 (en) 2012-06-01 2016-01-05 Google Inc. Classifying queries
US10614725B2 (en) 2012-09-11 2020-04-07 International Business Machines Corporation Generating secondary questions in an introspective question answering system
US9244952B2 (en) 2013-03-17 2016-01-26 Alation, Inc. Editable and searchable markup pages automatically populated through user query monitoring
US20140344259A1 (en) * 2013-05-15 2014-11-20 Google Inc. Answering people-related questions
CN103577558B (zh) * 2013-10-21 2017-04-26 北京奇虎科技有限公司 一种优化问答对的搜索排名的装置和方法
CN103577556B (zh) * 2013-10-21 2017-01-18 北京奇虎科技有限公司 一种获取问答对的相关联程度的装置和方法
US20150186527A1 (en) * 2013-12-26 2015-07-02 Iac Search & Media, Inc. Question type detection for indexing in an offline system of question and answer search engine
US10061861B2 (en) 2014-08-19 2018-08-28 Intuit Inc. Common declarative representation of application content and user interaction content processed by a user experience player
US10417717B2 (en) 2014-11-26 2019-09-17 Intuit Inc. Method and system for generating dynamic user experience
US10891696B2 (en) * 2014-11-26 2021-01-12 Intuit Inc. Method and system for organized user experience workflow
US10175997B2 (en) * 2014-11-26 2019-01-08 Intuit Inc. Method and system for storage retrieval
US9678936B2 (en) 2014-11-26 2017-06-13 Intuit Inc. Dynamic user experience workflow
JP6270747B2 (ja) * 2015-01-16 2018-01-31 日本電信電話株式会社 質問応答方法、装置、及びプログラム
WO2016122575A1 (en) * 2015-01-30 2016-08-04 Hewlett-Packard Development Company, L.P. Product, operating system and topic based recommendations
US9953265B2 (en) 2015-05-08 2018-04-24 International Business Machines Corporation Visual summary of answers from natural language question answering systems
US10732782B1 (en) 2015-07-29 2020-08-04 Intuit Inc. Context-aware component styling in user interfaces of electronic devices
US10802660B1 (en) 2015-07-29 2020-10-13 Intuit Inc. Metadata-driven binding of platform-agnostic content to platform-specific user-interface elements
US10402035B1 (en) 2015-07-29 2019-09-03 Intuit Inc. Content-driven orchestration of multiple rendering components in user interfaces of electronic devices
CN106909573A (zh) * 2015-12-23 2017-06-30 北京奇虎科技有限公司 一种评价问答对质量的方法和装置
US10572726B1 (en) * 2016-10-21 2020-02-25 Digital Research Solutions, Inc. Media summarizer
JP6789860B2 (ja) * 2017-03-14 2020-11-25 ヤフー株式会社 情報提供装置、情報提供方法、および情報提供プログラム
US10127323B1 (en) 2017-07-26 2018-11-13 International Business Machines Corporation Extractive query-focused multi-document summarization
US10878193B2 (en) * 2018-05-01 2020-12-29 Kyocera Document Solutions Inc. Mobile device capable of providing maintenance information to solve an issue occurred in an image forming apparatus, non-transitory computer readable recording medium that records an information processing program executable by the mobile device, and information processing system including the mobile device
CN108920488B (zh) * 2018-05-14 2021-09-28 平安科技(深圳)有限公司 多系统相结合的自然语言处理方法及装置
US11586973B2 (en) 2019-03-22 2023-02-21 International Business Machines Corporation Dynamic source reliability formulation
US11238027B2 (en) * 2019-03-22 2022-02-01 International Business Machines Corporation Dynamic document reliability formulation
CN111241267B (zh) * 2020-01-10 2022-12-06 科大讯飞股份有限公司 摘要提取和摘要抽取模型训练方法及相关装置、存储介质
JP7168963B2 (ja) * 2020-04-28 2022-11-10 株式会社Askプロジェクト 自然言語処理装置及び自然言語処理方法
JP7112107B2 (ja) * 2020-04-28 2022-08-03 株式会社Askプロジェクト 自然言語処理装置及び自然言語処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2937521B2 (ja) 1991-03-08 1999-08-23 株式会社東芝 文書検索装置
JPH08255172A (ja) 1995-03-16 1996-10-01 Toshiba Corp 文書検索システム
JP2002132811A (ja) 2000-10-19 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 質問応答方法、質問応答システム及び質問応答プログラムを記録した記録媒体
US7058624B2 (en) * 2001-06-20 2006-06-06 Hewlett-Packard Development Company, L.P. System and method for optimizing search results

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210109960A1 (en) * 2019-10-14 2021-04-15 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
US20070073683A1 (en) 2007-03-29
CN100535898C (zh) 2009-09-02
JP2005128873A (ja) 2005-05-19
CN1871605A (zh) 2006-11-29
WO2005041068A1 (ja) 2005-05-06
US7587420B2 (en) 2009-09-08

Similar Documents

Publication Publication Date Title
JP3820242B2 (ja) 質問応答型文書検索システム及び質問応答型文書検索プログラム
Al-Saleh et al. Automatic Arabic text summarization: a survey
JP3429184B2 (ja) テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
JP5169816B2 (ja) 質問回答装置、質問回答方法および質問回答用プログラム
JP2810650B2 (ja) 自然言語ドキュメントのセンテンスからセンテンスの部分集合を自動的に抽出する方法及び装置
JP4654780B2 (ja) 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム
JP4962967B2 (ja) Webページ検索サーバ及びクエリ推薦方法
US20070203688A1 (en) Apparatus and method for word translation information output processing
JP2005122295A (ja) 関係図作成プログラム、関係図作成方法、および関係図作成装置
US9015172B2 (en) Method and subsystem for searching media content within a content-search service system
JP4967037B2 (ja) 情報検索装置、情報検索方法、端末装置、およびプログラム
JP2000200281A (ja) 情報検索装置および情報検索方法ならびに情報検索プログラムを記録した記録媒体
JP4935243B2 (ja) 検索プログラム、情報検索装置及び情報検索方法
JPH1145267A (ja) 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008117351A (ja) 検索システム
JP2004355550A (ja) 自然文検索装置、その方法及びプログラム
JP4499179B1 (ja) 端末装置
JP4938515B2 (ja) 単語間相関度計算装置および方法、プログラム並びに記録媒体
JP2007172179A (ja) 意見抽出装置、意見抽出方法、および意見抽出プログラム
JP3558854B2 (ja) データ検索装置及びコンピュータ読み取り可能な記録媒体
JPH10340271A (ja) 文書抄録作成装置及び文書抄録作成プログラムを記録した記憶媒体
JPH11195041A (ja) 文書検索装置、方法及び記録媒体
JP2008203997A (ja) 文書検索装置及びプログラム
JP2008130034A (ja) 有名人の別表現の自動抽出装置、方法
JP2000339342A (ja) 文書検索方法および文書検索装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060616

R150 Certificate of patent or registration of utility model

Ref document number: 3820242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term