JP3964630B2 - 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 - Google Patents
情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3964630B2 JP3964630B2 JP2001143982A JP2001143982A JP3964630B2 JP 3964630 B2 JP3964630 B2 JP 3964630B2 JP 2001143982 A JP2001143982 A JP 2001143982A JP 2001143982 A JP2001143982 A JP 2001143982A JP 3964630 B2 JP3964630 B2 JP 3964630B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- evaluation
- search
- user terminal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザ端末から入力される検索要求に応じて該検索要求に適合する情報を検索し、ユーザの検索履歴を利用して検索結果の順位付けを行う情報検索装置および方法に関し、例えばインターネットに代表されるコンピュータネットワークにおいて行われるコンテンツの検索およびユーザの検索履歴を利用して検索結果の順位付けを行う情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来の検索システムでは、検索キーワードを入力することにより、適合度順にランキングされた検索結果を取得する。
【０００３】
このランキングの作成手法にはコンテンツ中のキーワードの出現頻度に基づいた手法、それぞれのコンテンツが他のコンテンツから参照されている頻度に基づいた手法、それぞれのコンテンツがユーザに参照された頻度に基づいた手法があげられる。
【０００４】
このような手法でランキングされた検索結果を作成することにより、大量の検索結果の中からユーザの検索要求に応じた検索結果を提示し、検索にかかる負担を低減しようとしている。
【０００５】
また、従来、過去のユーザの検索履歴を用いて検索結果である文書の順位付けを行う文書検索装置として、ユーザが文書を参照したという情報を取得し、この参照頻度に基づいて文書の順位付けを行い、検索結果として出力するものがあるが、これは、利用者が文書を参照したことがそのまま求める文書であるとは言い切れないし、また一度上位に順位付けされた文書は参照されやすくなるため、特定の文書に対して利用者の情報が偏るというような不具合があり、このような不具合を解決する方法として、利用者が文書を実際に参照した後の直接評価を利用する方法がある。
【０００６】
【発明が解決しようとする課題】
上述した従来の検索システムにおけるランキング作成手法のうち、キーワードの頻度を用いた手法は、検索結果にユーザの目的と異なるコンテンツが多く混在しているという問題がある。これは、この方法が基本的に「検索要求と似ているコンテンツが検索要求に適合している」という考え方に基づいているにも関わらず、キーワード型の検索システムにおいて入力されるキーワードが２，３語程度と少ないからであると考えられる。
【０００７】
また、他のコンテンツから参照されている頻度に基づく従来の手法は、検索対象がＷＷＷのように大規模かつ自然に確立された参照関係がある場合の手法であり、小規模なコンテンツ群に適用した場合、効果が得られないという問題がある。
【０００８】
更に、ユーザからの参照頻度に基づく従来の手法は、文書の参照され易さに依存し、評価が偏るという問題がある。すなわち、多くのキーワードを含みかつ高頻度のキーワードを含むコンテンツは参照頻度も多くなることが考えられ、また一度評価が高くなったコンテンツは更に参照されやすくなり、評価が偏るということが考えられる。
【０００９】
また、上述したように、利用者が文書を実際に参照した後の直接評価を利用する従来の方法において、参照は検索時に行う文書の取得によってユーザにとっては無意識的に取得されるのに対して、直接評価はユーザの入力負荷が大きいため、一般的に十分な数が得られないという問題がある。
【００１０】
そして、この場合、文書の評価は正確に行えるが、評価自体の数が少なくなり、文書に対する評価を用いた検索結果の順位付けを行うことができないという問題がある。
【００１１】
また更に、今回対象としている過去のユーザの検索履歴を用いて文書の順位付けを行う文書検索装置では、新規文書は過去の評価が存在しないため、評価値が存在せず、検索結果において下位に順位付けされるため、新規文書がユーザに提示される機会が過度に少なく、埋もれてしまうという問題がある。
【００１２】
本発明は、上記に鑑みてなされたもので、その目的とするところは、ユーザの検索要求に応じた検索結果の出力を順位付けし得る情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体を提供することにある。
【００２９】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、ユーザ端末から入力される検索要求に応じて文書格納手段から複数の文書の集合を検索した結果の文書をユーザ端末において参照して該文章に対する評価を行うユーザ端末における検索行動から、前記文書に対する評価を取得し、この取得した評価に基づいて各文書に対する評価値を算出し、この評価値を用いてユーザ端末からの検索要求に対する検索結果の出力を順序付けする情報検索装置であって、前記検索要求、前記文書を特定する情報、および前記文書に対する評価をユーザ端末における検索行動から取得する文書評価取得手段と、前記検索要求、文書特定情報、および文書に対する評価を格納する文書評価ログ格納手段と、ユーザ端末において直接的に評価された文書に対する直接評価を算出する直接評価手段と、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出する間接評価手段と、前記直接評価手段および間接評価手段でそれぞれ算出された各文書の直接評価および間接評価から各文書の総合評価値を算出する文書評価管理手段と、前記総合評価値を各文書に対応して格納する文書評価格納手段とを有し、前記間接評価手段は、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて、前記ユーザ端末において直接的に評価された文書である被直接評価文書からユーザ端末において注目された部分文書を取得する部分文書取得手段と、前記部分文書と関連性の高い文書を判定する文書関連判定手段と、前記被直接評価文書の直接評価値および該被直接評価文書に対するある文書の関連性から、前記被直接文書からの当該文書の間接評価を取得する間接評価管理手段とを有することを要旨とする。
【００３０】
請求項１記載の本発明にあっては、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納するため、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、また検索要求および文書の評価の情報を用いて被直接評価文書からユーザ端末で注目された部分文書を取得し、該部分文書と関連性の高い文書を判定し、被直接評価文書の直接評価値および該被直接評価文書に対するある文書の関連性から、被直接評価文書からの当該文書の間接評価を取得するため、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【００３７】
請求項２記載の本発明は、コンピュータを、請求項１に記載の情報検索装置の各手段として機能させるための情報検索プログラムであることを要旨とする。
【００３８】
請求項２記載の本発明にあっては、本発明の情報検索プログラムを実行するコンピュータにより、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納するため、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【００４１】
請求項３記載の本発明は、請求項２に記載の情報検索プログラムを格納したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００４２】
請求項３記載の本発明にあっては、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納する情報検索プログラムをコンピュータ読み取り可能な記録媒体に記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【００４５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、参考例として示すサーバシステムの構成を示すブロック図である。同図に示すサーバシステム１１０は、ＷＷＷを利用した検索システムであり、複数のユーザ端末であるクライアントシステム１５１がインタフェースなどのネットワークを介して接続され、これらのクライアントシステム１５１はブラウザ１５３を内蔵している。
【００４６】
サーバシステム１１０は、クライアントシステム１５１にネットワークを介して接続され、クライアントシステム１５１からブラウザ１５３を介してユーザの検索を行いたいという検索要求を受け付け、この検索要求に対して図２に示すような検索フォームをブラウザ１５３に返送する検索フォーム送信部１１１を有する。
【００４７】
この検索フォームには、図２に示すように、キーワードなどのような検索語を含む検索条件を入力する検索条件欄、情報の利用目的に応じて選択するための検索観点のリスト、すなわち図２では例えば「新着情報が知りたい」「機能、製品、イベント等の情報が欲しい」「価格が知りたい」「実現のための手段ものが知りたい」などのような検索観点のリストを表示している検索観点リスト表示欄、このリストから選択された検索目的である検索観点を表示する検索観点表示欄、およびこの選択された検索観点と前記検索条件欄に入力された検索条件とに従って検索を実行する実行キーが表示されており、クライアントシステム１５１のユーザはこの検索フォームを見ながら前記各欄に所望の検索条件や検索観点を入力し、実行キーをクリックなどすることにより当該検索条件および検索観点が検索要求としてサーバシステム１１０に送信され、検索が行われるようになっている。なお、検索観点のリストは、サーバシステム１１０の管理を行う側でシステムのユーザおよび検索対象とする文書から典型的かつ利用頻度の高い検索観点を取得して羅列するものである。
【００４８】
クライアントシステム１５１においてユーザが前記検索フォームを見ながら入力し更に検索実行を行うことにより、クライアントシステム１５１のブラウザ１５３から送信される検索条件と検索観点からなる検索要求は、ネットワークを介してサーバシステム１１０の検索要求受信部１１３で受信される。検索要求受信部１１３は、この検索要求を検索統括部１１５に渡す。
【００４９】
検索統括部１１５は、この検索条件と検索観点からなる検索要求を受け取ると、検索条件を文書検索部１１７に引き渡す。文書検索部１１７は、この検索条件に基づいて文書データベース１１９を検索し、該検索条件に適合する文書ＩＤ群を取得する。この取得された文書ＩＤは検索統括部１１５に返送される。なお、文書データベース１１９は、各文書に含まれる単語であるキーワードに対応して各文書を特定する文書ＩＤを格納しているものである。
【００５０】
検索統括部１１５は、文書検索部１１７からの文書ＩＤと前記検索観点を文書評価取得部１２１に渡す。文書評価取得部１２１は、この文書ＩＤと検索観点に基づいて文書評価データベース１２３を検索し、該検索観点における前記文書ＩＤの各々の評価値を取得し、この文書ＩＤと評価値であるスコアの組み合わせを検索統括部１１５に渡す。
【００５１】
文書評価データベース１２３は、図８に示すように、検索観点の各々に対する各文書の適合度である評価値、すなわちスコアを各検索観点毎および各文書ＩＤ毎に、かつ期間に区分けして格納している。
【００５２】
検索統括部１１５は、文書評価取得部１２１から各文書ＩＤとその評価値であるスコアの組み合わせを受け取ると、このスコアの順に文書ＩＤを配列し、スコアの高い文書ＩＤから指定された件数分の文書を検索結果として作成し、この検索結果を検索結果送信部１２５からネットワークを介してクライアントシステム１５１のブラウザ１５３に返送する。
【００５３】
このように検索結果送信部１２５で検索結果を返送されたクライアントシステム１５１においてユーザが前記検索結果を閲覧した結果として前記検索結果に対するユーザの閲覧または評価を含む行動情報が当該行動の対象である文書ＩＤおよび前記検索観点とともにクライアントシステム１５１のブラウザ１５３からネットワークを介してサーバシステム１１０に送信され、サーバシステム１１０では検索行動受信部１２７が受信する。
【００５４】
具体的には、検索行動受信部１２７は、ユーザが図３に示すような検索結果表示画面において１つの文書を選択した時点で「参照」したという情報、または図４に示すような文書表示画面において選択した文書の「評価」が行われた時点で「評価」したという情報を当初指定した検索観点および文書ＩＤとともに受信し、検索行動登録部１３１に引き渡す。また、文書を「参照」したという情報の場合には、結果文書送信部１２９にも情報を引き渡す。結果文書送信部１２９は、該情報を受け取ると、該情報に基づき、すなわちユーザが「参照」した情報に基づき例えば図４に示すような文書表示画面が検索結果としてブラウザ１５３に送信されて表示される。
【００５５】
なお、図３に示すように、検索結果表示画面にはユーザの検索要求に基づき作成された検索結果が提示される。この画面中のハイパーリンクは直接対象文書を指定しているのではなく、システムを経由して文書の表示を行うように指定されている。これにより、ユーザの検索行動の「参照」を取得することを可能とし、図４に示す形での検索結果文書表示を可能とする。
【００５６】
図４に示す文書表示画面では検索結果文書の画面を表示するとともに、この文書の「評価」を受け付ける。また、検索時に入力した検索観点とは別の観点での「評価」を行うために検索観点を再度選択可能なメニューの欄も設けられている。
【００５７】
検索行動登録部１３１は、検索行動受信部１２７から受け取って受信した文書ＩＤ、参照または評価などのユーザ行動情報、検索観点を当該受信時刻とともに検索行動データベース１３３に格納する。
【００５８】
検索行動データベース１３３は、図７に示すように、文書ＩＤ、日時、検索観点、ユーザの参照または評価などの行動情報がユーザの各行動（アクション）毎に格納しているものである。
【００５９】
この検索行動データベース１３３に格納された各情報は、検索行動解析部１３５によって監視され、検索行動解析部１３５は、所定時間が経過する毎に、または検索行動データベース１３３に所定量以上のデータが蓄積された場合に、検索行動データベース１３３に格納されている情報に基づき文書に対する所定期間におけるユーザの操作を解析し、この解析結果に基づき検索観点における文書の評価値を算出し、この算出した評価値で文書評価データベース１２３の検索観点および文書ＩＤ毎の評価値であるスコアを更新する。
【００６０】
また、この検索行動解析部１３５における解析処理では、関連文書評価部１３７が文書データベース１１９および検索行動データベース１３３の情報からユーザに評価を受けた文書と関連度の高い文書を取得し、この関連文書の情報を検索行動解析部１３５に引き渡すことにより、ユーザから直接、評価を受けなかった文書に対しても、該文書に関連する文書に対する評価値を用いて、評価値であるスコアを更新する。すなわち、検索行動解析部１３５は、前記検索行動データベース１３３に格納されている情報に加えて、関連文書評価部１３７から受け取った関連文書の情報に基づき文書に対するユーザの操作を解析し、この解析結果に基づき検索観点における文書の評価値であるスコアを算出し、この算出したスコアで文書評価データベース１２３の検索観点および文書ＩＤ毎のスコアを更新する。
【００６１】
次に、以上のように構成される情報検索装置の作用について図５および図６に示すフローチャートを参照して説明する。なお、本情報検索装置の作用は、情報検索フェーズと文書評価データベースの構築フェーズの２つのフェーズに分割される。まず、図５に示すフローチャートを参照して、情報検索フェーズについて説明する。
【００６２】
まず、クライアントシステム１５１からブラウザ１５３を介してユーザの検索を行いたいという検索要求をサーバシステム１１０の検索フォーム送信部１１１が受け付けると、検索フォーム送信部１１１から図２に示す検索フォームをブラウザ１５３に送信する（ステップＳ１１）。ユーザは検索フォームに従い、検索条件の入力とともに、検索観点を指定することにより、検索要求を作成する（ステップＳ１２）。ブラウザ１５３は検索要求の入力された検索フォームをサーバシステム１１０に送信する（ステップＳ１３）。
【００６３】
ブラウザ１５３から送信された検索要求は検索要求受信部１１３により受信され、検索統括部１１５へ引き渡される（ステップＳ１５）。検索統括部１１５では引き渡された検索要求から検索条件と検索観点を取り出す（ステップＳ１７）。検索統括部１１５は検索条件を文書検索部１１７に引き渡し、文書データベース１１９から検索条件を含むか、類似する文書のＩＤを取得する（ステップＳ１９）。
【００６４】
検索統括部１１５は検索観点と取得した文書ＩＤを文書評価取得部１２１に送信し、指定された検索観点でのそれぞれの文書のスコアを取得する（ステップＳ２１）。検索統括部１１５では取得した文書ＩＤをスコア順にソートして、予め決められた件数分の結果を重要度の高いものから取得し、検索結果を作成する（ステップＳ２３）。なお、検索結果表示数や検索結果表示開始の順位等は検索要求時に指定することで、可変とすることができる。
【００６５】
前記検索結果は検索結果送信部１２５を介してクライアントシステム１５１のブラウザ１５３に検索結果として表示する（ステップＳ２５）。この画面を図３に示す。ユーザがブラウザ上に表示された検索結果表示画面から１つの文書を選択したという情報は検索行動受信部１２７から結果文書送信部１２９に送信され、ユーザの求めた文書をブラウザ１５３に表示する（ステップＳ２７−Ｓ３３）。この文書表示画面を図４に示す。
【００６６】
この選択したという情報は文書が「参照」を受けたという情報として、検索行動受信部１２７から検索行動登録部１３１へ引き渡される。また、同時に検索時に指定した検索観点、対象となった文書のＩＤも引き渡される（ステップＳ２７）。以後は「文書評価データベース」の構築フェーズへ移る（ステップＳ２９）。
【００６７】
ユーザはこの文書表示画面下部に配置された文書の評価を行うボタンを用いてその文書の「評価」を入力することが可能である。また、検索時と同じ観点のリストが提示されており、選択することで、文書を閲覧中に現在選択している観点とは異なる観点で評価を行える。
【００６８】
検索結果が直接評価された場合には（ステップＳ３５）、この「評価」したという情報は検索行動受信部１２７から検索行動登録部１３１へ引き渡される（ステップＳ３６）。また、同時に検索時に指定した検索観点、対象となった文書のＩＤも引き渡される。以後は「文書評価データベース」の構築フェーズへ移る（ステップＳ３７）。そして、ユーザの操作により、検索結果画面の再度表示もしくは今回の検索終了となる（ステップＳ３９，Ｓ４１）。
【００６９】
次に、このシステムにおいて、検索観点に基づいた検索結果の提示を行うために用いる文書評価データベース１２３の構築のフェーズについて図６に示すフローチャートを参照して説明する。
【００７０】
上述したように、検索行動受信部１２７は、「参照」もしくは「評価」の情報、文書ＩＤ、検索観点を検索行動登録部１３１へ引き渡す（ステップＳ６１）。検索行動登録部１３１は、この引き渡された情報に日時の情報を加え、検索行動データベース１３３に登録する（ステップＳ６３）。
【００７１】
一定時間毎に、もしくは検索行動データベース１３３に一定量以上のデータが蓄積された場合、検索行動解析部１３５によって検索行動データベース１３３中の情報を用いて検索観点毎の文書への評価を算出し、文書評価データベース１２３に登録する（ステップＳ６５）。
【００７２】
また、関連文書評価部１３７を用いて、文書データベース１１９と検索行動データベース１３３の情報を元に、ユーザに評価された文書と、関連性の高い文書に対しても評価を入力することも可能である。
【００７３】
次に、実際のシステムに適用した場合のユーザの行動について説明する。
【００７４】
まず、ユーザは図２に示す検索フォームであるインタフェースから、検索条件として検索キーワード（検索語）の入力、および検索観点としてリストからの検索目的の選択を行い、実行ボタンを押す。この結果、ユーザは図３に示す検索結果を取得する。
【００７５】
この検索結果からユーザはサマリ、タイトルなどを始めとするそれぞれの文書の情報を参照し、実際に「参照」する文書を決める。文書が決まると、ユーザはこの文書を「参照」するため対象とする文書のリンクをクリックする。この結果、ユーザは図４に示す検索結果画面を取得する。
【００７６】
ユーザはこの表示された文書を参照した後、画面の下に配置された例えば「ｇｏｏｄ」「ｂａｄ」などの評価入力ボタンで「評価」を入力することができる。このようにして、ユーザは１つの文書を取得する。その文書が求めるもので無かったり、それ以上に情報が欲しい場合は上記処理を繰り返すことにより新たな文書の取得を行うことができる。
【００７７】
次に、文書評価データベース１２３の構築について説明する。上述したように、ユーザが入力した「参照」もしくは「評価」の情報は、検索観点、対象文書のＩＤ、日時を１つのエントリとして、検索行動データベース１３３に書き込まれる。
【００７８】
このエントリがある程度集まった段階、またはある程度時間がたった段階で、検索行動データベース１３３の解析、文書評価データベース１２３の構築を行う。すなわち、文書評価データベース１２３の構築は、基本的にはある観点である文書がよい評価を受けていた場合、その文書のスコアをプラスすることである。そして、より多くよい評価を受けている文書ほど、高いスコアを付与され、悪い評価の場合はスコアをマイナスする。
【００７９】
このようにして、文書評価データベース１２３を作成した結果、新たに検索が行われると、検索キーワードでしぼられた文書集合の文書の中で、ユーザの指定した検索観点でより高いスコアを取得した文書から検索結果を上位に提示する。これにより、ユーザはより評価の高いものから優先的に提示を受けることが可能になる。また、常に評価を受け、古い評価については評価の効果を減衰したり、もしくは消滅させることで、その時に応じた評価を取得することを可能とする。
【００８０】
次に、検索行動解析部１３５による文書評価データベース１２３の作成更新方法および該文書評価データベース１２３に各検索観点および文書ＩＤ毎に、かつ期間に区分けして登録されるスコアである評価値の算出方法について詳細に説明する。
【００８１】
検索行動解析部１３５は、まず検索行動データベース１３３の各レコードを日時情報を用いて、期間ごとに分割し、それぞれの期間のレコードを各検索観点ごとに分類する。
【００８２】
それから、それぞれの検索観点のレコードの集合を文書ＩＤで分類し、検索観点および文書ＩＤごとにレコードを分類する。そして、１つの分類されたレコードから、評価の種類（参照、評価（好評価、悪評価など））を分類し、取得する。上述したように分類された期間に基づく時間情報、参照された数、評価の数から評価値、すなわちスコアを算出し、図８に示すように文書評価データベース１２３に格納される。
【００８３】
次に、本発明の第１の実施形態に係る情報検索装置について説明する。
【００８４】
この第１の実施形態は、前述したように、ユーザの直接評価を利用する方法において参照は検索時に行う文書の取得によってユーザにとっては無意識的に行われるのに対して、直接評価はユーザの入力負荷が大きいため、一般的に十分な数が得られないが、そこで評価自体の数が少なくても、文書に対する評価を用いた検索結果の順位付けを適確に行おうとすることに加えて、ユーザの過去の検索履歴を用いて文書の順位付けを行う場合に、新規文書は過去の評価が存在しないため、評価値が存在せず、検索結果において下位に順位付けされ、新規文書がユーザに提示される機会が過度に少なく、埋もれてしまうということを解決するために、ユーザからの直接的な評価が存在しない文書に対しても評価付けを行うものであり、そのためにユーザの直接的な評価に加えて、ユーザが評価した文書と関連性の高い文書にもそれに準ずる評価を行おうとするものである。
【００８５】
しかしながら、一般的に行われている類似文書検索で文書間のキーワード頻度に基づいた文書間の関連性の評価を行った場合には、特に文書内に複数の話題が存在する場合には精度が低下するというような不具合があるので、本実施形態では文書検索装置として取得するユーザからの情報、すなわちユーザの検索要求（検索キーワードおよびその他の情報を含む場合もある）、評価対象の文書ＩＤなどのような対象とする文書を特定する情報、文書に対する評価の内容からなる情報を組み合わせてユーザが検索を行った視点で文書の関連性の評価を行い、この情報を用いることによってユーザから評価を受けた文書と関連性の高い文書に対して間接的な評価を高い精度で行うものである。
【００８６】
具体的には、直接評価は、各文書に対して直接的に評価されたユーザの検索履歴から評価値を算出する。また、間接評価は、（１）ユーザが評価したと考えられる部分文書の取得、（２）この取得した部分文書と関連度の高い文書の取得、（３）被直接評価文書へのユーザの評価値と関連性の値を用いて、関連する文書に対する間接評価値の算出を行う。
【００８７】
前記ユーザが評価したと考えられる部分文書の取得（１）では、検索キーワードを用いて、対象となる文書から検索キーワードを手がかりとして部分文書を取得し、これによりユーザが評価を行うときに参照したであろう部分文書を取得する。
【００８８】
また、前記取得した部分文書と関連度の高い文書の取得（２）では、部分文書中に存在するキーワードの頻度や分布を解析し、ユーザが評価を行ったと考えられる部分文書と、関連性の高い文書を特定し、その関連度とともに取得する。
【００８９】
更に、被直接評価文書へのユーザの評価値と関連性の値を用いて、関連する文書に対する間接評価値の算出（３）では、関連度を用いて間接評価値を算出することにより、文書の関連度の高さによって間接評価の度合を変化させることを可能とする。
【００９０】
そして、上述した直接評価および間接評価の値から文書の総合評価値を決定することにより、直接評価を受けない文書に対しても評価値を与えることが可能となる。
【００９１】
次に、図面を用いて本実施形態について説明する。図９は、この第１の実施形態の情報検索装置を適用した文書検索装置の構成を示すブロック図である。同図に示す文書検索装置は、図１と同様にクライアントシステムであるユーザ端末がクライアントシステムとの通信手段を介してネットワークを介して複数接続されている。
【００９２】
図９に示す文書検索装置は、文書検索手段を構成する検索部１１、文書格納手段を構成する文書データベース１２、文書評価格納手段を構成する文書評価データベース１３、文書評価取得手段を構成する文書評価取得部１４、文書評価ログ格納手段を構成する文書評価ログデータベース１５、文書評価手段を構成する文書評価部２０を有する。なお、本実施形態では、検索要求は検索キーワードのみから構成され、各文書に対する総合評価値は１つのみ有するものとする。また、上述した検索観点の様に検索要求に検索要求以外の付加情報が付与されることも可能であり、この付加情報または検索キーワードによって文書に対する総合評価を複数割り当てることも可能とする。
【００９３】
文書データベース１２は、検索対象となる各文書中でどのような単語が存在しているかまたはどのような順で存在しているかを格納している。文書評価データベース１３は、各文書の総合評価値を格納している。
【００９４】
前記検索部１１は、ユーザ端末からの検索キーワードを受け付け、この受け付けた検索キーワードで文書データベース１２を検索し、該検索のキーワードを含んだ文書集合を取得する。それから、文書評価データベース１３にアクセスし、前記取得した文書群中の各文書の総合評価値を文書評価データベース１３から取得し、この総合評価値に基づいて各文書の順位付けを行い、検索結果を作成してユーザ端末に返送する。
【００９５】
文書評価取得部１４は、ユーザ端末からの文書の評価を取得し、検索キーワード、被直接評価文書ＩＤ、文書への評価からなる３つの情報を１レコードとして文書評価ログデータベース１５に格納する。
【００９６】
文書評価ログデータベース１５は、検索キーワード、被直接評価文書ＩＤ、文書への評価からなる３つの情報を１レコードとして格納する。検索要求に検索観点が含まれる場合には図１２に示すように被直接評価文書ＩＤである文書ＩＤ、検索キーワードであるキーワード、文書への評価に加えて、検索観点である観点も格納することができる。
【００９７】
文書評価部２０は、詳細には図１０に示すように、評価管理部２１、直接評価部２２、一時記憶部２４、および間接評価部３０から構成されている。
【００９８】
評価管理部２１は、図１２に示すように文書評価ログデータベース１５に格納されているログを取得し、この取得したログを図１３に示すように各被直接評価文書ＩＤ毎のエントリ集合に分割する。それから、このように各被直接評価文書ＩＤ毎の分割されたエントリ集合を順次直接評価部２２に供給し、直接評価を取得する。検索要求に検索観点が含まれる場合には各観点ごとに図１３の形にログを集計する。
【００９９】
次に、この被直接評価文書ＩＤ毎のエントリを間接評価部３０に渡し、それぞれの被直接評価文書による各文書の間接評価値を取得する。これらの直接評価値および間接評価値は一時記憶部２４に一時的に格納される。検索要求に検索観点が含まれる場合にはこの一時記憶部２４には図１５に示すように観点毎のデータ形式で格納される。
【０１００】
そして、すべての被直接評価文書ＩＤのログについて評価が終了した後、各文書の間接評価値を算出し、直接評価値と間接評価値とから総合評価値を算出し、文書評価データベース１３に格納する。
【０１０１】
直接評価部２２は、各被直接評価文書のログを取得して、直接評価値を算出し、この直接評価値を評価管理部２１に返却する。
【０１０２】
間接評価部３０は、詳細には図１１に示すように、間接評価管理部３１、部分文書取得部３２、文書関連性判定部３３、および一時記憶部３４から構成されている。
【０１０３】
間接評価管理部３１は、各被直接評価文書ＩＤのログエントリ集合を取得し、これを更に図１４に示すようにキーワード毎に分割する。各キーワード毎に分割したログから直接評価値の算出と同様の算出式に基づき基本となる基本評価値を算出し、被直接評価文書ＩＤと検索キーワードを部分文書取得部３２に供給し、ユーザが評価を行う際に着目したと考えられる部分文書を取得する。それから、この取得した部分文書を文書関連性判定部３３に供給し、関連文書のＩＤおよび関連性の値を取得し、関連性と前記基本評価値から各キーワード毎の間接評価値を算出する。
【０１０４】
このキーワード毎の間接評価値は、図１６に示すようなデータ形式で一時的に一時記憶部３４に記憶される。これをすべてのキーワードについて行うことにより、１つの被直接評価文書に対する各文書の間接評価値として取得し、評価管理部２１に返却する。検索要求に検索観点が含まれる場合には図１６に示すように、観点毎に格納される。
【０１０５】
部分文書取得部３２は、間接評価管理部３１から受け取った文書ＩＤおよび検索キーワードを用い、文書データベース１２からユーザが評価を行うときに着目したと考えられる部分文書を取得し、文書関連性判定部３３に供給する。
【０１０６】
文書関連性判定部３３は、間接評価管理部３１から受け取った部分文書と文書データベース１２のデータを基に部分文書と関連していると考えられる文書のＩＤと部分文書とその文書の関連性を組にして間接評価管理部３１に返却する。
【０１０７】
次に、図１７に示すフローチャートを参照して、本実施形態において文書評価データベース１３を作成する際の動作手順について説明する。なお、文書評価データベース１３作成の際には文書評価ログデータベース１５には文書検索装置のユーザによる文書の評価（参照および直接評価）ログが格納されているものとする。
【０１０８】
図１７においては、まず文書評価部２０の評価管理部２１は、文書評価ログデータベース１５のエントリを取得し、被直接評価文書ＩＤ毎にまとめる（ステップＳ７１）。評価管理部２１は、被直接評価文書ＩＤ毎にまとめられたエントリ集合を順次直接評価部２２に供給する。直接評価部２２は、このエントリ集合から直接評価値を算出し、評価管理部２１に返却する（ステップＳ７３）。
【０１０９】
評価管理部２１は、被直接評価文書のＩＤ毎にまとめられたエントリ集合を順次間接評価部３０に送る（ステップＳ７５）。間接評価部３０では、間接評価管理部３１は１つの被直接評価文書ＩＤのエントリ集合を各検索キーワード毎に分割する（ステップＳ７７）。また、間接評価管理部３１は、分割されたエントリ群から各キーワード毎に直接評価と同じ手法で評価値を算出する（ステップＳ７９）。この評価値を基本評価値と称する。
【０１１０】
間接評価管理部３１は、部分文書取得部３２に被直接評価文書ＩＤおよび検索キーワードを送信し、部分文書を取得する（ステップＳ８１）。そして、間接評価管理部３１は、この取得した部分文書を文書関連性判定部３３に供給し、部分文書と関連する文書ＩＤおよび部分文書との関連性を取得する（ステップＳ８３）。
【０１１１】
間接評価管理部３１は、関連性と基本評価値を基に間接評価値を算出し、被直接評価文書が前記検索キーワードにより検索され評価されたときの間接評価値を算出する（ステップＳ８５）。そして、間接評価管理部３１は、この間接評価値を一時記憶部３４に格納しながら、すべての検索キーワードについて上述した処理を終了したか否かを判定し（ステップＳ８７）、終了していない場合には、ステップＳ７９に戻り、上述したと同じ処理をすべての検索キーワードについて行う。
【０１１２】
すべての検索キーワードについて完了した場合には、間接評価管理部３１は、各文書において一時記憶部３４に格納されている各キーワードの場合から得られた間接評価値を合計し、１つの被直接評価文書からの各文書の間接評価値とし、また被直接評価文書のＩＤ、文書ＩＤ、および間接評価値を評価管理部２１に送信する。すなわち、前記検索キーワードによる間接評価値を基に各文書の前記被直接評価文書が前記検索キーワードにより検索され評価されたときの間接評価値を算出し、評価管理部２１に送信する（ステップＳ８９）。
【０１１３】
そして、評価管理部２１は、一時記憶部２４に直接評価値および間接評価値を格納しながら、上記処理をすべての被直接評価文書について処理したか否かを判定し（ステップＳ９１）、すべての被直接評価文書について処理を行っていない場合には、ステップＳ７３に戻り、すべての被直接評価文書について同じ処理を繰り返し行う。
【０１１４】
すべての被直接評価文書について完了した場合には、評価管理部２１は、それぞれの文書ＩＤの各文書について一時記憶部２４に格納されている直接評価および間接評価から各文書の総合評価値を算出し、文書評価データベース１３に登録する（ステップＳ９３）。
【０１１５】
上述したように、本実施形態では、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【０１１６】
次に、文書評価（総合評価）の算出法について説明する。文書の評価は、人気度として、ユーザが検索結果において文書を参照する「参照」と、より正確なユーザの評価を取得するため、文書参照後、ユーザが直接的な評価を行う「直接評価」を用いて行う。これらを用いて算出する、各「検索目的」に対しての各文書の人気度による評価を「総合評価」とする。しかし、単純に「参照」「直接評価」の数を加算する手法で文書の評価、すなわち「総合評価」を算出すると以下の点が問題となる。
【０１１７】
第１の問題は高いランキングにある文書に「参照」、「直接評価」が集中することである。一般に検索ランキング上位の文書は、ユーザの目に触れる頻度が大きく、「参照」されやすい。その結果、高ランキング文書に評価が集中し、文書集合全体に評価が行き渡らず、検索結果に偏りが生ずる。
【０１１８】
第２の問題は評価が陳腐化することである。すなわち、過去の評価により、陳腐化した文書が高ランキングを維持し続けることである。
【０１１９】
第１の問題の解決策として文書ｉに対して、「検索目的」ｊにおいての「参照」「直接評価」を以下の手法によって算出し、これによりランキング依存要素の排除を行う。
【０１２０】
「参照値」Ｒij：参照数はその文書の検索結果における表示ページ数によって、頻度が大きく左右される。そこで後ろのページで行われた参照値については、１ページ目に扱われたものに比べて大きく扱うこととする。つまり、「参照値」として、文書が参照を受けた時、「その文書が１ページに存在した場合の参照数」を用いる。以下に参照値補正関数をＦ(ｒ)（ｒは文書が出現する検索結果のページ数）とした時の「参照値」の算出式は次のとおりである。
【０１２１】
【数１】
ここで、Ｆ(ｒ) は、ページ数に関して、従来の検索システムにおけるユーザの 行動（検索結果ページがどの程度の頻度で、どの程度のページ数まで参照されているか）を調査し、ｒページ目の文書が１ページ目の文書に対して、どれだけ稀かを示す値である。今回過去の情報検索システムにおけるログを利用し、その頻度分布を最小二乗法によって近似した結果、以下のようになった。
【０１２２】
Ｆ(ｒ) ＝ｒ2.08 …（２）
「直接評価値」Ｅij：「直接評価」数は、直接ランキングには依存しないが、明らかに「参照」数の増減に伴って増減すると考えられる。そこで、「直接評価値」として、「「参照」がそれぞれの文書に対して平均的に行われた場合の「直接評価」回数」を用いる。「参照」数に対する相対値に、評価ログ中でのすべての「参照」された文書と「検索目的」の組み合わせ数、および総「参照」数より、「平均参照回数」を求め、この値との積を取ることで、「直接評価値」の取得を行う。
【０１２３】
ここまでの手法で「参照」された文書を公平に評価することは可能であるものの、「参照」されない文書が常にランキング下位に存在することに違いはない。そこで、本実施形態ではランキング上位に存在しながら、選択されている「検索目的」に適合していない文書を積極的に下げるため「直接評価」に「マイナス評価」を用いる。これにより、相対的にランキング下位に存在する文書をランキング上位に押し上げ、「直接評価」のない文書を減少させることを狙う。ｇij ， ｂij をそれぞれログで取得した「プラス評価」、「マイナス評価」数、Ｎを前 回更新から今回の更新までの間に「参照」された文書数と目的の組み合わせ数、ｎを総文書数、ｍを全「検索目的」数とすると「直接評価値」は以下となる。
【０１２４】
【数２】
次に、前述した第１の実施形態に示したように直接評価に加えて行われた間接評価値について説明する。
【０１２５】
ここで、間接評価値の算出に使用される各記号を次のように定義する。
【０１２６】
文書ｉの「検索目的」ｊに対する間接評価値：Ｅij I
文書ｋに対する文書ｉの間接評価：Ｅik
ｉと関連性があり、直接評価を受けた文書集合：Ｃi
検索要求（検索キーワード）：ｑ
Ｑk はｋが検索された検索要求の集合
検索要求ｑについて、文書ｋに対する文書ｉの関連度：Ｒikq
文書ｋの検索要求ｑで検索された場合の「検索目的」ｊに対する直接評価値：Ｅkqj D
間接評価値Ｅij I は、次式のように定義される。
【０１２７】
【数３】
また、前記（３）式で定義されている直接評価値Ｅij をＥij D で置き換える と、最終的に評価値Ｅij は、次式で定義される。
【０１２８】
【数４】
ここで、γは間接評価値に与える重みであり、直接評価を重視する観点からγ＜０とする。
【０１２９】
次に、第２の問題の解決策として、評価関数に時間のパラメータを加えることである。総合評価に時間のパラメータを加えることにより、過去の評価と最新の評価に重要度の差を設ける。これにより、一時期のみしか評価が得られなかった文書は時間とともに評価を失い、重要度の低い文書として徐々にランキングを下げる。逆に常に評価を受ける文書は高いランキングを維持し続ける。総合評価の算出を一定期間毎に行うものとし、評価の更新ごとに１０％づつ評価を減衰させた。ここで、ｔ回前の情報の新鮮度をＴ（ｔ）とすると以下の式になる。
【０１３０】
【数５】
次に、総合評価の算出について説明する。総合評価を算出する上で「評価値」と「参照値」を同一なレベルの値として用いるために、「参照」回数と、「直接評価」回数が同じ回数である場合の値として表現する。このために、「評価値」を以下の係数：αで補正する。
【０１３１】
【数６】
また、本来ユーザの直接の意見である「直接評価」は「参照」に比べて重要であると考えられるため、「評価値」に重み付けを行う。この重み付けに実際に得られた総「参照」数と総「直接評価」数の合計の割合を用いて、重みβを決定する。つまり、それぞれの頻度割合によって重み付けを行っている。
【０１３２】
【数７】
以上の手法より、文書ｉの「検索目的」ｊに対する「総合評価」Ｓij を、以 下の式で決定する。ここで、ｌは総更新回数であり、Ｒij t ，Ｅij t はそれぞれｔ回前のログから得られた、Ｒij ，Ｅij である。
【０１３３】
【数８】
なお、上記実施形態の情報検索方法の処理手順をプログラムとして例えばＣＤやＦＤなどの記録媒体に記録して、この記録媒体に記録されたプログラムを通信回線を介してコンピュータシステムにダウンロードしたり、または記録媒体からインストールし、該プログラムでコンピュータシステムを作動させることにより、情報検索方法を実施する情報検索装置として機能させることができることは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【図面の簡単な説明】
【図１】参考例として示す情報検索装置の構成を示すブロック図である。
【図２】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される検索フォームを示す図である。
【図３】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される検索結果表示画面を示す図である。
【図４】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される文書表示画面を示す図である。
【図５】図１に示す情報検索装置の情報検索フェーズの作用を示すフローチャートである。
【図６】図１に示す情報検索装置の文書評価データベース構築フェーズの作用を示すフローチャートである。
【図７】図１に示す情報検索装置に使用されている検索行動データベースの構成を示す図である。
【図８】図１に示す情報検索装置に使用されている文書評価データベースの構成を示す図である。
【図９】本発明の第１の実施形態の情報検索装置を適用した文書検索装置の構成を示すブロック図である。
【図１０】図９に示す第１の実施形態の文書検索装置に使用されている文書評価部の詳細な構成を示すブロック図である。
【図１１】図９に示す第１の実施形態の文書検索装置に使用されている間接評価部の詳細な構成を示すブロック図である。
【図１２】図９に示す第１の実施形態の文書検索装置に使用されている文書評価ログデータベースの構成を示す図である。
【図１３】図９に示す第１の実施形態の文書検索装置に使用されている文書評価ログデータベースに格納されているログを各被直接評価文書ＩＤ毎のエントリ集合に分割した様子を示す図である。
【図１４】図１３に示すように各被直接評価文書ＩＤ毎に分割されたエントリ集合をキーワード毎に分割した様子を示す図である。
【図１５】図１０に示す文書評価部の一時記憶部に格納された観点毎のデータ形式を示す図である。
【図１６】図１１に示す間接評価部の一時記憶部に格納されたキーワード毎の間接評価値のデータ形式を示す図である。
【図１７】図９に示す第１の実施形態の文書検索装置における実施形態において文書評価データベースを作成する際の動作手順を示すフローチャートである。
【符号の説明】
１１ 検索部
１２，１１９ 文書データベース
１３，１２３ 文書評価データベース
１４，１２１ 文書評価取得部
１５ 文書評価ログデータベース
２０ 文書評価部
２１ 評価管理部
２２ 直接評価部
３０ 間接評価部
３１ 間接評価管理部
３２ 部分文書取得部
３３ 文書関連性判定部
１１０ サーバシステム
１１１ 検索フォーム送信部
１１３ 検索要求受信部
１１５ 検索統括部
１１７ 文書検索部
１２５ 検索結果送信部
１２７ 検索行動受信部
１２９ 結果文書送信部
１３１ 検索行動登録部
１３３ 検索行動データベース
１３５ 検索行動解析部
１３７ 関連文書評価部
１５１ クライアントシステム
１５３ ブラウザ
【発明の属する技術分野】
本発明は、ユーザ端末から入力される検索要求に応じて該検索要求に適合する情報を検索し、ユーザの検索履歴を利用して検索結果の順位付けを行う情報検索装置および方法に関し、例えばインターネットに代表されるコンピュータネットワークにおいて行われるコンテンツの検索およびユーザの検索履歴を利用して検索結果の順位付けを行う情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来の検索システムでは、検索キーワードを入力することにより、適合度順にランキングされた検索結果を取得する。
【０００３】
このランキングの作成手法にはコンテンツ中のキーワードの出現頻度に基づいた手法、それぞれのコンテンツが他のコンテンツから参照されている頻度に基づいた手法、それぞれのコンテンツがユーザに参照された頻度に基づいた手法があげられる。
【０００４】
このような手法でランキングされた検索結果を作成することにより、大量の検索結果の中からユーザの検索要求に応じた検索結果を提示し、検索にかかる負担を低減しようとしている。
【０００５】
また、従来、過去のユーザの検索履歴を用いて検索結果である文書の順位付けを行う文書検索装置として、ユーザが文書を参照したという情報を取得し、この参照頻度に基づいて文書の順位付けを行い、検索結果として出力するものがあるが、これは、利用者が文書を参照したことがそのまま求める文書であるとは言い切れないし、また一度上位に順位付けされた文書は参照されやすくなるため、特定の文書に対して利用者の情報が偏るというような不具合があり、このような不具合を解決する方法として、利用者が文書を実際に参照した後の直接評価を利用する方法がある。
【０００６】
【発明が解決しようとする課題】
上述した従来の検索システムにおけるランキング作成手法のうち、キーワードの頻度を用いた手法は、検索結果にユーザの目的と異なるコンテンツが多く混在しているという問題がある。これは、この方法が基本的に「検索要求と似ているコンテンツが検索要求に適合している」という考え方に基づいているにも関わらず、キーワード型の検索システムにおいて入力されるキーワードが２，３語程度と少ないからであると考えられる。
【０００７】
また、他のコンテンツから参照されている頻度に基づく従来の手法は、検索対象がＷＷＷのように大規模かつ自然に確立された参照関係がある場合の手法であり、小規模なコンテンツ群に適用した場合、効果が得られないという問題がある。
【０００８】
更に、ユーザからの参照頻度に基づく従来の手法は、文書の参照され易さに依存し、評価が偏るという問題がある。すなわち、多くのキーワードを含みかつ高頻度のキーワードを含むコンテンツは参照頻度も多くなることが考えられ、また一度評価が高くなったコンテンツは更に参照されやすくなり、評価が偏るということが考えられる。
【０００９】
また、上述したように、利用者が文書を実際に参照した後の直接評価を利用する従来の方法において、参照は検索時に行う文書の取得によってユーザにとっては無意識的に取得されるのに対して、直接評価はユーザの入力負荷が大きいため、一般的に十分な数が得られないという問題がある。
【００１０】
そして、この場合、文書の評価は正確に行えるが、評価自体の数が少なくなり、文書に対する評価を用いた検索結果の順位付けを行うことができないという問題がある。
【００１１】
また更に、今回対象としている過去のユーザの検索履歴を用いて文書の順位付けを行う文書検索装置では、新規文書は過去の評価が存在しないため、評価値が存在せず、検索結果において下位に順位付けされるため、新規文書がユーザに提示される機会が過度に少なく、埋もれてしまうという問題がある。
【００１２】
本発明は、上記に鑑みてなされたもので、その目的とするところは、ユーザの検索要求に応じた検索結果の出力を順位付けし得る情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体を提供することにある。
【００２９】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、ユーザ端末から入力される検索要求に応じて文書格納手段から複数の文書の集合を検索した結果の文書をユーザ端末において参照して該文章に対する評価を行うユーザ端末における検索行動から、前記文書に対する評価を取得し、この取得した評価に基づいて各文書に対する評価値を算出し、この評価値を用いてユーザ端末からの検索要求に対する検索結果の出力を順序付けする情報検索装置であって、前記検索要求、前記文書を特定する情報、および前記文書に対する評価をユーザ端末における検索行動から取得する文書評価取得手段と、前記検索要求、文書特定情報、および文書に対する評価を格納する文書評価ログ格納手段と、ユーザ端末において直接的に評価された文書に対する直接評価を算出する直接評価手段と、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出する間接評価手段と、前記直接評価手段および間接評価手段でそれぞれ算出された各文書の直接評価および間接評価から各文書の総合評価値を算出する文書評価管理手段と、前記総合評価値を各文書に対応して格納する文書評価格納手段とを有し、前記間接評価手段は、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて、前記ユーザ端末において直接的に評価された文書である被直接評価文書からユーザ端末において注目された部分文書を取得する部分文書取得手段と、前記部分文書と関連性の高い文書を判定する文書関連判定手段と、前記被直接評価文書の直接評価値および該被直接評価文書に対するある文書の関連性から、前記被直接文書からの当該文書の間接評価を取得する間接評価管理手段とを有することを要旨とする。
【００３０】
請求項１記載の本発明にあっては、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納するため、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、また検索要求および文書の評価の情報を用いて被直接評価文書からユーザ端末で注目された部分文書を取得し、該部分文書と関連性の高い文書を判定し、被直接評価文書の直接評価値および該被直接評価文書に対するある文書の関連性から、被直接評価文書からの当該文書の間接評価を取得するため、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【００３７】
請求項２記載の本発明は、コンピュータを、請求項１に記載の情報検索装置の各手段として機能させるための情報検索プログラムであることを要旨とする。
【００３８】
請求項２記載の本発明にあっては、本発明の情報検索プログラムを実行するコンピュータにより、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納するため、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【００４１】
請求項３記載の本発明は、請求項２に記載の情報検索プログラムを格納したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００４２】
請求項３記載の本発明にあっては、検索要求、文書特定情報および文書に対する評価をユーザ端末における検索行動から取得し、ユーザ端末において直接的に評価された文書に対する直接評価を算出し、ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出し、この算出された各文書の直接評価および間接評価から各文書の総合評価値を算出し、該総合評価値を各文書に対応して格納する情報検索プログラムをコンピュータ読み取り可能な記録媒体に記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【００４５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、参考例として示すサーバシステムの構成を示すブロック図である。同図に示すサーバシステム１１０は、ＷＷＷを利用した検索システムであり、複数のユーザ端末であるクライアントシステム１５１がインタフェースなどのネットワークを介して接続され、これらのクライアントシステム１５１はブラウザ１５３を内蔵している。
【００４６】
サーバシステム１１０は、クライアントシステム１５１にネットワークを介して接続され、クライアントシステム１５１からブラウザ１５３を介してユーザの検索を行いたいという検索要求を受け付け、この検索要求に対して図２に示すような検索フォームをブラウザ１５３に返送する検索フォーム送信部１１１を有する。
【００４７】
この検索フォームには、図２に示すように、キーワードなどのような検索語を含む検索条件を入力する検索条件欄、情報の利用目的に応じて選択するための検索観点のリスト、すなわち図２では例えば「新着情報が知りたい」「機能、製品、イベント等の情報が欲しい」「価格が知りたい」「実現のための手段ものが知りたい」などのような検索観点のリストを表示している検索観点リスト表示欄、このリストから選択された検索目的である検索観点を表示する検索観点表示欄、およびこの選択された検索観点と前記検索条件欄に入力された検索条件とに従って検索を実行する実行キーが表示されており、クライアントシステム１５１のユーザはこの検索フォームを見ながら前記各欄に所望の検索条件や検索観点を入力し、実行キーをクリックなどすることにより当該検索条件および検索観点が検索要求としてサーバシステム１１０に送信され、検索が行われるようになっている。なお、検索観点のリストは、サーバシステム１１０の管理を行う側でシステムのユーザおよび検索対象とする文書から典型的かつ利用頻度の高い検索観点を取得して羅列するものである。
【００４８】
クライアントシステム１５１においてユーザが前記検索フォームを見ながら入力し更に検索実行を行うことにより、クライアントシステム１５１のブラウザ１５３から送信される検索条件と検索観点からなる検索要求は、ネットワークを介してサーバシステム１１０の検索要求受信部１１３で受信される。検索要求受信部１１３は、この検索要求を検索統括部１１５に渡す。
【００４９】
検索統括部１１５は、この検索条件と検索観点からなる検索要求を受け取ると、検索条件を文書検索部１１７に引き渡す。文書検索部１１７は、この検索条件に基づいて文書データベース１１９を検索し、該検索条件に適合する文書ＩＤ群を取得する。この取得された文書ＩＤは検索統括部１１５に返送される。なお、文書データベース１１９は、各文書に含まれる単語であるキーワードに対応して各文書を特定する文書ＩＤを格納しているものである。
【００５０】
検索統括部１１５は、文書検索部１１７からの文書ＩＤと前記検索観点を文書評価取得部１２１に渡す。文書評価取得部１２１は、この文書ＩＤと検索観点に基づいて文書評価データベース１２３を検索し、該検索観点における前記文書ＩＤの各々の評価値を取得し、この文書ＩＤと評価値であるスコアの組み合わせを検索統括部１１５に渡す。
【００５１】
文書評価データベース１２３は、図８に示すように、検索観点の各々に対する各文書の適合度である評価値、すなわちスコアを各検索観点毎および各文書ＩＤ毎に、かつ期間に区分けして格納している。
【００５２】
検索統括部１１５は、文書評価取得部１２１から各文書ＩＤとその評価値であるスコアの組み合わせを受け取ると、このスコアの順に文書ＩＤを配列し、スコアの高い文書ＩＤから指定された件数分の文書を検索結果として作成し、この検索結果を検索結果送信部１２５からネットワークを介してクライアントシステム１５１のブラウザ１５３に返送する。
【００５３】
このように検索結果送信部１２５で検索結果を返送されたクライアントシステム１５１においてユーザが前記検索結果を閲覧した結果として前記検索結果に対するユーザの閲覧または評価を含む行動情報が当該行動の対象である文書ＩＤおよび前記検索観点とともにクライアントシステム１５１のブラウザ１５３からネットワークを介してサーバシステム１１０に送信され、サーバシステム１１０では検索行動受信部１２７が受信する。
【００５４】
具体的には、検索行動受信部１２７は、ユーザが図３に示すような検索結果表示画面において１つの文書を選択した時点で「参照」したという情報、または図４に示すような文書表示画面において選択した文書の「評価」が行われた時点で「評価」したという情報を当初指定した検索観点および文書ＩＤとともに受信し、検索行動登録部１３１に引き渡す。また、文書を「参照」したという情報の場合には、結果文書送信部１２９にも情報を引き渡す。結果文書送信部１２９は、該情報を受け取ると、該情報に基づき、すなわちユーザが「参照」した情報に基づき例えば図４に示すような文書表示画面が検索結果としてブラウザ１５３に送信されて表示される。
【００５５】
なお、図３に示すように、検索結果表示画面にはユーザの検索要求に基づき作成された検索結果が提示される。この画面中のハイパーリンクは直接対象文書を指定しているのではなく、システムを経由して文書の表示を行うように指定されている。これにより、ユーザの検索行動の「参照」を取得することを可能とし、図４に示す形での検索結果文書表示を可能とする。
【００５６】
図４に示す文書表示画面では検索結果文書の画面を表示するとともに、この文書の「評価」を受け付ける。また、検索時に入力した検索観点とは別の観点での「評価」を行うために検索観点を再度選択可能なメニューの欄も設けられている。
【００５７】
検索行動登録部１３１は、検索行動受信部１２７から受け取って受信した文書ＩＤ、参照または評価などのユーザ行動情報、検索観点を当該受信時刻とともに検索行動データベース１３３に格納する。
【００５８】
検索行動データベース１３３は、図７に示すように、文書ＩＤ、日時、検索観点、ユーザの参照または評価などの行動情報がユーザの各行動（アクション）毎に格納しているものである。
【００５９】
この検索行動データベース１３３に格納された各情報は、検索行動解析部１３５によって監視され、検索行動解析部１３５は、所定時間が経過する毎に、または検索行動データベース１３３に所定量以上のデータが蓄積された場合に、検索行動データベース１３３に格納されている情報に基づき文書に対する所定期間におけるユーザの操作を解析し、この解析結果に基づき検索観点における文書の評価値を算出し、この算出した評価値で文書評価データベース１２３の検索観点および文書ＩＤ毎の評価値であるスコアを更新する。
【００６０】
また、この検索行動解析部１３５における解析処理では、関連文書評価部１３７が文書データベース１１９および検索行動データベース１３３の情報からユーザに評価を受けた文書と関連度の高い文書を取得し、この関連文書の情報を検索行動解析部１３５に引き渡すことにより、ユーザから直接、評価を受けなかった文書に対しても、該文書に関連する文書に対する評価値を用いて、評価値であるスコアを更新する。すなわち、検索行動解析部１３５は、前記検索行動データベース１３３に格納されている情報に加えて、関連文書評価部１３７から受け取った関連文書の情報に基づき文書に対するユーザの操作を解析し、この解析結果に基づき検索観点における文書の評価値であるスコアを算出し、この算出したスコアで文書評価データベース１２３の検索観点および文書ＩＤ毎のスコアを更新する。
【００６１】
次に、以上のように構成される情報検索装置の作用について図５および図６に示すフローチャートを参照して説明する。なお、本情報検索装置の作用は、情報検索フェーズと文書評価データベースの構築フェーズの２つのフェーズに分割される。まず、図５に示すフローチャートを参照して、情報検索フェーズについて説明する。
【００６２】
まず、クライアントシステム１５１からブラウザ１５３を介してユーザの検索を行いたいという検索要求をサーバシステム１１０の検索フォーム送信部１１１が受け付けると、検索フォーム送信部１１１から図２に示す検索フォームをブラウザ１５３に送信する（ステップＳ１１）。ユーザは検索フォームに従い、検索条件の入力とともに、検索観点を指定することにより、検索要求を作成する（ステップＳ１２）。ブラウザ１５３は検索要求の入力された検索フォームをサーバシステム１１０に送信する（ステップＳ１３）。
【００６３】
ブラウザ１５３から送信された検索要求は検索要求受信部１１３により受信され、検索統括部１１５へ引き渡される（ステップＳ１５）。検索統括部１１５では引き渡された検索要求から検索条件と検索観点を取り出す（ステップＳ１７）。検索統括部１１５は検索条件を文書検索部１１７に引き渡し、文書データベース１１９から検索条件を含むか、類似する文書のＩＤを取得する（ステップＳ１９）。
【００６４】
検索統括部１１５は検索観点と取得した文書ＩＤを文書評価取得部１２１に送信し、指定された検索観点でのそれぞれの文書のスコアを取得する（ステップＳ２１）。検索統括部１１５では取得した文書ＩＤをスコア順にソートして、予め決められた件数分の結果を重要度の高いものから取得し、検索結果を作成する（ステップＳ２３）。なお、検索結果表示数や検索結果表示開始の順位等は検索要求時に指定することで、可変とすることができる。
【００６５】
前記検索結果は検索結果送信部１２５を介してクライアントシステム１５１のブラウザ１５３に検索結果として表示する（ステップＳ２５）。この画面を図３に示す。ユーザがブラウザ上に表示された検索結果表示画面から１つの文書を選択したという情報は検索行動受信部１２７から結果文書送信部１２９に送信され、ユーザの求めた文書をブラウザ１５３に表示する（ステップＳ２７−Ｓ３３）。この文書表示画面を図４に示す。
【００６６】
この選択したという情報は文書が「参照」を受けたという情報として、検索行動受信部１２７から検索行動登録部１３１へ引き渡される。また、同時に検索時に指定した検索観点、対象となった文書のＩＤも引き渡される（ステップＳ２７）。以後は「文書評価データベース」の構築フェーズへ移る（ステップＳ２９）。
【００６７】
ユーザはこの文書表示画面下部に配置された文書の評価を行うボタンを用いてその文書の「評価」を入力することが可能である。また、検索時と同じ観点のリストが提示されており、選択することで、文書を閲覧中に現在選択している観点とは異なる観点で評価を行える。
【００６８】
検索結果が直接評価された場合には（ステップＳ３５）、この「評価」したという情報は検索行動受信部１２７から検索行動登録部１３１へ引き渡される（ステップＳ３６）。また、同時に検索時に指定した検索観点、対象となった文書のＩＤも引き渡される。以後は「文書評価データベース」の構築フェーズへ移る（ステップＳ３７）。そして、ユーザの操作により、検索結果画面の再度表示もしくは今回の検索終了となる（ステップＳ３９，Ｓ４１）。
【００６９】
次に、このシステムにおいて、検索観点に基づいた検索結果の提示を行うために用いる文書評価データベース１２３の構築のフェーズについて図６に示すフローチャートを参照して説明する。
【００７０】
上述したように、検索行動受信部１２７は、「参照」もしくは「評価」の情報、文書ＩＤ、検索観点を検索行動登録部１３１へ引き渡す（ステップＳ６１）。検索行動登録部１３１は、この引き渡された情報に日時の情報を加え、検索行動データベース１３３に登録する（ステップＳ６３）。
【００７１】
一定時間毎に、もしくは検索行動データベース１３３に一定量以上のデータが蓄積された場合、検索行動解析部１３５によって検索行動データベース１３３中の情報を用いて検索観点毎の文書への評価を算出し、文書評価データベース１２３に登録する（ステップＳ６５）。
【００７２】
また、関連文書評価部１３７を用いて、文書データベース１１９と検索行動データベース１３３の情報を元に、ユーザに評価された文書と、関連性の高い文書に対しても評価を入力することも可能である。
【００７３】
次に、実際のシステムに適用した場合のユーザの行動について説明する。
【００７４】
まず、ユーザは図２に示す検索フォームであるインタフェースから、検索条件として検索キーワード（検索語）の入力、および検索観点としてリストからの検索目的の選択を行い、実行ボタンを押す。この結果、ユーザは図３に示す検索結果を取得する。
【００７５】
この検索結果からユーザはサマリ、タイトルなどを始めとするそれぞれの文書の情報を参照し、実際に「参照」する文書を決める。文書が決まると、ユーザはこの文書を「参照」するため対象とする文書のリンクをクリックする。この結果、ユーザは図４に示す検索結果画面を取得する。
【００７６】
ユーザはこの表示された文書を参照した後、画面の下に配置された例えば「ｇｏｏｄ」「ｂａｄ」などの評価入力ボタンで「評価」を入力することができる。このようにして、ユーザは１つの文書を取得する。その文書が求めるもので無かったり、それ以上に情報が欲しい場合は上記処理を繰り返すことにより新たな文書の取得を行うことができる。
【００７７】
次に、文書評価データベース１２３の構築について説明する。上述したように、ユーザが入力した「参照」もしくは「評価」の情報は、検索観点、対象文書のＩＤ、日時を１つのエントリとして、検索行動データベース１３３に書き込まれる。
【００７８】
このエントリがある程度集まった段階、またはある程度時間がたった段階で、検索行動データベース１３３の解析、文書評価データベース１２３の構築を行う。すなわち、文書評価データベース１２３の構築は、基本的にはある観点である文書がよい評価を受けていた場合、その文書のスコアをプラスすることである。そして、より多くよい評価を受けている文書ほど、高いスコアを付与され、悪い評価の場合はスコアをマイナスする。
【００７９】
このようにして、文書評価データベース１２３を作成した結果、新たに検索が行われると、検索キーワードでしぼられた文書集合の文書の中で、ユーザの指定した検索観点でより高いスコアを取得した文書から検索結果を上位に提示する。これにより、ユーザはより評価の高いものから優先的に提示を受けることが可能になる。また、常に評価を受け、古い評価については評価の効果を減衰したり、もしくは消滅させることで、その時に応じた評価を取得することを可能とする。
【００８０】
次に、検索行動解析部１３５による文書評価データベース１２３の作成更新方法および該文書評価データベース１２３に各検索観点および文書ＩＤ毎に、かつ期間に区分けして登録されるスコアである評価値の算出方法について詳細に説明する。
【００８１】
検索行動解析部１３５は、まず検索行動データベース１３３の各レコードを日時情報を用いて、期間ごとに分割し、それぞれの期間のレコードを各検索観点ごとに分類する。
【００８２】
それから、それぞれの検索観点のレコードの集合を文書ＩＤで分類し、検索観点および文書ＩＤごとにレコードを分類する。そして、１つの分類されたレコードから、評価の種類（参照、評価（好評価、悪評価など））を分類し、取得する。上述したように分類された期間に基づく時間情報、参照された数、評価の数から評価値、すなわちスコアを算出し、図８に示すように文書評価データベース１２３に格納される。
【００８３】
次に、本発明の第１の実施形態に係る情報検索装置について説明する。
【００８４】
この第１の実施形態は、前述したように、ユーザの直接評価を利用する方法において参照は検索時に行う文書の取得によってユーザにとっては無意識的に行われるのに対して、直接評価はユーザの入力負荷が大きいため、一般的に十分な数が得られないが、そこで評価自体の数が少なくても、文書に対する評価を用いた検索結果の順位付けを適確に行おうとすることに加えて、ユーザの過去の検索履歴を用いて文書の順位付けを行う場合に、新規文書は過去の評価が存在しないため、評価値が存在せず、検索結果において下位に順位付けされ、新規文書がユーザに提示される機会が過度に少なく、埋もれてしまうということを解決するために、ユーザからの直接的な評価が存在しない文書に対しても評価付けを行うものであり、そのためにユーザの直接的な評価に加えて、ユーザが評価した文書と関連性の高い文書にもそれに準ずる評価を行おうとするものである。
【００８５】
しかしながら、一般的に行われている類似文書検索で文書間のキーワード頻度に基づいた文書間の関連性の評価を行った場合には、特に文書内に複数の話題が存在する場合には精度が低下するというような不具合があるので、本実施形態では文書検索装置として取得するユーザからの情報、すなわちユーザの検索要求（検索キーワードおよびその他の情報を含む場合もある）、評価対象の文書ＩＤなどのような対象とする文書を特定する情報、文書に対する評価の内容からなる情報を組み合わせてユーザが検索を行った視点で文書の関連性の評価を行い、この情報を用いることによってユーザから評価を受けた文書と関連性の高い文書に対して間接的な評価を高い精度で行うものである。
【００８６】
具体的には、直接評価は、各文書に対して直接的に評価されたユーザの検索履歴から評価値を算出する。また、間接評価は、（１）ユーザが評価したと考えられる部分文書の取得、（２）この取得した部分文書と関連度の高い文書の取得、（３）被直接評価文書へのユーザの評価値と関連性の値を用いて、関連する文書に対する間接評価値の算出を行う。
【００８７】
前記ユーザが評価したと考えられる部分文書の取得（１）では、検索キーワードを用いて、対象となる文書から検索キーワードを手がかりとして部分文書を取得し、これによりユーザが評価を行うときに参照したであろう部分文書を取得する。
【００８８】
また、前記取得した部分文書と関連度の高い文書の取得（２）では、部分文書中に存在するキーワードの頻度や分布を解析し、ユーザが評価を行ったと考えられる部分文書と、関連性の高い文書を特定し、その関連度とともに取得する。
【００８９】
更に、被直接評価文書へのユーザの評価値と関連性の値を用いて、関連する文書に対する間接評価値の算出（３）では、関連度を用いて間接評価値を算出することにより、文書の関連度の高さによって間接評価の度合を変化させることを可能とする。
【００９０】
そして、上述した直接評価および間接評価の値から文書の総合評価値を決定することにより、直接評価を受けない文書に対しても評価値を与えることが可能となる。
【００９１】
次に、図面を用いて本実施形態について説明する。図９は、この第１の実施形態の情報検索装置を適用した文書検索装置の構成を示すブロック図である。同図に示す文書検索装置は、図１と同様にクライアントシステムであるユーザ端末がクライアントシステムとの通信手段を介してネットワークを介して複数接続されている。
【００９２】
図９に示す文書検索装置は、文書検索手段を構成する検索部１１、文書格納手段を構成する文書データベース１２、文書評価格納手段を構成する文書評価データベース１３、文書評価取得手段を構成する文書評価取得部１４、文書評価ログ格納手段を構成する文書評価ログデータベース１５、文書評価手段を構成する文書評価部２０を有する。なお、本実施形態では、検索要求は検索キーワードのみから構成され、各文書に対する総合評価値は１つのみ有するものとする。また、上述した検索観点の様に検索要求に検索要求以外の付加情報が付与されることも可能であり、この付加情報または検索キーワードによって文書に対する総合評価を複数割り当てることも可能とする。
【００９３】
文書データベース１２は、検索対象となる各文書中でどのような単語が存在しているかまたはどのような順で存在しているかを格納している。文書評価データベース１３は、各文書の総合評価値を格納している。
【００９４】
前記検索部１１は、ユーザ端末からの検索キーワードを受け付け、この受け付けた検索キーワードで文書データベース１２を検索し、該検索のキーワードを含んだ文書集合を取得する。それから、文書評価データベース１３にアクセスし、前記取得した文書群中の各文書の総合評価値を文書評価データベース１３から取得し、この総合評価値に基づいて各文書の順位付けを行い、検索結果を作成してユーザ端末に返送する。
【００９５】
文書評価取得部１４は、ユーザ端末からの文書の評価を取得し、検索キーワード、被直接評価文書ＩＤ、文書への評価からなる３つの情報を１レコードとして文書評価ログデータベース１５に格納する。
【００９６】
文書評価ログデータベース１５は、検索キーワード、被直接評価文書ＩＤ、文書への評価からなる３つの情報を１レコードとして格納する。検索要求に検索観点が含まれる場合には図１２に示すように被直接評価文書ＩＤである文書ＩＤ、検索キーワードであるキーワード、文書への評価に加えて、検索観点である観点も格納することができる。
【００９７】
文書評価部２０は、詳細には図１０に示すように、評価管理部２１、直接評価部２２、一時記憶部２４、および間接評価部３０から構成されている。
【００９８】
評価管理部２１は、図１２に示すように文書評価ログデータベース１５に格納されているログを取得し、この取得したログを図１３に示すように各被直接評価文書ＩＤ毎のエントリ集合に分割する。それから、このように各被直接評価文書ＩＤ毎の分割されたエントリ集合を順次直接評価部２２に供給し、直接評価を取得する。検索要求に検索観点が含まれる場合には各観点ごとに図１３の形にログを集計する。
【００９９】
次に、この被直接評価文書ＩＤ毎のエントリを間接評価部３０に渡し、それぞれの被直接評価文書による各文書の間接評価値を取得する。これらの直接評価値および間接評価値は一時記憶部２４に一時的に格納される。検索要求に検索観点が含まれる場合にはこの一時記憶部２４には図１５に示すように観点毎のデータ形式で格納される。
【０１００】
そして、すべての被直接評価文書ＩＤのログについて評価が終了した後、各文書の間接評価値を算出し、直接評価値と間接評価値とから総合評価値を算出し、文書評価データベース１３に格納する。
【０１０１】
直接評価部２２は、各被直接評価文書のログを取得して、直接評価値を算出し、この直接評価値を評価管理部２１に返却する。
【０１０２】
間接評価部３０は、詳細には図１１に示すように、間接評価管理部３１、部分文書取得部３２、文書関連性判定部３３、および一時記憶部３４から構成されている。
【０１０３】
間接評価管理部３１は、各被直接評価文書ＩＤのログエントリ集合を取得し、これを更に図１４に示すようにキーワード毎に分割する。各キーワード毎に分割したログから直接評価値の算出と同様の算出式に基づき基本となる基本評価値を算出し、被直接評価文書ＩＤと検索キーワードを部分文書取得部３２に供給し、ユーザが評価を行う際に着目したと考えられる部分文書を取得する。それから、この取得した部分文書を文書関連性判定部３３に供給し、関連文書のＩＤおよび関連性の値を取得し、関連性と前記基本評価値から各キーワード毎の間接評価値を算出する。
【０１０４】
このキーワード毎の間接評価値は、図１６に示すようなデータ形式で一時的に一時記憶部３４に記憶される。これをすべてのキーワードについて行うことにより、１つの被直接評価文書に対する各文書の間接評価値として取得し、評価管理部２１に返却する。検索要求に検索観点が含まれる場合には図１６に示すように、観点毎に格納される。
【０１０５】
部分文書取得部３２は、間接評価管理部３１から受け取った文書ＩＤおよび検索キーワードを用い、文書データベース１２からユーザが評価を行うときに着目したと考えられる部分文書を取得し、文書関連性判定部３３に供給する。
【０１０６】
文書関連性判定部３３は、間接評価管理部３１から受け取った部分文書と文書データベース１２のデータを基に部分文書と関連していると考えられる文書のＩＤと部分文書とその文書の関連性を組にして間接評価管理部３１に返却する。
【０１０７】
次に、図１７に示すフローチャートを参照して、本実施形態において文書評価データベース１３を作成する際の動作手順について説明する。なお、文書評価データベース１３作成の際には文書評価ログデータベース１５には文書検索装置のユーザによる文書の評価（参照および直接評価）ログが格納されているものとする。
【０１０８】
図１７においては、まず文書評価部２０の評価管理部２１は、文書評価ログデータベース１５のエントリを取得し、被直接評価文書ＩＤ毎にまとめる（ステップＳ７１）。評価管理部２１は、被直接評価文書ＩＤ毎にまとめられたエントリ集合を順次直接評価部２２に供給する。直接評価部２２は、このエントリ集合から直接評価値を算出し、評価管理部２１に返却する（ステップＳ７３）。
【０１０９】
評価管理部２１は、被直接評価文書のＩＤ毎にまとめられたエントリ集合を順次間接評価部３０に送る（ステップＳ７５）。間接評価部３０では、間接評価管理部３１は１つの被直接評価文書ＩＤのエントリ集合を各検索キーワード毎に分割する（ステップＳ７７）。また、間接評価管理部３１は、分割されたエントリ群から各キーワード毎に直接評価と同じ手法で評価値を算出する（ステップＳ７９）。この評価値を基本評価値と称する。
【０１１０】
間接評価管理部３１は、部分文書取得部３２に被直接評価文書ＩＤおよび検索キーワードを送信し、部分文書を取得する（ステップＳ８１）。そして、間接評価管理部３１は、この取得した部分文書を文書関連性判定部３３に供給し、部分文書と関連する文書ＩＤおよび部分文書との関連性を取得する（ステップＳ８３）。
【０１１１】
間接評価管理部３１は、関連性と基本評価値を基に間接評価値を算出し、被直接評価文書が前記検索キーワードにより検索され評価されたときの間接評価値を算出する（ステップＳ８５）。そして、間接評価管理部３１は、この間接評価値を一時記憶部３４に格納しながら、すべての検索キーワードについて上述した処理を終了したか否かを判定し（ステップＳ８７）、終了していない場合には、ステップＳ７９に戻り、上述したと同じ処理をすべての検索キーワードについて行う。
【０１１２】
すべての検索キーワードについて完了した場合には、間接評価管理部３１は、各文書において一時記憶部３４に格納されている各キーワードの場合から得られた間接評価値を合計し、１つの被直接評価文書からの各文書の間接評価値とし、また被直接評価文書のＩＤ、文書ＩＤ、および間接評価値を評価管理部２１に送信する。すなわち、前記検索キーワードによる間接評価値を基に各文書の前記被直接評価文書が前記検索キーワードにより検索され評価されたときの間接評価値を算出し、評価管理部２１に送信する（ステップＳ８９）。
【０１１３】
そして、評価管理部２１は、一時記憶部２４に直接評価値および間接評価値を格納しながら、上記処理をすべての被直接評価文書について処理したか否かを判定し（ステップＳ９１）、すべての被直接評価文書について処理を行っていない場合には、ステップＳ７３に戻り、すべての被直接評価文書について同じ処理を繰り返し行う。
【０１１４】
すべての被直接評価文書について完了した場合には、評価管理部２１は、それぞれの文書ＩＤの各文書について一時記憶部２４に格納されている直接評価および間接評価から各文書の総合評価値を算出し、文書評価データベース１３に登録する（ステップＳ９３）。
【０１１５】
上述したように、本実施形態では、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【０１１６】
次に、文書評価（総合評価）の算出法について説明する。文書の評価は、人気度として、ユーザが検索結果において文書を参照する「参照」と、より正確なユーザの評価を取得するため、文書参照後、ユーザが直接的な評価を行う「直接評価」を用いて行う。これらを用いて算出する、各「検索目的」に対しての各文書の人気度による評価を「総合評価」とする。しかし、単純に「参照」「直接評価」の数を加算する手法で文書の評価、すなわち「総合評価」を算出すると以下の点が問題となる。
【０１１７】
第１の問題は高いランキングにある文書に「参照」、「直接評価」が集中することである。一般に検索ランキング上位の文書は、ユーザの目に触れる頻度が大きく、「参照」されやすい。その結果、高ランキング文書に評価が集中し、文書集合全体に評価が行き渡らず、検索結果に偏りが生ずる。
【０１１８】
第２の問題は評価が陳腐化することである。すなわち、過去の評価により、陳腐化した文書が高ランキングを維持し続けることである。
【０１１９】
第１の問題の解決策として文書ｉに対して、「検索目的」ｊにおいての「参照」「直接評価」を以下の手法によって算出し、これによりランキング依存要素の排除を行う。
【０１２０】
「参照値」Ｒij：参照数はその文書の検索結果における表示ページ数によって、頻度が大きく左右される。そこで後ろのページで行われた参照値については、１ページ目に扱われたものに比べて大きく扱うこととする。つまり、「参照値」として、文書が参照を受けた時、「その文書が１ページに存在した場合の参照数」を用いる。以下に参照値補正関数をＦ(ｒ)（ｒは文書が出現する検索結果のページ数）とした時の「参照値」の算出式は次のとおりである。
【０１２１】
【数１】
【０１２２】
Ｆ(ｒ) ＝ｒ2.08 …（２）
「直接評価値」Ｅij：「直接評価」数は、直接ランキングには依存しないが、明らかに「参照」数の増減に伴って増減すると考えられる。そこで、「直接評価値」として、「「参照」がそれぞれの文書に対して平均的に行われた場合の「直接評価」回数」を用いる。「参照」数に対する相対値に、評価ログ中でのすべての「参照」された文書と「検索目的」の組み合わせ数、および総「参照」数より、「平均参照回数」を求め、この値との積を取ることで、「直接評価値」の取得を行う。
【０１２３】
ここまでの手法で「参照」された文書を公平に評価することは可能であるものの、「参照」されない文書が常にランキング下位に存在することに違いはない。そこで、本実施形態ではランキング上位に存在しながら、選択されている「検索目的」に適合していない文書を積極的に下げるため「直接評価」に「マイナス評価」を用いる。これにより、相対的にランキング下位に存在する文書をランキング上位に押し上げ、「直接評価」のない文書を減少させることを狙う。ｇij ， ｂij をそれぞれログで取得した「プラス評価」、「マイナス評価」数、Ｎを前 回更新から今回の更新までの間に「参照」された文書数と目的の組み合わせ数、ｎを総文書数、ｍを全「検索目的」数とすると「直接評価値」は以下となる。
【０１２４】
【数２】
【０１２５】
ここで、間接評価値の算出に使用される各記号を次のように定義する。
【０１２６】
文書ｉの「検索目的」ｊに対する間接評価値：Ｅij I
文書ｋに対する文書ｉの間接評価：Ｅik
ｉと関連性があり、直接評価を受けた文書集合：Ｃi
検索要求（検索キーワード）：ｑ
Ｑk はｋが検索された検索要求の集合
検索要求ｑについて、文書ｋに対する文書ｉの関連度：Ｒikq
文書ｋの検索要求ｑで検索された場合の「検索目的」ｊに対する直接評価値：Ｅkqj D
間接評価値Ｅij I は、次式のように定義される。
【０１２７】
【数３】
【０１２８】
【数４】
【０１２９】
次に、第２の問題の解決策として、評価関数に時間のパラメータを加えることである。総合評価に時間のパラメータを加えることにより、過去の評価と最新の評価に重要度の差を設ける。これにより、一時期のみしか評価が得られなかった文書は時間とともに評価を失い、重要度の低い文書として徐々にランキングを下げる。逆に常に評価を受ける文書は高いランキングを維持し続ける。総合評価の算出を一定期間毎に行うものとし、評価の更新ごとに１０％づつ評価を減衰させた。ここで、ｔ回前の情報の新鮮度をＴ（ｔ）とすると以下の式になる。
【０１３０】
【数５】
【０１３１】
【数６】
【０１３２】
【数７】
【０１３３】
【数８】
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、ユーザ端末からの評価を直接受けていない文書に対してユーザ端末で直接評価を行った視点から間接的な評価を行うことが可能となり、複数の文書の集まりに対して各文書にユーザ端末から与えられた検索要求と過去のユーザ端末からの評価を用いて付与された評価値を用いて文書の集まりからユーザ端末が求める文書を順位付けして出力でき、文書に対して正確な評価を行うために十分な評価の数がない場合や新規文書などの評価が存在しない文書が存在する場合などに、既に存在する評価およびユーザの検索ログを用いて被直接評価文書の中で実際にユーザが評価したであろう部分を特定することが可能となり、文書評価の質を低下させることなく、文書の評価の数を増やすことができる。
【図面の簡単な説明】
【図１】参考例として示す情報検索装置の構成を示すブロック図である。
【図２】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される検索フォームを示す図である。
【図３】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される検索結果表示画面を示す図である。
【図４】図１に示す情報検索装置においてユーザ端末であるクライアントシステムのブラウザに表示される文書表示画面を示す図である。
【図５】図１に示す情報検索装置の情報検索フェーズの作用を示すフローチャートである。
【図６】図１に示す情報検索装置の文書評価データベース構築フェーズの作用を示すフローチャートである。
【図７】図１に示す情報検索装置に使用されている検索行動データベースの構成を示す図である。
【図８】図１に示す情報検索装置に使用されている文書評価データベースの構成を示す図である。
【図９】本発明の第１の実施形態の情報検索装置を適用した文書検索装置の構成を示すブロック図である。
【図１０】図９に示す第１の実施形態の文書検索装置に使用されている文書評価部の詳細な構成を示すブロック図である。
【図１１】図９に示す第１の実施形態の文書検索装置に使用されている間接評価部の詳細な構成を示すブロック図である。
【図１２】図９に示す第１の実施形態の文書検索装置に使用されている文書評価ログデータベースの構成を示す図である。
【図１３】図９に示す第１の実施形態の文書検索装置に使用されている文書評価ログデータベースに格納されているログを各被直接評価文書ＩＤ毎のエントリ集合に分割した様子を示す図である。
【図１４】図１３に示すように各被直接評価文書ＩＤ毎に分割されたエントリ集合をキーワード毎に分割した様子を示す図である。
【図１５】図１０に示す文書評価部の一時記憶部に格納された観点毎のデータ形式を示す図である。
【図１６】図１１に示す間接評価部の一時記憶部に格納されたキーワード毎の間接評価値のデータ形式を示す図である。
【図１７】図９に示す第１の実施形態の文書検索装置における実施形態において文書評価データベースを作成する際の動作手順を示すフローチャートである。
【符号の説明】
１１ 検索部
１２，１１９ 文書データベース
１３，１２３ 文書評価データベース
１４，１２１ 文書評価取得部
１５ 文書評価ログデータベース
２０ 文書評価部
２１ 評価管理部
２２ 直接評価部
３０ 間接評価部
３１ 間接評価管理部
３２ 部分文書取得部
３３ 文書関連性判定部
１１０ サーバシステム
１１１ 検索フォーム送信部
１１３ 検索要求受信部
１１５ 検索統括部
１１７ 文書検索部
１２５ 検索結果送信部
１２７ 検索行動受信部
１２９ 結果文書送信部
１３１ 検索行動登録部
１３３ 検索行動データベース
１３５ 検索行動解析部
１３７ 関連文書評価部
１５１ クライアントシステム
１５３ ブラウザ
Claims (3)
- ユーザ端末から入力される検索要求に応じて文書格納手段から複数の文書の集合を検索した結果の文書をユーザ端末において参照して該文章に対する評価を行うユーザ端末における検索行動から、前記文書に対する評価を取得し、この取得した評価に基づいて各文書に対する評価値を算出し、この評価値を用いてユーザ端末からの検索要求に対する検索結果の出力を順序付けする情報検索装置であって、
前記検索要求、前記文書を特定する情報、および前記文書に対する評価をユーザ端末における検索行動から取得する文書評価取得手段と、
前記検索要求、文書特定情報、および文書に対する評価を格納する文書評価ログ格納手段と、
ユーザ端末において直接的に評価された文書に対する直接評価を算出する直接評価手段と、
ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて該文書の間接評価を算出する間接評価手段と、
前記直接評価手段および間接評価手段でそれぞれ算出された各文書の直接評価および間接評価から各文書の総合評価値を算出する文書評価管理手段と、
前記総合評価値を各文書に対応して格納する文書評価格納手段とを有し、
前記間接評価手段は、
ユーザ端末からの検索要求および該検索要求に対する検索結果である文書に対してユーザ端末から得た該文書の評価の情報を用いて、前記ユーザ端末において直接的に評価された文書である被直接評価文書からユーザ端末において注目された部分文書を取得する部分文書取得手段と、
前記部分文書と関連性の高い文書を判定する文書関連判定手段と、
前記被直接評価文書の直接評価値および該被直接評価文書に対するある文書の関連性から、前記被直接文書からの当該文書の間接評価を取得する間接評価管理手段とを有する
ことを特徴とする情報検索装置。 - コンピュータを、請求項１に記載の情報検索装置の各手段として機能させるための情報検索プログラム。
- 請求項２に記載の情報検索プログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001143982A JP3964630B2 (ja) | 2001-03-07 | 2001-05-14 | 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001064030 | 2001-03-07 | ||
| JP2001-64030 | 2001-03-07 | ||
| JP2001143982A JP3964630B2 (ja) | 2001-03-07 | 2001-05-14 | 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002334107A JP2002334107A (ja) | 2002-11-22 |
| JP3964630B2 true JP3964630B2 (ja) | 2007-08-22 |
Family
ID=26610816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001143982A Expired - Fee Related JP3964630B2 (ja) | 2001-03-07 | 2001-05-14 | 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3964630B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9092523B2 (en) | 2005-02-28 | 2015-07-28 | Search Engine Technologies, Llc | Methods of and systems for searching by incorporating user-entered information |
| WO2006102122A2 (en) | 2005-03-18 | 2006-09-28 | Wink Technologies, Inc. | Search engine that applies feedback from users to improve search results |
| JP4801955B2 (ja) * | 2005-08-31 | 2011-10-26 | 和輝 小野 | 自動評価を有した電子文書承認システムおよび方法 |
| JP4754332B2 (ja) * | 2005-11-24 | 2011-08-24 | 株式会社弘染塾 | 解説システムおよび解説表示プログラム |
| JP2007148741A (ja) * | 2005-11-28 | 2007-06-14 | Hitachi Software Eng Co Ltd | Ｗｅｂ検索支援サーバ |
| WO2009008129A1 (ja) * | 2007-07-12 | 2009-01-15 | Panasonic Corporation | 開発書類データ管理装置、開発書類データ管理システム、開発書類データ管理方法及び、そのプログラム並びに記憶媒体 |
| US8301637B2 (en) | 2007-07-27 | 2012-10-30 | Seiko Epson Corporation | File search system, file search device and file search method |
| JP2009053757A (ja) * | 2007-08-23 | 2009-03-12 | Toshiba Corp | 情報処理装置、入力方法およびプログラム |
| US7930287B2 (en) * | 2008-03-14 | 2011-04-19 | Michelli Capital Limited Liability Company | Systems and methods for compound searching |
| JP5302614B2 (ja) * | 2008-10-09 | 2013-10-02 | 株式会社インテック | 施設関連情報の検索データベース形成方法および施設関連情報検索システム |
| KR101078907B1 (ko) | 2009-02-02 | 2011-11-01 | 엘지전자 주식회사 | 문서 평가 시스템 |
| WO2014057744A1 (ja) * | 2012-10-09 | 2014-04-17 | 日本電気株式会社 | 文書検索システム、文書検索方法及びサーバ装置 |
| CN102999556B (zh) * | 2012-10-15 | 2016-02-10 | 百度在线网络技术（北京）有限公司 | 文字搜索方法、装置以及终端设备 |
| TW201523481A (zh) * | 2013-12-05 | 2015-06-16 | Richplay Information Co Ltd | 推薦書籍資料之方法 |
| JP6145064B2 (ja) * | 2014-03-06 | 2017-06-07 | 日本電信電話株式会社 | 文書集合分析装置、文書集合分析方法、文書集合分析プログラム |
| JP6959962B2 (ja) * | 2019-08-09 | 2021-11-05 | テクマトリックス株式会社 | データベース検索サーバ、データベース検索システム及びデータベース検索方法 |
| WO2021040003A1 (ja) * | 2019-08-30 | 2021-03-04 | データ・サイエンティスト株式会社 | コンテンツ配置方法、ｗｅｂサイト構築支援方法及び経済規模出力方法 |
-
2001
- 2001-05-14 JP JP2001143982A patent/JP3964630B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002334107A (ja) | 2002-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3964630B2 (ja) | 情報検索装置と情報検索プログラムおよび該プログラムを記録した記録媒体 | |
| US7593981B2 (en) | Detection of search behavior based associations between web sites | |
| US8775396B2 (en) | Method and system for searching a wide area network | |
| US8095582B2 (en) | Dynamic search engine results employing user behavior | |
| US6490577B1 (en) | Search engine with user activity memory | |
| US7747612B2 (en) | Indication of exclusive items in a result set | |
| US9311401B2 (en) | Method of displaying a subjective score with search engine results | |
| US20160350428A1 (en) | Real time implicit user modeling for personalized search | |
| US20070100822A1 (en) | Difference control for generating and displaying a difference result set from the result sets of a plurality of search engines | |
| JP5673336B2 (ja) | 情報処理方法、表示方法、情報処理装置、表示装置、情報処理プログラム、表示プログラム | |
| US8489604B1 (en) | Automated resource selection process evaluation | |
| JP2008507041A (ja) | 検索結果内におけるプレーストコンテンツの順序付けのパーソナライズ | |
| US9594809B2 (en) | System and method for compiling search results using information regarding length of time users spend interacting with individual search results | |
| US20070100821A1 (en) | Presentation of differences between multiple searches | |
| JP2011154467A (ja) | 検索結果順位付け方法および検索結果順位付けシステム | |
| EP2608064A1 (en) | Information provision device, information provision method, programme, and information recording medium | |
| JP5228584B2 (ja) | 興味情報特定システム、興味情報特定方法、および興味情報特定用プログラム | |
| JP2006053616A (ja) | サーバ装置、ｗｅｂサイト推奨方法およびプログラム | |
| US9064014B2 (en) | Information provisioning device, information provisioning method, program, and information recording medium | |
| KR20110053185A (ko) | 사용자의 배경정보에 따른 컨텐츠의 트렌드 분석/검색 시스템 및 방법 | |
| JP2006268771A (ja) | 検索結果提供装置 | |
| US8190603B2 (en) | Information providing system, information providing method and information providing record medium | |
| JP2004220177A (ja) | 情報共有システム、情報共有方法および情報共有方法のプログラム | |
| JP5519406B2 (ja) | サーバ装置、ジャンルスコア算出方法およびプログラム | |
| JP5315182B2 (ja) | 情報配信システムおよび情報配信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |