JP4836069B2 - コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法 - Google Patents

コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法 Download PDF

Info

Publication number
JP4836069B2
JP4836069B2 JP2005327675A JP2005327675A JP4836069B2 JP 4836069 B2 JP4836069 B2 JP 4836069B2 JP 2005327675 A JP2005327675 A JP 2005327675A JP 2005327675 A JP2005327675 A JP 2005327675A JP 4836069 B2 JP4836069 B2 JP 4836069B2
Authority
JP
Japan
Prior art keywords
web page
unit
content processing
cluster
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005327675A
Other languages
English (en)
Other versions
JP2007133761A (ja
Inventor
ゾラン ステイチ
禎史 荒木
恒 宮森
充 水口
強 馬
克己 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Ricoh Co Ltd
Original Assignee
National Institute of Information and Communications Technology
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology, Ricoh Co Ltd filed Critical National Institute of Information and Communications Technology
Priority to JP2005327675A priority Critical patent/JP4836069B2/ja
Publication of JP2007133761A publication Critical patent/JP2007133761A/ja
Application granted granted Critical
Publication of JP4836069B2 publication Critical patent/JP4836069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法に関する。
ネットワークのWeb環境は日々進展しており、そこに含まれる情報量が増大しつつある。一方、情報の形態もテキストだけでなく、静止画像、動画像、音声等のマルチメディア化がさらに進んでいる。このようなネットワーク上の膨大な情報をWebの閲覧者が有効活用するためには、自らの利用目的に沿った情報を効率的に検索できることが何よりも望まれる。そこで、近年においては、各種の検索エンジンを用いることにより、情報を効率的に検索できるようになっている。
ところで、このような検索エンジンでは、図21に示すように、基本的に検索結果の一部(キーワードを含む数行のテキスト、もしくは、キーワード近傍の画像サムネイル)の一覧を提示するのみであり、それ以上の情報を得るためにはリンク先のWebページを1つ1つ開けてはその内容を確認し、所望の情報が得られない場合は再び検索結果一覧画面に戻るという作業を繰り返すことになる。
一方、なじみの薄い分野についてキーワードによる情報検索を行う場合、適切なキーワードを思いつくことは必ずしも容易でなく、検索結果の中に閲覧者が期待しない(不要な)情報が含まれることがしばしば発生する。そのような場合、キーワードを試行錯誤的に追加しつつ検索対象を絞り込んでいく方法があるが、何度も検索を繰り返す手間がかかる。そこで、検索結果をカテゴライズして表示すると、閲覧者は対象分野の全容を把握しやすくなるため、希望するカテゴリの情報のみを見つけ出すことが容易となる。このような検索結果のカテゴライズ表示については、例えば非特許文献1に記載されている。
Bill Kules and Ben Shneiderman, "Categorized graphical overviews for web search results: An exploratory study using U. S. government agencies as a meaningful and stable structure," Proceedings of the Third Annual Workshop on HCI Research in MIS, Washington, D.C., December 10-11, 2004
しかしながら、検索結果一覧からリンク先を1つ1つ開けるという作業を繰り返すことは非常に面倒であり、このように検索結果とリンク先を何度も往復すると、情報閲覧の文脈が失われて検索効率が低下するという問題がある。逆に、各検索結果Webページに関して多くの情報を提示すると、全体の一覧性が悪くなり、やはり検索効率が低下する。なお、近年においては、リンク先のWebページを一覧画面内に縮小表示する方法も現れてきているが、これらはリンク先全体の雰囲気を掴むことはできても、テキストの内容や画像の詳細はわからないという問題がある。
また、非特許文献1に記載されている検索結果をカテゴライズして表示する技術によれば、カテゴリを選択した後の一覧画面は、検索エンジンの通常のキーワード検索結果画面と同様の抜粋されたテキストから構成されており、それ以上の情報を得るには、やはり、リンク先ページを開けねばならない。
加えて、検索結果の表示には次のような問題も知られている。即ち、あるキーワードで検索した結果が複数のクラスタに分類される場合に、それらが混在してランキングされるために所望の項目を発見しにくいことがある。例えば、「Japan」というキーワードで検索をした結果、「Honshu」、「Tokyo」、「Kyushu」、「Osaka」、「Kyoto」に関係する項目が得られたとする。ここには、島(island)と都市(city)という2つの異なるクラスタに関する項目が混在している(「島」に関連するのが「Honshu」、「Kyushu」で、「都市」に関連するのが「Tokyo」、「Osaka」、「Kyoto」)。「島」に関する情報を知りたいユーザにとっては「Tokyo」、「Osaka」、「Kyoto」は不要であるし、「都市」に関する情報を知りたいユーザにとっては「Honshu」、「Kyushu」は不要である。このように、異なるクラスタに関する項目が混在する結果として、不要な情報が検索結果に含まれるため、所望のクラスタに属する項目が見つけにくいということがある。
本発明は、上記に鑑みてなされたものであって、閲覧の文脈を保持しつつ、何度も検索する手間を省いて効率的に情報検索を実行することができるとともに、特に複数の異なるクラスタに属する項目が混在した場合に、所望のクラスタに属する項目を見つけやすくすることができるコンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項1にかかる発明のコンテンツ処理装置は、検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付部と、このウェブページ検索結果受付部により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング部と、このクラスタリング部によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成部と、ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付部と、この操作受付部により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成部により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示部と、を備え、前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる
ここで、ウェブページとは、ウェブブラウザに一度に表示されるデータのまとまりで、テキストデータやHTML(あるいは、CSS(Cascading Style Sheet),XMLなど)によるレイアウト情報、文書中に埋め込まれた画像や音声、動画などから構成されるものである。
また、請求項2にかかる発明は、請求項1記載のコンテンツ処理装置において、ウェブページのテキストに対し、ウェブページのインデックスを生成してインデックスデータベースに格納するインデックシング部と、前記インデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成するランキング部と、を更に備え、前記ウェブページ検索結果受付部は、前記ランキング部による検索結果の前記ウェブページ群を受け付ける。
また、請求項3にかかる発明は、請求項2記載のコンテンツ処理装置において、前記インデックシング部は、ウェブページのテキストから代表的なキーワードを抽出するキーワード抽出部と、このキーワード抽出部で抽出したキーワードに基づいて、ウェブページのインデックスを生成するインデックス生成部と、を備えている。
また、請求項4にかかる発明は、請求項3記載のコンテンツ処理装置において、前記キーワード抽出部は、自然言語処理技術を用い、ウェブページのテキストから代表的なキーワードを抽出する。
また、請求項5にかかる発明は、請求項3記載のコンテンツ処理装置において、前記インデックス生成部は、抽出した代表キーワードを用い、ウェブページの内容を同じベクトル空間に変換し、互いの相対類似度を計算できるようにする。
また、請求項6にかかる発明は、請求項2記載のコンテンツ処理装置において、前記ランキング部は、抽出した代表的なキーワードの中から、ユーザが一つ又は複数のキーワードを選択できるようにするクエリー入力部と、ユーザが選択したキーワードであるクエリーをインデックスと同じ形式に変換するクエリー変換部と、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページのクエリーに対する類似度を計算する第1の類似度計算部と、この第1の類似度計算部で計算した類似度に基づいて、ユーザのクエリーに対するウェブページの検索結果を生成するランキング生成部と、を備えている。
また、請求項7にかかる発明は、請求項6記載のコンテンツ処理装置において、前記クエリー入力部は、一次元のキーワードのリスト又は二次元のキーワードのマップからユーザがキーワードを選択できるようにする。
また、請求項8にかかる発明は、請求項6記載のコンテンツ処理装置において、前記クエリー変換部は、抽出した代表キーワードを用い、ユーザが選択したキーワードであるクエリーを、前記インデックスデータベースに格納されたインデックスで扱われている形式に変換し、ユーザのクエリーとウェブページの間の類似度を計算できるようにする。
また、請求項9にかかる発明は、請求項6記載のコンテンツ処理装置において、前記第1の類似度計算部は、インデックスで扱われているクエリー又はウェブページの表現形式を用い、ユーザのクエリーに対し、それぞれのウェブページの類似度を計算する。
また、請求項10にかかる発明は、請求項6記載のコンテンツ処理装置において、前記ランキング生成部は、計算した類似度に基づいて、ユーザのクエリーに対し、類似度が高いものから順にウェブページをランキングする。
また、請求項11にかかる発明は、請求項1記載のコンテンツ処理装置において、前記クラスタリング部は、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページ間の相対類似度を計算する第2の類似度計算部と、この第2の類似度計算部で計算した相対類似度を用い、それぞれのウェブページの検索結果に対するクラスタリングされた検索結果を生成するクラスタ生成部と、を備えている。
また、請求項12にかかる発明は、請求項11記載のコンテンツ処理装置において、前記第2の類似度計算部は、インデックスで扱われているウェブページの表現形式を用い、それぞれのウェブページのペアの相対類似度を計算する。
また、請求項13にかかる発明は、請求項1記載のコンテンツ処理装置において、前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させる。
また、請求項14にかかる発明は、請求項1記載のコンテンツ処理装置において、前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して縮小表示させる。
また、請求項15にかかる発明は、請求項1記載のコンテンツ処理装置において、前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させる。
また、請求項16にかかる発明のコンテンツ処理プログラムは、検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付機能と、このウェブページ検索結果受付機能により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング機能と、このクラスタリング機能によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成機能と、ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付機能と、この操作受付機能により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成機能により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示機能と、をコンピュータに実行させ、前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる
また、請求項17にかかる発明は、請求項16記載のコンテンツ処理プログラムにおいて、ウェブページのテキストに対し、ウェブページのインデックスを生成してインデックスデータベースに格納するインデックシング機能と、前記インデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成するランキング機能と、を更にコンピュータに実行させ、前記ウェブページ検索結果受付機能は、前記ランキング機能による検索結果の前記ウェブページ群を受け付ける。
また、請求項18にかかる発明は、請求項17記載のコンテンツ処理プログラムにおいて、前記インデックシング機能は、ウェブページのテキストから代表的なキーワードを抽出するキーワード抽出機能と、このキーワード抽出機能で抽出したキーワードに基づいて、ウェブページのインデックスを生成するインデックス生成機能と、をコンピュータに実行させる。
また、請求項19にかかる発明は、請求項17記載のコンテンツ処理プログラムにおいて、前記ランキング機能は、抽出した代表的なキーワードの中から、ユーザが一つ又は複数のキーワードを選択できるようにするクエリー入力機能と、ユーザが選択したキーワードであるクエリーをインデックスと同じ形式に変換するクエリー変換機能と、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページのクエリーに対する類似度を計算する第1の類似度計算機能と、この第1の類似度計算機能で計算した類似度に基づいて、ユーザのクエリーに対するウェブページの検索結果を生成するランキング生成機能と、をコンピュータに実行させる。
また、請求項20にかかる発明は、請求項16記載のコンテンツ処理プログラムにおいて、前記クラスタリング機能は、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページ間の相対類似度を計算する第2の類似度計算機能と、この第2の類似度計算機能で計算した相対類似度を用い、それぞれのウェブページの検索結果に対するクラスタリングされた検索結果を生成するクラスタ生成機能と、をコンピュータに実行させる。
また、請求項21にかかる発明は、請求項16記載のコンテンツ処理プログラムにおいて、前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させる。
また、請求項22にかかる発明は、請求項16記載のコンテンツ処理プログラムにおいて、前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して縮小表示させる。
また、請求項23にかかる発明は、請求項16記載のコンテンツ処理プログラムにおいて、前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させる。
また、請求項24にかかる発明のコンテンツ処理方法は、ウェブページの検索結果を生成して出力するコンテンツ処理装置におけるコンテンツ処理方法であって、前記コンテンツ処理装置は、制御部と記憶部を備え、前記制御部において実行される、ウェブページ検索結果受付部が、検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付工程と、クラスタリング部が、前記ウェブページ検索結果受付工程により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング工程と、ズーミング記述生成部が、前記クラスタリング工程によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成工程と、操作受付部が、ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付工程と、クラスタリング表示部が、前記操作受付工程により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成工程により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示工程と、を含み、前記クラスタリング表示工程は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる
本発明によれば、閲覧の文脈を保持しつつ、何度も検索する手間を省いて効率的に情報検索を実行することができるとともに、特に複数の異なるクラスタに属する項目が混在した場合に、所望のクラスタに属する項目を見つけやすくすることができるという効果を奏する。
以下に添付図面を参照して、この発明にかかるコンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法の最良な実施の形態を詳細に説明する。
本発明の実施の一形態を図1ないし図20に基づいて説明する。
[1.Web環境でのコンテンツ閲覧における画面遷移の概要]
最初に、本発明の前提となるWeb環境でのコンテンツ閲覧における画面遷移の概要について説明する。
本実施の形態においては、Web環境でのコンテンツ閲覧効果を高めることを目的に、Web環境におけるコンテンツに対し、ズーミングを利用して詳細度の変化だけでなく、表示メディアの遷移を実現できる「ズーミング・クロスメディア」を適用するようにしたものである。
「ズーミング・クロスメディア」は、ズーム操作を、スクロール、アンカークリックに対する第3の操作と位置づけることにある。スクロールは同一画面内で注視点を連続的に移動させ、アンカークリックは異なる画面に飛ぶのに対し、ズーミング・クロスメディアは同一画面内で詳細度変化や表示メディア遷移を連続的に実現する。表示メディア遷移とは、相互に関連づけられた互いに異なるメディアオブジェクトに関し、ズーム操作に従って、一方から他方へ表示を連続的に変化させたり、一方を表示した状態に加えてもう一方を連続的に拡大しつつ追加表示させたり(もしくはその逆)することである。動画像に関連付けられた字幕テキストを表示するに際し、動画像のみの表示から、ズーミング操作と共に次第に字幕テキストに移り変わっていく、というようなものがその一例である。
このようなズーミング操作/挙動は、ズーム対象、ズーム率、ズーム伝播の3つの基本概念を基にモデル化されている。
1.ズーム対象
「ズーム対象」はズーム操作の対象となる単位で、コンテンツを構成するテキスト、静止画像、動画像、音声の各「メディアオブジェクト」から構成される。閲覧者は所望のズーム対象を指定してズーム操作を行う。
2.ズーム率
「ズーム率」はズーム対象に対して一意的に定まる値で、ズームの程度を表す0.0以上1.0以下の連続値である。ズーム率が大きくなる方向にズーミングすることをズームイン、小さくなる方向にズーミングすることをズームアウトという。各メディアオブジェクトに対し、ズーム率は具体的な属性(フォントサイズ、画像サイズ、動画像や音声の再生区間等)に対応付けられる。
3.ズーム伝播
「ズーム伝播」はあるズーム対象をズーミングすると他のズーム対象も連動してズーミングすることである。ズーム伝播では、伝播元ズーム対象のズーム率から、予め定められた「ズーム率関係」を基に伝播先のズーム率を計算し、伝播先ズーム対象の表示の状態を制御する。ズーム率関係は伝播元と伝播先のズーム率の変化の比率である。
ここで、ズーム率関係がプラスの値の場合のズームの伝播の例について説明する。図1ないし図3は、Web環境でのコンテンツ閲覧における画面遷移例を示す説明図である。図1は、ディスプレイに表示されるWeb環境でのコンテンツの一例を示す正面図である。図1に示す例は、Web環境でのコンテンツとして「出張報告」を適用した例である。図1に示すWeb環境でのコンテンツは、オブジェクトとしてテキストを主体に構成されている。
図1に示すWeb環境でのコンテンツのオブジェクトAに対してズームイン操作を行った結果を図2に示す。図2に示すように、Web環境でのコンテンツのオブジェクトAに対してズームイン操作を行った場合、オブジェクトAの下位のオブジェクトBが新たに表示されるとともに、新たなオブジェクトCがオブジェクトBの下部分に表示される。ここで、新たなオブジェクトCは、オブジェクトAに関連する討議がなされていた時点での討議風景を撮影した動画像の静止状態の画像である。
さらに、図2に示すWeb環境でのコンテンツのオブジェクトAに対してズームイン操作を行った結果を図3に示す。図3に示すように、Web環境でのコンテンツのオブジェクトAに対してズームイン操作を行った場合、オブジェクトA,Bのフォントサイズが拡大される。加えて、図3に示すように、Web環境でのコンテンツのオブジェクトAに対してズームイン操作を行った場合、オブジェクトCである静止画像の詳細度が高くなる(画像サイズが拡大する)。さらに、オブジェクトCは、あるサイズにまで拡大すると、動画像(と音声)の再生を開始する。
このようなWeb環境でのコンテンツ閲覧における画面遷移は、以下に示すような表示記述(構造記述及びズーミング記述)で記述されている。なお、構造記述及びズーミング記述は、XML(Extensible Markup Language)ベースのズーミング記述言語(ZDL:Zooming Description Language )で記述されている。
ここで、ズーミング記述について、以下に簡単な例を挙げて説明する。
1.メディアオブジェクトの指定
テキスト、静止画像、動画像、音声のそれぞれについて、<text/>,<img/>,<video/>,<audio/>のタグで表す。このタグにより、具体的なテキストの内容やソースファイルを指定する。
(例1)
<text id=text1>これはテキストです。</text>
<img id=img1 src="img1.jpg"/>
<video id=video1 src="video1.mpg"/>
<audio id=audio1 src="audio1.wav"/>
2.ズーム率の範囲
<div/>タグ内のzoomFactor属性にて、ズーム率の最大値、最小値を指定し、連続パラメータとしてのズーム率の範囲を表す。
(例2)
<div zoomFactor="0.0 0.5"/>
3.メディアオブジェクトの表示
テキスト、静止画像、動画像、音声のそれぞれについて、<dispText>,<dispImg>,<dispVideo>,<dispAudio>タグで表す。常に<div/>タグに内包され、<div/>タグで指定された範囲のズーム率における各メディアオブジェクトの表示の状態を表す。
(例3−1)
<div zoomFactor="0.0 0.5">
<dispText id="disptext1" textId="text1" fontSize="10pt 14pt"/>
</div>
上記の意味は、<text/>タグにてtext1で指定されたテキストを、ズーム率が0.0のときは10ptで、ズーム率が0.5のときは14ptでそれぞれ表示し、その間はなるべくなめらかにフォントサイズを変化させるというものである。
(例3−2)
<div zoomFactor="0.0 0.5">
<dispImg id="dispimg1" imgId="img1" imgSize="10% 50%"/>
</div>
上記の意味は、<img/>タグにてimg1で指定された静止画像を、ズーム率が0.0のときは最大サイズの10%で、ズーム率が0.5のときは50%でそれぞれ表示し、その間はなるべくなめらかにサイズを変化させるというものである。
(例3−3)
<div zoomFactor="0.0 0.5">
<dispVideo id="dispvideo1" videoId="video1" start="0" end="300" videoSize="10% 50%"/>
</div>
上記の意味は、<video/>タグにてvideo1で指定された動画像の第0フレームから300フレームまでを、ズーム率が0.0のときは最大サイズの10%で,ズーム率が0.5のときは50%でそれぞれ表示し、その間はなるべくなめらかにサイズを変化させるというものである。
(例3−4)
<div zoomFactor="0.0 0.5">
<dispAudio id="dispaudio1"audioId="audio1"start="0s"end="30s"/>
</div>
上記の意味は、<audio/>タグにてaudio1で指定された音声の最初から30秒までを、ズーム率が0.0から0.5の間再生するというものである。
4.ズーム対象
ズーム対象を<zoomObject/>タグで記述する。初期ズーム率やズーム伝播先のズーム対象、ズーム率関係もタグ内の属性で記述する。<div/>もしくは他の<zoomObject/>のいずれかを必ず内包する。
以下に、図1ないし図3に示す画面遷移例についての構造記述及びズーミング記述を示す。なお、以下においては、コンテンツの構造記述とズーミングの操作/挙動に関するズーミング記述を分けて記述している(onlyHierarchy="on"は構造のみの記述であることを示す)。

(コンテンツの構造記述)
<zoomObject id="zoom1"onlyHierarchy="on">
<text id="text1">1. 新教材の改善点について</text>
<text id="text2">参加者から教材の中身について意見を出してもらう。</text>
<zoomObject id="zoom2" onlyHierarchy="on">
<text id="text3">新しいものを次々に出していくにはどうすればよいか、
何度も使ってもらえるようにするにはどうすればよいか(問題提起)</text>
<zoomObject id="zoom3" onlyHierarchy="on">
<text id="text4">開発はもう少し短いスパンで作っていく必要がある。</text>
<text id="text5">3ヶ月毎にアップデートしていくつもり。</text>
.......
</zoomObject>
<zoomObject id="zoom4" onlyHierarchy="on">
<video id="video1" src="会議11.mpg"/>
</zoomObject>
</zoomObject>
<zoomObject id="zoom5" onlyHierarchy="on">
<text id="text10">ステップ6の通訳者メモについて初めて.….</text>
.......
</zoomObject>
.......
</zoomObject>

(ズーミングの操作/挙動に関するズーミング記述)
<zoomObject id="zoom1" initZoomFactor="0.0" relatedTo="children:0.8">
<div zoomFactor="0.0 1.0">
<dispText id="disptext1" textId="text1" textSize="12pt 14pt"/>
<dispText id="disptext2" textId="text2" textSize="12pt 14pt"/>
</div>
</zoomObject>

<zoomObject id="zoom2" initZoomFactor="0.0" relatedTo="children:0.8">
<div zoomFactor="0.0 1.0">
<dispText id="disptext5" textId="text3" textSize="11pt"/>
</div>
</zoomObject>

<zoomObject id="zoom3" initZoomFactor="0.0" relatedTo="brother:-0.5">
<div zoomFactor="0.1 1.0">
<dispText id="disptext6" textId="text4" textSize="8pt 10pt"/>
<dispText id="disptext7" textId="text5" textSize="8pt 10pt"/>
.......
</div>
</zoomObject>

<zoomObject id="zoom4" initZoomFactor="0.0" relatedTo="brother:-0.5">
<div zoomFactor="0.1 0.4">
<dispVideo id="dispvideo1" videoId="video1" start="0" end="0" videoSize="20% 50%"/>
</div>
<div zoomFactor="0.4 1.0">
<dispVideo id="dispvideo2" videoId="video1" start="0" end="900" videoSize="50% 100%"/>
</div>
</zoomObject>
このコンテンツの構造記述によれば、最上位にzoom1があり、その下位にzoom2、zoom5他が、さらにzoom2の下位にzoom3、zoom4がある。そして、zoom3は複数のテキスト(text4、text5他)から、zoom4は1つの動画像(video1)からそれぞれ構成されている。
また、ズーミングの操作/挙動に関するズーミング記述によれば、zoom1、zoom2、zoom3、zoom4いずれも初期ズーム率が0.0であるが、前2者は最初からテキスト(text1、text2、text3)が表示されるのに対し、後2者は何も表示されない(これは、図1の初期状態に対応している)。
ここで、zoom2をズームインすると、それが子階層のズーム対象に伝播する(relatedTo="children: 0.8"はズーム率関係0.8で子階層全てにズーム伝播することを表す)。zoom2のズーム率の増加に対してzoom3、zoom4のズーム率がその0.8の変化率で増加し(zoom2のズーム率が+0.5変化するとzoom3、zoom4はそれぞれ+0.4変化する)、0.1に達した時点でtext4、text5他とvideo1がそれぞれ表示される(図2参照)。これは、テキスト情報に加えて動画像情報が加わっているので、メディア拡張の例である。ただし、video1についてはここではまだフレーム0のみが静止状態で表示される。
この状態からさらにzoom2をズームインしていくと、zoom3、zoom4のズーム率もさらに増加し、text4、text5他のフォントサイズは拡大する。同時にvideo1の表示サイズも拡大し、zoom4のズーム率が0.4に達した時点でvideo1のフレーム0から900までが再生される(図3、詳細度変化の例)。
なお、図3の状態でzoom2をズームアウトすると、ズームインの場合とは逆にzoom3、zoom4も一緒にズームアウトして図2の状態になり、それぞれのズーム率が0.1以下になるとtext4、text5他とvideo1が画面から消えて図1の状態に戻る。あるいは、強制的に初期状態に戻す操作をすると、いかなる表示状態からであっても、図1の状態に戻る。
次に、ズーム率関係がマイナスの値の場合のズームの伝播の例について説明する。
図4は、Web環境でのコンテンツ閲覧における画面遷移例を示す説明図である。図3に示すWeb環境でのコンテンツのオブジェクトBに対してズームイン操作を行った結果を図4に示す。図4に示すように、Web環境でのコンテンツのオブジェクトBに対してズームイン操作を行った場合、オブジェクトBのフォントサイズが拡大されているが、オブジェクトCの表示サイズは縮小する。
前述したズーミングの操作/挙動に関するズーミング記述においては、zoom3、zoom4にはいずれも
relatedTo="brother: -0.5"
という記述がある。これは、共通の親を持つズーム対象間でズーム伝播が起こることを表している。ズーム率関係がマイナスの値であるのは、一方をズームインすると他方がズームアウトすることを示す。よって、図3の状態からzoom3のみを選択してズームインすると、zoom4がズームアウトする(text4、text5他はさらに拡大し、video1は逆に縮小することになる(図4参照))。
以上が、Web環境でのコンテンツ閲覧における画面遷移の概要である。このような関係を簡単な具体例で表現したものが図5である。図5の例では、A,B,Cがズーム対象で括弧内は初期状態のズーム率を表す。矢印はズームの伝播関係を表し、そのそばに付された値はズーム率関係である。ABのズーム率関係は0.5なので、A→Bとズーム伝播する際、Aをズームインしてズーム率が0.0→0.8と変化すると、Bのズーム率が0.0→0.4と変化する。BとCは相互にズーム伝播するが変化の比率がマイナス(-1.0)なので、一方をズームインすると他方はズームアウトする。例えば、初期状態はC(動画像)のみ表示で、B(テキスト+音声)をズームインして拡大していくと、C(動画像)は次第に縮小する。この例のように、ズーム伝播を導入することで、表示メディアの遷移が容易に実現できるのが本モデリングの特徴である。
上述したようなズーミング記述によれば、一のメディアオブジェクト(テキスト、静止画像、動画像、音声等)をズーミングするとそれに連動して他のメディアオブジェクト(テキスト、静止画像、動画像、音声等)がズーミングするズーム対象間のズームの伝播を記述可能であることにより、一のズーム対象から他のズーム対象へ向けての自然なズーミングを行なうことができる。
[2.コンテンツ処理装置の説明]
本実施の形態は、Web環境におけるコンテンツとして検索エンジン(例えば、ロボット検索エンジン)によるWebページの検索結果一覧を適用し、このWebページの検索結果一覧をズーミング記述言語(ZDL)の形式で出力することができるコンテンツ処理装置に適用したものである。
ここで、Webページとは、Webブラウザに一度に表示されるデータのまとまりで、テキストデータやHTML(あるいは、CSS(Cascading Style Sheet),XMLなど)によるレイアウト情報、文書中に埋め込まれた画像や音声、動画などから構成されるものである。
このようにズーミング・クロスメディアを情報検索に適用したのは、ズーミング・クロスメディアの大きな効用はコンテンツ閲覧の自由度を高めることができることであることから、固定的な表示内容や表示メディアではなくユーザの好みに応じて内容の詳細度の変化や表示メディアの遷移を制御することができる点にある。すなわち、Webページの検索結果一覧画面において、リンク先のWebページを開くことなくそれが所望の情報か否かを判断するのに必要な情報の詳細度や表示メディアは、検索対象の分野に関する閲覧者の知識、閲覧時の状況、検索対象の情報の形態等によって様々に変化すると考えられるからである。例えば、検索対象の分野になじみの深い閲覧者はタイトルだけでも判断可能だが、不案内な閲覧者の場合はより詳細なテキスト記述に加えて画像データも欲しいなどということはあり得る。時間をかけて1つ1つのリンク先を開く余裕がある場合もあれば、逆に全体的な傾向をざっと一覧したい場合もある。リンク先がテキスト主体であればその抜粋(または要約)が結果一覧画面に提示されるのが適当だが、画像を多く含むリンク先の場合は主要な画像を2,3枚表示するほうが都合良いこともある。このような様々な状況を予め想定して、複数の固定的な検索結果一覧画面を生成するのは現実的ではない。ここにおいて、複数メディアを混在/遷移させて表示でき、かつ、閲覧者の状況や好みに応じて柔軟に詳細度や表示メディアを制御できるズーミング・クロスメディアの特徴が生きてくることになる。
[2−1.コンテンツ処理装置を含むシステム構築例]
図6は、コンテンツ処理装置を含むシステム構築例を示す模式図である。本システムは、図6に示すように、コンテンツ処理装置であるサーバコンピュータ(以下、サーバという)1にインターネットであるネットワークNを介して端末装置であるクライアントコンピュータ(以下、クライアント端末という)Cが複数台接続されたシステムを想定する。なお、このようなネットワーク通信を伴うクライアント・サーバ方式のみに本発明は限定されないことはいうまでもない。
コンテンツ処理装置であるサーバ1は、概略的には、インターネットであるネットワークN上の一般的なWebページを対象にキーワードに基づくWebページ検索を行い、ズーミング記述言語(ZDL)の形式でWebページの検索結果一覧を出力するものである。
クライアント端末Cは、一般的なパーソナルコンピュータ等であり、Webブラウザを用いることによりサーバ1とのデータ送受信が可能になっている。このクライアント端末Cは、閲覧者からのWebページのキーワード検索要求を受け付けてサーバ1に出力するとともに、サーバ1においてズーミング記述言語(ZDL)の形式で出力された閲覧者に対するWebページの検索結果一覧を解釈して表示する。すなわち、クライアント端末Cは、コンテンツ処理装置であるサーバ1に対する入出力デバイスである。
図7は、サーバ1の構成を示すブロック図である。本実施の形態のコンテンツ処理装置であるサーバ1は、パーソナルコンピュータを主体に構成されており、情報処理を行うCPU(Central Processing Unit)2と、BIOS(Basic Input Output System)等を格納するROM(Read Only Memory)3と、情報を処理中に一時的に格納するRAM(Random Access Memory)4と、アプリケーションプログラムや処理結果等を保存する記憶部であるHDD(Hard Disk Drive)5と、情報を外部に保管又は配布し若しくは情報(アプリケーションプログラム等)を外部から入手するための記憶媒体であるリムーバブルメディア6のドライブ6aと、外部の他の電子機器と通信するためのネットワークNに接続するためのネットワークインタフェース8と、処理経過や処理結果等をユーザに表示する表示部であるディスプレイ9と、操作者がコンテンツ処理装置であるサーバ1に命令や情報等を入力するためのキーボード10やマウス11等の入力部とから構成され、これらの間のデータ通信をバスコントローラ12が調停して動作している。
なお、リムーバブルメディア6としては、フレキシブルディスク、ハードディスク、磁気テープ等のような磁気的な記憶媒体、MOのような光磁気的な記憶媒体、CD、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RAM、DVD−RW、DVD+RW等のような光学的な記憶媒体、半導体メモリ等、各種の記憶媒体が適用できる。
データ送信は、コンテンツ処理装置であるサーバ1のネットワークインタフェース8へとデータを送ることにより、ネットワークインタフェース8がネットワークNへと信号を出力する。また、ネットワークインタフェース8が受け取った信号については、ネットワークインタフェース8において必要かどうかの判断がなされ、必要なデータであれば取り込み、不必要であれば破棄する、というような処理が行われる。すなわち、あらゆるデータの送受信は、すべてネットワークインタフェース8を経由して行われることになる。
一般的には、ユーザがコンテンツ処理装置であるサーバ1の電源を投入すると、CPU2はROM3内のBIOSに含まれるローダーというプログラムを起動させ、HDD5からオペレーティングシステム(OS)という当該サーバ1のハードウェアとソフトウェアとを管理するプログラムをRAM4に読み込む。OSは起動すると、ユーザの操作に応じてアプリケーションプログラムの起動、情報の読み込み、保存等をサポートする。代表的なOSとしては、Windows(Microsoft Corporationの登録商標)、UNIX(X/Open, Inc.の登録商標)等が知られている。これらのOS上で走るプログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のOS上で動作するものに限らず、後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
また、一般的には、コンテンツ処理装置であるサーバ1のHDD5にインストールされるアプリケーションプログラムは、リムーバブルメディア6に記録され、このリムーバブルメディア6に記録されたアプリケーションプログラムがHDD5にインストールされる。このため、リムーバブルメディア6も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えばネットワークインタフェース8を介して外部から取り込まれ、HDD5にインストールされても良い。
コンテンツ処理装置であるサーバ1は、OS上で動作するアプリケーションプログラムが起動すると、このアプリケーションプログラムに従い、CPU2が各種の演算処理を実行して各部を集中的に制御する。
[2−2.コンテンツ処理装置における処理]
次に、コンテンツ処理装置であるサーバ1のCPU2が実行する各種の演算処理のうち、アプリケーションプログラムの1つであるコンテンツ処理プログラムに従って実行する本実施の形態の特長的な処理について以下に説明する。
図8は、サーバ1を含むシステムの概略構成を示すブロック図である。図8に示すように、コンテンツ処理装置であるサーバ1は、CPU2がコンテンツ処理プログラムに従って各部を制御することにより、Web環境における第1のコンテンツであるウェブページを保持するデータベース(ウェブページDB)21を管理し、クライアント端末Cから出力されたユーザのクエリーを受け付け、このクエリーに基づいてウェブページDB21に保持されているウェブページをランキングし、ランキングされたウェブページのクラスタリングを行うランキング・クラスタリング部22と、クラスタリングされたウェブページのランキング(検索結果)を、ズーミング記述言語(ZDL)の形式であるズーミング・クロスメディアを用いて連続的に表示させる表示部23と、を実現する。
すなわち、このような構成により、クライアント端末C側においては、閲覧者がWebブラウザ上でキーワード検索を開始すると、同時にズーミング記述言語(ZDL)を解釈・表示するZDLビューワが起動される。そして、クライアント端末Cで入力された検索要求(クエリー)はサーバ1に送信される。コンテンツ処理装置であるサーバ1側では、クライアント端末Cで入力された検索要求(クエリー)を受け付けると、キーワードに基づくデータベース検索が実行される。サーバ1は、検索結果一覧をズーミング記述言語(ZDL)形式で生成する。生成されたズーミング記述言語(ZDL)形式の検索結果一覧はコンテンツ処理装置であるサーバ1からクライアント端末Cに送信され、ZDLビューワ上に表示される。閲覧者は表示された検索結果一覧に対して、適宜ズーミング操作を行うことになる。
まず、ランキング・クラスタリング部22の構成について詳述する。ここで、図9はランキング・クラスタリング部22の構成を示すブロック図である。ランキング・クラスタリング部22は、ウェブページのテキストに対し、ウェブページのキーワードに基づいたインデックスを生成してデータベース(インデックスDB)30に格納するインデックシング部31と、インデックシング部31により生成されてインデックスDB30に格納されたインデックスを用い、ユーザのクエリーに対し、ウェブページをランキングするランキング部32と、インデックシング部31により生成されてインデックスDB30に格納されたインデックスを用い、ウェブページをクラスタリングするクラスタリング部33と、を備えている。
インデックシング部31は、図10に示すように、既存の自然言語処理技術(例えば、形態素解析)を用い、ウェブページのテキストから代表的なキーワードを抽出するキーワード抽出部41と、キーワード抽出部41で抽出したキーワードに基づいて、既存のテキスト検索技術(例えば、ベクトル空間モデル)を用い、ウェブページのインデックスを生成するインデックス生成部42と、を備えている。キーワード抽出部41では、代表的なキーワードを抽出する際に、自動的な方法(自然言語処理技術)以外に、手動的な方法、又は、半自動的な手法も使用できる。インデックス生成部42は、抽出した代表キーワードを用い、ウェブページの内容を同じ形式(例えば、ドキュメント・ベクトル)に変換し、お互いの相対類似度を計算できるようにする。
ランキング部32は、図11に示すように、抽出した代表的なキーワードの中から、ユーザが一つ又は複数のキーワードを選択できるようにするクエリー入力部51と、ユーザが選択したキーワード(ユーザのクエリー)をインデックスと同じ形式に変換するクエリー変換部52と、インデックスDB30に格納されたインデックスを用い、それぞれのウェブページの、ユーザのクエリーに対する類似度を計算する第1の類似度計算部である類似度計算部53と、類似度計算部53で計算した類似度に基づいて、ユーザのクエリーに対し、ウェブページをランキングするランキング生成部54と、を備えている。クエリー入力部51は、ユーザが、一次元のキーワードのリスト、又は二次元のキーワードのマップから(又は別の方法で)キーワードを選択できるようにする。クエリー変換部52は、抽出した代表キーワードを用い、ユーザが選択したキーワード(ユーザのクエリー)を、インデックスDB30に格納されたインデックスで扱われている形式(例えば、クエリー・ベクトル)に変換し、ユーザのクエリーとウェブページの間の類似度を計算できるようにする。類似度計算部53は、インデックスで扱われているクエリー又はウェブページの表現形式(例えば、クエリー・ベクトルやドキュメント・ベクトル)を用い、ユーザのクエリーに対し、それぞれのウェブページの類似度(0と100%の間の値)を計算する。ランキング生成部54は、計算した類似度に基づいて、ユーザのクエリーに対し、類似度が高いものから順にウェブページをランキングする。
クラスタリング部33は、図12に示すように、インデックシング部31の出力であるインデックスDB30に格納されたインデックスを用い、それぞれのウェブページ間の相対類似度を計算する第2の類似度計算部である類似度計算部61と、類似度計算部61で計算した類似度を用い、それぞれのウェブページのランキング(検索結果)に対し、クラスタリングを行うクラスタ生成部62と、を備えている。類似度計算部61は、インデックスで扱われているウェブページの表現形式を用い、それぞれのウェブページのペアの相対類似度を計算する。クラスタ生成部62は、類似度計算部61で計算した相対類似度に基づいて、既存のクラスタリング技術(例:「階層的クラスタリング手法」)を使い、ウェブページをクラスタリングする(結果として、相対類似度の高いウェブページは同じクラスタに属し、相対類似度の低いウェブページが異なるクラスタに属する)。
ここで、図13〜図17はランキング・クラスタリング部22におけるインデックスの生成と類似度の計算に関する計算式を示す。この計算式は既存のテキスト検索技術における「ベクトル空間モデル」で扱われている、標準の計算式である。
次いで、表示部23について詳述する、ここで、図18は表示部24の構成を示すブロック図である。表示部23は、図18に示すように、初期検索結果として、ウェブページのリストを表示するランキング表示部71と、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させるクラスタリング表示部72と、を備えている。
ここで、ランキング部32とクラスタリング部33における「クラスタリングされた検索結果(ウェブページのランキング)」について図19を参照して説明する。
ランキング部32は、ユーザのクエリー("Japan")に対し、ウェブページを類似度の高いものから順に並べる(この例では、ウェブページを1つのキーワードで表現する:"Honshu", "Tokyo", "Kyushu", "Osaka", "Kyoto")。それに対し、クラスタリング部33は、順に並べたウェブページの中から、「意味」が近い(類似度が高い)ウェブページを集めて、それぞれの異なる「意味」に対し、その「意味」を代表するクラスタを作る。結果として、"Honshu"と "Kyushu"のページを含む"island"を代表するクラスタと、"Tokyo", "Osaka", "Kyoto"のページを含む、"city"を代表するクラスタが生成された。このクラスタリング結果を元に、以下の記述を生成する(ズーミング記述生成部)。

(コンテンツの構造記述)
<zoomObject id="zoom1" onlyHierarchy="on">
<zoomObject id="zoom2" onlyHierarchy="on">
<text id="title2">「Honshu」に関連する項目</text>
…………
</zoomObject>
<zoomObject id="zoom3" onlyHierarchy="on">
<text id="title3">「Tokyo」に関連する項目</text>
…………
</zoomObject>
<zoomObject id="zoom4" onlyHierarchy="on">
<text id="title4">「Kyushu」に関連する項目</text>
…………
</zoomObject>
<zoomObject id="zoom5" onlyHierarchy="on">
<text id="title5">「Osaka」に関連する項目</text>
…………
</zoomObject>
<zoomObject id="zoom6" onlyHierarchy="on">
<text id="title6">「Kyoto」に関連する項目</text>
…………
</zoomObject>
…………
</zoomObject>

(ズーミングの操作/挙動記述)
<zoomObject id="zoom1" initZoomFactor="0.0" relatedTo="children:1.0">
</zoomObject>
<zoomObject id="zoom2" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom4:1.0">
<div zoomFactor="0.0 1.0">
<dispText id="disptext2" textId="title2" textSize="8pt 14pt"/>
…………
</div>
</zoomObject>
<zoomObject id="zoom3" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom5:1.0, zoom6:1.0">
<div zoomFactor="0.0 1.0">
<dispText id="disptext3" textId="title3" textSize="8pt 14pt"/>
…………
</div>
</zoomObject>
<zoomObject id="zoom4" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom2:1.0">
<div zoomFactor="0.0 1.0">
<dispText id="disptext4" textId="title4" textSize="8pt 14pt"/>
…………
</div>
</zoomObject>
<zoomObject id="zoom5" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom3:1.0, zoom6:1.0">
<div zoomFactor="0.0 1.0">
<dispText id="disptext5" textId="title5" textSize="8pt 14pt"/>
…………
</div>
</zoomObject>
<zoomObject id="zoom6" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom3:1.0, zoom5:1.0">
<div zoomFactor="0.0 1.0">
<dispText id="disptext6" textId="title6" textSize="8pt 14pt"/>
…………
</div>
</zoomObject>
…………
以上の記述によれば、zoom2(「Honshu」に関連する項目)をズームイン/アウトすると(操作受付部)、それと連動してzoom4(「Kyushu」に関連する項目)もズームイン/アウトする。一方、それ以外のzoom3(「Tokyo」に関連する項目)、zoom5(「Osaka」に関連する項目)、zoom6(「Kyoto」に関連する項目)は反対にズームアウト/インする。これは、
<zoomObject id="zoom2" initZoomFactor="0.0"relatedTo="brother:-1.0, zoom4:1.0">
という記述の中の「relatedTo="brother:-1.0, zoom4:1.0"」による。
同様に、zoom4をズーミングすると(操作受付部)、zoom2が連動してそれ以外が反対の挙動をする。一方、zoom3をズーミングすると(操作受付部)、zoom5, zoom6が連動してそれ以外が反対に動く。zoom5, zoom6についても同様である。このように、「島」に関する項目と「都市」に関する項目が混在していても、それらをクラスタリングして、同じクラスタに属する項目同士にプラスのズーム伝播を施し、かつ、異なるクラスタに属する項目にマイナスのズーム伝播を施すことにより、クラスタごとに分類された検索結果を閲覧するのと同等の効果を得ることができる。
図20は、クラスタリングされたウェブページの検索結果一覧に対するズーミング操作例を示す説明図である。ここでは、「クラスタリングされた検索結果のズーミングを使った連続的な表示」について説明する。図20に示すように、ユーザがウェブページのリストの中からウェブページ(「3.ウェブページC」)を選択し、ズームインすると(操作受付部)、ユーザが選択したウェブページと同じクラスタに属するウェブページ(「1.ウェブページG」)が、選択されたウェブページと連動して拡大表示され、かつ、異なるクラスタに属するウェブページ(「2.ウェブページE」、「4.ウェブページF」、「5.ウェブページB」)が連動して縮小表示される。
このように本実施の形態によれば、ウェブページのキーワードに基づいて生成されたインデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成し、検索されたウェブページをクラスタリングし、クラスタリングされたウェブページの検索結果を、属するクラスタ単位で、同一画面内で詳細度変化や表示メディア遷移を連続的に実現するズーミングの操作/挙動に関するズーミング記述を用いて連続的に表示させる。これにより、閲覧の文脈を保持しつつ、何度も検索する手間を省いて効率的に情報検索を実行することができるとともに、特に複数の異なるクラスタに属する項目が混在した場合に、所望のクラスタに属する項目を見つけやすくすることができる。
また、本実施の形態によれば、検索結果に複数のクラスタに属する項目が混在した場合に、ユーザが選択したある項目をズームイン/アウトすると、それと同じクラスタに属する項目が連動してズームイン/アウトし、異なるクラスタに属する項目が反対にズームアウト/インするので、所望の項目を見つけやすくなる。
なお、本実施の形態においては、クラスタリング表示部72において、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させるようにしたが、これに限るものではない。例えば、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させるだけのものであっても良いし、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して縮小表示させるだけのものであっても良い。
なお、本実施の形態においては、コンテンツ処理装置であるサーバ1に、ウェブページのテキストに対し、ウェブページのインデックスを生成してインデックスデータベースに格納するインデックシング部31と、インデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成するランキング部32と、を備え、ランキング部32による検索結果のウェブページ群を受け付けるようにしたがこれに限るものではない。例えば、コンテンツ処理装置であるサーバ1にインデックシング部31とランキング部32とを備えずに、検索の部分については別の装置が行ったり、または、汎用検索エンジンを使い、その検索結果を受け付けるものであっても良い。
また、本実施の形態においては、インターネットであるネットワークN上の一般的なWebページを対象にキーワードに基づくWebページ検索を行い、ズーミング記述言語(ZDL)の形式でWebページの検索結果一覧を出力するようにしたが、ネットワーク上の一般のWebページに限るものではなく、サーバ内のローカルデータベースに存在する定型的な構造を持つWebページを対象に検索を行うようにしても良い。
本発明の前提となるWeb環境でのコンテンツ閲覧における画面遷移の概要を説明するためのディスプレイに表示されるマルチメディアコンテンツの一例を示す正面図である。 図1に示すマルチメディアコンテンツのオブジェクトAに対してズームイン操作を行った結果を示す正面図である。 図2に示すマルチメディアコンテンツのオブジェクトAに対してズームイン操作を行った結果を示す正面図である。 図3に示すマルチメディアコンテンツのオブジェクトBに対してズームイン操作を行った結果を示す正面図である。 Web環境でのコンテンツ閲覧における画面遷移の概要を簡単な具体例で表現した説明図である。 本発明の実施の一形態にかかるコンテンツ処理装置を含むシステム構築例を示す模式図である。 コンテンツ処理装置であるサーバの構成を示すブロック図である。 コンテンツ処理装置であるサーバを含むシステムの概略構成を示すブロック図である。 ランキング・クラスタリング部の構成を示すブロック図である。 インデックシング部の構成を示すブロック図である。 ランキング部の構成を示すブロック図である。 クラスタリング部の構成を示すブロック図である。 インデックスの生成と類似度の計算に関する計算式を示す説明図である。 インデックスの生成と類似度の計算に関する計算式を示す説明図である。 インデックスの生成と類似度の計算に関する計算式を示す説明図である。 インデックスの生成と類似度の計算に関する計算式を示す説明図である。 インデックスの生成と類似度の計算に関する計算式を示す説明図である。 表示部の構成を示すブロック図である。 クラスタリングされた検索結果について示す説明図である。 クラスタリングされたウェブページの検索結果一覧に対するズーミング操作例を示す説明図である。 従来のウェブページの検索結果一覧に対する操作例を示す説明図である。
符号の説明
1 コンテンツ処理装置
23 表示部
31 インデックシング部
32 ランキング部
33 クラスタリング部
41 キーワード抽出部
42 インデックス生成部
51 クエリー入力部
52 クエリー変換部
53 第1の類似度計算部
54 ランキング生成部
61 第2の類似度計算部
62 クラスタ生成部
71 ランキング表示部
72 クラスタリング表示部

Claims (24)

  1. 検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付部と、
    このウェブページ検索結果受付部により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング部と、
    このクラスタリング部によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成部と、
    ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付部と、
    この操作受付部により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成部により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示部と、
    を備え
    前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる、
    ことを特徴とするコンテンツ処理装置。
  2. ウェブページのテキストに対し、ウェブページのインデックスを生成してインデックスデータベースに格納するインデックシング部と、
    前記インデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成するランキング部と、
    を更に備え、
    前記ウェブページ検索結果受付部は、前記ランキング部による検索結果の前記ウェブページ群を受け付ける、
    ことを特徴とする請求項1記載のコンテンツ処理装置。
  3. 前記インデックシング部は、ウェブページのテキストから代表的なキーワードを抽出するキーワード抽出部と、このキーワード抽出部で抽出したキーワードに基づいて、ウェブページのインデックスを生成するインデックス生成部と、を備えている、
    ことを特徴とする請求項2記載のコンテンツ処理装置。
  4. 前記キーワード抽出部は、自然言語処理技術を用い、ウェブページのテキストから代表的なキーワードを抽出する、
    ことを特徴とする請求項3記載のコンテンツ処理装置。
  5. 前記インデックス生成部は、抽出した代表キーワードを用い、ウェブページの内容を同じベクトル空間に変換し、互いの相対類似度を計算できるようにする、
    ことを特徴とする請求項3記載のコンテンツ処理装置。
  6. 前記ランキング部は、抽出した代表的なキーワードの中から、ユーザが一つ又は複数のキーワードを選択できるようにするクエリー入力部と、ユーザが選択したキーワードであるクエリーをインデックスと同じ形式に変換するクエリー変換部と、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページのクエリーに対する類似度を計算する第1の類似度計算部と、この第1の類似度計算部で計算した類似度に基づいて、ユーザのクエリーに対するウェブページの検索結果を生成するランキング生成部と、を備えている、
    ことを特徴とする請求項2記載のコンテンツ処理装置。
  7. 前記クエリー入力部は、一次元のキーワードのリスト又は二次元のキーワードのマップからユーザがキーワードを選択できるようにする、
    ことを特徴とする請求項6記載のコンテンツ処理装置。
  8. 前記クエリー変換部は、抽出した代表キーワードを用い、ユーザが選択したキーワードであるクエリーを、前記インデックスデータベースに格納されたインデックスで扱われている形式に変換し、ユーザのクエリーとウェブページの間の類似度を計算できるようにする、
    ことを特徴とする請求項6記載のコンテンツ処理装置。
  9. 前記第1の類似度計算部は、インデックスで扱われているクエリー又はウェブページの表現形式を用い、ユーザのクエリーに対し、それぞれのウェブページの類似度を計算する、
    ことを特徴とする請求項6記載のコンテンツ処理装置。
  10. 前記ランキング生成部は、計算した類似度に基づいて、ユーザのクエリーに対し、類似度が高いものから順にウェブページをランキングする、
    ことを特徴とする請求項6記載のコンテンツ処理装置。
  11. 前記クラスタリング部は、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページ間の相対類似度を計算する第2の類似度計算部と、この第2の類似度計算部で計算した相対類似度を用い、それぞれのウェブページの検索結果に対するクラスタリングされた検索結果を生成するクラスタ生成部と、を備えている、
    ことを特徴とする請求項1記載のコンテンツ処理装置。
  12. 前記第2の類似度計算部は、インデックスで扱われているウェブページの表現形式を用い、それぞれのウェブページのペアの相対類似度を計算する、
    ことを特徴とする請求項11記載のコンテンツ処理装置。
  13. 前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させる、
    ことを特徴とする請求項1記載のコンテンツ処理装置。
  14. 前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して縮小表示させる、
    ことを特徴とする請求項1記載のコンテンツ処理装置。
  15. 前記クラスタリング表示部は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させる、
    ことを特徴とする請求項1記載のコンテンツ処理装置。
  16. 検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付機能と、
    このウェブページ検索結果受付機能により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング機能と、
    このクラスタリング機能によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成機能と、
    ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付機能と、
    この操作受付機能により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成機能により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示機能と、
    をコンピュータに実行させ
    前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる、
    ことを特徴とするコンテンツ処理プログラム。
  17. ウェブページのテキストに対し、ウェブページのインデックスを生成してインデックスデータベースに格納するインデックシング機能と、
    前記インデックスデータベースに格納されたインデックスを用い、ユーザのクエリーに対するウェブページの検索結果を生成するランキング機能と、
    を更にコンピュータに実行させ、
    前記ウェブページ検索結果受付機能は、前記ランキング機能による検索結果の前記ウェブページ群を受け付ける、
    ことを特徴とする請求項16記載のコンテンツ処理プログラム。
  18. 前記インデックシング機能は、ウェブページのテキストから代表的なキーワードを抽出するキーワード抽出機能と、このキーワード抽出機能で抽出したキーワードに基づいて、ウェブページのインデックスを生成するインデックス生成機能と、をコンピュータに実行させる、
    ことを特徴とする請求項17記載のコンテンツ処理プログラム。
  19. 前記ランキング機能は、抽出した代表的なキーワードの中から、ユーザが一つ又は複数のキーワードを選択できるようにするクエリー入力機能と、ユーザが選択したキーワードであるクエリーをインデックスと同じ形式に変換するクエリー変換機能と、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページのクエリーに対する類似度を計算する第1の類似度計算機能と、この第1の類似度計算機能で計算した類似度に基づいて、ユーザのクエリーに対するウェブページの検索結果を生成するランキング生成機能と、をコンピュータに実行させる、
    ことを特徴とする請求項17記載のコンテンツ処理プログラム。
  20. 前記クラスタリング機能は、前記インデックスデータベースに格納されたインデックスを用い、それぞれのウェブページ間の相対類似度を計算する第2の類似度計算機能と、この第2の類似度計算機能で計算した相対類似度を用い、それぞれのウェブページの検索結果に対するクラスタリングされた検索結果を生成するクラスタ生成機能と、をコンピュータに実行させる、
    ことを特徴とする請求項16記載のコンテンツ処理プログラム。
  21. 前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させる、
    ことを特徴とする請求項16記載のコンテンツ処理プログラム。
  22. 前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して縮小表示させる、
    ことを特徴とする請求項16記載のコンテンツ処理プログラム。
  23. 前記クラスタリング表示機能は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページを選択されたウェブページと連動して拡大表示させ、かつ、異なるクラスタに属するウェブページを連動して縮小表示させる、
    ことを特徴とする請求項16記載のコンテンツ処理プログラム。
  24. ウェブページの検索結果を生成して出力するコンテンツ処理装置におけるコンテンツ処理方法であって、
    前記コンテンツ処理装置は、制御部と記憶部を備え、
    前記制御部において実行される、
    ウェブページ検索結果受付部が、検索要求に従って検索されて順位付けされた結果であるウェブページ群を受け付けるウェブページ検索結果受付工程と、
    クラスタリング部が、前記ウェブページ検索結果受付工程により受け付けた検索結果の前記ウェブページ群を複数のクラスタにクラスタリングするクラスタリング工程と、
    ズーミング記述生成部が、前記クラスタリング工程によりクラスタリングされたウェブページの検索結果のうち、一のクラスタに属する前記検索結果について、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該一のクラスタ単位で連続的に実現し、かつ、他のクラスタに属する前記検索結果について、前記一のクラスタに属する前記検索結果の詳細度変化および表示メディア遷移の少なくとも一方に連動して、同一画面内での詳細度変化および表示メディア遷移の少なくとも一方を該他のクラスタ単位で連続的に実現するズーミングの操作/挙動を記述するズーミング記述生成工程と、
    操作受付部が、ユーザからの所定のウェブページに対するズームイン/アウト操作を受け付ける操作受付工程と、
    クラスタリング表示部が、前記操作受付工程により受け付けたズームイン/アウト操作に応じ、前記ズーミング記述生成工程により生成された記述に従って、クラスタリングされたウェブページの検索結果を操作されたウェブページが属する一のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行いこれに連動して他のクラスタ単位で詳細度変化および表示メディア遷移の少なくとも一方を行って表示させるクラスタリング表示工程と、
    を含み、
    前記クラスタリング表示工程は、ユーザがウェブページを選択してズームインすると、ユーザが選択したウェブページと同じクラスタに属するウェブページについては選択されたウェブページと連動してズームインさせ、異なるクラスタに属するウェブページについては連動してズームアウトさせる、
    ことを特徴とするコンテンツ処理方法。
JP2005327675A 2005-11-11 2005-11-11 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法 Expired - Fee Related JP4836069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005327675A JP4836069B2 (ja) 2005-11-11 2005-11-11 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005327675A JP4836069B2 (ja) 2005-11-11 2005-11-11 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011174382A Division JP5391431B2 (ja) 2011-08-09 2011-08-09 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法

Publications (2)

Publication Number Publication Date
JP2007133761A JP2007133761A (ja) 2007-05-31
JP4836069B2 true JP4836069B2 (ja) 2011-12-14

Family

ID=38155350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005327675A Expired - Fee Related JP4836069B2 (ja) 2005-11-11 2005-11-11 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法

Country Status (1)

Country Link
JP (1) JP4836069B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4768537B2 (ja) 2006-07-18 2011-09-07 株式会社リコー コンテンツ閲覧システムおよびプログラム
US8704849B2 (en) 2008-07-01 2014-04-22 Canon Kabushiki Kaisha Display control apparatus and display control method
JP2013037513A (ja) * 2011-08-08 2013-02-21 Zenrin Datacom Co Ltd 情報提示装置、情報表示システム、情報提示方法、およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3591813B2 (ja) * 1998-05-14 2004-11-24 日本電信電話株式会社 データ検索方法、その装置および記録媒体

Also Published As

Publication number Publication date
JP2007133761A (ja) 2007-05-31

Similar Documents

Publication Publication Date Title
US8392834B2 (en) Systems and methods of authoring a multimedia file
JP4893243B2 (ja) 画像要約方法、画像表示装置、kツリー表示システム、kツリー表示プログラム、および、kツリー表示方法
US7428705B2 (en) Web map tool
US7149755B2 (en) Presenting a collection of media objects
US8009179B2 (en) Content browsing system, content browsing method, and computer program product
JP4587634B2 (ja) ブラウザ内で文書の一部分を拡大する方法、装置、およびプログラム
US20030191776A1 (en) Media object management
US20070011316A1 (en) Contents viewing system, contents viewing method, and computer program product
US20070300151A1 (en) Content converting device, content display device, content browsing device, content converting method, content browsing method, and computer program product
Ahmadi et al. User-centric adaptation of Web information for small screens
JP2007025786A (ja) コンテンツ検索装置、コンテンツ検索プログラムおよびコンテンツ検索方法
JP4836068B2 (ja) コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法
JP2011028747A (ja) サーチ・タームを生成するシステムと方法
KR100403947B1 (ko) 개인용 전자문서를 생성하는 방법, 시스템 및 컴퓨터프로그램 제조물
EP1727062A1 (en) Method and system for browsing multimedia document, and computer program
JP2007034960A (ja) コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法
JP4836069B2 (ja) コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法
JP3478331B2 (ja) 構造表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4736728B2 (ja) コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法
JP5391431B2 (ja) コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法
JP4798479B2 (ja) コンテンツ編集装置、コンテンツ編集プログラムおよびコンテンツ編集方法
JP4953190B2 (ja) 表示装置、コンテンツ閲覧方法およびプログラム
Christel et al. XSLT for tailored access to a digtal video library
Yang et al. Search for flash movies on the web
WO2012025040A1 (zh) 可视化搜索引擎系统及其实现方法和应用

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110809

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110920

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4836069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees