JP4384736B2 - 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4384736B2 JP4384736B2 JP22135097A JP22135097A JP4384736B2 JP 4384736 B2 JP4384736 B2 JP 4384736B2 JP 22135097 A JP22135097 A JP 22135097A JP 22135097 A JP22135097 A JP 22135097A JP 4384736 B2 JP4384736 B2 JP 4384736B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- document
- information
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文書中の図や表等の画像を検索対象とした検索を行うことができるようにした画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータの発達に伴って、紙を媒体として記録され、また保存されていた文書についても、電子化された情報として取り扱うことが一般的となり、大量の電子化された文書がデータベースに蓄積されることとなっている。
【０００３】
ところで、大量の電子化された文書が蓄積されていくに従って、大量の文書の中から所望の文書を容易に探し出すことができる検索技術が重要となってくる。特に、誰もがコンピュータを用いて作業を行う今日にあっては、特殊な手法を用いることなく、コンピュータの初心者であっても簡単に所望の文書を検索できるような検索システムを構築することが重要なポイントとなる。
【０００４】
検索の容易化を図るための１つの手法として、人間が通常用いる自然言語を用いて検索条件を入力することができるようにする技術を挙げることができる。この技術は、近年の自然言語処理技術の発達に伴って、多くの検索システムに取り入れられつつある。
【０００５】
【発明が解決しようとする課題】
近年のマルチメディア技術の進歩により、ワードプロセッサ等においても図や表等の画像を含めた文書を簡単に作成することができるようになっている。そのため、文書そのものではなく、文書中の画像を検索対象とすることができる技術の開発が望まれているが、上記従来の技術においては、文書中の画像を直接の検索対象とした検索を行うことはできなかった。換言すれば、上記従来の技術を用いて文書中の画像を検索するには、所望の画像が含まれていると思われる文書を検索した後、検索した文書から利用者自ら所望の画像を探し出さなければならなかった。
【０００６】
本発明は上記に鑑みてなされたものであって、文書中の図や表等の画像を検索対象とした検索を行うことができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、この発明の画像検索装置は、予め用意された文書に含まれた図や表等の画像を検索する画像検索装置であって、前記文書に含まれた画像の位置情報を抽出すると共に、前記画像に関する記述を文書中の画像を検索するための画像検索情報として抽出して格納する画像情報格納手段と、検索条件を入力する入力手段と、前記入力手段を介して入力した検索条件に基づいて、前記画像情報格納手段から該当する画像検索情報を検索し、検索した画像検索情報に対応する前記画像の位置情報を検索結果として出力する検索手段と、を備えたものである
【０００８】
また、この発明の画像検索装置は、上記に記載の画像検索装置において、前記画像検索情報が、前記文書中の画像に関する記述および前記文書中に存在する画像中の文字列を含むものである。
【０００９】
また、この発明の画像検索装置は、上記に記載の画像検索装置において、前記画像情報格納手段が、前記画像検索情報をベクター表現に変換して格納し、前記検索手段が、前記入力手段を介して入力した検索条件をベクター表現に変換し、前記検索条件のベクター表現と前記画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する前記画像の位置情報を検索結果として出力するものである。
【００１０】
さらに、この発明のコンピュータ読み取り可能な記録媒体は、上記のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したものである。
【００１１】
【発明の実施の形態】
以下、本発明の画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００１２】
図１は、本実施の形態の画像検索装置のシステム構成図である。図１に示す画像検索装置は、文書中の画像を検索するための検索条件を入力すると共に、入力した検索条件に該当する文書中の画像を画面表示する複数のクライアント１００と、クライアント１００等で作成された複数の文書を格納した文書ＤＢ（データベース）１０１中の文書から文書中に存在する画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出し、抽出した画像検索情報をベクター表現に変換し、変換した画像検索情報のベクター表現に画像の位置情報を属性情報として付加して転置ファイル１０２に登録し、クライアント１００から入力した検索条件をベクター表現に変換し、検索条件のベクター表現と画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する画像の位置情報を検索結果として出力する検索サーバ１０３と、上記クライアント１００や検索サーバ１０３等を接続するネットワーク１０４と、から構成されている。なお、クライアント１００や検索サーバ１０３は、パーソナルコンピュータやワークステーション等のコンピュータで構成される。
【００１３】
図２は、検索サーバ１０３の処理を示す概略ブロック図である。検索サーバ１０３は、ベクトル空間法を用いた検索処理を行うことが可能なものであって、検索対象を文書中の画像とする検索処理だけでなく、検索対象を文書とする検索処理をも行うことができるものである。以下では、この図２を用いて、ベクトル空間法による検索処理を可能とするために、文書ＤＢ１０１に格納された文書を転置ファイル１０２に登録する処理およびベクトル空間法による検索処理について説明する。
【００１４】
（１）転置ファイルに登録する処理
文書を転置ファイル１０２に登録する処理は、図２に示す自然言語処理モジュール２００およびデータベース・ビルド・コンポーネント２０４によって行われる。
【００１５】
自然言語処理モジュール２００は、文書ＤＢ１０１から文書を入力し、入力した文書について、フォーマットの認識処理や、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行う。そして、解析結果に基づいて、文書を複数のセンテンスからなるサブドキュメントに区切り、サブドキュメントから名詞句を抽出した後，サブドキュメント毎の名詞句リストからなるドキュメント・セット２０３を生成する。
【００１６】
また、自然言語処理モジュール２００は、上記解析結果に基づいて、文書ＤＢ１０１から入力した文書中に存在する図や表等の画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出した後、この画像検索情報から名詞句を抽出し、画像検索情報の名詞句リストを含めてドキュメント・セット２０３を生成する。なお、画像検索情報の名詞句リストには、対応する画像の位置情報および画像検索情報であることを示す情報が属性情報として付加される。また、自然言語処理モジュール２００は、図や表等の画像中の文字列についても画像検索情報として抽出することができる。
【００１７】
図３は、自然言語処理モジュール２００の処理を説明するための説明図である。図３に示すように、文書中のあるページにグラフが存在する場合、自然言語処理モジュール２００は、このグラフに関する記述を画像検索情報として抽出する。図３においては、例えば、「図２は、１９９６年の円相場の変動を示している」等を画像検索情報として抽出する。また、グラフ中の「図２ 円相場の変動」等の文字列についても画像検索情報として抽出することができる。
【００１８】
データベース・ビルド・コンポーネント２０４は、自然言語処理モジュール２００で生成したドキュメント・セット２０３を入力し、サブドキュメント中の各名詞句について、サブドキュメント中の出現頻度，文書ＤＢ１０１全体における分布等の統計情報を求め、求めた名詞句毎の統計情報を用いてサブドキュメントをベクター表現に変換する。この処理をドキュメント・セット２０３中の全てのサブドキュメントについて行い、変換したサブドキュメントのベクター表現に基づいて、文書のベクター表現を生成し、転置ファイル１０２に登録する。
【００１９】
また、画像検索情報中の各名詞句について、画像検索情報中の出現頻度，文書ＤＢ１０１全体における分布等の統計情報を求め、求めた名詞句毎の統計情報を用いて画像検索情報をベクター表現に変換し、属性情報である画像の位置情報および画像検索情報であることを示す情報を付加して転置ファイル１０２に登録する。なお、画像検索情報のベクター表現は、対応する文書のベクター表現と共に管理される。
【００２０】
このようにして、文書ＤＢ１０１中の各文書がベクター表現に変換されて転置ファイル１０２に登録される。これにより、ベクトル空間法を用いて文書中の画像の検索および文書の検索を行うことができるようになる。
【００２１】
（２）ベクトル空間法による検索処理
ベクトル空間法による検索処理は、図２に示す自然言語処理モジュール２００，クエリー・ビルド・コンポーネント２０７および検索エンジン２０９によって行われる。以下、▲１▼文書の検索処理，▲２▼文書中の画像の検索処理の順でベクトル空間法による検索処理を説明する。
【００２２】
▲１▼文書の検索処理
自然言語処理モジュール２００は、クライアント１００から検索条件２０６を入力し、入力した検索条件２０６について、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行い、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成する。
【００２３】
クエリー・ビルド・コンポーネント２０７は、自然言語処理モジュール２００から検索条件２０６のドキュメント・セット２０３を入力し、入力したドキュメント・セット２０３中の各名詞句について、ドキュメント・セット２０３中の出現頻度，転置ファイル１０２全体における分布等の統計情報を求め、求めた統計情報を用いてドキュメント・セット２０３をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する。
【００２４】
検索エンジン（例えば、ＣＬＡＲＩＴＥＣＨ社のＣＬＡＲＩＴ）２０９は、クエリー・ビルド・コンポーネント２０７で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の文書のベクター表現との類似度を求め、各文書にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い、判定閾値を超えるスコアの文書を検索結果として出力する。
【００２５】
▲２▼文書中の画像の検索処理
続いて、文書中の画像の検索処理について説明する。自然言語処理モジュール２００は、クライアント１００から検索条件２０６を入力し、入力した検索条件２０６について、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行う。解析処理を行った結果、入力した検索条件２０６中に文書中の画像を検索することを指定した制約条件が含まれている場合は、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成し、生成したドキュメント・セット２０３に文書中の画像を検索することを指定した画像検索指定情報を付加する。
【００２６】
クエリー・ビルド・コンポーネント２０７は、上述したように、自然言語処理モジュール２００から入力したキュメント・セット２０３をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する。
【００２７】
検索エンジン２０９は、自然言語処理モジュール２００によって付加された画像検索指定情報に基づいて、画像検索情報であることを示す情報が付加されている画像検索情報のベクター表現を検索対象として検索処理を行う。すなわち、クエリー・ビルド・コンポーネント２０７で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の画像検索情報のベクター表現との類似度を求め、各画像検索情報にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い、判定閾値を超えるスコアの画像検索情報に対応する画像の位置情報を検索結果として出力する。
【００２８】
以上の構成において、本実施の形態の画像検索装置の概略動作を図４のフローチャートを用いて説明する。
【００２９】
クライアント１００は、検索サーバ１０３に対して検索条件２０６を入力する。ここで、文書中の画像を検索したい場合には、例えば、「円相場の変動を示すグラフ」と入力する。この「円相場の変動を示すグラフ」中の「グラフ」が文書中の画像の検索を指定する制約条件となる。その他、表の場合は「・・・の表」，写真の場合は「・・・の写真」等と入力することにより、文書中の画像の検索を指定する制約条件を入力することができる。一方、文書を検索したい場合には、例えば「円相場の変動」と入力する。
【００３０】
検索サーバ１０３は、クライアント１００から検索条件２０６を入力すると（Ｓ４０１）、自然言語処理モジュール２００において、入力した検索条件２０６の解析処理を行う（Ｓ４０２）。
【００３１】
ステップＳ４０２の解析処理の結果に基づいて、検索条件２０６中に文書中の画像の検索を指定した制約条件が含まれているか否かを判定する（Ｓ４０３）。ステップＳ４０３において、検索条件２０６が「円相場の変動を示すグラフ」である場合には、「グラフ」という記述に基づいて、文書中の画像の検索を指定した制約条件が含まれていると判定し、ステップＳ４０４に進む。一方、検索条件２０６が「円相場の変動」である場合には、文書中の画像の検索を指定した制約条件が含まれていないと判定し、ステップＳ４０８に進む。
【００３２】
ステップＳ４０３において、文書中の画像の検索を指定した制約条件が含まれていると判定した場合、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成すると共に、生成したドキュメント・セット２０３に文書中の画像を検索することを指定する画像検索指定情報を付加する（Ｓ４０４）。
【００３３】
そして、生成したドキュメント・セット２０３に基づいて、検索条件２０６をベクター表現に変換したキュメント・セット２０３を生成する（Ｓ４０５）。
【００３４】
続いて、ステップＳ４０４で付加した画像検索指定情報に基づいて、ステップＳ４０５で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の画像検索情報のベクター表現との類似度を求め、各画像検索情報にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い（Ｓ４０６）、判定閾値を超えるスコアの画像検索情報に対応する画像の位置情報を検索結果として出力する（Ｓ４０７）。すなわち、ベクトル空間法による検索処理が行われる。なお、判定閾値に代え、上位ｎ番目のスコアの画像検索情報に対応する画像の位置情報を検索結果として出力することにしても良い。
【００３５】
クライアント１００は、検索サーバ１００から検索結果を入力し、検索結果である文書中の画像の一覧を画面表示すると共に、所望の画像が選択されると、位置情報に基づいて、該当する文書中の画像を画面表示する。なお、検索結果である文書中の画像の一覧を表示する際には、ステップＳ４０６の検索時に検索条件２０６と画像検索情報との類似度が判定されているため、検索条件２０６との関連性の高い画像から順に一覧表示することができる。
【００３６】
一方、ステップＳ４０３において、文書中の画像の検索を指定した制約条件が含まれていないと判定した場合、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成する（Ｓ４０８）。
【００３７】
そして、生成したドキュメント・セット２０３に基づいて、検索条件２０６をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する（Ｓ４０９）。
【００３８】
続いて、ステップＳ４０９で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の文書のベクター表現との類似度を求め、各文書にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い（Ｓ４１０）、判定閾値を超えるスコアの文書を検索結果として出力する（Ｓ４０７）。すなわち、ベクトル空間法による検索処理が行われる。なお、判定閾値に代え、上位ｎ番目のスコアの文書を検索結果として出力することにしても良い。
【００３９】
クライアント１００は、検索サーバ１００から検索結果を入力し、検索結果である文書の一覧を画面表示すると共に、所望の文書が選択されると、該当する文書を画面表示する。なお、検索結果である文書の一覧を表示する際には、ステップＳ４０６の検索時に検索条件２０６と文書との類似度が判定されているため、検索条件２０６との関連性の高い文書から順に一覧表示することができる。
【００４０】
なお、図４に示したフローチャートにおいては、文書中の画像を対象とした検索および文書を対象とした検索を別々に行うことにして説明したが、例えば、検索条件２０６が「円相場の変動を示すグラフ」である場合に、「円相場の変動」に関する文書と「円相場の変動を示すグラフ」とを同時に検索することにしても良い。また、図４に示したステップＳ４０３において、検索条件２０６中に制約条件が含まれているか否かで文書中の画像を対象とした検索または文書を対象とした検索のいずれを行うかを決定することにしたが、両方を検索対象として検索を行い、検索結果を出力する際に制約条件で絞り込みを行うという処理にしても良い。
【００４１】
このように、本実施の形態の画像検索装置によれば、文書中の画像に関する記述を抽出し、この記述を検索対象とするため、文書中の図や表等の画像を検索対象とした検索を行うことができる。
【００４２】
なお、本実施の形態において、ベクトル空間法に基づいて検索処理を説明したが、ベクトル空間法による検索処理に代えて、ブーリアン検索による検索処理を用いることにしても良い。
【００４３】
また、本実施の形態で説明した画像検索装置は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現される。このプログラムは、ハードディスク，フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【００４４】
【発明の効果】
以上説明したように、本発明の画像検索装置によれば、予め用意された文書に含まれた図や表等の画像を検索する画像検索装置であって、文書に含まれた画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出して格納する画像情報格納手段と、検索条件を入力する入力手段と、入力手段を介して入力した検索条件に基づいて、画像情報格納手段から該当する画像検索情報を検索し、検索した画像検索情報に対応する画像の位置情報を検索結果として出力する検索手段と、を備えたため、文書中の図や表等の画像を検索対象とした検索を行うことができる。
【００４５】
また、本発明の画像検索装置によれば、上記に記載の画像検索装置において、画像検索情報は、文書中の画像に関する記述および文書中に存在する画像中の文字列を含むため、文書中の画像を検索するための画像検索情報として多くの情報を用いることができ、文書中の図や表等の画像を検索対象とした検索の精度の向上を図ることができる。
【００４６】
また、本発明の画像検索装置によれば、上記に記載の画像検索装置において、画像情報格納手段が、画像検索情報をベクター表現に変換して格納し、検索手段は、入力手段を介して入力した検索条件をベクター表現に変換し、検索条件のベクター表現と画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する画像の位置情報を検索結果として出力するため、検索条件に最も関連のある文書中の画像から順に検索結果を表示することができる。
【００４７】
さらに、本発明のコンピュータ読み取り可能な記録媒体によれば、上記のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、文書中の図や表等の画像を検索対象とした検索を行うことができる画像検索装置を実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の画像検索装置のシステム構成図である。
【図２】本実施の形態の画像検索装置において、検索サーバの処理を示す概略ブロック図である。
【図３】本実施の形態の画像検索装置において、自然言語処理モジュールの処理を説明するための説明図である。
【図４】本実施の形態の画像検索装置において、画像検索処理を示すフローチャートである。
【符号の説明】
１００ クライアント
１０１ 文書ＤＢ
１０２ 転置ファイル
１０３ 検索サーバ
１０４ ネットワーク
２００ 自然言語処理モジュール
２０１ 辞書
２０２ 文法辞書
２０３ ドキュメント・セット
２０４ データベース・ビルド・コンポーネント
２０６ 検索条件
２０７ クエリー・ビルド・コンポーネント
２０８ クエリー・ドキュメント
２０９ 検索エンジン
【発明の属する技術分野】
本発明は、文書中の図や表等の画像を検索対象とした検索を行うことができるようにした画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータの発達に伴って、紙を媒体として記録され、また保存されていた文書についても、電子化された情報として取り扱うことが一般的となり、大量の電子化された文書がデータベースに蓄積されることとなっている。
【０００３】
ところで、大量の電子化された文書が蓄積されていくに従って、大量の文書の中から所望の文書を容易に探し出すことができる検索技術が重要となってくる。特に、誰もがコンピュータを用いて作業を行う今日にあっては、特殊な手法を用いることなく、コンピュータの初心者であっても簡単に所望の文書を検索できるような検索システムを構築することが重要なポイントとなる。
【０００４】
検索の容易化を図るための１つの手法として、人間が通常用いる自然言語を用いて検索条件を入力することができるようにする技術を挙げることができる。この技術は、近年の自然言語処理技術の発達に伴って、多くの検索システムに取り入れられつつある。
【０００５】
【発明が解決しようとする課題】
近年のマルチメディア技術の進歩により、ワードプロセッサ等においても図や表等の画像を含めた文書を簡単に作成することができるようになっている。そのため、文書そのものではなく、文書中の画像を検索対象とすることができる技術の開発が望まれているが、上記従来の技術においては、文書中の画像を直接の検索対象とした検索を行うことはできなかった。換言すれば、上記従来の技術を用いて文書中の画像を検索するには、所望の画像が含まれていると思われる文書を検索した後、検索した文書から利用者自ら所望の画像を探し出さなければならなかった。
【０００６】
本発明は上記に鑑みてなされたものであって、文書中の図や表等の画像を検索対象とした検索を行うことができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、この発明の画像検索装置は、予め用意された文書に含まれた図や表等の画像を検索する画像検索装置であって、前記文書に含まれた画像の位置情報を抽出すると共に、前記画像に関する記述を文書中の画像を検索するための画像検索情報として抽出して格納する画像情報格納手段と、検索条件を入力する入力手段と、前記入力手段を介して入力した検索条件に基づいて、前記画像情報格納手段から該当する画像検索情報を検索し、検索した画像検索情報に対応する前記画像の位置情報を検索結果として出力する検索手段と、を備えたものである
【０００８】
また、この発明の画像検索装置は、上記に記載の画像検索装置において、前記画像検索情報が、前記文書中の画像に関する記述および前記文書中に存在する画像中の文字列を含むものである。
【０００９】
また、この発明の画像検索装置は、上記に記載の画像検索装置において、前記画像情報格納手段が、前記画像検索情報をベクター表現に変換して格納し、前記検索手段が、前記入力手段を介して入力した検索条件をベクター表現に変換し、前記検索条件のベクター表現と前記画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する前記画像の位置情報を検索結果として出力するものである。
【００１０】
さらに、この発明のコンピュータ読み取り可能な記録媒体は、上記のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したものである。
【００１１】
【発明の実施の形態】
以下、本発明の画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００１２】
図１は、本実施の形態の画像検索装置のシステム構成図である。図１に示す画像検索装置は、文書中の画像を検索するための検索条件を入力すると共に、入力した検索条件に該当する文書中の画像を画面表示する複数のクライアント１００と、クライアント１００等で作成された複数の文書を格納した文書ＤＢ（データベース）１０１中の文書から文書中に存在する画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出し、抽出した画像検索情報をベクター表現に変換し、変換した画像検索情報のベクター表現に画像の位置情報を属性情報として付加して転置ファイル１０２に登録し、クライアント１００から入力した検索条件をベクター表現に変換し、検索条件のベクター表現と画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する画像の位置情報を検索結果として出力する検索サーバ１０３と、上記クライアント１００や検索サーバ１０３等を接続するネットワーク１０４と、から構成されている。なお、クライアント１００や検索サーバ１０３は、パーソナルコンピュータやワークステーション等のコンピュータで構成される。
【００１３】
図２は、検索サーバ１０３の処理を示す概略ブロック図である。検索サーバ１０３は、ベクトル空間法を用いた検索処理を行うことが可能なものであって、検索対象を文書中の画像とする検索処理だけでなく、検索対象を文書とする検索処理をも行うことができるものである。以下では、この図２を用いて、ベクトル空間法による検索処理を可能とするために、文書ＤＢ１０１に格納された文書を転置ファイル１０２に登録する処理およびベクトル空間法による検索処理について説明する。
【００１４】
（１）転置ファイルに登録する処理
文書を転置ファイル１０２に登録する処理は、図２に示す自然言語処理モジュール２００およびデータベース・ビルド・コンポーネント２０４によって行われる。
【００１５】
自然言語処理モジュール２００は、文書ＤＢ１０１から文書を入力し、入力した文書について、フォーマットの認識処理や、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行う。そして、解析結果に基づいて、文書を複数のセンテンスからなるサブドキュメントに区切り、サブドキュメントから名詞句を抽出した後，サブドキュメント毎の名詞句リストからなるドキュメント・セット２０３を生成する。
【００１６】
また、自然言語処理モジュール２００は、上記解析結果に基づいて、文書ＤＢ１０１から入力した文書中に存在する図や表等の画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出した後、この画像検索情報から名詞句を抽出し、画像検索情報の名詞句リストを含めてドキュメント・セット２０３を生成する。なお、画像検索情報の名詞句リストには、対応する画像の位置情報および画像検索情報であることを示す情報が属性情報として付加される。また、自然言語処理モジュール２００は、図や表等の画像中の文字列についても画像検索情報として抽出することができる。
【００１７】
図３は、自然言語処理モジュール２００の処理を説明するための説明図である。図３に示すように、文書中のあるページにグラフが存在する場合、自然言語処理モジュール２００は、このグラフに関する記述を画像検索情報として抽出する。図３においては、例えば、「図２は、１９９６年の円相場の変動を示している」等を画像検索情報として抽出する。また、グラフ中の「図２ 円相場の変動」等の文字列についても画像検索情報として抽出することができる。
【００１８】
データベース・ビルド・コンポーネント２０４は、自然言語処理モジュール２００で生成したドキュメント・セット２０３を入力し、サブドキュメント中の各名詞句について、サブドキュメント中の出現頻度，文書ＤＢ１０１全体における分布等の統計情報を求め、求めた名詞句毎の統計情報を用いてサブドキュメントをベクター表現に変換する。この処理をドキュメント・セット２０３中の全てのサブドキュメントについて行い、変換したサブドキュメントのベクター表現に基づいて、文書のベクター表現を生成し、転置ファイル１０２に登録する。
【００１９】
また、画像検索情報中の各名詞句について、画像検索情報中の出現頻度，文書ＤＢ１０１全体における分布等の統計情報を求め、求めた名詞句毎の統計情報を用いて画像検索情報をベクター表現に変換し、属性情報である画像の位置情報および画像検索情報であることを示す情報を付加して転置ファイル１０２に登録する。なお、画像検索情報のベクター表現は、対応する文書のベクター表現と共に管理される。
【００２０】
このようにして、文書ＤＢ１０１中の各文書がベクター表現に変換されて転置ファイル１０２に登録される。これにより、ベクトル空間法を用いて文書中の画像の検索および文書の検索を行うことができるようになる。
【００２１】
（２）ベクトル空間法による検索処理
ベクトル空間法による検索処理は、図２に示す自然言語処理モジュール２００，クエリー・ビルド・コンポーネント２０７および検索エンジン２０９によって行われる。以下、▲１▼文書の検索処理，▲２▼文書中の画像の検索処理の順でベクトル空間法による検索処理を説明する。
【００２２】
▲１▼文書の検索処理
自然言語処理モジュール２００は、クライアント１００から検索条件２０６を入力し、入力した検索条件２０６について、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行い、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成する。
【００２３】
クエリー・ビルド・コンポーネント２０７は、自然言語処理モジュール２００から検索条件２０６のドキュメント・セット２０３を入力し、入力したドキュメント・セット２０３中の各名詞句について、ドキュメント・セット２０３中の出現頻度，転置ファイル１０２全体における分布等の統計情報を求め、求めた統計情報を用いてドキュメント・セット２０３をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する。
【００２４】
検索エンジン（例えば、ＣＬＡＲＩＴＥＣＨ社のＣＬＡＲＩＴ）２０９は、クエリー・ビルド・コンポーネント２０７で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の文書のベクター表現との類似度を求め、各文書にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い、判定閾値を超えるスコアの文書を検索結果として出力する。
【００２５】
▲２▼文書中の画像の検索処理
続いて、文書中の画像の検索処理について説明する。自然言語処理モジュール２００は、クライアント１００から検索条件２０６を入力し、入力した検索条件２０６について、品詞情報を格納した辞書２０１および各単語の係り受け等を解析するための文法辞書２０２を用いて形態素解析，構文解析等の解析処理を行う。解析処理を行った結果、入力した検索条件２０６中に文書中の画像を検索することを指定した制約条件が含まれている場合は、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成し、生成したドキュメント・セット２０３に文書中の画像を検索することを指定した画像検索指定情報を付加する。
【００２６】
クエリー・ビルド・コンポーネント２０７は、上述したように、自然言語処理モジュール２００から入力したキュメント・セット２０３をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する。
【００２７】
検索エンジン２０９は、自然言語処理モジュール２００によって付加された画像検索指定情報に基づいて、画像検索情報であることを示す情報が付加されている画像検索情報のベクター表現を検索対象として検索処理を行う。すなわち、クエリー・ビルド・コンポーネント２０７で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の画像検索情報のベクター表現との類似度を求め、各画像検索情報にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い、判定閾値を超えるスコアの画像検索情報に対応する画像の位置情報を検索結果として出力する。
【００２８】
以上の構成において、本実施の形態の画像検索装置の概略動作を図４のフローチャートを用いて説明する。
【００２９】
クライアント１００は、検索サーバ１０３に対して検索条件２０６を入力する。ここで、文書中の画像を検索したい場合には、例えば、「円相場の変動を示すグラフ」と入力する。この「円相場の変動を示すグラフ」中の「グラフ」が文書中の画像の検索を指定する制約条件となる。その他、表の場合は「・・・の表」，写真の場合は「・・・の写真」等と入力することにより、文書中の画像の検索を指定する制約条件を入力することができる。一方、文書を検索したい場合には、例えば「円相場の変動」と入力する。
【００３０】
検索サーバ１０３は、クライアント１００から検索条件２０６を入力すると（Ｓ４０１）、自然言語処理モジュール２００において、入力した検索条件２０６の解析処理を行う（Ｓ４０２）。
【００３１】
ステップＳ４０２の解析処理の結果に基づいて、検索条件２０６中に文書中の画像の検索を指定した制約条件が含まれているか否かを判定する（Ｓ４０３）。ステップＳ４０３において、検索条件２０６が「円相場の変動を示すグラフ」である場合には、「グラフ」という記述に基づいて、文書中の画像の検索を指定した制約条件が含まれていると判定し、ステップＳ４０４に進む。一方、検索条件２０６が「円相場の変動」である場合には、文書中の画像の検索を指定した制約条件が含まれていないと判定し、ステップＳ４０８に進む。
【００３２】
ステップＳ４０３において、文書中の画像の検索を指定した制約条件が含まれていると判定した場合、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成すると共に、生成したドキュメント・セット２０３に文書中の画像を検索することを指定する画像検索指定情報を付加する（Ｓ４０４）。
【００３３】
そして、生成したドキュメント・セット２０３に基づいて、検索条件２０６をベクター表現に変換したキュメント・セット２０３を生成する（Ｓ４０５）。
【００３４】
続いて、ステップＳ４０４で付加した画像検索指定情報に基づいて、ステップＳ４０５で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の画像検索情報のベクター表現との類似度を求め、各画像検索情報にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い（Ｓ４０６）、判定閾値を超えるスコアの画像検索情報に対応する画像の位置情報を検索結果として出力する（Ｓ４０７）。すなわち、ベクトル空間法による検索処理が行われる。なお、判定閾値に代え、上位ｎ番目のスコアの画像検索情報に対応する画像の位置情報を検索結果として出力することにしても良い。
【００３５】
クライアント１００は、検索サーバ１００から検索結果を入力し、検索結果である文書中の画像の一覧を画面表示すると共に、所望の画像が選択されると、位置情報に基づいて、該当する文書中の画像を画面表示する。なお、検索結果である文書中の画像の一覧を表示する際には、ステップＳ４０６の検索時に検索条件２０６と画像検索情報との類似度が判定されているため、検索条件２０６との関連性の高い画像から順に一覧表示することができる。
【００３６】
一方、ステップＳ４０３において、文書中の画像の検索を指定した制約条件が含まれていないと判定した場合、検索条件２０６から名詞句を抽出して、抽出した名詞句のリストからなるドキュメント・セット２０３を生成する（Ｓ４０８）。
【００３７】
そして、生成したドキュメント・セット２０３に基づいて、検索条件２０６をベクター表現に変換したクエリー・ドキュメント２０８（検索条件２０６のベクター表現）を生成する（Ｓ４０９）。
【００３８】
続いて、ステップＳ４０９で生成したクエリー・ドキュメント２０８と転置ファイル１０２中の文書のベクター表現との類似度を求め、各文書にクエリー・ドキュメント２０８との類似度に応じたスコアリングを行い（Ｓ４１０）、判定閾値を超えるスコアの文書を検索結果として出力する（Ｓ４０７）。すなわち、ベクトル空間法による検索処理が行われる。なお、判定閾値に代え、上位ｎ番目のスコアの文書を検索結果として出力することにしても良い。
【００３９】
クライアント１００は、検索サーバ１００から検索結果を入力し、検索結果である文書の一覧を画面表示すると共に、所望の文書が選択されると、該当する文書を画面表示する。なお、検索結果である文書の一覧を表示する際には、ステップＳ４０６の検索時に検索条件２０６と文書との類似度が判定されているため、検索条件２０６との関連性の高い文書から順に一覧表示することができる。
【００４０】
なお、図４に示したフローチャートにおいては、文書中の画像を対象とした検索および文書を対象とした検索を別々に行うことにして説明したが、例えば、検索条件２０６が「円相場の変動を示すグラフ」である場合に、「円相場の変動」に関する文書と「円相場の変動を示すグラフ」とを同時に検索することにしても良い。また、図４に示したステップＳ４０３において、検索条件２０６中に制約条件が含まれているか否かで文書中の画像を対象とした検索または文書を対象とした検索のいずれを行うかを決定することにしたが、両方を検索対象として検索を行い、検索結果を出力する際に制約条件で絞り込みを行うという処理にしても良い。
【００４１】
このように、本実施の形態の画像検索装置によれば、文書中の画像に関する記述を抽出し、この記述を検索対象とするため、文書中の図や表等の画像を検索対象とした検索を行うことができる。
【００４２】
なお、本実施の形態において、ベクトル空間法に基づいて検索処理を説明したが、ベクトル空間法による検索処理に代えて、ブーリアン検索による検索処理を用いることにしても良い。
【００４３】
また、本実施の形態で説明した画像検索装置は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現される。このプログラムは、ハードディスク，フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【００４４】
【発明の効果】
以上説明したように、本発明の画像検索装置によれば、予め用意された文書に含まれた図や表等の画像を検索する画像検索装置であって、文書に含まれた画像の位置情報を抽出すると共に、画像に関する記述を文書中の画像を検索するための画像検索情報として抽出して格納する画像情報格納手段と、検索条件を入力する入力手段と、入力手段を介して入力した検索条件に基づいて、画像情報格納手段から該当する画像検索情報を検索し、検索した画像検索情報に対応する画像の位置情報を検索結果として出力する検索手段と、を備えたため、文書中の図や表等の画像を検索対象とした検索を行うことができる。
【００４５】
また、本発明の画像検索装置によれば、上記に記載の画像検索装置において、画像検索情報は、文書中の画像に関する記述および文書中に存在する画像中の文字列を含むため、文書中の画像を検索するための画像検索情報として多くの情報を用いることができ、文書中の図や表等の画像を検索対象とした検索の精度の向上を図ることができる。
【００４６】
また、本発明の画像検索装置によれば、上記に記載の画像検索装置において、画像情報格納手段が、画像検索情報をベクター表現に変換して格納し、検索手段は、入力手段を介して入力した検索条件をベクター表現に変換し、検索条件のベクター表現と画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する画像の位置情報を検索結果として出力するため、検索条件に最も関連のある文書中の画像から順に検索結果を表示することができる。
【００４７】
さらに、本発明のコンピュータ読み取り可能な記録媒体によれば、上記のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、文書中の図や表等の画像を検索対象とした検索を行うことができる画像検索装置を実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の画像検索装置のシステム構成図である。
【図２】本実施の形態の画像検索装置において、検索サーバの処理を示す概略ブロック図である。
【図３】本実施の形態の画像検索装置において、自然言語処理モジュールの処理を説明するための説明図である。
【図４】本実施の形態の画像検索装置において、画像検索処理を示すフローチャートである。
【符号の説明】
１００ クライアント
１０１ 文書ＤＢ
１０２ 転置ファイル
１０３ 検索サーバ
１０４ ネットワーク
２００ 自然言語処理モジュール
２０１ 辞書
２０２ 文法辞書
２０３ ドキュメント・セット
２０４ データベース・ビルド・コンポーネント
２０６ 検索条件
２０７ クエリー・ビルド・コンポーネント
２０８ クエリー・ドキュメント
２０９ 検索エンジン
Claims (4)
- 文書データベースに記憶された文書、および予め用意された、前記文書に含まれた図や表等の画像を検索する画像検索装置であって、
前記文書に含まれた画像の位置情報を前記文書から抽出すると共に、前記画像に関する記述を文書中の画像を検索するための画像検索情報として前記文書から抽出して、抽出された前記画像の位置情報を属性情報として付加して所定の記憶領域に格納する画像情報格納手段と、
文字列からなる検索条件の入力を受け付ける入力手段と、
前記入力手段を介して入力した検索条件に基づいて、前記文書データベースから該当する文書を検索し、検索した文書に関する情報を検索結果として出力すると共に、
前記所定の記憶領域から該当する画像検索情報を検索し、検索した画像検索情報に対応する前記画像の位置情報を検索結果として出力する検索手段と、
を備え、
前記検索条件には、前記文書中の画像の検索を指定する制約条件となる文字列を含む検索条件と、前記制約条件となる文字列を含まない検索条件とからなり、
前記検索手段は、前記検索条件が前記制約条件となる文字列を含むか否かを判断し、前記制約条件となる文字列を含まない場合に、該当する文書を検索し、検索した文書に関する情報を出力するとともに、前記制約条件となる文字列を含む場合に、前記画像情報格納手段から該当する画像検索情報を検索し、検索した画像検索情報に対応する前記画像の位置情報を検索結果として出力することを特徴とする画像検索装置。 - 前記画像検索情報は、前記文書中の画像に関する記述および前記文書中に存在する画像中の文字列を含むことを特徴とする請求項１に記載の画像検索装置。
- 前記画像情報格納手段は、前記画像検索情報をベクター表現に変換して前記所定の記憶領域に格納し、
前記検索手段は、前記入力手段を介して入力した検索条件をベクター表現に変換し、前記検索条件のベクター表現と前記画像検索情報のベクター表現との類似度を求め、求めた類似度が所定の閾値を超える画像検索情報に対応する前記画像の位置情報を検索結果として出力することを特徴とする請求項１または２に記載の画像検索装置。 - 前記請求項１〜３のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22135097A JP4384736B2 (ja) | 1997-08-18 | 1997-08-18 | 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22135097A JP4384736B2 (ja) | 1997-08-18 | 1997-08-18 | 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1166084A JPH1166084A (ja) | 1999-03-09 |
| JP4384736B2 true JP4384736B2 (ja) | 2009-12-16 |
Family
ID=16765433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22135097A Expired - Lifetime JP4384736B2 (ja) | 1997-08-18 | 1997-08-18 | 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4384736B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3573062B2 (ja) * | 2000-05-24 | 2004-10-06 | 日本電気株式会社 | 電子ファイリングシステム |
| JP4208780B2 (ja) * | 2004-07-07 | 2009-01-14 | キヤノン株式会社 | 画像処理システム及び画像処理装置の制御方法並びにプログラム |
| US20090307264A1 (en) * | 2008-06-05 | 2009-12-10 | Kabushiki Kaisha Toshiba | Object acquisition device, object management system, and object management method |
-
1997
- 1997-08-18 JP JP22135097A patent/JP4384736B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1166084A (ja) | 1999-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7958128B2 (en) | Query-independent entity importance in books | |
| US6442540B2 (en) | Information retrieval apparatus and information retrieval method | |
| JP3691844B2 (ja) | 文書処理方法 | |
| JPH11161682A (ja) | 情報検索装置、情報検索方法及び記録媒体 | |
| JP4091146B2 (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3767763B2 (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145257A (ja) | Ｗｅｂ文書の検索支援装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4384736B2 (ja) | 画像検索装置およびその装置の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145268A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4057962B2 (ja) | 質問応答装置、質問応答方法及びプログラム | |
| JPH1145252A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4497337B2 (ja) | 概念検索装置およびコンピュータプログラムを記録した記録媒体 | |
| JP4138048B2 (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3851712B2 (ja) | 文書管理システムおよびそのシステムとしてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4000332B2 (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145254A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4074687B2 (ja) | 要約文作成支援システムおよびそのシステムとしてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145249A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145255A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145256A (ja) | 文書管理支援装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145269A (ja) | 文書管理支援システムおよびそのシステムとしてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145266A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000339342A (ja) | 文書検索方法および文書検索装置 | |
| JP2004287696A (ja) | 検索システム及び検索プログラム | |
| JPH07296005A (ja) | 日本語テキスト登録・検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070614 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |