JP4889159B2 - データ検索システムおよびデータ検索方法 - Google Patents
データ検索システムおよびデータ検索方法 Download PDFInfo
- Publication number
- JP4889159B2 JP4889159B2 JP2001143541A JP2001143541A JP4889159B2 JP 4889159 B2 JP4889159 B2 JP 4889159B2 JP 2001143541 A JP2001143541 A JP 2001143541A JP 2001143541 A JP2001143541 A JP 2001143541A JP 4889159 B2 JP4889159 B2 JP 4889159B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- image data
- search
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Description
【０００１】
【発明の属する技術分野】
本発明は、大量のデータの中から目的のデータを柔軟かつ効率良く検索するデータ検索システムおよび方法に関する。
【０００２】
【従来の技術】
従来、大量のデータの中から目的とするデータを検索する方法としては、データを説明するテキスト情報を検索キーとして利用して検索処理を実行する方法と、データ中の特徴量を検索キーとして利用して検索処理を実行する方法が知られている。
【０００３】
前者のテキスト情報を検索キーとして利用する方法に関しては、第１に検索精度に問題があった。つまり、データを的確に示すテキスト情報を付与することは容易ではないため、データに付与されたテキスト情報が不十分である場合が多い。この場合、利用者が指定したテキスト情報を検索キーとした検索処理では目的とするデータの検索に手間取り、検索精度が向上しないという問題があった。第２に前処理に時間がかかるという問題があった。つまり、各データに当該データを的確に表わすテキスト情報を自動付与することは一般には困難であり、現状、自動付与が適正であるか人手による確認を必要としたり、人手によりテキスト情報を追加付与するという作業を行わざるを得ない場合が多く、前処理に相当の時間がかかっているのが現状である。
【０００４】
そこで、後者の、データ中の特徴量を検索キーとして利用して検索処理を実行する方法が注目されている。従来技術における、特徴量を検索キーとして利用した検索処理では、検索に用いる特徴量に注目し、各データが持つ特徴量を評価することにより、特徴量が類似したデータを見つけ出す方法が開発されている。
【０００５】
【発明が解決しようとする課題】
しかし、従来技術における、特徴量を検索キーとして利用するデータ検索処理には以下の問題があった。
【０００６】
人間の主観も加え、人間の認識の感覚を数値化することは困難であり、目的のデータを特定するためにどのような特徴量を用いても、人間の感覚にぴったり合う特徴量はないため、目的とするデータを特定するための最適な特徴量を決めることは困難である。そのため、試行錯誤的に何らかの特徴量を検索キーとして与え、データ検索を取り敢えず実行することが多い。この場合、検索結果の中に、なぜそのようなデータが検索結果として表示されているのかが理解しづらい場合も多い。テキスト情報を検索キーとして利用する検索の場合は、データの中に当該テキスト情報をキーワードとする要素が含まれているかどうかを判断しやすく、ある程度検索結果は理解し易い。
【０００７】
また、試行錯誤的にデータ検索を続行して行くにあたり、テキスト情報を検索キーとして利用する検索の場合は、用いられたテキスト情報とその検索結果に基づいて、次の検索キーとして与えるテキスト情報を想起することも比較的容易である。しかし、特徴量を検索キーとして利用する方法においては、上記のごとく、再検索においても目的とするデータを特定するための最適な特徴量を決めることは困難である。どのような特徴量を与えて試行すれば良いのか経験的に把握することは難しい。
【０００８】
本発明は、特徴量を検索キーとして利用するデータ検索処理において、検索結果となったデータが抽出された根拠を分かりやすく表示し、検索処理の内容を概ね把握でき、再検索において与える特徴量の選定を容易としたデータ検索システム、データ検索方法およびデータ検索システムを実現する処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明のデータ検索システムは、データを取得するデータ取得部と、前記データ取得部のデータを特徴量に応じて表示画面上に分類配置する分類配置部と、各データに対し、前記分類配置部が当該データを分類配置した根拠を可視化した根拠情報を付す根拠情報付与部と、前記分類配置部からの分類配置情報に従い、各データを対応する根拠情報とともに表示する表示部とを備えたことを特徴とする。
【００１０】
上記構成により、検索結果として分類配置された各データに、分類配置の根拠情報が併せて表示されることとなり、根拠情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが一目で把握しやすくなる。
【００１１】
次に、上記構成において、前記表示部に表示されている根拠情報またはその一部分の情報、または、根拠情報の一部分を変更して得た情報を、再検索情報として受け付け、再検索処理を実行することが好ましい。
【００１２】
上記構成により、再検索を実行する際、データ検索結果を踏まえ、根拠情報として表示されている情報、例えば、色ヒストグラム情報中の特定の色情報、特定の周波数成分、根拠情報の一部分を変更して得た情報などを、後続のデータ検索におけるデータ検索キーとして用いることができる。
【００１３】
次に、上記構成において、前記分類配置部が、データの分類配置処理において、前記特徴量が近いデータ同士を近くに配置するように自己組織化マッピング処理を実行することが好ましい。
【００１４】
上記構成により、データ検索の結果、データ検索に用いた特徴量が近いもの同士が近くに配置されることとなり、検索結果の一覧性が向上し、検索結果の内容を把握しやすくなる。
【００１５】
次に、上記構成において、前記根拠情報が、前記分類配置に用いた特徴量情報とそのデータが持つ前記特徴量の分布情報を示すラベル情報であることが好ましい。
【００１６】
上記構成により、検索結果として分類配置された各データにラベル情報が併せて表示されることとなり、ラベル情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが容易に把握できる。
【００１７】
なお、前記データが画像データであり、前記ラベル情報の特徴量情報を色情報とし、特徴量の分布情報を色ヒストグラム情報とすれば、画像データ検索の結果、選ばれた画像データの色に関する情報を俯瞰することができ、画像データ検索処理の内容を把握しやすく、また、色ヒストグラムの要素比を調整するなど、再検索に用いる特徴量を与える手掛かりが得られる。
【００１８】
また、前記データが画像データであり、前記ラベル情報の特徴量情報をウェーブレット変換特徴量情報とし、特徴量の分布情報を周波数成分の分布情報とすれば、画像データ検索の結果、選ばれた画像データの画像の周波数成分の情報を俯瞰することができ、画像データ検索処理の内容を把握しやすく、また、特定の周波数成分量に注目するなど、再検索に用いる特徴量を与える手掛かりが得られる。
【００１９】
また、前記データが画像データであり、前記ラベル情報の特徴量情報を画像データ中におけるエッジ情報とし、特徴量の分布情報を画像データ中のエッジ部分の方向を要素としたヒストグラム情報とすれば、画像データ中に含まれるエッジが、縦、横、斜めの８方向のどちら方向を向いているものが多いのかという情報を表示することが可能となる。
【００２０】
また、前記データが画像データであり、前記ラベル情報の特徴量情報を色情報とし、特徴量の分布情報を代表色情報とすれば、画像データが含む概ねの色情報の傾向を知ることができ、画像データの色合いを手掛かりとして画像データ検索処理を実行することができる。
【００２１】
なお、本発明のデータ検索システムを実現する処理ステップを備えた処理プログラムコードを提供すれば、コンピュータを用いて本発明の利用者認証システムを構築することができる。
【００２２】
【発明の実施の形態】
本発明のデータ検索システムについて図面を参照しつつ説明する。なお、以下の実施形態において、データの一例として画像データを挙げて説明しているが、データは画像データに限らず、音声データやテキストデータなど特徴量を抽出し得るものであれば良い。
【００２３】
（実施形態１）
実施形態１のデータ検索システムは、データを取得し、そのデータの特徴量に応じて表示画面上に分類配置し、表示の際に各データに対して当該位置に分類配置された根拠情報を付し、データの分類配置結果を表示するものである。
【００２４】
図１が本発明のデータ検索システムの概略構成を示す図である。
【００２５】
１０はデータ取得部である。分類配置対象となるデータをあらかじめ取得・格納しておくものでも良く、また、データ検索処理能力を持ち、検索条件に沿ってデータベースからデータを検索・格納するものでも良い。ここでは後者のタイプとして説明する。データ取得部１０は、データ検索処理能力を持ち、データベース１５にアクセスし、所定の検索アルゴリズムに従って、検索条件に沿ってデータを検索・取得する。なお、データベース１５は、本発明のデータ検索システム内に備えられたものでも良く、外部のデータベース、例えば、インターネットを介して接続された外部のデータベースであっても良い。図１では、データ検索システム内に備えられている例を示している。なお、外部のデータベースを利用する場合、データ取得部１０は、外部のデータベースを管理するデータ検索エンジンに対して、検索条件を示してデータの検索を依頼し、検索されたデータを受け取るものでも良い。
【００２６】
検索条件は検索条件入力部１１を介して利用者から入力され、検索条件としては、特徴量を検索キーとして与えるもので良く、さらに、テキスト情報を検索キーとして併用するものでも良い。
【００２７】
２０は分類配置部であり、データ取得部１０に取得されているデータをその特徴量に応じて表示画面上に分類配置する。本発明のデータ検索システムにおいては、分類配置部２０が用いる分類配置のアルゴリズムは様々なものを適用することができる。一例として、自己組織化マッピングアルゴリズムを用いることができる。
【００２８】
自己組織化マップ技術は、ニューロ技術を応用した分類技術の一つで、局所相互作用を利用して、学習により自己組織化をおこなうものである。この手法をデータの分類配置に応用すれば、マッピング空間上でデータの注目している特徴量が近いと思われるものが近くになるように配置することが出来る。このように、注目している特徴量が近いデータ同士が近くに配置されることにより、データ検索システム利用者はデータ配置を一覧することが容易となり、データ分類配置の様子が分かりやすくなる。
【００２９】
３０は根拠情報付与部であり、それぞれのデータに対して当該データが所定位置に分類配置された根拠を可視化した根拠情報を付す。
【００３０】
根拠情報は、データ検索システムの利用者に対して、当該データがそこに分類配置された根拠を端的に分かりやすく可視化した情報であることが好ましい。根拠情報の一例は、分類配置に用いた特徴量情報とそのデータが持つ特徴量の分布情報を示すラベル情報である。さらにラベル情報として様々なラベル情報が考えられる。
【００３１】
ラベル情報の一例は、データが画像データであり、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたものである。図２は、データを画像データとし、根拠情報として、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたラベル情報を画像データに付した例を示す図である。図２に見るように、画像データ２０１に対してキャプションのように色ヒストグラムラベル情報２０２が付されている。この例では簡単に画像データ２０１は３つの色領域部分を持ち、図示したような比率の色ヒストグラムを持っている。このように、各画像データに色ヒストグラムラベル情報２０２を付しておくことにより、画像データ検索システム利用者は、画像データ中の色情報が画像データ検索および画像データ分類配置結果に与える影響を容易に把握できる。
【００３２】
ラベル情報の他の例は、データが画像データであり、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたものである。ウェーブレット変換を利用すれば、画像データにおいて、縦、横、斜めのそれぞれの方向に関して、周波数成分を抽出することができる。図３は、根拠情報として、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたラベル情報を画像データに付した例を示す図である。図３に見るように、画像データ２０１に対してキャプションのようにウェーブレット変換特徴量ラベル情報２０３が付されている。
【００３３】
図３に示したウェーブレット変換特徴量ラベル情報２０３は３つの部分に分かれている。それぞれ、縦方向の周波数分布情報２０３ａ、横方向の周波数分布情報２０３ｂ、斜め方向の周波数分布情報２０３ｃである。これら３つの周波数分布情報２０３ａ〜ｃは、周波数を横軸としており、左側が低周波成分、右側が高周波成分をあらわしている。ウェーブレット変換により周波数変換した場合、周波数成分情報とともに位置情報を保持できるため、例えば低周波成分がどこにどれくらい存在しているかなどといった情報を調べることが出来る。このように、各画像データにウェーブレット変換特徴量ラベル情報２０３を付しておくことにより、データ検索システム利用者は、画像データ中の縦、横、斜め方向における周波数成分、つまり、画像部分の縦、横、斜めの各方向における形状、変化の細かさなどの情報が、画像データ検索および画像データ分類配置結果に与える影響を容易に把握できる。
【００３４】
ラベル情報の他の例は、データが画像データであり、特徴量情報が色情報であり、特徴量の分布情報が代表色情報とした代表色ラベル情報である。代表色を一色のみとしても良いし、２色、３色など複数としても良い。それら代表色の色ヒストグラムをラベル情報としても良い。代表色が一色のみの場合は、特徴量の分布情報が当該色１つのみとなり、代表色が複数の場合は、特徴量の分布情報が当該複数色の比を示すこととなる。ここで、代表色とは、画像データを代表する色である。根拠情報付与部３０が代表色を決めるアルゴリズムは多様なものを採用することが可能である。例えば、単純に色領域の大きさが抽出できる場合には、最も領域の大きな色を代表色とすることができる。
【００３５】
また、画像データ中、色領域がディザ状になっている場合などでは画像データ中の色集約度などを算出し、色領域の塊を見つけるというアルゴリズムを採用することができる。また、このように根拠情報付与部３０が選定した代表色を人手で確認し、代表色を選定し直すことも可能である。このように、代表色ラベル情報を画像データに付しておくことにより、データ検索システム利用者は、画像データが含む概ねの色情報の傾向を知ることができ、画像データの色合いを手掛かりとして画像データ検索処理を実行することができる。
【００３６】
ラベル情報の他の例は、データが画像データであり、特徴量情報が、画像データ中におけるエッジ情報であり、特徴量の分布情報が、エッジ部分の方向を要素としたヒストグラム情報としたものである。このエッジヒストグラムラベル情報によって、画像データ中に含まれるエッジが、縦、横、斜めの８方向のどちら方向を向いているものが多いのかという情報を表示することが可能となる。
【００３７】
４０は表示部であり、分類配置部２０から得られた分類配置情報に従い、各データを対応する根拠情報とともに表示する。
【００３８】
なお、図１のデータ検索システムの概略構成において、通信インタフェースやその他のデバイスなどは説明の便宜上、図示を省略している。
【００３９】
次に、本発明のデータ検索システムを用いたデータ検索の処理の流れを示す。なお、データとして画像データを例に挙げて説明する。
【００４０】
図４は、本発明のデータ検索システムを用いたデータ検索処理の流れの一例を示すフローチャートである。
【００４１】
なお、以下の例は、データ取得部１０が、データ検索処理能力を持ち、データの取得にあたり、データの検索処理が実行される例である。分類配置対象となるデータがあらかじめデータ取得部１０内に取得されている場合には、かかる処理ステップは必要ない。
【００４２】
まず、前処理として、データベース１５に格納する画像データから所定の特徴量に関する分布情報を抽出しておく。これらは後述するデータの検索処理、分類配置処理において用いるものであり、例えば、色ヒストグラム情報、ウェーブレット変換特徴量情報、代表色情報、エッジヒストグラム情報などである。
【００４３】
利用者は、データ取得部１０に対して、検索条件入力部１１を介して画像データの検索条件を入力する（ステップＳ４０１）。検索条件としては、所望の画像の特徴の内容を示すキーワードや、利用したい特徴量の種別とそのパラメータなど多様なものが有り得る。ここでは例えば、利用したい特徴量の種別として色情報を指定し、“青色”をパラメータとして与える。
【００４４】
次に、データ取得部１０は、入力された検索条件に従い、画像データをデータベース１５から検索する（ステップＳ４０２）。データ取得部１０は、検索結果として得られた画像データを分類配置部２０に渡す。
【００４５】
次に、分類配置部２０は、データ取得部１０から渡された画像データを分類配置する（ステップＳ４０３）。分類配置は、１次元に並べるだけでなく、自己組織化マップなどの手法を用いて、２次元、３次元に分類配置することも可能である。なお、このステップＳ４０３の分類配置の特徴は、ステップＳ４０１で検索条件として用いた特徴量やパラメータなどを分類配置の際の特徴量として用いることも可能であり、また、ステップＳ４０１で検索条件として用いた特徴量やパラメータなどとは別の特徴量を用いることも可能である。前者の場合であれば、分類配置部２０は、データ取得部１０の検索条件入力部１１から入力された検索条件として用いた特徴量やパラメータなどを受け取り、分類配置用の特徴量として用いる。後者の場合であれば、このステップＳ４０３において、利用者などから分類配置用の特徴量の指定を受け付けるか、あらかじめ分類配置用の特徴量を決めておく。
【００４６】
次に、根拠情報付与部３０は、各画像データごとに検索処理、分類配置処理に用いた特徴量を基に根拠情報を作成して画像データに付与する（ステップＳ４０４）。例えば、特徴量として色情報が用いられている場合には、色ヒストグラムラベル情報を作成して各画像データに付与する。
【００４７】
次に、表示部４０は、画像データと当該画像データに付与された根拠情報とを併せて分類配置位置に並べて表示する（ステップＳ４０５）。
【００４８】
図５は、分類配置された画像データの表示例を示す図である。この例は、画像データに色ヒストグラムラベル情報が根拠情報として付与されている場合の分類配置例である。画像データは簡単に９つのみを模式化して示している。図５に示すように各画像データの下側には色ヒストグラム情報を表わすラベル情報が付与されている。データ検索システム利用者は、このラベル情報を参考にすることにより、各画像データの検索結果、分類配置結果において各色領域の割り合いが与える影響を概ね把握することができる。
【００４９】
図６は、分類配置された画像データの別の表示例を示す図である。この例は、画像データに対してウェーブレット変換周波数成分の分布情報を表わすウェーブレット変換特徴量ラベル情報が根拠情報として付与されている場合の分類配置例である。画像データは簡単に９つのみを模式化して示している。図６に示すように各画像データの下側にはウェーブレット変換特徴量ラベル情報が付与されている。ウェーブレット変換特徴量ラベル情報中の３つの区分のうち、左側が縦方向の周波数成分分布、中側が横方向の周波数成分分布、右側が斜め方向の周波数成分分布を示している。データ検索システム利用者は、このラベル情報を参考にすることにより、各画像データの検索結果、分類配置結果において各方向の周波数成分分布が与える影響を概ね把握することができる。
【００５０】
以上、本実施形態１に示すデータ検索システムは、検索結果として分類配置された各画像データに、分類配置の根拠情報が併せて表示することができ、利用者は、色ヒストグラムラベル情報、ウェーブレット変換特徴量ラベル情報、代表色ラベル情報、エッジヒストグラムラベル情報などの根拠情報を見れば、その画像データの特徴量がどのようなものであり、画像データ検索処理内容が如何なるものであったか、また、どのような基準で当該画像データがその位置に配置されているのかが容易に把握できる。
【００５１】
（実施形態２）
実施形態２にかかるデータ検索システムは、実施形態１に示したデータ検索システムをさらに改良したものであり、表示部に表示されたデータを再検索する場合の工夫を盛り込んだものであり、表示部に表示されている根拠情報またはその一部分の情報、または、根拠情報の一部分を変更して得た情報を、再検索情報として受け付け、再検索処理を実行するものである。
【００５２】
なお、本実施形態２においても、データ取得部１０がデータ検索処理能力を持ち、データベース１５からデータ検索を行ってデータを取得する場合の構成を挙げる。
【００５３】
実施形態２のデータ検索システムの概略構成図は、図１と同様で良いが、検索条件入力部１１における処理が異なる。実施形態２の検索条件入力部１１は、後述する再検索条件の入力が可能なものである。実施形態２の検索条件入力部１１は、データに付された根拠情報を利用した簡単かつ柔軟な再検索条件の入力ができるものである。
【００５４】
例えば、実施形態１と同様、データを画像データとし、図２に示した色ヒストグラムラベル情報を利用した再検索条件入力の様子を図７に示す。図７に示すように、表示画面中のある画像データの色ヒストグラムラベル情報のある色要素をマウスなどのポインティングデバイスのカーソル２１０でクリックすると、検索条件入力部１１は、再検索条件として当該色情報がパラメータとして指定されたと認識する。なお、併せて再検索の処理区分の入力も可能とする。
【００５５】
「検索やり直し」の処理区分を指定して、再検索条件として色情報を与えれば、当該色情報を検索キーとして、データ取得部１０がデータベース１５に対して再度アクセスを行い、画像データを再検索する。例えば、再検索前において「青」の色情報が検索キーとして分類配置されており、「検索やり直し」において「赤」の色情報が検索キーとして与えられれば、データベース１５から「赤」を代表色として持つ画像データなどが再検索・再取得され、分類配置部２０により分類配置されることとなる。
【００５６】
「検索絞り込み」の処理区分を指定して、再検索条件として色情報を与えれば、現時点で、データ取得部１０に得られている画像データに対して、さらに当該色情報を検索キーとして絞り込み検索を行う。例えば、再検索前において「青」の色情報が検索キーとして分類配置されており、「検索絞り込み」において「赤」の色情報が検索キーとして与えられれば、分類配置されている画像データのうち、「青」および「赤」の両方の色情報を多く含む画像データが絞り込まれることとなる。
【００５７】
「再分類配置」を指定して再検索条件として色情報を与えれば、現在得られている画像データを基に、当該色情報をパラメータとして再度、分類配置をやり直す。再分類配置の処理方法には多数の方法が想定できる。第１の処理方法は、再分類配置に指定された情報以外の情報を無視して、分類配置そのものをやり直す方法である。例えば、再分類配置前において「青」の色情報を基に分類配置されており、第１の処理方法を用いて「赤」の色情報を基に再分類配置を実行すると、再分類配置に用いる画像データは再分類配置前の画像データと同じであるが、再分類配置では「青」の色情報は無視され、「赤」の色情報を基にした新しい分類配置が行われる。第２の処理方法は、再分類配置前の分類配置の結果を引き継いで、再分類配置に指定された情報を加えて分類配置する方法である。例えば、再分類配置前において「青」の色情報を基に分類配置されており、第２の処理方法を用いて「赤」の色情報を基に再分類配置を実行すると、再分類配置に用いる画像データは再分類配置前の画像データと同じであり、再分類配置前の「青」の色情報に基づく分類配置結果について、さらに「赤」の色情報を基にした分類配置を実行する。この場合、「青」の色情報に基づく分類配置結果は全体としてあまり変化しないが、その中で「赤」の色情報を多く持つ画像データが一まとめに分類配置される。
【００５８】
なお、オプションとして、再分類配置前の分類配置画面において特定の画像を指定して位置を固定して再分類配置後、同じ位置に配置されるように指定したり、再分類配置後は中央に配置されるように指定したりすることができる。
【００５９】
再分類配置の一例を図で示す。例えば、ある検索条件による検索処理が実行され、分類配置結果として、図５の色ヒストグラムラベル情報を持つ画像データが表示されているとする。ここで、利用者は図５の分類配置結果を見て、これら画像データのうち、今度は赤い色（図５、図８では赤色領域を縦線のハッチングで示している。）に注目して再分類配置したいと考えたとする。ここで、マウスなどのポインティングデバイスのカーソル２１０で、色ヒストグラムラベル情報中の赤色要素をクリックし、上記第１の再分類配置処理方法による「再分類配置」を指定すると、図５に示す画像データの分類配置が、図８に示すように再分類配置される。
【００６０】
なお、図９に示すように、表示画面中のある画像データの色ヒストグラムラベル情報の色要素間の境界線をドラグして移動させることにより、色ヒストグラム情報を変更して、再検索条件として指定することも可能である。この場合、再検索条件として指定された色ヒストグラム情報を持つ画像データ、当該色ヒストグラム情報に対するマッチング度合いが高い所定数の画像データが検索される。
【００６１】
他の例を示す。図３に示したウェーブレット変換特徴量ラベル情報を利用した再検索条件入力の様子を図１０に示す。図１０に示すように、表示画面中のある画像データのウェーブレット変換特徴量ラベル情報のある方向の周波数成分分布をマウスなどのポインティングデバイスのカーソル２１０でクリックすると、検索条件入力部１１は、再検索条件として当該方向に関する周波数成分分布がパラメータとして指定されたと認識する。併せて再検索の処理区分の入力も可能であり、「検索やり直し」の処理区分や「検索絞り込み」の処理区分や「再分類配置」の処理区分の指定が可能である。今、ある検索条件による検索処理が実行され、分類配置結果が表示されているとする。例えば、図６のウェーブレット変換特徴量ラベル情報を持つ画像データが表示されているとする。例えば、利用者は図６の分類配置結果を見て、これら画像データのうち、今度は縦方向の周波数成分に注目して再分類配置したいと考えたとする。ここで、マウスなどのポインティングデバイスのカーソル２１０で、ウェーブレット変換特徴量ラベル情報中の縦方向の周波数成分をクリックし、「再分類配置」を指定すると、図６に示す画像データの分類配置が、図１１に示すように再分類配置される。
【００６２】
また、図１２に示すように、表示画面中のある画像データのウェーブレット変換特徴量ラベル情報の周波数成分の包絡線をドラグして変形することにより、ウェーブレット変換特徴量ラベル情報を変更して、再検索条件として指定することも可能である。この場合、再検索条件として指定されたウェーブレット変換周波数成分を持つ画像データ、当該ウェーブレット変換周波数成分に対するマッチング度合いが高い所定数の画像データが検索される。
【００６３】
このように、画像データの表示結果を見て、根拠情報により現在の検索処理、分類配置処理の内容を把握し、さらに、ラベル情報を用いて次の検索条件を適切かつ柔軟に指定することができる。
【００６４】
（実施形態３）
本発明のデータ検索システムは、上記に説明した構成を実現する処理ステップを記述したプログラムを提供することにより、各種コンピュータを用いて構築することができる。本発明のデータ検索システムを実現する処理ステップを備えたプログラムをコンピュータにロードする方法は、当該プログラムを記録した記録媒体をコンピュータに読み取らせることでも良く、また、ネットワーク上からダウンロードすることでも良い。例えば、図１３に図示したように、ＣＤ−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬型記録媒体３０１をコンピュータ３０４に読み取らせたり、ネットワーク上にある記録装置内の記録媒体３００からネットワークを介してダウンロードすることができる。また、当初からコンピュータ３０４内のハードディスクやＲＡＭ等の記録媒体３０５に格納していても良い。当該データ検索システムを実現する処理プログラムは、プログラム実行時にコンピュータ３０４上にローディングされ、主メモリ上で実行される。
【００６５】
なお、本発明のデータ検索システムは、上記の発明の概念から逸脱することなく、上記の方法及び装置に種々の変更及び変形を成し得ることが理解されよう。従って、本発明は上記実施形態に限定されるものではないことに注意する必要がある。
【００６６】
【発明の効果】
本発明のデータ検索システムによれば、検索結果として分類配置された各データに、分類配置の根拠情報が併せて表示されることとなり、利用者が当該根拠情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが容易に把握できる。
【００６７】
また、本発明のデータ検索システムによれば、再検索を実行する際、データ検索結果を踏まえ、データ検索で用いた特徴量の特定の要素、例えば、特定の色情報、特定の周波数成分などを直接、後続のデータ検索におけるデータ検索キーとして用いたり、データ検索に用いたい根拠情報または根拠情報の一部の情報を指定し、または根拠情報の一部の情報を変更した上で再データ検索における検索キーとして用いることができ、適切かつ柔軟に再検索条件の設定が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態１のデータ検索システムの概略構成を示す図
【図２】 根拠情報として、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたラベル情報を画像データに付した例を示す図
【図３】 根拠情報として、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたラベル情報を画像データに付した例を示す図
【図４】 本発明のデータ検索システムを用いたデータ検索処理の流れの一例を示すフローチャート
【図５】 本発明のデータ検索システムにより分類配置された画像データの表示例を示す図
【図６】 本発明のデータ検索システムにより分類配置された画像データの別の表示例を示す図
【図７】 図２に示した色ヒストグラムラベル情報を利用した再検索条件入力の様子を示す図
【図８】 図５に示す画像データの分類配置が再分類配置される様子を示す図
【図９】 図２に示した色ヒストグラムラベル情報の色要素間の境界線をドラグして移動させて色ヒストグラム情報を変更し、再検索条件として指定する様子を示す図
【図１０】 図３に示したウェーブレット変換特徴量ラベル情報を利用した再検索条件入力の様子を示す図
【図１１】 図６に示す画像データの分類配置が再分類配置される様子を示す図
【図１２】 図３に示したウェーブレット変換特徴量ラベル情報の周波数成分の包絡線をドラグして変形し、再検索条件として指定する様子を示す図
【図１３】 本発明のデータ検索システムを実現する処理ステップのプログラムをコンピュータにロードする様子を示す図
【符号の説明】
１０ データ取得部
１１ 検索条件入力部
１５ データベース
２０ 分類配置部
３０ 根拠情報付与部
４０ 表示部
２０１ 画像データ
２０２ 色ヒストグラムラベル情報
２０３ ウェーブレット変換特徴量ラベル情報
２０３ａ ウェーブレット変換の縦方向の周波数分布情報
２０３ｂ ウェーブレット変換の横方向の周波数分布情報
２０３ｃ ウェーブレット変換の斜め方向の周波数分布情報
３００ ネットワーク上にある記録装置内の記録媒体
３０１ 可搬型記録媒体
３０２ ＣＤ−ＲＯＭ
３０３ フレキシブルディスク
３０４ コンピュータ
３０５ コンピュータのハードディスクやＲＡＭ等の記録媒体
【発明の属する技術分野】
本発明は、大量のデータの中から目的のデータを柔軟かつ効率良く検索するデータ検索システムおよび方法に関する。
【０００２】
【従来の技術】
従来、大量のデータの中から目的とするデータを検索する方法としては、データを説明するテキスト情報を検索キーとして利用して検索処理を実行する方法と、データ中の特徴量を検索キーとして利用して検索処理を実行する方法が知られている。
【０００３】
前者のテキスト情報を検索キーとして利用する方法に関しては、第１に検索精度に問題があった。つまり、データを的確に示すテキスト情報を付与することは容易ではないため、データに付与されたテキスト情報が不十分である場合が多い。この場合、利用者が指定したテキスト情報を検索キーとした検索処理では目的とするデータの検索に手間取り、検索精度が向上しないという問題があった。第２に前処理に時間がかかるという問題があった。つまり、各データに当該データを的確に表わすテキスト情報を自動付与することは一般には困難であり、現状、自動付与が適正であるか人手による確認を必要としたり、人手によりテキスト情報を追加付与するという作業を行わざるを得ない場合が多く、前処理に相当の時間がかかっているのが現状である。
【０００４】
そこで、後者の、データ中の特徴量を検索キーとして利用して検索処理を実行する方法が注目されている。従来技術における、特徴量を検索キーとして利用した検索処理では、検索に用いる特徴量に注目し、各データが持つ特徴量を評価することにより、特徴量が類似したデータを見つけ出す方法が開発されている。
【０００５】
【発明が解決しようとする課題】
しかし、従来技術における、特徴量を検索キーとして利用するデータ検索処理には以下の問題があった。
【０００６】
人間の主観も加え、人間の認識の感覚を数値化することは困難であり、目的のデータを特定するためにどのような特徴量を用いても、人間の感覚にぴったり合う特徴量はないため、目的とするデータを特定するための最適な特徴量を決めることは困難である。そのため、試行錯誤的に何らかの特徴量を検索キーとして与え、データ検索を取り敢えず実行することが多い。この場合、検索結果の中に、なぜそのようなデータが検索結果として表示されているのかが理解しづらい場合も多い。テキスト情報を検索キーとして利用する検索の場合は、データの中に当該テキスト情報をキーワードとする要素が含まれているかどうかを判断しやすく、ある程度検索結果は理解し易い。
【０００７】
また、試行錯誤的にデータ検索を続行して行くにあたり、テキスト情報を検索キーとして利用する検索の場合は、用いられたテキスト情報とその検索結果に基づいて、次の検索キーとして与えるテキスト情報を想起することも比較的容易である。しかし、特徴量を検索キーとして利用する方法においては、上記のごとく、再検索においても目的とするデータを特定するための最適な特徴量を決めることは困難である。どのような特徴量を与えて試行すれば良いのか経験的に把握することは難しい。
【０００８】
本発明は、特徴量を検索キーとして利用するデータ検索処理において、検索結果となったデータが抽出された根拠を分かりやすく表示し、検索処理の内容を概ね把握でき、再検索において与える特徴量の選定を容易としたデータ検索システム、データ検索方法およびデータ検索システムを実現する処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明のデータ検索システムは、データを取得するデータ取得部と、前記データ取得部のデータを特徴量に応じて表示画面上に分類配置する分類配置部と、各データに対し、前記分類配置部が当該データを分類配置した根拠を可視化した根拠情報を付す根拠情報付与部と、前記分類配置部からの分類配置情報に従い、各データを対応する根拠情報とともに表示する表示部とを備えたことを特徴とする。
【００１０】
上記構成により、検索結果として分類配置された各データに、分類配置の根拠情報が併せて表示されることとなり、根拠情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが一目で把握しやすくなる。
【００１１】
次に、上記構成において、前記表示部に表示されている根拠情報またはその一部分の情報、または、根拠情報の一部分を変更して得た情報を、再検索情報として受け付け、再検索処理を実行することが好ましい。
【００１２】
上記構成により、再検索を実行する際、データ検索結果を踏まえ、根拠情報として表示されている情報、例えば、色ヒストグラム情報中の特定の色情報、特定の周波数成分、根拠情報の一部分を変更して得た情報などを、後続のデータ検索におけるデータ検索キーとして用いることができる。
【００１３】
次に、上記構成において、前記分類配置部が、データの分類配置処理において、前記特徴量が近いデータ同士を近くに配置するように自己組織化マッピング処理を実行することが好ましい。
【００１４】
上記構成により、データ検索の結果、データ検索に用いた特徴量が近いもの同士が近くに配置されることとなり、検索結果の一覧性が向上し、検索結果の内容を把握しやすくなる。
【００１５】
次に、上記構成において、前記根拠情報が、前記分類配置に用いた特徴量情報とそのデータが持つ前記特徴量の分布情報を示すラベル情報であることが好ましい。
【００１６】
上記構成により、検索結果として分類配置された各データにラベル情報が併せて表示されることとなり、ラベル情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが容易に把握できる。
【００１７】
なお、前記データが画像データであり、前記ラベル情報の特徴量情報を色情報とし、特徴量の分布情報を色ヒストグラム情報とすれば、画像データ検索の結果、選ばれた画像データの色に関する情報を俯瞰することができ、画像データ検索処理の内容を把握しやすく、また、色ヒストグラムの要素比を調整するなど、再検索に用いる特徴量を与える手掛かりが得られる。
【００１８】
また、前記データが画像データであり、前記ラベル情報の特徴量情報をウェーブレット変換特徴量情報とし、特徴量の分布情報を周波数成分の分布情報とすれば、画像データ検索の結果、選ばれた画像データの画像の周波数成分の情報を俯瞰することができ、画像データ検索処理の内容を把握しやすく、また、特定の周波数成分量に注目するなど、再検索に用いる特徴量を与える手掛かりが得られる。
【００１９】
また、前記データが画像データであり、前記ラベル情報の特徴量情報を画像データ中におけるエッジ情報とし、特徴量の分布情報を画像データ中のエッジ部分の方向を要素としたヒストグラム情報とすれば、画像データ中に含まれるエッジが、縦、横、斜めの８方向のどちら方向を向いているものが多いのかという情報を表示することが可能となる。
【００２０】
また、前記データが画像データであり、前記ラベル情報の特徴量情報を色情報とし、特徴量の分布情報を代表色情報とすれば、画像データが含む概ねの色情報の傾向を知ることができ、画像データの色合いを手掛かりとして画像データ検索処理を実行することができる。
【００２１】
なお、本発明のデータ検索システムを実現する処理ステップを備えた処理プログラムコードを提供すれば、コンピュータを用いて本発明の利用者認証システムを構築することができる。
【００２２】
【発明の実施の形態】
本発明のデータ検索システムについて図面を参照しつつ説明する。なお、以下の実施形態において、データの一例として画像データを挙げて説明しているが、データは画像データに限らず、音声データやテキストデータなど特徴量を抽出し得るものであれば良い。
【００２３】
（実施形態１）
実施形態１のデータ検索システムは、データを取得し、そのデータの特徴量に応じて表示画面上に分類配置し、表示の際に各データに対して当該位置に分類配置された根拠情報を付し、データの分類配置結果を表示するものである。
【００２４】
図１が本発明のデータ検索システムの概略構成を示す図である。
【００２５】
１０はデータ取得部である。分類配置対象となるデータをあらかじめ取得・格納しておくものでも良く、また、データ検索処理能力を持ち、検索条件に沿ってデータベースからデータを検索・格納するものでも良い。ここでは後者のタイプとして説明する。データ取得部１０は、データ検索処理能力を持ち、データベース１５にアクセスし、所定の検索アルゴリズムに従って、検索条件に沿ってデータを検索・取得する。なお、データベース１５は、本発明のデータ検索システム内に備えられたものでも良く、外部のデータベース、例えば、インターネットを介して接続された外部のデータベースであっても良い。図１では、データ検索システム内に備えられている例を示している。なお、外部のデータベースを利用する場合、データ取得部１０は、外部のデータベースを管理するデータ検索エンジンに対して、検索条件を示してデータの検索を依頼し、検索されたデータを受け取るものでも良い。
【００２６】
検索条件は検索条件入力部１１を介して利用者から入力され、検索条件としては、特徴量を検索キーとして与えるもので良く、さらに、テキスト情報を検索キーとして併用するものでも良い。
【００２７】
２０は分類配置部であり、データ取得部１０に取得されているデータをその特徴量に応じて表示画面上に分類配置する。本発明のデータ検索システムにおいては、分類配置部２０が用いる分類配置のアルゴリズムは様々なものを適用することができる。一例として、自己組織化マッピングアルゴリズムを用いることができる。
【００２８】
自己組織化マップ技術は、ニューロ技術を応用した分類技術の一つで、局所相互作用を利用して、学習により自己組織化をおこなうものである。この手法をデータの分類配置に応用すれば、マッピング空間上でデータの注目している特徴量が近いと思われるものが近くになるように配置することが出来る。このように、注目している特徴量が近いデータ同士が近くに配置されることにより、データ検索システム利用者はデータ配置を一覧することが容易となり、データ分類配置の様子が分かりやすくなる。
【００２９】
３０は根拠情報付与部であり、それぞれのデータに対して当該データが所定位置に分類配置された根拠を可視化した根拠情報を付す。
【００３０】
根拠情報は、データ検索システムの利用者に対して、当該データがそこに分類配置された根拠を端的に分かりやすく可視化した情報であることが好ましい。根拠情報の一例は、分類配置に用いた特徴量情報とそのデータが持つ特徴量の分布情報を示すラベル情報である。さらにラベル情報として様々なラベル情報が考えられる。
【００３１】
ラベル情報の一例は、データが画像データであり、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたものである。図２は、データを画像データとし、根拠情報として、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたラベル情報を画像データに付した例を示す図である。図２に見るように、画像データ２０１に対してキャプションのように色ヒストグラムラベル情報２０２が付されている。この例では簡単に画像データ２０１は３つの色領域部分を持ち、図示したような比率の色ヒストグラムを持っている。このように、各画像データに色ヒストグラムラベル情報２０２を付しておくことにより、画像データ検索システム利用者は、画像データ中の色情報が画像データ検索および画像データ分類配置結果に与える影響を容易に把握できる。
【００３２】
ラベル情報の他の例は、データが画像データであり、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたものである。ウェーブレット変換を利用すれば、画像データにおいて、縦、横、斜めのそれぞれの方向に関して、周波数成分を抽出することができる。図３は、根拠情報として、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたラベル情報を画像データに付した例を示す図である。図３に見るように、画像データ２０１に対してキャプションのようにウェーブレット変換特徴量ラベル情報２０３が付されている。
【００３３】
図３に示したウェーブレット変換特徴量ラベル情報２０３は３つの部分に分かれている。それぞれ、縦方向の周波数分布情報２０３ａ、横方向の周波数分布情報２０３ｂ、斜め方向の周波数分布情報２０３ｃである。これら３つの周波数分布情報２０３ａ〜ｃは、周波数を横軸としており、左側が低周波成分、右側が高周波成分をあらわしている。ウェーブレット変換により周波数変換した場合、周波数成分情報とともに位置情報を保持できるため、例えば低周波成分がどこにどれくらい存在しているかなどといった情報を調べることが出来る。このように、各画像データにウェーブレット変換特徴量ラベル情報２０３を付しておくことにより、データ検索システム利用者は、画像データ中の縦、横、斜め方向における周波数成分、つまり、画像部分の縦、横、斜めの各方向における形状、変化の細かさなどの情報が、画像データ検索および画像データ分類配置結果に与える影響を容易に把握できる。
【００３４】
ラベル情報の他の例は、データが画像データであり、特徴量情報が色情報であり、特徴量の分布情報が代表色情報とした代表色ラベル情報である。代表色を一色のみとしても良いし、２色、３色など複数としても良い。それら代表色の色ヒストグラムをラベル情報としても良い。代表色が一色のみの場合は、特徴量の分布情報が当該色１つのみとなり、代表色が複数の場合は、特徴量の分布情報が当該複数色の比を示すこととなる。ここで、代表色とは、画像データを代表する色である。根拠情報付与部３０が代表色を決めるアルゴリズムは多様なものを採用することが可能である。例えば、単純に色領域の大きさが抽出できる場合には、最も領域の大きな色を代表色とすることができる。
【００３５】
また、画像データ中、色領域がディザ状になっている場合などでは画像データ中の色集約度などを算出し、色領域の塊を見つけるというアルゴリズムを採用することができる。また、このように根拠情報付与部３０が選定した代表色を人手で確認し、代表色を選定し直すことも可能である。このように、代表色ラベル情報を画像データに付しておくことにより、データ検索システム利用者は、画像データが含む概ねの色情報の傾向を知ることができ、画像データの色合いを手掛かりとして画像データ検索処理を実行することができる。
【００３６】
ラベル情報の他の例は、データが画像データであり、特徴量情報が、画像データ中におけるエッジ情報であり、特徴量の分布情報が、エッジ部分の方向を要素としたヒストグラム情報としたものである。このエッジヒストグラムラベル情報によって、画像データ中に含まれるエッジが、縦、横、斜めの８方向のどちら方向を向いているものが多いのかという情報を表示することが可能となる。
【００３７】
４０は表示部であり、分類配置部２０から得られた分類配置情報に従い、各データを対応する根拠情報とともに表示する。
【００３８】
なお、図１のデータ検索システムの概略構成において、通信インタフェースやその他のデバイスなどは説明の便宜上、図示を省略している。
【００３９】
次に、本発明のデータ検索システムを用いたデータ検索の処理の流れを示す。なお、データとして画像データを例に挙げて説明する。
【００４０】
図４は、本発明のデータ検索システムを用いたデータ検索処理の流れの一例を示すフローチャートである。
【００４１】
なお、以下の例は、データ取得部１０が、データ検索処理能力を持ち、データの取得にあたり、データの検索処理が実行される例である。分類配置対象となるデータがあらかじめデータ取得部１０内に取得されている場合には、かかる処理ステップは必要ない。
【００４２】
まず、前処理として、データベース１５に格納する画像データから所定の特徴量に関する分布情報を抽出しておく。これらは後述するデータの検索処理、分類配置処理において用いるものであり、例えば、色ヒストグラム情報、ウェーブレット変換特徴量情報、代表色情報、エッジヒストグラム情報などである。
【００４３】
利用者は、データ取得部１０に対して、検索条件入力部１１を介して画像データの検索条件を入力する（ステップＳ４０１）。検索条件としては、所望の画像の特徴の内容を示すキーワードや、利用したい特徴量の種別とそのパラメータなど多様なものが有り得る。ここでは例えば、利用したい特徴量の種別として色情報を指定し、“青色”をパラメータとして与える。
【００４４】
次に、データ取得部１０は、入力された検索条件に従い、画像データをデータベース１５から検索する（ステップＳ４０２）。データ取得部１０は、検索結果として得られた画像データを分類配置部２０に渡す。
【００４５】
次に、分類配置部２０は、データ取得部１０から渡された画像データを分類配置する（ステップＳ４０３）。分類配置は、１次元に並べるだけでなく、自己組織化マップなどの手法を用いて、２次元、３次元に分類配置することも可能である。なお、このステップＳ４０３の分類配置の特徴は、ステップＳ４０１で検索条件として用いた特徴量やパラメータなどを分類配置の際の特徴量として用いることも可能であり、また、ステップＳ４０１で検索条件として用いた特徴量やパラメータなどとは別の特徴量を用いることも可能である。前者の場合であれば、分類配置部２０は、データ取得部１０の検索条件入力部１１から入力された検索条件として用いた特徴量やパラメータなどを受け取り、分類配置用の特徴量として用いる。後者の場合であれば、このステップＳ４０３において、利用者などから分類配置用の特徴量の指定を受け付けるか、あらかじめ分類配置用の特徴量を決めておく。
【００４６】
次に、根拠情報付与部３０は、各画像データごとに検索処理、分類配置処理に用いた特徴量を基に根拠情報を作成して画像データに付与する（ステップＳ４０４）。例えば、特徴量として色情報が用いられている場合には、色ヒストグラムラベル情報を作成して各画像データに付与する。
【００４７】
次に、表示部４０は、画像データと当該画像データに付与された根拠情報とを併せて分類配置位置に並べて表示する（ステップＳ４０５）。
【００４８】
図５は、分類配置された画像データの表示例を示す図である。この例は、画像データに色ヒストグラムラベル情報が根拠情報として付与されている場合の分類配置例である。画像データは簡単に９つのみを模式化して示している。図５に示すように各画像データの下側には色ヒストグラム情報を表わすラベル情報が付与されている。データ検索システム利用者は、このラベル情報を参考にすることにより、各画像データの検索結果、分類配置結果において各色領域の割り合いが与える影響を概ね把握することができる。
【００４９】
図６は、分類配置された画像データの別の表示例を示す図である。この例は、画像データに対してウェーブレット変換周波数成分の分布情報を表わすウェーブレット変換特徴量ラベル情報が根拠情報として付与されている場合の分類配置例である。画像データは簡単に９つのみを模式化して示している。図６に示すように各画像データの下側にはウェーブレット変換特徴量ラベル情報が付与されている。ウェーブレット変換特徴量ラベル情報中の３つの区分のうち、左側が縦方向の周波数成分分布、中側が横方向の周波数成分分布、右側が斜め方向の周波数成分分布を示している。データ検索システム利用者は、このラベル情報を参考にすることにより、各画像データの検索結果、分類配置結果において各方向の周波数成分分布が与える影響を概ね把握することができる。
【００５０】
以上、本実施形態１に示すデータ検索システムは、検索結果として分類配置された各画像データに、分類配置の根拠情報が併せて表示することができ、利用者は、色ヒストグラムラベル情報、ウェーブレット変換特徴量ラベル情報、代表色ラベル情報、エッジヒストグラムラベル情報などの根拠情報を見れば、その画像データの特徴量がどのようなものであり、画像データ検索処理内容が如何なるものであったか、また、どのような基準で当該画像データがその位置に配置されているのかが容易に把握できる。
【００５１】
（実施形態２）
実施形態２にかかるデータ検索システムは、実施形態１に示したデータ検索システムをさらに改良したものであり、表示部に表示されたデータを再検索する場合の工夫を盛り込んだものであり、表示部に表示されている根拠情報またはその一部分の情報、または、根拠情報の一部分を変更して得た情報を、再検索情報として受け付け、再検索処理を実行するものである。
【００５２】
なお、本実施形態２においても、データ取得部１０がデータ検索処理能力を持ち、データベース１５からデータ検索を行ってデータを取得する場合の構成を挙げる。
【００５３】
実施形態２のデータ検索システムの概略構成図は、図１と同様で良いが、検索条件入力部１１における処理が異なる。実施形態２の検索条件入力部１１は、後述する再検索条件の入力が可能なものである。実施形態２の検索条件入力部１１は、データに付された根拠情報を利用した簡単かつ柔軟な再検索条件の入力ができるものである。
【００５４】
例えば、実施形態１と同様、データを画像データとし、図２に示した色ヒストグラムラベル情報を利用した再検索条件入力の様子を図７に示す。図７に示すように、表示画面中のある画像データの色ヒストグラムラベル情報のある色要素をマウスなどのポインティングデバイスのカーソル２１０でクリックすると、検索条件入力部１１は、再検索条件として当該色情報がパラメータとして指定されたと認識する。なお、併せて再検索の処理区分の入力も可能とする。
【００５５】
「検索やり直し」の処理区分を指定して、再検索条件として色情報を与えれば、当該色情報を検索キーとして、データ取得部１０がデータベース１５に対して再度アクセスを行い、画像データを再検索する。例えば、再検索前において「青」の色情報が検索キーとして分類配置されており、「検索やり直し」において「赤」の色情報が検索キーとして与えられれば、データベース１５から「赤」を代表色として持つ画像データなどが再検索・再取得され、分類配置部２０により分類配置されることとなる。
【００５６】
「検索絞り込み」の処理区分を指定して、再検索条件として色情報を与えれば、現時点で、データ取得部１０に得られている画像データに対して、さらに当該色情報を検索キーとして絞り込み検索を行う。例えば、再検索前において「青」の色情報が検索キーとして分類配置されており、「検索絞り込み」において「赤」の色情報が検索キーとして与えられれば、分類配置されている画像データのうち、「青」および「赤」の両方の色情報を多く含む画像データが絞り込まれることとなる。
【００５７】
「再分類配置」を指定して再検索条件として色情報を与えれば、現在得られている画像データを基に、当該色情報をパラメータとして再度、分類配置をやり直す。再分類配置の処理方法には多数の方法が想定できる。第１の処理方法は、再分類配置に指定された情報以外の情報を無視して、分類配置そのものをやり直す方法である。例えば、再分類配置前において「青」の色情報を基に分類配置されており、第１の処理方法を用いて「赤」の色情報を基に再分類配置を実行すると、再分類配置に用いる画像データは再分類配置前の画像データと同じであるが、再分類配置では「青」の色情報は無視され、「赤」の色情報を基にした新しい分類配置が行われる。第２の処理方法は、再分類配置前の分類配置の結果を引き継いで、再分類配置に指定された情報を加えて分類配置する方法である。例えば、再分類配置前において「青」の色情報を基に分類配置されており、第２の処理方法を用いて「赤」の色情報を基に再分類配置を実行すると、再分類配置に用いる画像データは再分類配置前の画像データと同じであり、再分類配置前の「青」の色情報に基づく分類配置結果について、さらに「赤」の色情報を基にした分類配置を実行する。この場合、「青」の色情報に基づく分類配置結果は全体としてあまり変化しないが、その中で「赤」の色情報を多く持つ画像データが一まとめに分類配置される。
【００５８】
なお、オプションとして、再分類配置前の分類配置画面において特定の画像を指定して位置を固定して再分類配置後、同じ位置に配置されるように指定したり、再分類配置後は中央に配置されるように指定したりすることができる。
【００５９】
再分類配置の一例を図で示す。例えば、ある検索条件による検索処理が実行され、分類配置結果として、図５の色ヒストグラムラベル情報を持つ画像データが表示されているとする。ここで、利用者は図５の分類配置結果を見て、これら画像データのうち、今度は赤い色（図５、図８では赤色領域を縦線のハッチングで示している。）に注目して再分類配置したいと考えたとする。ここで、マウスなどのポインティングデバイスのカーソル２１０で、色ヒストグラムラベル情報中の赤色要素をクリックし、上記第１の再分類配置処理方法による「再分類配置」を指定すると、図５に示す画像データの分類配置が、図８に示すように再分類配置される。
【００６０】
なお、図９に示すように、表示画面中のある画像データの色ヒストグラムラベル情報の色要素間の境界線をドラグして移動させることにより、色ヒストグラム情報を変更して、再検索条件として指定することも可能である。この場合、再検索条件として指定された色ヒストグラム情報を持つ画像データ、当該色ヒストグラム情報に対するマッチング度合いが高い所定数の画像データが検索される。
【００６１】
他の例を示す。図３に示したウェーブレット変換特徴量ラベル情報を利用した再検索条件入力の様子を図１０に示す。図１０に示すように、表示画面中のある画像データのウェーブレット変換特徴量ラベル情報のある方向の周波数成分分布をマウスなどのポインティングデバイスのカーソル２１０でクリックすると、検索条件入力部１１は、再検索条件として当該方向に関する周波数成分分布がパラメータとして指定されたと認識する。併せて再検索の処理区分の入力も可能であり、「検索やり直し」の処理区分や「検索絞り込み」の処理区分や「再分類配置」の処理区分の指定が可能である。今、ある検索条件による検索処理が実行され、分類配置結果が表示されているとする。例えば、図６のウェーブレット変換特徴量ラベル情報を持つ画像データが表示されているとする。例えば、利用者は図６の分類配置結果を見て、これら画像データのうち、今度は縦方向の周波数成分に注目して再分類配置したいと考えたとする。ここで、マウスなどのポインティングデバイスのカーソル２１０で、ウェーブレット変換特徴量ラベル情報中の縦方向の周波数成分をクリックし、「再分類配置」を指定すると、図６に示す画像データの分類配置が、図１１に示すように再分類配置される。
【００６２】
また、図１２に示すように、表示画面中のある画像データのウェーブレット変換特徴量ラベル情報の周波数成分の包絡線をドラグして変形することにより、ウェーブレット変換特徴量ラベル情報を変更して、再検索条件として指定することも可能である。この場合、再検索条件として指定されたウェーブレット変換周波数成分を持つ画像データ、当該ウェーブレット変換周波数成分に対するマッチング度合いが高い所定数の画像データが検索される。
【００６３】
このように、画像データの表示結果を見て、根拠情報により現在の検索処理、分類配置処理の内容を把握し、さらに、ラベル情報を用いて次の検索条件を適切かつ柔軟に指定することができる。
【００６４】
（実施形態３）
本発明のデータ検索システムは、上記に説明した構成を実現する処理ステップを記述したプログラムを提供することにより、各種コンピュータを用いて構築することができる。本発明のデータ検索システムを実現する処理ステップを備えたプログラムをコンピュータにロードする方法は、当該プログラムを記録した記録媒体をコンピュータに読み取らせることでも良く、また、ネットワーク上からダウンロードすることでも良い。例えば、図１３に図示したように、ＣＤ−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬型記録媒体３０１をコンピュータ３０４に読み取らせたり、ネットワーク上にある記録装置内の記録媒体３００からネットワークを介してダウンロードすることができる。また、当初からコンピュータ３０４内のハードディスクやＲＡＭ等の記録媒体３０５に格納していても良い。当該データ検索システムを実現する処理プログラムは、プログラム実行時にコンピュータ３０４上にローディングされ、主メモリ上で実行される。
【００６５】
なお、本発明のデータ検索システムは、上記の発明の概念から逸脱することなく、上記の方法及び装置に種々の変更及び変形を成し得ることが理解されよう。従って、本発明は上記実施形態に限定されるものではないことに注意する必要がある。
【００６６】
【発明の効果】
本発明のデータ検索システムによれば、検索結果として分類配置された各データに、分類配置の根拠情報が併せて表示されることとなり、利用者が当該根拠情報を見れば、そのデータの特徴量がどのようなものであり、データ検索処理内容が如何なるものであったかが把握しやすく、また、データ検索処理の結果、なぜ当該データがその位置に配置されているのかが容易に把握できる。
【００６７】
また、本発明のデータ検索システムによれば、再検索を実行する際、データ検索結果を踏まえ、データ検索で用いた特徴量の特定の要素、例えば、特定の色情報、特定の周波数成分などを直接、後続のデータ検索におけるデータ検索キーとして用いたり、データ検索に用いたい根拠情報または根拠情報の一部の情報を指定し、または根拠情報の一部の情報を変更した上で再データ検索における検索キーとして用いることができ、適切かつ柔軟に再検索条件の設定が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態１のデータ検索システムの概略構成を示す図
【図２】 根拠情報として、特徴量情報が色情報であり、特徴量の分布情報が色ヒストグラム情報としたラベル情報を画像データに付した例を示す図
【図３】 根拠情報として、特徴量情報がウェーブレット変換特徴量情報であり、特徴量の分布情報が周波数成分の分布情報としたラベル情報を画像データに付した例を示す図
【図４】 本発明のデータ検索システムを用いたデータ検索処理の流れの一例を示すフローチャート
【図５】 本発明のデータ検索システムにより分類配置された画像データの表示例を示す図
【図６】 本発明のデータ検索システムにより分類配置された画像データの別の表示例を示す図
【図７】 図２に示した色ヒストグラムラベル情報を利用した再検索条件入力の様子を示す図
【図８】 図５に示す画像データの分類配置が再分類配置される様子を示す図
【図９】 図２に示した色ヒストグラムラベル情報の色要素間の境界線をドラグして移動させて色ヒストグラム情報を変更し、再検索条件として指定する様子を示す図
【図１０】 図３に示したウェーブレット変換特徴量ラベル情報を利用した再検索条件入力の様子を示す図
【図１１】 図６に示す画像データの分類配置が再分類配置される様子を示す図
【図１２】 図３に示したウェーブレット変換特徴量ラベル情報の周波数成分の包絡線をドラグして変形し、再検索条件として指定する様子を示す図
【図１３】 本発明のデータ検索システムを実現する処理ステップのプログラムをコンピュータにロードする様子を示す図
【符号の説明】
１０ データ取得部
１１ 検索条件入力部
１５ データベース
２０ 分類配置部
３０ 根拠情報付与部
４０ 表示部
２０１ 画像データ
２０２ 色ヒストグラムラベル情報
２０３ ウェーブレット変換特徴量ラベル情報
２０３ａ ウェーブレット変換の縦方向の周波数分布情報
２０３ｂ ウェーブレット変換の横方向の周波数分布情報
２０３ｃ ウェーブレット変換の斜め方向の周波数分布情報
３００ ネットワーク上にある記録装置内の記録媒体
３０１ 可搬型記録媒体
３０２ ＣＤ−ＲＯＭ
３０３ フレキシブルディスク
３０４ コンピュータ
３０５ コンピュータのハードディスクやＲＡＭ等の記録媒体
Claims (8)
- 与えられた検索条件に基づく検索処理によって抽出された画像データを取得するデータ取得部と、
前記データ取得部において取得された画像データについて、当該画像データに対応する特徴量に応じて表示画面上における配置位置を決定する分類配置部と、
前記特徴量に基づいて前記特徴量の分布を図形によって可視化した根拠情報を作成し、当該根拠情報を前記表示画面上において配置される各画像データに付与する根拠情報付与部と、
前記分類配置部において決定した配置位置に従い、前記表示画面上において配置される各画像データを、前記図形によって可視化した根拠情報とともに、前記分類配置部で決定した配置位置に並べて表示する表示部とを備え、
前記表示部が前記根拠情報を表示した後において、検索絞り込み処理が指定された場合、前記表示部に表示された根拠情報の要素が指定されることによって認識した特徴量パラメータを検索キーに含めて前記検索絞り込み処理を実行し、当該処理によって抽出されたデータを取得し、取得した各データを表す画像データを、前記可視化した根拠情報とともに表示する、データ検索システム。 - 前記分類配置部が、前記配置位置を決定する際において、前記特徴量が近いデータ同士を近くに配置するように自己組織化マッピング処理を実行する請求項１に記載のデータ検索システム。
- 前記根拠情報は、前記特徴量を色情報とし、前記特徴量の分布情報を色ヒストグラム情報とする請求項１または２に記載のデータ検索システム。
- 前記根拠情報は、前記特徴量をウェーブレット変換特徴量情報とし、前記特徴量の分布情報をウェーブレット変換された画像データの周波数成分の分布情報とする請求項１または２に記載のデータ検索システム。
- 前記根拠情報は、前記特徴量を画像データ中におけるエッジ情報とし、前記特徴量の分布情報を画像データ中のエッジ部分の方向を要素としたヒストグラム情報とする請求項１または２に記載のデータ検索システム。
- 前記根拠情報は、前記特徴量を色情報とし、前記特徴量の分布情報を代表色情報とする請求項１または２に記載のデータ検索システム。
- 与えられた検索条件に基づく検索処理によって抽出された画像データを取得する工程と、
前記データ取得部において取得された画像データについて、当該画像データに対応する特徴量に応じて表示画面上における配置位置を決定する工程と、
前記特徴量に基づいて前記特徴量の分布を図形によって可視化した根拠情報を作成し、当該根拠情報を前記表示画面上において配置される各画像データに付与する工程と、
前記分類配置部において決定した配置位置に従い、前記表示画面上において配置される各画像データを、前記図形によって可視化した根拠情報とともに、前記分類配置部で決定した配置位置に並べて表示する工程と、
前記根拠情報を表示した後において、検索絞り込み処理が指定された場合、表示された前記根拠情報の要素が指定されることによって認識した特徴量パラメータを検索キーに含めて前記検索絞り込み処理を実行し、当該処理によって抽出されたデータを取得し、取得した各データを表す画像データを、前記可視化した根拠情報とともに表示する工程とをコンピュータに実行させるデータ検索方法。 - コンピュータに実行させることにより、データ検索システムを実現するコンピュータプログラムであって、
与えられた検索条件に基づく検索処理によって抽出された画像データを取得するデータ取得ステップと、
前記データ取得部において取得された画像データについて、当該画像データに対応する特徴量に応じて表示画面上における配置位置を決定する分類配置ステップと、
前記特徴量に基づいて前記特徴量の分布を図形によって可視化した根拠情報を作成し、当該根拠情報を前記表示画面上において配置される各画像データに付与する根拠情報付与ステップと、
前記分類配置部において決定した配置位置に従い、前記表示画面上において配置される各画像データを、前記図形によって可視化した根拠情報とともに、前記分類配置部で決定した配置位置に並べて表示する表示ステップと
前記根拠情報を表示した後において、検索絞り込み処理が指定された場合、表示された前記根拠情報の要素が指定されることによって認識した特徴量パラメータを検索キーに含めて前記検索絞り込み処理を実行し、当該処理によって抽出されたデータを取得し、取得した各データを表す画像データを、前記可視化した根拠情報とともに表示するステップとを、前記コンピュータに実行させるコンピュータプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001143541A JP4889159B2 (ja) | 2001-05-14 | 2001-05-14 | データ検索システムおよびデータ検索方法 |
| US09/994,769 US7158987B2 (en) | 2001-05-14 | 2001-11-28 | Data search system and data search method |
| GB0128633A GB2375629B (en) | 2001-05-14 | 2001-11-29 | Data search system and data search method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001143541A JP4889159B2 (ja) | 2001-05-14 | 2001-05-14 | データ検索システムおよびデータ検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342374A JP2002342374A (ja) | 2002-11-29 |
| JP4889159B2 true JP4889159B2 (ja) | 2012-03-07 |
Family
ID=18989675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001143541A Expired - Fee Related JP4889159B2 (ja) | 2001-05-14 | 2001-05-14 | データ検索システムおよびデータ検索方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7158987B2 (ja) |
| JP (1) | JP4889159B2 (ja) |
| GB (1) | GB2375629B (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004171301A (ja) * | 2002-11-20 | 2004-06-17 | Canon Inc | 画像処理方法及び装置 |
| GB2395806A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
| JP2004234613A (ja) * | 2002-12-02 | 2004-08-19 | Nec Corp | 映像記述システムおよび方法、映像識別システムおよび方法 |
| JP4336813B2 (ja) * | 2002-12-06 | 2009-09-30 | 日本電気株式会社 | 画像記述システムおよび方法 |
| US7236632B2 (en) * | 2003-04-11 | 2007-06-26 | Ricoh Company, Ltd. | Automated techniques for comparing contents of images |
| JP2006118876A (ja) * | 2004-10-19 | 2006-05-11 | Univ Of Tokyo | 破壊破面解析支援装置 |
| JP2011520203A (ja) * | 2008-05-09 | 2011-07-14 | エルティーユー テクノロジーズ エスエーエス | 色照合ツールボックス |
| CN101576932B (zh) | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
| JP4968291B2 (ja) * | 2009-07-14 | 2012-07-04 | 富士通株式会社 | 画像処理装置 |
| US10318576B2 (en) * | 2013-12-12 | 2019-06-11 | Nant Holdings Ip, Llc | Image recognition verification |
| CN111259272B (zh) * | 2020-01-14 | 2023-06-20 | 口口相传(北京)网络技术有限公司 | 搜索结果排序方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293920B2 (ja) * | 1993-01-22 | 2002-06-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
| JP3213222B2 (ja) * | 1995-11-02 | 2001-10-02 | 株式会社リコー | 符号化方法 |
| JPH09182069A (ja) * | 1995-12-22 | 1997-07-11 | Matsushita Electric Ind Co Ltd | 画像圧縮方法および画像圧縮装置 |
| US6121969A (en) * | 1997-07-29 | 2000-09-19 | The Regents Of The University Of California | Visual navigation in perceptual databases |
| JP3682709B2 (ja) * | 1998-06-12 | 2005-08-10 | 株式会社リコー | 画像処理装置 |
| JP2000090112A (ja) | 1998-09-16 | 2000-03-31 | Canon Inc | 画像処理装置及びその方法 |
| US6564206B1 (en) * | 1998-10-05 | 2003-05-13 | Canon Kabushiki Kaisha | Information search apparatus and method, and storage medium |
| US7016916B1 (en) | 1999-02-01 | 2006-03-21 | Lg Electronics Inc. | Method of searching multimedia data |
| US6501857B1 (en) * | 1999-07-20 | 2002-12-31 | Craig Gotsman | Method and system for detecting and classifying objects in an image |
| US6370197B1 (en) * | 1999-07-23 | 2002-04-09 | Memorylink Corporation | Video compression scheme using wavelets |
| JP2002372427A (ja) * | 2001-06-15 | 2002-12-26 | Alpine Electronics Inc | ナビゲーション装置 |
-
2001
- 2001-05-14 JP JP2001143541A patent/JP4889159B2/ja not_active Expired - Fee Related
- 2001-11-28 US US09/994,769 patent/US7158987B2/en not_active Expired - Fee Related
- 2001-11-29 GB GB0128633A patent/GB2375629B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB2375629A (en) | 2002-11-20 |
| US20020169761A1 (en) | 2002-11-14 |
| US7158987B2 (en) | 2007-01-02 |
| GB0128633D0 (en) | 2002-01-23 |
| GB2375629B (en) | 2005-06-22 |
| JP2002342374A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853383B2 (en) | Interactive parallel coordinates visualizations | |
| JP4228745B2 (ja) | 多スペクトル撮像画像解析装置 | |
| US10459938B1 (en) | Punchcard chart visualization for machine data search and analysis system | |
| JP4340367B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6556710B2 (en) | Image searching techniques | |
| JP6131723B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび記録媒体 | |
| US20150356119A1 (en) | Searching of Images Based Upon Visual Similarity | |
| JP4889159B2 (ja) | データ検索システムおよびデータ検索方法 | |
| JP2014179090A (ja) | 色および色差値に基づいた画像の分割 | |
| US20100268703A1 (en) | Method of search strategy visualization and interaction | |
| JP2009251850A (ja) | 類似画像検索を用いた商品推薦システム | |
| JP2008524712A (ja) | ドメイン特定のデータ・エンティティ・マッピング方法及びシステム | |
| US20020111939A1 (en) | Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database | |
| US20050060303A1 (en) | Patent family analysis system and method | |
| JP4674257B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US20040054568A1 (en) | Automated construction project estimator tool | |
| JP2000311246A (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
| CN106484990B (zh) | 一种发动机试验数据三维瀑布图重建、显示及分析方法 | |
| US9557989B2 (en) | Comparison and merging of IC design data | |
| JP2005528681A (ja) | 統合的マルチスケール３ｄ画像文書化およびナビゲーションのための方法および装置 | |
| CN114547077A (zh) | 基层政务表格数据智能处理系统及方法 | |
| JP4120137B2 (ja) | 接続関係表示装置 | |
| JP2009266839A (ja) | 半導体検査装置及び半導体検査方法 | |
| KR20090037704A (ko) | 직관적 이미지 검색을 위한 이미지의 메타 데이터 생성방법 | |
| US6522779B2 (en) | Representing an image with a posterized joint histogram |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091127 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091217 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111121 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4889159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |