JP3661287B2 - Image registration apparatus and method - Google Patents
Image registration apparatus and method Download PDFInfo
- Publication number
- JP3661287B2 JP3661287B2 JP20436896A JP20436896A JP3661287B2 JP 3661287 B2 JP3661287 B2 JP 3661287B2 JP 20436896 A JP20436896 A JP 20436896A JP 20436896 A JP20436896 A JP 20436896A JP 3661287 B2 JP3661287 B2 JP 3661287B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- extracting
- attribute
- phase relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、画像から目的の画像を検索するために使用する検索キーを自動的に抽出して登録する画像登録装置および方法に関する。
【0002】
【従来の技術】
画像検索に関する従来技術として、一般のデータベースにおけるキーワード付与を基本とした検索手法がある。これは、画像登録者が任意のキーワードを付与するか、もしくは、あらかじめキーワードとなる言葉を決めておき、登録時にこれらのキーワード群を参照して適切なキーワードを付与する手法である。検索の際には、検索者の意図によるキーワードもしくはキーワード群から適切な用語を選び検索を実行する、単語の一致を基本とした検索手法である。この手法は検索装置の構成が容易であり、検索者の意図するキーワードが登録してありさえすれば容易かつ高速に検索できるという利点があるが、反面、画像の登録時に登録者がキーワードを付与する必要があり、手間が掛かる。また、登録者と検索者とが異なる場合には、両者の意図の違いから異なるキーワードが付与される可能性があり、検索者が目的の画像を検索できない状況が発生する。
【0003】
前述の問題を解決するために、特開平4−60770号公報および特開平6−243178号公報に示されているようなキーワードの代わりに例示画像を検索キーとして用いる手法が提案されている。この手法は、蓄積画像から画像特有の視覚的特徴に基づく検索を実現させるための手法である。基本的には画像情報を構成物の形、大きさ、位置、さらには色、テクスチャ等を記述した概略画像を用い、蓄積画像全体に対して条件に合う画像を検索する手法である。また蓄積画像からの検索の効率化を図るため、登録画像の代表色をマッピングし、検索キーとなる画像の持つ代表色をこの色空間上にマッピングし、この近傍に存在する画像に対してのみ整合・評価を行なうことにより初期段階である程度の大分類を実施して高速化を図っている。しかし、検索の度に例示画を作成する必要があり、また、検索したい画像を例示画に描くことが困難な状況も発生する。
【0004】
また、特開平1−130278号公報に示されているような概略画像作成段階で素材の構成情報とその属性情報を作図プロセッサなどを用いて簡易に作成/登録でき、検索も構成情報とその属性情報のテーブルを用いて実施する方法もある。ここでの構成要素とは、例えば、机、りんごであり、その属性情報は位置、大きさ、姿勢等であり、確度の高い検索が可能となる。しかしながら、あらかじめ蓄積画像に対してこれら構成情報/属性情報を付加する必要がある。
【0005】
また、自然画像の検索を効率よく行なう手法として、例えば、特開平4−267480号公報がある。これは自然画像をコンポーネント化し、コンポーネントの形状/特徴情報を検索キーとする手法である。しかしながら、画像のコンポーネント化に際してはマウス/キーボード/デジタイザ等による人の介入を前提としている。
【0006】
以上までに説明した従来の画像検索方法は、画像の登録時、もしくは、検索時にかなりの手間を要していた。この問題を解決するための方法として、画像から自動的、もしくは、半自動的にキーワードを抽出して、画像とともに登録する方法がある。
【0007】
例えば、特開平1−73460号公報では、画像から自動的に感覚語を抽出して画像とともに登録し、この感覚語をキーワードとする方法である。この感覚語による検索は、絵画などのある特定の画像群に対しては有効であるが、一般的な画像に対してはあまり有効ではない。これは、一般の画像から感覚語を抽出することが容易ではないことと、人により感覚が異なることが原因である。
【0008】
また、画像から構成要素に関するキーワードを抽出する手法として、例えば、特開平2−187864号公報がある。これは画像データの領域を設定し、さらにその領域に含まれる色情報、周波数情報などの物理情報を抽出し、物理量そのものをキーワードとしたり、領域の物理情報から、例えば、空、海等の言葉に結び付けることを可能にしている。しかしながら、領域の物理情報だけから結び付けられる言葉には限りがある。
【0009】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、登録したい画像からより多くの構成要素に関するキーワードを自動的に抽出して、この抽出したキーワードを画像の検索用キーワードとして登録する画像登録技術を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は、上述の目的を達成するために、画像登録装置において、入力された画像を量子化して画像データを生成する画像入力手段と、該画像入力手段により生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、該画像構造抽出手段により算出された属性を持つ領域間の位相関係の一部またはすべてをオブジェクトで置換するオブジェクト抽出手段と、該オブジェクト抽出手段で更新された属性を持つ領域間の位相関係からオブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係をキーワードとして抽出するキーワード抽出手段と、該キーワード抽出手段により抽出されたキーワードを前記画像入力手段により生成された画像データとともに蓄積装置に登録する画像登録手段とを有することを特徴とするものである。
【0011】
ここでオブジェクトとは、キーワードに対応する画像の構成要素、例えば、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【0012】
この構成によれば、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【0013】
また、この構成において、前記領域属性抽出手段は、抽出する領域属性として領域の色、大きさ、形状、テクスチャに関する特徴量を用い、少なくとも各1つ以上の領域の色、大きさ、形状に関する特徴量を領域属性とするようにしてもよい。
【0014】
また、前記画像構造抽出手段は、領域と領域との位相関係として、一致、重複、包含、接合もしくは排他のいずれかの関係を抽出するようにすることができる。
【0015】
さらに、前記オブジェクト抽出手段は、オブジェクトを構成する領域の属性とオブジェクトを構成する領域間の位相関係とオブジェクトを構成する領域の属性間の相対的な関係から適合するオブジェクトを判断するようにできる。
【0016】
また、本発明は、上述の目的を達成するために、画像登録装置において、画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、領域および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、前記オブジェクト情報記憶手段に記憶されている関係に基づいて、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するオブジェクト抽出手段と、抽出された前記オブジェクト間の位相関係を抽出するオブジェクト間位相関係抽出手段と、該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するキーワード登録手段とを有することを特徴とする。
【0017】
この構成によれば、少なくともオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【0018】
また、本発明は、上述の目的を達成するために、画像登録方法において、入力された画像を量子化して画像データを生成するステップと、生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、抽出された領域の持つ物理情報を属性として抽出するステップと、抽出された領域間の位相関係を算出して画像を、前記領域の位相関係で表現するステップと、前記領域間の位相関係の一部またはすべてをオブジェクトで置換するステップと、前記オブジェクトで更新された領域間の位相関係から前記オブジェクト、前記オブジェクトの相対位置、および前記オブジェクト間の位相関係をキーワードとして抽出するステップと、抽出された前記キーワードを、生成された前記画像データとともにデータベースに登録するステップとを有することを特徴とする。
【0019】
この構成においても、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【0020】
【発明の実施の形態】
以下、本発明の実施例について図面を参照して説明する。
図1は本発明の画像登録装置の実施の一形態を示すブロック図である。図中、1は画像入力部、2は領域抽出部、3は領域属性抽出部、4は画像構造抽出部、5はオブジェクト抽出部、6はキーワード抽出部、7は画像登録部である。
【0021】
画像入力部1は、入力された画像を量子化し、画像データを生成する。領域抽出部2は画像入力部1で生成された画像データから、類似する特徴を持つ画素により構成される領域を抽出する。領域属性抽出部3は、領域抽出部2で抽出された各領域を解析し、領域の色、テクスチャ、大きさ、形状に関する特徴を属性として抽出する。画像構造抽出部4は、領域抽出部2で抽出された各領域間の位相関係を調査し、領域属性抽出部3により抽出された属性を持つ領域と各領域間の位相関係を表現したデータ構造を作成する。オブジェクト抽出部5は、属性条件および領域間の位相関係とオブジェクトとを対応づけた辞書を参照しながら画像構造抽出部4で作成されたデータ構造を走査し、前記データ構造の一部またはすべてをオブジェクトで置換する。キーワード抽出部6は、オブジェクト抽出部5で更新されたデータ構造からオブジェクトとオブジェクトの位置関係を対象画像のキーワードとして抽出する。画像登録部7は、キーワード抽出部6で抽出されたキーワードを対応する画像に関係づけて画像データベースに登録する。
【0022】
図2は、本発明の画像登録装置の実施の一形態を実現する構成例を示すブロック図である。図中、101は画像入力処理部、102は画像データ記憶メモリ、103は領域抽出処理部、104は領域/領域属性記憶メモリ、105は領域属性抽出処理部、106は画像構造抽出処理部、107は画像構造記憶メモリ、108はオブジェクト抽出処理部、109はオブジェクト辞書、110はキーワード抽出処理部、111は画像登録処理部である。
【0023】
画像入力処理部101では、スキャナなどを用いて入力対象の原稿を入力し、量子化して多階調のRGBカラー画像データ(RGB表色系の3要素R,G,Bで表される画像データ)を生成する。ここでは入力対象を原稿としたので入力手段としてスキャナを用いたが、屋外などの風景を入力対象とする場合にはビデオカメラなどにより入力してもよい。あるいは、計算機を用いて描画された画像などでもよい。入力される画像を一旦記憶装置に格納しておき、処理を行なう時に読み出すように構成することができる。この例では、RGBカラー画像データを入力画像として生成したが、本発明はこれに限定するわけではなく、グレイスケールの画像データでもよいし、また、L*a*b*などの他の表色系を用いてもよい。
【0024】
画像データ記憶メモリ102は、画像入力処理部101により生成された画像データを記憶する。
【0025】
領域抽出処理部103では、画像データ記憶メモリ102に記憶されている画像データを基に類似する特徴(色や濃度、テクスチャなど)を持つ画素により構成される領域を抽出する。従来までに多くの領域を抽出する手法が提案されているが、例えば、非階層的クラスタリング、いわゆる、k−平均領域分割手法を用いることができる。本実施例では、各画素の色相、彩度、明度を基に、k−平均領域分割方法を用いて、画像を構成するすべての画素をクラスタリングする場合を示す。本発明における領域は画像中の構成要素、例えば、顔や目などといったオブジェクトに対応するため、極端に小さなクラスタが得られてもあまり意味がない。従って、必要に応じて、クラスタを統合する処理を最後に行なってもよい。そして、同じクラスタに属する隣接画素をラベリングにより抽出することで、類似する特徴を持つ画素から構成される領域が抽出できる。ここで、ラベリングにより抽出された領域をすべて記憶する必要はなく、領域の大きさや総数などに対して閾値を設け、記憶する領域を制限してもよい。
【0026】
本実施例では、k−平均領域分割およびラベリングにより領域抽出処理を行なったが、本発明はこれに限定するものではなく、類似する特徴を持つ画素により構成される領域を抽出できる手法であればどのような手法でも使用可能である。他の領域抽出手法としては、画像からエッジに当たる画素を抽出してこの画素によって構成される閉領域を領域として抽出する方法などがある。
【0027】
領域/領域属性記憶メモリ104は、領域抽出処理部103により抽出された領域を領域データとして記憶する。領域データの構成も種々の方法が考えられるが、この例では、図3に示すようなラベリング画像により領域データを構成し、領域/領域属性記憶メモリ104に記憶する。図中、一マスが1つの画素の対応し、マスの中の数値は対応する画素の属する領域に固有の番号(以降、領域番号と称する)である。本発明における領域データの構成方法はラベリング画像に限るわけではなく、画像中の各画素にユニークな番号を与えておいて各領域をその領域に属する画素に与えられたユニークな番号の集合で表す方法や、領域の輪郭点集合で表す方法などの他の方法を用いて領域データを構成してもよい。
【0028】
領域属性抽出処理部105では、領域/領域属性記憶メモリ104に記憶されている各々の領域に対応する属性を抽出する。抽出した属性は、対応する領域に関連づけて領域/領域属性記憶メモリ104に記憶する。本発明における属性とは、領域の色、大きさ、形状、テクスチャに関する性質を表すものであり、例えば、平均色相、彩度のヒストグラム、面積、絶対最大長、近似形状を表すパラメータ、丸さ(針状)の度合、平均エッジ強度、空間周波数などの特徴量を用いることができる。本発明は、抽出する属性を前述の特徴量に限定するものではなく、領域の色、大きさ、形状、テクスチャに関する性質を表す特徴量であれば何でもよい。しかし、領域の色、大きさ、形状に関する性質を表す特徴量を少なくとも各1つは用いることが好ましい。この例では、簡単にするために、テクスチャに関する特徴を除いた、領域の平均色相、平均彩度、平均明度、構成画素数、針状の度合、主軸方向を抽出する属性として用いる。これらの特徴を既知の方法により領域データから計算して、例えば、図4に示すように領域番号と組にしたテーブル(以降、属性テーブルと称する)として、領域/領域属性記憶メモリ104に記憶できる。
【0029】
また、領域抽出処理部103で用いる領域抽出方法によっては、この領域抽出の過程において領域の属性に当たる特徴が算出できる。このような場合には、算出した時点でこの特徴を属性として対応する領域に関連づけて領域/領域属性記憶メモリ104に記憶することもできる。この例では、k−平均領域分割の際に各領域の平均色相、平均彩度、平均明度が、ラベリングの際に各領域の構成画素数が算出できるので、領域抽出処理の中でこれらの属性を領域/領域属性記憶メモリ104に記憶するようにしている。また、ここで算出した属性(針状の度合、主軸方向)は、すべて領域データから算出できるが、用いる属性によっては(例えば、テクスチャに関する特徴)必要に応じて画像データ記憶メモリに記憶されている画像データを参照して属性を算出するように構成することもできる。
【0030】
画像構造抽出処理部106は、領域/領域属性記憶メモリ104に記憶されている領域データを用いて、各領域間の位相関係を抽出する。本発明における領域間の位相関係とは、一致/包含/重複/接合/排他などといった領域と領域の関係を指し、詳細な関係として領域間の距離と方向を持つようにすることもできる。この例では、領域分割により各領域を抽出したので、任意の2つの領域が重なり合うことはない。従って、2つの領域の位相関係は、「含んでいる/含まれている(包含)」か、「隣接している(接合)」か、「離れている(排他)」のいずれかになる。この領域間の位相関係は、領域/領域属性記憶メモリ104に記憶されている領域データ(ラベリング画像)を水平方向と垂直方向に走査して、各領域ごとに隣接している領域番号を抽出することで算出することができる。但し、この方法を用いる場合は、図5に示すように画像の外縁部分に画像外を表す領域を作成しておく必要がある。図中の「0」の数値でラベリングされた画素が画像外を表す領域である。各領域に隣接する領域を抽出した結果は、例えば、図6の隣接領域番号リストの項に示すようになる。この結果から、隣接している領域の数が1つしかない領域番号2と3の領域はその隣接している領域番号1の領域に含まれていることが分かる。そして、領域番号1の隣接領域番号リストから領域番号2と3を取り除くことで、含んでいるのでなく接合している領域のリストを得ることができる。また、当然ながら、最終的な位相関係を示す領域のリストからは画像外を表す領域(この例では領域番号が0の領域)は除かなければならない。本発明における位相関係の抽出方法は前述の方法に限定するものではない。また、この例では隣接関係を4近傍で算出したが8近傍で算出してもよい。領域間の詳細な関係として用いる領域間の距離と方向は、領域の重心の座標を基準とした距離と方向を算出することで得ることができる。
【0031】
画像構造記憶メモリ107は、画像構造抽出処理部106で作成した領域間の位相関係を記憶する。この例では、図7に示すような、領域番号をノードに持ち、領域間の位相関係をエッジに持つグラフ構造(以降、画像構造グラフと称する)を作成して記憶する。領域間の詳細な関係として各領域間の距離と方向を算出している場合にはこれらの値もエッジに持たせることができる。図7に示した画像構造グラフは、図8に示したラベリング画像(1つの閉領域が1つの領域を表している)から作成したもので、図7に示した1から11までの領域番号は、順に、顔面、左目、右目、口、左まゆ、右まゆ、髪の毛、左耳、右耳、首、背景の領域を指しているものとする。この例における画像構造グラフでは、包含もしくは隣接する領域間の関係のみを記述したが、重複を許すような領域を領域抽出処理部103で抽出した場合には、一致や重複などといった領域間の位相関係を追加することができる。
【0032】
オブジェクト抽出処理部108では、オブジェクト辞書109を参照しながら、画像構造記憶メモリ107に記憶された画像構造グラフからオブジェクトを抽出する。本発明におけるオブジェクトとは、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【0033】
オブジェクト辞書109は、オブジェクトの名称とオブジェクトを構成する領域の属性および領域間の位相関係を記述したグラフ構造(以降、オブジェクトグラフと称する)とオブジェクト条件との組(以降、オブジェクト項目と称する)を複数保持している。オブジェクト辞書109に記憶しているオブジェクトグラフは、画像構造グラフと同じ形式である。異なる点は、属性の代わりにオブジェクトグラフの各ノードが示す番号に対応する属性条件を持っている点である。以降、オブジェクトグラフのノードが持つ番号を属性条件番号と称する。この属性条件とは、画像構造グラフとオブジェクトグラフとの対応するノードが適合するかどうかを調べるための条件である。また、オブジェクト条件とは、オブジェクトを構成する領域の属性間の相対的な関係に関する規則であり、例えば、領域Aのは構成画素数領域Bの構成画素数の2倍以上、3倍以下といった条件である。図9に、「人の顔」というオブジェクトに対応する、オブジェクト項目とこのオブジェクト項目に対応する部分の属性条件の例を示す。図中、属性条件番号301が顔面、302と303が目、304が髪の毛に相当する。
【0034】
以下では、オブジェクト抽出方法の一例を図10に示すフローチャートを参照しながら説明する。まず、領域/領域属性記憶メモリ104に記憶されている属性テーブルを構成画素数で降順にソートする(S201)。これは、面積の大きな領域ほど主要な構成要素である可能性が高いという経験則に基づく。以降の処理は、ソートされた属性テーブルの領域(領域番号)を順に処理対象とする(S202)。オブジェクト辞書109に登録してある属性条件を検索して、処理対象の領域の属性が条件を満たしている属性条件番号のリストを作成する(S203)。このリストの属性条件番号を持つオブジェクトグラフと画像構造グラフとを比較する(S204)。この比較は、処理対象の領域番号を持つ画像構造グラフのノードとS203で抽出された属性条件番号を持つオブジェクトグラフのノードを一致させた上で、このオブジェクトグラフの持つノードに対応するすべての属性条件とエッジに対応する位相関係が画像構造グラフの一部またはすべてに適合するかどうかを調べる。これが適合した場合には更に、この属性条件番号に対応するオブジェクト条件を適用して、最終的に適合するかしないかを求める(S205)。最終的に適合しないと判断された場合には、S208の処理を行なう。適合した場合は、画像構造グラフの適合した部分グラフを対応するオブジェクトで置換する(S206)。この置換はオブジェクトを一意に決定することのできる番号を持つノードによるものであり、例えば、オブジェクト辞書109に登録されている対応するオブジェクト項目の番号(オブジェクト番号と称する)を用いることができる。この置換に伴って、エッジの削除やエッジに対応している位相関係や領域間の距離と方向の修正も行なう。距離と方向を算出するためのオブジェクトの重心は、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域を統合した領域から算出することができる。そして、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域番号およびこれに対応する属性をS201でソートされた属性テーブルから削除する(S207)。S208ではすべての領域について処理を行なったどうかを調べて、未処理の領域が残っていればS202に戻って処理を繰り返す。
【0035】
オブジェクト抽出処理部108の結果、画像構造グラフに含まれているいくつかの部分グラフがオブジェクトに置換され、画像構造グラフの各ノードにオブジェクト番号もしくは領域番号を持つようなグラフが得られる。図7に示す画像構造グラフに対してオブジェクト抽出処理を行ない、これが図9に示したオブジェクト辞書109に登録してあるオブジェクトグラフに適合した結果得られるグラフを図11に示す。図7の領域番号1,2,3,7がそれぞれ図9の属性条件番号301,302,303,304に適合し、図9に示したオブジェクト条件も満たしているものとする。各ノード間のエッジ(位相関係)が適合しており、図7の領域番号1,2,3,7からなる部分グラフが「人の顔」というオブジェクトに対応するオブジェクト番号100を持つノードに置換されている。
【0036】
ここでは、ものの固有の名称をオブジェクトとする例を示したが、オブジェクト辞書109に「赤い円」や「白い四角」などといった領域の属性に関する表現をオブジェクトの名称とするようなオブジェクト項目を作成することで、「赤い円」や「白い四角」などといったオブジェクトを抽出することができる。
【0037】
また、この例では、オブジェクトグラフと画像構造グラフの比較は各ノードやエッジが適合するかしないかでオブジェクトの抽出を行なったが、ここに適合度という概念を取り入れて、最も適合度の高い画像構造グラフの部分グラフを対応するオブジェクトで置換するようにすることもできる。例えば、オブジェクト辞書109に保持している属性条件を属性を与えることによりその適合度を返すような関数、例えば、ファジィ関数で構成することにより実現できる。
【0038】
本発明におけるオブジェクト辞書109は予め作成しておく必要がある。この作成方法に例としては、複数の人の顔の画像に対して前述してきたような画像構造グラフを作成し、複数の画像構造グラフを得る。そして、複数の画像構造グラフで対応するノード(領域)の属性と共通するエッジの位相関係から「人の顔」というオブジェクトに対応するオブジェクトグラフを作成することができる。また、得られた複数の画像構造グラフのノードが持つ属性間の関係のうち、共通すると見なせる関係をオブジェクト条件とすることができる。
【0039】
キーワード抽出処理部110は、オブジェクト抽出処理部108により部分グラフがオブジェクトに置換された画像構造グラフを解析してオブジェクトとオブジェクト間の関係をキーワードとして抽出する。この例では、画像構造グラフ中に存在するオブジェクト番号から定まるオブジェクト(ものに固有な名称)とオブジェクトの画像中における相対的な位置、例えば、「人の顔」というオブジェクトとこのオブジェクトのの位置として「人の顔は画像の中央」というキーワードが抽出できる。また、オブジェクト間の関係として、抽出したオブジェクトの間の相対的な位置関係、例えば、「自動車の左上に信号機」というキーワードを抽出できる。
【0040】
画像登録処理部111は、キーワード抽出処理部110で抽出されたキーワードを入力画像に関連づけて蓄積装置(図示せず)に登録する。
【0041】
以上、説明した画像登録装置を用いることで、画像の登録時に人手によりキーワードを付与する手間を省き、キーワードを指定することで容易かつ高速に目的の画像を検索する検索装置を構成することができる。但し、本発明による画像登録装置によって抽出され画像とともに登録されるキーワードは主としてもの固有な名称であるため、検索時に検索キーとして指定されたキーワードの類義語も検索キーに加えて検索するように画像検索装置を構成するほうが好ましい。
【0042】
【発明の効果】
以上、説明したように、本発明によれば、登録したい画像を入力するだけで、自動的に客観性のあるキーワードを画像から抽出して、画像とともにデータベースに登録できるため、登録者が画像を登録する時にキーワードを付与する手間を省くことができる。また、検索は画像とともに登録されたキーワードを基に行なうため、検索キーの指示が容易であり、また検索装置の構成も単純にできる。
【図面の簡単な説明】
【図1】 本発明の実施例の画像登録装置を全体として示すブロック図である。
【図2】 実施例の画像登録装置の構成例を示すブロック図である。
【図3】 実施例における領域データを表現するラベリング画像の例を示す図である。
【図4】 実施例の属性テーブルの例を示す図である。
【図5】 実施例において領域間の位相関係を抽出する際に用いるラベリング画像の例を示す図である。
【図6】 実施例において領域ごとの隣接領域を抽出した例を示す図である。
【図7】 実施例の画像構造グラフの例を示す図である。
【図8】 図7の画像構造グラフに対応するラベリング画像の例を示す図である。
【図9】 実施例のオブジェクト辞書の例を示す図である。
【図10】 実施例のオブジェクト抽出処理方法の処理フローの例を示す図である。
【図11】 実施例のオブジェクト抽出処理後の画像構造グラフの例を示す図である。
【符号の説明】
1 画像入力部
2 領域抽出部
3 領域属性抽出部
4 画像構造抽出部
5 オブジェクト抽出部
6 キーワード抽出部
7 画像登録部
101 画像入力処理部
102 画像データ記憶メモリ
103 領域抽出処理部
104 領域 / 領域属性記憶メモリ
105 領域属性抽出処理部
106 画像構造抽出処理部
107 画像構造記憶メモリ
108 オブジェクト抽出処理部
109 オブジェクト辞書
110 キーワード抽出処理部
111 画像登録処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image registration apparatus and method for automatically extracting and registering a search key used for searching a target image from an image.
[0002]
[Prior art]
As a conventional technique related to image search, there is a search technique based on keyword assignment in a general database. This is a method in which an image registrant assigns an arbitrary keyword, or a word to be a keyword is determined in advance, and an appropriate keyword is assigned by referring to these keyword groups at the time of registration. This is a search method based on word matching, in which a search is performed by selecting an appropriate term from a keyword or a group of keywords according to a searcher's intention. This method has the advantage that the configuration of the search device is easy and search can be performed easily and quickly as long as the keyword intended by the searcher is registered, but the registrant assigns the keyword when registering the image. It takes a lot of work. Further, when the registrant and the searcher are different, different keywords may be assigned due to the difference in intention between the two, and a situation in which the searcher cannot search the target image occurs.
[0003]
In order to solve the above-described problem, a method of using an example image as a search key instead of a keyword as disclosed in Japanese Patent Laid-Open Nos. 4-60770 and 6-243178 has been proposed. This method is a method for realizing a search based on visual characteristics unique to an image from an accumulated image. Basically, this is a technique for searching for an image that meets the conditions of the entire stored image using a schematic image describing the shape, size, position, color, texture, etc. of the image information. In order to improve the efficiency of retrieval from stored images, the representative color of the registered image is mapped, the representative color of the image that is the search key is mapped on this color space, and only for the image existing in the vicinity. By performing matching and evaluation, a certain degree of large classification is performed in the initial stage to increase the speed. However, it is necessary to create an example image for each search, and there are situations where it is difficult to draw an image to be searched for in the example image.
[0004]
In addition, the composition information of the material and its attribute information can be easily created / registered by using a drawing processor or the like at the outline image creation stage as disclosed in Japanese Patent Application Laid-Open No. 1-130278. There is also a method that uses an information table. The constituent elements here are, for example, a desk and an apple, and their attribute information includes a position, a size, a posture, and the like, and a search with high accuracy is possible. However, it is necessary to add the configuration information / attribute information to the stored image in advance.
[0005]
Japanese Laid-Open Patent Publication No. 4-267480 is an example of a method for efficiently searching for natural images. This is a technique in which a natural image is converted into a component and the shape / feature information of the component is used as a search key. However, it is premised on human intervention by a mouse / keyboard / digitizer or the like when converting an image into a component.
[0006]
The conventional image retrieval methods described above have required considerable labor at the time of image registration or retrieval. As a method for solving this problem, there is a method of extracting a keyword automatically or semi-automatically from an image and registering it together with the image.
[0007]
For example, Japanese Patent Laid-Open No. 1-73460 discloses a method in which a sense word is automatically extracted from an image and registered together with the image, and the sense word is used as a keyword. This search based on sensory words is effective for a specific group of images such as paintings, but is not very effective for general images. This is due to the fact that it is not easy to extract sensory words from general images and that the sensations differ from person to person.
[0008]
Further, as a method for extracting a keyword related to a component from an image, for example, there is JP-A-2-187864. This sets the area of the image data, further extracts the physical information such as color information and frequency information contained in the area, and uses the physical quantity itself as a keyword or from the physical information of the area, for example, words such as sky and sea It is possible to bind to. However, there are limits to the words that can be linked only from the physical information of the area.
[0009]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described circumstances, and automatically registers keywords related to more components from an image to be registered, and registers the extracted keywords as search keywords for images. The purpose is to provide.
[0010]
[Means for Solving the Problems]
In order to achieve the above-mentioned object, the present invention is similar to an image input unit that quantizes an input image and generates image data in the image registration apparatus, and the image data generated by the image input unit. A region extracting unit that extracts a region composed of pixels having features, a region attribute extracting unit that extracts physical information of the region extracted by the region extracting unit as an attribute, and a region extracted by the region extracting unit Between the image structure extracting means for calculating the phase relationship between the images and expressing the image by the phase relationship of the area having the attribute extracted by the area attribute extracting means, and the area having the attribute calculated by the image structure extracting means The object extraction means that replaces part or all of the topological relation with an object, and the topological relation between the areas having attributes updated by the object extraction means Keyword extracting means for extracting objects, relative positions of objects, and phase relations between objects as keywords, and an image for registering the keywords extracted by the keyword extracting means together with the image data generated by the image input means in the storage device And a registration unit.
[0011]
Here, the object is an image component corresponding to the keyword, for example, a name unique to a person's face or a tree, and an attribute of an area such as a red circle or white square. Refers to the expression.
[0012]
According to this configuration, the object, the relative position of the object, and the phase relationship between the objects are automatically registered as keywords, and the target image can be taken out by inputting them as a search.
[0013]
In this configuration, the region attribute extraction unit uses a feature amount related to the color, size, shape, and texture of the region as a region attribute to be extracted, and features related to the color, size, and shape of at least one region. The amount may be set as a region attribute.
[0014]
In addition, the image structure extraction unit can extract a relationship of coincidence, overlap, inclusion, joining, or exclusion as a phase relationship between regions.
[0015]
Further, the object extracting means can determine a matching object from the attribute of the area constituting the object, the phase relationship between the areas constituting the object, and the relative relation between the attributes of the areas constituting the object.
[0016]
In order to achieve the above object, according to the present invention, in an image registration apparatus, a region extraction unit that extracts a region composed of pixels having similar characteristics from image data, and the region extraction unit extract the region. Region attribute extraction means for extracting physical information of an area as an attribute, and phase of an area having an attribute extracted by the area attribute extraction means by calculating a phase relationship between the areas extracted by the area extraction means Based on the relationship stored in the object information storage means, the image structure extraction means expressed by the relationship, the object information storage means for storing the relationship between the region and the phase relationship between the regions, and the corresponding object, Object extraction means for replacing regions having attributes and topological relationships between regions with corresponding objects, and the extracted objects A phase relationship extraction unit for extracting the phase relationship between the objects, and a keyword registration unit for registering the phase relationship between the objects extracted by the phase relationship extraction unit between the objects as a keyword for searching the image data. It is characterized by.
[0017]
According to this configuration, at least the phase relationship between the objects is automatically registered as a keyword, and the target image can be extracted by inputting this as a search.
[0018]
According to another aspect of the present invention, there is provided an image registration method comprising: a step of quantizing an input image to generate image data; and a pixel having similar characteristics from the generated image data. A step of extracting a configured region, a step of extracting physical information of the extracted region as an attribute, a step of calculating a phase relationship between the extracted regions and expressing an image by the phase relationship of the region Replacing a part or all of the topological relationship between the regions with an object, and the topological relationship between the regions updated by the object to determine the object, the relative position of the object, and the topological relationship between the objects. Extracting as keywords, and extracting the extracted keywords together with the generated image data into a database. Characterized by a step of registering the scan.
[0019]
Also in this configuration, the object, the relative position of the object, and the phase relationship between the objects are automatically registered as keywords, and the target image can be taken out by inputting this as a search.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of an image registration apparatus of the present invention. In the figure, 1 is an image input unit, 2 is a region extraction unit, 3 is a region attribute extraction unit, 4 is an image structure extraction unit, 5 is an object extraction unit, 6 is a keyword extraction unit, and 7 is an image registration unit.
[0021]
The
[0022]
FIG. 2 is a block diagram showing a configuration example for realizing an embodiment of the image registration apparatus of the present invention. In the figure, 101 is an image input processing unit, 102 is an image data storage memory, 103 is a region extraction processing unit, 104 is a region / region attribute storage memory, 105 is a region attribute extraction processing unit, 106 is an image structure extraction processing unit, 107 Is an image structure storage memory, 108 is an object extraction processing unit, 109 is an object dictionary, 110 is a keyword extraction processing unit, and 111 is an image registration processing unit.
[0023]
The image
[0024]
The image
[0025]
The region
[0026]
In this embodiment, the region extraction processing is performed by k-average region division and labeling. However, the present invention is not limited to this, and any method can be used as long as it can extract a region composed of pixels having similar characteristics. Any technique can be used. As another region extraction method, there is a method of extracting a pixel corresponding to an edge from an image and extracting a closed region constituted by the pixel as a region.
[0027]
The region / region
[0028]
The region attribute
[0029]
Further, depending on the region extraction method used in the region
[0030]
The image structure
[0031]
The image
[0032]
The object
[0033]
The
[0034]
Hereinafter, an example of the object extraction method will be described with reference to the flowchart shown in FIG. First, the attribute table stored in the region / region
[0035]
As a result of the object
[0036]
Here, an example is shown in which the unique name of an object is an object, but an object item is created in the
[0037]
In this example, the object graph and the image structure graph are compared by extracting objects based on whether or not each node or edge is suitable. It is also possible to replace the subgraph of the structure graph with the corresponding object. For example, it can be realized by configuring the attribute condition held in the
[0038]
The
[0039]
The keyword
[0040]
The image
[0041]
As described above, by using the image registration apparatus described above, it is possible to configure a search apparatus that can easily and quickly search for a target image by designating a keyword, without having to manually add a keyword when registering an image. . However, since the keywords extracted by the image registration apparatus according to the present invention and registered together with the images are mainly unique names, the image search is performed so that the synonym of the keyword specified as the search key at the time of search is also searched in addition to the search key. It is preferable to construct the apparatus.
[0042]
【The invention's effect】
As described above, according to the present invention, an objective keyword can be automatically extracted from an image and registered in a database together with the image simply by inputting the image to be registered. This saves you the trouble of assigning keywords when registering. In addition, since the search is performed based on the keywords registered together with the images, it is easy to specify a search key, and the configuration of the search device can be simplified.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an entire image registration apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of an image registration apparatus according to an embodiment.
FIG. 3 is a diagram illustrating an example of a labeling image representing region data in the embodiment.
FIG. 4 is a diagram illustrating an example of an attribute table according to the embodiment.
FIG. 5 is a diagram illustrating an example of a labeling image used when extracting a phase relationship between regions in the embodiment.
FIG. 6 is a diagram illustrating an example of extracting adjacent areas for each area in the embodiment.
FIG. 7 is a diagram illustrating an example of an image structure graph of an example.
8 is a diagram illustrating an example of a labeling image corresponding to the image structure graph of FIG.
FIG. 9 is a diagram illustrating an example of an object dictionary according to the embodiment.
FIG. 10 is a diagram illustrating an example of a processing flow of an object extraction processing method according to the embodiment.
FIG. 11 is a diagram illustrating an example of an image structure graph after the object extraction processing according to the embodiment.
[Explanation of symbols]
1 Image input section
2 region extraction part
3 Area attribute extraction part
4 Image structure extraction unit
5 Object extraction part
6 Keyword extractor
7 Image registration section
101 Image input processing unit
102 Image data storage memory
103 Area extraction processing unit
104 area / area attribute storage memory
105 Area attribute extraction processing unit
106 Image structure extraction processing unit
107 Image structure memory
108 Object extraction processing unit
109 Object Dictionary
110 Keyword extraction processing unit
111 Image Registration Processing Unit
Claims (8)
該画像入力手段により生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、
該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、
前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、
領域の属性および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、
前記画像構造抽出手段により算出された属性を持つ領域間の位相関係の一部またはすべてを、前記オブジェクト情報記憶手段に記憶されている関係に基づいて、対応するオブジェクトに置換するオブジェクト抽出手段と、
該オブジェクト抽出手段でオブジェクトに置換された属性を持つ領域間の位相関係からオブジェクト間の位相関係を求め前記画像データを検索するためのキーワードとして抽出するキーワード抽出手段と、
該キーワード抽出手段により抽出されたキーワードを前記画像入力手段により生成された画像データとともにデータベースに登録する画像登録手段とを有することを特徴とする画像登録装置。Image input means for quantizing the input image to generate image data;
A region extracting unit that extracts a region composed of pixels having similar characteristics from the image data generated by the image input unit;
Area attribute extraction means for extracting physical information of the area extracted by the area extraction means as an attribute;
Image structure extracting means for calculating the phase relationship between the regions extracted by the region extracting means and expressing the image by the phase relationship of the regions having the attributes extracted by the region attribute extracting means;
Object information storage means for storing the attributes of the regions and the phase relationship between the regions and the relationship with the corresponding object;
Wherein some or all of the phase relationship between the region having the attribute calculated by the image structure extraction means, based on the relationship stored in the object information storage means, and object extracting means for replacing the corresponding object,
And keyword extraction means for extracting as a keyword for searching the image data determined the phase relationship between the phase relation or Rao object between regions with attributes substituted in the object in the object extraction unit,
An image registration apparatus comprising: an image registration unit that registers a keyword extracted by the keyword extraction unit in a database together with image data generated by the image input unit.
該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、
前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、
領域の属性および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、
前記オブジェクト情報記憶手段に記憶されている関係に基づいて、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するオブジェクト抽出手段と、
抽出された前記オブジェクト間の位相関係を抽出するオブジェクト間位相関係抽出手段と、
該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するキーワード登録手段とを有することを特徴とする画像登録装置。Area extracting means for extracting an area composed of pixels having similar characteristics from image data;
Area attribute extraction means for extracting physical information of the area extracted by the area extraction means as an attribute;
Image structure extracting means for calculating the phase relationship between the regions extracted by the region extracting means and expressing the image by the phase relationship of the regions having the attributes extracted by the region attribute extracting means;
Object information storage means for storing the attributes of the regions and the phase relationship between the regions and the relationship with the corresponding object;
Based on the relationship stored in the object information storage unit, an object extraction unit that replaces the region having the attribute and the phase relationship between the regions with a corresponding object;
An inter-object phase relationship extracting means for extracting a phase relationship between the extracted objects;
An image registration apparatus comprising: keyword registration means for registering the phase relation between objects extracted by the inter-object phase relation extraction means as a keyword for searching the image data.
領域抽出手段が、生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、
領域属性抽出手段が、抽出された領域の持つ物理情報を属性として抽出するステップと、
画像構造抽出手段が、抽出された領域間の位相関係を算出して画像を、前記領域の位相関係で表現するステップと、
オブジェクト抽出手段が、前記領域間の位相関係の一部またはすべてを、オブジェクト情報記憶手段に記憶されている、領域の属性および領域間の位相関係と、対応するオブジェクトとの関係に基づいて、対応するオブジェクトで置換するステップと、
キーワード抽出手段が、前記オブジェクトに置換された領域間の位相関係から前記オブジェクト間の位相関係を求め前記画像データを検索するためのキーワードとして抽出するステップと、
画像登録手段が、抽出された前記キーワードを、生成された前記画像データとともにデータベースに登録するステップとを有することを特徴とする画像登録方法。 An image input means for quantizing the input image to generate image data;
A region extracting unit extracting a region composed of pixels having similar characteristics from the generated image data;
An area attribute extracting unit extracting physical information of the extracted area as an attribute;
An image structure extracting means calculating a phase relationship between the extracted regions and expressing the image by the phase relationship of the regions;
The object extraction means handles part or all of the phase relationship between the areas based on the attribute of the area and the phase relation between the areas stored in the object information storage means and the relationship with the corresponding object. Replacing the object with
Keyword extracting means, a step of extracting as a keyword for searching the image data determined the phase relationship between the phase relationship to these previous SL objects between substituted in the object region,
An image registration method comprising: registering the extracted keyword in a database together with the generated image data.
領域属性抽出手段が、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出するステップと、 An area attribute extracting unit extracting physical information of the area extracted by the area extracting unit as an attribute;
画像構造抽出手段が、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現するステップと、 An image structure extracting unit calculating a phase relationship between the regions extracted by the region extracting unit and expressing an image as a phase relationship of regions having attributes extracted by the region attribute extracting unit;
オブジェクト記憶手段に記憶されている、領域の属性および領域間の位相関係と、対応するオブジェクトとの関係に基づいて、オブジェクト抽出手段が、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するステップと、 An object in which the object extraction unit corresponds to the phase relationship between the region having the attribute and the region based on the attribute of the region and the phase relationship between the region stored in the object storage unit and the relationship with the corresponding object. A step of replacing with
オブジェクト間位相関係抽出手段が、抽出された前記オブジェクト間の位相関係を抽出するステップと、 A step of extracting a phase relationship between the objects, the phase relationship extraction means between the objects;
キーワード登録手段が、該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するステップとを有することを特徴とする画像登録方法。 And a step of registering the phase relation between the objects extracted by the inter-object phase relation extracting means as a keyword for searching the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20436896A JP3661287B2 (en) | 1996-08-02 | 1996-08-02 | Image registration apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20436896A JP3661287B2 (en) | 1996-08-02 | 1996-08-02 | Image registration apparatus and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005029962A Division JP2005141776A (en) | 2005-02-07 | 2005-02-07 | Image extraction device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1049542A JPH1049542A (en) | 1998-02-20 |
JP3661287B2 true JP3661287B2 (en) | 2005-06-15 |
Family
ID=16489365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20436896A Expired - Fee Related JP3661287B2 (en) | 1996-08-02 | 1996-08-02 | Image registration apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3661287B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
JP2002032751A (en) | 2000-07-18 | 2002-01-31 | Olympus Optical Co Ltd | Learning type image classifying device and method and recording medium with its processing program recorded thereon |
JP2004234228A (en) | 2003-01-29 | 2004-08-19 | Seiko Epson Corp | Image search device, keyword assignment method in image search device, and program |
JP4731303B2 (en) * | 2005-12-09 | 2011-07-20 | 株式会社ソニー・コンピュータエンタテインメント | Image display device, image display method, program, and information storage medium |
JP4747024B2 (en) | 2006-04-28 | 2011-08-10 | 富士フイルム株式会社 | Meta information adding apparatus, image reproducing apparatus, control method therefor, and program for controlling them |
JP2008165303A (en) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | Content registration device, content registration method and content registration program |
JP2008269557A (en) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | Image search device and image search method |
JP5385624B2 (en) * | 2009-01-30 | 2014-01-08 | 富士フイルム株式会社 | Image keyword assignment device, image search device, and control method thereof |
US8866845B2 (en) * | 2010-03-10 | 2014-10-21 | Empire Technology Development Llc | Robust object recognition by dynamic modeling in augmented reality |
JP7227799B2 (en) * | 2019-03-13 | 2023-02-22 | 株式会社日立製作所 | Image retrieval device, image retrieval method and computer program |
CN109934852B (en) * | 2019-04-01 | 2022-07-12 | 重庆理工大学 | Video description method based on object attribute relation graph |
-
1996
- 1996-08-02 JP JP20436896A patent/JP3661287B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1049542A (en) | 1998-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7437004B2 (en) | Method for processing data structures with networked semantic units | |
US8429174B2 (en) | Methods, systems, and data structures for performing searches on three dimensional objects | |
JP4553650B2 (en) | Image group representation method, descriptor derived by representation method, search method, apparatus, computer program, and storage medium | |
Carlinet et al. | MToS: A tree of shapes for multivariate images | |
US20030101164A1 (en) | Method of indexing and comparing multimedia documents | |
JP2004522228A (en) | A method for representing and comparing digital images. | |
JP2008097607A (en) | Method to automatically classify input image | |
JP3661287B2 (en) | Image registration apparatus and method | |
JPWO2008018398A1 (en) | Object area extraction device | |
JP2001160057A (en) | Method for hierarchically classifying image and device for classifying and retrieving picture and recording medium with program for executing the method recorded thereon | |
JPH0451363A (en) | Picture information retrieval device | |
US20090129683A1 (en) | Object Recognition Apparatus,Computer Readable Medium Storing Object Recognition Program, and Image Retrieval Service Providing Method | |
CN106845513A (en) | Staff detector and method based on condition random forest | |
JP2005141776A (en) | Image extraction device and method | |
Fan et al. | Automatic model-based semantic object extraction algorithm | |
JP2002183732A (en) | Pattern recognition method and computer-readable storage medium stored with program executing pattern recognition | |
Xu et al. | Object based image retrieval based on multi-level segmentation | |
JP2006221525A (en) | Object retrieval system and method | |
Stottinger et al. | Translating journalists' requirements into features for image search | |
CN111339332A (en) | Three-dimensional volume data retrieval method based on tree structure topological graph | |
JPH08167028A (en) | Image processing method | |
JP2002509632A (en) | How to segment and recognize documents, especially technical drawings | |
Usó | A quadtree-based unsupervised segmentation algorithm for fruit visual inspection | |
Kumari et al. | A Study and usage of Visual Features in Content Based Image Retrieval Systems. | |
MAHURKAR et al. | Novel Outline Tracing Techniques for Leaf Species Identification from Shrouded Leaves |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 19961023 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20020415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |