JP2930903B2 - Region extraction method and region extraction device - Google Patents

Region extraction method and region extraction device

Info

Publication number
JP2930903B2
JP2930903B2 JP8073405A JP7340596A JP2930903B2 JP 2930903 B2 JP2930903 B2 JP 2930903B2 JP 8073405 A JP8073405 A JP 8073405A JP 7340596 A JP7340596 A JP 7340596A JP 2930903 B2 JP2930903 B2 JP 2930903B2
Authority
JP
Japan
Prior art keywords
edge
activity
vector
calculating
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP8073405A
Other languages
Japanese (ja)
Other versions
JPH09265541A (en
Inventor
秀雄 梅木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP8073405A priority Critical patent/JP2930903B2/en
Publication of JPH09265541A publication Critical patent/JPH09265541A/en
Application granted granted Critical
Publication of JP2930903B2 publication Critical patent/JP2930903B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、領域抽出方法及び
領域抽出装置に関する。より具体的には、例えば、画像
データを用いた環境監視システムや、オプティカルフロ
ー計算によって得られる局所的フローベクトルに基づく
移動領域を検出する検出システム等、画像中から検出す
べきパターンを解析し、対応する部分領域を抽出するた
めの領域抽出方法及び領域抽出装置に関するものであ
る。
The present invention relates to an area extracting method and an area extracting apparatus. More specifically, for example, an environment monitoring system using image data, a detection system that detects a moving area based on a local flow vector obtained by optical flow calculation, and the like, analyze a pattern to be detected from an image, The present invention relates to an area extracting method and an area extracting apparatus for extracting a corresponding partial area.

【0002】[0002]

【従来の技術】従来より、画像認識技術として、テンプ
レートマッチング手法や異なる空間の間の特徴点の対応
付けによる認識方法(以下「特徴点対応付け方法」とい
う)等が知られている。
2. Description of the Related Art Conventionally, as an image recognition technique, a template matching method, a recognition method by associating feature points between different spaces (hereinafter referred to as a "feature point associating method") and the like have been known.

【0003】テンプレートマッチング手法とは、1つの
画像中(第1の画像層)から特定のパターン(第2の画
像層)の幾何学的変形パターンを検出する手法の1つで
あって、図13に示すように、あるパターンの幾何学的
な変形パターンをテンプレートとしてあらかじめ複数用
意し、そのテンプレートを対象となる画像上を移動させ
ながら相関を求め、相関の大きな箇所を検出する手法で
ある。
[0003] The template matching technique is one of techniques for detecting a geometrically deformed pattern of a specific pattern (second image layer) from one image (first image layer). As shown in (1), a method is provided in which a plurality of geometrically deformed patterns of a certain pattern are prepared in advance as templates, the correlation is obtained while moving the template on the target image, and a portion having a large correlation is detected.

【0004】しかしながら、このテンプレートマッチン
グ手法では、拡大縮小、回転、歪みなどの幾何学的変形
パターンの数と画像上の平行移動量の組合わせが大きく
なると、対応領域の抽出に要する計算時間が膨大にな
り、テンプレートとの部分的な照合を行うことが困難に
なるという問題があった。
However, in this template matching method, when the number of geometric deformation patterns such as enlargement / reduction, rotation, distortion and the like and the amount of parallel movement on an image become large, the calculation time required for extracting the corresponding area becomes enormous. This makes it difficult to perform partial matching with the template.

【0005】一方、特徴点対応付け方法とは、図14に
示すように、対象画像(第1の空間)と検出すべきパタ
ーン(第2の空間)の2つの空間のそれぞれについて、
空間上に複数配置した特徴点ごとに画像情報に基づく特
徴量を求め、1つの空間上の特徴点における特徴量が他
の空間上の特徴点の特徴量とどの程度適合しているかを
各特徴点ごとに演算することで、2つの空間の間の特徴
点同士の対応づけを行う方法である。つまり、この方法
は、局所的な特徴量の比較により、2つの空間の間の局
所的な対応をとるものである。
On the other hand, the feature point associating method is, as shown in FIG. 14, for each of two spaces of a target image (first space) and a pattern to be detected (second space).
A feature amount based on image information is obtained for each of a plurality of feature points arranged in a space, and a feature amount of a feature point in one space and a feature amount of a feature point in another space are matched. This is a method of correlating feature points between two spaces by calculating for each point. That is, in this method, a local correspondence between two spaces is obtained by comparing local feature amounts.

【0006】なお、対応点決定のアルゴリズムとして
は、例えば「画像解析ハンドブック」(高木幹雄、下田
陽久監修、東京大学出版、(pp.707−746)に
示されるものが知られている。
As an algorithm for determining corresponding points, for example, an algorithm disclosed in "Image Analysis Handbook" (supervised by Mikio Takagi and Hirohisa Shimoda, published by The University of Tokyo, pp. 707-746) is known.

【0007】しかしながら、対象画像中に検出すべきパ
ターンの幾何学的変形パターンが複数存在する場合、局
所的な特徴点の対応により対象画像中から局所的な幾何
学的変形の度合いが類似している部分領域を取り出すこ
とが困難であるという問題があった。このような問題に
ついて、図15を例に説明する。
However, when there are a plurality of geometrically deformed patterns of the pattern to be detected in the target image, the degree of the local geometric deformation from the target image is similar due to the correspondence of the local feature points. However, there is a problem that it is difficult to take out a partial area that is present. Such a problem will be described with reference to FIG.

【0008】すなわち、図15に示すように、第1の空
間上の左側の枠で囲った領域D1は、その中に含まれる
特徴点の第2の空間における対応点同士の関係につい
て、第1の空間上における特徴点間同士の関係とほぼ同
等である。これに対して、右側の領域D2の第2の空間
における対応点の関係については、もとの第1の空間上
における特徴点が形作る構造とかけ離れている場合を想
定する。このような場合、左側の領域D1の部分だけを
抽出しなければならず、また、そのような部分が第1の
空間上に複数ある場合であってもそれらを抽出できなく
てはならないにもかかわらず、このような抽出が困難で
あった。
That is, as shown in FIG. 15, an area D1 surrounded by a left frame on the first space is defined by a first relation between corresponding points in the second space of feature points included therein. Is substantially equivalent to the relationship between feature points in the space. On the other hand, as for the relationship between the corresponding points in the second space of the right region D2, it is assumed that the feature points in the original first space are far from the structure formed. In such a case, it is necessary to extract only the portion of the left area D1, and even if there are a plurality of such portions in the first space, they must be able to be extracted. Regardless, such extraction was difficult.

【0009】[0009]

【発明が解決しようとする課題】上述のように、特徴点
対応付け方法では、対象画像中に検出すべきパターンの
幾何学的変形パターンが複数存在する場合、局所的な特
徴点の対応により対象画像中から局所的な幾何学的変形
の度合いが類似している部分領域を取り出すことが困難
であるという問題があった。
As described above, in the feature point associating method, when there are a plurality of geometrically deformed patterns of the pattern to be detected in the target image, the target is determined by local feature point correspondence. There is a problem that it is difficult to extract a partial region having a similar degree of local geometric deformation from an image.

【0010】そこで、本発明は、特徴点対応付け方法等
のような局所的な特徴量の類似度等に基づく方法に関
し、第1の空間上に配置された複数の特徴点のそれぞれ
が、第2の空間上の一点と局所的に対応している状態に
おいて、第2の空間上のパターンの平行移動、拡大縮
小、回転、歪みによって一致する部分領域を第1の空間
から抽出できるようにすることを目的とする。また、本
発明は、上記のような部分領域が第1の空間上に複数存
在する場合にもそれらの領域を同時に抽出できるように
することを目的とする。
Therefore, the present invention relates to a method based on the similarity of local feature amounts such as a feature point associating method and the like, wherein each of a plurality of feature points arranged in a first space is a In a state where a local point locally corresponds to a point in the second space, a partial region that matches by translation, scaling, rotation, and distortion of the pattern in the second space can be extracted from the first space. The purpose is to: Another object of the present invention is to be able to simultaneously extract a plurality of partial regions even when a plurality of partial regions exist in the first space.

【0011】[0011]

【課題を解決するための手段】本発明は、概念的には、
第1の空間(全体空間)上に配置された各々の特徴点に
ついて、隣接する特徴点間を結んでエッジベクトルと
し、各エッジベクトルの端点である2つの特徴点の第2
の空間(部分空間)上における対応点を結んで第2の空
間上でのエッジベクトルとする。
SUMMARY OF THE INVENTION The present invention is conceptually
For each feature point arranged in the first space (entire space), an adjacent feature point is connected to form an edge vector, and the second feature point of the two feature points which are the end points of each edge vector is set.
The corresponding points in the space (subspace) are connected to form an edge vector in the second space.

【0012】つぎに、第1の空間上のエッジベクトルと
それに対応する第2の空間上のエッジベクトルとの関係
をベクトルの拡大率と回転角等によって特徴付けられた
エッジ変換パラメータ座標上の一点をエッジ変換パラメ
ータとして表現する。
Next, the relationship between the edge vector in the first space and the corresponding edge vector in the second space is represented by a point on the coordinate of the edge transformation parameter characterized by the magnification and the rotation angle of the vector. Is expressed as an edge transformation parameter.

【0013】そして、すべてのエッジに対して得られた
エッジ変換パラメータの分布状況に基づいて各エッジの
活性度を求め、あるしきい値以上のエッジ活性度を持つ
エッジであって、相互に連結するエッジにより特定され
る所定の領域を抽出するものである。
Then, the activity of each edge is determined based on the distribution state of the edge conversion parameters obtained for all the edges, and the edges having an edge activity not less than a certain threshold value are connected to each other. A predetermined area specified by an edge is extracted.

【0014】即ち、請求項1に記載された発明は、複数
の特徴点が配置された全体空間と、該特徴点に対する対
応点が配置された部分空間とが与えられ、該部分空間上
に配置された対応点に基づいて、該全体空間から特定の
特徴点群によって構成される所定の領域を抽出する領域
抽出方法であって、前記複数の特徴点の位置情報に基づ
いて第1のエッジ及び第1のエッジベクトルを生成する
とともに、前記対応点の位置情報に基づいて第2のエッ
ジ及び第2のエッジベクトルを生成し、前記第1のエッ
ジベクトル及び第2のエッジベクトルに基づいて、エッ
ジ変換パラメータを算出し、前記エッジ変換パラメータ
に基づいてエッジ活性度を演算し、該エッジ活性度を所
定のしきい値と比較し、前記比較結果が所定の条件を満
たす場合に、前記エッジ活性度に基づいて、前記第1の
エッジベクトルの中から特定のエッジベクトルに対応す
るエッジを選択することにより、所定の領域を抽出する
ことを特徴とする領域抽出方法である。
That is, according to the first aspect of the present invention, an entire space in which a plurality of feature points are arranged and a partial space in which corresponding points to the feature points are arranged are provided. A region extraction method for extracting a predetermined region composed of a specific feature point group from the entire space based on the corresponding points obtained, wherein a first edge and a first edge are extracted based on position information of the plurality of feature points. A first edge vector is generated, a second edge and a second edge vector are generated based on the position information of the corresponding point, and an edge is generated based on the first edge vector and the second edge vector. Calculating a conversion parameter, calculating an edge activity based on the edge conversion parameter, comparing the edge activity with a predetermined threshold value, and when the comparison result satisfies a predetermined condition, Based on Tsu di activity, by selecting the corresponding edge to the particular edge vector from the first edge vector, a region extraction method characterized by extracting a predetermined region.

【0015】また、請求項2に記載された発明は、複数
の特徴点が配置された全体空間と、該特徴点に対する対
応点が配置された部分空間とが与えられ、該部分空間上
に配置された対応点に基づいて、該全体空間から特定の
特徴点群によって構成される所定の領域を抽出する領域
抽出方法であって、前記複数の特徴点の位置情報に基づ
いて第1のエッジ及び第1のエッジベクトルを生成する
とともに、前記対応点の位置情報に基づいて第2のエッ
ジ及び第2のエッジベクトルを生成するステップと、前
記第1のエッジベクトル及び第2のエッジベクトルに基
づいて、エッジ変換パラメータを算出するステップと、
前記エッジ変換パラメータに基づいてエッジ活性度を演
算するステップと、前記エッジ活性度を所定のしきい値
と比較するステップと、前記比較するステップによって
得られた一の比較結果が所定の条件を満たすまで、前記
演算するステップ及び比較するステップを繰り返し、前
記比較するステップによって得られた一の比較結果が所
定の条件を満たす場合に、前記エッジ活性度に基づい
て、前記第1のエッジベクトルの中から特定のエッジベ
クトルに対応するエッジを選択することにより、所定の
領域を抽出するステップとからなることを特徴とする領
域抽出方法である。
According to the second aspect of the present invention, an entire space in which a plurality of feature points are arranged and a partial space in which corresponding points to the feature points are arranged are provided, and are arranged on the partial space. A region extraction method for extracting a predetermined region composed of a specific feature point group from the entire space based on the corresponding points obtained, wherein a first edge and a first edge are extracted based on position information of the plurality of feature points. Generating a first edge vector and generating a second edge and a second edge vector based on the position information of the corresponding point; and generating a second edge vector and a second edge vector based on the first edge vector and the second edge vector. Calculating edge conversion parameters;
Calculating an edge activity based on the edge conversion parameter; comparing the edge activity with a predetermined threshold; and one comparison result obtained by the comparing step satisfies a predetermined condition. Until the calculating step and the comparing step are repeated, and if one comparison result obtained by the comparing step satisfies a predetermined condition, the first edge vector is calculated based on the edge activity. And extracting a predetermined area by selecting an edge corresponding to a specific edge vector from.

【0016】さらに、請求項3に記載された発明は、前
記エッジ変換パラメータを算出するに際し、対応するエ
ッジベクトル間の拡大率、回転角又はそれらから一意に
得られるパラメータをエッジ変換パラメータとすること
を特徴とする。
Further, in the invention according to claim 3, when calculating the edge conversion parameter, an enlargement ratio between corresponding edge vectors, a rotation angle or a parameter uniquely obtained from them is used as an edge conversion parameter. It is characterized by.

【0017】また、請求項4に記載された発明は、複数
の特徴点が配置された全体空間と、該特徴点に対する対
応点が配置された部分空間とが与えられ、該部分空間上
に配置された対応点に基づいて、該全体空間から特定の
特徴点群によって構成される所定の領域を抽出する領域
抽出方法において、前記複数の特徴点の位置情報に基づ
いて第1のエッジ及び該第1のエッジからそれぞれ得ら
れる第1のエッジベクトルを生成するとともに、前記対
応点の位置情報に基づいて第2のエッジ及び該第2のエ
ッジからそれぞれ得られる第2のエッジベクトルを生成
するステップと、前記第1のエッジベクトル及び第2の
エッジベクトルに基づいて、エッジ変換パラメータを算
出するステップと、予め与えられた所定の値を一のエッ
ジ活性度に設定するステップと、前記エッジ変換パラメ
ータに基づいてエッジ活性度更新量を演算するステップ
と、前記一のエッジ活性度と該エッジ活性度更新量とに
基づいて、新たなエッジ活性度を算出し、該新たなエッ
ジ活性度を一のエッジ活性度として再設定するステップ
と、前記エッジ活性度が所定の収束条件を満たすか否か
を判定するステップと、前記判定するステップによって
所定の収束条件を満たさないと判定された場合に、前記
演算するステップ乃至判定するステップを繰り返し、前
記判定するステップによって所定の収束条件を満たすと
判定された場合に、前記エッジ活性度に基づいて、前記
第1のエッジベクトルの中から特定のエッジベクトルに
対応するエッジを選択することにより、所定の領域を抽
出することを特徴とする領域抽出方法である。
According to the fourth aspect of the present invention, an entire space in which a plurality of feature points are arranged and a partial space in which corresponding points to the feature points are arranged are provided, and are arranged on the partial space. In the region extraction method for extracting a predetermined region formed by a specific feature point group from the entire space based on the corresponding points thus obtained, the first edge and the second edge are extracted based on the position information of the plurality of feature points. Generating a first edge vector obtained from each of the first edge, and generating a second edge and a second edge vector respectively obtained from the second edge based on the position information of the corresponding point; Calculating an edge conversion parameter based on the first edge vector and the second edge vector, and setting a predetermined value to one edge activity. Calculating an edge activity update amount based on the edge conversion parameter; calculating a new edge activity based on the one edge activity and the edge activity update amount; Resetting the edge activity as one edge activity, determining whether the edge activity satisfies a predetermined convergence condition, and determining whether the edge activity satisfies a predetermined convergence condition. When it is determined, the calculating step or the determining step is repeated. When the determining step determines that the predetermined convergence condition is satisfied, the first edge vector of the first edge vector is determined based on the edge activity. A region extraction method characterized by extracting a predetermined region by selecting an edge corresponding to a specific edge vector from among them. It is.

【0018】ここで、請求項5に記載されるように、本
発明の前記エッジ活性度更新量を演算するステップは、
前記一のエッジ活性度に対して非線形変換を行うステッ
プと、前記非線形変換された一のエッジ活性度と前記エ
ッジ変換パラメータとに基づいて、該一のエッジ活性度
について、所定の重み付け係数を用いて重み付け計算を
行うステップとを含むことを特徴とする。
Here, as described in claim 5, the step of calculating the edge activity update amount according to the present invention comprises:
Performing a non-linear conversion on the one edge activity, and using a predetermined weighting coefficient for the one edge activity based on the one edge activity and the edge conversion parameter obtained by the non-linear conversion. And performing a weighting calculation.

【0019】また、請求項6に記載されるように、本発
明の前記エッジ活性度更新量を演算するステップは、前
記非線形変換を行うステップにより得られた結果につい
て、前記一のエッジ活性度に従い特定される所定の範囲
内の平均値を求めるステップと、前記平均値と前記非線
形変換を行うステップにより得られる結果との差に基づ
いて平滑化演算を行うステップとを含むことを特徴とす
る。
According to a sixth aspect of the present invention, the step of calculating the edge activity update amount according to the present invention includes the step of performing the non-linear conversion on the result obtained by the non-linear conversion in accordance with the one edge activity. The method includes a step of obtaining an average value within a specified predetermined range, and a step of performing a smoothing operation based on a difference between the average value and a result obtained by performing the nonlinear conversion.

【0020】さらに、請求項7に記載されるように、本
発明の前記エッジ活性度更新量を演算するステップは、
前記エッジ変換パラメータに基づいて、前記エッジ活性
度更新量を変更することを特徴とする。
Further, as set forth in claim 7, the step of calculating the edge activity update amount according to the present invention comprises the following steps:
The update amount of the edge activity is changed based on the edge conversion parameter.

【0021】また、請求項8に記載されるように、本発
明の前記重み付け計算を行うステップは、前記全体空間
上の特徴点に基づく第1のエッジと前記部分空間上の対
応点に基づく第2のエッジとの間の依存関係度を算出す
るステップと、前記算出された依存関係度に基づいて重
み付け係数を決定するステップとを含むことを特徴とす
る。
According to an eighth aspect of the present invention, the step of performing the weighting calculation according to the present invention is characterized in that the first edge based on the feature point on the whole space and the first edge based on the corresponding point on the subspace are used. Calculating the degree of dependency between the second edge and the second edge; and determining a weighting coefficient based on the calculated degree of dependency.

【0022】さらに、本発明では、以下のような発明特
定事項を含む領域抽出方法であってもかまわない。即
ち、第1に、本発明は、前記エッジ活性度更新量を演算
するに際し、前記エッジ活性度と前記エッジ活性度更新
量を係数つきで加算することを特徴とする領域抽出方法
であってもよい。
Further, in the present invention, an area extraction method including the following items specifying the invention may be used. That is, first, the present invention also provides a region extraction method characterized in that when calculating the edge activity update amount, the edge activity and the edge activity update amount are added together with a coefficient. Good.

【0023】また、第2に、本発明は、前記選択された
エッジから所定の領域を抽出する際に、エッジ活性度が
しきい値を超えているエッジを抽出し、該抽出されたエ
ッジの中から、エッジベクトルのいずれか一方の端点を
共有する連結エッジを抽出することを特徴とする領域抽
出方法であってもよい。
Secondly, according to the present invention, when extracting a predetermined area from the selected edge, an edge whose edge activity exceeds a threshold value is extracted, and A region extraction method may be characterized in that a connected edge sharing one of the end points of the edge vector is extracted from the inside.

【0024】加えて、連結エッジを抽出し、それに対応
する領域を出力することを特徴とする領域抽出方法であ
ってもよい。さらに、本発明は、前記選択されたエッジ
から所定の領域を抽出する際に、抽出された対応領域に
含まれるエッジのエッジ変換パラメータの加重平均演算
により、該対応領域内の大域的なエッジ変換パラメータ
を得ることを特徴とする領域抽出方法であってもよい。
In addition, a region extraction method may be characterized in that a connected edge is extracted and a region corresponding thereto is output. Further, the present invention provides a method for extracting a predetermined area from the selected edge, by performing a weighted average operation of edge conversion parameters of edges included in the extracted corresponding area, thereby performing global edge conversion within the corresponding area. An area extraction method characterized by obtaining parameters may be used.

【0025】ここで、上記対応領域内の大域的なエッジ
変換パラメータを得た後、エッジ変換パラメータの範囲
を選択することによって、最終的に抽出すべき部分領域
を決定するようにしたことを特徴とする領域抽出方法で
あってもよい。
Here, a partial area to be finally extracted is determined by selecting a range of the edge conversion parameter after obtaining a global edge conversion parameter in the corresponding area. May be used.

【0026】一方、本発明を物の方法として把握する
と、以下のようになる。即ち、請求項9に記載された本
発明は、複数の特徴点が配置された全体空間と、該特徴
点に対する対応点が配置された部分空間とが与えられ、
該部分空間上に配置された対応点に基づいて、該全体空
間から特定の特徴点群によって構成される所定の領域を
抽出する領域抽出装置であって、前記複数の特徴点の位
置情報に基づいて第1のエッジ及び第1のエッジベクト
ルを生成するとともに、前記対応点の位置情報に基づい
て第2のエッジ及び第2のエッジベクトルを生成するエ
ッジベクトル生成手段と、前記第1のエッジベクトル及
び第2のエッジベクトルに基づいて、エッジ変換パラメ
ータを算出するエッジ変換パラメータ算出手段と、前記
エッジ変換パラメータに基づいてエッジ活性度を演算
し、該エッジ活性度を所定のしきい値と比較する比較手
段と、前記比較結果が所定の条件を満たす場合に、前記
エッジ活性度に基づいて、前記第1のエッジベクトルの
中から特定のエッジベクトルに対応するエッジを選択す
る選択手段と、前記エッジ選択手段により選択されたエ
ッジに基づいて、所定の領域を抽出する抽出手段とを具
備することを特徴とする領域抽出装置である。
On the other hand, when the present invention is grasped as an object method, it is as follows. That is, the present invention described in claim 9 is provided with an entire space in which a plurality of feature points are arranged and a partial space in which corresponding points to the feature points are arranged,
An area extracting apparatus for extracting a predetermined area constituted by a specific feature point group from the entire space based on corresponding points arranged on the partial space, wherein the area extracting apparatus extracts location information of the plurality of feature points. Means for generating a first edge and a first edge vector, and generating a second edge and a second edge vector based on the position information of the corresponding point; and the first edge vector And an edge conversion parameter calculating means for calculating an edge conversion parameter based on the second edge vector, and calculating an edge activity based on the edge conversion parameter, and comparing the edge activity with a predetermined threshold. Comparing means for determining a specific edge from among the first edge vectors based on the edge activity when the comparison result satisfies a predetermined condition; Selection means for selecting the corresponding edge vector, based on the edge selected by the edge selection means, a region extraction apparatus characterized by comprising extracting means for extracting a predetermined region.

【0027】また、請求項10に記載された発明は、複
数の特徴点が配置された全体空間と、該特徴点に対する
対応点が配置された部分空間とが与えられ、該部分空間
上に配置された対応点に基づいて、該全体空間から特定
の特徴点群によって構成される所定の領域を抽出する領
域抽出装置であって、前記複数の特徴点の位置情報に基
づいて第1のエッジ及び第1のエッジベクトルを生成す
る第1のエッジベクトル生成手段と、前記対応点の位置
情報に基づいて第2のエッジ及び第2のエッジベクトル
を生成する第2のエッジベクトル生成手段と、前記第1
のエッジベクトル及び第2のエッジベクトルに基づい
て、エッジ変換パラメータを算出するエッジ変換パラメ
ータ算出手段と、前記エッジ変換パラメータに基づいて
エッジ活性度を演算するエッジ活性度演算手段と、前記
エッジ活性度を所定のしきい値と比較する比較手段と、
前記比較手段によって得られた一の比較結果が所定の条
件を満たさない場合に、前記エッジ活性度演算手段及び
比較手段を実行する反復実行手段と、前記比較手段によ
って得られた一の比較結果が所定の条件を満たす場合
に、前記エッジ活性度に基づいて、前記第1のエッジベ
クトルの中から特定のエッジベクトルに対応するエッジ
を選択するエッジ選択手段と、前記エッジ選択手段によ
り選択されたエッジに基づいて、所定の領域を抽出する
領域抽出手段とを具備することを特徴とする領域抽出装
置である。
According to the tenth aspect of the present invention, an entire space in which a plurality of feature points are arranged, and a partial space in which corresponding points to the feature points are arranged, are provided, and are arranged on the partial space. An area extracting apparatus for extracting a predetermined area formed by a specific feature point group from the entire space based on the corresponding points, wherein a first edge and a first edge are extracted based on position information of the plurality of feature points. First edge vector generation means for generating a first edge vector; second edge vector generation means for generating a second edge and a second edge vector based on the position information of the corresponding point; 1
Edge conversion parameter calculating means for calculating an edge conversion parameter based on the edge vector and the second edge vector; edge activity calculating means for calculating an edge activity based on the edge conversion parameter; Comparing means with a predetermined threshold value;
When one comparison result obtained by the comparison means does not satisfy a predetermined condition, the iterative execution means for executing the edge activity calculation means and the comparison means, and one comparison result obtained by the comparison means An edge selection unit that selects an edge corresponding to a specific edge vector from the first edge vectors based on the edge activity when a predetermined condition is satisfied; and an edge selected by the edge selection unit. And a region extracting means for extracting a predetermined region based on the region.

【0028】ここで、請求項11に記載されているよう
に、本発明の前記領域抽出手段は、前記エッジ選択手段
により選択されたエッジに基づき、他のしきい値と比較
する手段と、前記比較する手段によって得られた比較結
果を満たす場合に、前記選択されたエッジに連結するエ
ッジを抽出する手段を含むことを特徴とする。
Here, as set forth in claim 11, the region extracting means according to the present invention comprises: means for comparing with another threshold value based on the edge selected by the edge selecting means; When the comparison result obtained by the comparing means is satisfied, the apparatus further comprises means for extracting an edge connected to the selected edge.

【0029】[0029]

【発明の実施の形態】以下、本発明に係る特徴点抽出方
法及び特徴点抽出装置について、図面を参照しつつ説明
する。以下では、簡単のために特徴点と対応点の空間を
ともに2次元とするが、一般のK次元空間(Kは1以上
の整数)においても同様の実施形態をとることができ
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A feature point extracting method and a feature point extracting apparatus according to the present invention will be described below with reference to the drawings. In the following, for simplicity, the space between the feature points and the corresponding points is both two-dimensional, but the same embodiment can be applied to a general K-dimensional space (K is an integer of 1 or more).

【0030】図1は、本発明に係る特徴点抽出装置の構
成を示すブロック図である。同図に示すブロック図は、
本発明に係る特徴点抽出装置について機能要素の観点か
ら構成したものであって、各機能要素は、ハードウェア
若しくはソフトウェア又はそれらの組み合わせにより実
現される。
FIG. 1 is a block diagram showing a configuration of a feature point extracting apparatus according to the present invention. The block diagram shown in FIG.
The feature point extracting apparatus according to the present invention is configured from the viewpoint of functional elements, and each functional element is realized by hardware, software, or a combination thereof.

【0031】特徴点位置情報入力部11は、第1の空間
上に配置されたN個(Nは任意の自然数)の特徴点の位
置情報をエッジ算出部12に送出するためのものであ
る。一方、対応点位置情報入力部13は、第1の空間の
各特徴点に対する第2の空間上における対応点の位置情
報をエッジ算出部12に送出するためのものである。こ
れら第1又は第2の空間における位置情報は、例えば、
位置ベクトルの組で表現される。
The feature point position information input section 11 is for sending position information of N (N is an arbitrary natural number) feature points arranged in the first space to the edge calculating section 12. On the other hand, the corresponding point position information input unit 13 is for sending the position information of the corresponding point in the second space for each feature point in the first space to the edge calculating unit 12. The position information in the first or second space is, for example,
It is represented by a set of position vectors.

【0032】エッジ算出部12は、特徴点位置情報入力
部11及び対応点位置情報入力部13から入力された位
置情報に基づき構成されるエッジについて、エッジベク
トルを算出する。ここで、エッジとは、ある空間上にお
ける隣接する2点を結んでできる線分をいうものとす
る。従って、第1の空間上において、2つの特徴点のう
ち、一方を始点とし、他方を終点とするとき、これらを
結ぶ線分がエッジベクトルとなる。同様に、第1の空間
上のエッジベクトルの始点と終点とにそれぞれ対応する
第2の空間上における点(対応点)を結んだ線分がエッ
ジベクトルとなる。なお、エッジベクトルの数は、2つ
の空間において同数ある。
The edge calculation unit 12 calculates an edge vector for an edge formed based on the position information input from the feature point position information input unit 11 and the corresponding point position information input unit 13. Here, an edge refers to a line segment connecting two adjacent points in a certain space. Therefore, in the first space, when one of the two feature points is set as a start point and the other is set as an end point, a line segment connecting these is an edge vector. Similarly, line segments connecting points (corresponding points) in the second space corresponding to the start point and the end point of the edge vector in the first space are edge vectors. Note that the number of edge vectors is the same in the two spaces.

【0033】エッジ変換パラメータ算出部14は、エッ
ジ算出部12で算出された各空間におけるエッジベクト
ルに基づいて、エッジ変換パラメータを算出する。ここ
で、エッジ変換パラメータとは、各エッジベクトルの組
がどのような変換を受けたかを示すためのパラメータを
いう。
The edge conversion parameter calculator 14 calculates an edge conversion parameter based on the edge vector in each space calculated by the edge calculator 12. Here, the edge conversion parameter refers to a parameter indicating what type of conversion has been performed on each set of edge vectors.

【0034】エッジ活性度演算部15は、エッジ変換パ
ラメータとエッジベクトル及びエッジの位置情報(エッ
ジ位置)に基づいて、第1の空間上の各エッジのエッジ
活性度を求める。エッジ活性度とは、各エッジのエッジ
変換パラメータ空間における分布とエッジ位置間の距離
とに依存した値である。エッジ活性度演算部15は、求
めたエッジ活性度を出力部16へ送出する。
The edge activity calculator 15 calculates the edge activity of each edge in the first space based on the edge conversion parameters, the edge vector, and the edge position information (edge position). The edge activity is a value that depends on the distribution of each edge in the edge conversion parameter space and the distance between edge positions. The edge activity calculating unit 15 sends the obtained edge activity to the output unit 16.

【0035】出力部16は、エッジ活性度演算部15に
よって各エッジに対して得られたエッジ活性度に基づい
て、対応領域を抽出し、これを表示するためのものであ
る。すなわち、エッジ活性度が、あるしきい値以上で、
かつ、エッジベクトルのいずれかの端点を共有している
連結したエッジを選択し、これに対応する領域を抽出し
て、必要ならば該対応領域を表示する。
The output section 16 is for extracting a corresponding area based on the edge activity obtained for each edge by the edge activity calculating section 15 and displaying the corresponding area. That is, when the edge activity is equal to or higher than a certain threshold,
Further, a connected edge sharing one of the end points of the edge vector is selected, a region corresponding to the selected edge is extracted, and the corresponding region is displayed if necessary.

【0036】次に、図1に示した各機能要素の詳細につ
いて説明する。まず、エッジ算出部12によるエッジベ
クトルの算出について説明する。上述したように、エッ
ジとは、ある空間上における隣接する2点を結んででき
る線分をいい、空間上における2点間を結ぶ線分がエッ
ジベクトルである。
Next, details of each functional element shown in FIG. 1 will be described. First, the calculation of the edge vector by the edge calculation unit 12 will be described. As described above, an edge refers to a line segment connecting two adjacent points in a certain space, and a line segment connecting two points in a space is an edge vector.

【0037】図2は、第1及び第2の空間上のエッジベ
クトルを説明するための図である。同図(a)に示すよ
うに、第1の空間における1つのエッジベクトルの始点
の位置ベクトルをr+ 、終点をr- と表している。ま
た、それに対応する第2の空間におけるエッジベクトル
をs+ 、s- と表している。このとき、第1の空間に
おけるエッジベクトルpは、 p=(r+ −r- ) と表し、これに対応する第2の空間上のエッジベクトル
qは、 q=(s+ −s- ) と表すこととする。
FIG. 2 is a diagram for explaining edge vectors in the first and second spaces. As shown in FIG. 7A, the position vector of the start point of one edge vector in the first space is represented by r + , and the end point is represented by r . Also, the edge vector in the second space corresponding to it s +, s - represents a. At this time, the edge vector p in the first space, p = (r + -r - ) and represents the edge vector q on the second space corresponding to this, q = - and (s + -s) Shall be represented.

【0038】そして、エッジ算出部12は、求めたエッ
ジベクトルをエッジ変換パラメータ算出部14及びエッ
ジ活性度演算部15へ送出する。次に、エッジ変換パラ
メータ算出部14について詳細に説明する。
Then, the edge calculator 12 sends the obtained edge vector to the edge conversion parameter calculator 14 and the edge activity calculator 15. Next, the edge conversion parameter calculator 14 will be described in detail.

【0039】上述したように、エッジ変換パラメータ算
出部14は、エッジ算出部12で算出された各空間にお
けるエッジベクトルに基づいて、エッジ変換パラメータ
を算出する。エッジ変換パラメータとは、各エッジベク
トルの組がどのような変換を受けたかを示すためのパラ
メータである。すなわち、i番目のエッジベクトルをp
i 、これに対応するエッジベクトルをqi とするとき、
As described above, the edge conversion parameter calculation unit 14 calculates an edge conversion parameter based on the edge vector in each space calculated by the edge calculation unit 12. The edge conversion parameter is a parameter for indicating what kind of conversion has been performed on each set of edge vectors. That is, the i-th edge vector is defined as p
i , and the corresponding edge vector is qi,

【0040】[0040]

【数1】 となる変換行列Ai を一意に同定することのできるパラ
メータがエッジ変換パラメータである。なお、上添字t
は、転置を表す。
(Equation 1) The parameter that can uniquely identify the transformation matrix A i is the edge transformation parameter. Note that the superscript t
Represents transposition.

【0041】より具体的には、本発明の実施の形態でい
うところのエッジ変換パラメータとは、例えば、対応す
る2つのエッジベクトル間の拡大率、回転角またはそれ
らから一意に得られるパラメータをいう。すなわち、図
3に示すようなエッジベクトルを仮定すると、エッジベ
クトルの大きさの変化率ηi とエッジベクトルpi から
i への回転角θi とから、変換行列Ai を次のように
表現する。
More specifically, the edge conversion parameter in the embodiment of the present invention refers to, for example, an enlargement ratio between two corresponding edge vectors, a rotation angle, or a parameter uniquely obtained from them. . That is, assuming an edge vector as shown in FIG. 3, from the rate of change η i of the magnitude of the edge vector and the rotation angle θ i from the edge vector p i to q i , the transformation matrix A i is as follows: Express.

【0042】[0042]

【数2】 (Equation 2)

【0043】さらに、 (vix,viy)=(ηi cosθi ,ηi sinθi ) とおいたとき、(vix,viy)の組で表されるパラメー
タがエッジ変換パラメータである。このとき、図4に示
すような系が、エッジ変換パラメータ空間である。そし
て、エッジベクトルpiの(x,y)成分をそれぞれ
(pix,qiy)とし、エッジベクトルqi の(x,y)
成分をそれぞれ(pix,qiy)とすると
[0043] Furthermore, (v ix, v iy) = (η i cosθ, η i sinθ i) when placed as a parameter edge conversion parameter represented by a set of (v ix, v iy). At this time, the system as shown in FIG. 4 is the edge conversion parameter space. Then, the edge vector p i (x, y) components, respectively (p ix, q iy) and, in the edge vector q i (x, y)
If the components are (p ix , q iy )

【0044】[0044]

【数3】 である。ここで、エッジベクトルpの絶対値|p|は必
ず正の値をとるものとする。
(Equation 3) It is. Here, it is assumed that the absolute value | p | of the edge vector p always takes a positive value.

【0045】次に、エッジ活性度演算部15によるエッ
ジ活性度の算出について詳細に説明する。上述したよう
に、エッジ活性度演算部15は、エッジ変換パラメータ
とエッジベクトル及びエッジの位置情報(エッジ位置)
に基づいて、第1の空間上の各エッジのエッジ活性度を
求め、該エッジ活性度を出力部16へ送出する。
Next, the calculation of the edge activity by the edge activity calculator 15 will be described in detail. As described above, the edge activity calculator 15 calculates the edge conversion parameter, the edge vector, and the edge position information (edge position).
, The edge activity of each edge in the first space is obtained, and the edge activity is sent to the output unit 16.

【0046】図5は、エッジ活性度演算部15の構成を
示すブロック図である。同図に示すように、エッジ活性
度演算部15は、エッジ活性度初期設定部51、エッジ
活性度更新量算出部52、エッジ活性度更新部53及び
収束判定部54からなる。
FIG. 5 is a block diagram showing the configuration of the edge activity calculating section 15. As shown in FIG. As shown in the figure, the edge activity calculating unit 15 includes an edge activity initial setting unit 51, an edge activity update amount calculating unit 52, an edge activity updating unit 53, and a convergence determining unit 54.

【0047】エッジ活性度初期値設定部51は、各エッ
ジについてエッジ活性度に初期値を与えるためのもので
ある。本発明の実施の形態では、hi (0)=0として
与えているが、特にこれに限定するものではない。
The edge activity initial value setting section 51 gives an initial value to the edge activity for each edge. In the embodiment of the present invention, h i (0) = 0 is given, but the present invention is not particularly limited to this.

【0048】エッジ活性度更新量算出部52は、各エッ
ジについて、ある時点におけるエッジ活性度に基づき、
また、該エッジのエッジ変換パラメータ及びエッジ位置
を入力として、エッジ活性度の更新量を算出する。
The edge activity update amount calculation section 52 calculates the edge activity based on the edge activity at a certain point in time for each edge.
Also, the update amount of the edge activity is calculated by using the edge conversion parameter and the edge position of the edge as inputs.

【0049】ここで、エッジ活性度更新量算出部52の
詳細について説明する。図6は、エッッジ活性度更新量
算出部52の構成を示すブロック図である。非線形変換
器61は、予め与えられた所定の関数に従って、エッジ
活性度を関数変換するためのものである。図7は、非線
形変換器61の変換関数の一例を示す図である。本発明
の実施の形態では、λを定数とするシグモイド関数を用
いている。すなわち、
Here, the details of the edge activity update amount calculation section 52 will be described. FIG. 6 is a block diagram illustrating a configuration of the edge activity update amount calculation unit 52. The non-linear converter 61 performs a function conversion of the edge activity according to a predetermined function given in advance. FIG. 7 is a diagram illustrating an example of a conversion function of the nonlinear converter 61. In the embodiment of the present invention, a sigmoid function having λ as a constant is used. That is,

【0050】[0050]

【数4】 として表される。なお、本発明において、変換関数は、
このシグモイド関数に限定されるものではないが、一般
には単調増加関数が用いられる。
(Equation 4) It is expressed as In the present invention, the conversion function is
Although not limited to this sigmoid function, a monotonically increasing function is generally used.

【0051】図6に示した重み付き加算器62は、エッ
ジ変換パラメータ、エッジ位置及び非線形変換器61か
らの出力値に基づいて、エッジ変換パラメータ空間にお
けるエッジの近傍領域で重み付き加算演算を行う。図8
は、エッジ変換パラメータ空間において、あるエッジを
中心とする近傍のエッジの活性度の非線形変換結果に対
し、重み付き加算する様子を示す図である。
The weighted adder 62 shown in FIG. 6 performs a weighted addition operation in a region near an edge in the edge conversion parameter space based on the edge conversion parameter, the edge position, and the output value from the nonlinear converter 61. . FIG.
FIG. 9 is a diagram showing a manner in which weighted addition is performed on a non-linear conversion result of the activity of an edge near a certain edge in an edge conversion parameter space.

【0052】図6に示した平滑化演算部63は、各エッ
ジのエッジ位置近傍領域でのHi (n)の平均を求め、
この算出された値とHi (n)との差に比例した値をi
番目のエッジ活性度更新量i(n)に加算する。
The smoothing operation unit 63 shown in FIG. 6 calculates the average of H i (n) in the area near the edge position of each edge,
A value proportional to the difference between the calculated value and H i (n) is represented by i
It is added to the i-th edge activity update amount i (n).

【0053】このように構成されたエッジ活性度更新量
算出部52は、以下のように動作する。なお、反復回数
n回目のi番目のエッジのエッジ活性度をhi (n)と
し、非線形変換器61からの出力値をHi (n)と表す
ものとする。
The thus configured edge activity update amount calculating section 52 operates as follows. Note that the edge activity of the i-th edge of the n-th iteration is denoted by hi (n), and the output value from the nonlinear converter 61 is denoted by Hi (n).

【0054】すなわち、重み付き加算器62は、エッジ
変換パラメータとエッジ位置とこのHi (n)(i=1
〜Ne )とを入力として、エッジ変換パラメータ空間に
おけるi番目のエッジの近傍領域でHi (n)の重み付
き加算演算を行い、これを一時的にi番目のエッジ活性
度更新量△i(n)とする。さらに、平滑化演算部63
で、各エッジのエッジ位置近傍のHi (n)の平均を求
め、Hi (n)との差に比例した値をi番目のエッジ活
性度更新量△i(n)に加算する。ここで、△iの一例
について説明する。△i(n)は、以下のように表すこ
とができる。
That is, the weighted adder 62 calculates the edge conversion parameter, the edge position, and H i (n) (i = 1
NN e ) as inputs, a weighted addition operation of H i (n) is performed in a region near the i-th edge in the edge conversion parameter space, and this is temporarily used as the i-th edge activity update amount △ i (N). Further, the smoothing operation unit 63
Then, the average of H i (n) near the edge position of each edge is obtained, and a value proportional to the difference from H i (n) is added to the i-th edge activity update amount △ i (n). Here, an example of △ i will be described. Δi (n) can be represented as follows.

【0055】[0055]

【数5】 ここで、(Equation 5) here,

【0056】[0056]

【数6】 ただし、γ,sa ,sb ,sc は定数である。(Equation 6) However, γ, s a, s b , s c is a constant.

【0057】数5の第1項目は、重み付き加算器62に
対応するものである。このとき、d(r,i,j )(r は上
添字、i,j は下添字)は、第1の空間上でのエッジiと
jとのエッジ間距離、d(s,i,j)(s は上添字、i,j は
下添字)は、第2の空間上でのエッジiとjとのエッジ
間距離、d(v,i,j )(v は上添え字、i,j は下添字)
は、エッジ変換パラメータ空間上の距離を表し、具体的
には、
The first item of Equation 5 corresponds to the weighted adder 62. At this time, d (r, i, j) (r is an upper suffix and i, j is a lower suffix) is a distance between edges i and j in the first space, d (s, i, j) ) (S is the upper suffix, i, j is the lower suffix) is the distance between the edges i and j in the second space, d (v, i, j) (v is the upper suffix, i, j j is a subscript)
Represents a distance in the edge transformation parameter space. Specifically,

【0058】[0058]

【数7】 と表すことができる。(Equation 7) It can be expressed as.

【0059】数5の第2項目は、平滑化演算部63に対
応する部分である。Ui は、エッジiの第1の空間上に
おける隣接エッジを表し、Nu は隣接エッジの数を表
す。また、数5の第3項目は、エッジ変換パラメータ制
約演算に対応するものである。図9は、エッジ変換パラ
メータの値によるエッジ活性度更新量への加算値の一例
を示す図である。すなわち、同図に示すように、エッジ
の拡大率jの値が0に近い領域と1よりもかなり大きな
領域について、エッジ活性度を減少させるような関数形
をとることができる。
The second item of Expression 5 is a part corresponding to the smoothing operation unit 63. U i represents the adjacent edge of the first space of edge i, N u denotes the number of adjacent edges. The third item in Equation 5 corresponds to the edge conversion parameter constraint calculation. FIG. 9 is a diagram illustrating an example of an added value to the edge activity update amount based on the value of the edge conversion parameter. That is, as shown in the figure, a function form that reduces the edge activity can be obtained for a region where the value of the edge enlargement ratio j is close to 0 and a region that is considerably larger than 1.

【0060】なお、前記エッジ活性度更新量算出部52
において、前記エッジ変換パラメータの値に応じてエッ
ジ活性度更新量i(n)を増減させる処理を導入するこ
とも可能である。これにより、エッジ変換パラメータ空
間のある領域におけるエッジ活性度を増長させたり抑制
させたりすることが可能となる。
The edge activity update amount calculating section 52
In the above, it is also possible to introduce a process of increasing or decreasing the edge activity update amount i (n) according to the value of the edge conversion parameter. This makes it possible to increase or suppress the edge activity in a certain region of the edge conversion parameter space.

【0061】図10は、図5に示したエッジ活性度更新
部53の構成を示すブロック図である同図に示すよう
に、エッジ活性度更新部53は、係数付きの加算器71
によって、エッジ活性度hi (n)とエッジ活性度更新
量i(n)とを加算し、新しいエッジ活性度hi (n+
1)を求める。すなわち、α(>0)を係数とし、
FIG. 10 is a block diagram showing the configuration of the edge activity updating unit 53 shown in FIG. 5. As shown in FIG. 10, the edge activity updating unit 53 includes an adder 71 with a coefficient.
Accordingly, the edge activity h i (n) and the edge activity update amount i (n) are added, and the new edge activity h i (n +
Find 1). That is, α (> 0) is used as a coefficient,

【0062】[0062]

【数8】 によりhi (n+1)を求める。(Equation 8) To obtain hi (n + 1).

【0063】なお、エッジ活性度更新量算出部21内部
において、重み付き加算器62への重み係数として、エ
ッジ間の対応の信頼度に依存した値(依存関係度)を含
むようにしてもよい。これにより、エッジ間の対応の信
頼度を重み係数に反映させることが可能となり、より精
度の高い領域抽出を行うことができるようになる。
In the edge activity update amount calculating section 21, the weight coefficient for the weighted adder 62 may include a value depending on the reliability of the correspondence between edges (degree of dependency). This makes it possible to reflect the reliability of the correspondence between edges in the weighting coefficient, so that more accurate region extraction can be performed.

【0064】図11は、図5に示した収束判定部54の
構成を示すブロック図である。同図に示すように、収束
判定部54は、内部メモリ111、エッジ活性度変化算
出部112、しきい値比較部113及びしきい値保持部
114からなる。
FIG. 11 is a block diagram showing a configuration of convergence determining section 54 shown in FIG. As shown in the figure, the convergence determining unit 54 includes an internal memory 111, an edge activity change calculating unit 112, a threshold comparing unit 113, and a threshold holding unit 114.

【0065】内部メモリ111は、過去のエッジ活性度
を使用するため、エッジ活性度を記憶するものである。
エッジ活性度変化算出部112は、全てのエッジについ
て、現在のエッジ活性度及び内部メモリ111に記憶さ
れている過去のエッジ活性度との間の変化量を求める。
このときの過去のエッジ活性度は、直前のものに限られ
るものではない。従って、例えば、過去のエッジ活性度
を履歴として蓄積しておき、所定分の過去の履歴を用い
るようにしてもかまわない。
The internal memory 111 stores the edge activity because the past edge activity is used.
The edge activity change calculator 112 calculates the amount of change between the current edge activity and the past edge activity stored in the internal memory 111 for all edges.
The past edge activity at this time is not limited to the immediately preceding edge activity. Therefore, for example, past edge activity may be accumulated as a history, and a predetermined amount of past history may be used.

【0066】しきい値比較部113は、しきい値保持部
114に予め保持されたしきい値に従って、現在行って
いる演算を終了させるか否かを判定する。すなわち、エ
ッジ活性度変化算出部112の出力が所定のしきい値以
上であれば、エッジ活性度を再びエッジ活性度更新量算
出部51に入力して反復計算を続ける。一方、しきい値
よりも小さければエッジ活性度演算を終了してエッジ活
性度を出力部16へ送出する。
The threshold value comparing section 113 determines whether or not to terminate the current operation according to the threshold value stored in the threshold value storing section 114 in advance. That is, if the output of the edge activity change calculator 112 is equal to or greater than the predetermined threshold, the edge activity is input again to the edge activity update amount calculator 51 to continue the iterative calculation. On the other hand, if it is smaller than the threshold value, the edge activity calculation is terminated and the edge activity is sent to the output unit 16.

【0067】図12は、図1に示した出力部16の構成
を示すブロック図である。出力部16は、エッジ抽出部
121、連結エッジ領域抽出部122及び抽出領域表示
部123からなる。
FIG. 12 is a block diagram showing a configuration of the output section 16 shown in FIG. The output unit 16 includes an edge extraction unit 121, a connected edge region extraction unit 122, and an extraction region display unit 123.

【0068】エッジ抽出部121は、しきい値以上のエ
ッジ活性度を持つエッジのみを抽出する。連結エッジ領
域抽出部122は、エッジ間において端点を共有してい
る連結したエッジのみをさらに抽出し、1つの連結エッ
ジ領域に唯一の番号を割り当てる。
The edge extracting section 121 extracts only edges having an edge activity equal to or higher than the threshold value. The connected edge area extracting unit 122 further extracts only connected edges that share an end point between the edges, and assigns a unique number to one connected edge area.

【0069】抽出領域表示部133は、連結エッジ領域
ごとにそれに含まれるエッジの位置情報を利用して、第
1の空間上の部分領域を表示する。出力部16は、エッ
ジ活性度演算部15によって各エッジに対して得られた
エッジ活性度に基づいて、対応領域を抽出し、これを表
示するためのものである。すなわち、エッジ活性度が、
あるしきい値以上で、かつ、エッジベクトルのいずれか
の端点を共有している連結したエッジを選択し、これに
対応する領域を抽出して、必要ならば該対応領域を表示
する。
The extraction area display section 133 displays a partial area in the first space using the position information of the edge included in each connected edge area. The output unit 16 is for extracting a corresponding region based on the edge activity obtained for each edge by the edge activity calculating unit 15 and displaying the corresponding region. That is, the edge activity is
A connected edge that is equal to or larger than a certain threshold value and shares one of the end points of the edge vector is selected, an area corresponding to the selected edge is extracted, and the corresponding area is displayed if necessary.

【0070】[0070]

【発明の効果】上記のように、本発明によれば、局所的
な特徴量の類似度等に基づく方法によって、第1の層上
に配置された複数の特徴点の各々が、第2の層上の一点
と局所的に対応している状態において、特徴点を配置し
た第1の層から、第2の層の平行移動、拡大縮小、回
転、歪みによって一致する部分領域を抽出することがで
きる。また、上記のような部分領域が第1の層上に複数
存在する場合にもそれらの領域を同時に抽出することが
できる。
As described above, according to the present invention, each of the plurality of feature points arranged on the first layer is converted into the second feature point by the method based on the similarity of the local feature amounts. It is possible to extract, from a first layer on which feature points are arranged, a partial area that matches by translation, scaling, rotation, or distortion of a second layer in a state where the partial point locally corresponds to one point on the layer. it can. Further, even when a plurality of partial regions as described above exist on the first layer, those regions can be simultaneously extracted.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明に係る特徴点抽出装置の構成を示すブ
ロック図。
FIG. 1 is a block diagram showing a configuration of a feature point extraction device according to the present invention.

【図2】 第1及び第2の空間上のエッジベクトルを説
明するための図。
FIG. 2 is a diagram for explaining edge vectors on first and second spaces.

【図3】 第1の空間から第2の空間へのエッジベクト
ルの変換の様子の一例を示す図。
FIG. 3 is a diagram showing an example of a state of conversion of an edge vector from a first space to a second space.

【図4】 エッジ変換パラメータ空間の一例を示す図。FIG. 4 is a diagram showing an example of an edge conversion parameter space.

【図5】 エッジ活性度演算部15の構成を示すブロッ
ク図。
FIG. 5 is a block diagram showing a configuration of an edge activity calculating unit 15;

【図6】 エッッジ活性度更新量算出部52の構成を示
すブロック図。
FIG. 6 is a block diagram showing a configuration of an edge activity update amount calculation unit 52;

【図7】 非線形変換器61の変換関数の一例を示す
図。
FIG. 7 is a diagram illustrating an example of a conversion function of a nonlinear converter 61.

【図8】 エッジ変換パラメータ空間において、あるエ
ッジを中心とする近傍のエッジの活性度の非線形変換結
果に対し、重み付き加算する様子を示す図。
FIG. 8 is a diagram showing a state in which a weighted addition is performed on a non-linear conversion result of the activity of an edge near a certain edge in an edge conversion parameter space.

【図9】 エッジ変換パラメータの値によるエッジ活性
度更新量への加算値の一例を示す図。
FIG. 9 is a diagram illustrating an example of an added value to an edge activity update amount based on a value of an edge conversion parameter.

【図10】 図5に示したエッジ活性度更新部53の構
成を示すブロック図。
FIG. 10 is a block diagram showing a configuration of an edge activity updating unit 53 shown in FIG. 5;

【図11】 図5に示した収束判定部54の構成を示す
ブロック図。
FIG. 11 is a block diagram showing a configuration of a convergence determining unit 54 shown in FIG.

【図12】 図1に示した出力部16の構成を示すブロ
ック図
FIG. 12 is a block diagram showing a configuration of an output unit 16 shown in FIG.

【図13】 画像認識問題における対応部分領域抽出の
一例を示す図。
FIG. 13 is a diagram showing an example of extraction of a corresponding partial area in an image recognition problem.

【図14】 2層間の各点の対応とエッジベクトルの一
例を示す図。
FIG. 14 is a diagram showing an example of correspondence between points between two layers and an edge vector.

【図15】 2層間の領域の対応の一例を示す図。FIG. 15 is a diagram showing an example of correspondence between regions between two layers.

【符号の説明】[Explanation of symbols]

11…特徴点位置入力部 12…エッジ算出部 13…対応点位置入力部 14…エッジ変換パラメータ算出部 15…エッジ活性度演算部 16…出力部 51…エッジ活性度初期設定部 52…エッジ活性度更新量算出部 53…エッジ活性度更新部 54…収束判定部 61…非線形変換器 62…重み付き加算器 63…平滑化演算部 101…加算器 111…内部メモリ1 112…エッジ活性度変化算出部 113…しきい値比較部 114…しきい値保持部 121…エッジ抽出部 122…連結エッジ領域抽出部 123…抽出領域表示部 DESCRIPTION OF SYMBOLS 11 ... Feature point position input part 12 ... Edge calculation part 13 ... Corresponding point position input part 14 ... Edge conversion parameter calculation part 15 ... Edge activity calculation part 16 ... Output part 51 ... Edge activity initial setting part 52 ... Edge activity Update amount calculation unit 53 Edge activity update unit 54 Convergence determination unit 61 Nonlinear converter 62 Weighted adder 63 Smoothing operation unit 101 Adder 111 Internal memory 1 112 Edge activity change calculation unit 113: threshold value comparison unit 114: threshold value holding unit 121: edge extraction unit 122: connected edge region extraction unit 123: extraction region display unit

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 G06T 9/20 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 6 , DB name) G06T 7/00 G06T 9/20

Claims (11)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】複数の特徴点が配置された全体空間と、該
特徴点に対する対応点が配置された部分空間とが与えら
れ、該部分空間上に配置された対応点に基づいて、該全
体空間から特定の特徴点群によって構成される所定の領
域を抽出する領域抽出方法であって、 前記複数の特徴点の位置情報に基づいて第1 のエッジ及
び第1 のエッジベクトルを生成するとともに、前記対応
点の位置情報に基づいて第2のエッジ及び第2のエッジ
ベクトルを生成し、 前記第1のエッジベクトル及び第2のエッジベクトルに
基づいて、エッジ変換パラメータを算出し、 前記エッジ変換パラメータに基づいてエッジ活性度を演
算し、該エッジ活性度を所定のしきい値と比較し、 前記比較結果が所定の条件を満たす場合に、前記エッジ
活性度に基づいて、前記第1のエッジベクトルの中から
特定のエッジベクトルに対応するエッジを選択すること
により、所定の領域を抽出することを特徴とする領域抽
出方法。
An overall space in which a plurality of feature points are arranged and a subspace in which corresponding points for the feature points are arranged are provided, and based on the corresponding points arranged in the subspace, the entire space is provided. A region extraction method for extracting a predetermined region formed by a specific feature point group from a space, wherein a first edge and a first edge vector are generated based on position information of the plurality of feature points, Generating a second edge and a second edge vector based on the position information of the corresponding point; calculating an edge conversion parameter based on the first edge vector and the second edge vector; Is calculated based on the edge activity, and the edge activity is compared with a predetermined threshold. When the comparison result satisfies a predetermined condition, the first activity is calculated based on the edge activity. By selecting the corresponding edge to the particular edge vector from the edge vector, region extraction method characterized by extracting a predetermined region.
【請求項2】複数の特徴点が配置された全体空間と、該
特徴点に対する対応点が配置された部分空間とが与えら
れ、該部分空間上に配置された対応点に基づいて、該全
体空間から特定の特徴点群によって構成される所定の領
域を抽出する領域抽出方法であって、 前記複数の特徴点の位置情報に基づいて第1のエッジ及
び第1のエッジベクトルを生成するとともに、前記対応
点の位置情報に基づいて第2のエッジ及び第2のエッジ
ベクトルを生成するステップと、 前記第1のエッジベクトル及び第2のエッジベクトルに
基づいて、エッジ変換パラメータを算出するステップ
と、 前記エッジ変換パラメータに基づいてエッジ活性度を演
算するステップと、 前記エッジ活性度を所定のしきい値と比較するステップ
と、 前記比較するステップによって得られた一の比較結果が
所定の条件を満たすまで、前記演算するステップ及び比
較するステップを繰り返し、前記比較するステップによ
って得られた一の比較結果が所定の条件を満たす場合
に、前記エッジ活性度に基づいて、前記第1のエッジベ
クトルの中から特定のエッジベクトルに対応するエッジ
を選択することにより、所定の領域を抽出するステップ
とからなることを特徴とする領域抽出方法。
2. An overall space in which a plurality of feature points are arranged, and a subspace in which corresponding points for the feature points are arranged, and based on the corresponding points arranged in the subspace, the entire space is provided. A region extraction method for extracting a predetermined region formed by a specific feature point group from a space, wherein a first edge and a first edge vector are generated based on position information of the plurality of feature points, Generating a second edge and a second edge vector based on the position information of the corresponding point; calculating an edge conversion parameter based on the first edge vector and the second edge vector; Calculating an edge activity based on the edge conversion parameter; comparing the edge activity with a predetermined threshold value; The calculating step and the comparing step are repeated until one comparison result obtained by the comparison satisfies a predetermined condition. When the one comparison result obtained by the comparing step satisfies a predetermined condition, the edge Extracting a predetermined area by selecting an edge corresponding to a specific edge vector from the first edge vectors based on the degree of activity.
【請求項3】前記エッジ変換パラメータを算出するに際
し、対応するエッジベクトル間の拡大率、回転角又はそ
れらから一意に得られるパラメータをエッジ変換パラメ
ータとすることを特徴とする請求項1又は2記載の領域
抽出方法。
Upon calculating the wherein the edge transformation parameters corresponding magnification between the edges vector, according to claim 1 or 2, characterized in that the rotational angle or edge transformation parameters that uniquely derived parameters from their Region extraction method.
【請求項4】複数の特徴点が配置された全体空間と、該
特徴点に対する対応点が配置された部分空間とが与えら
れ、該部分区間上に配置された対応点に基づいて、該全
体空間から特定の特徴点群によって構成される所定の領
域を抽出する領域抽出方法において、 前記複数の特徴点の位置情報に基づいて第1のエッジ及
び該第1のエッジからそれぞれ得られる第1のエッジベ
クトルを生成するとともに、前記対応点の位置情報に基
づいて第2のエッジ及び該第2のエッジからそれぞれ得
られる第2のエッジベクトルを生成するステップと、 前記第1のエッジベクトル及び第2のエッジベクトルに
基づいて、エッジ変換パラメータを算出するステップ
と、 予め与えられた所定の値を一のエッジ活性度に設定する
ステップと、 前記エッジ変換パラメータに基づいてエッジ活性度更新
量を演算するステップと、 前記一のエッジ活性度と該エッジ活性度更新量とに基づ
いて、新たなエッジ活性度を算出し、該新たなエッジ活
性度を一のエッジ活性度として再設定するステップと、 前記エッジ活性度が所定の収束条件を満たすか否かを判
定するステップと、 前記判定するステップによって所定の収束条件を満たさ
ないと判定された場合に、前記演算するステップ乃至判
定するステップを繰り返し、 前記判定するステップによって所定の収束条件を満たす
と判定された場合に、前記エッジ活性度に基づいて、前
記第1のエッジベクトルの中から特定のエッジベクトル
に対応するエッジを選択することにより、所定の領域を
抽出することを特徴とする領域抽出方法。
4. An overall space in which a plurality of feature points are arranged and a partial space in which corresponding points for the feature points are arranged, and the entire space is provided based on the corresponding points arranged on the partial section. In an area extraction method for extracting a predetermined area constituted by a specific feature point group from a space, a first edge obtained based on the position information of the plurality of feature points and a first edge obtained from the first edge, respectively. Generating an edge vector and generating a second edge and a second edge vector respectively obtained from the second edge based on the position information of the corresponding point; and the first edge vector and the second edge vector. Calculating an edge conversion parameter based on the edge vector of the following; setting a predetermined value to one edge activity; Calculating an edge activity update amount based on a meter; calculating a new edge activity based on the one edge activity and the edge activity update amount; Resetting as the edge activity, and determining whether or not the edge activity satisfies a predetermined convergence condition.If the determination step determines that the predetermined convergence condition is not satisfied, The calculating step and the determining step are repeated. When it is determined that the predetermined convergence condition is satisfied by the determining step, a specific edge vector is selected from the first edge vectors based on the edge activity. And extracting a predetermined area by selecting an edge corresponding to the area.
【請求項5】前記エッジ活性度更新量を演算するステッ
プは、 前記一のエッジ活性度に対して非線形変換を行うステッ
プと、 前記非線形変換された一のエッジ活性度と前記エッジ変
換パラメータとに基づいて、該一のエッジ活性度につい
て、所定の重み付け係数を用いて重み付け計算を行うス
テップとを含むことを特徴とする請求項4記載の領域抽
出方法。
5. The method according to claim 1, wherein the step of calculating the edge activity update amount comprises: performing a non-linear conversion on the one edge activity; and calculating the non-linearly converted one edge activity and the edge conversion parameter. 5. The method according to claim 4, further comprising: performing a weighting calculation on the one edge activity based on a predetermined weighting coefficient.
【請求項6】前記エッジ活性度更新量を演算するステッ
プは、 前記非線形変換を行うステップにより得られた結果につ
いて、前記一のエッジ活性度に従い特定される所定の範
囲内の平均値を求めるステップと、 前記平均値と前記非線形変換を行うステップにより得ら
れる結果との差に基づいて平滑化演算を行うステップと
を含むことを特徴とする請求項5記載の領域抽出方法。
6. The method according to claim 1, wherein the step of calculating the edge activity update amount comprises the step of obtaining an average value within a predetermined range specified according to the one edge activity, for a result obtained in the step of performing the nonlinear conversion. The method according to claim 5, further comprising: performing a smoothing operation based on a difference between the average value and a result obtained by performing the nonlinear conversion.
【請求項7】前記エッジ活性度更新量を演算するステッ
プは、 前記エッジ変換パラメータに基づいて、前記エッジ活性
度更新量を変更することを特徴とする請求項4乃至
載の領域抽出方法。
7. A step of calculating the edge activity update amount based on said edges transformation parameters claims 4 to 6 region extraction method wherein changing the edge activity update amount.
【請求項8】前記重み付け計算を行うステップは、 前記全体空間上の特徴点に基づく第1のエッジと前記部
分空間上の対応点に基づく第2のエッジとの間の依存関
係度を算出するステップと、 前記算出された依存関係度に基づいて重み付け係数を決
定するステップとを含むことを特徴とする請求項5乃至
7記載の領域抽出方法。
8. The step of performing the weighting calculation includes calculating a degree of dependency between a first edge based on a feature point in the overall space and a second edge based on a corresponding point in the subspace. The method according to claim 5, further comprising: determining a weighting coefficient based on the calculated degree of dependency.
【請求項9】複数の特徴点が配置された全体空間と、該
特徴点に対する対応点が配置された部分空間とが与えら
れ、該部分空間上に配置された対応点に基づいて、該全
体空間から特定の特徴点群によって構成される所定の領
域を抽出する領域抽出装置であって、 前記複数の特徴点の位置情報に基づいて第1のエッジ及
び第1のエッジベクトルを生成するとともに、前記対応
点の位置情報に基づいて第2のエッジ及び第2のエッジ
ベクトルを生成するエッジベクトル生成手段と、 前記第1のエッジベクトル及び第2のエッジベクトルに
基づいて、エッジ変換パラメータを算出するエッジ変換
パラメータ算出手段と、 前記エッジ変換パラメータに基づいてエッジ活性度を演
算し、該エッジ活性度を所定のしきい値と比較する比較
手段と、 前記比較結果が所定の条件を満たす場合に、前記エッジ
活性度に基づいて、前記第1のエッジベクトルの中から
特定のエッジベクトルに対応するエッジを選択する選択
手段と、 前記エッジ選択手段により選択されたエッジに基づい
て、所定の領域を抽出する抽出手段とを具備することを
特徴とする領域抽出装置。
9. An entire space in which a plurality of feature points are arranged and a subspace in which corresponding points for the feature points are arranged, and the entire space is provided based on the corresponding points arranged in the subspace. What is claimed is: 1. An area extracting apparatus for extracting a predetermined area formed by a specific feature point group from a space, wherein a first edge and a first edge vector are generated based on position information of the plurality of feature points, Edge vector generating means for generating a second edge and a second edge vector based on the position information of the corresponding point; and calculating an edge conversion parameter based on the first edge vector and the second edge vector. Edge conversion parameter calculating means; calculating means for calculating an edge activity based on the edge conversion parameter; comparing the edge activity with a predetermined threshold value; A selection unit that selects an edge corresponding to a specific edge vector from the first edge vectors based on the edge activity when the comparison result satisfies a predetermined condition; Extracting means for extracting a predetermined area based on the edge.
【請求項10】複数の特徴点が配置された全体空間と、
該特徴点に対する対応点が配置された部分空間とが与え
られ、該部分空間上に配置された対応点に基づいて、該
全体空間から特定の特徴点群によって構成される所定の
領域を抽出する領域抽出装置であって、 前記複数の特徴点の位置情報に基づいて第1のエッジ及
び第1のエッジベクトルを生成する第1のエッジベクト
ル生成手段と、 前記対応点の位置情報に基づいて第2のエッジ及び第2
のエッジベクトルを生成する第2のエッジベクトル生成
手段と、 前記第1のエッジベクトル及び第2のエッジベクトルに
基づいて、エッジ変換パラメータを算出するエッジ変換
パラメータ算出手段と、 前記エッジ変換パラメータに基づいてエッジ活性度を演
算するエッジ活性度演算手段と、 前記エッジ活性度を所定のしきい値と比較する比較手段
と、 前記比較手段によって得られた一の比較結果が所定の条
件を満たさない場合に、前記エッジ活性度演算手段及び
比較手段を実行する反復実行手段と、 前記比較手段によって得られた一の比較結果が所定の条
件を満たす場合に、前記エッジ活性度に基づいて、前記
第1のエッジベクトルの中から特定のエッジベクトルに
対応するエッジを選択するエッジ選択手段と、 前記エッジ選択手段により選択されたエッジに基づい
て、所定の領域を抽出する領域抽出手段とを具備するこ
とを特徴とする領域抽出装置。
10. An overall space in which a plurality of feature points are arranged;
Given a subspace in which corresponding points for the feature points are arranged, a predetermined area constituted by a specific feature point group is extracted from the entire space based on the corresponding points arranged in the subspace. An area extraction device, comprising: a first edge vector generation unit configured to generate a first edge and a first edge vector based on the position information of the plurality of feature points; and a second edge vector generation unit configured to generate a first edge vector based on the position information of the corresponding point. 2nd edge and 2nd
A second edge vector generating means for generating an edge vector, an edge conversion parameter calculating means for calculating an edge conversion parameter based on the first edge vector and the second edge vector, Edge activity calculating means for calculating the edge activity, and comparing means for comparing the edge activity with a predetermined threshold value, wherein one comparison result obtained by the comparing means does not satisfy a predetermined condition An iterative execution unit that executes the edge activity calculating unit and the comparing unit; and if the one comparison result obtained by the comparing unit satisfies a predetermined condition, the first based on the edge activity, Edge selecting means for selecting an edge corresponding to a specific edge vector from the edge vectors of Based on the selected edge, region extraction apparatus characterized by comprising a region extracting means for extracting a predetermined region.
【請求項11】前記領域抽出手段は、 前記エッジ選択手段により選択されたエッジに基づき、
他のしきい値と比較する手段と、 前記比較する手段によって得られた比較結果を満たす場
合に、前記選択されたエッジに連結するエッジを抽出す
る手段を含むことを特徴とする請求項9又は10記載の
領域抽出装置。
11. The area extracting means, based on an edge selected by the edge selecting means,
10. A means for comparing with another threshold value, and means for extracting an edge connected to the selected edge when the comparison result obtained by the comparing means is satisfied. 11. The region extracting apparatus according to claim 10.
JP8073405A 1996-03-28 1996-03-28 Region extraction method and region extraction device Expired - Lifetime JP2930903B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8073405A JP2930903B2 (en) 1996-03-28 1996-03-28 Region extraction method and region extraction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8073405A JP2930903B2 (en) 1996-03-28 1996-03-28 Region extraction method and region extraction device

Publications (2)

Publication Number Publication Date
JPH09265541A JPH09265541A (en) 1997-10-07
JP2930903B2 true JP2930903B2 (en) 1999-08-09

Family

ID=13517262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8073405A Expired - Lifetime JP2930903B2 (en) 1996-03-28 1996-03-28 Region extraction method and region extraction device

Country Status (1)

Country Link
JP (1) JP2930903B2 (en)

Also Published As

Publication number Publication date
JPH09265541A (en) 1997-10-07

Similar Documents

Publication Publication Date Title
US7403634B2 (en) Object tracking apparatus and method
US7352919B2 (en) Method and system of generating a high-resolution image from a set of low-resolution images
US11017210B2 (en) Image processing apparatus and method
US9436981B2 (en) Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
KR20080066671A (en) Bi-directional tracking using trajectory segment analysis
WO2020233427A1 (en) Method and apparatus for determining features of target
Gardiner et al. Multiscale edge detection using a finite element framework for hexagonal pixel-based images
CN112651490B (en) Training method and device for human face key point detection model and readable storage medium
CN107016319A (en) A kind of key point localization method and device
US20080019568A1 (en) Object tracking apparatus and method
CN116128883A (en) Photovoltaic panel quantity counting method and device, electronic equipment and storage medium
EP0552749A2 (en) Method of modifying a time-varying image sequence by estimation of velocity vector fields
JP2930903B2 (en) Region extraction method and region extraction device
JPH0921610A (en) Image-processing apparatus and image-processing method
US20230103737A1 (en) Attention mechanism, image recognition system, and feature conversion method
WO2020040007A1 (en) Learning device, learning method, and learning program
WO2022190301A1 (en) Learning device, learning method, and computer-readable medium
Costen et al. Compensating for ensemble-specific effects when building facial models
US20210027421A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN114496263B (en) Neural network model establishing method and storage medium for body mass index estimation
JP3641126B2 (en) Image processing method and image processing apparatus
JPH06119451A (en) Pattern recognizing device and system using the same
CN113822912B (en) Scale self-adaptive tracking method and device for image target length-width ratio change
JP3674084B2 (en) Motion vector estimation method and image processing apparatus
JP3980666B2 (en) Motion vector estimation method and image processing apparatus

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term