WO2011155288A1 - データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置 - Google Patents

データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置 Download PDF

Info

Publication number
WO2011155288A1
WO2011155288A1 PCT/JP2011/061078 JP2011061078W WO2011155288A1 WO 2011155288 A1 WO2011155288 A1 WO 2011155288A1 JP 2011061078 W JP2011061078 W JP 2011061078W WO 2011155288 A1 WO2011155288 A1 WO 2011155288A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
matrix
search target
dimension
database
Prior art date
Application number
PCT/JP2011/061078
Other languages
English (en)
French (fr)
Inventor
青野雅樹
立間淳司
Original Assignee
国立大学法人豊橋技術科学大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人豊橋技術科学大学 filed Critical 国立大学法人豊橋技術科学大学
Priority to JP2012519316A priority Critical patent/JP5818023B2/ja
Publication of WO2011155288A1 publication Critical patent/WO2011155288A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to a data index dimension reduction method and a data search method and apparatus using the same.
  • This dimension reduction method of the index is preferably used for database search of a three-dimensional object model.
  • Each data (three-dimensional object model data) constituting the three-dimensional object model database can specify the feature amount as an index D.
  • the index C corresponding to the feature quantity of the 3D object model to be searched and each 3D object model in the database
  • the index D is compared.
  • a three-dimensional object model having an index D close to the former index C is selected from the database.
  • the MFSD method described in Patent Document 1 can be used as an index for specifying the feature amount of the three-dimensional object model.
  • the MFSD method gives four spectral feature amounts, that is, a composite of depth buffer images, silhouette images, contour images, and spectral feature amounts from voxels (MFSD feature amount).
  • the peripheral brightness enhancement filter is applied to the depth buffer image and the silhouette image.
  • the MFSD feature quantity of the three-dimensional object model is represented by an index having about 3500 dimensions.
  • a large storage capacity is required for the processing device, and a long time is required for the calculation for the comparison. Therefore, it is necessary to reduce the dimension of the index.
  • the first aspect of the present invention is defined as follows. That is, A method of forming a transformation matrix for generating a second index by reducing a dimension of a first index corresponding to a feature quantity to be compared, Obtaining a Gaussian kernel matrix for the first index corresponding to a feature quantity of a standard object included in a standard database; Normalizing the Gaussian kernel matrix; Obtaining an anisotropic transition kernel matrix from the normalized Gaussian kernel matrix;
  • a transformation matrix forming method characterized by comprising:
  • the dimension of the first index corresponding to the feature quantity to be compared is reduced.
  • the burden on the processing device is reduced.
  • the search accuracy of the MFDS feature amount is also improved.
  • the application of the transformation matrix defined in the first aspect is not limited to the index of the MFDS feature value, but can be applied to other various data (two-dimensional graphic data, text data, etc.).
  • Step 1 (Calculation of Gaussian kernel matrix) A Gaussian kernel matrix W is obtained.
  • the matrix element W ij is determined as follows. From the Euclidean distance between the sample points x i and x j and the parameter ⁇ representing the kernel width, the following equation can be obtained.
  • Step 2 Normalization of kernel matrix Normalize the Gaussian kernel matrix as follows: Where D is It is.
  • Step 3 (Calculation of anisotropic transition kernel matrix) An anisotropic transition kernel matrix is obtained as follows. here, It is.
  • Step 4 (Eigenvalue decomposition)
  • the following eigenvalue problem is solved with the eigenvalue ⁇ and the corresponding eigenvector f.
  • eigenvalue From d eigenvectors f corresponding to An n ⁇ d transformation matrix F is obtained.
  • y i is a d-dimensional vector obtained by reducing the dimension of x i .
  • the transformation matrix F is prepared by executing the above algorithm on the feature quantity of the standard object included in the standard database prepared in advance.
  • the standard object included in the standard database can be arbitrarily selected from objects of the same type as the object that is expected to be a search object (query).
  • the same kind of object means that the feature amount can be specified by the same index.
  • the search target is a three-dimensional object model
  • the standard target is also a three-dimensional object model.
  • Standard objects included in the standard database can be selected at random.
  • a shape of a three-dimensional object that is not related to each other such as an automobile, a house, a machine part, a television, or a toy
  • a standard object included in the standard database can be selected as a standard object included in the standard database.
  • the inspection target (query) and the search target database are limited in advance, for example, when the search target is a chair and the search target database is furniture, the standard target to be included in the standard database is the chair and / or furniture. It can also be limited to. In such a case, a standard object to be included in the standard database can be arbitrarily or randomly extracted from the search target database.
  • the number of standard objects to be included in the standard database is preferably greater than or equal to the number of dimensions of the second index obtained by executing the transformation matrix.
  • the search target database itself can be used as a standard database.
  • the transformation matrix F obtained in this way is multiplied by the first index C-1 corresponding to the feature quantity to be searched to obtain a second index C-2 having a smaller dimension.
  • the transformation matrix F is multiplied by the first index D-1 corresponding to the feature quantities of all search targets included in the search target database to obtain a second index D-2 that is smaller in dimension.
  • the second index C-2 to be searched is compared with the second index D-2 to be searched.
  • FIG. 1 is a block diagram illustrating a configuration of a three-dimensional object model search apparatus 1.
  • An arbitrary database can be stored in the standard database 3 constituted by a hard disk or the like of the search system.
  • the MFSD feature amount specifying unit 5 specifies the feature amount of the three-dimensional object included in the standard database based on the MFSD method.
  • the specified MFSD feature amount has a dimension of 3584 (first index S).
  • the transformation matrix creation unit 7 executes the algorithms (1) to (4) described above using the linear diffusion projection to identify the transformation matrix F.
  • this transformation matrix F is multiplied by the first index (3584 dimensions)
  • a second index (350 dimensions) in which the number of dimensions is compressed to about 1/10 is obtained.
  • the shape of a known three-dimensional object is stored in the search target database 13, and the MFSD feature amount (first index D-1) is specified by the MFSD feature amount specifying unit 15 for each three-dimensional object, and the memory (not shown) Saved in.
  • the dimension reduction unit 18 multiplies the MFSD feature quantity (first index D-1) of each three-dimensional object by the transformation matrix F. As a result, the 3584-dimensional first index D-1 is converted into a 350-dimensional second index. This second index is also stored in a memory (not shown).
  • the MFSD feature quantity (first index C-1) of the search target 20 designated by the user is specified by the MFSD feature quantity specifying unit 25, and further, the transformation matrix F is multiplied by the dimension reduction unit 28.
  • the 3584-dimensional first index C-1 is converted to the 350-dimensional second index C-2.
  • the distance calculation unit 30 as a comparison means, the Manhattan distance between the second index C-2 to be searched and the second index D-2 to be searched in the database to be searched is compared. It is evaluated that the similarity is high.
  • the search accuracy evaluation scale includes First Tier (1-Tier), Second Tier (2-Tier), Nearest Neighbor (NN), Discounted Cumulative Gain (DCG), Recall Rate (Rec), and Precision (Precision).
  • 1-Tier and 2-Tier are values indicating the search accuracy at the top of the search results.
  • For 1-Tier, 2-Tier, NN, and DCG the greater the value, the higher the search accuracy, and in the recall-relevance rate graph, the closer the curve is to the upper right, the higher the search accuracy.
  • Each evaluation scale is represented by a micro average that uses the average of the evaluation scales of each search target three-dimensional object as the overall average evaluation scale.
  • the macro average that calculates the average of the evaluation scales for each class and uses these averages as the overall average evaluation scale, when each class is composed of a small number of three-dimensional objects, the calculation results of the evaluation scales are biased . Since the three-dimensional object database used for the evaluation experiment was composed of a small number of three-dimensional objects in each class, the micro average was selected.
  • the linear diffusion projection (LDP) has a parameter ⁇ representing the neighborhood width of the kernel.
  • the optimum value of the parameter ⁇ was obtained by experiments using Princeton Shape Benchmark Test Sets (PSB) as a test database.
  • PSB Princeton Shape Benchmark Test Sets
  • the depth buffer feature value using Point SVD for the facing process was reduced to 100 dimensions using LDP, and a parameter value that maximized the evaluation scale 1-Tier was obtained.
  • LPP Local Preserving Projections
  • NPE Neighborhood Preserving Embedding
  • ISO Isometric Projections
  • the search accuracy increased, and the number of neighbors 360 reached the highest search accuracy of 41.0%.
  • the search accuracy was 28.46% with 90 neighbors.
  • these optimum values are used as parameters.
  • the number of dimension reductions was changed to ⁇ 10, 20,..., 150 ⁇ , and a value that maximized the evaluation scale 1-Tier was obtained.
  • Point SVD was used for the direct processing of each feature quantity.
  • the database to be searched and the standard database are the same as (2).
  • the dimension reduction number that obtained the highest search accuracy was 120 dimensions for the depth buffer feature quantity, 100 dimensions for the silhouette feature quantity, 70 dimensions for the contour feature quantity, and 60 dimensions for the voxel feature quantity.
  • PSB Princeton Shape Benchmark Test Sets
  • 907 three-dimensional objects that are not biased to specific fields such as humans, automobiles, and plants are classified into 90 classes. It is widely used as a benchmark to evaluate basic search performance in research on shape similarity search of 3D objects.
  • FIG. 2 shows the retrieval accuracy in each dimension reduction method in PSB as a curve of recall rate-relevance rate. What was reduced in dimension by LDP became the highest search accuracy. Further, LDP, PCA, and NPE obtained a higher search accuracy than MFSD that does not reduce dimensions.
  • the average accuracy rate at the recall rate of ⁇ 0.05, 0.10, ..., 1.0 ⁇ is 0.5564 for MFSD without dimension reduction, whereas that with dimension reduction is 0.5983 for LDP and 0.5667 for PCA.
  • LPP was 0.5155
  • NPE was 0.5896
  • ISO was 0.5471.
  • Table 2 shows the search accuracy in each dimension reduction method in PSB by 1-Tier, 2-Tier, NN, and DCG. Of all the evaluation scales, those obtained by dimension reduction with LDP were the highest search accuracy. In addition, the dimension reduction with LDP has a higher search accuracy than MFSD without dimension reduction. Dimension reduction by LDP is considered to be able to reduce dimensionality by grasping the nonlinear structure made by MFSD compared to other methods.
  • KOD Konstanz 3D Object Database
  • Table 3 shows the search accuracy in each dimension reduction method in KOD as 1-Tier, 2-Tier, NN, and DCG. Of all the evaluation measures, the one obtained by reducing the dimensions by LDP was the highest search accuracy. In addition, the search accuracy improved when the dimension was reduced by LDP compared to MFSD without dimension reduction.
  • NMB NTU 3D Model Benchmark
  • NMB is a database used for evaluation experiments in Chen et al. 549 objects are classified into 47 classes. Similar to PSB, there is no bias toward a specific field, so basic search performance can be evaluated.
  • the database is different from the National Taiwan University 3D Model Database used for the standard database.
  • FIG. 4 shows the search accuracy in each dimension reduction method in NMB as a reproduction rate-relevance rate curve. What was dimension-reduced by LDP has a higher search accuracy than those dimension-reduced by other dimension reduction methods.
  • the average precision ratio is 0.5439 for MFSD without dimension reduction, while that with dimension reduction is 0.5464 for LDP, 0.5282 for PCA, 0.4952 for LPP, 0.5371 for NPE, and 0.5109 for ISO. It became.
  • Table 4 shows the search accuracy in each dimension reduction method in NMB as 1-Tier, 2-Tier, NN, and DCG.
  • MFSD without dimensionality reduction with 1-Tier and NN, and those with dimensionality reduction with LDP in 2-Tier and DCG each had the highest search accuracy.
  • LDP the dimension reduction results in higher search accuracy than other dimension reduction techniques. It can be seen that the basic search accuracy is improved by reducing the dimensions with LDP together with the experimental results with PSB and KOD.
  • the MSB is a database in which 457 three-dimensional objects voxelized are classified into 19 classes. PSB is classified as a horse class / dog class, whereas in MSB, all four-legged animals are classified into the same four-legged animal class. Compared to other databases, the classification is somewhat rough. It has become.
  • FIG. 5 shows the retrieval accuracy in each dimension reduction method in the MSB as a curve of recall rate-relevance rate.
  • the one with dimension reduction by LDP has the highest search accuracy.
  • those obtained by reducing the dimensions with LDP and PCA obtained higher search accuracy than MFSD without dimension reduction.
  • the average precision is not reduced in dimension.
  • the MFSD is 0.6010, while the reduced dimension is 0.6493 for LDP, 0.6132 for PCA, 0.5130 for LPP, 0.6309 for NPE, and 0.6.09 for ISO. It was 5370.
  • Table 5 shows the search accuracy in each dimension reduction method in the MSB by 1-Tier, 2-Tier, NN, and DCG. Of all the evaluation scales, those obtained by dimension reduction with LDP were the highest search accuracy. In addition, those with dimensions reduced by LDP and PCA have improved search accuracy in all evaluation measures compared to MFSD without dimension reduction.
  • the ESB is a database in which 801 three-dimensional objects are classified into 42 classes. It is composed of a three-dimensional object of mechanical parts, and the search accuracy in applications such as parts search in 3D CAD can be evaluated.
  • FIG. 6 shows the retrieval accuracy of each dimension reduction method in ESB as a reproduction rate-matching rate curve. What was dimension-reduced by LDP has a higher search accuracy than those dimension-reduced by other dimension reduction methods. The average precision is not reduced in dimension.
  • the MFSD is 0.5683, whereas the reduced dimension is 0.5715 for LDP, 0.5625 for PCA, 0.5360 for LPP, 0.5694 for NPE, and 0.5 for ISO. It was 5396.
  • Table 6 shows the search accuracy in each dimension reduction method in ESB in terms of 1-Tier, 2-Tier, NN, and DCG.
  • 1-Tier the dimension was reduced by NPE.
  • 2-Tier the dimension was not reduced.
  • NN and DCG the dimension was reduced by LDP.
  • those obtained by reducing the dimensions by LDP in all evaluation scales have a higher search accuracy than other dimension reduction methods.
  • 3D models that have been input and created once by auxiliary means such as humans or 3D scanners are stored in the 3D object model database, and similar 3D object shape models are created.
  • auxiliary means such as humans or 3D scanners
  • similar 3D object shape models are created.
  • the present invention can search a 3D object similar to the 3D shape to be created from the 3D model database as accurately as possible, and use the linear diffusion projection of the proposed method to search the index. By reducing the dimensions and compressing them, it can be used as a practical “3D object shape search engine”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

 比較対象の特徴量のインデックスを削減する新たな方法を提案する。 標準データベースに含まれる標準対象の特徴量に対応する第1のインデックスにつきガウスカーネル行列を求めるステップと、ガウスカーネル行列を正規化するステップと、正規化されたガウスカーネル行列から異方性遷移カーネル行列を求めるステップと、この異方性遷移カーネル行列の固有値問題から変換行列Fを求める。

Description

データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置
 本発明はデータのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置に関する。
 このインデックスの次元削減方法は三次元物体モデルのデータベース検索に好適に用いられる。
 三次元物体モデルのデータベースを構成する各データ(三次元物体モデルのデータ)はその特徴量をインデックスDとして特定できる。
 検索対象(クエリ)の三次元物体モデルに類似した三次元物体モデルをデータベースから選択する際に、検索対象の三次元物体モデルの特徴量に対応するインデックスCとデータベース中の各三次元物体モデルのインデックスDとが比較される。前者のインデックスCに近いインデックスDを有する三次元物体モデルがデータベースから選択される。
 三次元物体モデルの特徴量を特定するインデックスは、例えば特許文献1に記載のMFSD法を用いることができる。ここにMFSD法とは、4つのスペクトル特徴量、すなわちデプスバッファ画像、シルエット画像、輪郭画像、およびボクセルからのスペクトル特徴量を複合したもの(MFSD特徴量)を与える。ただし、デプスバッファ画像、シルエット画像には、周辺輝度強調フィルタを適用している。
再表2008-056757号公報
 三次元物体モデルのMFSD特徴量は3500程度の次元をもつインデックスで表わされる。
 かかる高次元のインデックスをベースに比較を実行するには、処理装置に大きな記憶容量が要求され、また比較のための演算にも長時間を要する。
 そこでインデックスの次元を削減する必要があり、従来より、主成分分析や特異値分解を用いてインデックスの次元を削減することが提案されている。
 かかるインデックスの次元削減方法によれば、確かにデータ数が圧縮されるので処理装置にかかる負担が小さくなり、短時間での演算が可能になる。しかしながら、検索の精度の点に不安があった。
 そこでこの発明は比較対象の特徴量のインデックスを削減する新たな方法を提案する。
 この発明の第1の局面は次のように規定される。即ち、
 比較対象の特徴量に対応する第1のインデックスの次元を削減して第2のインデックスを生成するための変換行列を形成する方法であって、
 標準データベースに含まれる標準対象の特徴量に対応する前記第1のインデックスにつきガウスカーネル行列を求めるステップと、
 前記ガウスカーネル行列を正規化するステップと、
 前記正規化されたガウスカーネル行列から異方性遷移カーネル行列を求めるステップと、
 を含む、ことを特徴とする変換行列の形成方法。
 この発明の第1の局面の方法により得られる変換行列を用いると、被比較対象の特徴量に対応する第1のインデックスの次元が削減される。次元の削減された第2のインデックスに基づき比較を実行することにより、処理装置の負担が軽減される。更には、実施例に示すとおり、MFDS特徴量に関してはその検索精度も向上した。
 第1の局面で規定する変換行列の適用はMFDS特徴量のインデックスのみに限定されるものではなく、その他各種のデータ(二次元図形データ、テキストデータ等)にも適用可能である。
実施例の検索システムの構成を示すブロック図である。 PSBにおける各次元削減手法での検索精度を再現率-適合率を示すグラフである。 KODにおける各次元削減手法での検索精度を再現率-適合率を示すグラフである。 NMBにおける各次元削減手法での検索精度を再現率-適合率を示すグラフである。 MSBにおける各次元削減手法での検索精度を再現率-適合率を示すグラフである。 ESBにおける各次元削減手法での検索精度を再現率-適合率を示すグラフである。
 変換行列を求めるアルゴリズムについて更に詳細に説明する。
(1)線形次元削減 (例:主成分分析による次元削減)
n次元のm個の点 X=[x,x,・・・,x]∈R が与えられた、と仮定する。一般的な線形次元削減の問題は、これらm個の点をd次元の点 Y=[y,y,・・・,y]∈R(d≪n)へと射影する変換行列Fを求めることであり、Y=FXと表せる。多様体学習における線形次元削減は、Xがn次元の非線形の多様体Mにある場合の問題となる。
(2)線形拡散射影による次元削減のアルゴリズム
線形拡散射影のアルゴリズムは以下の通りである。
(ステップ1)(ガウスカーネル行列の計算)
ガウスカーネル行列Wを求める。この求め方は、行列の要素Wijを以下のように決める。サンプル点xとxとのユークリッド距離、カーネルの幅を表すパラメータσから、以下の数式でもとめられる。
Figure JPOXMLDOC01-appb-M000016
(ステップ2)(カーネル行列の正規化)
以下のようにして、ガウスカーネル行列を正規化する。
Figure JPOXMLDOC01-appb-M000017
ここでDは、
Figure JPOXMLDOC01-appb-M000018
である。
(ステップ3)(異方性遷移カーネル行列の計算)
異方性遷移カーネル行列を、以下のようにして求める。
Figure JPOXMLDOC01-appb-M000019
ここで、
Figure JPOXMLDOC01-appb-M000020
である。
(ステップ4)(固有値分解)
固有値をλ、それに対応する固有ベクトルをfとして以下の固有値問題を解く。
Figure JPOXMLDOC01-appb-M000021
固有値
Figure JPOXMLDOC01-appb-M000022
に対応するd個の固有ベクトルfから、
n×dの変換行列Fを求める。
Figure JPOXMLDOC01-appb-M000023
ここでyは、xを次元削減したd次元のベクトルである。
 上記のアルゴリズムを予め準備された標準データベースに含まれる標準対象の特徴量に対して実行して変換行列Fを準備する。
 標準データベースに含まれる標準対象は、検索対象(クエリ)となることが予想される対象と同種の対象において任意に選択できる。ここに同種の対象とは、その特徴量が同一のインデックスで特定できるものいう。例えば、検索対象が三次元物体モデルであれば標準対象も三次元物体モデルである。
 標準データベースに含まれる標準対象はアトランダムに選択することができる。例えば、三次元物体が比較対象であるとき、標準データベースに含まれる標準対象として自動車、家、機械部品、テレビ、おもちゃ等、相互の関連性のない三次元物体の形状を選択することができる。
 検査対象(クエリ)及び被検索対象データベースが予め限定されているとき、例えば、検索対象が椅子であり、検索対象データベースが家具のときは、標準データベースに含ませるべき標準対象を椅子及び/又は家具に限定することもできる。このような場合には、被検索対象データベースから標準データベースに含ませるべき標準対象を任意に又はアトランダムに抽出することができる。
 標準データベースに含ませるべき標準対象の数は、変換行列の実行により得られる第2のインデックスの次元の数以上とすることが好ましい。検索対象データベースに含まれるデータ数によっては(処理装置が処理可能な範囲内において)、検索対象データベース自体を標準データベースとして使用することもできる。
 このようにして得られた変換行列Fを検索対象の特徴量に対応する第1のインデックスC-1に掛け合わせてより次元の小さい第2のインデックスC-2を求める。同様にして、変換行列Fを被検索対象データベースに含まれる全ての被検索対象の特徴量に対応する第1のインデックスD-1に掛け合わせてより次元に小さい第2のインデックスD-2を求める。検索対象の第2のインデックスC-2と各被検索対象の第2のインデックスD-2とを比較する。このように次元数の小さいインデックスどうしでの比較により、検索システム(処理装置)にかかる負担が小さく、検索時間も短縮される。
 上記のインデックス削減方法、即ち変換行列Fを三次元物体モデルの検索に適用した例を以下に説明する。
 図1は三次元物体モデルの検索装置1の構成を示すブロック図である。
 検索システムのハードディスク等により構成される標準データベース3に任意のデータベースを保存可能である。
 MFSD特徴量特定部5は標準データベースに含まれる三次元物体の特徴量を、MFSD法に基づき特定する。ここに、特定されたMFSD特徴量は3584の次元を有する(第1のインデックスS)。
 変換行列作成部7では線形拡散射影を用いた既述のアルゴリズム(1)~(4)を実行し、変換行列Fを特定する。この変換行列Fを第1のインデックス(3584次元)に掛け合わせると次元数が約1/10に圧縮された第2のインデックス(350次元)が得られる。
 被検索対象データベース13には既知の三次元物体の形状が保存され、各三次元物体についてMFSD特徴量特定部15によりそのMFSD特徴量(第1のインデックスD-1)が特定され、図示しないメモリに保存される。次元削減部18では各三次元物体のMFSD特徴量(第1のインデックスD-1)へ変換行列Fが掛け合わされる。これにより、3584次元の第1のインデックスD-1が350次元の第2のインデックスに変換される。この第2のインデックスも図示しないメモリへ保存される。
 ユーザにより指定された検索対象20のMFSD特徴量(第1のインデックスC-1)がMFSD特徴量特定部25で特定され、更に、次元削減部28において変換行列Fが掛け合わされる。これにより、3584次元の第1のインデックスC-1が350次元の第2のインデックスC-2に変換される。
 比較手段としての距離計算部30では、検索対象の第2のインデックスC-2と被検索データベースの各検索対象の第2のインデックスD-2とのマンハッタン距離が比較され、その距離が小さいものから類似性が高いと評価される。
 図1のシステムの有効性を確認するため、被検索対象データベースとして、Princeton Shape Benchmark Test Sets(PSB)、Konstanz 3D Object Database(KOD)、NTU 3D Model Benchmark(NMB)、 McGill Shape Benchmark(MSB)、Engineering Shape Benchmark(ESB)の5種類の三次元物体データベースを準備した。
 また、標準データベースには National Taiwan University 3D Model Database(NTU)用いた。 NTUには 10,911個の未分類の三次元物体が含まれている。ここからランダムに選択した 5,000個の三次元物体を訓練データとして使用した。
 検索対象には各被検索対象デーベースに含まれるもの全てを選択し、各被検索対象データベースごとにマイクロ平均をとった。
 検索精度の評価尺度には、 First Tier(1-Tier)、Second Tier(2-Tier)、 Nearest Neighbor(NN)、 Discounted Cumulative Gain(DCG)、および再現率(Recall)、適合率(Precision)を用いた。ここで、 1-Tier、2-Tierは、検索結果上位での検索精度を示す値である。 1-Tier、2-Tier、NN、DCGは値が大きいほど検索精度が高く、再現率-適合率のグラフではカーブが右上に近づくほど検索精度が高い。各評価尺度は、各検索対象三次元物体の評価尺度の平均を、全体の平均評価尺度とするマイクロ平均で表す。クラスごとに評価尺度の平均を計算し、それらの平均を全体の平均評価尺度とするマクロ平均では、各クラスが少数の三次元物体で構成される場合に、評価尺度の計算結果に偏りが生じる。評価実験に使用する三次元物体データベースは、いずれも、各クラスが少数の三次元物体で構成されるためマイクロ平均を選択した。
(2)パラメータの設定
 この発明にかかる線形拡散射影(LDP)は、カーネルの近傍幅を表すパラメータσを持つ。他手法との比較実験を行う前に、パラメータσの最適値を、テストデータベースに Princeton Shape Benchmark Test Sets(PSB)を用いて、実験により求めた。
 MFSDにおいて、正対処理にPoint SVDを用いたデプスバッファ特徴量をLDPを用いて100次元に次元削減し、評価尺度1-Tierが最大となるパラメータ値を求めた。線形拡散射影はガウスカーネルの近傍幅σがパラメータとなるσを{1.0,2.0,…,10.0}と変化させて最適値を求めた。実験結果から、σ=4としたものが41.5%ともっとも高い検索精度となった。また、遷移確率行列Pを用いた場合では13.4%となった。異方性遷移カーネルを導入する有効性がわかった。
(3)次元削減数の検討
 既知の次元削減法であるLocality Preserving Projections(LPP)、Neighborhood Preserving Embedding(NPE)、Isometric Projections(ISO)はパラメータとして近傍数をもつ。さらに、重みにガウスカーネルを選択したLPPではパラメータとして近傍幅σをもつ。近傍数を{10, 20,…}と変化させて最適値を求めた。また、σを{1.0, 2.0,…,10.0}と変化させて最適値を求めた。LPPは近傍数を10、近傍幅σのガウスカーネルを重みに選択したものが28.57% と最も高い検索精度となった。また、LPPは近傍数を大きくするほど検索精度が低下した。NPEの近傍数は110、120と大きくしていくごとに検索精度が高くなり、近傍数360で41.0% と最も高い検索精度となった。ISOでは、近傍数を90としたものが28.46%と最も高い検索精度となった。以降の実験ではパラメータにこれら最適値を使用する。各特徴量において、次元削減数を {10,20,…,150}と変化させ、評価尺度1-Tier が最大となる値を求めた。各特徴量の正対処理にはPoint SVDを用いた。被検索対象データベース、標準データベースは(2)と同様である。最も高い検索精度を得た次元削減数は表1に示すように、デプスバッファ特徴量で120次元、シルエット特徴量で100次元、輪郭特徴量で70次元、ボクセル特徴量で60次元となった。
Figure JPOXMLDOC01-appb-T000024
(4)様々なデータベースでの検索精度の比較
 複数の検索対象データベースで、LDPで次元削減した特徴量と、次元削減を行わない元の特徴量(MFSD)、PCA、LPP、NPE、ISOで次元削減した特徴量とで検索精度の比較実験を行った。標準データベースは(2)と同じものを用いた。次元削減数やパラメータについては実験で最も高い検索精度を得られた値を用いた。
(4-A)Princeton Shape Benchmark Test Sets (PSB)
 PSBは人間、自動車、植物などの特定の分野に偏らない907個の三次元物体が90個のクラスに分類されている。三次元物体の形状類似検索の研究において、基本的な検索性能を評価するベンチマークとして、広く用いられている。
 図2は、PSBにおける各次元削減手法での検索精度を再現率 -適合率の曲線で表したものである。LDPで次元削減したものが、最も高い検索精度となった。また、LDP、PCA、NPEでは次元削減しないMFSDよりも高い検索精度を得た。再現率 {0.05, 0.10, …, 1.0}での平均適合率は次元削減しないMFSDが0.5564なのに対し、次元削減したものは LDPで0.5983、PCAで0.5667、LPPで0.5155、NPEで0.5896、ISOで0.5471となった。
 表2は、PSBにおける各次元削減手法での検索精度を1-Tier、2-Tier、NN、DCGで表したものである。全ての評価尺度で、LDPで次元削減したものが最も高い検索精度となった。また、 LDPで次元削減したものが次元削減しない MFSDよりも高い検索精度となった。 LDPによる次元削減が、他の手法に比べ、 MFSDがなす非線形構造をとらえ次元削減できたと考える。
Figure JPOXMLDOC01-appb-T000025
(4-B)Konstanz 3D Object Database (KOD)
 KODは、Bustosらの研究で評価実験に用いられたデータベースである。 473個の三次元物体が 55個のクラスに分類されている。PSBと同様に、データベースに含まれる三次元物体は特定の分野によらず基本的な検索性能を評価することができる。
 図3は、KODにおける各次元削減手法での検索精度を再現率-適合率の曲線で表したものである。LDPで次元削減したものが最も高い検索精度となった。また、LDPで次元削減したものは次元削減しないMFSDよりも高い検索精度を得た。平均適合率は、次元削減しないMFSDが0.7278なのに対し、次元削減したものは、 LDPで0.7578、PCAで0.7263、LPPで0.6910、NPEで0.7443、ISOで0.7216となった。
 表3は、KODにおける各次元削減手法での検索精度を1-Tier、2-Tier、NN、DCGで表したものである。全ての評価尺度で、LDPで次元削減したものが、最も高い検索精度となった。また、 LDPで次元削減したものは、次元削減しないMFSDにくらべ、検索精度が向上した。
Figure JPOXMLDOC01-appb-T000026
(4-C)NTU 3D Model Benchmark (NMB)
 NMBは、Chenらの研究で評価実験に用いられたデータベースである。549個の物体が47個のクラスに分類されている。PSBと同様に特定の分野への偏りがないため、基本的な検索性能を評価できる。また、標準データベースに用いた National Taiwan University 3D Model Databaseとは、異なるデータベースである。
 図4は、NMBにおける各次元削減手法での検索精度を再現率-適合率の曲線で表したものである。LDPで次元削減したものが他の次元削減手法で次元削減したものよりも高い検索精度となった。平均適合率は、次元削減しないMFSDが0.5439なのに対し、次元削減したものはLDPで0.5464、PCAで0.5282、LPPで0.4952、NPEで0.5371、ISOで0.5109となった。
 表4は、NMBにおける、各次元削減手法での検索精度を1-Tier、2-Tier、NN、DCGで表したものである。1-Tier、NNでは次元削減しないMFSDが、2-Tier、DCGではLDPで次元削減したものが、それぞれ最も高い検索精度となった。LDPでは、次元削減したものが他の次元削減手法に比べ高い検索精度となった。
 PSB、KODでの実験結果とあわせて、LDPで次元削減することで、基本的な検索精度が向上することがわかる。
Figure JPOXMLDOC01-appb-T000027
(4-4)McGill 3D Shape Benchmark (MSB)
 MSBは、ボクセル化された457個の三次元物体が19個のクラスに分類されているデータベースである。PSBが馬クラス・犬クラスと分類されているのに対し、MSBでは四本足の動物は全て同じ四本足動物クラスに分類されるなど、他のデータベースと比較すると、多少、大雑把なクラス分類となっている。
 図5は、MSBにおける各次元削減手法での検索精度を再現率-適合率の曲線で表したものである。LDPで次元削減したものが最も高い検索精度となった。また、 LDP、PCAで次元削減したものは、次元削減しない MFSDよりもそれぞれ高い検索精度を得た。平均適合率は、次元削減しない MFSDが0.6010なのに対し、次元削減したものは、LDPで0.6493、PCAで0.6132、LPPで0.5130、NPEで0.6309、ISOで0.5370となった。
 表5は、MSBにおける各次元削減手法での検索精度を1-Tier、2-Tier、NN、DCGで表したものである。全ての評価尺度で、LDPで次元削減したものが最も高い検索精度となった。
 また、LDP、PCAにより次元削減したものは、全ての評価尺度で、次元削減しないMFSDにくらべ検索精度が向上した。
Figure JPOXMLDOC01-appb-T000028
(4-E)Engineering Shape Benchmark (ESB)
 ESBは、801個の三次元物体が42個のクラスに分類されているデータベースである。機械部品の三次元物体から構成され、3DCADにおける部品検索などの応用における検索精度を評価することができる。
 図6は、ESBにおける各次元削減手法での検索精度を再現率 -適合率の曲線で表したものである。LDPで次元削減したものが他の次元削減手法で次元削減したものよりも高い検索精度となった。平均適合率は、次元削減しない MFSDが 0.5683なのに対し、次元削減したものは、 LDPで 0.5715、PCAで 0.5625、LPPで 0.5360、NPEで 0.5694、ISOで 0.5396となった。
 表6は、ESBにおける、各次元削減手法での検索精度を、1-Tier、2-Tier、NN、DCGで表したものである。1-Tierでは、NPEで次元削減したものが、2-Tierでは、次元削減しない MFSDが、NN、DCGでは、 LDPで次元削減したものが、最も高い検索精度となった。また、全ての評価尺度でLDPで次元削減したものが他の次元削減手法に比べ高い検索精度となった。
Figure JPOXMLDOC01-appb-T000029
 自動車製造業に代表される機械部品の製造業では、三次元物体の形状モデルを三次元CAD/CAMシステムで製作するのが通常業務として行われている。また、建設業界でも建物の外観・内装や建物周辺の風景を建立前にCGを使ってシミュレーションするために、三次元の建物モデル、部屋のモデル、家具や樹木などのモデルを作成することが広く行われている。さらに、アニメーションや映画、コマーシャルフィルムなどの作成にも、今では三次元CG技術は欠かせないものとなっている。
 しかしながら、このような応用分野で、精緻な三次元モデルを最初に作成する場合、2次元の図形描画よりもはるかに多くの労力と時間を要する。そこで、これらの応用分野で、一度人手や三次元スキャナなどの補助手段で入力し作成した三次元モデルを、三次元物体モデル・データベースに保存しておき、類似した三次元物体の形状モデルを作成する場合に、類似した形状の物体モデルを再利用することで大幅なコスト削減がはかれると考えられる。本発明は、このような環境下で、作成したい三次元形状に類似した三次元物体を、三次元モデル・データベースから、できるだけ正確に検索でき、かつ検索用のインデックスを提案手法の線形拡散射影で次元削減し、圧縮することで、実用的な「三次元物体形状の検索エンジン」としての利用を可能とするものである。
 この発明は、上記発明の実施の形態及び実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
1 検索システム
3 標準データベース
5,15,25 MFSD特徴量特定部
7 変換行列作成部
18,28 次元削減部
30 距離計算部(比較部)

Claims (13)

  1.  比較対象の特徴量に対応する第1のインデックスの次元を削減して第2のインデックスを生成するための変換行列を形成する方法であって、
     標準データベースに含まれる標準対象の特徴量に対応する前記第1のインデックスにつきガウスカーネル行列を求めるステップと、
     前記ガウスカーネル行列を正規化するステップと、
     前記正規化されたガウスカーネル行列から異方性遷移カーネル行列を求めるステップと、
     を含む、ことを特徴とする変換行列の形成方法。
  2.  前記ガウスカーネル行列Wは次のようにあらわされ、
    Figure JPOXMLDOC01-appb-M000001
    ただし、Wi,jは行列の要素、||X-X||はサンプル点X,Xのユークリッド距離、σはカーネル幅を表わすパラメータである、
     前記ガウスカーネル行列の正規化は次のように行なわれ、
    Figure JPOXMLDOC01-appb-M000002
    ここでDは、
    Figure JPOXMLDOC01-appb-M000003
    であり、
     前記異方性遷移カーネル行列は次のようにして求められる、
    Figure JPOXMLDOC01-appb-M000004
    ここで、
    Figure JPOXMLDOC01-appb-M000005
    である、
     ことを特徴とする請求項1に記載の変換行列の形成方法。
  3.  被検索対象データベースに含まれる被検索対象につき夫々の特徴量に対応する第1のインデックスD-1を第1の方法により特定するステップと、
     前記被検索対象の第1のインデックスD-1の次元を請求項1又は請求項2に記載の方法により得られた変換行列により削減して、第2のインデックスD-2を特定するステップと、
     検索対象につきその特徴量に対応する第1のインデックスC-1を前記第1の方法により特定し、前記特定された検索対象の第1のインデックスC-1の次元を前記変換行列により削減して、第2のインデックC-2を特定するステップと、
     前記検索対象の第2のインデックスC-2を前記データベースに含まれる各被検索対象の第2のインデックスD-2と比較するステップと、を含むデータ検索方法。
  4.  前記被検索対象及び前記検索対象は三次元モデルであり、前記第1の方法はMFSD法である、ことを特徴とする請求項3に記載のデータ検索方法。
  5.  比較対象の特徴量に対応する第1のインデックスの次元を削減して第2のインデックスを生成するための変換行列を形成する装置であって、
     標準データベースに含まれる標準対象の特徴量に対応する前記第1のインデックスにつきガウスカーネル行列を求める手段と、
     前記ガウスカーネル行列を正規化する手段と、
     前記正規化されたガウスカーネル行列から異方性遷移カーネル行列を求める手段と、
     を含む、ことを特徴とする変換行列の形成装置。
  6.  前記ガウスカーネル行列Wは次のようにあらわされ、
    Figure JPOXMLDOC01-appb-M000006
    ただし、Wi,jは行列の要素、||X-X||はサンプル点X、Xのユークリッド距離、σはカーネル幅を表わすパラメータである、
     前記ガウスカーネル行列の正規化は次のように行なわれ、
    Figure JPOXMLDOC01-appb-M000007
    ここでDは、
    Figure JPOXMLDOC01-appb-M000008
    であり、
     前記異方性遷移カーネル行列は次のようにして求められる、
    Figure JPOXMLDOC01-appb-M000009
    ここで、
    Figure JPOXMLDOC01-appb-M000010
    である、ことを特徴とする請求項5に記載の変換行列の形成装置。
  7.  被検索対象データベースに含まれる被検索対象につき夫々の特徴量に対応する第1のインデックスD-1を第1の方法により特定する手段と、
     前記被検索対象の第1のインデックスD-1の次元を請求項5又は請求項6に記載の装置により得られた変換行列により削減して、第2のインデックスD-2を特定する手段と、
     検索対象につきその特徴量に対応する第1のインデックスC-1を前記第1の方法により特定し、前記特定された検索対象の第1のインデックスC-1の次元を前記変換行列により削減して、第2のインデックC-2を特定し、
     前記検索対象の第2のインデックスC-2を前記データベースに含まれる各被検索対象の第2のインデックスD-2と比較する手段と、を備えるデータ検索装置。
  8.  前記被検索対象及び前記検索対象は三次元モデルであり、前記第1の方法はMFSD法である、ことを特徴とする請求項7に記載のデータ検索装置。
  9.  比較対象の特徴量に対応する第1のインデックスの次元を削減して第2のインデックスを生成するための変換行列を形成するためのコンピュータプログラムであって、コンピュータを、
     標準データベースに含まれる標準対象の特徴量に対応する前記第1のインデックスにつきガウスカーネル行列を求める手段と、
     前記ガウスカーネル行列を正規化する手段と、
     前記正規化されたガウスカーネル行列から異方性遷移カーネル行列を求める手段と、
     として機能させる、ことを特徴とするコンピュータプログラム。
  10.  前記ガウスカーネル行列Wは次のようにあらわされ、
    Figure JPOXMLDOC01-appb-M000011
    ただし、Wi,jは行列の要素、||X-X||はサンプル点X、Xのユークリッド距離、σはカーネル幅を表わすパラメータである、
     前記ガウスカーネル行列の正規化は次のように行なわれ、
    Figure JPOXMLDOC01-appb-M000012
    ここでDは、
    Figure JPOXMLDOC01-appb-M000013
    であり、
     前記異方性遷移カーネル行列は次のようにして求められる、
    Figure JPOXMLDOC01-appb-M000014
    ここで、
    Figure JPOXMLDOC01-appb-M000015
    である、ことを特徴とする請求項9に記載の変換行列の形成装置。
  11.  データ検索のためのコンピュータプログラムであって、コンピュータを、
     被検索対象データベースに含まれる被検索対象につき夫々の特徴量に対応する第1のインデックスD-1を第1の方法により特定する手段と、
     前記被検索対象の第1のインデックスD-1の次元を請求項5又は請求項6に記載の装置により得られた変換行列により削減して、第2のインデックスD-2を特定する手段と、
     検索対象につきその特徴量に対応する第1のインデックスC-1を前記第1の方法により特定し、前記特定された検索対象の第1のインデックスC-1の次元を前記変換行列により削減して、第2のインデックC-2を特定し、
     前記検索対象の第2のインデックスC-2を前記データベースに含まれる各被検索対象の第2のインデックスD-2と比較する手段と、
     として機能させる、ことを特徴とするコンピュータプログラム。
  12.  前記被検索対象及び前記検索対象は三次元モデルであり、前記第1の方法はMFSD法である、ことを特徴とする請求項11に記載のコンピュータプログラム
  13.  請求項9~請求項12のいずれかに記載のコンピュータプログラムを記録する記録媒体。
PCT/JP2011/061078 2010-06-11 2011-05-13 データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置 WO2011155288A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012519316A JP5818023B2 (ja) 2010-06-11 2011-05-13 データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-134589 2010-06-11
JP2010134589 2010-06-11

Publications (1)

Publication Number Publication Date
WO2011155288A1 true WO2011155288A1 (ja) 2011-12-15

Family

ID=45097900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061078 WO2011155288A1 (ja) 2010-06-11 2011-05-13 データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置

Country Status (2)

Country Link
JP (1) JP5818023B2 (ja)
WO (1) WO2011155288A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492062A (zh) * 2016-06-13 2017-12-19 滴滴(中国)科技有限公司 乘客出行矩阵的压缩方法和系统
CN112417722A (zh) * 2020-11-13 2021-02-26 华侨大学 一种基于滑动窗npe的线性时变结构工作模态识别方法
GB2601862A (en) * 2020-08-19 2022-06-15 Univ Jiangsu Dimension reduction and correlation analysis method applicable to large-scale data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056757A1 (fr) * 2006-11-10 2008-05-15 National University Corporation Toyohashi University Of Technology Procédé et système de recherche de modèle en trois dimensions et programme informatique

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056757A1 (fr) * 2006-11-10 2008-05-15 National University Corporation Toyohashi University Of Technology Procédé et système de recherche de modèle en trois dimensions et programme informatique

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ATSUSHI TATSUMA ET AL.: "3D Shape Retrieval Using Manifold Ranking", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, RONBUNSHI JOURNAL, vol. 49, no. 10, 15 October 2008 (2008-10-15), pages 3670 - 3681 *
ATSUSHI TATSUMA ET AL.: "Linear Diffusion Projections and Its Application to 3D Shape Retrieval", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J93-D, no. 8, 1 August 2010 (2010-08-01), pages 1590 - 1601 *
MASARU NAKANO ET AL.: "Linearized Diffusion Maps and its Application to Documents", DAI 72 KAI (HEISEI 22 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (2) JINKO CHINO TO NINCHI KAGAKU, 8 March 2010 (2010-03-08), pages 2-465 - 2-466 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492062A (zh) * 2016-06-13 2017-12-19 滴滴(中国)科技有限公司 乘客出行矩阵的压缩方法和系统
CN107492062B (zh) * 2016-06-13 2021-05-04 北京嘀嘀无限科技发展有限公司 乘客出行矩阵的压缩方法和系统
GB2601862A (en) * 2020-08-19 2022-06-15 Univ Jiangsu Dimension reduction and correlation analysis method applicable to large-scale data
CN112417722A (zh) * 2020-11-13 2021-02-26 华侨大学 一种基于滑动窗npe的线性时变结构工作模态识别方法
CN112417722B (zh) * 2020-11-13 2023-02-03 华侨大学 一种基于滑动窗npe的线性时变结构工作模态识别方法

Also Published As

Publication number Publication date
JPWO2011155288A1 (ja) 2013-08-01
JP5818023B2 (ja) 2015-11-18

Similar Documents

Publication Publication Date Title
Moreira et al. Image provenance analysis at scale
US10210656B2 (en) Method and apparatus for searching a database of 3D items using descriptors
Bustos et al. Content-based 3D object retrieval
US8050466B2 (en) Face recognition with combined PCA-based datasets
Lian et al. CM-BOF: visual similarity-based 3d shape retrieval using clock matching and bag-of-features
KR101833953B1 (ko) 이미지들을 비교하는 방법 및 시스템
Savelonas et al. An overview of partial 3D object retrieval methodologies
Li et al. Hybrid shape descriptor and meta similarity generation for non-rigid and partial 3D model retrieval
US9600738B2 (en) Discriminative embedding of local color names for object retrieval and classification
US8249353B2 (en) Method for finding representative vectors in a class of vector spaces
Gonzalez-Diaz et al. Neighborhood matching for image retrieval
JP5818023B2 (ja) データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置
JP2011524583A (ja) 改良された画像認識用の支援装置
Wang et al. From low-cost depth sensors to cad: Cross-domain 3d shape retrieval via regression tree fields
CN110147460B (zh) 基于卷积神经网络与多视角图的三维模型检索方法及装置
Li et al. A non-rigid 3D model retrieval method based on scale-invariant heat kernel signature features
TW202201249A (zh) 2維映射產生裝置、2維映射產生方法及2維映射產生用程式
EP3185172A1 (en) 3d object localization with quantization of the point pair descriptors
JP2020098571A (ja) 2次元または3次元の幾何学的形状の集合のための形状記述子の集合を生成するための方法
Sicre et al. Dense sampling of features for image retrieval
Kawamura et al. Local Goemetrical Feature with Spatial Context for Shape-based 3D Model Retrieval.
US20220172455A1 (en) Systems and methods for fractal-based visual searching
CN104615611A (zh) 获取全局特征描述子的方法
Veinidis et al. On the retrieval of 3D mesh sequences of human actions
Xiao et al. Soft decision optimization method for robust fundamental matrix estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792246

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2012519316

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11792246

Country of ref document: EP

Kind code of ref document: A1