JP6147003B2 - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP6147003B2 JP6147003B2 JP2012288721A JP2012288721A JP6147003B2 JP 6147003 B2 JP6147003 B2 JP 6147003B2 JP 2012288721 A JP2012288721 A JP 2012288721A JP 2012288721 A JP2012288721 A JP 2012288721A JP 6147003 B2 JP6147003 B2 JP 6147003B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- vector
- feature point
- elements
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、特に、物体の認識性能を向上させるために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。 In particular, the present invention relates to an information processing apparatus, an information processing method, and a program suitable for use in improving object recognition performance.
顔画像データを用いて個人の認識等を行う際に、顔器官或いはそれに準ずる複数の特徴的な部位(以下、特徴点とする)の位置を画像上で決定することは重要なタスクであり、認識性能に大きく影響を及ぼす。 When performing personal recognition using face image data, it is an important task to determine the positions of facial organs or multiple characteristic parts (hereinafter referred to as feature points) on the image, It greatly affects the recognition performance.
複数の特徴点の位置を決定する手法としては、特徴点毎に位置候補を決定する手段と、対象とする例えば顔などの物体に特有な特徴点の配置関係に基づいて特徴点の位置候補を補正する手段とにより構成されていることが多い。例えば、非特許文献1及び2には、統計量に基づく幾何学的な拘束手法に従って複数の顔器官の特徴点の位置を決定する方法が開示されている。ここで拘束とは、特徴点の位置を、対象とする物体に特有の配置関係に基づいて制限することである。
As a method for determining the positions of a plurality of feature points, a method for determining position candidates for each feature point and a feature point position candidate based on the arrangement relationship of feature points specific to an object such as a face to be processed are used. In many cases, it is constituted by means for correcting. For example, Non-Patent
非特許文献1に開示されている手法では、PDM(Point Distribution Model)と呼ばれる特徴点の位置座標の関係モデルを用いて、特徴点の配置の幾何学的な補正を行う。PDMでは、複数の特徴点の位置座標を連結したベクトルを主成分分析により生成した固有空間へ射影し、その射影ベクトルを特徴点の位置座標の空間へ逆射影することにより補正後の特徴点の位置座標を得る。その際、射影ベクトルの振幅を制限することにより統計的な配置関係に基づく特徴点の位置の拘束効果が得られる。
In the method disclosed in
一方、非特許文献2に開示されている手法も、主成分分析を利用して特徴点の位置座標の補正を行う手法である。ところが、当該手法では射影ベクトルの次元数を制限するによって特徴点の位置の拘束効果を得ている。これらの手法は固有空間上に射影されたベクトルの変動を値域や次元数で制限することにより特徴点の位置の配置に幾何学的な拘束を与えている。
On the other hand, the method disclosed in Non-Patent
しかしながら、上記何れの手法も統計的な処理(主成分分析を利用)に基づいて効率良く特徴点の位置を補正(外れ値の補正)する優れた方式であるが、補正の程度(以下、拘束力とする)を特徴点毎に制御することはできなかった。例えば、特徴点の位置候補を決定する精度が特徴点毎に異なる場合、特徴点毎に補正の程度を変えることが望ましいが、上記従来例による手法では補正程度を変えることができない。 However, each of the above methods is an excellent method for efficiently correcting the position of feature points (correcting outliers) based on statistical processing (using principal component analysis). Power) could not be controlled for each feature point. For example, when the accuracy of determining feature point position candidates is different for each feature point, it is desirable to change the degree of correction for each feature point. However, the degree of correction cannot be changed by the method according to the conventional example.
本発明は前述の問題点に鑑み、特徴点ごとに特徴点の位置候補の補正の程度を変化させることができるようにすることを目的としている。 An object of the present invention is to make it possible to change the degree of correction of feature point position candidates for each feature point.
本発明の情報処理装置は、物体領域の中から複数の特徴点の位置候補を求める位置候補決定手段と、前記位置候補決定手段によって求められた複数の位置候補の座標を連結して特徴点ベクトルを生成する生成手段と、前記生成手段によって生成された特徴点ベクトルを所定の次元の空間に射影して射影ベクトルを得る射影手段と、前記複数の特徴点の位置候補毎に逆射影に使用する射影ベクトルの要素数を決定する要素数決定手段と、前記複数の特徴点の位置候補のそれぞれを、前記射影手段により得られた射影ベクトルの要素のうち、前記要素数決定手段により当該位置候補に対して決定された要素数の要素で構成される射影ベクトルを用いて逆射影する逆射影手段と、前記逆射影手段の結果を用いて前記複数の特徴点の位置候補を補正した複数の特徴点の位置を決定する位置決定手段と、を有することを特徴とする。 The information processing apparatus according to the present invention includes a position candidate determining unit that obtains position candidates of a plurality of feature points from an object region, and a feature point vector obtained by connecting the coordinates of the plurality of position candidates obtained by the position candidate determining unit. Generating means, projecting means for projecting the feature point vector generated by the generating means onto a space of a predetermined dimension to obtain a projection vector, and using the plurality of feature point position candidates for back projection An element number determining unit that determines the number of elements of a projection vector, and each of the plurality of feature point position candidates is converted into the position candidates by the element number determining unit among the elements of the projection vector obtained by the projecting unit. reverse projection means for inverse projection with projection vector composed of elements of the determined number of elements for, using the results of said inverse projection unit to correct the position candidate of the plurality of feature points And having a position determining means for determining the positions of a plurality of feature points, the.
本発明によれば、特徴点毎に特徴点の位置候補の補正の程度を制御することができ、特徴点の位置をより高精度に決定することができる。 According to the present invention, the degree of correction of feature point position candidates can be controlled for each feature point, and the position of the feature point can be determined with higher accuracy.
(第1の実施形態)
以下、本発明の第1の実施形態の動作について説明する。
図2は、本実施形態において特徴点の位置を決定するための情報処理装置200の構成例を示すブロック図である。本実施形態の情報処理装置200は先ず、画像データから顔を含む領域を抽出する。以下、抽出した領域を顔画像データと呼ぶ。そして、得られた顔画像データから複数の特徴点位置(ここでは顔の器官に関連する特徴の位置)を決定する。
(First embodiment)
The operation of the first embodiment of the present invention will be described below.
FIG. 2 is a block diagram illustrating a configuration example of the
図2において、画像入力部201は、光学系デバイス、光電変換デバイス及びセンサーを制御するドライバー回路、ADコンバーター、各種画像補正を司る信号処理回路、フレームバッファ等により構成されている。前処理部202は、後段の各種処理を効果的に行うために各種前処理を実行する。具体的には、画像入力部201で取得した画像データに対して色変換処理、コントラスト補正処理等の補正をハードウェアで処理する。
In FIG. 2, an
顔画像データ切り出し処理部203は、前処理部202で補正した画像データに対して顔検出処理を実行する。顔検出の手法は、従来提案されている様々な手法を適用可能である。また、顔画像データ切り出し処理部203は、検出された顔毎に顔画像を所定のサイズに正規化して切り出す。
The face image data
図3は、顔画像の切り出し処理の一例を説明する図である。前処理部202で補正された画像301から顔領域302を検出し、予め定めるサイズに正規化した正立の顔画像303を切り出す。従って、顔画像303の大きさは顔によらず一定である。切り出した顔画像のデータは、DMAC(Direct Memory Access Controller)205を介してRAM(Random Access Memory)209に格納される。以後、特徴点の位置とは顔画像303内の特徴点の座標と定義する。また、座標は顔画像303の左上端を原点とする座標系(x座標、y座標)で表現するものとする。
FIG. 3 is a diagram illustrating an example of a face image cut-out process. A
CPU(Central Processing Unit)207は、本実施形態に係る主要な処理を実行すると共に本装置全体の動作を制御する。ブリッジ204は、画像バス210とCPUバス206との間のバスブリッジ機能を提供する。ROM(Read Only Memory)208は、CPU207の動作を規定するプログラムを格納する。RAM209は、CPU207の動作に必要な作業メモリである。CPU207は、RAM209に格納された顔画像のデータに対して処理を実行する。
A CPU (Central Processing Unit) 207 executes main processing according to the present embodiment and controls the operation of the entire apparatus. The
図1は、本実施形態において、特徴点の位置を決定する処理手順の一例を示すフローチャートである。当該フローチャートはCPU207の動作を示し、正規化された顔画像303に対して特徴点の位置を決定する処理について説明するものである。
まず、ステップS101において、CPU207は位置候補決定手段として機能し、予め定める特徴点の位置候補を決定する。この処理では、例えば図4に示すような15個の顔器官に関連する特徴点401〜415の位置候補を決定する。
FIG. 1 is a flowchart illustrating an example of a processing procedure for determining the position of a feature point in the present embodiment. The flowchart shows the operation of the
First, in step S101, the
図5は、図1のステップS101の処理の概要を説明する図である。なお、図5は説明のために2つの特徴点の位置候補を決定する場合の処理構成を示している。本実施形態では、CNN(Convolutional Neural Networks)により特徴点の位置候補を決定する。CNNは階層的な特徴抽出処理により構成されており、図5では、第1階層506の特徴数が3、第2階層510の特徴数が2の2層CNNの例を示している。
FIG. 5 is a diagram for explaining the outline of the processing in step S101 in FIG. FIG. 5 shows a processing configuration in the case where position candidates for two feature points are determined for the sake of explanation. In the present embodiment, candidate positions of feature points are determined by CNN (Convolutional Neural Networks). The CNN is configured by hierarchical feature extraction processing, and FIG. 5 shows an example of a two-layer CNN in which the number of features in the
図5において、顔画像501は、前述の図3に示す顔画像303に相当するものである。特徴面503a〜503cは第1階層506の特徴面を示す。特徴面とは、所定の特徴抽出フィルタ(コンボリューション演算の累積和及び非線形処理)で前階層のデータを走査しながら演算した結果を格納する画像データ面である。特徴面は、ラスタスキャンされた画像データに対する検出結果であるため、検出結果も面で表される。
In FIG. 5, a
この特徴面503a〜503cは、顔画像501を参照して、異なる特徴抽出フィルタにより算出される。特徴面503a〜503cはそれぞれ模式的にコンボリューションフィルタ504a〜504cに対応する2次元のコンボリューションフィルタ演算と演算結果の非線形変換(シグモイド関数等)とにより生成される。なお、参照画像領域502はコンボリューション演算に必要な領域を示す。例えば、フィルタサイズ(水平方向の長さと垂直方向の高さ)が11×11のコンボリューションフィルタ演算では、以下の式(1)に示すような積和演算により処理する。
The feature surfaces 503a to 503c are calculated by different feature extraction filters with reference to the
ここで、input(x,y)は座標(x,y)での参照画素値を表し、output(x,y)は座標(x,y)での演算結果を表す。また、weight(column, row)は座標(x+column,y+row)での重み係数を表し、columnSize=11,rowSize=11はフィルタサイズ(フィルタタップ数)を表す。 Here, input (x, y) represents a reference pixel value at coordinates (x, y), and output (x, y) represents a calculation result at coordinates (x, y). Also, weight (column, row) represents a weighting coefficient at coordinates (x + column, y + row), and columnSize = 11 and rowSize = 11 represent a filter size (the number of filter taps).
コンボリューションフィルタ504a〜504cは夫々異なる係数のフィルタであり、特徴面によってコンボリューションフィルタ504a〜504cのサイズも異なる。CNN演算では、複数のフィルタを画素単位で走査しながら積和演算を繰り返し、最終的な積和結果を非線形変換することにより特徴面を生成する。例えば特徴面503aを算出する場合は、前階層との結合数が1であるため、コンボリューションフィルタ504aが用いられる。一方、特徴面507a、507bを算出する場合は、前階層との結合数が3であるため、3つのコンボリューションフィルタの演算結果を累積加算する。つまり、特徴面507aは、コンボリューションフィルタ508a〜508cの全ての出力を累積加算し、最後に非線形変換処理することによって得られる。
The
参照画像領域505a〜505cはそれぞれ第2階層510のコンボリューション演算に必要な領域を示す。コンボリューションフィルタの係数はバックプロパゲーション等従来知られているニューラルネットワークの学習手法によって予め決定しておく。CNNの学習に関しては、例えば非特許文献3に開示されている方法を用いる。
CNN演算によって得られる特徴面507a、507bは、対象とする特徴点の存在可能性を示す画像マップに相当する。即ち、特徴点が存在する位置に高い値を有する画像マップである。ステップS101では、更に特徴面507a、507bの重心を算出し、その座標値を特徴点の位置候補の座標とする。
The feature surfaces 507a and 507b obtained by the CNN calculation correspond to an image map indicating the possibility of the existence of target feature points. That is, the image map has a high value at the position where the feature point exists. In step S101, the center of gravity of the
ステップS102〜ステップS106では、ステップS101で得られた15個の特徴点の位置候補に対して幾何学的な補正処理(ステップS101の性能に起因する外れ値の補正)を実行する。 In steps S102 to S106, geometric correction processing (correction of outliers due to the performance of step S101) is performed on the 15 feature point position candidates obtained in step S101.
図6は、幾何学的な補正処理の例を説明する図である。図6に示す例では、特徴点402aは目尻を特徴とする特徴点であるが、誤って眉毛端の位置に判定されている。本実施形態では、人の顔の特徴の配置関係に基づいて統計的な処理によりその位置を補正する。即ち学習(主成分分析等)によって得られる知見に基づいて、特徴点402aが示す位置候補を特徴点402bが示す位置に補正する。以下、本実施形態による補正処理の具体例について順番に説明する。 FIG. 6 is a diagram for explaining an example of the geometric correction process. In the example shown in FIG. 6, the feature point 402a is a feature point characterized by the corner of the eye but is erroneously determined as the position of the eyebrow end. In the present embodiment, the position is corrected by statistical processing based on the arrangement relationship of human face features. That is, based on the knowledge obtained by learning (principal component analysis or the like), the position candidate indicated by the feature point 402a is corrected to the position indicated by the feature point 402b. Hereinafter, specific examples of the correction processing according to the present embodiment will be described in order.
まず、ステップS102において、CPU207は生成手段として機能し、ステップS101で得られた複数の特徴点の位置候補の座標を単純に連結して1つの特徴点ベクトルを生成する。本実施形態の場合、15個の特徴点位置座標から30次元の特徴ベクトルVを生成する。各特徴点の位置座標(xi,yi)(i:特徴点の番号1〜15)を単純に連結したデータ列を特徴点ベクトルV(要素vj:j=1〜30)とする。特徴点の番号1〜15は、本実施形態では特徴点401〜415に対応する。したがって、例えば、特徴点ベクトルの要素v1、v2はそれぞれ特徴点401のx座標値、y座標値に対応する。また、特徴ベクトルVは以下の式(2)により定義する。
First, in step S102, the
式中、fは特徴点の数を表し、Tは転置を表す。 In the formula, f represents the number of feature points, and T represents transposition.
次に、ステップS103において、CPU207は射影手段として機能し、平均ベクトルA、射影行列Eを用いて射影ベクトルPを算出する。射影ベクトルPは、特徴点ベクトルVから平均ベクトルAを減じたベクトルデータと射影行列Eとを使用して以下の式(3)により算出する。なお、射影行列E及び平均ベクトルAは、予め多数の顔画像に対する特徴点ベクトル(学習用特徴点ベクトル)を用いて、主成分分析により算出した行列である。ここで、学習用特徴点とベクトルとは、顔画像の正しい特徴点位置座標を全て同様に連結して生成したベクトルである。平均ベクトルAは、以下の式(4)により定義され、射影行列Eは、以下の式(5)により定義される。
In step S103, the
P=ET(V−A) ・・・(3)
A=(a1,a2,a3,‥,a2×f)T ・・・(4)
E=(u1,u2,‥,up) ・・・(5)
P = E T (V−A) (3)
A = (a 1 , a 2 , a 3 ,..., A 2 × f ) T (4)
E = (u 1 , u 2 ,..., U p ) (5)
式中、u1,u2,‥,upは主成分分析によって得られたそれぞれ2×f次元の正規直交ベクトル(固有ベクトル)である。本実施形態の場合、30次元のベクトルとなる。pは射影ベクトルの次元を表しており、2×f次元より少ない値として、例えば、8に設定する。この場合、射影行列Eは主成分分析によって得られる直交ベクトルのうち、対応する固有値が大きい方から順に8個の固有ベクトルを使用する。なお、射影行列E及び平均ベクトルAの情報はROM208或いはRAM209等に予め格納されているものとする。
In the equation, u 1 , u 2 ,..., U p are 2 × f-dimensional orthonormal vectors (eigenvectors) obtained by principal component analysis. In the case of this embodiment, it is a 30-dimensional vector. p represents the dimension of the projection vector, and is set to 8, for example, as a value smaller than 2 × f dimension. In this case, the projection matrix E uses eight eigenvectors in descending order of the corresponding eigenvalues among orthogonal vectors obtained by principal component analysis. It is assumed that information of the projection matrix E and the average vector A is stored in advance in the
以上のようにステップS103では、式(3)の演算により2×f次元の特徴点ベクトルをp次元の射影ベクトルに次元削減する。即ちp次元の固有空間に射影する。また、非特許文献2に記載の方法では、射影ベクトルPから元の特徴点ベクトル次元のデータ、即ち座標位置を復元する。ここで、復元ベクトルV'は、前述した射影行列Eと平均ベクトルAとを用いて以下の式(6)により算出する。以下、式(6)の第1項の処理(EP)を逆射影処理と呼ぶ。
V'=EP+A ・・・(6)
As described above, in step S103, the dimension of the 2 × f-dimensional feature point vector is reduced to a p-dimensional projection vector by the calculation of Expression (3). That is, it projects onto a p-dimensional eigenspace. In the method described in
V ′ = EP + A (6)
一方、本実施形態では、ステップS104〜S106でCPU207は逆射影手段として機能し、特徴点毎に異なる個数の射影ベクトルの要素を用いて特徴点ベクトルを復元する。図7は、本実施形態による射影処理と逆射影処理とを模式的に説明する図である。ここでは説明のために3つの特徴点に対応する特徴点ベクトルに対して処理する場合について説明する。
On the other hand, in this embodiment, the
図7において、特徴点ベクトル701は特徴点の座標データに対応するベクトルである。即ち、ステップS101で決定した特徴点の位置候補の座標(x1,y1)、(x2,y2)、(x3,y3)から生成した特徴点ベクトル(v1,v2,v3,v4,v5,v6)である。なお、説明のため、ここでの特徴点ベクトルは既に平均ベクトルAが減算されているものとする。即ち、式(3)のV−Aが処理された状態であるとする。702a〜702cは射影行列Eであり、ここでは3次元の射影ベクトルを算出するために3つの固有ベクトルを使用する。射影行列702a、702b、702cは、主成分分析による固有ベクトルが大きい順に3つの固有ベクトル(e1i,e2i,e3i: i=1〜6)により構成されている。射影ベクトル703a〜703cは、特徴点ベクトル701と対応する射影行列702a、702b、702cの固有ベクトルの内積により算出される。即ち、射影ベクトルの要素pnは、ステップS103で以下の式(7)により算出される。 In FIG. 7, a feature point vector 701 is a vector corresponding to feature point coordinate data. That is, feature point vectors (v 1 , v 2 , v 2 ) generated from the coordinates (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ) of the feature point position candidates determined in step S101. v 3, v 4, v 5 , v 6) it is. For the sake of explanation, it is assumed that the mean vector A has already been subtracted from the feature point vector here. That is, it is assumed that VA in the expression (3) is processed. Reference numerals 702a to 702c denote a projection matrix E. Here, three eigenvectors are used to calculate a three-dimensional projection vector. The projection matrices 702a, 702b, and 702c are configured by three eigenvectors (e 1i , e 2i , e 3i : i = 1 to 6) in descending order of eigenvectors by principal component analysis. Projection vectors 703a to 703c are calculated by inner products of eigenvectors of projection matrices 702a, 702b, and 702c corresponding to feature point vector 701. That is, the elements p n of the projection vector is calculated by the following equation at Step S103 (7).
次に、ステップS104において、特徴点毎に逆射影する特徴点の次元(逆射影時に使用する射影ベクトルの要素数)を決定する。この処理では、予めRAM209やROM208に格納されているテーブル情報等を参照して決定する。図8は、テーブル情報の例を示す図であり、特徴点1、2、3毎に逆射影次元数(逆射影時に使用する射影ベクトルの要素数)を指定する。図7に示す例の場合は、特徴点の位置候補の座標(x1,y1)、(x3,y3)に対応する特徴点は2次元で逆射影処理し、座標(x2,y2)は3次元で逆射影処理する。
Next, in step S104, the dimension of the feature point to be back-projected for each feature point (the number of elements of the projection vector used during back-projection) is determined. In this process, it is determined by referring to table information stored in the
ステップS105においては、射影ベクトル703a〜703cと射影行列702a〜702cとを用いて補正後の特徴点ベクトル704(v1',v2',v3',v4',v5',v6')を生成する。例えば、特徴点(x1,y1)に対応する補正後の特徴点ベクトルv1'、v2'は、射影ベクトル要素p1、p2を用いて以下の式(8)により算出される。
v1'=(p1×e11)+(p2×e21)
v2'=(p1×e12)+(p2×e22) ・・・(8)
In step S105, corrected feature point vectors 704 (v 1 ′, v 2 ′, v 3 ′, v 4 ′, v 5 ′, v 6) using the projection vectors 703 a to 703 c and the projection matrices 702 a to 702 c. '). For example, corrected feature point vectors v 1 ′ and v 2 ′ corresponding to the feature point (x 1 , y 1 ) are calculated by the following equation (8) using the projection vector elements p 1 and p 2. .
v 1 '= (p 1 × e 11 ) + (p 2 × e 21 )
v 2 '= (p 1 × e 12 ) + (p 2 × e 22 ) (8)
一方、座標(x2,y2)に対応する補正後の特徴点ベクトルv3'、v4'は、以下の式(9)により算出される。
v3'=(p1×e13)+(p2×e23)+(p3×e33)
v4'=(p1×e14)+(p2×e24)+(p3×e34) ・・・(9)
On the other hand, the corrected feature point vectors v 3 ′ and v 4 ′ corresponding to the coordinates (x 2 , y 2 ) are calculated by the following equation (9).
v 3 '= (p 1 × e 13) + (
v 4 ′ = (p 1 × e 14 ) + (p 2 × e 24 ) + (p 3 × e 34 ) (9)
補正後の特徴点ベクトル(v1',v2')は、ステップS104で次元数2が選択され、2つの射影ベクトル要素を用いてステップS105で逆射影処理される。なお、射影ベクトルの要素は、対応する固有値の大きな固有ベクトルによって射影された要素から順に選択する。つまり、対応する固有値の小さな固有ベクトルによって射影された要素を使用しない。一方、補正後の特徴点ベクトル(v3',v4')は、ステップS104で次元数3が選択され、全ての射影ベクトル要素を用いてステップS105で逆射影処理される。
The corrected feature point vector (v 1 ′, v 2 ′) is selected as
ステップS106においては、以上の処理を全ての特徴点に対応して処理したか否かを判定する。この判定の結果、処理していない特徴点がある場合はステップS104へ戻り、全ての特徴点に対応した処理した場合はステップS107に進む。そして、ステップS107において、CPU207は決定手段として機能し、逆射影した復元ベクトルV'に平均ベクトルAを加算し、特徴点に対応する位置の補正後の座標のデータを取り出し、RAM209等に格納する。
In step S106, it is determined whether or not the above processing has been performed for all feature points. As a result of the determination, if there is a feature point that has not been processed, the process returns to step S104, and if processing has been performed for all feature points, the process proceeds to step S107. In step S107, the
以上のように、ステップS102からステップ106の処理により、複数の特徴点の位置候補の座標を連結した特徴点ベクトルを次元削減した固有空間に射影し、その後逆射影することにより、統計的な外れ値を補正することができる。つまり、特徴点の位置候補の座標を決定する時に誤検出によって生じる、射影した空間で表現できない外れ値が統計的に補正される。 As described above, by the processing from step S102 to step 106, the feature point vector obtained by connecting the coordinates of the position candidate positions of the plurality of feature points is projected onto the eigenspace with reduced dimensions, and then back-projected, so that the statistical deviation is obtained. The value can be corrected. That is, an outlier that cannot be expressed in the projected space, which is caused by erroneous detection when determining the coordinates of the position candidate of the feature point, is statistically corrected.
ここで、射影次元数が高い場合は、射影行列で射影された固有空間の自由度が高く、射影次元数が低い場合は、当該射影行列で射影された固有空間の自由度が低い。即ち、射影次元数が高い場合は幾何学的な配置関係の拘束力が弱く、射影次元数が低い場合は拘束力が強まる。本実施形態では、逆射影の際に特徴点毎に逆射影する次元数を変更可能にすることにより、例えば、特徴点の位置候補を決定する処理の性能が低い場合に、特徴点の逆射影を行う時は、使用する射影ベクトルの数を削減して逆射影する。これにより、拘束力を高める等の制御が簡単な処理で実現できる。 Here, when the projection dimension number is high, the degree of freedom of the eigenspace projected by the projection matrix is high, and when the projection dimension number is low, the degree of freedom of the eigenspace projected by the projection matrix is low. That is, when the projection dimension number is high, the constraint force of the geometric arrangement relationship is weak, and when the projection dimension number is low, the constraint force is strong. In this embodiment, the number of dimensions to be back-projected for each feature point can be changed at the time of back-projection, so that, for example, when the performance of the process for determining the position candidate of the feature point is low, the back-projection of the feature point When performing, reverse projection is performed by reducing the number of projection vectors to be used. Thereby, control, such as raising restraint force, is realizable by simple processing.
なお、特徴点毎に必要な逆射影次元数については、予め複数の評価用データを用いて決定しておく。例えば、正解となる特徴点の位置情報を有するデータを用いて、補正後の特徴点ベクトルの正解とのずれ量の統計値等に基づいて決定する。例えば、その分散が大きい特徴点に対する逆射影の次元数を少なくしておく。 Note that the number of reverse projection dimensions required for each feature point is determined in advance using a plurality of evaluation data. For example, it is determined based on a statistical value of a deviation amount from the correct answer of the feature point vector after correction, using data having position information of the correct feature point. For example, the number of dimensions of reverse projection for feature points having a large variance is reduced.
以上のように本実施形態によれば、固有空間を利用して特徴点の位置を補正する処理において、特徴点毎に固有空間からの逆射影に使用する射影ベクトルの要素数を制御するようにした。これにより、乗除算を含む複雑な処理が不要となり、簡単な処理によって特徴点毎に好適な補正を行うことができ、特徴点の位置を検出する性能が向上する。 As described above, according to the present embodiment, in the process of correcting the position of the feature point using the eigenspace, the number of elements of the projection vector used for back projection from the eigenspace is controlled for each feature point. did. This eliminates the need for complicated processing including multiplication and division, makes it possible to perform appropriate correction for each feature point by simple processing, and improve the performance of detecting the position of the feature point.
(第2の実施形態)
図9は、本実施形態における特徴点の位置を決定する処理手順の一例を示すフローチャートである。なお、本実施形態に係る情報処理装置の構成については図2と同様であるため、説明は省略する。また、図9に示す各処理も、図2のCPU207の動作により行われる。
先ず、ステップS901において、特徴点の位置候補を決定する。この処理では、第1の実施形態で説明した図1のステップS101と同様に、複数の特徴点の位置候補をCNN演算とその結果に対する重心探索とにより特徴点の位置候補を求める。
(Second Embodiment)
FIG. 9 is a flowchart illustrating an example of a processing procedure for determining the position of a feature point in the present embodiment. The configuration of the information processing apparatus according to the present embodiment is the same as that shown in FIG. 9 is also performed by the operation of the
First, in step S901, feature point position candidates are determined. In this process, similar to step S101 of FIG. 1 described in the first embodiment, the candidate position of the feature point is obtained by CNN calculation and the centroid search for the result as the candidate position of the plurality of feature points.
次のステップS902においては、ステップS102と同様に複数の特徴点の位置候補座標を連結して特徴点ベクトルを生成する。そして、ステップS903において、特徴点ベクトルを固有空間に射影するための射影行列を選択する。ここで選択される射影行列はステップS103で使用する射影行列と同じであり、ROM208やRAM209に予め格納されている射影用の射影行列を選択する。次に、ステップS904において、選択した射影行列を用いて特徴点ベクトルを固有空間に射影する。ここでの処理もステップS103に記載の処理内容と同一である。
In the next step S902, as in step S102, the feature point vectors are generated by connecting the position candidate coordinates of a plurality of feature points. In step S903, a projection matrix for projecting the feature point vector to the eigenspace is selected. The projection matrix selected here is the same as the projection matrix used in step S103, and a projection matrix for projection stored in advance in the
次に、ステップS905において、固有空間から元の空間への逆射影用の射影行列を選択する。ここで、使用する射影行列について、図10を参照しながら第1の実施形態と同様に3つの特徴点に対応する特徴点ベクトルに対して処理する場合について説明する。 Next, in step S905, a projection matrix for back projection from the eigenspace to the original space is selected. Here, the case where the projection matrix to be used is processed with respect to the feature point vectors corresponding to the three feature points as in the first embodiment will be described with reference to FIG.
図10において、特徴点ベクトル1001、射影行列1002a〜1002c、射影ベクトル1003a〜1003c、及び補正後の特徴点ベクトル1004はそれぞれ、図7に示す例と同様である。一方、図10に示す例では、逆射影行列1005a〜1005cの一部が図7に示す例と異なっている。 In FIG. 10, the feature point vector 1001, the projection matrices 1002a to 1002c, the projection vectors 1003a to 1003c, and the corrected feature point vector 1004 are the same as in the example shown in FIG. On the other hand, in the example shown in FIG. 10, a part of the inverse projection matrices 1005a to 1005c is different from the example shown in FIG.
第1の実施形態では、射影用の射影行列及び逆射影用の射影行列は共通のデータを使用し、逆射影処理時に使用する射影ベクトルの要素数を選択することにより特徴点毎に拘束力を制御している。一方、本実施形態では、前述の式(6)の演算に従って、全ての特徴点に対して3つの射影ベクトルを用いて逆射影処理を実行する。但し、本実施形態では、射影時に使用した射影行列と異なる逆射影行列を使用することにより特徴点毎に拘束力を制御する。 In the first embodiment, the projection matrix for projection and the projection matrix for reverse projection use common data, and by selecting the number of elements of the projection vector used during the reverse projection processing, the constraint force is set for each feature point. I have control. On the other hand, in the present embodiment, reverse projection processing is executed using three projection vectors for all feature points in accordance with the calculation of the above-described equation (6). However, in the present embodiment, the constraint force is controlled for each feature point by using an inverse projection matrix different from the projection matrix used at the time of projection.
図10に示す例では、逆射影行列1005cは、一部が射影行列1002cと異なる。具体的には値e21、e22、e21、e22が全て0である。これにより、補正後の特徴点ベクトルv1'、v2'、v5'、v6'は、2つの射影ベクトルp1、p2を用いて逆射影したことに等価となる。また、補正後の特徴点ベクトルv3'、v4'は、3つの射影ベクトルp1、p2、p3を用いて逆射影したことと等価になる。例えば、補正後の特徴点ベクトルv1'については、以下の式(10)により算出され、前述した式(8)と等価である。
v1'=(p1×e11)+(p2×e21)+(p3×0) ・・・(10)
In the example shown in FIG. 10, the inverse projection matrix 1005c is partially different from the projection matrix 1002c. Specifically, the values e 21 , e 22 , e 21 , e 22 are all 0. As a result, the corrected feature point vectors v 1 ′, v 2 ′, v 5 ′, v 6 ′ are equivalent to the reverse projection using the two projection vectors p 1 , p 2 . Further, the corrected feature point vectors v 3 ′ and v 4 ′ are equivalent to reverse projection using the three projection vectors p 1 , p 2 , and p 3 . For example, the corrected feature point vector v 1 ′ is calculated by the following formula (10) and is equivalent to the above-described formula (8).
v 1 '= (p 1 × e 11 ) + (p 2 × e 21 ) + (p 3 × 0) (10)
このように、逆射影用の射影行列の一部を0にしておくことにより、特徴点毎の処理内容を変えることなく第1の実施形態と等価の結果を得ることができる。 Thus, by setting a part of the projection matrix for reverse projection to 0, it is possible to obtain a result equivalent to that of the first embodiment without changing the processing content for each feature point.
次のステップS906においては、ステップS905で選択した逆射影行列を用いて射影ベクトルから実空間における補正後の特徴点ベクトルを生成する。そして、ステップS907において、補正後の特徴点ベクトルから対応する特徴点の位置を抽出し、その情報をRAM209等に格納する。
In the next step S906, a feature point vector after correction in the real space is generated from the projection vector using the inverse projection matrix selected in step S905. In step S907, the position of the corresponding feature point is extracted from the corrected feature point vector, and the information is stored in the
以上のように本実施形態によれば、逆射影用の射影行列を予め生成しておくことにより、逆射影の処理を行う時に、ステップS104のように、使用する射影ベクトルの要素の数を判定する処理を不要にすることができる。これにより、より簡便な処理で特徴点毎の幾何学的な拘束力を制御することができる。即ち、非特許文献2に記載の従来例等と比べて、逆射影時に当該逆射影用の行列を選択するだけの簡単な変更により特徴点毎に補正力の異なる幾何学的な補正を処理することができる。
As described above, according to the present embodiment, by generating a projection matrix for back projection in advance, when performing back projection processing, the number of elements of the projection vector to be used is determined as in step S104. The processing to be performed can be made unnecessary. Thereby, the geometrical restraint force for every feature point can be controlled by simpler processing. That is, as compared with the conventional example described in
(その他の実施形態)
第1及び第2の実施形態では、特徴点毎に予め定める数(逆射影次元数)の射影ベクトル要素を用いて逆射影する場合について説明したが、実行時に特徴点毎に使用する射影ベクトルの要素数を変更してもよい。例えば、ステップS101またはS901で特徴点の位置候補を決定する処理においてその検出信頼度に相当する値を出力する場合、当該値に基づいて逆射影次元数を設定する。
(Other embodiments)
In the first and second embodiments, the case of performing reverse projection using a predetermined number (projection dimension number) of projection vector elements for each feature point has been described. However, the projection vector used for each feature point at the time of execution is described. The number of elements may be changed. For example, when a value corresponding to the detection reliability is output in the process of determining the candidate position of the feature point in step S101 or S901, the reverse projection dimension number is set based on the value.
また、各実施形態において、CNNにより特徴点の候補を決定する際に、CNNの出力値を利用して信頼度を判定してもよい。例えば、CNNの出力値が高い場合、対象とする特徴点の可能性が高いと判断し、逆射影次元数を大きくする。当該処理では、信頼度と逆射影次元数との関係を示すテーブル情報を予めROM208やRAM209に格納しておき、ステップS104で逆射影次元数を決定することにより容易に実現可能である。
Further, in each embodiment, when determining a feature point candidate by the CNN, the reliability may be determined using the output value of the CNN. For example, when the output value of CNN is high, it is determined that there is a high possibility of the target feature point, and the number of reverse projection dimensions is increased. This processing can be easily realized by preliminarily storing table information indicating the relationship between the reliability and the reverse projection dimension number in the
また、第2の実施形態の構成においては、逆射影のための射影行列を複数用意しておき、ステップS901において出力する信頼度に応じて当該射影行列を選択する。その場合、信頼度と射影行列との関係を示すテーブル情報を予めROM208やRAM209に格納しておく。この場合も、射影行列毎に所定の要素を0に設定しておくことにより特徴点毎に異なる次元(異なる数の射影ベクトルの要素)で逆射影処理することができる。
In the configuration of the second embodiment, a plurality of projection matrices for reverse projection are prepared, and the projection matrix is selected according to the reliability output in step S901. In that case, table information indicating the relationship between the reliability and the projection matrix is stored in the
図11は、逆射影用の射影行列の例を説明する図である。図11(a)〜図11(c)はそれぞれ、特徴点ベクトル(v1,v2)、(v3,v4)、(v5,v6)の逆射影次元数を削減する場合の射影行列である。例えば、特徴点ベクトル(v1,v2)に対応する位置候補の検出の信頼度が低い場合は、逆射影時に図11(a)に示す射影行列を選択する。なお、第1及び第2の実施形態では、CNNにより特徴点の位置候補を決定する場合について説明したが、これに限るわけではなくどの様な手法にも適用できる。 FIG. 11 is a diagram for explaining an example of a projection matrix for reverse projection. 11 (a) to 11 (c) show cases in which the number of inverse projection dimensions of the feature point vectors (v 1 , v 2 ), (v 3 , v 4 ), (v 5 , v 6 ) is reduced, respectively. It is a projection matrix. For example, when the reliability of the detection of the position candidate corresponding to the feature point vector (v 1 , v 2 ) is low, the projection matrix shown in FIG. 11A is selected at the time of reverse projection. In the first and second embodiments, the case where the candidate position of the feature point is determined by the CNN has been described. However, the present invention is not limited to this and can be applied to any method.
また、第1及び第2の実施形態では、画像中の顔画像から特定の器官位置に対応する特徴点の位置を検出する場合について説明したが、本発明はこれに限るわけではない。様々な物体領域の特徴点の検出に適用することが可能である。 In the first and second embodiments, the case where the position of the feature point corresponding to the specific organ position is detected from the face image in the image has been described. However, the present invention is not limited to this. It can be applied to detection of feature points of various object regions.
また、第1及び第2の実施形態では、2次元データ上の特徴点の位置を決定する場合について説明したが、これに限るわけではない。例えば3次元データに基づいた処理の場合、3次元空間上の特徴点の位置決定に適用することも可能である。この場合、3次元の座標値を連結して特徴点ベクトルVを作成する。 Moreover, although the case where the position of the feature point on two-dimensional data was determined was demonstrated in 1st and 2nd embodiment, it does not necessarily restrict to this. For example, in the case of processing based on three-dimensional data, it can be applied to position determination of feature points in a three-dimensional space. In this case, a feature point vector V is created by connecting three-dimensional coordinate values.
また、第1及び第2の実施形態では、補正後の特徴点の位置を算出する方法についてのみ説明した。実際には、補正後の特徴点を最終的な特徴点の位置とするわけではなく、説明しない他の処理と組み合わせて最終的な特徴点の位置を決定するものとする。 In the first and second embodiments, only the method of calculating the corrected feature point positions has been described. Actually, the corrected feature point is not the final feature point position, but the final feature point position is determined in combination with other processing not described.
さらに、第2の実施形態では、射影ベクトルの要素の一部を0に書き換えることにより、逆射影に用いる射影ベクトルを生成する場合について説明したが、0に限るわけではなく、1より小さな値であれば第2の実施形態と類似の効果を得ることができる。 Furthermore, in the second embodiment, a case has been described in which a projection vector used for reverse projection is generated by rewriting some of the elements of the projection vector to 0. However, the present invention is not limited to 0, and a value smaller than 1 is used. If it exists, the effect similar to 2nd Embodiment can be acquired.
また、第1及び第2の実施形態では、主成分分析により算出した射影行列を用いて幾何学的な配置関係に拘束を与える場合につて説明した。主成分分析による手法は簡易な方法で本発明の効果を最も良く引き出すことができるが、他の手法により生成した射影行列を用いてもよい。 In the first and second embodiments, the case where the geometric arrangement relationship is constrained using the projection matrix calculated by the principal component analysis has been described. The method based on principal component analysis can best bring out the effects of the present invention by a simple method, but a projection matrix generated by another method may be used.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
207 CPU
208 ROM
209 RAM
207 CPU
208 ROM
209 RAM
Claims (7)
前記位置候補決定手段によって求められた複数の位置候補の座標を連結して特徴点ベクトルを生成する生成手段と、
前記生成手段によって生成された特徴点ベクトルを所定の次元の空間に射影して射影ベクトルを得る射影手段と、
前記複数の特徴点の位置候補毎に逆射影に使用する射影ベクトルの要素数を決定する要素数決定手段と、
前記複数の特徴点の位置候補のそれぞれを、前記射影手段により得られた射影ベクトルの要素のうち、前記要素数決定手段により当該位置候補に対して決定された要素数の要素で構成される射影ベクトルを用いて逆射影する逆射影手段と、
前記逆射影手段の結果を用いて前記複数の特徴点の位置候補を補正した複数の特徴点の位置を決定する位置決定手段と、
を有することを特徴とする情報処理装置。 Position candidate determination means for obtaining position candidates of a plurality of feature points from the object region;
Generating means for connecting the coordinates of a plurality of position candidates obtained by the position candidate determining means to generate a feature point vector;
Projecting means for projecting the feature point vector generated by the generating means onto a space of a predetermined dimension to obtain a projection vector;
Element number determination means for determining the number of elements of a projection vector used for back projection for each position candidate of the plurality of feature points;
Each of the plurality of feature point position candidates is composed of elements of the number of elements determined for the position candidates by the element number determination means among the elements of the projection vector obtained by the projection means. A reverse projection means for performing reverse projection using a vector ;
Position determining means for determining positions of a plurality of feature points obtained by correcting position candidates of the plurality of feature points using a result of the reverse projection means;
An information processing apparatus comprising:
前記要素数決定手段は、前記判定手段によって判定された信頼度に基づいて、特徴点の位置候補毎に逆射影に用いる射影ベクトルの要素数を決定することを特徴とする請求項1に記載の情報処理装置。 When the position candidate determination means obtains position candidates of the plurality of feature points, the position candidate determination means further includes a determination means for determining reliability for each position candidate ,
Said element number determination means, on the basis of the reliability determined by the determining means, according to claim 1, characterized in that to determine the number of elements of the projection vector for use in the inverse projection for each position candidate of feature points Information processing device.
前記位置候補決定工程において求められた複数の位置候補の座標を連結して特徴点ベクトルを生成する生成工程と、
前記生成工程において生成された特徴点ベクトルを所定の次元の空間に射影して射影ベクトルを得る射影工程と、
前記複数の特徴点の位置候補毎に逆射影に使用する射影ベクトルの要素数を決定する要素数決定工程と、
前記複数の特徴点の位置候補のそれぞれを、前記射影工程において得られた射影ベクトルの要素のうち、前記要素数決定工程により当該位置候補に対して決定された要素数の要素で構成される射影ベクトルを用いて逆射影する逆射影工程と、
前記逆射影工程における結果を用いて前記複数の特徴点の位置候補を補正した複数の特徴点の位置を決定する決定工程と、
を有することを特徴とする情報処理方法。 A position candidate determination step for obtaining position candidates of a plurality of feature points from the object region;
Generating a feature point vector by connecting the coordinates of a plurality of position candidates obtained in the position candidate determination step;
A projection step of projecting the feature point vector generated in the generation step to a space of a predetermined dimension to obtain a projection vector;
An element number determination step for determining the number of elements of a projection vector used for back projection for each of the plurality of feature point position candidates;
Each of the plurality of feature point position candidates is composed of elements having the number of elements determined for the position candidates in the element number determination step among the elements of the projection vector obtained in the projection step. A reverse projection process using a vector for reverse projection;
A determination step for determining positions of a plurality of feature points obtained by correcting the position candidates of the plurality of feature points using a result in the reverse projection step;
An information processing method characterized by comprising:
前記位置候補決定工程において求められた複数の位置候補の座標を連結して特徴点ベクトルを生成する生成工程と、
前記生成工程において生成された特徴点ベクトルを所定の次元の空間に射影して射影ベクトルを得る射影工程と、
前記複数の特徴点の位置候補毎に逆射影に使用する射影ベクトルの要素数を決定する要素数決定工程と、
前記複数の特徴点の位置候補のそれぞれを、前記射影工程において得られた射影ベクトルの要素のうち、前記要素数決定工程により当該位置候補に対して決定された要素数の要素で構成される射影ベクトルを用いて逆射影する逆射影工程と、
前記逆射影工程における結果を用いて前記複数の特徴点の位置候補を補正した複数の特徴点の位置を決定する決定工程と、
をコンピュータに実行させることを特徴とするプログラム。 A position candidate determination step for obtaining position candidates of a plurality of feature points from the object region;
Generating a feature point vector by connecting the coordinates of a plurality of position candidates obtained in the position candidate determination step;
A projection step of projecting the feature point vector generated in the generation step to a space of a predetermined dimension to obtain a projection vector;
An element number determination step for determining the number of elements of a projection vector used for back projection for each of the plurality of feature point position candidates;
Each of the plurality of feature point position candidates is composed of elements having the number of elements determined for the position candidates in the element number determination step among the elements of the projection vector obtained in the projection step. A reverse projection process using a vector for reverse projection;
A determination step for determining positions of a plurality of feature points obtained by correcting the position candidates of the plurality of feature points using a result in the reverse projection step;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288721A JP6147003B2 (en) | 2012-12-28 | 2012-12-28 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288721A JP6147003B2 (en) | 2012-12-28 | 2012-12-28 | Information processing apparatus, information processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014130526A JP2014130526A (en) | 2014-07-10 |
JP2014130526A5 JP2014130526A5 (en) | 2016-02-18 |
JP6147003B2 true JP6147003B2 (en) | 2017-06-14 |
Family
ID=51408849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012288721A Active JP6147003B2 (en) | 2012-12-28 | 2012-12-28 | Information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6147003B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6325405B2 (en) * | 2014-09-22 | 2018-05-16 | 株式会社東芝 | Feature point detection apparatus, method and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5791373B2 (en) * | 2011-05-24 | 2015-10-07 | キヤノン株式会社 | Feature point position determination device, feature point position determination method and program |
-
2012
- 2012-12-28 JP JP2012288721A patent/JP6147003B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014130526A (en) | 2014-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5406705B2 (en) | Data correction apparatus and method | |
US8615135B2 (en) | Feature point positioning apparatus, image recognition apparatus, processing method thereof and computer-readable storage medium | |
US9405960B2 (en) | Face hallucination using convolutional neural networks | |
JP4459137B2 (en) | Image processing apparatus and method | |
JP5772821B2 (en) | Facial feature point position correction apparatus, face feature point position correction method, and face feature point position correction program | |
US7711156B2 (en) | Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same | |
US9619704B2 (en) | Fast articulated motion tracking | |
JP4483334B2 (en) | Image processing device | |
CN110688947B (en) | Method for synchronously realizing human face three-dimensional point cloud feature point positioning and human face segmentation | |
US20110091113A1 (en) | Image processing apparatus and method, and computer-readable storage medium | |
JP6688277B2 (en) | Program, learning processing method, learning model, data structure, learning device, and object recognition device | |
US20220012612A1 (en) | System, method, and program for predicting information | |
EP2333694A1 (en) | Method for Determining Frontal Face Pose | |
CN110674744A (en) | Age identification method and device and electronic equipment | |
JP5791373B2 (en) | Feature point position determination device, feature point position determination method and program | |
CN111626379B (en) | X-ray image detection method for pneumonia | |
JP6645442B2 (en) | Information processing apparatus, information processing method, and program | |
CN110598647A (en) | Head posture recognition method based on image recognition | |
CN111339969B (en) | Human body posture estimation method, device, equipment and storage medium | |
JP6147003B2 (en) | Information processing apparatus, information processing method, and program | |
JP2013015891A (en) | Image processing apparatus, image processing method, and program | |
US20160292529A1 (en) | Image collation system, image collation method, and program | |
Heo et al. | Face recognition across pose using view based active appearance models (VBAAMs) on CMU Multi-PIE dataset | |
JP2018526753A (en) | Object recognition apparatus, object recognition method, and storage medium | |
CN113128292A (en) | Image identification method, storage medium and terminal equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170516 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6147003 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |