JP5664478B2 - Object recognition support apparatus, program, and method - Google Patents
Object recognition support apparatus, program, and method Download PDFInfo
- Publication number
- JP5664478B2 JP5664478B2 JP2011145151A JP2011145151A JP5664478B2 JP 5664478 B2 JP5664478 B2 JP 5664478B2 JP 2011145151 A JP2011145151 A JP 2011145151A JP 2011145151 A JP2011145151 A JP 2011145151A JP 5664478 B2 JP5664478 B2 JP 5664478B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- object recognition
- variance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 239000006185 dispersion Substances 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 description 39
- 230000036541 health Effects 0.000 description 23
- 235000012054 meals Nutrition 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000010354 integration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 235000019577 caloric intake Nutrition 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 235000006694 eating habits Nutrition 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- VYQRBKCKQCRYEE-UHFFFAOYSA-N ctk1a7239 Chemical compound C12=CC=CC=C2N2CC=CC3=NC=CC1=C32 VYQRBKCKQCRYEE-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は,物体認識を支援する技術であって,物体認識させる画像を取得する際に,処理に妥当な枚数の画像を取得できるようにする技術に関する。 The present invention relates to a technology that supports object recognition, and relates to a technology that makes it possible to acquire an appropriate number of images for processing when acquiring an image for object recognition.
近年,画像に含まれている物体の名称を推定する物体認識技術は,様々な産業で利用が期待されている。 In recent years, object recognition technology for estimating the name of an object included in an image is expected to be used in various industries.
利用分野の一例としては,健康指導サービス分野が挙げられる。健康指導サービスとは,偏った食生活によって引き起こされる生活習慣病を予防するため,健康指導に関する情報をユーザに提供するサービスである。現在,健康指導サービスでは,ユーザが撮影および送信した食事の画像をもとに,管理栄養士などの専門家がユーザの食事内容を確認してコメントを記述することによって,ユーザに健康指導に関する情報を提供している。 An example of a field of use is the health guidance service field. The health guidance service is a service that provides users with information on health guidance in order to prevent lifestyle-related diseases caused by uneven eating habits. Currently, in health guidance services, experts such as registered dietitians check the contents of meals and write comments based on meal images taken and transmitted by users, so that users can receive information on health guidance. providing.
しかし,画像を見て食事内容を確認するという専門家の作業を介しているために,サービス提供費用が高くなり,利用できるユーザが限られてしまっているという問題がある。 However, there is a problem that the cost of providing the service is high and the number of users who can use the service is limited because the work of an expert who checks the contents of the meal by viewing the image is performed.
より多くのユーザが健康指導サービスを利用できるように費用を低く抑えるためには,サービスの自動化が不可欠である。 Service automation is indispensable in order to keep costs low so that more users can use health guidance services.
そのため,物体認識を利用する他のサービス提供分野でも同様であるが,上記の健康指導サービスでは,物体認識技術を利用して,食事の画像から食事名称を自動的に認識し,食事名称をもと食生活の自動分析を行うことで,人(専門家)の作業負担の低減およびサービス提供の効率化が期待されている。 Therefore, the same applies to other service provision fields that use object recognition. However, the above health guidance service uses object recognition technology to automatically recognize meal names from meal images, and to provide meal names. In addition, automatic analysis of eating habits is expected to reduce the work burden on humans (experts) and improve the efficiency of service provision.
物体認識処理は,画像の特徴情報を抽出する特徴抽出段階と,抽出した特徴情報をもとに画像に含まれる物体の名称を推定する物体認識段階とを有する。物体認識装置に1枚の静止画像を入力すると,画像中に含まれる物体の名称が出力される。 The object recognition process includes a feature extraction stage for extracting feature information of an image and an object recognition stage for estimating the name of an object included in the image based on the extracted feature information. When one still image is input to the object recognition device, the name of the object included in the image is output.
図12は,ある物体(ラーメン)をある方向から撮影した画像例を示す図,および,図13は,図12の物体(ラーメン)を別の方向から撮影した画像例を示す図である。 12 is a diagram showing an example of an image obtained by photographing a certain object (ramen) from a certain direction, and FIG. 13 is a diagram showing an example of an image obtained by photographing the object (ramen) of FIG. 12 from another direction.
図12に示す画像が物体認識装置に入力されると,物体認識装置は,画像から抽出された特徴をもとに画像の物体を「ラーメン」と認識し,その物体名称を出力する。 When the image shown in FIG. 12 is input to the object recognition apparatus, the object recognition apparatus recognizes the object of the image as “ramen” based on the features extracted from the image, and outputs the object name.
しかし,物体認識装置は,図13の画像が入力されると,画像の物体を別のもの「チャーハン」と誤推定してしまい,正しい物体「ラーメン」と認識することができない場合がある。 However, when the image of FIG. 13 is input, the object recognition apparatus may erroneously estimate the object of the image as another “fried rice” and may not be able to recognize the correct object “ramen”.
このように,1枚の画像だけから得られる情報に依存して物体認識を行う場合には,入力画像の撮影条件によっては適切に物体認識を行うために必要な特徴が抽出されず,誤った物体として推定してしまうという問題がある。この問題を解決するために,同一物体に対して撮影向きなどの条件を変化させながら複数回の撮影を行い,それらの画像群による推定結果を統合的に用いる方法がある。 In this way, when object recognition is performed depending on information obtained from only one image, the features necessary for proper object recognition are not extracted depending on the shooting conditions of the input image. There is a problem that it is estimated as an object. In order to solve this problem, there is a method in which the same object is shot a plurality of times while changing conditions such as the shooting direction and the estimation results of these image groups are used in an integrated manner.
複数の画像群を使用する物体認識装置は,特徴抽出段階,物体認識段階に,さらに認識統合段階を有する。かかる物体認識装置は,同一物体に対して撮影向きなどの条件を変えながら撮影した複数の画像が入力されると,特徴抽出段階では,各画像について特徴を抽出し,物体認識段階では,各画像についてその特徴をもとに物体名称の推定を行う。そして,物体認識装置は,認識統合段階において,各画像に対する認識結果(物体名称)を統合的に判断し,1つの物体名称を決定する。認識統合段階では,例えば,物体認識段階で出力された物体名称から,多数決などによって正解である可能性が高い物体名称が1つ決定される。 An object recognition apparatus using a plurality of image groups further includes a recognition integration stage in a feature extraction stage and an object recognition stage. Such an object recognition device extracts features for each image in the feature extraction stage when a plurality of images taken while changing conditions such as the shooting direction are input to the same object, and each image in the object recognition stage. The object name is estimated based on the characteristics of. Then, in the recognition integration stage, the object recognition device integrally determines the recognition result (object name) for each image and determines one object name. In the recognition integration stage, for example, one object name that is highly likely to be correct is determined from the object names output in the object recognition stage by a majority vote or the like.
したがって,複数画像を用いる物体認識装置は,様々な撮影条件の画像を統合的に用いて物体認識を行うため,誤認識しやすい画像が含まれていても物体名称を正しく認識することができる。 Therefore, the object recognition apparatus using a plurality of images performs object recognition by using images under various shooting conditions in an integrated manner, and thus can correctly recognize an object name even if an image that is easily misrecognized is included.
ところで,物体認識処理において,処理量を増大させないために,特徴抽出段階で,抽出する特徴点を絞り込むことが知られている。 By the way, in the object recognition processing, it is known that the feature points to be extracted are narrowed down at the feature extraction stage in order not to increase the processing amount.
前述する従来方法における複数の入力画像を用いた物体認識装置は,入力した複数画像により,物体の撮影向きなどの撮影条件に対してロバストに物体認識を行うことができる。ところが,物体認識にどのくらいの枚数の画像を使用すれば認識において必要十分であるかは明確にされていない。そのため,物体認識処理では,入力された画像をすべて使用して処理を行っている。 The object recognition apparatus using a plurality of input images in the above-described conventional method can perform object recognition robustly with respect to shooting conditions such as the shooting direction of an object by using the plurality of input images. However, it has not been clarified how many images are used for object recognition to be necessary and sufficient for recognition. Therefore, in object recognition processing, processing is performed using all input images.
さらに,物体認識に用いられる入力画像がユーザによって撮影された画像である場合には,撮影を終えるタイミングの判断がユーザに任せられている。そのため,実際の利用状況においては,ユーザが対象を撮影した画像を物体認識装置に入力し,認識結果が間違っていれば,さらに撮影を行って,撮影した画像(入力画像)を追加するという作業を繰り返すことが行われている。 Furthermore, when the input image used for object recognition is an image taken by the user, it is left to the user to determine the timing for finishing the shooting. Therefore, in the actual usage situation, the user inputs an image obtained by photographing the target to the object recognition device, and if the recognition result is incorrect, the user performs further photographing and adds the photographed image (input image). Is being repeated.
物体認識に使用する画像は,不足していれば誤認識を生じる可能性があるが,過剰であれば,処理における計算負担が増大し非効率となる。そのため,必要十分な画像が物体認識に使用されることが望ましい。 If the image used for object recognition is insufficient, there is a possibility of erroneous recognition, but if it is excessive, the calculation burden in processing increases and becomes inefficient. Therefore, it is desirable that necessary and sufficient images are used for object recognition.
しかし,画像を撮影または入力操作するユーザは,どの程度の量の画像を撮影または入力すれば物体認識に十分であるかを認識することができず,どこで操作を終了すればよいかを知ることができないというストレスを感じる。さらに,ユーザは無駄な入力操作を続けることになるという問題がある。 However, a user who captures or inputs an image cannot recognize how much image is captured or input and is sufficient for object recognition, and knows where to end the operation. I feel the stress of not being able to. Furthermore, there is a problem that the user will continue to perform useless input operations.
また,物体認識装置にとっても,過剰な画像量による物体認識処理は,計算負荷が増え,無駄かつ非効率となるという問題がある。 In addition, the object recognition processing with an excessive amount of images also has a problem that the calculation load increases and is wasteful and inefficient for the object recognition apparatus.
以上のように,従来方法では,物体認識装置に対して,どのくらいの枚数の画像を取得すれば妥当であるのかが不明であるという課題があった。 As described above, in the conventional method, there is a problem that it is unclear how many images should be acquired for the object recognition apparatus.
本発明の目的は,前記の課題に鑑みてなされたものであり,物体認識を行うために妥当な数の画像が取得できたかどうかを自動的に判定し,画像数が充足したら取得完了を通知することにより物体認識処理を支援する装置を提供することである。 An object of the present invention is made in view of the above problems, and automatically determines whether or not a reasonable number of images have been acquired for performing object recognition, and notifies the completion of acquisition when the number of images is sufficient. An object of the present invention is to provide an apparatus that supports object recognition processing.
また,本発明の別の目的は,前記物体認識支援装置で実現される処理をコンピュータに実行させるためのプログラムを提供することである。さらに,本発明の別の目的は,前記物体認識支援装置で実現される処理過程をコンピュータが実行する処理方法を提供することである。 Another object of the present invention is to provide a program for causing a computer to execute processing realized by the object recognition support apparatus. Furthermore, another object of the present invention is to provide a processing method in which a computer executes a processing process realized by the object recognition support apparatus.
本発明の一態様として開示する物体認識支援装置は,物体認識処理を支援するために,1)画像入力手段によって取得された画像の特徴を抽出する第1特徴抽出部と,2)前記抽出された特徴を記録する第1特徴記録部と,3)前記第1特徴記録部に記録された特徴群の分散を算出する分散算出部と,4)前記算出された分散を記録する分散記録部と,5)前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し,該分散が収束している場合に,画像の取得完了を通知する収束判定部とを備える。 An object recognition support apparatus disclosed as one aspect of the present invention includes: 1) a first feature extraction unit that extracts features of an image acquired by an image input unit; and 2) the extracted information to support object recognition processing. A first feature recording unit that records the calculated feature, 3) a variance calculation unit that calculates the variance of the feature group recorded in the first feature recording unit, and 4) a dispersion recording unit that records the calculated variance. 5) determining whether the dispersion has converged based on the dispersion transition recorded in the dispersion recording section, and, if the dispersion has converged, a convergence determining section for notifying completion of image acquisition; Prepare.
開示される物体認識支援装置によれば,物体認識に妥当な画像量を取得している場合に取得完了を通知することにより,ユーザが不必要な画像入力の操作をすることを防ぐことができ,かつ,物体認識装置が無駄な画像に対する処理を行うことを防ぐことができる。 According to the disclosed object recognition support apparatus, it is possible to prevent the user from performing unnecessary image input operations by notifying completion of acquisition when an image amount appropriate for object recognition is acquired. In addition, it is possible to prevent the object recognition apparatus from processing a useless image.
以下,本発明の一態様として開示する物体認識支援装置について説明する。 Hereinafter, an object recognition support apparatus disclosed as one aspect of the present invention will be described.
開示する物体認識支援装置の一実施例として,物体認識支援装置および物体認識装置を有するサービス提供システムの1つである健康指導サービスシステムを実施する例を説明する。 As an embodiment of the disclosed object recognition support apparatus, an example in which a health guidance service system that is one of service providing systems having an object recognition support apparatus and an object recognition apparatus will be described.
図1は,一実施形態における健康指導サービスシステムの構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of a health guidance service system according to an embodiment.
健康指導サービスシステムは,物体認識支援装置1,画像使用判定装置2,物体認識装置3,サービス提供装置4,および,ユーザ装置5を備える。本実施形態では,物体認識支援装置1および画像使用判定装置2は,ユーザ装置5内に設けられる。
The health guidance service system includes an object
物体認識支援装置1は,物体認識に妥当な量(数)の画像が取得できた場合に,取得完了を通知する。物体認識支援装置1は,取得した画像群の特徴を抽出し,取得した画像の特徴群の変動の推移から変動が収束しているかを判定し,変動が収束している場合に妥当な数の画像を取得できたと判断して,画像の取得完了を示す取得完了を通知する。
The object
画像使用判定装置2は,ユーザ装置5の画像入力部51で取得された画像を物体認識に使用するかを判定する。画像使用判定装置2は,画像を取得すると,取得した画像から特徴を抽出し,抽出した特徴が,過去に取得した画像の特徴と一定以上の程度で相違する場合に,今回取得した画像を使用画像として採用する。
The image
物体認識装置3は,複数の画像から抽出された特徴をもとに,画像に含まれる物体を認識し,該当する物体名称を推定する。 The object recognition device 3 recognizes an object included in the image based on the features extracted from the plurality of images, and estimates the corresponding object name.
サービス提供装置4は,推定された物体名称をもとに所定のサービス情報をユーザに提供するサーバ装置である。サービス提供装置4は,画像認識で推定された物体名称を利用した健康指導に関する情報をユーザに対して提供する。
The
サービス提供装置4は,カロリーデータベース41,カロリー計算部42を備える。
The
カロリーデータベース41は,食事の名称とカロリーとを対応付けて記憶する。
The
カロリー計算部42は,カロリーデータベース41を参照して,物体名称に対応するカロリーを取得し,取得したカロリーをユーザ装置5の情報出力部52へ送信する。
The
ユーザ装置5は,ユーザが使用するクライアント装置である。ユーザ装置5は,画像入力部51および情報出力部52を備える。
The user device 5 is a client device used by the user. The user device 5 includes an
画像入力部51は,認識させたい対象が撮影された動画像や静止画像を取得する。本実施形態において,画像入力部51は,動画像または静止画像を撮影するカメラで実施される。以下の説明では,画像入力部51が取得する画像データを,入力画像という。
The
情報出力部52は,サービス提供装置4から送信される情報(カロリー)を取得し,ディスプレイなどに出力する。
The
図2は,一実施形態における物体認識支援装置1の構成例を示す図である。
FIG. 2 is a diagram illustrating a configuration example of the object
物体認識支援装置1は,物体認識にとって妥当な数の画像データを収集したかどうかを判断する。かかる判断機能のため,物体認識支援装置1は,第1特徴抽出部11,第1特徴記録部12,分散算出部13,分散記録部14,および収束判定部15を備える。
The object
第1特徴抽出部11は,物体認識に使用される画像として採用された画像(以下,使用画像という)から特徴として特徴ベクトルを抽出する。
The first
第1特徴記録部12は,第1特徴抽出部11が抽出した特徴ベクトルを記録する。
The first
分散算出部13は,第1特徴抽出部11が抽出した,取得した使用画像の特徴ベクトルと,第1特徴記録部12に記録されている今回以前の処理で抽出された使用画像群の特徴ベクトル群との全ての特徴ベクトルから各次元についての分散を計算する。
The
分散記録部14は,分散算出部13が計算した分散を処理順に記録する。
The
収束判定部15は,分散記録部14に記録されている過去に計算した分散と,今回計算した分散をもとに分散の推移を求め,分散が収束している場合に取得完了を通知する。取得完了は,画像入力部51,画像使用判定装置2,物体認識装置3などに対して通知される。
The
図3は,一実施形態における画像使用判定装置2の構成例を示す図である。
FIG. 3 is a diagram illustrating a configuration example of the image
入力画像が撮影される際の撮影タイミングに間隔がある場合などは,撮影された全ての画像(入力画像)を物体認識に使用してもよい場合がある。しかし,動画像が撮影される場合には,撮影された全ての画像(フレーム)を物体認識に使用すると,画像が冗長であり,物体認識の計算負荷が大きくなる。そのため,入力画像に対して間引きを行う必要がある。一方で,入力画像の間引きは,物体認識に入力する情報を減少させてしまうために,認識率が低下してしまう可能性がある。したがって,入力画像から得られる特徴のバリエーションを維持できるようにする必要がある。 If there is an interval in the shooting timing when the input image is shot, all shot images (input images) may be used for object recognition. However, when a moving image is shot, if all the shot images (frames) are used for object recognition, the image is redundant and the calculation load for object recognition increases. Therefore, it is necessary to thin out the input image. On the other hand, the thinning out of the input image reduces the information input to the object recognition, which may reduce the recognition rate. Therefore, it is necessary to be able to maintain variations of features obtained from the input image.
画像使用判定装置2は,入力画像から得られる特徴のバリエーションを維持しつつ,似たような特徴を持つ冗長な入力画像だけを省いて使用画像を判定する。かかる判定機能のため,画像使用判定装置2は,第2特徴抽出部21,特徴書き込み部22,第2特徴記録部23,距離計算部24,使用判定部25を備える。
The image
第2特徴抽出部21は,入力画像から特徴を抽出する。
The second
特徴書き込み部22は,使用判定部25によって使用画像に採用された入力画像の特徴を第2特徴記録部23へ記録する。
The
第2特徴記録部23は,使用画像から抽出された特徴を保持する。
The second
距離計算部24は,第2特徴抽出部21が抽出した入力画像の特徴と,第2特徴記録部23に記録されている使用画像の特徴との相違を計算する。
The
使用判定部25は,入力画像の特徴と,第2特徴記録部23に記録されている使用画像の特徴とが予め設定された閾値以上に相違している場合に,入力画像を使用画像として選択する。
The
本実施形態においては,画像使用判定装置2は,画像の特徴として特徴ベクトルを算出し,特徴の相違として,特徴ベクトルの距離を用いる。
In the present embodiment, the image
また,画像使用判定装置2は,画像入力部51で動画像が取得される場合には,予め設定された間隔で抽出したフレーム単位で画像使用を判定し,静止画像が取得される場合には,静止画像データ単位で画像使用を判定する。
In addition, when the moving image is acquired by the
図4は,一実施形態における物体認識装置3の構成例を示す図である。 FIG. 4 is a diagram illustrating a configuration example of the object recognition device 3 according to an embodiment.
物体認識装置3は,特徴抽出部31,物体認識部32,認識統合部33を備える。
The object recognition device 3 includes a
特徴抽出部31は,複数の使用画像1,2,…,nの各々から特徴を抽出する。物体認識部32は,各物体の画像の特徴と物体名称とを対応づけて記憶する物体認識記憶部(図示しない)を参照して,使用画像ごとに,抽出された特徴をもとに物体名称の候補を推定する。認識統合部33は,物体認識部32の推定結果を統合して,画像に含まれる物体に対する物体名称を決定する。
The
なお,本実施形態においては,物体認識装置3は,複数の画像を使用する既知の物体認識処理を実行するものであり,詳細な動作についての説明を省略する。 In the present embodiment, the object recognition device 3 executes a known object recognition process using a plurality of images, and a detailed description of the operation is omitted.
まず,画像使用判定装置2をより詳細に説明する。
First, the image
図5は,画像使用判定装置2の処理フロー例を示す図である。
FIG. 5 is a diagram illustrating an example of a processing flow of the image
画像使用判定装置2の第2特徴記録部23には,特徴書き込み部22によって,過去の判定処理において使用画像に採用された入力画像の特徴ベクトルv′が記録されている。
In the second
画像入力部51が物体認識の対象が撮影された画像を入力すると,画像使用判定装置2の第2特徴抽出部21は,画像入力部51から入力画像を取得する(ステップS11)。
When the
そして,第2特徴抽出部21は,入力画像の特徴を抽出する。具体的には,第2特徴抽出部21は,入力画像をN次元の特徴ベクトルvに変換する(ステップS12)。
Then, the second
距離計算部24は,第2特徴記録部23から使用画像の特徴ベクトルv′を取り出す。距離計算部24は,入力画像の特徴ベクトルvと使用画像の特徴ベクトルv′との距離dを計算する(ステップS13)。
The
使用判定部25は,計算された距離dを閾値θと比較する。距離dが閾値θより大きければ,すなわち「距離d>閾値θ」が成立すれば(ステップS14のY),使用判定部25は,その入力画像を使用画像として選択,出力する(ステップS15)。さらに,特徴書き込み部22は,使用画像に選択された入力画像の特徴ベクトルvを特徴ベクトルv′として第2特徴記録部23に格納して,終了する(ステップS16)。
The
一方,距離dが閾値θより小さければ,すなわち「距離d>閾値θ」が成立しなければ(ステップS14のN),使用判定部25は,その入力画像を廃棄し,処理がステップS11へ戻される。
On the other hand, if the distance d is smaller than the threshold value θ, that is, if “distance d> threshold value θ” is not satisfied (N in step S14), the
前記ステップS13の処理において,距離計算部24は,特徴ベクトルv,v′の距離dを,例えば,以下の式(1)のように算出する。
In the process of step S13, the
ただし,式(1)において,Nは特徴ベクトルの次元数である。viは特徴ベクトルvにおけるi次元目の値を表す。同様に,v′iは特徴ベクトルv′におけるi次元目の値を表す。 In Equation (1), N is the number of dimensions of the feature vector. v i represents the value of the i-th dimension in the feature vector v. Similarly, v ′ i represents the i-th value in the feature vector v ′.
または,距離計算部24は,以下の式(2)により,特徴ベクトルの次元毎に距離dnを算出してもよい。
Alternatively, the
式(2)において,dnは,特徴ベクトルのn次元目に関する距離を表す。 In Expression (2), dn represents the distance related to the nth dimension of the feature vector.
距離計算部24が,式(2)を用いて距離dnを計算する場合には,使用判定部25は,前記ステップS14の処理で,各次元nにおいて「距離dn>閾値θ」の条件判定を行い,1つでも条件が成立すれば,入力画像を使用画像として選択,出力する。
When the
第2特徴抽出部21が抽出する画像の特徴は,物体認識支援装置1および物体認識装置3と同様のものにすることが望ましい。物体認識においては,一般的に,SIFT特徴量やSURF特徴量などの局所特徴量にもとづくbag−of−words表現がよく用いられる。本実施形態において,物体認識支援装置1,画像使用判定措置2および物体認識装置3は,SIFT特徴量を使用するものとする。
The image features extracted by the second
したがって,閾値θの適切な値は,使用する特徴量によって異なるが,例えばSIFTによる各次元の総和が1になるように正規化された1000次元のbag−of−words表現を特徴量として用いる場合には,前記の式(1)の閾値θは,およそ10−4〜10−3程度に設定され,前記式(2)の閾値θは,およそ10−2〜10−1程度に設定される。 Therefore, an appropriate value of the threshold θ varies depending on the feature amount to be used. For example, when a 1000-dimensional bag-of-words expression normalized so that the sum of each dimension by SIFT becomes 1 is used as the feature amount. The threshold value θ in the above formula (1) is set to about 10 −4 to 10 −3 , and the threshold value θ in the above formula (2) is set to about 10 −2 to 10 −1. .
図6は,画像使用判定装置2によって採用された使用画像の例を示す図である。
FIG. 6 is a diagram illustrating an example of a use image adopted by the image
図6は,動画像である入力画像から使用画像に採用された複数の画像フレーム(1枚目,2枚目,3枚目,…)を表している。 FIG. 6 shows a plurality of image frames (first image, second image, third image,...) Adopted from the input image, which is a moving image, to the use image.
動画像データの先頭フレーム(1枚目)は,比較する使用画像の特徴が保持されていないため,必ず使用画像に採用される。しかし,動画像から数フレームごとに画像を撮りだしても冗長な場合がある。画像使用判定装置2によれば,動画像の1枚目のフレーム以降の画像については,取り出したフレームの画像の特徴が使用画像に採用された画像の特徴と比較され,閾値以上に相違する特徴を持つフレームのみが判定条件を満たすとして,使用画像に選択される。したがって,入力画像が冗長であっても,特徴が異なる画像が使用画像として選択され,特徴のバリエーションを維持しつつ冗長な画像を間引くことができる。
The first frame (first frame) of the moving image data is always used as the used image because the feature of the used image to be compared is not retained. However, even if an image is taken every few frames from a moving image, it may be redundant. According to the image
次に,物体認識支援装置1をより詳細に説明する。
Next, the object
物体認識支援装置1は,物体認識のために妥当な枚数の画像が取得できたかどうかを判定するため,過去に取得された入力画像の特徴ベクトル群についての分散を算出する。
The object
なお,本実施形態においては,画像使用判定装置2によって,入力画像から物体認識に用いる使用画像が選択されるため,物体認識支援装置1は,使用画像の特徴ベクトル群について分散を算出する。画像使用判定装置2を設けない構成をとる実施形態の場合には,画像入力部51が取得した入力画像の特徴ベクトル群について分散を算出する。
In the present embodiment, the image
図7は,画像の特徴ベクトル群についての分散の例を示す図である。 FIG. 7 is a diagram showing an example of dispersion for a feature vector group of an image.
図7に示すグラフは,使用画像の特徴ベクトル群についての分散の例であり,物体認識支援装置1が取得した使用画像の枚数tに対する分散Sの推移を表現したものである。
The graph shown in FIG. 7 is an example of the variance for the feature vector group of the used image, and expresses the transition of the variance S with respect to the number t of used images acquired by the object
撮影方向などの条件を変化させながら撮影された使用画像(入力画像)を取得していくと,取得した画像の特徴から算出される分散の変動は,始めは大きいが,様々な撮影条件の画像が蓄積されていくにつれて,徐々に変動幅が小さくなる。 When using images (input images) that were taken while changing conditions such as the shooting direction are acquired, the variance of the variance calculated from the characteristics of the acquired images is initially large, but images with various shooting conditions As the value accumulates, the fluctuation range gradually decreases.
したがって,分散の変動が大きければ,今後さらに新しい条件で撮影された画像が取得される可能性が大きく,分散の変動が収束していれば,新しい条件で撮影された画像が入力される可能性が少ないと判断することができる。すなわち,分散の変動が収束していれば,物体認識に必要な異なる特徴を有する画像群がすでに取得されており,妥当な画像数の取得が完了したと判断することができる。 Therefore, if the variance variation is large, it is likely that images captured under new conditions will be acquired in the future. If the variance variation converges, images captured under the new conditions may be input. It can be judged that there are few. That is, if the variance variation has converged, it can be determined that an image group having different features necessary for object recognition has already been acquired, and acquisition of an appropriate number of images has been completed.
図8は,物体認識支援装置1の処理フロー例を示す図である。
FIG. 8 is a diagram illustrating a processing flow example of the object
物体認識支援装置1の第1特徴抽出部11は,画像使用判定装置2から使用画像を取得する(ステップS21)。
The first
第1特徴抽出部11は,取得した使用画像の特徴ベクトルを抽出し,第1特徴記録部12に記録する(ステップS22)。
The first
分散算出部13は,第1特徴記録部12に保持されている過去に抽出された特徴ベクトルをもとに,全ての特徴ベクトルから各次元についての分散をそれぞれ算出し,算出した分散を分散記録部14へ記録する(ステップS23)。
The
収束判定部15は,分散記録部14に保持されている分散をもとに,過去に算出された分散の推移にもとづき,分散が収束したかどうかの判定を行う(ステップS24)。分散の推移から,分散の変動が収束していると判定した場合に(ステップS24の「収束」),収束判定部15は,物体認識を行う上で妥当な枚数の画像が収集できたことを示す「取得完了」を通知して,終了する(ステップS25)。分散が未収束していないと判定した場合に(ステップS24の「未収束」),収束判定部15は,物体認識を行う上で妥当な枚数の画像がまだ収集できていないことを示す「取得未完了」を通知して,終了する(ステップS26)。なお,収束判定部15は,ステップS26の処理を行わずに終了してもよい。
The
図9は,前記のステップS23の処理で実行される,特徴ベクトル群の分散の算出例を示す図である。 FIG. 9 is a diagram illustrating a calculation example of the variance of the feature vector group, which is executed in the process of step S23.
分散算出部13は,それまでに取得され第1特徴記録部12に保持されているt枚の使用画像(画像1,…,画像t)から抽出された特徴ベクトル群(X1,…,Xt)から,n番目の次元について要素をそれぞれ抽出し,要素ベクトルNtnを生成する。使用画像から抽出する際に,特徴ベクトルの各要素の取り得る範囲が0〜1に収まるように正規化しておいてもよい。
The
そして,分散算出部13は,以下の式(3)でt枚の画像の特徴ベクトル群におけるn番目の次元についての分散Sntを算出する。
Then, the
ただし,式(3)において,「Ntnの上にバー」で表す変数は,要素ベクトルNtnの平均であり,以下の式(4)で算出する。 However, in Expression (3), the variable represented by “Bar over N tn ” is the average of the element vectors N tn and is calculated by the following Expression (4).
物体認識支援装置1の第1特徴抽出部11が使用画像を取得して,その特徴ベクトルが第1特徴記録部12に格納されるたび,分散算出部13は,以上の処理によって,分散Sntを各次元についてそれぞれ算出する。
Every time the first
ステップS24の処理において,収束判定部15は,分散算出部13によって算出された分散の推移にもとづき,以下のいずれかの条件を用いて,収束と判定する。
In the process of step S24, the
条件1:分散の変動が十分に小さくなったこと
条件2:分散の変動が減少し続けていること
前記の条件1による収束の検出は,例えば,以下の式(5)に示す条件がL回連続で成立したかを確認することにより行われる。
Condition 1: Variance variation has become sufficiently small Condition 2: Variance variation has continued to decrease. For example, the condition shown in the following equation (5) can be detected by L times This is done by confirming whether it has been established continuously.
Snt−Sn(t−1)≦ε 式(5)
ただし,式(5)において,εは閾値である。特徴ベクトルにおいて各要素の取り得る範囲が0〜1に正規化されているならば,閾値εは,0.001〜0.1程度に設定することが好ましい。
S nt −S n (t−1) ≦ ε Equation (5)
However, in Formula (5), ε is a threshold value. If the possible range of each element in the feature vector is normalized to 0 to 1, the threshold ε is preferably set to about 0.001 to 0.1.
前記の条件2による収束の検出は,例えば,以下の式(6)に示す条件がL回連続で成立したかを確認することにより行われる。
The detection of convergence under the
条件1および条件2のいずれの場合も,Lは,収束の判定を確定するまでの期間を表す。Lが小さいと収束判定が早く行えるが誤判定のリスクが増える。Lが大きいと収束判定に時間がかかるが誤判定のリスクは減る。分散推移の傾向として,分散が大きく変化しているときは,収束するまでに時間がかかる場合が多い。そのため時間をかけて判定したほうがよい。反対に,分散が小さく変化しているときは,収束が早い場合が多い。そのため時間をかけずに判定してもよい。
In both cases of
したがって,Lは,以下の式(7)に示すように,分散の変化に比例した値を設定する。これにより,収束判定部15は,効率的な収束判定を行う。
Therefore, L is set to a value proportional to the variance change as shown in the following equation (7). Thereby, the
前記の式(7)において,Kは判定速度調整パラメータである。Kは,通常,100〜1000程度の値を設定することが好ましい。 In the above equation (7), K is a determination speed adjustment parameter. In general, K is preferably set to a value of about 100 to 1000.
なお,条件成立が連続したときの初回時のみ,Lが算出される。 Note that L is calculated only at the first time when the conditions are continuously satisfied.
収束判定部15は,以上の処理を要素ベクトルN1〜Nnについて行う。そして,収束判定部15は,各要素の分散について過半数以上が収束したと判定したときに,妥当な枚数の使用画像が収集できたものと判断する。
The
前記ステップS45の処理において,収束判定部15は,妥当な枚数の使用画像が収集できたとの判定をもとに,画像使用判定装置2に対し取得完了を通知すると,画像使用判定装置2は,画像使用判定処理を終了し,使用画像の記録が終了する。
In the process of step S45, the
また,収束判定部15は,ユーザに取得完了を通知する。例えば,収束判定部15は,情報出力部52でアラームを鳴らし,ユーザに撮影フェーズが完了したことを通知する。アラームにより,ユーザは画像の撮影終了のタイミングを知ることができる。
The
さらに,収束判定部15は,物体認識装置3に対し取得完了を通知してもよい。物体認識装置3は,取得完了通知を得た段階で画像使用判定装置2から取得している使用画像により推定されている物体名称をサービス提供装置4へ出力する。
Furthermore, the
次に,本実施形態における健康指導サービスシステムの処理の流れを説明する。 Next, the processing flow of the health guidance service system in this embodiment will be described.
図1に示す健康指導サービスシステムでは,健康指導サービスとして,ユーザが携帯端末などのカメラにより撮影した食事画像から,物体認識装置および物体認識支援装置を用いて食事名称を自動認識し,認識した食事の摂取カロリーを含む健康指導情報を出力するサービスを想定する。 In the health guidance service system shown in FIG. 1, as a health guidance service, a meal name is automatically recognized from a meal image taken by a user using a camera such as a mobile terminal by using an object recognition device and an object recognition support device. Assume a service that outputs health guidance information including calorie intake.
ユーザ装置5は,ユーザの携帯端末であり,画像入力部51はカメラにより,情報出力部52は,携帯端末のディスプレイに情報を表示する処理部により,それぞれ実施される。また,入力画像は,ユーザによって撮影された食事の画像であり,入力画像に含まれる物体は,ユーザによって撮影された食事を表し,その物体名称は,食事名称を表している。
The user device 5 is a user's portable terminal, the
図10は,健康指導サービスシステムの処理の流れを示す図である。 FIG. 10 is a diagram showing the flow of processing of the health guidance service system.
ユーザ装置5の画像入力部51は,認識対象が撮影された入力画像を取得する(ステップS31)。画像使用判定装置2は,入力画像に対して使用画像として採用するかの判定(画像使用判定)を行う(ステップS32)。画像使用判定装置2は,入力画像を使用画像に採用すると判定した場合には(ステップS33のY),処理をステップS34へ進ませる。入力画像を使用画像に採用しないと判定した場合には(ステップS33のN),処理をステップS31へ戻す。
The
物体認識支援装置1は,画像使用判定装置2から取得した使用画像について妥当な画像数を収集しているかの判定(画像数充足判定)を行う(ステップS34)。物体認識支援装置1は,取得する使用画像群の特徴の変動の推移から,変動が収束していて使用画像群が既に妥当な枚数に達していると判定した場合に(ステップS35のY),処理をステップS36へ進ませる。変動が収束しておらず使用画像群が既に妥当な枚数に達していないと判定した場合に(ステップS35のN),物体認識支援装置1は,処理をステップS31へ戻す。
The object
物体認識装置3は,物体認識支援装置1から取得完了の通知を受けるまで,画像使用判定装置2から使用画像を取得して物体認識を行い,使用画像の物体(食事)に対応する物体名称(食事名)を出力する(ステップS36)。
The object recognition device 3 acquires a use image from the image
サービス提供装置4のカロリー計算部42は,カロリーデータベース41と照合することにより,推定された物体名称(食事名)の「ラーメン」に対応するカロリーを取得する。そして,カロリー計算部42は,取得した摂取カロリーを含む情報をユーザ装置5の情報出力部52へ送信し,ユーザ装置5上に表示させる(ステップS37)。
The
図11は,物体認識による物体名称の推定例を示す図である。 FIG. 11 is a diagram illustrating an example of estimating an object name by object recognition.
ステップS36の処理において,物体認識装置3の特徴抽出部31は,図11に示すように,同一の物体(食事)が異なる方向から撮影されている使用画像群(使用画像1〜4)を順次取得し,物体認識部32は,取得した使用画像に対する物体認識により推定した物体名称候補を保持する。物体認識の終了後,認識統合部33は,保持されている物体名称候補から多数決によって物体名称を決定する。図11の場合には,物体名称候補「カツ丼」,「ラーメン」が保持され,多数決によって物体名称として「ラーメン」が決定される。
In the process of step S36, the
以上の処理により,健康指導サービスシステムは,ユーザに対する健康指導サービスを実現することができる。 Through the above processing, the health guidance service system can realize a health guidance service for the user.
次に,健康指導サービスシステムの各装置の他の構成例について説明する。 Next, another configuration example of each device of the health guidance service system will be described.
図1に示す構成例では,物体認識支援装置1および画像使用判定装置2は,ユーザ装置5内に設けられるものとして説明している。しかし,物体認識支援装置1および画像使用判定装置2は,物体認識装置3の前処理機能として実施されればよく,ユーザ装置5の画像入力部51と,物体認識装置3との間に構成されていてもよい。例えば,物体認識支援装置1および画像使用判定装置2は,ユーザ装置5の外部の装置として構成されてもよく,または,物体認識装置3と一体の装置に構成されたりしてもよい。
In the configuration example illustrated in FIG. 1, the object
また,画像使用判定装置2は,物体認識支援装置1の一処理部として構成されるようにしてもよい。
Further, the image
健康指導サービスシステムの各装置は,CPUおよびメモリ等を有するハードウェアとソフトウェアプログラムとを備えるコンピュータ・システム,または専用ハードウェアによって実現される。すなわち,物体認識支援装置1,画像使用判定装置2,物体認識装置3,サービス提供装置4,ユーザ装置5は,それぞれ,演算装置(CPU),一時記憶装置(DRAM,フラッシュメモリ等)および永続性記憶装置(HDD,フラッシュメモリ等)を有し,外部とデータの入出力をするコンピュータによって実施することができる。
Each device of the health guidance service system is realized by a computer system including hardware having a CPU and a memory and a software program, or dedicated hardware. That is, the object
また,物体認識支援装置1,画像使用判定装置2,それぞれ,コンピュータが実行可能なプログラムによっても実施することができる。例えば図1に示す構成の場合に,物体認識支援装置1および画像使用判定装置2それぞれが有すべき機能の処理内容を記述したプログラムが,ユーザ装置5に提供される。提供されたプログラムをコンピュータであるユーザ装置5が実行することによって,上記説明した物体認識支援装置1および画像使用判定装置2それぞれの処理機能がコンピュータ上で実現される。
Further, the object
さらに,物体認識支援装置1および画像使用判定装置2は,それぞれコンピュータとして実施される場合に,可搬型記録媒体から直接プログラムを読み取り,そのプログラムに従った処理を実行することもできる。また,前記プログラムは,コンピュータで読み取り可能な記録媒体に記録しておくことができる。
Furthermore, when the object
以上説明したように,本発明の一態様として開示する物体認識支援装置1および画像使用判定装置2によれば,次のような効果がある。
As described above, according to the object
・ 物体認識支援装置1によれば,物体認識のための画像を過剰に取得(撮影または入力)するという無駄を防ぐことができる。
The object
・ 物体認識支援装置1によれば,物体認識に使用される画像を妥当な量に抑えて,計算負担の増加を防ぐことができる。
-According to the object
・ 物体認識支援装置1によれば,認識対象の画像を撮影または入力するユーザに対し操作終了のタイミングを通知して,操作終了のタイミングに対するユーザの心理的ストレスを解消することができる。
According to the object
・ 画像使用判定装置2によれば,物体認識に用いる画像の特徴のバリエーションを維持しつつ,冗長な画像を間引くことができる。
The image
以上のとおり,本発明の実施形態において,発明者によってなされた発明を健康指導サービス分野に適用した場合について説明した。しかし,本発明は,かかる分野の適用に限定されるものではなく,物体認識に対する支援技術を必要とする様々な分野への適用が可能であり,また,その記述の主旨の範囲において種々の変形が可能であることは当然である。 As described above, in the embodiment of the present invention, the case where the invention made by the inventor is applied to the health guidance service field has been described. However, the present invention is not limited to application in such a field, but can be applied to various fields that require assistive technology for object recognition, and various modifications are possible within the scope of the description. Of course it is possible.
1 物体認識支援装置
11 第1特徴抽出部
12 第1特徴記録部
13 分散算出部
14 分散記録部
15 収束判定部
2 画像使用判定装置
21 第2特徴抽出部
22 特徴書き込み部
23 第2特徴記録部
24 距離計算部
25 使用判定部
3 物体認識装置
4 サービス提供装置
5 ユーザ装置
DESCRIPTION OF
Claims (4)
画像入力手段によって取得された画像の特徴を抽出する第1特徴抽出部と,
前記抽出された特徴を記録する第1特徴記録部と,
前記第1特徴記録部に記録された特徴群の分散を算出する分散算出部と,
前記算出された分散を記録する分散記録部と,
前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し,該分散が収束している場合に,画像の取得完了を通知する収束判定部とを備える
ことを特徴とする物体認識支援装置。 An object recognition support device for supporting object recognition processing,
A first feature extraction unit for extracting features of the image acquired by the image input means;
A first feature recording unit for recording the extracted features;
A variance calculating unit that calculates the variance of the feature group recorded in the first feature recording unit;
A dispersion recording unit for recording the calculated dispersion;
A convergence determining unit that determines whether the variance has converged based on a variance transition recorded in the variance recording unit, and notifies the completion of image acquisition when the variance has converged. Characteristic object recognition support device.
画像入力手段によって取得された画像の特徴を抽出する第2特徴抽出部と,
前記取得された画像の特徴と前記第2特徴記録部に記録されている画像の特徴との相違を算出する距離計算部と,
前記算出された特徴の相違が一定以上である場合に,前記取得された画像を前記第1特徴抽出部が取得する使用画像として選択し,前記使用画像の特徴を前記第2特徴記録部に格納する使用判定部とを備える
ことを特徴とする請求項1に記載の物体認識支援装置。 A second feature recording unit for recording features of a used image used for object recognition;
A second feature extraction unit for extracting features of the image acquired by the image input means;
A distance calculation unit for calculating a difference between the acquired image feature and the image feature recorded in the second feature recording unit;
When the calculated feature difference is greater than or equal to a certain value, the acquired image is selected as a use image acquired by the first feature extraction unit, and the feature of the use image is stored in the second feature recording unit The object recognition support apparatus according to claim 1, further comprising:
画像入力手段によって取得された画像の特徴を抽出する処理と,
前記抽出された特徴を第1特徴記録部に記録する処理と,
前記第1特徴記録部に記録された特徴群の分散を算出する処理と,
前記算出された分散を分散記録部に記録する処理と,
前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し,該分散が収束している場合に,画像の取得完了を通知する処理とを実行させるための
物体認識支援プログラム。 To support the object recognition process,
Processing for extracting features of the image acquired by the image input means;
A process of recording the extracted features in a first feature recording unit;
Processing for calculating the variance of the feature group recorded in the first feature recording unit;
A process of recording the calculated variance in a variance recording unit;
An object for determining whether or not the dispersion has converged based on the transition of the dispersion recorded in the dispersion recording unit, and executing processing for notifying completion of image acquisition when the dispersion has converged Recognition support program.
画像入力手段によって取得された画像の特徴を抽出し,
前記抽出された特徴を第1特徴記録部に記録し,
前記第1特徴記録部に記録された特徴群の分散を算出し,
前記算出された分散を分散記録部に記録し,
前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し,
前記分散が収束している場合に,画像の取得完了を通知する
ことを特徴とする物体認識支援方法。
To support the object recognition process, the computer
Extract image features acquired by image input means,
Recording the extracted features in a first feature recording unit;
Calculating a variance of the feature group recorded in the first feature recording unit;
Record the calculated variance in a variance recording unit;
Determining whether the variance has converged based on the transition of the variance recorded in the variance recording unit;
An object recognition support method comprising notifying completion of image acquisition when the variance has converged.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011145151A JP5664478B2 (en) | 2011-06-30 | 2011-06-30 | Object recognition support apparatus, program, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011145151A JP5664478B2 (en) | 2011-06-30 | 2011-06-30 | Object recognition support apparatus, program, and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013012105A JP2013012105A (en) | 2013-01-17 |
JP5664478B2 true JP5664478B2 (en) | 2015-02-04 |
Family
ID=47685924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011145151A Expired - Fee Related JP5664478B2 (en) | 2011-06-30 | 2011-06-30 | Object recognition support apparatus, program, and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5664478B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6432182B2 (en) * | 2014-07-02 | 2018-12-05 | 富士通株式会社 | Service providing apparatus, method, and program |
JP6365024B2 (en) * | 2014-07-02 | 2018-08-01 | 富士通株式会社 | Service providing apparatus, method, and program |
EP3560564A4 (en) * | 2017-01-24 | 2021-01-27 | Angel Playing Cards Co., Ltd. | Chip recognition system |
WO2022085128A1 (en) * | 2020-10-21 | 2022-04-28 | 日本電信電話株式会社 | Name presentation device, name presentation method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3226641B2 (en) * | 1992-02-04 | 2001-11-05 | 富士写真フイルム株式会社 | Pattern learning method |
JPH0883319A (en) * | 1994-09-14 | 1996-03-26 | Hitachi Ltd | Pattern recognizing device |
JP2004213567A (en) * | 2003-01-08 | 2004-07-29 | Ntt Docomo Inc | Image learning device and its learning method |
JP4497236B2 (en) * | 2008-08-11 | 2010-07-07 | オムロン株式会社 | Detection information registration device, electronic device, detection information registration device control method, electronic device control method, detection information registration device control program, electronic device control program |
-
2011
- 2011-06-30 JP JP2011145151A patent/JP5664478B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013012105A (en) | 2013-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543815B (en) | Training method of face recognition model, face recognition method, device, equipment and storage medium | |
JP4636190B2 (en) | Face collation device, electronic device, face collation device control method, and face collation device control program | |
US8126206B2 (en) | Image processing apparatus, image processing method, and program | |
US7916903B2 (en) | Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
US9275309B2 (en) | System and method for rapid face recognition | |
JP2017033547A (en) | Information processing apparatus, control method therefor, and program | |
JP5664478B2 (en) | Object recognition support apparatus, program, and method | |
JP2019087012A (en) | Information processing apparatus, information processing method, computer program, and storage medium | |
JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
CN108229289B (en) | Target retrieval method and device and electronic equipment | |
JP2019219853A (en) | Image processing device | |
CN108985190A (en) | Target identification method and device, electronic equipment, storage medium, program product | |
JP2019192082A (en) | Server for learning, image collection assisting system for insufficient learning, and image estimation program for insufficient learning | |
JP2019096222A (en) | Image processor, method for processing image, and computer program | |
JP2017054493A (en) | Information processor and control method and program thereof | |
CN114627345A (en) | Face attribute detection method and device, storage medium and terminal | |
KR101743169B1 (en) | System and Method for Searching Missing Family Using Facial Information and Storage Medium of Executing The Program | |
CN117727033A (en) | Target labeling method, computer equipment and storage medium | |
KR101138873B1 (en) | Method and apparatus for reducing the number of photo in photo album | |
JP6784519B2 (en) | Information processing equipment, its control method, and programs | |
JP5533418B2 (en) | Information processing apparatus and information processing method | |
JP6555940B2 (en) | Subject tracking device, imaging device, and method for controlling subject tracking device | |
JP2023065024A (en) | Retrieval processing device, retrieval processing method and program | |
WO2019157944A1 (en) | Item information processing method, system and device, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5664478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |