JP5656768B2 - 画像特徴量抽出装置およびそのプログラム - Google Patents
画像特徴量抽出装置およびそのプログラム Download PDFInfo
- Publication number
- JP5656768B2 JP5656768B2 JP2011173193A JP2011173193A JP5656768B2 JP 5656768 B2 JP5656768 B2 JP 5656768B2 JP 2011173193 A JP2011173193 A JP 2011173193A JP 2011173193 A JP2011173193 A JP 2011173193A JP 5656768 B2 JP5656768 B2 JP 5656768B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- occurrence
- local
- feature point
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
よって、従来の一般物体認識技術では、局所特徴量間の適合性を考慮していないことにより、一般名称により表現される物体、すなわち、一般的なオブジェクトの概略の特徴を捉えることが困難であった。
本発明は、上記の問題点に鑑みてなされたものであり、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる、画像特徴量抽出装置およびそのプログラムを提供することを目的とする。
ここで、エッジ成分は、フレーム画像データにおける画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。また、特徴点検出部は、例えば、グリッドサンプリング処理によってフレーム画像上の特徴点の位置を求める。特徴点に対する周辺領域は、例えば、特徴点を中心とした当該特徴点の局所領域である。
このように構成したことにより、本発明の一態様である画像特徴量抽出装置は、フレーム画像データから検出した特徴点の周辺領域、つまり局所領域における局所特徴量の共起に基づいて、画像の内容を特徴付ける特徴量を生成して得ることができる。
したがって、本発明の一態様によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
[3]上記[1]または[2]記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成することを特徴とする。
[4]上記[1]または[2]記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成することを特徴とする。
[1 構成]
図1は、本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。同図が示すように、画像特徴量抽出装置1は、画像データ取得部10と、エッジ検出部20と、特徴点検出部30と、局所特徴ベクトル生成部(局所特徴量生成部)40と、共起特徴ベクトル生成部(共起特徴量生成部)50と、特徴ベクトル生成部(特徴量生成部)60とを備える。
外部装置は、例えば、撮影装置や記録装置である。
[2−1.エッジの検出処理]
エッジ検出部20は、画像データ取得部10から供給されるフレーム画像データを取り込むと、例えば、ソーベルフィルタ(Sobel Filter)を適用し、下記の(1)式により、フレーム画像データにおける各画素のエッジ成分を計算する。ただし、同式において、フレーム画像データに対応する座標系は、例えば、フレーム画像の左上端の画素の位置を原点とし、水平方向をx軸、垂直方向をy軸とした直交座標系である(以下同様)。また、m(x,y)は注目画素(x,y)におけるエッジ強度、θ(x,y)は注目画素(x,y)におけるエッジ方向を表す。また、Δxは輝度勾配のx軸方向成分、Δyは輝度勾配のy軸方向成分である。
図2は、特徴点検出部30が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。同図において、Pは、フレーム画像2に対応させた格子のうちの一格子点である。格子点それぞれに対応する画素が特徴点である。なお、同図においては、図を見易くするために、各格子点を丸印で表している。また、格子点間距離(グリッドサイズ)として、x軸方向の格子点間距離をGxとし、y軸方向の格子点間距離をGyとする。GxとGyとは、略同一(同一を含む)の値である。
同図のように、一定の画素間隔で特徴点を得ることにより、特徴点検出部30は、画像の特性によらず一定数の特徴点を得ることができる。
局所特徴ベクトル生成部40は、特徴点検出部30から供給される、各画素のエッジ成分と特徴点位置情報とを取り込むと、エッジ成分に基づいて、特徴点ごとに、当該特徴点に対する局所領域からエッジ方向ヒストグラムを生成する。
具体的には、例えば、局所特徴ベクトル生成部40は、特徴点ごとに、分散σのガウス窓を用いた空間的重み付けを適用してエッジ方向ヒストグラムを計算する。エッジ方向θ(x,y)をn方向に量子化する場合、ガウス窓の分散σに対するエッジ方向ヒストグラムhσは、下記の式(2)として表される。
ただし、G(u,v,σ)は、座標(x+u,y+v)におけるエッジ強度m(x+u,y+v)に対する重み係数である。G(u,v,σ)は、座標(x+u,y+v)が座標(x,y)から離れるほど小さな重み係数となるガウス窓である。また、δi(θ(x,y))は、量子化されたθ(x,y)がi番目のビンに属する場合には“1”、それ以外の場合には“0(ゼロ)”とする関数である。
共起特徴ベクトル生成部50は、局所特徴ベクトル生成部40から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、特徴点ごとに、当該特徴点に対する局所特徴ベクトルgx,yの空間的な共起に基づいて共起特徴ベクトルを計算する。特徴点(x,y)と特徴点(x+u,y+v)との共起特徴量Uを下記の式(4)として表す。
同図に示すように、共起特徴ベクトル生成部50は、特徴点Aに対し、自特徴点(特徴点A)と特徴点Aの周辺に存在する18個の特徴点とのそれぞれについての共起特徴量U’を計算する。次に、共起特徴ベクトル生成部50は、計算の結果得た19個の共起特徴量U’を連結することによって、特徴点Aに対する共起特徴ベクトルを生成する。
共起特徴ベクトル生成部50は、局所特徴ベクトル生成部40から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、同図のフローチャートの処理を開始する。
まず、ステップS1において、共起特徴ベクトル生成部50は、フレーム画像データにおいて、未処理の特徴点があるか否かを判定する。そして、共起特徴ベクトル生成部50は、未処理の特徴点があると判定した場合(S1:YES)は、一の未処理の特徴点を指定してステップS2の処理に移す。一方、共起特徴ベクトル生成部50は、全ての特徴点についての処理が完了していると判定した場合(S1:NO)は、本フローチャートの処理を終了させる。
ステップS4において、共起特徴ベクトル生成部50は、計算の結果得たすべての共起特徴量U’を連結することによって、指定した一の特徴点に対する共起特徴ベクトルを生成し、その後ステップS1の処理に戻す。
図7(a),(b)は、特徴ベクトル生成部60が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。同図(a)は、フレーム画像をx軸方向において3等分し、ブロック7a,7b,7cに分割した例である。また、同図(b)は、フレーム画像をx軸方向およびy軸方向それぞれにおいて2等分し、ブロック7d,7e,7f,7gに分割した例である。
特徴ベクトル生成部60は、共起特徴ベクトル生成部50から供給される共起特徴ベクトルを取り込むと、同図(a)または同図(b)に示すようにフレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算する。次に、特徴ベクトル生成部60は、計算したすべての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトルとして出力する。
したがって、本実施形態によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
これ以外にも、局所特徴ベクトル生成部40は、エッジ方向ヒストグラムの代わりに、ローカルバイナリパターンの頻度ヒストグラムを計算して用いてもよい。
ただし、G(u,v,σ)は、座標(x+u,y+v)におけるエッジ強度m(x+u,y+v)に対する重み係数であり、座標(x+u,y+v)が座標(x,y)から離れるほど小さな重み係数となるガウス窓である。また、LBP(x,y)は、座標値が(x,y)である画素におけるローカルバイナリパターンの値を表す。δi(LBP(x,y))は、ローカルバイナリパターン値がiならば“1”を、それ以外の場合には“0(ゼロ)”とする関数である。
10 画像データ取得部
20 エッジ検出部
30 特徴点検出部
40 局所特徴ベクトル生成部(局所特徴量生成部)
50 共起特徴ベクトル生成部(共起特徴量生成部)
60 特徴ベクトル生成部(特徴量生成部)
Claims (5)
- フレーム画像データからエッジ成分を検出するエッジ検出部と、
前記フレーム画像データから特徴点を検出する特徴点検出部と、
前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、
前記局所特徴量生成部が生成した前記特徴点における局所特徴量をベクトルg(x、y)とし、前記特徴点の周囲に存在する特徴点の局所特徴量をベクトルg(x+u、y+v)としたとき、前記特徴点に対して、空間的な共起に基づく共起特徴量をベクトルg(x、y)・g t (x+u、y+v)として生成する共起特徴量生成部と、
を備えることを特徴とする画像特徴量抽出装置。 - 前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部
をさらに備えたことを特徴とする請求項1記載の画像特徴量抽出装置。 - 前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項1または2記載の画像特徴量抽出装置。 - 前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項1または2記載の画像特徴量抽出装置。 - コンピュータを、
請求項1から請求項4のいずれか一項に記載の画像特徴量抽出装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173193A JP5656768B2 (ja) | 2011-08-08 | 2011-08-08 | 画像特徴量抽出装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173193A JP5656768B2 (ja) | 2011-08-08 | 2011-08-08 | 画像特徴量抽出装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013037539A JP2013037539A (ja) | 2013-02-21 |
JP5656768B2 true JP5656768B2 (ja) | 2015-01-21 |
Family
ID=47887102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011173193A Active JP5656768B2 (ja) | 2011-08-08 | 2011-08-08 | 画像特徴量抽出装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5656768B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9053365B2 (en) | 2013-09-16 | 2015-06-09 | EyeVerify, Inc. | Template update for biometric authentication |
ES2470065B2 (es) * | 2013-12-18 | 2014-10-10 | Universidad De La Rioja | Sistema y procedimiento para determinar automáticamente el número de flores de una inflorescencia |
WO2015140922A1 (ja) | 2014-03-18 | 2015-09-24 | 楽天株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
JP6717739B2 (ja) * | 2016-12-27 | 2020-07-01 | セコム株式会社 | 撮像装置 |
KR102075708B1 (ko) * | 2017-04-04 | 2020-02-11 | 한국전자통신연구원 | 합성영상의 특징점 정보 처리 방법 및 장치 |
JP2019095996A (ja) * | 2017-11-21 | 2019-06-20 | 日本電信電話株式会社 | 特徴量導出装置、導出方法、及びプログラム |
JP7322418B2 (ja) * | 2018-06-04 | 2023-08-08 | 株式会社デンソー | 特徴量抽出装置、特徴量抽出方法、および物体認識装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10008A (en) * | 1853-09-13 | India-rtjbbee | ||
US11005A (en) * | 1854-06-06 | Berth-knee former | ||
US10004A (en) * | 1853-09-06 | Improvement in iron car-brakes | ||
JP5338643B2 (ja) * | 2009-12-07 | 2013-11-13 | 株式会社豊田中央研究所 | 画像特徴抽出装置、画像処理装置、及びプログラム |
-
2011
- 2011-08-08 JP JP2011173193A patent/JP5656768B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013037539A (ja) | 2013-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230117712A1 (en) | Feature density object classification, systems and methods | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP6255486B2 (ja) | 情報認識のための方法及びシステム | |
US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
JP4613617B2 (ja) | 画像処理システム、学習装置および方法、並びにプログラム | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
US9754192B2 (en) | Object detection utilizing geometric information fused with image data | |
KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
US8467596B2 (en) | Method and apparatus for object pose estimation | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
US8811751B1 (en) | Method and system for correcting projective distortions with elimination steps on multiple levels | |
JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JPWO2012077287A1 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
KR20150126768A (ko) | 이미지 합성 방법 및 그 전자 장치 | |
US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP2011253354A (ja) | 画像処理装置および方法、並びにプログラム | |
Balaji et al. | Cardiac view classification using speed up robust features | |
JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
JP5865687B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP6717049B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
KR101741761B1 (ko) | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 | |
Ye et al. | Reading labels of cylinder objects for blind persons |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5656768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |