JP4682365B2 - 3次元データからの特徴抽出方法および装置 - Google Patents
3次元データからの特徴抽出方法および装置 Download PDFInfo
- Publication number
- JP4682365B2 JP4682365B2 JP2007287045A JP2007287045A JP4682365B2 JP 4682365 B2 JP4682365 B2 JP 4682365B2 JP 2007287045 A JP2007287045 A JP 2007287045A JP 2007287045 A JP2007287045 A JP 2007287045A JP 4682365 B2 JP4682365 B2 JP 4682365B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- feature
- value
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000000605 extraction Methods 0.000 claims description 21
- 230000002596 correlated effect Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 239000007787 solid Substances 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims 2
- 239000013598 vector Substances 0.000 description 34
- 238000002474 experimental method Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000009471 action Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 13
- 230000006399 behavior Effects 0.000 description 8
- 238000000491 multivariate analysis Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005021 gait Effects 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
2値化の方法としては、一定閾値、判別最小二乗自動閾値法(大津方式:画像内のピクセル値のヒストグラムを作成し、2群が統計的にもっとも分離される閾値を自動的に選定する)、閾値0及びノイズ処理方式(濃淡画像において差が0以外を全て動き有り=1としてまず2値化を行い、その2値画像のノイズを除去するために2値画像に対して収縮処理を行う方法)を採用可能である。図4は、2値化差分処理結果の画像を示す説明図である。図4左は入力された濃淡画像であり、右がフレーム間差分を取り、2値化した画像である。以上の前処理により入力動画データは画素値に「動いた(1)」「動かない(0)」の論理値をもつフレームの列となる。
ただし、0次は3次元データの総和、x0(0)=∫f(r)drである。
この結果、中心点を含むマスクパターンの種類は、選択画素数が1個のもの:1個、2個のもの:26個、3個のもの:26×25/2=325個の計352個あるが、式1の積分操作(平行移動:スキャン)で重複するパターンを除くと、マスクパターンの種類は251種類となる。即ち、1つの3次元データに対する立体高次局所自己相関特徴ベクトルは251次元となる。
なお、画素の値が多値の濃淡画像の場合には、例えば画素値をaとすると、相関値はa(0次)≠a×a(1次)≠a×a×a(2次)となり、選択画素が同じでも乗数の異なるものを重複削除できない。従って、多値の場合には、2値の場合より選択画素数が1の場合に2個、選択画素数が2の場合に26個増加し、マスクパターンの種類は計279種類となる。
判別分析においては、ベクトルyが空間としてKクラスを最適に分離するように係数Aは次の固有値問題の解(固有値ベクトル)として求まる。
本発明においては、注目画素を中心とする3×3×3(=27)画素の立方体の内部の画素について相関を取る。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。
図9は、行動認識実験における新特徴空間での実験データの分布を示すグラフである。この実験では、クラス数が4であるので、判別分析によって得られる新特徴空間は3次元となり、グラフの各軸がそれぞれの次元(判別軸)を表している。さらに、発明者らは画面内に複数人の行動が映っている場合の認識実験を行なった。従来は個々の人物の検出とトラッキングを行なった上で別々に認識する方法しかなかったが、立体高次局所自己相関特徴の加法性を利用することでこれを同時に認識することが可能である。一般の複数人対象の場合は、加法性より次のように定式化される。
A 係数行列
y 新特徴データ
Claims (9)
- 注目点と相関を取る点の位置を示す相関パターンの内、3次元方向に平行移動することにより一致する相関パターンを1つを残して他を削除した相関パターンを用い、前記相関パターン毎に3次元データの注目点の値と相関を取るべき1つあるいは複数の点の値との積を取り、前記相関パターン毎に前記積を前記3次元データについて積分する立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段を備え、
前記3次元データは動画像データである
ことを特徴とする3次元データからの特徴抽出装置。 - 前記立体高次局所自己相関においては、相関を取る範囲を注目点を中心とする3×3×3点の範囲とすることを特徴とする請求項1に記載の3次元データからの特徴抽出装置。
- 前記立体高次局所自己相関においては、注目点のみの0次相関パターン、注目点と相関を取る1点からなる1次相関パターン、注目点と相関を取る2点からなる2次相関パターンによって相関を取ることを特徴とする請求項1に記載の3次元データからの特徴抽出装置。
- 更に、前記動画像データから隣接するフレーム間で輝度値の差分を取ったフレーム間差分データを生成するフレーム間差分データ生成手段を備えたことを特徴とする請求項1に記載の3次元データからの特徴抽出装置。
- 前記フレーム間差分データの差分値の絶対値が所定の閾値以上であるか否かによって値が決定される2値化手段を備えたことを特徴とする請求項4に記載の3次元データからの特徴抽出装置。
- 前記特徴データ抽出手段は、
新たな動画像のフレームデータを入力する入力手段と、
前記フレームデータを動画像データに追加したことによって新たに生成される特徴データを生成する特徴データ生成手段と、
前記新たに生成された特徴データをフレームデータと対応して保存すると共に現在の特徴データに加算する加算手段と、
所定の時間窓と対応する時間が経過したフレームデータと対応する特徴データを読み出して現在の特徴データから減算する減算手段と
を含むことを特徴とする請求項1に記載の3次元データからの特徴抽出装置。 - コンピュータを
動画像データである3次元データを入力し、注目点と相関を取る点の位置を示す相関パターンの内、3次元方向に平行移動することにより一致する相関パターンを1つを残して他を削除した相関パターンを用い、前記相関パターン毎に前記3次元データの注目点の値と相関を取るべき1つあるいは複数の点の値との積を取り、前記相関パターン毎に前記積を前記3次元データについて積分する立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段
として機能させることを特徴とする3次元データからの特徴抽出プログラム。 - 動画像データである3次元データを入力し、注目点と相関を取る点の位置を示す相関パターンの内、3次元方向に平行移動することにより一致する相関パターンを1つを残して他を削除した相関パターンを用い、前記相関パターン毎に前記3次元データの注目点の値と相関を取るべき1つあるいは複数の点の値との積を取るステップ、
前記相関パターン毎に前記積を前記3次元データについて積分することにより立体高次局所自己相関特徴データを抽出するステップ、
を含むことを特徴とする3次元データからの特徴抽出方法。 - 前記3次元データは、所定の時間窓によって切り出した動画像データであり、前記立体高次局所自己相関においては、相関を取る範囲を注目画素を中心とする3×3×3画素の範囲とし、注目画素のみの0次相関パターン、注目画素と相関を取る1画素からなる1次相関パターン、注目画素と相関を取る2画素からなる2次相関パターンによって相関を取ることを特徴とする請求項8に記載の3次元データからの特徴抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287045A JP4682365B2 (ja) | 2007-11-05 | 2007-11-05 | 3次元データからの特徴抽出方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287045A JP4682365B2 (ja) | 2007-11-05 | 2007-11-05 | 3次元データからの特徴抽出方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003321962A Division JP4061377B2 (ja) | 2003-09-12 | 2003-09-12 | 3次元データからの特徴抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008097624A JP2008097624A (ja) | 2008-04-24 |
JP4682365B2 true JP4682365B2 (ja) | 2011-05-11 |
Family
ID=39380333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287045A Expired - Lifetime JP4682365B2 (ja) | 2007-11-05 | 2007-11-05 | 3次元データからの特徴抽出方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4682365B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6046559B2 (ja) * | 2013-05-27 | 2016-12-14 | アイホン株式会社 | 特定動作検出装置 |
WO2020066637A1 (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067468A (ja) * | 1999-08-25 | 2001-03-16 | Fuji Photo Film Co Ltd | データ処理方法および装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0461377A (ja) * | 1990-06-29 | 1992-02-27 | Sony Corp | 半導体メモリ |
JP3262150B2 (ja) * | 1994-06-29 | 2002-03-04 | 横河電機株式会社 | 半田接合部の検査装置 |
JP3952592B2 (ja) * | 1998-04-30 | 2007-08-01 | キヤノン株式会社 | 画像検索装置及び方法 |
-
2007
- 2007-11-05 JP JP2007287045A patent/JP4682365B2/ja not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067468A (ja) * | 1999-08-25 | 2001-03-16 | Fuji Photo Film Co Ltd | データ処理方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008097624A (ja) | 2008-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4061377B2 (ja) | 3次元データからの特徴抽出装置 | |
JP4368767B2 (ja) | 異常動作検出装置および異常動作検出方法 | |
US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
JP4215781B2 (ja) | 異常動作検出装置および異常動作検出方法 | |
Cozzolino et al. | Splicebuster: A new blind image splicing detector | |
Wang et al. | iVAT and aVAT: enhanced visual analysis for cluster tendency assessment | |
US7957557B2 (en) | Tracking apparatus and tracking method | |
US8649608B2 (en) | Feature value extracting device, object identification device, and feature value extracting method | |
JP2008046903A (ja) | 対象個数検出装置および対象個数検出方法 | |
Cord et al. | Texture classification by statistical learning from morphological image processing: application to metallic surfaces | |
JP4970381B2 (ja) | 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム | |
Oliveira et al. | Automatic crack detection on road imagery using anisotropic diffusion and region linkage | |
CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
JP5186656B2 (ja) | 動作評価装置および動作評価方法 | |
Manap et al. | PATCH-IQ: a patch based learning framework for blind image quality assessment | |
JP4721829B2 (ja) | 画像検索方法及び装置 | |
JP4682365B2 (ja) | 3次元データからの特徴抽出方法および装置 | |
Orjuela et al. | Evaluation of the wear label description in carpets by using local binary pattern techniques | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Musa et al. | Crowd reckoning towards preventing the repeat of ‘2015 Hajj pilgrims stampede’ | |
KR101473991B1 (ko) | 얼굴 검출 방법 및 그 장치 | |
Bhatnagar et al. | Real time human visual system based framework for image fusion | |
Chang et al. | Single-shot person re-identification based on improved random-walk pedestrian segmentation | |
JP2009205695A (ja) | 対象個数検出装置および対象個数検出方法 | |
Harding et al. | A comparison of feature detectors with passive and task-based visual saliency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4682365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |