JP6381368B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6381368B2 JP6381368B2 JP2014171891A JP2014171891A JP6381368B2 JP 6381368 B2 JP6381368 B2 JP 6381368B2 JP 2014171891 A JP2014171891 A JP 2014171891A JP 2014171891 A JP2014171891 A JP 2014171891A JP 6381368 B2 JP6381368 B2 JP 6381368B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- feature amount
- pixels
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
本技術では、背景の確率値テーブルを背景の時系列画像に基づいて生成し、背景との類似度のしきい値を表す背景のしきい値テーブルを背景の時系列画像に基づいて生成する。
本発明は前述の問題点に鑑み、ノイズおよび遮蔽の影響などにより当該画素位置で算出された特徴量に誤差が含まれる場合でも、認識性能に対する特徴量誤差の影響を軽減できるようにすることを目的とする。
以下、図面を参照して本発明の第1の実施形態を説明する。
本実施形態は、過去の入力パターンに対して所定の特徴量を抽出し、抽出した特徴に基づいて入力パターン中に存在する投票対象となる認識対象物に対する投票処理を実行する。そして、投票処理結果に基づいて、入力パターンから認識対象物を認識するパターン認識装置の例を説明する。
図2にパターン認識処理の手順を説明するフローチャートを示す。
図2に示すように、本実施形態におけるパターン認識装置は、特徴量抽出工程4と、投票処理工程5とを有する。
まず、特徴量抽出工程4では、距離画像撮影装置1から入力された距離画像に対して、特徴量抽出処理を実行する。ここで距離画像とは、図3に示すように各画素に対して、距離画像撮影装置1から被写体3までの距離情報が保持されているものを指している。
なお、本実施形態では、特徴量抽出工程4に入力される距離画像は、人物領域に対してのみ距離情報が保持されており、それ以外の背景に相当する画素は距離情報を保持していないものとし、例えば画素の値として0が設定されているものとする。
本実施形態におけるパターン認識装置は、k組の参照画素ペアの列をクエリとして定義し、入力された距離画像の各画素ごとに、前述したクエリを適用して得られる特徴量データに基づいて、対象物の認識を行うものである(kは自然数)。
a1 > a2 ・・・式(1)
図4において、参照画素b1,b2を基準画素Nと一点鎖線で結びつけて示している。ここで仮に、参照画素b1と参照画素b2の大小関係が式(2)で示されるとすると、ビット符号列で表わされる特徴量の2ビット目に割り当てられるビット符号は0となる。
b1 < b2 ・・・式(2)
なお、前述したように本実施形態では、人物領域に属する画素のみが距離情報を有するものとし、特徴量を抽出する処理は、人物領域に属する画素に対してのみ実行する。結果として、人物領域に属する画素それぞれに対して、6ビットの特徴量が算出される。
なお、算出した特徴量を各画素に対応付けたデータを、特徴量画像と呼ぶ。
続いて、前述したように算出した特徴量画像が、図2の投票処理工程5に入力される。
投票処理工程5では、事前に作成した辞書を参照して投票処理を実行するのであるが、ここでまず、辞書が保持している情報に関して図6を用いて説明を行う。
図7に示すように、距離画像準備工程10において、まず人体を含む距離画像を複数枚用意する。本実施形態では100枚の距離画像を用意するものとする。なお、それぞれの距離画像においては、認識対象となる人体の関節の中心位置が所定の座標系上で既知であるものとする。
なお、本実施形態では、認識対象となる人体の関節は、“首、左肩、右肩、左肘、右肘、左手首、右手首、腰、左膝、右膝、左足首、右足首”の12種類とする。
以上で、辞書の事前作成方法に関する説明を終える。
投票処理工程5では、特徴量抽出工程4において算出した特徴量画像を元にして、人物領域上の画素位置ごとに辞書を参照して、対応する関節への投票処理を行うのであるが、その際に、基準画素と空間的に近接する画素における特徴量との一致度を参照する。
まず、投票処理工程5では、近接範囲設定工程6において、各画素毎に空間的に近接する画素位置の範囲を、認識対象の特性に基づいて設定する。
ここで、本実施形態では、認識対象の特性として、各画素に対して算出された特徴量に対応する、前述した辞書に保持された関節ごとの平均相対位置ベクトルの長さを参照する。
0 < Ln ≦ θna ・・・式(3)
θna < Ln ≦ θnb ・・・式(4)
θnb < Ln ・・・式(5)
なお、前述した平均相対位置ベクトルの長さに基づく画素位置範囲の設定方法は一例に過ぎず、その他のものであっても構わない。
また、前述したように閾値で画素位置範囲を設定するのではなく、平均相対位置ベクトルの長さを変数とする関数を事前に設定し、画素位置範囲を算出するものであってもよい。
θna < Ln ≦ θnb⇒基準画素位置を中心とする半径R2の球内に属する画素 (7)
θnb < Ln ⇒基準画素位置を中心とする半径R3の球内に属する画素 (8)
また、比較処理結果が式(7)となった場合は、空間的に近接する画素位置の範囲を基準画素位置を中心とする半径R2の球内に属する画素の範囲に設定する。
また、比較処理結果が式(8)となった場合は、空間的に近接する画素位置の範囲を基準画素位置を中心とする半径R3の球内に属する画素の範囲に設定する。
なおここで、R1、R2、R3の大小関係は、以下の式(18)で表わされるものとする。
R1 > R2 > R3・・・式(18)
特徴量一致度算出工程7では、前述したように各画素位置ごとに決定した関節ごとの近接画素位置範囲情報を元にして、特徴量一致度を算出する。例えば、図9に示す画素位置Aにおける首関節に関する特徴量一致度を算出する場合に関して説明する。
Mn=1/(ΣH/24+1) ・・・式(9)
Mn=1/((2+1+1+2+1+1+0+0+0+2+2+0+1+1+1+1+1+0+1+2+1+1+1+1)/24+1)
=0.5・・・式(10)
Mn=1/(ΣC/24+1)・・・(11)
重み算出工程8においては、前述した特徴量一致度を元にして、以降で説明する重み付け投票処理工程9で使用する重み付け量を算出する。
例えば、本実施形態では、画素位置ごとの各関節に対する重み付け量Wnとして、特徴量一致度算出工程7で算出した特徴量一致度Mnを設定する。すなわち、重み付け量の算出式は以下の式(12)のように示される。
Wn=Mn・・・(12)
例えば、画素位置Aにおける特徴量が011010であり、特徴量に対応する関節ごとの頻度値と平均相対位置ベクトルが以下に示すように辞書から参照されたとする。
左肘:頻度値h1、平均相対位置ベクトル(x1, y1, z1)
右肘:頻度値h2、平均相対位置ベクトル(x2, y2, z2)
左膝:頻度値h3、平均相対位置ベクトル(x3, y3, z3)
右膝:頻度値h4、平均相対位置ベクトル(x4, y4, z4)
前述したように、特徴量に相当する符号ビット列は、距離画像中の参照点ペアの大小関係により算出されたものであるため、周辺画素の距離値の分布に差が少ない画素同士では、算出される符号ビット列も類似した値となる。従って、距離画像中のある関節周辺の画素において算出される特徴量は緩やかに変化することが予想できる。
これによって、より適切な画素範囲で特徴量の一致度を算出することが可能になり、結果として前述した投票に対する重み付け量を正しく算出することが可能となる。
例えば、投票する座標位置を整数値に丸める処理を行い、関節ごとの重み付け投票処理において同一の座標位置に投票される場合は、重み付け頻度値を累算するものであってもよい。
また、輝度画像を入力パターンとする場合は、特徴量抽出工程の前処理として、エッジ検出処理などの前処理を実行することも有効である。
例えば、参照画素として2点を取るのではなく、基準画素自身と参照画素1点との比較を行うものであってもよく、またその他の手法によるものであっても構わない。また、特徴量自体も、本実施形態で説明したようなビット符号列に限定されるものではなく、特徴量間で一致度を算出することが可能であるものであれば他のものであっても構わない。
以下、図面を参照して本発明の第2の実施形態を説明する。
本実施形態におけるパターン認識装置は、第1の実施形態における投票処理工程に対し、近接範囲設定工程の処理が異なっている。従って、本実施形態では、第1の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
0 < V ≦ θva ⇒8フレーム前まで・・・式(13)
θva < V ≦ θvb ⇒4フレーム前まで・・・式(14)
θvb < V ⇒1フレーム前まで・・・式(15)
例えば、閾値の設定方法は2種類に限定されるものではなく、また時間的に近接する画素のフレーム範囲の設定も、その他の種類・範囲を有するものであっても構わない。
また、前述したように閾値でフレーム範囲を設定するのではなく、速度ベクトルの大きさを変数とする関数を事前に設定し、フレーム範囲を算出するものであってもよい。
特徴量一致度算出工程7では、各画素位置ごとに決定した時間的に近接するフレーム範囲の情報を元にして、特徴量一致度を算出する。例えば、図13に示す画素位置Aにおける特徴量一致度を算出する場合に関して説明する。
Mn=1/(ΣH/4+1)・・・式(16)
特徴量一致度算出工程7以降の処理に関しても第1の実施形態と同様であるため、詳細な説明は割愛する。
例えば、式(17)により特徴量の一致度が算出される。なお式(17)では、ハミング距離Hの平均値を算出する式をAverage(H)と表わしている。
Mn=1/(Average(H)+1)・・・式(17)
以下、図面を参照して本発明の第3の実施形態を説明する。
本実施形態におけるパターン認識装置は、第1の実施形態における投票処理工程に対し、近接範囲設定工程6の処理が異なっている。従って、本実施形態では、第1の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
ここで本実施形態では、認識対象の特性として、各画素に対して算出された特徴量に対応する、前述した辞書に保持された関節ごとのサイズを参照する。ここで関節のサイズというのは、人体形状において、その関節が存在する周辺の人体形状の大きさを指している。
左肩:Sls=70・・・式(19)
右肘:Sre=20・・・式(20)
0 < S ≦ θsa ・・・式(21)
θsa < S ≦ θsb ・・・式(22)
θsb < S ・・・式(23)
近接範囲設定工程6以降の処理に関しては、第1の実施形態と同様であるため、詳細な説明は割愛する。
また、第2の実施形態と組み合わせて特徴量の一致度を算出することが可能であるのも第1の実施形態と同様である。
以下、図面を参照して本発明の第4の実施形態を説明する。
本実施形態におけるパターン認識装置は、第2の実施形態における投票処理工程5に対し、近接範囲設定工程6の処理が異なっている。従って、本実施形態では、第2の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
関節の動き易さは、このように人体上での関節位置に起因する、その関節の時間的な位置変動のし易さに対して定義したものである。
動き易さ中:首、左肩、右肩、左膝、右膝、左肘、右肘 ⇒4フレーム前まで
動き易さ大:左手首、右手首、左足首、右足首 ⇒ 1フレーム前まで
なお、本実施形態で説明した、関節の動き易さに対応した近接画素範囲のグループ分けは、事前に辞書に記載されているものとして構わない。
近接範囲設定工程6以降の処理に関しては、第2の実施形態と同様であるため、詳細な説明は割愛する。
また、第1の実施形態および第3の実施形態と組み合わせて特徴量の一致度を算出することが可能なのも第2の実施形態と同様である。
以下、図面を参照して本発明の第5の実施形態を説明する。
本実施形態におけるパターン認識装置は、第1の実施形態〜第4の実施形態における辞書の作成過程と、投票処理工程5における近接範囲設定工程6の処理が異なっている。
従って本実施形態では、第1の実施形態〜第4の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
例えば、本実施形態では、人体が距離画像撮影装置1を横切る方向に歩行する一連の動きを計100枚の距離画像セットとして取得したものから辞書を作成するものとする。
本実施形態における辞書作成工程では、第1の実施形態で説明したのと同様に、各距離画像中の人体領域に属する画素から基準画素をランダムに抽出し、サンプル点特徴量抽出処理を実行する。
(1)0.80、(2)0.62、(3)0.48
このようにして得られた近接範囲の情報は、この基準画素に対応付けられる。
まず、前述した基準画素に関して、連続する過去のフレームにおける同一画素位置に対しても特徴抽出処理を実行し、さらに基準画素における特徴量と、連続する過去のフレームにおける画素位置での特徴量との特徴量一致度を算出する。さらに、その特徴量一致度の平均値が所定の閾値以内に収まるフレーム範囲を算出する。
このようにして得られた近接範囲の情報も、この基準画素に対応付けられる。
本実施形態における近接範囲設定工程6では、各画素毎に空間的および時間的に近接する画素範囲として、前記辞書に保持された画素範囲を参照して設定する。すなわち、入力パターンの各画素に対して抽出した特徴量を元にして辞書を参照し、前記特徴量に対応する空間的および時間的に近接する画素範囲を設定するのである。
このように本実施形態におけるパターン認識装置では、空間的および時間的に近接する画素範囲を辞書作成時に用いる距離画像を参照して設定し、また特に時系列に連続した距離画像セットを用いる。これにより、実際の人体の動きに応じた近接画素範囲を設定することが可能となる。これにより、適切な画素範囲で特徴量の一致度を算出することが可能になり、結果として投票に対する重み付け量をより正しく算出することが可能となる。
以下、図面を参照して本発明の第6の実施形態を説明する。
本実施形態におけるパターン認識装置は、第1の実施形態におけるパターン認識処理に対し、入力パターン中の認識対象物の凡その位置が予め分っている点と、さらに投票処理工程5における近接範囲設定工程6の処理が異なっている。
従って、本実施形態では、第1の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
なお、入力パターン中の認識対象物(本実施形態では関節位置)の凡その位置を知る方法としては、その他の手法を用いるものであっても構わない。
以上説明した処理以外に関しては、全て第1の実施形態の処理と同様であるため、説明を省略する。
以下、図面を参照して本発明の第7の実施形態を説明する。
本実施形態におけるパターン認識装置は、第4の実施形態におけるパターン認識処理に対し、入力パターン中の認識対象物の運動カテゴリが予め分っている点と、さらに投票処理工程5における近接範囲設定工程6の処理が異なっている。
従って、本実施形態では、第4の実施形態において説明した内容に関しては説明を省略し、本実施形態に特有の点についてのみ説明を行う。
例えば、第1の実施形態で説明したパターン認識装置を時系列に連続する距離画像に適用した場合に、1フレーム前の距離画像中の人体関節位置より、距離画像中の人体の運動カテゴリが判別されているものとする。
なお、人体関節位置より運動カテゴリを判別する方法はその他のものでもよく、本発明はこれを限定するものではない。また、運動カテゴリが本実施形態におけるパターン認識装置のユーザにより設定されるものであっても構わない。
すなわち、本実施形態では、前述したように距離画像中の人体に関してその運動カテゴリが分かっているため、その情報を活用して近接範囲設定工程6において近接する画素範囲を設定する。
動き易さ中: 腰、首、左肩、右肩 ⇒ 4フレーム前まで
動き易さ大: 左手首、右手首、左足首、右足首、
左膝、右膝、左肘、右肘 ⇒ 1フレーム前まで
動き易さ小: 首、腰、左膝、右膝、左足首、右足首 ⇒ 8フレーム前まで
動き易さ中: 左肩、右肩 ⇒ 4フレーム前まで
動き易さ大: 左肘、右肘、左手首、右手首 ⇒ 1フレーム前まで
以上の処理を、辞書を参照して得られた投票先の全ての想定関節に対して実行することにより、関節ごとに、時間的に近接するフレームの範囲を設定する。
近接範囲設定工程6以降の処理に関しては、第4の実施形態と同様であるため、詳細な説明は割愛する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
2 PC
3 被写体
4 特徴量抽出工程
5 投票処理工程
6 近接範囲設定工程
7 特徴量一致度算出工程
8 重み算出工程
9 重み付け投票処理工程
10 距離画像準備工程
11 サンプル点特徴量抽出工程
12 集計処理工程
13 肩関節中心位置
14 肘関節中心位置
15 人体の末端に位置する関節
16 人体の重心に近い位置に存在する関節
20 パターン認識装置
21 CPU
22 ROM
23 RAM
24 バス
Claims (21)
- 入力画像に含まれる複数の画素それぞれの特徴量を抽出する抽出手段と、
前記複数の画素それぞれについて、当該画素の特徴量と、当該画素の周囲の領域に含まれる1以上の画素の特徴量との一致度を算出する算出手段と、
前記抽出した特徴量と前記算出した一致度とに基づいて、前記複数の画素それぞれから、複数の認識対象の中から1以上の認識対象に投票することにより、前記複数の認識対象の位置を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 前記一致度に基づいて、前記投票の際の重みを算出する重み算出手段を更に有し、
前記推定手段は、前記算出した重みを用いて前記投票を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記重み算出手段は、前記一致度の逆数により前記投票の際の重みを算出することを特徴とする請求項2に記載の画像処理装置。
- 前記推定手段は、予め学習された前記特徴量に対応する認識対象の頻度値もしくは存在確率を投票空間に投票することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記推定手段は、特徴量と当該特徴量に対して候補となる前記認識対象との関係について予め学習された情報と、前記抽出手段により抽出された特徴量と、に基づいて、前記投票を行うことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記特徴量としてビット符号列またはベクトルデータを算出することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記入力画像の各画素に対して予め定められた複数組の画素の特徴量の大小関係を、前記ビット符号列として算出することを特徴とする請求項6に記載の画像処理装置。
- 前記算出手段は、前記複数の画素それぞれにおいて、当該画素の特徴量と当該画素の周囲の領域に含まれる1以上の画素の特徴量との相関係数を用いて、前記一致度を算出することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記算出手段は、前記複数の画素それぞれにおいて、当該画素の特徴量と当該画素の周囲の領域に含まれる1以上の画素の特徴量とのハミング距離の逆数を用いて、前記一致度を算出することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記複数の画素それぞれについて、当該画素に対応する認識対象の種類に基づいて前記周囲の領域に含まれる画素の数を変更する変更手段を更に有することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
- 前記変更手段は、前記認識対象の種類のサイズが大きいほど、前記周囲の領域に含まれる画素の数が大きくなるよう、前記画素の数を変更することを特徴とする請求項10に記載の画像処理装置。
- 前記変更手段は、前記認識対象への距離、前記入力画像から抽出された速度ベクトル、前記認識対象の運動カテゴリのいずれか1つに基づいて、前記周囲の領域に含まれる画素の数を変更することを特徴とする請求項10に記載の画像処理装置。
- 前記認識対象は人体の関節であることを特徴とする請求項10に記載の画像処理装置。
- 前記変更手段は、前記関節の動きやすさ、または前記関節の大きさに基づいて、前記周囲の領域に含まれる画素の数を変更することを特徴とする請求項13に記載の画像処理装置。
- 前記変更手段は、前記認識対象の過去の認識結果に基づいて前記周囲の領域に含まれる画素の数を変更することを特徴とする請求項10に記載の画像処理装置。
- 前記周囲の領域は、前記複数の画素それぞれに隣接する1画素以上から成る領域であることを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。
- 入力画像に含まれる複数の画素それぞれの特徴量を抽出する抽出手段と、
前記複数の画素それぞれについて、当該画素の特徴量と、当該画素における1以上の異なるタイミングで取得された特徴量との一致度を算出する算出手段と、
前記抽出した特徴量と前記算出した一致度とに基づいて、前記複数の画素それぞれから、複数の認識対象の中から1以上の認識対象に投票することにより、前記複数の認識対象の位置を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 前記入力画像から抽出された速度ベクトル、前記認識対象の運動カテゴリのいずれか1つに基づいて、前記1以上の異なるタイミングの範囲を変更する変更手段を更に有することを特徴とする請求項17に記載の画像処理装置。
- 入力画像に含まれる複数の画素それぞれの特徴量を抽出する抽出ステップと、
前記複数の画素それぞれについて、当該画素の特徴量と、当該画素の周囲の領域に含まれる1以上の画素の特徴量との一致度を算出する算出ステップと、
前記抽出した特徴量と前記算出した一致度とに基づいて、前記複数の画素それぞれから、複数の認識対象の中から1以上の認識対象に投票することにより、前記複数の認識対象の位置を推定する推定ステップと、
を有することを特徴とする画像処理方法。 - 入力画像に含まれる複数の画素それぞれの特徴量を抽出する抽出ステップと、
前記複数の画素それぞれについて、当該画素の特徴量と、当該画素における1以上の異なるタイミングで取得された特徴量との一致度を算出する算出ステップと、
前記抽出した特徴量と前記算出した一致度とに基づいて、前記複数の画素それぞれから、複数の認識対象の中から1以上の認識対象に投票することにより、前記複数の認識対象の位置を推定する推定ステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から18のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014171891A JP6381368B2 (ja) | 2014-08-26 | 2014-08-26 | 画像処理装置、画像処理方法、およびプログラム |
US14/833,666 US10417487B2 (en) | 2014-08-26 | 2015-08-24 | Pattern recognition apparatus, pattern recognition method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014171891A JP6381368B2 (ja) | 2014-08-26 | 2014-08-26 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016045884A JP2016045884A (ja) | 2016-04-04 |
JP2016045884A5 JP2016045884A5 (ja) | 2017-08-10 |
JP6381368B2 true JP6381368B2 (ja) | 2018-08-29 |
Family
ID=55402867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014171891A Active JP6381368B2 (ja) | 2014-08-26 | 2014-08-26 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10417487B2 (ja) |
JP (1) | JP6381368B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9418284B1 (en) | 2014-04-09 | 2016-08-16 | Vortex Intellectual Property Holding LLC | Method, system and computer program for locating mobile devices based on imaging |
US10157189B1 (en) | 2014-04-09 | 2018-12-18 | Vortex Intellectual Property Holding LLC | Method and computer program for providing location data to mobile devices |
US10735902B1 (en) | 2014-04-09 | 2020-08-04 | Accuware, Inc. | Method and computer program for taking action based on determined movement path of mobile devices |
JP6537332B2 (ja) * | 2014-04-28 | 2019-07-03 | キヤノン株式会社 | 画像処理方法および撮影装置 |
CN105678379B (zh) * | 2016-01-12 | 2020-08-07 | 腾讯科技(深圳)有限公司 | 一种cnn的处理方法和装置 |
US10311288B1 (en) | 2017-03-24 | 2019-06-04 | Stripe, Inc. | Determining identity of a person in a digital image |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4012200B2 (ja) | 2004-12-28 | 2007-11-21 | 株式会社東芝 | オブジェクト検出方法、装置、及びプログラム |
EP1949339A2 (en) * | 2005-11-04 | 2008-07-30 | Clean Earth Technologies, Llc | Tracking using an elastic cluster of trackers |
JP5166127B2 (ja) | 2008-06-10 | 2013-03-21 | 株式会社東芝 | 画像処理装置及びその方法並びに画像処理プログラム |
US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
JP5214533B2 (ja) | 2009-05-21 | 2013-06-19 | 富士フイルム株式会社 | 人物追跡方法、人物追跡装置および人物追跡プログラム |
JP5290229B2 (ja) * | 2010-03-30 | 2013-09-18 | セコム株式会社 | 学習装置及び対象物検知装置 |
US8406470B2 (en) * | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
JP5801237B2 (ja) * | 2012-03-29 | 2015-10-28 | パナソニック株式会社 | 部位推定装置、部位推定方法、および部位推定プログラム |
JP6025557B2 (ja) * | 2012-12-27 | 2016-11-16 | キヤノン株式会社 | 画像認識装置、その制御方法及びプログラム |
US9363499B2 (en) * | 2013-11-15 | 2016-06-07 | Htc Corporation | Method, electronic device and medium for adjusting depth values |
US9552070B2 (en) * | 2014-09-23 | 2017-01-24 | Microsoft Technology Licensing, Llc | Tracking hand/body pose |
-
2014
- 2014-08-26 JP JP2014171891A patent/JP6381368B2/ja active Active
-
2015
- 2015-08-24 US US14/833,666 patent/US10417487B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160063345A1 (en) | 2016-03-03 |
JP2016045884A (ja) | 2016-04-04 |
US10417487B2 (en) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10380759B2 (en) | Posture estimating apparatus, posture estimating method and storing medium | |
JP6381368B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US9330307B2 (en) | Learning based estimation of hand and finger pose | |
CN108717531B (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
US8582867B2 (en) | Learning-based pose estimation from depth maps | |
CN104392223B (zh) | 二维视频图像中的人体姿态识别方法 | |
KR101581112B1 (ko) | 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치 | |
CN109753891A (zh) | 基于人体关键点检测的足球运动员姿势校准方法及系统 | |
CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
Kumar et al. | Three-dimensional sign language recognition with angular velocity maps and connived feature resnet | |
Hesse et al. | Estimating body pose of infants in depth images using random ferns | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
Chan et al. | A 3-D-point-cloud system for human-pose estimation | |
Waheed et al. | Exploiting Human Pose and Scene Information for Interaction Detection | |
CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
Kumar et al. | Early estimation model for 3D-discrete indian sign language recognition using graph matching | |
US20240303848A1 (en) | Electronic device and method for determining human height using neural networks | |
Imani et al. | Histogram of the node strength and histogram of the edge weight: two new features for RGB-D person re-identification | |
Hachaj et al. | Human actions recognition on multimedia hardware using angle-based and coordinate-based features and multivariate continuous hidden Markov model classifier | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
US11527090B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
CN116246343A (zh) | 轻量化的人体行为识别方法及装置 | |
CN114694263A (zh) | 动作识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |