JP7409499B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7409499B2 JP7409499B2 JP2022530422A JP2022530422A JP7409499B2 JP 7409499 B2 JP7409499 B2 JP 7409499B2 JP 2022530422 A JP2022530422 A JP 2022530422A JP 2022530422 A JP2022530422 A JP 2022530422A JP 7409499 B2 JP7409499 B2 JP 7409499B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- query
- query image
- person
- skeletal structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 132
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000011156 evaluation Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 56
- 238000004458 analytical method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 42
- 239000000284 extract Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 description 155
- 230000036544 posture Effects 0.000 description 77
- 238000010586 diagram Methods 0.000 description 34
- 238000010606 normalization Methods 0.000 description 15
- 210000002414 leg Anatomy 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 230000037237 body shape Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001930 leg bone Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
クエリ画像の候補を取得する画像取得手段と、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段と、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段と、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段と、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段と、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段と、
を備える画像処理装置が提供される。
コンピュータが、
クエリ画像の候補を取得し、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出し、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出し、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択し、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出し、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する画像処理方法が提供される。
コンピュータを、
クエリ画像の候補を取得する画像取得手段、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段、
として機能させるプログラムが提供される。
近年、ディープラーニング等の機械学習を活用した画像認識技術が様々なシステムに応用されている。例えば、監視カメラの画像により監視を行う監視システムへの適用が進められている。監視システムに機械学習を活用することで、画像から人物の姿勢や行動等の状態をある程度把握することが可能とされつつある。
図1は、実施の形態に係る画像処理装置10の概要を示している。図1に示すように、画像処理装置10は、骨格検出部11、特徴量算出部12、及び認識部13を備えている。骨格検出部11は、カメラ等から取得される2次元画像に基づいて、複数の人物の2次元骨格構造(以下、単に「骨格構造」という場合がある)を検出する。特徴量算出部12は、骨格検出部11により検出された複数の2次元骨格構造の特徴量を算出する。認識部13は、特徴量算出部12により算出された複数の特徴量の類似度に基づいて、複数の人物の状態の認識処理を行う。認識処理は、人物の状態の分類処理や検索処理等である。
以下、図面を参照して実施の形態1について説明する。図2は、本実施の形態に係る画像処理装置100の構成を示している。画像処理装置100は、カメラ200及び記憶手段(データベース(DB)110)、とともに画像処理システム1を構成する。画像処理装置100を含む画像処理システム1は、画像から推定される人物の骨格構造に基づき、人物の姿勢や行動等の状態を分類及び検索するシステムである。
データ蓄積処理は、解析対象の画像(以下、「解析対象画像」)を取得し、複数の解析対象画像各々から人物の2次元の骨格構造を検出し、検出された2次元の骨格構造の特徴量を算出し、算出した特徴量を各解析対象画像に紐付けてデータベース110に格納する処理である。以下、データ蓄積処理に関わる機能部の構成を説明する。
分類処理は、データ蓄積処理でデータベース110に格納されたデータ(解析対象画像と、各解析対象画像から検出された2次元の骨格構造の特徴量とを紐付けたデータ)に基づき、解析対象画像から検出された複数の2次元の骨格構造をその特徴量が類似するもの同士でまとめて分類(グループ分け)する処理である。なお、解析対象画像と、各解析対象画像から検出された2次元の骨格構造とは互いに紐付けられている。このため、分類処理による複数の2次元の骨格構造の分類は、複数の解析対象画像の分類にもなる。分類処理により、複数の解析対象画像は、類似する2次元の骨格構造を含むもの同士でまとめられる。以下、分類処理に関わる機能部の構成を説明する。
検索処理は、データ蓄積処理でデータベース110に格納されたデータ(解析対象画像と、各解析対象画像から検出された2次元の骨格構造の特徴量とを紐付けたデータ)に基づき、解析対象画像から検出された複数の2次元の骨格構造の中から所定の骨格構造を検索する処理である。なお、解析対象画像と、各解析対象画像から検出された2次元の骨格構造とは互いに紐付けられている。このため、上記「解析対象画像から検出された複数の2次元の骨格構造の中から所定の骨格構造を検索する処理」により、所定の骨格構造を含む解析対象画像を検索することができる。
当該例では、画像取得部101は、解析対象画像の中のいずれかをクエリ画像の候補として取得する。例えば、画像取得部101は、上記分類処理で生成した複数のグループ各々から所定のルールで所定数の解析対象画像を選択し、選択した解析対象画像をクエリ画像の候補としてもよい。
当該例では、画像取得部101は、ユーザが用意し、画像処理装置100に入力した画像をクエリ画像の候補として取得する。
当該例では、画像取得部101は、ユーザが指定したキーワードで検索した画像をクエリ画像の候補として取得する。キーワードは、「座る」、「立つ」等のように、人物の状態(姿勢、行動等)に関する内容が想定される。キーワードの入力は、例えばテキストボックス、ドロップダウン、チェックボックス等の周知のGUIを利用して実現できる。
・抽出されたキーポイントの数が多いほど、評価値が高い。
・抽出されたキーポイントの信頼度が高いほど、評価値が高い。
・画像内における人物が大きいほど評価値が高い。
・より重み付け値が高いキーポイントが抽出されているほど、評価値が高い。
・より重み付け値が高いキーポイントが抽出され、その信頼度が高いほど、評価値が高い。
・人物の身体を示す画像上で身体の一部を枠で囲むユーザ入力を受付け、当該枠内に含まれるキーポイントを特定する。
・人物の身体及び身体のキーポイントを示す画像(人物の身体上に複数のキーポイントを重畳した画像)上で一部のキーポイントを指定するユーザ入力を受付け、指定されたキーポイントを特定する。
・人物の身体の一部をその部位の名称(例;右腕、右足、下半身、上半身等)で指定するユーザ入力を受付け、指定された部位に含まれるキーポイントを特定する。
当該例では、選択部111は、図41や図42に示すように、複数のクエリ画像の候補の評価値(図中、各画像の下に表示された数値)を比較可能に出力し、複数のクエリ画像の候補の中から1つ又は複数のクエリ画像を指定するユーザ入力を受付ける。そして、選択部111は、ユーザ入力で指定された1つ又は複数のクエリ画像の候補をクエリ画像として選択する。なお、図41及び図42の例では、複数のクエリ画像の候補の評価値を一覧表示することで、それらが比較可能になっているが、画面に表示するクエリ画像の候補を順に切り替えることで、それらを比較可能にしてもよい。そして、選択部111は、評価値が高い順にクエリ画像の候補を表示してもよい。例えば、選択部111は、評価値の順に並べて、クエリ画像の候補及びその評価値を一覧表示してもよい。また、選択部111は、クエリ画像の候補及びその評価値を、評価値の順に順次表示してもよい。なお、図41や図42に示す例では複数のクエリ画像の候補の評価値が表示されているが、画像取得部101が1つのクエリ画像の候補を取得した場合、その1つのクエリ画像の候補の評価値が表示される。
選択部111は、評価値が基準(基準値以上)を満たすクエリ画像の候補を、クエリ画像として選択する。この例の場合、画像処理装置100がクエリ画像の候補の中からクエリ画像を自動選択するので、ユーザによる選択操作が不要となる。
複数の階層による分類である。全身の骨格構造による分類や、上半身や下半身の骨格構造による分類、腕や脚の骨格構造による分類等を階層的に組み合わせて分類する。すなわち、骨格構造の第1の部分や第2の部分の特徴量に基づいて分類し、さらに、第1の部分や第2の部分の特徴量に重みづけを行って分類してもよい。
時系列に沿った複数枚の画像による分類である。時系列に連続する複数の画像における骨格構造の特徴量に基づいて分類する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて分類してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化(変化量)に基づいて分類してもよい。
骨格構造の左右を無視した分類である。人物の右側と左側が反対の骨格構造を同じ骨格構造として分類する。
高さ方向の特徴量のみによる検索である。人物の高さ方向の特徴量のみを用いて検索することで、人物の横方向の変化の影響を抑えることができ、人物の向きや人物の体型の変化に対しロバスト性が向上する。例えば、図13の骨格構造501~503のように、人物の向きや体型が異なる場合でも、高さ方向の特徴量は大きく変化しない。このため、骨格構造501~503では、検索時(分類時)に同じ姿勢であると判断することができる。
部分検索画像において人物の体の一部が隠れている場合、認識可能な部分の情報のみを用いて検索する。例えば、図14の骨格構造511及び512のように、左足が隠れていることにより、左足のキーポイントが検出できない場合でも、検出されている他のキーポイントの特徴量を使用して検索できる。このため、骨格構造511及び512では、検索時(分類時)に同じ姿勢であると判断することができる。つまり、全てのキーポイントではなく、一部のキーポイントの特徴量を用いて、分類や検索を行うことができる。図15の骨格構造521及び522の例では、両足の向きが異なっているものの、上半身のキーポイント(A1、A2、A31、A32、A41、A42、A51、A52)の特徴量を検索クエリとすることで、同じ姿勢であると判断することができる。また、検索したい部分(特徴点)に対して、重みを付けて検索してもよいし、類似度判定の閾値を変化させてもよい。体の一部が隠れている場合、隠れた部分を無視して検索してもよいし、隠れた部分を加味して検索してもよい。隠れた部分も含めて検索することで、同じ部位が隠れているような姿勢を検索することができる。
骨格構造の左右を無視した検索である。人物の右側と左側が反対の骨格構造を同じ骨格構造として検索する。例えば、図16の骨格構造531及び532のように、右手を挙げている姿勢と、左手を挙げている姿勢を同じ姿勢として検索(分類)できる。図16の例では、骨格構造531と骨格構造532は、右手のキーポイントA51、右肘のキーポイントA41、左手のキーポイントA52、左肘のキーポイントA42の位置が異なるものの、その他のキーポイントの位置は同じである。骨格構造531の右手のキーポイントA51及び右肘のキーポイントA41と骨格構造532の左手のキーポイントA52及び左肘のキーポイントA42のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となり、また、骨格構造531の左手のキーポイントA52及び左肘のキーポイントA42と骨格構造532の右手のキーポイントA51及び右肘のキーポイントA41のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となるため、同じ姿勢と判断する。
縦方向と横方向の特徴量による検索である。人物の縦方向(Y軸方向)の特徴量のみで検索を行った後、得られた結果をさらに人物の横方向(X軸方向)の特徴量を用いて検索する。
時系列に沿った複数枚の画像による検索である。時系列に連続する複数の画像における骨格構造の特徴量に基づいて検索する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて検索してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化(変化量)に基づいて検索してもよい。
以下、図面を参照して実施の形態2について説明する。本実施の形態では、実施の形態1における特徴量算出の具体例について説明する。本実施の形態では、人物の身長を用いて正規化することで特徴量を求める。その他については、実施の形態1と同様である。
具体例1では、頭部から足部までのボーンの長さを用いて身長画素数を求める。具体例1では、図20に示すように、身長算出部108は、各ボーンの長さを取得し(S211)、取得した各ボーンの長さを合計する(S212)。
具体例2では、2次元骨格構造に含まれる骨の長さと2次元画像空間上の人物の全身の長さとの関係を示す2次元骨格モデルを用いて身長画素数を求める。
具体例3では、2次元骨格構造を3次元人体モデル(3次元骨格モデル)にフィッティングさせて、フィッティングした3次元人体モデルの身長画素数を用いて全身の骨格ベクトルを求める。
図19に示すように、画像処理装置100は、身長画素数算出処理に続いて、正規化処理(S202)を行う。正規化処理では、図23に示すように、特徴量算出部103は、キーポイント高さを算出する(S241)。特徴量算出部103は、検出された骨格構造に含まれる全てのキーポイントのキーポイント高さ(画素数)を算出する。キーポイント高さは、骨格構造の最下端(例えばいずれかの足のキーポイント)からそのキーポイントまでの高さ方向の長さ(画素数)である。ここでは、一例として、キーポイント高さを、画像におけるキーポイントのY座標から求める。なお、上記のように、キーポイント高さは、カメラパラメータに基づいた鉛直投影軸に沿った方向の長さから求めてもよい。例えば、図24の例で、首のキーポイントA2の高さ(yi)は、キーポイントA2のY座標から右足のキーポイントA81または左足のキーポイントA82のY座標を引いた値である。
1. クエリ画像の候補を取得する画像取得手段と、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段と、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段と、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段と、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段と、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段と、
を備える画像処理装置。
2. 前記選択手段は、
前記クエリ画像の候補の前記評価値を出力し、
前記クエリ画像の候補の中から前記クエリ画像を指定するユーザ入力を受付け、
前記ユーザ入力で指定された前記クエリ画像の候補を前記クエリ画像として選択する1に記載の画像処理装置。
3. 前記画像取得手段は、複数の前記クエリ画像の候補を取得し、
前記選択手段は、
複数の前記クエリ画像の候補の前記評価値を比較可能に出力し、
複数の前記クエリ画像の候補の中から1つ又は複数の前記クエリ画像を指定するユーザ入力を受付け、
前記ユーザ入力で指定された1つ又は複数の前記クエリ画像の候補を前記クエリ画像として選択する2に記載の画像処理装置。
4. 前記選択手段は、前記評価値が基準を満たす前記クエリ画像の候補を、前記クエリ画像として選択する1に記載の画像処理装置。
5. 前記骨格構造検出手段は、身体の複数のキーポイントを抽出し、
前記クエリ評価手段は、抽出された前記キーポイントの数、及び抽出された前記キーポイント各々の信頼度の少なくとも一方に基づき、前記評価値を算出する1から4のいずれかに記載の画像処理装置。
6. 前記クエリ評価手段は、ユーザ入力に基づき設定された複数の前記キーポイント各々の重み付け値に基づき、前記評価値を算出する5に記載の画像処理装置。
7. 前記クエリ評価手段は、
人物の身体を示す画像上で身体の一部を枠で囲むユーザ入力を受付け、当該枠内に含まれる前記キーポイントを特定する処理、
人物の身体及び身体の前記キーポイントを示す画像上で一部の前記キーポイントを指定するユーザ入力を受付け、指定された前記キーポイントを特定する処理、又は、
人物の身体の一部をその部位の名称で指定するユーザ入力を受付け、指定された部位に含まれる前記キーポイントを特定する処理、
により一部の前記キーポイントを特定し、特定した前記キーポイントの前記重み付け値をユーザ入力に基づき設定する6に記載の画像処理装置。
8. 前記クエリ評価手段は、画像内における人物の大きさに基づき、前記評価値を算出する1から7のいずれかに記載の画像処理装置。
9. コンピュータが、
クエリ画像の候補を取得し、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出し、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出し、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択し、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出し、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する画像処理方法。
10. コンピュータを、
クエリ画像の候補を取得する画像取得手段、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段、
として機能させるプログラム。
10 画像処理装置
11 骨格検出部
12 特徴量算出部
13 認識部
100 画像処理装置
101 画像取得部
102 骨格構造検出部
103 特徴量算出部
104 分類部
105 検索部
106 入力部
107 表示部
108 身長算出部
109 クエリ評価部
110 データベース
111 選択部
200 カメラ
300、301 人体モデル
401 2次元骨格構造
402 3次元人体モデル
Claims (11)
- クエリ画像の候補を取得する画像取得手段と、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段と、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段と、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段と、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段と、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段と、
を備える画像処理装置。 - 前記選択手段は、
前記クエリ画像の候補の前記評価値を出力し、
前記クエリ画像の候補の中から前記クエリ画像を指定するユーザ入力を受付け、
前記ユーザ入力で指定された前記クエリ画像の候補を前記クエリ画像として選択する請求項1に記載の画像処理装置。 - 前記画像取得手段は、複数の前記クエリ画像の候補を取得し、
前記選択手段は、
複数の前記クエリ画像の候補の前記評価値を比較可能に出力し、
複数の前記クエリ画像の候補の中から1つ又は複数の前記クエリ画像を指定するユーザ入力を受付け、
前記ユーザ入力で指定された1つ又は複数の前記クエリ画像の候補を前記クエリ画像として選択する請求項2に記載の画像処理装置。 - 前記選択手段は、前記評価値が基準を満たす前記クエリ画像の候補を、前記クエリ画像として選択する請求項1に記載の画像処理装置。
- 前記骨格構造検出手段は、身体の複数のキーポイントを抽出し、
前記クエリ評価手段は、抽出された前記キーポイントの数、及び抽出された前記キーポイント各々の信頼度の少なくとも一方に基づき、前記評価値を算出する請求項1から4のいずれか1項に記載の画像処理装置。 - 前記クエリ評価手段は、ユーザ入力に基づき設定された複数の前記キーポイント各々の重み付け値に基づき、前記評価値を算出する請求項5に記載の画像処理装置。
- 前記クエリ評価手段は、
人物の身体を示す画像上で身体の一部を枠で囲むユーザ入力を受付け、当該枠内に含まれる前記キーポイントを特定する処理、
人物の身体及び身体の前記キーポイントを示す画像上で一部の前記キーポイントを指定するユーザ入力を受付け、指定された前記キーポイントを特定する処理、又は、
人物の身体の一部をその部位の名称で指定するユーザ入力を受付け、指定された部位に含まれる前記キーポイントを特定する処理、
により一部の前記キーポイントを特定し、特定した前記キーポイントの前記重み付け値をユーザ入力に基づき設定する請求項6に記載の画像処理装置。 - 前記クエリ評価手段は、画像内における人物の大きさに基づき、前記評価値を算出する請求項1から7のいずれか1項に記載の画像処理装置。
- コンピュータが、
クエリ画像の候補を取得し、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出し、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出し、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択し、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出し、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する画像処理方法。 - コンピュータを、
クエリ画像の候補を取得する画像取得手段、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段、
前記クエリ画像から検出された前記2次元骨格構造の特徴量を算出する特徴量算出手段、
前記算出された特徴量の類似度に基づき、解析対象画像の中から、前記クエリ画像に含まれる人物の姿勢と類似する姿勢の人物を含む前記解析対象画像を検索する検索手段、
として機能させるプログラム。 - クエリ画像の候補を取得する画像取得手段と、
前記クエリ画像の候補に含まれる人物の2次元骨格構造を検出する骨格構造検出手段と、
前記2次元骨格構造の検出結果に基づき前記クエリ画像の候補の評価値を算出するクエリ評価手段と、
前記評価値に基づき、前記クエリ画像の候補の中からクエリ画像を選択する選択手段と、
を備える画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/022815 WO2021250808A1 (ja) | 2020-06-10 | 2020-06-10 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021250808A1 JPWO2021250808A1 (ja) | 2021-12-16 |
JPWO2021250808A5 JPWO2021250808A5 (ja) | 2023-02-21 |
JP7409499B2 true JP7409499B2 (ja) | 2024-01-09 |
Family
ID=78845577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022530422A Active JP7409499B2 (ja) | 2020-06-10 | 2020-06-10 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230214421A1 (ja) |
JP (1) | JP7409499B2 (ja) |
WO (1) | WO2021250808A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023152971A1 (ja) * | 2022-02-14 | 2023-08-17 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2023152973A1 (ja) * | 2022-02-14 | 2023-08-17 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007469A (ja) | 2000-06-23 | 2002-01-11 | Yamaha Motor Co Ltd | 検索方法、検索装置及び画像検索装置 |
US6459824B1 (en) | 1998-07-22 | 2002-10-01 | Electronics And Telecommunications Research Institute | Method of retrieving moving pictures using joint points based on pose information |
JP2011039854A (ja) | 2009-08-12 | 2011-02-24 | Brother Industries Ltd | 表示端末装置、この表示端末装置のためのプログラムおよび表示方法 |
JP2016162414A (ja) | 2015-03-05 | 2016-09-05 | 株式会社日立製作所 | 画像処理装置 |
JP2019091138A (ja) | 2017-11-13 | 2019-06-13 | 株式会社日立製作所 | 画像検索装置、画像検索方法、及び、それに用いる設定画面 |
JP2019096113A (ja) | 2017-11-24 | 2019-06-20 | Kddi株式会社 | キーポイントデータに関する加工装置、方法及びプログラム |
-
2020
- 2020-06-10 US US18/009,155 patent/US20230214421A1/en active Pending
- 2020-06-10 WO PCT/JP2020/022815 patent/WO2021250808A1/ja active Application Filing
- 2020-06-10 JP JP2022530422A patent/JP7409499B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6459824B1 (en) | 1998-07-22 | 2002-10-01 | Electronics And Telecommunications Research Institute | Method of retrieving moving pictures using joint points based on pose information |
JP2002007469A (ja) | 2000-06-23 | 2002-01-11 | Yamaha Motor Co Ltd | 検索方法、検索装置及び画像検索装置 |
JP2011039854A (ja) | 2009-08-12 | 2011-02-24 | Brother Industries Ltd | 表示端末装置、この表示端末装置のためのプログラムおよび表示方法 |
JP2016162414A (ja) | 2015-03-05 | 2016-09-05 | 株式会社日立製作所 | 画像処理装置 |
JP2019091138A (ja) | 2017-11-13 | 2019-06-13 | 株式会社日立製作所 | 画像検索装置、画像検索方法、及び、それに用いる設定画面 |
JP2019096113A (ja) | 2017-11-24 | 2019-06-20 | Kddi株式会社 | キーポイントデータに関する加工装置、方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
佐川 裕一,外3名,三次元ボクセルに基づく高速オンライン人体姿勢推定,日本ロボット学会誌,日本,社団法人日本ロボット学会,2008年11月15日,第26巻,第8号,p.55-66 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021250808A1 (ja) | 2021-12-16 |
US20230214421A1 (en) | 2023-07-06 |
WO2021250808A1 (ja) | 2021-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114616588A (zh) | 图像处理装置、图像处理方法以及存储图像处理程序的非暂时性计算机可读介质 | |
JP7416252B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7409499B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2024103572A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7364077B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7435781B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7491380B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
Mohsin et al. | Clustering and Identification of key body extremities through topological analysis of multi-sensors 3D data | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7468642B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7485040B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7375921B2 (ja) | 画像分類装置、画像分類方法、およびプログラム | |
JP7302741B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP7435754B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022249278A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7501621B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2022249331A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2022079795A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2023152977A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023152974A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023084778A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023084780A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023058155A1 (ja) | 運転手監視装置、運転手監視方法及びプログラム | |
WO2023152971A1 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7409499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |