JP7435754B2 - 画像選択装置、画像選択方法、及びプログラム - Google Patents
画像選択装置、画像選択方法、及びプログラム Download PDFInfo
- Publication number
- JP7435754B2 JP7435754B2 JP2022519885A JP2022519885A JP7435754B2 JP 7435754 B2 JP7435754 B2 JP 7435754B2 JP 2022519885 A JP2022519885 A JP 2022519885A JP 2022519885 A JP2022519885 A JP 2022519885A JP 7435754 B2 JP7435754 B2 JP 7435754B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- exclusion
- search
- excluded
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims description 19
- 230000007717 exclusion Effects 0.000 claims description 183
- 238000004364 calculation method Methods 0.000 claims description 71
- 210000000988 bone and bone Anatomy 0.000 description 155
- 230000036544 posture Effects 0.000 description 140
- 238000000034 method Methods 0.000 description 91
- 238000012545 processing Methods 0.000 description 84
- 238000010586 diagram Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 34
- 238000001514 detection method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 28
- 210000003128 head Anatomy 0.000 description 18
- 238000010606 normalization Methods 0.000 description 15
- 210000002414 leg Anatomy 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 230000037237 body shape Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001930 leg bone Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Description
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得手段と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出手段と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択手段と、
を備える画像選択装置が提供される。
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得し、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得し、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出し、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する、画像選択方法が提供される。
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得機能と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得機能と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出機能と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択機能と、
を持たせるプログラムが提供される。
近年、ディープラーニング等の機械学習を活用した画像認識技術が様々なシステムに応用されている。例えば、監視カメラの画像により監視を行う監視システムへの適用が進められている。監視システムに機械学習を活用することで、画像から人物の姿勢や行動等の状態をある程度把握することが可能とされつつある。
図1は、実施の形態に係る画像処理装置10の概要を示している。図1に示すように、画像処理装置10は、骨格検出部11、特徴量算出部12、及び認識部13を備えている。骨格検出部11は、カメラ等から取得される2次元画像に基づいて、複数の人物の2次元骨格構造を検出する。特徴量算出部12は、骨格検出部11により検出された複数の2次元骨格構造の特徴量を算出する。認識部13は、特徴量算出部12により算出された複数の特徴量の類似度に基づいて、複数の人物の状態の認識処理を行う。認識処理は、人物の状態の分類処理や検索処理(選択処理)等である。このため、画像処理装置10は画像選択装置としても機能する。
全身の骨格構造による分類や、上半身や下半身の骨格構造による分類、腕や脚の骨格構造による分類等を階層的に組み合わせて分類する。すなわち、骨格構造の第1の部分や第2の部分の特徴量に基づいて分類し、さらに、第1の部分や第2の部分の特徴量に重みづけを行って分類してもよい。
時系列に連続する複数の画像における骨格構造の特徴量に基づいて分類する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて分類してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化(変化量)に基づいて分類してもよい。
人物の右側と左側が反対の骨格構造を同じ骨格構造として分類する。
人物の高さ方向の特徴量のみを用いて検索することで、人物の横方向の変化の影響を抑えることができ、人物の向きや人物の体型の変化に対しロバスト性が向上する。例えば、図13の骨格構造501~503のように、人物の向きや体型が異なる場合でも、高さ方向の特徴量は大きく変化しない。このため、骨格構造501~503では、検索時(分類時)に同じ姿勢であると判断することができる。
人物の右側と左側が反対の骨格構造を同じ骨格構造として検索する。例えば、図16の骨格構造531及び532のように、右手を挙げている姿勢と、左手を挙げている姿勢を同じ姿勢として検索(分類)できる。図16の例では、骨格構造531と骨格構造532は、右手のキーポイントA51、右肘のキーポイントA41、左手のキーポイントA52、左肘のキーポイントA42の位置が異なるものの、その他のキーポイントの位置は同じである。骨格構造531の右手のキーポイントA51及び右肘のキーポイントA41と骨格構造532の左手のキーポイントA52及び左肘のキーポイントA42のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となり、また、骨格構造531の左手のキーポイントA52及び左肘のキーポイントA42と骨格構造532の右手のキーポイントA51及び右肘のキーポイントA41のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となるため、同じ姿勢と判断する。
人物の縦方向(Y軸方向)の特徴量のみで検索を行った後、得られた結果をさらに人物の横方向(X軸方向)の特徴量を用いて検索する。
時系列に連続する複数の画像における骨格構造の特徴量に基づいて検索する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて検索してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化(変化量)に基づいて検索してもよい。
1.複数の対象画像毎に生成された情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得手段と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得手段と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出手段と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択手段と、
を備える画像選択装置。
2.上記1に記載の画像選択装置において、
前記検索用情報取得手段は、前記対象画像に含まれるべき姿勢の人物を含む検索クエリ画像を取得し、当該検索クエリ画像に対する類似度を示す選択用スコアを用いて前記複数の対象画像を選択する画像選択装置。
3.上記2に記載の画像選択装置において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定する画像選択装置。
4.上記3に記載の画像選択装置において、
前記除外画像選択手段は、前記パラメータからなる空間における距離が前記除外基準を満たす前記対象画像を、前記除外画像として選択し、
前記検索用情報取得手段は、前記パラメータからなる空間における距離が前記選択基準を満たす画像を、前記対象画像として選択し、
前記除外基準は前記選択基準未満である画像選択装置。
5.上記2~4のいずれか一項に記載の画像選択装置において、
前記除外画像選択手段は、少なくとも一つの前記除外画像の選択入力を取得し、当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外し、
前記検索用情報取得手段は、
前記検索クエリ画像を用いて前記複数の対象画像を選択するための選択基準を、前記選択入力によって選択された前記除外画像を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。
6.上記2に記載の画像選択装置において、
前記除外用スコアは、少なくとも一つのパラメータによって示されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、ユーザからの入力に従って設定する画像選択装置。
7.上記6に記載の画像選択装置において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定し、
前記検索用情報取得手段は、
前記選択基準を、前記除外基準を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。
8.上記1~7のいずれか一項に記載の画像選択装置において、
前記除外画像選択手段は、前記複数の対象画像を、前記除外画像を特定可能な状態で表示手段に表示させ、
さらに、所定の入力があったときに、前記複数の対象画像から前記除外画像を除外する除外手段を備える画像選択装置
9.上記8に記載の画像選択装置において、
前記除外画像選択手段は、
前記複数の対象画像を表示させた後、少なくとも一つの前記除外画像の選択入力を取得し、
当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外する画像選択装置。
10.上記8又は9に記載の画像選択装置において、
前記除外画像選択手段は、複数の前記除外画像を選択し、
前記除外画像選択手段は、所定の入力があったときには、前記複数の除外画像を前記複数の対象画像から除外する画像選択装置。
11.コンピュータが、
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得処理と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得処理と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出処理と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択処理と、
を行う画像選択方法。
12.上記11に記載の画像選択方法において、
前記検索用情報取得処理において、前記コンピュータは、前記対象画像に含まれるべき姿勢の人物を含む検索クエリ画像を取得し、当該検索クエリ画像に対する類似度を示す選択用スコアを用いて前記複数の対象画像を選択する画像選択方法。
13.上記12に記載の画像選択方法において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択処理において、前記コンピュータは、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定する画像選択方法。
14.上記13に記載の画像選択方法において、
前記除外画像選択処理において、前記コンピュータは、前記パラメータからなる空間における距離が前記除外基準を満たす前記対象画像を、前記除外画像として選択し、
前記検索用情報取得処理において、前記コンピュータは、前記パラメータからなる空間における距離が前記選択基準を満たす画像を、前記対象画像として選択し、
前記除外基準は前記選択基準未満である画像選択方法。
15.上記12~14のいずれか一項に記載の画像選択方法において、
前記除外画像選択処理において、前記コンピュータは、少なくとも一つの前記除外画像の選択入力を取得し、当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外し、
前記検索用情報取得処理において、前記コンピュータは、
前記検索クエリ画像を用いて前記複数の対象画像を選択するための選択基準を、前記選択入力によって選択された前記除外画像を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択方法。
16.上記12に記載の画像選択方法において、
前記除外用スコアは、少なくとも一つのパラメータによって示されており、
前記除外画像選択処理において、前記コンピュータは、前記除外画像を選択するための除外基準を、ユーザからの入力に従って設定する画像選択方法。
17.上記16に記載の画像選択方法において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択処理において、前記コンピュータは、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定し、
前記検索用情報取得処理において、前記コンピュータは、
前記選択基準を、前記除外基準を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択方法。
18.上記11~17のいずれか一項に記載の画像選択方法において、
前記除外画像選択処理において、前記コンピュータは、前記複数の対象画像を、前記除外画像を特定可能な状態で表示手段に表示させ、
さらに、前記コンピュータは、所定の入力があったときに、前記複数の対象画像から前記除外画像を除外する除外処理を行う、画像選択方法
19.上記18に記載の画像選択方法において、
前記除外画像選択処理において、前記コンピュータは、
前記複数の対象画像を表示させた後、少なくとも一つの前記除外画像の選択入力を取得し、
当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外する画像選択方法。
20.上記18又は19に記載の画像選択方法において、
前記除外画像選択処理において、前記コンピュータは、複数の前記除外画像を選択し、
前記除外画像選択処理において、前記コンピュータは、所定の入力があったときには、前記複数の除外画像を前記複数の対象画像から除外する画像選択方法。
21.コンピュータに、
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得機能と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得機能と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出機能と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択機能と、
を持たせるプログラム。
22.上記21に記載のプログラムにおいて、
前記検索用情報取得機能は、前記対象画像に含まれるべき姿勢の人物を含む検索クエリ画像を取得し、当該検索クエリ画像に対する類似度を示す選択用スコアを用いて前記複数の対象画像を選択するプログラム。
23.上記22に記載のプログラムにおいて、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択機能は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定するプログラム。
24.上記23に記載のプログラムにおいて、
前記除外画像選択機能は、前記パラメータからなる空間における距離が前記除外基準を満たす前記対象画像を、前記除外画像として選択し、
前記検索用情報取得機能は、前記パラメータからなる空間における距離が前記選択基準を満たす画像を、前記対象画像として選択し、
前記除外基準は前記選択基準未満であるプログラム。
25.上記22~24のいずれか一項に記載のプログラムにおいて、
前記除外画像選択機能は、少なくとも一つの前記除外画像の選択入力を取得し、当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外し、
前記検索用情報取得機能は、
前記検索クエリ画像を用いて前記複数の対象画像を選択するための選択基準を、前記選択入力によって選択された前記除外画像を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させるプログラム。
26.上記22に記載のプログラムにおいて、
前記除外用スコアは、少なくとも一つのパラメータによって示されており、
前記除外画像選択機能は、前記除外画像を選択するための除外基準を、ユーザからの入力に従って設定するプログラム。
27.上記26に記載のプログラムにおいて、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択機能は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定し、
前記検索用情報取得機能は、
前記選択基準を、前記除外基準を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させるプログラム。
28.上記21~27のいずれか一項に記載のプログラムにおいて、
前記除外画像選択機能は、前記複数の対象画像を、前記除外画像を特定可能な状態で表示手段に表示させ、
さらに、前記コンピュータに、所定の入力があったときに、前記複数の対象画像から前記除外画像を除外する除外機能を持たせるプログラム
29.上記28に記載のプログラムにおいて、
前記除外画像選択機能は、
前記複数の対象画像を表示させた後、少なくとも一つの前記除外画像の選択入力を取得し、
当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外するプログラム。
30.上記28又は29に記載のプログラムにおいて、
前記除外画像選択機能は、複数の前記除外画像を選択し、
前記除外画像選択機能は、所定の入力があったときには、前記複数の除外画像を前記複数の対象画像から除外するプログラム。
10 画像処理装置(画像選択装置)
11 骨格検出部
12 特徴量算出部
13 認識部
100 画像処理装置(画像選択装置)
101 画像取得部
102 骨格構造検出部
103 特徴量算出部
104 分類部
105 検索部
106 入力部
107 表示部
108 身長算出部
110 データベース
200 カメラ
300、301 人体モデル
401 2次元骨格構造
402 3次元人体モデル
610 検索用情報取得部
620 除外用情報取得部
630 除外用スコア算出部
640 除外画像選択部
Claims (10)
- 複数の対象画像毎に生成された情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得手段と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得手段と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出手段と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択手段と、
を備える画像選択装置。 - 請求項1に記載の画像選択装置において、
前記検索用情報取得手段は、前記対象画像に含まれるべき姿勢の人物を含む検索クエリ画像を取得し、当該検索クエリ画像に対する類似度を示す選択用スコアを用いて前記複数の対象画像を選択する画像選択装置。 - 請求項2に記載の画像選択装置において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定する画像選択装置。 - 請求項3に記載の画像選択装置において、
前記除外画像選択手段は、前記パラメータからなる空間における距離が前記除外基準を満たす前記対象画像を、前記除外画像として選択し、
前記検索用情報取得手段は、前記パラメータからなる空間における距離が前記選択基準を満たす画像を、前記対象画像として選択し、
前記除外基準は前記選択基準未満である画像選択装置。 - 請求項2~4のいずれか一項に記載の画像選択装置において、
前記除外画像選択手段は、少なくとも一つの前記除外画像の選択入力を取得し、当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外し、
前記検索用情報取得手段は、
前記検索クエリ画像を用いて前記複数の対象画像を選択するための選択基準を、前記選択入力によって選択された前記除外画像を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。 - 請求項2に記載の画像選択装置において、
前記除外用スコアは、少なくとも一つのパラメータによって示されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、ユーザからの入力に従って設定する画像選択装置。 - 請求項6に記載の画像選択装置において、
前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定し、
前記検索用情報取得手段は、
前記選択基準を、前記除外基準を用いて更新し、
前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。 - 請求項1~7のいずれか一項に記載の画像選択装置において、
前記除外画像選択手段は、前記複数の対象画像を、前記除外画像を特定可能な状態で表示手段に表示させ、
さらに、所定の入力があったときに、前記複数の対象画像から前記除外画像を除外する除外手段を備える画像選択装置。 - コンピュータが、
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得し、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得し、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出し、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する、画像選択方法。 - コンピュータに、
複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得機能と、
検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得機能と、
前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出機能と、
前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択機能と、
を持たせるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/018692 WO2021224994A1 (ja) | 2020-05-08 | 2020-05-08 | 画像選択装置、画像選択方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021224994A1 JPWO2021224994A1 (ja) | 2021-11-11 |
JPWO2021224994A5 JPWO2021224994A5 (ja) | 2023-01-24 |
JP7435754B2 true JP7435754B2 (ja) | 2024-02-21 |
Family
ID=78468052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519885A Active JP7435754B2 (ja) | 2020-05-08 | 2020-05-08 | 画像選択装置、画像選択方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230206482A1 (ja) |
JP (1) | JP7435754B2 (ja) |
WO (1) | WO2021224994A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141584A (ja) | 2003-11-07 | 2005-06-02 | Omron Corp | 画像削除装置,及び画像圧縮装置 |
JP2014522035A (ja) | 2011-07-27 | 2014-08-28 | サムスン エレクトロニクス カンパニー リミテッド | オブジェクト姿勢検索装置及び方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007469A (ja) * | 2000-06-23 | 2002-01-11 | Yamaha Motor Co Ltd | 検索方法、検索装置及び画像検索装置 |
JP5970512B2 (ja) * | 2014-09-26 | 2016-08-17 | エヌ・ティ・ティ・コムウェア株式会社 | 情報処理方法、情報処理装置、及びプログラム |
-
2020
- 2020-05-08 US US17/921,415 patent/US20230206482A1/en active Pending
- 2020-05-08 WO PCT/JP2020/018692 patent/WO2021224994A1/ja active Application Filing
- 2020-05-08 JP JP2022519885A patent/JP7435754B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141584A (ja) | 2003-11-07 | 2005-06-02 | Omron Corp | 画像削除装置,及び画像圧縮装置 |
JP2014522035A (ja) | 2011-07-27 | 2014-08-28 | サムスン エレクトロニクス カンパニー リミテッド | オブジェクト姿勢検索装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230206482A1 (en) | 2023-06-29 |
WO2021224994A1 (ja) | 2021-11-11 |
JPWO2021224994A1 (ja) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021084677A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7416252B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7501622B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP7409499B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7435781B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7491380B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7364077B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7435754B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7396364B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7375921B2 (ja) | 画像分類装置、画像分類方法、およびプログラム | |
JP7501621B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
JP7302741B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2022249278A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2022079795A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022249331A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7485040B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7468642B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2023112321A1 (ja) | 画像処理システム、画像処理方法及び非一時的なコンピュータ可読媒体 | |
WO2023152974A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023152977A1 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7435754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |