JPWO2020016963A1 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2020016963A1 JPWO2020016963A1 JP2020530785A JP2020530785A JPWO2020016963A1 JP WO2020016963 A1 JPWO2020016963 A1 JP WO2020016963A1 JP 2020530785 A JP2020530785 A JP 2020530785A JP 2020530785 A JP2020530785 A JP 2020530785A JP WO2020016963 A1 JPWO2020016963 A1 JP WO2020016963A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- target object
- estimated position
- reference information
- parts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
<概要>
図1は、本実施形態の情報処理装置2000が行う処理を概念的に示す図である。情報処理装置2000は、カメラ10によって生成された撮像画像20から、対象オブジェクトが存在すると推定される位置である推定位置24を検出する。対象オブジェクトは、人の持ち物である。なお、ここでいう「人の持ち物」とは、人が手に持っている物(手提げカバンや杖など)には限定されず、何らかの形で人が所持している物を全般的に含む。例えば、人の持ち物には、人が肩に掛けている物(肩掛けカバンなど)、人が首から提げている物(身分証明書など)、人が背中に背負っている物(リュックサックなど)、人が頭に装着している物(帽子やヘルメットなど)、人が顔に装着している物(眼鏡やサングラスなど)、及び人が手に装着している物(時計など)などが含まれる。
人の持ち物は、人の身体を構成する複数のパーツ22との相対的な位置関係を予測することができる。例えばリュックサックの位置は、首、肩、及び腰の位置関係を利用して予測することが考えられる。そこで情報処理装置2000は、撮像画像20から人の複数のパーツ22を検出し、検出された複数のパーツ22の位置関係を利用して、対象オブジェクトの推定位置24を検出する。このように複数のパーツ22との位置関係を利用して対象オブジェクトの位置を推測することにより、特定の1つの部位との位置関係を利用して対象オブジェクトの位置を推測する方法と比較し、対象オブジェクトの位置を高い精度で推測することができる。
図2は、実施形態1の情報処理装置2000の機能構成を例示する図である。情報処理装置2000は、パーツ検出部2020及び推定位置検出部2040を有する。パーツ検出部2020は、撮像画像20に含まれる人の身体を構成する複数のパーツ22を検出する。推定位置検出部2040は、検出された複数のパーツ22それぞれの位置に関する情報を用いて、撮像画像20に含まれる人が所持する対象オブジェクトの推定位置24を検出する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
カメラ10は、撮像を行い、その結果として画像データを生成する任意の撮像装置である。例えばカメラ10は、監視場所に設置された監視カメラである。
情報処理装置2000は、「カメラによって生成された画像データから所定のオブジェクトを検出する」という処理が有用な任意の場面で利用することができる。例えば情報処理装置2000は、監視カメラによって生成された監視映像の解析に利用される。この場合、カメラ10は監視映像を生成する監視カメラである。また、撮像画像20は監視映像を構成するビデオフレームである。
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。情報処理装置2000は、撮像画像20を取得する(S102)。パーツ検出部2020は、撮像画像20から、対象人物を構成する複数のパーツ22を検出する(S104)。推定位置検出部2040は、検出した複数のパーツ22の位置に関する情報を用いて、推定位置24を検出する(S106)。
情報処理装置2000は撮像画像20を取得する(S102)。撮像画像20は、カメラ10によって生成された画像データそのものであってもよいし、カメラ10によって生成された画像データに対して何らかの処理(例えば色調補正やトリミングなど)が加えられたものであってもよい。
パーツ検出部2020は、撮像画像20から、人を構成する複数のパーツ22を検出する(S104)。人を構成するパーツ22は、例えば、人の関節を表す。また、パーツ22は、顔のパーツ(目、耳、又は鼻など)や、腕、脚、又は胴体の所定部分(中心点など)などを表してもよい。
推定位置検出部2040は、パーツ情報を用いて推定位置24を検出する。前述した様に、推定位置24は、撮像画像20において対象オブジェクトが存在すると推定される位置である。推定位置24は、撮像画像20上において、一点で表されてもよいし、複数の点で表されてもよいし、画像領域で表されてもよい。
例えば推定位置検出部2040は、抽出された各参照情報が示す位置情報行列を積算することで、対象オブジェクトの位置情報を重ね合わせる。このようにして得られる行列データでは、値が大きい要素ほど、多くの参照情報においてその要素に対応する画素に対象オブジェクトが存在していることを意味する。そのため、このようにして得られる行列データは、対象オブジェクトが存在する確率の大きさの分布を表しているといえる。
推定位置検出部2040は、位置情報行列と同じサイズの行列データを生成し、その行列データの各要素に対して、1)抽出された各参照情報が示す位置情報行列の少なくとも1つにおいて、対応する要素の値が1である場合には1を設定し、2)抽出された各参照情報が示す位置情報行列のいずれにおいても、対応する要素の値が0である場合には0を設定する。すなわち、重ねあわせの結果得られる行列データは、少なくとも1つの参照画像において対象オブジェクトが存在する箇所の要素には1を示し、いずれの参照画像においても対象オブジェクトが存在しない箇所の要素には0を示す。なお、このような行列データは、抽出された各参照情報が示す位置情報行列の各要素について論理和を算出することでも得ることができる。
推定位置検出部2040は、参照情報が示すオブジェクトの位置情報を重ね合わせた結果として得られたデータ(すなわち、前述した行列データ60)を撮像画像20と対応付けることで、推定位置24を検出する。例えば行列データ60が対象オブジェクトの有無を示す場合、推定位置検出部2040は、行列データ60の要素を撮像画像20上の位置に対応付け、行列データ60において値が1を示す要素に対応する撮像画像20の位置を、推定位置24として検出する。
推定位置検出部2040は、撮像画像20から得られたパーツ情報との類似度合いが高いパーツ情報を示す参照情報を、参照情報記憶部から抽出する。そのために、推定位置検出部2040は、2つのパーツ情報が類似するか否かを判定する。
推定位置検出部2040が推定位置24を検出する方法は、参照情報記憶部から参照情報を抽出する方法に限定されない。例えば推定位置検出部2040は、画像データから生成されたパーツ情報が入力されたことに応じて、その画像データにおいて対象オブジェクトが存在すると推定される位置を検出するように予め学習させた検出器を利用してもよい。検出器のモデルには、ニューラルネットワークなどの任意のモデルを採用できる。
情報処理装置2000は、推定位置24を特定する情報(以下、出力情報)を出力する。出力情報を出力する方法は様々である。例えば情報処理装置2000は、出力情報を任意の記憶装置に記憶させる。その他にも例えば、情報処理装置2000は、出力情報をディスプレイ装置に表示させる。
<概要>
図12は、実施形態2の情報処理装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態の情報処理装置2000によれば、種類情報によって示されている種類のオブジェクトについて推定位置24が検出される。こうすることで、複数の種類のオブジェクトのうち、指定されたオブジェクトを撮像画像20から検出するように、情報処理装置2000を設定できる。そのため、複数の種類のオブジェクトそれぞれを撮像画像20から検出したり、その時々で検出するオブジェクトの種類を変更したりすることができる。そのため、情報処理装置2000の利便性が向上する。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
図13は、実施形態2の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。種類情報取得部2060は、種類情報を取得する(S202)。情報処理装置2000は撮像画像20を取得する(S204)。パーツ検出部2020はパーツ22を検出する(S206)推定位置検出部2040は、種類情報に示される種類のオブジェクトについて、推定位置24を検出する(S208)。
図14は、実施形態3の情報処理装置2000が実行する処理の概要を例示する図である。実施形態3の情報処理装置2000は、対象オブジェクトの画像特徴に基づいて、撮像画像20から、候補領域26を1つ以上検出する。候補領域26は、対象オブジェクトを表すと推定される画像領域の候補である。例えば対象オブジェクトが帽子であれば、情報処理装置2000は、帽子の画像特徴に基づいて、帽子を表すと推定される画像領域を検出し、検出した画像領域を候補領域26とする。候補領域26は、例えば、対象オブジェクトを表す確率が所定値以上であると推測される画像領域である。
本実施形態の情報処理装置2000によれば、対象オブジェクトの画像特徴に基づいて検出される候補領域26と、人を構成する複数のパーツ22に基づいて検出された推定位置24とを用いて、対象オブジェクトを表すオブジェクト領域30が特定される。こうすることで、対象オブジェクトの画像特徴に基づいて検出される候補領域26の全てがオブジェクト領域30(対象オブジェクトを表す画像領域)として特定されるわけではなく、推定位置24によって、オブジェクト領域30として特定される候補領域26が限定される。例えば、対象オブジェクトが存在する蓋然性が低い位置の候補領域26は、オブジェクト領域30として特定されなくなる。このように、対象オブジェクトを表す画像領域を、対象オブジェクトの画像特徴という基準と、人を構成する複数のパーツとの位置という基準の2つを利用して特定することにより、対象オブジェクトの画像特徴という1つの基準で特定する場合と比較し、対象オブジェクトを表す画像領域を高い精度で特定することができる。
図15は、実施形態3の情報処理装置2000の機能構成を例示するブロック図である。実施形態3の情報処理装置2000は、実施形態2の情報処理装置2000が有する各機能構成部(図2参照)に加え、候補領域検出部2080及び特定部2100を有する。候補領域検出部2080は、対象オブジェクトの画像特徴に基づき、撮像画像20から候補領域26を1つ以上検出する。特定部2100は、検出された1つ以上の候補領域26と、推定位置24とに基づいて、候補領域26の中からオブジェクト領域30を特定する。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
図16は、実施形態2の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。なお、図4と同じ符号が付されているステップは、図4に示したステップと同様のものである。候補領域検出部2080は、対象オブジェクトの画像特徴に基づいて、撮像画像20から候補領域26を1つ以上検出する(S302)。特定部2100は、候補領域26と推定位置24とに基づいて、オブジェクト領域30を特定する(S304)。
候補領域検出部2080は、対象オブジェクトの画像特徴に基づいて、撮像画像20から候補領域26を検出する(S302)。ここで、検出対象のオブジェクトの画像特徴に基づいて、画像データからそのオブジェクトを表すと推測される画像領域(すなわち、候補領域26)を検出する技術には、既存の技術を利用することができる。例えば、候補領域26の検出には、対象オブジェクトを表すと推定される画像領域を画像データから検出するように予め学習させた検出器を利用することができる。検出器のモデルには、ニューラルネットワーク(例えば、畳み込みニューラルネットワーク)や SVM(サポートベクトルマシン)などの任意のモデルを採用できる。
特定部2100は、候補領域26と推定位置24とに基づいて、オブジェクト領域30を特定する(S304)。概念的には、特定部2100は、推定位置24を用いて、対象オブジェクトを含むと推測される画像領域である候補領域26の中から、対象オブジェクトを含む蓋然性が特に高いものを特定し、特定した候補領域26をオブジェクト領域30として特定する。ただし後述するように、オブジェクト領域30は、いずれか1つの候補領域26と完全に一致する必要はなく、候補領域26の一部の画像領域であってもよい。
特定部2100は、推定位置24を含む候補領域26を、オブジェクト領域30として特定する。図17は、推定位置24を含む候補領域26を例示する図である。図17では、撮像画像20から、候補領域26が複数検出されている。また、推定位置24が1つ検出されている。ここで、推定位置24は候補領域26−1に含まれている。そこで特定部2100は、候補領域26−1をオブジェクト領域30として特定する。
ここでは、推定位置24が複数算出されることを前提とする。そして特定部2100は、各候補領域26について、推定位置24を含む度合いを表すスコア(以下、第1スコア)を算出する。特定部2100は、第1スコアに基づいてオブジェクト領域30を特定する。
ここでは、候補領域検出部2080が、各候補領域26について、その候補領域26が対象オブジェクトを表す確率を算出するとする。また、特定部2100は、各候補領域26について、前述した第1スコアを算出するとする。特定部2100は、候補領域26が対象オブジェクトを表す確率と、第1スコアとの積として、第2スコアを算出する。そして特定部2100は、第2スコアに基づいてオブジェクト領域30を特定する。
特定部2100は、候補領域26の代表点と推定位置24との間の距離に基づく第3スコアを算出し、算出した第3スコアに基づいてオブジェクト領域30を特定する。第3スコアに基づいてオブジェクト領域30を特定する方法は様々である。例えば特定部2100は、最も小さい第3スコアが算出された候補領域26を、オブジェクト領域30として特定する。その他にも例えば、特定部2100は、所定値以下の第3スコアが算出された候補領域26を、オブジェクト領域30として特定する。
情報処理装置2000は、オブジェクト領域30を特定する情報(以下、出力情報)を出力する。出力情報を出力する方法は様々である。例えば情報処理装置2000は、出力情報を任意の記憶装置に記憶させる。その他にも例えば、情報処理装置2000は、出力情報をディスプレイ装置に記憶させる。
推定位置検出部2040は、パーツ22の検出を行う範囲を、候補領域26を利用いて限定してもよい。すなわち、撮像画像20全体からではなく、候補領域26に基づいて限定される一部の画像領域からパーツ22の検出を行う。具体的には、推定位置検出部2040は、候補領域26を含む所定の範囲(例えば、候補領域26を所定倍拡大することで得られる範囲)からパーツ22を検出する。こうすることで、パーツ22の検出に要する時間や計算機資源を削減することができる。
実施形態3の情報処理装置2000は、実施形態2の情報処理装置2000と同様に、種類情報を取得してもよい。この場合、実施形態3の情報処理装置2000は、種類情報が示す種類のオブジェクトについて、候補領域26の検出、推定位置24の検出、及びオブジェクト領域30の特定を行う。
1. 撮像画像に含まれる人の身体を構成する複数のパーツを検出するパーツ検出部と、
前記検出された複数のパーツそれぞれの位置に関する情報を用いて、前記撮像画像における対象オブジェクトの推定位置を検出する推定位置検出部と、を有する情報処理装置。
2. 参照情報を記憶している参照情報記憶部と通信可能に接続されており、
参照情報は、オブジェクトの位置情報と、そのオブジェクトを所持する人の複数のパーツそれぞれの位置に関するパーツ情報とを対応づけており、
前記パーツ検出部は、前記複数のパーツそれぞれの位置に関するパーツ情報を生成し、
前記推定位置検出部は、前記生成されたパーツ情報との類似度が高いパーツ情報を示す前記参照情報を抽出し、前記抽出した参照情報に示されているオブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、1.に記載の情報処理装置。
3. 前記パーツ情報は、複数のパーツそれぞれの座標、複数のパーツそれぞれについて隣接するパーツとを結ぶ方向ベクトル、前記方向ベクトルの向き、及び隣接するパーツを結ぶ直線同士の成す角度のいずれかを列挙したベクトルデータであり、
前記推定位置検出部は、
前記生成されたパーツ情報が示すベクトルデータと、前記参照情報に含まれるパーツ情報が示すベクトルデータとの間の距離を算出し、
前記生成されたパーツ情報との類似度が高いパーツ情報を示す参照情報として、対応するパーツ情報について算出された前記距離が閾値以下である参照情報か、又は対応するパーツ情報について算出された前記距離の大きさの昇順で所定の順位以下である参照情報を抽出する、2.に記載の情報処理装置。
4. 前記参照情報が示すオブジェクトの位置情報は、前記対象オブジェクトを所持する人を含む画像の各画素における前記対象オブジェクトの有無を表す行列データであり、
前記推定位置検出部は、前記抽出した参照情報それぞれが示す前記行列データを重ね合わせることで、前記推定位置を検出する、2.又は3.に記載の情報処理装置。
5. 対象オブジェクトの種類を示す種類情報を取得する種類情報取得部を有し、
前記参照情報は、オブジェクトの種類、その種類のオブジェクトを所持する人のパーツ情報、及びその種類のオブジェクトの位置情報を対応づけており、
前記推定位置検出部は、前記種類情報が示す対象オブジェクトの種類を示し、なおかつ前記パーツ検出部によって生成された前記パーツ情報との類似度が閾値以上である前記パーツ情報を示す前記参照情報を抽出し、前記抽出した参照情報に示されている対象オブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、2.乃至4.いずれか一つに記載の情報処理装置。
6. 少なくとも1つの前記パーツは関節である、2.乃至5.いずれか一つに記載の情報処理装置。
7. 前記対象オブジェクトの画像特徴に基づいて、前記撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出部と、
前記検出した1つ以上の候補領域と前記推定位置に基づいて、前記検出した1つ以上の候補領域の中から前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定部と、を有する1.乃至6.いずれか一つに記載の情報処理装置。
撮像画像に含まれる人の身体を構成する複数のパーツを検出するパーツ検出ステップと、
前記検出された複数のパーツそれぞれの位置に関する情報を用いて、前記撮像画像における対象オブジェクトの推定位置を検出する推定位置検出ステップと、を有する制御方法。
9. 参照情報を記憶している参照情報記憶部と通信可能に接続されており、
参照情報は、オブジェクトの位置情報と、そのオブジェクトを所持する人の複数のパーツそれぞれの位置に関するパーツ情報とを対応づけており、
前記パーツ検出ステップにおいて、前記複数のパーツそれぞれの位置に関するパーツ情報を生成し、
前記推定位置検出ステップにおいて、前記生成されたパーツ情報との類似度が高いパーツ情報を示す前記参照情報を前記参照情報記憶部から抽出し、前記抽出した参照情報に示されているオブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、8.に記載の制御方法。
10. 前記パーツ情報は、複数のパーツそれぞれの座標、複数のパーツそれぞれについて隣接するパーツとを結ぶ方向ベクトル、前記方向ベクトルの向き、及び隣接するパーツを結ぶ直線同士の成す角度のいずれかを列挙したベクトルデータであり、
前記推定位置検出ステップにおいて、
前記生成されたパーツ情報が示すベクトルデータと、前記参照情報に含まれるパーツ情報が示すベクトルデータとの間の距離を算出し、
前記生成されたパーツ情報との類似度が高いパーツ情報を示す参照情報として、対応するパーツ情報について算出された前記距離が閾値以下である参照情報か、又は対応するパーツ情報について算出された前記距離の大きさの昇順で所定の順位以下である参照情報を抽出する、9.に記載の制御方法。
11. 前記参照情報が示すオブジェクトの位置情報は、前記対象オブジェクトを所持する人を含む画像の各画素における前記対象オブジェクトの有無を表す行列データであり、
前記推定位置検出ステップにおいて、前記抽出した参照情報それぞれが示す前記行列データを重ね合わせることで、前記推定位置を検出する、9.又は10.に記載の制御方法。
12. 対象オブジェクトの種類を示す種類情報を取得する種類情報取得ステップを有し、
前記参照情報は、オブジェクトの種類、その種類のオブジェクトを所持する人のパーツ情報、及びその種類のオブジェクトの位置情報を対応づけており、
前記推定位置検出ステップにおいて、前記種類情報が示す対象オブジェクトの種類を示し、なおかつ前記パーツ検出ステップによって生成された前記パーツ情報との類似度が閾値以上である前記パーツ情報を示す前記参照情報を前記参照情報記憶部から抽出し、前記抽出した参照情報に示されている対象オブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、9.乃至11.いずれか一つに記載の制御方法。
13. 少なくとも1つの前記パーツは関節である、9.乃至12.いずれか一つに記載の制御方法。
14. 前記対象オブジェクトの画像特徴に基づいて、前記撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出ステップと、
前記検出した1つ以上の候補領域と前記推定位置に基づいて、前記検出した1つ以上の候補領域の中から前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定ステップと、を有する8.乃至13.いずれか一つに記載の制御方法。
Claims (15)
- 撮像画像に含まれる人の身体を構成する複数のパーツを検出するパーツ検出部と、
前記検出された複数のパーツそれぞれの位置に関する情報を用いて、前記撮像画像における対象オブジェクトの推定位置を検出する推定位置検出部と、を有する情報処理装置。 - 参照情報を記憶している参照情報記憶部と通信可能に接続されており、
参照情報は、オブジェクトの位置情報と、そのオブジェクトを所持する人の複数のパーツそれぞれの位置に関するパーツ情報とを対応づけており、
前記パーツ検出部は、前記複数のパーツそれぞれの位置に関するパーツ情報を生成し、
前記推定位置検出部は、前記生成されたパーツ情報との類似度が高いパーツ情報を示す前記参照情報を抽出し、前記抽出した参照情報に示されているオブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、請求項1に記載の情報処理装置。 - 前記パーツ情報は、複数のパーツそれぞれの座標、複数のパーツそれぞれについて隣接するパーツとを結ぶ方向ベクトル、前記方向ベクトルの向き、及び隣接するパーツを結ぶ直線同士の成す角度のいずれかを列挙したベクトルデータであり、
前記推定位置検出部は、
前記生成されたパーツ情報が示すベクトルデータと、前記参照情報に含まれるパーツ情報が示すベクトルデータとの間の距離を算出し、
前記生成されたパーツ情報との類似度が高いパーツ情報を示す参照情報として、対応するパーツ情報について算出された前記距離が閾値以下である参照情報か、又は対応するパーツ情報について算出された前記距離の大きさの昇順で所定の順位以下である参照情報を抽出する、請求項2に記載の情報処理装置。 - 前記参照情報が示すオブジェクトの位置情報は、前記対象オブジェクトを所持する人を含む画像の各画素における前記対象オブジェクトの有無を表す行列データであり、
前記推定位置検出部は、前記抽出した参照情報それぞれが示す前記行列データを重ね合わせることで、前記推定位置を検出する、請求項2又は3に記載の情報処理装置。 - 対象オブジェクトの種類を示す種類情報を取得する種類情報取得部を有し、
前記参照情報は、オブジェクトの種類、その種類のオブジェクトを所持する人のパーツ情報、及びその種類のオブジェクトの位置情報を対応づけており、
前記推定位置検出部は、前記種類情報が示す対象オブジェクトの種類を示し、なおかつ前記パーツ検出部によって生成された前記パーツ情報との類似度が閾値以上である前記パーツ情報を示す前記参照情報を抽出し、前記抽出した参照情報に示されている対象オブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、請求項2乃至4いずれか一項に記載の情報処理装置。 - 少なくとも1つの前記パーツは関節である、請求項2乃至5いずれか一項に記載の情報処理装置。
- 前記対象オブジェクトの画像特徴に基づいて、前記撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出部と、
前記検出した1つ以上の候補領域と前記推定位置に基づいて、前記検出した1つ以上の候補領域の中から前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定部と、を有する請求項1乃至6いずれか一項に記載の情報処理装置。 - コンピュータによって実行される制御方法であって、
撮像画像に含まれる人の身体を構成する複数のパーツを検出するパーツ検出ステップと、
前記検出された複数のパーツそれぞれの位置に関する情報を用いて、前記撮像画像における対象オブジェクトの推定位置を検出する推定位置検出ステップと、を有する制御方法。 - 参照情報を記憶している参照情報記憶部と通信可能に接続されており、
参照情報は、オブジェクトの位置情報と、そのオブジェクトを所持する人の複数のパーツそれぞれの位置に関するパーツ情報とを対応づけており、
前記パーツ検出ステップにおいて、前記複数のパーツそれぞれの位置に関するパーツ情報を生成し、
前記推定位置検出ステップにおいて、前記生成されたパーツ情報との類似度が高いパーツ情報を示す前記参照情報を前記参照情報記憶部から抽出し、前記抽出した参照情報に示されているオブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、請求項8に記載の制御方法。 - 前記パーツ情報は、複数のパーツそれぞれの座標、複数のパーツそれぞれについて隣接するパーツとを結ぶ方向ベクトル、前記方向ベクトルの向き、及び隣接するパーツを結ぶ直線同士の成す角度のいずれかを列挙したベクトルデータであり、
前記推定位置検出ステップにおいて、
前記生成されたパーツ情報が示すベクトルデータと、前記参照情報に含まれるパーツ情報が示すベクトルデータとの間の距離を算出し、
前記生成されたパーツ情報との類似度が高いパーツ情報を示す参照情報として、対応するパーツ情報について算出された前記距離が閾値以下である参照情報か、又は対応するパーツ情報について算出された前記距離の大きさの昇順で所定の順位以下である参照情報を抽出する、請求項9に記載の制御方法。 - 前記参照情報が示すオブジェクトの位置情報は、前記対象オブジェクトを所持する人を含む画像の各画素における前記対象オブジェクトの有無を表す行列データであり、
前記推定位置検出ステップにおいて、前記抽出した参照情報それぞれが示す前記行列データを重ね合わせることで、前記推定位置を検出する、請求項9又は10に記載の制御方法。 - 対象オブジェクトの種類を示す種類情報を取得する種類情報取得ステップを有し、
前記参照情報は、オブジェクトの種類、その種類のオブジェクトを所持する人のパーツ情報、及びその種類のオブジェクトの位置情報を対応づけており、
前記推定位置検出ステップにおいて、前記種類情報が示す対象オブジェクトの種類を示し、なおかつ前記パーツ検出ステップによって生成された前記パーツ情報との類似度が閾値以上である前記パーツ情報を示す前記参照情報を前記参照情報記憶部から抽出し、前記抽出した参照情報に示されている対象オブジェクトの位置情報に基づいて、前記対象オブジェクトの推定位置を決定する、請求項9乃至11いずれか一項に記載の制御方法。 - 少なくとも1つの前記パーツは関節である、請求項9乃至12いずれか一項に記載の制御方法。
- 前記対象オブジェクトの画像特徴に基づいて、前記撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出ステップと、
前記検出した1つ以上の候補領域と前記推定位置に基づいて、前記検出した1つ以上の候補領域の中から前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定ステップと、を有する請求項8乃至13いずれか一項に記載の制御方法。 - 請求項7乃至14いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021197507A JP7259921B2 (ja) | 2018-07-18 | 2021-12-06 | 情報処理装置、及び制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/026919 WO2020016963A1 (ja) | 2018-07-18 | 2018-07-18 | 情報処理装置、制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021197507A Division JP7259921B2 (ja) | 2018-07-18 | 2021-12-06 | 情報処理装置、及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020016963A1 true JPWO2020016963A1 (ja) | 2021-07-15 |
JP6992900B2 JP6992900B2 (ja) | 2022-01-13 |
Family
ID=69165027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530785A Active JP6992900B2 (ja) | 2018-07-18 | 2018-07-18 | 情報処理装置、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11527090B2 (ja) |
JP (1) | JP6992900B2 (ja) |
WO (1) | WO2020016963A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460871B (zh) * | 2019-01-18 | 2023-12-22 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、存储介质 |
US20230289998A1 (en) * | 2020-08-14 | 2023-09-14 | Nec Corporation | Object recognition device, object recognition method, and recording medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010086482A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 画像認識装置および画像認識方法 |
WO2012036306A1 (ja) * | 2010-09-17 | 2012-03-22 | 日本電気株式会社 | 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム |
JP2013065156A (ja) * | 2011-09-16 | 2013-04-11 | Kddi Corp | 画像解析装置および画像評価装置 |
JP2017016344A (ja) * | 2015-06-30 | 2017-01-19 | セコム株式会社 | 画像監視装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5771413B2 (ja) * | 2011-03-02 | 2015-08-26 | パナソニック株式会社 | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 |
US9111147B2 (en) * | 2011-11-14 | 2015-08-18 | Massachusetts Institute Of Technology | Assisted video surveillance of persons-of-interest |
US9177360B2 (en) * | 2012-09-11 | 2015-11-03 | Apple Inc. | Automatic image orientation and straightening through image analysis |
US10192314B2 (en) * | 2016-12-14 | 2019-01-29 | Canon Kabushiki Kaisha | Method, system and apparatus for determining a lowest point of a target object in an image |
-
2018
- 2018-07-18 WO PCT/JP2018/026919 patent/WO2020016963A1/ja active Application Filing
- 2018-07-18 JP JP2020530785A patent/JP6992900B2/ja active Active
- 2018-07-18 US US17/258,599 patent/US11527090B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010086482A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 画像認識装置および画像認識方法 |
WO2012036306A1 (ja) * | 2010-09-17 | 2012-03-22 | 日本電気株式会社 | 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム |
JP2013065156A (ja) * | 2011-09-16 | 2013-04-11 | Kddi Corp | 画像解析装置および画像評価装置 |
JP2017016344A (ja) * | 2015-06-30 | 2017-01-19 | セコム株式会社 | 画像監視装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6992900B2 (ja) | 2022-01-13 |
US11527090B2 (en) | 2022-12-13 |
US20210166012A1 (en) | 2021-06-03 |
WO2020016963A1 (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6398979B2 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
JP2017191501A (ja) | 情報処理装置、情報処理方法及びプログラム | |
GB2584400A (en) | Processing captured images | |
JP2017059945A (ja) | 画像解析装置及び画像解析方法 | |
WO2022009301A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015197708A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP6992900B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN113688793A (zh) | 人脸模型的训练方法及人脸识别系统 | |
Araga et al. | Real time gesture recognition system using posture classifier and Jordan recurrent neural network | |
JP7501747B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US20240104769A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP7259921B2 (ja) | 情報処理装置、及び制御方法 | |
WO2021250808A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113488163A (zh) | 一种基于机器视觉的肌少症识别方法、装置、设备及介质 | |
US20230185845A1 (en) | Image selection apparatus, image selection method, and non-transitory computer-readable medium | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7435781B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7364077B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Mohana et al. | Human action recognition using STIP evaluation techniques | |
Zhao et al. | Octree segmentation based calling gesture recognition for elderly care robot | |
WO2021250809A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7302741B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2022249278A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20230401819A1 (en) | Image selection apparatus, image selection method, and non-transitory computer-readable medium | |
WO2022003854A1 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6992900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |