JPWO2022009327A5 - - Google Patents

Description

実施の形態に係る画像処理装置の概要を示す構成図である。 実施の形態１に係る画像処理装置の構成を示す構成図である。 実施の形態１に係る画像処理方法を示すフローチャートである。 実施の形態１に係る分類方法を示すフローチャートである。 実施の形態１に係る検索方法を示すフローチャートである。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る人体モデルを示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る分類方法の具体例を示すグラフである。 実施の形態１に係る分類結果の表示例を示す図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索結果の表示例を示す図である。 実施の形態２に係る画像処理装置の構成を示す構成図である。 実施の形態２に係る画像処理方法を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例１を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例２を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例３を示すフローチャートである。 実施の形態２に係る正規化方法を示すフローチャートである。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る身長画素数算出方法を説明するためのヒストグラムである。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る３次元人体モデルを示す図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 画像処理装置のハードウェア構成例を示す図である。 検索方法６に係る検索部の機能構成の一例を示す図である。 検索方法６において検索部が行う処理の一例を示すフローチャートである。 図４１のステップＳ３１０の第１の詳細例を示すフローチャートである。 図４２のステップＳ４３０で行われる処理の一例を説明するための図である。 図４２のステップＳ４３０で行われる処理の一例を説明するための図である。 図４１のステップＳ３１０の第２の詳細例を示すフローチャートである。 欠損キーポイントの重み付けの値を決める方法の一例を示す図である。 図４５のステップＳ４０２，Ｓ４３０で行われる処理の一例を説明するための図である。 図４５のステップＳ４０２，Ｓ４３０で行われる処理の一例を説明するための図である。 図４１の変形例を示すフローチャートである。

このように、実施の形態では、２次元画像から人物の２次元骨格構造を検出し、この２次元骨格構造から算出される特徴量に基づいて人物の状態の分類や検索等の認識処理を行うことで、所望の人物の状態を柔軟に認識することができる。

続いて、図３に示すように、画像処理装置１００は、分類処理を行う（Ｓ１０４）。分類処理では、図４に示すように、分類部１０４は、算出された骨格構造の特徴量の類似度を算出し（Ｓ１１１）、算出された類似度に基づいて骨格構造を分類する（Ｓ１１２）。分類部１０４は、分類対象であるデータベース１１０に格納されている全ての骨格構造間の特徴量の類似度を求め、最も類似度が高い骨格構造（姿勢）を同じクラスタに分類する（クラスタリングする）。さらに、分類したクラスタ間の類似度を求めて分類し、所定の数のクラスタとなるまで分類を繰り返す。図１１は、骨格構造の特徴量の分類結果のイメージを示している。図１１は、２次元の分類要素によるクラスタ分析のイメージであり、２つ分類要素は、例えば、骨格領域の高さと骨格領域の面積等である。図１１では、分類の結果、複数の骨格構造の特徴量が３つのクラスタＣ１～Ｃ３に分類されている。クラスタＣ１～Ｃ３は、例えば、立っている姿勢、座っている姿勢、寝ている姿勢のように各姿勢に対応し、似ている姿勢ごとに骨格構造（人物）が分類される。

（分類方法１）複数の階層による分類
全身の骨格構造による分類や、上半身や下半身の骨格構造による分類、腕や脚の骨格構造による分類等を階層的に組み合わせて分類する。すなわち、骨格構造の第１の部分や第２の部分の特徴量に基づいて分類し、さらに、第１の部分や第２の部分の特徴量に重みづけを行って分類してもよい。

（分類方法２）時系列に沿った複数枚の画像による分類
時系列に連続する複数の画像における骨格構造の特徴量に基づいて分類する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて分類してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて分類してもよい。

（分類方法３）骨格構造の左右を無視した分類
人物の右側と左側が反対の骨格構造を同じ骨格構造として分類する。

さらに、分類部１０４は、骨格構造の分類結果を表示する（Ｓ１１３）。分類部１０４は、データベース１１０から必要な骨格構造や人物の画像を取得し、分類結果として似ている姿勢（クラスタ）ごとに骨格構造及び人物を表示部１０７に表示する。図１２は、姿勢を３つに分類した場合の表示例を示している。例えば、図１２に示すように、表示ウィンドウＷ１に、姿勢ごとの姿勢領域ＷＡ１～ＷＡ３を表示し、姿勢領域ＷＡ１～ＷＡ３にそれぞれ該当する姿勢の骨格構造及び人物（イメージ）を表示する。姿勢領域ＷＡ１は、例えば立っている姿勢の表示領域であり、クラスタＣ１に分類された、立っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ２は、例えば座っている姿勢の表示領域であり、クラスタＣ２に分類された、座っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ３は、例えば寝ている姿勢の表示領域であり、クラスタＣ３に分類された、寝ている姿勢に似た骨格構造及び人物を表示する。

（検索方法１）高さ方向の特徴量のみによる検索
人物の高さ方向の特徴量のみを用いて検索することで、人物の横方向の変化の影響を抑えることができ、人物の向きや人物の体型の変化に対しロバスト性が向上する。例えば、図１３の骨格構造５０１～５０３のように、人物の向きや体型が異なる場合でも、高さ方向の特徴量は大きく変化しない。このため、骨格構造５０１～５０３では、検索時（分類時）に同じ姿勢であると判断することができる。

（検索方法３）骨格構造の左右を無視した検索
人物の右側と左側が反対の骨格構造を同じ骨格構造として検索する。例えば、図１６の骨格構造５３１及び５３２のように、右手を挙げている姿勢と、左手を挙げている姿勢を同じ姿勢として検索（分類）できる。図１６の例では、骨格構造５３１と骨格構造５３２は、右手のキーポイントＡ５１、右肘のキーポイントＡ４１、左手のキーポイントＡ５２、左肘のキーポイントＡ４２の位置が異なるものの、その他のキーポイントの位置は同じである。骨格構造５３１の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１と骨格構造５３２の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となり、また、骨格構造５３１の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２と骨格構造５３２の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となるため、同じ姿勢と判断する。

（検索方法４）縦方向と横方向の特徴量による検索
人物の縦方向（Ｙ軸方向）の特徴量のみで検索を行った後、得られた結果をさらに人物の横方向（Ｘ軸方向）の特徴量を用いて検索する。

（検索方法５）時系列に沿った複数枚の画像による検索
時系列に連続する複数の画像における骨格構造の特徴量に基づいて検索する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて検索してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて検索してもよい。

図４７（Ｂ）の（１）に示す姿勢は、図４３（Ｂ）の（１）に示した例と同様であり、立ったまま右手及び右腕を上げているが、右手及び右腕の高さがやや低い。このため、図４８に示すように、修正前のスコアは０．８とやや低い。しかし、図４７（Ｂ）の（１）には欠損キーポイントは無い。このため、スコアの修正は行われない。

ここで、図４７（Ｂ）の（２）に示す例において、欠損キーポイントは片足に相当しているため、重み付けは小さい。一方、図４７（Ｂ）の（３）に示す例において、欠損キーポイントは右手及び右腕に相当しているため、図４６を用いて説明したように、重み付けは大きい。このため、図４７（Ｂ）の（３）における修正量は、図４７（Ｂ）の（２）における修正量よりも大きくなっている。その結果、図４７（Ｂ）の（３）の修正後のスコアは、図４７（Ｂ）の（１）よりもかなり低くなる。

続いて、身長算出部１０８は、図２１に示すように、身長画素数の最適値を算出する（Ｓ２２３）。身長算出部１０８は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図３０に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図３０ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面から撮像できていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。