JPWO2022009279A5 - - Google Patents

Description

実施の形態に係る画像処理装置の概要を示す構成図である。 実施の形態１に係る画像処理装置の構成を示す構成図である。 実施の形態１に係る画像処理方法を示すフローチャートである。 実施の形態１に係る分類方法を示すフローチャートである。 実施の形態１に係る検索方法を示すフローチャートである。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る人体モデルを示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る分類方法の具体例を示すグラフである。 実施の形態１に係る分類結果の表示例を示す図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索結果の表示例を示す図である。 実施の形態２に係る画像処理装置の構成を示す構成図である。 実施の形態２に係る画像処理方法を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例１を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例２を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例３を示すフローチャートである。 実施の形態２に係る正規化方法を示すフローチャートである。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る身長画素数算出方法を説明するためのヒストグラムである。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る３次元人体モデルを示す図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 画像処理装置のハードウェア構成例を示す図である。 検索方法６に係る検索部の機能構成の一例を示す図である。 （Ａ）は、基準姿勢情報の一例を示す図であり、（Ｂ）は、クエリ情報の一例を示す図である。 検索方法６において検索部が行う処理の第１例を示すフローチャートである。 検索方法６において検索部が行う処理の第２例を示すフローチャートである。 検索方法６において検索部が行う処理の第３例を示すフローチャートである。

このように、実施の形態では、２次元画像から人物の２次元骨格構造を検出し、この２次元骨格構造から算出される特徴量に基づいて人物の状態の分類や検索等の認識処理を行うことで、所望の人物の状態を柔軟に認識することができる。

続いて、図３に示すように、画像処理装置１００は、分類処理を行う（Ｓ１０４）。分類処理では、図４に示すように、分類部１０４は、算出された骨格構造の特徴量の類似度を算出し（Ｓ１１１）、算出された類似度に基づいて骨格構造を分類する（Ｓ１１２）。分類部１０４は、分類対象であるデータベース１１０に格納されている全ての骨格構造間の特徴量の類似度を求め、最も類似度が高い骨格構造（姿勢）を同じクラスタに分類する（クラスタリングする）。さらに、分類したクラスタ間の類似度を求めて分類し、所定の数のクラスタとなるまで分類を繰り返す。図１１は、骨格構造の特徴量の分類結果のイメージを示している。図１１は、２次元の分類要素によるクラスタ分析のイメージであり、２つ分類要素は、例えば、骨格領域の高さと骨格領域の面積等である。図１１では、分類の結果、複数の骨格構造の特徴量が３つのクラスタＣ１～Ｃ３に分類されている。クラスタＣ１～Ｃ３は、例えば、立っている姿勢、座っている姿勢、寝ている姿勢のように各姿勢に対応し、似ている姿勢ごとに骨格構造（人物）が分類される。

（分類方法１）複数の階層による分類
全身の骨格構造による分類や、上半身や下半身の骨格構造による分類、腕や脚の骨格構造による分類等を階層的に組み合わせて分類する。すなわち、骨格構造の第１の部分や第２の部分の特徴量に基づいて分類し、さらに、第１の部分や第２の部分の特徴量に重みづけを行って分類してもよい。

（分類方法２）時系列に沿った複数枚の画像による分類
時系列に連続する複数の画像における骨格構造の特徴量に基づいて分類する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて分類してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて分類してもよい。

（分類方法３）骨格構造の左右を無視した分類
人物の右側と左側が反対の骨格構造を同じ骨格構造として分類する。

さらに、分類部１０４は、骨格構造の分類結果を表示する（Ｓ１１３）。分類部１０４は、データベース１１０から必要な骨格構造や人物の画像を取得し、分類結果として似ている姿勢（クラスタ）ごとに骨格構造及び人物を表示部１０７に表示する。図１２は、姿勢を３つに分類した場合の表示例を示している。例えば、図１２に示すように、表示ウィンドウＷ１に、姿勢ごとの姿勢領域ＷＡ１～ＷＡ３を表示し、姿勢領域ＷＡ１～ＷＡ３にそれぞれ該当する姿勢の骨格構造及び人物（イメージ）を表示する。姿勢領域ＷＡ１は、例えば立っている姿勢の表示領域であり、クラスタＣ１に分類された、立っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ２は、例えば座っている姿勢の表示領域であり、クラスタＣ２に分類された、座っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ３は、例えば寝ている姿勢の表示領域であり、クラスタＣ３に分類された、寝ている姿勢に似た骨格構造及び人物を表示する。

（検索方法１）高さ方向の特徴量のみによる検索
人物の高さ方向の特徴量のみを用いて検索することで、人物の横方向の変化の影響を抑えることができ、人物の向きや人物の体型の変化に対しロバスト性が向上する。例えば、図１３の骨格構造５０１～５０３のように、人物の向きや体型が異なる場合でも、高さ方向の特徴量は大きく変化しない。このため、骨格構造５０１～５０３では、検索時（分類時）に同じ姿勢であると判断することができる。

（検索方法３）骨格構造の左右を無視した検索
人物の右側と左側が反対の骨格構造を同じ骨格構造として検索する。例えば、図１６の骨格構造５３１及び５３２のように、右手を挙げている姿勢と、左手を挙げている姿勢を同じ姿勢として検索（分類）できる。図１６の例では、骨格構造５３１と骨格構造５３２は、右手のキーポイントＡ５１、右肘のキーポイントＡ４１、左手のキーポイントＡ５２、左肘のキーポイントＡ４２の位置が異なるものの、その他のキーポイントの位置は同じである。骨格構造５３１の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１と骨格構造５３２の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となり、また、骨格構造５３１の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２と骨格構造５３２の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となるため、同じ姿勢と判断する。

（検索方法４）縦方向と横方向の特徴量による検索
人物の縦方向（Ｙ軸方向）の特徴量のみで検索を行った後、得られた結果をさらに人物の横方向（Ｘ軸方向）の特徴量を用いて検索する。

（検索方法５）時系列に沿った複数枚の画像による検索
時系列に連続する複数の画像における骨格構造の特徴量に基づいて検索する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて検索してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて検索してもよい。

（検索方法６）本検索方法において、検索部１０５は、検索クエリ（以下、クエリ情報とも記載）として、上記した骨格構造を用いる。この骨格構造は、人の姿勢を示している。そして検索部１０５は、基準となる姿勢と、クエリ情報との差分を用いて、少なくとも一つのキーポイントの重み付けを決定する。そして検索部１０５は、この重み付けを用いて、クエリ情報が示す姿勢に類似している姿勢の人を含む画像（以下、目的画像と記載）を選択する。

また、画像選択部６２０は、基準姿勢情報を生成する場合、例えば画像記憶部６３０が記憶している複数の選択対象画像を処理することにより基準姿勢情報を生成してもよい。ここで行われる処理は、例えば、少なくとも２つの選択対象画像それぞれの複数のキーポイントの相対位置を統計処理することである。ここで行われる統計処理は例えば平均であるが、これに限定されない。なお、画像選択部６２０は、基準姿勢情報を生成する際に、画像記憶部６３０が記憶しているすべての選択対象画像を用いてもよい。

図４１（Ａ）は、基準姿勢情報の一例を示す図であり、図４１（Ｂ）は、クエリ情報の一例を示す図である。図４１（Ａ）に示す例において、基準姿勢情報が示す姿勢は直立である。一方、図４１（Ｂ）に示すクエリ情報は、左手を上げている。この場合、クエリ情報と基準姿勢情報との差は、左手のキーポイントやボーンリンクが最も大きい。このため、図４１（Ｂ）に示すクエリ情報を用いて目的画像を選択する場合、画像選択部６２０は、左手のキーポイントやボーンリンクの重み付けの値を、他のキーポイントやボーンリンクと比べて大きくする。

そして画像選択部６２０は、画像記憶部６３０が記憶している複数の選択対象画像から、クエリ情報に類似する画像を選択する（ステップＳ３２０）。この際、上記したように、画像選択部６２０は、複数の選択対象画像毎に、クエリ情報に対する類似スコアを算出するが、この類似スコアを算出する際に、ステップＳ３１０で算出した重み付けを用いる。そして画像選択部６２０は類似スコアが基準値以上になった画像を、目的画像として選択する。ただし画像選択部６２０は、類似スコアが大きい順に選択対象画像を並べ、上位から数えて基準数までの選択対象画像を目的画像として選択してもよい。

続いて、身長算出部１０８は、図２１に示すように、身長画素数の最適値を算出する（Ｓ２２３）。身長算出部１０８は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図３０に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図３０ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面から撮像できていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．人の姿勢を示すクエリ情報を取得するクエリ取得手段と、
前記クエリ情報を用いて、複数の選択対象画像から少なくとも一つの目的画像を選択する画像選択手段と、
を備え、
前記クエリ情報は、人の身体の互いに異なる部分を示す複数のキーポイントの相対位置を含んでおり、
前記画像選択手段は、
前記複数のキーポイントの基準相対位置を含む基準姿勢情報と、前記クエリ情報との差分を用いて、少なくとも一つの前記キーポイントの重み付けを決定し、
前記選択対象画像に含まれる人の前記複数のキーポイントの相対位置、前記クエリ情報、及び前記重み付けを用いて、前記少なくとも一つの目的画像を選択する、画像選択装置。
２．上記１に記載の画像選択装置において、
前記画像選択手段は、前記複数のキーポイントのそれぞれにおいて、前記基準姿勢情報における当該キーポイントの前記基準相対位置と、前記クエリ情報における当該キーポイントの相対位置と、の差が大きくなると、当該キーポイントの前記重み付けを大きくする画像選択装置。
３．上記１又は２に記載の画像選択装置において、
前記基準姿勢情報は、人が直立し、かつ両手を体に沿って下げたときの前記複数のキーポイントの相対位置を示す画像選択装置。
４．上記１又は２に記載の画像選択装置において、
前記画像選択手段は、複数の選択対象画像を処理することにより、前記基準姿勢情報を生成する画像選択装置。
５．上記４に記載の画像選択装置において、
前記画像選択手段は、少なくとも２つの前記選択対象画像それぞれの前記複数のキーポイントの相対位置を統計処理することにより、前記基準相対位置を決定する画像選択装置。
６．上記１又は２に記載の画像選択装置において、
前記画像選択手段は、ユーザからの入力に従って前記基準姿勢情報を取得する、画像選択装置。
７．コンピュータが、
人の姿勢を示すクエリ情報を取得するクエリ取得処理と、
前記クエリ情報を用いて、複数の選択対象画像から少なくとも一つの目的画像を選択する画像選択処理と、
を行い
前記クエリ情報は、人の身体の互いに異なる部分を示す複数のキーポイントの相対位置を含んでおり、
前記画像選択処理において、前記コンピュータは、
前記複数のキーポイントの基準相対位置を含む基準姿勢情報と、前記クエリ情報との差分を用いて、少なくとも一つの前記キーポイントの重み付けを決定し、
前記選択対象画像に含まれる人の前記複数のキーポイントの相対位置、前記クエリ情報、及び前記重み付けを用いて、前記少なくとも一つの目的画像を選択する、画像選択方法。

８．上記７に記載の画像選択方法において、
前記画像選択処理において、前記コンピュータは、前記複数のキーポイントのそれぞれにおいて、前記基準姿勢情報における当該キーポイントの前記基準相対位置と、前記クエリ情報における当該キーポイントの相対位置と、の差が大きくなると、当該キーポイントの前記重み付けを大きくする画像選択方法。
９．上記７又は８に記載の画像選択方法において、
前記基準姿勢情報は、人が直立し、かつ両手を体に沿って下げたときの前記複数のキーポイントの相対位置を示す画像選択方法。
１０．上記７又は８に記載の画像選択方法において、
前記画像選択処理において、前記コンピュータは、複数の選択対象画像を処理することにより、前記基準姿勢情報を生成する画像選択方法。
１１．上記１０に記載の画像選択方法において、
前記画像選択処理において、前記コンピュータは、少なくとも２つの前記選択対象画像それぞれの前記複数のキーポイントの相対位置を統計処理することにより、前記基準相対位置を決定する画像選択方法。
１２．上記７又は８に記載の画像選択方法において、
前記画像選択処理において、前記コンピュータは、ユーザからの入力に従って前記基準姿勢情報を取得する、画像選択方法。
１３．コンピュータに、
人の姿勢を示すクエリ情報を取得するクエリ取得機能と、
前記クエリ情報を用いて、複数の選択対象画像から少なくとも一つの目的画像を選択する画像選択機能と、
を持たせ、
前記クエリ情報は、人の身体の互いに異なる部分を示す複数のキーポイントの相対位置を含んでおり、
前記画像選択機能は、
前記複数のキーポイントの基準相対位置を含む基準姿勢情報と、前記クエリ情報との差分を用いて、少なくとも一つの前記キーポイントの重み付けを決定し、
前記選択対象画像に含まれる人の前記複数のキーポイントの相対位置、前記クエリ情報、及び前記重み付けを用いて、前記少なくとも一つの目的画像を選択する、プログラム。
１４．上記１３に記載のプログラムにおいて、
前記画像選択機能は、前記複数のキーポイントのそれぞれにおいて、前記基準姿勢情報における当該キーポイントの前記基準相対位置と、前記クエリ情報における当該キーポイントの相対位置と、の差が大きくなると、当該キーポイントの前記重み付けを大きくするプログラム。
１５．上記１３又は１４に記載のプログラムにおいて、
前記基準姿勢情報は、人が直立し、かつ両手を体に沿って下げたときの前記複数のキーポイントの相対位置を示すプログラム。
１６．上記１３又は１４に記載のプログラムにおいて、
前記画像選択機能は、複数の選択対象画像を処理することにより、前記基準姿勢情報を生成するプログラム。
１７．上記１６に記載のプログラムにおいて、
前記画像選択機能は、少なくとも２つの前記選択対象画像それぞれの前記複数のキーポイントの相対位置を統計処理することにより、前記基準相対位置を決定するプログラム。
１８．上記１３又は１４に記載のプログラムにおいて、
前記画像選択機能は、ユーザからの入力に従って前記基準姿勢情報を取得する、プログラム。