JPWO2021224994A5 - - Google Patents

Description

一方、特許文献５には、複数の画像のうち所定の条件を満たした画像を記憶手段から削除することが記載されている。所定の条件の例は、顔がぶれている、顔に対して露出アンダーである、目を閉じている、顔が上を向きすぎている、目の下にクマがある、化粧がされていない、顔が横を向いている、などである。また特許文献５には、削除を望む被写体が写った画像を入力することにより、この人物が撮像された画像を削除候補として設定することができる、と記載されている。さらに特許文献５には、削除候補を表示手段に表示させ、その後、ユーザからの入力に応じて削除候補の画像を記憶手段から削除することも記載されている。

実施の形態に係る画像処理装置の概要を示す構成図である。 実施の形態１に係る画像処理装置の構成を示す構成図である。 実施の形態１に係る画像処理方法を示すフローチャートである。 実施の形態１に係る分類方法を示すフローチャートである。 実施の形態１に係る検索方法を示すフローチャートである。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る人体モデルを示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る骨格構造の検出例を示す図である。 実施の形態１に係る分類方法の具体例を示すグラフである。 実施の形態１に係る分類結果の表示例を示す図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索方法を説明するための図である。 実施の形態１に係る検索結果の表示例を示す図である。 実施の形態２に係る画像処理装置の構成を示す構成図である。 実施の形態２に係る画像処理方法を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例１を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例２を示すフローチャートである。 実施の形態２に係る身長画素数算出方法の具体例３を示すフローチャートである。 実施の形態２に係る正規化方法を示すフローチャートである。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る人体モデルを示す図である。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る身長画素数算出方法を説明するためのヒストグラムである。 実施の形態２に係る骨格構造の検出例を示す図である。 実施の形態２に係る３次元人体モデルを示す図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る身長画素数算出方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 実施の形態２に係る正規化方法を説明するための図である。 画像処理装置のハードウェア構成例を示す図である。 検索方法６に係る検索部の機能構成の一例を示す図である。 除外基準と選択基準の一例を説明するための図である。 検索方法６に係る検索部が行う処理の第１例を示すフローチャートである 図４２のステップＳ３１０を説明するための図である。 図４２の変形例を示すフローチャートである。 選択基準の更新方法の第1例を説明するための図である。 選択基準の更新方法の第２例を説明するための図である。

このように、実施の形態では、２次元画像から人物の２次元骨格構造を検出し、この２次元骨格構造から算出される特徴量に基づいて人物の状態の分類や検索等の認識処理を行うことで、所望の人物の状態を柔軟に認識することができる。

続いて、図３に示すように、画像処理装置１００は、分類処理を行う（Ｓ１０４）。分類処理では、図４に示すように、分類部１０４は、算出された骨格構造の特徴量の類似度を算出し（Ｓ１１１）、算出された類似度に基づいて骨格構造を分類する（Ｓ１１２）。分類部１０４は、分類対象であるデータベース１１０に格納されている全ての骨格構造間の特徴量の類似度を求め、最も類似度が高い骨格構造（姿勢）を同じクラスタに分類する（クラスタリングする）。さらに、分類したクラスタ間の類似度を求めて分類し、所定の数のクラスタとなるまで分類を繰り返す。図１１は、骨格構造の特徴量の分類結果のイメージを示している。図１１は、２次元の分類要素によるクラスタ分析のイメージであり、２つ分類要素は、例えば、骨格領域の高さと骨格領域の面積等である。図１１では、分類の結果、複数の骨格構造の特徴量が３つのクラスタＣ１～Ｃ３に分類されている。クラスタＣ１～Ｃ３は、例えば、立っている姿勢、座っている姿勢、寝ている姿勢のように各姿勢に対応し、似ている姿勢ごとに骨格構造（人物）が分類される。

（分類方法１）複数の階層による分類
全身の骨格構造による分類や、上半身や下半身の骨格構造による分類、腕や脚の骨格構造による分類等を階層的に組み合わせて分類する。すなわち、骨格構造の第１の部分や第２の部分の特徴量に基づいて分類し、さらに、第１の部分や第２の部分の特徴量に重みづけを行って分類してもよい。

（分類方法２）時系列に沿った複数枚の画像による分類
時系列に連続する複数の画像における骨格構造の特徴量に基づいて分類する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて分類してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて分類してもよい。

（分類方法３）骨格構造の左右を無視した分類
人物の右側と左側が反対の骨格構造を同じ骨格構造として分類する。

さらに、分類部１０４は、骨格構造の分類結果を表示する（Ｓ１１３）。分類部１０４は、データベース１１０から必要な骨格構造や人物の画像を取得し、分類結果として似ている姿勢（クラスタ）ごとに骨格構造及び人物を表示部１０７に表示する。図１２は、姿勢を３つに分類した場合の表示例を示している。例えば、図１２に示すように、表示ウィンドウＷ１に、姿勢ごとの姿勢領域ＷＡ１～ＷＡ３を表示し、姿勢領域ＷＡ１～ＷＡ３にそれぞれ該当する姿勢の骨格構造及び人物（イメージ）を表示する。姿勢領域ＷＡ１は、例えば立っている姿勢の表示領域であり、クラスタＣ１に分類された、立っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ２は、例えば座っている姿勢の表示領域であり、クラスタＣ２に分類された、座っている姿勢に似た骨格構造及び人物を表示する。姿勢領域ＷＡ３は、例えば寝ている姿勢の表示領域であり、クラスタＣ３に分類された、寝ている姿勢に似た骨格構造及び人物を表示する。

（検索方法１）高さ方向の特徴量のみによる検索
人物の高さ方向の特徴量のみを用いて検索することで、人物の横方向の変化の影響を抑えることができ、人物の向きや人物の体型の変化に対しロバスト性が向上する。例えば、図１３の骨格構造５０１～５０３のように、人物の向きや体型が異なる場合でも、高さ方向の特徴量は大きく変化しない。このため、骨格構造５０１～５０３では、検索時（分類時）に同じ姿勢であると判断することができる。

（検索方法３）骨格構造の左右を無視した検索
人物の右側と左側が反対の骨格構造を同じ骨格構造として検索する。例えば、図１６の骨格構造５３１及び５３２のように、右手を挙げている姿勢と、左手を挙げている姿勢を同じ姿勢として検索（分類）できる。図１６の例では、骨格構造５３１と骨格構造５３２は、右手のキーポイントＡ５１、右肘のキーポイントＡ４１、左手のキーポイントＡ５２、左肘のキーポイントＡ４２の位置が異なるものの、その他のキーポイントの位置は同じである。骨格構造５３１の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１と骨格構造５３２の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となり、また、骨格構造５３１の左手のキーポイントＡ５２及び左肘のキーポイントＡ４２と骨格構造５３２の右手のキーポイントＡ５１及び右肘のキーポイントＡ４１のうち、一方の骨格構造のキーポイントを左右反転させると、他方の骨格構造のキーポイントと同じ位置となるため、同じ姿勢と判断する。

（検索方法４）縦方向と横方向の特徴量による検索
人物の縦方向（Ｙ軸方向）の特徴量のみで検索を行った後、得られた結果をさらに人物の横方向（Ｘ軸方向）の特徴量を用いて検索する。

（検索方法５）時系列に沿った複数枚の画像による検索
時系列に連続する複数の画像における骨格構造の特徴量に基づいて検索する。例えば、時系列方向に特徴量を積み重ねて、累積値に基づいて検索してもよい。さらに、連続する複数の画像における骨格構造の特徴量の変化（変化量）に基づいて検索してもよい。

第２の例において、除外基準はユーザの入力に従って設定されている。そしてユーザは、除外基準を変更しながら、除外用スコア算出部６３０及び除外画像選択部６４０に、ステップＳ３０８及びステップＳ３１０に示した処理を繰り返し行わせている。これにより、除外基準は最適な値に調整される。そして検索用情報取得部６１０は、選択基準をこの除外基準を用いて更新する。具体的には、図４６に示すように、検索用情報取得部６１０は、選択基準としての特徴量空間における距離を、「「検索クエリ画像から除外クエリ画像までの距離」－「除外基準としての特徴量空間における距離」」に更新する。

そして検索用情報取得部６１０は、更新後の選択基準及び検索クエリ画像を互いに紐づけてデータベース１１０に記憶させる。その後、検索用情報取得部６１０は、ユーザ入力に従ってデータベース１１０に記憶された検索クエリ画像を用いて画像を検索する場合、この検索クエリ画像に紐づいている選択基準をデータベース１１０から読み出して使用する。このため、検索クエリ画像を再利用して対象画像を選択する場合、その選択結果の精度は高くなる。

続いて、身長算出部１０８は、図２１に示すように、身長画素数の最適値を算出する（Ｓ２２３）。身長算出部１０８は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図３０に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図３０ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面から撮像できていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。

Claims (10)

1. 複数の対象画像毎に生成された情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得手段と、
   検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得手段と、
   前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出手段と、
   前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択手段と、
   を備える画像選択装置。
2. 請求項１に記載の画像選択装置において、
   前記検索用情報取得手段は、前記対象画像に含まれるべき姿勢の人物を含む検索クエリ画像を取得し、当該検索クエリ画像に対する類似度を示す選択用スコアを用いて前記複数の対象画像を選択する画像選択装置。
3. 請求項２に記載の画像選択装置において、
   前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
   前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定する画像選択装置。
4. 請求項３に記載の画像選択装置において、
   前記除外画像選択手段は、前記パラメータからなる空間における距離が前記除外基準を満たす前記対象画像を、前記除外画像として選択し、
   前記検索用情報取得手段は、前記パラメータからなる空間における距離が前記選択基準を満たす画像を、前記対象画像として選択し、
   前記除外基準は前記選択基準未満である画像選択装置。
5. 請求項２～４のいずれか一項に記載の画像選択装置において、
   前記除外画像選択手段は、少なくとも一つの前記除外画像の選択入力を取得し、当該選択入力によって選択された前記除外画像を前記複数の対象画像から除外し、
   前記検索用情報取得手段は、
   前記検索クエリ画像を用いて前記複数の対象画像を選択するための選択基準を、前記選択入力によって選択された前記除外画像を用いて更新し、
   前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。
6. 請求項２に記載の画像選択装置において、
   前記除外用スコアは、少なくとも一つのパラメータによって示されており、
   前記除外画像選択手段は、前記除外画像を選択するための除外基準を、ユーザからの入力に従って設定する画像選択装置。
7. 請求項６に記載の画像選択装置において、
   前記除外用スコアと前記選択用スコアは同じパラメータによって定義されており、
   前記除外画像選択手段は、前記除外画像を選択するための除外基準を、前記複数の対象画像を選択するための選択基準を用いて設定し、
   前記検索用情報取得手段は、
   前記選択基準を、前記除外基準を用いて更新し、
   前記検索クエリ画像及び更新後の前記選択基準を互いに紐づけて記憶手段に記憶させる画像選択装置。
8. 請求項１～７のいずれか一項に記載の画像選択装置において、
   前記除外画像選択手段は、前記複数の対象画像を、前記除外画像を特定可能な状態で表示手段に表示させ、
   さらに、所定の入力があったときに、前記複数の対象画像から前記除外画像を除外する除外手段を備える画像選択装置。
9. コンピュータが、
   複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得し、
   検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得し、
   前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出し、
   前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する、画像選択方法。
10. コンピュータに、
    複数の対象画像毎に生成された姿勢情報であって、当該対象画像に含まれる人物の姿勢を示す検索用姿勢情報を複数取得する検索用情報取得機能と、
    検索結果から除外すべき画像のクエリとなる除外クエリ画像に含まれる人物の姿勢を示す除外用姿勢情報を取得する除外用情報取得機能と、
    前記複数の検索用姿勢情報のそれぞれについて、前記除外用姿勢情報に対する類似度を示す除外用スコアを算出する除外用スコア算出機能と、
    前記除外用スコアを用いて、前記複数の対象画像から、検索結果から除外すべき画像である除外画像を選択する除外画像選択機能と、
    を持たせるプログラム。