JP7201946B2 - 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム - Google Patents

Description

本発明は、骨格情報判定装置、骨格情報判定方法及びコンピュータプログラムに関する。

従来、画像から得られる人体の骨格情報に基づいて、撮像されている人物の状態（例えば、人物の姿勢）を解析することが行われている（例えば、非特許文献１及び２参照）。例えば、非特許文献１に開示された技術では、静止画像（動画像の場合は各フレーム）から、人体の各関節点ｎ（ｎは１～Ｎ、Ｎは関節の総数）の２次元のＸＹ座標（ｘｎ，ｙｎ）及び信頼度（confidence score）ｃｎ（０≦ｃｎ≦１）を骨格情報として得ることができる。信頼度ｃｎの値は、１に近いほど推定結果の信頼度が高く、逆に０に近いほど推定結果の信頼度が低いことを表している。

図１８は人体の各関節点の一例を示す図であり、図１９はあるフレームにおける骨格情報の一例を示す図である。
図１８に示す例では、人体の関節点として１４個の関節点が示されている。そして、図１９に示す例では、関節点ｎ＝１～１４それぞれに対応付けられた２次元のＸＹ座標（ｘ１，ｙ１）～（ｘ１４，ｙ１４）及び信頼度ｃ１～ｃ１４が示されている。
従来では、上記のように得られた骨格情報の推定結果を用いて、画像に撮像されている人物の状態（例えば、人物の姿勢）を解析していた。

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", <URL: https://arxiv.org/abs/1611.08050>, arXiv:1611.08050v2 [cs.CV] 14 Apr 2017 "CMU-Perceptual-Computing-Lab/openpose", <URL:https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/output.md>

しかしながら、必ずしも各関節点の推定された位置が正しいとは限らず、各関節点を誤認識したり、取得できないケースが発生する。以下の説明では、関節点を誤認識するケースを、骨格推定誤りと称する。骨格推定誤りや骨格情報を取得できないケースでは、状態解析を行っても正確な状態解析ができない。以下の説明では、このような正確な状態解析ができないケースを、状態解析誤りと称する。そのため、従来では、予め目視により骨格推定結果の良否を判定し、状態解析に用いることができない画像を手動で除去（クレンジング）する必要があった。このような手動によるクレンジングは、ユーザに作業上の稼働負担と、そのための作業時間がかかってしまい、リアルタイム処理が困難となってしまう。そこで、自動で被写体の骨格推定結果の良否を判定することができる技術が求められている。

上記事情に鑑み、本発明は、被写体の骨格推定結果の良否を判定することができる技術の提供を目的としている。

本発明の一態様は、被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力部と、入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定部と、を備える骨格情報閾値設定装置である。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節からの距離に基づいて前記重要関節以外の関節の閾値を取得する。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記被写体の複数の関節のうち前記重要関節に対して、前記重要関節以外の関節に設定する閾値以上の閾値を設定する。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節からの距離が遠い関節ほど、前記重要関節に設定する閾値よりも小さい閾値を設定する。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節間に位置する前記重要関節以外の関節、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得する。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を、前記重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。

本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に挟まれる前記重要関節以外の関節に対する信頼度の閾値として、予め設定される所定の値を設定する。

本発明の一態様は、被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力ステップと、入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定ステップと、を有する骨格情報閾値設定方法である。

本発明の一態様は、上記の骨格情報閾値設定装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、被写体の骨格推定結果の良否を判定することが可能となる。

第１の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第１の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第１の実施形態における閾値設定部の処理の概要を説明するための図である。 第１の実施形態における閾値設定部の処理の概要を説明するための図である。 第１の実施形態における骨格情報判定装置の判定処理の流れを示すフローチャートである。 骨格推定部による推定結果の一例を示す図である。 第２の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第２の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第２の実施形態における閾値設定部の処理の概略を説明するための図である。 第２の実施形態における閾値設定部の処理の概略を説明するための図である。 第３の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第３の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第３の実施形態における骨格情報判定装置が行う閾値設定処理を説明するための図である。 第４の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第４の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第４の実施形態における骨格情報判定装置が行う閾値設定処理を説明するための図である。 本発明と従来技術との閾値の設定方法の違いを説明するための図である。 人体の各関節点の一例を示す図である。 あるフレームにおける骨格情報の一例を示す図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（概要）
まず本発明における骨格情報判定装置の概要について説明する。
本発明における骨格情報判定装置は、入力された画像に撮像されている被写体の骨格情報を推定し、推定した骨格情報に基づいて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。より具体的には、まず骨格情報判定装置は、予めユーザに設定された関節情報を入力する。関節情報とは、被写体の関節に関する情報である。例えば、関節情報には、骨格情報で示される被写体の関節における重要な関節（以下「重要関節」という。）と、重要ではない関節（以下「任意関節」という。）の種別情報と、重要関節に対する信頼度の閾値ｃｒｅｑと、任意関節のうち特定の関節に対する信頼度の閾値ｃｍｉｎとが含まれる。ここで、任意関節のうち特定の関節は、重要関節以外でユーザにより予め信頼度の閾値が設定される関節である。例えば、特定の関節は、手首や足首のように被写体の端に位置する関節や、首や腰の中央である。信頼度の閾値とは、骨格情報の推定結果として得られる信頼度の良否を判定するために用いられる閾値である。

重要関節に対する信頼度の閾値ｃｒｅｑは、０～１の間でより高い値が設定される。以下の説明においては、重要関節に対する信頼度の閾値ｃｒｅｑを０．９として説明する。特定の関節に対する信頼度の閾値ｃｍｉｎは、０～１の間でより低い値が設定される。以下の説明においては、特定の関節に対する信頼度の閾値ｃｍｉｎを０．２として説明する。

ＯｐｅｎＰｏｓｅを実際に動作させて信頼度を確認した結果、画像３０例と、それらの画像から得られた骨格情報の範囲内では、ある程度正しい関節点の座標が得られている際には、０．７～０．８以上の信頼度の値が出力されていた。
次に、関節の一部が見えないようなセルフオクルージョン（例えば、人を右横から見たときの左側で、右側から人間が推測できる程度）などでは、信頼度の値が０．４～０．６程度にとどまる傾向が見受けられる。
さらに、明らかに位置がずれる誤検知のケースや、セルフオクリュージョンでも人間でも推測が難しいようなケースでは、信頼度の値が０．２以下（今回確認した範囲での一例ではあるが、信頼度の値が０．２付近では、右手首を左手首と間違えるレベルである。さらに、信頼度の値が０．１以下だと、背景の別の部分と間違えるとより下がるようなケースがあった）となり、最終的に未検出の関節の場合は信頼度の値が０となる。

上記より、重要関節に対する信頼度の閾値ｃｒｅｑは、０．７～０．８程度を設定することがよい。なお、特に重要な場合は、０．９程度としても良いが、その場合は撮影環境（より骨格情報の信頼度が得られやすい）と合わせて考慮、設定する必要がある。
逆に、重要関節に対する信頼度の閾値ｃｒｅｑがあまりに高い（例えば、０．９程度）と、実用上問題無いと経験上思われる０．８程度の信頼度が得られていても、除去されるケースが増えてしまう。そのため、重要関節に対する信頼度の閾値ｃｒｅｑは、撮影環境などに合わせて適宜設定されることが望ましい。

特定の関節に対する信頼度の閾値ｃｍｉｎについては、解析上影響が少ない場合は、明らかに誤りが認められる０～０．２程度とすることで、できるだけ骨格情報を利用する（除却しない）ことが望ましい。一方で、次の解析での誤差伝搬（状態解析誤り）防止を重視し、非常に信頼度の低い関節点の影響を懸念するようであれば、特定の関節に対する信頼度の閾値ｃｍｉｎを０．４～０．６（一例ではあるが例えばセルフオクルージョンの誤差程度は認める）として、骨格情報の精度を確保することが望ましい。

次に、骨格情報判定装置は、入力した関節情報に基づいて、各関節それぞれの信頼度の閾値を、骨格情報における各関節に対応する関節点に設定する。次に、骨格情報判定装置は、設定した各関節それぞれの信頼度の閾値と、従来技術により求められた骨格情報の各関節それぞれの信頼度とを比較する。この際、骨格情報判定装置は、同じ関節の信頼度と閾値とを比較する。そして、骨格情報判定装置は、各関節のうち１つでも信頼度が閾値を下回った場合には、入力された画像から得られた骨格情報を被写体の状態推定に用いないと判定する。
以上の処理により、骨格情報判定装置は、被写体の骨格推定結果の良否を自動的に判定する。以下、骨格情報判定装置の具体的な構成について説明する。

（第１の実施形態）
図１は、第１の実施形態における骨格情報判定装置１０の構成を表す概略ブロック図である。
骨格情報判定装置１０は、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０は、関節情報入力部１０１、閾値設定部１０２、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。

関節情報入力部１０１は、ユーザから関節情報の入力を受け付ける。例えば、関節情報入力部１０１は、被写体の複数の関節における重要関節、重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎの入力を受け付ける。本実施形態において被写体は、人物を例に説明するが、骨格もしくは関節を有する「生物」であれば人物に限定されない。関節情報入力部１０１は、入力された関節情報を閾値設定部１０２に出力する。重要関節に対する信頼度の閾値ｃｒｅｑは、任意関節の信頼度の閾値以上の値が割り当てられる。特定の関節に対する信頼度の閾値ｃｍｉｎは、他の関節（重要関節及び他の任意関節）の信頼度の閾値を含めて最も低い値が割り当てられる。

閾値設定部１０２は、関節情報入力部１０１から出力された関節情報に基づいて、被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う被写体の骨格推定結果の判定に用いる閾値として設定する。

画像入力部１０３は、状態推定の対象となる画像の入力を受け付ける。画像入力部１０３は、例えばＣＤ－ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１０３は、スチルカメラやビデオカメラによって撮像された画像をカメラから受信しても良い。また、画像入力部１０３は、ネットワーク上から画像のデータを受信しても良い。画像入力部１０３に入力される画像は、静止画像であってもよいし、動画像におけるフレームであってもよい。画像入力部１０３は、入力した画像を被写体検出部１０４に出力する。

被写体検出部１０４は、画像入力部１０３から出力された画像を入力する。被写体検出部１０４は、入力した画像から被写体を検出する。被写体検出部１０４が検出する被写体は、例えば人物である。被写体検出部１０４は、検出結果を骨格推定部１０５に出力する。

骨格推定部１０５は、被写体検出部１０４から出力された検出結果を入力する。骨格推定部１０５は、入力した検出結果に基づいて、被写体の骨格の各関節の位置の推定及び推定位置の信頼度を推定する。骨格推定部１０５は、推定結果を判定部１０６に出力する。推定結果には、被写体の骨格の各関節の位置及び推定位置の信頼度の情報が含まれる。

判定部１０６は、閾値設定部１０２により設定された各関節それぞれの信頼度の閾値と、骨格推定部１０５から出力された推定結果とを入力する。判定部１０６は、入力した閾値と、推定結果とに基づいて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。

図２は、第１の実施形態における骨格情報判定装置１０の閾値設定処理の流れを示すフローチャートである。
関節情報入力部１０１は、関節情報を入力する（ステップＳ１０１）。具体的には、関節情報入力部１０１は、被写体の複数の関節における重要関節、重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎの入力を受け付ける。関節情報入力部１０１は、入力した関節情報を閾値設定部１０２に出力する。閾値設定部１０２は、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ１０２）。

図３及び図４は、第１の実施形態における閾値設定部１０２の処理の概要を説明するための図である。
図３に示すように、重要関節に対応する関節点はｎ＝１，４，７及び８であり、任意関節に対応する関節点はｎ＝２，３，５，６，９～１１及び１２～１４である。任意関節のうち、特定の関節に対応する関節点がｎ＝１１及び１４とする。そして、ユーザから重要関節に対する信頼度の閾値ｃｒｅｑとして０．９、特定の関節に対する信頼度の閾値ｃｍｉｎとして０．２が入力されたとする。この場合、閾値設定部１０２は、図４に示すように、重要関節に対応する関節点はｎ＝１，４，７及び８に信頼度の閾値ｃｒｅｑとして０．９を設定し、特定の関節に対応する関節点はｎ＝１１及び１４に信頼度の閾値ｃｍｉｎとして０．２を設定する。
上記のような設定がなされると、閾値設定部１０２は信頼度の閾値が設定されていない他の任意関節に対応する関節点ｎ＝２，３，５，６，９，１０，１２及び１３に閾値を計算して設定する。閾値設定部１０２は、重要関節からの距離に基づいて、信頼度の閾値が設定されていない他の任意関節に対応する関節点ｎ＝２，３，５，６，９，１０，１２及び１３の閾値を取得する。例えば、閾値設定部１０２は、線形補間により閾値を取得する。そして、閾値設定部１０２は、取得した閾値を各関節点に設定する。

図５は、第１の実施形態における骨格情報判定装置１０の判定処理の流れを示すフローチャートである。図５では、骨格情報判定装置１０に動画像が入力された場合を例に説明する。さらに、図５では、閾値設定部１０２により信頼度の閾値が設定されているものとする。
画像入力部１０３は、時刻ｔのフレームを入力する（ステップＳ２０１）。画像入力部１０３は、入力したフレームを被写体検出部１０４に出力する。被写体検出部１０４は、画像入力部１０３から出力されたフレームを入力する。被写体検出部１０４は、入力したフレームから被写体を検出する（ステップＳ２０２）。被写体の検出方法は、従来技術が用いられてもよい。例えば、被写体検出部１０４は、Ｙｏｌｏの技術を用いることによって、フレームから被写体を検出してもよい。被写体検出部１０４は、フレームから被写体を含む領域を抽出して部分領域画像を生成する。被写体検出部１０４は、生成した部分領域画像を骨格推定部１０５に出力する。

骨格推定部１０５は、被写体検出部１０４から出力された部分領域画像を検出結果として入力する。骨格推定部１０５は、入力した部分領域画像から被写体の各関節点を含む骨格情報として、関節点ｎ（ｎは１～Ｎ、Ｎは関節の総数）の画像内における２次元のｘｙ座標及び各関節における信頼度ｃｎを推定する（ステップＳ２０３）。骨格推定部１０５による推定結果を図６に示す。骨格推定部１０５は、推定結果を判定部１０６に出力する。

判定部１０６は、閾値設定部１０２により設定された各関節それぞれの信頼度の閾値と、骨格推定部１０５から出力された推定結果とを入力する。判定部１０６は、関節点ｎの値に０を代入して初期化する（ステップＳ２０４）。次に、判定部１０６は、関節点ｎの値に１を加算する（ステップＳ２０５）。次に、判定部１０６は、関節点ｎの値で示される関節の信頼度の推定結果が、閾値ｔｈｎ以上であるか否かを判定する（ステップＳ２０６）。例えば、ｎが１の場合、判定部１０６は、首の関節の信頼度の推定結果（図６では、０．９）が、首の関節の信頼度の閾値ｔｈ１以上であるか否かを判定する。

関節点ｎで示される関節の信頼度の推定結果が、閾値ｔｈｎ以上である場合（ステップＳ２０６－ＹＥＳ）、判定部１０６はｎ＝Ｎであるか否かを判定する（ステップＳ２０７）。ｎ＝Ｎである場合（ステップＳ２０７－ＹＥＳ）、判定部１０６は時刻ｔのフレームを利用すると判定する（ステップＳ２０８）。その後、判定部１０６は終了条件が満たされたか否かを判定する（ステップＳ２０９）。終了条件は、骨格情報判定装置１０による判定処理を終了するための条件である。終了条件は、例えばユーザによって終了の指示が骨格情報判定装置１０に入力されることであってもよいし、骨格情報判定装置１０に入力された画像全てに対して処理が行われたことであってもよい。

終了条件が満たされた場合（ステップＳ２０９－ＹＥＳ）、骨格情報判定装置１０は判定処理を終了する。
一方、終了条件が満たされていない場合（ステップＳ２０９－ＮＯ）、画像入力部１０３は次の時刻のフレーム（例えば、ｔ＝ｔ＋１の時刻のフレーム）を入力する（ステップＳ２１０）。その後、ステップＳ２０２以降の処理が実行される。

ステップＳ２０７の処理において、ｎ＝Ｎではない場合（ステップＳ２０７－ＮＯ）、判定部１０６はステップＳ２０５の処理を実行する。
ステップＳ２０６の処理において、関節点ｎで示される関節の信頼度の推定結果が、閾値ｔｈｎ未満である場合（ステップＳ２０６－ＮＯ）、判定部１０６は時刻ｔのフレームを利用しないと判定する（ステップＳ２１１）。その後、判定部１０６はステップＳ２０９の処理を実行する。

以上のように構成された骨格情報判定装置１０によれば、被写体の複数の関節における重要関節及び重要関節に対する信頼度の閾値ｃｒｅｑの入力を受け付け、入力された重要関節及び重要関節に対する信頼度の閾値ｃｒｅｑに基づいて、重要関節を含む被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を被写体の骨格推定結果の判定に用いる閾値として設定する。そして、骨格情報判定装置１０は、設定された閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。

また、画像に撮像されているシーンによっては、全身の骨格情報の信頼度が高くなくても、一部の骨格情報が正しい（信頼度が高い）場合でも良いケースがある。例えば、野球のスイングシーン検出なら重要なのは上半身、転倒やダウンシーン検出なら背骨と下半身等である。本発明では、ユーザによって関節毎に信頼度の閾値を自由に設定することができる。このように、シーンに合わせて閾値を設定することで、シーンに合わせた被写体の骨格推定結果の良否を判定することができる。

（第２の実施形態）
第２の実施形態では、閾値設定部が、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。

図７は、第２の実施形態における骨格情報判定装置１０ａの構成を表す概略ブロック図である。
骨格情報判定装置１０ａは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ａは、関節情報入力部１０１、閾値設定部１０２ａ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。

骨格情報判定装置１０ａは、閾値設定部１０２に代えて閾値設定部１０２ａを備える点で骨格情報判定装置１０と構成が異なる。骨格情報判定装置１０ａは、他の構成については骨格情報判定装置１０と同様である。そのため、骨格情報判定装置１０ａ全体の説明は省略し、閾値設定部１０２ａについて説明する。

閾値設定部１０２ａは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ａは、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。そして、閾値設定部１０２ａは、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。

閾値設定部１０２ａは、以下の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ａは、信頼度の閾値が設定されていない他の任意関節に対する信頼度の閾値を他の任意関節に対応する関節点に設定する。
（１）重要関節に対応する関節点に、関節情報に含まれる重要関節の閾値ｃｒｅｑを設定
（２）特定の関節に対応する関節点に、関節情報に含まれる特定の関節の閾値ｃｍｉｎを設定
（３）分岐のある首（関節点ｎ＝１）又は腰中央（関節点ｎ＝８）のいずれかが任意関節である場合には、挟まれている経路が途中で分岐しないように、任意関節である首（関節点ｎ＝１）又は腰中央（関節点ｎ＝８）に信頼度の閾値ｃｍｉｎを設定

ここで、（３）を設定する理由について説明する。例えば、関節点ｎ＝１０の閾値を決定する際、下方向（関節点ｎ＝１１側）は一意に決定するが、上方向（関節点ｎ＝９側）をたどると、関節点ｎ＝８の関節で分岐（関節点ｎ＝１又は関節点ｎ＝１２）が発生する。このような分岐を防止する目的で、分岐のある関節が任意関節である場合には、閾値設定部１０２ａは、（２）における特定の関節に対応する関節点に信頼度の閾値ｃｍｉｎを設定する。

図８は、第２の実施形態における骨格情報判定装置１０ａの閾値設定処理の流れを示すフローチャートである。図８において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
ステップＳ１０１の処理後、閾値設定部１０２ａは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ３０１）。図９及び図１０を用いて、閾値設定部１０２ａの具体的な処理について説明する。

図９及び図１０は、第２の実施形態における閾値設定部１０２ａの処理の概略を説明するための図である。なお、図９及び図１０に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図９では、重要関節と、特定の関節との間に位置する任意関節に対する信頼度の閾値を、重要関節と特定の関節との間に位置する任意関節に対応する関節点に設定する処理について説明する。図１０では、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間に位置する任意関節に対応する関節点に設定する処理について説明する。
まず図９を用いて、任意関節に対する信頼度の閾値を、重要関節と特定の関節との間に位置する任意関節に対応する関節点に設定する処理について説明する。
図９に示すように、重要関節に対応する関節点ｎ＝８に信頼度の閾値として０．９、特定の関節に対応する関節点ｎ＝１１に信頼度の閾値として０．２が設定されている場合、閾値設定部１０２ａは以下のようにして任意関節に対応する関節点ｎ＝９及び１０の信頼度の閾値を取得する。ここでは、一例として関節点ｎ＝１０の信頼度の閾値を取得する例を説明する。関節点ｎ＝１１とｎ＝１０の距離及び関節点ｎ＝１０とｎ＝９の距離を２、関節点ｎ＝９とｎ＝８の距離を１とする。この場合、閾値設定部１０２ａは（０．９－０．２）＊２／５＋０．２＝０．４８として関節点ｎ＝１０の信頼度の閾値を取得する。

次に図１０を用いて、任意関節に対する信頼度の閾値を設定する処理について説明する。
図１０に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ａは以下のようにして重要関節間に位置する任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。具体的には、重要関節に対応する関節点ｎ＝１及び４は同じ値であるため、重要関節間に位置する任意関節に対応する関節点ｎ＝２及び３においても信頼度の閾値として０．９が設定される。

閾値設定部１０２ａは、上記のような処理を行うことによって、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。

以上のように構成された骨格情報判定装置１０ａによれば、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。そして、骨格情報判定装置１０は、取得した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。

（第３の実施形態）
第２の実施形態では、重要関節間に挟まれた任意関節に対する信頼度の閾値が重要関節に対応する関節点に設定される閾値と同じ値に設定されてしまう。そこで、第３の実施形態では、閾値設定部が、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。

図１１は、第３の実施形態における骨格情報判定装置１０ｂの構成を表す概略ブロック図である。
骨格情報判定装置１０ｂは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ｂは、関節情報入力部１０１、閾値設定部１０２ｂ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。

骨格情報判定装置１０ｂは、閾値設定部１０２に代えて閾値設定部１０２ｂを備える点で骨格情報判定装置１０と構成が異なる。骨格情報判定装置１０ｂは、他の構成については骨格情報判定装置１０と同様である。そのため、骨格情報判定装置１０ｂ全体の説明は省略し、閾値設定部１０２ｂについて説明する。

閾値設定部１０２ｂは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ｂは、重要関節間の任意の関節に対応する関節点においては、基準となる重要関節から距離が離れるほど低い閾値を設定する。ここで、基準となる重要関節は、任意の関節を挟む重要関節のうち、上流側（例えば、頭に近い方）に位置する重要関節とする。例えば、図３に示すように、重要関節に対応する関節点が関節点ｎ＝１及び４である場合、基準となる重要関節は関節点ｎ＝１となる。なお、基準となる重要関節は、上流側に限らず下流側（例えば、足に近い方）に位置する重要関節であってもよい。

閾値設定部１０２ｂは、第２の実施形態と同様に、上記の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ｂは、信頼度の閾値が設定されていない他の任意関節に対応する関節点に信頼度の閾値を設定する。

図１２は、第３の実施形態における骨格情報判定装置１０ｂの閾値設定処理の流れを示すフローチャートである。図１２において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
ステップＳ１０１の処理後、閾値設定部１０２ｂは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ４０１）。図１３を用いて、閾値設定部１０２ｂの具体的な処理について説明する。

図１３は、第３の実施形態における骨格情報判定装置１０ｂが行う閾値設定処理を説明するための図である。なお、図１３に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図１３に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ｂは以下のようにして任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。

具体的には、閾値設定部１０２ｂは、重要関節間に挟まれても、重要関節から距離が離れるほど任意関節に対する信頼度の閾値を下げる。関節点ｎ＝４とｎ＝３の距離及び関節点ｎ＝３とｎ＝２の距離を２、関節点ｎ＝２とｎ＝１の距離を１とする。ここで、最低の信頼度の閾値を確保するため、閾値設定部１０２ｂは重要関節間の中間地点（この場合は、関節点ｎ＝１又はｎ＝４から距離２．５の地点）に信頼度の閾値ｃｍｉｎを設定する。そして、閾値設定部１０２ｂは関節点ｎ＝２の信頼度の閾値ｔｈ２及び関節点ｎ＝３の信頼度の閾値ｔｈ３を線形補間により以下のように算出する。
閾値ｔｈ２＝（０．９－０．２）×１．５／２．５＋０．２＝（０．９－０．２）×３／５＋０．２＝０．６２
閾値ｔｈ３＝（０．９－０．２）×２／５＋０．２＝０．４８

上記の説明では、重要関節間に位置する任意関節に対する信頼度の閾値を取得する構成を示した。閾値設定部１０２ｂは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値については、第２の実施形態と同様の手法により取得する。

閾値設定部１０２ｂは、上記のような処理を行うことによって、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。

以上のように構成された骨格情報判定装置１０ｂによれば、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。そして、骨格情報判定装置１０は、取得した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。

特に、第２の実施形態では、重要関節間に位置する任意関節に対する信頼度の閾値が、重要関節に対する信頼度の閾値と同じ値になってしまう。これに対し、第３の実施形態では重要関節からの距離が遠い任意関節ほど、重要関節に設定する閾値よりも小さい閾値が設定される。このように第３の実施形態では、重要関節の品質をより重要と考えている。

（第４の実施形態）
第４の実施形態では、閾値設定部が、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。

図１４は、第４の実施形態における骨格情報判定装置１０ｃの構成を表す概略ブロック図である。
骨格情報判定装置１０ｃは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ｃは、関節情報入力部１０１、閾値設定部１０２ｃ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。

骨格情報判定装置１０ｃは、閾値設定部１０２ａに代えて閾値設定部１０２ｃを備える点で骨格情報判定装置１０ａと構成が異なる。骨格情報判定装置１０ｃは、他の構成については骨格情報判定装置１０ａと同様である。そのため、骨格情報判定装置１０ｃ全体の説明は省略し、閾値設定部１０２ｃについて説明する。

閾値設定部１０２ｃは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。そして、閾値設定部１０２ｃは、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。

閾値設定部１０２ｃは、第２の実施形態と同様に、上記の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ｃは、信頼度の閾値が設定されていない他の任意関節に対応する関節点に信頼度の閾値を設定する。

図１５は、第４の実施形態における骨格情報判定装置１０ｃの閾値設定処理の流れを示すフローチャートである。図１５において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
ステップＳ１０１の処理後、閾値設定部１０２ｃは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ５０１）。図１６を用いて、閾値設定部１０２ｃの具体的な処理について説明する。

図１６は、第４の実施形態における骨格情報判定装置１０ｃが行う閾値設定処理を説明するための図である。なお、図１６に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図１６に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ｃは以下のようにして任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。

具体的には、閾値設定部１０２ｂは、重要関節間に挟まれたら、挟まれている任意関節に対応する関節点に信頼度の閾値ｃｍｉｎを設定する。本実施形態では、信頼度の閾値ｃｍｉｎを０．２としているため、閾値設定部１０２ｂは、任意関節に対応する関節点ｎ＝２及び３に信頼度の閾値として０．２を設定する。これは、重要関節間に挟まれた場合、重要関節が、任意関節の両端に配置されるため距離に関係なく重要度は低いと考え、最低の信頼度の確保のみ行うこととする。

上記の説明では、重要関節間に位置する任意関節に対する信頼度の閾値を取得する構成を示した。閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値については、第２の実施形態と同様の手法により取得する。この処理により、閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節については、重要関節からの距離が遠い関節ほど、重要関節に設定する閾値よりも小さい閾値を取得する。

以上のように構成された骨格情報判定装置１０ｃによれば、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。そして、骨格情報判定装置１０は、設定した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。

図１７は、本発明と従来技術との閾値の設定方法の違いを説明するための図である。
図１７に示すように、従来技術では、任意関節に対応する関節点に設定される信頼度の閾値が全て固定値であった。このよう場合、特に重要ではない関節の信頼度の推定結果が低い場合に骨格情報が削除されてしまう。一方、本発明では、重要関節からの距離に基づいて線形補間により信頼度の閾値を取得する。第２の実施形態から第４の実施形態では重視するポイントがそれぞれ異なる。そのため、これらの手法を適用シーンに合わせて利用することができる。その結果、利便性を向上させることができる。

（第１の実施形態から第４の実施形態に共通する変形例）
上記の各実施形態では、閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃが、重要関節の関節点に対して信頼度の閾値ｃｒｅｑを１つ設定する構成を示したが、これに限定される必要はない。例えば、閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃは、重要関節の関節点に対して複数の信頼度の閾値ｃｒｅｑを設定するように構成されてもよい。このように構成される場合、関節情報入力部１０１は、ユーザから複数の信頼度の閾値ｃｒｅｑの入力を重要関節毎に受け付ける。閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃは、関節情報入力部１０１により入力された複数の信頼度の閾値ｃｒｅｑを重要関節の関節点に対して設定する。
骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃが備える一部の機能部は別の装置に実装されてもよい。例えば、骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃが備える関節情報入力部１０１及び閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃが骨格情報閾値設定装置として別の筐体に備えてもよい。このように構成される場合、骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃは、骨格情報閾値設定装置から出力される各関節それぞれの信頼度の閾値を取得し、取得した閾値を用いて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。骨格情報閾値設定装置は、クラウド上に設けられるサーバであってもよいし、骨格情報判定装置１０が設けられる場所と異なる場所に設けられてもよい。

本発明は、骨格情報を用いた被写体の状態推定に適用できる。

１０，１０ａ，１０ｂ，１０ｃ…骨格情報判定装置， １０１…関節情報入力部， １０２，１０２ａ，１０２ｂ，１０２ｃ…閾値設定部， １０３…画像入力部， １０４…被写体検出部， １０５…骨格推定部， １０６…判定部

Claims (9)

1. 被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力部と、
   入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定部と、
   を備える骨格情報閾値設定装置。
2. 前記閾値設定部は、前記重要関節からの距離に基づいて前記重要関節以外の関節の閾値を取得する、請求項１に記載の骨格情報閾値設定装置。
3. 前記閾値設定部は、前記被写体の複数の関節のうち前記重要関節に対して、前記重要関節以外の関節に設定する閾値以上の閾値を設定する、請求項１又は２に記載の骨格情報閾値設定装置。
4. 前記閾値設定部は、前記重要関節からの距離が遠い関節ほど、前記重要関節に設定する閾値よりも小さい閾値を設定する、請求項１から３のいずれか一項に記載の骨格情報閾値設定装置。
5. 前記閾値設定部は、前記重要関節間に位置する前記重要関節以外の関節、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得する、請求項１から３のいずれか一項に記載の骨格情報閾値設定装置。
6. 前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を、前記重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する、請求項１から４のいずれか一項に記載の骨格情報閾値設定装置。
7. 前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に挟まれる前記重要関節以外の関節に対する信頼度の閾値として、予め設定される所定の値を設定する、請求項１から４のいずれか一項に記載の骨格情報閾値設定装置。
8. 被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力ステップと、
   入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定ステップと、
   を有する骨格情報閾値設定方法。
9. 請求項１から７のいずれか一項に記載の骨格情報閾値設定装置としてコンピュータを機能させるためのコンピュータプログラム。

Images