JP7173341B2

JP7173341B2 - 人物状態検出装置、人物状態検出方法及びプログラム

Info

Publication number: JP7173341B2
Application number: JP2021528721A
Authority: JP
Inventors: 登吉田; 祥治西村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2022-11-16
Anticipated expiration: 2039-06-26
Also published as: WO2020261404A1; US20220366716A1; JPWO2020261404A1

Description

本発明は、人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

近年、監視システム等において、監視カメラの画像から人物の姿勢や行動等の状態を検出する技術が利用されている。人物の姿勢の検出に関連する技術として、例えば、特許文献１及び２が知られている。特許文献１には、人物の画像領域の時間的な変化から、人物の姿勢を認知する技術が開示されている。特許文献２には、距離画像における３次元人物領域の高さ、幅および奥行きから、人物の姿勢を判定する技術が開示されている。なお、その他に、人物の骨格推定に関連する技術として、非特許文献１が知られている。

特開２０１０－２３７８７３号公報特開２００８－１４６５８３号公報

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299

上記のように、特許文献１では、人物の画像領域の変化に基づいて人物の姿勢を検出しているが、直立状態の画像を必須としているため、人物の姿勢によっては精度よく検出することができない。また、特許文献２では、距離画像の３次元情報の取得を前提としている。このため、関連する技術では、人物を撮像した２次元画像から精度よく人物の状態を検出することが困難であるという問題がある。

本開示は、このような課題に鑑み、人物の状態の検出精度を向上することが可能な人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。

本開示に係る人物状態検出装置は、人物を撮像した２次元画像を取得する取得手段と、前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出する骨格構造検出手段と、前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定する推定手段と、前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する状態検出手段と、を備えるものである。

本開示に係る人物状態検出方法は、人物を撮像した２次元画像を取得し、前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出するものである。

本開示に係る人物状態検出プログラムは、人物を撮像した２次元画像を取得し、前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する、処理を、コンピュータに実行させるための人物状態検出プログラムである。

本開示によれば、人物の状態の検出精度を向上することが可能な人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。

関連する監視方法を示すフローチャートである。実施の形態に係る人物状態検出装置の概要を示す構成図である。実施の形態１に係る人物状態検出装置の構成を示す構成図である。実施の形態１に係る人物状態検出方法を示すフローチャートである。実施の形態１に係る身長画素数算出方法を示すフローチャートである。実施の形態１に係る人体モデルを示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態２に係る人体モデルを示す図である。実施の形態２に係る身長画素数算出方法を示すフローチャートである。実施の形態２に係る骨格構造の検出例を示す図である。実施の形態２に係る身長画素数算出方法を説明するためのヒストグラムである。実施の形態３に係る身長画素数算出方法を示すフローチャートである。実施の形態３に係る骨格構造の検出例を示す図である。実施の形態３に係る３次元人体モデルを示す図である。実施の形態３に係る身長画素数算出方法を説明するための図である。実施の形態３に係る身長画素数算出方法を説明するための図である。実施の形態３に係る身長画素数算出方法を説明するための図である。実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。

以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。

（実施の形態に至る検討）
近年、機械学習を活用した画像認識技術が様々なシステムに応用されている。一例として、監視カメラの画像により監視を行う監視システムについて検討する。

図１は、関連する監視システムにおける監視方法を示している。図１に示すように、監視システムは、監視カメラから画像を取得し（Ｓ１０１）、取得した画像の中から人物を検知し（Ｓ１０２）、人物の状態認識及び属性認識（Ｓ１０３）を行う。例えば、人物の状態として人物の姿勢や行動（振る舞い、動線）等を認識し、人物の属性として人物の年齢や性別、身長等を認識する。また、監視システムでは、認識した人物の状態や属性からデータ分析を行い（Ｓ１０４）、分析結果に基づき対処等のアクチュエーションを行う（Ｓ１０５）。例えば、認識した姿勢や行動等からアラート表示を行ったり、認識した身長等の属性の人物の監視を行う。

この例の状態認識のように、人物の姿勢や行動、特に監視システムでは通常とは異なる姿勢や行動を監視カメラ映像から検知したい需要が高まっている。例えば、姿勢や行動には、しゃがみ込み、寝込み、転倒等が含まれる。

発明者らは、画像から人物の姿勢や行動等の状態を検出する方法を検討したところ、関連する技術では、簡易に検出することは困難であり、また、必ずしも精度よく検出することができないという課題を見出した。近年のディープラーニングの発展により、検知対象の姿勢等を撮影した映像を大量に集めて学習させることで上記の姿勢等を検知することは可能である。しかしながら、この学習データを集めることが困難であり、コストも高い。また、例えば人物の体の一部が隠れていたりすると、人物の状態を検出できない場合がある。

そこで、発明者らは、人物の状態検出に、機械学習を用いた骨格推定技術を利用する方法を検討した。例えば、非特許文献１に開示されたＯｐｅｎＰｏｓｅ等のように、関連する骨格推定技術では、様々なパターンの正解付けされた画像データを学習することで、人物の骨格を推定する。以下の実施の形態では、このような骨格推定技術を活用することで、簡易に人物の状態を検出し、また、検出精度を向上することを可能とする。
なお、ＯｐｅｎＰｏｓｅ等の骨格推定技術により推定される骨格構造は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される。このため、以下の実施の形態では、骨格構造について「キーポイント」と「ボーン」という用語を用いて説明するが、特に限定されない限り、「キーポイント」は人物の「関節」に対応し、「ボーン」は人物の「骨」に対応している。

（実施の形態の概要）
図２は、実施の形態に係る人物状態検出装置１０の概要を示している。図２に示すように、人物状態検出装置１０は、取得部１１、骨格構造検出部１２、推定部１３、状態検出部１４を備えている。

取得部１１は、人物を撮像した２次元画像を取得する。骨格構造検出部１２は、取得部１１により取得された２次元画像に基づいて人物の２次元骨格構造を検出する。推定部１３は、骨格構造検出部１２により検出された２次元骨格構造に基づいて２次元画像空間上の人物の直立時の高さを推定する。状態検出部１４は、推定部１３により推定された直立時の高さと２次元画像における人物の領域の高さに基づいて人物の姿勢や行動等の状態を検出する。

このように実施の形態では、２次元画像から人物の２次元骨格構造を検出し、この２次元骨格構造に基づいて推定された２次元画像空間上の人物の直立時の高さと画像中の人物の高さから人物の状態を検出することで、簡易に検出することができ、また、人物の姿勢に依らず、精度よく検出することができる。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図３は、本実施の形態に係る人物状態検出装置１００の構成を示している。人物状態検出装置１００は、カメラ２００とともに人物状態検出システム１を構成する。例えば、人物状態検出装置１００及び人物状態検出システム１は、図１のような監視システムにおける監視方法に適用され、人物の姿勢や行動等の状態を検出し、その検出に応じたアラームの表示等が行われる。なお、カメラ２００を人物状態検出装置１００の内部に設けてもよい。

図３に示すように、人物状態検出装置１００は、画像取得部１０１、骨格構造検出部１０２、身長算出部１０３、人物領域算出部１０４、状態検出部１０５、記憶部１０６を備えている。なお、各部（ブロック）の構成は一例であり、後述の方法（動作）が可能であれば、その他の各部で構成されてもよい。また、人物状態検出装置１００は、例えば、プログラムを実行するパーソナルコンピュータやサーバ等のコンピュータ装置で実現されるが、１つの装置で実現してもよいし、ネットワーク上の複数の装置で実現してもよい。

記憶部１０６は、人物状態検出装置１００の動作（処理）に必要な情報（データ）を記憶する。例えば、記憶部１０６は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。記憶部１０６は、画像取得部１０１が取得した画像や、骨格構造検出部１０２が処理した画像、機械学習用のデータ等を記憶する。なお、記憶部１０６は、外付けやネットワーク上の外部の記憶装置としてもよい。すなわち、人物状態検出装置１００は、外部の記憶装置から必要な画像や機械学習用のデータ等を取得してもよい。

画像取得部１０１は、通信可能に接続されたカメラ２００から、カメラ２００が撮像した２次元の画像を取得する。カメラ２００は、人物を撮像する監視カメラ等の撮像部であり、画像取得部１０１は、人物を撮像した画像をカメラ２００から取得する。

骨格構造検出部１０２は、取得された２次元の画像に基づき、画像内の人物の２次元の骨格構造を検出する。骨格構造検出部１０２は、機械学習を用いた骨格推定技術を用いて、認識される人物の関節等の特徴に基づき人物の骨格構造を検出する。骨格構造検出部１０２は、例えば、非特許文献１のＯｐｅｎＰｏｓｅ等の骨格推定技術を用いる。

身長算出部（身長推定部）１０３は、検出された２次元の骨格構造に基づき、２次元の画像内の人物の直立時の高さ（身長画素数という）を算出（推定）する。身長画素数は、２次元の画像における人物の身長（２次元画像空間上の人物の全身の長さ）であるとも言える。身長算出部１０３は、検出された骨格構造の各ボーンの長さ（２次元画像空間上の長さ）から身長画素数（ピクセル数）を求める。本実施の形態では、骨格構造の各ボーンのうち、頭部から足部までのボーンの長さを合計することで、身長画素数を求める。骨格構造検出部１０２（骨格推定技術）が頭頂と足元を出力しない場合は、必要に応じて定数を乗じて補正することもできる。

人物領域算出部１０４は、取得された２次元の画像に基づき、画像内の人物の高さ（人物領域高さという）を算出する。人物領域算出部１０４は、画像内の人物領域を抽出し、その人物領域の縦方向の高さ（画素数）を算出する。例えば、人物がしゃがみ込んでいる場合、その状態の頭頂から足先までの画素数を算出する。

状態検出部１０５は、算出された身長画素数と人物領域高さに基づき、人物の状態を検出する。この例では、人物の状態として、直立やしゃがみ込み、寝込み等の姿勢を検出する。状態検出部１０５は、人物の状態として姿勢の時間的な変化から行動（転倒等）を検出してもよい。状態検出部１０５は、身長画素数と人物領域高さの比率を求め、その比率から人物の姿勢を検出する。

図４及び図５は、本実施の形態に係る人物状態検出装置１００の動作を示している。図４は、人物状態検出装置１００における画像取得から状態検出までの流れを示し、図５は、図４の身長画素数算出処理（Ｓ２０３）の流れを示している。

図４に示すように、人物状態検出装置１００は、カメラ２００から画像を取得する（Ｓ２０１）。画像取得部１０１は、骨格構造や人物領域の検出のために人物を撮像した画像を取得する。

続いて、人物状態検出装置１００は、取得した人物の画像に基づいて人物の骨格構造を検出する（Ｓ２０２）。図６は、このとき検出する人体モデル３００の骨格構造を示しており、図７～図９は、骨格構造の検出例を示している。骨格構造検出部１０２は、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて、２次元の画像から図６のような人体モデル（２次元骨格モデル）３００の骨格構造を検出する。人体モデル３００は、人物の関節等のキーポイントと、各キーポイントを結ぶボーンから構成された２次元モデルである。

骨格構造検出部１０２は、例えば、画像の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人物の各キーポイントを検出する。図６の例では、人物のキーポイントとして、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２を検出する。さらに、これらのキーポイントを連結した人物の骨として、頭Ａ１と首Ａ２を結ぶボーンＢ１、首Ａ２と右肩Ａ３１及び左肩Ａ３２をそれぞれ結ぶボーンＢ２１及びボーンＢ２２、右肩Ａ３１及び左肩Ａ３２と右肘Ａ４１及び左肘Ａ４２をそれぞれ結ぶボーンＢ３１及びボーンＢ３２、右肘Ａ４１及び左肘Ａ４２と右手Ａ５１及び左手Ａ５２をそれぞれ結ぶボーンＢ４１及びボーンＢ４２、首Ａ２と右腰Ａ６１及び左腰Ａ６２をそれぞれ結ぶボーンＢ５１及びボーンＢ５２、右腰Ａ６１及び左腰Ａ６２と右膝Ａ７１及び左膝Ａ７２をそれぞれ結ぶボーンＢ６１及びボーンＢ６２、右膝Ａ７１及び左膝Ａ７２と右足Ａ８１及び左足Ａ８２をそれぞれ結ぶボーンＢ７１及びボーンＢ７２を検出する。

図７は直立した状態の人物を検出する例である。図７では、直立した人物が正面から撮像されており、正面から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出され、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がっている。図８はしゃがみ込んでいる状態の人物を検出する例である。図８では、しゃがみ込んでいる人物が右側から撮像されており、右側から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は大きく折れ曲がり、かつ、重なっている。図９は寝込んでいる状態の人物を検出する例である。図９では、寝込んでいる人物が左斜め前から撮像されており、左斜め前から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は折れ曲がり、かつ、重なっている。

続いて、人物状態検出装置１００は、検出された骨格構造に基づいて身長画素数（Ｈ１）算出処理を行う（Ｓ２０３）。身長画素数算出処理では、図５に示すように、身長算出部１０３は、各ボーンの長さを取得し（Ｓ２１１）、取得した各ボーンの長さを合計する（Ｓ２１２）。身長算出部１０３は、人物の頭部から足部の２次元の画像上のボーンの長さを取得し、身長画素数を求める。すなわち、骨格構造を検出した画像から、図６のボーンのうち、ボーンＢ１（長さＬ１）、ボーンＢ５１（長さＬ２１）、ボーンＢ６１（長さＬ３１）及びボーンＢ７１（長さＬ４１）、もしくは、ボーンＢ１（長さＬ１）、ボーンＢ５２（長さＬ２２）、ボーンＢ６２（長さＬ３２）及びボーンＢ７２（長さＬ４２）の各長さ（画素数）を取得する。各ボーンの長さは、２次元の画像における各キーポイントの座標から求めることができる。これらを合計した、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、もしくは、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数（Ｈ１）として算出する。両方の値を算出できる場合、例えば、長い方の値を身長画素数とする。すなわち、各ボーンは正面から撮像された場合が画像中での長さが最も長くなり、カメラに対して奥行き方向に傾くと短く表示される。従って、長いボーンの方が正面から撮像されている可能性が高く、真実の値に近いと考えられる。このため、長い方の値を選択することが好ましい。

図７の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出されている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い左足側のＬ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数とする。

図８の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２が重なっている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い右足側のＬ１＋Ｌ２１＋Ｌ３１＋Ｌ４１に補正定数を乗じた値を身長画素数とする。

図９の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２が重なっている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い左足側のＬ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数とする。

一方、図４のように、人物状態検出装置１００は、カメラ２００から取得した画像に基づき、画像内の人物領域高さ（Ｈ２）を算出する（Ｓ２０４）。人物領域算出部１０４は、画像内の人物領域の高さ方向の上端と下端を検出し、その高さ（画素数）を算出する。人物領域の高さは、画像における人物領域端部（高さ方向の上端と下端）の座標から求めることができる。

図７では、人物が直立した状態で、正面から人物の全体が写っている。この例では、人物領域端部として、人物の頭部上端（頭頂）から足部下端（左足先）までの長さを人物領域高さ（Ｈ２）とする。図８では、人物がしゃがみ込んだ状態で、右側方から人物の全体が写っている。この例では、人物領域の端部として、人物の頭部上端（頭頂）から足部下端（右足指の付け根）までの長さを人物領域高さ（Ｈ２）とする。図では、人物が寝込んだ状態で、左前方から人物の全体が写っている。この例では、人物領域端部として、人物の頭部上端（頭頂）から足部下端（右膝）までの長さを人物領域高さ（Ｈ２）とする。

続いて、人物状態検出装置１００は、身長画素数（Ｈ１）と人物領域高さ（Ｈ２）に基づき、人物の状態を検出する（Ｓ２０５～Ｓ２０８）。状態検出部１０５は、身長画素数（Ｈ１）と人物領域高さ（Ｈ２）との比、すなわち、Ｈ２／Ｈ１を求める（Ｓ２０５）。この例では、Ｈ２／Ｈ１と閾値（０．５＝１／２と０．２＝１／５）の比較により、直立状態、しゃがみ込み状態、寝込み状態を検出する。なお、閾値は一例であり、これに限られない。また、その他の閾値により、両手を挙げた状態（例えば、Ｈ２／Ｈ１＝１以上の場合）やイスに座っている状態（例えば、Ｈ２／Ｈ１＝０．５～０．７の場合）を検出してもよい。

状態検出部１０５は、Ｈ２／Ｈ１が０．５より大きい場合、人物が直立していると検出する（Ｓ２０６）。例えば、図７において、Ｈ１＝Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２＝１００画素とし、頭部上端から足部下端までのＨ２＝１１０画素とすると、Ｈ２／Ｈ１＝１１０／１００＝１．１であり、人物が直立していると判断する。

また、状態検出部１０５は、Ｈ２／Ｈ１が０．５以下で０．２より大きい場合、人物はしゃがみ込んでいると検出する（Ｓ２０７）。例えば、図８において、Ｈ１＝Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１＝１１０画素、頭部上端から足部下端までのＨ２＝５０画素とすると、Ｈ２／Ｈ１＝５０／１１０＝０．４５であり、人物がしゃがみ込んでいると判断する。

また、状態検出部１０５は、例えばＨ２／Ｈ１が０．２以下の場合、人物は寝込んでいると検出する（Ｓ２０８）。例えば、図９において、Ｈ１＝Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２＝１１０画素、頭部上端から足部下端までのＨ２＝２０画素とすると、Ｈ２／Ｈ１＝２０／１１０＝０．１８であり、人物が寝込んでいると判断する。

以上のように、本実施の形態では、２次元画像から人物の骨格構造を検出し、検出した骨格構造から求めた身長画素数（２次元画像空間上の直立時の高さ）と画像中の人物領域の高さの比率に基づいて、人物の状態を検出する。これにより、複雑な計算や機械学習を利用することなく、高さの比率のみでよいため、簡易に人物の状態を検出することができる。例えば、骨格推定技術を用いて骨格構造を検出することで、学習データを集めることなく、人物の状態を検知できる。また、人物の骨格構造の情報を用いるため、人物の姿勢にかかわらず、人物の状態を検出することができる。

さらに、本実施の形態では、推定する身長として、検出した骨格構造のボーン（骨）の長さを合計することで身長画素数を求める。頭から足までのボーン（骨）の長さを合計することで身長を求めることができるため、簡易な方法で身長を推定し、人物の状態を検出できる。また、機械学習を用いた骨格推定技術により、少なくとも頭から足までの骨格を検出できればよいため、しゃがみ込んでいる状態など、必ずしも人物の全体が画像に写っていない場合でも精度よく身長を推定し、人物の状態を検出できる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、実施の形態１の身長画素数算出処理において、各ボーンの長さと全身の長さ（２次元画像空間上の身長）との関係を示す人体モデルを用いて、身長画素数を算出する。身長画素数算出処理以外については、実施の形態１と同様である。

図１０は、本実施の形態で用いる、２次元画像空間上の各ボーンの長さと２次元画像空間上の全身の長さとの関係を示す人体モデル（２次元骨格モデル）３０１である。図１０に示すように、平均的な人物の各ボーンの長さと全身の長さとの関係（全身の長さに対する各ボーンの長さの割合）を、人体モデル３０１の各ボーンに対応付ける。例えば、頭のボーンＢ１の長さは全身の長さ×０．２（２０％）であり、右手のボーンＢ４１の長さは全身の長さ×０．１５（１５％）であり、右足のボーンＢ７１の長さは全身の長さ×０．２５（２５％）である。このような人体モデル３０１の情報を記憶部１０６に記憶しておくことで、各ボーンの長さから平均的な全身の長さを求めることができる。平均的な人物の人体モデルの他に、年代、性別、国籍等の人物の属性ごとに人体モデルを用意してもよい。これにより、人物の属性に応じて適切に全身の長さ（身長）を求めることができる。

図１１は、本実施の形態に係る身長画素数算出処理であり、実施の形態１における図４の身長画素数算出処理（Ｓ２０３）の流れを示している。本実施の形態の身長画素数算出処理では、図１１に示すように、身長算出部１０３は、各ボーンの長さを取得する（Ｓ３０１）。身長算出部１０３は、実施の形態１のように検出された骨格構造において、全てのボーンの長さ（２次元画像空間上の長さ）を取得する。図１２は、しゃがみ込んでいる状態の人物を右斜め後ろから撮像し、骨格構造を検出した例である。この例では、人物の顔や左側面が写っていないことから、頭のボーンと左腕及び左手のボーンが検出できていない。このため、検出されているボーンＢ２１、Ｂ２２、Ｂ３１、Ｂ４１、Ｂ５１、Ｂ５２、Ｂ６１、Ｂ６２、Ｂ７１、Ｂ７２の各長さを取得する。

続いて、身長算出部１０３は、人体モデルに基づき、各ボーンの長さから身長画素数を算出する（Ｓ３０２）。身長算出部１０３は、図１０のような、各ボーンと全身の長さとの関係を示す人体モデル３０１を参照し、各ボーンの長さから身長画素数を求める。例えば、右手のボーンＢ４１の長さが全身の長さ×０．１５であるため、ボーンＢ４１の長さ／０．１５によりボーンＢ４１に基づいた身長画素数を求める。また、右足のボーンＢ７１の長さが全身の長さ×０．２５であるため、ボーンＢ７１の長さ／０．２５によりボーンＢ７１に基づいた身長画素数を求める。

このとき参照する人体モデルは、例えば、平均的な人物の人体モデルであるが、年代、性別、国籍等の人物の属性に応じて人体モデルを選択してもよい。例えば、撮像した画像に人物の顔が写っている場合、顔に基づいて人物の属性を識別し、識別した属性に対応する人体モデルを参照する。属性ごとの顔を機械学習した情報を参照し、画像の顔の特徴から人物の属性を認識することができる。また、画像から人物の属性が識別できない場合に、平均的な人物の人体モデルを用いてもよい。
また、ボーンの長さから算出した身長画素数をカメラパラメータにより補正してもよい。カメラパラメータは、画像の撮像パラメータであり、例えば、カメラパラメータは、カメラ２００の姿勢、位置、撮像角度、焦点距離等である。カメラ２００により、予め長さが分かっている物体を撮像し、その画像からカメラパラメータを求めることができる。例えばカメラを高い位置において、人物を見下ろすように撮影した場合、二次元骨格構造において肩幅のボーン等の横の長さはカメラの俯角の影響を受けないが、首‐腰のボーン等の縦の長さは、カメラの俯角が大きくなる程小さくなる。そうすると、肩幅のボーン等の横の長さから算出した身長画素数が実際より大きくなる傾向がある。そこで、カメラパラメータを活用すると、人物がどの程度の角度でカメラに見下ろされているかがわかるため、この俯角の情報を使って正面から撮影したような二次元骨格構造に補正することができる。これによって、より正確に身長画素数を算出できる。

続いて、身長算出部１０３は、身長画素数の最適値を算出する（Ｓ３０３）。身長算出部１０３は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図１３に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図１３ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面からできていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。

以上のように、本実施の形態では、２次元画像空間上のボーン（骨）と全身の長さとの関係を示す人体モデルを用いて、検出した骨格構造のボーン（骨）に基づき身長画素数を求めることで、人物の身長を推定し、実施の形態１と同様に人物の状態を検出する。これにより、頭から足までの全ての骨格が得られない場合でも、一部のボーン（骨）から身長を推定し、人物の状態を検出することができる。特に、複数のボーン（骨）から求められた身長（身長画素数）のうち、より大きい値を採用することで、精度よく身長を推定し、人物の状態を検出することができる。

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、実施の形態１の身長画素数算出処理において、３次元人体モデルを２次元骨格構造にフィッティング（あてはめる）することで、身長画素数を算出する。身長画素数算出処理以外については、実施の形態１と同様である。

図１４は、本実施の形態に係る身長画素数算出処理であり、実施の形態１における図４の身長画素数算出処理（Ｓ２０３）の流れを示している。本実施の形態の身長画素数算出処理では、図１４に示すように、身長算出部１０３は、まず、カメラ２００の撮像した画像に基づき、カメラパラメータを算出する（Ｓ４０１）。カメラパラメータは、上記実施の形態２と同様に、画像の撮像パラメータである。身長算出部１０３は、カメラ２００が撮像した複数の画像の中から、予め長さが分かっている物体を抽出し、抽出した物体の大きさ（画素数）からカメラパラメータを求める。なお、カメラパラメータを予め求めておき、求めておいたカメラパラメータを必要に応じて取得してもよい。
続いて、身長算出部１０３は、３次元人体モデルの配置及び高さを調整する（Ｓ４０２）。身長算出部１０３は、実施の形態１のように検出された２次元骨格構造に対し、身長画素数算出用の３次元人体モデルを用意し、カメラパラメータに基づいて、同じ２次元画像内に配置する。具体的には、カメラパラメータと、２次元骨格構造から、「実世界におけるカメラと人物の相対的な位置関係」を特定する。例えば、仮にカメラの位置を座標（０，０，０）としたときに、人物が立っている（または座っている）位置の座標（ｘ,ｙ,ｚ）を特定する。そして、特定した人物と同じ位置（ｘ,ｙ,ｚ）に３次元人体モデルを配置して撮像した場合の画像を想定することで、２次元骨格構造と３次元人体モデルを重ね合わせる。

図１５は、しゃがみ込んでいる人物を左斜め前から撮像し、２次元骨格構造４０１を検出した例である。２次元骨格構造４０１は、２次元の座標情報を有する。なお、全てのボーンを検出していることが好ましいが、一部のボーンが検出されていなくてもよい。この２次元骨格構造４０１に対し、図１６のような、３次元人体モデル４０２を用意する。３次元人体モデル（３次元骨格モデル）４０２は、３次元の座標情報を有し、２次元骨格構造４０１と同じ形状の骨格のモデルである。そして、図１７のように、検出した２次元骨格構造４０１に対し、用意した３次元人体モデル４０２を配置し重ね合わせる。また、重ね合わせるとともに、３次元人体モデル４０２の高さを２次元骨格構造４０１に合うように調整する。

なお、このとき用意する３次元人体モデル４０２は、図１７のように、２次元骨格構造４０１の姿勢に近い状態のモデルでもよいし、直立した状態のモデルでもよい。例えば、機械学習を用いて２次元画像から３次元空間の姿勢を推定する技術を用いて、推定した姿勢の３次元人体モデル４０２を生成してもよい。２次元画像の関節と３次元空間の関節の情報を学習することで、２次元画像から３次元の姿勢を推定することができる。

続いて、身長算出部１０３は、３次元人体モデルを２次元骨格構造にフィッティングする（Ｓ４０３）。身長算出部１０３は、図１８のように、３次元人体モデル４０２を２次元骨格構造４０１に重ね合わせた状態で、３次元人体モデル４０２と２次元骨格構造４０１の姿勢が一致するように、３次元人体モデル４０２を変形させる。すなわち、３次元人体モデル４０２の身長、体の向き、関節の角度を調整し、２次元骨格構造４０１との差異がなくなるように最適化する。例えば、３次元人体モデル４０２の関節を、人の可動範囲で回転させていき、また、３次元人体モデル４０２の全体を回転させたり、全体のサイズを調整する。なお、３次元人体モデルと２次元骨格構造のフィッティング（あてはめ）は、２次元空間（２次元座標）上で行う。すなわち、２次元空間に３次元人体モデルを写像し、変形させた３次元人体モデルが２次元空間（画像）でどのように変化するかを考慮して、３次元人体モデルを２次元骨格構造に最適化する。

続いて、身長算出部１０３は、フィッティングさせた３次元人体モデルの身長画素数を算出する（Ｓ４０４）。身長算出部１０３は、図１９のように、３次元人体モデル４０２と２次元骨格構造４０１の差異がなくなり、姿勢が一致すると、その状態の３次元人体モデル４０２の身長画素数を求める。最適化された３次元人体モデル４０２を直立させた状態として、カメラパラメータに基づき、２次元空間上の全身の長さを求める。例えば、３次元人体モデル４０２を直立させた場合の頭から足までのボーンの長さ（画素数）により身長画素数を算出する。実施の形態１と同様に、３次元人体モデル４０２の頭部から足部までのボーンの長さを合計してもよい。

以上のように、本実施の形態では、カメラパラメータに基づいて３次元人体モデルを２次元骨格構造にフィッティングさせて、その３次元人体モデルに基づいて身長画素数を求めることで、人物の身長を推定し、実施の形態１と同様に人物の状態を検出する。これにより、全てのボーン（骨）が正面に写っていない場合、すなわち、全てのボーン（骨）が斜めに映っているため誤差が大きい場合でも、精度よく身長を推定し、人物の状態を検出できる。なお、実施の形態１～３の方法が適用可能な場合、全ての方法（またはいずれかを組み合わせた方法）を用いて身長を推定してもよい。その場合、人物の平均的な身長に近い方を最適値としてもよい。

なお、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。人物状態検出装置１０及び１００の機能（処理）を、図２０に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法を行うためのプログラム（人物状態検出プログラム）を格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記では人物の状態を検出したが、骨格構造を有する人物以外の動物（哺乳類、爬虫類、鳥類、両生類、魚類等）の状態を検出してもよい。

以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
人物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出する骨格構造検出手段と、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する状態検出手段と、
を備える、人物状態検出装置。
（付記２）
前記状態検出手段は、前記人物の直立時の高さと前記人物の領域の高さの比率に基づいて、前記人物の状態を検出する、
付記１に記載の人物状態検出装置。
（付記３）
前記状態検出手段は、前記比率と所定の閾値との比較結果に基づいて、前記人物が直立している状態であると検出する、
付記２に記載の人物状態検出装置。
（付記４）
前記状態検出手段は、前記比率と所定の閾値との比較結果に基づいて、前記人物がしゃがみ込んでいる状態であると検出する、
付記２に記載の人物状態検出装置。
（付記５）
前記状態検出手段は、前記比率と所定の閾値との比較結果に基づいて、前記人物が寝込んでいる状態であると検出する、
付記２に記載の人物状態検出装置。
（付記６）
前記推定手段は、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記人物の直立時の高さを推定する、
付記１乃至５のいずれかに記載の人物状態検出装置。
（付記７）
前記推定手段は、前記２次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記人物の直立時の高さを推定する、
付記６に記載の人物状態検出装置。
（付記８）
前記推定手段は、前記骨の長さと２次元画像空間上の前記人物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
付記６に記載の人物状態検出装置。
（付記９）
前記推定手段は、前記２次元画像の撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
付記１乃至５のいずれかに記載の人物状態検出装置。
（付記１０）
人物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する、
人物状態検出方法。
（付記１１）
前記状態の検出では、前記人物の直立時の高さと前記人物の領域の高さの比率に基づいて、前記人物の状態を検出する、
付記１０に記載の人物状態検出方法。
（付記１２）
人物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する、
処理を、コンピュータに実行させるための人物状態検出プログラム。
（付記１３）
前記状態の検出では、前記人物の直立時の高さと前記人物の領域の高さの比率に基づいて、前記人物の状態を検出する、
付記１２に記載の人物状態検出プログラム。
（付記１４）
カメラと人物状態検出装置とを備え、
前記人物状態検出装置は、
前記カメラから人物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出する骨格構造検出手段と、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する状態検出手段と、
を備える、人物状態検出システム。
（付記１５）
前記状態検出手段は、前記人物の直立時の高さと前記人物の領域の高さの比率に基づいて、前記人物の状態を検出する、
付記１４に記載の人物状態検出システム。

１人物状態検出システム
１０人物状態検出装置
１１取得部
１２骨格構造検出部
１３推定部
１４状態検出部
２０コンピュータ
２１プロセッサ
２２メモリ
１００人物状態検出装置
１０１画像取得部
１０２骨格構造検出部
１０３身長算出部
１０４人物領域算出部
１０５状態検出部
１０６記憶部
２００カメラ
３００、３０１人体モデル
４０１２次元骨格構造
４０２３次元人体モデル

Claims

人物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出する骨格構造検出手段と、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定する推定手段と、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する状態検出手段と、
を備える、人物状態検出装置。
前記状態検出手段は、前記人物の直立時の高さと前記人物の領域の高さの比率に基づいて、前記人物の状態を検出する、
請求項１に記載の人物状態検出装置。
前記状態検出手段は、前記比率と所定の閾値との比較結果に基づいて、前記人物がしゃがみ込んでいる状態であると検出する、
請求項２に記載の人物状態検出装置。
前記状態検出手段は、前記比率と所定の閾値との比較結果に基づいて、前記人物が寝込んでいる状態であると検出する、
請求項２に記載の人物状態検出装置。
前記推定手段は、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記人物の直立時の高さを推定する、
請求項１乃至４のいずれか一項に記載の人物状態検出装置。
前記推定手段は、前記２次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記人物の直立時の高さを推定する、
請求項５に記載の人物状態検出装置。
前記推定手段は、前記骨の長さと２次元画像空間上の前記人物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
請求項５に記載の人物状態検出装置。
前記推定手段は、前記２次元画像の撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記人物の直立時の高さを推定する、
請求項１乃至４のいずれか一項に記載の人物状態検出装置。
人物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する、
人物状態検出方法。
人物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて２次元画像空間上の前記人物の直立時の高さを推定し、
前記推定された直立時の高さと前記２次元画像における前記人物の領域の高さに基づいて前記人物の状態を検出する、
処理をコンピュータに実行させるためのプログラム。