JP7197011B2

JP7197011B2 - 身長推定装置、身長推定方法及びプログラム

Info

Publication number: JP7197011B2
Application number: JP2021528720A
Authority: JP
Inventors: 登吉田; 祥治西村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2022-12-27
Anticipated expiration: 2039-06-26
Also published as: US20220395193A1; WO2020261403A1; JPWO2020261403A1

Description

本発明は、身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

近年、人物等の動物をカメラで撮像し、撮像した画像から人物等の属性を認識する技術が利用されている。人物等の属性である身長の推定に関連する技術として、例えば、特許文献１～３が知られている。特許文献１には、画像中の人物領域の長辺の長さや長辺及び短辺の長さから、人物の身長を推定する技術が記載されている。特許文献２には、距離画像に基づいて人物の身長を推定する技術が記載されている。特許文献３には、Ｘ線ＣＴ装置による撮影結果を用いて身長を推定する技術が記載されている。なお、その他に、人物の骨格推定に関連する技術として、非特許文献１が知られている。

国際公開第２０１７／２０９０８９号特開２０１２－１２０６４７号公報特開２０１２－２３１８１６号公報

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299

上記のように、特許文献１では、画像中の人物領域の大きさに基づいて身長を推定しているため、人物の姿勢やカメラに対する人物の向きによっては身長の推定精度が低下する恐れがある。また、特許文献２では、距離画像を取得することが必須であり、特許文献３は、Ｘ線ＣＴ装置による特殊な造影撮影を行うものである。このため、関連する技術では、人物等の動物を撮像した２次元画像から精度よく身長を推定することが困難であるという問題がある。

本開示は、このような課題に鑑み、身長の推定精度を向上することが可能な身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。

本開示に係る身長推定装置は、動物を撮像した２次元画像を取得する取得手段と、前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出する検出手段と、前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する推定手段と、を備えるものである。

本開示に係る身長推定方法は、動物を撮像した２次元画像を取得し、前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定するものである。

本開示に係るプログラムが格納された非一時的なコンピュータ可読媒体は、動物を撮像した２次元画像を取得し、前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する、処理をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体である。

本開示によれば、身長の推定精度を向上することが可能な身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。

関連する監視方法を示すフローチャートである。実施の形態に係る身長推定装置の概要を示す構成図である。実施の形態１に係る身長推定装置の構成を示す構成図である。実施の形態１に係る身長推定方法を示すフローチャートである。実施の形態１に係る身長画素数算出方法を示すフローチャートである。実施の形態１に係る人体モデルを示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態１に係る骨格構造の検出例を示す図である。実施の形態２に係る人体モデルを示す図である。実施の形態２に係る身長画素数算出方法を示すフローチャートである。実施の形態２に係る骨格構造の検出例を示す図である。実施の形態２に係る身長画素数算出方法を説明するためのヒストグラムである。実施の形態３に係る身長推定方法を示すフローチャートである。実施の形態３に係る骨格構造の検出例を示す図である。実施の形態３に係る３次元人体モデルを示す図である。実施の形態３に係る身長推定方法を説明するための図である。実施の形態３に係る身長推定方法を説明するための図である。実施の形態３に係る身長推定方法を説明するための図である。実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。

以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。

（実施の形態に至る検討）
近年、機械学習を活用した画像認識技術が様々なシステムに応用されている。一例として、監視カメラの画像により監視を行う監視システムについて検討する。

図１は、関連する監視システムにおける監視方法を示している。図１に示すように、監視システムは、監視カメラから画像を取得し（Ｓ１０１）、取得した画像の中から人物を検知し（Ｓ１０２）、人物の行動認識及び属性認識（Ｓ１０３）を行う。例えば、人物の行動として人物の振る舞いや動線等を認識し、人物の属性として人物の年齢や性別、身長等を認識する。また、監視システムでは、認識した人物の行動や属性からデータ分析を行い（Ｓ１０４）、分析結果に基づき対処等のアクチュエーションを行う（Ｓ１０５）。例えば、認識した行動からアラート表示を行ったり、認識した身長等の属性の人物の監視を行う。

この例にあるように、人物の年齢、性別、身長等の属性情報を監視カメラの画像や映像から手軽に入手したい需要が高まっている。その属性の中で身長は、個人の特定や、大人と子供の区別等に有用な情報である。例えば、属性の情報は、犯人の特徴（30代、男性、170cm等）として捜査に利用されたり、来店者の情報としてマーケティングに利用されたり、迷子の特徴として迷子探索等に利用される。

発明者らは、画像から人物の身長を認識する方法を検討したところ、関連する技術では、必ずしも精度よく身長を認識（推定）することができないという課題を見出した。例えば、画像に人物の全身が写っている場合には、ある程度身長を推定することが可能である。しかしながら、画像中の人物が必ずしも直立していたり、頭頂と足元が映っているとは限らない。特に、迷子等の場合、しゃがんだりしている可能性が高い。このような場合には、身長を推定することが困難である。

そこで、発明者らは、人物の身長推定に、機械学習を用いた骨格推定技術を利用する方法を検討した。例えば、非特許文献１に開示されたＯｐｅｎＰｏｓｅ等のように、関連する骨格推定技術では、様々なパターンの正解付けされた画像データを学習することで、人物の骨格を推定する。以下の実施の形態では、このような骨格推定技術を活用することで、精度よく人物の身長を推定することを可能とする。
なお、ＯｐｅｎＰｏｓｅ等の骨格推定技術により推定される骨格構造は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される。このため、以下の実施の形態では、骨格構造について「キーポイント」と「ボーン」という用語を用いて説明するが、特に限定されない限り、「キーポイント」は人物の「関節」に対応し、「ボーン」は人物の「骨」に対応している。

（実施の形態の概要）
図２は、実施の形態に係る身長推定装置１０の概要を示している。図２に示すように、身長推定装置１０は、取得部１１、検出部１２、推定部１３を備えている。

取得部１１は、人物等の動物を撮像した２次元画像を取得する。検出部１２は、取得部１１により取得された２次元画像に基づいて動物の２次元骨格構造を検出する。推定部１３は、検出部１２により検出された２次元骨格構造及び２次元画像の撮像パラメータに基づいて、３次元の実世界における動物の身長を推定する。

このように実施の形態では、２次元画像から人物等の動物の２次元骨格構造を検出し、この２次元骨格構造に基づいて動物の実世界の身長を推定することで、動物の姿勢に依らず、動物の身長を精度よく推定することができる。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図３は、本実施の形態に係る身長推定装置１００の構成を示している。身長推定装置１００は、カメラ２００とともに身長推定システム１を構成する。例えば、身長推定装置１００及び身長推定システム１は、図１のような監視システムにおける監視方法に適用され、人物の属性として身長を推定し、その属性の人物の監視等が行われる。なお、カメラ２００を身長推定装置１００の内部に設けてもよい。

図３に示すように、身長推定装置１００は、画像取得部１０１、骨格構造検出部１０２、身長画素数算出部１０３、カメラパラメータ算出部１０４、身長推定部１０５、記憶部１０６を備えている。なお、各部（ブロック）の構成は一例であり、後述の方法（動作）が可能であれば、その他の各部で構成されてもよい。身長画素数算出部１０３と身長推定部１０５を、人物の身長を推定する推定部としてもよい。また、身長推定装置１００は、例えば、プログラムを実行するパーソナルコンピュータやサーバ等のコンピュータ装置で実現されるが、１つの装置で実現してもよいし、ネットワーク上の複数の装置で実現してもよい。

記憶部１０６は、身長推定装置１００の動作（処理）に必要な情報（データ）を記憶する。例えば、記憶部１０６は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。記憶部１０６は、画像取得部１０１が取得した画像や、骨格構造検出部１０２が処理した画像、機械学習用のデータ等を記憶する。なお、記憶部１０６は、外付けやネットワーク上の外部の記憶装置としてもよい。すなわち、身長推定装置１００は、外部の記憶装置から必要な画像や機械学習用のデータ等を取得してもよい。

画像取得部１０１は、通信可能に接続されたカメラ２００から、カメラ２００が撮像した２次元の画像を取得する。カメラ２００は、人物を撮像する監視カメラ等の撮像部であり、画像取得部１０１は、人物を撮像した画像をカメラ２００から取得する。

骨格構造検出部１０２は、取得された２次元の画像に基づき、画像内の人物の２次元の骨格構造を検出する。骨格構造検出部１０２は、機械学習を用いた骨格推定技術を用いて、認識される人物の関節等の特徴に基づき人物の骨格構造を検出する。骨格構造検出部１０２は、例えば、非特許文献１のＯｐｅｎＰｏｓｅ等の骨格推定技術を用いる。

身長画素数算出部１０３は、検出された２次元の骨格構造に基づき、２次元の画像内の人物の直立時の高さ（身長画素数という）を算出する。身長画素数は、２次元の画像における人物の身長（２次元画像空間上の人物の全身の長さ）であるとも言える。身長画素数算出部１０３は、検出された骨格構造の各ボーンの長さ（２次元画像空間上の長さ）から身長画素数（ピクセル数）を求める。本実施の形態では、骨格構造の各ボーンのうち、頭部から足部までのボーンの長さを合計することで、身長画素数を求める。骨格構造検出部１０２（骨格推定技術）が頭頂と足元を出力しない場合は、必要に応じて定数を乗じて補正することもできる。

カメラパラメータ算出部１０４は、カメラ２００が撮像した画像に基づき、カメラ２００の撮像条件であるカメラパラメータを算出する。カメラパラメータは、画像の撮像パラメータであり、２次元の画像内の長さを３次元の実世界の実世界の長さに変換するためのパラメータである。例えば、カメラパラメータは、カメラ２００の姿勢、位置、撮像角度、焦点距離等である。カメラ２００により、予め長さが分かっている物体を撮像し、その画像からカメラパラメータを求めることができる。

身長推定部１０５は、算出されたカメラパラメータと２次元の画像内の身長画素数に基づき、３次元の実世界における人物の身長を推定する。身長推定部１０５は、カメラパラメータから画像中の画素の長さと実世界の長さの関係を求め、身長画素数を実世界の身長に変換する。

図４及び図５は、本実施の形態に係る身長推定装置１００の動作を示している。図４は、身長推定装置１００における画像取得から身長推定までの流れを示し、図５は、図４の身長画素数算出処理（Ｓ２０３）の流れを示している。

図４に示すように、身長推定装置１００は、カメラ２００から画像を取得する（Ｓ２０１）。画像取得部１０１は、骨格構造の検出のために人物を撮像した画像を取得し、また、カメラパラメータの算出のために所定の長さの物体を撮像した画像を取得する。

続いて、身長推定装置１００は、取得した人物の画像に基づいて人物の骨格構造を検出する（Ｓ２０２）。図６は、このとき検出する人体モデル３００の骨格構造を示しており、図７～図９は、骨格構造の検出例を示している。骨格構造検出部１０２は、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて、２次元の画像から図６のような人体モデル（２次元骨格モデル）３００の骨格構造を検出する。人体モデル３００は、人物の関節等のキーポイントと、各キーポイントを結ぶボーンから構成された２次元モデルである。

骨格構造検出部１０２は、例えば、画像の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人物の各キーポイントを検出する。図６の例では、人物のキーポイントとして、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２を検出する。さらに、これらのキーポイントを連結した人物のボーンとして、頭Ａ１と首Ａ２を結ぶボーンＢ１、首Ａ２と右肩Ａ３１及び左肩Ａ３２をそれぞれ結ぶボーンＢ２１及びボーンＢ２２、右肩Ａ３１及び左肩Ａ３２と右肘Ａ４１及び左肘Ａ４２をそれぞれ結ぶボーンＢ３１及びボーンＢ３２、右肘Ａ４１及び左肘Ａ４２と右手Ａ５１及び左手Ａ５２をそれぞれ結ぶボーンＢ４１及びボーンＢ４２、首Ａ２と右腰Ａ６１及び左腰Ａ６２をそれぞれ結ぶボーンＢ５１及びボーンＢ５２、右腰Ａ６１及び左腰Ａ６２と右膝Ａ７１及び左膝Ａ７２をそれぞれ結ぶボーンＢ６１及びボーンＢ６２、右膝Ａ７１及び左膝Ａ７２と右足Ａ８１及び左足Ａ８２をそれぞれ結ぶボーンＢ７１及びボーンＢ７２を検出する。

図７は直立した状態の人物を検出する例である。図７では、直立した人物が正面から撮像されており、正面から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出され、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がっている。図８はしゃがみ込んでいる状態の人物を検出する例である。図８では、しゃがみ込んでいる人物が右側から撮像されており、右側から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は大きく折れ曲がり、かつ、重なっている。図９は寝込んでいる状態の人物を検出する例である。図９では、寝込んでいる人物が左斜め前から撮像されており、左斜め前から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は折れ曲がり、かつ、重なっている。

続いて、身長推定装置１００は、検出された骨格構造に基づいて身長画素数算出処理を行う（Ｓ２０３）。身長画素数算出処理では、図５に示すように、身長画素数算出部１０３は、各ボーンの長さを取得し（Ｓ２１１）、取得した各ボーンの長さを合計する（Ｓ２１２）。身長画素数算出部１０３は、人物の頭部から足部の２次元の画像上のボーンの長さを取得し、身長画素数を求める。すなわち、骨格構造を検出した画像から、図６のボーンのうち、ボーンＢ１（長さＬ１）、ボーンＢ５１（長さＬ２１）、ボーンＢ６１（長さＬ３１）及びボーンＢ７１（長さＬ４１）、もしくは、ボーンＢ１（長さＬ１）、ボーンＢ５２（長さＬ２２）、ボーンＢ６２（長さＬ３２）及びボーンＢ７２（長さＬ４２）の各長さ（画素数）を取得する。各ボーンの長さは、２次元の画像における各キーポイントの座標から求めることができる。これらを合計した、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、もしくは、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数として算出する。両方の値を算出できる場合、例えば、長い方の値を身長画素数とする。すなわち、各ボーンは正面から撮像された場合が画像中での長さが最も長くなり、カメラに対して奥行き方向に傾くと短く表示される。従って、長いボーンの方が正面から撮像されている可能性が高く、真実の値に近いと考えられる。このため、長い方の値を選択することが好ましい。

図７の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出されている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い左足側のＬ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数とする。

図８の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２が重なっている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い右足側のＬ１＋Ｌ２１＋Ｌ３１＋Ｌ４１に補正定数を乗じた値を身長画素数とする。

図９の例では、ボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２が重なっている。これらのボーンの合計である、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１、及び、Ｌ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を求め、例えば、検出されたボーンの長さが長い左足側のＬ１＋Ｌ２２＋Ｌ３２＋Ｌ４２に補正定数を乗じた値を身長画素数とする。

一方、図４のように、身長推定装置１００は、カメラ２００の撮像した画像に基づき、カメラパラメータを算出する（Ｓ２０５）。カメラパラメータ算出部１０４は、カメラ２００が撮像した複数の画像の中から、予め長さが分かっている物体を抽出し、抽出した物体の大きさ（画素数）からカメラパラメータを求める。なお、カメラパラメータを予め求めておき、求めておいたカメラパラメータを必要に応じて取得してもよい。

続いて、身長推定装置１００は、身長画素数とカメラパラメータに基づき、人物の身長を推定する（Ｓ２０４）。身長推定部１０５は、カメラパラメータにより、２次元の画像中の人物がいる領域における１画素に対する３次元の実世界の長さ、すなわち、画素単位の実際の長さを求める。特に、画像中の１画素に対する実世界の長さは、画像中における場所に依存して変化するため、画像中の“人物が存在する領域における１画素あたりの実世界の長さ”を求める。求めた画素単位の実際の長さから、身長画素数を身長に変換する。例えば、図８において、ボーンＢ１、ボーンＢ５１、ボーンＢ６１、ボーンＢ７１の長さの合計が、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１＝１００画素であり、人物がいる領域における１画素＝１．７ｃｍである場合、身長は１７０ｃｍとなる。

以上のように、本実施の形態では、２次元画像から人物の骨格構造を検出し、検出した骨格構造の２次元画像上のボーン（骨）の長さを合計することで身長画素数を求め、さらにカメラパラメータを考慮して人物の実世界の身長を推定する。頭から足までのボーン（骨）の長さを合計することで身長を求めることができるため、簡易な方法で身長を推定することができる。また、機械学習を用いた骨格推定技術により、少なくとも頭から足までの骨格を検出できればよいため、しゃがみ込んでいる状態など、必ずしも人物の全体が画像に写っていない場合でも精度よく身長を推定することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、実施の形態１の身長画素数算出処理において、各ボーンの長さと全身の長さ（２次元画像空間上の身長）との関係を示す人体モデルを用いて、身長画素数を算出する。身長画素数算出処理以外については、実施の形態１と同様である。

図１０は、本実施の形態で用いる、２次元画像空間上の各ボーンの長さと２次元画像空間上の全身の長さとの関係を示す人体モデル（２次元骨格モデル）３０１である。図１０に示すように、平均的な人物の各ボーンの長さと全身の長さとの関係（全身の長さに対する各ボーンの長さの割合）を、人体モデル３０１の各ボーンに対応付ける。例えば、頭のボーンＢ１の長さは全身の長さ×０．２（２０％）であり、右手のボーンＢ４１の長さは全身の長さ×０．１５（１５％）であり、右足のボーンＢ７１の長さは全身の長さ×０．２５（２５％）である。このような人体モデル３０１の情報を記憶部１０６に記憶しておくことで、各ボーンの長さから平均的な全身の長さ（画素数）を求めることができる。平均的な人物の人体モデルの他に、年代、性別、国籍等の人物の属性ごとに人体モデルを用意してもよい。これにより、人物の属性に応じて適切に全身の長さ（身長）を求めることができる。

図１１は、本実施の形態に係る身長画素数算出処理であり、実施の形態１における図４の身長画素数算出処理（Ｓ２０３）の流れを示している。本実施の形態の身長画素数算出処理では、図１１に示すように、身長画素数算出部１０３は、各ボーンの長さを取得する（Ｓ３０１）。身長画素数算出部１０３は、実施の形態１のように検出された骨格構造において、全てのボーンの長さ（２次元画像空間上の長さ）を取得する。図１２は、しゃがみ込んでいる状態の人物を右斜め後ろから撮像し、骨格構造を検出した例である。この例では、人物の顔や左側面が写っていないことから、頭のボーンと左腕及び左手のボーンが検出できていない。このため、検出されているボーンＢ２１、Ｂ２２、Ｂ３１、Ｂ４１、Ｂ５１、Ｂ５２、Ｂ６１、Ｂ６２、Ｂ７１、Ｂ７２の各長さを取得する。

続いて、身長画素数算出部１０３は、人体モデルに基づき、各ボーンの長さから身長画素数を算出する（Ｓ３０２）。身長画素数算出部１０３は、図１０のような、各ボーンと全身の長さとの関係を示す人体モデル３０１を参照し、各ボーンの長さから身長画素数を求める。例えば、右手のボーンＢ４１の長さが全身の長さ×０．１５であるため、ボーンＢ４１の長さ／０．１５によりボーンＢ４１に基づいた身長画素数を求める。また、右足のボーンＢ７１の長さが全身の長さ×０．２５であるため、ボーンＢ７１の長さ／０．２５によりボーンＢ７１に基づいた身長画素数を求める。

このとき参照する人体モデルは、例えば、平均的な人物の人体モデルであるが、年代、性別、国籍等の人物の属性に応じて人体モデルを選択してもよい。例えば、撮像した画像に人物の顔が写っている場合、顔に基づいて人物の属性を識別し、識別した属性に対応する人体モデルを参照する。属性ごとの顔を機械学習した情報を参照し、画像の顔の特徴から人物の属性を認識することができる。また、画像から人物の属性が識別できない場合に、平均的な人物の人体モデルを用いてもよい。

続いて、身長画素数算出部１０３は、身長画素数の最適値を算出する（Ｓ３０３）。身長画素数算出部１０３は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図１３に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図１３ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面から撮像できていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。

以上のように、本実施の形態では、２次元画像空間上のボーン（骨）と全身の長さとの関係を示す人体モデルを用いて、検出した骨格構造のボーン（骨）に基づき身長画素数を求めることで、人物の実世界の身長を推定する。これにより、頭から足までの全ての骨格が得られない場合でも、一部のボーン（骨）から身長を推定することができる。特に、複数のボーン（骨）から求められた身長（身長画素数）のうち、より大きい値を採用することで、精度よく身長を推定することができる。

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、実施の形態１の身長画素数算出処理及び身長推定処理の代わりに、３次元人体モデルを２次元骨格構造にフィッティング（あてはめる）することで、実世界の身長を推定する。その他については、実施の形態１と同様である。

図１４は、本実施の形態に係る身長推定処理の流れを示している。本実施の形態の身長推定処理では、図１４に示すように、まず、実施の形態１の図４と同様、身長推定装置１００は、カメラ２００から２次元の画像を取得し（Ｓ２０１）、画像中の人物の２次元骨格構造を検出し（Ｓ２０２）、さらに、カメラパラメータを算出する（Ｓ２０５）。続いて、身長推定装置１００の身長推定部１０５は、３次元人体モデルの配置及び高さを調整する（Ｓ４０１）。身長推定部１０５は、実施の形態１のように検出された２次元骨格構造に対し、身長算出用の３次元人体モデルを用意し、カメラパラメータに基づいて、同じ２次元画像内に配置する。具体的には、カメラパラメータと、２次元骨格構造から、「実世界におけるカメラと人物の相対的な位置関係」を特定する。例えば、仮にカメラの位置を座標（０，０，０）としたときに、人物が立っている（または座っている）位置の座標（ｘ,ｙ,ｚ）を特定する。そして、特定した人物と同じ位置（ｘ,ｙ,ｚ）に３次元人体モデルを配置して撮像した場合の画像を想定することで、２次元骨格構造と３次元人体モデルを重ね合わせる。

図１５は、しゃがみ込んでいる人物を左斜め前から撮像し、２次元骨格構造４０１を検出した例である。２次元骨格構造４０１は、２次元の座標情報を有する。なお、全てのボーンを検出していることが好ましいが、一部のボーンが検出されていなくてもよい。この２次元骨格構造４０１に対し、図１６のような、３次元人体モデル４０２を用意する。３次元人体モデル（３次元骨格モデル）４０２は、３次元の座標情報を有し、２次元骨格構造４０１と同じ形状の骨格のモデルである。そして、図１７のように、検出した２次元骨格構造４０１に対し、用意した３次元人体モデル４０２を配置し重ね合わせる。また、重ね合わせるとともに、３次元人体モデル４０２の高さを２次元骨格構造４０１に合うように調整する。

なお、このとき用意する３次元人体モデル４０２は、図１７のように、２次元骨格構造４０１の姿勢に近い状態のモデルでもよいし、直立した状態のモデルでもよい。例えば、機械学習を用いて２次元画像から３次元空間の姿勢を推定する技術を用いて、推定した姿勢の３次元人体モデル４０２を生成してもよい。２次元画像の関節と３次元空間の関節の情報を学習することで、２次元画像から３次元の姿勢を推定することができる。

続いて、身長推定部１０５は、３次元人体モデルを２次元骨格構造にフィッティングする（Ｓ４０２）。身長推定部１０５は、図１８のように、３次元人体モデル４０２を２次元骨格構造４０１に重ね合わせた状態で、３次元人体モデル４０２と２次元骨格構造４０１の姿勢が一致するように、３次元人体モデル４０２を変形させる。すなわち、３次元人体モデル４０２の身長、体の向き、関節の角度を調整し、２次元骨格構造４０１との差異がなくなるように最適化する。例えば、３次元人体モデル４０２の関節を、人の可動範囲で回転させていき、また、３次元人体モデル４０２の全体を回転させたり、全体のサイズを調整する。なお、３次元人体モデルと２次元骨格構造のフィッティング（あてはめ）は、２次元空間（２次元座標）上で行う。すなわち、２次元空間に３次元人体モデルを写像し、変形させた３次元人体モデルが２次元空間（画像）でどのように変化するかを考慮して、３次元人体モデルを２次元骨格構造に最適化する。

続いて、身長推定部１０５は、フィッティングさせた３次元人体モデルの身長を算出する（Ｓ４０３）。身長推定部１０５は、図１９のように、３次元人体モデル４０２と２次元骨格構造４０１の差異がなくなり、姿勢が一致すると、その状態の３次元人体モデル４０２の身長を求める。なお、最適化が終了したときの３次元人体モデルの身長が、そのまま求める実世界の身長（例えばcm単位の身長）になるため、本実施の形態では実施の形態１や２のように、身長画素数を計算する必要はない。例えば、３次元人体モデル４０２を直立させた場合の頭から足までのボーンの長さにより身長を算出する。実施の形態１と同様に、３次元人体モデル４０２の頭部から足部までのボーンの長さを合計してもよい。

以上のように、本実施の形態では、カメラパラメータに基づいて３次元人体モデルを２次元骨格構造にフィッティングさせて、その３次元人体モデルに基づいて、人物の実世界の身長を推定する。具体的には、フィッティングした３次元人体モデルの身長を、そのまま推定する身長とする。これにより、全てのボーン（骨）が正面に写っていない場合、すなわち、全てのボーン（骨）が斜めに映っているため誤差が大きい場合でも、精度よく身長を推定することができる。なお、実施の形態１～３の方法が適用可能な場合、全ての方法（またはいずれかを組み合わせた方法）を用いて身長を求めてもよい。その場合、人物の平均的な身長に近い方を最適値としてもよい。

なお、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。身長推定装置１０及び１００の機能（処理）を、図２０に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法を行うためのプログラム（身長推定プログラム）を格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記では人物の身長を推定したが、骨格構造を有する人物以外の動物（哺乳類、爬虫類、鳥類、両生類、魚類等）の身長を推定してもよい。

以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
動物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出する検出手段と、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する推定手段と、
を備える、身長推定装置。
（付記２）
前記推定手段は、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
付記１に記載の身長推定装置。
（付記３）
前記推定手段は、前記２次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記身長を推定する、
付記２に記載の身長推定装置。
（付記４）
前記推定手段は、前記骨の長さと２次元画像空間上の前記動物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記身長を推定する、
付記２に記載の身長推定装置。
（付記５）
前記推定手段は、前記動物の属性に対応した前記２次元骨格モデルに基づいて、前記身長を推定する、
付記４に記載の身長推定装置。
（付記６）
前記推定手段は、前記２次元骨格構造における複数の骨に基づいて求められた複数の身長の中で他よりも長い身長に基づいて、前記身長を推定する、
付記４または５に記載の身長推定装置。
（付記７）
前記推定手段は、前記撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記身長を推定する、
付記１に記載の身長推定装置。
（付記８）
前記推定手段は、前記フィッティングさせた３次元骨格モデルの身長を、前記推定する身長とする、
付記７に記載の身長推定装置。
（付記９）
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記２次元動物の骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する、
身長推定方法。
（付記１０）
前記身長の推定では、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
付記９に記載の身長推定方法。
（付記１１）
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する、
処理を、コンピュータに実行させるための身長推定プログラム。
（付記１２）
前記身長の推定では、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
付記１１に記載の身長推定プログラム。
（付記１３）
カメラと身長推定装置とを備え、
前記身長推定装置は、
前記カメラから動物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出する検出手段と、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する推定手段と、
を備える、身長推定システム。
（付記１４）
前記推定手段は、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
付記１３に記載の身長推定システム。

１身長推定システム
１０身長推定装置
１１取得部
１２検出部
１３推定部
２０コンピュータ
２１プロセッサ
２２メモリ
１００身長推定装置
１０１画像取得部
１０２骨格構造検出部
１０３身長画素数算出部
１０４カメラパラメータ算出部
１０５身長推定部
１０６記憶部
２００カメラ
３００、３０１人体モデル
４０１２次元骨格構造
４０２３次元人体モデル

Claims

動物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出する検出手段と、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する推定手段と、
を備え、
前記推定手段は、前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
身長推定装置。
前記推定手段は、前記２次元骨格構造に含まれる足部から頭部までの前記骨の長さの合計に基づいて、前記身長を推定する、
請求項１に記載の身長推定装置。
前記推定手段は、前記骨の長さと２次元画像空間上の前記動物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記身長を推定する、
請求項１に記載の身長推定装置。
前記推定手段は、前記動物の属性に対応した前記２次元骨格モデルに基づいて、前記身長を推定する、
請求項３に記載の身長推定装置。
前記推定手段は、前記２次元骨格構造における複数の骨に基づいて求められた複数の身長の中で他よりも長い身長に基づいて、前記身長を推定する、
請求項３または４に記載の身長推定装置。
動物を撮像した２次元画像を取得する取得手段と、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出する検出手段と、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定する推定手段と、
を備え、
前記推定手段は、前記撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記身長を推定する、
身長推定装置。
前記推定手段は、前記フィッティングさせた３次元骨格モデルの身長を、前記推定する身長とする、
請求項６に記載の身長推定装置。
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定し、
前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、処理をコンピュータが実行する、
身長推定方法。
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定し、
前記撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記身長を推定する、処理をコンピュータが実行する、
身長推定方法。
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定し、
前記２次元骨格構造に含まれる２次元画像空間上の骨の長さに基づいて、前記身長を推定する、
処理をコンピュータに実行させるためのプログラム。
動物を撮像した２次元画像を取得し、
前記取得された２次元画像に基づいて前記動物の２次元骨格構造を検出し、
前記検出された２次元骨格構造及び前記２次元画像の撮像パラメータに基づいて、３次元の実世界における前記動物の身長を推定し、
前記撮像パラメータに基づいて前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記身長を推定する、
処理をコンピュータに実行させるためのプログラム。