JP7420146B2 - カメラ校正装置、カメラ校正方法及びカメラ校正プログラム - Google Patents

Description

本発明は、カメラ校正装置、カメラ校正方法及びカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体に関する。

近年、カメラにより撮像した画像から人物の属性や行動等を認識する技術が利用されている。このような画像認識技術では、2次元画像の座標や大きさを実世界の3次元空間に変換するためのカメラパラメータを求めるキャリブレーション（校正）が必要とされている。

関連する技術として、例えば、特許文献１～３が知られている。特許文献１には、画像における既知の高さの情報等を取得し、カメラパラメータを推定することが記載されている。特許文献２には、画像における複数の歩行者の座標データを収集し、カメラパラメータを算出することが記載されている。特許文献３は、複数のカメラの画像から複数のカメラのカメラパラメータを推定することが記載されている。なお、その他に、人物の骨格推定に関連する技術として、非特許文献１が知られている。

国際公開第２０１３／１１１２２９号 特開２００５－２３３８４６号公報 特開２０１９－１０２８７７号公報

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299

特許文献１のように既知の情報を用いることでカメラパラメータを求めることができるものの、必要な情報を手動により外部から入力する必要がある。一方、特許文献２のように複数の情報を統計的に処理することで、簡易にカメラパラメータを算出し得る。しかし、その場合、カメラパラメータの算出精度が悪い可能性がある。このため、関連する技術では、精度よくカメラパラメータを求めることが困難であるという問題がある。

本開示は、このような課題に鑑み、簡便かつ精度よくカメラパラメータを求めることが可能なカメラ校正装置、カメラ校正方法及びカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。

本開示に係るカメラ校正装置は、カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出する骨格検出手段と、前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出するベクトル算出手段と、前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出するパラメータ算出手段と、を備えるものである。

本開示に係るカメラ校正方法は、カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出するものである。

本開示に係るカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体は、カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出する、処理をコンピュータに実行させるためのカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体である。

本開示によれば、簡便かつ精度よくカメラパラメータを求めることが可能なカメラ校正装置、カメラ校正方法及びカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。

関連する監視方法を示すフローチャートである。 実施の形態に係るカメラ校正装置の概要を示す構成図である。 実施の形態１に係るカメラ校正装置の構成を示す構成図である。 実施の形態１に係るカメラ校正方法を示すフローチャートである。 実施の形態１に係る骨格ベクトル算出方法を示すフローチャートである。 実施の形態１に係る人体モデルを示す図である。 実施の形態１に係る骨格構造及び骨格ベクトルの検出例を示す図である。 実施の形態１に係る骨格ベクトルの集計方法を説明するための図である。 実施の形態１に係る骨格ベクトルの集計方法を説明するための図である。 実施の形態２に係る骨格ベクトル算出方法を示すフローチャートである。 実施の形態２に係る骨格構造及び骨格ベクトルの検出例を示す図である。 実施の形態３の具体例１に係る骨格ベクトル算出方法を示すフローチャートである。 実施の形態３の具体例１に係る骨格構造及び骨格ベクトルの検出例を示す図である。 実施の形態３の具体例２で使用する人体モデルを示す図である。 実施の形態３の具体例２に係る骨格ベクトル算出方法を示すフローチャートである。 実施の形態３の具体例２に係る骨格構造の検出例を示す図である。 実施の形態３の具体例２に係る骨格ベクトル算出方法を説明するためのヒストグラムである。 実施の形態３の具体例３に係る骨格ベクトル算出方法を示すフローチャートである。 実施の形態３の具体例３に係る骨格構造の検出例を示す図である。 実施の形態３の具体例３に係る３次元人体モデルを示す図である。 実施の形態３の具体例３に係る骨格ベクトル算出方法を説明するための図である。 実施の形態３の具体例３に係る骨格ベクトル算出方法を説明するための図である。 実施の形態３の具体例３に係る骨格ベクトル算出方法を説明するための図である。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。

以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。

（実施の形態に至る検討）
近年、機械学習を活用した画像認識技術が様々なシステムに応用されている。一例として、監視カメラの画像により監視を行う監視システムについて検討する。

図１は、関連する監視システムにおける監視方法を示している。図１に示すように、監視システムは、監視カメラから画像を取得し（Ｓ１０１）、取得した画像の中から人物を検知し（Ｓ１０２）、人物の行動認識及び属性認識（Ｓ１０３）を行う。例えば、人物の行動として人物の振る舞いや動線等を認識し、人物の属性として人物の年齢や性別、身長等を認識する。また、監視システムでは、認識した人物の行動や属性からデータ分析を行い（Ｓ１０４）、分析結果に基づき対処等のアクチュエーションを行う（Ｓ１０５）。例えば、認識した行動からアラート表示を行ったり、認識した身長等の属性の人物の監視を行う。

この例にあるように、人物（個人や群衆）の振る舞いや属性を監視カメラの画像や映像から検知したい需要が高まっている。例えば、人物の振る舞いの検知により店舗等の通過人数をカウントした情報等は、混雑把握やマーケティングに活用される。また、人物の属性として推定される身長の情報等は、迷子の探索やマーケティングに活用される。

このような画像認識を行うためには、画像上での物の長さや動きの速さを、実世界上での値に変換する必要がある。そのために、カメラパラメータ（カメラの姿勢や焦点距離等）を活用する手法が利用されている。発明者は、カメラの画像からカメラパラメータを求めるキャリブレーション方法を検討したところ、関連する技術では、煩雑でコストがかかり、また、必ずしも精度よくカメラパラメータを算出することができないという課題を見出した。例えば、３次元の高さが既知の物体を撮像したり、３次元位置が既知の物体の画像中における位置情報等を入力することでカメラパラメータを求めることは可能であるが、そのような物体の準備や情報の入力が煩雑であり、簡易にカメラパラメータを求めることは困難である。また、画像から背景差分等の技術を活用して人物領域を特定し、直立している方向や身長等の情報を用いてカメラパラメータを求める方法は簡便であるが、例えば人物の体の一部が隠れていたりすると、検出された人物の情報からカメラパラメータを求めることができない恐れがある。

そこで、発明者は、カメラキャリブレーションに、機械学習を用いた骨格推定技術を利用する方法を検討した。例えば、非特許文献１に開示されたＯｐｅｎＰｏｓｅ等のように、関連する骨格推定技術では、様々なパターンの正解付けされた画像データを学習することで、人物の骨格を推定する。以下の実施の形態では、このような骨格推定技術を活用することで、コスト削減を図り、また、精度よくカメラパラメータを求めることを可能とする。

なお、ＯｐｅｎＰｏｓｅ等の骨格推定技術により推定される骨格構造は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される。このため、以下の実施の形態では、骨格構造について「キーポイント」と「ボーン」という用語を用いて説明するが、特に限定されない限り、「キーポイント」は人物の「関節」に対応し、「ボーン」は人物の「骨」に対応している。

（実施の形態の概要）
図２は、実施の形態に係るカメラ校正装置１０の概要を示している。図２に示すように、カメラ校正装置１０は、骨格検出部１１、ベクトル算出部１２、パラメータ算出部１３を備えている。

骨格検出部１１は、カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出する。ベクトル算出部１２は、骨格検出部１１により検出された２次元骨格構造に基づいて、２次元画像における人物の骨格の方向及び大きさを示す骨格ベクトルを算出する。パラメータ算出部１３は、ベクトル算出部１２により算出された骨格ベクトルに基づいて、カメラのカメラパラメータを算出する。

このように実施の形態では、画像から骨格構造を検出し、この骨格構造から得られた骨格ベクトルに基づいてカメラパラメータを算出することで、必要な情報の入力操作等の手間を抑えることができ、また、精度よくカメラパラメータを求めることができる。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図３は、本実施の形態に係るカメラ校正装置１００の構成を示している。カメラ校正装置１００は、カメラ２００とともにカメラ校正システム１を構成する。例えば、カメラ校正装置１００及びカメラ校正システム１は、図１のような監視システムにおける監視方法に適用され、カメラ校正装置１００及びカメラ校正システム１によるカメラパラメータを用いて人物の行動や属性を認識し、その認識結果に応じて、アラームの表示や人物の監視等が行われる。なお、カメラ２００をカメラ校正装置１００の内部に設けてもよい。

図３に示すように、カメラ校正装置１００は、画像取得部１０１、骨格構造検出部１０２、ベクトル算出部１０３、集計部１０４、カメラパラメータ算出部１０５、記憶部１０６を備えている。なお、各部（ブロック）の構成は一例であり、後述の方法（動作）が可能であれば、その他の各部で構成されてもよい。また、カメラ校正装置１００は、例えば、プログラムを実行するパーソナルコンピュータやサーバ等のコンピュータ装置で実現されるが、１つの装置で実現してもよいし、ネットワーク上の複数の装置で実現してもよい。

記憶部１０６は、カメラ校正装置１００の動作（処理）に必要な情報（データ）を記憶する。例えば、記憶部１０６は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。記憶部１０６は、画像取得部１０１が取得した画像や、骨格構造検出部１０２が処理した画像、機械学習用のデータ、集計部１０４が集計したデータ、人物の身長や各骨の長さの統計値（例えば平均値）を記憶する。人物の身長や各骨の長さの統計値は、年代、性別、国籍等の人物の属性ごとに用意してもよい。なお、記憶部１０６は、外付けやネットワーク上の外部の記憶装置としてもよい。すなわち、カメラ校正装置１００は、外部の記憶装置から必要な画像や機械学習用のデータ、人物の身長の統計値等を取得してもよいし、外部の記憶装置に集計結果のデータ等を出力してもよい。

画像取得部１０１は、通信可能に接続されたカメラ２００から、カメラ２００が撮像した２次元の画像を取得する。カメラ２００は、所定の箇所に設置され、設置個所から撮像領域における人物を撮像する監視カメラ等の撮像部である。画像取得部１０１は、例えば、所定期間にカメラ２００が撮像した、人物を含む複数の画像（映像）を取得する。

骨格構造検出部１０２は、取得された２次元の画像に基づき、画像内の人物の２次元の骨格構造を検出する。骨格構造検出部１０２は、機械学習を用いた骨格推定技術を用いて、認識される人物の関節等の特徴に基づき人物の骨格構造を検出する。骨格構造検出部１０２は、複数の画像のそれぞれにおいて、認識される人物の骨格構造を検出する。骨格構造検出部１０２は、例えば、非特許文献１のＯｐｅｎＰｏｓｅ等の骨格推定技術を用いる。

ベクトル算出部１０３は、検出された２次元の骨格構造に基づき、２次元の画像内の人物の骨格ベクトルを算出する。ベクトル算出部１０３は、検出された複数の画像の複数の骨格構造のそれぞれについて、骨格ベクトルを算出する。骨格ベクトルは、人物の骨格構造の方向（足から頭に向かう方向）及び大きさを示すベクトルである。ベクトルの方向は、２次元画像上の２次元の傾きであり、ベクトルの大きさは、２次元画像上の２次元の長さ（画素数）である。骨格ベクトルは、検出された骨格構造に含まれるボーンに対応したベクトルでもよいし、骨格構造の中心軸に対応したベクトルでもよい。例えば、骨格構造の中心軸は、検出された骨格構造の情報に対しＰＣＡ分析（Principal Component Analysis：主成分分析）を行うことで得ることができる。また、骨格ベクトルは、人物の骨格構造の全体に基づいたベクトルでもよいし、人物の骨格構造の一部に基づいたベクトルでもよい。本実施の形態では、人物の骨格構造の一部として、骨格構造の足元（足部）のボーンに基づいた骨格ベクトルを使用する。すなわち、ベクトル算出部１０３は、検出された骨格構造の情報から足元のボーンの方向及び長さを得ることで、足元の骨格ベクトルを求める。なお、人物の骨格構造の一部として、足元に限らず、その他の部分のボーンの方向及び長さを求めてもよい。骨格ベクトルは、地面に対してより垂直であることが好ましいため、例えば、足元の他に、胴部や頭部のボーンの方向及び長さを使用してもよい。さらに、骨格ベクトルの大きさとして、各部のボーンの長さに限らず、各部のボーン等から推定される身長（全身の長さ）を使用してもよい。

集計部１０４は、算出された複数の骨格ベクトルを集計する。集計部１０４は、所定期間に撮像された複数の画像の複数の骨格構造に基づいた複数の骨格ベクトルを集計する。集計部１０４は、集計処理として、例えば、複数の骨格ベクトルの平均値を求める。すなわち、集計部１０４は、骨格構造の足元のボーンに基づいた骨格ベクトルの方向及び長さの平均値を求める。なお、骨格ベクトルの平均値に限らず、複数の骨格ベクトルの中間値など、その他の統計値を求めてもよい。

カメラパラメータ算出部１０５は、集計された骨格ベクトルに基づき、カメラパラメータを算出する。カメラパラメータは、カメラ２００の撮像パラメータであり、カメラ２００が撮像した２次元の画像内の長さを３次元の実世界の長さに変換するためのパラメータである。例えば、カメラパラメータは、カメラ２００の焦点距離等の内部パラメータや、カメラ２００の姿勢（撮像角度）、位置等の外部パラメータを含む。カメラパラメータ算出部１０５は、骨格ベクトルの長さ（地面に対し垂直方向の長さ）と記憶部１０６の人物の身長や骨の長さの基準値（平均値などの統計値）とに基づいて、カメラパラメータを算出する。カメラパラメータ算出部１０５は、例えば、特許文献１に記載の校正方法等を用いて、カメラパラメータを算出する。

図４及び図５は、本実施の形態に係るカメラ校正装置１００の動作（カメラ校正方法）を示している。図４は、カメラ校正装置１００における画像取得からカメラパラメータ算出までの流れを示し、図５は、図４の骨格ベクトル算出処理（Ｓ２０３）の流れを示している。

図４に示すように、カメラ校正装置１００は、カメラ２００から画像を取得する（Ｓ２０１）。画像取得部１０１は、カメラパラメータ算出のために人物を撮像した画像を取得する。

続いて、カメラ校正装置１００は、取得した人物の画像に基づいて人物の骨格構造を検出する（Ｓ２０２）。図６は、このとき検出する人体モデル３００の骨格構造を示しており、図７は、骨格構造の検出例を示している。骨格構造検出部１０２は、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて、２次元の画像から図６のような人体モデル（２次元骨格モデル）３００の骨格構造を検出する。人体モデル３００は、人物の関節等のキーポイントと、各キーポイントを結ぶボーンから構成された２次元モデルである。

骨格構造検出部１０２は、例えば、画像の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人物の各キーポイントを検出する。図６の例では、人物のキーポイントとして、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２を検出する。さらに、これらのキーポイントを連結した人物のボーンとして、頭Ａ１と首Ａ２を結ぶボーンＢ１、首Ａ２と右肩Ａ３１及び左肩Ａ３２をそれぞれ結ぶボーンＢ２１及びボーンＢ２２、右肩Ａ３１及び左肩Ａ３２と右肘Ａ４１及び左肘Ａ４２をそれぞれ結ぶボーンＢ３１及びボーンＢ３２、右肘Ａ４１及び左肘Ａ４２と右手Ａ５１及び左手Ａ５２をそれぞれ結ぶボーンＢ４１及びボーンＢ４２、首Ａ２と右腰Ａ６１及び左腰Ａ６２をそれぞれ結ぶボーンＢ５１及びボーンＢ５２、右腰Ａ６１及び左腰Ａ６２と右膝Ａ７１及び左膝Ａ７２をそれぞれ結ぶボーンＢ６１及びボーンＢ６２、右膝Ａ７１及び左膝Ａ７２と右足Ａ８１及び左足Ａ８２をそれぞれ結ぶボーンＢ７１及びボーンＢ７２を検出する。

図７は、直立した状態の人物を検出する例であり、直立した人物が正面から撮像されている。図７では、正面から見た頭のボーンＢ１から足元のボーンＢ７１及びボーンＢ７２までの全てのボーンが検出されている。この例では、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がっている。

続いて、カメラ校正装置１００は、検出された骨格構造に基づいて骨格ベクトル算出処理を行う（Ｓ２０３）。骨格ベクトル算出処理では、図５に示すように、ベクトル算出部１０３は、足元のボーンの長さ及び方向を取得し（Ｓ２１１）、足元の骨格ベクトルを算出する（Ｓ２１２）。ベクトル算出部１０３は、２次元の画像上の人物の足元のボーンの長さ（画素数）及び方向（傾き）を取得し、足元の骨格ベクトルを求める。

例えば、図７に示すように、骨格構造を検出した画像から、全身のボーンのうちの足元のボーンとして、ボーンＢ７１（長さＬ４１）とボーンＢ７２（長さＬ４２）の各長さ及び方向を取得する。各ボーンの長さ及び方向は、２次元の画像における各キーポイントの座標から求めることができる。右足側のボーンＢ７１と左足側のボーンＢ７２の両方の長さ及び方向を取得してもよいし、いずれか一方のボーンの長さ及び方向を取得してもよい。一方のボーンの長さ及び方向のみを算出できる場合、算出したボーンの長さ及び方向を骨格ベクトルとする。また、両方のボーンの長さ及び方向を算出できる場合、算出したボーンの長さ及び方向の中心軸を骨格ベクトルとしてもよいし、いずれか一方のボーンの長さ及び方向を選択して骨格ベクトルとしてもよい。例えば、ＰＣＡ分析により求めた中心軸や２つのベクトルの平均を骨格ベクトルとしてもよいし、長い方のベクトルを骨格ベクトルとしてもよい。

図７の例では、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がって検出されており、右足のボーンＢ７１よりも左足のボーンＢ７２の方が長く、また、地面に対して垂直である。例えば、ボーンＢ７１（キーポイントＡ７１～Ａ８１）とボーンＢ７２（キーポイントＡ７２～Ａ８２）の中心軸（平均）のベクトルを骨格ベクトルとするか、または、検出されたボーンの長さが長く、地面に対して垂直な左足側のボーンＢ７２（キーポイントＡ７２～Ａ８２）の長さ及び方向を骨格ベクトルとする。

続いて、図４に示すように、カメラ校正装置１００は、算出された複数の骨格ベクトルを集計し（Ｓ２０４）、データが十分得られるまで（Ｓ２０５）、画像取得から骨格ベクトルの集計を繰り返す（Ｓ２０１～Ｓ２０４）。集計部１０４は、例えば、図８に示すように、画像における複数の場所で検出される人物の骨格構造から、骨格ベクトルをそれぞれ集計する。図８の例では、画像の中央で複数の人物が通行しており、歩いている複数の人物の骨格構造から、地面に対し略垂直となる足元の骨格ベクトルを検出し、それらを集計する。

集計部１０４は、図８のような画像に対し、図９に示すように複数の集計領域に分割し、集計領域ごとに骨格ベクトルを集計する。例えば、集計領域は、画像を縦方向及び横方向に所定の間隔で分割した矩形領域である。集計領域は、矩形に限らず、任意の形状としてもよい。集計領域は、画像の背景を考慮せずに所定の間隔で分割されている。なお、集計領域は、画像の背景や集計データの量等を考慮して分割してもよい。例えば、画像と実世界の大きさの関係に対応するように、撮像距離に応じて、カメラに近い領域（画像の下側）よりも、カメラに遠い領域（画像の上側）を小さくしてもよい。また、集計されるデータの量に応じて、骨格ベクトルが少ない領域よりも、骨格ベクトルが多い領域を小さくしてもよい。

例えば、集計領域の中に足元（例えば足の下端）が検出されている人物の骨格ベクトルを、集計領域ごとに集計する。足元以外が検出されている場合、足元以外を集計の基準としてもよい。例えば、集計領域の中に頭部や胴部が検出されている人物の骨格ベクトルを、集計領域ごとに集計してもよい。

カメラパラメータを精度よく算出するためには、複数の集計領域において骨格ベクトルを検出し、それぞれの領域の骨格ベクトルを集計することが好ましい。より多くの集計領域の骨格ベクトルを用いることで、より多くのカメラパラメータを求めることができる。例えば、３以上の領域の骨格ベクトルにより、姿勢、位置、焦点距離等の全てのカメラパラメータを求めることができる。また、集計領域ごとに、より多くの骨格ベクトルを集計することで、カメラパラメータの算出精度を向上することができる。例えば、集計領域ごとに３～５の骨格ベクトルを集計し、平均を求めることが好ましい。複数の骨格ベクトルの平均を求めることで、集計領域における地面に対しより垂直方向のベクトルを得ることができる。集計領域及び集計データを増やすことにより、算出精度を向上できるものの、算出処理に時間やコストを要する。集計領域及び集計データを減らすことにより、簡易に算出できるものの、算出精度が低下し得る。このため、必要とする算出精度とかかるコストを考慮して集計領域及び集計データの数を決めることが好ましい。

続いて、図４のように、カメラ校正装置１００は、十分にデータが集計されると、集計された骨格ベクトルに基づいて、カメラパラメータを算出する（Ｓ２０６）。カメラパラメータ算出部１０５は、２次元の画像内の長さとして足元の骨格ベクトルの長さを用い、３次元の実世界の長さとして人物の足元の骨の長さの平均値を用いて、カメラパラメータを求める。すなわち、２次元の画像における足元の骨格ベクトルの長さの集計値が、３次元の実世界における足元の骨の長さの平均値と等しいものとして、カメラパラメータを求める。なお、参照する平均値は、人物の一般的な平均値であるが、例えば、年代、性別、国籍等の人物の属性に応じて選択してもよい。例えば、撮像した画像に人物の顔が写っている場合、顔に基づいて人物の属性を識別し、識別した属性に対応する平均値を参照する。属性ごとの顔を機械学習した情報を参照し、画像の顔の特徴から人物の属性を認識することができる。また、画像から人物の属性が識別できない場合に、一般的な平均値を用いてもよい。

例えば、特許文献１に記載された方法と同様に、骨格ベクトルを地面（基準面）に対する垂直な投影用平面に投影し、投影された骨格ベクトルの地面に対する垂直性に基づいて、カメラパラメータを求める。投影用平面に投影された骨格ベクトルの垂直性を評価することで、カメラの姿勢（回転行列）を求めることができる。また、カメラの姿勢を用いて、２次元画像の骨格ベクトルを３次元空間に投影した長さと、３次元の実世界における身長や骨の長さ（この例では足の骨の長さ）の平均値との差から、カメラの位置（並進行列）や焦点距離を求めることができる。

以上のように、本実施の形態では、２次元画像から人物の骨格構造を検出し、検出した骨格構造の一部である足元等のボーンに基づいて骨格ベクトルを求め、この骨格ベクトルをさらに集計してカメラパラメータを算出する。人物の骨格構造を検出して、自動でキャリブレーションを行うため、手動で情報を外部から入力する必要がなく、簡易にカメラパラメータを算出することができ、キャリブレーションにかかるコストを削減することができる。また、機械学習を用いた骨格推定技術により、少なくとも骨格ベクトルに必要な骨格を検出できればよいため、必ずしも人物の全体が画像に写っていない場合でも精度よくカメラパラメータを算出することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、実施の形態１の骨格ベクトル算出処理において、人物の骨格構造の一部として、複数のボーンに基づいて骨格ベクトルを求める。その他については、実施の形態１と同様である。

図１０は、本実施の形態に係る骨格ベクトル算出処理であり、実施の形態１における図４の骨格ベクトル算出処理（Ｓ２０３）の流れを示している。本実施の形態の骨格ベクトル算出処理では、図１０に示すように、ベクトル算出部１０３は、足元から胴のボーンの長さ及び方向を取得し（Ｓ３０１）、足元から胴の骨格ベクトルを算出する（Ｓ３０２）。なお、この例では、複数のボーンとして、足元（足部）から胴（胴部）のボーンに基づいて骨格ベクトルを求めるが、その他、胴（胴部）から頭部のボーン等に基づいて骨格ベクトルを求めてもよい。

例えば、図１１に示すように、骨格構造を検出した画像から、全身のボーンのうちの足元から胴のボーンとして、ボーンＢ５１（長さＬ２１）、ボーンＢ６１（長さＬ３１）及びボーンＢ７１（長さＬ４１）と、ボーンＢ５２（長さＬ２２）、ボーンＢ６２（長さＬ３２）及びボーンＢ７２（長さＬ４２）の各長さ（画素数）及び方向を取得する。

それぞれのボーンの長さを合計した、Ｌ２１＋Ｌ３１＋Ｌ４１とＬ２２＋Ｌ３２＋Ｌ４２を体の右側と体の左側の全体の長さとしてもよいし、胴のボーンの最も高い座標と足元のボーンの最も低い座標とを結ぶ線の長さをそれぞれの全体の長さとしてもよい。方向の求め方についても、体の右側の各ボーンの方向の平均（中心軸）と体の左側の各ボーンの平均を用いてもよいし、胴のボーンの最も高い座標と足元のボーンの最も低い座標とを結ぶ線の方向を用いてもよい。

実施の形態１と同様、体の右側のボーンＢ５１、ボーンＢ６１及びボーンＢ７１と体の左側のボーンＢ５２、ボーンＢ６２及びボーンＢ７２の両方の長さ及び方向を取得してもよいし、いずれか一方の側のボーンの長さ及び方向を取得してもよい。一方の側のボーンの長さ及び方向のみを算出できる場合、算出したボーンの長さ及び方向を骨格ベクトルとする。両方の側のボーンの長さ及び方向を算出できる場合、算出したボーンの長さ及び方向の中心軸を骨格ベクトルとしてもよいし、いずれか一方の側のボーンの長さ及び方向を選択して骨格ベクトルとしてもよい。

図１１の例では、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がって検出されており、体の右側のボーンＢ５１、ボーンＢ６１及びボーンＢ７１よりも体の左側のボーンＢ５２、ボーンＢ６２及びボーンＢ７２の方が長く、また、地面に対して垂直である。例えば、ボーンＢ５１、ボーンＢ６１及びボーンＢ７１（キーポイントＡ２～Ａ８１）とボーンＢ５２、ボーンＢ６２及びボーンＢ７２（キーポイントＡ２～Ａ８２）の中心軸（平均）のベクトルを骨格ベクトルとするか、または、検出されたボーンの長さが長く、地面に対し垂直な体の左側のボーンＢ５２、ボーンＢ６２及びボーンＢ７２（キーポイントＡ２～Ａ８２）のベクトルを骨格ベクトルとする。

このように、本実施の形態では、検出した骨格構造の一部である足元から胴等のボーンに基づいて骨格ベクトルを求め、この骨格ベクトルをさらに集計してカメラパラメータを算出する。実施の形態１のように足元等の１つのボーンのみから骨格ベクトルを求めると、骨格ベクトルが地面に対し傾いている場合がある。これに対し、本実施の形態のように、足元から胴等の複数のボーンから骨格ベクトルを求めることで、骨格ベクトルを地面に対してより垂直にできるため、より精度よくカメラパラメータを求めることができる。

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、実施の形態１の骨格ベクトル算出処理において、人物の骨格構造の全体（全身の骨格構造）に基づいて全身の骨格ベクトルを求める。その他については、実施の形態１と同様である。以下、人物の全身の長さ（身長画素数と言う）を全身の骨格ベクトルの長さとする具体例１～３について説明する。

（具体例１）
本実施の形態の具体例１では、頭部から足部までのボーンに基づいて全身の骨格ベクトルを求める。特に、頭部から足部までのボーンの長さを用いて身長画素数を求める。

図１２は、具体例１に係る骨格ベクトル算出処理であり、実施の形態１における図４の骨格ベクトル算出処理（Ｓ２０３）の流れを示している。具体例１の骨格ベクトル算出処理では、図１２に示すように、ベクトル算出部１０３は、全身の各ボーンの長さ及び方向を取得し（Ｓ４０１）、取得した各ボーンの長さを合計し（Ｓ４０２）、合計した身長画素数を用いて全身の骨格ベクトルを算出する（Ｓ４０３）。

例えば、図１３に示すように、骨格構造を検出した画像から、全身の各ボーンとして、ボーンＢ１（長さＬ１）、ボーンＢ５１（長さＬ２１）、ボーンＢ６１（長さＬ３１）及びボーンＢ７１（長さＬ４１）と、ボーンＢ１（長さＬ１）、ボーンＢ５２（長さＬ２２）、ボーンＢ６２（長さＬ３２）及びボーンＢ７２（長さＬ４２）の各長さ（画素数）及び方向を取得する。

実施の形態２と同様、それぞれのボーンの長さを合計した、Ｌ１＋Ｌ２１＋Ｌ３１＋Ｌ４１とＬ１＋Ｌ２２＋Ｌ３２＋Ｌ４２を体の右側側と体の左側の全体の長さ（身長画素数）としてもよいし、頭のボーンの最も高い座標と足元のボーンの最も低い座標とを結ぶ線の長さをそれぞれの全体の長さとしてもよい。方向の求め方についても、実施の形態２と同様、体の右側の各ボーンの方向の平均（中心軸）と体の左側の各ボーンの平均を用いてもよいし、頭のボーンの最も高い座標と足元のボーンの最も低い座標とを結ぶ線の方向を用いてもよい。

実施の形態１及び２と同様、体の右側のボーンＢ１、ボーンＢ５１、ボーンＢ６１及びボーンＢ７１と体の左側のボーンＢ１、ボーンＢ５２、ボーンＢ６２及びボーンＢ７２の両方の長さ及び方向を用いて骨格ベクトルとしてもよいし、いずれか一方の側のボーンの長さ及び方向を用いて骨格ベクトルとしてもよい。

図１３の例では、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がって検出されており、体の右側のボーンＢ１、ボーンＢ５１、ボーンＢ６１及びボーンＢ７１よりも体の左側のボーンＢ１、ボーンＢ５２、ボーンＢ６２及びボーンＢ７２の方が長く、また、地面に対して垂直である。例えば、ボーンＢ１、ボーンＢ５１、ボーンＢ６１及びボーンＢ７１（キーポイントＡ１～Ａ８１）とボーンＢ１、ボーンＢ５２、ボーンＢ６２及びボーンＢ７２（キーポイントＡＡ１～Ａ８２）の中心軸（平均）のベクトルを骨格ベクトルとするか、または、検出されたボーンの長さが長く、地面に対して垂直な体の左側のボーンＢ１、ボーンＢ５２、ボーンＢ６２及びボーンＢ７２（キーポイントＡＡ１～Ａ８２）のベクトルを骨格ベクトルとする。

（具体例２）
本実施の形態の具体例２では、骨格構造の一部のボーンに基づいて全身の骨格ベクトルを求める。特に、２次元骨格構造に含まれる骨の長さと２次元画像空間上の人物の全身の長さとの関係を示す２次元骨格モデルを用いて身長画素数を求める。

図１４は、具体例２で用いる、２次元画像空間上の各ボーンの長さと２次元画像空間上の全身の長さとの関係を示す人体モデル（２次元骨格モデル）３０１である。図１４に示すように、平均的な人物の各ボーンの長さと全身の長さとの関係（全身の長さに対する各ボーンの長さの割合）を、人体モデル３０１の各ボーンに対応付ける。例えば、頭のボーンＢ１の長さは全身の長さ×０．２（２０％）であり、右手のボーンＢ４１の長さは全身の長さ×０．１５（１５％）であり、右足のボーンＢ７１の長さは全身の長さ×０．２５（２５％）である。このような人体モデル３０１の情報を記憶部１０６に記憶しておくことで、各ボーンの長さから平均的な全身の長さ（画素数）を求めることができる。平均的な人物の人体モデルの他に、年代、性別、国籍等の人物の属性ごとに人体モデルを用意してもよい。これにより、人物の属性に応じて適切に全身の長さ（身長）を求めることができる。

図１５は、具体例２に係る骨格ベクトル算出処理であり、実施の形態１における図４の骨格ベクトル算出処理（Ｓ２０３）の流れを示している。具体例２の骨格ベクトル算出処理では、図１５に示すように、ベクトル算出部１０３は、各ボーンの長さ及び方向を取得する（Ｓ４１１）。ベクトル算出部１０３は、具体例１と同様に検出された骨格構造において、全てのボーンの長さ（２次元画像空間上の長さ）及び方向を取得する。

図１６は、しゃがみ込んでいる状態の人物を右斜め後ろから撮像し、骨格構造を検出した例である。この例では、人物の顔や左側面が写っていないことから、頭のボーンと左腕及び左手のボーンが検出できていない。このため、検出されているボーンＢ２１、Ｂ２２、Ｂ３１、Ｂ４１、Ｂ５１、Ｂ５２、Ｂ６１、Ｂ６２、Ｂ７１、Ｂ７２の各長さ及び方向を取得する。

続いて、ベクトル算出部１０３は、人体モデルに基づき、各ボーンの長さから身長画素数を算出する（Ｓ４１２）。ベクトル算出部１０３は、図１４のような、各ボーンと全身の長さとの関係を示す人体モデル３０１を参照し、各ボーンの長さから身長画素数を求める。例えば、右手のボーンＢ４１の長さが全身の長さ×０．１５であるため、ボーンＢ４１の長さ／０．１５によりボーンＢ４１に基づいた身長画素数を求める。また、右足のボーンＢ７１の長さが全身の長さ×０．２５であるため、ボーンＢ７１の長さ／０．２５によりボーンＢ７１に基づいた身長画素数を求める。

このとき参照する人体モデルは、例えば、平均的な人物の人体モデルであるが、年代、性別、国籍等の人物の属性に応じて人体モデルを選択してもよい。例えば、撮像した画像に人物の顔が写っている場合、顔に基づいて人物の属性を識別し、識別した属性に対応する人体モデルを参照する。属性ごとの顔を機械学習した情報を参照し、画像の顔の特徴から人物の属性を認識することができる。また、画像から人物の属性が識別できない場合に、平均的な人物の人体モデルを用いてもよい。

続いて、ベクトル算出部１０３は、身長画素数の最適値を算出する（Ｓ４１３）。ベクトル算出部１０３は、ボーンごとに求めた身長画素数から身長画素数の最適値を算出する。例えば、図１７に示すような、ボーンごとに求めた身長画素数のヒストグラムを生成し、その中で大きい身長画素数を選択する。つまり、複数のボーンに基づいて求められた複数の身長画素数の中で他よりも長い身長画素数を選択する。例えば、上位３０％を有効な値とし、図１７ではボーンＢ７１、Ｂ６１、Ｂ５１による身長画素数を選択する。選択した身長画素数の平均を最適値として求めてもよいし、最も大きい身長画素数を最適値としてもよい。２次元画像のボーンの長さから身長を求めるため、ボーンを正面から撮像できていない場合、すなわち、ボーンがカメラから見て奥行き方向に傾いて撮像された場合、ボーンの長さが正面から撮像した場合よりも短くなる。そうすると、身長画素数が大きい値は、身長画素数が小さい値よりも、正面から撮像された可能性が高く、より尤もらしい値となることから、より大きい値を最適値とする。

続いて、ベクトル算出部１０３は、求めた身長画素数に基づいて、全身の骨格ベクトルを算出する（Ｓ４１４）。ベクトル算出部１０３は、具体例１と同様、Ｓ４１３で求めた身長画素数の最適値を骨格ベクトルの長さとする。方向についても、具体例１と同様、検出された複数のボーンの中心軸（平均）を用いてもよいし、検出されたボーンのうち最も高い座標と、検出されたボーンのうち最も低い座標とを結ぶ線の方向を用いてもよい。

（具体例３）
本実施の形態の具体例３では、２次元骨格構造を３次元人体モデル（３次元骨格モデル）にフィッティングさせて、フィッティングした３次元人体モデルの身長画素数を用いて全身の骨格ベクトルを求める。

図１８は、具体例３に係る骨格ベクトル算出処理であり、実施の形態１における図４の骨格ベクトル算出処理（Ｓ２０３）の流れを示している。具体例３の骨格ベクトル算出処理では、図１８に示すように、ベクトル算出部１０３は、３次元人体モデルの配置及び高さを調整する（Ｓ４２１）。

ベクトル算出部１０３は、具体例１と同様に検出された２次元骨格構造に対し、身長画素数算出用の３次元人体モデルを用意し、仮のカメラパラメータに基づいて、同じ２次元画像内に配置する。具体的には、仮のカメラパラメータに基づいて３次元人体モデルを２次元に投影した画像を作成する。そして、本画像を回転、拡大、縮小して２次元骨格構造と重ね合わせる。

図１９は、しゃがみ込んでいる人物を左斜め前から撮像し、２次元骨格構造４０１を検出した例である。２次元骨格構造４０１は、２次元の座標情報を有する。なお、全てのボーンを検出していることが好ましいが、一部のボーンが検出されていなくてもよい。この２次元骨格構造４０１に対し、図２０のような、３次元人体モデル４０２を用意する。３次元人体モデル（３次元骨格モデル）４０２は、３次元の座標情報を有し、２次元骨格構造４０１と同じ形状の骨格のモデルである。そして、図２１のように、検出した２次元骨格構造４０１に対し、用意した３次元人体モデル４０２を配置し重ね合わせる。また、重ね合わせるとともに、３次元人体モデル４０２の高さを２次元骨格構造４０１に合うように調整する。

なお、このとき用意する３次元人体モデル４０２は、図２１のように、２次元骨格構造４０１の姿勢に近い状態のモデルでもよいし、直立した状態のモデルでもよい。例えば、機械学習を用いて２次元画像から３次元空間の姿勢を推定する技術を用いて、推定した姿勢の３次元人体モデル４０２を生成してもよい。２次元画像の関節と３次元空間の関節の情報を学習することで、２次元画像から３次元の姿勢を推定することができる。

続いて、ベクトル算出部１０３は、３次元人体モデルを２次元骨格構造にフィッティングする（Ｓ４２２）。ベクトル算出部１０３は、図２２のように、３次元人体モデル４０２を仮のカメラパラメータに基づいて２次元画像に投影し、本画像を拡大、縮小、回転させて２次元骨格構造４０１に重ね合わせた状態で、３次元人体モデル４０２と２次元骨格構造４０１の姿勢が一致するように、仮のカメラパラメータ及び３次元人体モデル４０２を変化させる。すなわち、仮のカメラパラメータのうち、カメラの俯角に影響するパラメータや、３次元人体モデル４０２の身長、体の向き、関節の角度を調整し、２次元骨格構造４０１との差異がなくなるように最適化する。例えば、３次元人体モデル４０２の関節を、人の可動範囲で回転させていき、また、３次元人体モデル４０２の全体を回転させたり、全体のサイズを調整する。なお、３次元人体モデルと２次元骨格構造のフィッティング（あてはめ）は、２次元空間（２次元座標）上で行う。すなわち、２次元空間に３次元人体モデルを写像し、変形させた３次元人体モデルが２次元空間（画像）でどのように変化するかを考慮して、３次元人体モデルを２次元骨格構造に最適化する。

続いて、ベクトル算出部１０３は、フィッティングさせた３次元人体モデルの身長画素数を算出し（Ｓ４２３）、求めた身長画素数に基づいて、全身の骨格ベクトルを算出する（Ｓ４２４）。ベクトル算出部１０３は、図２３のように、３次元人体モデル４０２と２次元骨格構造４０１の差異がなくなり、姿勢が一致すると、その状態の３次元人体モデル４０２の身長画素数を求める。例えば、３次元人体モデル４０２を直立させた場合の頭から足までのボーンの長さ（画素数）により身長画素数を算出する。具体例１と同様に、３次元人体モデル４０２の頭部から足部までのボーンの長さを合計してもよい。さらに、ベクトル算出部１０３は、具体例１や２と同様、求めた身長画素数を骨格ベクトルの長さにするとともに、骨格ベクトルの方向を求める。

以上のように、本実施の形態では、検出した骨格構造の全身のボーンに基づいて骨格ベクトルを求め、この骨格ベクトルをさらに集計してカメラパラメータを算出する。全身の骨格ベクトルを求めることで、骨格ベクトルを地面に対してさらに垂直にできるため、さらに精度よくカメラパラメータを求めることができる。また、具体例１では、頭から足までのボーンの長さを合計することで全身の長さを求めることができるため、簡易な方法でカメラパラメータを算出することができる。

また、具体例２では、２次元画像空間上のボーンと全身の長さとの関係を示す人体モデルを用いて、検出した骨格構造のボーンに基づき全身の長さを求めることができるため、頭から足までの全ての骨格が得られない場合でも、一部のボーン（骨）からカメラパラメータを算出することができる。特に、複数のボーン（骨）から求められた身長（身長画素数）のうち、より大きい値を採用することで、精度よくカメラパラメータを算出することができる。

さらに、具体例３では、仮のカメラパラメータに基づいて３次元人体モデルを２次元骨格構造にフィッティングさせて、その３次元人体モデルに基づいて身長画素数を求めることで、全てのボーン（骨）が正面に写っていない場合、すなわち、全てのボーン（骨）が斜めに映っているため誤差が大きい場合でも、精度よく身長を推定し、カメラパラメータを算出することができる。なお、具体例１～３の方法が適用可能な場合、全ての方法（またはいずれかを組み合わせた方法）を用いて、身長画素数の平均値を求めてもよい。

なお、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。カメラ校正装置１０及び１００の機能（処理）を、図２４に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法を行うためのプログラム（カメラ校正プログラム）を格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記では人物の画像からカメラパラメータを求めたが、骨格構造を有する人物以外の動物（哺乳類、爬虫類、鳥類、両生類、魚類等）の画像からカメラパラメータを求めてもよい。

以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出する骨格検出手段と、
前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出するベクトル算出手段と、
前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出するパラメータ算出手段と、
を備える、カメラ校正装置。
（付記２）
前記骨格ベクトルは、前記２次元骨格構造に含まれる骨に対応したベクトル、又は前記２次元骨格構造の中心軸に対応したベクトルである、
付記１に記載のカメラ校正装置。
（付記３）
前記骨格ベクトルは、前記２次元骨格構造の一部に基づいたベクトルである、
付記１または２に記載のカメラ校正装置。
（付記４）
前記ベクトル算出手段は、前記２次元骨格構造に含まれる足部、胴部、又は頭部の骨に基づいて、前記骨格ベクトルを算出する、
付記３に記載のカメラ校正装置。
（付記５）
前記ベクトル算出手段は、前記骨格ベクトルは、前記２次元骨格構造に含まれる足部から胴部、又は胴部から頭部の骨に基づいて、前記骨格ベクトルを算出する、
付記３に記載のカメラ校正装置。
（付記６）
前記骨格ベクトルは、前記２次元骨格構造の全体に基づいたベクトルである、
付記１または２に記載のカメラ校正装置。
（付記７）
前記ベクトル算出手段は、前記２次元骨格構造に含まれる足部から頭部までの骨の長さの合計に基づいて、前記骨格ベクトルを算出する、
付記６に記載のカメラ校正装置。
（付記８）
前記ベクトル算出手段は、前記２次元骨格構造に含まれる骨の長さと２次元画像空間上の前記人物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記骨格ベクトルを算出する、
付記６に記載のカメラ校正装置。
（付記９）
前記ベクトル算出手段は、前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記骨格ベクトルを算出する、
付記６に記載のカメラ校正装置。
（付記１０）
前記算出された骨格ベクトルを集計する集計手段をさらに備え、
前記パラメータ算出手段は、前記集計された骨格ベクトルに基づいて、前記カメラパラメータを算出する、
付記１乃至９のいずれかに記載のカメラ校正装置。
（付記１１）
前記集計手段は、前記２次元画像を分割した領域ごとに、前記骨格ベクトルを集計する、
付記１０に記載のカメラ校正装置。
（付記１２）
前記パラメータ算出手段は、前記算出された骨格ベクトルと前記人物の骨格の基準値とに基づいて、前記カメラパラメータを算出する、
付記１乃至１１のいずれかに記載のカメラ校正装置。
（付記１３）
前記基準値は、前記人物の身長又は骨の長さの統計値である、
付記１２に記載のカメラ校正装置。
（付記１４）
前記基準値は、前記人物の属性に対応した値である、
付記１２又は１３に記載のカメラ校正装置。
（付記１５）
カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出する、
カメラ校正方法。
（付記１６）
前記骨格ベクトルは、前記２次元骨格構造に含まれる骨に対応したベクトル、又は前記２次元骨格構造の中心軸に対応したベクトルである、
付記１５に記載のカメラ校正方法。
（付記１７）
カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出する、
処理をコンピュータに実行させるためのカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体。
（付記１８）
前記骨格ベクトルは、前記２次元骨格構造に含まれる骨に対応したベクトル、又は前記２次元骨格構造の中心軸に対応したベクトルである、
付記１７に記載の非一時的なコンピュータ可読媒体。

１ カメラ校正システム
１０ カメラ校正装置
１１ 骨格検出部
１２ ベクトル算出部
１３ パラメータ算出部
２０ コンピュータ
２１ プロセッサ
２２ メモリ
１００ カメラ校正装置
１０１ 画像取得部
１０２ 骨格構造検出部
１０３ ベクトル算出部
１０４ 集計部
１０５ カメラパラメータ算出部
１０６ 記憶部
２００ カメラ
３００、３０１ 人体モデル
４０１ ２次元骨格構造
４０２ ３次元人体モデル

Claims (18)

1. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出する骨格検出手段と、
   前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出するベクトル算出手段と、
   前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出するパラメータ算出手段と、
   を備え、
   前記算出された骨格ベクトルを集計する集計手段をさらに備え、
   前記パラメータ算出手段は、前記集計された骨格ベクトルに基づいて、前記カメラパラメータを算出する、
   カメラ校正装置。
2. 前記骨格ベクトルは、前記２次元骨格構造に含まれる骨に対応したベクトル、又は前記２次元骨格構造の中心軸に対応したベクトルである、
   請求項１に記載のカメラ校正装置。
3. 前記骨格ベクトルは、前記２次元骨格構造の一部に基づいたベクトルである、
   請求項１または２に記載のカメラ校正装置。
4. 前記ベクトル算出手段は、前記２次元骨格構造に含まれる足部、胴部、又は頭部の骨に基づいて、前記骨格ベクトルを算出する、
   請求項３に記載のカメラ校正装置。
5. 前記ベクトル算出手段は、前記２次元骨格構造に含まれる足部から胴部、又は胴部から頭部の骨に基づいて、前記骨格ベクトルを算出する、
   請求項３に記載のカメラ校正装置。
6. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出する骨格検出手段と、
   前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出するベクトル算出手段と、
   前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出するパラメータ算出手段と、
   を備え、
   前記骨格ベクトルは、前記２次元骨格構造の全体に基づいたベクトルである、
   カメラ校正装置。
7. 前記ベクトル算出手段は、前記２次元骨格構造に含まれる足部から頭部までの骨の長さの合計に基づいて、前記骨格ベクトルを算出する、
   請求項６に記載のカメラ校正装置。
8. 前記ベクトル算出手段は、前記２次元骨格構造に含まれる骨の長さと２次元画像空間上の前記人物の全身の長さとの関係を示す２次元骨格モデルに基づいて、前記骨格ベクトルを算出する、
   請求項６に記載のカメラ校正装置。
9. 前記ベクトル算出手段は、前記２次元骨格構造にフィッティングさせた３次元骨格モデルに基づいて、前記骨格ベクトルを算出する、
   請求項６に記載のカメラ校正装置。
10. 前記集計手段は、前記２次元画像を分割した領域ごとに、前記骨格ベクトルを集計する、
    請求項１乃至５のいずれか一項に記載のカメラ校正装置。
11. 前記パラメータ算出手段は、前記算出された骨格ベクトルと前記人物の骨格の基準値とに基づいて、前記カメラパラメータを算出する、
    請求項１乃至１０のいずれか一項に記載のカメラ校正装置。
12. 前記基準値は、前記人物の身長又は骨の長さの統計値である、
    請求項１１に記載のカメラ校正装置。
13. 前記基準値は、前記人物の属性に対応した値である、
    請求項１１又は１２に記載のカメラ校正装置。
14. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
    前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
    前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出し、
    さらに、前記算出された骨格ベクトルを集計し、
    前記カメラパラメータの算出では、前記集計された骨格ベクトルに基づいて、前記カメラパラメータを算出する、
    カメラ校正方法。
15. 前記骨格ベクトルは、前記２次元骨格構造に含まれる骨に対応したベクトル、又は前記２次元骨格構造の中心軸に対応したベクトルである、
    請求項１４に記載のカメラ校正方法。
16. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
    前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
    前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出し、
    前記骨格ベクトルは、前記２次元骨格構造の全体に基づいたベクトルである、
    カメラ校正方法。
17. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
    前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
    前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出し、
    さらに、前記算出された骨格ベクトルを集計し、
    前記カメラパラメータの算出では、前記集計された骨格ベクトルに基づいて、前記カメラパラメータを算出する、
    処理をコンピュータに実行させるためのカメラ校正プログラム。
18. カメラにより撮像された２次元画像に基づいて、人物の２次元骨格構造を検出し、
    前記検出された２次元骨格構造に基づいて、前記２次元画像における前記人物の骨格の方向及び大きさを示す骨格ベクトルを算出し、
    前記算出された骨格ベクトルに基づいて、前記カメラのカメラパラメータを算出し、
    前記骨格ベクトルは、前記２次元骨格構造の全体に基づいたベクトルである、
    処理をコンピュータに実行させるためのカメラ校正プログラム。

Images