WO2023127005A1

WO2023127005A1 - データ拡張装置、データ拡張方法、及びコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2023127005A1
Application number: PCT/JP2021/048544
Authority: WO
Inventors: 遊哉石井
Original assignee: 日本電気株式会社
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2023-07-06
Also published as: JPWO2023127005A1

Abstract

データ拡張装置１０は人の関節点の３次元座標の集合を含むデータを取得する、データ取得部１１と、各関節点の射影座標を生成する、射影処理部１２と、人の関節点の３次元座標の集合と、人の２次元画像と、カメラパラメータとを互いに関連付けた組データ毎に、カメラパラメータを用いて、組データの３次元座標の２次元画像上での２次元座標を特定し、更に、組データ毎に、射影座標の集合と特定した２次元座標の集合とが重なるように、いずれかの３次元座標の集合を操作し、操作後において、３次元座標の集合間の類似度を算出し、類似度に基づいて、取得されたデータに対応する組データを特定する、データ探索部１３と、特定した組データの２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成部１４と、を備えている。

Description

データ拡張装置、データ拡張方法、及びコンピュータ読み取り可能な記録媒体

　本発明は、人の姿勢を推定する学習モデルの構築用の訓練データを拡張する、データ拡張装置、及びデータ拡張方法に関し、更には、それらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

　近年、２次元の画像から人の各関節の３次元座標を検出することによって、人の姿勢を推定する技術が開発されている（例えば、特許文献１参照）。このような技術は、画像監視システムの分野、スポーツの分野、ゲームの分野などでの利用が期待されている。また、このような技術において、人の各関節の３次元座標の検出には、学習モデルが用いられる。

　学習モデルは、例えば、訓練データとして、画像中の人から抽出した関節の２次元座標（以下「２次元関節点座標」と表記する）と、抽出した関節の３次元座標（以下「３次元関節点座標」と表記する）とを用いて、機械学習することによって構築される（例えば、非特許文献１参照）。

　ところで、学習モデルによる３次元関節点座標の検出精度を高めるためには、大量の訓練データを用意する必要があるが、大量の訓練データを用意することは簡単ではない。このため、非特許文献１は、訓練データを拡張する手法を開示している。

　非特許文献１に開示された手法では、まず、特定の人の３次元関節点座標を構成する各関節点が、２次元平面に射影される。次に、射影された関節点のうち、人の一部分の関節点について、予め用意されている２次元関節点座標と比較され、一致する２次元関節点座標が特定される。続いて、特定された２次元関節点座標に対応する２次元画像から、特定された２次元関節点座標に該当する部分が切り出される。切り出された部分は、別の２次元画像に貼り付けられ、元の３次元関節点座標に対応する２次元画像とされる。その後、得られた２次元画像から抽出された２次元関節点座標と、元の３次元関節点座標とが、新たな訓練データとされる。

特開２０２１－４７５６３号公報

Gregory Rogez, Cordelia Schmid, " MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild", arXiv:1607.02046v2 [cs.CV], 28 Oct 2016, ［令和3年11月1日検索］，インターネット＜URL：http:// https://arxiv.org/pdf/1607.02046.pdf＞

　しかしながら、非特許文献１に開示された手法においては、元の３次元関節点座標と、射影された関節点に一致した２次元関節点座標に対応する３次元関節点座標とが、一致していない場合がある。つまり、元の３次元関節点座標に対応する人の姿勢と、一致した２次元関節点座標に対応した人の姿勢とが、実空間では、異なる場合がある。

　これは、実空間では異なる姿勢であるのに、２次元画像上では、視点の相違によって、同じ姿勢に見えてしまうことがあることに起因している。このような場合が生じると、学習モデルによる３次元関節点座標の検出精度は低下してしまう。

　本開示の目的の一例は、３次元関節点座標を検出するための学習モデルの構築において、訓練データを拡張し得る、データ拡張装置、データ拡張方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本開示の一側面におけるデータ拡張装置は、
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得部と、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理部と、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索部と、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成部と、
を備えている、
ことを特徴とする。

　また、上記目的を達成するため、本開示の一側面におけるデータ拡張方法は、
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得ステップと、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理ステップと、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索ステップと、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成ステップと、
を有する、ことを特徴とする。

　更に、上記目的を達成するため、本開示の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得ステップと、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理ステップと、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索ステップと、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。

　以上のように本発明によれば、３次元関節点座標を検出するための学習モデルの構築において、訓練データを拡張することができる。

図１は、実施の形態１におけるデータ拡張装置の概略構成を示す構成図である。図２は、実施の形態１におけるデータ拡張装置の構成を具体的に示す構成図である。図３は、実施の形態１で用いられる対象データの一例を示す図である。図４は、実施の形態１における３次元ポーズデータセットの操作処理を説明する説明図である。図５は、実施の形態１における類似度の算出処理を説明する説明図である。図６は、実施の形態１で作成された新たな２次元画像を模式的に示す図である。図７は、実施の形態１におけるデータ拡張装置の動作を示すフロー図である。図８は、実施の形態２におけるデータ拡張装置の構成を示す構成図である。図９は、実施の形態２における体形変更処理を説明する説明図である。図１０は、実施の形態２におけるデータ拡張装置の動作を示すフロー図である。図１１は、実施の形態１及び２におけるデータ拡張装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態１）
　以下、実施の形態１における、データ拡張装置、データ拡張方法、及びプログラムについて、図１～図７を参照しながら説明する。

［装置構成］
　最初に、実施の形態１におけるデータ拡張装置の概略構成について図１を用いて説明する。図１は、実施の形態１におけるデータ拡張装置の概略構成を示す構成図である。

　図１に示す実施の形態１における、データ拡張装置１０は、訓練データ、具体的には、人の姿勢を推定する学習モデルの構築用の訓練データを拡張する、装置である。図１に示すように、データ拡張装置１０は、データ取得部１１と、射影処理部１２と、データ探索部１３と、画像生成部１４とを備えている。

　データ取得部１１は、特定の人の関節点それぞれの３次元座標の集合を含むデータ（以下「対象データ」と表記する）を取得する。射影処理部１２は、取得された対象データに含まれる３次元座標それぞれを２次元平面上に射影して、関節点それぞれの射影座標を生成する。

　データ探索部１３は、組データ毎に以下の処理を実行する。組データは、人の関節点それぞれの３次元座標の集合と、この人の２次元画像と、カメラパラメータとを、互いに関連付けたデータである。データ探索部１３は、まず、組データ毎に、そのカメラパラメータを用いて、その組データの３次元座標それぞれの２次元画像上での対応する２次元座標を特定する。

　続いて、データ探索部１３は、組データ毎に、生成された射影座標の集合と特定した２次元座標の集合とが重なるように、取得された対象データ又は組データに含まれる３次元座標の集合を操作する。

　ここで、「重なる」とは、射影座標の集合を構成する全ての２次元座標が、特定した２次元座標の集合を構成する２次元座標に完全に一致している場合に限定されることはない「重なる」には。射影座標の集合を構成する一部の２次元座標が、特定した２次元座標の集合の一部の２次元座標に一致している場合も含まれる。

　また、射影座標の集合と特定した２次元座標の集合との類似度が設定値以上である場合に、前者と後者とが「重なる」と判断することもできる。この場合の類似度は、例えば、射影座標の集合を構成する２次元座標毎に、特定した２次元座標の集合の各２次元座標とのズレを求め、ズレの合計値、平均値等に基づいて算出される。

　そして、データ探索部１３は、組データ毎に、操作後の対象データに含まれる３次元座標の集合と、その組データの３次元座標の集合との類似度を算出する。その後、データ探索部１３は、組データ毎に算出した類似度に基づいて、取得された対象データに対応する組データを特定する。

　画像生成部１４は、特定した組データの２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する。新たな二次元画像の画像データは、訓練データとして用いられる。

　このように、データ拡張装置１０は、対象データの関節点の３次元座標の集合と、データベースに格納されているデータの関節点の３次元座標の集合と、の間の類似度を求め、両者が類似する場合に、対応する２次元画像を用いて、新たな訓練データを作成している。

　このため、従来におけるデータ拡張と異なり、元の２次元画像と２次元での人の姿勢は近似しているが、実空間での人の姿勢が異なる２次元画像を用いて、訓練データが拡張される事態は回避される。データ拡張装置１０によれば、３次元関節点座標を検出するための学習モデルの構築において、従来からの問題を解消しつつ、訓練データを拡張することができる。

　続いて、図２～図６を用いて、実施の形態１におけるデータ拡張装置の構成及び機能について具体的に説明する。図２は、実施の形態１におけるデータ拡張装置の構成を具体的に示す構成図である。図３は、実施の形態１で用いられる対象データの一例を示す図である。

　図２に示すように、実施の形態１では、データ拡張装置１０は、上述した、データ取得部１１、射影処理部１２、データ探索部１３、及び画像生成部１４に加えて、データベース２０も備えている。

　データ取得部１１は、実施の形態１では、対象データとして、図３に示す３次元ポーズ（３Ｄ　ｐｏｓｅ）データセットを取得する。図３に示すように、３次元ポーズデータセット３０は、１人の人の関節点３１毎の３次元座標の集合で構成されている。また、３次元ポーズデータセットには、各関節点３１を識別する識別データ（右手首、左手首、首等）も付与されている。

　また、図３の例では、各関節点３１の３次元座標は、カメラ座標系で表現されているが、座標系は特に限定されるものではない。各関節点３１の３次元座標は、世界座標系であっても良い。なお、カメラ座標系は、カメラの位置を原点とする座標系である。カメラ座標系では、カメラの水平方向がｘ軸、垂直方向がｙ軸、光軸方向がｚ軸に設定される。ｚ座標はカメラからの距離を表している。また、世界座標系は、実空間に任意に設定される座標系であり、カメラの足元の地面に原点が設定される。世界座標系では、鉛直方向がＺ軸に設定される。

　射影処理部１２は、実施の形態１では、３次元ポーズデータセット３０の全部又は特定の部位に含まれる関節点３１（図３参照）それぞれを、２次元平面上、即ち、画像座標系に射影し、画像座標系における関節点３１それぞれの射影座標（２次元座標）を生成する。画像座標系は、２次元の画像上での座標系であり、通常、左側の上の画素が原点に設定される。

　データベース２０は、予め、複数の組データ２１を登録している。組データ２１は、実施の形態１では、人の３次元ポーズデータセットと、この３次元ポーズデータセットと同じポーズをしている人の２次元画像の画像データと、これらに対応するカメラパラメータと、を関連付けたデータである。

　カメラパラメータとしては、関節点の三次元座標がカメラ座標系で表現されている場合は、内部パラメータが用いられ、関節点の三次元座標が世界座標系で表現されている場合は、内部パラメータと外部パラメータとが用いられる。なお、内部パラメータは、カメラ座標系と画像座標系とを結ぶ行列、焦点距離、光軸のズレ等で表される。外部パラメータは、世界座標系とカメラ座標系とを結ぶ行列、世界座標に対するカメラの位置、カメラの傾きで表される。

　データ探索部１３は、実施の形態では、組データ毎に、内部パラメータを用いて、組データの３次元ポーズデータセットにおける全部又は特定の部位に含まれる各関節点の３次元座標について、画像座標系での、対応する２次元座標を特定する。

　続いて、データ探索部１３は、実施の形態１では、組データ毎に、対象データから生成した射影座標の集合と、特定した２次元座標の集合とが重なるように、対象データの３次元ポーズデータセットを操作する。そして、データ探索部１３は、組データ毎に、操作後の３次元ポーズデータセットと、組データの３次元ポーズデータセットとの類似度を算出する。また、射影座標と２次元座標とが特定部位について得られている場合は、データ探索部１３は、特定部位の３次元ポーズデータセットを用いて類似度を算出する。

　具体的には、データ探索部１３は、組データ毎に、例えば、生成された射影座標の集合に含まれる２以上の関節点と特定した２次元座標の集合に含まれる２以上の関節点とが一致することを条件とする。そして、データ探索部１３は、条件が満たされるように、操作として、対象データ又は組データの３次元ポーズデータセット（３次元座標の集合）に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う。

　また、データ探索部１３は、操作後の３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求める。そして、データ探索部１３は、求めた両者の単位ベクトルに基づいて、類似度を算出する。

　図４及び図５を用いて、データ探索部１３による３次元ポーズデータセットの操作処理と類似度の算出処理について、より詳細に説明する。図４は、実施の形態１における３次元ポーズデータセットの操作処理を説明する説明図である。図５は、実施の形態１における類似度の算出処理を説明する説明図である。

　まず、対象データの３次元ポーズデータセットをｐ（＝｛ｐ_１，ｐ_２，・・・ｐ_ｎ｝）、データベース２０における組データの３次元ポーズデータセットをｑ（＝｛ｑ_１，ｑ_２，・・・ｑ_ｎ｝）とする。ｐ_ｎ及びｑ_ｎは、それぞれ関節点を示している。

　図４に示すように、対象データにおいて、同一人物の２つの関節点ｐ_ｊ及びｐ_ｉを想定する。関節点ｐ_ｊと、関節点ｐ_ｊに骨で接続された関節点と、の集合をｐ_ＡＤ，ｊとする。関節点ｐ_ｊ及びｐ_ｉは、３次元ポーズデータセットにおいては、ｐ^ｃ _ｊ及びｐ^ｃ _ｉと表記する。この関節点ｐ^ｃ _ｊ及びｐ^ｃ _ｉを画像座標系に射影して得られた関節点をｐ^ｌ _ｊ及びｐ^ｌ _ｉと表記する。また、ｐ^ｌ _ｉ∈ｐ^ｌ _ＡＤ，ｊは、ｐ^ｌ _ｊから最も遠い関節点であるとする。

　また、組データにおいても、対応する２つの関節点ｑ_ｊ及びｑ_ｉを想定し、これらと骨で接続された関節点の集合をｑ_ＡＤ，ｊとする。関節点をｑ_ｊ及びｑ_ｉは、３次元ポーズデータセットにおいては、ｑ^ｃ _ｊ及びｑ^ｃ _ｉと表記する。関節点ｑ_ｊ及びｑ_ｉに対応する画像座標系の関節点をｑ^ｌ _ｊ及びｑ^ｌ _ｉと表記する。また、ｑ^ｌ _ｉ∈ｑ^ｌ _ＡＤ，ｊは、ｑ^ｌ _ｊから最も遠い関節点であるとする。

　データ探索部１３は、図４に示すように、画像座標系において、関節点ｐ^ｌ _ｊ及びｐ^ｌ _ｉが関節点ｑ^ｌ _ｊ及びｑ^ｌ _ｉに一致するように、カメラ座標系において、３次元ポーズデータセットｑ^ｃに対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを実行する。また、この操作により、ｑ^ｌ _ｊ及びｑ^ｌ _ｉを含む画像座標系の関節点も操作されることになる。操作後のｑ^ｌ _ｊ及びｑ^ｃ _ｊは、それぞれｑ^ｌ’ _ｊ及びｑ^ｃ’ _ｊで表される（図５参照）。
　また、図４の例では、回転は、カメラ座標系のｘｙ平面内でのみ行われる。拡大及び縮小は、カメラ座標系のｘ軸、ｙ軸、ｚ軸のいずれにおいても、同じ倍率で行われる。また、データ探索部１３による操作に応じて、組データを構成する２次元画像Ｉに対しても、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せが行われる。操作後の２次元画像をＩ’とする。

　データ探索部１３は、操作後、図５に示すように、対象データにおいて、関節点ｐ^ｃ _ｊからｐ^ｃ _ｋ∈ｐ^Ｃ _ＡＤ，ｊに向かう単位ベクトルｔ_ｊｋを求め、組データにおいて、関節点ｑ^ｃ’ _ｊからｑ^ｃ’ _ｋ∈ｑ^Ｃ’ _ＡＤ，ｊに向かう単位ベクトルｓ_ｊｋを求める。続いて、データ探索部１３は、下記の数１を用いて、関節点ｐ^ｃ _ｊを中心とした構造と、関節点ｑ^ｃ’ _ｊを中心とした構造と、の類似度Ｄ_ｊを算出する。ｋは、ｐ^c _k∈ｐ^c _ＡＤ，jを満たす関節点のインデックスである。

　なお、上記数１では、類似度としてコサイン類似度が用いられる。実施の形態１は、これに限定されず、類似度として、ｐ^ｃ _ｋ∈ｐ^Ｃ _ＡＤ，ｊとｑ^ｃ’ _ｋ∈ｑ^Ｃ’ _ＡＤ，ｊとのユークリッド距離が用いられても良い。

　データ探索部１３は、データベース２０に格納されている全ての組データについて、類似度Ｄ_ｊを算出し、このうち、類似度Ｄ_ｊが最大となる組データを特定する。なお、射影座標と２次元座標とが特定部位について得られている場合は、特定の部位のみが類似している組データが特定される。

　画像生成部１４は、特定の部位が類似している組データが特定されている場合は、上述した操作後の２次元画像Ｉ’の特定の部位（例えば左足、右足、右腕、等）を切り出すことで、パッチ画像を生成する。また、画像生成部１４は、操作後の画像座標系での関節点ｑ^ｌ’ _ｊと、操作後の３次元ポーズデータセットの関節点ｑ^ｃ’ _ｊとを用いて、生成したパッチ画像に、対応する３次元ポーズデータセットの一部を割り当てる。そして、画像生成部１４は、生成したパッチ画像を別の２次元画像（特定の部位が遮蔽されている人が映っている画像等）と合成して新たな２次元画像を生成する。このようにして得られた新たな２次元画像は、人の姿勢を推定する学習モデルの構築用の訓練データとして用いられる。

　また、データ探索部１３は、実施の形態１では、異なる部位毎に、類似度が最大となる組データを特定することができる。この場合は、画像生成部１４は、部位毎にパッチ画像を生成し、更に、各部位のパッチ画像を背景画像に貼り付けて、新たに、１人の人の画像（新たな２次元画像）を生成する。このとき、画像生成部１４は、各パッチ画像に対応する３次元ポーズデータセットも合成する。このようにして得られた新たな２次元画像と、合成後の３次元ポーズデータセットも、人の姿勢を推定する学習モデルの構築用の訓練データとなる。

　図６は、実施の形態１で作成された新たな２次元画像を模式的に示す図である。図６の例では、新たな２次元画像は、部位が異なる、パッチ画像３２と、パッチ画像３３と、パッチ画像３４と、パッチ画像３５と、背景画像３６と、を合成することで作成されている。

［装置動作］
　次に、実施の形態１におけるデータ拡張装置１０の動作について図７を用いて説明する。図７は、実施の形態１におけるデータ拡張装置の動作を示すフロー図である。以下の説明においては、適宜図１～図６を参照する。また、実施の形態１では、データ拡張装置１０を動作させることによって、データ拡張方法が実施される。よって、実施の形態１におけるデータ拡張方法の説明は、以下のデータ拡張装置１０の動作説明に代える。

　図７に示すように、最初に、データ取得部１１は、対象データとして、特定の人の３次元ポーズデータセットを取得する（ステップＡ１）。

　次に、射影処理部１２は、ステップＡ１で取得された３次元ポーズデータセット３０の特定の部位に含まれる関節点３１（図３参照）それぞれを、画像座標系に射影し、画像座標系における関節点３１それぞれの射影座標（２次元座標）を生成する（ステップＡ２）。

　次に、データ探索部１３は、データベース２０から、組データを読み出し、組データ毎に、内部パラメータを用いて、組データの３次元ポーズデータセットの特定の部位に含まれる各関節点の３次元座標について、画像座標系での、対応する２次元座標を特定する（ステップＡ３）。

　次に、データ探索部１３は、組データ毎に、ステップＡ２で生成した射影座標の集合と、ステップＡ３で特定した２次元座標の集合とが重なるように、ステップＡ１で取得した３次元ポーズデータセット又は組データの３次元ポーズデータセットを操作する（ステップＡ４）。

　具体的には、ステップＡ４では、データ探索部１３は、組データ毎に、ステップＡ２で生成した射影座標の集合に含まれる２以上の関節点と、ステップＡ３で特定した２次元座標の集合に含まれる２以上の関節点とが一致することを条件とする。そして、データ探索部１３は、条件が満たされるように、ステップＡ１で取得した３次元ポーズデータセット又は組データの３次元ポーズデータセットに対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う。

　次に、データ探索部１３は、組データ毎に、ステップＡ４の操作後における、対象データの３次元ポーズデータセットと、組データの３次元ポーズデータセットとの類似度を算出する（ステップＡ５）。

　具体的には、ステップＡ５では、データ探索部１３は、操作後の３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求める。そして、データ探索部１３は、求めた両者の単位ベクトルに基づいて、類似度を算出する。

　次に、データ探索部１３は、ステップＡ５で組データ毎に算出された類似度に基づいて、類似度が最大となる組データを特定する（ステップＡ６）。

　次に、画像生成部１４は、ステップＡ６で特定された組データの２次元画像の特定の部位（例えば、左足、右足、右腕、等）を切り出して、パッチ画像を生成する（ステップＡ７）。

　その後、画像生成部１４は、ステップＡ７で生成されたパッチ画像を用いて、新たな２次元画像を生成し、更に、これを用いて、新たな訓練データを生成する（ステップＡ８）。具体的には、画像生成部１４は、ステップＡ７で生成されたパッチ画像と、別の部位について既に生成されたパッチ画像と、背景画像とを用いて、新たな２次元画像を生成する。

　このように、データ拡張装置１０は、対象データとなる３次元ポーズデータセットと、データベースに格納されている３次元ポーズデータセットと、の間の類似度を求め、両者が類似する場合に、対応する２次元画像から生成したパッチ画像を用いて、新たな訓練データを作成する。このため、実空間での人の姿勢が異なる２次元画像を用いて、訓練データが拡張される事態は回避される。実施の形態１によれば、３次元関節点座標を検出するための学習モデルの構築において、従来からの問題を解消しつつ、訓練データを拡張することができる。

［プログラム］
　実施の形態１におけるプログラムは、コンピュータに、図７に示すステップＡ１～Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態１におけるデータ拡張装置１０とデータ拡張方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、射影処理部１２、データ探索部１３、及び画像生成部１４として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

　実施の形態１では、データベース２０は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

　また、実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、射影処理部１２、データ探索部１３、及び画像生成部１４のいずれかとして機能しても良い。

（実施の形態２）
　次に、実施の形態２におけるデータ拡張装置、データ拡張方法、及びプログラムについて、図８～図１０を参照しながら説明する。

［装置構成］
　最初に、実施の形態２におけるデータ拡張装置の構成について図８及び図９を用いて説明する。図８は、実施の形態２におけるデータ拡張装置の構成を示す構成図である。

　図８に示す、実施の形態２におけるデータ拡張装置４０は、実施の形態１におけるデータ拡張装置１０と同様に、人の姿勢を推定する学習モデルの構築用の訓練データを拡張する、装置である。また、図８に示すように、データ拡張装置４０も、データ拡張装置１０と同様に、データ取得部１１と、射影処理部１２と、データ探索部１３と、画像生成部１４とを備えている。

　但し、実施の形態２では、データ拡張装置４０は、上述の構成に加えて、体形変更部４１を備えている。実施の形態２におけるデータ拡張装置４０は、この点で、実施の形態１におけるデータ拡張装置１０と異なっている。以下、相違点を中心に説明する。

　体形変更部４１は、特定の人の体形が変更されるように、データ取得部１１で取得された対象データ（３次元ポーズデータセット）における３次元座標を変更する。実施の形態２では、対象データにおける人の体形を変更してデータを拡張できる。このため、３次元関節点座標を検出するための学習モデルの構築において、特定の体形を過学習してしまい、体形によって検出精度がばらつくという問題を解消できる。

　具体的には、体形変更部４１は、特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された３次元ポーズデータセットにおける３次元座標を変更する。そして、実施の形態２では、射影処理部１２は、変更後の３次元座標それぞれを２次元平面上に射影する。

　図９を用いて、体形変更部４１による体形変更処理について説明する。図９は、実施の形態２における体形変更処理を説明する説明図である。図９では、関節点１と関節点２との間が拡大（又は縮小）される例が示されている。図９の例において、体形変更部４１は、以下の数２に示す設定条件が満たされるように、縦方向の変化率ａと横方向の変化率ｂとが決定される。例えば、ａ＝（３／２）×α^１／２、ｂ＝（２／３）×α^１／２に設定される。

　上記数２において、「α」は、例えば、公開されている人の体形についての統計情報等に基づいて適宜設定される。また、「α」は、学習モデルによる検出精度が高まるように、実験を行いながら適宜設定されても良い。なお、実施の形態２において、設定条件は、変更後の体形が不自然にならないように設定されていれば良く、下記の数２の例に限定されるものではない。

［装置動作］
　次に、実施の形態２におけるデータ拡張装置４０の動作について図１０を用いて説明する。図１０は、実施の形態２におけるデータ拡張装置の動作を示すフロー図である。以下の説明においては、適宜図８及び図９を参照する。また、実施の形態２では、データ拡張装置４０を動作させることによって、データ拡張方法が実施される。よって、実施の形態２におけるデータ拡張方法の説明は、以下のデータ拡張装置４０の動作説明に代える。

　図１０に示すように、最初に、データ取得部１１は、対象データとして、特定の人の３次元ポーズデータセットを取得する（ステップＢ１）。

　次に、体形変更部４１は、特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、ステップＢ１で取得された３次元ポーズデータセットにおける３次元座標を変更する（ステップＢ２）。

　次に、射影処理部１２は、ステップＢ２による変更後の３次元ポーズデータセット３０の特定の部位に含まれる関節点３１（図３参照）それぞれを、画像座標系に射影し、画像座標系における関節点３１それぞれの射影座標（２次元座標）を生成する（ステップＢ３）。ステップＢ３は、図７に示したステップＡ２と同様のステップである。

　次に、データ探索部１３は、データベース２０から、組データを読み出し、組データ毎に、内部パラメータを用いて、組データの３次元ポーズデータセットの特定の部位に含まれる各関節点の３次元座標について、画像座標系での、対応する２次元座標を特定する（ステップＢ４）。ステップＢ４は、図７に示したステップＡ３と同様のステップである。

　次に、データ探索部１３は、組データ毎に、ステップＢ３で生成した射影座標の集合と、ステップＢ４で特定した２次元座標の集合とが重なるように、ステップＢ１で取得した３次元ポーズデータセット又は組データの３次元ポーズデータセットを操作する（ステップＢ５）。ステップＢ５は、図７に示したステップＡ４と同様のステップである。

　次に、データ探索部１３は、組データ毎に、ステップＢ５の操作後における、対象データの３次元ポーズデータセットと、組データの３次元ポーズデータセットとの類似度を算出する（ステップＢ６）。ステップＢ６は、図７に示したステップＡ５と同様のステップである。

　次に、データ探索部１３は、ステップＢ６で組データ毎に算出された類似度に基づいて、類似度が最大となる組データを特定する（ステップＢ７）。ステップＢ７は、図７に示したステップＡ６と同様のステップである。

　次に、画像生成部１４は、ステップＢ７で特定された組データの２次元画像の特定の部位（例えば、左足、右足、右腕、等）を切り出して、パッチ画像を生成する（ステップＢ８）。ステップＢ８は、図７に示したステップＡ７と同様のステップである。

　その後、画像生成部１４は、ステップＢ８で生成されたパッチ画像を用いて、新たな２次元画像を生成し、更に、これを用いて、新たな訓練データを生成する（ステップＢ９）。ステップＢ９は、図７に示したステップＡ８と同様のステップである。

　このように、実施の形態２では、対象データにおける３次元ポーズデータセットで表される体形を変更することができる。実施の形態２は、学習モデルにおいて特定の体形が過学習されてしまう事態の発生抑制に有用である。また、実施の形態２においても、実施の形態１と同様に、実空間での人の姿勢が異なる２次元画像を用いて、訓練データが拡張される事態は回避される。実施の形態２においても、３次元関節点座標を検出するための学習モデルの構築において、従来からの問題を解消しつつ、訓練データを拡張することができる。

［プログラム］
　実施の形態２におけるプログラムは、コンピュータに、図１０に示すステップＢ１～Ｂ９を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態２におけるデータ拡張装置４０とデータ拡張方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、射影処理部１２、データ探索部１３、画像生成部１４、及び体形変更部４１として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

　実施の形態２では、データベース２０は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

　また、実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、射影処理部１２、データ探索部１３、画像生成部１４、及び体形変更部４１のいずれかとして機能しても良い。

［物理構成］
　ここで、実施の形態１及び２におけるプログラムを実行することによって、データ拡張装置を実現するコンピュータについて図１１を用いて説明する。図１１は、実施の形態１及び２におけるデータ拡張装置を実現するコンピュータの一例を示すブロック図である。

　図１１に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

　また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

　ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

　また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

　なお、本実施の形態におけるデータ拡張装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア（例えば、電子回路）を用いることによっても実現可能である。更に、データ拡張装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得部と、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理部と、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索部と、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成部と、
を備えている、
ことを特徴とするデータ拡張装置。

（付記２）
付記１に記載のデータ拡張装置であって、
　前記データ探索部が、
組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う、
ことを特徴とするデータ拡張装置。

（付記３）
付記１または２に記載のデータ拡張装置であって、
　前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更する、体形変更部を更に備えており、
　前記射影処理部が、変更後の前記３次元座標それぞれを前記２次元平面上に射影する、
ことを特徴とするデータ拡張装置。

（付記４）
付記３に記載のデータ拡張装置であって、
　前記体形変更部は、前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更する、
ことを特徴とするデータ拡張装置。

（付記５）
付記１～４のいずれかに記載のデータ拡張装置であって、
　前記射影処理部が、取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　前記データ探索部が、当該組データの前記特定の部位について前記２次元座標を特定し、
　前記画像生成部が、特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出し、切り出した前記パッチ画像を、前記別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするデータ拡張装置。

（付記６）
付記１～５のいずれかに記載のデータ拡張装置であって、
　前記データ探索部が、操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求め、求めた両者の単位ベクトルに基づいて、前記類似度を算出する、
ことを特徴とするデータ拡張装置。

（付記７）
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得ステップと、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理ステップと、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索ステップと、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成ステップと、
を有する、
ことを特徴とするデータ拡張方法。

（付記８）
付記７に記載のデータ拡張方法であって、
　前記データ探索ステップにおいて、
組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う、
ことを特徴とするデータ拡張方法。

（付記９）
付記７または８に記載のデータ拡張方法であって、
　前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更する、体形変更ステップを更に有し、
　前記射影処理ステップにおいて、変更後の前記３次元座標それぞれを前記２次元平面上に射影する、
ことを特徴とするデータ拡張方法。

（付記１０）
付記９に記載のデータ拡張方法であって、
　前記体形変更ステップにおいて、前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更する、
ことを特徴とするデータ拡張方法。

（付記１１）
付記７～１０のいずれかに記載のデータ拡張方法であって、
　前記射影処理ステップにおいて、取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　前記データ探索ステップにおいて、当該組データの前記特定の部位について前記２次元座標を特定し、
　前記画像生成ステップにおいて、特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出し、切り出した前記パッチ画像を、前記別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするデータ拡張方法。

（付記１２）
付記７～１１のいずれかに記載のデータ拡張方法であって、
　前記データ探索ステップにおいて、操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求め、求めた両者の単位ベクトルに基づいて、前記類似度を算出する、
ことを特徴とするデータ拡張方法。

（付記１３）
コンピュータに、
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得ステップと、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理ステップと、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索ステップと、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。

（付記１４）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
　前記データ探索ステップにおいて、
組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１５）
付記１３または１４に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
　前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更する、体形変更ステップを実行させる命令を更に含み、
　前記射影処理ステップにおいて、変更後の前記３次元座標それぞれを前記２次元平面上に射影する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１６）
付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記体形変更ステップにおいて、前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１７）
付記１３～１６のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　前記射影処理ステップにおいて、取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　前記データ探索ステップにおいて、当該組データの前記特定の部位について前記２次元座標を特定し、
　前記画像生成ステップにおいて、特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出し、切り出した前記パッチ画像を、前記別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１８）
付記１３～１７のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　前記データ探索ステップにおいて、操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求め、求めた両者の単位ベクトルに基づいて、前記類似度を算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　以上のように本発明によれば、３次元関節点座標を検出するための学習モデルの構築において、訓練データを拡張することができる。本発明は、画像から人の姿勢を推定する種々のシステムに有用である。

　１０　データ拡張装置（実施の形態１）
　１１　データ取得部
　１２　射影処理部
　１３　データ探索部
　１４　画像生成部
　２０　データベース
　３０　３次元ポーズデータセット
　３１　関節点
　３２、３３、３４、３５　パッチ画像
　３６　背景画像
　４０　データ拡張装置（実施の形態２）
　４１　体形変更部
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims

　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得する、データ取得手段と、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成する、射影処理手段と、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定する、データ探索手段と、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、画像生成手段と、
を備えている、
ことを特徴とするデータ拡張装置。
請求項１に記載のデータ拡張装置であって、
　前記データ探索手段が、
組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う、
ことを特徴とするデータ拡張装置。
請求項１または２に記載のデータ拡張装置であって、
　前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更する、体形変更手段を更に備えており、
　前記射影処理手段が、変更後の前記３次元座標それぞれを前記２次元平面上に射影する、
ことを特徴とするデータ拡張装置。
請求項３に記載のデータ拡張装置であって、
　前記体形変更手段は、前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更する、
ことを特徴とするデータ拡張装置。
請求項１～４のいずれかに記載のデータ拡張装置であって、
　前記射影処理手段が、取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　前記データ探索手段が、当該組データの前記特定の部位について前記２次元座標を特定し、
　前記画像生成手段が、特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出し、切り出した前記パッチ画像を、前記別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするデータ拡張装置。
請求項１～５のいずれかに記載のデータ拡張装置であって、
　前記データ探索手段が、操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求め、求めた両者の単位ベクトルに基づいて、前記類似度を算出する、
ことを特徴とするデータ拡張装置。
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得し、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成し、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定し、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出し、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定し、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするデータ拡張方法。
請求項７に記載のデータ拡張方法であって、
　組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行う、
ことを特徴とするデータ拡張方法。
請求項７または８に記載のデータ拡張方法であって、
　更に、前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更し、
　変更後の前記３次元座標それぞれを前記２次元平面上に射影する、
ことを特徴とするデータ拡張方法。
請求項９に記載のデータ拡張方法であって、
　前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更する、
ことを特徴とするデータ拡張方法。
請求項７～１０のいずれかに記載のデータ拡張方法であって、
　取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　当該組データの前記特定の部位について前記２次元座標を特定し、
　特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出し、切り出した前記パッチ画像を、前記別の２次元画像と合成して、新たな２次元画像を生成する、
ことを特徴とするデータ拡張方法。
請求項７～１１のいずれかに記載のデータ拡張方法であって、
　操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求め、求めた両者の単位ベクトルに基づいて、前記類似度を算出する、
ことを特徴とするデータ拡張方法。
コンピュータに、
　特定の人の関節点それぞれの３次元座標の集合を含むデータを取得させ、
　取得された前記データに含まれる前記３次元座標それぞれを２次元平面上に射影して、前記関節点それぞれの射影座標を生成させ、
　人の関節点それぞれの３次元座標の集合と、当該人の２次元画像と、カメラパラメータとを、互いに関連付けた組データ毎に、前記カメラパラメータを用いて、当該組データの前記３次元座標それぞれの前記２次元画像上での対応する２次元座標を特定させ、
更に、組データ毎に、生成された前記射影座標の集合と特定した前記２次元座標の集合とが重なるように、取得された前記データ又は当該組データに含まれる３次元座標の集合を操作し、そして、操作後において、取得された前記データに含まれる前記３次元座標の集合と当該組データに含まれる３次元座標の集合との類似度を算出させ、
前記組データ毎に算出した前記類似度に基づいて、取得された前記データに対応する前記組データを特定させ、
　特定した前記組データの前記２次元画像の一部又は全部を、別の２次元画像と合成させて、新たな２次元画像を生成させる、
命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
　組データ毎に、生成された前記射影座標の集合に含まれる２以上の関節点と特定した前記２次元座標の集合に含まれる２以上の関節点とが一致するように、前記操作として、取得された前記データ又は当該組データに含まれる３次元座標の集合に対して、並進、回転、拡大、及び縮小のうち、いずれか又はこれらの組合せを行わせ、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１３または１４に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
　前記特定の人の体形が変更されるように、取得された前記データにおける前記３次元座標の集合を変更させる命令を更に含み、
　変更後の前記３次元座標それぞれを前記２次元平面上に射影させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記特定の人の縦方向の変化率と横方向の変化率とが設定条件を満たすように、取得された前記データにおける前記３次元座標の集合を変更させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１３～１６のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　取得された前記データにおける特定の部位の前記３次元座標から、前記射影座標を生成し、
　当該組データの前記特定の部位について前記２次元座標を特定させ、
　特定した前記組データの前記２次元画像から、前記特定の部位の画像をパッチ画像として切り出させ、切り出した前記パッチ画像を、前記別の２次元画像と合成させて、新たな２次元画像を生成させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１３～１７のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　操作後の前記３次元座標における特定の関節点から別の関節点に向かう単位ベクトルと、当該組データの３次元座標における特定の関節点から別の関節点に向かう単位ベクトルとを求めさせ、求めた両者の単位ベクトルに基づいて、前記類似度を算出させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。