JP7375666B2 - 推定装置、学習装置、教師データ作成装置、推定方法、学習方法、教師データ作成方法、及びプログラム - Google Patents

Description

本発明は、対象者を撮影した画像を用いて対象者の骨格位置を推定する推定装置等に関する。

人間の動作を解析することで、工場作業者（対象者）の作業改善が行われている。従来では、ビデオカメラで撮影した動画を見て、人間が作業時間を計測し、作業改善を進めている。人間の動作解析を自動化する試みも進んでおり、深層学習を用いた関節の位置及び対応関係の推定である骨格推定が従来技術として知られている（非特許文献１参照）。

"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，2019

しかしながら、上述のような従来技術は、プライバシー保護の観点及び、作業机上の作業解析性から作業者（対象者）の顔が映らない角度で（例えば上方から）撮影することが求められている。

既存の深層学習をベースにした骨格推定としては、非特許文献１に関するＯｐｅｎＰｏｓｅが挙げられる。ＯｐｅｎＰｏｓｅでは、処理範囲の仕組み上、肩または首の関節を含まない画像から骨格を安定して推定する事ができない。

本発明の一態様は、対象者の一部の関節を含まない画像から、対象者の該関節の関節位置を含む骨格情報を安定して推定することを目的とする。

上記の課題を解決するために、本発明の一態様に係る推定装置は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、前記第２の画像と学習済み推定モデルとを用いて、前記ブランク領域に位置する前記第２関節の関節位置を含む骨格情報を推定する推定部と、を備えている。

上記の構成によれば、第２関節が欠落した第１の画像にブランク領域を付加することで、ブランク領域に位置する第２関節の関節位置を含む骨格情報を安定して推定することができる。

前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させてもよい。

上記の構成によれば、第１の画像の１辺を超えた位置に存在する対象者の第２関節の関節位置を推定することができる。

前記第２関節は、首の関節を含んでもよい。

上記の構成によれば、第１の画像は、例えば肩・肘・手・腰が写っているが、首が写っていない画像とすることができる。それゆえ、対象者の顔が映っていない第１の画像を用いて、首を含む骨格情報を安定して正確に推定することができる。

前記画像取得部は、上方から撮影された前記第１の画像を取得してもよい。

上記の構成によれば、上方から撮影した画像を用いることで、例えば対象者の顔が映らないようにし、作業机上の作業対象及び対象者（作業者）の骨格情報を一緒に用いた作業解析が行える。

上記の課題を解決するために、本発明の一態様に係る学習装置は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、前記ブランク領域に位置する前記第２関節を含む骨格情報及び前記第２の画像を含む教師データを記憶する教師データ記憶部と、前記教師データを用いて、前記骨格情報及び前記第２の画像から骨格情報の推定モデルを学習する学習部と、を備えている。

上記の構成によれば、第２関節が欠落した第１の画像にブランク領域を付加し、ブランク領域上に位置する第２関節を教師データに含ませることで、ブランク領域に第２関節を有する骨格情報を学習することができる。

前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させてもよい。

前記第２関節は、首の関節を含んでもよい。

前記学習装置は、前記第２の画像に幾何変形の画像処理を施し第３の画像を生成するデータ拡張部と、前記第３の画像における、前記第２の画像に対応する領域内の不足画素領域をブランク領域で修正し、学習用の新たな第２の画像とする不足領域修正部と、を備えてもよい。

上記の構成によれば、少ない画像からでも複数の教師データを作成することができ、学習を効率的に行える。

前記画像取得部は、上方から撮影された前記第１の画像を取得してもよい。

上記の構成によれば、上方から撮影した画像を用いることで、作業机上の作業対象及び対象者（作業者）の骨格情報で推定モデルを学習することができる。

上記の課題を解決するために、本発明の一態様に係る教師データ作成装置は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、前記第２の画像を表示する表示制御部と、前記第２の画像における前記ブランク領域に対して前記第２関節の関節位置の入力をユーザから受け付ける入力部と、前記第１関節及び前記第２関節の関節位置を含む骨格情報を、前記第２の画像に対応付けた教師データを作成する教師データ作成部と、を備えている。

上記の構成によれば、第２関節が欠落した第１の画像にブランク領域を付加することで、ブランク領域に位置する第２関節の関節位置を含む教師データを作成することができる。

前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させてもよい。

前記第２関節は、首の関節を含んでもよい。

本発明の一態様に係る推定方法は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、前記第２の画像と学習済み推定モデルとを用いて、前記ブランク領域に位置する前記第２関節の関節位置を含む骨格情報を推定する推定ステップと、を含む。

本発明の一態様に係る学習方法は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、前記ブランク領域に位置する前記第２関節を含む骨格情報及び前記第２の画像を含む教師データを取得する教師データ取得ステップと、前記教師データを用いて、前記骨格情報及び前記第２の画像から骨格情報の推定モデルを学習する学習ステップと、を含む。

本発明の一態様に係る教師データ作成方法は、対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、前記第２の画像を表示する表示制御ステップと、前記第２の画像における前記ブランク領域に対して前記第２関節の関節位置の入力をユーザから受け付ける入力ステップと、前記第１関節及び前記第２関節の関節位置を含む骨格情報を、前記第２の画像に対応付けた教師データを作成する教師データ作成ステップと、を含む。

本発明の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部（ソフトウェア要素）として動作させることにより前記推定装置をコンピュータにて実現させる推定プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の各態様に係る学習装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記学習装置が備える各部（ソフトウェア要素）として動作させることにより前記学習装置をコンピュータにて実現させる学習プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の各態様に係る教師データ作成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記教師データ作成装置が備える各部（ソフトウェア要素）として動作させることにより前記教師データ作成装置をコンピュータにて実現させる教師データ作成プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一様態によれば、ブランク領域に位置する関節を含む骨格情報を推定できる。

本発明の実施形態１に係る推定装置の学習動作での構成要素の一例を示すブロック図である。 本発明の実施形態１に係る推定装置の推定動作での構成要素の一例を示すブロック図である。 本発明の実施形態１に係る推定装置の学習動作での構成要素のデータの状態を表すモデル図である。 本発明の実施形態１に係る推定装置で推定する骨格情報の模式図である。 本発明の実施形態１に係る推定装置の学習処理を示すフローチャートである。 本発明の実施形態１に係る推定装置の推定処理を示すフローチャートである。 本発明の実施形態２に係る教師データ作成装置の要部構成の一例を示すブロック図である。 本発明の実施形態２に係る教師データ作成部での関節位置を指定するユーザインタフェースの一例である。 本発明の実施形態２に係る教師データ作成装置の動作フローチャートである。 本発明の実施形態３に係る上方から作業者を撮影した画像の模式図である。 本発明の実施形態３に係る側面から作業者を撮影した画像の模式図である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

〔実施形態１〕
§１．適用例
推定装置は作業者（対象者）を撮影した画像を用いて、その作業者の骨格情報を推定する装置である。骨格情報は、作業者の各関節位置の情報を含む。作業者の関節位置は、作業動作に対応した作業者の姿勢を表す。

上記の推定に先立ち、推定装置は、当該推定に用いる推定モデルを学習する。具体的には、推定装置は、作業者を上方から撮影した画像に対し、該画像中に含まれる又は人間が推測できる関節位置により構成された骨格情報を対応付け、教師データとして生成する。推定装置は、生成した教師データを用いて、推定モデルを学習する。

作業者を上方から撮影した画像には、作業者の顔が含まれていないため、作業者の一部の関節、例えば首の関節は含まれていない。上記学習にあたって、一部の関節が欠落した画像に対しブランク領域を設定した画像を学習に用いる。これにより、ブランク領域中の欠落した関節位置を推定する推定モデルが生成される。

以上のようにして、推定モデルを生成した後、関節の一部が欠落した画像を推定装置に入力し、推定モデルを用いて推定させることで、プライバシーを保護したまま骨格情報を推定することができる。

§２．構成例
図１から４に基づいて推定装置１の構成例を説明する。図１は、推定装置１の構成要素のうち、学習動作で働く構成要素の一例を示すブロック図である。図２は、推定装置１の構成要素のうち、推定動作で働く構成要素の一例を示すブロック図である。図３は、推定装置１の学習動作での構成要素のデータの状態を表すモデル図である。図４は、推定装置１で推定する骨格情報の模式図である。

図１、２に示すように、推定装置１（学習装置）は、推定装置１の各部を統括して制御する制御部１０と、推定装置が使用する各種データを記憶する記憶部２０とを備えている。

制御部１０には、ブランク領域拡張部１０１、教師データ作成部１０２、データ拡張部１０３、過不足領域修正部１０４、推定モデル取得部１１１、特徴量抽出部１１２、関節推定部１１３、結合度推定部１１４、骨格推定部１２１、推定モデル学習部１２２、入力部１３０及び出力部１４０が含まれている。また、記憶部２０には、教師データ記憶部２０１、及び推定モデル記憶部２０２が含まれている。

制御部１０のうち、学習動作では学習部１１が働き（図１参照）、推定動作では推定部１２が働く（図２参照）。学習部１１には、特徴量抽出部１１２、関節推定部１１３、結合度推定部１１４、骨格推定部１２１及び推定モデル学習部１２２が含まれている。推定部１２には、推定モデル取得部１１１、特徴量抽出部１１２、関節推定部１１３、結合度推定部１１４及び骨格推定部１２１が含まれている。

入力部１３０（画像取得部）は、推定装置１に対する画像を含むデータ入力及びユーザ入力を受け付ける。入力部１３０は、画像３００の入力を受け付け、ブランク領域拡張部１０１に画像３００を出力する。また、入力部１３０は、推定装置１に接続されたカメラ、ネットワークを介した外部のサーバ、または推定装置１内の記憶装置から画像３００を取得してもよい。入力部１３０は静止画だけではなく動画の入力にも対応していてもよい。

画像３００（第１の画像）は、作業者の関節の一部、例えば肘または手の関節などが写っているが、作業者の関節の他の一部、例えば首または肩などが欠落した画像である。画像３００は、例えば作業者の顔を含まないため作業者のプライバシーを保護することができる。画像３００としては、作業者の上方から撮像した画像でもよく、この場合、作業者が作業している状況を撮像し易い。上方から撮像することで、例えば作業机の上の作業対象の位置の変化なども、作業している状況として撮像可能である。上方から撮像した画像３００も、作業者の関節の他の一部、例えば首または肩などを含まない。

また、入力部１３０は、入力装置を介して、ユーザの推定装置１に対する操作入力も受け付ける。入力装置は、例えば、マウス、またはタッチパネルなどのポインティングデバイス、または十字キーであってもよい。入力部１３０は、ユーザから、画像に対する関節位置の指定を受け付ける。ユーザ入力としては、ブランク済み画像３０１に対するポインティングデバイスでの位置指定、十字キーによる位置指定、または、ブランク済み画像３０１の画素座標を直接指定してもよい。入力部１３０は、入力された関節位置の情報（教師骨格情報３１２）を教師データ作成部１０２に出力する。

ブランク領域拡張部１０１は、入力された画像３００の少なくとも１辺に隣接するブランク領域３１１を付加することで、画像範囲（画像サイズ）が拡張されたブランク済み画像３０１を作成する。その後、ブランク領域拡張部１０１は、教師データ作成部１０２又は特徴量抽出部１１２にブランク済み画像３０１を出力する。

ブランク済み画像３０１（第２の画像）は、画像３００とブランク領域３１１とが一体化された画像である。図３では、ブランク領域３１１は右下がりのハッチングで示されているが、実際は特定の単色で塗りつぶされている。特定の単色は、例えば黒色または白色だが、これに限らない。なお、ブランク領域３１１は、単色ではなく、特定の模様またはハッチング（複数のブランク済み画像３０１に対して同じ模様またはハッチング）が施された領域であってもよい。また、図３では、ブランク領域３１１は画像３００の１辺に隣接しているが、２辺以上に隣接していてもよい。

ブランク領域のサイズ及び配置は、ユーザ入力によって設定可能なパラメータであってもよい。

教師データ作成部１０２は、ブランク済み画像３０１に対し、教師骨格情報３１２を対応づけた骨格含有データ３０２（教師データ）を作成する。その後、教師データ作成部１０２は、データ拡張部１０３に骨格含有データ３０２を出力する。

骨格含有データ３０２は、ブランク済み画像３０１並びに、教師骨格情報３１２により構成されたデータである。教師骨格情報３１２は、ブランク済み画像３０１に対応する、作業者の複数の部位（首、右肩、右肘、右手、左肩、左肘、左手、右腰及び左腰）のそれぞれの位置（関節位置）の情報を含む。

教師骨格情報３１２として設定する関節（部位）は、ここでは、首、右肩、右肘、右手、左肩、左肘、左手、右腰及び左腰の９箇所とするが、この限りではなく頭や足を設定してもよいし、一部の関節（右手等）が欠けていてもよい。図３では、教師骨格情報３１２について、関節を黒丸で、関節間の結合を線分で示す。

データ拡張部１０３は、入力された骨格含有データ３０２に対し任意の画像処理を行い、画像処理済みデータ３０３を作成する。その後、過不足領域修正部１０４に画像処理済みデータ３０３を出力する。

画像処理済みデータ３０３は、ブランク済み画像３０１に対して画像処理を適用された画像処理済み画像３０３ａ、及び画像処理と同様の幾何変形を施された教師骨格情報３１２を含むデータである。幾何変形としては、左右反転、回転、拡大縮小、左右移動、上下移動及び射影変換などがある。

画像処理としては、明度変更、色彩変更及び幾何変形などがある。上記画像処理は、一度に１種類とは限らず、順に複数適用してもよい。また、何も画像処理せずに過不足領域修正部１０４に骨格含有データ３０２を画像処理済みデータ３０３としてスルー出力してもよい。

過不足領域修正部１０４（不足領域修正部）は、入力された画像処理済みデータ３０３の画像処理済み画像３０３ａに対し、元の画像サイズ（ブランク済み画像３０１の画像サイズ）の領域内の画素のうち、画像情報がない領域を不足画素領域３１３に設定する。過不足領域修正部１０４は、元のブランク済み画像３０１のブランク領域３１１と同じ領域も、改めてブランク領域３１４に設定する。過不足領域修正部１０４は、画像処理済みデータ３０３のうち、元の画像サイズの領域をはみ出た部分は無視する。過不足領域修正部１０４は、画像処理済み画像３０３ａにおいて、不足画素領域３１３をブランク領域で修正する（ブランク領域３１１と同じ単色で塗りつぶす）ことで、過不足修正済み画像３０４ａを生成する。

教師データ３０４は、過不足修正済み画像３０４ａ（第２の画像）、及び画像処理と同様の幾何変形を施された教師骨格情報３１２を含む。過不足領域修正部１０４は、教師データ記憶部２０１に教師データ３０４を出力する。

図３では、不足画素領域３１３は右上がりのハッチングであるが、実際はブランク領域３１１と同色の単色の塗りつぶしとする。また、データ拡張部１０３の処理で、画像処理として幾何変形を施したため画像処理前に画像があった画素に画像がなくなった画素も、上記不足画素領域３１３に含める。また、幾何変形により、元の画像領域からはみ出た分の画素は過不足修正済み画像３０４ａには含めない。

教師データ記憶部２０１は、入力された教師データ３０４を記憶する。また、制御部１０の指示に基づき、教師データ３０４を特徴量抽出部１１２及び推定モデル学習部１２２に出力する。

推定モデル取得部１１１は、記憶された推定モデルを推定モデル記憶部２０２から取得する。推定モデル取得部１１１は、特徴量抽出部１１２、関節推定部１１３、及び結合度推定部１１４に、推定モデル（の複数のパラメータ）を出力する。

特徴量抽出部１１２は、入力された教師データ３０４を構成する過不足修正済み画像３０４ａまたはブランク済み画像３０１から特徴量を抽出する。特徴量抽出部１１２は、抽出した特徴量を関節推定部１１３と結合度推定部１１４とに出力する。

関節推定部１１３は、入力された特徴量から、複数の関節の位置を表す関節推定結果を作成する。関節推定部１１３は、関節推定結果を骨格推定部１２１に出力する。

結合度推定部１１４は、入力された特徴量から、関節間の結合度を表す結合度推定結果を求める。結合度推定部１１４は、結合度推定結果を、骨格推定部１２１に出力する。

骨格推定部１２１は、入力された関節推定結果と結合度推定結果とから、推定骨格情報を推定する。骨格推定部１２１は、推定骨格情報を、推定モデル学習部１２２および出力部１４０に出力する。

推定骨格情報は、推定に用いる画像（過不足修正済み画像３０４ａまたはブランク済み画像３０１）の作業者に対応する、関節位置の情報を含む。推定骨格情報は、推定に用いる画像（過不足修正済み画像３０４ａまたはブランク済み画像３０１）において、ブランク領域（３１１または３１３）に位置する一部の関節、例えば首や肩などの位置を含み得る。

図４に示すように、推定装置１では、首、右肩、右肘、右手、左肩、左肘、左手、右腰及び左腰の９個の関節を関節推定結果として推定する。また、推定装置１では、首と右肩、右肩と右肘、右肘と右手、首と左肩、左肩と左肘、左肘と左手、首と右腰及び首と左腰の８個の関節間の結合の度合いを結合度推定結果として推定する。

骨格推定部１２１は、関節の相対的な位置関係、関節毎に設定されている結合のルール、及び関節間の結合度の相対的な強さから、各関節の位置を決定する。特に推定に用いた画像に複数の作業者が含まれる場合、骨格推定部１２１は、結合度推定結果を用いて各関節がいずれの作業者に対応するかを特定する。

推定モデル学習部１２２は、入力された推定骨格情報と教師データ３０４内の教師骨格情報３１２とを比較する。十分な推定精度が得られていない場合、学習を継続し、特徴量抽出部１１２と関節推定部１１３と結合度推定部１１４とのパラメータを修正する。その後、再度学習するために特徴量抽出部１１２と関節推定部１１３と結合度推定部１１４とに、現状の特徴量と現状の関節推定結果と現状の結合度推定結果とを出力し、再度処理させる。

十分な推定精度が得られていた場合、推定モデル学習部１２２は、学習を終了し、特徴量抽出部１１２と関節推定部１１３と結合度推定部１１４とのパラメータを推定モデルとして、推定モデル記憶部２０２に記憶させる。

推定モデル記憶部２０２は、特徴量抽出部１１２、関節推定部１１３及び結合度推定部１１４のパラメータである推定モデルを記憶する。また、推定モデル取得部１１１に学習済みの推定モデルを出力する。

出力部１４０は、推定装置１による推定骨格情報の表示、推定装置１からのデータ出力を行う。

§３．動作例
（学習処理）
図５に基づいて、推定装置１の学習処理を説明する。図５は、推定装置１の学習処理を示すフローチャートである。

入力部１３０が画像３００を取得し（Ｓ１１）、画像３００をブランク領域拡張部１０１に出力する。ブランク領域拡張部１０１は、画像３００をブランク領域３１１で拡張することでブランク済み画像３０１を生成する（Ｓ１２）。ブランク領域拡張部１０１は、教師データ作成部１０２にブランク済み画像３０１を出力する。

教師データ作成部１０２は、画像３００に対応する教師骨格情報３１２をブランク済み画像３０１に対応づけることで、骨格含有データ３０２を作成する（Ｓ１３）。教師データ作成部１０２は、データ拡張部１０３に骨格含有データ３０２を出力する。

データ拡張部１０３は、骨格含有データ３０２の画像（ブランク済み画像３０１）に対し、画像処理を適用することで画像処理済み画像３０３ａを生成する（Ｓ１４）。この時、回転、拡大縮小、左右移動、上下移動及び射影変換などの関節位置の画素座標が変化する画像処理では、データ拡張部１０３は、教師骨格情報３１２にも同様の変形を施す。これにより、データ拡張部１０３は、画像処理済み画像３０３ａに対応した教師骨格情報３１２を生成する。データ拡張部１０３は、過不足領域修正部１０４に画像処理済み画像３０３ａおよび教師骨格情報３１２を含む画像処理済みデータ３０３を出力する。

過不足領域修正部１０４は、画像処理済みデータ３０３の画像処理済み画像３０３ａに対し、元の画像サイズ（ブランク済み画像３０１の画像サイズ）の領域内のうち、画像情報がない領域を不足画素領域３１３とする。過不足領域修正部１０４は、過不足領域（不足画素領域３１３及び元の画像サイズの領域をはみ出た領域）を修正する。元の画像サイズの領域をはみ出た領域は無視される。過不足領域修正部１０４は、不足画素領域３１３をブランク領域と同色の単色の塗りつぶしとする。また、過不足領域修正部１０４は、画像処理済み画像３０３ａに対し、元のブランク済み画像３０１のブランク領域３１１と同じ領域も、改めてブランク領域３１４とする。これにより、過不足領域修正部１０４は、過不足修正済み画像３０４ａを作成する（Ｓ１５）。不足画素領域３１３とブランク領域３１４とは同色であるが、異なる色であってもよい。

過不足領域修正部１０４は、幾何変形された教師骨格情報３１２及び過不足修正済み画像３０４ａを合わせた教師データ３０４を作成する（Ｓ１５）。過不足領域修正部１０４は、作成した教師データ３０４を教師データ記憶部に記憶する（Ｓ１６）。

教師データ記憶部に保存されている教師データ数が規定数より少ない場合（Ｓ１７でＮｏ）、再度、骨格含有データ３０２から教師データ３０４を作るプロセス（データ拡張処理Ｓ１４～Ｓ１６）を、教師データの数が規定数になるまで繰り返す。この時、データ拡張部１０３での画像処理は、毎度異なるものとする。画像処理の種類及び、変化量は乱数パラメータで決めてよいものとする。なお、何も画像処理しなかった場合、骨格含有データ３０２が教師データ３０４となる。

教師データ記憶部２０１に保存されている教師データの数が規定数以上の場合（Ｓ１７でＹｅｓ）、制御部１０は、教師データの作成処理を終了し、学習処理に移行する。

学習部１１は、教師データ記憶部２０１から教師データを読み込み、学習処理を行う。推定モデル学習部１２２は、推定モデル記憶部２０２から複数のパラメータを含む推定モデルを取得する。推定モデルは、画像を入力として、推定された骨格情報を出力とするモデルである。未学習の時点では、推定モデルは初期パラメータを含む。推定モデル学習部１２２は、特徴量抽出部１１２、関節推定部１１３、及び結合度推定部１１４に、対応する複数のパラメータを出力する。

特徴量抽出部１１２は、特徴量抽出用パラメータを用いて、教師データ３０４内の過不足修正済み画像３０４ａから、特徴量を抽出する（Ｓ１８）。関節推定部１１３は、関節推定用パラメータを用いて、抽出された特徴量を基に、関節位置を示す関節推定結果を求める（Ｓ１９）。結合度推定部１１４は、結合度推定用パラメータを用いて、抽出された特徴量を基に、関節間の結合度を示す結合度推定結果を求める（Ｓ２０）。骨格推定部１２１は、関節推定結果、及び結合度推定結果から、推定骨格情報を求める（Ｓ２１）。

推定モデル学習部１２２は、推定骨格情報が教師データ３０４内の教師骨格情報３１２に対し、十分な精度があるかを判定する（Ｓ２２）。推定モデル学習部１２２は、推定骨格情報と教師骨格情報との差が、所定の基準以内であれば、十分な精度があると判定する。

十分な精度がなかった場合（Ｓ２２でＮｏ）、推定モデル学習部１２２は、特徴量抽出部１１２、関節推定部１１３、及び結合度推定部１１４のパラメータを修正する（Ｓ２３）。修正に当たっては、推定骨格情報と教師骨格情報３１２との誤差が少なくなるように、推定モデル学習部１２２は、パラメータを修正（推定モデルを学習）する。推定モデル学習部１２２は、修正されたパラメータを、特徴量抽出部１１２、関節推定部１１３、及び結合度推定部１１４に出力する。その後、学習部１１は、Ｓ１８～Ｓ２１の処理を繰り返す。これを複数の教師データ３０４について行う。

十分な精度が得られた場合（Ｓ２２でＹｅｓ）、学習処理を終了し、推定モデル学習部１２２は、推定モデル記憶部２０２に学習済み推定モデルを記憶する（Ｓ２４）。出力部１４０は、表示装置に学習が終了した旨を表示する。

図５のＳ２２では、十分な精度をもって学習処理を終了するトリガーとしたが、この限りではなく、規定回数の繰り返し学習（Ｓ１８～Ｓ２３までの処理）を行って、学習終了としてもよい。

また、Ｓ１８からＳ２４までの類似処理として、ＯｐｅｎＰｏｓｅを用いることも可能である。

（推定処理）
図６に基づいて、推定装置１の推定処理を説明する。図６は、推定装置１の推定処理を示すフローチャートである。

入力部１３０が画像３００を取得し（Ｓ３１）、画像３００をブランク領域拡張部１０１に出力する。ブランク領域拡張部１０１は、画像３００をブランク領域３１１で拡張することで、ブランク済み画像３０１を生成する（Ｓ３２）。ブランク領域拡張部１０１は、特徴量抽出部１１２にブランク済み画像３０１を出力する。

推定モデル取得部１１１は、推定モデル記憶部２０２から、学習済み推定モデルを読込する（Ｓ３３）。推定モデル取得部１１１は、学習済み推定モデルに含まれる複数のパラメータを、特徴量抽出部１１２、関節推定部１１３、及び結合度推定部１１４に出力する。

特徴量抽出部１１２は、特徴量抽出用パラメータを用いて、ブランク済み画像３０１から、特徴量を抽出する（Ｓ３４）。関節推定部１１３は、関節推定用パラメータを用いて、抽出された特徴量を基に、関節位置を示す関節推定結果を求める（Ｓ３５）。結合度推定部１１４は、結合度推定用パラメータを用いて、抽出された特徴量を基に、関節間の結合度を示す結合度推定結果を求める（Ｓ３６）。骨格推定部１２１は、関節推定結果、及び結合度推定結果から、推定骨格情報を求める（Ｓ３７）。その後、出力部１４０は、表示装置に骨格情報を表示する（Ｓ３８）。なお、出力部１４０は、外部のサーバに骨格情報を出力してもよい。

また、Ｓ３３からＳ３８までの類似処理として、ＯｐｅｎＰｏｓｅを用いることも可能である。

§４．作用・効果
以上のとおり、本実施形態１に係る推定装置１は、入力部１３０が画像３００を取得した後、画像３００にブランク領域３１１を付加し、ユーザ入力による教師骨格情報３１２を教示される。その後、データ拡張部１０３及び過不足領域修正部１０４にて、機械学習に必要な分のデータ数が得られるまで教師データ３０４を作成する。作成された教師データ３０４を用いて機械学習を行い、推定モデルを学習する。

学習後、入力部１３０が新たな画像３００を取得した後、学習された推定モデルを用いて、ブランク領域３１１で拡張されたブランク済み画像３０１から推定骨格情報を推定する。

このように、推定装置１は、第２関節が欠落した画像３００（第１の画像）にブランク領域３１１、３１４を付加したブランク済み画像３０１または過不足修正済み画像３０４ａを第２の画像として生成する。推定装置１は、ブランク領域を含む第２の画像を推定モデルの入力とし、ブランク領域に位置する第２関節の関節位置を含む教師骨格情報を推定モデルの出力として学習を行う。これにより、推定装置１は、第２関節が欠落した画像３００から、第２関節の関節位置を含む骨格情報を推定できる推定モデルを作ることができる。推定装置１は、第２関節が位置すると考えられる領域まで画像範囲を拡張して学習することにより、画像情報がないブランク領域３１１に位置する第２関節の関節位置を適切に推測できるようになる。それゆえ、推定装置１は、学習済の推定モデルを用いて、第２関節が欠落した画像３００から、第１関節及び第２関節の関節位置を含む推定骨格情報を推定することができる。

従来技術では、例えば、右腕と左腕とを接続する首または肩の関節位置を推定しない場合（画像に首または肩の関節位置が含まれていない場合）、右腕及び左腕の関節の位置を安定して正確に推定することができない。

推定装置１は、画像に首（または肩）の関節位置が含まれていなくとも、右腕及び左腕の関節位置とともに、右腕と左腕とを接続する首（または肩）の関節位置をも推定する。これにより、右腕及び左腕の関節位置も安定して正確に推定することができる。

また、入力部は、頭、首及び肩などが欠落したプライバシーを考慮した画像、及び作業机上の状況がわかる画像を入力できる。上記画像を用いることで、対象者の時間変化に伴う骨格情報の時間変化に加え、作業机上の作業対象の時間変化も併せて解析ができる。これらの同時での解析により、対象者の作業解析が自動化できる。

（変形例）
なお、関節推定部１１３及び結合度推定部１１４を多段に構成してもよい。例えば、関節推定部１１３及び結合度推定部１１４は、特徴量から関節推定結果及び結合度推定結果を求めた後、関節推定結果及び結合度推定結果を用いて、もう一度推定を行ってもよい。この場合、関節推定部１１３は、１回目の関節推定結果を結合度推定部１１４に出力し、結合度推定部１１４は、１回目の結合度推定結果を関節推定部１１３に出力する。関節推定部１１３は、特徴量と１回目の関節推定結果と１回目の結合度推定結果とを用いて、２回目の関節推定結果を求める。結合度推定部１１４は、特徴量と１回目の関節推定結果と１回目の結合度推定結果とを用いて、２回目の結合度推定結果を求める。この際、関節推定部１１３及び結合度推定部１１４は、１回目とは異なるパラメータを用いる。また、関節推定部１１３及び結合度推定部１１４は、３回以上推定処理を行ってもよい。これにより、推定の精度が向上する。

〔実施形態２〕
本発明の他の実施形態について、図７から図９に基づいて以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

§１．構成例
図７に基づいて、本実施形態に係る教師データ作成装置２の構成を説明する。図７は、教師データ作成装置２の要部構成の一例を示すブロック図である。

図７に示すように、教師データ作成装置２は、学習データ作成装置の各部を統括して制御する制御部１０と、教師データ作成装置２が使用する各種データを記憶する記憶部２０を備えている。なお、記憶部２０は、教師データ作成装置２に対して外付けされた機器であってもよい。

制御部１０には、ブランク領域拡張部１０１、教師データ作成部１０２、入力部１３０及び表示制御部１５０とが含まれている。

表示制御部１５０は、教師データ作成装置２の状態表示及び画像表示を行う機能をもつ。表示制御部１５０によって制御される対象の図示しない表示装置は、教師データ作成装置２に対して外付けされた機器であってもよい。

図８に基づいて、本実施形態に係る学習データ作成装置のユーザインタフェースを説明する。図８は、教師データ作成部での関節位置を指定するユーザインタフェース５１の一例である。

ユーザインタフェース５１は、画像表示部５０１、作業者リスト５１１、作業者追加ボタン５１３、関節リスト５２１、座標表示指示部５３１を備えている。ユーザインタフェース５１の表示は表示制御部１５０によって制御される。

画像表示部５０１は、表示制御部１５０の指示に従ったブランク済み画像３０１を表示する領域である。また、ユーザ入力によって入力された編集関節位置５４１、確定関節位置５４２、結合情報５４３を表示する。編集関節位置５４１及び確定関節位置５４２は互いに異なる表示をしており、識別できるようになっている。結合情報５４３は、前述した関節の結合関係に従った関節間の結合を表す表示である。図８では、矢印にて表示しているが、この限りではなく線分でもよい。

作業者リスト５１１は、ブランク済み画像３０１に含まれる作業者のリストである。ブランク済み画像３０１に１名の作業者のみが含まれる場合、「作業員１」のみが使用される。作業者リスト５１１の中の設定中の作業者は、編集作業者５１２としてハイライト表示されてもよい。

関節リスト５２１は、作業者の設定しなければならない関節の一覧である。設定対象の関節としては、首、右肩、右肘、右手、左肩、左肘、左手、右腰及び左腰の９個であるが、この限りではなく頭や足を設定できるようになっていてもよい。関節リストの中の設定中の関節（編集関節位置５４１に対応する）は、編集関節５２２としてハイライト表示されてもよい。

座標表示指示部５３１は、編集関節５２２の設定中の画素座標を示し、Ｘ座標の為のＸ座標表示指示部５３２及びＹ座標の為のＹ座標表示指示部５３３からなる。Ｘ座標もＹ座標もともに、現在設定中の画素を表示することに加え、ユーザ入力をも受けつけている。ユーザ入力により座標が変化した場合、表示制御部１５０にて編集関節位置５４１の表示位置も変更される。

ユーザは、入力部１３０及び座標表示指示部５３１で、編集関節５２２の座標を変更する場合、座標としてはブランク領域３１１に入る座標を指定してもよい。

§２．動作例
図９に基づいて、本実施形態に係る教師データ作成装置２の動作を説明する。図９は、教師データ作成装置２の動作フローチャートである。

入力部１３０は、画像３００を取得し、ブランク領域拡張部１０１に画像３００を出力する（Ｓ４１）。ブランク領域拡張部１０１は、入力された画像３００の辺に隣接するブランク領域３１１を付加し、ブランク済み画像３０１を作成する。ブランク領域拡張部１０１は、教師データ作成部１０２及び表示制御部１５０にブランク済み画像３０１を出力する（Ｓ４２）。

表示制御部１５０は、表示装置にユーザインタフェース５１を表示させる。表示制御部１５０は、画像表示部５０１にブランク済み画像３０１を表示する（Ｓ４３）。入力部１３０は、マウス、キーボード、またはタッチパネル等を介してユーザから入力を受け付ける。例えば、入力部１３０は、作業者追加ボタン５１３による作業者の追加、作業者リスト５１１での作業者の選択、関節リスト５２１での編集関節の選択、及び、座標表示指示部５３１または画像表示部５０１での編集関節位置の指定を受け付ける（Ｓ４４）。この際、入力部１３０は、画像３００に位置する関節の関節位置の指定だけでなく、ブランク領域３１１に位置する関節の関節位置の指定も受け付ける。入力部１３０は、入力された作業者、関節、及び関節位置の情報を、互いに対応付けて教師データ作成部１０２に出力する。

教師データ作成部１０２は、ユーザ入力に基づき、表示制御部１５０による表示を変更させる。また、教師データ作成部１０２は、１人以上の作業者、複数の関節、及び複数の関節位置の情報を含む教師骨格情報３１２を生成する。複数の関節は、画像３００の領域に位置する第１関節と、ブランク領域３１１に位置する第２関節とを含む。教師データ作成部１０２は、教師骨格情報３１２をブランク済み画像３０１に対応付けて骨格含有データ３０２を作成する（Ｓ４５）。

教師データ作成部１０２は、骨格含有データ３０２を教師データ記憶部２０１に記憶させる。

§３．作用・効果
以上のとおり、本実施形態２に係る教師データ作成装置２は、入力部１３０が画像３００を入力後、ブランク領域３１１を拡張し、ユーザインタフェース５１にブランク済み画像３０１を表示する。教師データ作成装置２は、ユーザから、ブランク領域３１１に対応する関節の関節位置の入力を受け付けることで、ブランク済み画像３０１に対応する教師骨格情報３１２を作成できる。

教師骨格情報を構成する関節位置は、ブランク領域３１１に設定してもよい。これにより、頭、首及び肩などが欠落したプライバシーを考慮した画像を入力部で入力でき、実施形態１で用いる学習用のデータである教師骨格情報３１２を作成できる。

〔実施形態３〕
本発明のさらに他の実施形態について、図１０、図１１に基づいて以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１０、図１１に基づいて本実施形態に係る入力画像例を説明する。図１０は、上方から作業者を撮影した画像の模式図である。図１１は側面から作業者を撮影した画像の模式図である。

（上方撮影画像）
図１０に示すように、上方から撮影することで、作業者の顔が写らず、また作業机の上の状況が容易に把握できる画像３００ａが撮影できる。そのため、上方から撮影することで、プライバシーを保護したまま作業解析に適した画像が取得できる。

画像３００ａは、作業者６０１、作業机６０２、作業対象６０３が含まれている。また、画像３００ａの４辺に隣接してブランク領域３１１ａ、３１１ｂ、３１１ｃ、３１１ｄが拡張されている。図１０では、４辺全てに隣接するようにブランク領域が設定されているが、この限りではなく、任意の１辺以上に接するようにブランク領域を設定すればよい。

作業者６０１は、作業解析される対象の作業者である。作業者の顔などの、プライバシーに関する要素は画像に含まれなくてもよい。作業机６０２は、作業者が作業する空間である。一段棚の作業机だけでなく、多段の棚がある机でも構わない。作業対象６０３は、作業者が作業する対象である。作業机６０２または作業対象６０３には、作業解析の為に、マーカなどを付加しても構わない。

図１０に示すように、画像３００ａの上部にブランク領域３１１ａを拡張することで、作業者の顔などを写さずに骨格情報が推定できる。画像３００ａの右側にブランク領域３１１ｂを拡張することで、作業者が左側（画像における右側）に移動した場合や、画像３００ａ外の空間にある作業対象に手を伸ばした場合でも、骨格情報が推定できる。画像３００ａの下側にブランク領域３１１ｃを拡張することで、画像３００ａ外の作業対象に作業者が手を伸ばした場合でも、骨格情報が推定できる。画像３００ａの左側にブランク領域３１１ｄを拡張することで、作業者が右側（画像における左側）に移動した場合や、画像３００ａ外の空間にある作業対象に手を伸ばした場合でも、骨格情報が推定できる。

したがって、上方から撮影することで、プライバシーを保護したまま骨格情報が推定でき、平面的な作業机上の作業解析が容易にできる。また、画像３００ａの複数の辺に隣接するよう複数のブランク領域を付加することで、画像３００ａ外に作業者が移動した場合でも、骨格情報が推定できる。

（側面撮影画像）
図１１に示すように、側面から撮影することで、作業者の顔を写さずに、多段になった作業台の状況が容易に把握できる画像３００ｂが撮影できる。そのため、側面から撮影することで、プライバシーを保護したまま作業解析に適した画像が取得できる。

画像３００ｂは、作業者６０１、作業机６０２、作業対象６０３、マスク領域６０４が含まれている。また、画像３００ａの４辺に隣接してブランク領域３１１ｅ、３１１ｆ、３１１ｇ、３１１ｈが拡張されている。図１１では、４辺全てに隣接するようにブランク領域が設定されているが、この限りではなく、任意の１辺以上に接するようにブランク領域を設定すればよい。

マスク領域６０４はカメラの設置位置及び設置方向により、作業者の顔などのプライバシーを侵害する要素が写らざるをえない場合に設定してもよい。マスク領域６０４はブランク領域３１１と同一単色での塗りつぶしである。また、ブランク領域に接した任意の位置に、任意の大きさで設定してもよい。

図１１に示すように、画像３００ｂの上部にブランク領域３１１ｅを拡張することで、
多段の棚に部品または工具を設置している場合や、画像３００ｂの外側上部に設置している場合でも、骨格情報が推定できる。画像３００ｂの右側にブランク領域３１１ｆを拡張することで、作業台の作業者から見た奥に設置してある作業対象に手を飛ばした場合での骨格情報が推定できる。画像３００ｂの下側にブランク領域３１１ｇを拡張することで、作業台の下側に設置してある作業対象に手を伸ばした場合での骨格情報が推定できる。画像３００ｂの左側にブランク領域を拡張することで、作業者の顔などを写さずに骨格情報が推定できる。

したがって、側面から撮影することで、プライバシーを保護したまま骨格情報が推定でき、立体的な作業机上の作業解析が容易にできる。

撮影画角としては、上方及び側面に限定されず、作業者後ろ側上方斜めからの撮影でもよい。この場合、上方撮影での平面的な作業解析と、側面撮影での立体的な作業解析が同時に可能である。

〔ソフトウェアによる実現例〕
推定装置１及び教師データ作成装置２の制御ブロック（特に制御部１０における、ブランク領域拡張部１０１、教師データ作成部１０２、データ拡張部１０３、過不足領域修正部１０４、推定モデル取得部１１１、特徴量抽出部１１２、関節推定部１１３、結合度推定部１１４、骨格推定部１２１、推定モデル学習部１２２、入力部１３０、出力部１４０、及び表示制御部１５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、推定装置１及び教師データ作成装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 推定装置
２ 教師データ作成装置
１０ 制御部
１１ 学習部
１２ 推定部
２０ 記憶部
５１ ユーザインタフェース
１０１ ブランク領域拡張部
１０２ 教師データ作成部
１０３ データ拡張部
１０４ 過不足領域修正部（不足領域修正部）
１１１ 推定モデル取得部
１１２ 特徴量抽出部
１１３ 関節推定部
１１４ 結合度推定部
１２１ 骨格推定部
１２２ 推定モデル学習部
１３０ 入力部（画像取得部）
１４０ 出力部
１５０ 表示制御部
２０１ 教師データ記憶部
２０２ 推定モデル記憶部
３００、３００ａ、３００ｂ、３０１、３０４ａ 画像（第１の画像）
３０１ ブランク済み画像（第２の画像）
３０２ 骨格含有データ
３０３ 画像処理済みデータ
３０３ａ 画像処理済み画像（第３の画像）
３０４ 教師データ
３０４ａ 過不足修正済み画像（新たな第２の画像）
３１２ 教師骨格情報
３１１、３１１ａ、３１１ｂ、３１１ｃ、３１１ｄ、３１１ｅ、３１１ｆ、３１１ｇ、３１１ｈ、３１４ ブランク領域
３１３ 不足画素領域
５０１ 画像表示部
５１１ 作業者リスト
５１２ 編集作業者
５１３ 作業者追加ボタン
５２１ 関節リスト
５２２ 編集関節
５３１ 座標表示指示部
５３１ 編集関節位置
５３２ Ｘ座標表示指示部
５３２ 確定関節位置
５３３ Ｙ座標表示指示部
５３３ 結合情報
６０１ 作業者
６０２ 作業机
６０３ 作業対象
６０４ マスク領域

Claims (18)

1. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、
   前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、
   前記第２の画像と学習済み推定モデルとを用いて、前記ブランク領域に位置する前記第２関節の関節位置を含む骨格情報を推定する推定部と、を備えている推定装置。
2. 前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させる請求項１に記載の推定装置。
3. 前記第２関節は、首の関節を含む請求項１または２に記載の推定装置。
4. 前記画像取得部は、上方から撮影された前記第１の画像を取得する請求項１から３のいずれか１項に記載の推定装置。
5. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、
   前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、
   前記ブランク領域に位置する前記第２関節を含む骨格情報及び前記第２の画像を含む教師データを記憶する教師データ記憶部と、
   前記教師データを用いて、前記骨格情報及び前記第２の画像から骨格情報の推定モデルを学習する学習部と、を備えている学習装置。
6. 前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させる請求項５に記載の学習装置。
7. 前記第２関節は、首の関節を含む請求項５または６に記載の学習装置。
8. 前記学習装置は、
   前記第２の画像に幾何変形の画像処理を施し第３の画像を生成するデータ拡張部と、
   前記第３の画像における、前記第２の画像に対応する領域内の不足画素領域をブランク領域で修正し、学習用の新たな第２の画像とする不足領域修正部と、を備える請求項５から７のいずれか１項に記載の学習装置。
9. 前記画像取得部は、上方から撮影された前記第１の画像を取得する請求項５から８のいずれか１項に記載の学習装置。
10. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得部と、
    前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張部と、
    前記第２の画像を表示する表示制御部と、
    前記第２の画像における前記ブランク領域に対して前記第２関節の関節位置の入力をユーザから受け付ける入力部と、
    前記第１関節及び前記第２関節の関節位置を含む骨格情報を、前記第２の画像に対応付けた教師データを作成する教師データ作成部と、
    を備えている教師データ作成装置。
11. 前記ブランク領域拡張部は、前記ブランク領域を前記第１の画像の１辺に隣接させる、請求項１０に記載の教師データ作成装置。
12. 前記第２関節は、首の関節を含む請求項１０または１１に記載の教師データ作成装置。
13. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、
    前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、
    前記第２の画像と学習済み推定モデルとを用いて、前記ブランク領域に位置する前記第２関節の関節位置を含む骨格情報を推定する推定ステップと、を含む推定方法。
14. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、
    前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、
    前記ブランク領域に位置する前記第２関節を含む骨格情報及び前記第２の画像を含む教師データを取得する教師データ取得ステップと、
    前記教師データを用いて、前記骨格情報及び前記第２の画像から骨格情報の推定モデルを学習する学習ステップと、を含む学習方法。
15. 対象者の第１関節を含みかつ第２関節を含まない第１の画像を取得する画像取得ステップと、
    前記第１の画像をブランク領域で拡張した第２の画像を生成する、ブランク領域拡張ステップと、
    前記第２の画像を表示する表示制御ステップと、
    前記第２の画像における前記ブランク領域に対して前記第２関節の関節位置の入力をユーザから受け付ける入力ステップと、
    前記第１関節及び前記第２関節の関節位置を含む骨格情報を、前記第２の画像に対応付けた教師データを作成する教師データ作成ステップと、
    を含む教師データ作成方法。
16. 請求項１に記載の推定装置としてコンピュータを機能させるための推定プログラムであって、前記画像取得部、前記ブランク領域拡張部及び前記推定部としてコンピュータを機能させるための推定プログラム。
17. 請求項５に記載の学習装置としてコンピュータを機能させるための学習プログラムであって、前記画像取得部、前記ブランク領域拡張部、及び前記学習部としてコンピュータを機能させるための学習プログラム。
18. 請求項１０に記載の教師データ作成装置としてコンピュータを機能させるための教師データ作成プログラムであって、前記画像取得部、前記ブランク領域拡張部、前記表示制御部、前記入力部、及び前記教師データ作成部としてコンピュータを機能させるための教師データ作成プログラム。

Images