JP7211415B2 - 演算装置の学習方法、学習装置、学習プログラム、および学習済みモデル - Google Patents

Description

本発明は、演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルに関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著になっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護や支援等のケアを必要とするケア対象者の増加が想定される。

ケア対象者は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、ケア対象者がこのような状態になったときに介護士や看護師等のケア実行者がすぐに駆けつけられるようにするために、ケア対象者の状態を検知するためのシステムの開発が進められている。

下記特許文献１には、次の技術が開示されている。すなわち、訓練画像および関節位置データの組合せの学習用データに基づいて、機械学習により関節推定器を学習し、学習された関節推定器により、画像から関節位置により姿勢を推定する。

下記特許文献２には、次の技術が開示されている。すなわち、コンテンツの内容情報の次元数を圧縮することで当該コンテンツの特徴情報を抽出するとともに、当該特徴情報の次元数を拡張することで当該コンテンツの内容情報を復元する機能を有する学習器を学習させる。その際、入力されたコンテンツの内容情報と復元された内容情報が同じとなり、かつ、同一カテゴリーに属する複数のコンテンツから抽出された特徴情報の類似度が、異なるカテゴリーに属する複数のコンテンツから抽出された特徴情報の類似度より大きくなるように学習させる。そして、学習された学習器により複数のコンテンツから抽出された特徴情報が類似するかどうか判断することで配信対象のコンテンツを決定する。

下記非特許文献１には、次の技術が開示されている。すなわち、人の画像と当該人の真の関節点との組合せを教師データとしてディープニューラルネットワークを学習させ、学習後のディープニューラルネットワークにより、人の画像から、関節点を人の姿勢として推定する。

特開２０１７－９１３７７号公報 特開２０１７－２０１５３５号公報 Ａｌｅｘａｎｄｅｒ Ｔｏｓｈｅｖ， Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ， ＤｅｅｐＰｏｓｅ：Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｖｉａ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），２０１４

しかし、これらの文献に記載された技術は、ニューラルネットワーク等をあらかじめ学習させ、学習後は画像を撮影する場所や環境が変わっても追加の学習を行わないため、画像を撮影する場所等が変わることにより関節点の推定精度が低下する可能性がある。また、関節点の推定精度を維持するために新たな場所等において追加の学習を行う場合、当該場所等において撮影された未学習の大量の画像に関節点の正解付けをして学習をする必要があるため作業量が増大する。

本発明は、このような問題を解決するためになされたものである。すなわち、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる、演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置の学習方法であって、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習する段階（ａ）と、前記段階（ａ）で教師なし学習をした後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習する段階（ｂ）と、を有する、演算装置の学習方法。

（２）前記目的信号は関節点であり、前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、前記第１変換部は、前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、前記第２変換部は、前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、前記段階（ａ）は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習し、前記段階（ｂ）は、前記段階（ａ）で教師なし学習をした後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、上記（１）に記載の演算装置の学習方法。

（３）前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、前記段階（ａ）の前に、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーを表現学習により教師なし学習する段階（ｃ）をさらに有し、前記段階（ａ）は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習し、前記段階（ｂ）は、前記段階（ａ）で教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、前記段階（ｃ）における学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、上記（２）に記載の演算装置の学習方法。

（４）撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置を学習させるための学習装置であって、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られる前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習させる学習制御部を有する、学習装置。

（５）前記目的信号は関節点であり、前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、前記第１変換部は、前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、前記第２変換部は、前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、前記学習制御部は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、上記（４）に記載の学習装置。

（６）前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーが、あらかじめ表現学習により教師なし学習されており、前記学習制御部は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習させた後、学習後の前記第１エンコーダーにより、前記関節点の目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、あらかじめ学習された前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、上記（５）に記載の学習装置。

（７）上記（１）～（３）のいずかに記載の、演算装置の学習方法をコンピューターに実行させるための学習プログラム。

（８）撮影された画像を第１特徴量に変換するニューラルネットワークの第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力するニューラルネットワークの第２変換部、を有するニューラルネットワークの学習済みモデルであって、前記第１変換部のニューラルネットワークが、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習され、前記第２変換部のニューラルネットワークが、学習後の前記第１変換部により前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換される前の前記画像に対応する前記目的信号の正解と、の組合せを教師データとして教師あり学習された、ニューラルネットワークの学習済みモデル。

画像を特徴量に変換する第１変換部、および当該特徴量を目的信号に変換する第２変換部を有する演算装置に対し、目的信号の正解がある画像と正解がない画像とで第１変換部を教師なし学習する。そして、正解がある画像が学習後の第１変換部で変換された特徴量と、当該正解の目的信号と、により第２変換部を教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる。

演算装置を含む演算システムの概略構成を示す図である。 演算装置の構成を示すブロック図である。 演算装置の制御部の機能を示すブロック図である。 撮影画像および人矩形の例を示す図である。 人の関節点の例を示す説明図である。 演算装置により推定された関節点の例を示す説明図である。 関節点推定部の第２オートエンコーダーの学習について説明するための説明図である。 関節点推定部の第１オートエンコーダーの学習について説明するための説明図である。 関節点推定部の中間変換部の学習について説明するための説明図である。 学習制御部による関節点推定部の学習時のデータの流れを示す説明図である。 関節点推定部による推定について説明するための説明図である。 第１オートエンコーダーを撮影装置に含めるようにした場合に送信されるデータを説明するための説明図である。 学習時の演算装置の動作を示すフローチャートである。 関節点推定時の演算装置の動作を示すフローチャートである。 学習装置により学習される関節点推定部の構成を示す図である。 関節点推定部の学習時のデータの流れを示す説明図である。

以下、図面を参照して、本発明の実施形態に係る演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、第１実施形態に係る演算装置を含む演算システムの概略構成を示す図である。

演算システム１０は、演算装置１００、撮影装置２００、通信ネットワーク３００、および携帯端末４００を有する。演算装置１００は、通信ネットワーク３００により撮影装置２００および携帯端末４００と相互に通信可能に接続される。演算装置１００は、演算装置１００を学習するための学習装置が実装され得る。学習装置は、演算装置１００は別のコンピューターにより構成してもよい。以下の説明においては、演算装置１００に、演算装置１００を学習するための学習装置が含まれるものとして説明する。

演算装置１００は、撮影装置２００により撮影された画像（以下、単に「撮影画像」と称する）を、撮影装置２００から受信し、撮影画像に含まれる、対象者５００である人の関節点を、人の姿勢として推定する。演算装置１００は、撮影画像から目的信号ある関節点を推定できるように学習される。学習には畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による深層学習が含まれる。なお、学習には、深層学習以外のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびＲａｎｄｏｍ Ｆｏｒｅｓｔが含まれ得る。演算装置１００は、コンピューターにより構成される。演算装置１００は、サーバーとして構成され得る。

撮影装置２００は、たとえば近赤外線カメラにより構成され、所定の位置に設置されることで、当該所定の位置を視点として俯瞰される撮影領域を撮影する。すなわち、撮影装置２００は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。撮影画像は近赤外線の反射率を各画素とするモノクロ画像であり得る。所定の位置は、たとえば対象者５００の居室の天井である。撮影領域は、たとえば居室の床全体を含む３次元の領域である。撮影装置２００は、たとえば１５ｆｐｓ～３０ｆｐｓのフレームレートの動画として撮影領域を撮影する。撮影画像には動画と静止画とを含む。撮影装置２００は、撮影画像を演算装置１００等に送信する。

撮影装置２００は、センサーボックスにより構成し得る。この場合、演算装置１００の機能の一部または全部をセンサーボックスが有するようにし得る。

通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。通信ネットワーク３００には、アクセスポイント３１０が設けられ、携帯端末４００と、演算装置１００および撮影装置２００とを無線通信ネットワークにより通信可能に接続する。

携帯端末４００は、演算装置１００により推定された関節点を演算装置１００から受信し、関節点を画像として表示する。携帯端末４００は、たとえばスマートフォンにより構成され得る。携帯端末４００は、撮影装置２００から撮影画像を受信して表示してもよい。

図２は、演算装置の構成を示すブロック図である。演算装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。制御部１１０は、学習装置（以下、「学習制御部」とも称する）１１５を構成する。これらの構成要素は、バス１６０を介して相互に接続される。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、プログラムにしたがって演算装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

表示部１３０は、たとえば液晶ディスプレイであり、各種情報を表示する。

入力部１４０は、たとえばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。

通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。通信部１５０は、撮影装置２００から撮影画像を受信する。また、通信部１５０は、携帯端末４００へ、撮影画像から推定した関節点を送信する。

制御部１１０の機能の詳細について説明する。

図３は、演算装置の制御部の機能を示すブロック図である。制御部１１０は、画像取得部１１１、人矩形検出部１１２、関節点推定部１１３、出力部１１４、および学習制御部１１５を有する。

画像取得部１１１は、通信部１５０により撮影装置２００から受信した撮影画像を取得する。

人矩形検出部１１２は、撮影画像における、対象者５００の画像を含む領域を人矩形として検出する。人矩形は、撮影画像における対象者５００の画像を含む矩形内の領域である。人矩形検出部１１２は、人矩形をニューラルネットワークを用いた公知の検出方法により検出し得る。人矩形は、人矩形背景差分法や時間差分法により検出されてもよい。

図４は、撮影画像および人矩形の例を示す図である。図４の例においては、魚眼レンズカメラによる全方位画像が撮影画像として示されている。

人矩形２１０は、太線の矩形で囲まれた領域として示されている。すなわち、人矩形２１０は、対象者５００を含む矩形内の領域として検出される。

関節点推定部１１３は、人矩形２１０から関節点を推定する。関節点推定部１１３は、ニューラルネットワークにより構成される。

図５は、人の関節点の例を示す説明図である。図５においては、関節点１１９の位置が白抜きの丸により示されている。なお、関節点１１９間を結ぶ黒い太線は骨を示している。図５の例においては、関節点の相対的位置により、対象者５００が立位で両腕を広げている姿勢が認識できる。関節点には、たとえば、頭、首、肩、肘、手、腰、腿、膝、および足の関節点が含まれる。関節点には、上記以外の関節点が含まれてもよく、上記のいずれかが含まれなくてもよい。

図６は、演算装置により推定された関節点の例を示す説明図である。図６の例においては、関節点１１９を人矩形２１０に重畳させて示している。

図６の例においては、関節点１１９から、対象者５００が座位の姿勢にあることが認識できる。

関節点推定部１１３による関節点の推定方法については後述する。

学習制御部１１５は、関節点推定部１１３に関節点を推定するための学習を行わせる。

関節点推定部１１３の学習については後述する。

出力部１１４は、関節点推定部１１３により推定された関節点１１９を目的信号として出力する。出力された関節点１１９は表示部１３０に表示される。また、出力された関節点１１９は携帯端末４００へ送信され、携帯端末４００において表示され得る。

関節点推定部１１３の学習について説明する。

図７は、関節点推定部の第２オートエンコーダーの学習について説明するための説明図である。

図７に示すように、関節点推定部１１３は、第１オートエンコーダー１１３Ａ、中間変換部１１３Ｂ、および第２オートエンコーダー１１３Ｃを含み、これらはそれぞれニューラルネットワークで構成され得る。第１オートエンコーダー１１３Ａは第１変換部を構成する。中間変換部１１３Ｂおよび第２オートエンコーダー１１３Ｃは第２変換部を構成する。中間変換部１１３Ｂは第１副変換部を構成し、第２オートエンコーダー１１３Ｃは第２副変換部を構成する。

第２オートエンコーダー１１３Ｃは、第２デコーダーＤ２および第２エンコーダーＥ２を有し、目的信号である関節点ｙによって、表現学習により教師なし学習する。具体的には、第２エンコーダーＥ２により関節点ｙから関節点ｙより次元の低いベクトルである第２特徴量ｈ_ｙに変換し、第２デコーダーＤ２により第２特徴量ｈ_ｙを関節点ｙと同じ次元の関節点ｙ’に変換する。これらの変換は、図７においてグレーの白抜きの矢印で示されている。そして、関節点ｙと関節点ｙ’との差に対応するロスが小さくなるように第２エンコーダーＥ２および第２デコーダーＤ２を学習する。すなわち、関節点ｙと関節点ｙ’とが一致するように第２エンコーダーＥ２および第２デコーダーＤ２を学習する。これにより、関節点の推定時に用いられる第２デコーダーＤ２が第２特徴量ｈ_ｙから関節点ｙ’を高精度に再現できるように学習される。なお、第２エンコーダーＥ２は、第２オートエンコーダー１１３Ｃの表現学習による教師なし学習のときにのみ用いられ、関節点の推定時は用いられない。

教師なし学習とは、出力すべき正解を与えられずに、入力されたデータに基づいて行う学習である。後述する教師あり学習とは、入力されたデータに対し出力すべき正解が与えられ、当該入力されたデータに対し当該正解が出力されるように行う学習である。教師あり学習に用いられる、入力されるデータと、当該データに対応する正解の組合せを教師データと称する。

関数ｆ_ｙは、第２エンコーダーＥ２による変換を表現する関数であり、関節点ｙから第２特徴量ｈ_ｙを算出するための関数である。関数ｆ_ｙは、第２エンコーダーＥ２のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

関数ｇ_ｙは、第２デコーダーＤ２による変換を表現する関数であり、第２特徴量ｈ_ｙから関節点ｙ’を算出するための関数である。関数ｇ_ｙは、第２デコーダーＤ２のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

なお、一般的に、ニューラルネットワークの各層のノード間に与えられた重み付けを定義するデータを辞書と称し、辞書をニューラルネットワークに反映させることで、ニューラルネットワークを、学習後のニューラルネットワークである学習済みモデルとすることができる。

第２オートエンコーダー１１３Ｃの教師なし学習は、目的信号である関節点の正解であるｙを用いて行われる。なお、後述するように、目的信号である関節点の正解であるｙは、当該正解である関節点１１９に対応する人矩形２１０と関連付けられて記憶部１２０に記憶されている。

第２オートエンコーダー１１３Ｃの学習は、たとえば演算装置１００の出荷前に実行され得る。一方、第１オートエンコーダー１１３Ａおよび中間変換部１１３Ｂの学習は、演算装置１００の出荷後に実行される。したがって、第２オートエンコーダー１１３Ｃの学習は、後述する、第１オートエンコーダー１１３Ａおよび中間変換部１１３Ｂの学習の前に実行される。

図８は、関節点推定部の第１オートエンコーダーの学習について説明するための説明図である。

第１オートエンコーダー１１３Ａは、第１エンコーダーＥ１および第１デコーダーＤ１を有し、人矩形ｘによって、表現学習により教師なし学習する。具体的には、第１エンコーダーＥ１により人矩形ｘから人矩形ｘより次元の低いベクトルである第１特徴量ｈ_ｘに変換し、第１デコーダーＤ１により第１特徴量ｈ_ｘを人矩形ｘと同じ次元の人矩形ｘ’に変換する。これらの変換は、図８においてグレーの白抜きの矢印で示されている。そして、人矩形ｘと人矩形ｘ’との差に対応するロスが小さくなるように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。すなわち、人矩形ｘと人矩形ｘ’とが一致するように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。これにより、関節点の推定時に用いられる第１エンコーダーＥ１が人矩形ｘの特徴を第１特徴量ｈ_ｘとして適切に抽出できるように学習される。なお、第１デコーダーＤ１は、第１オートエンコーダー１１３Ａの表現学習による教師なし学習の際にのみ用いられ、関節点の推定時は用いられない。

関数ｆ_ｘは、第１エンコーダーＥ１による変換を表現する関数であり、人矩形ｘから第１特徴量ｈ_ｘを算出するための関数である。関数ｆ_ｘは、第１エンコーダーＥ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

関数ｇ_ｘは、第１デコーダーＤ１による変換を表現する関数であり、第１特徴量ｈ_ｘから人矩形ｘ’を算出するための関数である。関数ｇ_ｘは、第１デコーダーＤ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

第１オートエンコーダー１１３Ａの教師なし学習は、目的信号である関節点１１９の正解（すなわちｙ）がある人矩形ｘと、目的信号である関節点の正解がない人矩形ｘとを用いて行われる。これは、第２オートエンコーダー１１３Ｃを関節点１１９の正解を用いて教師なし学習する一方で、第１オートエンコーダー１１３Ａが関節点１１９の正解がない人矩形ｘのみで教師なし学習すると、次のような不具合が生じる可能性があるからである。すなわち、学習後の第１オートエンコーダー１１３Ａにより関節点１１９の正解がある人矩形ｘを変換することで得られた第１特徴量ｈ_ｘが適切な値とならない可能性があるからである。具体的には、関節点１１９の正解がある人矩形ｘを変換することで得られた第１特徴量ｈ_ｘを第１デコーダＤ１で変換した人矩形ｘ’が、元の人矩形ｘと大きく異なる可能性がある。

図９は、関節点推定部の中間変換部の学習について説明するための説明図である。

中間変換部１１３Ｂは、第１特徴量ｈ_ｘおよび第２特徴量ｈ_ｙの組み合わせの教師データにより教師あり学習する。教師データとして用いられる第１特徴量ｈ_ｘは、学習後の第１エンコーダーＥ１により関節点の正解がある人矩形ｘを変換して得られる第１特徴量ｈ_ｘである。教師データとして用いられる第２特徴量ｈ_ｙは、目的信号である関節点１１９の正解ｙを、学習後の第２エンコーダーＥ２により変換して得られる第２特徴量ｈ_ｙである。中間変換部１１３Ｂの変換は、図９においてグレーの矢印で示されている。

以下、図７～９を参照した説明と整合させて、人矩形をｘまたはｘ’の符号を付して説明し、関節点をｙまたはｙ’の符号を付して説明する。

上述したように、第１オートエンコーダー１１３Ａの学習は、演算装置１００の出荷後に実行される。しかし、目的信号である関節点１１９の正解ｙがある人矩形ｘと、目的信号である関節点１１９の正解ｙがない人矩形ｘとを用いる学習のうち、関節点１１９の正解ｙがある人矩形ｘを用いる学習は、プレトレーニングとして演算装置１００の出荷前に実行され得る。これにより、演算装置１００の出荷後に、演算装置１００が設置される施設等において、演算装置１００を学習するのに適した初期値となり、学習効率を向上できる。

目的信号である関節点１１９の正解ｙがある人矩形ｘを用いる第１オートエンコーダー１１３Ａの学習は、関節点１１９の正解ｙがない人矩形ｘが撮影される状態や、関節点１１９の正解ｙがない人矩形ｘの画像の特徴が近い人矩形ｘを用いて行うことが望ましい。人矩形ｘが撮影される状態には、撮影装置２００が設置される高さおよび位置や、撮影装置２００が設置される部屋の明るさ等が含まれる。人矩形ｘの画像の特徴には、画素の輝度の分布や平均、ならびに人矩形ｘに含まれる対象者５００の服の色やデザイン等が含まれる。これにより、第１オートエンコーダー１１３Ａの学習効率を向上できるとともに、演算装置１００による関節点１１９の推定精度を向上できる。

図１０は、学習制御部による関節点推定部の学習時のデータの流れを示す説明図である。

記憶部１２０は、関節点１１９の正解ｙがある人矩形ｘと当該正解ｙとの組合せが保存されるデータベース１２１と、関節点１１９の正解ｙがない人矩形ｘが保存されるデータベース１２２を有する。

第２オートエンコーダー１１３Ｃの学習の際は、学習制御部１１５（図３参照）は、データベース１２１から、関節点１１９の正解ｙがある人矩形ｘの当該正解である関節点ｙを読み出し、第２オートエンコーダー１１３Ｃに、読み出した関節点ｙにより、教師なし学習を実行させる。

第１オートエンコーダー１１３Ａの学習の際は、学習制御部１１５は、データベース１２１から関節点１１９の正解ｙがある人矩形ｘを読み出し、データベース１２２から関節点１１９の正解ｙがない人矩形ｘを読み出す。学習制御部１１５は、読み出した正解がある人矩形ｘと、正解がない人矩形ｘにより、第１オートエンコーダー１１３Ａに、教師なし学習を実行させる。

中間変換部１１３Ｂの学習の際は、学習制御部１１５は、第１特徴量ｈ_ｘと第２特徴量ｈ_ｙの組合せを教師データとして中間変換部１１３Ｂに教師あり学習させる。教師あり学習に用いられる教師データの一方である第１特徴量ｈ_ｘは、学習後の第１変換部１１３Ａにより、関節点１１９の正解ｙがある人矩形ｘが変換されることで得られた第１特徴量ｈ_ｘである。教師データの他方である第２特徴量ｈ_ｙは、当該得られた第１特徴量ｈ_ｘに、学習後の第１変換部１１３Ａにより変換された、人矩形ｘに対応する関節点１１９の正解ｙが、学習後の第２変換部１１３Ｃにより変換されることで得られた第２特徴量ｈ_ｙである。

関節点推定部１１３による関節点の推定について説明する。

図１１は、関節点推定部による推定について説明するための説明図である。

第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを第１特徴量ｈ_ｘに変換する。中間変換部１１３Ｂは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた第１特徴量ｈ_ｘを第２特徴量ｈ_ｙに変換する。第２オートエンコーダー１１３Ｃの第２デコーダーＤ２は、中間変換部１１３Ｂにより第１特徴量ｈ_ｘが変換されることで得られる第２特徴量ｈ_ｙを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点ｙ’が推定される。

図１２は、第１オートエンコーダーを撮影装置に含めるようにした場合に送信されるデータを説明するための説明図である。

撮影装置２００をセンサーボックスにより構成する場合等においては、第１オートエンコーダー１１３Ａを撮影装置２００に含めるようにし得る。図１２の例においては、第１オートエンコーダー１１３Ａが撮影装置２００に含まれるため、白抜きのグレーの実線の矢印で示すように、撮影装置２００において、人矩形ｘが、人矩形ｘより次元の小さい第１特徴量ｈ_ｘに圧縮される。これにより、撮影装置２００から演算装置１００へ人矩形ｘを送信する場合と比較して、撮影装置２００から演算装置１００へ第１特徴量ｈ_ｘを送信するようにすることで、撮影装置２００から演算装置１００への通信量を抑制できる。すなわち、たとえば撮影装置２００をセンサーボックス（エッジ）で構成し、演算装置１００をサーバーとして構成した場合に、センサーボックスとサーバーとの通信に利用されるネットワークへの負荷を抑制できる。図１２においては、撮影装置２００内で処理されるデータが白抜きのグレーの実線の矢印で示され、撮影装置２００から演算装置１００へ送信されるデータおよび演算装置１００内で処理されるデータが白抜きのグレーの破線の矢印で示されている。

演算装置１００の動作について説明する。

図１３は、学習時の演算装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムにしたがい、制御部１１０（より詳細には、学習制御部１１５）により実行される。

制御部１１０は、人矩形ｘに対応する関節点１１９の正解ｙを用いて、第２オートエンコーダー１１３Ｃを、表現学習により教師なし学習する（Ｓ１０１）。なお、本ステップは、演算装置１００の出荷前に実行され得る。次のステップＳ１０２以降は、演算装置１００が出荷された後、撮影装置２００が所定の場所に設置され、撮影装置２００から演算装置１００へ撮影画像が送信される状態になった時以降に実行される。

制御部１１０は、撮影装置２００により撮影された撮影画像を取得する（Ｓ１０２）。

制御部１１０は、所得した撮影画像から人矩形ｘを検出する（Ｓ１０３）。

制御部１１０は、検出した人矩形ｘを、関節点１１９の正解ｙがない人矩形ｘとして記憶部１２０に保存する（Ｓ１０４）。

制御部１１０は、関節点１１９の正解ｙがある人矩形ｘ、および関節点１１９の正解ｙがない人矩形ｘを用いて、第１オートエンコーダー１１３Ａを表現学習により教師なし学習する（Ｓ１０５）。

制御部１１０は、学習後の第１エンコーダーＥ１が関節点１１９の正解ｙがある人矩形ｘを変換して得られる第１特徴量ｈ_ｘと、学習後の第２エンコーダーＥ２が当該人矩形ｘに対する正解を変換して得られる第２特徴量ｈ_ｙとの組合せにより中間変換部１１３Ｂを教師あり学習する（Ｓ１０６）。

図１４は、関節点推定時の演算装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムにしたがい、制御部１１０により実行される。

制御部１１０は、撮影装置２００により撮影された撮影画像を取得する（Ｓ２０１）。

制御部１１０は、撮影画像から人矩形ｘを検出する（Ｓ２０２）。

制御部１１０は、学習後の第１エンコーダーＥ１により人矩形ｘを第１特徴量ｈ_ｘに変換する（Ｓ２０３）。

制御部１１０は、学習後の第１エンコーダーＥ１により人矩形ｘが変換されることで得られた第１特徴量ｈ_ｘを、学習後の中間変換部１１３Ｂにより第２特徴量ｈ_ｙに変換する（Ｓ２０４）。

制御部１１０は、学習後の中間変換部１１３Ｂにより第１特徴量ｈ_ｘが変換されることで得られた第２特徴量ｈ_ｙを、学習後の第２デコーダーＤ２により目的信号である関節点ｙ’に変換して出力する（Ｓ２０５）。

（第２実施形態）
図１５は、第２実施形態に係る学習装置により学習される関節点推定部の構成を示す図である。本実施形態と第１実施形態とで異なる点は、本実施形態は、関節点推定部１１３が、第１オートエンコーダー１１３Ａと後段変換部１１３Ｄで構成される点である。その他の点については、本実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。

図１５に示すように、関節点推定部１１３は、第１オートエンコーダー１１３Ａと後段変換部１１３Ｄを有する。第１オートエンコーダー１１３Ａは第１変換部を構成し、後段変換部１１３Ｄは第２変換部を構成する。後段変換部１１３Ｄはニューラルネットワークで構成され得る。後段変換部１１３Ｄは、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等のニューラルネットワーク以外の機械学習を用いる構成としてもよい。

なお、後段変換部１１３Ｄを、第１実施形態の中間変換部１１３Ｂおよび第２オートエンコーダー１１３Ｃにより構成することも観念し得る。このように考えると、第１実施形態は本実施形態の下位概念の実施形態とも言える。

関節点推定部１１３の学習について説明する。

第１オートエンコーダー１１３Ａは、第１エンコーダーＥ１および第１デコーダーＤ１を有し、人矩形ｘによって、表現学習により教師なし学習する。具体的には、第１エンコーダーＥ１により人矩形ｘから人矩形ｘより次元の低いベクトルである特徴量ｈに変換し、第１デコーダーＤ１により特徴量ｈを人矩形ｘと同じ次元の人矩形ｘ’に変換する。そして、人矩形ｘと人矩形ｘ’との差に対応するロスが小さくなるように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。これにより、関節点１１９の推定時に用いられる第１エンコーダーＥ１が人矩形ｘの特徴を特徴量ｈとして適切に抽出できるように学習される。なお、第１デコーダーＤ１は、第１オートエンコーダー１１３Ａの表現学習による教師なし学習の際にのみ用いられ、関節点１１９の推定時は用いられない。

関数ｆは、第１エンコーダーＥ１による変換を表現する関数であり、人矩形ｘから特徴量ｈを算出するための関数である。関数ｆは、第１エンコーダーＥ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

関数ｇは、第１デコーダーＤ１による変換を表現する関数であり、特徴量ｈから人矩形ｘ’を算出するための関数である。関数ｇは、第１デコーダーＤ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。

第１オートエンコーダー１１３Ａの教師なし学習は、目的信号である関節点１１９の正解ｙがある人矩形ｘと、目的信号である関節点１１９の正解ｙがない人矩形ｘとを用いて行われる。

後段変換部１１３Ｄは、特徴量ｈおよび目的信号である関節点１１９の正解ｙの組み合わせの教師データにより教師あり学習する。教師データとして用いられる特徴量ｈは、学習後の第１エンコーダーＥ１により関節点１１９の正解ｙがある人矩形２１０を変換して得られた特徴量ｈである。教師データとして用いられる関節点の正解ｙは、得られた特徴量ｈに変換された人矩形ｘに対応する関節点の正解ｙである。

関節点推定部１１３による関節点１１９の推定について説明する。

第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを特徴量ｈに変換する。後段変換部１１３Ｄは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた特徴量ｈを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点ｙ’が推定される。

図１６は、関節点推定部の学習時のデータの流れを示す説明図である。

記憶部１２０は、関節点１１９の正解ｙがある人矩形ｘと当該正解ｙとの組合せが保存されるデータベース１２１と、関節点１１９の正解ｙがない人矩形２１０が保存されるデータベース１２２を有する。

第１オートエンコーダー１１３Ａの学習の際は、学習制御部１１５は、データベース１２１から関節点１１９の正解ｙがある人矩形ｘを読み出し、データベース１２２から関節点１１９の正解ｙがない人矩形２１０を読み出す。学習制御部１１５は、第１オートエンコーダー１１３Ａに、読み出した人矩形ｘにより、教師なし学習させる。

後段変換部１１３Ｄの学習の際は、学習制御部１１５は、特徴量ｈおよび目的信号である関節点１１９の正解ｙの組合せの教師データにより、後段変換部１１３Ｄに教師あり学習させる。教師データとして用いられる特徴量ｈは、学習後の第１エンコーダーＥ１により関節点１１９の正解ｙがある人矩形ｘを変換して得られた特徴量ｈである。教師データとして用いられる関節点の正解ｙは、得られた特徴量ｈに変換された人矩形ｘに対応する関節点の正解ｙである。

再び図１５を参照して、関節点推定部１１３による関節点の推定について説明する。

第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを特徴量ｈに変換する。後段変換部１１３Ｄは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた特徴量ｈを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点１１９が推定される。

本発明に係る実施形態は、以下の効果を奏する。

画像を特徴量に変換する第１変換部、および当該特徴量を目的信号に変換する第２変換部を備える演算装置に対し、目的信号の正解がある画像と正解がない画像とで第１変換部を教師なし学習する。そして、正解がある画像が学習後の第１変換部で変換された特徴量と、当該正解の目的信号と、により第２変換部を教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる。

さらに、第１変換部を、画像から検出された人矩形を第１特徴量に変換するニューラルネットワークとする。第２変換部に、第１特徴量を第２特徴量に変換するニューラルネットワークの第１副変換部と、第２特徴量を関節点の目的信号に変換して出力するニューラルネットワークの第２副変換部を含める。第１変換部を、目的信号の正解がある人矩形と、目的信号の正解がない前記人矩形とを用いて教師なし学習する。第２変換部を、学習後の第１変換部により目的信号の正解がある人矩形を変換して得られる第１特徴量と、当該矩形波に対応する目的信号の正解に、学習後の第２副変換部により変換される第２特徴量と、の組合せを教師データとして教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度をより向上できる。

さらに、第１変換部および第２副変換部をそれぞれオートエンコーダーにより構成する。これにより、画像を撮影する場所等が変化しても関節点の推定精度をさらに効果的に向上できる。

本発明は上述した実施形態に限定されない。

たとえば、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実行されてもよい。

本出願は、２０１８年４月５日に出願された日本特許出願（特願２０１８－０７３１３２号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

１０ 演算システム、
１００ 演算装置（学習装置）、
１１０ 制御部、
１１１ 画像取得部、
１１２ 人矩形検出部、
１１３ 関節点推定部、
１１３Ａ 第１オートエンコーダー、
１１３Ｂ 中間変換部、
１１３Ｃ 第２オートエンコーダー、
１１４ 出力部、
１１５ 学習制御部、
１１９ 関節点、
１２０ 記憶部、
１３０ 表示部、
１４０ 入力部、
１５０ 通信部、
２００ 撮影装置、
２１０ 人矩形、
３００ 通信ネットワーク、
３１０ アクセスポイント、
４００ 携帯端末、
５００ 対象者。

Claims (7)

1. 撮影された画像を目的信号に変換して出力する演算装置の学習方法であって、
   前記演算装置は、
   第１エンコーダーと第１デコーダーとを含む第１オートエンコーダーと、
   第１副変換部と、
   第２エンコーダーと第２デコーダーとを含む第２オートエンコーダーと、を有し、
   前記第１エンコーダーは前記画像を第１特徴量に変換し、前記第１副変換部は前記第１特徴量を第２特徴量に変換し、前記第２デコーダーは前記第２特徴量を前記目的信号に変換し、
   前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量が前記第２デコーダーにより変換された前記目的信号と、前記第２エンコーダーにより変換される前の前記目的信号の正解とを用いて前記第２オートエンコーダーを表現学習により教師なし学習する段階（ｃ）と、
   前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１オートエンコーダーを表現学習により教師なし学習する段階（ａ）と、
   前記段階（ａ）で教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記画像を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記画像に対応する前記目的信号の正解が、前記段階（ｃ）における学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する段階（ｂ）と、
   を有する、演算装置の学習方法。
2. 前記目的信号は関節点であり、
   前記画像は人の画像を含む人矩形であり、
   前記演算装置は、画像から前記人矩形を検出する検出部をさらに有する、
   請求項１に記載の演算装置の学習方法。
3. 前記段階（ｃ）は、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーを表現学習により教師なし学習させ、
   前記段階（ａ）は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習させ、
   前記段階（ｂ）は、前記段階（ａ）で教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、前記段階（ｃ）における学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、
   請求項２に記載の演算装置の学習方法。
4. 撮影された画像を目的信号に変換して出力する演算装置を学習させるための学習装置であって、
   前記演算装置は、
   第１エンコーダーと第１デコーダーとを含む第１オートエンコーダーと、
   第１副変換部と、
   第２エンコーダーと第２デコーダーとを含む第２オートエンコーダーと、を有し、
   前記第１エンコーダーは前記画像を第１特徴量に変換し、前記第１副変換部は前記第１特徴量を第２特徴量に変換し、前記第２デコーダーは前記第２特徴量を前記目的信号に変換し、
   前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量が前記第２デコーダーにより変換された前記目的信号と、前記第２エンコーダーにより変換される前の前記目的信号の正解とを用いて、前記第２オートエンコーダーを表現学習により教師なし学習させ、
   前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて、前記第１オートエンコーダーを表現学習により教師なし学習させ、
   教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記画像を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記画像に対応する前記目的信号の正解に、学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる学習制御部を有する、学習装置。
5. 前記目的信号は関節点であり、
   前記画像は人の画像を含む人矩形であり、
   前記演算装置は、画像から前記人矩形を検出する検出部をさらに有する、
   請求項４に記載の学習装置。
6. 前記学習制御部は、
   前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーを、表現学習により教師なし学習させ、
   前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習させた後、学習後の前記第１エンコーダーにより、前記関節点の目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、学習された前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、
   請求項５に記載の学習装置。
7. 請求項１～３のいずか一項に記載の、演算装置の学習方法をコンピューターに実行させるための学習プログラム。

Images