JP7054392B2

JP7054392B2 - 姿勢推定装置、方法およびプログラム

Info

Publication number: JP7054392B2
Application number: JP2019106057A
Authority: JP
Inventors: 和之田坂; 建鋒徐
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2022-04-13
Anticipated expiration: 2039-06-06
Also published as: JP2020201558A

Description

本発明は、映像内の人物オブジェクトの姿勢を推定する姿勢推定装置、方法およびプログラムに係り、特に、姿勢推定と並行して推定精度の低い入力映像に基づく姿勢推定モデルの再学習を繰り返すことで、姿勢推定のリアルタイム性を維持したまま推定精度を改善できる姿勢推定装置、方法およびプログラムに関する。

姿勢推定の前処理として、カメラ映像からモーションブラーを除去する技術、圧縮アーティファクトを除去する技術および超解像化する技術が各々独立に開発されてきた。近年、畳み込みニューラルネットワークや敵対的生成ネットワークを含めたディープラニーング技術により姿勢推定の認識精度が向上しつつある。

非特許文献１には、畳み込みニューラルネットワークを用いて圧縮アーティファクトを除去する技術が開示されている。非特許文献２には、敵対的生成ネットワークを用いてモーションブラーを除去する技術が開示されている。非特許文献３には、畳み込みニューラルネットワークを用いて画像を変換することで認識精度を向上させる技術が開示されている。

C. Dong, Y. Deng, C. Change Loy, and X. Tang, "Compression artifacts reduction by a deep convolutional network," in Proceedings of the IEEE International Conference on Computer Vision, pp. 576-584, 2015. O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin, and J. Matas,"Deblurgan: Blind motion deblurring using conditional adversarial networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee, "Enhanced deep residual networks for single image super-resolution," in The IEEE conference on computer vision and pattern recognition (CVPR) workshops, vol. 1, p. 4, 2017.

姿勢推定の認識精度を向上させるため、認識率が低い入力映像の正解データを作成し、姿勢推定モデルを再学習する試みが行われている。しかしながら、正解データを手動で作成しなければならないため、動画映像を対象とした姿勢推定のように、大量の正解データを作成する用途には不向きである。

また、従来技術により入力映像の超解像化により認識精度を向上させることが可能となってきた。しかしながら、超解像化の処理には時間を要するため、リアルタイム性が要求される用途での姿勢推定には適用することができなかった。

本発明の目的は、従来技術の課題を解決し、リアルタイムでの姿勢推定およびその逐次的な精度改善を並行して行える姿勢推定装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、映像内の人物オブジェクトの姿勢を推定する姿勢推定装置において、以下の構成を具備した点に特徴がある。

(1) 入力映像に対して姿勢推定モデルを用いた姿勢推定を実行し、推定結果およびその第１スコアを出力する姿勢推定手段と、第１スコアが所定の第１閾値を下回る入力映像を高画質化する手段と、前記高画質化された入力映像に対して姿勢再推定を実行し、推定結果およびその第２スコアを出力する姿勢再推定手段と、第２スコアが所定の第２閾値を上回る推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとして蓄積する手段と、前記正解データを用いて前記姿勢推定モデルを更新する手段とを具備した。

(2) 姿勢推定モデルの構築に用いた学習データを蓄積する手段を具備し、姿勢推定モデルを更新する手段は、前記正解データおよび学習データを用いて前記姿勢推定モデルを更新するようにした。

(3) 第２スコアが第２閾値を上回らないと、高画質化手段に対して高画質化の条件変更を要求する手段を更に具備し、高画質化手段は、条件変更が要求されるごとに高画質化の条件を変更しながら姿勢再推定を繰り返し、第２スコアが所定の第２閾値を上回ったときの推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとするようにした。

本発明によれば、以下のような効果が達成される。

(1) 入力映像に対する連続的な姿勢推定およびその出力と並行して、スコアの低い入力映像に対してのみ高画質化処理およびその後の姿勢再推定が実行され、姿勢再推定においてスコアが改善されていると、入力映像およびその姿勢再推定の結果を正解データとして姿勢推定モデルが再学習される。したがって、リアルタイムでの姿勢推定およびその逐次的な精度改善を並行して行えるようになり、姿勢推定のリアルタイム性を維持しながら、漸次的な姿勢推定精度の改善が期待できるようになる。

(2) 姿勢推定モデルを再学習する際に、姿勢再推定により得られた正解データのみならず、既存の姿勢推定モデルの学習時に用いた学習データも併用することで正解データの影響を緩和するので、突飛な姿勢推定結果の出現を防止できるようになる。

(3) 姿勢再推定においてスコアが改善されないと、高画質化処理における高画質化の種別、強度あるいはパラメータを変更しながら、高画質化処理ならびにその後の姿勢再推定およびスコア算出が繰り返される。したがって、スコア低下の原因に関わらず大量の正解データを自動的に蓄積することができ、その後の姿勢推定モデルの更新による姿勢推定精度の向上を期待できるようになる。

本発明の姿勢推定装置が適用されるネットワークの主要部の構成を示した図である。本発明の一実施形態に係る姿勢推定装置の主要部の構成を示した機能ブロック図である。本発明の一実施形態に係る姿勢推定装置の動作を示したシーケンスフローである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用されるネットワークの構成を示した図であり、ユーザを撮影したカメラ映像をアップロードするユーザ端末２、およびアップロードされたカメラ映像内の人物オブジェクトを対象に姿勢推定を実行し、姿勢推定結果をユーザ端末２へ返信する姿勢推定装置１を主要な構成としている。

ユーザ端末２は、動画撮影機能、無線通信機能およびディスプレイを備え、例えばスマートフォンやタブレット端末で代替できる。姿勢推定装置１は、ユーザ端末２が撮影したカメラ映像をWi-Fi、基地局BSおよびネットワークNW経由で取得し、これを入力映像として姿勢推定を行う。姿勢推定の結果はネットワークNW経由でユーザ端末２へ返信される。

図２は、前記姿勢推定装置１の主要部の構成を示した機能ブロック図であり、カメラ映像を取得して姿勢推定の結果を返す姿勢推定部１０１と、カメラ映像を高画質化する高画質化部１０２と、高画質化されたカメラ映像に基づいて姿勢推定の正解データを生成する正解データ生成部１０３と、正解データを蓄積する正解データ蓄積部１０４と、予め学習した姿勢推定の結果を、その学習に用いた画像と共に学習データとして蓄積する学習データ蓄積部１０５と、姿勢推定部１０１の姿勢推定モデルMを前記正解データおよび学習データに基づく再学習結果に応じて更新する更新部１０６と、を主要な構成としている。

姿勢推定部１０１は、画像特徴抽出部１０１ａ、骨格点識別部１０１ｂおよびスコア算出部１０１ｃを主要な構成とする姿勢推定モデルMを含む。画像特徴抽出部１０１ａは、例えば注目画素とその周囲画素との差分を特徴量として抽出する。骨格点識別部１０１ｂは、部位ごとに画像特徴量を機械学習して構築した予測モデルに前記画像特徴の抽出結果を適用することで骨格点を識別する。スコア算出部１０１ｃは、各骨格点の識別結果の尤度を代表するスコアE1を算出する。

高画質化部１０２は、再学習判定部１０２ａに加えて、超解像化部１０２ｂ、圧縮アーティファクト除去部１０２ｃおよびモーションブラー除去部１０２ｄを含む複数の高画質化機能を含む。

再学習判定部１０２ａは、姿勢推定部１０１が姿勢推定ごとに出力するスコアE1を再学習閾値Eref1と比較し、E1＜Eref1のフレーム画像を低スコア画像Iwとして抽出する。

超解像化部１０２ｂは、低スコア画像Iwをその分解能を高める超解像化により高画質化する。超解像化手法としては、畳み込みニューラルネットワーク（CNN）、再帰型ニューラルネットワーク（RNN）あるいはCNNとGANとを組み合わせたSRGAN（Super-Resolution Using a Generative Adversarial Network - tensorlayer）を用いることができる。圧縮アーティファクト除去部１０２ｃは、低スコア画像Iwから圧縮アーティファクトを除去することで高画質化する。モーションブラー除去部１０２ｄは、低スコア画像Iwからモーションブラーを除去することで高画質化する。

なお、高画質化部１０２が採用する高画質化機能は上記３つの機能に限定されない。高画質化部１０２は、各高画質化機能を単独または適宜に組み合わせて利用することで低スコア画像Iwを高画質化する。

正解データ生成部１０３は、姿勢再推定部１０３ａ、高画質化評価部１０３ｂおよび条件変更要求部１０３ｃを含む。姿勢再推定部１０３ａは、前記高画質化部１０２が低スコア画像Iwを高画質化して得られた高画質画像Isに対して姿勢推定を改めて実行し、骨格点の推定結果およびその尤度を代表するスコアE2を出力する。高画質化評価部１０３ｂは、スコアE2を所定の更新閾値Eref2と比較し、E2≧Eref2であれば、今回の低スコア画像Iw、およびその高画質画像Isに基づく姿勢推定結果のペアを正解データとして正解データ蓄積部１０４に蓄積する。

これに対して、E2＜Eref2であれば、条件変更要求部１０３ｃが高画質化部１０２に対して、低スコア画像Iwに適用する高画質化機能またはその組み合わせの変更、および／または採用する各高画質化機能の強度やパラメータの変更等、高画質化に関する条件変更を要求する。高画質化部１０２は、前記条件変更が要求されるごとに、高画質化の条件を変更しながら低スコア画像Iwに対する高画質化処理を繰り返し、E2≧Eref2となったときの姿勢推定結果を低スコア画像Iwと共に正解データ蓄積部１０４に蓄積する。

このように、本実施形態によれば、低スコア画像Iwを高画質化しても姿勢推定のスコアが改善されないと、高画質化処理における高画質化の種別、強度あるいはパラメータを変更しながら、高画質化処理ならびにその後の姿勢再推定およびスコア算出が繰り返されるので、スコア低下の原因に関わらず大量の正解データを自動的に蓄積できるようになる。

更新部１０６は、所定の時間周期または正解データ蓄積部１０４に所定量の正解データが蓄積されるごとに、当該正解データを用いて姿勢推定部１０１の姿勢推定モデルMを更新する。このとき、更新部１０６は正解データ蓄積部１０４に蓄積された正解データのみを用いて更新処理を行うだけでなく、学習データ蓄積部１０５に予め蓄積されている、現在の姿勢推定モデルMの学習に用いた学習データも併用して更新処理を行うようにしても良い。

このような姿勢推定装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成することもできる。

このように、本実施形態によれば、姿勢推定モデルMを再学習する際に、姿勢再推定により得られた正解データのみならず、既存モデルの学習時に用いた学習データも併用することで正解データの影響を緩和するので、突飛な姿勢推定結果の出現を防止できるようになる。

図３は、前記姿勢推定装置１の動作を示したシーケンスフローであり、ここでは、姿勢推定部１０１による姿勢推定に係る手順をステップＳ１１からステップＳ１４で説明し、その姿勢推定モデルMの更新に係る一連の手順をステップＳ２１以降で説明する。

ステップＳ１１では、カメラ映像がフレーム単位で取得される。ステップＳ１２では、取得したフレーム画像Ifに対して前記姿勢推定部１０１が姿勢推定モデルMを用いて姿勢推定を実行し、推定結果およびそのスコアE1を算出する。ステップＳ１３では、推定結果がユーザ端末２へ返信され、さらにフレーム画像IfがスコアE1と共に高画質化部１０２へ提供される。ステップＳ１４では、姿勢推定が終了したか否かが判断される。終了していなければステップＳ１１へ戻り、次のフレーム画像Ifに対して姿勢推定が繰り返される。

フレーム画像If及びそのスコアE1を取得した高画質化部１０２は、ステップＳ２１において、再学習判定部１０２ａがスコアE1を再学習閾値Eref1と比較し、E1＜Eref1であるとステップＳ２２へ進む。ステップＳ２２では、前記超解像化部１０２ｂ、圧縮アーティファクト除去部１０２ｃおよびモーションブラー除去部１０２ｄのいずれかまたは複数の組み合わせにより、前記認識スコアE1が再学習閾値Eref1を下回った、フレーム画像の一部である低スコア画像Iwに対して高画質化処理が実行されて高画質画像Isが生成される。高画質画像Isは正解データ生成部１０３へ出力される。

ステップＳ２３では、正解データ生成部１０３の姿勢再推定部１０３ａが、高画質画像Isに対して姿勢推定を改めて実行し、骨格点の推定結果およびそのスコアE2を算出する。ステップＳ２４では、高画質化評価部１０３ｂが推定スコアE2を正解データ閾値Eref2と比較し、E2≧Eref2であればステップＳ２５へ進む。ステップＳ２５では、前記低スコア画像Iw、およびその高画質画像Isに基づいて得られた姿勢推定結果のペアが正解データとして正解データ蓄積部１０４に蓄積される。

これに対して、前記ステップＳ２４において、E2≧Eref2ではない、すなわち高画質化処理に関わらず依然として認識スコアE2が低いと判断されるとステップＳ２６へ進む。ステップＳ２６では、今回の低スコア画像Iwに対する高画質化処理の試行回数Nが上限回数Nmaxに達しているか否かが判断される。N＞NmaxでなければステップＳ２７へ進み、条件変更要求部１０３ｃが高画質化部１０２に対して、高画質化処置の条件変更を要求する。

高画質化部１０２は、前記条件変更要求が通知されるごとに、前記低スコア画像Iwに対して適用する高画質化手法またはその組み合わせを変更し、あるいは各高画質化処理の強度やパラメータを変更しながら高画質化処理を繰り返す。このような高画質化処理は、ステップＳ２６においてN＞Nmaxと判断されるか、あるいはステップＳ２４においてE2≧Eref2と判定されるまで繰り返される。

ステップＳ２８では、更新部１０６により、姿勢推定モデルMの更新タイミングであるか否かが判断される。更新タイミングであればステップＳ２９へ進み、前記正解データ蓄積部１０４に蓄積されている正解データおよび学習データ蓄積部１０５に予め蓄積されている学習データを用いて姿勢推定モデルMが更新され、これ以後、更新された姿勢推定モデルMを採用して姿勢推定が実行される。

本実施形態によれば、入力映像に対する連続的な姿勢推定およびその出力と並行して、スコアの低い入力映像に対してのみ高画質化処理およびその後の姿勢再推定が実行され、姿勢再推定においてスコアが改善されていると、入力映像およびその姿勢再推定の結果を正解データとして姿勢推定モデルが再学習される。

したがって、リアルタイムでの姿勢推定およびその逐次的な精度改善を並行して行えるようになり、姿勢推定のリアルタイム性を維持しながら、漸次的な姿勢推定精度の改善が期待できるようになる。

なお、上記の実施形態では、姿勢推定に係る全ての機能を姿勢推定装置１に実装し、ユーザ端末２はネットワーク経由で姿勢推定装置１と通信して姿勢推定機能を利用するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、ユーザ端末２の能力に応じて、姿勢推定に係る一部または全ての機能をユーザ端末２に分散配置または全部配置するようにしても良い。

１...姿勢推定装置，２...ユーザ端末，１０１...姿勢推定部，１０１ａ...画像特徴抽出部，１０１ｂ...骨格点識別部，１０１ｃ...スコア算出部，１０２...高画質化部，１０２ａ...再学習判定部，１０２ｂ...超解像化部，１０２ｃ...圧縮アーティファクト除去部，１０２ｄ...モーションブラー除去部，１０３...正解データ生成部，１０３ａ...姿勢再推定部，１０３ｂ...高画質化評価部，１０３ｃ...条件変更要求部，１０４...正解データ蓄積部，１０５...学習データ蓄積部，１０６...更新部

Claims

映像内の人物オブジェクトの姿勢を推定する姿勢推定装置において、
入力映像に対して姿勢推定モデルを用いた姿勢推定を実行し、推定結果およびその第１スコアを出力する姿勢推定手段と、
第１スコアが所定の第１閾値を下回る入力映像を高画質化する高画質化手段と、
前記高画質化された入力映像に対して姿勢再推定を実行し、推定結果およびその第２スコアを出力する姿勢再推定手段と、
第２スコアが所定の第２閾値を上回る推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとして蓄積する手段と、
前記正解データを用いて前記姿勢推定モデルを更新する手段とを具備したことを特徴とする姿勢推定装置。
前記姿勢推定モデルの構築に用いた学習データを蓄積する手段を具備し、
前記姿勢推定モデルを更新する手段は、前記正解データおよび学習データを用いて前記姿勢推定モデルを更新することを特徴とする請求項１に記載の姿勢推定装置。
前記第２スコアが第２閾値を上回らないと、前記高画質化手段に対して高画質化の条件変更を要求する手段を更に具備し、
前記高画質化手段は、前記条件変更が要求されるごとに高画質化の条件を変更しながら姿勢再推定を繰り返し、第２スコアが所定の第２閾値を上回ったときの推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとすることを特徴とする請求項１または２に記載の姿勢推定装置。
前記高画質化手段は複数の高画質化部を具備し、前記条件変更が要求されるごとに、適用する高画質化部またはその組み合わせを変更することを特徴とする請求項３に記載の姿勢推定装置。
前記高画質化手段は、前記条件変更が要求されるごとに、高画質化の強度またはパラメータを変更することを特徴とする請求項３または４に記載の姿勢推定装置。
前記高画質化手段が、超解像化手段、圧縮アーティファクト除去手段およびモーションブラー除去手段の少なくとも一つを含むことを特徴とする請求項１ないし５のいずれかに記載の姿勢推定装置。
コンピュータが、映像内の人物オブジェクトの姿勢を推定する姿勢推定方法において、
入力映像に対して姿勢推定モデルを用いた姿勢推定を実行し、推定結果およびその第１スコアを出力する手順と、
第１スコアが所定の第１閾値を下回る入力映像を高画質化する手順と、
前記高画質化された入力映像に対して姿勢再推定を実行し、推定結果およびその第２スコアを出力する手順と、
第２スコアが所定の第２閾値を上回る推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとして蓄積する手順と、
前記正解データを用いて前記姿勢推定モデルを更新する手順とを含むことを特徴とする姿勢推定方法。
前記姿勢推定モデルの構築に用いた学習データを蓄積する手順を含み、
前記姿勢推定モデルを更新する手順では、前記正解データおよび学習データを用いて前記姿勢推定モデルを更新することを特徴とする請求項７に記載の姿勢推定方法。
前記第２スコアが第２閾値を上回らないと、前記高画質化する手順における高画質化の条件変更を要求する手順を更に含み、
前記高画質化する手順は、前記条件変更が要求されるごとに高画質化の条件を変更しながら姿勢再推定を繰り返し、第２スコアが所定の第２閾値を上回ったときの推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとすることを特徴とする請求項７または８に記載の姿勢推定方法。
映像内の人物オブジェクトの姿勢を推定する姿勢推定プログラムにおいて、
入力映像に対して姿勢推定モデルを用いた姿勢推定を実行し、推定結果およびその第１スコアを出力する手順と、
第１スコアが所定の第１閾値を下回る入力映像を高画質化する手順と、
前記高画質化された入力映像に対して姿勢再推定を実行し、推定結果およびその第２スコアを出力する手順と、
第２スコアが所定の第２閾値を上回る推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとして蓄積する手順と、
前記正解データを用いて前記姿勢推定モデルを更新する手順と、をコンピュータに実行させることを特徴とする姿勢推定プログラム。
前記姿勢推定モデルの構築に用いた学習データを蓄積する手順を含み、
前記姿勢推定モデルを更新する手順では、前記正解データおよび学習データを用いて前記姿勢推定モデルを更新することを特徴とする請求項１０に記載の姿勢推定プログラム。
前記第２スコアが第２閾値を上回らないと、前記高画質化する手順における高画質化の条件変更を要求する手順を更に含み、
前記高画質化する手順は、前記条件変更が要求されるごとに高画質化の条件を変更しながら姿勢再推定を繰り返し、第２スコアが所定の第２閾値を上回ったときの推定結果を、前記第１スコアが第１閾値を下回った入力映像と共に、その正解データとすることを特徴とする請求項１０または１１に記載の姿勢推定プログラム。