JP6962450B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像上の欠損部分の補間を行うための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。

近年、カメラ及び計算機の性能の向上により、カメラで撮影された映像から特定の人物を検出し、検出した人物に対して、個人の特定、及び行動の分析等を行う技術が開発されている。また、このような技術は、例えば、監視システムにおける不審者の検出に用いられている。

ところで、検出対象となる人物とカメラとの間に物体があると、この物体により、検出対象となる人物が遮蔽されてしまい、映像上、人物の一部又は全部が欠損した状態となる。また、遮蔽する物体としては、霧、ガラスといった透過性の物体も含まれる。この場合、人物の一部又は全部は、遮蔽されるわけではないが、映像において不明瞭となるので、この場合も人物の一部又は全部が欠損した状態となる。

また、物体によって遮蔽された場合だけでなく、検出対象となる人物に、日光等の強い光があたった場合も、映像上、人物の光が当たった部分が真白となり、この部分が欠損した状態となる。一方、逆に、検出対象となる人物以外の部分が明るく、人物の一部の露出が過剰に低くなることがある。この場合、映像上、露出が過剰に低くなった部分は真黒くになり、欠損した状態となる。

そして、人物の一部が欠損した状態では、上述した個人の特定、及び行動の分析等において、精度が大きく低下してしまう。このため、画像の欠損部分を補間する技術が提案されている（例えば、非特許文献１及び２参照）。

具体的には、非特許文献１は、画像の欠損部分に、欠損していない部分のテクスチャを組み込むと共に、両部分の境界領域のテクスチャが不連続にならないように、画像を補間する技術を開示している。また、非特許文献１に開示された技術では、テクスチャの連続性がエネルギー関数として表現され、このエネルギー関数が最大化するように最適化を行うことによって、適切な補間が実現されている。

また、非特許文献２は、機械学習を利用して、画像の欠損部分を補間する技術を開示している。非特許文献２に開示された技術では、予め、損失が存在する入力画像と、損失がない目標画像とのペア画像が多数用意され、学習モデルに入力画像を適用した場合に、目標画像が出力されるように、機械学習が行われて、学習モデルが構築される。

C.Guillemot, et.al, "Image Inpainting Overview and Recent Advances", IEEEJournals and Magazine, 2014 P. Isola, et.al.,"Image-to-Image Translationith Conditional Adversarial Networks", 2017 IEEE ConferenceVision and Pattern Recognition, 2017

しかしながら、上記非特許文献１に開示された技術では、局所領域が連続するように補間が行われるに過ぎず、欠損している部分の領域が大きくなるほど、欠損部分を正確に補間することが困難となる。

これに対して、上記非特許文献２に開示された技術では、欠損部分について学習が行われるので、欠損部分の領域が大きくなっても、欠損部分を補間することができる。しかしながら、上記非特許文献２に開示された技術では、入力画像が目標画像となるように機械学習が行われているに過ぎず、補間対象となる人物の姿勢について何ら考慮はされていない。このため、上記非特許文献２に開示された技術においては、欠損部分の補間後において、人物の姿勢が不自然なものとなる場合がある。この場合、人物の行動の分析において、精度が大きく低下する可能性がある。

本発明の目的の一例は、上記問題を解消し、一部が欠損している人物の画像をその人物の姿勢を考慮して補間を行うためのモデルを構築し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像処理装置は、
人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
前記画像生成モデル構築部は、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像処理方法は、
（ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。

以上のように、本発明によれば、一部が欠損している人物の画像をその人物の姿勢を考慮して補間を行うためのモデルを構築することができる。

図１は、本発明の実施の形態１における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態１における画像処理装置の構成をより具体的に示すブロック図である。 図３（ａ）及び（ｂ）は、それぞれ、人体情報の概念を示す図である。 図４は、本発明の実施の形態１における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。 図５（ａ）は、従来の手法によって一部が欠損している人物の画像を補間した例を示し、図５（ｂ）は、本発明の実施の形態１における画像処理装置によって一部が欠損している人物の画像を補間した例を示している。 図６は、本発明の実施の形態２における画像処理装置の構成を示すブロック図である。 図７は、本発明の実施の形態２における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。 図８は、本発明の実施の形態３における画像処理装置の構成を示すブロック図である。 図９は、本発明の実施の形態３における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。 図１０は、本発明の実施の形態１〜３における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態１）
以下、本発明の実施の形態１における、画像処理装置、画像処理方法、及びプログラムについて、図１〜図５を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態１における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態１における画像処理装置の概略構成を示すブロック図である。

図１に示す、本実施の形態１における画像処理装置１０は、画像に写っている人物の一部が欠損している場合に、画像処理によって、欠損している部分を補間するための、モデルを構築する装置である。図１に示すように、画像処理装置１０は、画像生成モデル構築部１１を備えている。

画像生成モデル構築部１１は、人物の画像を含む第１のサンプル画像と、第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いて機械学習を実行する。画像生成モデル構築部１１は、この機械学習によって、画像生成モデル１２の作成及び更新を行う。

このように、本実施の形態１では、人物の一部が欠損していない画像と、人物の一部が欠損している画像とに加えて、画像中の人物の人体情報を用いて、機械学習が行われて、画像生成モデルが構築されている。つまり、本実施の形態１によれば、一部が欠損している人物の画像をその人物の姿勢を考慮して補間を行うためのモデルが構築される。そして、この結果、本実施の形態１で構築された画像生成モデルを用いれば、人物の一部が欠損している画像を補間した際に、人物の姿勢を考慮した補間が行われ、補間後の人物の姿勢が不自然なることが解消される。

続いて、図２〜図３を用いて、本実施の形態１における画像処理装置１０の構成についてより具体的に説明する。図２は、本発明の実施の形態１における画像処理装置の構成をより具体的に示すブロック図である。

図２に示すように、本実施の形態１では、画像処理装置１０は、上述した画像生成モデル構築部１１に加えて、画像生成部１３を備えている。画像生成部１３は、第２のサンプル画像を画像生成モデル１２に適用して、人物の欠損している一部が補間された画像を生成する。

画像生成モデル１２としては、本実施形態１では、例えば、ＣＮＮ（Convolutional Neural Network）が挙げられる。この場合、画像生成モデル１２は、機械学習によって設定された多数のパラメータ群で構成される。これらのパラメータは、ＣＮＮにおける重み及びネットワーク構造を決定する。

また、ＣＮＮは、ニューラルネットワークの一種であり、ニューロンとも呼ばれるユニットが集まった層を、複数の層状に組み合わせることによって得られている。パラメータとしては、ユニット同士の結合度合いを表現する重みパラメータがある。更に、ＣＮＮは、複数あるネットワークの中間層に、Convolution（畳み込み）演算を行う中間層が含まれている点を特徴としている。
また、このように画像を入力とし、画像を出力とする場合のネットワーク構造は、入力層と出力層とが広く（ニューラルネットワークのユニット数が多い）、中間層が狭い（ユニット数が少ない）、という特性を有している。このため、本実施の形態１では、ＣＮＮとしては、砂時計型が利用される。

なお、本実施の形態１においては、画像生成モデルとしては、上述したＣＮＮ以外のニューラルネットワークが用いられても良いし、別の機械学習によって構築された機械学習モデルが用いられても良い。

また、画像生成モデル構築部１１は、図２に示すように、本実施の形態１では、人体情報推定部１４と、損失算出部１５と、パラメータ更新部１６とを備えている。

人体情報推定部１４は、第２のサンプル画像を入力画像として、画像生成部１３によって生成された画像（以下「補間画像」とも表記する）から、この画像中の人物の姿勢を特定する人体情報を推定する。また、人体情報推定部１４は、第１のサンプル画像中の人物の姿勢を特定する人体情報を推定することもできる。

本実施の形態１において、「人体情報」は、画像中の人物の姿勢を特定する情報、具体的には、その人物の体のスケルトン（骨格）情報である。具体的には、人体情報としては、人体を構成する各関節の座標で構成された情報が挙げられる。また、人体情報として用いられる関節としては、首、肩関節、肘、手首、腰（脚の付け根）、膝、足首等が挙げられる、本実施の形態では、少なくとも３つの以上の関節が用いられる。

具体的には、図３（ａ）及び（ｂ）に示すように、人体情報推定部１４は、画像から、人物の各関節を検出する。図３（ａ）及び（ｂ）において抽出された関節は円形で示されている。そして、人体情報推定部１４は、抽出した関節の位置を、画像平面に設定された座標系の座標として算出し、算出した各関節の座標の値を用いて、人体情報を作成する。図３（ａ）及び（ｂ）は、それぞれ、人体情報の概念を示す図である。

また、人体情報推定部１４は、本実施の形態１では、隣接する関節間の座標を結ぶベクトルを設定し、設定した各ベクトルによって人体情報を作成することもできる。更に、各関節の奥行（深度）を検出できる場合は、人体情報推定部１４は、各関節の３次元空間での座標を算出し、算出した各関節の３次元空間での座標の値を用いて、人体情報を作成することもできる。

更に、人体情報推定部１４は、画像から、各関節の角度を抽出し、抽出した角度を用いて、人体情報を作成することもできる。また、人体情報推定部１４は、人体のシルエット画像を抽出し、このシルエット画像を人体情報とすることもできる。

損失算出部１５は、第１のサンプル画像中の人物の姿勢を特定する人体情報に対する、第２の人体情報における損失を、人体損失として算出する。また、損失算出部１５は、第１のサンプル画像に対する、第２のサンプル画像を入力画像として画像生成部１３によって生成された画像における損失を、画像損失として算出することもできる。この場合、損失算出部１５は、人体損失に、画像損失を加算して、統合損失を算出する。

例えば、損失算出部１５は、第２のサンプル画像から推定された人体情報ｈ’と、第１のサンプル画像から得られた人体情報ｈとが、類似する程、値が小さくなり、両者が乖離する程、値が大きくなるようにして、人体損失Ｌ＿ｂｏｄｙを算出する。具体的には、多数の人体情報を学習データとして機械学習を行うことによって得られたモデルを使うことで、損失算出部１５は、人体損失Ｌ＿ｂｏｄｙを算出することができる。また、損失算出部１５は、人体の部分毎に損失を算出し、得られた各損失の総和を、人体損失Ｌ＿ｂｏｄｙとすることもできる。

また、損失算出部１５は、第２のサンプル画像を入力画像としたときに画像生成部１３が生成した画像ｘ’と、第１のサンプル画像ｙとが、類似する程、値が小さく、両者が乖離する程、値が大きくなるようにして、画像損失Ｌ＿ｄｉｆｆを算出する。具体的には、多数の画像を学習データとして機械学習を行うことによって得られたモデルを使うことで、損失算出部１５は、画像損失Ｌ＿ｄｉｆｆを算出することができる。また、損失算出部１５は、画像ｘ’と画像ｙとの複数の組それぞれについて、画像損失を算出し、得られた画像損失の総和を、Ｌ＿ｄｉｆｆとすることもできる。

更に、損失算出部１５は、人体損失Ｌ＿ｂｏｄｙと、画像損失Ｌ＿ｄｉｆｆとを加算して、統合損失Ｌｇを算出する。具体的には、係数をλ＿ｄｉｆｆ及びλ＿ｂｏｄｙとすると、損失算出部１５は、下記の数１を用いて、統合損失Ｌｇを算出することができる。また、学習を安定させるための正則化項として、下記数１に対して、「λ＿ｒｅｇ×Ｌ＿ｒｅｇ」が付与されていても良い。

（数１）
統合損失Ｌ＿ｇ＝λ＿ｄｉｆｆ×Ｌ＿ｄｉｆｆ＋λ＿ｂｏｄｙ×Ｌ＿ｂｏｄｙ

パラメータ更新部１６は、損失算出部１５が算出した損失に基づいて、画像生成モデル１２を更新する。また、パラメータ更新部１６は、損失算出部１５が統合損失を算出している場合は、統合損失に基づいて、画像生成モデル１２を更新する。具体的には、後述する繰り返しの処理によって、統合損失が段々と小さくなるように、画像生成モデル１２を構成するＣＮＮのパラメータ群を更新する。

具体的には、画像生成モデル１２がニューラルネットワークである場合は、パラメータ更新部１６は、例えば、誤差逆伝播法を利用することによって、ニューラルネットワークを構成する各種パラメータを更新することができる。

また、本実施の形態１においては、画像生成部１３による、第２のサンプル画像を入力画像とした画像の生成、人体情報推定部１４による人体情報の推定、損失算出部１５による損失の算出、パラメータ更新部１６によるパラメータの更新は、繰り返し実行される。このような繰り返しの処理が行われることにより、損失の値が低減され、パラメータの値が適切な値となる。

［装置動作］
次に、本実施の形態１における画像処理装置１０の動作について図４〜図６を用いて説明する。以下の説明においては、適宜図１〜図３を参照する。また、本実施の形態１では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態１における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

まず、画像生成モデルの生成及び更新処理について説明する。図４は、本発明の実施の形態１における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。

図４に示すように、最初に、画像生成モデル構築部１１は、画像生成モデル１２となるＣＮＮのパラメータ群に初期値を設定して、初期状態の画像生成モデル１２を生成する（ステップＡ１）。

次に、画像生成モデル構築部１１は、学習データとして、人物の画像を含む第１のサンプル画像と、第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像とを取得する（ステップＡ２）。

次に、画像生成モデル構築部１１は、ステップＡ２で取得した第２のサンプル画像を、画像生成部１３に送り、画像生成部１３に、第２のサンプル画像の欠損している部分の補間を指示する。これにより、画像生成部１３は、画像生成モデル１２を用いて、第２のサンプル画像に補間を行い、新たな画像を生成する（ステップＡ３）。また、画像生成部１３は、生成した新たな画像を画像生成モデル構築部１１に送る。

次に、画像生成モデル構築部１１において、人体情報推定部１４は、ステップＡ３で生成された新たな画像を対象にして、この画像中の人物の姿勢を特定する人体情報を推定する（ステップＡ４）。また、人体情報推定部１４は、ステップＡ２で取得された第１のサンプル画像について予め人体情報が推定されていない場合は、第１のサンプル画像中の人物の姿勢を特定する人体情報も推定する。

次に、損失算出部１５は、ステップＡ２で取得した第１のサンプル画像及び第２のサンプル画像を用いて、画像損失を算出し、更に、第１のサンプル画像及び第２のサンプル画像それぞれにおける人体情報を用いて、人体損失も算出する（ステップＡ５）。

次に、損失算出部１５は、ステップＡ５で算出した画像損失と人体損失とを、上記数１に適用して、統合損失を算出する（ステップＡ６）。

次に、パラメータ更新部１６は、ステップＡ６で算出された統合損失に基づいて、画像生成モデル１２を更新する（ステップＡ７）。具体的には、パラメータ更新部１６は、後述するＡ２〜Ａ７の繰り返しによって、統合損失が段々と小さくなるように、画像生成モデル１２を構成するＣＮＮのパラメータ群を更新する。

次に、画像生成モデル構築部１１は、ステップＡ７が実行されると、終了条件が満たされているかどうかを判定する（ステップＡ８）。ステップＡ８の判定の結果、終了条件が満たされていない場合は、画像生成モデル構築部１１は、再度ステップＡ２を実行する。一方、ステップＡ８の判定の結果、終了条件が満たされている場合は、画像生成モデル構築部１１は、処理を終了する。

ステップＡ８における終了条件としては、ステップＡ２〜Ａ８の繰り返し回数が、予め設定された回数に到達したこと、ステップＡ６で算出される統合損失の減少幅が閾値より小さくなったこと、等が挙げられる。

また、上述したように、ステップＡ６では、上記数１が用いられるが、上記数１における係数λ＿ｄｉｆｆ及びλ＿ｂｏｄｙの値は、０から開始し、繰り返し回数が増加するにつれて大きく設定されるのが良い。これは、繰り返しが初期の段階では、ステップＡ３で生成される画像の補間精度が低いためである。また、係数λ＿ｄｉｆｆ及びλ＿ｂｏｄｙは、ｓｉｇｍｏｉｄ関数等の単調増加関数を使って表すことができる。

また、ステップＡ２において取得される第１のサンプル画像及び第２のサンプル画像は、それぞれ単数であっても良いし、複数枚であっても良い。後者の場合は、各ステップは、複数枚毎に行われる。この場合、ステップＡ５では、損失算出部１５は、対応するサンプル画像の組毎に算出した画像損失の総和を求め、得られた値を画像損失とする。損失算出部１５は、人体損失についても同様に総和を求め、得られた値を人体損失とする。

［実施の形態１による効果］
ここで、図５を用いて、本実施の形態１における効果について説明する。図５（ａ）は、従来の手法によって一部が欠損している人物の画像を補間した例を示し、図５（ｂ）は、本発明の実施の形態１における画像処理装置によって一部が欠損している人物の画像を補間した例を示している。

図５（ａ）及び（ｂ）において、１００は、処理対象となる人物の画像を示している。人物１００の体の一部は別の人物によって遮蔽され、欠損している。この場合において、従来の手法では、画像生成モデルの構築において人体情報は用いられないので、図５（ａ）に示すように、補間後の人物１０１の姿勢は不自然なものとなる。これに対して、本実施の形態１における画像処理装置１０によれば、画像生成モデル１２の構築において人体情報が用いられるので、図５（ｂ）に示すように、補間後の人物１０２の姿勢は自然なものとなる。

以上のように本実施の形態１では、一部が欠損している人物の画像を補間するに際して、人物の姿勢を考慮して画像生成モデル１２が構築される。また、画像生成モデル１２は、学習用の画像による機械学習によって更新されるので、補間精度の向上が図られる。この結果、本実施の形態１によって構築された画像生成モデルを用いれば、補間後の人物の姿勢が不自然になるという問題が解消されるので、監視システム等の性能向上が図られることになる。

［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部１１、及び画像生成部１３として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像生成モデル構築部１１、及び画像生成部１３のいずれかとして機能しても良い。

（実施の形態２）
次に、本発明の実施の形態２における、画像処理装置、画像処理方法、及びプログラムについて、図６及び図７を参照しながら説明する。

［装置構成］
最初に、図６を用いて、本実施の形態２における画像処理装置の構成について説明する。図６は、本発明の実施の形態２における画像処理装置の構成を示すブロック図である。

図６に示すように、本実施の形態２における画像処理装置２０は、図２に示した実施の形態１における画像処理装置１０の構成に加えて、サンプル画像作成部２１を備えている。これ以外については、画像処理装置２０は、実施の形態１における画像処理装置１０と同様に構成されている。以下、実施の形態１との相違点を中心に説明する。

まず、サンプル画像作成部２１は、第１のサンプル画像から、第２のサンプル画像を作成する機能を備えている。また、サンプル画像作成部２１は、損失算出部１５による算出結果に基づいて、作成する第２のサンプル画像における人物の欠損の程度を設定する。

具体的には、サンプル画像作成部２１は、人体の一部が欠損していない第１のサンプル画像から、人体の部分を検出し、検出した人体の部分の一部が遮蔽されるように、第１のサンプル画像に遮蔽物の画像を付加する。そして、サンプル画像作成部２１によって作成された画像は、画像生成モデルの作成及び更新において、第２のサンプル画像として扱われる。

［装置動作］
次に、本実施の形態２における画像処理装置２０の動作について図７を用いて説明する。以下の説明においては、適宜図６を参照する。図７は、本発明の実施の形態２における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。また、本実施の形態２でも、画像処理装置２０を動作させることによって、画像処理方法が実施される。よって、本実施の形態２における画像処理方法の説明は、以下の画像処理装置２０の動作説明に代える。

図７に示すように、最初に、画像生成モデル構築部１１は、画像生成モデル１２となるＣＮＮのパラメータ群に初期値を設定して、画像生成モデル１２を生成する（ステップＡ１１）。ステップＡ１１は、図４に示したステップＡ１と同様のステップである。

次に、サンプル画像作成部２１は、学習データとして、人物の画像を含む第１のサンプル画像を取得する（ステップＡ１２）。また、サンプル画像作成部２１は、取得した第１のサンプル画像を画像生成モデル構築部１１に渡す。

次に、サンプル画像作成部２１は、ステップＡ１２で取得した第１のサンプル画像から、第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像を作成する（ステップＡ１３）。

また、ステップＡ１３では、ステップＡ１７が既に実行されている場合は、サンプル画像作成部２１は、ステップＡ１７での算出結果に基づいて、作成する第２のサンプル画像における人物の欠損の程度を設定する。例えば、サンプル画像作成部２１は、損失が大きい程、欠損の程度を小さくする。

次に、画像生成モデル構築部１１は、ステップＡ１３で作成した第２のサンプル画像を、画像生成部１３に送り、画像生成部１３に、第２のサンプル画像の欠損している部分の補間を指示する。これにより、画像生成部１３は、第２のサンプル画像に補間を行い、新たな画像を生成する（ステップＡ１４）。ステップＡ１４は、図４に示したステップＡ３と同様のステップである。

次に、画像生成モデル構築部１１において、人体情報推定部１４は、ステップＡ１４で生成された新たな画像を対象にして、この画像中の人物の姿勢を特定する人体情報を推定する（ステップＡ１５）。ステップＡ１５は、図４に示したステップＡ４と同様のステップである。

次に、損失算出部１５は、ステップＡ１２で取得した第１のサンプル画像、及びステップＡ１３で作成した第２のサンプル画像を用いて、画像損失を算出し、更に、第１のサンプル画像及び第２のサンプル画像それぞれにおける人体情報を用いて、人体損失も算出する（ステップＡ１６）。ステップＡ１６は、図４に示したステップＡ５と同様のステップである。

次に、損失算出部１５は、ステップＡ１６で算出した画像損失と人体損失とを、上記数１に適用して、統合損失を算出する（ステップＡ１７）。ステップＡ１７は、図４に示したステップＡ６と同様のステップである。

次に、パラメータ更新部１６は、ステップＡ１７で算出された統合損失に基づいて、画像生成モデル１２を更新する（ステップＡ１８）。ステップＡ１８は、図４に示したステップＡ７と同様のステップである。

次に、画像生成モデル構築部１１は、ステップＡ１８が実行されると、終了条件が満たされているかどうかを判定する（ステップＡ１９）。ステップＡ１９の判定の結果、終了条件が満たされていない場合は、画像生成モデル構築部１１は、再度ステップＡ１２を実行する。一方、ステップＡ１９の判定の結果、終了条件が満たされている場合は、画像生成モデル構築部１１は、処理を終了する。ステップＡ１９は、図４に示したステップＡ８と同様のステップである。

［実施の形態２による効果］
このように、本実施の形態２によれば、画像中の人物の一部が欠損している画像を、サンプル画像として用意する必要がないため、実施の形態１に比べて、画像生成モデル１２の構築が容易となり、これらにかかるコストを低減できる。また、本実施の形態２においても、実施の形態１で述べた効果を得ることができる。

［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＡ１１〜Ａ１９を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における画像処理装置２０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部１１、画像生成部１３、及びサンプル画像作成部２１として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像生成モデル構築部１１、画像生成部１３、及びサンプル画像作成部２１のいずれかとして機能しても良い。

（実施の形態３）
次に、本発明の実施の形３における、画像処理装置、画像処理方法、及びプログラムについて、図８及び図９を参照しながら説明する。

［装置構成］
最初に、図８を用いて、本実施の形態３における画像処理装置の構成について説明する。図８は、本発明の実施の形態３における画像処理装置の構成を示すブロック図である。

図８に示すように、本実施の形態３における画像処理装置３０は、図２に示した実施の形態１における画像処理装置１０の構成に加えて、真偽判別部３１を備えている。また、このため、損失算出部１５における機能も、実施の形態１と異なっている。これ以外については、画像処理装置３０は、実施の形態１における画像処理装置１０と同様に構成されている。以下、実施の形態１との相違点を中心に説明する。

真偽判別部３１は、第１のサンプル画像と、第２のサンプル画像を入力画像として画像生成部１３によって生成された画像（補間画像）との、相違の程度を判別する。具体的には、真偽判別部３１は、補間画像ｘ’と第１のサンプル画像ｙとが入力されると、機械学習によって構築された真偽判別モデルを用いて、相違の程度、具体的には、真偽損失Ｌ＿ａｄｖを算出する。また、第１のサンプル画像と補間画像との組が複数ある場合は、真偽判別部３１は、組毎に算出した損失の総和を、真偽損失Ｌ＿ａｄｖとする。

真偽判別モデルとしては、例えば、画像生成モデル１２と同様に、ＣＮＮが挙げられる。具体的には、真偽判別部３１は、学習データとなる画像Ａを真偽判別した結果と、画像Ａが画像生成部１３によって作成された補間画像であるかどうかを示す真偽情報とを用いて、真偽判別モデルを構築する。

また、真偽判別部３１は、第１のサンプル画像と補間画像との判別の結果と、判別に対する正解情報に基づいて、真偽判別モデルのパラメータ群を更新することができる。具体的には、真偽判別部３１は、真偽損失Ｌ＿ａｄｖが小さくなるように、パラメータ群を更新する。また、正解情報は、予め管理者等によって用意される。

また、真偽判別モデルがニューラルネットワークである場合は、真偽判別部３１は、例えば、誤差逆伝播法を利用することによって、ニューラルネットワークを構成する各種パラメータを更新することもできる。

また、本実施の形態３では、損失算出部１５は、更に、真偽判別部３１による判別の結果に基づいて、第１のサンプル画像に対する、第２のサンプル画像から得られた補間画像における損失を真偽損失として算出する。また、損失算出部１５は、本実施の形態３では、人体損失に、真偽損失を加算して、統合損失を算出する。

具体的には、本実施の形態では、損失算出部１５は、真偽判別部３１によって算出された真偽損失Ｌ＿ａｄｖと、画像損失Ｌ＿ｄｉｆｆとを加算して、統合損失Ｌｇを算出することができる。具体的には、係数をλ＿ｄｉｆｆ及びλ＿ａｄｖとすると、損失算出部１５は、下記の数２を用いて、統合損失Ｌｇを算出することができる。また、学習を安定させるため下記数２には、正則化項として、「λ＿ｒｅｇ×Ｌ＿ｒｅｇ」が付与されている。

（数２）
統合損失Ｌ＿ｇ＝λ＿ｄｉｆｆ×Ｌ＿ｄｉｆｆ−λ＿ａｄｖ×Ｌ＿ａｄｖ
＋λ＿ｂｏｄｙ×Ｌ＿ｂｏｄｙ＋λ＿ｒｅｇ×Ｌ＿ｒｅｇ

パラメータ更新部１６は、本実施の形態３では、上記数２によって算出された統合損失に基づいて、画像生成モデル１２のパラメータを更新する。

［装置動作］
次に、本実施の形態３における画像処理装置３０の動作について図９を用いて説明する。以下の説明においては、適宜図８を参照する。図９は、本発明の実施の形態３における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。また、本実施の形態３でも、画像処理装置３０を動作させることによって、画像処理方法が実施される。よって、本実施の形態３における画像処理方法の説明は、以下の画像処理装置３０の動作説明に代える。

図９に示すように、最初に、画像生成モデル構築部１１は、画像生成モデル１２となるＣＮＮのパラメータ群に初期値を設定して、画像生成モデル１２を生成する（ステップＡ２１）。ステップＡ２１は、図４に示したステップＡ１と同様のステップである。

次に、真偽判別部３１は、真偽判別モデルとなるＣＮＮのパラメータ群に初期値を設定して、真偽判別モデルを生成する（ステップＡ２２）。

次に、画像生成モデル構築部１１は、人物の画像を含む第１のサンプル画像と、第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像とを取得する（ステップＡ２３）。ステップＡ２３は、図４に示したステップＡ２と同様のステップである。

次に、画像生成モデル構築部１１は、ステップＡ２２で取得した第２のサンプル画像を、画像生成部１３に送り、画像生成部１３に、第２のサンプル画像の欠損している部分の補間を指示する。これにより、画像生成部１３は、第２のサンプル画像に補間を行い、新たな画像を生成する（ステップＡ２４）。また、画像生成部１３は、生成した新たな画像を画像生成モデル構築部１１に送る。ステップＡ２４は、図４に示したステップＡ３と同様のステップである。

次に、画像生成モデル構築部１１において、人体情報推定部１４は、ステップＡ２４で生成された新たな画像を対象にして、この画像中の人物の姿勢を特定する人体情報を推定する（ステップＡ２５）。ステップＡ２５は、図４に示したステップＡ４と同様のステップである。

次に、損失算出部１５は、ステップＡ２３で取得した第１のサンプル画像及び第２のサンプル画像それぞれにおける人体情報を用いて、人体損失を算出する（ステップＡ２６）。ステップＡ２６は、図４に示したステップＡ５と同様のステップである。

次に、真偽判別部３１は、ステップＡ２３で取得した第１のサンプル画像と、ステップＡ２４で生成された補間画像との、相違の程度を判別して、真偽損失Ｌ＿ａｄｖを算出する（ステップＡ２７）。

次に、損失算出部１５は、ステップＡ２６で算出された人体損失と、ステップＡ２７で算出された真偽損失とを、上記数２に適用して、統合損失を算出する（ステップＡ２８）。

次に、パラメータ更新部１６は、ステップＡ２８で算出された統合損失に基づいて、画像生成モデル１２を更新する（ステップＡ２９）。ステップＡ２９は、図４に示したステップＡ７と同様のステップである。

次に、真偽判別部３１は、ステップＡ２７で行った判別に対して予め用意されている正解情報と、ステップＡ２７で算出した真偽損失とを用いて、真偽判別モデルのパラメータ群を更新する（ステップＡ３０）。

次に、画像生成モデル構築部１１は、ステップＡ３０が実行されると、終了条件が満たされているかどうかを判定する（ステップＡ３１）。ステップＡ３１の判定の結果、終了条件が満たされていない場合は、画像生成モデル構築部１１は、再度ステップＡ２３を実行する。一方、ステップＡ３１の判定の結果、終了条件が満たされている場合は、画像生成モデル構築部１１は、処理を終了する。ステップＡ３１は、図４に示したステップＡ８と同様のステップである。

［実施の形態３による効果］
このように、本実施の形態３によれば、補間画像が補間されたものかどうかの判定結果に基づいて、画像生成モデルのパラメータが更新される。このため、本実施の形態３においても、実施の形態１で述べた効果を得ることができる。

［プログラム］
本実施の形態３におけるプログラムは、コンピュータに、図９に示すステップＡ２１〜Ａ３１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における画像処理装置３０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部１１、画像生成部１３、及び真偽判別部３１として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像生成モデル構築部１１、画像生成部１３、及び真偽判別部３１のいずれかとして機能しても良い。

（物理構成）
ここで、実施の形態１〜３におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１〜３における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。

なお、実施の形態１〜３における画像処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、実施の形態１〜３における画像処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
前記画像生成モデル構築部は、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理装置。

（付記２）
付記１に記載の画像処理装置であって、
前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、画像生成部を更に備え、
前記画像生成モデル構築部が、
前記画像生成部によって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、人体情報推定部と、
前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、損失算出部と、
算出された前記損失に基づいて、前記画像生成モデルを更新する、パラメータ更新部と、
を備えている、ことを特徴とする画像処理装置。

（付記３）
付記２に記載の画像処理装置であって、
前記損失算出部が、
更に、前記第１のサンプル画像に対する、前記画像生成部によって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。

（付記４）
付記２に記載の画像処理装置であって、
前記第１のサンプル画像と、前記画像生成部によって生成された画像との、相違の程度を判別する、真偽判別部を更に備え、
前記損失算出部は、更に、前記真偽判別部による判別の結果に基づいて、前記第１のサンプル画像に対する、前記画像生成部によって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。

（付記５）
付記２〜４のいずれかに記載の画像処理装置であって、
前記第１のサンプル画像から、前記第２のサンプル画像を作成する、サンプル画像作成部を更に備え、
前記サンプル画像作成部は、前記損失算出部による算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、
ことを特徴とする画像処理装置。

（付記６）
（ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理方法。

（付記７）
付記６に記載の画像処理方法であって、
（ｂ）前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に有し、
前記（ａ）のステップが、更に、
（ａ１）前記（ｂ）のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、ステップと、
（ａ２）前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、ステップと、
（ａ３）算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を有する、ことを特徴とする画像処理方法。

（付記８）
付記７に記載の画像処理方法であって、
前記（ａ）のステップが、更に、
（ａ４）前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを有し、
前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。

（付記９）
付記７に記載の画像処理方法であって、
（ｃ）前記第１のサンプル画像と、前記（ｂ）のステップによって生成された画像との、相違の程度を判別する、ステップを更に有し、
前記（ａ）のステップが、更に、
（ａ４）前記（ｃ）のステップによる判別の結果に基づいて、前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを有し
前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。

（付記１０）
付記７〜９のいずれかに記載の画像処理方法であって、
（ｄ）前記第１のサンプル画像から、前記第２のサンプル画像を作成し、その際、前記（ａ）のステップによる算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、ステップを更に有している、
ことを特徴とする画像処理方法。

（付記１１）
コンピュータに、
（ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築させる、
ことを特徴とするプログラム。

（付記１２）
付記１１に記載のプログラムであって、
前記コンピュータに、
（ｂ）前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に実行させ、
前記（ａ）のステップにおいて、更に、
（ａ１）前記（ｂ）のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、ステップと、
（ａ２）前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、ステップと、
（ａ３）算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を実行させる、ことを特徴とするプログラム。

（付記１３）
付記１２に記載のプログラムであって、
前記コンピュータに、
前記（ａ）のステップにおいて、更に、
（ａ４）前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを実行させ、
前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。

（付記１４）
付記１２に記載のプログラムであって、
前記コンピュータに、
（ｃ）前記第１のサンプル画像と、前記（ｂ）のステップによって生成された画像との、相違の程度を判別する、ステップを更に実行させ、
前記（ａ）のステップにおいて、更に、
（ａ４）前記（ｃ）のステップによる判別の結果に基づいて、前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを実行させ、
前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。

（付記１５）
付記１２〜１４のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｄ）前記第１のサンプル画像から、前記第２のサンプル画像を作成し、その際、前記（ａ）のステップによる算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、ステップを更に実行させる、
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように、本発明によれば、一部が欠損している人物の画像をその人物の姿勢を考慮して補間を行うためのモデルを構築することができる。本発明は、映像中の人物の隠蔽の除去が必要となる種々のシステム、例えば、監視システムに有用である。

１０ 画像処理装置（実施の形態１）
１１ 画像生成モデル構築部
１２ 画像生成モデル
１３ 画像生成部
１４ 人体情報推定部
１５ 損失算出部
１６ パラメータ更新部
２０ 画像処理装置（実施の形態２）
２１ サンプル画像作成部
３０ 画像処理装置（実施の形態３）
３１ 真偽判別部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (15)

1. 人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
   前記画像生成モデル構築部は、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、画像生成部を更に備え、
   前記画像生成モデル構築部が、
   前記画像生成部によって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、人体情報推定部と、
   前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、損失算出部と、
   算出された前記損失に基づいて、前記画像生成モデルを更新する、パラメータ更新部と、
   を備えている、ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記損失算出部が、
   更に、前記第１のサンプル画像に対する、前記画像生成部によって生成された画像における損失を、画像損失として算出し、そして、
   前記人体損失に、前記画像損失を加算して、統合損失を算出し、
   前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記第１のサンプル画像と、前記画像生成部によって生成された画像との、相違の程度を判別する、真偽判別部を更に備え、
   前記損失算出部は、更に、前記真偽判別部による判別の結果に基づいて、前記第１のサンプル画像に対する、前記画像生成部によって生成された画像における損失を真偽損失として算出し、そして、
   前記人体損失に、前記真偽損失を加算して、統合損失を算出し、
   前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
   ことを特徴とする画像処理装置。
5. 請求項２〜４のいずれかに記載の画像処理装置であって、
   前記第１のサンプル画像から、前記第２のサンプル画像を作成する、サンプル画像作成部を更に備え、
   前記サンプル画像作成部は、前記損失算出部による算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、
   ことを特徴とする画像処理装置。
6. （ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
   前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   （ｂ）前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に有し、
   前記（ａ）のステップが、更に、
   （ａ１）前記（ｂ）のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、ステップと、
   （ａ２）前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、ステップと、
   （ａ３）算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
   を有する、ことを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法であって、
   前記（ａ）のステップが、更に、
   （ａ４）前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を、画像損失として算出し、そして、
   前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを有し、
   前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
   ことを特徴とする画像処理方法。
9. 請求項７に記載の画像処理方法であって、
   （ｃ）前記第１のサンプル画像と、前記（ｂ）のステップによって生成された画像との、相違の程度を判別する、ステップを更に有し、
   前記（ａ）のステップが、更に、
   （ａ４）前記（ｃ）のステップによる判別の結果に基づいて、前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を真偽損失として算出し、そして、
   前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを有し
   前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
   ことを特徴とする画像処理方法。
10. 請求項７〜９のいずれかに記載の画像処理方法であって、
    （ｄ）前記第１のサンプル画像から、前記第２のサンプル画像を作成し、その際、前記（ａ）のステップによる算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、ステップを更に有している、
    ことを特徴とする画像処理方法。
11. コンピュータに、
    （ａ）人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
    前記（ａ）のステップにおいて、人物の画像を含む第１のサンプル画像と、前記第１のサンプル画像中の人物の一部が欠損している第２のサンプル画像と、前記第１のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築させる、
    ことを特徴とするプログラム。
12. 請求項１１に記載のプログラムであって、
    前記コンピュータに、
    （ｂ）前記第２のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に実行させ、
    前記（ａ）のステップにおいて、更に、
    （ａ１）前記（ｂ）のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第２の人体情報を推定する、ステップと、
    （ａ２）前記第１のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第２の人体情報における損失を、人体損失として算出する、ステップと、
    （ａ３）算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
    を実行させる、
    ことを特徴とするプログラム。
13. 請求項１２に記載のプログラムであって、
    前記コンピュータに、
    前記（ａ）のステップにおいて、更に、
    （ａ４）前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を、画像損失として算出し、そして、
    前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを実行させ、
    前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
    ことを特徴とするプログラム。
14. 請求項１２に記載のプログラムであって、
    前記コンピュータに、
    （ｃ）前記第１のサンプル画像と、前記（ｂ）のステップによって生成された画像との、相違の程度を判別する、ステップを更に実行させ、
    前記（ａ）のステップにおいて、更に、
    （ａ４）前記（ｃ）のステップによる判別の結果に基づいて、前記第１のサンプル画像に対する、前記（ｂ）のステップによって生成された画像における損失を真偽損失として算出し、そして、
    前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを実行させる命令と、を含み、
    前記（ａ３）のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
    ことを特徴とするプログラム。
15. 請求項１２〜１４のいずれかに記載のプログラムであって、
    前記コンピュータに、
    （ｄ）前記第１のサンプル画像から、前記第２のサンプル画像を作成し、その際、前記（ａ）のステップによる算出結果に基づいて、作成する前記第２のサンプル画像における人物の欠損の程度を設定する、ステップを更に実行させる、
    ことを特徴とするプログラム。

Images