JP7238510B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

画像内の対象領域を切り抜き、被覆等して視認不可能にするマスキング技術がある。例えば特許文献１では、入力画像をダウンサンプリングしてマスキングの境界を特定し、特定した境界を含む局所領域のみを抽出して、抽出した局所領域の画像をアップサンプリングして更にマスキングの境界を特定することで、高速かつ高精度にマスキングの境界を特定する画像処理装置等が開示されている。

特開２０１５－１７６２８１号公報

しかしながら、例えば被写体を残してその他の画像領域をマスキングした切り抜き画像を生成する場合などを想定した際に、被写体には人間や物品など種々の物体が含まれ得るが、様々な種類の物体の輪郭を高精度に特定してマスキングを行うことは難しい。特許文献１に係る発明は主に人間を撮像した画像を対象としており、多様な画像それぞれに適切なマスキングを行うことができない。

一つの側面では、マスキングを高精度に行うことができる情報処理装置等を提供することを目的とする。

一つの側面に係る情報処理装置は、入力画像を取得する取得部と、前記入力画像の解像度を前記解像度より低い所定の解像度の低解像度画像に変換する第１変換部と、画像の属するカテゴリーを学習したカテゴリー分類モデルを用いて、前記低解像度画像のカテゴリーを分類する分類部と、前記所定の解像度と同等の解像度からなる低解像マスキングデータをカテゴリー毎に学習したマスキングモデルを用いて、前記分類に対応するマスキングモデルから前記低解像度画像の低解像度マスキングデータを生成する生成部と、前記低解像度マスキングデータに対応する少なくとも前記所定の解像度より高い解像度の高解像度マスキングデータを学習した超解像モデルを用いて、生成した前記低解像度マスキングデータを、高解像度マスキングデータに変換する第２変換部とを備えることを特徴とする。

一つの側面では、マスキングを高精度に行うことができる。

画像処理システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 サーバが実行する処理の概要を示す説明図である。 マスク画像のエッジ加工処理に関する説明図である。 カテゴリー学習処理の手順の一例を示すフローチャートである。 マスキング学習処理の手順の一例を示すフローチャートである。 超解像学習処理の手順を示すフローチャートである。 マスキング処理の手順の一例を示すフローチャートである。 上述した形態のサーバの動作を示す機能ブロック図である。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像処理システムの構成例を示す模式図である。本実施の形態では、所定の物体を撮像した画像に対してマスキングを行う画像処理システムについて説明する。画像処理システムは、情報処理装置１及び端末２を含む。各装置はネットワークＮを介して通信接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバ装置であるものとし、簡潔のためサーバ１と読み替える。サーバ１は、所定の物体が被写体として含まれる入力画像に対し、当該物体を除く画像領域をマスキングすることで、当該物体に係る画像領域のみを切り抜いた画像を生成する。具体的には後述の如く、サーバ１は、被写体として含まれ得る各種物体の画像特徴量を機械学習により学習済みの分類モデルを用いて画像内の物体の種類を分類した後、物体の種類（カテゴリー）毎に用意されているマスキングモデルを用いて、入力された画像のマスキングを行う。画像内の物体の種類に応じて異なるマスキングモデルを用いることで、サーバ１は、マスキングを高精度に行うことができる。

また、詳しくは後述するように、サーバ１は、マスキング処理を行う場合に、入力画像を所定の解像度まで一旦ダウンサンプリングし、ダウンサンプリングした画像に対してマスキングを行った後、元の解像度に再度アップサンプリングした画像を出力する。上述の分類モデル及びマスキングモデルを用いて処理を行う場合、コンピュータ（サーバ１）のメモリの問題から、高解像度の入力画像を扱うには適さない。そこで本実施の形態では、入力画像をダウンサンプリングしてマスキングを行った後、元の高解像度の画像に戻すことで、上記の分類モデル及びマスキングモデルを用いた画像処理を行う際の負荷が軽減され、一連のマスク処理を好適に行うことができる。

端末２は、サーバ１に接続されたクライアント端末であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。例えばサーバ１は、端末２から取得した画像に対しマスキングを行い、マスク処理後の画像を端末２に返信する。

図２は、サーバ１の構成例を示すブロック図である。サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、分類モデル１４１、マスキングモデル１４２、及び超解像モデル１４３を記憶している。分類モデル１４１は、機械学習により構築された学習済みモデルであり、入力画像のカテゴリーを分類するための学習済みモデルである。マスキングモデル１４２は、同じく機械学習により構築された学習済みモデルであり、入力画像をマスキングするためのマスク画像（マスキングデータ）を生成するための学習済みモデルである。超解像モデル１４３は、マスク画像をアップサンプリングした高解像度マスク画像を学習することで生成された学習済みモデルである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体Ｐ１を読み取る読取部を備え、可搬型記憶媒体Ｐ１からプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリＰ２からプログラムＰを読み込んでも良い。

図３は、サーバ１が実行する処理の概要を示す説明図である。図３では、機械学習により生成された複数の学習済みモデルを用いて、入力画像に対しマスキングを行うためのマスク画像（マスキングデータ）を生成する様子を概念的に図示している。図３に基づき、本実施の形態の概要を説明する。

サーバ１は、所定の物体を撮像した画像を入力画像として端末２から取得する。入力画像に含まれる物体は、例えば衣服、人物、服飾品などであるが、特に限定されない。また、入力画像は撮像画像に限定されず、例えば所定の物体（オブジェクト）が描写されたイラストなどであってもよい。

サーバ１はまず、分類モデル１４１及びマスキングモデル１４２で入力を受け付ける画像の解像度に合わせて、端末２から取得した入力画像の解像度を、各モデル用にダウンサンプリングした低解像度画像に変換する。具体的には、サーバ１は、マスキングモデル１４２に入力される画像（第２の低解像度画像）よりも、分類モデル１４１に入力される画像（第１の低解像度画像）の方が低解像度となるように、各モデル用の低解像度画像をそれぞれ生成する。

サーバ１は、分類モデル１４１用に生成した低解像度画像を分類モデル１４１に入力し、当該画像のカテゴリーを分類する。分類モデル１４１で分類される画像のカテゴリーは、例えば入力画像に含まれる物体の種類である。サーバ１は分類モデル１４１を用いて、入力画像が何の物体を撮像した画像であるかを分類する。

分類モデル１４１は、深層学習により生成されたニューラルネットワークであり、例えばＣＮＮ（Convolution Neural Network）に係るニューラルネットワークである。本実施の形態でサーバ１は、ＲｅｓＮｅｔ（Residual Network）に係るニューラルネットワークを分類モデル１４１として用いる。

例えばサーバ１は、各種物体を撮像した教師用の画像群に対し、各画像に含まれる物体の種類、すなわち画像のカテゴリーを示す情報を正解値として対応付けた教師データを用いて深層学習を行い、分類モデル１４１を生成してある。具体的には、サーバ１は、教師用画像を分類モデル１４１に入力して教師用画像のカテゴリーを識別し、識別したカテゴリーを正解値と比較して、両者が近似するように、分類モデル１４１において各種演算に用いる重み、活性化係数等のパラメータを最適化する。これによりサーバ１は、分類モデル１４１を生成する。

サーバ１は、上記の分類モデル１４１にダウンサンプリングした入力画像を入力し、入力画像のカテゴリー、すなわち入力画像に含まれる物体の種類を分類した分類結果を出力として取得する。サーバ１は、分類モデル１４１から出力された分類結果に応じて、次のマスキング処理に用いるマスキングモデル１４２を選択する。

サーバ１は、マスキングモデル１４２用にダウンサンプリングした低解像度画像をマスキングモデル１４２に入力して、入力画像の一部を視認不可能にするためのマスク画像であって、低解像度画像と同等の解像度からなる低解像度マスク画像を生成する。低解像度マスク画像は、マスキングの対象とする領域（以下、「マスク対象領域」と呼ぶ）と、マスキングの対象としない領域（以下、「非マスク対象領域」と呼ぶ）とを規定する画像データであり、入力画像に含まれる物体以外の画像領域をマスク対象領域とし、当該物体に係る画像領域を非マスク対象領域とした画像データである。例えば低解像度マスク画像は、マスク対象領域に含まれる各画素の画素値と、非マスク対象領域に含まれる各画素の画素値とをそれぞれ「０」又は「１」の二値で表す。図３では便宜上、マスク対象領域を黒塗りで、非マスク対象領域を白抜きで図示してある。

マスキングモデル１４２は、分類モデル１４１と同様に深層学習により生成されたニューラルネットワークであり、例えばセマンティックセグメンテーションに係る処理を行うＣＮＮである。本実施の形態でサーバ１は、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）に係るニューラルネットワークをマスキングモデル１４２として用いる。

例えばサーバ１は、各種物体を撮像した教師用の画像群と、各画像に対応する教師用のマスク画像であって、上記の低解像度画像の解像度と同等の解像度からなる低解像度マスク画像とを教師データとして用いて深層学習を行い、マスキングモデル１４２を生成してある。具体的には、サーバ１は、教師用画像を所定の解像度の低解像度画像に変換してマスキングモデル１４２に入力し、教師用の低解像度画像をマスキングするための低解像度マスク画像を生成する。サーバ１は、生成した低解像度マスク画像のマスク対象領域及び非マスク対象領域を、教師用の低解像度マスク画像のマスク対象領域及び非マスク対象領域と比較し、演算処理に用いる重み等の各種パラメータを最適化する。これによりサーバ１は、マスキングモデル１４２を生成する。

ここでサーバ１は、教師用画像に係る物体の種類、すなわちカテゴリー毎にマスキングモデル１４２、１４２、１４２…を生成する。例えばサーバ１は、「衣服」に係るマスキングモデル１４２を生成する場合、「衣服」を含む教師用画像と、当該画像に対応する教師用の低解像度マスク画像とを用いて、「衣服」に係る低解像度マスク画像を生成するためのマスキングモデル１４２を生成する。その他のカテゴリーについても同様に、各カテゴリーに応じた教師用画像を用いてマスキングモデル１４２を生成しておく。

サーバ１は、分類モデル１４１により分類した入力画像のカテゴリーに基づいてマスキングモデル１４２を選択し、選択したマスキングモデル１４２に入力画像（低解像度画像）を入力する。そしてサーバ１は、入力画像に対応する低解像度マスク画像を出力として取得する。このように、入力画像のカテゴリー（例えば物体の種類）に応じてマスキングモデル１４２を使い分けることで、高精度なマスキングを行うことができる。

この場合にサーバ１は、上述の如く、マスキングモデル１４２用の低解像度画像であって、分類モデル１４１用の低解像度画像よりも高解像度の画像を入力してマスク画像を生成する。これにより、カテゴリー分類は低解像度の画像で負荷を減らして処理する一方、マスク画像の生成は、カテゴリー分類時よりも高解像度の画像で正確に処理することができる。

サーバ１は、生成したマスク画像を超解像モデル１４３に入力し、元の入力画像の解像度までアップサンプリングした高解像度マスク画像（高解像度マスキングデータ）に変換する。超解像モデル１４３は、深層学習により生成されたニューラルネットワークであり、例えばＣＮＮに係るニューラルネットワークである。本実施の形態でサーバ１は、ＳＲＣＮＮ（Super-Resolution Using Deep Convolution Network）に係るニューラルネットワークを超解像モデル１４３として用いる。

例えばサーバ１は、本実施の形態で処理対象とする入力画像（端末２から取得した画像）と同等の解像度である教師用の高解像度マスク画像を用いて深層学習を行い、超解像モデル１４３を生成してある。具体的には、サーバ１は教師用の高解像度マスク画像をマスキングモデル１４２の処理対象とする画像の解像度までダウンサンプリングして教師用の低解像度マスク画像を生成し、元の高解像度マスク画像と対応付ける。そしてサーバ１は、教師用の低解像度マスク画像を超解像モデル１４３に入力して高解像度マスク画像を生成し、生成した高解像度マスク画像を教師用の高解像度マスク画像と比較して各種パラメータを最適化する。これによりサーバ１は、超解像モデル１４３を生成する。

サーバ１は、マスキングモデル１４２から出力された低解像度マスク画像を超解像モデル１４３に入力し、元の入力画像の解像度までアップサンプリングした高解像度マスク画像を生成する。これによりサーバ１は、元の入力画像をマスキングするためのマスク画像を生成する。

なお、上記では元の入力画像と同等の解像度までアップサンプリングした高解像度マスク画像を生成するものとしたが、本実施の形態はこれに限定されるものではない。サーバ１は、超解像モデル１４３を用いて、少なくとも低解像度マスク画像の解像度より高解像度のマスク画像に変換可能であればよく、元の入力画像の解像度と、高解像度マスク画像の解像度とは同等でなくともよい。

また、上記で説明した各モデルのネットワーク構造はいずれも例示であって、各モデルの構成は上記に限定されない。

また、本実施の形態ではサーバ１が各モデルに係る機械学習、及び各モデルを用いた画像処理の双方を行うものとして説明したが、各モデルに係る学習処理は別個のハードウェアで実行し、生成された各モデルをサーバ１にインストールしてマスキングを行う構成であってもよい。

図４は、マスク画像のエッジ加工処理に関する説明図である。図４では、超解像モデル１４３から出力された高解像度マスク画像に対し、マスク対象領域と非マスク対象領域との間のエッジを加工する後処理について概念的に図示してある。

超解像モデル１４３の入出力の前後では、解像度が異なることから、マスク対象領域と非マスク対象領域との間の境界（エッジ）にジャギーが発生する恐れがある。そこでサーバ１は、超解像モデル１４３から出力された高解像度マスク画像に対し、エッジを平滑化する後処理を行う。

具体的には、サーバ１はまずエッジ検出を行ってマスク対象領域と非マスク対象領域との間の境界領域を特定し、移動平均フィルタ等を用いて境界領域の画素値を周辺画素と平滑化する。サーバ１はさらに、平滑化後のマスク画像において非マスク対象領域を縮小（図４では衣服内側の方向に縮小）した後、境界領域にぼかしを入れて平滑化する。

サーバ１は、エッジ加工後の高解像度マスク画像を元の入力画像に適用し、マスク対象領域をマスキングした出力画像を生成する。例えばサーバ１は、マスク対象領域を切り抜いた画像を生成する。サーバ１は、生成した出力画像を端末２に出力する。

以上より、本実施の形態１によれば、各カテゴリーに応じたマスキングモデル１４２を用いることで、マスク対象領域と非マスク対象領域との間の境界を高精度に特定してマスキングを行うことができる。また、入力画像をダウンサンプリングしてマスキングを行い、処理後にアップサンプリングすることで、マスキングのための負荷を軽減し、高品質な画像を提供することができる。

図５は、カテゴリー学習処理の手順の一例を示すフローチャートである。図５に基づき、入力画像のカテゴリーを分類するための分類モデル１４１を機械学習により生成する処理の内容について説明する。
サーバ１の制御部１１は、分類モデル１４１を生成するための教師データであって、教師用の各画像に対し、各画像のカテゴリーを示す情報が正解値として対応付けられた教師データを取得する（ステップＳ１１）。例えば制御部１１は、画像内に被写体として含まれる物体の画像領域に対し、当該物体の種類を示す正解値が対応付けられた教師データを取得する。

制御部１１は、教師データに含まれる各教師用画像について、所定の解像度までダウンサンプリングした低解像度画像に変換する（ステップＳ１２）。制御部１１は、ダウンサンプリングした教師用の低解像度画像を用いて、入力画像を分類するための分類モデル１４１を生成する（ステップＳ１３）。例えば制御部１１は、ＲｅｓＮｅｔに係るニューラルネットワークを分類モデル１４１として生成する。制御部１１は、ダウンサンプリングした教師用の低解像度画像を分類モデル１４１に入力し、入力した画像のカテゴリー（物体の種類）を識別した識別結果を取得する。制御部１１は、識別結果を正解値と比較し、両者が近似するように分類モデル１４１の演算に用いる各種パラメータを最適化する。制御部１１は、一連の処理を終了する。

図６は、マスキング学習処理の手順の一例を示すフローチャートである。図６に基づき、入力画像をマスキングするためのマスク画像（マスクデータ）を出力するマスキングモデル１４２を機械学習により生成する処理について説明する。
サーバ１の制御部１１は、マスキングモデル１４２を生成するための教師データであって、各カテゴリーに応じた教師用の画像と、当該画像の一部を視認不可能にするための教師用の低解像度マスク画像（低解像度マスキングデータ）とを含む教師データを取得する（ステップＳ３１）。例えば制御部１１は、各種類の物体を撮像した教師用画像と、マスキングモデルに入力される低解像度画像の解像度（所定の解像度）と同等の解像度からなる低解像度マスク画像とを対応付けた教師データを取得する。

制御部１１は、各教師用画像について、所定の解像度までダウンサンプリングした低解像度画像を生成する（ステップＳ３２）。例えば制御部１１は、分類モデル１４１に係る学習時の解像度と異なる解像度、具体的には分類モデル１４１の入力用画像よりも高い解像度で、かつ、元の画像よりも低い解像度の低解像度画像を生成する。

制御部１１は、生成した低解像度画像を用いて、入力画像の一部を視認不可能にするための低解像度マスク画像（マスキングデータ）を出力するマスキングモデル１４２を生成する（ステップＳ３３）。具体的には、制御部１１は、ＰＳＰＮｅｔに係るニューラルネットワークを生成する。制御部１１は、ダウンサンプリングした教師用画像をマスキングモデル１４２に入力して、低解像度マスク画像を出力として取得する。制御部１１は、出力されたマスク画像を、教師データに含まれる教師用の低解像度マスク画像と比較し、両者が近似するように、マスキングモデル１４２の演算に用いる各種パラメータを最適化する。制御部１１は、各カテゴリーの教師用画像を別々のマスキングモデル１４２に適用し、カテゴリー毎にマスキングモデル１４２、１４２、１４２…を生成する。制御部１１は、一連の処理を終了する。

図７は、超解像学習処理の手順を示すフローチャートである。図７に基づき、低解像度画像を高解像度画像に変換するための超解像モデル１４３を機械学習により生成する処理の内容について説明する。
サーバ１の制御部１１は、教師用の高解像度マスク画像群を取得する（ステップＳ５１）。制御部１１は、取得した各高解像度マスク画像を、所定の解像度までダウンサンプリングした低解像度マスク画像に変換する（ステップ５２）。具体的には、制御部１１は、マスキングモデル１４２で処理対象とする画像の解像度（所定の解像度）までダウンサンプリングした低解像度マスク画像に変換する。

制御部１１は、ステップＳ５１で取得した各高解像度マスク画像と、各高解像度マスク画像に対応する低解像度マスク画像とを教師データとして用いて、低解像度マスク画像を高解像度マスク画像に変換するための超解像モデル１４３を生成する（ステップＳ５３）。具体的には、制御部１１は、ＳＲＣＮＮに係るニューラルネットワークを超解像モデル１４３として生成する。制御部１１は、低解像度マスク画像を超解像モデル１４３に入力し、高解像度マスク画像を出力として取得する。制御部１１は、出力された高解像度マスク画像を、ステップＳ５１で取得した教師用の高解像度マスク画像と比較し、両者が近似するように、超解像モデル１４３の演算に用いる各種パラメータを最適化する。制御部１１は、一連の処理を終了する。

図８は、マスキング処理の手順の一例を示すフローチャートである。図８に基づき、入力画像のマスキング処理について説明する。
サーバ１の制御部１１は、所定の物体を撮像した入力画像を端末２から取得する（ステップＳ７１）。制御部１１は、取得した入力画像の解像度を所定の解像度にダウンサンプリングした低解像度画像に変換する（ステップＳ７２）。具体的には、制御部１１は、分類モデル１４１に入力する画像（第１の低解像度画像）と、マスキングモデル１４２に入力する画像（第２の低解像度画像）とで解像度が異なる２種類の低解像度画像を生成する。例えば制御部１１は、マスキングモデル１４２に入力する画像よりも分類モデル１４１に入力する画像が低解像度となるように低解像度画像を生成する。

制御部１１は、分類モデル１４１の入力用に生成した低解像度画像を分類モデル１４１に入力し、当該画像のカテゴリーを分類する（ステップＳ７３）。例えば制御部１１は、画像内に被写体として含まれる物体の種類を分類する。

制御部１１は、マスキングモデル１４２の入力用に生成した低解像度画像を、ステップＳ７３で分類したカテゴリーに対応するマスキングモデル１４２に入力し、低解像度画像の一部を視認不可能にするための低解像度マスク画像（マスキングデータ）を生成する（ステップＳ７４）。具体的には、制御部１１は、入力画像内の物体の輪郭をマスキングの境界として、当該物体を除く画像領域（マスク対象領域）をマスキングするためのマスク画像を生成する。

制御部１１は、生成した低解像度マスク画像を超解像モデル１４３に入力し、高解像度マスク画像（高解像度マスキングデータ）に変換する（ステップＳ７５）。具体的には、制御部１１は、入力画像の元の解像度までアップサンプリングした高解像度マスク画像に変換する。

制御部１１は、高解像度マスク画像に対し、マスク対象領域と非マスク対象領域との間のエッジを平滑化する画像処理を行う（ステップＳ７６）。具体的には、上述の如く、制御部１１はエッジを平滑化し、非マスク対象領域が小さくなるようにエッジを縮小した上で、エッジ部分にぼかし（平滑化）処理を行う。制御部１１は、処理後の高解像度マスク画像を入力画像に適用し、上記の物体を除く画像領域を視認不可能にした出力画像を生成して端末２に出力する（ステップＳ７７）。制御部１１は、一連の処理を終了する。

なお、上記では、入力画像をマスキングするための画像データ（マスク画像）を生成するものとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、マスク対象領域の座標値データをマスキングのためのデータとして生成し、座標値データを超解像モデル１４３に入力してアップサンプリングし、入力画像に適用して最終的な出力画像を生成するようにしてもよい。すなわち、サーバ１は、マスキングモデル１４２を用いて、入力画像の一部を視認不可能にするマスキングデータを生成可能であればよく、生成するマスキングデータは画像データに限定されない。

以上より、本実施の形態１によれば、カテゴリーに応じたマスキングモデル１４２を用いることで高精度なマスキングを行うことができる。また、入力画像をダウンサンプリングしてカテゴリー分類及びマスキングを行うことで、処理負荷を低減することができる。

また、本実施の形態１によれば、分類モデル１４１用の低解像度画像と、マスキングモデル１４２用の低解像度画像とで解像度を異ならせることで、各モデルにおける処理を好適に行うことができる。

また、本実施の形態１によれば、分類モデル１４１用の低解像度画像をマスキングモデル１４２用の低解像度画像よりも低解像度とすることで、より好適に処理を行うことができる。

また、本実施の形態１によれば、低解像度画像から非マスク対象領域を切り抜いたマスク画像、あるいはマスク対象領域を表す座標データを生成するようにすることで、マスキングを好適に行うことができる。

また、本実施の形態１によれば、アップサンプリング後の高解像度マスク画像（マスキングデータ）のエッジ処理を行うことで、より高品質な出力画像を提供することができる。

また、本実施の形態１によれば、被写体である物体を除く画像領域を切り抜き等した出力画像を提供することができる。

（実施の形態２）
図９は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。
取得部９１は、入力画像を取得する。第１変換部９２は、前記入力画像の解像度を前記解像度より低い所定の解像度の低解像度画像に変換する。分類部９３は、画像の属するカテゴリーを学習したカテゴリー分類モデルを用いて、前記低解像度画像のカテゴリーを分類する。生成部９４は、前記所定の解像度と同等の解像度からなる低解像マスキングデータをカテゴリー毎に学習したマスキングモデルを用いて、前記分類に対応するマスキングモデルから前記低解像度画像の低解像度マスキングデータを生成する。第２変換部９５は、前記低解像度マスキングデータに対応する少なくとも前記所定の解像度より高い解像度の高解像度マスキングデータを学習した超解像モデルを用いて、生成した前記低解像度マスキングデータを、高解像度マスキングデータに変換する。

本実施の形態２は以上の如きであり、その他は実施の形態１と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 分類モデル
１４２ マスキングモデル
１４３ 超解像モデル

Claims (8)

1. 入力画像を取得する取得部と、
   前記入力画像の解像度を前記解像度より低い所定の解像度の低解像度画像に変換する第１変換部と、
   画像の属するカテゴリーを学習したカテゴリー分類モデルを用いて、前記低解像度画像のカテゴリーを分類する分類部と、
   前記所定の解像度と同等の解像度からなる低解像マスキングデータをカテゴリー毎に学習したマスキングモデルを用いて、前記分類に対応するマスキングモデルから前記低解像度画像の低解像度マスキングデータを生成する生成部と、
   前記低解像度マスキングデータに対応する少なくとも前記所定の解像度より高い解像度の高解像度マスキングデータを学習した超解像モデルを用いて、生成した前記低解像度マスキングデータを、高解像度マスキングデータに変換する第２変換部と
   を備えることを特徴とする情報処理装置。
2. 前記第１変換部は、前記入力画像を、互いに解像度が異なる第１及び第２の前記低解像度画像に変換し、
   前記分類部は、前記第１の低解像度画像に基づき前記カテゴリーを分類し、
   前記生成部は、前記第２の低解像度画像に基づき前記低解像度マスキングデータを生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の低解像度画像は、前記第２の低解像度画像よりも解像度が低い
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記低解像度マスキングデータ及び／又は高解像度マスキングデータは、画像データまたは画像の座標値データである
   ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記高解像度マスキングデータのエッジを平滑化する第２生成部を備える
   ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記超解像モデルは、前記高解像度マスキングデータをダウンサンプリングした低解像度マスキングデータを生成し対応付けて学習されたものである
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
7. 入力画像を取得し、
   前記入力画像の解像度を前記解像度より低い所定の解像度の低解像度画像に変換し、
   画像の属するカテゴリーを学習したカテゴリー分類モデルを用いて、前記低解像度画像のカテゴリーを分類し、
   前記所定の解像度と同等の解像度からなる低解像マスキングデータをカテゴリー毎に学習したマスキングモデルを用いて、前記分類に対応するマスキングモデルから前記低解像度画像の低解像度マスキングデータを生成し、
   前記低解像度マスキングデータに対応する少なくとも前記所定の解像度より高い解像度の高解像度マスキングデータを学習した超解像モデルを用いて、生成した前記低解像度マスキングデータを、高解像度マスキングデータに変換する
   処理をコンピュータに実行させることを特徴とする情報処理方法。
8. 入力画像を取得し、
   前記入力画像の解像度を前記解像度より低い所定の解像度の低解像度画像に変換し、
   画像の属するカテゴリーを学習したカテゴリー分類モデルを用いて、前記低解像度画像のカテゴリーを分類し、
   前記所定の解像度と同等の解像度からなる低解像マスキングデータをカテゴリー毎に学習したマスキングモデルを用いて、前記分類に対応するマスキングモデルから前記低解像度画像の低解像度マスキングデータを生成し、
   前記低解像度マスキングデータに対応する少なくとも前記所定の解像度より高い解像度の高解像度マスキングデータを学習した超解像モデルを用いて、生成した前記低解像度マスキングデータを、高解像度マスキングデータに変換する
   処理をコンピュータに実行させることを特徴とするプログラム。

Images