JP7473076B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

この発明の実施形態は、画像から前景を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関する。

ある画像に含まれる被写体から人物や物体だけを前景として抽出し、またそれ以外の領域を背景とする技術は、画像処理分野において広く知られている。この画像処理は、主に、対象の被写体だけが映った画像を別の画像上に重ね合わせる画像合成、重要でない画素をより小さい情報量で表す画像圧縮、などに適用されている。

この画像処理を実現する方法として、背景となるカラー画像を予め撮影し、同じ撮影範囲を同じ撮影画角で撮影したカラー画像との差分を取ることで新たに出現した被写体を前景として抽出する背景差分法がある。また、カラー画像から特定の明度や色度に該当する画素を取り除き、残った領域を前景とするキーイング法（所謂、クロマキー）が提案されている。

例えば、非特許文献１では、カラー画像と同時にセンサ画像を取得しており、センサ画像で被写体の大まかな領域を抽出することを前提としている。この手法では、前景と背景の境界部分から一定の距離内の画素を未知画素と定義し、カラー画像の周囲の画素値の比較によるクラスタリング処理を行っている。

また、特許文献１は、この非特許文献１における未知画素を２種類に分類し、画素の参照回数を削減することを提案している。この特許文献１の手法によれば、高解像度の画像に対しても高速に前景の領域を特定することができるようになる。

一方、特許文献２は、上記非特許文献１における被写体の大まかな領域を抽出する部分を、ニューラルネットワークで学習した結果のルックアップテーブルの参照によって実現することを提案している。この特許文献２の手法によれば、被写体の背景が変化しても前景として抽出され難くなる（すなわち、通常の背景差分法よりも背景変化に対する頑健性の向上を実現できる）。

宮下広夢, 竹内広大, 山口真理子, 長田秀信, 小野朗, センサとカメラを活用した高速・高精度な被写体抽出, 電子情報通信学会MVE 研究会, 2016.

日本国特許第６６９８０５７号公報 日本国特許第６７１５２８９号公報

上記非特許文献１及び上記特許文献１では、センサ画像が利用できない場合、背景差分法を利用して被写体の大まかな領域を抽出することを想定している。しかしながら、背景差分法では、時間経過で画素値が変化したある程度のまとまった領域は全て被写体として抽出されるため、特定の被写体のみに絞って抽出することができない。

また、上記特許文献２においては、前景としたい被写体の画素と、背景としたい被写体の画素と、をニューラルネットワークでの学習時の教師データとして指定できるものの、両方に共通する画素が多い場合は、矛盾が生じて前景か背景かの判別が曖昧になる問題がある。

この発明は、画像中の任意の数の被写体を前景として精緻且つ高速に抽出することが可能となる技術を提供しようとするものである。

上記課題を解決するために、この発明の一態様に係る画像処理装置は、画像記憶部と、学習部と、画像受信処理部と、推論処理部と、境界補正処理部と、画像合成処理部と、を備える。画像記憶部は、少なくとも、学習対象の複数のカラー画像と、前記複数のカラー画像に関して作成されたマスク画像と、前記複数のカラー画像と同一の解像度で、水平方向に最小画素値から最大画素値まで連続的に変化するｘ座標画像及び垂直方向に最小画素値から最大画素値まで連続的に変化するｙ座標画像を含む、前記カラー画像の内容に依存しない座標画像と、を予め保存する。学習部は、前記画像記憶部に保存されている前記複数のカラー画像、前記マスク画像及び前記座標画像を用いて深層学習を行い、深層学習モデルを生成する。画像受信処理部は、処理対象のカラー画像を受信する。推論処理部は、前記処理対象のカラー画像と、前記画像記憶部に保存された前記座標画像と、を入力として、前記学習部によって生成された前記深層学習モデルを参照して推論することで、前記処理対象のカラー画像中の少なくとも１つの被写体領域である前景を抽出して、少なくとも１つのマスク画像を生成する。境界補正処理部は、前記処理対象のカラー画像と、前記推論処理部が生成した前記マスク画像と、を入力とし、前記処理対象のカラー画像における前記少なくとも１つの前景それぞれと背景との境界領域における判定対象画素とその周辺画素との間の色及び座標の関係に基づいて、前記判定対象画素が前記前景と前記背景の何れであるかを判定して前記境界領域を補正することで、少なくとも１つの境界補正後マスク画像を生成する。画像合成処理部は、前記処理対象のカラー画像と前記境界補正処理部が生成した前記境界補正後マスク画像とを合成して、前記少なくとも１つの前景の抽出画像を生成する。

この発明の一態様によれば、画像中の任意の数の被写体を前景として精緻且つ高速に抽出することが可能となる技術を提供することができる。

図１は、この発明の一実施形態に係る画像処理装置としての画像処理部を含む画像処理システムの構成の一例を示すブロック図である。 図２は、画像処理部のハードウェア構成の一例を示す図である。 図３は、画像処理部の処理動作の一例を示すフローチャートである。 図４は、図３中の前処理の詳細の一例を示すフローチャートである。 図５は、図４中の学習処理の詳細の一例を示すフローチャートである。 図６は、カラー画像の一例を示す図である。 図７は、図１中の画像編集部における第１画像編集処理の処理動作の一例を示すフローチャートである。 図８は、画像編集部における第２画像編集処理の処理動作の一例を示すフローチャートである。 図９は、背景画像の一例を示す図である。 図１０は、背景深度画像の一例を示す図である。 図１１は、座標画像の一例を示す図である。 図１２は、深層学習モデルの一例を示す概略図である。 図１３は、図４中のＬＵＴ生成処理の一例を示すフローチャートである。 図１４は、画素間の色に関するルックアップテーブルの一例を示す図である。 図１５は、補正対象画素と探索画素との色に関する関係を示す模式図である。 図１６は、画素間の座標に関するルックアップテーブルの一例を示す図である。 図１７は、補正対象画素と探索画素との座標に関する関係を示す模式図である。 図１８は、画像処理に係わる各部に対するＣＰＵスレッドの割当の一例を示す図である。 図１９は、図３中の初期化処理の詳細の一例を示すフローチャートである。 図２０は、図３中の画像処理の詳細の一例を示すフローチャートである。 図２１は、境界補正後のマスク画像の一例を示す図である。 図２２は、抽出画像の一例を示す図である。 図２３は、画像処理に係わる各画像の対応関係を示す図である。

以下、図面を参照して、この発明に係わる実施形態を説明する。

（構成例）
図１は、この発明の一実施形態に係る画像処理装置としての画像処理部１００を含む画像処理システムの構成の一例を示すブロック図である。画像処理システムは、この画像処理部１００と、撮像部２００と、表示部３００と、画像編集部４００と、を備える。なお、画像処理システムは、これら各部を１つの装置や筐体として一体として構成していても良いし、複数の装置から構成しても良い。また、複数の装置が遠隔に配置され、ネットワークを経由して接続されていても良い。

撮像部２００は、例えば、カラー画像を撮影するカメラを含み、撮影中の複数のフレームからなるカラーの動画像（カラー映像）を逐次、画像処理部１００へ送信する。撮像部２００は、カメラが撮影したカラー映像を録画し、その録画したカラー映像を再生出力可能なレコーダであっても良い。

なお、本実施形態では、撮像部２００が送信するカラー画像がカラー映像である場合を例に説明するが、撮像部２００が深度情報も扱える場合は、カラー映像と同時に深度映像も画像処理部１００に送信しても良い。また、本実施形態では、カメラは、撮影するカラー映像の画角が固定であるものとして説明する。しかしながら、映像の画角が変化する場合でも、被写体の背景が一様で変化が見られない場合は、本実施形態の対象となる。

画像処理部１００は、撮像部２００から送信されてきたカラー映像から任意の数、すなわち、少なくとも１つの被写体だけを抽出するためのマスク映像を作成し、このマスク映像と元のカラー映像とを合成して抽出映像を作成し、作成した抽出映像を表示部３００に送信する。

表示部３００は、例えば、モニタやプロジェクタなどの表示装置を含む。表示部３００は、画像処理部１００から送信されてきた抽出映像を表示する。但し、表示の目的に応じて、画像処理部１００からカラー映像と合成する前のマスク映像を送信することで、表示部３００にマスク映像を表示するようにしても良い。

画像編集部４００は、画像処理部１００でのマスク映像の作成に必要な背景画像、背景深度画像及び座標画像を作成する。これらの画像の詳細については後述する。

図１に示すように、画像処理部１００は、画像受信部１１０と、推論部１２０と、境界補正部１３０と、画像合成部１４０と、画像送信部１５０と、記憶部１６０と、学習部１７０と、ＬＵＴ生成部１８０と、並列数管理部１９０と、を備える。記憶部１６０は、画像記憶部１６１と、モデル記憶部１６２と、ＬＵＴ記憶部１６３と、を含む。

画像受信部１１０は、撮像部２００からカラー映像（或いは、カラー映像と深度映像）を受信し、映像を１フレームずつカラー画像として取得する。画像受信部１１０は、取得した各カラー画像に対して、必要に応じて色変換を行う。画像受信部１１０は、カラー画像を、推論部１２０、境界補正部１３０及び画像合成部１４０へ出力する。

また、画像受信部１１０は、画像処理部１００の図示しないインタフェースを通じた利用者からの指示に応じて、取得中のカラー画像（或いは、カラー画像と深度画像）をファイルとして書き出し、画像記憶部１６１に保存することができる。

画像記憶部１６１は、この画像受信部１１０から書き出されるカラー画像（或いはカラー画像と深度画像）を学習対象のカラー画像または処理対象のカラー画像として保存する。また、画像記憶部１６１は、画像編集部４００にて作成される背景画像、背景深度画像及び座標画像も保存する。

学習部１７０は、画像記憶部１６１に保存されている学習対象のカラー画像を用いて深層学習を行い、深層学習モデルを生成する。この学習部１７０での深層学習の詳細については後述する。モデル記憶部１６２は、この学習部１７０にて学習された深層学習モデルを保存する。

ＬＵＴ生成部１８０は、利用者の設定するルールに基づき、色と座標に関する２種類のルックアップテーブルＬＵＴ１，ＬＵＴ２を事前に生成する。このルールによって、ルックアップテーブルのファイルサイズを調整することができる。但し、この調整は、画像処理部１００を構成する装置のＣＰＵやメモリ、ディスク容量などの性能に応じて行う必要がある。本実施形態では、ＣＰＵ負荷を抑えつつ実時間処理を実現するため、後述する境界補正部１３０での境界補正時に扱う色は、２５６階調から３２階調へ量子化し、参照する画素の座標の探索範囲は、最大６４ピクセルを上限とするルールに設定している。ルックアップテーブルＬＵＴ１，ＬＵＴ２の生成手法の詳細については後述する。ＬＵＴ記憶部１６３は、このＬＵＴ生成部１８０にて生成されたルックアップテーブルＬＵＴ１，ＬＵＴ２を保存する。

推論部１２０は、モデル記憶部１６２に保存されている深層学習モデルを読み込んだ後、画像受信部１１０から出力される処理対象のカラー画像と、画像記憶部１６１に保存されている背景画像、背景深度画像及び座標画像と、を入力画像として取得する。そして、推論部１２０は、深層学習モデルを参照して入力画像に対し推論処理を実行する。これにより、推論部１２０は、予め学習部１７０で学習した任意の数の前景を、任意のチャンネル数を持つマスク画像として生成することができる。すなわち、推論部１２０は、カラー画像中の１つのチャンネルにつき、１種類の前景がマスク画像として表現されている状態の、多チャンネル画像を生成する。なお、学習時の画像の解像度が小さい場合は、推論部１２０は、それに合わせて、入力されたカラー画像も縮小し、出力画像であるマスク画像は拡大して、境界補正部１３０に出力するものとする。

境界補正部１３０は、ＬＵＴ記憶部１６３に保存されている２種類のルックアップテーブルＬＵＴ１，ＬＵＴ２を読み込んだ後、画像受信部１１０から出力されていたカラー画像と、画像記憶部１６１に保存されている背景画像と、推論部１２０から出力されるマスク画像と、を取得して、境界補正処理を実行する。これにより、境界補正部１３０は、マスクの境界領域が精緻に補正されたマスク画像を生成することができる。境界補正部１３０は、この生成した境界補正後マスク画像を画像合成部１４０に出力する。

なお、境界補正部１３０における境界補正処理は、例えば特許文献１に記載の手法を用いることができる。すなわち、境界補正部１３０は、カラー画像における被写体領域である前景それぞれと背景との境界領域に対応する背景画像の判定対象画素とその周辺画素との間の色の距離及び座標の距離に基づいて、判定対象画素が前景と背景の何れであるかを判定して、境界領域を補正する。但し、特許文献１では、２画素間の色及び座標の距離を計算で求めているのに対し、本実施形態では、その距離計算部分のみを２種類のルックアップテーブルＬＵＴ１，ＬＵＴ２の参照で置き換えることで、処理を高速化している。

また、推論部１２０から出力されるマスク画像が多チャンネルのマスク画像である場合は、境界補正部１３０は、マスク画像のチャンネルを分離し、１チャンネルの複数枚のマスク画像として、複数回の境界補正処理を実行しても良い。或いは、境界補正部１３０は、どれか１チャンネルのみを選択して、境界補正処理を１回だけ実行するようにしても良い。

画像合成部１４０は、境界補正部１３０から出力された境界補正後マスク画像によって、画像受信部１１０から出力されていたカラー画像をマスクすることで、前景のみが抽出された抽出画像を生成する。画像合成部１４０は、生成した抽出画像を画像送信部１５０に送信する。

なお、境界補正部１３０において境界補正が複数回行われ、境界補正後マスク画像が複数枚ある場合は、画像合成部１４０は、複数枚の抽出画像を生成するようにしても良い。或いは、画像合成部１４０は、複数枚の前景を合成した一枚の抽出画像を生成するようにしても良い。

また必要に応じて、画像合成部１４０は、合成せずにマスク画像を加工した画像も同時に出力するようにしても良い。この画像は、例えば、前景の影の表現などの用途に利用することができる。

画像送信部１５０は、画像合成部１４０から出力された抽出画像を映像の１フレームに変換し、抽出映像として表示部３００に送信する。なお、画像合成部１４０から出力された抽出画像が複数ある場合は、画像送信部１５０は、複数の抽出映像として表示部３００へ送信する。

並列数管理部１９０は、画像受信部１１０、推論部１２０、境界補正部１３０、画像合成部１４０及び画像送信部１５０それぞれの処理が開始される前に、各部で専有するＣＰＵのスレッド数を事前に設定する。

図２は、画像処理部１００を構成する装置のハードウェア構成の一例を示す図である。この装置は、例えば、パーソナルコンピュータなどの汎用的なコンピュータであることができる。すなわち、画像処理部１００は、プロセッサ１１、メモリ１２、ＧＰＵ（Graphics Processing Unit）１３、外部記憶装置１４、入力装置１５、出力装置１６及び通信ＩＦ装置１７を備える。メモリ１２、外部記憶装置１４、入力装置１５、出力装置１６及び通信ＩＦ装置１７は、バス１８を介して、プロセッサ１１に接続されている。

プロセッサ１１は、マルチコア・マルチスレッド数のＣＰＵを含み、複数の情報処理を並行して同時実行することができる。また、プロセッサ１１は、そのようなＣＰＵを複数備えていても良い。

メモリ１２は、揮発性メモリであるＲＡＭと、不揮発性メモリであるＲＯＭと、を含むことができる。ＲＡＭは、プロセッサ１１のワークエリアとして使用され、プロセッサ１１が、ＲＡＭ上にロードされた画像処理部１００用の画像処理プログラムを実行することにより、画像処理部１００の各機能が実現される。

ＧＰＵ１３は、深層学習用の計算処理を高速に行うデバイスである。

外部記憶装置１４は、ＨＤＤ、ＳＳＤなどの随時書込み及び読出しが可能な不揮発性メモリ、などを含む。外部記憶装置１４は、画像処理プログラムを初めとする各種のアプリケーションプログラムを記憶したり、プロセッサ１１がそれらアプリケーションプログラムの実行中や基本制御処理などを行う過程で取得及び作成した各種データを記憶したりするために用いられる。外部記憶装置１４は、例えば、画像記憶部１６１、モデル記憶部１６２及びＬＵＴ記憶部１６３として機能することができる。

入力装置１５は、例えば、キーボードやマウス等のポインティングデバイスを含む。出力装置１６は、例えば、液晶モニタを含む。また、入力装置１５と出力装置１６は、入力機能と表示機能とを兼ねる液晶タッチパネル等でも良い。

通信ＩＦ装置１７は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでおり、撮像部２００から送信されたカラー映像（或いは、カラー映像と深度映像）を受信する。有線インタフェースとしては、例えば有線ＬＡＮ、ＵＳＢ（Universal Serial Bus）インタフェース、などが使用され、また無線インタフェースとしては、例えば４Ｇまたは５Ｇなどの携帯電話通信システム、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格を採用したインタフェース、などが使用される。

（動作）
次に、画像処理部１００の動作を説明する。

図３は、画像処理部１００の処理動作の一例を示すフローチャートである。入力装置１５から、利用者によって画像処理プログラムの実行が指示されると、プロセッサ１１は、このフローチャートに示す動作を開始する。

プロセッサ１１は、まず、画像処理に必要なデータを準備する前処理を行う（ステップＳ１００）。この前処理の詳細については後述する。

この前処理の終了後、プロセッサ１１は、入力装置１５からの利用者による実際の画像処理の開始指示が入力されたか否か判断する（ステップＳ２００）。画像処理の開始指示が入力されていないと判断した場合、プロセッサ１１は、このステップＳ２００を繰り返す。こうして、プロセッサ１１は、画像処理の開始指示が入力されるのを待つ。

画像処理の開始指示があったと判断したならば（ステップＳ２００のＹＥＳ）、プロセッサ１１は、並列数管理部１９０としての動作を実行して、画像処理における各処理にＣＰＵスレッド数を割り当てる（ステップＳ３００）。

さらに、プロセッサ１１は、推論部１２０及び境界補正部１３として動作するのに必要な情報を設定する初期化処理を実行する（ステップＳ４００）。この初期化処理の詳細については後述する。

そして、プロセッサ１１は、撮像部２００から送信されてきたカラー画像から前景画像を抽出して表示部３００に出力する画像処理を実行する（ステップＳ５００）。この画像処理の詳細については後述する。

その後、プロセッサ１１は、入力装置１５からの利用者による画像処理の終了指示が入力されたか否か判断する（ステップＳ６００）。画像処理の終了指示が入力されていないと判断した場合、プロセッサ１１は、上記ステップＳ５００に戻る。こうして、プロセッサ１１は、画像処理の終了指示が入力されるまで、ステップＳ５００の画像処理を繰り返し実行する。

そして、画像処理の終了指示があったと判断したならば（ステップＳ６００のＹＥＳ）、プロセッサ１１は、このフローチャートに示す処理を終了する。

図４は、上記ステップＳ１００の前処理の詳細の一例を示すフローチャートである。
この前処理においては、プロセッサ１１は、まず、学習処理を実行して、例えば外部記憶装置１４に設けたモデル記憶部１６２への深層学習モデルの保存を行う（ステップＳ１１０）。また、プロセッサ１１は、ＬＵＴ生成処理を実行して、例えば外部記憶装置１４に設けたＬＵＴ記憶部１６３へのルックアップテーブルの保存を行う（ステップＳ１２０）。

図５は、上記ステップＳ１１０の学習処理の詳細の一例を示すフローチャートである。
この学習処理においては、プロセッサ１１は、まず、画像受信部１１０として動作して、撮像部２００からのカラー映像（或いは、カラー映像と深度映像）を受信し、カラー映像を１フレームずつ学習対象のカラー画像として取得する（ステップＳ１１１）。取得されたカラー画像は、必要に応じて色変換を行い、メモリ１２に確保されたワーク領域に一時保存される。図６は、この取得して一時保存されるカラー画像ＩＭＧ１の一例を示す図である。

そして、プロセッサ１１は、この取得したカラー画像ＩＭＧ１をファイルとして、例えば外部記憶装置１４に設けた画像記憶部１６１に保存する（ステップＳ１１２）。

その後、プロセッサ１１は、入力装置１５からの利用者による学習処理の開始指示が入力されたか否か判断する（ステップＳ１１３）。学習処理の開始指示が入力されていないと判断した場合、プロセッサ１１は、このステップＳ１１３を繰り返す。こうして、プロセッサ１１は、学習処理の開始指示が入力されるのを待つ。

学習処理の開始指示は、学習に必要な画像の準備が整うまで保留される。この学習に必要な画像は、画像編集部４００によって生成されて、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されることができる。

画像編集部４００は、２種類の画像編集処理を行う。図７は、画像編集部４００における第１画像編集処理の処理動作の一例を示すフローチャートであり、図８は、同じく第２画像編集処理の処理動作の一例を示すフローチャートである。画像処理部１００を構成するコンピュータは、画像編集部４００として動作することもできる。すなわち、入力装置１５から、利用者によって画像編集プログラムの実行が指示されると、プロセッサ１１は、これらのフローチャートに示す動作を開始する。

まず、図７を参照して、第１画像編集処理について説明する。
この第１画像編集処理においては、プロセッサ１１は、まず、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されている複数のカラー画像ＩＭＧ１を含むカラー画像群を取得する（ステップＳ７０１）。取得したカラー画像群は、メモリ１２に確保したワーク領域に一時保存される。

そして、プロセッサ１１は、そのカラー画像群に含まれる複数のカラー画像ＩＭＧ１の中から、処理に使用する一枚または複数枚のカラー画像ＩＭＧ１を選出する（ステップＳ７０２）。具体的には、選出される一枚のカラー画像ＩＭＧ１は、抽出対象の被写体の映っていないカラー画像ＩＭＧ１である。これは、例えば、撮影環境として被写体の映っていない環境を一時的に作り、その時に取得して例えば外部記憶装置１４に設けた画像記憶部１６１に保存したカラー画像ＩＭＧ１を選択することにより行うことができる。また、複数枚のカラー画像ＩＭＧ１を選出する場合は、そのような撮影環境を作ることができない場合に、抽出対象の被写体の位置が変化している、すなわち、被写体の位置が互いに異なる複数枚のカラー画像ＩＭＧ１を選出する。

プロセッサ１１は、選出した一枚または複数枚のカラー画像ＩＭＧ１に基づいて、画像中に抽出対象の被写体が含まれてない背景だけの画像である背景画像を生成する（ステップＳ７０３）。なお、被写体の位置が変化する複数枚のカラー画像ＩＭＧ１に基づいて背景画像を生成する場合には、それら複数枚のカラー画像ＩＭＧ１を合成編集することで生成することができる。図９は、背景画像ＩＭＧ２の一例を示す図である。

なお、複数枚のカラー画像ＩＭＧ１を合成する際、プロセッサ１１は、被写体が含まれていない変化のない領域の画素として、どれか一枚のカラー画像ＩＭＧ１から採用するのではなく、複数枚のカラー画像ＩＭＧ１の平均値を取る。こうすることで、カメラセンサ等のノイズが削減でき、より精度の高い背景画像ＩＭＧ２を作成することができる。

次に、プロセッサ１１は、深度画像である背景深度画像を作成する（ステップＳ７０４）。図１０は、背景深度画像ＩＭＧ３の一例を示す図である。プロセッサ１１は、画像受信部１１０が受信した映像がカラー映像のみであれば、ステップＳ７０３で生成した背景画像ＩＭＧ２から、この背景深度画像ＩＭＧ３を擬似的に作成する。また、カラー映像と深度映像とを受信している場合は、プロセッサ１１は、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されている複数の深度画像を取得し、画像中に抽出対象の被写体が含まれてない背景の深度だけの画像を、背景深度画像ＩＭＧ３として作成する。

そして、プロセッサ１１は、座標画像を作成する（ステップＳ７０５）。図１１は、座標画像ＩＭＧ４の一例を示す図である。座標画像ＩＭＧ４は、ｘ座標画像ＩＭＧ４Ｘとｙ座標画像ＩＭＧ４Ｙを含み、カラー画像ＩＭＧ１や背景画像ＩＭＧ２の内容に依存せず、常に同じ画像となる。ｘ座標画像ＩＭＧ４Ｘは、カラー画像ＩＭＧ１と同一の解像度で、水平方向に最小画素値から最大画素値まで（例えば、画像のビット深度が８ビットの場合は、０から２５５まで）連続的に変化する１チャンネル画像である。また、ｙ座標画像ＩＭＧ４Ｙは、カラー画像ＩＭＧ１と同一の解像度で、垂直方向に最小画素値から最大画素値まで（例えば、画像のビット深度が８ビットの場合は、０から２５５まで）連続的に変化する１チャンネル画像である。

最後に、プロセッサ１１は、生成した背景画像ＩＭＧ２と、作成した背景深度画像ＩＭＧ３及び座標画像ＩＭＧ４（ｘ座標画像ＩＭＧ４Ｘ、ｙ座標画像ＩＭＧ４Ｙ）を、例えば外部記憶装置１４に設けた画像記憶部１６１に保存する（ステップＳ７０６）。

次に、図８を参照して、第２画像編集処理について説明する。
この第２画像編集処理においては、プロセッサ１１は、まず、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されている複数のカラー画像ＩＭＧ１を含むカラー画像群を取得する（ステップＳ７１１）。なお、大量の画像を学習させる場合は、撮影中のカラー映像を画像処理部１００とは異なる外部装置で録画し、その映像を１フレームずつ画像に分解したものを画像記憶部１６１に保存しておき、このステップＳ７１１では、そこから複数のカラー画像ＩＭＧ１を取得するようにしても良い。取得したカラー画像群は、メモリ１２に確保したワーク領域に一時保存される。

次に、プロセッサ１１は、そのカラー画像群に含まれる複数のカラー画像ＩＭＧ１の中から、なるべく被写体の姿勢や位置が多様になるようなカラー画像ＩＭＧ１を選出する（ステップＳ７１２）。これは、例えば、基準カラー画像に対して異なる画素値を持つ領域が多いカラー画像ＩＭＧ１を選出し、次に、これを新たな基準画像として他のカラー画像ＩＭＧ１を選出する、ということを繰り返せば良い。

そして、プロセッサ１１は、選出したそれぞれのカラー画像ＩＭＧ１に対し、対象の被写体の領域だけを前景としたマスク画像を作成する（ステップＳ７１３）。対象の被写体の領域は、例えば、カラー画像間で画素値の異なる領域である。勿論、その他の周知の手法により被写体の領域を判別して良い。

最後に、プロセッサ１１は、作成したマスク画像と元のカラー画像ＩＭＧ１との組み合わせを、例えば外部記憶装置１４に設けた画像記憶部１６１に保存する（ステップＳ７１４）。

以上のようにして、画像記憶部１６１に、背景画像ＩＭＧ２、背景深度画像ＩＭＧ３、座標画像ＩＭＧ４（ｘ座標画像ＩＭＧ４Ｘ、ｙ座標画像ＩＭＧ４Ｙ）及びマスク画像とカラー画像ＩＭＧ１の組み合わせが記憶されたならば、利用者により学習処理の開始指示が入力される。

すると、プロセッサ１１は、上記ステップＳ１１３においてＹＥＳと判断し、学習部１７０として動作して、教師画像群を生成する（ステップＳ１１４）。すなわち、プロセッサ１１は、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されているカラー画像ＩＭＧ１とマスク画像との組み合わせと、背景画像ＩＭＧ２、背景深度画像ＩＭＧ３及び座標画像ＩＭＧ４（ｘ座標画像ＩＭＧ４Ｘ、ｙ座標画像ＩＭＧ４Ｙ）とを取得し、これらを１組の教師画像とする。プロセッサ１１は、このような教師画像の複数組を集約して、教師画像群を生成する。

そして、プロセッサ１１は、ＧＰＵ１３にこの教師画像群を入力して、ＧＰＵ１３を用いた深層学習を実施する（ステップＳ１１５）。図１２は、このときの深層学習モデルの一例を示す概略図である。

なお、ＧＰＵ１３の性能に合わせて、プロセッサ１１は、ＧＰＵ１３への入力画像の解像度を変更したり、畳み込みの回数を変更したり、畳み込み時に増加させるチャンネル数を変更したり、といった調整を行っても良い。特に、エンコーダ部分については、どれくらい汎化する必要があるか、どれくらい高速に推論する必要があるか、の両方を考慮して層の構成を検討することが望ましい。

最後に、プロセッサ１１は、学習後のモデルを、例えば外部記憶装置１４に設けたモデル記憶部１６２に保存して（ステップＳ１１６）、このステップＳ１１０の学習処理を終了する。

図１３は、上記ステップＳ１２０のＬＵＴ生成処理の詳細の一例を示すフローチャートである。
プロセッサ１１は、ＬＵＴ生成部１８０として動作して、まず、画素値の量子化度合いを設定する（ステップＳ１２１）。この量子化は、色に関するルックアップテーブルのファイルサイズを削減することを目的として実施するものである。例えば、処理対象の画像として２４ビットの画像（画素値が０から２５５の２５６階調の３チャンネル画像）を扱っている場合、量子化は、それを１８ビットの画像（画素値が０から３１の３２階調の３チャンネル画像）に変換したり、１２ビットの画像（画素値が０から１５の１６階調の３チャンネル画像）に変換したりする処理である。プロセッサ１１は、入力装置１５からの利用者の設定するルールに基づき、この量子化度合いを設定する。

次に、プロセッサ１１は、境界補正時の周辺画素である探索画素の探索範囲の上限を設定する（ステップＳ１２２）。この探索範囲の上限は、前景か背景か未分類領域の判定対象画素である境界補正対象画素について、周囲何画素まで参照するかである。例えば、探索範囲を６４画素や３２画素に上限設定することで、座標に関するルックアップテーブルのファイルサイズを削減することができる。プロセッサ１１は、入力装置１５からの利用者の設定するルールに基づき、この探索範囲の上限を設定する。

そして、プロセッサ１１は、これらの設定に従って、２種類のルックアップテーブル、すなわち、画素間の色に関するルックアップテーブル及び画素間の座標に関するルックアップテーブルを生成する（ステップＳ１２３）。

図１４は、画素間の色に関するルックアップテーブルＬＵＴ１の一例を示す図である。このルックアップテーブルＬＵＴ１は、２４ビットから１８ビットに量子化した際の色に関するルックアップテーブルの例である。

図１５は、判定対象画素である境界補正時の補正対象画素ＰＩＳとその周辺画素である探索画素ＰＩＲとの色に関する関係を示す模式図である。画素間の色に関するルックアップテーブルＬＵＴ１は、この補正対象画素ＰＩＳと探索画素ＰＩＲの全ての色の組み合わせを入力とし、その２画素間の色の距離、つまり色の差と、その距離にインデックスを付与したものを出力とするルックアップテーブルとなる。なお、ＲＧＢ空間に限らず、扱う画像の色空間に合わせて、ＹＵＶ空間など他の色空間としても良い。

プロセッサ１１は、例えば、以下の式に示すような演算を行って、この画素間の色に関するルックアップテーブルＬＵＴ１を生成することができる。プロセッサ１１は、これらの演算を、ビットシフト演算によって高速に計算することができる。

補正対象画素ＰＩＳの色を（Ｒ_src，Ｇ_src，Ｂ_src）、探索画素ＰＩＲの色を（Ｒ_ref，Ｇ_ref，Ｂ_ref）とすると、画素間の色の距離ｄ_color（例えばユークリッド距離など）は、以下のようになる。

また、色のインデックスｉ_colorは、以下の関係を持つ。

データ型サイズ調整のため、画素間の色の距離ｄ_colorは、以下のように補正して、色の距離ｄ'_colorとする。

よって、画素間の色に関するルックアップテーブルＬＵＴ１は、以下のように書き表すことができる。

なお、色のインデックスｉ_colorの各要素ｉ_Rs，ｉ_Gs，ｉ_Bs，ｉ_Rr，ｉ_Gr，ｉ_Brは、以下のようにして求めることができる。

図１６は、画素間の座標に関するルックアップテーブルＬＵＴ２の一例を示す図である。このルックアップテーブルＬＵＴ２は、探索範囲上限を６４画素に設定した際の画素間の座標に関するルックアップテーブルの例である。

図１７は、境界補正時の補正対象画素ＰＩＳと探索画素ＰＩＲとの座標に関する関係を示す模式図である。画素間の座標に関するルックアップテーブルＬＵＴ２は、この補正対象画素ＰＩＳと探索画素ＰＩＲの各座標の差分の絶対値の組み合わせを入力とし、その２画素の距離と、その距離にインデックスを付与したものを出力とするルックアップテーブルとなる。

プロセッサ１１は、例えば、以下の式に示すような演算を行って、この画素間の距離に関するルックアップテーブルＬＵＴ２を生成することができる。プロセッサ１１は、これらの演算を、ビットシフト演算によって高速に計算することができる。

補正対象画素ＰＩＳの座標を（ｘ_src，ｙ_src）、探索画素ＰＩＲの座標を（ｘ_ref，ｙ_ref）とすると、画素間の座標の距離ｄ_coord（例えばユークリッド距離など）は、以下のようになる。

また、距離のインデックスｉ_coordは、以下の関係を持つ。

よって、画素間の座標に関するルックアップテーブルＬＵＴ２は、以下のように書き表すことができる。

なお、座標のインデックスｉ_coordの各要素は、以下のようにして求めることができる。

以上のようにして、２種類の色に関するルックアップテーブルＬＵＴ１と座標に関するルックアップテーブルＬＵＴ２を作成したならば、プロセッサ１１は、それら作成した２種類のルックアップテーブルを、例えば外部記憶装置１４に設けたＬＵＴ記憶部１６３に保存する（ステップＳ１２４）。そして、プロセッサ１１は、このステップＳ１２０のＬＵＴ生成処理を終了する。

図１８は、上記ステップＳ３００での画像処理に係わる各部に対するＣＰＵスレッドの割当の一例を示す図である。プロセッサ１１が備えるＣＰＵのスレッド数が例えば２４であるとすると、画像受信部１１０、推論部１２０、境界補正部１３０、画像合成部１４０及び画像送信部１５０それぞれで専有するＣＰＵスレッドとして、この２４のＣＰＵスレッドを割り振る。ここでは、プロセッサ１１は、画像受信部１１０、推論部１２０、画像合成部１４０及び画像送信部１５０のそれぞれに３つずつＣＰＵスレッドを割り当て、境界補正部１３０には１２のＣＰＵスレッド数を割り当てる。例えば、境界補正部１３０の処理は、画素ごとに独立した並列化可能な処理であるため、プロセッサ１１は、境界補正部１３０にできるだけ多くのスレッドを割り当て、システム全体としての処理速度が向上するようなバランスに調整している。

図１９は、上記ステップＳ４００での初期化処理の詳細の一例を示すフローチャートである。
プロセッサ１１は、まず、例えば外部記憶装置１４に設けた画像記憶部１６１に保存されている背景画像ＩＭＧ２、背景深度画像ＩＭＧ３及び座標画像ＩＭＧ（ｘ座標画像ＩＭＧ４Ｘ、ｙ座標画像ＩＭＧ４Ｙ）を取得する（ステップＳ４０１）。取得した各画像は、メモリ１２に確保したワーク領域に一時保存される。

次に、プロセッサ１１は、例えば外部記憶装置１４に設けたモデル記憶部１６２に保存されている深層学習モデルを読み込み、メモリ１２に確保したワーク領域に一時保存する（ステップＳ４０２）。

さらに、プロセッサ１１は、例えば外部記憶装置１４に設けたＬＵＴ記憶部１６３に保存されている色に関するルックアップテーブルＬＵＴ１と座標に関するルックアップテーブルＬＵＴ２とを読み込み、メモリ１２に確保したワーク領域に一時保存する（ステップＳ４０３）。

以上により、推論ための準備が完了し、プロセッサ１１は、この初期化処理を終了する。

図２０は、上記ステップＳ５００での画像処理の詳細の一例を示すフローチャートである。
プロセッサ１１が備えるＣＰＵは、例えば３つのＣＰＵスレッドを使用して、まず、画像受信部１１０としての動作を実行する。すなわち、画像受信部１１０としての動作を割り当てられたＣＰＵスレッドは、撮像部２００からのカラー映像（或いは、カラー映像と深度映像）を受信し、カラー映像における１フレームのカラー画像を取得する（ステップＳ５０１）。そして、当該ＣＰＵスレッドは、取得したカラー画像に対し、必要に応じて色変換を行い、処理対象のカラー画像としてメモリ１２に確保されたワーク領域に一時保存する。図６は、この取得して一時保存される処理対象のカラー画像ＩＭＧ１の一例を示す図である。

この一時保存された処理対象のカラー画像ＩＭＧ１に対し、プロセッサ１１が備えるＣＰＵは、例えば３つのＣＰＵスレッドを使用して、推論部１２０としての動作を実行する。すなわち、推論部１２０としての動作を割り当てられたＣＰＵスレッドは、上記ステップＳ４００の処理によりメモリ１２に一時保存されている、背景画像ＩＭＧ２、背景深度画像ＩＭＧ３及び座標画像ＩＭＧ４と、図２０に一点鎖線の矢印で示すように上記ステップＳ５０１の処理によりメモリ１２に一時保存されているカラー画像ＩＭＧ１と、を入力画像として読み出す。当該ＣＰＵスレッドは、この入力画像に対し、上記ステップＳ４００の処理によりメモリ１２に一時保存されている深層学習モデルを参照して推論処理を実行し、任意の数の前景のマスク画像を生成する（ステップＳ５０２）。そして、当該ＣＰＵスレッドは、生成したマスク画像を、メモリ１２に確保されたワーク領域に一時保存して、この図２０に示す画像処理の動作を終了する。その後は、当該ＣＰＵスレッドは、上記ステップＳ５００での判断から再びこの画像処理の動作に戻り、上記ステップＳ５０１にて処理対象となる次の１フレームのカラー画像ＩＭＧ１が取得されるのを待つことになる。

また、プロセッサ１１が備えるＣＰＵは、図２０に破線の矢印で示すように、この一時保存されたマスク画像に対し、例えば１２個のＣＰＵスレッドを使用して、境界補正部１３０としての動作を実行する。すなわち、境界補正部１３０としての動作を割り当てられたＣＰＵスレッドは、上記ステップＳ４００の処理によりメモリ１２に一時保存されている、背景画像ＩＭＧ２及びマスク画像と、図２０に一点鎖線の矢印で示すように上記ステップＳ５０１の処理によりメモリ１２に一時保存されているカラー画像ＩＭＧ１と、を取得する。当該ＣＰＵスレッドは、上記ステップＳ４００の処理によりメモリ１２に一時保存されている２種類のルックアップテーブルＬＵＴ１，ＬＵＴ２を使用して境界補正処理を実行することで、各マスク画像の前景と背景の境界領域を精緻に補正する（ステップＳ５０３）。そして、当該ＣＰＵスレッドは、補正後の各マスク画像を補正後マスク画像として、メモリ１２に確保したワーク領域に一時保存して、この図２０に示す画像処理の動作を終了する。その後は、当該ＣＰＵスレッドは、上記ステップＳ５００での判断から再びこの画像処理の動作に戻り、上記ステップＳ５０１での次の１フレームのカラー画像ＩＭＧ１の取得、及び、上記ステップＳ５０２でのマスク画像の生成を待つことになる。

図２１は、境界補正後マスク画像ＩＭＧ５の一例を示す図である。この例は、図６に示したカラー画像ＩＭＧ１を入力とした場合を示しており、カラー画像ＩＭＧ１に対し、二人の人物である対象の被写体の領域だけを前景とした２つの境界補正後マスク画像ＩＭＧ５１及びＩＭＧ５２が生成されている。

また、プロセッサ１１が備えるＣＰＵは、例えば３つのＣＰＵスレッドを使用して、図２０に破線の矢印で示すように、一時保存された任意の数の境界補正後マスク画像ＩＭＧ５を用いて、画像合成部１４０としての動作を実行する。すなわち、画像合成部１４０としての動作を割り当てられたＣＰＵスレッドは、図２０に一点鎖線の矢印で示すように上記ステップＳ５０１の処理によりメモリ１２に一時保存されているカラー画像ＩＭＧ１を読み出す。当該ＣＰＵスレッドは、このカラー画像ＩＭＧ１を上記ステップＳ５０３の処理によりメモリ１２に一時保存されている任意の数の境界補正後マスク画像ＩＭＧ５によってマスクすることで、前景のみが抽出された画像である任意の数の抽出画像を生成する（ステップＳ５０４）。そして、当該ＣＰＵスレッドは、生成した各抽出画像を、メモリ１２に確保したワーク領域に一時保存して、この図２０に示す画像処理の動作を終了する。その後は、当該ＣＰＵスレッドは、上記ステップＳ５００での判断から再びこの画像処理の動作に戻り、上記ステップＳ５０１での次の１フレームのカラー画像ＩＭＧ１の取得、及び、上記ステップＳ５０３での境界補正後マスク画像ＩＭＧ５の生成を待つことになる。

図２２は、抽出画像ＩＭＧ６の一例を示す図である。この例は、図６に示したカラー画像ＩＭＧ１を入力とした場合を示しており、カラー画像ＩＭＧ１に対し、二人の人物である対象の被写体を前景として抽出した２つの抽出画像ＩＭＧ６１及びＩＭＧ６２が生成されている。

また、プロセッサ１１が備えるＣＰＵは、図２０に破線の矢印で示すように、この一時保存された任意の数の抽出画像ＩＭＧ６に対し、例えば３個のＣＰＵスレッドを使用して、画像送信部１５０としての動作を実行する。すなわち、画像送信部１５０としての動作を割り当てられたＣＰＵスレッドは、上記ステップＳ５０４の処理によりメモリ１２に一時保存されている任意の数の抽出画像ＩＭＧ６を映像の１フレームに変換し、映像として表示部３００に送信する（ステップＳ５０５）。そして、当該ＣＰＵスレッドは、この図２０に示す画像処理の動作を終了する。その後は、当該ＣＰＵスレッドは、上記ステップＳ５００での判断から再びこの画像処理の動作に戻り、上記ステップＳ５０４での抽出画像ＩＭＧ６の生成を待つことになる。

図２３は、以上の画像処理に係わる各画像の対応関係を示す図である。受信したカラー映像から取得されたカラー画像ＩＭＧ１に対して深層学習モデルを参照して推論処理を行うことで、マスク画像ＩＭＧ７が生成される。このマスク画像ＩＭＧ７に対して２種類のルックアップテーブルＬＵＴ１，ＬＵＴ２を使用して境界補正処理を行うことで、境界補正後マスク画像ＩＭＧ５が生成される。この境界補正後マスク画像ＩＭＧ５によってカラー画像ＩＭＧ１をマスクすることによって、抽出画像ＩＭＧ６が生成される。

以上に説明した一実施形態に係る画像処理装置としての画像処理部１００は、少なくとも、学習対象の複数のカラー画像と、これら複数のカラー画像に関して作成されたマスク画像と、それら複数のカラー画像と同一の解像度で、水平方向に最小画素値から最大画素値まで連続的に変化するｘ座標画像ＩＭＧ４Ｘ及び垂直方向に最小画素値から最大画素値まで連続的に変化するｙ座標画像ＩＭＧ４Ｙを含む、カラー画像の内容に依存しない座標画像ＩＭＧ４と、を予め画像記憶部１６１に保存しておくと共に、学習部１７０により、この画像記憶部１６１に保存されている複数のカラー画像、マスク画像及び座標画像ＩＭＧ４を用いて深層学習を行い、深層学習モデルを生成してモデル記憶部１６２に保存しておく。そして、画像処理部１００は、処理対象のカラー画像ＩＭＧ１を画像受信処理部としての画像受信部１１０で受信し、推論処理部としての推論部１２０にて、この処理対象のカラー画像ＩＭＧ１と、画像記憶部１６１に保存された座標画像ＩＭＧ４と、を入力として、モデル記憶部１６２に保存されている学習部１７０によって生成された深層学習モデルを参照して推論することで、処理対象のカラー画像ＩＭＧ１中の少なくとも１つの被写体領域である前景を抽出して、少なくとも１つのマスク画像ＩＭＧ７を生成する。また、画像処理部１００は、境界補正処理部としての境界補正部１３０にて、処理対象のカラー画像ＩＭＧ１と、推論部１２０が生成したマスク画像ＩＭＧ７と、を入力とし、処理対象のカラー画像ＩＭＧ１における少なくとも１つの被写体領域である前景それぞれと背景との境界領域における判定対象画素とその周辺画素との間の色及び座標の関係に基づいて、判定対象画素が前景と背景の何れであるかを判定して境界領域を補正することで、少なくとも１つの境界補正後マスク画像ＩＭＧ５を生成し、画像合成処理部としての画像合成部１４０にて、処理対象のカラー画像ＩＭＧ１とこの境界補正部１３０が生成した境界補正後マスク画像ＩＭＧ５とを合成して、少なくとも１つの前景の抽出画像ＩＭＧ６を生成する。

このように、一実施形態に係る画像処理装置としての画像処理部１００は、学習対象のカラー画像とそれに基づくマスク画像及び座標画像ＩＭＧ４（ｘ座標画像ＩＭＧ４Ｘ，ｙ座標画像ＩＭＧ４Ｙ）を入力として、セグメンテーションを行う深層学習モデルを構築し、処理対象のカラー画像ＩＭＧ１について、この深層学習モデルを参照した推論処理を行うようにしているので、画像中の任意の数の被写体について、それらの領域を精緻且つ高速に抽出することができる。

また、一実施形態によれば、画像受信部１１０が受信する処理対象のカラー画像ＩＭＧ１は、撮影画角が固定された画像であり、また、画像記憶部１６１が保存する学習対象の複数のカラー画像は、処理対象のカラー画像ＩＭＧ１と同一の撮影範囲を同一の撮影画角により撮影した画像であって、画像処理部１００の画像記憶部１６１はさらに、学習対象の複数のカラー画像に基づいてそれぞれ生成された、画像中に抽出対象の被写体が含まれてない背景だけの画像である背景画像ＩＭＧ２と、深度画像である背景深度画像ＩＭＧ３と、を予め保存する。そして、画像処理部１００は、学習部１７０にて、学習対象の複数のカラー画像、マスク画像及び座標画像ＩＭＧ４に加えて、画像記憶部１６１に保存されている背景画像ＩＭＧ２及び背景深度画像ＩＭＧ３を用いて深層学習を行う。従って、画像処理部１００は、推論部１２０にて、処理対象のカラー画像ＩＭＧ１及び座標画像ＩＭＧ４に加えて、画像記憶部１６１に保存されている背景画像ＩＭＧ２及び背景深度画像ＩＭＧ３を入力として、深層学習モデルを参照して推論することで、少なくとも１つのマスク画像ＩＭＧ７を生成し、境界補正部１３０にて、処理対象のカラー画像ＩＭＧ１及びマスク画像ＩＭＧ７に加えて、画像記憶部１６１に保存されている背景画像ＩＭＧ２を入力として、境界領域に対応する背景画像ＩＭＧ２の判定対象画素である補正対象画素ＰＩＳとその周辺画素である探索画素ＰＩＲとの間の色及び座標の関係に基づいて境界領域を補正して、少なくとも１つの境界補正後マスク画像ＩＭＧ５を生成する。

このように、一実施形態に係る画像処理装置としての画像処理部１００は、カラー画像ＩＭＧ１と背景画像ＩＭＧ２に加え、背景深度画像ＩＭＧ３及び座標画像ＩＭＧ４（ｘ座標画像ＩＭＧ４Ｘ，ｙ座標画像ＩＭＧ４Ｙ）を入力として、セグメンテーションを行う深層学習モデルを構築し、この深層学習モデルを参照した推論処理を行うので、入力の情報量が増加する分、抽出精度が向上し、画像中の任意の数の被写体について、それらの領域を、より精緻に抽出することができる。

また、一実施形態によれば、学習対象の複数のカラー画像と一緒に学習対象の複数のカラー画像に対応する複数の深度画像が撮影される場合には、画像記憶部１６１が保存する背景深度画像ＩＭＧ３は、それら複数の深度画像から生成される画像であり、また、学習対象の複数のカラー画像と一緒に深度画像が撮影されない場合には、画像記憶部１６１が保存する背景深度画像ＩＭＧ３は、学習対象の複数のカラー画像に基づいて生成された背景画像ＩＭＧ２から擬似的に作成された画像とすることができる。

よって、学習対象のカラー画像と一緒に深度画像が取得できなくても背景深度画像ＩＭＧ３を保存することができ、また、深度画像が取得できる場合には、高精度な背景深度画像ＩＭＧ３を保存することができる。

また、一実施形態に係る画像処理装置としての画像処理部１００は、利用者が設定するルールに基づいて、判定対象画素である補正対象画素ＰＩＳとその周辺画素である探索画素ＰＩＲとの間の色及び座標の関係の判定を高速化するためのルックアップテーブルを生成しておくＬＵＴ生成部１８０をさらに備え、境界補正部１３０にて、このＬＵＴ生成部１８０が生成したルックアップテーブルを使用して境界領域における補正対象画素ＰＩＳと探索画素ＰＩＲとの間の色及び座標の関係を取得して、判定対象画素が前景と背景の何れであるかを判定する。

よって、一実施形態によれば、境界補正における２画素間の色と座標の関係判定をルックアップテーブルを用いて行うことで、演算量を削減し高速化しているので、画像中の任意の数の被写体について、それらの領域を、より高速に抽出することが可能となる。

なお、一実施形態に係る画像処理装置としての画像処理部１００は、ＬＵＴ生成部１８０にて、判定対象画素である補正対象画素ＰＩＳの色と周辺画素である探索画素ＰＩＲの色に応じて画素間の色の差つまり色の距離を出力する画素間の色に関するルックアップテーブルＬＵＴ１と、補正対象画素ＰＩＳの座標と探索画素ＰＩＲの座標に応じて画素間の座標距離を出力する画素間の座標に関するルックアップテーブルＬＵＴ２と、を生成する。

よって、一実施形態によれば、境界補正における色と座標の距離計算をルックアップテーブルによって行うことで、演算量を削減し高速化しているので、画像中の任意の数の被写体について、それらの領域を精緻且つ高速に抽出することができる。

また、一実施形態に係る画像処理装置としての画像処理部１００における画像受信部１１０、推論部１２０、境界補正部１３０、画像合成部１４０及び画像送信部１５０が、マルチスレッド数のＣＰＵによって構成される場合、それら各部で専有するＣＰＵのスレッド数を制御する並列数管理部１９０をさらに備えている。

よって、一実施形態によれば、処理部ごとに割り当てるＣＰＵスレッド数を設定することで、処理に多くの能力を必要とする境界補正部１３０にできるだけ多くのスレッドを割り当てることができ、システム全体としての処理速度が向上するようなバランスに調整することかできる。

［他の実施形態］
前記一実施形態は、撮影するカラー映像の画角が固定であることを前提としたものである。しかしながら、画角が固定されたカメラで撮影したカラー画像でなくても良い。この場合は、背景情報が使用できないため、背景画像ＩＭＧ２と背景深度画像ＩＭＧ３を入力から除外して、深層学習モデルを構築すれば良い。

また、一実施形態では、ステップＳ１１０の学習処理を実行後にステップＳ１２０のＬＵＴ生成処理を実行するものとしたが、その順番は逆であっても良いし、ＣＰＵの別スレッドで学習処理とＬＵＴ生成処理とを並行して実行するようにしても構わない。これに限らず、図３～図５、図７、図８及び図１３に示したフローチャートの各処理は、当該処理がそれ以前の処理の結果を利用しない限りは、順番を入れ替えたり、並行して処理したりするようにしても構わない。また、図２０に示したフローチャートの各処理は、並行して処理するものとしたが、プロセッサ１１の性能が許せば、それ以前の処理の結果を利用するように各処理を順番に行うようにしても構わない。

また、一実施形態では、画像編集部４００を画像処理部１００の外部に設けているが、画像処理部１００に画像編集部４００の機能を組み込んでも構わない。

また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。

要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組合せて実施しても良く、その場合組合せた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

１１…プロセッサ
１２…メモリ
１３…境界補正部
１４…外部記憶装置
１５…入力装置
１６…出力装置
１７…通信ＩＦ装置
１８…バス
１００…画像処理部
１１０…画像受信部
１２０…推論部
１３０…境界補正部
１４０…画像合成部
１５０…画像送信部
１６０…記憶部
１６１…画像記憶部
１６２…モデル記憶部
１６３…ＬＵＴ記憶部
１７０…学習部
１８０…ＬＵＴ生成部
１９０…並列数管理部
２００…撮像部
３００…表示部
４００…画像編集部
ＩＭＧ１…カラー画像
ＩＭＧ２…背景画像
ＩＭＧ３…背景深度画像
ＩＭＧ４…座標画像
ＩＭＧ４Ｘ…ｘ座標画像
ＩＭＧ４Ｙ…ｙ座標画像
ＩＭＧ５，ＩＭＧ５１，ＩＭＧ５２…境界補正後マスク画像
ＩＭＧ６，ＩＭＧ６１，ＩＭＧ６２…抽出画像
ＩＭＧ７…マスク画像
ＬＵＴ１，ＬＵＴ２…ルックアップテーブル
ＰＩＲ…探索画素
ＰＩＳ…補正対象画素

Claims (8)

1. 少なくとも、学習対象の複数のカラー画像と、前記複数のカラー画像に関して作成されたマスク画像と、前記複数のカラー画像と同一の解像度で、水平方向に最小画素値から最大画素値まで連続的に変化するｘ座標画像及び垂直方向に最小画素値から最大画素値まで連続的に変化するｙ座標画像を含む、前記カラー画像の内容に依存しない座標画像と、を予め保存する画像記憶部と、
   前記画像記憶部に保存されている前記複数のカラー画像、前記マスク画像及び前記座標画像を用いて深層学習を行い、深層学習モデルを生成する学習部と、
   処理対象のカラー画像を受信する画像受信処理部と、
   前記処理対象のカラー画像と、前記画像記憶部に保存された前記座標画像と、を入力として、前記学習部によって生成された前記深層学習モデルを参照して推論することで、前記処理対象のカラー画像中の少なくとも１つの被写体領域である前景を抽出して、少なくとも１つのマスク画像を生成する推論処理部と、
   前記処理対象のカラー画像と、前記推論処理部が生成した前記マスク画像と、を入力とし、前記処理対象のカラー画像における前記少なくとも１つの前景それぞれと背景との境界領域における判定対象画素とその周辺画素との間の色及び座標の関係に基づいて、前記判定対象画素が前記前景と前記背景の何れであるかを判定して前記境界領域を補正することで、少なくとも１つの境界補正後マスク画像を生成する境界補正処理部と、
   前記処理対象のカラー画像と前記境界補正処理部が生成した前記境界補正後マスク画像とを合成して、前記少なくとも１つの前景の抽出画像を生成する画像合成処理部と、
   を具備する、画像処理装置。
2. 前記画像受信処理部が受信する前記処理対象のカラー画像は、撮影画角が固定された画像であり、
   前記画像記憶部が保存する前記学習対象の複数のカラー画像は、前記処理対象のカラー画像と同一の撮影範囲を同一の撮影画角により撮影した画像であり、
   前記画像記憶部はさらに、前記学習対象のカラー画像に基づいてそれぞれ生成された、画像中に抽出対象の被写体が含まれてない背景だけの画像である背景画像と、深度画像である背景深度画像と、を予め保存し、
   前記学習部は、前記学習対象の複数のカラー画像、前記マスク画像及び前記座標画像に加えて、前記画像記憶部に保存されている前記背景画像及び前記背景深度画像を用いて深層学習を行い、
   前記推論処理部は、前記処理対象のカラー画像及び前記座標画像に加えて、前記画像記憶部に保存されている前記背景画像及び前記背景深度画像を入力として、前記深層学習モデルを参照して推論することで、前記少なくとも１つのマスク画像を生成し、
   前記境界補正処理部は、前記処理対象のカラー画像及び前記マスク画像に加えて、前記画像記憶部に保存されている前記背景画像を入力として、前記境界領域に対応する前記背景画像の判定対象画素とその周辺画素との間の色及び座標の関係に基づいて前記境界領域を補正して、前記少なくとも１つの境界補正後マスク画像を生成する、請求項１に記載の画像処理装置。
3. 前記学習対象の複数のカラー画像と一緒に前記学習対象の複数のカラー画像に対応する複数の深度画像が撮影される場合、前記画像記憶部が保存する前記背景深度画像は、前記複数の深度画像から生成される画像であり、
   前記学習対象の複数のカラー画像と一緒に前記深度画像が撮影されない場合には、前記画像記憶部が保存する前記背景深度画像は、前記学習対象の複数のカラー画像に基づいて生成された前記背景画像から擬似的に作成された画像である、請求項２に記載の画像処理装置。
4. 利用者が設定するルールに基づいて、前記判定対象画素と前記周辺画素との間の前記色及び前記座標の関係の判定を高速化するためのルックアップテーブルを生成しておくＬＵＴ生成部をさらに具備し、
   前記境界補正処理部は、前記ＬＵＴ生成部が生成した前記ルックアップテーブルを使用して前記境界領域における前記判定対象画素と前記周辺画素との間の前記色及び前記座標の関係を取得して、前記判定対象画素が前記前景と前記背景の何れであるかを判定する、請求項１乃至３の何れかに記載の画像処理装置。
5. 前記ＬＵＴ生成部は、前記判定対象画素の色と前記周辺画素の色に応じて画素間の色の差を出力する画素間の色に関するルックアップテーブルと、前記判定対象画素の座標と前記周辺画素の座標に応じて画素間の座標距離を出力する画素間の座標に関するルックアップテーブルと、を生成する、請求項４に記載の画像処理装置。
6. 前記画像受信処理部、前記推論処理部、前記境界補正処理部及び前記画像合成処理部が、マルチスレッド数のＣＰＵによって構成される場合、各処理部で専有する前記ＣＰＵのスレッド数を制御する並列数管理部をさらに具備する、請求項１乃至５の何れかに記載の画像処理装置。
7. プロセッサと記憶装置とを有し、画像から少なくとも一つの被写体領域である前景を抽出する画像処理装置における画像処理方法であって、
   前記プロセッサが、少なくとも、学習対象の複数のカラー画像と、前記複数のカラー画像に関して作成されたマスク画像と、前記複数のカラー画像と同一の解像度で、水平方向に最小画素値から最大画素値まで連続的に変化するｘ座標画像及び垂直方向に最小画素値から最大画素値まで連続的に変化するｙ座標画像を含む、前記カラー画像の内容に依存しない座標画像と、を予め前記記憶装置に保存させ、
   前記プロセッサが、前記保存されている前記複数のカラー画像、前記マスク画像及び前記座標画像を用いて深層学習を行い、深層学習モデルを生成して、前記記憶装置に保存させ、
   前記プロセッサが、処理対象のカラー画像を受信し、
   前記プロセッサが、前記受信した前記処理対象のカラー画像と、前記保存された前記座標画像ＩＭＧ４と、を入力として、前記保存された前記深層学習モデルを参照して推論することで、前記処理対象のカラー画像中の少なくとも１つの前景を抽出して、少なくとも１つのマスク画像を生成し、
   前記プロセッサが、前記受信した前記処理対象のカラー画像と、前記生成した前記マスク画像と、を入力とし、前記処理対象のカラー画像における前記少なくとも１つの前景それぞれと背景との境界領域における判定対象画素とその周辺画素との間の色及び座標の関係に基づいて、前記判定対象画素が前記前景と前記背景の何れであるかを判定して前記境界領域を補正することで、少なくとも１つの境界補正後マスク画像を生成し、
   前記プロセッサが、前記受信した前記処理対象のカラー画像と前記生成した前記境界補正後マスク画像とを合成して、前記少なくとも１つの前景の抽出画像を生成する、
   画像処理方法。
8. 請求項１乃至６の何れかに記載の画像処理装置の前記各部としてプロセッサを機能させる画像処理プログラム。
   
   

Images