JP6959459B2 - 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム - Google Patents
学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム Download PDFInfo
- Publication number
- JP6959459B2 JP6959459B2 JP2020558117A JP2020558117A JP6959459B2 JP 6959459 B2 JP6959459 B2 JP 6959459B2 JP 2020558117 A JP2020558117 A JP 2020558117A JP 2020558117 A JP2020558117 A JP 2020558117A JP 6959459 B2 JP6959459 B2 JP 6959459B2
- Authority
- JP
- Japan
- Prior art keywords
- input image
- image
- input
- estimation
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラムに関する。
背景と前景を含む画像から、前景の領域を示す推定データを生成する背景差分やキーイング等の技術が知られている。背景差分は、例えば、背景と前景を示す第1入力画像と、背景を示す第2入力画像の差分を抽出することで、前景や背景の領域を推定する技術である。第1入力画像は、例えば、背景が自然の風景である人物画像等である。キーイングには、例えば、背景が特定の色に統一された画像を撮影し、当該画像のうち特定の色である領域に別の画像を合成するクロマキーと呼ばれる技術がある。
また、前景と背景を含む画像とともに、トライマップ(Trimap)画像と呼ばれる3個の領域を示すラベル画像を用いることで、前景の領域を推定するイメージマッティングという技術がある。ここで、3個の領域は、前景を示す領域、背景を示す領域、及び、前景を示すか背景示すか不明な領域である。さらに、当該イメージマッティングにディープラーニングを適用することで、前景の領域を示す推定データを生成するディープイメージマッティングという技術がある(下記非特許文献1参照)。当該技術は、学習画像を学習した機械学習モデルによって実現されることで、高精度に前景を示す領域を推定している。
非特許文献1:ニン・シィー外3名、"ディープイメージマッティング”、[online]、平成29年4月11日、アーカイヴ[平成30年10月1日検索]、インターネット<URL:https://arxiv.org/pdf/1703.03872>
背景差分やキーイングを用いる場合において、上記のような第1入力画像に含まれる背景は、時間に応じて変化する。例えば、カメラの設置された位置、方向やズームが変化する場合がある。また、第1入力画像と第2入力画像の撮影時刻が異なることにより、背景の被写体に照射される光の色や強さ、また、当該光で生じる影の長さ等が変化する場合もある。さらに、背景に含まれる被写体が、追加されたり、取り除かれたりする場合もある。その為、人物等が前景に含まれる画像を撮影した直後に背景のみの画像を撮影したとしても、両画像に含まれる背景が示す領域を完全に同一とすることは困難である。このような場合、背景差分やキーイングを用いて、前景の領域を推定することは困難である。
また、キーイングに含まれるクロマキーは、比較的容易に前景の領域の推定できる。しかしながら、クロマキーを用いる場合には、例えば、背景として緑色などの単色の布や、背景色に応じた照明装置等を準備する必要があるため、手間を要する。イメージマッティングを用いる為には、前景の領域を推定する画像ごとにトライマップを手作業で作成する必要がある。特に、動画像に対してイメージマッティングを適用する場合、フレーム毎にトライマップを作成すると膨大な時間を要する。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で背景を示す第2入力画像を取得した場合であっても、高精度にかつ容易に前景の領域を示す推定データを生成する学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラムを提供することである。
上記課題を解決するために、本発明に係る学習装置は、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する入力画像取得部と、前記第1入力画像と前記第2入力画像の入力に応じて前記第1入力画像における前記前景の領域を示す推定データを生成する推定部を含み、該推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行する学習部と、を含む。
この態様では、前記所与の教師画像は、前記第1入力画像における前記前景の領域を示す第1教師画像を含む。
この態様では、前記所与の教師画像は、前記第1入力画像と同じ態様で前記前景を示す第2教師画像と、前記第1入力画像と同じ態様で前記背景を示す第3教師画像と、を含み、前記学習部は、さらに、生成された前記推定データと、前記第2教師画像と、前記第3教師画像と、に基づいて合成画像を生成する合成画像生成部を含み、前記学習部は、さらに、前記合成画像生成部に前記推定データと前記第2教師画像と前記第3教師画像とを入力した際に生成された前記合成画像と、前記第1入力画像と、に基づいて、前記推定部の学習を実行する。
この態様では、前記入力画像取得部は、異なる画像処理が適用された複数の第2入力画像のぞれぞれと、共通の前記第1入力画像とを組み合わせて取得する。
この態様では、前記入力画像取得部は、前記背景をCGモデリングすることで形成されたオブジェクトから、レンダリングによって生成された前記第2入力画像を取得する。
本発明に係る前景領域推定装置は、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する入力画像取得部と、前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部を含み、前記推定部は、該推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである。
この態様では、前記所与の教師画像は、前記第1入力画像における前記前景の領域を示す第1教師画像を含む。
この態様では、前記前景領域推定装置は、さらに、生成された前記推定データと、前記第1入力画像と、前記第2入力画像と、に基づいて合成画像を生成する合成画像生成部を含み、前記所与の教師画像は、前記第1入力画像と同じ態様で前記前景を示す第2教師画像と、前記第1入力画像と同じ態様で前記背景を示す第3教師画像と、を含み、前記推定部は、前記合成画像生成部に前記推定データと前記第2教師画像と前記第3教師画像とを入力した際に生成された前記合成画像と、前記第1入力画像と、に基づく学習が実行済の機械学習モデルである。
この態様では、前記入力画像取得部は、複数の前記第2入力画像の候補から、前記第1入力画像と対応する前記第2入力画像を選択して取得する。
この態様では、前記候補は、予め定められた画角及び相対的な撮影方向で設置された複数のカメラにより、前記背景がそれぞれ撮影される複数の画像である。
この態様では、前記入力画像取得部は、前記候補から、特徴点マッチングにより前記第1入力画像と対応する前記第2入力画像を選択して取得する。
この態様では、前記候補は、異なる色の照明が照射された前記背景が撮影された複数の画像であって、前記入力画像取得部は、前記候補から、既に生成された前記推定データにより背景を示す位置における画素の色情報に基づいて、前記第1入力画像と対応する前記第2入力画像を選択して取得する。
この態様では、前記候補は、照明が照射されていない状態で撮影された前記背景を示す画像から、前記背景に含まれる各物体の反射特性に基づいて、前記照明が照射された状態にある前記背景を示す画像として生成された画像である。
この態様では、共通の前記第1入力画像と、該共通の第1入力画像と組み合わせて入力された複数の第2入力画像と、に基づいて生成された複数の前記推定データから、1個の推定データを選択する選択部をさらに有する。
この態様では、前記入力画像取得部は、さらに、順次異なる撮影方向で撮影された動画像の一部を構成する静止画である第3入力画像を取得し、前記第2入力画像は、異なる撮影方向で予め撮影された複数の候補となる画像に基づいて、取得された画像であり、前記推定部は、前記第3入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する。
この態様では、前記第2入力画像は、前記複数の候補となる画像のうち、前記第3入力画像が撮影されたときの撮影方向と最も近い撮影方向から撮影された画像として選択された画像である。
この態様では、前記第2入力画像は、前記複数の候補となる画像の撮影方向と前記第3入力画像が撮影されたときの撮影方向との差に基づいて選択された画像に基づいて生成された画像である。
本発明に係る学習方法は、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得するステップと、前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行するステップと、を含む。
本発明に係る前景領域推定方法は、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得するステップと、前記第1入力画像と前記第2入力画像を入力した際に生成される推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである推定部に前記第1入力画像と前記第2入力画像を入力することで、当該推定部に前記前景の領域を示す前記推定データを生成させるステップと、を含む。
本発明に係るプログラムは、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する手順、前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行する手順、をコンピュータに実行させる。
本発明に係るプログラムは、背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する手順、前記第1入力画像と前記第2入力画像を入力した際に生成される推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである推定部に前記第1入力画像と前記第2入力画像を入力することで、当該推定部に前記前景の領域を示す前記推定データを生成させる手順、をコンピュータに実行させる。
〔第1実施形態〕
以下、本発明の第1実施形態について図面に基づき詳細に説明する。図1は、本実施形態に係る画像処理装置10の構成図である。
以下、本発明の第1実施形態について図面に基づき詳細に説明する。図1は、本実施形態に係る画像処理装置10の構成図である。
本実施形態に係る画像処理装置10は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図1に示すように、本実施形態に係る画像処理装置10は、例えば、プロセッサ12、記憶部14、操作部16、表示部18を含んでいる。
プロセッサ12は、例えば画像処理装置10にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。
記憶部14は、ROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部14には、プロセッサ12によって実行されるプログラムなどが記憶される。
操作部16は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ12に出力する。
表示部18は、液晶ディスプレイ等の表示デバイスであって、プロセッサ12の指示に従って各種の画像を表示する。
なお、画像処理装置10は、ネットワークボードなどの通信インタフェース、DVD−ROMやBlu−ray(登録商標)ディスクなどの光ディスクを読み取る光ディスクドライブ、USB(Universal Serial Bus)ポートなどを含んでいてもよい。
本実施形態に係る画像処理装置10には学習済の機械学習モデルが実装される。そして当該機械学習モデルを用いて、背景と前景を示す第1入力画像204と、該第1入力画像204と異なる態様で背景を示す第2入力画像206の入力に応じて、第1入力画像204における前景の領域を示す推定データ212が生成される。
また、本実施形態では、推定部210の学習が実行される。推定部210が実行する学習について、学習の態様を示す図2を参照しながら説明する。ここで推定部210の学習に用いられるデータを学習データと呼ぶこととする。学習データには、第1入力画像204、第2入力画像206、及び、所与の教師画像が含まれる。
まず、入力画像取得部208は、背景と前景を示す第1入力画像204と、該第1入力画像204と異なる態様で背景を示す第2入力画像206と、を組み合わせて取得する。具体的には、例えば、入力画像取得部208は、図2に示すような第1入力画像204及び第2入力画像206を取得する。図2の第1入力画像204は、植物等を背景として、人物を前景として撮影された画像である。ここで、異なる態様とは、例えば、両入力画像が異なる画角で撮影される場合や、背景に含まれる物体の配置や形状等が異なる状態で両入力画像が撮影される場合等を含む。
なお、入力画像取得部208は、画像の一部をスケールして第1入力画像204及び第2入力画像206を取得してもよい。具体的には、例えば、取得される背景と前景を示す画像と、該画像と異なる態様で背景を示す画像が4Kサイズであってもよい。この場合、入力画像取得部208は、当該画像を圧縮して320×320のサイズの画像を生成し、それぞれ第1入力画像204及び第2入力画像206として取得してもよい。
また、入力画像取得部208は、画像の一部をクロップした上で第1入力画像204及び第2入力画像206を取得してもよい。具体的には、例えば、背景と前景を示す画像に占める前景の領域が小さい場合、入力画像取得部208は、当該前景が示された領域の付近をクロップした画像を第1入力画像204として取得してもよい。また、この場合、入力画像取得部208は、背景と前景を示す画像のクロップされた領域と対応する領域を、背景を示す画像からクロップして第2入力画像206として取得する。
背景と前景の区別は、ユーザの認識によってなされる。すなわち、ユーザは、ユーザが背景及び前景の両方を含む画像として認識する画像を第1入力画像204として、入力画像取得部208に入力する。また、ユーザは、ユーザが背景のみを含む画像として認識する画像を第2入力画像206として入力画像取得部208に入力する。従って、前景の人物とは異なる人物が背景に含まれてもよい。
また、推定部210の過学習を防止するため、いわゆるオーグメンテーションが実施されることが望ましい。具体的には、入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像に基づいて、異なる画像処理が適用された複数の第2入力画像206を生成してもよい。例えば、入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像に対して、それぞれ異なるガンマ値が設定された第2入力画像206を生成してもよい。また、例えば、入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像に対して、それぞれ異なるノイズを加える処理が施すことで第2入力画像206を生成してもよい。また、例えば、入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像に対して、背景に含まれる被撮影物の一部が変更(例えば、削除、追加、位置の変更等)された第2入力画像206を生成してもよい。
この場合、入力画像取得部208は、入力画像生成部202に生成された複数の第2入力画像206を取得する。すなわち、入力画像取得部208は、それぞれ異なる画像処理が施された第2入力画像206のそれぞれと、共通の第1入力画像204とを組み合わせて取得する。
なお、入力画像生成部202は、第2入力画像206に限られず、第1入力画像204、第2教師画像218及び第3教師画像220に対して、ガンマ値の設定変更やノイズ処理を行ってもよい。
さらに、入力画像生成部202は、背景をCGモデリングすることで形成されたオブジェクトから、レンダリングによって第2入力画像206を生成してもよい。具体的には、例えば、ユーザは、レーザセンサやフォトグラメトリを用いて、事前に背景のCGモデリングを行う。そして、入力画像取得部208は、CGモデリングで形成されたオブジェクトから、レンダリングによって当該第2入力画像206と対応する第1入力画像204を生成してもよい。
さらに、入力画像取得部208は、入力画像生成部202によって生成された第1入力画像204と第2入力画像206を組み合わせて取得する。第1入力画像204及び第2入力画像206は、レンダリングによって生成されるため、異なる画角または異なる視点で生成された第1入力画像204及び第2入力画像206を取得できる。
以上のように、入力画像生成部202によって、1組の第1入力画像204及び第1入力画像204と異なる態様で背景を示す1枚の画像に基づいて、複数の学習データを生成することができる。
推定部210は、第1入力画像204と第2入力画像206の入力に応じて第1入力画像204における前景の領域を示す推定データ212を生成する。具体的には、例えば、推定部210は、入力画像取得部208が取得した第1入力画像204と第2入力画像206が入力される。そして、推定部210は、第1入力画像204と第2入力画像206の入力に応じて第1入力画像204における前景の領域を示す推定データ212を生成する。推定データ212は、例えば、前景を示す座標において1というアルファ値を有し、背景を示す座標において0というアルファ値を有するアルファマップである。なお、アルファ値は、0または1のいずれかの値である場合に限られない。例えば、アルファ値は、0以上1以下の実数であってもよいし、0から255の間の整数であってもよい。
推定部210は、例えば、畳み込みニューラルネットワーク(CNN)により実装された機械学習モデルである。推定部210が含むニューラルネットワーク全体は、エンコーダネットワークとデコーダネットワークとからなる。エンコーダネットワークとデコーダネットワークとは、従来技術であるブリッジ構造を有することが望ましい。
画像処理装置10が前景領域推定装置として機能する場合には、推定部210は、該推定部210に第1入力画像204と第2入力画像206を入力した際に生成された推定データ212と、所与の教師画像と、に基づく学習が実行済の機械学習モデルである。所与の教師画像は、教師画像取得部704(図7参照)によって取得される。所与の教師画像には、第1教師画像214、第2教師画像218及び第3教師画像220が含まれる。
第1教師画像214は、対応する第1入力画像204の前景を示す領域を表す正解の推定データ212(例えばアルファマップ)である。第2教師画像218は、第1入力画像204に含まれる前景のみを表す正解画像(すなわち、前景の正解画像)である。第3教師画像220は、第1入力画像204に含まれる背景と、第1入力画像204において前景が占める領域に表された背景と、を含む正解画像(すなわち、背景の正解画像)である。
本実施形態に係る学習において、まず、学習データに含まれる第1入力画像204及び第2入力画像206が、推定部210に入力される。すると推定部210は、当該第1入力画像204及び当該第2入力画像206の入力に応じて、推定データ212としてアルファマップを生成する。
そして、当該アルファマップと、学習部702(図7参照)に入力された第1教師画像214との比較結果(以下、第1誤差)が特定される。ここで例えば第1誤差は、0以上1以下の値をとるデータであってもよい。この場合、第1誤差は例えば、生成されたアルファマップと第1教師画像214が一致する場合に値として0をとり、一致しない場合に値として1をとるデータであってもよい。
さらに、本実施形態では例えば、アルファマップと、学習部702に入力された第1教師画像214との誤差に基づいて、例えば誤差逆伝搬法により、推定部210のパラメータの値が更新される。また、推定部210には、第1入力画像204と第2入力画像206の複数の組み合わせが入力される。これにより、推定部210のパラメータの値の更新が、繰り返し実行される。以上のようにして、画像処理装置10に実装されている機械学習モデルが学習される。
本実施形態では、さらに、合成画像生成部216が生成した合成画像222を用いて、学習部702の学習が実行されてもよい。すなわち、推定部210は、合成画像生成部216に推定データ212と第2教師画像218と第3教師画像220とを入力した際に生成された合成画像222と、第1入力画像204と、に基づく学習が実行済の機械学習モデルであってもよい。
合成画像生成部216は、前景及び背景を示す画像と背景を示す画像とのアルファ値に基づく合成処理が実行されることによって、合成画像222を生成する。例えば、前景を示す画像に含まれる画素の画素値と、アルファマップの当該画素のアルファ値と、背景を示す画像に含まれる当該画素に対応付けられる画素の画素値と、に基づいて、合成画像222に含まれる当該画素に対応付けられる画素の画素値が決定される。
例えば前景を示す画像に含まれる画素の赤色の階調値を表すR値がR1であり、当該画素のアルファ値がAであり、背景を示す画像における当該画素と同じ座標値の画素のR値がR0であることとする。また、アルファ値は、0から255の間の整数であるとする。この場合、R0×(1−A/255)+R1×A/255との数式で算出される値が、合成画像222に含まれる当該画素と同じ座標値の画素のR値として決定される。合成画像生成部216は、全ての画素における赤色、緑色及び青色の階調値に対して同様の処理を行うことによって、合成画像222を生成する。
また、合成画像生成部216は、前景及び背景を示す画像とアルファマップに基づいて、合成画像222を生成してもよい。具体的には、例えば前景を示す画像に含まれる画素の赤色の階調値を表すR値がR1であり、当該画素のアルファ値がAであるとする。この場合、合成画像生成部216は、R1×A/255との数式で算出される値が、合成画像222に含まれる当該画素と同じ座標値の画素のR値として決定される。さらに、合成画像生成部216は、合成画像222に含まれる当該画素のアルファ値がAであると決定する。合成画像生成部216は、全ての画素における赤色、緑色及び青色の階調値に対して同様の処理を行うことによって、合成画像222を生成する。すなわち、合成画像生成部216は、前景のみが表され、背景が透明な合成画像222を生成してもよい。
本実施形態に係る学習において、まず、生成された推定データ212と、学習データに含まれる第2教師画像218と、第3教師画像220と、が、合成画像生成部216に入力される。ここで、第2教師画像218は、第1入力画像204に含まれる前景のみを表す正解画像(すなわち、前景の正解画像)である。第3教師画像220は、第1入力画像204に含まれる背景と、第1入力画像204において前景が占める領域に表された背景と、を含む正解画像(すなわち、背景の正解画像)である。すると、合成画像生成部216は、上記の方法で、生成された推定データ212と、第2教師画像218と、第3教師画像220と、に基づいて合成画像222を生成する。
そして、当該合成画像222と、推定部210に入力された教師画像である第1入力画像204との比較結果(第2誤差)が特定される。ここで例えば第2誤差が0以上1以下の値をとるデータであってもよい。この場合、第2誤差は例えば、生成された合成画像222と第1入力画像204が一致する場合に値として0をとり、一致しない場合に値として1をとるデータであってもよい。
さらに、本実施形態では例えば、合成画像222と、学習部702に入力された第1入力画像204との誤差に基づいて、例えば誤差逆伝搬法により、推定部210のパラメータの値が更新される。また、推定部210には、第1入力画像204と第2入力画像206の複数の組み合わせが入力される。これにより、推定部210のパラメータの値の更新が、繰り返し実行される。以上のようにして、画像処理装置10に実装されている機械学習モデルが学習されてもよい。
以上のように、学習部702が、第1誤差及びまたは第2誤差を繰り返し特定することによって学習が実行される。なお、第1誤差を用いた学習と、第2誤差を用いた学習と、は、一方のみが実行されてもよいし、両方が実行されてもよい。
続いて、推定部210が第1誤差及び第2誤差を用いて実行する学習のフローについて、図3を参照しながら説明する。ここでは例えば、5×m(mは自然数)個の学習データが取得されることとする。また、5×m個の学習データは、5個ずつのデータ群に分割されていることとする。1個のデータ群は、第1入力画像204、第2入力画像206、第1教師画像214、第2教師画像218及び第3教師画像220を含む。以下、i(1≦i≦m)番目のデータ群を第iデータ群と呼ぶこととする。
まず、入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像が入力され、当該画像に基づいて異なる画像処理が適用されたm個の第2入力画像206を生成する(S302)。そして、入力画像取得部208は、共通の第1入力画像204と組み合わせて、生成されたm個の第2入力画像206を取得する(S304)。また、教師画像取得部704は、S302で取得された第1入力画像204と対応する第1教師画像214、第2教師画像218及び第3教師画像220を取得する(S306)。
そして、学習部702は、変数iの値に1を設定する(S308)。そして、学習部702は、第iデータ群に含まれる3個の学習データを用いて、アルファマップに基づく推定部210の学習を実行する(S310)。ここで、3個の学習データは、第1入力画像204、第2入力画像206及び第1教師画像214である。さらに、学習部702は、第iデータ群に含まれる2個の学習データを用いて、合成画像222に基づく推定部210の学習を実行する(S312)。ここで、2個の学習データは、第2教師画像218及び第3教師画像220である。
そして、学習部702は、変数iの値がmであるか否かを確認する(S314)。値がmでない場合は(S314:N)、学習部702は、変数iの値を1増加させて(S316)、S310に示す処理に戻る。値がmである場合は(S314:Y)、本処理例に示す処理を終了する。
本実施形態では例えば、以上のようにして学習が実行された機械学習モデルを用いて、推定データ212の生成及び合成画像222の生成が行われる。
以下、学習済の機械学習モデルを用いた推定データ212の生成及び合成画像222の生成について図4を参照しながら説明する。
まず、背景と前景を示す第1入力画像204と、該第1入力画像204と異なる態様で背景を示す第2入力画像206と、が組み合わせて入力画像取得部208に入力される。例えば、ユーザが所持したカメラまたは所定の位置に固定されたカメラは、家具等が配置された背景をバックにした人物を撮影する(第1入力画像204)。また、当該カメラは、当該人物がカメラの撮影範囲から外れた状態で、同じ位置から家具等が配置された部屋を撮影する(第2入力画像206)。なお、第1入力画像204及び第2入力画像206のサイズは、320×320である。
次に、入力画像取得部208が取得した第1入力画像204及び第2入力画像206は、学習済の推定部210に入力される。そして、推定部210は、第1入力画像204と第2入力画像206の入力に応じて第1入力画像204における前景の領域を示す推定データ212を生成する。ここで生成される推定データ212は、各画素における前景と背景の階調値の割合を示すアルファマップである。アルファマップのサイズは、320×320である。
そして、合成画像生成部216は、アルファマップと第1入力画像204に基づいて、合成画像222を生成する。ここで生成される合成画像222は、第1入力画像204に含まれる前景のみが表され、背景が透明な合成画像222である。合成画像222のサイズは、320×320である。
なお、入力画像のサイズと、推定部210が生成する推定データ212のサイズは一致しなくてもよい。当該場合について、図5を参照しながら説明する。
まず、背景と前景を示す画像と、該画像と異なる態様で背景を示す画像と、が組み合わせて入力画像生成部202に入力される。例えば、ユーザが所持したカメラまたは所定の位置に固定されたカメラは、家具等が配置された背景をバックにした人物を撮影する(前景及び背景を示す画像)。また、当該カメラは、当該人物がカメラの撮影範囲から外れた状態で、同じ位置から家具等が配置された部屋を撮影する(背景を示す画像)。ここで、前景及び背景を示す画像と、背景を示す画像は、いずれも4Kサイズである。
次に、前景及び背景を示す画像と、背景を示す画像は、320×320のサイズにスケールされる。当該スケール動作は、ユーザによって手作業で実行されてもよいし、入力画像取得部208が実行してもよい。そして、入力画像取得部208は、両画像をそれぞれ前景が示された領域の付近でクロップした画像を第1入力画像204及び第2入力画像206として取得する。なお、図5では、クロップ後の第1入力画像204及び第2入力画像206は、人物の付近が拡大されている。
次に、入力画像取得部208が取得した第1入力画像204及び第2入力画像206は、学習済の推定部210に入力される。そして、推定部210は、第1入力画像204と第2入力画像206の入力に応じて各画素における前景と背景の階調値の割合を示す推定データ212(例えば、アルファマップ)を生成する。ここで、生成されたアルファマップのサイズは、320×320である。さらに、推定部210は、ユーザまたは入力画像取得部208から取得した上記スケール前の画像サイズの情報に基づいて、アルファマップを元の画像データのサイズに復元する。すなわち、推定部210は、4Kサイズのアルファマップを生成する。さらに、合成画像生成部216が上記と同様の処理を行うことにより、合成画像222を生成する。
次に、本実施形態に係る画像処理装置10で行われる、合成画像222の生成処理の流れの一例を、図6に例示するフロー図を参照しながら説明する。
まず、入力画像取得部208には、いずれも4Kサイズである前景及び背景を示す画像と、背景を示す画像と、が入力される(S602)。入力画像取得部208は、前景及び背景を示す画像と、背景を示す画像を320×320のサイズにスケール及び又はクロップする(S604)。なお、ここで入力画像取得部208は、元の画像サイズに関する情報を合わせて取得し、推定部210に送る。そして、入力画像取得部208は、スケールされた画像をクロップし、第1入力画像204及び第2入力画像206として取得する(S606)。
次に、第1入力画像204及び第2入力画像206は、推定部210に入力される(S608)。推定部210は、入力された第1入力画像204及び第2入力画像206に基づいて、320×320のサイズである推定データ212を生成する(S610)。さらに、推定部210は、ユーザまたは入力画像取得部208から取得した上記スケール及び又はクロップ前の画像サイズの情報に基づいて、4Kサイズの推定データ212を生成する(S612)。そして、合成画像生成部216は、推定データ212と第1入力画像204に基づいて、第1入力画像204に含まれる前景のみが表され、背景が透明な合成画像222を生成する(S614)。なお、S614の後に、合成画像生成部216は、S614で生成された合成画像222と、任意の背景を含む画像と、に基づいて、S614で生成された合成画像222に含まれる前景と、任意の背景と、を含む合成画像222をさらに生成してもよい。
続いて、本実施形態に係る画像処理装置10の機能、及び、画像処理装置10で実行される処理についてさらに説明する。
図7は、本実施形態に係る画像処理装置10で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置10で、図7に示す機能のすべてが実装される必要はなく、また、図7に示す機能以外の機能が実装されていても構わない。
図7に示すように、本実施形態に係る画像処理装置10には、機能的には例えば、入力画像生成部202、入力画像取得部208、学習部702、教師画像取得部704、が含まれる。学習部702には、推定部210、合成画像生成部216、パラメータ保存部706が含まれる。以上の要素はプロセッサ12、及び、記憶部14を主として実装される。
なお、入力画像生成部202、入力画像取得部208、推定部210、合成画像生成部216、パラメータ保存部706、教師画像取得部704が、学習装置としての役割に相当する。また、入力画像生成部202、入力画像取得部208、推定部210、合成画像生成部216、パラメータ保存部706が、前景領域推定装置としての役割に相当する。
以上の機能は、コンピュータである画像処理装置10にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ12で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置10に供給されてもよい。
入力画像生成部202は、第1入力画像204と異なる態様で背景を示す1枚の画像に基づいて、異なる画像処理が適用された複数の第2入力画像206を生成する。なお、上述のように、入力画像生成部202は、背景をCGモデリングすることで形成されたオブジェクトから、レンダリングによって第2入力画像206を生成してもよい。
入力画像取得部208は、背景と前景を示す第1入力画像204と、該第1入力画像204と異なる態様で背景を示す第2入力画像206と、を組み合わせて取得する。入力画像取得部208は、入力画像生成部202が生成した第1入力画像204及び第2入力画像206を取得してもよいし、ユーザによって入力された第1入力画像204及び第2入力画像206を取得してもよい。
教師画像取得部704は、第1教師画像214、第2教師画像218及び第3教師画像220を取得する。なお、推定データ212に基づく学習のみが実行される場合には、教師画像取得部704は、第1教師画像214のみを取得してもよい。また、合成画像222に基づく学習のみが実行される場合には、教師画像取得部704は、第2教師画像218及び第3教師画像220のみを取得してもよい。
学習部702は、推定部210に第1入力画像204と第2入力画像206を入力した際に生成された推定データ212と、所与の教師画像と、に基づいて、推定部210の学習を実行する。また、学習部702は、さらに、合成画像生成部216に推定データ212と第2教師画像218と第3教師画像220とを入力した際に生成された合成画像222と、第1入力画像204と、に基づいて、推定部210の学習を実行してもよい。
推定部210は、第1入力画像204と第2入力画像206の入力に応じて第1入力画像204における前景の領域を示す推定データ212を生成する。推定部210は、CNNなどの機械学習モデルにより実装されていてもよい。
合成画像生成部216は、生成された推定データ212と、第2教師画像218と、第3教師画像220と、に基づいて合成画像222を生成する。また、合成画像生成部216は、推定データ212と第1入力画像204に基づいて、合成画像222を生成してもよい。
パラメータ保存部706は、推定部210のパラメータの値を保存する。学習実行時に、パラメータ保存部706に保存されるパラメータの値は随時更新される。一方、画像処理装置10が前景領域推定装置として機能する場合には、推定部210が学習済である状態におけるパラメータが、固定の値としてパラメータ保存部706に保存される。
以上のようにして、本実施形態によれば、精度の高い推定データ212及び合成画像222を容易に得ることができる。
本発明は、例えば以下のシーンで実施されて上記効果を奏する。例えば、バスケットボール等のスポーツやエレクトロニックスポーツ等のスポーツの試合中継の際に、動く選手を前景として抽出できる。また、リアルタイムの入場シーンから背景を除外して、選手の紹介ビデオを作成できる。また、歌手やダンサーが歌ったり踊ったりするライブ映像から、歌手やダンサーを抽出できる。また、ユーザが所持するスマートフォンやカメラ等で撮影した画像から、背景を変更した画像を作成できる。また、グリーンバックを用いない低予算の番組を撮影する際に、舞台セットでない場所で演じる役者を前景として抽出し、背景である舞台セットと合成できる。また、本発明は、VR映像作品を制作する際にも実施できる。PS Camera(登録商標)でユーザがゲームしているところを撮影し、ユーザの動作を前景として抽出できる。また、リモートワークするユーザがテレビ会議をする際に、背景である部屋を他の画像と合成できる。
〔第2実施形態〕
続いて、第2実施形態について、図8から図10を参照しながら説明する。第2実施形態では、画像処理装置10は、共通の第1入力画像204と、該共通の第1入力画像204組み合わせて入力された複数の第2入力画像206と、に基づいて生成された複数の推定データ212から、1個の推定データ212を選択する選択部1004を含む(図10参照)。なお、図10では、選択部1004は入力画像取得部208及び学習部702の外側に配置される構成を記載しているが、選択部1004は、入力画像取得部208及びまたは学習部702の内部に設けられてもよい。
続いて、第2実施形態について、図8から図10を参照しながら説明する。第2実施形態では、画像処理装置10は、共通の第1入力画像204と、該共通の第1入力画像204組み合わせて入力された複数の第2入力画像206と、に基づいて生成された複数の推定データ212から、1個の推定データ212を選択する選択部1004を含む(図10参照)。なお、図10では、選択部1004は入力画像取得部208及び学習部702の外側に配置される構成を記載しているが、選択部1004は、入力画像取得部208及びまたは学習部702の内部に設けられてもよい。
具体的には、コート上の選手に時間によって異なる色のスポットライトが照射される場合について説明する。この場合、選手の服の色やコートに色と、スポットライトの色が近い場合、推定部210は、高精度に前景の領域を示す推定データ212を生成できないおそれがある。
このような場合、ユーザは、予め、種々の色のスポットライトがそれぞれ照射された背景を撮影した複数の画像を撮影する。入力画像取得部208は、当該スポットライトの色のみが異なる複数の第2入力画像206を取得する。推定部210は、共通の第1入力画像204と、該共通の第1入力画像204と組み合わせて入力された複数の第2入力画像206と、に基づいて複数の推定データ212を生成する。そして、選択部1004は、当該複数の推定データ212の中から、最も前景の占める領域の小さい推定データ212を選択する。これにより、スポットライトの色の変化によって、前景の占める領域の大きさが変化したとしても、ユーザにとって余計な部分が少ない推定データ212を得ることができる。
なお、選択部1004は、複数の推定データ212の中から、最も前景の占める領域の大きい推定データ212を選択してもよい。選択部1004が推定データ212を選択する際の基準は、ユーザの目的に応じて適宜設定される。
また、画像処理装置10が前景領域推定装置として機能する場合において、入力画像取得部208は、複数の第2入力画像206の候補から、第1入力画像204と対応する第2入力画像206を選択して取得してもよい。
候補は、例えば、予め定められた画角及び相対的な撮影方向で設置された複数のカメラにより、背景がそれぞれ撮影される複数の画像である。具体的には、ユーザは、予め、コートの周囲を取り囲むように設置された複数のカメラで背景を撮影する。入力画像取得部208は、当該複数の画像の中から、第1入力画像204に含まれる背景と最も近い画角で撮影された画像を第2入力画像206として取得する。従って、第1入力画像204に含まれる背景と最も近い背景を含む第2入力画像206を用いることにより、高精度に推定データ212を生成することができる。
また、入力画像取得部208は、候補から、特徴点マッチングにより第1入力画像204と対応する第2入力画像206を選択して取得してもよい。具体的には、上記例では、入力画像取得部208は、コートの周囲を取り囲むように設置された複数のカメラで撮影された各画像と、第1入力画像204と、について特徴点マッチングを行う。そして、入力画像取得部208は、特徴点マッチングの結果、第1入力画像204に含まれる背景と最も近い画角で撮影された画像を第2入力画像206として取得してもよい。
また、候補は、異なる色の照明が照射された背景が撮影された複数の画像であってもよい。そして、入力画像取得部208は、候補から、既に生成された推定データ212により背景を示す位置における画素の色情報に基づいて、第1入力画像204と対応する第2入力画像206を選択して取得してもよい。
具体的には、上記のように、コート上の選手に時間によって異なる色のスポットライトが照射される場合について説明する。ユーザは、予め、種々の色のスポットライトがそれぞれ照射された背景を撮影した複数の画像を撮影する。例えば、各シーンを想定して、特定の位置にスポットライトが照射された背景を撮影する。ここで、ユーザは、シーン毎(例えばシーン1からn)に複数の色(例えば、赤、緑、青等)のスポットライトが照射された画像(以下、R1画像等と記載する)を撮影する。図8は、シーン1からシーンnに至るシーン毎に、赤、緑及び青色のスポットライトが照射された背景を示す画像群の一例である。当該シーン毎に種々の色のスポットライトが照射された背景画像は、第2入力画像206の候補である。
続いて、入力画像取得部208は、第1入力画像204を取得する。ここで、例えば、第1入力画像204は、特定の選手にスポットライトが照射された状態で、試合が撮影された動画像における1シーンであるとする。図9は、当該動画像の特定のフレームの一例である。前景領域推定装置に動画像が入力される場合、入力画像取得部208は当該動画像に含まれる各フレームを順に第1入力画像204として取得する。
入力画像取得部208は、前フレームの第1入力画像204と組み合わせて、当該前フレームの画像と対応する第2入力画像206を選択して取得する。例えば、前フレームにおいてスポットライトが照射されている位置及び当該スポットライトの色に基づいて、入力画像取得部208は、複数の候補から対応する第2入力画像206を取得する。ここでは、例えば、入力画像取得部208は、シーン1の赤色のスポットライトが照射された第2入力画像206(R1画像)を取得したとする。そして、推定部210は、第1入力画像204と第2入力画像206の入力に応じて、図9の前フレームの推定データ212を生成する。
次のフレーム(現フレーム)において、入力画像取得部208は、現フレームの静止画像を第1入力画像204として取得するとともに、候補から第2入力画像206を選択して取得する。ここで、入力画像取得部208は、前フレームで生成された推定データ212が背景であることを表す領域の画素データに基づいて、候補から第2入力画像206を選択する。
具体的には、前フレームにおいて第1入力画像204として取得されたR1画像はシーン1に属する。また、シーン1に属する候補(R1画像、G1画像からB1画像に至る各画像)は、推定データ212が背景であることを表す領域において、画素データが同一である。そこで、入力画像取得部208は、シーン1に属する候補(R1画像、G1画像からB1画像に至る各画像)から、第2入力画像206を選択して取得する。例えば、前フレームから現フレームにかけてスポットライトに色が青に変化したとすると、入力画像取得部208は、第2入力画像206としてB1画像を取得する。
現フレームと前フレームの第1入力画像204は、撮影される時刻が異なるため、スポットライトの色や照射される位置が異なる。しかしながら、1フレームの間における選手の位置の変化は小さいため、スポットライトの照射される位置の変化は小さい可能性が高い。一方、色が大きく変化する可能性は高い。従って、同じ位置にスポットライトが照射されている第2入力画像206の候補(シーン1に属する各図)から、第2入力画像206を選択することで、正確な推定データ212を得ることができる。
また、上記において、入力画像取得部208は、現フレームにおける第2入力画像206を選択する際に、前フレームで選択されたシーンの次のシーンに属する候補から第2入力画像206を選択してもよい。第2入力画像206の後方である各シーンの画像を、試合中に照射されるスポットライトの位置を想定した画像とすることにより、正確な推定データ212を得ることができる。
また、候補は、照明が照射されていない状態で撮影された背景を示す画像から、背景に含まれる各物体の反射特性に基づいて、照明が照射された状態にある背景を示す画像として生成された画像であってもよい。
具体的には、例えば、まず、ユーザは、背景を撮影した画像から背景に写った各被写体の反射特性を取得する。ここで、ユーザは、スペキュラなどの映り込みがないような状態で背景画像を撮影する。第1入力画像204が動画像である場合、入力画像生成部202は、当該動画像における照明の動きを推定(あるいは事前に取得)する。また、入力画像生成部202は、当該照明の動きと、反射特性に基づいて、ライティングをシミュレーションすることで、各フレームの第2入力画像206を作成する。そして、入力画像取得部208は、照明が照射された状態にある背景を示す画像として生成された当該画像を第2入力画像206として取得する。これにより、様々な態様で照明が照射された第2入力画像206を取得できる。
〔第3実施形態〕
続いて、第3実施形態について、図11及び図12を参照しながら説明する。図11及び図12は、第3実施形態の適用例を示す図である。具体的には、図11は、撮影装置1102と、前景領域推定装置1103と、情報処理装置1104と、サーバ1108と、ユーザ端末1110と、を含む。情報処理装置1104と、サーバ1108と、ユーザ端末1110と、はネットワーク1106によって接続される。ネットワーク1106は、例えばインターネットである。
続いて、第3実施形態について、図11及び図12を参照しながら説明する。図11及び図12は、第3実施形態の適用例を示す図である。具体的には、図11は、撮影装置1102と、前景領域推定装置1103と、情報処理装置1104と、サーバ1108と、ユーザ端末1110と、を含む。情報処理装置1104と、サーバ1108と、ユーザ端末1110と、はネットワーク1106によって接続される。ネットワーク1106は、例えばインターネットである。
撮影装置1102は、ビデオカメラ等の動画像を撮影する装置である。撮影装置1102は、例えばスタジオに配置され、テーブルや壁を背景とし人物を前景として含む動画像を撮影する。撮影装置1102は、人物がスタジオの中で動く場合に、撮影方向を人物の方向に変えながら動画像を撮影する。また、図12に示すように、撮影装置1102は、複数であってもよい。この場合、撮影装置1102は、第1ビデオカメラと第2ビデオカメラを含み、複数の方向から動画像を撮影する。
前景領域推定装置1103は、第1及び第2実施形態と同様に、背景と前景を含む画像から、前景の領域を示す推定データを生成する。ここで、第3実施形態では、入力画像取得部208は、さらに、順次異なる撮影方向で撮影された動画像の一部を構成する静止画である第3入力画像を取得する。当該第3入力画像は、例えば、撮影装置1102によって撮影された動画像を構成する静止画像である。
第3実施形態では、第2入力画像206は、異なる撮影方向で予め撮影された複数の候補となる画像に基づいて、取得された画像である。具体的には、複数の候補となる画像は、第3入力画像が撮影される際に想定される撮影位置から種々の撮影方向で撮影された複数の画像である。第2入力画像206は、複数の候補となる画像のうち、第3入力画像が撮影されたときの撮影方向と最も近い撮影方向から撮影された画像として選択された画像である。例えば、第3入力画像が第1ビデオカメラの位置から椅子とテーブルが配置された方向で撮影された画像である場合、複数の候補となる画像から、第1ビデオカメラの位置から椅子とテーブルの方向に最も近い方向に撮影した画像が第2入力画像206として選択される。当該第2入力画像206の選択は、第2実施形態と同様、画像処理装置10に含まれる選択部1004によって行われてもよい。
また、第2入力画像206は、複数の候補となる画像の撮影方向と第3入力画像が撮影されたときの撮影方向との差に基づいて選択された画像に基づいて生成された画像であってもよい。例えば、候補となる画像に、第3入力画像が撮影されたときの撮影方向と左方向と右方向に5度異なる撮影方向から撮影された画像が含まれる場合、当該2個の候補画像が選択される。当該2個の候補画像に基づいて、その中間の方向から撮影された画像として生成された画像を第2入力画像206としてもよい。
そして、推定部210は、第3入力画像と第2入力画像206の入力に応じて前景の領域を示す推定データ212を生成する。第3実施形態では、第1入力画像204の代わりに第3入力画像が入力されるが、その他の点は第1及び第2実施形態と同様である。また、第1及び第2実施形態と同様、前景領域推定装置1103は、推定データ212に基づいて、合成画像222を生成する。本実施形態では、撮影装置1102が第3入力画像を毎フレーム撮影する。そのため、前景領域推定装置1103は、合成画像222を毎フレーム生成する。これにより、合成画像222によって構成される合成動画が生成される。
情報処理装置1104及びサーバ1108は、例えばパーソナルコンピュータ等の演算装置である。情報処理装置1104は、通信機能を有し、サーバ1108やユーザ端末1110との間でデータ通信を行う。ユーザ端末1110は、例えばパーソナルコンピュータや、ゲーム機である。ユーザ端末1110は、サーバ1108や情報処理装置1104と通信を行い、受信したデータを表示する。情報処理装置1104がサーバ1108を介して、または、直接ユーザ端末1110に合成動画を配信することにより、ユーザは合成動画を閲覧できる。
なお、図11では、前景領域推定装置1103が撮影装置1102と情報処理装置1104の間に配置される構成を記載しているが、前景領域推定装置1103がユーザ端末1110に含まれる構成であってもよいし、前景領域推定装置1103がユーザ端末1110と接続される構成であってもよい。この場合、前景領域推定装置1103に含まれる入力画像取得部208は、撮影装置1102から、情報処理装置1104及びネットワーク1106を介して、上記第3入力画像を取得する。本構成によれば、ユーザは、ユーザが所有するユーザ端末1110または前景領域推定装置1103を用いて、合成動画を生成することができる。また、ユーザは独自に作成した合成画像をサーバ1108にアップロードし、他のユーザと共有することができる。
なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
Claims (21)
- 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する入力画像取得部と、
前記第1入力画像と前記第2入力画像の入力に応じて前記第1入力画像における前記前景の領域を示す推定データを生成する推定部を含み、該推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行する学習部と、
を含むことを特徴とする学習装置。 - 前記所与の教師画像は、前記第1入力画像における前記前景の領域を示す第1教師画像を含むことを特徴とする請求項1に記載の学習装置。
- 前記所与の教師画像は、前記第1入力画像と同じ態様で前記前景を示す第2教師画像と、前記第1入力画像と同じ態様で前記背景を示す第3教師画像と、を含み、
前記学習部は、さらに、生成された前記推定データと、前記第2教師画像と、前記第3教師画像と、に基づいて合成画像を生成する合成画像生成部を含み、
前記学習部は、さらに、前記合成画像生成部に前記推定データと前記第2教師画像と前記第3教師画像とを入力した際に生成された前記合成画像と、前記第1入力画像と、に基づいて、前記推定部の学習を実行する、
ことを特徴とする請求項2に記載の学習装置。 - 前記入力画像取得部は、異なる画像処理が適用された複数の第2入力画像のぞれぞれと、共通の前記第1入力画像とを組み合わせて取得する、
ことを特徴とする請求項1に記載の学習装置。 - 前記入力画像取得部は、前記背景をCGモデリングすることで形成されたオブジェクトから、レンダリングによって生成された前記第2入力画像を取得することを特徴とする請求項1に記載の学習装置。
- 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する入力画像取得部と、
前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部を含み、
前記推定部は、該推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである、
ことを特徴とする前景領域推定装置。 - 前記所与の教師画像は、前記第1入力画像における前記前景の領域を示す第1教師画像を含むことを特徴とする請求項6に記載の前景領域推定装置。
- 前記前景領域推定装置は、さらに、生成された前記推定データと、前記第1入力画像と、前記第2入力画像と、に基づいて合成画像を生成する合成画像生成部を含み、
前記所与の教師画像は、前記第1入力画像と同じ態様で前記前景を示す第2教師画像と、前記第1入力画像と同じ態様で前記背景を示す第3教師画像と、を含み、
前記推定部は、前記合成画像生成部に前記推定データと前記第2教師画像と前記第3教師画像とを入力した際に生成された前記合成画像と、前記第1入力画像と、に基づく学習が実行済の機械学習モデルである、
ことを特徴とする請求項7に記載の前景領域推定装置。 - 前記入力画像取得部は、複数の前記第2入力画像の候補から、前記第1入力画像と対応する前記第2入力画像を選択して取得することを特徴とする請求項8に記載の前景領域推定装置。
- 前記候補は、予め定められた画角及び相対的な撮影方向で設置された複数のカメラにより、前記背景がそれぞれ撮影される複数の画像であることを特徴とする請求項9に記載の前景領域推定装置。
- 前記入力画像取得部は、前記候補から、特徴点マッチングにより前記第1入力画像と対応する前記第2入力画像を選択して取得することを特徴とする請求項9に記載の前景領域推定装置。
- 前記候補は、異なる色の照明が照射された前記背景が撮影された複数の画像であって、
前記入力画像取得部は、前記候補から、既に生成された前記推定データにより背景を示す位置における画素の色情報に基づいて、前記第1入力画像と対応する前記第2入力画像を選択して取得する、
ことを特徴とする請求項9に記載の前景領域推定装置。 - 前記候補は、照明が照射されていない状態で撮影された前記背景を示す画像から、前記背景に含まれる各物体の反射特性に基づいて、前記照明が照射された状態にある前記背景を示す画像として生成された画像である、ことを特徴とする請求項9に記載の前景領域推定装置。
- 共通の前記第1入力画像と、該共通の第1入力画像と組み合わせて入力された複数の第2入力画像と、に基づいて生成された複数の前記推定データから、1個の推定データを選択する選択部をさらに有する、ことを特徴とする請求項6に記載の前景領域推定装置。
- 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得するステップと、
前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行するステップと、
を含むことを特徴とする学習方法。 - 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得するステップと、
前記第1入力画像と前記第2入力画像を入力した際に生成される推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである推定部に前記第1入力画像と前記第2入力画像を入力することで、当該推定部に前記前景の領域を示す前記推定データを生成させるステップと、
を含むことを特徴とする前景領域推定方法。 - 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する手順、
前記第1入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する推定部に前記第1入力画像と前記第2入力画像を入力した際に生成された前記推定データと、所与の教師画像と、に基づいて、前記推定部の学習を実行する手順、
をコンピュータに実行させることを特徴とするプログラム。 - 背景と前景を示す第1入力画像と、該第1入力画像と異なる態様で前記背景を示す第2入力画像と、を組み合わせて取得する手順、
前記第1入力画像と前記第2入力画像を入力した際に生成される推定データと、所与の教師画像と、に基づく学習が実行済の機械学習モデルである推定部に前記第1入力画像と前記第2入力画像を入力することで、当該推定部に前記前景の領域を示す前記推定データを生成させる手順、
をコンピュータに実行させることを特徴とするプログラム。 - 前記入力画像取得部は、さらに、順次異なる撮影方向で撮影された動画像の一部を構成する静止画である第3入力画像を取得し、
前記第2入力画像は、異なる撮影方向で予め撮影された複数の候補となる画像に基づいて、取得された画像であり、
前記推定部は、前記第3入力画像と前記第2入力画像の入力に応じて前記前景の領域を示す推定データを生成する、
ことを特徴とする請求項6に記載の前景領域推定装置。 - 前記第2入力画像は、前記複数の候補となる画像のうち、前記第3入力画像が撮影されたときの撮影方向と最も近い撮影方向から撮影された画像として選択された画像である、ことを特徴とする請求項19に記載の前景領域推定装置。
- 前記第2入力画像は、前記複数の候補となる画像の撮影方向と前記第3入力画像が撮影されたときの撮影方向との差に基づいて選択された画像に基づいて生成された画像である、ことを特徴とする請求項19に記載の前景領域推定装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/043375 WO2020110169A1 (ja) | 2018-11-26 | 2018-11-26 | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム |
JPPCT/JP2018/043375 | 2018-11-26 | ||
PCT/JP2019/036431 WO2020110432A1 (ja) | 2018-11-26 | 2019-09-17 | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020110432A1 JPWO2020110432A1 (ja) | 2021-09-02 |
JP6959459B2 true JP6959459B2 (ja) | 2021-11-02 |
Family
ID=70852926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558117A Active JP6959459B2 (ja) | 2018-11-26 | 2019-09-17 | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210350547A1 (ja) |
JP (1) | JP6959459B2 (ja) |
WO (2) | WO2020110169A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11887313B2 (en) * | 2020-09-30 | 2024-01-30 | Splitmedialabs Limited | Computing platform using machine learning for foreground mask estimation |
CN113426101B (zh) * | 2021-06-22 | 2023-10-20 | 咪咕互动娱乐有限公司 | 教学方法、装置、设备及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7336818B2 (en) * | 2001-06-15 | 2008-02-26 | Sony Corporation | Image processing device and method, and image-taking device |
AU2006252252B2 (en) * | 2006-12-22 | 2009-10-01 | Canon Kabushiki Kaisha | Image processing method and apparatus |
CN101727568B (zh) * | 2008-10-10 | 2013-04-17 | 索尼(中国)有限公司 | 前景动作估计装置和前景动作估计方法 |
JP2014203157A (ja) * | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6638723B2 (ja) * | 2015-03-04 | 2020-01-29 | ノーリツプレシジョン株式会社 | 画像解析装置、画像解析方法、及び、画像解析プログラム |
JP2016181068A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社明電舎 | 学習サンプル撮影装置 |
JP6919982B2 (ja) * | 2017-05-09 | 2021-08-18 | 株式会社キーエンス | 画像検査装置 |
-
2018
- 2018-11-26 WO PCT/JP2018/043375 patent/WO2020110169A1/ja active Application Filing
-
2019
- 2019-09-17 WO PCT/JP2019/036431 patent/WO2020110432A1/ja active Application Filing
- 2019-09-17 JP JP2020558117A patent/JP6959459B2/ja active Active
- 2019-09-17 US US17/288,235 patent/US20210350547A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210350547A1 (en) | 2021-11-11 |
WO2020110432A1 (ja) | 2020-06-04 |
WO2020110169A1 (ja) | 2020-06-04 |
JPWO2020110432A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9117310B2 (en) | Virtual camera system | |
KR101295471B1 (ko) | 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법 | |
US11670043B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20150172637A1 (en) | Apparatus and method for generating three-dimensional output data | |
CN106600665A (zh) | 一种相机动画路径生成方法和装置 | |
WO2010038693A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 | |
JP6959459B2 (ja) | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム | |
CN106791347A (zh) | 一种图像处理方法、装置及使用该方法的移动终端 | |
Malleson et al. | Rapid one-shot acquisition of dynamic VR avatars | |
US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
Richter et al. | Real-time reshaping of humans | |
Wang et al. | PERF: Panoramic Neural Radiance Field from a Single Panorama | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
KR20020067088A (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
Erdem et al. | Applying computational aesthetics to a video game application using machine learning | |
US11380048B2 (en) | Method and system for determining a spectral representation of a color | |
AU2020368983B2 (en) | Method and system for rendering | |
JP7489960B2 (ja) | 画像の合成のための方法及びデータ処理システム | |
US11450054B2 (en) | Method for operating a character rig in an image-generation system using constraints on reference nodes | |
WO2022259618A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7332326B2 (ja) | 映像効果装置及びプログラム | |
Gabarron Cortes | Design of a photogrammetry pipeline: generating 3D models for real-time engines | |
Hachmann et al. | Color-aware Deep Temporal Backdrop Duplex Matting System | |
Maralan et al. | Computational Flash Photography through Intrinsics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |