JP6676744B1 - 画像処理方法、画像処理システム及びプログラム - Google Patents
画像処理方法、画像処理システム及びプログラム Download PDFInfo
- Publication number
- JP6676744B1 JP6676744B1 JP2018247800A JP2018247800A JP6676744B1 JP 6676744 B1 JP6676744 B1 JP 6676744B1 JP 2018247800 A JP2018247800 A JP 2018247800A JP 2018247800 A JP2018247800 A JP 2018247800A JP 6676744 B1 JP6676744 B1 JP 6676744B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- line drawing
- coloring
- target
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
Abstract
【課題】ゲームやアニメのキャラクタ線画を高精度に着色する。【解決手段】画像処理方法は、要素ごとに線画画像及び着色画像をペアとする学習データを記憶し、学習データを用いた機械学習により、線画画像から着色画像を推定するモデルを生成し、着色対象の線画画像を取得し、対象線画画像の特定要素に対応する推定モデルと対象線画画像に基づき対象線画画像に組み合わせる着色画像を生成し、対象着色画像を用いて線画レイヤ及び着色レイヤを含む画像ファイルの着色レイヤを生成し、対象線画画像に対応する線画レイヤを含む画像ファイルに挿入し、ユーザ入力に基づき、着色レイヤを挿入された対象画像ファイルの着色レイヤを修正し、修正した着色レイヤと対応する線画レイヤとを学習用の画像ペアとして抽出し、抽出した線画レイヤの線画画像及び着色レイヤの着色画像のペアを、対象着色画像を生成する時に用いた推定モデルに対応する要素に対応付けて記憶する。【選択図】図９
Description
本発明は、画像処理方法、画像処理システム及びプログラムに関する。
非特許文献１及び２は、pix2pixに関する技術を開示している。
Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros, Image-to-Image Translation with Conditional Adversarial Networks, arXiv:1611.07004, 2016.
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification". ACM Transaction on Graphics (Proc. of SIGGRAPH), 35(4):110, 2016.
従来の自動着色技術は、ゲームやアニメ等の既存のキャラクタ等の線画を高精度に着色することはできなかった。本発明の課題は、ゲームやアニメ等の既存のキャラクタ等の線画を高精度に着色することである。
本発明によれば、
コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する画像処理方法が提供される。
コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する画像処理方法が提供される。
また、本発明によれば、
コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
線画レイヤ及び着色レイヤを含む画像ファイルであって、学習用の前記画像ファイルを取得し、
学習用の前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出し、
学習用の前記画像ファイルが示す画像に対応する前記要素を特定し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、特定した前記要素に対応付けて前記学習データとして記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
前記対象線画画像に対応する前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて前記画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤを含む前記対象画像ファイルを、学習用の前記画像ファイルとして取得する画像処理方法が提供される。
コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
線画レイヤ及び着色レイヤを含む画像ファイルであって、学習用の前記画像ファイルを取得し、
学習用の前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出し、
学習用の前記画像ファイルが示す画像に対応する前記要素を特定し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、特定した前記要素に対応付けて前記学習データとして記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
前記対象線画画像に対応する前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて前記画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤを含む前記対象画像ファイルを、学習用の前記画像ファイルとして取得する画像処理方法が提供される。
また、本発明によれば、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段と、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段と、
着色対象の前記線画画像である対象線画画像を取得する手段と、
前記対象線画画像に対応する前記要素を特定する手段と、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段と、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段と、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段と、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段と、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段と、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段と、
を有する画像処理システムが提供される。
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段と、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段と、
着色対象の前記線画画像である対象線画画像を取得する手段と、
前記対象線画画像に対応する前記要素を特定する手段と、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段と、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段と、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段と、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段と、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段と、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段と、
を有する画像処理システムが提供される。
また、本発明によれば、
コンピュータを、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段、
着色対象の前記線画画像である対象線画画像を取得する手段、
前記対象線画画像に対応する前記要素を特定する手段、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段、
として機能させるプログラムが提供される。
コンピュータを、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段、
着色対象の前記線画画像である対象線画画像を取得する手段、
前記対象線画画像に対応する前記要素を特定する手段、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段、
として機能させるプログラムが提供される。
本発明によれば、ゲームやアニメ等の既存のキャラクタ等の線画を高精度に着色することができる。
＜実施形態＞
まず、本実施形態の概要を説明する。本実施形態は、コンピュータが以下の処理を行う。
まず、本実施形態の概要を説明する。本実施形態は、コンピュータが以下の処理を行う。
（１）ゲームやアニメ等の既存の要素（例：キャラクタやコスチューム等）毎に、線画画像及び着色画像をペアとする学習データを記憶する。そして、要素毎に機械学習を行い、要素毎に線画画像から着色画像を推定する推定モデルを生成する。
（２）着色対象の線画画像が与えられると、当該線画画像に対応する要素を特定し、特定した要素に対応する推定モデルと当該線画画像とに基づき、当該線画画像に組み合わせる着色画像を生成する。
（３）生成した着色画像に対して人間が修正を加えると、修正後の着色画像とそれに対応する線画画像を、新たな学習データとして記憶する。
（２）着色対象の線画画像が与えられると、当該線画画像に対応する要素を特定し、特定した要素に対応する推定モデルと当該線画画像とに基づき、当該線画画像に組み合わせる着色画像を生成する。
（３）生成した着色画像に対して人間が修正を加えると、修正後の着色画像とそれに対応する線画画像を、新たな学習データとして記憶する。
次に、本実施形態の画像処理システムの構成を説明する。図１に、画像処理システムの機能ブロック図の一例を示す。図示するように、画像処理システムは、学習用画像ファイル入力部１０と、学習データ生成部１１と、分類部１２と、学習データ記憶部１３と、学習部１４と、推定モデル記憶部１５と、対象画像ファイル入力部１６と、対象線画画像生成部１７と、特定部１８と、推定部１９と、挿入部２０と、出力部２１と、修正部２２とを有する。
画像処理システムは、物理的及び／又は論理的に分かれた複数の装置により実現されてもよい。この場合、図１に示す複数の機能部の各々は、複数の装置のいずれかで実現される。その他、画像処理システムは、物理的及び論理的に１つの装置により実現されてもよい。この場合、図１に示す複数の機能部のすべてが、１つの装置で実現される。
ここで、画像処理システムのハードウエア構成の一例について説明する。本実施形態の画像処理システムが備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図２は、本実施形態の画像処理システムのハードウエア構成を例示するブロック図である。図２に示すように、画像処理システムは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理システムは周辺回路４Ａを有さなくてもよい。なお、画像処理システムが物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、図１に示す複数の機能部各々の機能構成を説明する。
学習用画像ファイル入力部１０は、学習用の画像ファイル（以下、「学習用画像ファイル」）の入力を受付ける。学習用画像ファイル入力部１０が学習用画像ファイルの入力を受付けることで、画像処理システムは学習用画像ファイルを取得できる。
ここで、画像ファイルについて説明する。本実施形態の画像ファイルは、ユーザ（例：イラストレータ）が画像を作成する際の標準的なデータ構造であるレイヤ構造である。画像ファイルは、少なくとも下塗りレイヤを含む。下塗りレイヤは、線画レイヤ及び着色レイヤを含む。線画レイヤは、線のみで描いた線画を示す。着色レイヤは、線画を含まず、線画に対してなされた着色の内容を示す。ここで、線画レイヤ、着色レイヤ及び下塗りレイヤ各々の画像の一例を示す。図３は、線画レイヤの画像の一例を示す。図４は、着色レイヤの画像の一例を示す。図５は、下塗りレイヤの画像の一例を示す。
次に、図６に、本実施形態の画像ファイルのレイヤ構造の一例を模式的に示す。図示する例の場合、画像ファイルは、下塗りレイヤと、シャドーを示すシャドーレイヤとを含む。下塗りレイヤは、線画レイヤと着色レイヤとを含む。線画レイヤは、キャラクタの上半身を示す上半身レイヤと、キャラクタの下半身を示す下半身レイヤとを含む。着色レイヤは、色毎の複数のレイヤを含む。なお、図示するレイヤ構造はあくまで一例であり、これに限定されない。
本実施形態の画像ファイルは、例えばＰＳＤ（Adobe Photoshop（登録商標））ファイル、ＡＩ（Adobe Illustrator（登録商標））ファイル等が例示されるが、これらに限定されない。
図１に戻り、学習データ生成部１１は、学習用画像ファイル入力部１０に入力された学習用画像ファイルから学習データを生成する。具体的には、学習データ生成部１１は、学習用画像ファイルから線画レイヤ及び着色レイヤを抽出する。そして、学習データ生成部１１は、抽出した線画レイヤ及び着色レイヤ各々を機械学習に適した所定のファイル形式に変更することで線画画像及び着色画像を生成する。１つの学習用画像ファイルから生成された線画画像及び着色画像のペアが学習データとなる。
学習データに含まれる線画画像は、機械学習に適した所定のファイル形式で示される画像であって、学習用画像ファイルに含まれる線画レイヤと同じ内容を示す画像である。そして、学習データに含まれる着色画像は、本実施形態の機械学習に適した所定のファイル形式で示される画像であって、学習用画像ファイルに含まれる着色レイヤと同じ内容を示す画像である。
本実施形態の機械学習に適した所定のファイル形式は、ＢＭＰ（bitmap）形式等の非圧縮ラスタ画像や、ＰＮＧ（Portable Network Graphics）ファイル等の可逆圧縮型のラスタ画像等が例示されるが、これらに限定されない。
ここで、学習用画像ファイルから線画レイヤ及び着色レイヤを抽出する処理の具体例を説明する。
学習データ生成部１１は、学習用画像ファイルに含まれる複数のレイヤ各々を識別する情報（メタデータ）に基づき、学習用画像ファイルから線画レイヤ及び着色レイヤを抽出することができる。複数のレイヤ各々を識別する情報は、レイヤ名、レイヤＩＤ（identifier）、レイヤ番号、レイヤの上下関係等の構造上の特徴等が例示されるが、これらに限定されない。
例えば、予め、線画レイヤ及び着色レイヤ各々のレイヤ名、レイヤＩＤ、レイヤ番号等を指定する際のルールを定めておく。当該ルールでは、例えば、線画レイヤ及び着色レイヤ各々のレイヤ名、レイヤＩＤ、レイヤ番号等に、線画レイヤ及び着色レイヤ各々を識別する所定の情報を加えることが定められる。画像ファイルを生成するユーザは、当該ルールに従い、各レイヤのレイヤ名、レイヤＩＤ、レイヤ番号等を指定する。このようにすることで、学習データ生成部１１は、レイヤ名、レイヤＩＤ、レイヤ番号等に基づき、学習用画像ファイルから線画レイヤ及び着色レイヤを抽出することができる。
その他、例えば、予め、画像ファイルに含まれる複数のレイヤの上下関係のルールを定めておく。当該ルールは、例えば、「グループレイヤが含む複数のレイヤの中で、下塗りレイヤを最も上に位置させる。そして、下塗りレイヤが含む複数のレイヤの中で、線画レイヤを最も上に位置させ、次に着色レイヤを位置させる。」等である。画像ファイルを生成するユーザは、当該ルールに従い、画像ファイルに含まれる複数のレイヤの上下関係を指定する。このようにすることで、学習データ生成部１１は、画像ファイルに含まれる複数のレイヤの上下関係に基づき、学習用画像ファイルから線画レイヤ及び着色レイヤを抽出することができる。
分類部１２は、学習用画像ファイルが示す画像に対応する要素を特定する。「画像に対応する要素」は、画像で描かれている要素である。要素は、ゲームやアニメ等の既存のキャラクタやコスチューム等である。なお、１つの画像ファイルが示す画像には１つの要素が描かれているものとする。
そして、分類部１２は、学習データ生成部１１が生成した学習データを、特定した要素に対応付けて、学習データ記憶部１３に記憶させる。
ここで、学習用画像ファイルが示す画像に対応する要素を特定する処理の具体例を説明する。
分類部１２は、例えば、学習用画像ファイルの名称に基づき、上記要素を特定することができる。例えば、予め、画像ファイルの名称を指定する際のルールを定めておく。当該ルールでは、例えば、画像ファイルの名称に、各画像ファイルが示す画像に対応する要素を識別する所定の情報（例：キャラクタ名、コスチューム名等）を加えることが定められる。画像ファイルを生成するユーザは、当該ルールに従い、画像ファイルの名称を指定する。このようにすることで、分類部１２は、画像ファイルの名称に基づき、学習用画像ファイルが示す画像に対応する要素を特定することができる。
その他、ユーザが、要素を指定する入力を、画像処理システムに対して行ってもよい。そして、分類部１２は、ユーザが指定した内容に基づき、要素を特定してもよい。
学習データ記憶部１３は、要素毎に、線画画像及び着色画像をペアとする学習データを記憶する。例えば、学習データ記憶部１３は、図示するように、複数の要素各々に対応したデータバケットを有し、各要素の学習データを各データバケットに蓄積してもよい。
学習部１４は、要素毎に、学習データ記憶部１３に記憶されている各要素の学習データを用いた機械学習を行い、線画画像から着色画像を推定する推定モデルを生成する。機械学習の技法としては、例えばＧＡＮ（generative adversarial network）等の生成系ニューラルネットワーク等が例示されるが、これに限定されない。例えば、学習部１４はpix2pixで構成されてもよい。
推定モデル記憶部１５は、学習部１４により生成された要素毎の推定モデルを記憶する。推定モデル記憶部１５は、各要素に対応付けて、各要素の学習データに基づき生成された推定モデルを記憶する。
対象画像ファイル入力部１６は、着色対象の画像ファイル（以下、「対象画像ファイル」）の入力を受付ける。対象画像ファイル入力部１６が対象画像ファイルの入力を受付けることで、画像処理システムは対象画像ファイルを取得できる。対象画像ファイルは、線画レイヤを含み、着色レイヤを含まない。
対象線画画像生成部１７は、対象画像ファイルから着色レイヤを抽出し、抽出した着色レイヤを所定のファイル形式に変更することで、着色対象の線画画像（以下、「対象線画画像」）を取得する。所定のファイル形式は、学習データに含まれる線画画像と同じファイル形式である。対象線画画像生成部１７は、学習データ生成部１１と同様の手法で、対象画像ファイルから着色レイヤを抽出することができる。
特定部１８は、対象線画画像に対応する要素を特定する。特定部１８は、「学習用画像ファイルが示す画像に対応する要素を特定する手段（分類部１２）」と同様の手段で、対象線画画像に対応する要素を特定することができる。
推定部１９は、特定部１８により特定された要素に対応する推定モデルと、対象線画画像とに基づき、対象線画画像に組み合わせる着色画像（以下、「対象着色画像」）を生成する。第１の要素に対応する推定モデルは、第１の要素に対応付けて推定モデル記憶部１５に記憶されている推定モデルである。
挿入部２０は、推定部１９により生成された対象着色画像を用いて、着色レイヤを生成する。そして、挿入部２０は、生成した着色レイヤを、対象画像ファイル入力部１６に入力された対象画像ファイルに挿入する。以下、挿入部２０により着色レイヤを挿入された対象画像ファイルを「着色済画像ファイル」と呼ぶ。そして、着色済画像ファイルが示す画像を「着色済画像」と呼ぶ。なお、挿入部２０は、ノイズ除去や、着色レイヤを複数のレイヤに分割する処理などを行うことができる。
出力部２１は、着色済画像ファイルを処理して、着色済画像を出力する。出力部２１は、ディスプレイ、プリンター、メーラ、投影装置等のあらゆる出力装置を介して、着色済画像の出力を実現する。
修正部２２は、ユーザ入力に基づき、着色済画像ファイルの着色レイヤを修正する。そして、着色済画像ファイルの着色レイヤを修正した後、所定の第１の条件を満たすと、修正部２２は、着色レイヤを修正した後の着色済画像ファイルを、学習用画像ファイルとして学習用画像ファイル入力部１０に入力する。
所定の第１の条件は、例えば「ユーザによる所定のユーザ入力を受付けた」である。所定のユーザ入力は、着色レイヤを修正した後の着色済画像ファイルを学習用画像ファイルとして登録することを指示する入力であってもよい。
その他、所定のユーザ入力は、所定のレイヤにロックを掛け、着色レイヤの編集ができないようにする入力であってもよい。所定のレイヤは、着色レイヤや下塗りレイヤ等である。ユーザは、着色レイヤの修正が完了した時点で、所定のレイヤにロックを掛け、着色レイヤの編集ができないようにすると考えられる。すなわち、所定のレイヤにロックを掛け、着色レイヤの編集ができないようにした場合、着色レイヤの修正は完了し、学習用のデータとして適した状態になっていると考えられる。所定のレイヤにロックを掛け、着色レイヤの編集ができないようにしたことに応じて、着色済画像ファイルを学習用画像ファイルとして出力することで、学習用のデータとして好ましいデータを、ユーザによる不要な操作なしで、学習用画像ファイル入力部１０に入力することができる。
その他、所定のユーザ入力は、作業対象を、着色レイヤから他のレイヤ（例：着色レイヤの上のレイヤ）に変更する指示入力であってもよい。この場合も、上記ロックの場合と同様の理由で、学習用のデータとして好ましいデータを、ユーザによる不要な操作なしで、学習用画像ファイル入力部１０に入力することができる。
次に、図７のフローチャートを用いて、画像処理システムの処理の流れの一例を説明する。図７は、学習データを登録する処理の流れの一例を示す。
まず、画像処理システムは、学習用画像ファイルを取得する（Ｓ１０）。次いで、画像処理システムは、Ｓ１０で取得した学習用画像ファイルから、線画レイヤ及び着色レイヤを抽出する（Ｓ１１）。次いで、画像処理システムは、Ｓ１１で抽出した線画レイヤ及び着色レイヤ各々のファイル形式を変更することで、機械学習に適した所定のファイル形式で示された線画画像及び着色画像を生成する（Ｓ１２）。
次いで、画像処理システムは、Ｓ１０で取得した学習用画像ファイルが示す画像に対応する要素を特定する（Ｓ１３）。そして、画像処理システムは、Ｓ１２で生成した線画画像及び着色画像のペアを含む学習データを、Ｓ１３で特定した要素に対応付けて登録する（Ｓ１４）。
なお、Ｓ１１乃至Ｓ１３の処理順は、図示するものに限定されない。
次に、図８のフローチャートを用いて、画像処理システムの処理の流れの他の一例を説明する。図８は、推定モデルを生成する処理の流れの一例を示す。
画像処理システムは、学習タイミングの到来を監視する（Ｓ２０）。学習タイミングは、新たな学習データが追加されたタイミングであってもよいし、新たに所定個数の学習データが追加されたタイミングであってもよいし、学習実行を指示するユーザ入力があったタイミングであってもよいし、予め登録されたタイミング（例：毎日０時、毎週月曜日の０時等）であってもよいし、その他のタイミングであってもよい。
学習タイミングになると（Ｓ２０のＹｅｓ）、画像処理システムは、要素毎に登録されている学習データを用いて、要素毎に機械学習を行い、要素毎に推定モデルを生成する（Ｓ２１）。そして、画像処理システムは、要素ごとに、Ｓ２１で生成した推定モデルを登録する（Ｓ２２）。なお、Ｓ２１では、すべての要素に対して機械学習を行ってもよいし、一部の要素に対して機械学習を行ってもよい。例えば、画像処理システムは、新たな学習データが追加された要素に対してのみ、機械学習を行い、推定モデルを更新してもよい。
次に、図９のフローチャートを用いて、画像処理システムの処理の流れの他の一例を説明する。図９は、対象画像ファイルに自動着色する処理の流れの一例を示す。
まず、画像処理システムは、対象画像ファイルを取得する（Ｓ３０）。次いで、画像処理システムは、Ｓ３０で取得した対象画像ファイルから、線画レイヤを抽出する（Ｓ３１）。次いで、画像処理システムは、Ｓ３１で抽出した線画レイヤのファイル形式を変更することで、所定のファイル形式で示された対象線画画像を生成する（Ｓ３２）。所定のファイル形式は、学習データに含まれる線画画像のファイル形式と同じである。
次いで、画像処理システムは、Ｓ３０で取得した対象画像ファイルが示す画像に対応する要素を特定する（Ｓ３３）。そして、画像処理システムは、Ｓ３３で特定した要素に対応する推定モデルと、Ｓ３２で生成した対象線画画像とに基づき、対象着色画像を生成する（Ｓ３４）。
次いで、画像処理システムは、Ｓ３４で生成した対象着色画像を用いて着色レイヤを生成し（Ｓ３５）、生成した着色レイヤをＳ３０で取得した対象画像ファイルに挿入する（Ｓ３６）。そして、画像処理システムは、着色レイヤを挿入した対象画像ファイルを出力する（Ｓ３７）。
なお、Ｓ３１乃至Ｓ３３の処理順は、図示するものに限定されない。
次に、図１０のフローチャートを用いて、画像処理システムの処理の流れの他の一例を説明する。図１０は、図９の処理で着色レイヤを挿入された対象画像ファイルである着色済画像ファイルを修正し、修正後の着色済画像ファイルを学習用画像ファイルとして出力する処理の流れの一例を示す。
画像処理システムは、着色済画像ファイルが示す画像を例えばディスプレイに表示する（Ｓ４０）。ユーザは、ディスプレイに表示された自動着色後の画像を閲覧し、適宜、所定のレイヤを修正する。ここでは、画像処理システムは、ユーザ入力に基づき、着色済画像ファイルに含まれる着色レイヤを修正したものとする（Ｓ４１）。
その後、修正後の着色済画像ファイルを学習用画像ファイルとする第１の条件を満たすと（Ｓ４２のＹｅｓ）、画像処理システムは、修正後の着色済画像ファイルを学習用画像ファイルと出力する（Ｓ４３）。この後、画像処理システムは、図７の処理を実行する。なお、第１の条件は上述の通りである。
一方、第１の条件を満たさなければ（Ｓ４２のＮｏ）、画像処理システムは、第１の条件を満たすまで待つ。この場合、画像処理システムは、予め定められた終了条件を満たすと、当該処理を終了してもよい。終了条件は、着色済画像ファイルを修正する処理を終了するユーザ入力の受付けであってもよいし、その他であってもよい。
次に、本実施形態の作用効果を説明する。
本実施形態は、例えば、ゲームやアニメ等の既存の要素（例：キャラクタやコスチューム等）を対象として、ユーザが作画した線画画像に、自動的に下塗りとしての着色を、高精度に実現するＡＩの構成方式に関するものである。
本実施形態の技術的特徴は、ゲームやアニメに固有の概念である、“キャラクタ”や“コスチューム”といった要素を基本単位として、学習データの分類、推定モデルの生成、推論時の推定モデル選択、フィードバック時の学習データ管理等を行うことにより、ユーザが暗黙的に保有する各要素の特徴を高精度に学習可能にするHuman-In-The-Loop型深層学習（ＨＩＴＬ−ＤＬ）を実現する点にある。
ここで、Human-In-The-Loop型とは、自然な形でユーザに負担をかけずに、ユーザが参加することを前提とした学習を実現することを意味する。従来の深層学習では、チューニングが複雑であったため、このＨＩＴＬを実現することが比較的難しいとされていた。本実施形態では、例えば次の３点により、プロフェッショナル用途の高精度な自動下塗り着色のためのHITLを確立する。
・学習用画像ファイル（例：ＰＳＤ）が入力されると、レイヤ名等を用いて線画レイヤ及び着色レイヤを抽出する。そして、抽出した線画レイヤ及び着色レイヤを用いて、学習データとする線画画像及び着色画像を生成する。そして、ファイル名等を用いて学習用画像ファイルに対応する要素を特定し、生成した学習データを特定した要素に対応付けて格納する。そして、要素毎に機械学習を行い、線画画像から着色画像を生成する推定モデルを要素毎に生成する。
・自動着色のために対象画像ファイルが入力されると、レイヤ名等を用いて線画レイヤを抽出して対象線画画像を生成するとともに、ファイル名等を用いて対象画像ファイルに対応する要素を特定する。次いで、特定した要素に対応する推定モデルと対象線画画像とに基づき、対象線画画像に組み合わせる着色画像を生成する。そして、生成した着色画像に基づき着色レイヤを生成し、対象画像ファイルに挿入する。
・上記自動着色で生成された着色レイヤをユーザが修正すると、修正後の着色レイヤを含む対象画像ファイルを、学習用画像ファイルとして出力する。
これらにより、人間の下塗り知識を自動的に学習し、既存の要素を高精度に着色することができる。また、新規要素の追加時にも既存の推定モデルに影響を与えずに、スケーラブルに新たな推定モデルを追加することができる。
また、本実施形態は、学習のために画像処理システムに入力される画像ファイルと、着色後に画像処理システムから出力される画像ファイルとが同一のファイル形式である。このため、演算体系としての閉包性を有することになり、永続的なHuman-In-The-Loopを実行することが可能になる。
また、本実施形態は、特定の要素毎の汎化性能が低い推定モデルを集団的に用いることにより、高精度な推定を実現する。
＜実施例＞
次に、実施例を説明する。まず、本実施例のデータ構造を説明する。本実施例は、画像処理システムに入力される画像ファイルＤ、要素毎に学習データを格納するデータバケットＢ、及び、画像処理システムから出力される画像ファイルＤ´の、３つのデータ構造から構成される。
次に、実施例を説明する。まず、本実施例のデータ構造を説明する。本実施例は、画像処理システムに入力される画像ファイルＤ、要素毎に学習データを格納するデータバケットＢ、及び、画像処理システムから出力される画像ファイルＤ´の、３つのデータ構造から構成される。
画像ファイルＤは、式（１）のように定義できる。なお、画像ファイルＤのファイル形式は、例えばＰＳＤファイルである。
ここで、Ｌｉは、ｉ番目のレイヤであり、それぞれのレイヤ間には循環しない親子関係が存在する。Ｌｉは、任意の数の子要素を有する。
データバケットＢは、要素毎の複数のデータバケットを含む。ある要素ａに対応するデータバケットＢａは、式（２）のように定義できる。
ここで、ｓｋはｋ番目の線画画像を示し、ｃｋはｋ番目の着色画像を示す。ｓｋとｃｋのペアが１つの学習データとなる。なお、線画画像及び着色画像のファイル形式は、例えばＢＭＰファイルである。
画像ファイルＤ´は、画像ファイルＤと同じファイル形式である。すなわち、画像処理システムに入力される画像ファイルＤと、画像処理システムから出力される画像ファイルＤ´は、同じファイル形式である。画像ファイルＤ´は、式（３）のように定義できる。なお、画像ファイルＤ´は、例えばＰＳＤファイルである。
ここで、Ｌｉは、ｉ番目のレイヤであり、それぞれのレイヤ間には循環しない親子関係が存在する。Ｌｉは、任意の数の子要素を有する。
次に、本実施例を実現するための基本関数を説明する。本実施例は、Human-In-The-Loopを構成するための制御関数としてnormalizeとappendの２つの関数を利用し、ＧＡＮを用いた学習を行う関数としてlearn関数を利用し、そして、自動着色を行うための関数として、infer、denoise、divideの3つの関数を利用する。すなわち、本実施例では、合計６つのプリミティブ関数を利用する。
normalize関数は、レイヤ構造を有する画像ファイルＤから線画レイヤ及び着色レイヤを抽出し、ファイル形式の変更、画像サイズの調整等を行うことで、線画画像ｓｔと着色画像ｃｔを生成する。また、normalize関数は、画像ファイルＤが示す画像に対応する要素ａを特定する。normalize関数は、式（４）のように定義できる。
ここで、Ｄｔは、処理対象となる画像ファイルを示す。wとhは、出力する線画画像ｓｔ及び着色画像ｃｔのデータサイズ（幅と高さ）を示す。pix2pixに代表される生成系ニューラルネットワークは、学習データとなる画像サイズ（縦ピクセル数、および、横ピクセル数）を一律にそろえる必要がある。本実施例では、normalize関数により、それらを正規化する。
append関数は、normalize関数で出力された線画画像ｓｔと着色画像ｃｔとの画像対を、normalize関数で出力された要素ａに対応するデータバケットＢａに格納する関数である。append関数は、式（５）のように定義できる。
ここで、Ｂａは、要素ａに対応するデータバケットである。
learn関数は、要素ａに対応するデータバケットＢａに格納された学習データに基づき機械学習を行い、要素ａに対応する線画画像から着色画像を生成する推定モデルＭａを生成する。learn関数は、式（６）のように定義できる。
learn関数は、例えば、pix2pixなどの既存の生成系ニューラルネットワークをそのまま用いて実装することができる。
infer関数は、要素ａに対応する線画画像ｓａを入力すると、要素ａに対応する推定モデルＭａを用いて、着色画像ｃａを自動生成する関数である。infer関数は、式（７）のように定義できる。
denoise関数は、自動着色結果をベタ塗としてノイズ除去する関数である（デノイジング・フィルター）。ＧＡＮによる自動着色では、図面の端などの特徴が失われやすい箇所や、線画が細かい箇所などでは、ノイズが混入する傾向がある。このため、平準化等の画像処理としてのデノイジング・フィルターを導入することで、下塗り・ベタ塗としての精度を向上させることができる。denoise関数は、式（８）のように定義できる。
ここで、ｃはinfer関数で生成した着色画像であり、ｃ´はノイズ除去実行後の着色画像である。
divide関数は、ノイズ除去実行後の着色画像ｃ´に対してファイル形式の変更、色毎のレイヤ分割等の処理を実行し、画像ファイルの着色レイヤを生成する。例えば、denoise関数によりノイズが除去され、ある１つの領域が単一の色で塗られる状態になれば、色ごとにレイヤを分割していくことが可能になる。このように、色別にレイヤを分割することにより、ユーザが容易に編集・修正を行うことが可能になる。そして、divide関数は、infer関数に入力された着色対象の線画画像ｓａに対応する線画レイヤを含む画像ファイルに、生成した着色レイヤを挿入する。divide関数は、式（９）のように定義できる。
ここで、Ｄ´は、divide関数で出力される画像ファイルであり、infer関数に入力された着色対象の線画画像ｓａに対応する線画レイヤを含み、divide関数で生成された着色レイヤを挿入された画像ファイルである。
本実施例における学習プロセスは次の通りである。
・Step-L1：学習用の画像ファイルＤに、normalize関数を適用する。
・Step-L2：Step-L1の結果を、要素ごとに学習バケットＢに格納するために、append関数を実行する。
・Step-L3：それぞれの学習バケットＢａに、learn関数を適用し、学習モデルＭａを生成する。
・Step-L1：学習用の画像ファイルＤに、normalize関数を適用する。
・Step-L2：Step-L1の結果を、要素ごとに学習バケットＢに格納するために、append関数を実行する。
・Step-L3：それぞれの学習バケットＢａに、learn関数を適用し、学習モデルＭａを生成する。
本実施例における推論プロセスは次の通りである。
・Step-I1：ユーザが特定の要素ａに該当する線画画像ｓを画像処理システムに入力すると、画像処理システムは、要素ａに対応する学習モデルＭａを用いて、線画画像ｓにinfer関数を適用し、着色画像ｃを生成する。
・Step-I2：Step-I1で得た着色画像ｃに、denoise関数を適用し、ノイズを除去した着色画像ｃ´を得る。
・Step-I3：Step-I2で得た着色画像ｃ´に、divide関数を適用し、レイヤ構造を有する画像ファイルＤ´を得る。
・Step-I1：ユーザが特定の要素ａに該当する線画画像ｓを画像処理システムに入力すると、画像処理システムは、要素ａに対応する学習モデルＭａを用いて、線画画像ｓにinfer関数を適用し、着色画像ｃを生成する。
・Step-I2：Step-I1で得た着色画像ｃに、denoise関数を適用し、ノイズを除去した着色画像ｃ´を得る。
・Step-I3：Step-I2で得た着色画像ｃ´に、divide関数を適用し、レイヤ構造を有する画像ファイルＤ´を得る。
本実施例におけるユーザによる修正プロセスは次の通りである。
・Step-H1: Step-I3から出力された画像ファイルＤ´の着色レイヤを修正し、修正後の画像ファイルＤ´が学習用の画像ファイルＤとして出力されると、上記Step-L1以降の学習プロセスが実行される。
・Step-H1: Step-I3から出力された画像ファイルＤ´の着色レイヤを修正し、修正後の画像ファイルＤ´が学習用の画像ファイルＤとして出力されると、上記Step-L1以降の学習プロセスが実行される。
このように、人手による修正が行われると、学習プロセスの開始であるStep-L1が起動されることとなり、本発明の永続的な改善が実現される。
以下、参考形態の例を付記する。
１． コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する画像処理方法。
２． コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
線画レイヤ及び着色レイヤを含む画像ファイルであって、学習用の前記画像ファイルを取得し、
学習用の前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出し、
学習用の前記画像ファイルが示す画像に対応する前記要素を特定し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、特定した前記要素に対応付けて前記学習データとして記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
前記対象線画画像に対応する前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて前記画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤを含む前記対象画像ファイルを、学習用の前記画像ファイルとして取得する画像処理方法。
３． １又は２に記載の画像処理方法において、
前記コンピュータは、前記画像ファイルに含まれる複数のレイヤ各々を識別する情報に基づき、前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出する画像処理方法。
４． １から３のいずれかに記載の画像処理方法において、
前記コンピュータは、前記画像ファイルの名称に基づき、前記画像ファイルが示す画像に対応する前記要素を特定する画像処理方法。
５． １から４のいずれかに記載の画像処理方法において、
前記コンピュータは、ユーザ入力に基づき前記対象画像ファイルの前記着色レイヤを修正した後、所定のユーザ入力を受付けると、修正した前記着色レイヤを含む前記対象画像ファイルを学習用の前記画像ファイルとして取得する画像処理方法。
６． １から５のいずれかに記載の画像処理方法において、
１つの学習用の前記画像ファイルが示す画像には１つの前記要素が描かれている画像処理方法。
７． 要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段と、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段と、
着色対象の前記線画画像である対象線画画像を取得する手段と、
前記対象線画画像に対応する前記要素を特定する手段と、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段と、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段と、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段と、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段と、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段と、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段と、
を有する画像処理システム。
８． コンピュータを、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段、
着色対象の前記線画画像である対象線画画像を取得する手段、
前記対象線画画像に対応する前記要素を特定する手段、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段、
として機能させるプログラム。
１． コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する画像処理方法。
２． コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
線画レイヤ及び着色レイヤを含む画像ファイルであって、学習用の前記画像ファイルを取得し、
学習用の前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出し、
学習用の前記画像ファイルが示す画像に対応する前記要素を特定し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、特定した前記要素に対応付けて前記学習データとして記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
前記対象線画画像に対応する前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて前記画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤを含む前記対象画像ファイルを、学習用の前記画像ファイルとして取得する画像処理方法。
３． １又は２に記載の画像処理方法において、
前記コンピュータは、前記画像ファイルに含まれる複数のレイヤ各々を識別する情報に基づき、前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出する画像処理方法。
４． １から３のいずれかに記載の画像処理方法において、
前記コンピュータは、前記画像ファイルの名称に基づき、前記画像ファイルが示す画像に対応する前記要素を特定する画像処理方法。
５． １から４のいずれかに記載の画像処理方法において、
前記コンピュータは、ユーザ入力に基づき前記対象画像ファイルの前記着色レイヤを修正した後、所定のユーザ入力を受付けると、修正した前記着色レイヤを含む前記対象画像ファイルを学習用の前記画像ファイルとして取得する画像処理方法。
６． １から５のいずれかに記載の画像処理方法において、
１つの学習用の前記画像ファイルが示す画像には１つの前記要素が描かれている画像処理方法。
７． 要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段と、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段と、
着色対象の前記線画画像である対象線画画像を取得する手段と、
前記対象線画画像に対応する前記要素を特定する手段と、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段と、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段と、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段と、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段と、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段と、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段と、
を有する画像処理システム。
８． コンピュータを、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段、
着色対象の前記線画画像である対象線画画像を取得する手段、
前記対象線画画像に対応する前記要素を特定する手段、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段、
として機能させるプログラム。
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 学習用画像ファイル入力部
１１ 学習データ生成部
１２ 分類部
１３ 学習データ記憶部
１４ 学習部
１５ 推定モデル記憶部
１６ 対象画像ファイル入力部
１７ 対象線画画像生成部
１８ 特定部
１９ 推定部
２０ 挿入部
２１ 出力部
２２ 修正部
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 学習用画像ファイル入力部
１１ 学習データ生成部
１２ 分類部
１３ 学習データ記憶部
１４ 学習部
１５ 推定モデル記憶部
１６ 対象画像ファイル入力部
１７ 対象線画画像生成部
１８ 特定部
１９ 推定部
２０ 挿入部
２１ 出力部
２２ 修正部
Claims (8)
- コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する画像処理方法。 - コンピュータが、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶し、
線画レイヤ及び着色レイヤを含む画像ファイルであって、学習用の前記画像ファイルを取得し、
学習用の前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出し、
学習用の前記画像ファイルが示す画像に対応する前記要素を特定し、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、特定した前記要素に対応付けて前記学習データとして記憶し、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成し、
着色対象の前記線画画像である対象線画画像を取得し、
前記対象線画画像に対応する前記要素を特定し、
前記対象線画画像に対応する前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成し、
前記対象着色画像を用いて前記画像ファイルの前記着色レイヤを生成し、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入し、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正し、
修正した前記着色レイヤを含む前記対象画像ファイルを、学習用の前記画像ファイルとして取得する画像処理方法。 - 請求項１又は２に記載の画像処理方法において、
前記コンピュータは、前記画像ファイルに含まれる複数のレイヤ各々を識別する情報に基づき、前記画像ファイルから前記線画レイヤ及び前記着色レイヤを抽出する画像処理方法。 - 請求項１から３のいずれか１項に記載の画像処理方法において、
前記コンピュータは、前記画像ファイルの名称に基づき、前記画像ファイルが示す画像に対応する前記要素を特定する画像処理方法。 - 請求項１から４のいずれか１項に記載の画像処理方法において、
前記コンピュータは、ユーザ入力に基づき前記対象画像ファイルの前記着色レイヤを修正した後、所定のユーザ入力を受付けると、修正した前記着色レイヤを含む前記対象画像ファイルを学習用の前記画像ファイルとして取得する画像処理方法。 - 請求項１から５のいずれか１項に記載の画像処理方法において、
１つの学習用の前記画像ファイルが示す画像には１つの前記要素が描かれている画像処理方法。 - 要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段と、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段と、
着色対象の前記線画画像である対象線画画像を取得する手段と、
前記対象線画画像に対応する前記要素を特定する手段と、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段と、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段と、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段と、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段と、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段と、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段と、
を有する画像処理システム。 - コンピュータを、
要素ごとに、線画画像及び着色画像をペアとする学習データを記憶する手段、
前記要素ごとに、各前記要素の前記学習データを用いた機械学習により、前記線画画像から前記着色画像を推定する推定モデルを生成する手段、
着色対象の前記線画画像である対象線画画像を取得する手段、
前記対象線画画像に対応する前記要素を特定する手段、
特定した前記要素に対応する前記推定モデルと、前記対象線画画像とに基づき、前記対象線画画像に組み合わせる前記着色画像である対象着色画像を生成する手段、
前記対象着色画像を用いて、線画レイヤ及び着色レイヤを含む画像ファイルの前記着色レイヤを生成する手段、
前記対象線画画像に対応する前記線画レイヤを含む前記画像ファイルである対象画像ファイルに、生成した前記着色レイヤを挿入する手段、
ユーザ入力に基づき、前記着色レイヤを挿入された前記対象画像ファイルの前記着色レイヤを修正する手段、
修正した前記着色レイヤと、対応する前記線画レイヤとを、学習用の前記画像ペアとして抽出する手段、
抽出した前記線画レイヤの前記線画画像及び前記着色レイヤの前記着色画像のペアを、前記対象着色画像を生成する時に用いた前記推定モデルに対応する前記要素に対応付けて、前記学習データとして記憶する手段、
として機能させるプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018247800A JP6676744B1 (ja) | 2018-12-28 | 2018-12-28 | 画像処理方法、画像処理システム及びプログラム |
| PCT/JP2019/050853 WO2020138182A1 (ja) | 2018-12-28 | 2019-12-25 | 画像処理方法、画像処理システム及びプログラム |
| CN201980086315.3A CN113228111A (zh) | 2018-12-28 | 2019-12-25 | 图像处理方法、图像处理系统和程序 |
| US17/360,536 US11880912B2 (en) | 2018-12-28 | 2021-06-28 | Image processing method, image processing system, and program for colorizing line-drawing images using machine learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018247800A JP6676744B1 (ja) | 2018-12-28 | 2018-12-28 | 画像処理方法、画像処理システム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6676744B1 true JP6676744B1 (ja) | 2020-04-08 |
| JP2020107239A JP2020107239A (ja) | 2020-07-09 |
Family
ID=70058010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018247800A Active JP6676744B1 (ja) | 2018-12-28 | 2018-12-28 | 画像処理方法、画像処理システム及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11880912B2 (ja) |
| JP (1) | JP6676744B1 (ja) |
| CN (1) | CN113228111A (ja) |
| WO (1) | WO2020138182A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553961A (zh) * | 2020-04-27 | 2020-08-18 | 北京奇艺世纪科技有限公司 | 线稿对应色图的获取方法和装置、存储介质和电子装置 |
| CN113706645A (zh) * | 2021-06-30 | 2021-11-26 | 酷栈(宁波)创意科技有限公司 | 用于山水画绘制的信息处理方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9566522B2 (en) * | 2005-05-27 | 2017-02-14 | Nokia Technologies Oy | Device, method, and computer program product for customizing game functionality using images |
| CN101477695A (zh) * | 2009-01-05 | 2009-07-08 | 东南大学 | 一种图像和视频快速着色的方法 |
| CN106803232A (zh) * | 2016-11-30 | 2017-06-06 | 上海仙剑文化传媒股份有限公司 | 一种数字图像上色方法及装置 |
| US11238623B2 (en) * | 2017-05-01 | 2022-02-01 | Preferred Networks, Inc. | Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program |
| JP7252701B2 (ja) * | 2017-05-23 | 2023-04-05 | 株式会社Preferred Networks | システム、プログラム、および方法 |
| CN107330956B (zh) * | 2017-07-03 | 2020-08-07 | 广东工业大学 | 一种漫画手绘图无监督上色方法及装置 |
| JP7242165B2 (ja) * | 2017-09-20 | 2023-03-20 | 株式会社Preferred Networks | プログラム、情報処理装置、および方法 |
| CN108830913B (zh) * | 2018-05-25 | 2022-05-17 | 大连理工大学 | 基于用户颜色引导的语义级别线稿上色方法 |
-
2018
- 2018-12-28 JP JP2018247800A patent/JP6676744B1/ja active Active
-
2019
- 2019-12-25 CN CN201980086315.3A patent/CN113228111A/zh active Pending
- 2019-12-25 WO PCT/JP2019/050853 patent/WO2020138182A1/ja active Application Filing
-
2021
- 2021-06-28 US US17/360,536 patent/US11880912B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553961A (zh) * | 2020-04-27 | 2020-08-18 | 北京奇艺世纪科技有限公司 | 线稿对应色图的获取方法和装置、存储介质和电子装置 |
| CN111553961B (zh) * | 2020-04-27 | 2023-09-08 | 北京奇艺世纪科技有限公司 | 线稿对应色图的获取方法和装置、存储介质和电子装置 |
| CN113706645A (zh) * | 2021-06-30 | 2021-11-26 | 酷栈(宁波)创意科技有限公司 | 用于山水画绘制的信息处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11880912B2 (en) | 2024-01-23 |
| WO2020138182A1 (ja) | 2020-07-02 |
| CN113228111A (zh) | 2021-08-06 |
| JP2020107239A (ja) | 2020-07-09 |
| US20210327104A1 (en) | 2021-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10839575B2 (en) | User-guided image completion with image completion neural networks | |
| JP6676744B1 (ja) | 画像処理方法、画像処理システム及びプログラム | |
| US8380005B1 (en) | System and method for image composition using non-destructive editing model and fast gradient solver | |
| CN106780293B (zh) | 头部特写肖像的样式传递 | |
| DE102018007941A1 (de) | Generieren eines Dreiecksnetzes für ein Bild, das durch Kurven dargestellt wird | |
| DE102017005880A1 (de) | Fontersetzung auf Grundlage optischer Ähnlichkeit | |
| CN110766776B (zh) | 生成表情动画的方法及装置 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| US20180365565A1 (en) | Dataset for learning a function taking images as inputs | |
| CN110832583A (zh) | 用于从多个图像帧生成概要故事板的系统和方法 | |
| US20210398331A1 (en) | Method for coloring a target image, and device and computer program therefor | |
| CN111127309B (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| US20230267686A1 (en) | Subdividing a three-dimensional mesh utilizing a neural network | |
| JPWO2018203374A1 (ja) | 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム | |
| US20230086807A1 (en) | Segmented differentiable optimization with multiple generators | |
| JP2008140385A (ja) | キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 | |
| WO2021106855A1 (ja) | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム | |
| WO2023207779A1 (zh) | 图像处理方法、装置、设备及介质 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| CN113470124B (zh) | 特效模型的训练方法及装置、特效生成方法及装置 | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| CN110047118B (zh) | 视频生成方法、装置、计算机设备及存储介质 | |
| DE102021124428A1 (de) | Trainieren energiebasierter variational autoencoder | |
| CN113487475A (zh) | 交互式图像编辑方法、系统、可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191023 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200312 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6676744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |