JP7242165B2 - プログラム、情報処理装置、および方法 - Google Patents
プログラム、情報処理装置、および方法 Download PDFInfo
- Publication number
- JP7242165B2 JP7242165B2 JP2017180427A JP2017180427A JP7242165B2 JP 7242165 B2 JP7242165 B2 JP 7242165B2 JP 2017180427 A JP2017180427 A JP 2017180427A JP 2017180427 A JP2017180427 A JP 2017180427A JP 7242165 B2 JP7242165 B2 JP 7242165B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- colored
- coloring
- reference image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
以下、図面を参照しながら、第1の実施の形態に係る線画自動着色装置の例について説明する。図1は、本発明に係る線画自動着色装置10の構成を表したブロック図である。なお、線画自動着色装置10は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置10は、一般的なコンピュータが通常備えているであろうCPU(Central Processing Unit:中央演算処理装置)、GPU(Graphics Processing Unit:画像処理装置)、メモリ、ハードディスクドライブ等のストレージを具備しているものとする(図示省略)。また、これらの一般的なコンピュータを本例の線画自動着色装置10として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
第1の実施の形態においては、局所スタイルを抽出したい参照画像データをユーザが選択して、参照画像データから局所スタイルを抽出するものとして説明を行ったが、本発明はこれに限定されるものではない。第2の実施の形態では、複数種類の局所スタイルを予め抽出処理によって抽出して記憶手段に記憶させておき、それらの複数の局所スタイルの中からユーザが使用したい局所スタイルを選択して使用する実施例について説明を行う。
11 線画データ取得部
12 参照画像取得部
13 局所スタイル抽出箇所指定部
14 局所スタイル抽出部
15 局所スタイル適用指定部
16 着色処理部
17 記憶部
20 線画自動着色装置
21 局所スタイル指定受付部
22 記憶部
Claims (33)
- コンピュータに、
着色対象の画像を取得する取得機能と、
前記着色対象の画像のうちの局所スタイルが適用される一部の指定、および、参照画像のうちの前記局所スタイルを有する一部の指定のそれぞれを受け付けることで、前記参照画像の一部を前記着色対象の画像の一部に対応付ける操作をユーザから受け付ける受付機能と、
前記着色対象の画像と、前記参照画像の前記一部を前記着色対象の画像の前記一部に対応付ける前記操作に基づく、前記参照画像の前記一部が有する前記局所スタイルおよび前記着色対象の画像の前記一部を指定する情報と、を着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させる着色処理を行う着色処理機能と
を実現させ、
前記着色用学習済モデルに入力される前記情報は、少なくとも、前記参照画像の前記一部の色の情報と、色とは異なる前記参照画像の前記一部のスタイルの情報と、を分けて含む、プログラム。 - 前記着色処理機能は、前記着色対象の画像と、前記参照画像の前記一部の前記局所スタイルの情報であって少なくとも当該一部の色の情報と色とは異なる当該一部のスタイルの情報とを分けて含む情報と、前記着色対象の画像の前記一部の位置の情報と、を前記着色用学習済モデルに入力することで、前記局所スタイルを前記着色対象の画像の前記一部に適用させる前記着色処理を行う、請求項1記載のプログラム。
- 前記局所スタイルは、テクスチャを含む、請求項1又は2記載のプログラム。
- 前記操作は、前記参照画像の前記一部を前記参照画像に基づいて指定する第1の操作を含む、請求項1乃至3の何れか記載のプログラム。
- 前記受付機能は、前記参照画像を表示し、
前記第1の操作は、前記参照画像の前記一部を、当該表示されている前記参照画像から指定する操作である、請求項4記載のプログラム。 - 前記操作は、前記着色対象の画像の前記一部を前記着色対象の画像に基づいて指定する第2の操作を含む、請求項1乃至5の何れか記載のプログラム。
- 前記受付機能は、前記着色対象の画像を表示し、
前記第2の操作は、前記着色対象の画像の前記一部を、当該表示されている前記着色対象の画像から指定する操作である、請求項6記載のプログラム。 - 前記受付機能は、別の参照画像の一部を前記着色対象の画像の別の一部に対応付ける別の操作を前記ユーザから受け付け可能であり、
前記着色処理機能は、前記着色対象の画像と、前記対応付ける操作および前記対応付ける別の操作に基づく情報と、を前記着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させ且つ前記別の参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記別の一部に適用させる着色処理を行う、請求項1乃至7の何れか記載のプログラム。 - 前記受付機能は、前記着色処理の実行後、別の参照画像の一部を前記着色対象の画像の別の一部に対応付ける別の操作を受け付け可能であり、
前記着色処理機能は、前記着色対象の画像と、前記対応付ける操作および前記対応付ける別の操作に基づく情報と、を前記着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させ且つ前記別の参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記別の一部に適用させる着色処理を行う、請求項1乃至7の何れか記載のプログラム。 - 前記参照画像の前記一部の画像に基づいて、前記着色用学習済モデルに入力される前記局所スタイルの情報を生成する機能を、前記コンピュータに実現させる、請求項1乃至9の何れか記載のプログラム。
- 前記受付機能は、
前記参照画像を取得する参照画像取得機能と、
前記取得した参照画像の前記一部の指定を受け付ける局所スタイル抽出箇所指定機能と、
前記局所スタイル抽出箇所指定機能で指定された前記一部について前記参照画像から局所スタイルの抽出処理を少なくとも色の情報と色とは異なるスタイルの情報とで分けて行う局所スタイル抽出機能と、
前記局所スタイル抽出機能で抽出した前記局所スタイルを適用する部分を前記着色対象の画像に対して指定する局所スタイル適用指定機能と
を実現させる請求項1記載のプログラム。 - 前記受付機能は、
予め抽出処理によって少なくとも色の情報と色とは異なるスタイルの情報とで分けて抽出して記憶手段により記憶させた複数の局所スタイルの中からユーザによって選択された局所スタイルを、前記着色対象の画像の前記一部に適用する局所スタイルとして受け付け可能である、
請求項1記載のプログラム。 - 局所スタイルについての前記抽出処理は、
参照画像の一部から局所スタイルを少なくとも色の情報と色とは異なるスタイルの情報とで分けて抽出することを予め学習した局所スタイル用学習済モデルに基づいて局所スタイルを抽出するようにした
請求項11又は12に記載のプログラム。 - 画像とその画像に対する正解の着色状態を表した着色正解画像とを1組のセットとして、複数セットの画像及び着色正解画像を用意し、
局所スタイルを抽出するエンコーダに対して着色正解画像を参照画像として入力して入力された着色正解画像の全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、
前記エンコーダで抽出した局所スタイルマップのうち、少なくとも1以上の局所スタイルをピックアップして、ピックアップした局所スタイルを画像と共にデコーダに入力する手順と、
前記デコーダにおいて、ピックアップした局所スタイルを当該デコーダに入力された画像に適用させる着色処理を実行して着色済画像を得る手順と、
前記デコーダで得られた着色済画像と着色正解画像とを用いて、損失関数により、着色正解画像に対する着色済画像の損失を演算によって求める手順と、
前記損失関数によって求めた損失が小さくなるように、前記エンコーダのパラメータを更新する手順と
を前記複数セットの画像及び着色正解画像について実行することにより得た前記エンコーダを前記局所スタイル用学習済モデルとした
請求項13記載のプログラム。 - 画像とその画像に対する正解の着色状態を表した着色正解画像とを1組のセットとして、複数セットの画像及び着色正解画像を用意し、
局所スタイルを抽出するエンコーダに対して着色正解画像を参照画像として入力して入力された着色正解画像の全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、
前記エンコーダで抽出した局所スタイルマップのうち、少なくとも1以上の局所スタイルをピックアップして、ピックアップした局所スタイルを画像と共にデコーダに入力する手順と、
前記デコーダにおいて、ピックアップした局所スタイルを当該デコーダに入力された画像に適用させる着色処理を実行して着色済画像を得る手順と、
前記デコーダで得られた着色済画像と着色正解画像とを用いて、損失関数により、着色正解画像に対する着色済画像の損失を演算によって求める手順と、
前記損失関数によって求めた損失が小さくなるように、前記デコーダのパラメータを更新する手順と
を前記複数セットの画像及び着色正解画像について実行することにより得た前記デコーダを前記着色用学習済モデルとした
請求項13記載のプログラム。 - コンピュータに、
着色対象の画像を取得する取得機能と、
参照画像を表示し、前記着色対象の画像の一部に適用されるテクスチャを有する部分として、当該表示されている参照画像からその一部を指定する操作をユーザから受け付ける第1の受付機能と、
前記着色対象の画像の前記一部であって、前記参照画像から指定された前記一部が持つ前記テクスチャが適用される部分を指定する操作を前記ユーザから受け付ける第2の受付機能と、
前記着色対象の画像と、前記参照画像から指定された前記一部が持つ色の情報とは分かれている情報であって前記参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において当該テクスチャが適用される前記一部の場所を示す情報と、を、前記第1の受付機能において指定された参照画像の一部が持つテクスチャを前記第2の受付機能において指定された着色対象の画像の部分に適用させる着色処理を行うニューラルネットワークを含む着色処理部に入力する入力機能と、
前記ニューラルネットワークが行う前記着色処理を介して得られた着色済画像を表示する表示機能と、
を実現させるプログラム。 - 前記第1の受付機能は、別の参照画像を表示し、前記着色対象の画像の別の一部に適用されるテクスチャを有する部分として、当該表示されている別の参照画像からその一部を指定する操作を前記ユーザから受け付け可能であり、
前記第2の受付機能は、前記着色対象の画像の前記別の一部であって、前記別の参照画像から指定された前記一部が持つ前記テクスチャが適用される部分を指定する操作を前記ユーザから受け付け可能であり、
前記入力機能は、前記着色対象の画像と、前記参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において前記参照画像の前記一部が持つ前記テクスチャが適用される前記一部の場所を示す情報と、前記別の参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において前記別の参照画像の前記一部が持つ前記テクスチャが適用される前記別の一部の場所を示す情報と、を前記着色処理部に入力可能である、請求項16記載のプログラム。 - 前記着色対象の画像の一部に適用されるテクスチャをテクスチャのライブラリから指定する操作を前記ユーザから受け付ける第3の受付機能を実現させ、
前記第2の受付機能は、前記着色対象の画像の一部であって、前記ライブラリから指定されたテクスチャが適用される部分を指定する操作を前記ユーザから受け付け可能であり、
前記入力機能は、前記着色対象の画像と、前記ライブラリから指定されたテクスチャの情報と、前記着色対象の画像において当該テクスチャが適用される一部の場所を示す情報と、を前記着色処理部に入力可能である、請求項16記載のプログラム。 - 着色対象の画像を取得する取得部と、
前記着色対象の画像のうちの局所スタイルが適用される一部の指定、および、参照画像のうちの前記局所スタイルを有する一部の指定のそれぞれを受け付けることで、前記参照画像の一部を前記着色対象の画像の一部に対応付ける操作をユーザから受け付ける受付部と、
前記着色対象の画像と、前記参照画像の前記一部を前記着色対象の画像の前記一部に対応付ける前記操作に基づく、前記参照画像の前記一部が有する前記局所スタイルおよび前記着色対象の画像の前記一部を指定する情報と、を着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させる着色処理を行う着色処理部と
を備え、
前記着色用学習済モデルに入力される前記情報は、少なくとも、前記参照画像の前記一部の色の情報と、色とは異なる前記参照画像の前記一部のスタイルの情報と、を分けて含む、情報処理装置。 - 前記着色処理部は、前記着色対象の画像と、前記参照画像の前記一部の前記局所スタイルの情報であって少なくとも当該一部の色の情報と色とは異なる当該一部のスタイルの情報とを分けて含む情報と、前記着色対象の画像の前記一部の位置の情報と、を前記着色用学習済モデルに入力することで、前記局所スタイルを前記着色対象の画像の前記一部に適用させる前記着色処理を行う、請求項19記載の情報処理装置。
- 前記局所スタイルは、テクスチャを含む、請求項19又は20記載の情報処理装置。
- 前記操作は、前記参照画像の前記一部を前記参照画像に基づいて指定する第1の操作を含む、請求項19乃至21の何れか記載の情報処理装置。
- 前記受付部は、前記参照画像を表示し、
前記第1の操作は、前記参照画像の前記一部を、当該表示されている前記参照画像から指定する操作である、請求項22記載の情報処理装置。 - 前記操作は、前記着色対象の画像の前記一部を前記着色対象の画像に基づいて指定する第2の操作を含む、請求項19乃至23の何れか記載の情報処理装置。
- 前記受付部は、前記着色対象の画像を表示し、
前記第2の操作は、前記着色対象の画像の前記一部を、当該表示されている前記着色対象の画像から指定する操作である、請求項24記載の情報処理装置。 - 前記受付部は、別の参照画像の一部を前記着色対象の画像の別の一部に対応付ける別の操作を前記ユーザから受け付け可能であり、
前記着色処理部は、前記着色対象の画像と、前記対応付ける操作および前記対応付ける別の操作に基づく情報と、を前記着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させ且つ前記別の参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記別の一部に適用させる着色処理を行う、請求項19乃至25の何れか記載の情報処理装置。 - 前記受付部は、前記着色処理の実行後、別の参照画像の一部を前記着色対象の画像の別の一部に対応付ける別の操作を受け付け可能であり、
前記着色処理部は、前記着色対象の画像と、前記対応付ける操作および前記対応付ける別の操作に基づく情報と、を前記着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させ且つ前記別の参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記別の一部に適用させる着色処理を行う、請求項19乃至25の何れか記載の情報処理装置。 - 前記参照画像の前記一部の画像に基づいて、前記着色用学習済モデルに入力される前記局所スタイルの情報を生成する生成部を、さらに備えた、請求項19乃至27の何れか記載の情報処理装置。
- 着色対象の画像を取得する取得部と、
参照画像を表示し、前記着色対象の画像の一部に適用されるテクスチャを有する部分として、当該表示されている参照画像からその一部を指定する操作をユーザから受け付ける第1の受付部と、
前記着色対象の画像の前記一部であって、前記参照画像から指定された前記一部が持つ前記テクスチャが適用される部分を指定する操作を前記ユーザから受け付ける第2の受付部と、
前記着色対象の画像と、前記参照画像から指定された前記一部が持つ色の情報とは分かれている情報であって前記参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において当該テクスチャが適用される前記一部の場所を示す情報と、を、前記第1の受付部において指定された参照画像の一部が持つテクスチャを前記第2の受付部において指定された着色対象の画像の部分に適用させる着色処理を行うニューラルネットワークを含む着色処理部に入力する入力部と、
前記ニューラルネットワークが行う前記着色処理を介して得られた着色済画像を表示する表示部と、
を備えた情報処理装置。 - 前記第1の受付部は、別の参照画像を表示し、前記着色対象の画像の別の一部に適用されるテクスチャを有する部分として、当該表示されている別の参照画像からその一部を指定する操作を前記ユーザから受け付け可能であり、
前記第2の受付部は、前記着色対象の画像の前記別の一部であって、前記別の参照画像から指定された前記一部が持つ前記テクスチャが適用される部分を指定する操作を前記ユーザから受け付け可能であり、
前記入力部は、前記着色対象の画像と、前記参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において前記参照画像の前記一部が持つ前記テクスチャが適用される前記一部の場所を示す情報と、前記別の参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において前記別の参照画像の前記一部が持つ前記テクスチャが適用される前記別の一部の場所を示す情報と、を前記着色処理部に入力可能である、請求項29記載の情報処理装置。 - 前記着色対象の画像の一部に適用されるテクスチャをテクスチャのライブラリから指定する操作を前記ユーザから受け付ける第3の受付部をさらに備え、
前記第2の受付部は、前記着色対象の画像の一部であって、前記ライブラリから指定されたテクスチャが適用される部分を指定する操作を前記ユーザから受け付け可能であり、
前記入力部は、前記着色対象の画像と、前記ライブラリから指定されたテクスチャの情報と、前記着色対象の画像において当該テクスチャが適用される一部の場所を示す情報と、を前記着色処理部に入力可能である、請求項29記載の情報処理装置。 - コンピュータが実行する方法であって、
着色対象の画像を取得する取得手順と、
前記着色対象の画像のうちの局所スタイルが適用される一部の指定、および、参照画像のうちの前記局所スタイルを有する一部の指定のそれぞれを受け付けることで、前記参照画像の一部を前記着色対象の画像の一部に対応付ける操作をユーザから受け付ける受付手順と、
前記着色対象の画像と、前記参照画像の前記一部を前記着色対象の画像の前記一部に対応付ける前記操作に基づく、前記参照画像の前記一部が有する前記局所スタイルおよび前記着色対象の画像の前記一部を指定する情報と、を着色用学習済モデルに入力することで、前記参照画像の前記一部が有する局所スタイルを前記着色対象の画像の前記一部に適用させる着色処理を行う着色処理手順と
を含み、
前記着色用学習済モデルに入力される前記情報は、少なくとも、前記参照画像の前記一部の色の情報と、色とは異なる前記参照画像の前記一部のスタイルの情報と、を分けて含む、方法。 - コンピュータが実行する方法であって、
着色対象の画像を取得する取得手順と、
参照画像を表示し、前記着色対象の画像の一部に適用されるテクスチャを有する部分として、当該表示されている参照画像からその一部を指定する操作をユーザから受け付ける第1の受付手順と、
前記着色対象の画像の前記一部であって、前記参照画像から指定された前記一部が持つ前記テクスチャが適用される部分を指定する操作を前記ユーザから受け付ける第2の受付手順と、
前記着色対象の画像と、前記参照画像から指定された前記一部が持つ色の情報とは分かれている情報であって前記参照画像から指定された前記一部が持つ前記テクスチャの情報と、前記着色対象の画像において当該テクスチャが適用される前記一部の場所を示す情報と、を、前記第1の受付手順において指定された参照画像の一部が持つテクスチャを前記第2の受付手順において指定された着色対象の画像の部分に適用させる着色処理を行うニューラルネットワークを含む着色処理部に入力する入力手順と、
前記ニューラルネットワークが行う前記着色処理を介して得られた着色済画像を表示する表示手順と、
を含む方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017180427A JP7242165B2 (ja) | 2017-09-20 | 2017-09-20 | プログラム、情報処理装置、および方法 |
US16/135,627 US11386587B2 (en) | 2017-09-20 | 2018-09-19 | Automatic coloring of line drawing |
US17/834,856 US20220301239A1 (en) | 2017-09-20 | 2022-06-07 | Automatic coloring of line drawing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017180427A JP7242165B2 (ja) | 2017-09-20 | 2017-09-20 | プログラム、情報処理装置、および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057066A JP2019057066A (ja) | 2019-04-11 |
JP7242165B2 true JP7242165B2 (ja) | 2023-03-20 |
Family
ID=65720448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017180427A Active JP7242165B2 (ja) | 2017-09-20 | 2017-09-20 | プログラム、情報処理装置、および方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11386587B2 (ja) |
JP (1) | JP7242165B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7477260B2 (ja) | 2018-01-30 | 2024-05-01 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法 |
JP6676744B1 (ja) * | 2018-12-28 | 2020-04-08 | 株式会社Cygames | 画像処理方法、画像処理システム及びプログラム |
CN117291162A (zh) * | 2019-03-04 | 2023-12-26 | 微软技术许可有限责任公司 | 样式迁移 |
CN112837332B (zh) * | 2021-01-13 | 2024-01-19 | 杭州水母智能科技有限公司 | 创意设计的生成方法、装置、终端、存储介质 |
CN114155314A (zh) * | 2021-11-25 | 2022-03-08 | 航天科工深圳(集团)有限公司 | 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 |
CN117557589A (zh) * | 2023-11-08 | 2024-02-13 | 深圳市闪剪智能科技有限公司 | 基于神经网络的线条图上色方法、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014044595A (ja) | 2012-08-27 | 2014-03-13 | Utsunomiya Univ | 線画着色システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134422A (ja) * | 1995-11-07 | 1997-05-20 | B U G:Kk | アニメーションの連続彩色方法および装置 |
JP2004334814A (ja) | 2003-05-07 | 2004-11-25 | Susumu Shiroyama | モノクロ画像のカラー化手法、装置、プログラム |
JP2012033012A (ja) | 2010-07-30 | 2012-02-16 | Casio Comput Co Ltd | 画調変換装置、画調変換システム、画調変換方法及びプログラム |
US10198839B2 (en) * | 2016-09-22 | 2019-02-05 | Apple Inc. | Style transfer-based image content correction |
US10916001B2 (en) * | 2016-11-28 | 2021-02-09 | Adobe Inc. | Facilitating sketch to painting transformations |
CN108205813B (zh) * | 2016-12-16 | 2022-06-03 | 微软技术许可有限责任公司 | 基于学习网络的图像风格化 |
US10311326B2 (en) | 2017-03-31 | 2019-06-04 | Qualcomm Incorporated | Systems and methods for improved image textures |
JP2019036899A (ja) | 2017-08-21 | 2019-03-07 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
JP7477260B2 (ja) | 2018-01-30 | 2024-05-01 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法 |
-
2017
- 2017-09-20 JP JP2017180427A patent/JP7242165B2/ja active Active
-
2018
- 2018-09-19 US US16/135,627 patent/US11386587B2/en active Active
-
2022
- 2022-06-07 US US17/834,856 patent/US20220301239A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014044595A (ja) | 2012-08-27 | 2014-03-13 | Utsunomiya Univ | 線画着色システム |
Non-Patent Citations (7)
Title |
---|
Lvmin Zhang, Yi Ji and Xin Lin,Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN,arXiv.org,2017年06月13日,https://arxiv.org/abs/1706.03319v2 |
Paulina Hensman and Kiyoharu Aizawa,cGAN-based Manga Colorization Using a Single Training Image,arXiv.org,2017年06月21日,https://arxiv.org/abs/1706.06918 |
Satoshi Iizuka, Edgar Simo-Serra and Hiroshi Ishikawa,Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,ACM Transactions on Graphics,2016年07月11日,Vol.35, No.4, Article No.110,https://dl.acm.org/doi/10.1145/2897824.2925974 |
佐藤和博, 外2名,"参照画像を利用したマンガキャラクタの彩色",電子情報通信学会2012年総合大会講演論文集 情報・システム2,2012年03月06日,p.47 |
及川太陽, 外3名,"カラーイラストから線画への塗り情報の転写",映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2012年03月09日,第36巻, 第16号,p.149-152 |
古澤 知英, 廣芝 和之, 大垣 慶介, 小田桐 優理,色彩特徴を入力に用いた畳み込みニューラルネットワークによる漫画の自動彩色,DEIM Forum 2017 予稿集,2017年03月07日,DEIM Forum 2017 B3-4,https://db-event.jpn.org/deim2017/proceedings.html#B3 |
片岡 裕介, 松原 崇, 上原 邦昭,深層学習における敵対的ネットワークを用いた漫画画像の自動カラー化,情報処理学会研究報告 コンピュータビジョンとイメージメディア(CVIM),2017年03月02日,2017-CVIM-206,pp.1-6,https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=178333&item_no=1 |
Also Published As
Publication number | Publication date |
---|---|
JP2019057066A (ja) | 2019-04-11 |
US20220301239A1 (en) | 2022-09-22 |
US11386587B2 (en) | 2022-07-12 |
US20190087982A1 (en) | 2019-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7242165B2 (ja) | プログラム、情報処理装置、および方法 | |
US10748324B2 (en) | Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering | |
US20180218535A1 (en) | Generating a three-dimensional model from a scanned object | |
JP7213616B2 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法。 | |
US8406566B1 (en) | Methods and apparatus for soft edge masking | |
US11455773B2 (en) | Image processing method and device | |
US11915344B2 (en) | Method and apparatus for automatic line drawing coloring and graphical user interface thereof | |
JP5318587B2 (ja) | グラデーション作成方法、プログラムおよび装置 | |
JP6929322B2 (ja) | データ拡張システム、データ拡張方法、及びプログラム | |
JP7474793B2 (ja) | 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム | |
CN108109161B (zh) | 基于自适应阈值分割的视频数据实时处理方法及装置 | |
CN108111911B (zh) | 基于自适应跟踪框分割的视频数据实时处理方法及装置 | |
US10185875B2 (en) | Image processing device, image display device, image processing method, and medium | |
CN115812221A (zh) | 图像生成及着色方法及装置 | |
CN108307189A (zh) | 三维内容提供系统、方法及计算机可读记录介质 | |
WO2019073267A1 (en) | AUTOMATED IMAGE HANDLING USING ARTIFICIAL INTELLIGENCE | |
CN104995591B (zh) | 图像处理设备和图像处理方法 | |
JP2023109570A (ja) | 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法 | |
JP2019504430A5 (ja) | ||
US20020175923A1 (en) | Method and apparatus for displaying overlapped graphical objects using depth parameters | |
CN113763526A (zh) | 一种头发高光渲染方法、装置、设备及存储介质 | |
JP3192116U (ja) | 画像処理装置 | |
CN110428360B (zh) | 汽车图像美化方法、设备、存储介质及装置 | |
JP7106144B2 (ja) | 画像解析装置 | |
US20100020096A1 (en) | Antialiasing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7242165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |