JP6004260B2 - 線画着色システム - Google Patents

Description

本発明は、線画着色システム、線画着色方法及び線画着色プログラムに関する。

従来、カラー写真を絵画風に変換する様々な技術が提案されている（例えば非特許文献１及び非特許文献２参照）。これらの技術によれば、カラー写真を油絵のように加工することができる。一方、モノクロ写真に自動彩色する技術についても様々な提案がなされている（例えば非特許文献３及び非特許文献４参照）。モノクロ写真に自動着色を行う場合には、着色対象として取り込まれたグレースケールの画像データにおける風景や物体と類似のものが写りこんでいるカラー写真が参照される。そして、グレースケールの画像データとカラー写真に対応するカラー画像データとの間において局所的に濃淡の特徴が類似する部分が検索され、検索結果に基づいてカラー画像データの色がグレースケールの画像データに与えられる。

A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless and D. H. Salesin, "Image analogies", SIGGRAPH'01, pp.327-340, 2001. 齋藤豪、 張英夏、「油絵調コンピュータグラフィクスに関する従来研究」、[平成２４年８月１８日検索]、インターネット＜ＵＲＬ：http://mxa21.jp/Simulator/project02_01.html＞ 森田 千晶、 増永 良文、「モノクロ画像のカラリゼーションのための色彩傾向を考慮したウェブ画像検索システム」、電子情報通信学会第１７回データ工学ワークショップ（DEWS2006）、5B-i9、2006.3. R. Irony, D. Cohen-Or, D. Lischinski, "Colorization by Example", Eurgraphics Symposium on Rendering (2005).

コンピュータを用いた従来のカラー画像の生成技術では、元画像データの濃淡を示す画素値の変化や勾配が参照される。しかしながら、線画に着色を行おうとすると従来の技術を適用することが困難となる。これは、線画は大部分が白で線が存在する部分のみ値を有する２値画像であるためである。

そこで、本発明は、簡易に線画に着色することが可能な線画着色システム、線画着色方法及び線画着色プログラムを提供することを目的とする。

本発明の実施形態に係る線画着色システムは、領域分割部と着色部とを備える。領域分割部は、線画を示す画像データを、前記線画を構成する線の全部又は一部と、前記線画を構成する線以外の線とを実質的に境界とする複数の領域に分割する。着色部は、カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成する。また、前記着色部は、前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、前記各領域内における画素値の平均化処理とを実行することによって、前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成するように構成される。
また、本発明の実施形態に係る線画着色方法は、コンピュータに、線画を示す画像データを、前記線画を構成する線の全部又は一部を実質的に境界の全部又は一部とする複数の領域に分割するステップと、カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成するステップとを実行させるものである。また、前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、前記各領域内における画素値の平均化処理とを前記コンピュータに実行させることによって、前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成する。
また、本発明の実施形態に係る線画着色プログラムは、コンピュータを領域分割部及び着色部として機能させる。領域分割部は、線画を示す画像データを、前記線画を構成する線の全部又は一部と、前記線画を構成する線以外の線とを実質的に境界とする複数の領域に分割する。着色部は、カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成する。また、前記着色部は、前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、前記各領域内における画素値の平均化処理とを実行することによって、前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成するように構成される。

本発明の実施形態に係る線画着色システム、線画着色方法及び線画着色プログラムによれば、簡易に線画に着色することができる。

本発明の実施形態に係る線画着色システムの機能ブロック図。 図１に示す線画着色システムにより線画を作成し、参照カラー画像データに基づいて自動的に着色する際の流れを示すフローチャート。 図２のステップＳ３に示す自動彩色処理の詳細を示すフローチャート。 図１に示す着色部において実行される色の平滑化処理の方法を説明する図。 図１に示す表示装置にユーザインターフェースとして表示される線画着色システムの操作画面の一例を示す図。

本発明の実施形態に係る線画着色システム、線画着色方法及び線画着色プログラムについて添付図面を参照して説明する。

（構成および機能）
図１は本発明の実施形態に係る線画着色システムの機能ブロック図である。

線画着色システム１は、入力装置２及び表示装置３を備えたコンピュータ４に線画着色プログラムを読み込ませることによって構築される。但し、線画着色システム１を構成するために回路を用いてもよい。尚、表示装置３をタッチパネルで構成し、タッチパネルを入力装置２として用いることにより、ユーザによる操作が容易となる。

線画着色プログラムは、汎用コンピュータを線画着色システム１として利用できるように情報記録媒体に記録してプログラムプロダクトとして流通させることもできる。もちろん、情報記録媒体を介さずにネットワーク経由で線画着色プログラムをコンピュータ４にダウンロードすることもできる。

線画着色システム１は、予め準備された参照画像データを参照して線画データに自動的に着色処理を実行するシステムである。そのために、線画着色システム１は、線画作成部５、線画取込部６、参照画像作成部７、参照画像取得部８、参照画像記憶部９、参照画像選択部１０、領域分割部１１、着色部１２、表示条件設定部１３及び画像出力部１４を有する。従って、線画着色プログラムをコンピュータ４に読み込ませて線画着色システム１が構築される場合には、線画着色プログラムがコンピュータ４を線画作成部５、線画取込部６、参照画像作成部７、参照画像取得部８、参照画像記憶部９、参照画像選択部１０、領域分割部１１、着色部１２、表示条件設定部１３及び画像出力部１４として機能させることとなる。

参照画像作成部７は、線画を示す画像データに自動着色するために参照される参照画像データを入力装置２から入力される情報に従って作成する機能を有する。参照画像データとしては、カラー又はグレースケールの画像データを用いることができる。

参照画像取得部８は、スキャナー、記録媒体、デジタルカメラ或いはネットワーク１５で接続された外部記憶装置から参照画像データを取り込む機能を有する。例えば、デジタルカラー写真或いはスキャナーで取り込まれた風景画を参照画像データとして取り込むことができる。また、同一のコンピュータ４にインストールされた他の絵画用のソフトウェアで作成されたカラー画像データを参照画像データとして取得することもできる。

参照画像記憶部９は、参照画像作成部７において作成された参照画像データ及び参照画像取得部８により取得された参照画像データを保存する機能を有する。

線画作成部５は、入力装置２から入力される情報に従って線画を示す画像データを作成する機能を有する。尚、着色後の線画データにおいて表示させるべき線と非表示とする線を区別して線画を示す画像データを作成することができる。また、線画を示す画像データの座標系は、参照画像データの座標系と対応付けられる。すなわち、線画を示す画像データは、参照画像データの座標系と同一の座標系を用いて作成される。

線画取込部６は、スキャナー、USB(Universal Serial Bus)メモリやメモリカード等の情報記録媒体、デジタルカメラ或いはネットワーク１５で接続された外部記憶装置から線画を示す画像データを取り込む機能を有する。また、線画取込部６には、同一のコンピュータ４にインストールされた他の絵画用のソフトウェアで作成された線画を示す画像データを線画着色システム１に取り込む機能も備えられる。

更に、必要に応じて線画取込部６には、線画を示す画像データと参照画像データとの間における位置合わせ処理を実行する機能が備えられる。位置合わせは、入力装置２の操作によってマニュアルで行えるようにすることができる。或いは、任意の画像処理によって自動的に画像データ間における位置合わせ処理を実行するようにしてもよい。

マニュアルで画像データ間における位置合わせ処理を行う場合には、線画を示す画像データと参照画像データとが表示装置３に表示される。そして、入力装置２から一方又は双方の画像データに対する移動指示及び伸縮指示を線画取込部６に入力させることによって線画を示す画像データと参照画像データとの間における位置合わせ処理を実行することができる。

一方、画像処理によって自動的に画像データ間における位置合わせ処理を行う場合には、線画を示す画像データと参照画像データとの間における位置ずれ量を示す指標を最適化する処理によって位置合わせ処理を実行することができる。

具体例としては、線画を示す画像データと参照画像データとの間における画素値の相互相関係数が１に近づくように一方又は双方の画像データを回転、移動、拡大及び縮小させる処理が挙げられる。この場合、参照画像データのエッジ検出処理や２値化処理を行った後に位置合わせ処理を実行するようにしてもよい。

また別の例として、参照画像データのエッジ検出処理や２値化処理後における画像データと線画を示す画像データとの間における２乗誤差が最小となるように一方又は双方の画像データを回転、移動、拡大及び縮小させる処理が挙げられる。

参照画像選択部１０は、参照画像記憶部９に複数の参照画像データが保存されている場合に、入力装置２から入力された選択情報に従って、線画を示す画像データの自動着色のために使用する参照画像データを選択する機能を有する。但し、線画を示す画像データに適切な参照画像データの候補の提示又は選択を自動的に行えるようにすることもできる。その場合には、任意のアルゴリズムに従って参照画像選択部１０が参照画像記憶部９から線画を示す画像データに応じた参照画像データを抽出する。

線画を示す画像データの着色に適切な参照画像データの候補の決定方法としては、線画を示す画像データと参照画像データとの差異を表す指標がより小さい参照画像データを優先度の高い候補とする方法が挙げられる。参照画像データの選択のために参照される指標としては、位置合わせ処理において最適化対象とすべき指標と同様に、相互相関係数や２乗誤差等の指標とすることができる。この場合においても、参照画像データに対してエッジ検出処理や２値化処理等の画像処理を施した上で、線画を示す画像データに対する差異を表す指標を求めるようにすることができる。

領域分割部１１は、線画作成部５又は線画取込部６から着色対象となる線画を示す画像データを取得して複数の領域に分割する機能を有する。但し、領域分割部１１は、線画を構成する線の全部又は一部を実質的に境界の全部又は一部とする複数の領域に、線画を示す画像データを分割するように構成される。

具体例として、線画を示す画像データを、線画を示す画像データから得られた線画を構成する線上における複数のサンプリング点をそれぞれ頂点とする複数の三角形の領域に分割することができる。この方法に依れば、線画を構成する線の端点を複数の領域の境界上とすることができる。このため、線画を構成する線の端部まで利用して忠実に複数の領域を作成することができる。

或いは、線画を示す画像データを予め決定したサイズの複数の矩形領域に分割してモザイク状とし、線画を構成する線によって更に矩形領域を複数の領域に分割することもできる。この方法に依れば、簡易な処理で複数の領域を作成することができる。また、領域のサイズを容易に変更したり、領域のサイズに粗密傾斜をつけることができる。例えば、線画の中心に近い程、領域のサイズを小さくする一方、線画の周辺に近い程、領域のサイズを大きくすることができる。更に、モザイク状に分割する領域の形状を矩形領域以外の六角形や三角形等の所望の形状にすることもできる。

上述したように線画を構成する線以外の線を用いて複数の領域を生成する場合、複数の領域の境界の一部が線画を構成する線となる。一方、線画によって複数の閉空間のみが作成されている場合には、複数の閉空間をそのまま複数の領域として分割することもできる。この場合には、複数の領域の境界の全部が線画を構成する線となる。

また、線画を構成する複数の線を、複数の領域の境界として用いる線と複数の領域の境界として用いない線とに分類できるようにしてもよい。その場合には、領域分割部１１が、線画を構成する複数の線のうち複数の領域の境界として用いられる一部の線のみを用いて線画を示す画像データを複数の領域に分割することとなる。線画を構成する複数の線を領域の境界とするか否かの指定情報は入力装置２から領域分割部１１に与えることができる。

尚、線画を構成する線を抽出するためのサンプリング点の間隔によっては、線画を構成する線が厳密には複数の領域の境界とはならないが、実質的に線画を構成する線が複数の領域の境界の一部になっているとみなすことができる。

着色部１２は、カラー又はグレースケールの参照画像データを参照して複数の領域を着色することによって表示用の画像データを生成する機能を有する。具体的には、着色部１２は、領域分割部１１によって作成された複数の領域に空間的にそれぞれ対応する画素値を参照画像データから取得し、取得した画素値に基づいて複数の領域を着色することによって表示用の画像データを生成するように構成される。

従って、着色部１２における着色処理によって生成される画像データは、線画を構成する線を少なくとも境界の一部として塗り分けられた画像データとなる。このため、単に線画データと参照画像データとを重畳表示させた場合と異なり、不自然感が抑制された画像データを得ることができる。

領域分割部１１によって分割された各領域内の画素値は、対応する参照画像データの画素値に基づく任意のアルゴリズムによって得られる多値とすることができる。すなわち、単一の領域内に一定でない複数の画素値を割り当てることができる。このため、例えばRGB値を傾斜させることによって色のグラデーションを領域ごとに付与したり、テクスチャ等の規則的な模様を領域内に付与することもできる。尚、テクスチャには、規則的な模様と、芝生や木目のような不規則性を有する模様とがある。このため、不規則性を有する模様を領域内に付与することもできる。

但し、領域分割部１１によって分割された各領域内における画素値を領域ごとに一定の値とすれば、色の変化が各領域の境界のみで生じる画像データが得られる。このため、線画と色との一体感を向上させることができる。また、線画を構成する線を境界としない隣接する領域間について画素値が滑らかに変化するようにすれば、画素値が不連続に変化する部分が線画を構成する線のみとなる。このため、線画と色との一体感を一層向上させることができる。

つまり、線画を構成する線以外の部分における画素値を選択的に平均化又は平滑化することによって、線画を構成する線を色の塗り分けのための境界線として強調することができる。この結果、あたかも人が線画に沿って着色したかのような画像データを生成することができる。

そこで、着色部１２が、複数の領域の境界となった線画を構成する線を境界とする画素値の平滑化処理及び平均化処理の少なくとも一方を伴って複数の領域を着色するように構成することができる。より具体的な例として、複数の領域内における画素値の平均化処理を実行することができる。また、線画を構成する線以外を境界として隣接する複数の領域間における画素値の平滑化処理を行うこともできる。

尚、領域間における平滑化処理を指定された回数だけ繰返すことにより、線画を構成する線を除く領域間における画素値の不連続性を一層低減させることができる。この場合、平滑化処理の繰返し回数に領域の位置に応じた傾斜をつけるようにしてもよい。

ところで、線画を構成する線については、表示用の画像データに表示させるか否かを選択することができる。そこで、着色部１２は、線画を構成する複数の線のうち、表示用の画像データに表示させる線として指定された線のみが表示される表示用の画像データを生成するように構成される。従って、表示対象とならない線画の線は、着色のための領域分割用の線としてのみ用いられることとなる。このため、表示対象としない線を線画に付加することによって、表示対象となる線を変えることなく色合いのみを調整することが可能となる。

また、表示対象となる着色後の画像データの色をユーザが容易かつリアルタイムに調整できるように、着色部１２が、線画を示す画像データの更新に追従して表示用の画像データを更新させるようにすることができる。

表示条件設定部１３は、入力装置２から入力された情報に従って、表示装置３に表示される画像等の表示条件を設定する機能を有する。例えば、線画を構成する線のうち表示用の画像データに表示させる線と表示させない線とを指定することができる。この場合、表示条件設定部１３において生成された表示対象となる線の指定情報は着色部１２に通知され、上述したような着色部１２における表示処理の条件として用いられる。

また、線画データの作成時において、表示用の画像データに表示させる線と表示させない線とを識別表示させる場合には、表示させる線であるか非表示させる線であるかを識別する情報が線画作成部５に通知される。

また、線画作成部５により線画データを作成する場合、線画作成用のキャンバスに参照画像データを重畳表示させるか否かといった表示条件についても表示条件設定部１３において設定することができる。この場合、参照画像データの表示要否についての指示情報が表示条件設定部１３から線画作成部５に通知される。

画像出力部１４は、入力装置２から入力された画像の指定情報に従って、指定された画像データを表示装置３に出力させる機能を有する。表示装置３に出力させる画像データの表示条件は、表示条件設定部１３において設定することができる。

（動作および作用）
次に線画着色システム１の動作および作用について説明する。

図２は、図１に示す線画着色システム１により線画を作成し、参照カラー画像データに基づいて自動的に着色する際の流れを示すフローチャートである。

まずステップＳ１において、参照カラー画像データが線画着色システム１に入力される。例えば、ユーザが任意に選んだカラー写真をスキャナーで取り込んでデジタル化し、デジタル化されたカラーの静止画像データを参照カラー画像データとすることができる。或いは、ユーザが入力装置２の操作によってパレットのように単純色を塗り分けたカラー画像データを作成し、作成したカラー画像データを参照カラー画像データとすることもできる。

外部から線画着色システム１に取り込まれたカラー画像データ又は線画着色システム１として機能するコンピュータ４にインストールされた他の画像作成アプリケーションによって作成されたカラー画像データは参照画像取得部８により取得され、カラーの参照画像データである参照カラー画像データとして参照画像記憶部９に保存される。一方、線画着色システム１に備えられる機能として参照画像作成部７によりカラー画像データが作成された場合には、参照画像作成部７により参照カラー画像データとして参照画像記憶部９に保存される。

そして、複数の参照カラー画像データを予め参照画像記憶部９に保存して選択可能に準備しておくことができる。複数の参照カラー画像データが参照画像記憶部９に保存されている場合には、入力装置２から参照画像選択部１０に選択指示を与えることによって１フレームの参照カラー画像データを選択することができる。

次に、ステップＳ２において、着色対象となる線画を示す画像データが線画データとして線画着色システム１に入力される。

例えば、線画データを線画着色システム１の外部から取り込むことができる。この場合、線画データは、線画取込部６により取得される。また、参照カラー画像データと線画データとの間において座標系の関連付けが行われていない場合には、線画取込部６により手動で又は自動的に参照カラー画像データと線画データとの間における位置合わせ処理が実行される。

一方、線画着色システム１により線画データを作成することもできる。その場合には、線画作成部５が線画着色システム１の表示装置３にユーザインターフェースとして線画データの作図用のエリアを表示させる。尚、線画データの作図用のエリアの座標系は、参照カラー画像データの座標系と対応付けられる。

そして、ユーザは入力装置２の操作によって絵画を作成する場合と同様に線画を描くことができる。線画の描画が完了すると、電子キーの押下等によって着色対象の線画データとして決定することができる。

尚、着色後のカラー画像上に描画させる対象となる線と、描画させない線とを使い分けて線画を制作することができる。この場合、色や線種を変えることによって表示対象とする線と非表示とする線とを区別することができる。更に、着色処理に影響を与えない線を線画の要素として描画することもできる。その場合にも、色や線種を変えることによって着色処理に影響を与える線であるか否かを識別することができる。

また、参照カラー画像データを線画の作成用のキャンバスに重畳表示させることもできる。この場合、参照カラー画像データを線画の作成用のガイドとして利用することができる。そのため、参照カラー画像データをキャンバスに表示させる場合には、RGB (red; green; blue)値を小さい値に変換し、薄く表示させるようにしてもよい。

このようなオプション機能の切換えについては、入力装置２から表示条件設定部１３に指示情報を与えることによって行うことができる。

次に、ステップＳ３において、領域分割部１１及び着色部１２により参照カラー画像データを参照した線画データの自動彩色処理が実行される。

図３は、図２のステップＳ３に示す自動彩色処理の詳細を示すフローチャートである。

より具体的には、ステップＳ３１において、領域分割部１１は線画データにおける複数の線のうち、着色処理に用いられる線を抽出して細線化処理を実行する。細線化処理としては公知の任意の処理を用いることができる。例えば、着目する画素に隣接する４つ又は８つの画素に値があるか否かを条件として着目する画素が太さを有する線の端部となっているか否かを判定し、太さを有する線の端部と判定された場合には着目する画素の画素値を線上でない画素値に置換する方法が知られている。

これにより、線画データを構成する線の太さが不均一な場合であっても、線の太さが均一な線画データを得ることができる。更に、連続した点群データとして表すことが可能な線画データを得ることができる。

次に、ステップＳ３２において、領域分割部１１により、細線化処理後の線のサンプリングが行われる。そして、隣接するサンプリング点を線分で連結することによって、線画を構成する線の折れ線近似を行うことができる。尚、サンプリング点の決定は任意の方法で行うことができる。

例えば、線上に対応する複数の画素から予め決定した数の複数のサンプリング点をランダムに選択する方法が挙げられる。この方法によれば、簡易な処理でサンプリング点を決定することができる。但し、適切な間隔でサンプリング点が選択されるように、線上において隣接する画素が選択されないようにするエラー処理を実行することが望ましい。

逆に、所望のアルゴリズムに従って規則的にサンプリング点を決定するようにしてもよい。具体例として予め決定した間隔で線上における画素をサンプリング点として決定する方法が挙げられる。この場合、サンプリングの間隔は任意であるが、間隔を小さくする程、緻密な着色処理を実行することができる。別の例として、描画線の曲率に応じてサンプリング間隔を決定する方法が挙げられる。具体的には、描画線の曲率が大きい程、サンプリング点が密となるようにサンプリング間隔を狭くする一方、直線や描画線の曲率が小さい部分ではサンプリング間隔を広くしてサンプリング点の数を減らすことができる。この方法によれば、線画データの空間周波数に応じた密度でサンプリング点を決定することができる。

尚、ここでは、線画データの自動彩色処理のために線画データの制約付ドロネー三角形分割を行う場合を例に説明する。ドロネー三角形分割は、分割対象となる領域を、入力点群を頂点とし、かつ外接円内に別の頂点を含まないような複数の三角形に分割する領域分割法である。更に、制約付ドロネー三角形分割は、各三角形の辺が制約線と交差しないようにドロネー三角形分割を行う領域分割法である。制約付ドロネー三角形分割は、制約なしのドロネー三角形分割の結果から制約線と三角形の辺との交差部分を検出し、局所的に分割線を修正する処理によって実行することができる。

制約付ドロネー三角形分割を行う場合、線画データの画像枠内における全ての領域を三角形に分割するために、線画を構成する曲線に加えて線画の枠線についてもサンプリング対象とすることが必要である。但し、領域分割法によっては、線画データの枠線のサンプリングは不要である。

次に、ステップＳ３３において、細線化処理後の線上において隣合うサンプリング点対が領域分割部１１において記憶される。

次に、ステップＳ３４において、サンプリング点群を頂点とし、かつ線画を構成する線を近似する折れ線を制約線とする制約付ドロネー三角形分割が領域分割部１１において実行される。これにより、線画データ全体が複数の微細な三角形領域に分割される。しかも、線画を構成する線を近似する各折れ線が三角形の辺となる。つまり、着色処理用の線画を構成する線は三角形と交差せず、三角形の境界となる。

次に、ステップＳ３５において、着色部１２は、領域分割部１１によって作成された複数の三角形領域に空間的にそれぞれ対応する参照カラー画像データの画素値を取得する。続いて、着色部１２は、取得した画素値を複数の三角形領域の画素値とする処理によって各三角形領域の着色を行う。

尚、複数の三角形領域への参照カラー画像データの画素値の割り当ては、参照カラー画像データを制約付ドロネー三角形分割によって作成された複数の三角形領域に分割する処理と等価である。従って、画素値の三角形領域への割り当ては、三角形領域と参照カラー画像データとの関連付け処理と言うこともできる。

このように着色された複数の三角形領域を繋ぎ合せて得られる画像は、線画データと参照カラー画像データとを単に合成した画像データとなる。従って、表示させると背景となる参照カラー画像と線画とが分離して見え、色と線との間に一体感のない画像となる。

そこで、線画に着色したように感じられるカラー画像データを生成するために、任意のアルゴリズムによる画像処理が着色部１２において実行される。望ましくは、背景となる色をぼかす処理が着色部１２において実行される。

但し、単純に背景色をぼかしただけでは、線画と背景色との関連性が生じない。このため、依然として背景と線画とが分離して見える不自然なカラー画像が生成される。そこで、細線化された線画の線を近似する折れ線を跨ぐ色のぼかしが実行されないような色のぼかし処理が着色部１２において実行される。

具体的には、ステップＳ３６において、着色部１２は、各三角形領域内における画素値の平均化処理を実行する。すなわち、各三角形領域内におけるRGB値の平均値を三角形領域内の各画素のRGB値とする処理が実行される。これにより、各三角形領域がそれぞれ単一の色で着色される。

三角形領域内における色の平均化を行うと、複数の微細な三角形領域で構成される参照カラー画像のモザイク画像が生成される。生成されるモザイク画像の境界の一部は、線画を構成する線となる。このため、線画に応じた背景色を有するモザイク画像をカラー画像として得ることができる。

但し、モザイク画像は一般には隣接する領域間において色の変化が大きく、不連続な画像となる。従って、ステンドグラスの配色計画等のように色の断続的な変化を強調すべきカラー画像データを生成することが着色の目的であれば、モザイク画像データを彩色後のカラー画像データとすることができる。一方、色の変化が滑らかなカラー画像を得るためには、隣接する三角形領域間においても色をぼかす処理を実行することが好適である。

そこで、ステップＳ３７において、着色部１２は、隣接する三角形領域間における画素値の平滑化処理を実行する。ここでは、一例として、各三角形領域の面積に応じた重み付けを行って平滑化処理を実行する場合について説明する。

図４は、図１に示す着色部１２において実行される色の平滑化処理の方法を説明する図である。

図４において実線は線画を構成する描画線を、黒丸は描画線上におけるサンプリング点を、点線は描画線以外の三角形領域の境界を、それぞれ示す。図４に示すように、線画データは線画の線を境界の一部とする複数の三角形領域に分割される。各三角形領域Δiは、３つの三角形領域Δi1, Δi2, Δi3と隣接する。

そこで、隣接する３つの三角形領域Δi1, Δi2, Δi3内におけるRGB値の各成分Vi1, Vi2, Vi3を用いて各三角形領域ΔiにおけるRGB値の各成分Viの平滑化を行うことができる。但し、各三角形領域Δi, Δi1, Δi2, Δi3の面積Ai, Ai1, Ai2, Ai3に応じた重み付けを行うことが好適である。その場合、平滑化処理は、式(1)で示される。

式(1)で示される計算によって各三角形領域ΔiにおけるRGB値の各成分Viを更新すると、隣接する三角形領域間における色の変化が滑らかとなる。但し、式(1)で示される計算によって単純な平均化処理を行うと線画を構成する描画線に跨って色がぼけることとなる。すなわち、線画とは無関係に全体的にぼけたカラー画像となる。

そこで、三角形領域Δiの辺が線画を近似した折れ線である場合には、式(1)において折れ線を境界として隣接する三角形領域Δijの面積Aijをゼロとする処理を実行することが好適である。これにより、三角形領域間における色の平滑化処理から線画の描画線を挟んで隣接する三角形領域を除外することができる。すなわち、線画の描画線を除く三角形領域の境界を跨ぐ色の平滑化処理を実行することができる。

色の変化における連続性を一層向上させるためには、色の平滑化処理を繰り返すことが望ましい。平滑化処理の繰り返し回数はGUI(Graphical User Interface)等を介して対話的に決定することができる。

次に、ステップＳ３８において、着色部１２は、平滑化処理の計算によって求められたRGB値を用いて各三角形領域の着色処理を実行する。これにより、彩色された線画のカラー画像データが生成される。

尚、色の平滑化処理を適切な回数だけ繰り返すと、線画の描画線以外の部分では隣接する三角形領域間において色が滑らかに変化する一方、線画の描画線を境界として隣接する三角形領域間では色の変化が不連続となるカラー画像データが生成される。このため、全体として線画の描画線によって色が塗り分けられたカラー画像データを得ることができる。

また、入力線画のうちカラー画像への表示対象となる描画線の指定情報及び描画線の表示色が表示条件設定部１３から着色部１２に通知される。このため、着色部１２は、表示対象となる描画線が指定された色で表示されるようにカラー画像データを生成する。具体的には、描画線を近似する折れ線上のピクセルに描画線の色に対応するRGB値が割り当てられる。これにより参照カラー画像データを参照した線画データの自動彩色処理が完了する。

次に、図２のステップＳ４において、彩色された線画のカラー画像データの表示指示が入力装置２から線画着色システム１に入力されると、画像出力部１４は、着色部１２から取得した自動彩色処理後のカラー画像データを表示装置３に出力させる。この結果、表示装置３には、特定の描画線のみが所望の色で表示され、かつ自動彩色された線画が表示される。

次に、ステップＳ５において、線画作成部５及び線画取込部６は、線画データの更新指示が入力装置２から入力されたか否かを判定する。そして、線画データの作図による更新指示が入力装置２から線画作成部５に入力された場合には、線画作成部５が現在選択されている線画データを作図用のキャンバス上に表示させる。

このため、ステップＳ２において、ユーザは入力装置２の操作によって線画データに線を追加又は削除し、新たに作成された線画データを自動彩色対象として設定することができる。そして、同様な流れで自動彩色処理が実行される。

但し、描画線のサンプリング点をランダムに決定する場合には、典型的なランダム処理が処理時における時刻をパラメータとして実行されることから、描画線に変化のない部分であってもサンプリング点の位置が変わることとなる。従って、描画線に変化のない部分における彩色結果が自動彩色処理を繰返す度に変わることとなる。

そこで、描画線が追加又は削除された場合には、追加及び削除された描画線についてのみサンプリング点を更新するようにしてもよい。その場合には、領域分割部１１が描画線に変化のない部分について保存されたサンプリング点対を再利用して線画データの領域分割処理を実行することとなる。これにより、描画線が追加又は削除された箇所についてのみ局所的に彩色結果を変更することができる。

一方、線画データを作図に依らずに変えることもできる。その場合には、新たな線画データが線画取込部６により取得される。そして、再びステップＳ２からステップＳ４までの処理によって新たに入力された線画データの自動彩色処理を実行することができる。

尚、線画データが特定された場合には、参照カラー画像データを変更することもできる。参照カラー画像データを変更する場合には、入力装置２の操作によって参照カラー画像データを選択することができる。

或いは、参照画像選択部１０が参照画像記憶部９から線画を示す画像データに応じた適切な参照カラー画像データを自動抽出するようにすることもできる。自動抽出された参照カラー画像データは、彩色処理用に使用することができる。但し、自動抽出された参照カラー画像データを一旦候補として表示装置３に提示させ、ユーザの確認を促すようにしてもよい。

そして、ステップＳ５において、線画着色システム１の終了指示が入力装置２から入力されるなど、線画データの更新指示が入力装置２から入力されないと判定される場合には、線画着色処理が終了する。

着色結果として得られるカラー画像データは、自動着色のために参照された条件を付帯情報として保存することができる。或いは、元データとなった線画データの特定情報、参照された参照カラー画像データの特定情報及びサンプリング結果の組合せのように、カラー画像データを生成するための条件自体を保存できるようにしてもよい。これにより、カラー画像データの再現及び再調整が可能となる。また、より高解像度のディスプレイを備えた表示装置に表示させることもできる。

図５は、図１に示す表示装置３にユーザインターフェースとして表示される線画着色システム１の操作画面の一例を示す図である。

図５(A)は、彩色対象となる線画をキャンバス上に作成した状態を示す図であり、図５(B)は、彩色された線画をカラー画像としてキャンバス上に表示させた状態を示す図である。

図５(A)に示すように操作画面の左上のエリアに準備された電子キーを操作することによって、彩色後のカラー画像に表示される線と表示されない線とを使い分けて線画を作成することができる。尚、図５(A)において実線は彩色後のカラー画像に表示される描画線を示し、点線は彩色後のカラー画像に表示されない描画線を示す。描画線は、図５(A)に例示されるように互いに異なる線種に限らず、互いに異なる色によって識別表示させることもできる。

より具体的には、線画入力ボタンを押下した状態で更に表示線ボタンを押下して線を描画すると、線画データの領域分割の境界として使用され、かつ彩色後のカラー画像に表示される描画線をキャンバス上に描くことができる。一方、仮想線ボタンを押下して線を描画すると、線画データの領域分割のための境界としてのみ使用され、彩色後のカラー画像には表示されない線を付加することができる。このため、カラー画像の彩色結果にアクセントを加えることができる。

また、操作画面の左下には、複数の参照カラー画像のサムネイル画像がアイコンとして選択可能に表示されている。ガイド表示ボタンを押下した状態で参照カラー画像を選択すると、選択された参照カラー画像が線画の描画用のキャンバスに表示される。このため、ユーザは、参照カラー画像をガイドとして線画を描くことができる。

一方、線画の制作が完了した場合には、所望の参照カラー画像を選択し、彩色ボタンを押下することにより線画の自動彩色を実行することができる。これにより、自動彩色処理の結果として図５(B)に示すようなカラー画像をキャンバス上に表示させることができる。

自動彩色処理において参照される参照カラー画像は、線画制作のガイドとして使用される参照カラー画像と異なる画像を選択することもできる。また、自動彩色処理において参照すべき参照カラー画像を他の画像に切換えることもできる。このため、カラー写真等のカラー画像をガイドして描画した線画に、カラー写真の色と異なる色を用いて彩色することも可能である。

また、操作画面において平滑化度合いと表示されたスクロールバーを移動させることにより、隣接する領域間における平滑化処理の繰返し回数を変更することができる。そして、平滑化の度合いを調整しながらリアルタイムにカラー画像を確認することができる。

この他、必要に応じて分割領域表示ボタンやサンプリング点追加ボタンを準備し、ユーザが線画データの分割領域を確認したり、描画線上におけるサンプリング点を直接追加できるようにすることができる。また、領域分割に使用しない線を描けるようにしてもよい。

つまり以上のような線画着色システム１は、線画データを構成する描画線を境界とする画像処理によって参照画像データに応じた自動着色を線画データに対して実行するようにしたものである。また、自動着色のための画像処理として、線画データを構成する描画線を境界とする線画データの領域分割、分割された各領域へのRGB値の割り当て、各分割領域内及び分割領域間におけるRGB値の、描画線において不連続となるような平均化処理を実行できるようにしたものである。

（効果）
このため、線画着色システム１によれば、予めユーザがオンライン又はオフラインで描いた線画に対してユーザが選んだカラー写真等の所望の参照画像に基づく自動彩色が可能である。しかも、線画の描画線を境界として配色された自然なカラー画像を得ることができる。このため、線画の説明図やイラスト等のカラー画像を簡易に作成することができる。また、白黒の２値の線画データに対してグレースケールの参照画像を用いて着色すれば、濃淡や陰影のあるグレースケールの画像データを作成することもできる。

更に、カラー写真等の参照画像を下敷きとして線画を描くこともできる。従って、線画の作成から着色までの作業を短時間で行うことができる。また、絵画の初心者であってもイラストデータを簡易に完成させることができる。このため、イラスト制作支援のためのツールとして線画着色システム１を活用することができる。

また、写真を絵画風に単に変換する場合と異なり、ユーザが描いた線画に彩色することができる。更に、描画線を追加又は削除すると、単に線画が変わるだけでなく、彩色結果も変わることとなる。例えば、描画線が１本追加されると追加された描画線を境界に線画データが分割されて彩色されることとなる。このため、１本の描画線であっても追加すればカラー画像全体の印象が大きく変化する場合もある。そして、描画線の追加や削除を繰り返すことによってユーザ独自の彩色結果を得ることができる。

このため、線画着色システム１によれば、ユーザの作品としてカラー画像を制作することができる。特に、彩色結果を参照しながら描画線を追加又は削除することによってカラー画像を作り上げる過程は、絵画の制作過程と類似している。このため、タッチパネルを用いて絵画を描く練習などに線画着色システム１を活用することもできる。

実際に風景のカラー写真をガイドとして作成した線画データに対して同一のカラー写真を参照カラー画像データとして自動彩色処理を行った結果、カラー写真を絵画風にしたようなカラー画像データを得ることができた。更に、カラー写真に近い色分布となるように大雑把に配色した単純なカラーパレット画像データを参照カラー画像データに切換えて線画データへの自動彩色処理を再試行したところ、カラー写真とは若干異なる印象を有するものの、実際に描かれた絵画のようなカラー画像データを得ることができた。

（他の実施形態）
以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。

例えば、上述した実施形態では、コンピュータ４に線画着色プログラムをインストールすることによって線画着色システム１を構成する例を示したが、線画着色プログラムをコンピュータにインストールすることによって構築された線画着色サーバに有線又は無線のネットワークを介してクライアントを接続したサーバクライアント型の線画着色システムを構成することもできる。この場合、線画着色サーバに上述したような線画作成機能や自動彩色機能等の主要な機能を設け、クライアントを入力装置及び表示装置として利用することができる。従って、ASP(application service provider)に線画着色サーバを設けることによってシンクライアント等の小規模な端末であっても線画データへの自動彩色が可能となる。

また、携帯電話等の携帯型端末に線画着色プログラムをアプリケーションソフトウェアとしてインストールすることもできる。この場合、携帯型端末に線画着色システム１としての機能を設けることができる。特に、カメラ機能付き携帯型端末に線画着色システム１としての機能を設ければ、携帯型端末で撮影したカラー写真を参照画像データとして自動彩色された線画データを作成することができる。

また、上述した実施形態では、カラーを示す画素値としてRGB値を用いる例を示したがL*a*b*表色系等の他の表色系でカラーを表現するようにしてもよい。

また、図５に例示されるユーザインターフェースのように、線画データと彩色後のカラー画像データとを切換え表示させる代わりに、線画データと彩色後のカラー画像データとを並列表示させるようにしてもよい。その場合、線画データの更新に追従してカラー画像データをリアルタイムに更新表示させることができる。

従って、時間的に変化する線画データに自動着色処理を実行することができる。このため、線画をジェスチャーやマウス等の入力装置の操作によって動的に入力できるようにすることもできる。ジェスチャーにより線画データを入力できるようにする場合には、入力装置として設けられる赤外線カメラや深度センサで検出された検出データに基づいて手先や足先の軌跡が求められる。そして、軌跡が線画として入力されることとなる。この結果、手足や足先の軌跡によってリアルタイムに空間を分割していく動画として線画データが入力される。

一方、カラー映像等の時間的に変化する参照画像データを使用することもできる。従って、カラー映像等の動画を背景として線画を入力し、リアルタイムに自動彩色すれば、映像に対する特殊効果として自動彩色結果を得ることができる。この場合、手足等の軌跡として入力された線画を、一定時間後に非表示にする表示処理を実行すると、効果的となる場合があると考えられる。

１ 線画着色システム
２ 入力装置
３ 表示装置
４ コンピュータ
５ 線画作成部
６ 線画取込部
７ 参照画像作成部
８ 参照画像取得部
９ 参照画像記憶部
１０ 参照画像選択部
１１ 領域分割部
１２ 着色部
１３ 表示条件設定部
１４ 画像出力部
１５ ネットワーク

Claims (7)

1. 線画を示す画像データを、前記線画を構成する線の全部又は一部と、前記線画を構成する線以外の線とを実質的に境界とする複数の領域に分割する領域分割部と、
   カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成する着色部と、
   を備え、
   前記着色部は、
   前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、
   前記各領域内における画素値の平均化処理とを実行することによって、
   前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成するように構成される線画着色システム。
2. 前記着色部は、前記平滑化処理を指定された回数だけ繰返すように構成される請求項１記載の線画着色システム。
3. 前記領域分割部は、前記線画を示す画像データを、前記線画を示す画像データから得られた前記線画を構成する線上における複数のサンプリング点をそれぞれ頂点とする複数の三角形の領域に分割するように構成される請求項１又は２記載の線画着色システム。
4. 前記線画を構成する線のうち前記表示用の画像データに表示させる線を指定する表示条件設定部を備え、
   前記着色部は、前記表示用の画像データに表示させる線として指定された線のみが表示される前記表示用の画像データを生成するように構成される請求項１乃至３のいずれか１項に記載の線画着色システム。
5. 前記線画を示す画像データを作成する線画作成部を備え、
   前記着色部は、前記線画を示す画像データの更新に追従して前記表示用の画像データを更新させるように構成される請求項１乃至４のいずれか１項に記載の線画着色システム。
6. コンピュータに、
   線画を示す画像データを、前記線画を構成する線の全部又は一部と、前記線画を構成する線以外の線とを実質的に境界とする複数の領域に分割するステップと、
   カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成するステップと、
   を実行させる線画着色方法であって、
   前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、
   前記各領域内における画素値の平均化処理とを前記コンピュータに実行させることによって、
   前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成する線画着色方法。
7. コンピュータを、
   線画を示す画像データを、前記線画を構成する線の全部又は一部と、前記線画を構成する線以外の線とを実質的に境界とする複数の領域に分割する領域分割部、及び
   カラー又はグレースケールの参照画像データから取得した前記複数の領域にそれぞれ対応する画素値に基づいて前記複数の領域を着色することによって表示用の画像データを生成する着色部、
   として機能させる線画着色プログラムであって、
   前記着色部は、
   前記複数の領域の境界となった前記線画を構成する線を境界とする画素値の平滑化処理であって、前記線画を構成する線以外を境界として隣接する前記複数の領域間における画素値の前記平滑化処理と、
   前記各領域内における画素値の平均化処理とを実行することによって、
   前記複数の領域の境界となった前記線画を構成する線において画素値が不連続に変化する一方、前記複数の領域の境界となった前記線画を構成する線以外の線において画素値が滑らかに変化する前記表示用の画像データを生成するように構成される線画着色プログラム。

Images