JP6891473B2 - 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム - Google Patents

Description

本発明は、柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラムに係り、詳細には、衣類等の色や柄を置き換えた画像を生成する技術に関する。

消費者が衣類を購入する場合、購入前に試着して検討することが多い。しかし、色や柄等のバリエーションが多数存在すると、消費者にとっては試着の手間や時間がかかってしまう。またバリエーションの一部が店舗に品切れしている場合や、ＷＥＢ上のショッピングサイトを利用する場合等は、注文する前に試着できないことがある。このような問題を回避するために、近年はＣＧ（コンピュータ・グラフィックス）を使用した３Ｄベースのものを中心に、様々な色柄シミュレーションを行うシステムが開発されている。特許文献１には、撮影された画像から被写体の姿勢情報を算出し、被写体と洋服の特徴部のずれ量から透過度を決定して自然な合成画像を得る手法について記載されている。しかしながら特許文献１の手法は、三次元の体型形状を示す被写体モデルを予め生成しておく等、大掛かりな仕込みを必要とするものであるため手軽に利用できない。

実物に近い見え方を実現でき、また衣類のように商品サイクルが短いコンテンツに対する企業側のコンテンツ更新コストを考慮すると、ＣＧベースのものより２Ｄ（２次元）の実写画像をベースとしたシミュレーションシステムが要望される。しかし、一般に撮影された２次元の画像（写真等）は、服の領域情報、ライティング、陰影、形状等、画像の合成に必要な各種の情報が含まれない。予め切り抜いた服の素材を元画像に単純にレイヤ合成すると、品質の低い合成画像となってしまうという問題があった。実写画像ベースで高品質な合成画像を生成可能な色柄シミュレーションシステムとしては、例えば、特許文献２がある。特許文献２には２次元の背景画像に対してパースや曲面を有する対象物（カーテン）の画像を簡単な操作で自然な柄の状態に合成する手法について記載されている。

特許５５８３０８７号公報 特許３６７９３４７号公報

しかしながら、特許文献２の画像合成装置は衣類についても適用可能な技術であるが、前提として、元の画像に対し様々なパラメータ（服の領域のマスク情報や形状情報等）を予めユーザが設定しておく必要がある。よって画像処理やＣＧ等の専門的な知識や作業が必要となり、一般消費者または店舗の店員がその場で撮影した画像に対して直ちにシミュレーションを行うことは困難であった。

本発明は、このような課題に鑑みてなされたもので、各種事前加工や素材制作の作業負担がなく、容易な操作で２次元画像内の対象領域（衣類等）の色や柄を替えることが可能な柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラムを提供することを目的とする。

前述した課題を解決するための第１の発明は、色及び柄を構成する素材データを複数記憶する記憶手段と、任意の画像を入力する入力手段と、入力された画像から対象領域を抽出する領域抽出手段と、前記入力された画像から前記対象領域について陰影成分を抽出する陰影分離手段と、前記陰影成分に基づいて前記対象領域の歪み量を算出する歪み量算出手段と、前記素材データの選択を受け付ける素材選択手段と、選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに前記陰影分離手段により抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成する合成手段と、を備え、前記陰影分離手段は、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出することを特徴とする柄替えシミュレーション装置である。

第１の発明によれば、色柄シミュレーション装置は任意の画像が入力されると、入力された画像から対象領域を抽出し、入力された画像から柄無し反射率成分、柄成分、及び陰影成分に分離することにより対象領域について陰影成分を抽出し、陰影成分に基づいて対象領域の歪み量を算出する。また、色及び柄を構成する素材データが選択されると、色柄シミュレーション装置は選択された素材データを歪み量に基づいて対象領域にマッピングするとともに抽出した陰影成分を対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を入力された画像の対象領域に置き換えて合成画像を生成する。これにより、画像に対する各種の事前加工や素材制作等の作業を必要としない２次元画像ベースの柄替えシミュレーション装置を提供できる。画像処理やＣＧ等の専門的な知識がない者であっても、簡単な操作で、撮影された２次元画像に対して所望の素材の柄を高精細でリアルに適用した合成画像を生成できる。

第１の発明において、前記領域抽出手段は、前記対象領域として前記入力された画像内で着用されている服の領域を抽出することを特徴とすることが望ましい。本発明は各種の事前加工や素材制作等の作業を必要としないため、衣類（服）のように種類が多く商品サイクルが短いコンテンツについて本発明を適用すれば、企業側のコンテンツ更新コストを削減でき、好適である。

第１の発明において、陰影分離手段は、入力された画像を色空間及び画像空間においてクラスタリングし、前記入力された画像から柄情報を抽出し、クラスタリングされたクラスタについて陰影成分を求めるための方程式を前記柄情報に基づいて生成し、前記方程式を解くことにより対象領域の画像から陰影成分を抽出することが望ましい。更に、前記方程式は、柄無し反射率成分に関する制約式、前記柄情報に対する制限を含む陰影成分に関する制約式、及び陰影成分の正規化に関する制約式を含むことが望ましい。ここで、陰影成分に関する制約式は、隣接する画素の陰影成分がなだらかに変化し近傍画素は近いシェーディング値を持つものとし、かつ、柄として抽出された画素については当該制約から除外する。このように柄についての制約を加えることにより、服のように陰影や柄が複雑に混在した画像についても陰影成分（シェーディング）をより正確に分離抽出することが可能となる。その結果、より自然な合成画像を生成できるようになる。

また、前記歪み量算出手段は、前記陰影成分から推定される画像輝度の勾配情報に基づき前記対象領域の法線を復元し、法線に基づき前記歪み量を算出することが望ましい。これらにより、柄替えシミュレーション装置が自動で画像から陰影を分離したり歪み量を算出したりできるため、画像に対する事前の各種パラメータ設定等の作業が不要となる。

第２の発明は、色及び柄を構成する素材データを複数記憶する記憶部を有するコンピュータの制御部が、任意の画像を入力するステップと、入力された画像から対象領域を抽出するステップと、前記入力された画像から前記対象領域について陰影成分を抽出するステップと、前記陰影成分に基づいて前記対象領域の歪み量を算出するステップと、前記素材データの選択を受け付けるステップと、選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成するステップと、を含み、前記陰影成分を抽出するステップは、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出することを特徴とする柄替えシミュレーション方法である。

第２の発明によれば、色及び柄を構成する素材データを複数記憶する記憶部を有するコンピュータに任意の画像を入力すると、コンピュータの制御部は、入力された画像から対象領域を抽出し、入力された画像から柄無し反射率成分、柄成分、及び陰影成分に分離することにより対象領域について陰影成分を抽出し、陰影成分に基づいて対象領域の歪み量を算出する。また、制御部は素材データが選択されると、選択された素材データを歪み量に基づいて対象領域にマッピングするとともに抽出した陰影成分を対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を入力された画像の対象領域に置き換えて合成画像を生成する。これにより、画像に対する各種の事前加工や素材制作等の作業を必要としない２次元画像ベースの柄替えシミュレーション装置を提供できる。
画像処理やＣＧ等の専門的な知識がない者であっても、撮影された２次元画像に対して所望の素材の柄を高精細でリアルに適用した合成画像を生成できる。

第３の発明は、コンピュータを、色及び柄を構成する素材データを複数記憶する記憶手段と、任意の画像を入力する入力手段と、入力された画像から対象領域を抽出する領域抽出手段と、前記入力された画像から前記対象領域について陰影成分を抽出する陰影分離手段と、前記陰影成分に基づいて前記対象領域の歪み量を算出する歪み量算出手段と、前記素材データの選択を受け付ける素材選択手段と、選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに前記陰影分離手段により抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成する合成手段、として機能させ、前記陰影分離手段は、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出するためのプログラムである。

第３の発明によれば、コンピュータを第１の発明の柄替えシミュレーション装置として機能させることが可能となる。

本発明により、各種事前加工や素材制作の作業負担がなく、容易な操作で２次元画像内の対象領域の色や柄を替えることが可能な柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラムを提供できる。

柄替えシミュレーション装置１のハードウェア構成図 柄替えシミュレーション装置１の機能構成図 素材データ５の一例を示す図 領域抽出部２２について説明する図 陰影分離部２３について説明する図 歪み量算出部（テクスチャ座標生成部）２４について説明する図 テクスチャマッピング・陰影合成部２７について説明する図 柄替えシミュレーション処理の流れを示すフローチャート 陰影分離処理の具体的な流れを示すフローチャート 色空間クラスタリング処理の概要を示す図 画像空間クラスタリングについて説明する図 画像空間クラスタリングにおけるDenseCRFの推論式のUnary項について説明する図（１） 画像空間クラスタリングにおけるDenseCRFの推論式のUnary項について説明する図（２） 画像空間クラスタリングにおけるDenseCRFの推論式のUnary項について説明する図（３） 画素値と陰影成分（シェーディング）と反射率（リフレクタンス）との関係について説明する図 陰影成分に関する制約について説明する図 柄情報を考慮した陰影成分に関する制約について説明する図 陰影成分の正規化に関する制約について説明する図

以下、図面に基づいて本発明の実施形態を詳細に説明する。図１は、柄替えシミュレーション装置１のハードウェア構成を示すブロック図である。なお、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

図１に示すように、柄替えシミュレーション装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、柄替えシミュレーション装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていてもよい。

周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４やＲＳ−２３２Ｃ等によって構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

柄替えシミュレーション装置１は、１台のコンピュータで構成されてもよいし、複数のコンピュータがネットワークを介して構成されてもよい。例えば、柄替えシミュレーション装置１が、サーバとクライアント端末で構成される場合、クライアント端末においてデータの入力を受け付けて、サーバが各種の処理を行い、クライアント端末が処理結果を表示するようにしてもよい。以下の説明では、簡素な構成例として、柄替えシミュレーション装置１が１台のコンピュータで構成された例を説明する。

次に、図２を参照して本発明に係る柄替えシミュレーション装置１の機能構成について説明する。

図２に示すように、柄替えシミュレーション装置１の制御部１１は、画像入力部２１、領域抽出部２２、陰影分離部２３、歪み量算出部（テクスチャ座標生成部）２４、素材選択部２６、テクスチャマッピング・陰影合成部２７、画像出力部２８を有する。また、柄替えシミュレーション装置１の記憶部１２には、素材データ５が記憶される。

まず図３を参照して柄替えシミュレーション装置１の記憶部１２に記憶される素材データ５について説明する。図３に示すように、柄替えシミュレーション装置１の記憶部１２には、素材データ５として複数の素材画像５ａ、５ｂ、５ｃ、…が記憶される。素材画像５ａ、５ｂ、５ｃ、…は、１単位分の色や柄（テクスチャ）を表すパッチ画像である。各素材画像５ａ、５ｂ、５ｃ、…には、それぞれ高さ及び幅のサイズを示すサイズ情報が紐づけて格納される。素材画像５ａ、５ｂ、５ｃ、…及びサイズ情報は、家具やインテリアのカタログデータから取得してもよいし、ユーザが入力部１５等を介して登録してもよい。

例えば図３には、「素材１」に関する情報として、植物柄のパッチ画像（素材画像５ａ）が保持された例が示されている。同様に、「素材２」、「素材３」、…についても、それぞれ色や柄を示す素材画像５ｂ、５ｃ、…が格納される。

次に、図２に示す柄替えシミュレーション装置１の各部について説明する。
画像入力部２１は、柄替えシミュレーションの背景画像とする任意の画像の入力を受け付ける。以下の説明では画像入力部２１に入力された画像を入力画像３１と呼ぶ。入力画像３１は、衣類（服）を着用した人物や動物の写真等、２次元の実写画像とする。

領域抽出部２２は、図４に示すマスク画像３２のように、画像入力部２１により入力された入力画像３１から対象領域を抽出する。対象領域は、柄替えシミュレーションを行う対象とする領域であり、例えば、服の領域である。領域抽出部２２は、対象領域と対象領域以外の領域を識別する２値のマスク画像３２を作成する。なお、入力画像３１の服の領域が上衣（ブラウスやシャツ）と下衣（ズボンやスカート）等のように複数ある場合は、複数の領域をそれぞれ識別して抽出してもよい。その場合は、各領域についてそれぞれマスク画像３２を作成する。領域抽出部２２は、抽出した対象領域を示すマスク画像３２を陰影分離部２３に出力する。

陰影分離部２３は、入力画像３１の対象領域（マスク画像３２により指定された領域）について陰影成分を抽出する。具体的には、図５に示すように陰影分離部２３は領域抽出部２２から対象領域を表すマスク画像３２を取得するとともに画像入力部２１から入力画像３１を取得する。そして入力画像３１の対象領域について後述する陰影分離処理を行い、画像内の各物体から陰影成分を分離する。このとき陰影分離部２３は、服の柄を考慮した陰影分離処理を行う。具体的には、入力画像３１の対象領域を柄無し反射率成分、柄成分、及び陰影成分に分離することにより入力画像３１の対象領域から陰影成分を抽出する。陰影成分は、各画素の陰影の大きさを表す数値で表した画像データ（陰影画像３４）として抽出される。陰影分離部２３によって分離された陰影成分を入力画像３１の対象領域から除いた画像が図５に示すテクスチャ画像３３である。テクスチャ画像３３と陰影成分（陰影画像３４）とは、理論上、乗算すると元の入力画像３１と一致する。なお、テクスチャ画像３３は柄無し反射率成分と柄成分（服の模様）とを含むものである。テクスチャ・陰影分離処理の具体的な処理の流れについては後述する（図９〜図１８）。陰影分離部２３は、分離抽出した陰影成分を表す陰影画像３４を歪み量算出部（テクスチャ座標生成部）２４へ出力する。

歪み量算出部（テクスチャ座標生成部）２４は、図６に示すように、陰影分離部２３により分離された陰影画像３４と対象領域を表すマスク画像３２とを取得し、対象領域の歪み量を算出する。算出した歪み量はテクスチャ座標３５（格子状のグリッド）に反映される。歪み量は、身体の凹凸や姿勢、服のしわ等により生じる面の歪みを表すものである。テクスチャ座標３５は縦横の線で画像を複数の区画に区分したグリッド（格子）であり、各区画の歪み量に応じて該当区画を変形させて表したものである。歪み量は陰影画像３４に基づいて推定される。歪み量の算出手法については後述する。

素材選択部２６は、記憶部１２に記憶されている素材データ５の中から対象領域に適用する素材データ５を選択する。選択された素材データ５を選択素材画像３６と呼ぶ。

テクスチャマッピング・陰影合成部２７は、図７に示すように素材選択部２６により選択された素材データ５（選択素材画像３６）を歪み量（テクスチャ座標３５）に基づいて変形して入力画像３１の対象領域にマッピングする。また、陰影分離部２３により抽出した陰影成分（陰影画像３４）を対象領域に付与（乗算）する。これにより対象領域に選択素材画像３６が合成された素材合成画像を生成する。また、生成した素材合成画像を入力画像３１の対象領域に置き換えて合成画像４を生成する。

画像出力部２８は、テクスチャマッピング・陰影合成部２７により生成された合成画像４を出力する。出力は、表示部１６への表示、記憶部１２への記憶の他、通信制御部１４を介したネットワーク等への送信等を含む。

次に、図８を参照して、柄替えシミュレーション装置１の制御部１１が実行する柄替えシミュレーション処理の流れを説明する。

まず、制御部１１はシミュレーションを行う画像の入力を受け付ける（ステップＳ１０１）。一例として、入力画像３１は服を着た人物等を撮影した２次元の画像とするが、人物に限らず、動物やマネキン等でもよい。次に制御部１１は、入力画像３１に対して、エッジ抽出処理やセグメンテーション・ラベリング処理を実行し、色や柄の変更を適用する対象領域である服の領域と、対象領域（服）以外の領域を識別する２値（対象領域が「白」、非対象領域が「黒」）のマスク画像３２を作成する（ステップＳ１０２）。なお、ステップＳ１０２におけるラベリング処理において、制御部１１は、まず非対象領域（背景や手、足、頭等）が「黒」、対象領域（服の領域）が「白」、不確定領域が「灰色」の３色のラベル画像であるトライマップ画像を生成し、次に、制御部１１は不確定領域を「黒」か「白」のいずれかに決定して２値のマスク画像３２を生成するようにしてもよい。不確定領域については、例えば最小コスト切断問題（Graph Cut；グラフカット）として定式化し、「黒」か「白」かを決定する方法が挙げられる。このグラフカットの手法では、灰色の領域（不確定領域）内の画素を基点として、隣接する複数の前景領域及び背景領域の画素との類似度を用いた最少コスト切断問題として定式化し、最もコストが小さくなる切断軌跡を求め、切断軌跡に基づいて不確定領域を「黒」か「白」のいずれかに決定する。なお、ステップＳ１０２の領域抽出処理はこの手法に限定されず、入力画像３１から対象領域を抽出できるものであればどのような技術を用いてもよい。

制御部１１は、入力画像３１からステップＳ１０２で抽出された対象領域（マスク画像３２の「白」領域）について、陰影成分を分離する（ステップＳ１０３）。例えば、“Intrinsic images in the wild(SIGGRAPH2014)”等に具体的な演算手法が開示されている。この手法は、主にシーン画像を対象として、対象の画像を固有反射率（テクスチャ）と陰影成分に分離する方法であり、以下の先見知識（Ａ）〜（Ｆ）を利用し、

Ｉ（入力）＝Ｒ（反射率）×Ｓ（陰影）

の不良設定問題を同じ反射率セグメントによるグラフィカルモデル問題とシェーディングの滑らかさによる最適化問題に置き換えることで解くものである。

上述の先見知識としては、例えば以下のものを利用する。
（Ａ）近くにある同じ色度や輝度を持つ画素は、ほとんど似たような反射率を含む。
（Ｂ）反射率は区分的定数である。
（Ｃ）反射率は、スパースセットからサンプルされる。
（Ｄ）特定のシェーディングの値は、他のものよりも推測できる可能性が高い。
（Ｅ）近傍ピクセルは似たようなシェーディング値を持つ。
（Ｆ）シェーディングはグレースケール、または光源と同じ色である。

上述の手法は、シーン画像を対象とするものであるため、服のように柄やシワのあるものに適用した場合に常に良好な結果が得られるものではない。そこで、本実施の形態では、柄のある服への適用を考慮した陰影分離処理を実施する。以下、柄を考慮した陰影分離処理について図９〜図１８を参照して説明する。

図９は、柄を考慮した陰影分離処理の手順を示すフローチャートである。
制御部１１（陰影分離部２３）は、入力画像３１の対象領域（マスク画像３２により指定された領域）について陰影成分を抽出する。図５に示すように陰影分離部２３は領域抽出部２２から対象領域を表すマスク画像３２を取得するとともに画像入力部２１から入力画像３１を取得し、マスク処理により入力画像３１から陰影分離処理の対象とする領域（以下、対象領域という）を取得する（ステップＳ２０１）。

次に、制御部１１は、対象領域について色空間クラスタリング処理を行い（ステップＳ２０２）、色空間クラスタリング処理で求めた色空間クラスタを初期値として画像空間クラスタリング処理を実施する（ステップＳ２０２、ステップＳ２０３）。クラスタリングの精度を向上させるためには、例えば、画像空間クラスタリング処理においてDense CRF（conditional random field；条件付き確率場）という手法を用いることが望ましい。

図１０は、ステップＳ２０２の色空間クラスタリング処理の概要を示す図である。色空間クラスタリング処理において、制御部１１は入力画像３１の対象領域を以下の式（１）に示すように３次元色空間６１に変換する。

そして制御部１１は、３次元色空間６１上で、ｋ−ｍｅａｎｓを行い、Ｋ個の色空間クラスタ［ＣＣ_１〜ＣＣ_Ｋ］を算出する。

次に、制御部１１は、ステップＳ２０２の色空間クラスタリング処理で求めた色空間クラスタ［ＣＣ_１〜ＣＣ_Ｋ］を初期値として、画像空間クラスタリング処理を実施する。この画像空間クラスタリング処理では、例えばDenseCRFの推論を行ってDenseCRFクラスタ［Ｃ_ｄ１〜Ｃ_ｄK］を求めた後、ラベリング処理を行って画像空間クラスタ［Ｃ_{0_1}〜Ｃ_{0_N0}］を求める。

DenseCRFの推論モデルは、以下の式（２）〜式（４）である（V Koltun 2011,2013）。

制御部１１は、上述の式（２）のUnary項とPairwise項とを設定し、DenseCRFの推論（平均場近似＋近似フィルタリング）を行い、クラスタを求める。なお、上述の式（３）、式（４）において、ｆ_ｉは任意の特徴空間、ｋ^（ｍ）はｍ個のガウシアンカーネル、ｗ^（ｍ）はそれぞれの重み、μ（ｘ_ｉ，ｘ_ｊ）は、ラベル一貫性を表すCompatibility Functionモデル（パラメータ）である。

式（２）のPairwise項については、特徴の距離が離れているところでクラスタを区切ることを目的として設定する。
具体的には、DenseCRFによるクラスタを構成する変数をｘ_ｉと置き、特徴を以下の式（５）に示すように、５次元ベクトルｆ_ｉで設定する（位置＋色空間クラスタリング特徴）。

また、Compatibility Functionは、クラスタリング代表値のＬ１距離とする、対角成分が０である対象行列として設定する。すなわち、Ｃ_ｄ１〜Ｃ_ｄＫを、Ｃ_ｄ（ｘ_１）〜Ｃ_ｄ（ｘ_ｉ）〜Ｃ_ｄ（ｘ_Ｋ）と置き、以下の式（６）のように設定する。

式（２）のUnary項については、（ａ）色空間クラスタの事前知識、（ｂ）色空間クラスタのクラスタ色事前知識、（ｃ）擬似シェーディング値の極端な値の抑制を考慮して推論式を設定する。

（ａ）色空間クラスタの事前知識について
色空間クラスタの事前知識については、以下の式（７）を設定する。

式（７）は、色空間クラスタリングの結果［ＣＣ_１〜ＣＣ_K］を初期値としてDense CRFクラスタリングを行った場合、その結果が図１２の６３ａに示すように色空間クラスタリングの結果６２がある程度反映されたものであれば、「ＯＫ」とすることを表している。例えば、図１２に示すように、色空間クラスタリングの結果［ＣＣ_１〜ＣＣ_K］の単純なマッピング６２を初期値としてDense CRFクラスタリングを行う場合、その結果が図１２の６３ａに示すように色空間クラスタリングの結果６２がある程度反映されたものであれば「ＯＫ」とし、図１２の６３ｂのように色空間クラスタリング結果６２が反映されないものであれば、「ＮＧ」とする。

（ｂ）色空間クラスタのクラスタ色事前知識の反映について
Unary項は、また、色空間クラスタのクラスタ色事前知識を反映させる。具体的には、各画素値が、色空間クラスタの各クラスタの代表値の画素値に近いものとなるようにする。これを以下の式（８）で表す。

式（８）は図１３に示すように、色空間クラスタ［ＣＣ_１〜ＣＣ_K］の単純なマッピング６２を初期値とする場合、DenseCRFクラスタリング結果が図１３の６３ｃのように、なるべく色空間クラスタの値に近いようにするものである。

（ｃ）擬似シェーディング値の極端な値の抑制について
また、Unary項は、擬似シェーディング値の極端な値を抑制するよう設定する。色空間クラスタの各クラスタの代表値の画素値を擬似的な反射率と仮定する。これは、明るさの観点から、中央値を持っていることが多いからである。擬似的なシェーディング値を（入力値／擬似反射率）から求め、その値が極端な値をとらないようにする（定数を引いた和をコストとする）。これを式で表すと、以下の式（９）、（１０）で表される。

上述の３つのUnary項（Ψ_Ｕ１（ｘ_ｉ）、Ψ_Ｕ２（ｘ_ｉ）、Ψ_Ｕ３（ｘ_ｉ）、）にそれぞれ重みパラメータをかけて、式（１１）に示すように全体のUnary項Ψ_Ｕ（ｘ）を設定する。

以上説明したような推論により制御部１１は上述の推論式（２）を設定し、画像空間クラスタリング結果を得る。なお、本実施の形態では、精度の良いクラスタリング処理の最も好適な一例としてDenseCRFを用いているが、本発明はこれに限定されず、任意の手法のクラスタリング処理を実施するものとしてもよい。

図９の説明に戻る。
クラスタリング処理が終了すると、制御部１１は、元の画像（ステップＳ２０１でマスク処理した入力画像３１の対象領域）から柄情報を抽出する（ステップＳ２０４）。柄情報の抽出にはエッジフィルタを用いる。服の柄を抽出するには、例えばCannyのエッジフィルタが好適である。服の画像には柄やシワが複雑に混在するため、通常、柄のみを精度よく検出するのは困難であるが、Cannyのエッジフィルタはフィルタの強弱等のパラメータ設定が容易であるため、本発明の対象とする服の柄の抽出に対して扱いやすく好適である。

次に、制御部１１は、ステップＳ２０３でクラスタリングされた各クラスタの陰影成分を求めるための制約式を設定し線形方程式を構築する（ステップＳ２０５）。線形方程式は、以下の先見的知識に基づき、不良設定問題を解くための制約式から設定される。

具体的には、以下の制約を用いる。
（Ａ）リフレクタンス制約（柄無し反射率成分に関する制約）
・リフレクタンスは、区分的定数であり、近くにある、同じ色度を持つ画素は、同じリフレクタンスである。
・リフレクタンスはスパースセットからサンプルされる。
（Ｂ）シェーディング制約（柄情報に対する制限を含む陰影成分に関する制約）
・シェーディングは滑らかに変化し、近傍ピクセルは近いシェーディング値を持つ。
・柄（エッジ）については滑らかさの考慮から除外する。
（Ｃ）シェーディング正規化制約（陰影成分の正規化に関する制約）
・すべての場合のシェーディングの量を統一する。

入力画素値Ｉと陰影成分Ｓ（シェーディング）と反射率（リフレクタンス）Ｒとの関係は、一般に、図１５（ａ）に示すような関係で表される。これを式で表すと、以下の式（１２）となる。

Ｉ（入力画素値）＝Ｓ（陰影）×Ｒ（反射率）・・・（１２）

また図１５（ｂ）に示すように、シェーディング値Ｓは、画素値Ｉを示すグラフの傾き（Ｓｆｉ）と定数（Ｓｃ）を掛け合わせたものである。

Ｉ（入力画素値）＝（Ｓｆｉ×Ｓｃ）×Ｒ・・・（１３）

制御部１１は、画像空間クラスタＣ_１〜Ｃ_Ｎについて、各クラスタのシェーディング係数Ｓｆｉについての制約式を生成する。そして、シェーディング係数Ｓｆｉを求めた後、シェーディング値Ｓを求め、入力画素値Ｉをシェーディング値Ｓで割ることでリフレクタンスＲ（反射率）を求める。

以下、各制約式について説明する。
（Ａ）リフレクタンス制約
色空間クラスタリング（ｋ−ｍｅａｎｓ）時のクラスタリング結果が等しいクラスタは、リフレクタンスが同じはずである。これを式にすると、以下の式（１４）で表される。

例えば、図１６（ａ）に示すように、色空間クラスタリング結果６２と画像空間クラスタリング結果６５とを比較すると、画像空間クラスタリング結果６５におけるクラスタＣ４（図中「４」で示す）とクラスタＣ３（図中「３」で示す）とは、色クラスタが同じである。つまり、画像空間クラスタリング結果６５におけるクラスタＣ３とクラスタＣ４とはリフレクタンスＲが同じはずである。切断面７０を横軸、入力画像の画素値Ｉを縦軸とすると、切断面７０において隣接するクラスタＣ４、Ｃ２、Ｃ３の各画素値Ｉは図１６（ｂ）に示すように表される。つまり、クラスタＣ４とクラスタＣ３とは同じリフレクタンスＲであり、クラスタＣ２は色クラスタが異なるためクラスタＣ４とクラスタＣ３とは異なるリフレクタンスＲを持つものとする。

（Ｂ）シェーディング制約
シェーディングＳは滑らかに変化するので、隣接するクラスタの境界は、シェーディング係数Ｓｆｉの値が同じはずである。これを式にすると、以下の式（１５）で表される。

例えば、図１６（ｂ）に示すように、切断面７０において隣接する３つのクラスタＣ４、Ｃ２、Ｃ３は、シェーディングが滑らかに変化する。よって各クラスタＣ４、Ｃ２、Ｃ３の境界のシェーディング値は等しくなるはずである。シェーディングの部分をつなげると、図１６（ｃ）に示すようになるものとする。

また、隣接するクラスタの中間のクラスタが柄（エッジ）の場合、シェーディングの連結のノイズになることが多い。そのため柄についてはシェーディングの滑らかさの考慮から除外する。その場合は、中間クラスタを介して接続する両端のクラスタについてシェーディングの滑らかさを考慮する。これを元に方程式を立てると、以下の式（１６）で表される。

例えば、図１７（ａ）に示す画像空間クラスタリング結果６５ａのように柄８０が含まれる場合、切断面７０では、クラスタＣ４、「柄（エッジ）」、Ｃ３の各画素値Ｉは図１７（ｂ）のように表される。この場合、「柄」は除外し、その両隣のクラスタＣ４とＣ３について、シェーディングが滑らかに変化すると考える。シェーディングをつなげると図１７（ｃ）に示すようになるはずである。

（Ｃ）シェーディング正規化制約（陰影成分の正規化に関する制約）
全体のシェーディングの量を統一する。具体的には、図１８に示すように、全てのシェーディング係数Ｓｆｉの対数を総和すると「０」となるように、シェーディング係数Ｓｆｉを求める。これを元に式を立てると、以下の式（１７）で表される。

このようにして、各制約に基づく方程式が制約式として設定される。制御部１１は、設定した制約式（１４）、（１５）、（１６）、（１７）から、
Ａ・ｘ＝Ｂ
の形の線形方程式を構築する。

次に制御部１１は、ステップＳ２０５で構築した線形方程式を解く（ステップＳ２０６）。これを解くことにより、各クラスタＣ_ｉのシェーディング係数Ｓｆｉ（Ｃ_ｉ）が求められる。線形方程式は、例えばＱＭＲ法を用いることにより高速に結果を得られるが、これに限定されず、どのような解法を用いてもよい。

以上のようにして、各クラスタＣ_１〜Ｃ_ｎのシェーディング係数Ｓｆｉが求められる。シェーディング係数Ｓｆｉに所定の定数Ｓｃを掛けることによりシェーディング値Ｓ（陰影成分）が求められる。また、上述の式（１２）に基づき、入力画素値Ｉをシェーディング値Ｓで割ることでリフレクタンスＲ（柄無し反射率成分）が求められる。

次に、制御部１１はステップＳ１０３（ステップＳ２０１〜ステップＳ２０６）の処理により分離された陰影成分を示す画像である陰影画像３４に基づいて、対象領域の歪み量を算出し、算出した歪み量を反映したグリッドであるテクスチャ座標３５を生成する（ステップＳ１０４）。ステップＳ１０４において、制御部１１は陰影画像３４に基づいて、服の領域（マスク画像３２の白値の領域）の法線を復元し、復元した法線に基づいて歪み量を推定する。この種の技術としては、例えば、“Textureshop : Texture Synthesis as a Photograph Editing Tool（SIGGRAPH2004）”の手法等が知られている。この手法では、以下の手順でテクスチャ座標３５を生成する。

（１）画像輝度の勾配情報を元に法線を復元する。
（２）法線を滑らかに並べ、テクスチャの変形射影マトリクスを求める。

なお、歪み量の算出方法（テクスチャ座標３５の生成方法）はこの方法に限定されるものではなく、本発明は、その他の公知の手法を用いてもよい。

次に制御部１１は、ユーザによる素材データ５の選択を受け付ける（ステップＳ１０５）。ステップＳ１０５において制御部１１は記憶部１２に記憶されている素材データ５の素材画像５ａ、５ｂ、…を読み出し、表示部１６に選択可能に一覧表示することが望ましい。入力部１５を介してユーザにより素材データ５が選択される。

制御部１１は、ステップＳ１０５で選択された素材データ５（選択素材画像３６）をステップＳ１０４で生成したテクスチャ座標３５にマッピングし、更にステップＳ１０３で抽出した陰影画像３４を合成（乗算）する（ステップＳ１０６）。テクスチャマッピングでは、テクスチャ座標３５の歪みに応じて選択素材画像３６が変形されて貼り付けられる。このようにして、服の領域に選択された素材画像３６が適用される。制御部１１は、選択素材画像３６が合成された服の領域の画像（素材合成画像）の各画素を元の入力画像３１の対応する画素に置き換える。これにより、入力画像３１の服（対象領域）の柄が変更された合成画像４が生成される。

制御部１１は、合成画像４を出力（記憶部１２への記憶、表示部１６への表示等）し（ステップＳ１０７）、一連の柄替えシミュレーションに関する処理を終了する。

なお、ステップＳ１０７における出力の結果、ユーザが合成画像４を確認し、別の色や柄を試したい場合等は、ステップＳ１０５へ戻り素材データ５の再選択を行えば、ステップＳ１０２〜ステップＳ１０４の結果を利用して選択素材の合成を繰り返し行える。また、服の領域が複数ある場合は、各領域についてそれぞれ陰影分離（ステップＳ１０３）、テクスチャ座標生成（ステップＳ１０４）、素材選択（ステップＳ１０５）を行って、各領域に異なる素材を適用することも可能である。

以上説明したように、本発明に係る柄替えシミュレーション装置１によれば、ユーザが所望の入力画像３１を入力すると、柄替えシミュレーション装置１により自動で服の領域の抽出、陰影成分の抽出、テクスチャ座標３５の生成（服領域の歪み量の算出）を行って、ユーザが選択した所望の素材の柄や色を適用した合成画像４を得ることが可能となる。これにより、事前加工や素材制作の作業負担がなく、容易な操作で任意の写真（２次元画像）内の服の柄を替えることが可能となる。また、単に素材画像を張り付けたものとは異なり、元の写真の陰影や服の歪み等が反映された合成画像４が作成されるため、品質の高い合成画像４を生成することが可能となる。
なお、上述の実施の形態では、柄替えシミュレーションを行う対象領域を服の領域としたが、本発明はこれに限定されず、柄替えシミュレーションの対象領域はどのような対象物としてもよい。例えば、家具やカーテン、壁紙等を対象領域として本発明を適用してもよいし、人物の髪や肌等を対象として本発明を適用してもよい。

以上、添付図面を参照して、本発明に係る柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラムの好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１……………………柄替えシミュレーション装置
１１…………………制御部
１２…………………記憶部
１３…………………メディア入出力部
１４…………………通信制御部
１５…………………入力部
１６…………………表示部
１７…………………周辺機器Ｉ／Ｆ部
１８…………………バス
２１…………………画像入力部
２２…………………領域抽出部
２３…………………陰影分離部
２４…………………歪み量算出部（テクスチャ座標生成部）
２６…………………素材選択部
２７…………………テクスチャマッピング・陰影合成部
２８…………………画像出力部
３１…………………入力画像
３２…………………マスク画像
３３…………………テクスチャ画像３３
３４…………………陰影画像
３５…………………テクスチャ座標
３６…………………選択素材画像
４……………………合成画像
５……………………素材データ
６１…………………３次元色空間
６２…………………色空間クラスタリング結果
６３、６３ａ〜６３ｃ…DenseCRFによるクラスタリング結果
６４…………………擬似シェーディング値
６５…………………画像空間クラスタリング結果
７０…………………切断面
８０…………………柄（エッジ）

Claims (8)

1. 色及び柄を構成する素材データを複数記憶する記憶手段と、
   任意の画像を入力する入力手段と、
   入力された画像から対象領域を抽出する領域抽出手段と、
   前記入力された画像から前記対象領域について陰影成分を抽出する陰影分離手段と、
   前記陰影成分に基づいて前記対象領域の歪み量を算出する歪み量算出手段と、
   前記素材データの選択を受け付ける素材選択手段と、
   選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに前記陰影分離手段により抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成する合成手段と、
   を備え、
   前記陰影分離手段は、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出することを特徴とする柄替えシミュレーション装置。
2. 前記領域抽出手段は、前記対象領域として前記入力された画像内で着用されている服の領域を抽出することを特徴とする請求項１に記載の柄替えシミュレーション装置。
3. 前記陰影分離手段は、前記入力された画像を色空間及び画像空間においてクラスタリングし、前記入力された画像から柄情報を抽出し、クラスタリングされたクラスタについて陰影成分を求めるための方程式を前記柄情報に基づいて生成し、前記方程式を解くことにより対象領域の画像から陰影成分を抽出することを特徴とする請求項１または請求項２に記載の柄替えシミュレーション装置。
4. 前記方程式は、柄無し反射率成分に関する制約式、前記柄情報に対する制限を含む陰影成分に関する制約式、及び陰影成分の正規化に関する制約式を含むことを特徴とする請求項３に記載の柄替えシミュレーション装置。
5. 前記陰影成分に関する制約式は、隣接する画素の陰影成分がなだらかに変化し近傍画素は近いシェーディング値を持つものとし、かつ、柄として抽出された画素については当該制約から除外することを特徴とする請求項４に記載の柄替えシミュレーション装置。
6. 前記歪み量算出手段は、前記陰影成分から推定される画像輝度の勾配情報に基づき前記対象領域の法線を復元し、法線に基づき前記歪み量を算出することを特徴とする請求項１から請求項５のいずれかに記載の柄替えシミュレーション装置。
7. 色及び柄を構成する素材データを複数記憶する記憶部を有するコンピュータの制御部が、
   任意の画像を入力するステップと、
   入力された画像から対象領域を抽出するステップと、
   前記入力された画像から前記対象領域について陰影成分を抽出するステップと、
   前記陰影成分に基づいて前記対象領域の歪み量を算出するステップと、
   前記素材データの選択を受け付けるステップと、
   選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成するステップと、
   を含み、
   前記陰影成分を抽出するステップは、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出する
   ことを特徴とする柄替えシミュレーション方法。
8. コンピュータを、
   色及び柄を構成する素材データを複数記憶する記憶手段と、
   任意の画像を入力する入力手段と、
   入力された画像から対象領域を抽出する領域抽出手段と、
   前記入力された画像から前記対象領域について陰影成分を抽出する陰影分離手段と、
   前記陰影成分に基づいて前記対象領域の歪み量を算出する歪み量算出手段と、
   前記素材データの選択を受け付ける素材選択手段と、
   選択された素材データを前記歪み量に基づいて前記対象領域にマッピングするとともに前記陰影分離手段により抽出した陰影成分を前記対象領域に付与することにより素材合成画像を生成し、生成した素材合成画像を前記入力された画像の前記対象領域に置き換えて合成画像を生成する合成手段、
   として機能させ、
   前記陰影分離手段は、前記入力された画像を柄無し反射率成分、柄成分、及び陰影成分に分離することにより前記入力された画像から陰影成分を抽出する
   ためのプログラム。

Images