JP5254507B1 - 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

画像処理装置は、アイテム画像を取得するアイテム画像取得部及びモデル画像を取得するモデル画像取得部と、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する補正部と、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する出力部と、を備える。これにより、アイテムが実際に人体に装着された状態により近い合成画像が提供される。

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体に関する。

アクセサリ等の人が身につけて使用するアイテムの画像を、人の画像に合成して表示する技術が知られている（例えば、非特許文献１参照）。この技術では、選択されたアクセサリの画像がユーザの画像に重畳して表示される。

ＶＩＥＷＴＲＹ、[online]、［２０１２年１２月１７日検索］、インターネット<URL: http://www.viewtry.com/>

アクセサリ等のアイテムを販売する電子商取引サイト等に掲載されるアイテムの画像は、アイテムが水平な台に置かれた状態で撮影されている場合が多い。ピアス、イヤリング及びネックレス等のように体の一部にぶら下げられるように装着されるアイテムは、水平に置かれた状態と人体に装着された状態とでは重力が作用する方向が異なるために、それらのアイテムを構成するパーツの傾き等の態様が異なる。また、電子商取引サイト等に掲載するアイテムの画像は、構図のバランスのために、アイテム全体を傾けて撮影される場合がある。このようなアイテム画像をユーザ等のモデル画像に重畳して表示すると、不自然なものとなり、ユーザに違和感を生じさせる。

そこで本発明は、モデルに装着するアイテムの画像をモデルの画像に重畳して表示する際に、実際にモデルに装着された状態により近くすることを目的とする。

上記課題を解決するために、本発明の一形態に係る画像処理装置は、ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得手段と、アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得手段と、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する補正手段と、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する出力手段と、を備える。

本発明の一形態に係る画像処理方法は、コンピュータにより実行される画像処理方法であって、ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得ステップと、アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得ステップと、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する補正ステップと、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する出力ステップと、を有する。

本発明の一形態に係る画像処理プログラムは、コンピュータに、ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得機能と、アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得機能と、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する補正機能と、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する出力機能と、を実現させる。

本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、画像処理プログラムを記憶するコンピュータ読み取り可能な記録媒体であって、コンピュータに、ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得機能と、アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得機能と、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する補正機能と、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する出力機能と、を実現させる。

上記形態によれば、アイテム領域における補正対象領域の傾きが、補正対象領域の支点位置に対する補正対象領域の重心位置の方向がモデル画像における重力方向に沿うように補正され、補正対象領域の傾きが補正されたアイテム領域がモデル画像に重畳されるように出力されるので、実際にアイテムが着用された状態により近い画像を表示させることができる。従って、表示された画像は、不自然なものではなく、ユーザにとって違和感の少ないものとなる。

別の形態に係る画像処理装置では、補正手段は、アイテム領域の全部を補正対象領域として傾きを補正し、支点位置は、アイテム領域のうちのアイテムの装着部が表された位置である。この形態によれば、アイテムが一の剛体からなる場合に、アイテム領域の傾きが適切に補正される。

さらに別の形態に係る画像処理装置では、アイテムが連結部を介して互いに揺動可能に連結された複数のパーツを含む場合において、補正対象領域は、連結部を介して互いに連結された一方及び他方のパーツを含むアイテムが表示されたアイテム領域における少なくとも他方のパーツが表された領域であり、支点位置は、補正対象領域における一方のパーツ側の連結端部である。

この形態によれば、アイテムが連結部を介して互いに揺動可能に連結された複数のパーツを含む場合に、一のパーツが表された領域が補正対象領域として特定され、当該補正対象領域における支点位置が適切に設定される。これにより、アイテムが揺動可能に連結された複数のパーツからなる場合であっても、アイテム領域の傾きが適切に補正されるので、アイテムが実際に着用された状態により近い画像を出力できる。

さらに別の形態に係る画像処理装置では、補正手段は、アイテム画像において所定方向に沿ってアイテムが表された領域が占める長さが、所定範囲の近傍の領域に対して相対的に所定以上の差をもって短い領域を連結部として特定し、近傍の領域をパーツが表された領域として特定する。

この形態によれば、アイテムの画像においてくびれた部分が連結部として特定され、連結部の近傍領域がパーツが表された領域として特定される。これにより、アイテムの画像における連結部が適切に特定される。

さらに別の形態に係る画像処理装置では、モデル画像から取得可能な情報に基づき該モデル画像における重力方向を特定する特定手段を更に備え、補正手段は、特定手段により特定された重力方向に基づき、補正対象領域の傾きを補正する。

この形態によれば、モデル画像における重力方向が、モデル画像から取得される情報に基づき適切に特定されるので、実際に人体に装着された状態により近い自然な合成画像が提供できる。

さらに別の形態に係る画像処理装置では、アイテム画像取得手段により上下方向が特定されたアイテム画像が取得された場合に、補正手段は、アイテム領域における最も上方の部分を装着部として特定する。この形態によれば、アイテム領域における装着部が適切且つ容易に特定される。

さらに別の形態に係る画像処理装置では、補正手段は、モデル画像から取得した該モデル画像におけるアイテムが装着される部分の大きさ、予め設定された人体における該部分の実サイズに関する情報、アイテム画像から取得した該アイテム画像におけるアイテム領域の大きさ、及び予め記憶されたアイテムの実サイズに関する情報に基づき、合成画像におけるアイテムが装着される部分の大きさとアイテム画像の大きさとの比が、アイテムが装着される部分の実サイズとアイテムの実サイズとの比に略等しくなるようにアイテム領域の画像の大きさを調整する。

この形態によれば、重畳されるアイテム領域が、モデル画像に応じた適切な大きさに調整される。これにより、ユーザにとって違和感の少ない自然な合成画像が提供される。

さらに別の形態に係る画像処理装置では、出力手段は、アイテムが装着される部分の特徴を示すテンプレートを用いてモデル画像を探索することにより、モデル画像におけるアイテムが装着される部分を特定し、アイテムの装着部が表された位置がモデル画像におけるアイテムが装着される部分に位置するようにアイテム領域を前記モデル画像に重畳する。

この形態によれば、モデル画像におけるアイテムが装着される部分が精度よく特定されるので、アイテム領域が適切な位置に重畳される。

本発明の一側面によれば、モデルに装着するアイテムの画像をモデルの画像に重畳して表示する際に、実際にモデルに装着された状態により近くすることが可能となる。

画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置が電子商取引サイトに適用された場合等において、表示される画面の例を示す図である。 図４（ａ）は、アイテム画像の例を示す図である。図４（ｂ）は、補正対象領域の特定の例を示す図である。 アイテム情報記憶部の構成及び記憶されているデータの例を示す図である。 図６（ａ）は、装着部の特定の例を示す図である。図６（ｂ）は、装着部の特定の他の例を示す図である。 補正対象領域の傾きの補正処理の例を示す図である。 図８（ａ）〜（ｄ）は、テンプレートを用いたマッチング処理に先立つ前処理を示す図である。図８（ｅ）は、ピアスホールの特徴を示すテンプレートを示す図である。 出力部により出力された合成画像の例を示す図である。 図１０（ａ）は、画像処理装置における画像処理方法の処理内容の例を示すフローチャートである。図１０（ｂ）は、図１０（ａ）のフローチャートのステップＳ４の補正処理を示すフローチャートである。 図１１（ａ）は、複数のパーツにより構成されるピアスの例を示す図である。図１１（ｂ）は、縮小膨張処理を実施することにより複数の領域に分断されたアイテムの画像を示す図である。 補正部による連結部の特定処理の他の例を示す図である。 補正対象領域における支点位置の設定の例を示す図である。 アイテムが複数のパーツにより構成される場合における、補正対象領域である各パーツの支点位置及び重心位置の特定、及び各補正対象領域の傾きの補正処理を示す図である。 図１５（ａ）は、アイテムに含まれる複数のパーツの傾きを順次補正する場合のフローチャートである。図１５（ｂ）は、アイテムに含まれる複数のパーツの傾きの補正を並列的に行う場合のフローチャートである。 画像処理プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、アクセサリといったアイテムの画像を、モデルの画像に合成して出力する装置である。アイテムは、例えば、ぶら下げて着用されるアクセサリであって、ピアス、イヤリング、ネックレスのチャーム等を含む。本実施形態の画像処理装置１は、例えばアクセサリ等のアイテムを販売する電子商取引サイトに適用できる。

本実施形態の画像処理装置１は、図１に示すように、機能的には、アイテム画像取得部１１（アイテム画像取得手段）、モデル画像取得部１２（モデル画像取得手段）、特定部１３（特定手段）、補正部１４（補正手段）、重畳部１５（出力手段）及び出力部１６（出力手段）、を含む。また、画像処理装置１の各機能部１１〜１６は、アイテム画像記憶部２１、モデル画像記憶部２２及びアイテム情報記憶部２３といった記憶手段にアクセス可能である。なお、画像処理装置１は、ユーザ端末とネットワークを介して通信可能なサーバに構成することができる。また、画像処理装置１が、スマートフォン及びパーソナルコンピュータといった装置に構成されることとしてもよい。

図２は、画像処理装置１のハードウェア構成図である。画像処理装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、ネットワークカード等で構成される通信制御装置１０４、入力デバイスであるキーボード、マウス等の入力装置１０５、ディスプレイ等の出力装置１０６などを含むコンピュータシステムとして構成されている。なお、画像処理装置１がサーバに構成される場合には、画像処理装置１は、入力装置１０５，出力装置１０６を含まなくてもよい。

図１に示した各機能は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェア（画像処理プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４、入力装置１０５、出力装置１０６を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。

まず、画像処理装置１の機能部の説明に先立って、アイテム画像記憶部２１、及びモデル画像記憶部２２を説明する。アイテム画像記憶部２１は、アイテム画像を記憶している記憶手段である。アイテム画像は、例えば、電子商取引サイトにおいて販売されるアクセサリを表す画像である。アイテム画像記憶部２１は、予めアイテム画像を記憶していることとしてもよい。

モデル画像記憶部２２は、アイテムが装着される部分を含むモデル画像を記憶している記憶手段である。モデル画像は、予め記憶されていることとしてもよいし、ユーザによりアップロードされることとしてもよい。モデル画像は、例えば、アクセサリが着用される人物の一部分を表す。

図３は、例えば、画像処理装置１が電子商取引サイトに適用された場合等において、表示される画面Ｄの例を示す図である。画像処理装置１がサーバに構成される場合には、図３に示すように、画像処理装置１は、アイテム画像記憶部２１から取得した複数のアイテム画像ＰＩ及びモデル画像記憶部２２から取得したモデル画像ＰＩを、ネットワークを介して通信可能なユーザ端末に出力し、ユーザ端末の画面Ｄに表示させる。

続いて、画像処理装置１の機能部を説明する。アイテム画像取得部１１は、アイテムを表示するアイテム画像を取得する部分である。アイテムは、ぶら下げて着用されるアクセサリ等であって、モデルの部分に装着して使用される。アクセサリ等のアイテムは、モデルに装着される部分である装着部及び本体部（パーツ）を含む。アイテム画像取得部１１は、アイテム画像記憶部２１からアイテム画像を取得する。

モデル画像取得部１２は、アイテムが装着される部分が表されたモデル画像を取得する部分である。モデル画像取得部１２は、モデル画像記憶部２２からモデル画像を取得する。モデル画像は、予め記憶された画像であってもよいし、ユーザによりアップロードされた、ユーザの顔等が撮影された画像であってもよい。また、モデル画像は、リアルタイムに取得されるユーザの顔等を表した画像であってもよい。

特定部１３は、モデル画像取得部１２により取得されたモデル画像における重力方向を特定する部分である。特定部１３は、例えばモデル画像の上下方向が特定されている場合には、下方向を重力方向として特定できる。また、撮影時に撮影装置の加速度センサ等により取得されたオリエンテーション情報がモデル画像に付されている場合には、特定部１３は、モデル画像に付されたオリエンテーション情報に基づき、モデル画像における重力方向を特定できる。

また、特定部１３は、モデル画像を解析することによりモデル画像における重力方向を特定することとしてもよい。例えば、周知の方法により、モデル画像における頭部の複数のパーツ（例えば、目、耳、鼻、口）の位置を特定し、それらの相対的な位置関係に基づいて、重力方向を特定する。より具体例を説明すると、まず、目の位置と口の位置を特定し、目の位置に対する口の位置の方向を所定の角度だけ回転させた方向を重力方向とする。所定の角度は、一般的な横顔における目の位置に対する口の位置の方向と頭部の上下方向との間の角度である。また、例えば、モデルの画像において一般的に重力方向に沿う物が表された領域を画像処理により特定し、特定された領域の画像に表された物の延在方向を画像処理により特定し、特定された方向を重力方向として特定してもよい。

なお、特定部１３は、本実施形態の画像処理装置１において必須の構成要素ではない。画像処理装置１が特定部１３を備えない場合には、補正部１４等の機能部は、モデル画像における下方向といった所定の方向を重力方向としてみなすこととしてもよい。

補正部１４は、アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する補正対象領域の重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する部分である。具体的には、まず傾きの補正の前処理として、補正部１４は、アイテム画像からアイテムが表されたアイテム領域を抽出する。さらに、補正部１４は、アイテム領域から補正対象領域を特定する。

まず、補正部１４は、アイテム画像取得部１１により取得されたアイテム画像におけるアイテム領域を周知の画像処理技術を用いて特定する。図４（ａ）は、アイテム画像の例を示す図である。補正部１４は、アイテム画像Ｐ_１からアイテムＩ_１が表されたアイテム領域（前景領域）を特定する。ここで２つの領域が特定された場合には、補正部１４は、アイテム画像Ｐ_１において左右一対のアイテムが特定されたことを認識する。そして、補正部１４は、２つのアイテム領域のうちのいずれかのアイテム領域を補正対象領域の特定のための領域として特定する。補正部１４は、予め右側または左側の領域を補正対象領域とすることが設定されている場合には、その設定に従って補正対象領域を特定できる。また、アイテムが例えばいわゆるスタッズ型のピアスである場合には、左右の形状の差異がないので、補正部１４は、いずれの領域を補正対象領域に特定してもよい。そして、図４（ｂ）のアイテム画像Ｐ_２に示すように、アイテムが一の剛体（パーツ）により構成されている場合には、補正部１４は、アイテム領域Ｉ_２の全体を補正対象領域として特定する。なお、例えば、縮小膨張処理といった周知の画像処理技術を用いて、アイテムが一のパーツにより構成されているか、または互いに連結された複数のパーツにより構成されているかを判定することが可能である。この判定処理については後述する。

続いて、補正部１４は、モデル画像に重畳するためのアイテム領域の大きさを調整する。アイテム画像及びモデル画像の間で実サイズに対する縮尺が相違する場合が多く、このような場合に大きさの調整をすることなくアイテム画像のアイテム領域をモデル画像に重畳すると、出力された画像はユーザに違和感を生じさせるような不自然なものとなる。不自然な画像が出力されないように、補正部１４は、モデル画像におけるアイテムが装着される部分の大きさ、予め設定されたモデルにおける当該部分の実サイズに関する情報、アイテム画像におけるアイテム領域の大きさ、及び予め記憶されたアイテムの実サイズに関する情報に基づき、モデル画像におけるアイテムが装着される部分の大きさとアイテム領域の大きさとの比が、アイテムが装着される部分の実サイズとアイテムの実サイズとの比に略等しくなるように、アイテム領域の大きさを調整する。

モデル画像におけるアイテムが装着される部分が耳である場合、モデル画像におけるアイテムが装着される部分の大きさとして、耳が映った領域が内接する矩形の縦のピクセル数が取得される。耳が映った領域は、周知の画像処理により特定することができる。予め設定されたモデルにおける当該部分の実サイズに関する情報として、例えば、（縦：５ｃｍ）といった情報が記憶されている。

アイテムの実サイズに関する情報は、アイテム情報記憶部２３に予め記憶されている。図５は、アイテム情報記憶部２３の構成及び記憶されているデータの例を示す図である。図５に示すように、アイテム情報記憶部２３は、商品ＩＤに対応付けて、縦及び横のサイズを記憶している。商品ＩＤは、アイテムの識別子である。補正部１４は、縦及び横のいずれかまたは両方のサイズの情報を用いて、アイテム領域の大きさを調整する。

補正部１４は、アイテムの画像における装着部を特定する。装着部は、アイテムにおけるモデルに装着される部分である。具体的には、例えば、アイテム画像取得部１１により上下方向が特定されたアイテム画像が取得された場合には、補正部１４は、アイテム画像のアイテム領域における最も上方の部分を装着部として特定する。

図６（ａ）は、装着部の特定の例を示す図である。図６（ａ）に示されるアイテム画像Ｐ_３は、その属性として上下方向が特定されているものとする。アイテム画像Ｐ_３には、アイテムＩ_３の画像が表されている。補正部１４は、アイテムＩ_３の画像における最も上方の部分Ａ_３を装着部として特定する。アイテム画像Ｐ_３の上下方向に座標軸（ｙ軸）が設定されている場合には、補正部１４は、アイテムＩ_３の画像における最大のｙ座標値を有する画素を装着部として特定する。また、アイテム画像に表されたアイテムがスタッズ型のピアスである場合には、補正部１４は、アイテムの画像における最大のｙ座標値を有する画素を含み、所定の直径（例えば、実サイズにおける１．５ｍｍ）の円形状の部分を特定し、その部分の中心部を装着部として特定してもよい。アイテムがスタッズ型のピアスであるか否かの情報は、アイテム画像と関連付けて記憶された、商品についてのテキスト情報から取得されることとしてもよいし、アイテム情報記憶部２３から取得されることとしてもよい。

また、図６（ｂ）は、装着部の特定の他の例を示す図である。図６（ｂ）に示されるアイテム画像Ｐ_４は、アイテムＩ_４の画像を表している。アイテムＩ_４は、ピアスであって、ピアスホールに通されるフック部Ｆ及び複数のパーツＢ_４１，Ｂ_４２を有する。補正部１４は、アイテムＩ_４の画像における最も上方の部分Ａ_４を装着部として特定する。

また、図６（ｂ）に示されるようなフック部Ｆを有するアイテムＩ_４の装着部を特定する場合には、補正部１４は、例えばパターンマッチングといった周知の画像処理技術によりフック部Ｆを抽出し、曲線を描くフック部Ｆの曲率が最大となる部分を装着部として特定することとしてもよい。

そして、補正部１４は、特定した装着部をモデルの装着位置にぶら下げられるように装着されたときの支点位置の少なくとも一つとして特定する。

補正部１４は、アイテム領域の補正対象領域における重心位置を特定する。具体的には、補正部１４は、例えば、アイテム画像の補正対象領域に質量が一様に分布するものと仮定して、補正対象領域の形状に基づき、周知の画像処理技術及び解析技術を用いて、補正対象領域における重心位置を特定する。

そして、補正部１４は、アイテム領域の補正対象領域における支点位置に対する重心位置の方向が、モデル画像における重力方向に沿うように補正対象領域の傾きを補正する。図７は、アイテム領域背内が補正対象領域である場合における、補正対象領域の傾きの補正処理の例を示す図である。

図７（ａ）に示すように、支点位置Ａ_５及び重心位置Ｇ_５が特定され、モデル画像における重力方向が矢印ＤＧに示される方向である場合には、補正部１４は、図７（ｂ）に示すように、支点位置Ａ_５に対する重心位置Ｇ_５の方向が、モデル画像における重力方向ＤＧに沿うように補正対象領域の傾きを補正する。

重畳部１５は、補正部１４により補正対象領域が補正されたアイテム領域を、モデル画像に重畳する。重畳部１５は、アイテム領域における装着部がモデル画像におけるアイテムが装着される部分に位置するように位置合わせしてモデル画像に重畳することができる。重畳部１５は、アイテム領域の重畳のために、重畳処理に先立って、モデル画像におけるアイテムが装着される部分を特定する。

重畳部１５は、アイテムが装着される部分の特徴を示すテンプレートを用いてモデル画像を探索（マッチング）することにより、モデル画像におけるアイテムが装着される部分を特定することができる。図８は、アイテムが装着される部分を特定する処理の例を説明するための図である。図８（ａ）〜（ｄ）は、テンプレートを用いたマッチング処理に先立つ前処理を示す。まず、重畳部１５は、モデル画像からアイテムが装着される部位の画像を抽出する。図８（ａ）の例では、ピアスが装着される耳の部分の画像が抽出されている。続いて、図８（ｂ）に示すように、重畳部１５は、周知の画像処理技術により、耳の部分の画像に対してエッジ抽出処理を行う。次に、重畳部１５は、図８（ｃ）に示すような周知の画像処理技術である膨張処理、及び図８（ｄ）に示すような収縮処理を行い、ピアスが装着されるピアスホールを顕在化させる。なお、膨張処理及び収縮処理は、画像の特性に応じて、繰り返して実施される。

そして、重畳部１５は、図８（ｅ）に示すような、ピアスホールの特徴を示すテンプレートを用いて、ピアスホールが顕在化されたモデル画像に対するマッチング処理を行うことにより、ピアスが装着される部分を特定する。

なお、重畳部１５は、例えば図８（ａ）に示すような、抽出された耳の部分の画像において、予め設定された相対的な位置を、アイテムが装着される位置として特定してもよい。重畳部１５は、例えば、抽出された耳画像の下端から耳画像の高さの１０％及び左端から耳画像の幅の３０％の位置をアイテムが装着される位置として特定できる。

重畳部１５は、以上説明したように特定された、モデル画像におけるアイテムが装着される位置に、アイテム領域におけるアイテムの装着部が位置するように、補正対象領域の傾きが補正されたアイテム領域をモデル画像に重畳する。

出力部１６は、モデル画像にアイテム領域が重畳されるように表示させるためにモデル画像及びアイテム領域を出力する部分である。具体的には、出力部１６は、重畳部１５によりアイテム領域が重畳されたモデル画像を出力する。出力部１６は、例えば、画像をユーザ端末に出力する。また、出力部１６は、画像をディスプレイに出力することとしてもよい。図９は、出力部１６により出力された画像の例を示す図である。図９に示すように、アイテム領域における補正対象領域の傾きが、補正対象領域の支点位置に対する補正対象領域の重心位置の方向がモデル画像における重力方向に沿うように補正され、補正されたアイテム領域が装着位置に位置合わせされてモデル画像に重畳されるので、実際にモデルに装着された状態により近い画像が出力される。

次に、図１０を参照して、本実施形態の画像処理方法について説明する。図１０（ａ）は、図１に示した画像処理装置１における画像処理方法の処理内容の例を示すフローチャートである。図１０（ｂ）は、図１０（ａ）のフローチャートのステップＳ４の補正処理を示すフローチャートであって、アイテムが一の剛体からなるアクセサリである場合の処理の例を示す。

まず、アイテム画像取得部１１は、アイテム画像記憶部２１からアイテム画像を取得する。また、モデル画像取得部１２は、モデル画像記憶部２２からモデル画像を取得する（Ｓ１）。ここで、特定部１３がモデル画像取得部１２により取得されたモデル画像における重力方向を特定することとしてもよい。

次に、補正部１４は、アイテム画像からアイテム領域を抽出する（Ｓ２）。続いて、補正部１４は、前処理として、アイテム領域の大きさの調整処理、アイテムの画像における装着部の特定処理を行う（Ｓ３）。補正部１４は、特定した装着部を、モデルにぶら下げられるように装着されたときの支点位置として特定する。また、重畳部１５は、モデル画像におけるアイテムが装着される部分を特定する（Ｓ３）。

次に、補正部１４は、補正対象領域の傾きを補正する（Ｓ４）。この補正処理では、補正部１４は、アイテム領域の全体を傾きの補正の対象となる補正対象領域として抽出する。また、補正部１４は、補正対象領域の重心位置を周知の画像処理技術及び解析技術により特定する（Ｓ１１）。そして、補正部１４は、補正対象領域における支点位置に対する重心位置の方向がモデル画像における重力方向に沿うように、補正対象領域の傾きを補正する（Ｓ１２）。

続いて、重畳部１５は、補正対象領域が補正されたアイテム領域を、装着部がモデル画像におけるアイテムが装着される部分に位置するようにモデル画像に重畳する（Ｓ５）。そして、出力部１６は、重畳部１５により重畳された画像を出力する（Ｓ６）。

次に、アイテムが、連結部を介して、その連結部を支点として揺動可能に連結された複数のパーツを含む場合における、アイテムの画像の傾きの補正処理の例を説明する。図１１（ａ）は、複数のパーツにより構成されるピアスであるアイテムの例を示す図である。図１１（ａ）に示すように、アイテムは、複数のパーツＢ_１１、Ｂ_１２、Ｂ_１３、Ｂ_１４を含む。パーツＢ_１１は、装着部Ａを含む。パーツＢ_１２は、連結部Ｃ_１２を介して、連結部Ｃ_１２を支点として揺動可能にパーツＢ_１１に連結されている。パーツＢ_１３は、連結部Ｃ_１３を介して、連結部Ｃ_１３を支点として揺動可能にパーツＢ_１２に連結されている。パーツＢ_１４は、連結部Ｃ_１４を介して、連結部Ｃ_１４を支点として揺動可能にパーツＢ_１３に連結されている。なお、図１１では、図示の便宜上、連結部を小さい円形で示しているが、実際の連結部の形状はより複雑で、例えば、連結部は、一方のパーツに固定された輪状の部分と他方のパーツに固定された輪状の部分により構成され、２つの輪状の部分が連結している。

補正部１４は、例えば、縮小膨張処理といった周知の画像処理技術を用いて、アイテムが一のパーツにより構成されているか、または互いに連結された複数のパーツにより構成されているかを判定することが可能である。図１１（ｂ）に示すように、アイテム画像のアイテム領域に対して縮小膨張処理を実施することによりアイテム領域が複数の領域に分断された場合には、補正部１４は、当該アイテムが複数のパーツにより構成されているものとして判定できる。

また、補正部１４は、図１１（ｂ）に示すような縮小膨張処理により消滅した領域を連結部として特定することができる。より具体的には、補正部１４は、図１１（ａ）に示す画像と図１１（ｂ）に示す画像との差分を連結部として特定する。また、補正部１４は、縮小膨張処理により分断された各領域を、パーツが表された領域として特定し、それぞれのパーツが表された領域を補正対象領域として特定する。即ち、アイテムが複数のパーツから構成される場合には、アイテムの画像は、複数の補正対象領域を有する。

図１２は、補正部１４による連結部の特定処理の他の例を示す図である。補正部１４は、アイテム画像において所定方向に沿ってアイテムが表された領域が占める長さが、所定範囲の近傍の領域に対して相対的に所定以上の差をもって短い領域を連結部として特定し、近傍の領域をパーツが表された領域として特定することができる。具体的には、アイテム画像の上下方向が特定されている場合に、補正部１４は、上下方向に直交する方向（図１２における矢印Ｖ）に沿って分布するアイテムの画像の領域のピクセル数を表すヒストグラムを生成し、ヒストグラムにおける極小点に相当し且つピクセル数が所定数以下の部分を、アイテムの連結部Ｃ_１２、Ｃ_１３、Ｃ_１４として特定する。そして、補正部１４は、連結部として特定された領域の近傍の領域を、アイテムの画像における各パーツが表された領域Ｂ_１１、Ｂ_１２、Ｂ_１３、Ｂ_１４として特定する。

ここで、図１３を参照して、アイテムが連結部を介して互いに揺動可能に連結された複数のパーツを含む場合における補正対象領域及び支点位置の設定について説明する。図１３（ａ）に示すように、アイテムに含まれる一方のパーツＢ_Ａ及び他方のパーツＢ_Ｂが連結部Ｃ_ＡＢを介して連結されている場合に、補正部１４は、少なくとも他方のパーツＢ_Ｂが表された領域（図１３（ａ）の斜線部）を、補正対象領域に設定する。ここで、補正対象領域は、図１３（ａ）に示すように連結部Ｃ_ＡＢが表された領域を含むことができる。この場合に、補正部１４は、補正対象領域における一方のパーツＢ_Ａ側の連結端部を支点位置として特定する。補正部１４は、連結部Ｃ_ＡＢの領域内のいずれかの位置を支点位置に設定できる。支点位置は、例えば、連結部Ｃ_ＡＢにおける一方のパーツＢ_Ａ側端部Ｅ_１であってもよいし、連結部Ｃ_ＡＢの領域の中心位置であってもよい。

また、図１３（ｂ）に示すように、補正対象領域（図１３（ｂ）の斜線部）が連結部Ｃ_ＡＢを含まない場合には、補正部１４は、他方のパーツＢ_Ｂにおける一方のパーツＢ_Ａ側端部Ｅ_２を、支点位置として特定する。

なお、アイテムが連結部を介して連結された複数のパーツを含む場合、一のパーツが複数の連結端部を有する。かかる場合において、パーツ両端の連結部を結ぶ直線が重心位置を通らない場合に、複数の連結端部のうちのより下方の連結端部に支点位置が設定されて傾きの補正が行われると、アイテムが実際に装着された状態とは異なる状態に補正される。従って、この場合には、当該一のパーツが表された補正対象領域に関する支点位置は、複数の連結端部のうち、より上方に位置する連結端部に設定されることが好ましい。

図１４は、アイテムが複数のパーツにより構成される場合における、補正対象領域である各パーツの支点位置及び重心位置の特定、及び各補正対象領域の傾きの補正処理を示す図である。なお、図１４に示す例では、連結部の中心位置を支点位置に特定することとしている。また、図１４に示す例は、連結部を点として解釈したものとして捉えてもよい。

まず、補正部１４は、パーツが装着部を含む場合には、その装着部を当該パーツの支点位置として特定する。図１４（ａ）に示す例では、補正部１４は、パーツＢ_１１が装着部Ａを有するので、装着部ＡをパーツＢ_１１の支点位置として特定する。また、補正部１４は、パーツＢ１１の重心位置Ｇ_１１を周知の画像解析技術により特定する。そして、補正部１４は、支点位置（装着部Ａ）に対する重心位置の方向が、モデル画像における重力方向に沿うようにパーツＢ_１１の傾きを補正する。

また、一のパーツが複数の連結部を有する場合には、補正部１４は、アイテムがぶら下げられるように装着部がモデルに装着されたときに、複数の連結部のうち最も上方に位置する連結部を支点位置として特定する。図１４（ａ）に示す例では、補正部１４は、複数の連結部Ｃ_１２、Ｃ_１３を有するパーツＢ_１２における支点位置を、より上方（装着部側）に位置する連結部Ｃ_１２に特定する。

さらに、補正部１４は、パーツＢ_１２の重心位置Ｇ_１２を周知の画像解析技術により特定する。なお、周知の技術を用いた重心位置の特定に際して、本実施形態では、パーツが表された領域（補正対象領域）に一様に質量が分布すると仮定されるが、一のパーツが複数の連結部を有する場合に、支点位置として特定されなかった連結部には当該連結部により支持される全てのパーツの質量が分布することと仮定してもよい。図１４（ａ）に示す例において、パーツＢ_１２の支点位置として特定されなかった連結部Ｃ_１３には、当該連結部Ｃ_１３により支持される全ての他のパーツＢ_１３，Ｂ_１４の質量が分布することと仮定できる。

そして、図１４（ｂ）に示すように、補正部１４は、支点位置（連結部Ｃ_１２）に対する重心位置Ｇ_１２の方向が、モデル画像おける重力方向に沿うようにパーツＢ_１２の傾きを補正する。なお、図１４に示す例では、未補正のパーツＢ１３，Ｂ１４の傾きもパーツＢ１２の傾きの補正に応じて暫定的に補正される。

同様に、図１４（ｂ）に示すように、補正部１４は、連結部Ｃ_１３をパーツＢ_１３の支点位置として特定すると共に、周知の画像解析技術によりパーツＢ_１３の重心位置Ｇ_１３を特定する。そして、図１４（ｃ）に示すように、補正部１４は、支点位置（連結部Ｃ_１３）に対する重心位置Ｇ_１３の方向が、モデル画像における重力方向に沿うようにパーツＢ_１３の傾きを補正する。

さらに、図１４（ｃ）に示すように、補正部１４は、連結部Ｃ_１４をパーツＢ_１４の支点位置として特定すると共に、周知の画像解析技術によりパーツＢ_１４の重心位置Ｇ_１４を特定する。そして、図１４（ｄ）に示すように、補正部１４は、支点位置（連結部Ｃ_１４）に対する重心位置Ｇ_１４の方向が、モデル画像おける重力方向に沿うようにパーツＢ_１４の傾きを補正する。

次に、図１５を参照して、アイテムが、連結部を介して、その連結部を支点として揺動可能に連結された複数のパーツを含む場合における、補正処理の手順を説明する。図１５（ａ）、（ｂ）はそれぞれ、図１０（ａ）のフローチャートのステップＳ４の補正処理を具体的に示すフローチャートである。

図１５（ａ）は、アイテムに含まれる複数のパーツの傾きを上方のパーツから順次補正する場合のフローチャートである。まず、補正部１４は、アイテムの画像において、連結部及び補正対象領域となるパーツが表された領域を特定する（Ｓ２１）。続いて、補正部１４は、複数のパーツのうち、装着部を含むパーツを抽出し、当該パーツが表された領域を補正対象領域に設定し、そのパーツの装着部を当該パーツの支点位置として特定する（Ｓ２２）。

次に、補正部１４は、補正対象領域における重心位置を周知の画像解析技術により特定する（Ｓ２３）。そして、補正部１４は、支点位置に対する重心位置の方向がモデル画像の重力方向に沿うように、補正対象領域の傾きを補正する（Ｓ２４）。

続いて、補正部１４は、アイテム画像に含まれる全てのパーツの傾きの補正処理が済んだか否かを判定する（Ｓ２５）。全てのパーツの傾きが補正済であると判定された場合には、補正処理の処理手順は終了する。一方、全てのパーツの傾きが補正済であると判定されなかった場合には、処理手順はステップＳ２６に進められる。

ステップＳ２６において、補正部１４は、傾きの補正済みのパーツに連結部を介して連結されているパーツが表されている領域を補正対象領域に設定し、当該連結部を支点位置として特定する（Ｓ２６）。そして、処理手順は、ステップＳ２３に戻り、ステップＳ２５において全てのパーツの傾きが補正済であると判定されるまで、ステップＳ２３〜Ｓ２６の処理が繰り返される。

なお、図１５（ａ）に示したフローチャートでは、複数のパーツのうち上方のパーツから順次補正対象領域に設定し、傾きの補正処理を行うこととしたが、下方のパーツから順次処理を行うこととしてもよい。

図１５（ｂ）は、アイテムに含まれる複数のパーツの傾きの補正を並列的に行う場合のフローチャートである。この場合には、補正部１４は、アイテム画像において、複数のパーツ及び各々のパーツの連結部を特定する（Ｓ３１）。続いて、補正部１４は、各パーツが表された領域の各々を補正対象領域に設定し、各パーツの上方に位置する装着部または連結部をそれぞれの補正対象領域の支点位置として特定する（Ｓ３２）。

次に、補正部１４は、各補正対象領域における重心位置を周知の画像解析技術により特定する（Ｓ３３）。そして、補正部１４は、各補正対象領域について、支点位置に対する重心位置の方向が重力方向に沿うように、傾きを補正する（Ｓ３４）。このように補正処理を行うことにより、複数の補正対象領域を順次補正処理する場合よりも、処理時間が短縮される。

次に、図１６を参照して、コンピュータを画像処理装置１として機能させるための画像処理プログラムを説明する。画像処理プログラム１Ｐは、メインモジュールＰ１０、アイテム画像取得モジュールＰ１１、モデル画像取得モジュールＰ１２、特定モジュールＰ１３、補正モジュールＰ１４、重畳モジュールＰ１５及び出力モジュールＰ１６を備える。

メインモジュールＰ１０は、画像処理を統括的に制御する部分である。アイテム画像取得モジュールＰ１１、モデル画像取得モジュールＰ１２、特定モジュールＰ１３、補正モジュールＰ１４、重畳モジュールＰ１５及び出力モジュールＰ１６を実行することにより実現される機能はそれぞれ、図１に示される画像処理装置１のアイテム画像取得部１１、モデル画像取得部１２、特定部１３、補正部１４、重畳部１５及び出力部１６の機能と同様である。

画像処理プログラム１Ｐは、例えば、ＣＤ−ＲＯＭやＤＶＤ、ＲＯＭ等の記憶媒体１Ｄまたは半導体メモリによって提供される。また、画像処理プログラム１Ｐは、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

以上説明した本実施形態の画像処理装置１、画像処理方法、画像処理プログラム１Ｐ及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体によれば、アイテム領域における補正対象領域の傾きが、補正対象領域の支点位置に対する補正対象領域の重心位置の方向がモデル画像における重力方向に沿うように補正され、補正対象領域の傾きが補正されたアイテム領域がモデル画像に重畳されるように出力されるので、実際にアイテムが着用された状態により近い画像を表示させることができる。従って、表示された画像は、不自然なものではなく、ユーザにとって違和感の少ないものとなる。

また、上記実施形態によれば、アイテム画像におけるアイテム領域の傾きが適切に補正されてモデル画像に重畳表示されるので、重畳表示させるためのアイテムの画像を別途記憶しておく必要がない。従って、記憶領域の削減が可能となる。

なお、本実施形態では、アイテムの例として、ピアスといったアクセサリを示して説明した。ピアスは、人の耳たぶに開けられた穴（ピアスホール）に装着するものであるので、実在の店舗等において試着することができない。従って、本実施形態の画像処理装置１において、仮想的に試着することができて、装着された状態をユーザが確認できることは、非常に有用である。

また、ピアスは、全体の大きさに対してパーツの占める割合が大きいため、不自然にパーツが傾いた状態のアイテム画像がモデル画像に合成されると、合成画像は非常に不自然なものになる。従って、本実施形態の画像処理装置１では、自然な状態にアイテム画像の傾きが補正されるので、アイテムがピアスである場合において非常に有用である。

なお、上記のように本実施形態の画像処理装置１は、アイテムがピアスである場合に格別な効果を奏するが、アイテムはピアスに限定されない。アイテムは、例えば、イヤリング、ネックレスのチャーム等、ぶら下げられて着用されるものであることができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では、アイテムの重心位置に関して、補正対象領域に一様に質量が分布するものと仮定して周知の画像解析技術により特定を行うこととしたが、パーツごとの質量を考慮することとしてもよい。例えば、アクセサリといったアイテムに用いられる材料、単位体積あたりの質量及び当該材料の色を対応付けて記憶したデータベースを予め準備しておき、補正部１４が、アイテム画像から取得した各パーツの色に関する情報に基づき、各パーツの材料及び質量を特定して、重心位置を算出することとしてもよい。また、補正部１４が、アイテム画像が掲載されたウェブページから材料を示すキーワードを抽出し、当該材料の色を上記データベースに基づき特定し、アイテム画像におけるパーツがその色を有していた場合に、そのパーツが当該材料から成る物として特定すると共に、その材料の質量の情報を用いて重心位置を特定することとしてもよい。

１…画像処理装置、１１…アイテム画像取得部、１２…モデル画像取得部、１３…特定部、１４…補正部、１５…重畳部、１６…出力部、２１…アイテム画像記憶部、２２…モデル画像記憶部、２３…アイテム情報記憶部、１Ｄ…記憶媒体、１Ｐ…画像処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…アイテム画像取得モジュール、Ｐ１２…モデル画像取得モジュール、Ｐ１３…特定モジュール、Ｐ１４…補正モジュール、Ｐ１５…合成モジュール、Ｐ１６…出力モジュール。

Claims (11)

1. ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得手段と、
   前記アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得手段と、
   前記アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、前記モデル画像における重力方向に沿うように前記補正対象領域の傾きを補正する補正手段と、
   前記モデル画像に前記アイテム領域が重畳されるように表示させるために前記モデル画像及び前記アイテム領域を出力する出力手段と、
   を備える画像処理装置。
2. 前記補正手段は、前記アイテム領域の全部を前記補正対象領域として傾きを補正し、
   前記支点位置は、前記アイテム領域のうちのアイテムの装着部が表された位置である、
   請求項１に記載の画像処理装置。
3. 前記アイテムが連結部を介して互いに揺動可能に連結された複数のパーツを含む場合において、
   前記補正対象領域は、連結部を介して互いに連結された一方及び他方のパーツを含むアイテムが表示されたアイテム領域における少なくとも前記他方のパーツが表された領域であり、
   前記支点位置は、前記補正対象領域における前記一方のパーツ側の連結端部である、
   請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記アイテム画像において所定方向に沿ってアイテムが表された領域が占める長さが、所定範囲の近傍の領域に対して相対的に所定以上の差をもって短い領域を連結部として特定し、前記近傍の領域をパーツが表された領域として特定する、
   請求項３に記載の画像処理装置。
5. 前記モデル画像から取得可能な情報に基づき該モデル画像における重力方向を特定する特定手段を更に備え、
   前記補正手段は、前記特定手段により特定された重力方向に基づき、前記補正対象領域の傾きを補正する、
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記アイテム画像取得手段により上下方向が特定されたアイテム画像が取得された場合に、前記補正手段は、アイテム領域における最も上方の部分を装着部として特定する、
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記補正手段は、
   前記モデル画像から取得した該モデル画像における前記アイテムが装着される部分の大きさ、予め設定された該部分の実サイズに関する情報、前記アイテム画像から取得した該アイテム画像におけるアイテム領域の大きさ、及び予め記憶された前記アイテムの実サイズに関する情報に基づき、モデル画像におけるアイテムが装着される部分の大きさとアイテム領域の大きさとの比が、前記アイテムが装着される部分の実サイズと前記アイテムの実サイズとの比に略等しくなるように前記アイテム領域の大きさを調整する、
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記アイテムが装着される部分の特徴を示すテンプレートを用いて前記モデル画像を探索することにより、モデル画像におけるアイテムが装着される部分を特定し、アイテムの装着部が表された位置が前記モデル画像におけるアイテムが装着される部分に位置するように前記アイテム領域を前記モデル画像に重畳する、
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. コンピュータにより実行される画像処理方法であって、
   ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得ステップと、
   前記アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得ステップと、
   前記アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、前記モデル画像における重力方向に沿うように前記補正対象領域の傾きを補正する補正ステップと、
   前記モデル画像に前記アイテム領域が重畳されるように表示させるために前記モデル画像及び前記アイテム領域を出力する出力ステップと、
   を有する画像処理方法。
10. コンピュータに、
    ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得機能と、
    前記アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得機能と、
    前記アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、前記モデル画像における重力方向に沿うように前記補正対象領域の傾きを補正する補正機能と、
    前記モデル画像に前記アイテム領域が重畳されるように表示させるために前記モデル画像及び前記アイテム領域を出力する出力機能と、
    を実現させる画像処理プログラム。
11. 画像処理プログラムを記憶するコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    ぶら下げられて着用されるアクセサリであるアイテムを表示するアイテム画像を取得するアイテム画像取得機能と、
    前記アイテムが装着される部分が表されたモデル画像を取得するモデル画像取得機能と、
    前記アイテム画像のうちのアイテムが表された領域であるアイテム領域の少なくとも一部である補正対象領域の支点位置に対する該補正対象領域の重心位置の方向が、前記モデル画像における重力方向に沿うように前記補正対象領域の傾きを補正する補正機能と、
    前記モデル画像に前記アイテム領域が重畳されるように表示させるために前記モデル画像及び前記アイテム領域を出力する出力機能と、
    を実現させるコンピュータ読み取り可能な記録媒体。