JP5874325B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法およびプログラムに関する。

ユーザは衣装を購入しようとする場合、店舗内で実際に衣装を試着しながら自分の身体のサイズに合った衣装を購入対象として選択する手法を採用する場合がある。しかし、例えば、インターネットを利用して衣装の購入を行う場合には、ユーザは実際に衣装を手に取って衣装を選択することができない。その他、ユーザは自分の身体のサイズの測定結果に応じた衣装を購入する手法を採用することも可能である。しかし、このような手法を採用する場合には、身体のサイズを測定するための手間がユーザに掛かってしまう。

一方、撮像により得られた画像（以下、「撮像画像」とも言う。）に各種のオブジェクトを合成する技術が知られている。撮像画像には様々なオブジェクトが合成され得るが、例えば、被写体（例えば、人物や動物など）が撮像される場合にはその被写体が身に着ける物（例えば、衣装や鞄など）の画像がオブジェクトとして撮像画像に合成され得る。撮像画像に対してオブジェクトを合成する技術としては、様々な技術が開示されている。

例えば、衣装画像を人物画像に合成する技術が開示されている（例えば、特許文献１参照）。このように人物画像に衣装画像が合成されることにより得られる合成画像を見れば、ユーザは店舗内で実際に衣装を試着しなくても、自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。

特開２００５−１３６８４１号公報

しかしながら、例えば、ユーザの身体のサイズに応じた衣装画像を人物画像に合成する技術は開示されていない。そのため、ユーザの身体のサイズが考慮されていない衣装画像が人物画像に合成される可能性があった。したがって、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望ましい。

本開示によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定する、画像処理装置が提供される。

また、本開示によれば、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に合成される仮想オブジェクトを決定すること、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータを、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に合成される仮想オブジェクトを決定することが可能である。

本開示の実施形態に係る画像処理システムの概要を説明するための図である。 画像処理装置の構成例を示すブロック図である。 骨格情報および深度情報を説明するための図である。 画像処理装置のサイズ測定部および画像処理部の各々が有する機能の一例を説明するための図である。 画像処理装置により生成される合成画像の例を示す図である。 画像処理装置の動作の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理システムの概要
２．画像処理装置が有する機能
３．画像処理装置の動作
４．むすび

＜１．画像処理システムの概要＞
以下では、まず、本開示の実施形態に係る画像処理システムの概要について図１を参照して説明する。

図１は、本開示の実施形態に係る画像処理システムの概要を説明するための図である。図１に示したように、本開示の実施形態に係る画像処理システム１０は、画像処理装置１００と表示部１３０と撮像部１４０とセンサ部１５０とを含む。画像処理システム１０が設置される場所は特に限定されない。例えば、画像処理システム１０は、被写体２０の自宅内に設置されてもよい。

また、図１に示した例では、画像処理システム１０を構成する複数のブロック（例えば、画像処理装置１００、表示部１３０、撮像部１４０およびセンサ部１５０）が別体に構成されているが、画像処理システム１０を構成する複数のブロックのいずれかの組み合わせが一体化されていてもよい。例えば、画像処理システム１０を構成する複数のブロックは、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。

撮像部１４０は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体２０（例えば、人物）が撮像部１４０により撮像される。撮像部１４０により撮像された画像（以下、「撮像画像」とも言う。）は表示部１３０により表示され得る。表示部１３０により表示される撮像画像は、ＲＧＢ画像であってもよい。図１に示した例では、被写体２１が映った撮像画像１３１が表示部１３０により表示されている。

センサ部１５０は、実空間からパラメータを検出する機能を有している。例えば、センサ部１５０が赤外線センサにより構成されている場合、センサ部１５０は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置１００に供給することができる。画像処理装置１００は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ部１５０の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ部１５０から画像処理装置１００に供給されることとしているが、画像処理装置１００に供給される検出データは、撮像部１４０により撮像された画像であってもよい。

撮像画像は、画像処理装置１００により処理される。例えば、画像処理装置１００は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。表示部１３０は、画像処理装置１００により処理された後の撮像画像を表示することも可能である。例えば、画像処理装置１００により被写体２１の位置が認識された場合には、被写体２１の位置に仮想オブジェクト（例えば、衣装画像）が合成された撮像画像が、表示部１３０により表示され得る。仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより（例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより）行われてもよい。

被写体２０は、このように処理された撮像画像を見ることにより、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。しかし、被写体２０のサイズに応じた衣装画像を被写体２１に合成する技術は開示されていない。そのため、被写体２０のサイズが考慮されていない衣装画像が被写体２１に合成される可能性があった。したがって、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望まれる。

そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に合成される仮想オブジェクトを決定することができる。以下、図２〜５を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能を説明する。

＜２．画像処理装置が有する機能＞
図２は、画像処理装置１００の構成例を示すブロック図である。図２を参照すると、画像処理装置１００は、制御部１１０および記憶部１２０を備える。制御部１１０は、サイズ測定部１１１、画像処理部１１２および表示制御部１１３を備える。画像処理装置１００には、表示部１３０、撮像部１４０およびセンサ部１５０が接続されている。

（制御部）
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１２０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１１０の様々な機能を動作させる。なお、制御部１１０を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。

（記憶部）
記憶部１２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、画像処理装置１００による処理のためのプログラムおよびデータを記憶する。例えば、制御部１１０としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１２０は、制御部１１０により使用されるデータを記憶する。例えば、記憶部１２０は、物体認識のために使用される特徴量辞書および表示対象となる仮想オブジェクトを記憶することができる。

（表示部）
表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示部１３０が画像処理装置１００と別体に構成されていることを想定しているが、表示部１３０は、画像処理装置１００の一部であってもよい。

（撮像部）
撮像部１４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部１４０が画像処理装置１００と別体に構成されていることを想定しているが、撮像部１４０は、画像処理装置１００の一部であってもよい。

（センサ部）
センサ部１５０は、実空間からパラメータを検出する機能を有している。例えば、センサ部１５０が赤外線センサにより構成されている場合、センサ部１５０は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置１００に供給することができる。センサ部１５０の種類は、赤外線センサに限定されない。なお、撮像部１４０により撮像された画像が検出データとして画像処理装置１００に供給される場合には、センサ部１５０は存在しなくてもよい。

（サイズ測定部）
サイズ測定部１１１は、検出データに基づいて撮像画像に映る物体の実空間上のサイズを測定する。撮像画像に映る物体の実空間上のサイズを測定する手法は特に限定されない。例えば、サイズ測定部１１１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも言う。）を認識するとともに、センサ部１５０と物体との距離を取得すればよい。物体存在領域のサイズは、物体存在領域のどの部位のサイズであってもよい。そして、サイズ測定部１１１は、物体存在領域のサイズと当該距離とに基づいて、撮像画像に映る物体の実空間上のサイズを決定すればよい。

物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして画像処理装置１００に供給された場合には、サイズ測定部１１１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、サイズ測定部１１１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。

また、例えば、センサ部１５０により検出されたパラメータが検出データとして画像処理装置１００に供給された場合には、サイズ測定部１１１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、サイズ測定部１１１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。

センサ部１５０と物体との距離を取得する手法としても様々な手法が想定される。例えば、センサ部１５０と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけセンサ部１５０から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、サイズ測定部１１１は、センサ部１５０と物体との距離を固定値（例えば、２ｍなど）として扱うことができる。

また、サイズ測定部１１１は、撮像部１４０と物体との距離を撮像画像から認識してもよい。例えば、サイズ測定部１１１は、物体間で長さの差が小さい部分の長さにより撮像部１４０と物体との距離を認識してもよい。例えば、図１に示したように、被写体２０が撮像される場合には、個人差の小さい部分の長さ（例えば、右眼と左眼の間の距離など）により撮像部１４０と被写体２０との距離を認識してもよい。サイズ測定部１１１は、撮像画像から決定される特徴量を物体の特徴量と照合することにより、撮像画像に含まれる物体を認識することができる。このような認識手法を用いれば、サイズ測定部１１１は、撮像画像に含まれる右眼および左眼を認識することができる。

より具体的には、サイズ測定部１１１は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像内の特徴量を決定し、決定した特徴量を物体の特徴量と照合する。そして、サイズ測定部１１１は、撮像画像内の特徴量と最も適合する特徴量と関連付けられている物体を識別するための情報、撮像画像における物体の位置および姿勢を認識する。

ここで、サイズ測定部１１１により、物体の特徴量データと物体を識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部１２０により記憶されていてもよいし、サーバから受信されてもよい。物体の特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って物体の学習用画像から決定された特徴量の集合であってもよい。

また、例えば、センサ部１５０により検出されたパラメータに基づいて距離を算出することが可能であれば、サイズ測定部１１１は、検出データに基づいて、センサ部１５０と物体との距離を算出することもできる。より詳細には、サイズ測定部１１１は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ部１５０により検出された光を解析することにより、センサ部１５０と物体との距離を算出することができる。

例えば、サイズ測定部１１１は、センサ部１５０により検出された光の位相遅れに基づいて、センサ部１５０と物体との距離を算出することができる。この手法は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、サイズ測定部１１１は、センサ部１５０により検出された光を構成するパターンの歪み具合を解析することにより、センサ部１５０と物体との距離を算出してもよい。

以上に説明したような手法により、検出データに基づいて撮像画像に映る物体の実空間上のサイズを測定することができる。サイズ測定部１１１は、画像処理装置１００の代わりにセンサ部１５０に組み込まれていてもよい。

以上においては、サイズ測定部１１１は、物体の実空間上のサイズを測定することとしたが、物体の実空間上のサイズを部位ごとに測定することもできる。例えば、サイズ測定部１１１は、物体を認識する場合と同様に、撮像画像から決定される特徴量を物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。サイズ測定部１１１は、この認識結果およびセンサ部１５０と物体との距離に基づいて物体の実空間上のサイズを部位ごとに測定することができる。

あるいは、サイズ測定部１１１は、撮像画像の代わりにセンサ部１５０から供給される検出データから決定される特徴量を物体の部位ごとの特徴量と照合することにより、物体の部位を認識することができる。サイズ測定部１１１は、この認識結果およびセンサ部１５０と物体との距離に基づいて物体の実空間上のサイズを部位ごとに測定することができる。

物体の実空間上のサイズを部位ごとに測定するために、公知技術（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社が開発したＫｉｎｅｃｔ（登録商標））を使用することもできる。かかる公知技術を使用すれば、サイズ測定部１１１は、被写体２０を構成する１以上の部位の各々の位置を示す座標の例として、骨格情報を取得することができる。サイズ測定部１１１は、骨格情報に基づいて、被写体２０を構成する部位のサイズを測定することができる。あるいは、サイズ測定部１１１は、骨格情報および深度情報に基づいて、被写体２０を構成する部位のサイズを測定することができる。まず、この骨格情報および深度情報について、図３を参照しながら説明する。

図３は、骨格情報および深度情報を説明するための図である。サイズ測定部１１１は、上記公知技術を使用することにより、図３に示すような骨格情報を取得することができる。図３に示した例では、骨格情報は、被写体２０を構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。

なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｌｅｆｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｌｅｆｔ Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｌｅｆｔ Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｒｉｇｈｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｒｉｇｈｔ Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｒｉｇｈｔ Ｈａｎｄ」の座標を示している。

座標Ｂ１７は「Ｌｅｆｔ Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｌｅｆｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｌｅｆｔ Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「Ｒｉｇｈｔ Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｒｉｇｈｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｒｉｇｈｔ Ｆｏｏｔ」の座標を示している。

また、サイズ測定部１１１は、上記公知技術を使用することにより、図３に示すような深度情報を取得することもできる。深度情報はセンサ部１５０からの距離を示す情報であり、図３には、簡単のため、深度が閾値よりも低い領域（センサ部１５０からの距離が閾値よりも小さい領域）である物体存在領域Ｒとその他の領域Ｒ’とが深度情報の一例として示されている。

被写体２０を構成する部位のサイズは、このように取得された骨格情報に基づいて、サイズ測定部１１１により測定され得る。あるいは、被写体２０を構成する部位のサイズは、このように取得された骨格情報および深度情報に基づいて、サイズ測定部１１１により測定され得る。以下、被写体２０を構成する部位のサイズを測定する手法について、図４を参照しながら説明する。

図４は、画像処理装置１００のサイズ測定部１１１および画像処理部１１２の各々が有する機能の一例を説明するための図である。サイズ測定部１１１は、例えば、骨格情報に基づいて「身丈」「袖丈」を測定することができる。より詳細には、サイズ測定部１１１は、座標Ｂ１を用いて「身丈」を測定することができる。また、サイズ測定部１１１は、座標Ｂ６および座標Ｂ７の差分値と座標Ｂ７および座標Ｂ９の差分値とを加算した結果を用いて、「袖丈」を測定することができる。あるいは、サイズ測定部１１１は、座標Ｂ１２および座標Ｂ１３の差分値と座標Ｂ１３および座標Ｂ１５の差分値とを加算した結果を用いて、「袖丈」を測定することができる。

また、サイズ測定部１１１は、例えば、骨格情報および深度情報に基づいて「肩幅」「身幅」「袖幅」を測定することができる。より詳細には、サイズ測定部１１１は、座標Ｂ６および座標Ｂ１２の差分値に、物体存在領域Ｒのうち座標Ｂ６および座標Ｂ１２により示される各々の部位の厚みを加算した結果を用いて、「肩幅」を測定することができる。また、サイズ測定部１１１は、物体存在領域Ｒのうち座標Ｂ３と座標Ｂ６または座標Ｂ１２との間に位置する部位の太さを用いて、「身幅」を測定することができる。また、サイズ測定部１１１は、物体存在領域Ｒのうち座標Ｂ６または座標Ｂ１２に位置する部位の太さを用いて「袖幅」を測定することができる。

図４には、サイズ測定部１１１により測定された被写体２０の部位ごとのサイズ（ｙ）の例が示されている。この例では、被写体２０の部位ごとのサイズが「（１）身丈＝７１．５ｃｍ」、「（２）肩幅＝４３．５ｃｍ」、「（３）身幅＝５１．５ｃｍ」、「（４）袖丈＝２１．０ｃｍ」、「（５）袖幅＝２０．５ｃｍ」として測定されている。ここでは、被写体２０のサイズとして５つの部位がサイズ測定部１１１により測定されているが、サイズが測定される部位の数は特に限定されない。

（画像処理部）
続いて、画像処理部１１２により撮像画像を処理する手法について、図４を参照しながら説明を行う。画像処理部１１２は、撮像画像に映る物体の実空間上のサイズに基づいて撮像画像を処理する。撮像画像に映る物体の実空間上のサイズは、上記したように、サイズ測定部１１１により測定され得る。画像処理部１１２がどのように撮像画像を処理するかについては特に限定されない。例えば、上記したように、画像処理部１１２は、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。上記したように、仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより（例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより）行われてもよい。

例えば、画像処理部１１２は、物体の実空間上のサイズとあらかじめ登録された１以上の実オブジェクトの各々のサイズとの照合結果に基づいて選択される実オブジェクト（以下、「選択オブジェクト」とも言う。）に応じた仮想オブジェクトを撮像画像に合成することができる。実オブジェクトは、特に限定されないが、例えば、人物や動物などの生き物であってもよく、自動車や家具などといった生き物以外であってもよい。１以上の実オブジェクトの各々のサイズは、記憶部１２０にあらかじめ登録されていてもよい。

選択オブジェクトは、物体の実空間上のサイズと１以上の実オブジェクトの各々のサイズとの間において対応する部位が存在する場合、対応する部位ごとの照合結果に基づいて選択されてもよい。より詳細には、選択オブジェクトは、対応する部位ごとの差分値の二乗の合計値が最小となる実オブジェクトであってもよい。図４には、１以上の実オブジェクトの各々のサイズとして男性用シャツの部位ごとのサイズ（ｘ）があらかじめ登録されている例が示されている。

この例では、男性用シャツの身丈（１）が「（サイズＳ）６６．５ｃｍ、（サイズＭ）６９．５ｃｍ、（サイズＬ）７２．５ｃｍ、（サイズＸＬ）７４．５ｃｍ」として登録されている。また、男性用シャツの肩幅（２）が「（サイズＳ）４０．５ｃｍ、（サイズＭ）４２．０ｃｍ、（サイズＬ）４３．５ｃｍ、（サイズＸＬ）４５．５ｃｍ」として登録されている。また、男性用シャツの身幅（３）が「（サイズＳ）４６．５ｃｍ、（サイズＭ）４９．５ｃｍ、（サイズＬ）５２．５ｃｍ、（サイズＸＬ）５６．５ｃｍ」として登録されている。

また、男性用シャツの袖丈（４）が「（サイズＳ）１９．０ｃｍ、（サイズＭ）２０．５ｃｍ、（サイズＬ）２１．５ｃｍ、（サイズＸＬ）２２．５ｃｍ」として登録されている。また、男性用シャツの袖幅（５）が「（サイズＳ）１８．５ｃｍ、（サイズＭ）１９．５ｃｍ、（サイズＬ）２０．５ｃｍ、（サイズＸＬ）２２．０ｃｍ」として登録されている。画像処理部１１２は、例えば、以下の式（１）に基づいて、対応する部位ごとの差分値の二乗の合計値σ^２を算出することができる。

σ^２＝Σ（ｘｉ−ｙｉ）^２・・・（１）

例として、サイズＳに関してσ^２を計算すると、
σ_Ｓ ^２＝（６６．５ｃｍ−７１．５ｃｍ）^２＋（４０．５ｃｍ−４３．５ｃｍ）^２＋（４６．５ｃｍ−５１．５ｃｍ）^２＋（１９．０ｃｍ−２１．０ｃｍ）^２＋（１８．５ｃｍ−２０．５ｃｍ）^２＝６７ｃｍ^２となる。同様に、サイズＭ、サイズＬおよびサイズＸＬの各々に関してσ^２を計算すると、σ_Ｍ ^２＝１１．５ｃｍ^２、σ_Ｌ ^２＝２．２５ｃｍ^２、σ_ＸＬ ^２＝４２．５ｃｍ^２となる。

したがって、図４に示した例では、画像処理部１１２は、σ^２が最小となるサイズのシャツとして、Ｌサイズのシャツを選択することができる。なお、ここでは、画像処理部１１２は、対応する部位ごとの差分値の二乗の合計値が最小となる実オブジェクトを選択することとしたが、対応する部位ごとの差分値の合計値が最小となる実オブジェクトを選択してもよい。

あるいは、画像処理部１１２は、特定の部位に関する差分値が小さい実オブジェクトを優先的に選択してもよい。このような選択を行うようにすれば、例えば、「身丈」「袖丈」などに関しては、差分値が大きいことを許容できるが、「肩幅」「身幅」「袖幅」などに関しては、差分値が大きいことを許容できないといった事情を考慮することもできる。すなわち、特定の部位は、「肩幅」「身幅」「袖幅」などであってもよい。画像処理部１１２は、選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成することにより撮像画像を処理することができる。

仮想オブジェクトは実オブジェクトごとに用意されていてもよい。このような場合には、例えば、選択オブジェクトに応じた仮想オブジェクトは、選択オブジェクトに関連付けられている仮想オブジェクトであってもよい。また、仮想オブジェクトは実オブジェクトごとに用意されていなくてもよい。このような場合には、例えば、選択オブジェクトに応じた仮想オブジェクトは、選択オブジェクトのサイズに合わせて調整された仮想オブジェクトであってもよい。撮像画像に合成される仮想オブジェクトのサイズは、センサ部１５０と物体との距離に応じて変更されてもよい。以下、画像処理部１１２により仮想オブジェクトが合成された後の撮像画像の例について、図５を参照しながら説明する。

図５は、画像処理装置１００により生成される合成画像の例を示す図である。図５に示したように、画像処理部１１２は、被写体２０の実空間上のサイズに基づいて選択したＬサイズのシャツに応じた仮想オブジェクト３１Ｃを、被写体２１に合成することにより撮像画像１３１Ｃを得ることができる。図５を参照すれば、合成された仮想オブジェクト３１Ｃは、被写体２１のサイズに合っていることが分かる。

一方、Ｓサイズのシャツに応じた仮想オブジェクト３１Ａが被写体２１に合成された場合に得られる撮像画像１３１Ａを参照すると、仮想オブジェクト３１Ａは、被写体２１のサイズに合っていないことが分かる。同様に、Ｍサイズのシャツに応じた仮想オブジェクト３１Ｂが被写体２１に合成された場合に得られる撮像画像１３１Ｂを参照しても、仮想オブジェクト３１Ｂは、被写体２１のサイズに合っていないことが分かる。ＸＬサイズのシャツに応じた仮想オブジェクト３１Ｄが被写体２１に合成された場合に得られる撮像画像１３１Ｄを参照しても、仮想オブジェクト３１Ｄは、被写体２１のサイズに合っていないことが分かる。

（表示制御部）
画像処理部１１２により処理された後の撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御される。図５に示した例では、撮像画像１３１Ｃが表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御される。

以上、図２〜５を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能を説明した。以下、図６を参照しながら、本開示の実施形態に係る画像処理装置１００の動作の流れの一例を説明する。

＜３．画像処理装置の動作＞
図６は、本開示の実施形態に係る画像処理装置１００の動作の流れの一例を示すフローチャートである。なお、図６を参照しながら説明する画像処理装置１００の動作は、特に、被写体２０の骨格情報および深度情報に基づいて被写体のサイズを部位ごとに測定する場合における画像処理装置１００の動作である。また、図６を参照しながら説明する画像処理装置１００の動作は、実オブジェクトがシャツである場合についての動作である。

図６に示すように、まず、サイズ測定部１１１は、被写体２０の骨格情報および深度情報を検出する（ステップＳ１１）。続いて、サイズ測定部１１１は、骨格情報および深度情報に基づいて、実空間上の被写体２０のサイズを部位ごとに測定する（ステップＳ１２）。画像処理部１１２は、サイズ測定部１１１により測定された実空間上の被写体２０のサイズと１以上のシャツの各々のサイズとの間においてユークリッド距離σを算出する（ステップＳ１３）。

画像処理部１１２は、ユークリッド距離σが最小となるサイズのシャツを選択し（ステップＳ１４）、選択したシャツの仮想オブジェクトを撮像画像に合成する（ステップＳ１５）。仮想オブジェクトが合成された撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御されてもよい。

以上、図６を参照しながら、画像処理装置１００の動作の流れの一例について説明した。

＜４．むすび＞
以上説明したように、本開示の実施形態によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、画像処理部は、撮像画像に映る物体の実空間上のサイズに基づいて仮想オブジェクトを決定する、画像処理装置が提供される。かかる画像処理装置によれば、撮像画像に映る物体の実空間上のサイズを考慮して仮想オブジェクトを決定することができる。例えば、ユーザに提供できる衣装のサイズをあらかじめ登録しておけば、この衣装のサイズとユーザの実空間上のサイズとに基づいて、適切なサイズの衣装をユーザに提案することができる。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、画像処理部１１２を備える画像処理装置１００は、サーバに備えられていてもよいし、サーバと通信可能な端末に備えられていてもよい。また、例えば、上記では、撮像画像から物体のサイズを測定する機能を、画像処理装置１００が有する例を主に説明したが、かかる機能は、画像処理装置１００の代わりに他の装置が有していてもよい。例えば、かかる機能は、センサ部１５０が有していてもよい。例えば、画像処理装置１００が撮像画像を他の装置に送信した場合、他の装置は画像処理装置１００の代わりに撮像画像から物体のサイズを測定してもよい。

また、例えば、上記では、表示制御部１１３は、画像処理装置１００に備えられている例を主に説明したが、表示制御部１１３は、画像処理装置１００の代わりに他の装置が有していてもよい。例えば、画像処理部１１２はサーバに備えられており、表示制御部１１３は端末に備えられていてもよい。例えば、サーバにより処理された撮像画像が端末に送信された場合、端末はその撮像画像が表示部１３０に表示されるように表示部１３０を制御してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。

また、例えば、上記では、画像処理部１１２が、ユーザの実空間上のサイズに基づいて選択される衣装画像を撮像画像に合成する例を主に説明したが、サイズが測定される物体は特に限定されないし、撮像画像に合成される仮想オブジェクトも特に限定されない。例えば、画像処理部１１２は、車庫の実空間上のサイズとあらかじめ登録された１以上の自動車の各々のサイズとの照合結果に基づいて選択される自動車である選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成してもよい。これによれば、車庫の実空間上のサイズに応じた自動車をユーザに提案することができる。

また、例えば、画像処理部１１２は、テレビジョン装置台の実空間上のサイズとあらかじめ登録された１以上のテレビジョン装置の各々のサイズとの照合結果に基づいて選択されるテレビジョン装置である選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成してもよい。これによれば、テレビジョン装置台の実空間上のサイズに応じたテレビジョン装置をユーザに提案することができる。

また、例えば、画像処理部１１２は、荷物の実空間上のサイズとあらかじめ登録された１以上の入れ物の各々のサイズとの照合結果に基づいて選択される入れ物である選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成してもよい。これによれば、荷物の実空間上のサイズに応じた入れ物をユーザに提案することができる。入れ物は、鞄であってもよいし、スーツケースであってもよい。

また、例えば、画像処理部１１２は、撮像画像に映る壁の実空間上のサイズとあらかじめ登録された１以上の掲示物の各々のサイズとの照合結果に基づいて選択される掲示物である選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成してもよい。これによれば、壁に掲げられる掲示物をユーザに提案することができる。これらの掲示物は、絵画であってもよいし、ポスターであってもよい。

また、例えば、画像処理部１１２は、撮像画像に映る複数の物体間のスペースの実空間上のサイズとあらかじめ登録された１以上の物体の各々のサイズとの照合結果に基づいて選択される物体である選択オブジェクトに応じた仮想オブジェクトを撮像画像に合成してもよい。これによれば、複数の物体間のスペースに収まる物体をユーザに提案することができる。これらの物体は、家具であってもよいし、テレビジョン装置やスピーカなどの機器であってもよい。

また、例えば、上記では、画像処理部１１２は、撮像画像に映る物体の実空間上のサイズに基づいて、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより撮像画像に仮想オブジェクトを合成する例を主に説明したが、画像処理部１１２は、物体の実空間上のサイズに応じて撮像画像を変形することにより撮像画像に仮想オブジェクトを合成してもよい。画像処理部１１２は、物体の実空間上のサイズに応じて物体の配置を変更することにより撮像画像を変形してもよい。例えば、画像処理部１１２は、撮像画像に映る家具の実空間上のサイズに基づいて、その家具が撮像画像において他の複数の家具間に収まるように他の複数の家具の撮像画像における配置を変更することにより、撮像画像を変形してもよい。他の複数の家具の撮像画像における配置の変更は、例えば、撮像画像からキャプチャした他の複数の家具の画像を撮像画像に重畳することにより行われ得る。

また、例えば、画像処理部１１２は、撮像画像に映る荷物の実空間上のサイズに基づいて、その荷物が撮像画像において他の複数の荷物間に収まるように他の複数の荷物の撮像画像における配置を変更することにより、撮像画像を変形してもよい。他の複数の荷物の撮像画像における配置の変更は、例えば、撮像画像からキャプチャした他の複数の荷物の画像を撮像画像に重畳することにより行われ得る。これらの荷物は、トラックの荷台などに存在する場合であってもよい。そのような場合に本開示の技術が適用されれば、トラックに荷物を載せる作業の効率を向上させることができる。

また、本明細書の画像処理装置１００の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置１００の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、画像処理装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した画像処理装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定する、画像処理装置。
（２）
前記画像処理部は、前記物体の実空間上のサイズとあらかじめ登録された１以上の実オブジェクトの各々のサイズとの照合結果に基づいて選択される実オブジェクトである選択オブジェクトに応じた仮想オブジェクトを前記撮像画像に合成する、
前記（１）に記載の画像処理装置。
（３）
前記選択オブジェクトは、前記物体の実空間上のサイズと前記１以上の実オブジェクトの各々のサイズとの間において対応する部位が存在する場合、対応する部位ごとの照合結果に基づいて選択される、
前記（２）に記載の画像処理装置。
（４）
前記選択オブジェクトは、対応する部位ごとの差分値の二乗の合計値が最小となる実オブジェクトである、
前記（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像とは別にあらかじめ登録されている仮想オブジェクトを前記撮像画像に重畳することにより撮像画像に仮想オブジェクトを合成する、
前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理部は、前記物体の実空間上のサイズに応じて前記撮像画像を変形することにより前記撮像画像に前記仮想オブジェクトを合成する、
前記（１）に記載の画像処理装置。
（７）
前記画像処理部は、前記物体の実空間上のサイズに応じて前記撮像画像に映る他の物体の配置を変更することにより前記撮像画像を変形する、
前記（６）に記載の画像処理装置。
（８）
前記画像処理装置は、
前記撮像画像に映る物体の実空間上のサイズを測定するサイズ測定部をさらに備える、
前記（１）に記載の画像処理装置。
（９）
前記画像処理装置は、
前記画像処理部により処理された前記仮想オブジェクトが合成された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
前記（１）に記載の画像処理装置。
（１０）
撮像画像に映る物体の実空間上のサイズに基づいて、前記撮像画像に合成される仮想オブジェクトを決定すること、
を含む、画像処理方法。
（１１）
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。

１０ 画像処理システム
３１Ａ〜３１Ｄ 仮想オブジェクト
１００ 画像処理装置
１１０ 制御部
１１１ サイズ測定部
１１２ 画像処理部
１１３ 表示制御部
１２０ 記憶部
１３０ 表示部
１３１（１３１Ａ〜１３１Ｄ） 撮像画像
１４０ 撮像部
１５０ センサ部

Claims (9)

1. 撮像画像に仮想オブジェクトを合成する画像処理部を備え、
   前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定し、
   前記画像処理部は、前記物体の実空間上のサイズに応じて前記撮像画像を変形することにより前記撮像画像に前記仮想オブジェクトを合成する、
   画像処理装置。
2. 前記画像処理部は、前記物体の実空間上のサイズに応じて前記撮像画像に映る他の物体の配置を変更することにより前記撮像画像を変形する、
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記物体の実空間上のサイズとあらかじめ登録された１以上の実オブジェクトの各々のサイズとの照合結果に基づいて選択される実オブジェクトである選択オブジェクトに応じた仮想オブジェクトを前記撮像画像に合成する、
   請求項１に記載の画像処理装置。
4. 前記選択オブジェクトは、前記物体の実空間上のサイズと前記１以上の実オブジェクトの各々のサイズとの間において対応する部位が存在する場合、対応する部位ごとの照合結果に基づいて選択される、
   請求項３に記載の画像処理装置。
5. 前記画像処理部は、前記撮像画像とは別にあらかじめ登録されている仮想オブジェクトを前記撮像画像に重畳することにより撮像画像に仮想オブジェクトを合成する、
   請求項１に記載の画像処理装置。
6. 前記画像処理装置は、
   前記撮像画像に映る物体の実空間上のサイズを測定するサイズ測定部をさらに備える、
   請求項１に記載の画像処理装置。
7. 前記画像処理装置は、
   前記画像処理部により処理された前記仮想オブジェクトが合成された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
   請求項１に記載の画像処理装置。
8. 撮像画像に映る物体の実空間上のサイズに基づいて、前記撮像画像に合成される仮想オブジェクトを決定することと、
   前記物体の実空間上のサイズに応じて前記撮像画像を変形することにより前記撮像画像に前記仮想オブジェクトを合成することと、
   を含む、画像処理方法。
9. コンピュータを、
   撮像画像に仮想オブジェクトを合成する画像処理部を備え、
   前記画像処理部は、前記撮像画像に映る物体の実空間上のサイズに基づいて前記仮想オブジェクトを決定し、
   前記画像処理部は、前記物体の実空間上のサイズに応じて前記撮像画像を変形することにより前記撮像画像に前記仮想オブジェクトを合成する、画像処理装置として機能させるためのプログラム。

Images