JP5791577B2 - 画像処理装置、画像表示方法、およびプログラム - Google Patents

Description

本発明は画像処理装置、画像表示方法、およびプログラムに関する。

衣服等の購入を検討するときには、自分の身体等に服をあてて、その服と身体とを組み合わせた際の印象やサイズなど（いわゆるコーディネート）を確認することが一般的に行われている。

また、カメラで撮った人体の画像に服や靴などの画像を合成し、その合成された画像をディスプレイに出力させる技術がある（非特許文献１参照）。このような技術を用いると、ユーザはディスプレイ上に表示される合成される画像をみることでコーディネートを確認することができる。

Bridget、"Outdoor media becomes a shoe store"、［online］、２０１２年６月３日、［平成２４年９月１６日検索］、インターネット（URL:http://www.adverblog.com/2012/06/03/outdoor-media-becomes-a-shoe-store/）

ユーザが、第１の物体と、他の第２の物体とを目の前で組み合わせて、これらの物体のサイズのバランスを含むコーディネートを確認することが難しい場合がある。より詳細には、第１の物体が目の前にあっても、第２の物体を目の前に持ってきて組み合わせることが難しい場合がある。第１の物体としては、例えば購入を検討する対象である商品がある。上述の場合の１つの例は衣服を贈答する場合であり、この場合にはその贈り先となる人と商品とのコーディネートの確認は難しかった。他の例は子どもの服を探す場合であり、子どもをじっとさせて服を試着させることが難しかった。

本発明は上記課題を鑑みてなされたものであって、その目的は、目の前にある第１の物体と、他の第２の物体とを目の前で組み合わせてみることが困難な場合であっても、それらのコーディネートを確認することができる技術を提供することにある。

上記課題を解決するために、本発明にかかる画像処理装置は、投影面に投影される第１の物体の画像を含む投影用画像を取得する投影用画像取得手段と、投影手段が前記投影面に投影する画像のうち前記投影面の手前にある第２の物体が遮る領域を認識する物体認識手段と、前記投影面に投影される第１の物体の画像の大きさが実物大になり、かつ前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御する投影制御手段と、を含むことを特徴とする。

また、本発明にかかる画像処理方法は、投影面に投影される第１の物体の画像を含む投影用画像を取得するステップと、投影手段が投影する前記投影用画像を前記投影面の手前にある第２の物体が遮る領域を認識するステップと、前記投影面に投影される第１の物体の画像の大きさが実物大になり、かつ前記認識された領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御するステップと、を含むことを特徴とする。

また、本発明にかかるプログラムは、投影面に投影される第１の物体の画像を含む投影用画像を取得する投影用画像取得手段、投影手段が投影する前記投影用画像を前記投影面の手前にある第２の物体が遮る領域を認識する物体認識手段、および、前記投影面に投影される第１の物体の画像の大きさが実物大になり、かつ前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御する投影制御手段、としてコンピュータを機能させる。

本発明によれば、実在する第１の物体および第２の物体を目の前で組み合わせてコーディネートを確認することが困難な場合であっても、それらのコーディネートを確認することができる。

本発明の一態様では、前記物体認識手段は、ピクセルごとの撮影手段からの距離を示す距離画像に基づいて、前記第２の物体が遮る領域を認識してもよい。

本発明の一態様では、前記物体認識手段は、周期的に前記第２の物体が遮る領域を認識し、前記投影制御手段は、前記物体認識手段が前記第２の物体が遮る領域を認識するごとに、前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御してもよい。

これらの態様によれば、ユーザが第２の物体を動かしながら、リアルタイム的に第１の物体と第２の物体とのコーディネートを確認することができる。

本発明の一態様では、前記投影用画像取得手段は人体を含む複数の投影用画像から１つの投影用画像を取得し、前記投影制御手段は、前記取得された投影用画像に含まれる前記第１の物体の画像の位置に基づいて、前記投影用画像の位置を調整してもよい。

この態様によれば、投影用画像を切替えても第１の物体と第２の物体との位置関係を保持することができる。

本発明の一態様では、前記投影用画像取得手段は、前記物体認識手段が認識した領域に基づいて前記複数の投影用画像から１つの投影用画像を取得してもよい。

この態様によれば、ある投影用画像において特定の領域を見せたくない場合に、その特定の領域を見せないようにすることができる。

本発明の一態様では、前記投影制御手段は、ユーザから投影される前記第１の物体の変更サイズを示す情報を取得し、前記サイズを示す情報に基づいて、当該投影用画像のサイズを実物大から変化させてもよい。

この態様によれば、第１の物体のサイズが変化することが予想される場合に、それを考慮してコーディネートを確認することができる。

本発明の一態様では、前記投影制御手段は、前記投影用画像のサイズが実物大から変化する場合に、前記認識された領域の位置に基づいて、前記投影用画像の位置を調整してもよい。

この態様によれば、例えば、第１の物体のサイズを変化させた際に、第２の物体を動かす量を減らすことができる。

本発明の一態様では、前記投影制御手段は、前記認識された領域に所定の画像をさらに投影するよう制御してもよい。

本発明の一態様では、前記投影制御手段は、第１のモードでは、前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御し、第２のモードでは、前記認識された領域のうち、その前のユーザが指示したタイミングにおいて第２の物体が遮らないと認識された領域に前記取得された投影用画像を投影するよう制御してもよい。

本発明の実施形態にかかる画像処理システムの構成の一例を示す図である。 カメラ、プロジェクタ、投影面、物体、投影される画像の配置の一例を示す図である。 画像処理装置が実現する機能を示すブロック図である。 投影用画像解析部の処理フローの一例を示す図である。 投影用画像の一例と解析対象となる箇所の一例とを示す図である。 投影用画像の他の一例を示す図である。 投影用画像から検出された情報の一例を示す図である。 撮影データ取得部、投影面認識部、物体形状取得部、投影用画像取得部、投影制御部の処理フローの一例を示す図である。 投影面の手前にある物体の形状の一例を示す図である。 距離画像から認識される投影面の手前にある物体を示す領域の一例を示す図である。 人体の画像と判定領域との関係の一例を示す図である。 画像処理がされた画像の一例を示す図である。 第１の表示モードにおける投影された画像と第２の物体の一例を示す図である。 第２の表示モードにおける投影された画像と第２の物体の一例を示す図である。

以下では、本発明の実施形態について図面に基づいて説明する。同じ符号を付された構成については、重複する説明を省略する。

図１は、本発明の実施形態にかかる画像処理システムの構成の一例を示す図である。画像処理システムは、画像処理装置１と、カメラ２と、プロジェクタ３と、を含む。

画像処理装置１は、ユーザが操作するコンピュータであり、例えばパーソナルコンピュータや携帯端末などである。画像処理装置１は、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、入出力部１４を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、ＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

記憶部１２は、ＲＡＭやフラッシュメモリ等のメモリ素子やハードディスクドライブ等によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。

通信部１３は、他の装置と通信する機能を実現するものであり、例えば有線ＬＡＮや無線ＬＡＮの集積回路やアンテナなどにより構成されている。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。

入出力部１４は、表示出力デバイスや他の入出力デバイスとのやりとりを行う回路であり、例えば表示出力デバイスに画像を出力させるグラフィックボードや、キーボード、マウス、カメラ２などの入力デバイスからのデータを取得するＵＳＢコントローラなどにより構成される。入出力部１４は、プロセッサ１１の制御に基づいて、画像データ等を表示出力デバイスに対して出力し、入力デバイスより操作者（ユーザ）からの情報や、カメラ２が取得した画像のデータなどを取得する。なお、入出力部１４に接続される表示出力デバイスの１つはプロジェクタ３であり、もう１つは図示しない液晶表示デバイスなどのディスプレイである。

カメラ２は、可視画像や距離画像を取得するデバイスである。ここで、距離画像は２次元に並ぶピクセルからなり、その各ピクセルは、そのピクセルの方向にある物体がカメラ２からどれだけ離れているかの情報（距離）を有する。なお、距離画像に含まれる各ピクセルはそのピクセルの方向にある物体の３次元座標を有してもよい。このカメラ２のうち距離画像を取得する部分は、例えばＫＩＮＥＣＴ（登録商標）のように、物体に照射された赤外線の反射光に基づいて距離を判断するものである。他に、距離を取得するために、レーザーレンジファインダーや、カメラプロジェクションシステム、ステレオカメラなどが用いられてもよい。

プロジェクタ３は、ライトと、レンズと、画素ごとに出力光の大きさを制御する素子とを含む投影デバイスである。プロジェクタ３は、入出力部１４から入力される画像データが示す画像を、レンズの先にある投影面などに投影する。ここで、プロジェクタ３に対する投影面がプロジェクタ３から遠いほど投影される画像の大きさが大きくなるという特徴がある。また、カメラ２が撮影する画像における位置とプロジェクタ３が投影する画像の位置とのずれを予め補正しておく必要がある。ここではその位置ずれに対するキャリブレーションが予めなされているものとして説明する。

図２は、カメラ２、プロジェクタ３、投影面、物体、投影される画像の配置の一例を示す図である。図２では、投影面は壁であり、物体はボトムス７であり、投影される画像は人体画像８である。この画像処理システムをユーザが利用する際には、ユーザがボトムス７のような物体を投影面の手前にかざす。するとカメラ２は、プロジェクタ３の投影方向にある投影面や物体の距離画像や可視画像を撮影する。ここで、カメラ２は距離画像を取得するための赤外光を照射するユニットを有し、カメラ２の長手方向は撮影方向と直交する方向になっている。カメラ２で撮影された距離画像および可視画像は画像処理装置１に送られ、プロジェクタ３は人体画像８を壁に投影している。また、ユーザはその投影された画像をみながら、コーディネートを判断しやすいようにボトムス７の位置を調整して投影面に投影された人体にあてがっている。この人体画像８は、ボトムス７とのサイズの対比が可能なように実物大あるいは実物大をさらに調整した大きさで投影面に投影される。以下では投影面に投影される人体画像８のような物体を第１の物体、投影面の前にかざされる物体を第２の物体とも記載する。なお、第２の物体はボトムス７には限られず、トップスでもよいし、またカーテンのようなものでもよい。また、第２の物体がカーテンの場合は、投影される画像として窓を含む部屋の写真を用いてよい。

図３は、画像処理装置１が実現する機能を示すブロック図である。画像処理装置１は、機能的に、投影用画像解析部５１と、撮影データ取得部５２と、投影面認識部５３と、物体認識部５４と、投影用画像取得部５５と、投影制御部５６とを含む。これらの機能は、プロセッサ１１が記憶部１２に格納されたプログラムを実行し、入出力部１４等を制御することで実現される。ここで、投影用画像取得部５５、物体認識部５４、投影制御部５６は、それぞれ本願請求項の投影用画像取得手段、物体認識手段、投影制御手段に対応する。

以下では、画像処理装置１が実現する各機能について、処理フローやその他の図面を用いて説明する。

投影用画像解析部５１は、プロセッサ１１、記憶部１２、および通信部１３を中心として実現される。投影用画像解析部５１は、投影面に投影する画像の候補である１または複数の投影用画像３１を取得し、投影用画像３１に含まれる人体などの物体を実物大のサイズに投影するための情報や、複数の投影用画像３１から１つを選択するための情報を解析する。前者の情報は、投影用画像３１が物体の画像として人体画像８を含む場合には身長に相当する投影用画像内のピクセル長などであり、後者の情報は肌の露出の態様などの情報である。複数の投影用画像３１のうち１つが加工され、プロジェクタ３により投影される。

図４は、投影用画像解析部５１の処理フローの一例を示す図である。投影用画像解析部５１は、はじめに、複数の投影用画像３１の画像データを取得する（ステップＳ１０１）。投影用画像３１は、ユーザが持参し画像処理装置１に入力する画像であるが、投影用画像解析部５１はフラッシュメモリのような不揮発性メモリに記憶された画像のデータを入出力部１４を経由して取得してもよいし、通信部１３を介して画像のデータを取得してもよい。

次に、投影用画像解析部５１は、投影用画像３１に含まれる人体の画像の上端、下端の位置と頭の位置とを検出する（ステップＳ１０２）。また、投影用画像解析部５１は、上半身および下半身に対応する領域の肌色の割合を検出する（ステップＳ１０３）。投影用画像解析部５１は、これらの検出された情報を記憶部１２に保存する（ステップＳ１０４）。

図５は、投影用画像３１の一例と解析対象となる箇所の一例とを示す図である。投影用画像３１に含まれる人体の画像から直接的に検出されるのは、人体の頭部領域４３と、その頭部領域４３の上端に対応し、人体上端線４１で表される人体の上端と、人体下端線４２で表される人体の下端である。頭部領域４３は、いわゆる顔検出の手法により検出される。また、投影用画像解析部５１は人体の上端を、顔検出の結果から検出してもよいし、さらに人体の頭の上端に相当するエッジを探して取得してもよい。投影用画像解析部５１は人体の下端も、人体の形状に相当するエッジを探すことで取得してよい。また、ユーザの手作業により入力された上端および下端位置を取得するようにしてもよい。

図５に示す上半身に対応する肌検出領域４４と下半身に対応する肌検出領域４５とは、肌色の割合を得るための領域である。これらの領域の位置や形状等については、頭部領域４３と、人体の下端の位置との情報から求めてよい。頭部領域４３および人体の下端の位置と、肌検出領域４４，４５との関係については予め統計的に解析しておき、その統計の結果を用いて算出すればよい。なお、さらに人体の上端の位置を用いて肌検出領域４４，４５を算出してもよい。

ここで、本実施形態の例では、ユーザは、複数の投影用画像３１として、互いに肌の露出の度合いの異なる写真などを用いることを想定している。図６は、投影用画像３１の他の一例を示す図である。図６に示す画像は図５に示す画像に比べて人体の肌の露出の度合いが少ない。この違いを用いてプロジェクタで投影する画像を選択するが、その詳細については後述する。

図７は、投影用画像３１から検出された情報の一例を示す図である。本図では、４つの投影用画像３１が入力された場合のデータの例である。ここでは、人体の上端および下端、頭部の位置、上半身の露出の度合い、下半身の露出の度合いに相当する情報として、投影用画像３１を識別する情報である画像番号、投影用画像３１における人体の上端および下端のｙ座標、頭の中心位置を示す座標、上半身の肌検出領域４４における肌色の割合、下半身の肌検出領域４５における肌色の割合が検出されている。例えば画像番号１は、上半身および下半身の肌検出領域４４，４５における肌色の割合が他の投影用画像３１に比べて低く、例えば図６のような画像に対応し、画像番号３は、上半身および下半身の肌検出領域４４，４５における肌色の割合が他の投影用画像３１に比べて高く、例えば水着のような格好の画像に対応する。

図８は、撮影データ取得部５２、投影面認識部５３、物体認識部５４、投影用画像取得部５５、投影制御部５６の処理フローの一例を示す図である。

撮影データ取得部５２は、プロセッサ１１、記憶部１２、入出力部１４を中心として実現される。撮影データ取得部５２は、カメラ２が撮影した投影面や投影面の手前にある物体についての距離画像および可視画像のデータを取得する（ステップＳ２０１）。

投影面認識部５３は、プロセッサ１１、記憶部１２を中心として実現される。投影面認識部５３は、撮影データ取得部５２が取得した距離画像に基づいて投影面の配置を認識する（ステップＳ２０２）。投影面の検出の方法としては、例えば距離画像の隅から３つ以上の点を抽出し、それらの３次元的な位置から投影面の位置と傾きを認識すればよい。また、予め距離画像から深度が急に変化するエッジの線を検出し、その線に囲まれた領域を除外して投影面の位置と傾きを認識するための点を抽出してもよい。なお、投影面認識部５３の処理は省略してもよい。代わりに、例えばユーザが予め投影面への距離を手動で測定しておき、その距離を記憶部１２に予め記憶させておけばよい。

物体認識部５４は、プロセッサ１１、記憶部１２を中心として実現される。物体認識部５４は、距離画像から投影面の手前にある物体（第２の物体）を認識する（ステップＳ２０３）。正確には、物体認識部５４はプロジェクタ３が投影面に向けて投影する画像のうち、第２の物体が遮る領域３３を認識する。より具体的には、例えば、物体認識部５４は、距離画像においてカメラ２からの処理が急に変わる箇所であるエッジの線を検出し、そのエッジの線で囲まれた領域を第２の物体が遮る領域３３として認識する。あるいは、物体認識部５４は、距離画像のうち、投影面認識部５３が認識した投影面の手前にあり、投影面からの距離が一定以上である領域を第２の物体が遮る領域３３として認識してもよい。なお、物体認識部５４は、第２の物体が遮る領域３３を検出する際に、予め記憶された補正情報を用いてカメラ２とプロジェクタ３との空間的な位置の違いに伴う領域のずれを補正してもよい。補正情報は、例えば、プロジェクタ３が投影する画像とカメラ２が撮影した画像との間におけるｘｙ方向のずれを示す情報である。すると、物体認識部５４は、第２の物体が遮る領域３３を、カメラ２に対する第２の物体の空間的位置と、カメラ２とプロジェクタ３との空間的位置関係とに基づいて、算出することになる。カメラ２に対する第２の物体の空間的位置を示す補正情報は、カメラ２によって撮影された画像に基づいて算出できる。ここで、物体認識部５４は、プロジェクタ３が投影用画像３１を投影する前であっても後であっても第２の物体が遮る領域３３を認識できることは言うまでもない。第２の物体が遮る領域３３は、仮に投影用画像３１を投影した場合に第２の物体により遮られる投影用画像３１中の領域であってよい。

図９Ａは、投影面の手前にある物体の形状の一例を示す図である。図９Ｂは、距離画像から認識される投影面の手前にある物体を示す領域３３の一例を示す図である。図９Ａのようなボトムス７についての距離画像は、ボトムス７の端に相当する部分の内側から外側にかけてカメラ２からの距離が急に増加し、その距離の差も一定以上ある。また、投影面が平面でありその向きが検出されていれば、距離画像を構成する各ピクセルについて投影面との距離を求めることができ、その距離が閾値を超えるピクセルからなる領域を第２の物体の領域３３として分離してもよい。なお、投影面がカメラ２の向きに対し垂直であれば、物体認識部５４はボトムス７とボトムス７の奥にある投影面とを、距離画像の各画像のピクセルのうちカメラ２からの距離が閾値より小さいものからなる領域を第２の物体の領域３３として分離してもよい。

また、物体認識部５４は可視画像を用いて第２の物体が遮る領域３３を認識してもよい。例えば、投影用画像３１を投影しない状態を周期的につくり、その状態で取得された可視画像から第２の物体のエッジを検出することで、第２の物体が遮る領域３３を認識してもよい。

投影用画像取得部５５は、プロセッサ１１、記憶部１２を中心として実現される。投影用画像取得部５５は、ユーザが入力し、投影用画像解析部５１により解析された複数の投影用画像３１のうちから１つの投影用画像３１を選択する。より具体的には、投影用画像解析部５１は人体のサイズに関する情報を取得し（ステップＳ２０４）、さらに、投影用画像３１に含まれる第１の物体に応じて定まる判定領域を第２の物体が隠すか否かに基づいて投影用画像３１を選択する（ステップＳ２０５）。図１０は、人体の画像と判定領域４６，４７との関係の一例を示す図である。判定領域４６は、人体の手を除く上半身に対応する領域であり、判定領域４７は、人体の下半身の部分のうちお尻の周辺に対応する領域である。

投影用画像取得部５５は、上半身に対応する判定領域４６を第２の物体が隠さない（覆っていない）場合には、上半身に対応する肌検出領域４４における露出の度合い（肌色の割合）が閾値より小さいものを投影用画像３１の候補とする。これにより、不用意に上半身の露出の高い画像が投影されてしまうことを防止できる。一方、上半身に対応する判定領域４６を第２の物体が隠している（覆っている）場合には、上半身に対応する肌検出領域４４における露出の度合い（肌色の割合）が閾値より大きいものを投影用画像３１の候補とする。これにより、上半身にあてがわれた第２の物体（トップス）から投影用画像３１中のトップスがはみ出てしまうことを抑制できる。

さらに、投影用画像取得部５５は、下半身に対応する判定領域４７を第２の物体が隠さない場合には、候補のうち下半身に対応する肌検出領域４５における露出の度合いが閾値より小さいものを投影用画像３１として取得する。これにより、不用意に下半身の露出の高い画像が投影されてしまうことを防止できる。一方、下半身に対応する判定領域４７を第２の物体が隠している場合には、下半身に対応する肌検出領域４５における露出の度合いが閾値より大きいものを投影用画像３１として取得する。これにより、下半身にあてがわれた第２の物体（ボトムス）から投影用画像３１中のボトムスがはみ出てしまうことを抑制できる。

これらにより、人体画像８を投影する場合に、露出度の低い画像でボトムス７等の大まかな位置あわせを行い、コーディネートの確認はトップスやボトムスのはみ出しの心配の少ない露出度の高い画像で行うことが可能となる。

なお、投影用画像３１の選択は、必ずしも肌色の割合を用いなくてもよい。事前にユーザが上半身の露出が多いか否かと下半身の露出が多いか否かを各画像について指定しておき、その情報に基づいて選択してもよい。

ここで、ステップＳ２０４で取得するサイズの情報は、例えばユーザから入力された身長などである。またサイズの情報として、子どもの年齢の情報も取得してよい。例えば、子どもの年齢と身長と既知の成長曲線とから半年後の身長を予測し、その身長を以下の処理で用いてもよい。こうすれば、衣服を探す際に、子どもの身長の伸びを考慮したコーディネートの確認が容易にできる。投影用画像取得部５５は、判定領域４６，４７の位置や大きさを、このサイズの情報と、いずれかの投影用画像３１から取得される頭部領域４３の位置や人体の下端の位置と、投影面とから求める。予め頭部領域４３の位置や人体の下端の位置と判定領域４６，４７の位置との関係について統計的に解析し、その結果と投影面の位置に基づいて判定領域４６，４７の位置や大きさを計算すればよい。

なお、投影用画像３１の選択は手動で行ってもよい。例えばディスプレイに複数の投影用画像３１を表示しておき、ユーザがその中からプロジェクタ３が投影する投影用画像３１を選択できるようにしてもよい。

投影制御部５６は、プロセッサ１１、記憶部１２および入出力部１４を中心として実現される。投影制御部５６は、投影用画像３１をプロジェクタ３が投影するように制御する。特に、投影制御部５６は、その投影用画像３１において、投影面に投影される第１の物体の画像の大きさが実物大になり、かつ前記第２の物体上に投影される領域が隠されるようにプロジェクタ３を制御する。

はじめに、投影制御部５６は、投影用画像３１のサイズを調整する（ステップＳ２０６）。より具体的には、ステップＳ２０４において取得された第２の物体のサイズに関する情報を用い、投影用画像３１に含まれる人体画像８などの第１の物体が投影面に実物大やそれに類するサイズで表示されるように、投影用画像３１のサイズを拡大縮小する。このサイズは、投影制御部５６は、前述のように、投影する第１の物体のサイズを、子どもの年齢等を考慮して、実物のサイズから変化させてもよい。拡大縮小の比率は、第１の物体を投影するサイズと、その投影用画面におけるサイズと、投影面（投影面への距離など）の情報を用いて計算する。例えば、投影面がプロジェクタ３の投影方向に垂直な場合は、投影面の距離における身長に相当する線の長さがプロジェクタ３のいくつのピクセルに相当するかを確認し、そのピクセル数と、人体上端線４１と人体下端線４２との間のピクセル数との比率を拡大縮小の比率とすればよい。

次に、投影制御部５６は、投影用画像３１の位置を調整する（ステップＳ２０７）。これは、投影用画像３１によって人などの第１の物体の位置が異なっていても同じ位置に投影用画像３１を投影するための処理である。より具体的には、投影面に投影される頭部の位置が、どの投影用画像３１が選択されても重なるように投影用画像３１の位置を調整する。ここで、投影制御部５６は、サイズや位置の調整を、投影用画像３１の画像データをソフトウェアで変換することで実現してもよいし、グラフィックボードに搭載される画像処理回路などのハードウェアを用いて実現してもよい。

また、投影制御部５６は、ユーザの動作に基づいて、表示モードを決定する（ステップＳ２０８）。より具体的には、投影制御部５６は、ユーザが、例えば、一定の間だけ第１の物体の位置を固定する動作や、第１の物体を少し振る操作などの予め定められた動作をした場合に、通常の第１のモードから、衣服等の補正量を確認するための第２のモードに切替える。第１のモードおよび第２のモードの動作については以下で説明する。

次に投影制御部５６は、投影用画像３１のうち第２の物体上に投影される領域３３が隠された画像を生成する（ステップＳ２０９）。この処理は表示モードにより若干異なる。第１のモードでは、投影用画像３１のうち、物体認識部５４が認識した図９Ｂのような第２の物体に相当する領域３３の色を、所定の色で置き換えた画像を生成することで、第２の物体上に投影される領域３３が隠された画像を生成する。第２のモードでは、第２の物体上の領域３３のうち、ユーザが指示したタイミングにおいて第２の物体が認識されていない領域に投影用画像３１を投影し、かつその他の第２の物体上には投影用画像３１の部分を投影しない画像を生成する。ここで、領域を隠す処理は、より具体的には、例えばその領域を白色で塗りつぶすことで実現している。塗りつぶす色はその部分の色が投影される第２の物体の色に問題が生じなければどのような色でもよいが、白色や灰色が望ましい。

次に投影制御部５６は、付加的な画像を付加する（ステップＳ２１０）。付加的な画像とは、例えばボトムス７の長さを測ることを可能にする目盛りのような画像である。より具体的には、投影制御部５６は、認識された第２の物体の領域３３の上端から下端まで延びる目盛りの画像を加工されたステップＳ２０９で加工された画像に付加する。この目盛りの０の位置は、例えばその上端（ボトムス７の場合）や下端である。なお、この処理は第１のモードで行い、第２のモードでは行わなくてもよいし、この処理を省略してもよい。

図１１は、プロジェクタ３に投影される画像であって第１のモードにおいて画像処理がされた画像の一例を示す図である。本図の破線で囲まれた部分は、ステップＳ２０９の処理で隠された部分であり、さらに付加的な画像として、上下方向の目盛りの画像が付加されている。この目盛りの画像は、ボトムス７について目盛りを付加する場合には、ボトムス７の上端部分が０になるように目盛りの画像の位置が調整されている。

次に、投影制御部５６は、プロジェクタ３に加工された画像を投影させる（ステップＳ２１１）。図１２は、第１の表示モードにおける投影された画像と第２の物体の一例を示す図である。画像処理装置１の処理により、投影用画像３１に表示される人体などに実物である第２の物体を添えるように当てた状態をユーザが実感することができる。このようにすれば、商品などの実物がある箇所に連れてくることが難しい人や物と、実物とを組み合わせた場合の印象やサイズを確認することが可能になる。また、商品を探す際に最も重要である商品の質感も確認することができる。また、第２の物体上に目盛りのような画像を投影することで、オーダーメードや丈の補正をする際に、その量を把握することが容易になる。

図１３は、第２の表示モードにおける投影された画像と第２の物体の一例を示す図である。衣服を探す際に、スカートなどのボトムス７の丈を補正する量を確認する際に、ボトムス７の下端を適切な位置にして、上端の移動量でその補正量を確認することが考えられる。こうすると、ボトムス７の裾をまくり上げるより容易に補正の量を認識することが可能である。例えば、ユーザがボトムス７の位置を上方に動かした場合に、元の位置から上方に動いた部分については人体を投影させることで、その補正の量をさらに容易に認識することが可能となる。本図では、目盛りが表示されていないが、投影制御部５６は図１１に示すような目盛りを表示するよう制御してもよい。この場合、投影制御部５６は、ユーザが指示したタイミングにおけるボトムス７に遮られる移動前領域３４の上端から、移動後（現時点）のボトムス７（に相当する領域３３）の下端まで目盛りがのびるように制御してよい。また、移動量がわかるように、投影制御部５６はユーザが指示したタイミングにおけるボトムス７の下端や移動後のボトムス７の上端を起点とした目盛りを表示するよう制御してもよい。

１ 画像処理装置、２ カメラ、３ プロジェクタ、７ ボトムス、８ 人体画像、１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 入出力部、３１ 投影用画像、３３ 第２の物体が遮る領域、３４ 移動前領域、４１ 人体上端線、４２ 人体下端線、４３ 頭部領域、４４，４５ 肌検出領域、４６，４７ 判定領域、５１ 投影用画像解析部、５２ 撮影データ取得部、５３ 投影面認識部、５４ 物体認識部、５５ 投影用画像取得部、５６ 投影制御部。

Claims (11)

1. 投影面に投影される人体の画像を含む投影用画像を取得する投影用画像取得手段と、
   投影手段が前記投影面に投影する画像のうち前記投影面の手前にある衣服が遮る領域を認識する物体認識手段と、
   前記投影面に投影される人体の画像の大きさが実物大になり、かつ前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御する投影制御手段と、
   を含むことを特徴とする画像処理装置。
2. 前記物体認識手段は、ピクセルごとの撮影手段からの距離を示す距離画像に基づいて、前記衣服が遮る領域を認識する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記物体認識手段は、周期的に前記衣服が遮る領域を認識し、
   前記投影制御手段は、前記物体認識手段が前記衣服が遮る領域を認識するごとに、前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記投影用画像取得手段は人体を含む複数の投影用画像から１つの投影用画像を取得し、
   前記投影制御手段は、前記取得された投影用画像に含まれる前記人体の画像の位置に基づいて、前記投影用画像の位置を調整する、
   ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記投影用画像取得手段は、前記物体認識手段が認識した領域に基づいて前記複数の投影用画像から１つの投影用画像を取得する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記投影制御手段は、ユーザから投影される前記人体の変更サイズを示す情報を取得し、前記変更サイズを示す情報に基づいて、当該投影用画像のサイズを実物大から変化させる、
   ことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記投影制御手段は、前記投影用画像のサイズが実物大から変化する場合に、前記認識された領域の位置に基づいて、前記投影用画像の位置を調整する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記投影制御手段は、前記認識された領域に所定の画像をさらに投影するよう制御する、
   ことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記投影制御手段は、第１のモードでは、前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御し、第２のモードでは、前記認識された領域のうち、その前のユーザが指示したタイミングにおいて衣服が遮らないと認識された領域に前記取得された投影用画像を投影するよう制御する、
   ことを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 投影面に投影される人体の画像を含む投影用画像を取得するステップと、
    投影手段が投影する前記投影用画像を前記投影面の手前にある衣服が遮る領域を認識するステップと、
    前記投影面に投影される人体の画像の大きさが実物大になり、かつ前記認識された領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御するステップと、
    を含むことを特徴とする画像処理方法。
11. 投影面に投影される人体の画像を含む投影用画像を取得する投影用画像取得手段、
    投影手段が投影する前記投影用画像を前記投影面の手前にある衣服が遮る領域を認識する物体認識手段、および、
    前記投影面に投影される人体の画像の大きさが実物大になり、かつ前記物体認識手段が認識した領域の色が所定の色で置き換えられた前記投影用画像を前記投影手段が投影するように制御する投影制御手段、
    としてコンピュータを機能させるためのプログラム。

Images