JP6169742B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、撮影画像に予め用意されたバーチャル画像を合成する拡張現実（Augmented Reality，以下「ＡＲ」という。）に係り、特に、合成位置を正確に算出し、自然な合成画像を生成することのできる画像処理方法および画像処理装置に関する。

従来、撮影画像に予め用意された仮想オブジェクト（例えばバーチャル画像）を合成する拡張現実に関する技術が提案されている。この拡張現実においては、現実感を向上させるために、仮想オブジェクトをいかに撮影画像中に溶け込ませるかが問題となっている。このためには、仮想オブジェクトをそのまま撮影画像に合成するのではなく、仮想オブジェクトに補正処理を施して、撮影画像と合成する必要がある。

仮想オブジェクトの補正処理については、たとえば特許文献１では、カメラ画像に対して切り取り範囲を設定し、切り取り範囲のカメラ画像を仮想オブジェクトのテクスチャに設定することによって、切り取り範囲に応じた仮想オブジェクトを生成する画像処理装置等が記載されている。

また、拡張現実では、いかに正しい位置に仮想オブジェクトを合成するかが問題となる。このためには、撮影画像（被合成画像）中に存在する基準位置となる画像を的確に検出することが必要である。基準位置を取得する技術については、たとえば特許文献２では、ビデオ映像から様々な姿勢の衣服画像を切り出してデータベース化し、入力された人物動画像にデータベースの衣服画像を合成して、様々な服装の人物動画像を生成するシステムが提案されている。

しかしながら、特許文献１の技術は、現実感を持たせるにはまだ不十分であり、合成対象となる仮想オブジェクトごとにさらに有効な補正処理が望まれている。また、特許文献２の技術は、撮影画像中に複数の基準位置となり得る画像が存在する場合は、どの人物の衣服が対象となるかが問題となる。人間系で指定することも考えられるが、効率良く指定する手法が望まれる。

特開２０１２−１８６６３号公報 特開２００４−２４６７２９号公報

本発明は、上述のかかる事情に鑑みてなされたものであり、コンピュータの負荷を軽減しつつ、より現実感を出すように仮想オブジェクトを編集処理することのできる画像処理方法および画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明の画像処理装置は、撮影画像に仮想オブジェクトを合成する画像処理装置であって、仮想オブジェクトを保存する仮想オブジェクト保存手段と、撮影手段によって撮影された撮影画像を入力する撮影画像入力手段と、前記撮影画像から顔領域を検出する顔検出手段と、仮想オブジェクトの合成位置を決定する合成位置演算手段と、前記顔検出手段によって検出した顔領域の画像をもとに、前記仮想オブジェクトを編集するための編集データを生成し、該編集データを用いて前記仮想オブジェクトを編集する仮想オブジェクト編集手段と、編集した仮想オブジェクトを、前記合成位置演算手段で決定した撮影画像上の合成位置に合成する画像合成手段と、を備えたことを特徴とする。

特に、本発明に係る画像処理装置の合成位置演算手段は、位置決め決定前は、撮影画像と仮想オブジェクトの夫々に関連付けられた共通部位のサイズデータに基づいて、位置決め表示用の仮想オブジェクトを拡大または縮小すると共に、拡大または縮小された当該位置決め表示用の仮想オブジェクトを前記仮想オブジェクト編集手段によって編集された仮想オブジェクトと識別可能に前記撮影画像に合成して画面に表示し、位置決め決定後は、前記位置決め表示用仮想オブジェクトの表示位置に前記仮想オブジェクト編集手段によって編集された仮想オブジェクトを表示させることを特徴とする。

本発明では、編集前の仮想オブジェクト画像がサイズ調整された状態で撮影画像中に仮表示されるので、ユーザは位置決めをしやすく利便性が向上する。

また、本発明に係る画像処理装置は、顔領域を複数の小領域に分割し、かつ当該小領域ごとに光の照射方向を表す照明方向ベクトルを関連付けて保存する照明方向テーブルを備え、 前記仮想オブジェクト編集手段は、撮影画像の顔領域の輝度分布をもとに、前記照明方向テーブルから照明方向ベクトルを抽出し、前記当該照明方向ベクトルと仮想オブジェクトに関連付けて予め保存されている法線ベクトルとを用いて該オブジェクトの輝度値を修正することを特徴とする。これにより、ＣＰＵに負担を掛けず仮想オブジェクトの照明方向を撮影画像の照明方向に合せることができる。
また、撮影画像の顔領域をもとに生成した照明方向ベクトルを衣服などの他の領域のオブジェクトの法線ベクトルに掛け合わせた値を用いて、当該他の領域の輝度値を修正することにより、ＣＰＵに負荷を掛けずに現実感の高い合成画像を生成することができる。

なお、一般に、位置データを収集する場合、ＧＰＳ、基地局からの距離の測定、ルーターからの位置の測定などを併用して決定された位置でも、数メートル〜数十メートルの誤差が生じる。

ＡＲアプリケーションなどで、正確な位置が必要な場合、位置の測定に誤差があると、現実のイメージとバーチャルイメージの重ね合わせが正しく行われなくなり、不自然な合成画像になる。

例えば、ある店舗のスクリーン上の情報にその店舗の説明になる文字情報を重畳させようとしても、数メートル以上の位置情報のデータのずれがある場合、その店の隣の店に文字情報が重なってしまう可能性がある。

一方、無線ルーターや、複数台のカメラなどの装置を使用することによって、位置を補正する方法も考えられるが、屋外や、多数の場所に設定する場合はコストやメンテナンスの点で問題になる。

このため、本発明では、誤差の大きなＧＰＳデータをもとに、その近傍のマーカー位置を探索し、最も近いマーカー位置の座標によってＧＰＳデータを修正する。

具体的には、本発明に係る画像処理方法は、上記の画像処理装置を用いて、撮影手段の位置を算出する画像処理方法であって、目印となる場所ごとに位置情報を保存するステップと、前記撮影手段の位置をＧＰＳまたは基地局その他のネットワークによって取得すると共に、磁気センサーのデータを取得するステップと、前記撮影手段によって前記目印となる場所に位置する人物を被写体として撮影して撮影画像を取得するステップと、前記被写体と前記撮影手段との距離を一定にしたまま、前記被写体を中心に前記磁気センサーのデータの示す方向と一致するように前記撮影手段の位置を補正するステップと、さらに、前記撮影画像中の前記被写体の顔領域の幅と、理論上の顔領域の幅との比から前記被写体の位置を固定にして前記被写体と前記撮影手段との距離を補正して、前記撮影手段の位置を算出するステップと、を含むことを特徴とする。

本発明では、磁気センサーのデータと撮影画像中の顔領域のデータを使って、ＧＰＳやネットワークによる荒い位置情報から精度の高い位置情報および方向を求めることができる。これにより、屋外の風景画像中でも、適切な位置に説明書きなどの仮想オブジェクトを合成することができる。

また、本発明に係る画像処理方法は、上記の画像処理装置と携帯端末とを通信ネットワーク介して接続し、前記携帯端末の位置を算出する画像処理方法であって、目印となるオブジェクトの画像データと該オブジェクトの位置情報とを関連付けて保存するステップと、前記撮影手段によって、所定のエリアを時々刻々撮影し、各撮影画像中の一または二以上の人物を認識して、矩形データとして収集するステップと、前記オブジェクトとの位置関係から、前記矩形データの位置情報を算出し、該位置情報と該矩形データとを関連付けて保存するステップと、前記矩形データの動きから二次元加速度データを算出するステップと、携帯端末から三次元加速度データを受信するステップと、前記三次元加速度データのうち、任意の二次元加速度データのデータストリームと前記二次元加速度データのデータストリームとを比較し、該データストリームの差が最も小さくなる矩形データを特定すると共に該矩形データの位置情報を該三次元加速度データを送信してきた携帯端末へ送信するステップと、を含むことを特徴とする。

本発明では、あるエリアを俯瞰するカメラの撮影画像と、そのエリア内にいる人物が所持する携帯端末から送られてくる加速度データとを用いて、その携帯端末の位置情報を精度良く算出することができる。

以上説明したように、本発明の画像処理装置においては、 撮影画像の陰影情報をもとに、仮想オブジェクトの種別ごとに陰影処理を施した後に画像を合成するので、コンピュータの負荷を軽減すると共に、現実感を向上させることができる。また、顔のサイズによって、仮想オブジェクトを伸縮させて合成するので、自然な位置に合成することができる。

本発明の第１の実施の形態による画像処理装置の機能ブロック図である。 図１の仮想オブジェクト保存手段４１のデータ構成図である。 本発明の第１の実施の形態の仮想オブジェクト説明図であり、図３（ａ）は人物の画像データ、図３（ｂ）はそのポリゴンデータの説明図である。 本発明の第１の実施の形態の仮想オブジェクト説明図であり、図４（ａ）は衣服の画像データ、図４（ｂ）はそのポリゴンのデータの説明図である。 図１の撮影画像保存手段４２のデータ構成図である。 図１の合成位置演算手段１５の前処理ルーチンの処理手順を示すフローチャートである。 図６の前処理の内容の説明図である。 図１の合成位置演算手段１５の合成位置決定ルーチンの処理手順を示すフローチャートである。 図１の仮想オブジェクト編集手段１７による顔領域の陰影情報を取得する処理の手順を示すフローチャートである。 図９の処理における、顔領域の分割のしかたの説明図である。 図１１（ａ）は図１の編集用データ保存手段に保存される照明方向テーブルのデータ構成図であり、図１１（ｂ）照明方向ベクトルの説明図である。 図１の仮想オブジェクト編集手段１７による編集処理の手順を示すフローチャートである。 本発明の第１の実施の形態による画像処理において生成される合成画像であり、仮想オブジェクトとして人物画像を合成したときの図である。 本発明の第１の実施の形態による画像処理において生成される合成画像であり、仮想オブジェクトとして衣服画像を合成したときの図である。 本発明の第２の実施の形態による画像処理装置の機能ブロック図である。 図１５の位置情報補正手段２１の処理手順の説明図である。 仮想オブジェクトの合成において、取得する位置情報に誤差が存在した場合の説明図であり、図１７（ａ）は本来のカメラ位置Ｐ１ｂから撮ったときの撮像画像、図１７（ｂ）は、誤差を有するＧＰＳ位置Ｐ１から撮ったとした場合の撮影画像を表している。 誤差を有するＧＰＳ位置に基づいて、仮想オブジェクト（風景の説明）を合成したときの合成画像の説明図であり、図１８（ａ）は、仮想オブジェクトの合成位置にずれが生じたときの合成画像、図１８（ｂ）は、誤差のある位置情報を正しいと認識して仮想オブジェクトを貼り付けたときの合成位置の説明図である。

以下に本発明の実施の形態による画像処理装置および画像処理方法について、図面を参照しながら説明する。尚、以下に示す実施例は本発明の画像処理装置および画像処理方法における好適な具体例であり、技術的に好ましい種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下に示す実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［第１の実施の形態］
図１において、本実施の形態による画像処理装置１は、通信ネットワーク３を介して他の装置との間でデータの送受信を実行する通信部３０、カメラ等の撮影機能を有し撮影画像を取得する撮影手段５０、画像を表示させるディスプレイなどの表示部６０、キーボードあるいは表示部６０と一体となって構成されるタッチパネルなどの入力部５５、撮影画像や仮想オブジェクトの画像データなどを記憶する記憶部４０、種々の画像データを用いて演算処理を実行し合成画像（ＡＲ画像）を生成する演算処理部１０を備えている。画像処理装置１は、カメラ機能付きの携帯端末や汎用のコンピュータ装置で実現することができる。

また、演算処理部１０には、通信部３０との間でデータの受け渡し処理を行う通信処理手段１１、入力部５５からの入力を受け付けて記憶部４０に保存する入力処理手段１６、サーバ装置８のＷＥＢサイト等の外部から仮想オブジェクトを入力して記憶部４０に保存する仮想オブジェクト入力手段１２、撮影手段５０から入力した撮影画像を記憶部４０へ保存する撮影画像入力手段１３、撮影画像中の顔領域を検出する顔検出手段１４、仮想オブジェクトの合成位置を決定する合成位置演算手段１５、検出した顔領域をもとに仮想オブジェクトを編集処理するための編集データを生成し、生成した編集データを用いて仮想オブジェクトを編集する仮想オブジェクト編集手段１７、編集した仮想オブジェクトを撮影画像へ合成して合成画像を生成する画像合成処理手段１８、および合成画像を表示部６０へ出力する合成画像出力手段１９を有している。演算処理部１０が有する各手段は、ＣＰＵの機能としてプログラムによって実現することができる。

次に、上記の構成を有する画像処理装置１の動作を説明する。
（仮想オブジェクト入力処理）
仮想オブジェクト入力手段１２は、通信ネットワーク３を介して接続するサーバ装置８の仮想オブジェクト保存手段８１から仮想オブジェクトをダウンロードする。仮想オブジェクトは、たとえば、人物画像や衣服画像等である。サーバ装置８は、ＷＥＢサイト上にこのような仮想オブジェクトを掲載しており、ユーザは、画像処理装置１を通して仮想オブジェクトを確認し、所望の仮想オブジェクトをダウンロードする。

なお、仮想オブジェクトの入手の仕方としては、以下の方法がある。
（１）あるサイトのホームページ上に掲示されたオブジェクト画像を選択してダウンロードする。
（２）雑誌等に掲載された特定のコード情報（バーコードなど）を読み込み、そのコード情報に埋め込まれた仮想オブジェクトに対応するＵＲＬからダウンロードする。
（３）雑誌等に掲載された特定の画像を、カメラ（撮影手段５０）で撮影して、直接画像を取り込む。
（４）電子メール等、他の方法で取得する。

仮想オブジェクト入力手段１２は、図１の構成に限らず上記（１）〜（４）のいずれかの方法等で取得した仮想オブジェクト画像を記憶部４０の仮想オブジェクト保存手段４１に格納する。

ところで、仮想オブジェクトは、人物や衣服以外の画像（たとえば建物や植物等）でも良いが、以下、人物画像の場合と衣服画像の場合を例に説明する。また、仮想オブジェクトの画像撮影時は、できるだけ光の偏りが無いように正面を中心に複数の方向からできるだけ均等に光を当てて撮影するのが好ましい。

図２は、仮想オブジェクト保存手段４１のデータ構成例である。仮想オブジェクトのＩＤに関連付けて、画像データ、ポリゴンデータ、ポリゴンの頂点ごとの法線ベクトル（即ちポリゴンの頂点座標を三角形に結ぶ結合順によって決定されるメッシュデータ）、仮想オブジェクトのサイズデータが保存されている。仮想オブジェクトのサイズデータとは、たとえば、仮想オブジェクトが人物の場合はその人物の想定される顔の幅や身長であり、衣服の場合は丈や胴囲等の任意の箇所の長さである。なお、衣服の場合は、Ｓサイズ、Ｍサイズ、Ｌサイズ等サイズ区分であっても良い。

本実施の形態では、仮想オブジェクトの例として、図３（ａ）に示す人物の画像データと図３（ｂ）に示すポリゴンのデータ、および、図４（ａ）に示す衣服の画像データと図４（ｂ）に示す衣服のポリゴンのデータが仮想オブジェクト保存手段４１に保存されているとして説明する。

（撮影画像入力処理）
撮影手段５０によって人物を撮影する。撮影した画像は、撮影画像入力手段１３によって、記憶部４０の撮影画像保存手段４２に格納される。また、ユーザは、入力部５５から被写体となった人物の身長や顔の幅などのサイズデータを入力する。入力されたサイズデータは、入力処理手段１６を介して、撮影画像に関連付けられて撮影画像保存手段４２に保存される。図５は撮影画像保存手段４２のデータ構成例である。撮影画像データごとに識別番号（ＩＤ）が付され、ユーザが入力したサイズデータなどが保存されている。

（顔検出処理）
顔検出手段１４は、撮影画像から顔検出を行う。顔検出は、肌色判定やパターンマッチング手法などがあるが、既存の技術が用いられる。（たとえば、特許第３８０６０９６号参照）。顔検出処理の結果得られた顔領域の位置および範囲は、撮影画像保存手段４２の撮影画像に関連付けて保存される。なお、顔領域は通常矩形として、その位置および範囲は、対角関係にある二つの頂点座標、あるいは一の頂点座標（基準点）と縦横のスケール値（長さ）で表される。本実施の形態では、縦横のスケール値のうち横のスケール値（幅データ）が重要であるので、特に断らない限り、顔領域を基準点と幅データ（矩形サイズ）で表すものとする。

（合成位置演算処理）
合成位置演算手段１５は、顔検出手段１４で算出された撮影画像中の顔領域の位置データを基準位置として、予め定められたアルゴリズムに従って合成位置を決定する。
以下、合成位置の決定方法の例として、位置合せのために仮表示された仮想オブジェクトをタッチパネル上でドラッグすることによって、所望の位置に移動させるときの処理手順について図面を参照しながら説明する。

合成位置演算手段１５は、顔検出手段１４の顔領域の検出完了によって起動されると、まず前処理を実行する。図６は前処理ルーチンの処理手順を示すフローチャートである。この前処理ルーチンは、仮想オブジェクトへの撮影画像への最初の挿入位置を決定し、また、合成する仮想オブジェクトのサイズを調整する処理を含んでいる。

図６において、前処理ルーチンは、まず撮影画像の左端（ｘ＝０）を原点とし、この原点を初期値として基準点変数Ｘに書き込む（Ｓ１０１）。

この前処理においては、顔領域の基準点のｘ座標値のみが用いられる。すなわち、図７（ａ）において、たとえば顔領域が二つ存在したときに、各領域の左端のｘ座標値であるｘ１とｘ２が本ルーチンにおける基準点として用いられる。

合成位置演算手段１５の前処理ルーチンは、顔領域中、基準点変数Ｘの値よりも大きい基準点が存在するか否かを判定し（Ｓ１０２）、存在する場合は、基準点変数Ｘの値よりも大きい基準点のうち、最小の基準点を抽出する（Ｓ１０３）。図７の例では、ｘ座標値ｘ１が抽出されることになる。そして、基準点変数Ｘの値と、ステップＳ１０３で抽出した基準点との間を仮想オブジェクト挿入位置の候補区間とし、当該候補区間と区間長をバッファに保存する（Ｓ１０４）。図７（ｂ）は、バッファ内のデータ例である。

次に、前処理ルーチンは、抽出した基準点（ｘ座標値）と当該基準点の矩形サイズの和を基準点変数Ｘに書き込んで（Ｓ１０５）、ステップＳ１０２へ戻り以降の処理を繰り返す。

ステップＳ１０２の判定の結果、顔領域中、基準点変数Ｘの値よりも大きい基準点が存在しない場合は（Ｓ１０２で「ＮＯ」）、前処理ルーチンは、基準点変数Ｘの値と当該基準点の矩形サイズの和と、撮影画像右端のｘ座標値（ｘｅ）との間を候補区間とし、当該候補区間と区間長をバッファに保存する（Ｓ１０６）。

図７（ａ）の例では、ステップＳ１０１〜ステップＳ１０６の処理により、最終的には、バッファ内には図７（ｂ）に示すデータが格納されることになる。

次に、前処理ルーチンは、バッファ内で差が最大となる区間を抽出し、当該区間の中間値を算出する（Ｓ１０７）。図７（ｂ）の例で、仮にｘ座標軸上（ｘ１＋ｄ１，ｘ２）の区間が最大となる場合は、（ｘ１＋ｄ１＋ｘ２）／２が中間値として算出される。

次に、仮想オブジェクトのサイズ調整処理として、合成位置演算手段１５の前処理ルーチンは、撮影画像保存手段４２から撮影画像の顔領域の幅（ａ）を抽出すると共に（Ｓ１０８）、当該撮影画像に関連付けられたサイズデータとして顔の幅データ（ｂ）を抽出する（Ｓ１０９）。なお、顔領域が複数存在する場合は、顔検出手段１４が、予め撮影画像を端末画面上に表示し、どの顔領域を基準にするかを指定させるようにする。

次に、合成位置演算手段１５の前処理ルーチンは、仮想オブジェクト保存手段４１から合成すべき仮想オブジェクトの顔領域の幅（ｃ）を抽出すると共に（Ｓ１１０）、合成すべき仮想オブジェクトに関連付けられたサイズデータとして顔の幅データ（ｄ）を抽出し（Ｓ１１１）、保存されている仮想オブジェクトの画像をａｄ／ｂｃ倍に拡大または縮小する（Ｓ１１２）。また、合成位置演算手段１５は、この拡大縮小率ａｄ／ｂｃを編集用データ保存手段４３に保存する。ここで、顔領域の幅とは画像中のサイズであり、顔の幅データとは人の実際の顔のサイズをいう。

そして、上記ステップＳ１１２で拡大／縮小処理した画像を撮影画像中のステップＳ１０７で算出した位置に薄く表示する（Ｓ１１３）。薄く表示する方法としては、たとえば仮想オブジェクトのブレンディングレートを５０％程度にすることによって容易に実現することができる。これにより、ユーザは編集処理された最終的な仮想オブジェクトと位置決めのために仮表示されている仮想オブジェクトを区別することができる。

ステップＳ１１３の処理により、Ｘ軸方向（撮影画像の横方向）について、最もスペースのある領域に仮想オブジェクトが適切なサイズで表示されることになる。なお、Ｙ方向については、画像中央か基準となる顔位置に合せるかを予め決めておき、その予め決められた位置（高さ）に表示する。

次に、図８に基づいて、合成位置演算手段１５の合成位置決定ルーチンについて説明する。前処理ルーチンの終了により、合成位置決定ルーチンが起動されると、タッチパネル上に薄く表示された仮想オブジェクトの位置がタッチされたか否かを判定する。そして仮想オブジェクト位置がタッチされ（Ｓ２０１で「ＹＥＳ」）、ドラッグ操作があった場合は（Ｓ２０２）、その方向へ仮想オブジェクトを移動させる（Ｓ２０３）。このとき、合成位置演算手段１５は、編集用データ保存手段４３に仮想オブジェクトの合成位置を保存し、ドラッグに合せて書き換えるようにする。

一方、一定時間タッチ検出がない場合は（Ｓ２０１，Ｓ２０４）、後述する仮想オブジェクトの編集処理が終了しているか否かを判定し（Ｓ２０５）、終了していなければ、終了するまで、薄く表示されている仮想オブジェクトを点滅させる（Ｓ２０６）。

一方、仮想オブジェクトの編集処理が終了している場合は（Ｓ２０５で「ＹＥＳ」）、後述する画像合成処理手段１８を起動する（Ｓ２０７）。

（編集データ生成処理）
仮想オブジェクト編集手段１７は、検出した撮影画像中の顔領域をもとに編集データを生成する。以下、図９を用いて仮想オブジェクト編集手段１７による、撮影画像から顔領域の陰影情報を取得する処理について説明する。

まず、撮影画像保存手段４２に保存されている顔領域の位置と矩形サイズを抽出する（Ｓ３０１）。この顔領域の位置と矩形サイズは、顔検出手段１４の処理により、撮影画像中の顔を囲む矩形データである。次に、この矩形の中の顔の画像のデータの照度分布を取得する。その際、その矩形を９つの小領域（左上、上、右上、左中、真ん中、右中、左下、下中、右下）に分ける。たとえば、図１０（ａ）の撮影画像に対して、図１０（ｂ）の太実線の枠のように顔領域を分割するのである。そして、その領域の明るさ（輝度値）の平均値で、照明の分布を決定する

具体的には、撮影画像の顔領域の輝度画像を生成する（Ｓ３０２）。そして、図１１（ｂ）に示すように顔領域を９つの区域に分割して、顔画像の重心位置を抽出する（Ｓ３０３）。

ちなみに顔画像の重心位置は、次の＜ステップＳ１＞〜＜ステップＳ３＞の手順で簡便に抽出することができる。
＜ステップＳ１＞図１１（ｂ）の各区域（小領域）内において、肌色成分（Ｒ＜赤色＞成分で判断する）のみのピクセルの平均を求め、各区域の明るさの代表値（0〜255）とする。
＜ステップＳ２＞顔は左右対称と考えられるので、ULとUR、MLとMR、DLとDRの各区間の明るさの代表値をそれぞれ比較し、照明が当てられている方向（左からか、中央からか、右からか）を判定する。
＜ステップＳ３＞ 次に、以下の演算式により、高さごとの明るさの平均値（u, m, d）を求める。
上段 (UL + UM + UR) / 3 = u
中段 (ML + MM + MR) / 3 = m
下段 (DL + DM + DR) / 3 = d
次に、u, m, dのうち、どの値が最大値かを求め、これにより照明が上、中央、下の何れから当てられているかを判定する。
そして、上記の＜ステップＳ２＞と＜ステップＳ３＞から上記の９つの区域に照明が最も当たっているかを決定し、照明が最も当たっている区域を顔画像の重心位置として抽出する。

次に、抽出した重心位置の区域に応じて光線の方向を決定する（Ｓ３０４）。光線の方向の決定のしかたは、たとえば、図１１（ａ）に示すように、顔領域の９つに分割された区域ごとに、光線の進入角度をベクトル（以下、「照明方向ベクトル」という）として持たせておき、この照明方向テーブルを参照して、該当する領域に対応するベクトルを抽出するようにすれば良い。この照明方向テーブルは、予め記憶部４０の編集用データ保存手段４３に保存しておく。

なお、上記の処理において、小領域（区域）への区分けは９つに限らず、より細かく区分けをすることができるが、リアルタイムに合成するときの計算速度やアルゴリズムの単純性を担保するため、最小限の区分けで説明した。ＣＰＵの処理性能や要求される合成画像の品質等によって、さらに詳細に分割すれば良い。

（仮想オブジェクト編集処理）
仮想オブジェクト編集手段１７は、次に、照明方向ベクトルを用いて仮想オブジェクトの編集処理を行う。以下、編集処理の手順について図１２に基づいて詳述する。

まず、仮想オブジェクトとして予め撮影される画像は、正面からみて可能な限り均一の照明で撮影された画像を用いる。

この画像データの他に、その画像の人物や物体に応じた法線データを準備して、仮想オブジェクトの画像に関連付けて仮想オブジェクト保存手段４１に予め保存する。法線データは物体の方面の三次元座標データを偏微分したデータである。換言すれば、物体のその点に接する面に垂直な外向きのベクトルであり、その平面の向いている方向のベクトルである。この法線は物体の各点に対して存在しているが、すべての点に関して法線データを持つとデータ量が大きくなりすぎるので、図３（ｂ）に示すような単純化された人体のメッシュモデルデータをその人体にあてはめ、メッシュの頂点だけ（しかも前面だけ）のデータを仮想オブジェクト保存手段４１に保存しておく。この法線ベクトルについては、特開２００１−８４３６２号公報などの従来技術を利用することができる。

編集データ生成処理で得られた照明方向ベクトル（図１１(ａ)に示すベクトル）と上記の仮想オブジェクトの法線ベクトルデータとの内積（以下、「乗算値」という。）は、物体表面の明るさのデータになるので、この明るさのデータを仮想オブジェクトに画像データに反映する（Ｓ４０１）。たとえば、乗算値に重み付け定数（ｗ）を掛け合わせた値を仮想オブジェクトの輝度値に加算する等である。

上記の処理を施した後にさらに次の処理を施すと良い。
まず、仮想オブジェクト編集手段１７は、ステップＳ４０１で補正した撮影画像の顔領域の平均輝度値を演算する（Ｓ４０２）。そして、仮想オブジェクトの顔領域の平均輝度値を抽出し（Ｓ４０３）、両平均輝度値の差を演算する（Ｓ４０４）。この差に重みをつけて、仮想オブジェクトの各ピクセルの輝度値を補正する（Ｓ４０５）。なお重みのつけ方としては、両画像の平均輝度値を完全に一致させるのではなく、重みは１未満の値として、輝度値の差をある程度保ちながら、両平均輝度値を近づけるように調整された値を用いるのが良い。そして、仮想オブジェクト編集手段１７は、編集用データ保存手段４３に保存されている拡大縮小率ａｄ／ｂｃを抽出し、この比率でステップＳ４０５で補正した仮想オブジェクトを拡大／縮小して、合成用の仮想オブジェクトを生成する（Ｓ４０６）。
これにより、撮影された人物に当てられた照明と矛盾しないので、合成が自然になる。

なお、衣服の場合も同様に、顔領域で求めた照明データと、ベクトルに仮想オブジェクトである衣服の法線ベクトルとを乗算する。そして、この乗算値に重み付け定数（ｗ'）を掛け合わせた値を仮想オブジェクトである衣服の輝度値に加算する等である（Ｓ４０１）。その後、上記と同様に輝度値の平均化処理を実行する（Ｓ４０２〜Ｓ４０５）。

（画像合成処理）
画像合成処理手段１８は、合成位置演算手段１５の合成位置決定ルーチンのステップＳ２０７によって起動されると、編集用データ保存手段４３から合成位置を抽出して、仮想オブジェクト編集手段１７によって編集された仮想オブジェクトを撮影画像上の当該合成位置に合成する。合成画像は、合成画像保存手段４４に保存され、合成画像出力手段１９によって表示部６０へ出力される。

上述した一連の処理の結果、図１０（ａ）の撮影画像に対して、図１３の合成画像が生成される。図１３中、左側の人物が仮想オブジェクトであり、図３（ａ）の画像データが仮想オブジェクト編集手段によって撮影画像の人物のサイズに調整され、また照明方向が自然になるように輝度調整されて合成されている。

なお、衣服の場合も同様に、図１０(ａ)の撮影画像に対して、図４（ａ）の仮想オブジェクトである衣服データがサイズ調整、輝度調整されて合成され、図１４の合成画像が生成される。

本実施の形態によれば、カメラで撮影された人物と予め用意された画像を合成する際に、照明方向を一致させて、自然な合成結果を得ることができる。

上記は、携帯端末や汎用コンピュータで実現される例をもとに説明したが、上述した機能をサーバに備え、撮影画像をサーバへ送信し、サーバで生成された合成画像を携帯端末や汎用コンピュータに送信するという構成も可能である。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図１５に基づいて説明する。

本実施の形態は、第１の実施の形態の画像処理装置１を通信ネットワーク３を介してユーザの携帯端末７０に接続するサーバとして機能させ、さらに、画像処理装置１の演算処理部１０に、携帯端末７０から送られてくるＧＰＳあるいは基地局やルーター等のネットワークによる位置情報等を取得する位置情報取得手段２０と、位置情報取得手段２０によって取得した位置情報を補正し精度の高い位置情報を算出する位置情報補正手段２１を追加し、記憶部４０には、後述する地点ごとに設けられた印（マーカー）の基準位置を保存する基準位置保存手段４５を追加した。その他は、第１の実施の形態と同様であるので、同一要素には同一符号を付して説明を省略する。なお、図１５において、必要に応じて一部の機能を携帯端末７０側へ備えるようにすることも可能である。

次に、ユーザの所持する携帯端末の位置情報を精度良く算定する処理について実施例ごとに説明する。なお、以降は概略位置情報としてＧＰＳデータを用いることとして説明する。

本実施例は、位置情報の補正に地上に設けられたマーカー（以下、地上マーカーという。）を用いる方法である。
ユーザは次のように画像処理装置１にアクセスして、携帯端末７０の精度の良い位置情報を取得する。

（ステップＳ１）撮影手段５０を有する携帯端末７０で写真を撮影する場所の地上面に足跡や丸やタイルなどのマーカーを描く。このマーカーの位置データＰ０（ｘ０，ｙ０）を、正確に測定しその数値データを予め画像処理装置１の基準位置保存手段４５に保存しておく。なお、マーカーは構造物ではないので設置にコストがかからず、また、邪魔になりにくいという利点がある。

（ステップＳ２）このマーカーの上に被写体となる人物が立つ。
（ステップＳ３）この人物をユーザが携帯端末７０の撮影手段５０で撮影する。
（ステップＳ４）ユーザは、携帯端末７０から画像処理装置１へ、撮影画像Ｉ、ＧＰＳデータＰ１（ｘ１，ｙ１）、携帯端末７０（即ち撮影手段５０）の向きを示す磁気センサーデータＤ（０°〜３６０°）を送信する。
画像処理装置１の撮影画像入力手段１３は、携帯端末７０から送られてきた撮影画像Ｉを撮影画像保存手段４２へ保存し、位置情報取得手段２０は、ＧＰＳデータＰ１と磁気センサーデータＤを基準位置保存手段４５へ保存する。

（ステップＳ５）画像処理装置１の顔検出手段１４は、撮影画像Ｉから人物の顔領域を検出し、その顔領域の画像中の位置と矩形サイズ（幅データ）を撮影画像保存手段４２へ当該撮影画像Ｉと関連付けて保存する。
画像処理装置１の位置情報補正手段２１は、携帯端末７０のＧＰＳデータＰ１と磁気センサーデータＤから携帯端末の概略位置と向きがわかるので、基準位置保存手段４５からその方向にあるマーカーのうちＧＰＳデータＰ１に最も近いマーカー位置Ｐ０を抽出する。また、位置情報補正手段２１は、顔領域の幅データからマーカー位置Ｐ０からの距離を算出し、ＧＰＳデータＰ１を補正する。以下、具体的に説明する。

図１６において、Ｐ０は、予め測定された正確な位置であり、当該位置には目印（マーカー）が付されており、そのマーカー上に被写体となる人物が立っている。
また、Ｐ１は、ＧＰＳによって測定された撮影手段５０（即ち撮影者）の位置である。なお、カメラ付携帯端末の場合は、ＧＰＳの他、ネットワークによって与えられる位置であっても良い。

ＧＰＳデータＰ１は誤差があるので、Ｐ１からＰ０の方向へカメラ（撮影手段５０）を向けたとした場合の地図上の位置からの方向と、実際に磁気センサーから与えられる方向データには差異が生じる。

この差異のため、たとえば、実際の位置をＰ１ｂとしたとき、Ｐ１ｂから撮ったときの撮影画像は図１７（ａ）であるが、Ｐ１から撮ったときの撮影画像は図１７（ｂ）となる。このため、ＧＰＳデータを信じて仮想オブジェクトである建物や風景の説明データを撮影画像に合成すると、図１８（ａ）のようにずれが生じてしまう。なお、ＧＰＳデータが正しかった場合は、図１８（ｂ）のように本来の位置に仮想オブジェクトが合成される。

位置情報補正手段２１は、この差異を小さくするように、次の＜ステップＳ５−１＞，＜ステップＳ５−２＞の手順でＧＰＳデータＰ１を補正する。

＜ステップＳ５−１＞位置情報補正手段２１は、Ｐ０とＰ１の距離を半径（ｒ）とする円上で回転させて、まず、携帯端末７０から送られてくる方向データと一致するように、携帯端末位置を補正する。この補正の結果、携帯端末位置は、Ｐ１ａになる。Ｐ１ａの位置座標は、Ｐ０とＰ１の距離ｒ、ＧＰＳデータ、および方向データの各データを用いて幾何学的に算出することができる。

＜ステップＳ５−２＞次に、位置情報補正手段２１は、撮影画像保存手段４２に保存されている撮影画像Iの顔領域の矩形サイズ（幅データ）と、Ｐ１ａとＰ０の距離から理論上生じる矩形サイズとを比較し、距離ｒを矩形サイズの比で補正する。これにより、携帯端末の位置は、Ｐ１ｂになる。

なお、理論上の矩形サイズについては、顔の矩形サイズと距離との関係は撮影手段５０（携帯端末７０）の機種や撮影モード（たとえば通常モードか広角モードか等）によって異なる場合があるので、予めユーザが自身の撮影手段５０（携帯端末７０）の機種や撮影モードを入力して、その機種や撮影モードに応じた理論上の矩形サイズを選択するのが好ましい。
または、携帯端末中のプログラムが機種や撮影モードを自動的に判断して、理論上の矩形サイズと距離との関係を決める定数を自動的に選んで調整できるようにしても良い。

（ステップＳ６） ステップＳ５から得られる位置データにより、被写体となる人物が映った写真の中に仮想オブジェクトを重畳することにより、位置の正しいＡＲ合成画像を生成することができる。ＡＲ合成処理は、従来のOpenGL技術を用いることができる。

本実施例によれば、コストやメンテナンスの必要な機器や設備を必要とせず、予め確定している位置の極めて正確な立ち位置の座標を使って簡易に撮影地点の位置を補正することができる。

大きな構造物柱などは、設置や移転が困難であるが、本実施例では、地上に足跡などの印（しるし）を描いたり、テープを張ったり、タイルを埋め込む程度の設置で正確な位置情報を取得することができる。

（応用例）
ある高台から戦国時代の古戦場が見渡せる場所に観光客がFaceARカメラで記念撮影をしようとしているとする。指定された地面上のマーカーに立った被写体をFaceARカメラで撮影すると、人物といっしょに映りこんだ眼下の古戦場に地名や山の名前、当時の布陣や進軍の方向の矢印等が映りこむ。

また、戦国武将その他の人物などの仮想オブジェクトに対しては、第１の実施の形態で説明した仮想オブジェクト編集手段によって陰影処理を施すことによって、現実感を向上させることができる。

本実施例は、カメラと加速度センサーを使用し、屋内または屋外のある領域内でのテレビカメラで撮影し、合成基準位置である撮影画像内の携帯端末７０の位置を正確に測定するものである。

（ステップＳ３１）まず、屋内または屋外のある空間の全景が見渡せる場所にテレビカメラ（図示せず）を設置し、そのテレビカメラの撮影画像を端末装置（図示せず）に入力する。端末装置は、撮影画像中の人物の動きを身体認識により身体を囲む矩形の動きを求める。例えば、OpenCVの身体を検出する従来技術を用いて、矩形の動きを求めることができる。

その矩形は、通常複数存在し、静止も含めて特有の動きをしている。端末装置は、求めた矩形の二次元の移動データをサーバ装置（画像処理装置）１へ送信する。具体的には、この移動データには、二次元の位置座標（x,y）と撮影した時刻（t）を付加したデータ構成になっており、(x0, y0, t0),(x1, y1, t1),(x2, y2, t2)…というように、一定の時間間隔でサーバ装置１に送られる。

サーバ装置１は、端末装置から時々刻々送られてくる矩形の移動データをカメラ視野内の二次元の動きを表すデータとして、記憶部に時系列的に保存していく。

（ステップＳ３２）一方、そのテレビカメラ映像に映る複数の人物が夫々所持する携帯端末７０は加速度センサーを備えているとする。加速度センサーのデータは、上記テレビカメラのデータを処理するサーバ装置に通信によって送られる。また、同時に磁気センサーデータも送られる。
即ち、テレビカメラの映像に映る人物（テレビカメラの撮影領域内に居る人物）の携帯端末携帯端末から送られるデータは、空間的な位置座標（X,Y,Z）に時刻（t）を加えたデータ構成になっている。(X0,Y0, Z0,t0),(X1,Y1,Z1,t1),(X2,Y2,Z2,t2)…
その空間の中に複数の人物がいる場合は、矩形移動データもその人物の数になる。

（ステップＳ３３）サーバ装置１は、ある携帯端末７０から送られた加速度データの加速度の盛衰のパターンと、テレビカメラから得られた人物の体の動きの盛衰パターンを比較する。
その場合、携帯端末７０の加速度データは三次元だが、カメラに映る場合は二次元になり、また、カメラの位置によってその座標軸が変わるので、端末の加速度データのうち三次元（X,Y,Z）の値を入れ替えて二次元データに変換し、この二次元データと、テレビカメラの端末装置を介して取得した二次元データと比較する。

たとえば、時刻T2のデータを比較する場合は、(X2,Y2) と(x2,y2)，(X2,Z2) と(x2,y2)，(Y2,X2) と(x2,y2)を夫々比較する。なお、夫々前者が携帯端末７０から送られてきたデータ、後者がテレビカメラから端末装置を介して取得したデータである。

この比較は、加速度の盛衰の一致、つまり比較する両データの加速度の差が予め定めた一定値よりも小さくなった時点で打ち切り、携帯端末の移動とそのテレビカメラの撮影画像中の矩形の移動とが一致したとみなす。

つまり、携帯端末の加速度の盛衰は三次元であるが、その中から抽出した二つ（二次元）の順列組み合わせと、矩形の加速度の組み合わせの時系列的比較を行って、大きさや、＋−の反転のタイミングを比較して一致かどうかを判定する。そして、矩形と加速度データの動きの入った配列をずらしながらその差をとり、その差の最小値が最も小さいものを一致とみなすのである。

（ステップＳ３４）サーバ装置１は、テレビカメラ画像の身体認識された矩形データの位置情報を、加速度データが一致する携帯端末７０に通信で送り返す。

これによって携帯端末７０は、テレビカメラに写されたその空間のどの位置に存在するかという正確な位置データを得ることができる。そして、携帯端末７０はサーバ装置１から送られてきた正確な位置データと磁気センサーの方向データによって、仮想オブジェクトの位置を正しく表示することができる。この表示方法は、実施例１と同様であるので説明を割愛する。

なお、上記のステップＳ３３の処理では、テレビカメラおよび携帯端末７０から送られてくる時刻ごとに比較することとしている。このため、加速度データを正しく比較しようとすると、たとえばサーバ装置１からテレビカメラの端末装置や携帯端末７０へ時刻情報を送信して、両者の時刻を予め一致させておく必要がある。このため、予め時刻を一致させておく必要のない以下の方法を採るのが好ましい。

テレビカメラと、携帯端末７０の二つのデータストリームの夫々について、データの特異点を求める。その特異点の求め方は、それぞれのデータが、ある時間区間で最小または最大となるところを特異点とし、そのときの両データストリーム中の時刻の差が両データの時刻誤差であるとして、両データの比較を始めるのである。

また、x,y,ｚすべての点について調べるのではなく、加速度センサーの値のxの値の消長と、矩形データのx,yの両方の消長パターンを調べることで、処理時間を短縮することができる。携帯端末の持ち方はスクリーンがやや上向きになって顔の方を向いていると一般的に仮定できるからである。二つのデータストリームのパターンの一致は、最小二乗法によって、二つのデータストリームのある時間区間の差を求め最も小さくなる携帯端末を特定するという方法や、それぞれのストリームを高速フーリエ変換し、スペクトルを比較して一致度を求めるという方法など従来の技術を用いることができる。

本実施の形態は、撮影画像中に人物画像が複数存在する場合、合成位置演算の基準となる人物画像を特定すると共に、その人物画像の位置を精度良く算出することができる。

１・・・画像処理装置
３・・・通信ネットワーク
８・・・サーバ装置
１０・・・演算処理部
１１・・・通信処理手段
１２・・・仮想オブジェクト入力手段
１３・・・撮影画像入力手段
１４・・・顔検出手段
１５・・・合成位置演算手段
１６・・・入力処理手段
１７・・・仮想オブジェクト編集手段
１８・・・画像合成処理手段
１９・・・合成画像出力手段
２０・・・位置情報取得手段
２１・・・位置情報補正手段
３０・・・通信部
４０・・・記憶部
４１・・・仮想オブジェクト保存手段
４２・・・撮影画像保存手段
４３・・・編集用データ保存手段
４４・・・合成画像保存手段
４５・・・基準位置保存手段
５０・・・撮影手段
５５・・・入力部
６０・・・表示部
７０・・・携帯端末

Claims (2)

1. 仮想オブジェクトを保存する仮想オブジェクト保存手段と、撮影手段によって撮影された撮影画像を入力する撮影画像入力手段と、前記撮影画像から顔領域を検出する顔検出手段と、仮想オブジェクトの合成位置を決定する合成位置演算手段と、前記顔検出手段によって検出した顔領域の画像をもとに、前記仮想オブジェクトを編集するための編集データを生成し、該編集データを用いて前記仮想オブジェクトを編集する仮想オブジェクト編集手段と、編集した仮想オブジェクトを、前記合成位置演算手段で決定した撮影画像上の合成位置に合成する画像合成手段と、を備えた画像処理装置を用いて、撮影手段の位置を算出する画像処理方法であって、
   目印となる場所ごとに位置情報を保存するステップと、
   前記撮影手段の位置をＧＰＳまたは基地局その他のネットワークによって取得すると共に、磁気センサーのデータを取得するステップと、
   前記撮影手段によって前記目印となる場所に位置する人物を被写体として撮影して撮影画像を取得するステップと、
   前記被写体と前記撮影手段との距離を一定にしたまま、前記被写体を中心に前記磁気センサーのデータの示す方向と一致するように前記撮影手段の位置を補正するステップと、
   さらに、前記撮影画像中の前記被写体の顔領域の幅と、理論上の顔領域の幅との比から前記被写体の位置を固定にして前記被写体と前記撮影手段との距離を補正して、前記撮影手段の位置を算出するステップと、
   を含むことを特徴とする画像処理方法。
2. 仮想オブジェクトを保存する仮想オブジェクト保存手段と、
   撮影手段によって撮影された撮影画像を入力する撮影画像入力手段と、 前記撮影画像から顔領域を検出する顔検出手段と、
   仮想オブジェクトの合成位置を決定する合成位置演算手段と、
   前記顔検出手段によって検出した顔領域の画像をもとに、前記仮想オブジェクトを編集するための編集データを生成し、該編集データを用いて前記仮想オブジェクトを編集する仮想オブジェクト編集手段と、
   編集した仮想オブジェクトを、前記合成位置演算手段で決定した撮影画像上の合成位置に合成する画像合成手段と、を具備する画像処理装置であって、
   携帯端末から送られてくるＧＰＳあるいは基地局やルーターのネットワークによる位置情報を取得する位置情報取得手段と、
   前記携帯端末の磁気センサーから与えられる方向データと、前記顔検出手段で検出された顔領域をもとに、前記位置情報取得手段によって取得した位置情報を補正する位置情報補正手段と、を備え、
   前記位置情報補正手段によって補正された位置情報により仮想オブジェクトの合成位置を決定することを特徴とする画像処理装置。