JP5937128B2 - 拡張現実感提供システム、方法及びプログラム - Google Patents

Description

この発明は、現実空間を撮像する撮像部と、この撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システム、方法及びプログラムに関する。

近時、現実空間の画像上に仮想物体を重ねて表示するＡＲ（Augmented Reality）表示を含む、拡張現実感提供システムが開発されている。例えば、仮想物体の現実感及び存在感を高めるべく、オブジェクト画像に対して適切な色調整を行う画像処理方法が種々提案されている。

特許文献１では、ＡＲ表示を発現するマーカに描かれた模様の色彩から変換パラメータを計算し、該変換パラメータに基づいてオブジェクト画像の色を補正する方法が提案されている。

特許文献２では、現実空間を示す画像全体の色調に関する特徴量を抽出し、該特徴量に基づいてオブジェクト画像の色を補正する方法が提案されている。

特開２０１０−１７０３１６号公報 特開２０１３−０２５３２９号公報

ところで、非透光性の物体に向けて光を照射する場合、物体及び光源の相対的な位置・姿勢に応じた明暗及び影（本明細書では、総称して「シェーディング効果」という）が発生する。すなわち、観察者は、このシェーディング効果の存在を「通常の見え方」として認識している。

しかしながら、特許文献１及び２で提案された方法によれば、オブジェクト画像全体の色バランスを考慮しているにすぎず、上記したシェーディング効果について何ら考慮されていない。その結果、ユーザは、現実空間内での照明状態によって仮想物体の見え方に違和感を覚えることがあった。

本発明は上記した課題を解決するためになされたものであり、現実空間内での照明状態にかかわらず、ごく自然な表現形態にて仮想物体を表示可能な拡張現実感提供システム、方法及びプログラムを提供することを目的とする。

本発明に係る拡張現実感提供システムは、現実空間を撮像する撮像部と、上記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有するシステムであって、同色である複数の特徴部位を有する対象物を含む上記撮像画像の中から複数の上記特徴部位を抽出する特徴部位抽出部と、上記特徴部位抽出部により抽出された複数の上記特徴部位における色値の関係から、上記対象物に照射される光の配光特性を推定する配光特性推定部と、上記仮想物体を示す原物体画像の色を補正することで、上記配光特性推定部により推定された上記配光特性に従って上記仮想物体に上記光を照射する視覚効果が付与された上記物体画像を得る画像補正部を備える。

このように、抽出された複数の特徴部位における色値の関係から、対象物に照射される光の配光特性を推定する配光特性推定部と、推定された配光特性に従って仮想物体に光を照射する視覚効果が付与された物体画像を得る画像補正部を設けたので、実存する対象物にて実際に発生しているシェーディング効果と同等の視覚効果を仮想物体に付与可能になり、その結果、現実空間内での照明状態にかかわらず、ごく自然な表現形態にて仮想物体を表示できる。

また、複数の上記特徴部位の位置及び／又は形状を特定する特徴量を取得する特徴量取得部を更に備え、上記特徴部位抽出部は、上記特徴量取得部により取得された上記特徴量を用いて複数の上記特徴部位を抽出することが好ましい。

また、上記撮像画像の中にある上記対象物の位置を含む周辺の位置を、上記画像補正部により得られた上記物体画像の配置位置として決定する配置決定部を更に備えることが好ましい。

また、上記対象物は、２つ以上のカラーパッチを有するカラーチャートであり、上記特徴部位は、２つ以上の上記カラーパッチに含まれる複数の同色パッチであり、上記特徴部位抽出部は、上記対象物を含む上記撮像画像の中から複数の上記同色パッチを抽出することが好ましい。

また、上記画像補正部は、２つ以上の上記カラーパッチのうち複数の上記同色パッチを除く残余のカラーパッチを用いて上記原物体画像の色を補正することが好ましい。

本発明に係る拡張現実感提供方法は、現実空間を撮像する撮像部と、上記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有するシステムを用いた方法であって、同色である複数の特徴部位を有する対象物を含む上記撮像画像の中から複数の上記特徴部位を抽出する抽出ステップと、抽出された複数の上記特徴部位における色値の関係から、上記対象物に照射される光の配光特性を推定する推定ステップと、上記仮想物体を示す原物体画像の色を補正することで、推定された上記配光特性に従って上記仮想物体に上記光を照射する視覚効果が付与された上記物体画像を得る補正ステップを備える。

本発明に係る拡張現実感提供プログラムは、現実空間を撮像する撮像部と、上記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システムに、同色である複数の特徴部位を有する対象物を含む上記撮像画像の中から複数の上記特徴部位を抽出する抽出ステップと、抽出された複数の上記特徴部位における色値の関係から、上記対象物に照射される光の配光特性を推定する推定ステップと、上記仮想物体を示す原物体画像の色を補正することで、推定された上記配光特性に従って上記仮想物体に上記光を照射する視覚効果が付与された上記物体画像を得る補正ステップを実行させる。

本発明に係る拡張現実感提供システム、方法及びプログラムによれば、抽出された複数の特徴部位における色値の関係から、対象物に照射される光の配光特性を推定し、この配光特性に従って仮想物体に光を照射する視覚効果が付与された物体画像を得るので、実存する対象物にて実際に発生しているシェーディング効果と同等の視覚効果を仮想物体に付与可能になり、その結果、現実空間内での照明状態にかかわらず、ごく自然な表現形態にて仮想物体を表示できる。

この実施形態に係る拡張現実感提供システムの全体概略図である。 図１に示す携帯端末装置の電気的なブロック図である。 図１に示す情報提供サーバの電気的なブロック図である。 図１に示す拡張現実感提供システムの動作説明に供されるフローチャートである。 撮像で得た撮像画像を表示する表示部の概略正面図である。 図１に示す対象物の平面図である。 図６のカラーチャートに照射される光の二次元分布を示す模式図である。 図１に示す現実空間の俯瞰図である。 合成画像を表示する表示部の概略正面図である。 第１変形例に係る拡張現実感提供システムの電気的なブロック図である。 第２変形例に係る対象物の平面図である。

以下、本発明に係る拡張現実感提供方法について、それを実施する拡張現実感提供システム及び拡張現実感提供プログラムとの関係において好適な実施形態を挙げ、添付の図面を参照しながら詳細に説明する。

［拡張現実感提供システム１０の全体構成］
図１は、この実施形態に係る拡張現実感提供システム１０の全体構成図である。このシステムは、現実空間２０の画像上に仮想物体（例えば、家具）を重ねるＡＲ（Augmented Reality）表示を行うことで、家具のバーチャルカタログサービスを提供する。

拡張現実感提供システム１０は、図示しないユーザに携行される携帯端末装置１２と、中継装置１４と、インターネット等のネットワーク１６を介して接続された情報提供サーバ１８とから構成される。

携帯端末装置１２は、有線又は無線により外部装置と相互に通信可能な装置であり、例えば、スマートフォンを含む携帯電話機、タブレット端末等で構成される。携帯端末装置１２は、現実空間２０を撮像する撮像部２２と、撮像部２２による撮像で得た画像（以下、撮像画像）を表示する表示部２４とを備える。本図例では、現実空間２０内（室内）の床２６の上に、ＡＲ表示を発現する対象物２８が配置されている。対象物２８として、任意の形状及び材質からなる物体を採用し得るが、後述するように特定の模様を有する点に留意する。

中継装置１４は、携帯端末装置１２と情報提供サーバ１８との間の通信を中継する装置である。携帯端末装置１２が携帯電話機である場合、中継装置１４は基地局に相当する。また、携帯端末装置１２がタブレット端末である場合、中継装置１４は無線ＬＡＮ（Local Area Network）のアクセスポイントに相当する。

情報提供サーバ１８は、携帯端末装置１２からの要求に応じて、ＡＲ表示に必要なデータ（例えば、物体画像信号４８；図２及び図３参照）を携帯端末装置１２に提供する。

［携帯端末装置１２の電気的なブロック図］
図２は、図１に示す携帯端末装置１２の電気的なブロック図である。携帯端末装置１２は、撮像部２２及び表示部２４の他、端末側通信部３０と、端末側制御部３２と、端末側メモリ３４（記憶媒体）とを備える。

撮像部２２は、例えばカメラで構成され、１つのカラーチャンネルからなるモノクロ画像、又は、複数のカラーチャンネルからなるカラー画像を撮像する。撮像部２２は、単眼カメラであってもよいし、複眼カメラ（いわゆるステレオカメラ）であってもよい。

表示部２４は、カラー画像又はモノクロ画像を表示する表示パネル３６と、表示パネル３６上のタッチ位置を検出するタッチセンサ３８とを有する。表示パネル３６は、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、無機ＥＬパネル等で構成される。タッチセンサ３８の検出方式として、抵抗膜方式、静電容量方式、赤外線方式、電磁誘導方式、静電結合方式等を含む種々の方式を用いてもよい。

端末側通信部３０は、例えば、高周波数帯域の電波を入出力可能なＲＦ（Radio Frequency）モジュールで構成されており、外部装置からの電気信号を送受信する機能を有する。

端末側制御部３２は、例えば、マイクロプロセッサ（ＭＰＵ）で構成され、端末側メモリ３４等に格納されたプログラムを読み出し実行することで、各構成要素の制御動作を実行する。端末側制御部３２は、対象物検知部４０、配置決定部４２、及び表示用データ作成部４４の各機能を実現する。

端末側メモリ３４は、例えば、ＲＡＭ（Random Access Memory）等の記憶媒体で構成され、端末側制御部３２が各構成要素を制御するのに必要なプログラム及びデータ等を記憶している。本図例では、端末側メモリ３４には、撮像画像８０（図５参照）を示す撮像信号４６、及び物体画像１０８（図９参照）を示す物体画像信号４８が格納されている。

この記憶媒体は、非一過性であり、且つ、コンピュータ読み取り可能であってもよい。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、この記憶媒体は、短時間に且つ動的にプログラムを保持するものであっても、一定時間プログラムを保持するものであってもよい。

［情報提供サーバ１８の電気的なブロック図］
図３は、図１に示す情報提供サーバ１８の電気的なブロック図である。情報提供サーバ１８は、サーバ側通信部５０と、サーバ側制御部５２と、サーバ側メモリ５４と、仮想物体データベース（以下、仮想物体ＤＢ５６）とを備える。

サーバ側通信部５０は、有線又は無線によって外部装置（例えば、図１の携帯端末装置１２）と送受信するインターフェースである。

サーバ側制御部５２は、サーバ側メモリ５４に格納されたプログラムを読み出して実行することで、特徴量取得部５８、特徴部位抽出部６０、配光特性推定部６２、原物体画像取得部６４、及び画像補正部６６の各機能を実現する。

サーバ側メモリ５４は、端末側メモリ３４（図２）と同様に構成され、サーバ側制御部５２が各構成要素を制御するのに必要なプログラム及びデータ等を記憶している。本図例では、サーバ側メモリ５４には、物体画像１０８（図９参照）を示す物体画像信号４８が格納されている。

仮想物体ＤＢ５６は、仮想物体を示す物体画像のテンプレート（以下、「原物体画像」という）を、後述する発現マーク９２（図６）の種類と対応付けて蓄積するデータベースである。ここでは、原物体画像として、三次元モデルで表現した画像を想定する。

［拡張現実感提供システム１０の動作］
この実施形態に係る拡張現実感提供システム１０は、以上のように構成される。続いて、図１の拡張現実感提供システム１０の動作について、図４のフローチャートを主に参照しながら説明する。なお、インストールされたアプリケーション・ソフトウェアを実行することで、図２の携帯端末装置１２及び図３の情報提供サーバ１８を協働させることができる。

ステップＳ１において、携帯端末装置１２を用いて、対象物２８を含む現実空間２０を撮像する。先ず、ユーザは、現実空間２０内にて家具を配置してみたい位置を特定し、その位置（床２６の上）に対象物２８を配置する。そして、ユーザは、撮像範囲に対象物２８が含まれるように携帯端末装置１２を把持した状態下に、所定の撮像操作を行う。その後、撮像部２２からの出力信号は、撮像信号４６として端末側メモリ３４に一時的に格納される。

図５は、撮像で得た撮像画像８０を表示する表示部２４の概略正面図である。撮像画像８０は、下半分を占める矩形状の床領域８２と、上半分を占める矩形状の壁領域８４とから主に構成される。なお、床領域８２の中央下部には、対象物２８の投影像を示す対象物領域８６が存在する。

ステップＳ２において、携帯端末装置１２の対象物検知部４０は、ステップＳ１で得た撮像画像８０の中から対象物２８（すなわち、対象物領域８６）を検知する。

図６は、図１に示す対象物２８の平面図であると共に、図５における対象物領域８６の描画内容に相当する。対象物２８は、印刷媒体８８上に画像が形成された印刷物である。具体的には、印刷媒体８８上に、複数のカラーパッチを有するカラーチャート９０と、ＡＲ表示の発現マーク９２とが描画されている。

対象物検知部４０は、公知の画像認識手法を用いて、撮像画像８０の中に発現マーク９２が存在するか否かを判別する。例えば、発現マーク９２を示すテンプレートを予め準備しておき、撮像画像８０の中にある任意の部分領域との間の一致度を求め、この一致度が閾値よりも高い場合に発現マーク９２が存在すると判別してもよい。なお、判別精度を向上させるため、撮像画像８０に対してアフィン変換を含む前処理を施してもよい。

発現マーク９２が存在すると判別された場合、携帯端末装置１２は、端末側メモリ３４から読み出した撮像信号４６を、端末側通信部３０を介して情報提供サーバ１８に向けて送信する。その後、情報提供サーバ１８は、中継装置１４及びネットワーク１６を介して撮像信号４６を受信する。携帯端末装置１２は、別の操作を介して仮想物体の種類（例えば、製品の型番、識別番号）が入力・指定された場合は、この情報を併せて送信してもよい。

ステップＳ３において、情報提供サーバ１８の特徴量取得部５８は、撮像画像８０に含まれる複数の特徴部位（ここでは、同色パッチ９６ａ〜９６ｈ）に関する特徴量を取得する。具体的には、特徴量取得部５８は、発現マーク９２の種類に紐付けられたカラーチャート９０の、描画形態に関するデータセット（特徴量を含む）を取得する。この特徴量として、同色パッチ９６ａ〜９６ｈの形状及び位置を特定するための種々の値を用いることができる。

図６に示すように、カラーチャート９０は、格子状に配置されたカラーパッチの集合体であるパッチ群９４と、パッチ群９４の周辺に配置された８個の同色パッチ９６ａ〜９６ｈを有する。パッチ群９４はいずれも異なる色になるように、同色パッチ９６ａ〜９６ｈはすべて同じ色（例えば、無彩色）になるように設計されている。

同色パッチ９６ａ、９６ｂ、９６ｃ、並びに、同色パッチ９６ｅ、９６ｆ、９６ｇはそれぞれ等間隔（Ｌｘ）で配置されている。同色パッチ９６ｃ、９６ｄ、９６ｅ、並びに、同色パッチ９６ｇ、９６ｈ、９６ａはそれぞれ等間隔（Ｌｙ）で配置されている。

このとき、位置を特定する特徴量としてパッチ間隔Ｌｘ、Ｌｙを採用することができる。或いは、カラーチャート９０がなす平面上にて任意の座標系を定義し、この座標系における各同色パッチ９６ａ〜９６ｈの位置であってもよい。色を特定する特徴量として、任意の表色系で表現した色値（例えば、ＣＭＹＫ値、Ｌ^*ａ^*ｂ^*値）であってもよいし、色値に関連する情報（例えば、色見本の識別情報）であってもよい。

ステップＳ４において、情報提供サーバ１８の特徴部位抽出部６０は、ステップＳ３で取得された特徴量に基づいて、撮像画像８０の中から複数の特徴部位を抽出する。図５に示す撮像画像８０の例では、８個の同色パッチ９６ａ〜９６ｈに相当する画像部位がそれぞれ抽出される。

なお、特徴部位抽出部６０は、特徴部位として、同色パッチ９６ａ〜９６ｈのように別個の平網領域を抽出してもよいし、１つの平網領域（大きいサイズのカラーパッチ）内における複数の部分領域を抽出してもよい。

ステップＳ５において、情報提供サーバ１８の配光特性推定部６２は、ステップＳ４で抽出された８個の同色パッチ９６ａ〜９６ｈにおける色値の関係から、対象物２８に照射される光１０２の配光特性を推定する。推定処理に先立ち、配光特性推定部６２は、各同色パッチ９６ａ〜９６ｈにおける代表的な画素値（例えば、平均値）をそれぞれ算出し、色の明るさに相関する輝度値に換算する。

図７は、図６のカラーチャート９０に照射される光１０２の二次元分布を示す模式図である。ここでは、矩形状のカラーチャート９０が有する４つの頂点のうち、発現マーク９２（図６）に最も近い頂点を原点Ｏとする。また、カラーチャート９０の長手方向をＸ軸とし、カラーチャート９０の短手方向をＹ軸とし、輝度値（単位は任意）をＺ軸とする。

例えば、単一の光源１００が、所定の配光特性に従って光１０２を照射（或いは、放射）する場合を想定する。光の拡散現象を考慮すると、光源１００との距離が短くなるにつれて到達光量が増加し、この距離が長くなるにつれて到達光量が減少する傾向がある。その結果、観察者は、同色の特徴部位であってもこれらの位置関係によって異なる色（特に、明るさ）として知覚することがある。

本図の柱状グラフは、携帯端末装置１２の位置及び撮像方向を基準として、光源１００が対象物２８の左奥側に存在する場合の二次元分布を示す。このグラフから理解されるように、左奥側にある同色パッチ９６ｅの輝度値が最も大きく、右手前側にある同色パッチ９６ａの輝度値が最も小さくなっている。

配光特性推定部６２は、ここで得られた輝度値の絶対値（又は相対値）を用いて、対象物２８に照射される光１０２の配光特性を推定する。ここで「配光特性」とは、光１０２の強度及び／又は向きに関する特性を意味する。例えば、光源１００の位置・姿勢を含む直接的な特性であってもよいし、対象物２８に到達した光１０２の二次元分布を含む間接的な特性であってもよい。

ステップＳ６において、情報提供サーバ１８の原物体画像取得部６４は、仮想物体ＤＢ５６を検索・参照することで、発現マーク９２の種類に応じた仮想物体（例えば、椅子）を示す原物体画像を取得する。ここで、原物体画像は、三次元モデルで表現した椅子の画像である。

ステップＳ７において、情報提供サーバ１８の画像補正部６６は、ステップＳ６で取得された原物体画像の色を補正する。この補正は、ステップＳ５で推定された配光特性に従って、仮想物体に光１０２を照射する視覚効果を付与することで実現される。具体的には、画像補正部６６は、公知の陰影処理（狭義のシェーディング処理）及び／又は付影処理（シャドーイング処理）を施すことで、原物体画像とは異なる物体画像１０８（図９）を得る。

なお、画像補正部６６は、２つ以上のカラーパッチのうち、同色パッチ９６ａ〜９６ｈを除く残余のカラーパッチ（パッチ群９４）を用いて原物体画像の色を補正してもよい。１つの色のみならず、複数の色における測色結果を考慮することで、表示部２４の広い色範囲にて色再現特性が保証できるからである。

また、画像補正部６６は、撮像画像８０の中における対象物領域８６との相対的大小関係を保つように、原物体画像のサイズを更に補正してもよい。これにより、サイズの観点で仮想物体のリアリティが一層増大する。

この物体画像１０８を示す信号は、物体画像信号４８としてサーバ側メモリ５４に一時的に格納される。情報提供サーバ１８は、サーバ側メモリ５４から読み出した物体画像信号４８を、サーバ側通信部５０を介して携帯端末装置１２に向けて送信する。その後、携帯端末装置１２は、ネットワーク１６及び中継装置１４を介して物体画像信号４８を受信する。

ステップＳ８において、携帯端末装置１２は、ステップＳ７で色補正がなされた物体画像１０８を、撮像画像８０の上に重ねて表示する。表示に先立ち、配置決定部４２は、撮像画像８０の中にある対象物２８の周辺の位置（対象物２８の位置を含む）を、物体画像１０８の配置位置１０４として決定する。

図８は、図１に示す現実空間２０の俯瞰図である。床２６の上には対象物２８が配置されている。本図例では、配置位置１０４は、対象物２８の位置に重なっている。ここで、対象物２８及び物体画像１０８の相対的位置関係は任意に設定可能であり、例えば、携帯端末装置１２を用いた操作を介して調整自在に構成されてもよい。

表示用データ作成部４４は、撮像信号４６及び物体画像信号４８を合成した画像（以下、合成画像１０６）の表示用データを作成し、該表示用データを表示部２４に向けて出力する。これにより、表示部２４には合成画像１０６が表示される。

図９は、合成画像１０６を表示する表示部２４の概略正面図である。椅子の正面図を示す物体画像１０８が、床領域８２、壁領域８４及び対象物領域８６を跨ぐ位置に重ねて表示されている。物体画像１０８は、椅子自体を示す本体部１１０と、椅子の影を示す影部１１２とが結合された画像である。また、本体部１１０の暗領域１１４は、残余の部位と比べて相対的に暗い色で構成されている。

このようにして、拡張現実感提供システム１０の動作が完了する。ユーザは、このＡＲ表示を視認することで、椅子の現物が存在しなくとも、その色合い及びサイズを一見して把握できる。しかも、物体画像１０８にはシェーディング効果が付与されているので、ユーザは違和感を覚えない。

［この実施形態による効果］
以上のように、拡張現実感提供システム１０は、現実空間２０を撮像する撮像部２２と、撮像で得た撮像画像８０の上に仮想物体を示す物体画像１０８を重ねて表示する表示部２４を有する。

そして、このシステムは、同色である複数の同色パッチ９６ａ〜９６ｈを有する対象物２８を含む撮像画像８０の中から複数の同色パッチ９６ａ〜９６ｈを抽出する特徴部位抽出部６０と、複数の同色パッチ９６ａ〜９６ｈにおける色値の関係から、対象物２８に照射される光１０２の配光特性を推定する配光特性推定部６２と、仮想物体を示す原物体画像の色を補正することで、配光特性に従って仮想物体に光１０２を照射する視覚効果が付与された物体画像１０８を得る画像補正部６６を備える。

このように構成したので、実存する対象物２８にて実際に発生しているシェーディング効果と同等の視覚効果を仮想物体に付与可能になり、その結果、現実空間２０内での照明状態にかかわらず、ごく自然な表現形態にて仮想物体を表示できる。

［変形例］
続いて、本実施形態に係る拡張現実感提供システム１０の変形例について、図１０及び図１１を参照しながら説明する。なお、本実施形態と同様の構成については、同一の参照符号を付すると共にその説明を省略する。

＜第１変形例＞
図１０は、第１変形例に係る拡張現実感提供システム１２０の電気的なブロック図である。この拡張現実感提供システム１２０は、単体の装置で構成されている点が本実施形態（図１の拡張現実感提供システム１０）と異なっている。

拡張現実感提供システム１２０は、制御部１２２と、通信部１２４と、撮像部２２と、表示部２４と、仮想物体ＤＢ５６と、メモリ１２６（記憶媒体）とを備える。

制御部１２２は、メモリ１２６に格納されたプログラムを読み出して実行することで、対象物検知部４０、配置決定部４２、表示用データ作成部４４、特徴量取得部５８、特徴部位抽出部６０、配光特性推定部６２、原物体画像取得部６４、及び画像補正部６６の各機能を実現する。

通信部１２４は、有線又は無線によって外部装置と送受信するインターフェースである。メモリ１２６は、制御部１２２が各構成要素を制御するのに必要なプログラム及びデータ等を記憶している。

このように構成しても、本実施形態と同様の作用効果が得られる。拡張現実感提供システム１２０は単体の装置で構成されているので、中継装置１４及びネットワーク１６（図１）を介したデータ通信処理が不要である点に留意する。

＜第２変形例＞
図１１は、第２変形例に係る対象物１２８の平面図である。この対象物１２８は、本実施形態（図６の対象物２８）と比べて描画内容が異なっている。

対象物１２８は、印刷媒体８８上に画像が形成された印刷物である。具体的には、印刷媒体８８上に、複数のカラーパッチを有するカラーチャート１３０と、ＡＲ表示の発現マーク９２とが描画されている。

カラーチャート１３０は、カラーパッチが二次元的に配置されたパッチ群１３２ａ、１３２ｂ、１３２ｃ、１３２ｄを組み合わせて構成される。パッチ群１３２ａ〜１３２ｄはいずれも同じ描画内容である一方、これらの配置の向きのみが異なっている。具体的には、パッチ群１３２ａ及びパッチ群１３２ｂは、左右対称の向きに配置されている。また、パッチ群１３２ａ及びパッチ群１３２ｃは、左右・上下対称の向きに配置されている。また、パッチ群１３２ａ及びパッチ群１３２ｄは、上下対称の向きに配置されている。

すなわち、シングルハッチングを付した矩形領域は第１グループに属する同色パッチ１３４ａ、１３４ｃ、１３４ｅ、１３４ｇであり、複数の特徴部位に相当する。また、ダブルハッチングを付した矩形領域は第２グループに属する同色パッチ１３４ｂ、１３４ｄ、１３４ｆ、１３４ｈであり、複数の特徴部位に相当する。

例えば、第１グループに属する同色パッチ１３４ａ、１３４ｃ、１３４ｅ、１３４ｇを用いて配光特性を推定することができる。また、複数セットの特徴部位（第１グループ、第２グループ、‥）を準備することで、色味の違いを更に反映させた配光特性を推定できる。

［補足］
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

この実施形態では、対象物２８にカラーチャート９０とは別の発現マーク９２を設けているが、この形態に限られることなく、カラーチャート９０自体にＡＲ表示の発現機能を付与してもよい。この場合、対象物検知部４０は、パッチ群９４及び／又は同色パッチ９６ａ〜９６ｈの色、形状、位置、姿勢等の組み合わせから、対象物２８の存否及び種類を検知する。

この実施形態では、撮像画像８０が静止画像であることを前提に説明したが、例えば、図４のフローチャートを順次実行することで動画像にも適用できることは言うまでもない。

１０、１２０…拡張現実感提供システム １２…携帯端末装置
１８…情報提供サーバ ２０…現実空間
２２…撮像部 ２４…表示部
２８、１２８…対象物 ４０…対象物検知部
４２…配置決定部 ４４…表示用データ作成部
４６…撮像信号 ４８…物体画像信号
５８…特徴量取得部 ６０…特徴部位抽出部
６２…配光特性推定部 ６４…原物体画像取得部
６６…画像補正部 ８０…撮像画像
９０、１３０…カラーチャート ９２…発現マーク
９４、１３２ａ〜１３２ｄ…パッチ群
９６ａ〜９６ｈ、１３４ａ〜１３４ｈ…同色パッチ
１００…光源 １０２…光
１０４…配置位置 １０６…合成画像
１０８…物体画像 １１０…本体部
１１２…影部 １１４…暗領域

Claims (6)

1. 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システムであって、
   同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する特徴部位抽出部と、
   前記特徴部位抽出部により抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する配光特性推定部と、
   前記仮想物体を示す原物体画像の色を補正することで、前記配光特性推定部により推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る画像補正部と
   を備え、
   前記対象物は、２つ以上のカラーパッチを有するカラーチャートであり、
   前記特徴部位は、２つ以上の前記カラーパッチに含まれる複数の同色パッチであり、
   前記特徴部位抽出部は、前記対象物を含む前記撮像画像の中から複数の前記同色パッチを抽出することを特徴とする拡張現実感提供システム。
2. 請求項１記載のシステムにおいて、
   複数の前記特徴部位の位置及び／又は形状を特定する特徴量を取得する特徴量取得部を更に備え、
   前記特徴部位抽出部は、前記特徴量取得部により取得された前記特徴量を用いて複数の前記特徴部位を抽出する
   ことを特徴とする拡張現実感提供システム。
3. 請求項１又は２に記載のシステムにおいて、
   前記撮像画像の中にある前記対象物の位置を含む周辺の位置を、前記画像補正部により得られた前記物体画像の配置位置として決定する配置決定部を更に備えることを特徴とする拡張現実感提供システム。
4. 請求項１〜３のいずれか１項に記載のシステムにおいて、
   前記画像補正部は、２つ以上の前記カラーパッチのうち複数の前記同色パッチを除く残余のカラーパッチを用いて前記原物体画像の色を補正することを特徴とする拡張現実感提供システム。
5. 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有するシステムを用いた拡張現実感提供方法であって、
   同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する抽出ステップと、
   抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する推定ステップと、
   前記仮想物体を示す原物体画像の色を補正することで、推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る補正ステップと
   を備え、
   前記対象物は、２つ以上のカラーパッチを有するカラーチャートであり、
   前記特徴部位は、２つ以上の前記カラーパッチに含まれる複数の同色パッチであり、
   前記抽出ステップでは、前記対象物を含む前記撮像画像の中から複数の前記同色パッチを抽出することを特徴とする拡張現実感提供方法。
6. 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システムに、
   同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する抽出ステップと、
   抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する推定ステップと、
   前記仮想物体を示す原物体画像の色を補正することで、推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る補正ステップと
   を実行させ、
   前記対象物は、２つ以上のカラーパッチを有するカラーチャートであり、
   前記特徴部位は、２つ以上の前記カラーパッチに含まれる複数の同色パッチであり、
   前記抽出ステップでは、前記対象物を含む前記撮像画像の中から複数の前記同色パッチを抽出することを特徴とする拡張現実感提供プログラム。

Images