JP5279875B2

JP5279875B2 - オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Info

Publication number: JP5279875B2
Application number: JP2011156024A
Authority: JP
Inventors: 康夫森永; 学太田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2011-07-14
Filing date: 2011-07-14
Publication date: 2013-09-04
Anticipated expiration: 2031-07-14
Also published as: JP2013025326A; EP2733675B1; CN103262127A; EP2733675A4; WO2013008584A1; EP2733675A1; US20130201201A1; US9153202B2; CN103262127B

Description

本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。

近年において、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、様々な条件で撮影された画像から良好にマーカを検出するために、マーカの登録画像から、色彩、輝度、コントラスト、解像度、ピントを変化させたマーカの画像を生成し、生成した画像に基づき、マーカの検出を行う装置が知られている（例えば、特許文献１参照）。また、撮影した現実空間の画像に対して２値化処理を行ってマーカを検出する技術であって、マーカを検出できなかった場合に２値化の際の閾値を変更して検出を試みる装置が知られている。（例えば、特許文献２参照）。

特開２００７−３０４７３３号公報特開２００７−３０４７３２号公報

かかるＡＲ技術を用いたサービスにおいて、移動端末は、現実空間の画像を様々な条件下で撮影する。特に、マーカを利用したＡＲ技術において、現実空間の画像が屋外で撮影される場合には、光源となる太陽の位置に依存して、現実空間の画像中に影が生じる。この影は、マーカの画像に対して、部分的に大きな変化を生じさせる。移動端末は、予め有しているマーカの画像に基づき現実空間の画像を探索することによりマーカを検出するので、現実空間の画像におけるマーカの画像に変化があると、マーカの検出が困難になる。また、上記特許文献に記載された技術は、マーカ全体又は現実空間画像全体の調整を行なうことによりマーカの検出精度を向上させるものであるので、部分的に色調に変化が生じたマーカの画像を検出できない。

そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像において影が生じている場合であっても、マーカを検出することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。

上記課題を解決するために、本発明のオブジェクト表示装置は、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置であって、現実空間の画像を取得する画像取得手段と、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得手段と、陰影取得手段により取得された陰影情報に基づき、画像取得手段により取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理手段と、画像処理手段により少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知手段と、検知手段により検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示手段と、を備え、画像処理手段は、陰影取得手段により取得された陰影情報に基づき、オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、検知手段は、画像取得手段により取得された現実空間の画像から、画像処理手段により補正されたマーカを抽出する。

また、上記課題を解決するために、本発明のオブジェクト表示方法は、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間の画像を取得する画像取得ステップと、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得ステップと、陰影取得ステップにおいて取得された陰影情報に基づき、画像取得ステップにおいて取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理ステップと、画像処理ステップにおいて少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知ステップと、検知ステップにおいて検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示ステップと、を有し、画像処理ステップにおいて、陰影取得ステップにおいて取得された陰影情報に基づき、オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、検知ステップにおいて、画像取得ステップにおいて取得された現実空間の画像から、画像処理ステップにおいて補正されたマーカを抽出する。

また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、現実空間の画像を取得する画像取得機能と、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得機能と、陰影取得機能により取得された陰影情報に基づき、画像取得機能により取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理機能と、画像処理機能により少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知機能と、検知機能により検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示機能と、を実現させ、画像処理機能は、陰影取得機能により取得された陰影情報に基づき、オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、検知機能は、画像取得機能により取得された現実空間の画像から、画像処理機能により補正されたマーカを抽出する。

本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、現実空間における影の発生位置を示す陰影情報が取得され、取得された陰影情報に基づき、影の影響が排除されるように、現実空間の画像又は予め記憶しているマーカの画像が補正されるので、影が生じていない現実空間の画像と同様にマーカの検出処理を実施できる。従って、影が生じている現実空間の画像からのマーカの検出が可能となる。また、陰影情報に基づき、現実空間に所在するマーカにおいて影に覆われた部分が発生している場合において、その影の状態及び位置が推定され、推定された影の状態及び位置に基づき検出処理の基準とするためのマーカの画像に対して影の色調成分が付加される。現実空間の画像において、マーカに影に覆われた部分が生じていても、その状態を推定したマーカに基づき検出処理を実施するので、マーカの検出が可能となる。

また、本発明のオブジェクト表示装置では、画像処理手段は、陰影取得手段により取得された陰影情報に基づき、画像取得手段により取得された現実空間の画像から影の色調成分を除去する補正を行い、検知手段は、画像処理手段により補正された現実空間の画像から、マーカを抽出することとしてもよい。

上記構成によれば、陰影情報に基づき、現実空間の画像における影の発生位置から、影の色調成分が除去されるので、影が生じていない現実空間の画像からのマーカの検出処理と同様に、マーカの検出が可能となる。

また、本発明のオブジェクト表示装置は、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置であって、現実空間の画像を取得する画像取得手段と、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得手段と、陰影取得手段により取得された陰影情報に基づき、画像取得手段により取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理手段と、画像処理手段により少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知手段と、検知手段により検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示手段と、を備え、陰影取得手段は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、陰影情報を推定する。
また、本発明のオブジェクト表示方法は、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間の画像を取得する画像取得ステップと、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得ステップと、陰影取得ステップにおいて取得された陰影情報に基づき、画像取得ステップにおいて取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理ステップと、画像処理ステップにおいて少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知ステップと、検知ステップにおいて検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示ステップと、を有し、陰影取得ステップにおいて、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、陰影情報を推定する。
また、本発明のオブジェクト表示プログラムは、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、現実空間の画像を取得する画像取得機能と、現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得機能と、陰影取得機能により取得された陰影情報に基づき、画像取得機能により取得された現実空間の画像及びオブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理機能と、画像処理機能により少なくとも一方が補正された現実空間の画像及びマーカを用いて、現実空間の画像からマーカを抽出する検知機能と、検知機能により検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示機能と、を実現させ、陰影取得機能は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、陰影情報を推定する。
上記構成によれば、現時点における影の発生位置が適切に推定される。

また、本発明のオブジェクト表示装置では、陰影取得手段は、当該オブジェクト表示装置の所在位置を示す位置情報及び現在の日時を表す日時情報に基づき、当該オブジェクト表示装置のユーザにより生じる影の発生位置を推定し、陰影情報に含めることとしてもよい。

上記構成によれば、当該オブジェクト表示装置を保持するユーザが光源からの光を遮ることにより生じる影が考慮されるので、陰影情報の精度が向上する。

また、本発明のオブジェクト表示装置では、画像処理手段は、現実空間の画像から、陰影情報に示される陰の発生位置の色調情報を取得し、現実空間の画像において該色調情報と略同様の色調情報を有する領域から、影の色調成分を除去する補正を行うこととしてもよい。

この場合には、現実空間に恒常的に存在する構造物により発生する影だけでなく、現実空間中を一時的に通過した物等により生じた影の領域が検出され、この領域から影の色調成分が除去される。従って、マーカの検出精度が向上する。

ＡＲ技術において、現実空間の画像において影が生じている場合であっても、マーカを検出することが可能となる。

オブジェクト表示装置の機能的構成を示すブロック図である。オブジェクト表示装置のハードブロック図である。位置情報、日時情報及び姿勢情報の例を示す図である。陰影演算部により推定される陰影情報の例を示す図である。オブジェクト情報記憶部の構成及び記憶されているデータの例を示す図である。画像処理部による補正処理の例を示す図である。表示部により出力及び表示された重畳画像の例を示す図である。画像処理部による補正処理の他の例を示す図である。オブジェクト表示方法の処理内容を示すフローチャートである。オブジェクト表示プログラムの構成を示す図である。

本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しており、マーカを現実空間の画像から抽出し、抽出されたマーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示する装置である。オブジェクト表示装置１は、例えば、移動体通信網を介した通信が可能な携帯端末である。

移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。マーカは、現実空間中に予め人為的に設けられた物であってもよいし、現実空間中に存在する建物及び看板等の構造物並びにロゴマーク等であってもよい。また、同様のサービスとしては、移動端末が所在する位置情報に基づき移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１では、マーカを用いて仮想オブジェクトを表示する態様が想定される。

図１に示すように、オブジェクト表示装置１は、機能的には、位置情報取得部１１、日時情報管理部１２、地図記憶部１３、陰影演算部１４（陰影取得手段）、画像取得部１５（画像取得手段）、姿勢検知部１６、オブジェクト情報記憶部１７（オブジェクト記憶手段）、画像突合部１８、画像処理部１９（画像処理手段）、マーカ検知部２０（検知手段）、オブジェクト表示演算部２１及び表示部２２（表示手段）を含む。

図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。

位置情報取得部１１は、オブジェクト表示装置１の所在位置を示す位置情報を取得する部分であって、例えばＧＰＳ装置により構成される。図３（ａ）は、位置情報取得部１１により取得される位置情報の例を示す図である。図３（ａ）に示すように、位置情報取得部１１は、例えば、緯度及び経度を位置情報として取得する。位置情報取得部１１は、取得した位置情報を陰影演算部１４に送出する。

日時情報管理部１２は、現在の日時を示す日時情報を管理する部分である。日時情報管理部１２は、例えば、オブジェクト表示装置１に備えられた時計であってもよいし、図示しない外部装置から通信により日時情報を取得することとしてもよい。図３（ｂ）は、日時情報管理部１２により管理される日時情報の例を示す図である。図３（ｂ）に示すように、日時情報管理部１２は、例えば、日及び時刻を日時情報として管理する。日時情報管理部１２は、日時情報を陰影演算部１４に送出する。

地図記憶部１３は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元の地図情報を記憶しているデータベースである。構造物は、建物等の人工的な構造物及び自然の地形の両方を含む。

陰影演算部１４は、現在の現実空間における影の発生位置を示す陰影情報を取得する部分である。具体的には、陰影演算部１４は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、陰影情報を推定する。図４は、陰影演算部１４により推定される陰影情報の例を示す図である。

陰影演算部１４は、オブジェクト表示装置１の所在位置周辺の地図情報を取得すると共に、日時情報に基づき、光源である太陽の位置を取得する。そして、陰影演算部１４は、構造物により太陽の光が遮断されて発生する影の発生位置を算出する。図４（ａ）は、このように算出された影Ａ１示す図である。即ち、陰影演算部１４は、太陽Ｌの位置及び構造物Ｂの形状に基づき、影Ａ１の発生位置を算出する。そして、陰影演算部１４は、算出または取得した陰影情報を画像突合部１８に送出する。

また、陰影演算部１４は、オブジェクト表示装置１の所在位置を示す位置情報及び現在の日時を表す日時情報に基づき、当該オブジェクト表示装置１のユーザにより生じる影の発生位置を推定し、陰影情報に含めてもよい。即ち、図４（ｂ）に示すように、陰影演算部１４は、太陽Ｌの位置及びユーザＹの位置に基づき、ユーザＹにより太陽の光が遮断されて発生する影Ａ２の発生位置を算出できる。ユーザＹの位置は、位置情報取得部１１からの位置情報により表される。

なお、陰影演算部１４は、オブジェクト表示装置１ではなく、オブジェクト表示装置１と通信可能な他の装置に備えられることとしてもよい。この場合には、オブジェクト表示装置１は、当該他の装置により算出された陰影情報を取得する。また、地図記憶部１３及び日時情報管理部１２も同様に、オブジェクト表示装置１と通信可能な他の装置に備えられることとしてもよい。

画像取得部１５は、現実空間の画像を取得する部分であって、例えば、カメラといった装置により構成される。画像取得部１５は、現実空間の画像を画像突合部に送出する。

姿勢検知部１６は、オブジェクト表示装置１の姿勢を検知する部分であって、例えば、加速度センサ及び地磁気センサといった装置により構成される。図３（ｃ）は、姿勢検知部１６により検知される姿勢を表す姿勢情報の例を示す図である。図３（ｃ）に示すように、姿勢検知部１６は、例えば、ロール角、ピッチ角及びヨー角といった情報を姿勢情報として検知する。姿勢検知部１６は、姿勢情報を画像突合部１８に送出する。

オブジェクト情報記憶部１７は、仮想オブジェクトに関するデータを記憶しているデータベースである。図５は、オブジェクト情報記憶部１７の構成及び記憶されているデータの例を示す図である。図５に示すように、オブジェクト情報記憶部１７は、マーカを識別するマーカＩＤに対応付けて、マーカデータ、オブジェクトデータを記憶している。また、オブジェクト情報記憶部１７は、例えば、現実空間に存在する建物やロゴマーク等の、位置を予め特定できる物をマーカとする場合には、当該マーカの所在位置を示す位置情報を更に有することができる。マーカデータは、当該マーカの画像データであって、現実空間の画像からの当該マーカの抽出に用いられる。オブジェクトデータは、当該マーカに対応付けて現実空間の画像に重畳表示させるオブジェクトの画像データである。

画像突合部１８は、画像取得部１５により取得された現実空間の画像と、地図情報等及び陰影情報に基づく推定画像とを突合する部分である。画像突合部１８は、３次元の地図情報、オブジェクト表示装置１の位置情報及び姿勢検知部により取得された姿勢情報に基づき、画像取得部１５により取得されるはずの現実空間の画像を推定し、更に、この画像に対して陰影情報に基づく影を付加することにより、推定画像を生成する。そして、画像突合部１８は、推定画像と現実空間の画像との建物（構造物）等の位置及び形状がマッチングするか否かを判定する。画像突合部１８は、画像取得部１５により取得された現実空間の画像と推定画像とを突合（マッチング）することにより、現実空間の画像における影の発生部分を陰影情報に基づき判別できる。また、画像突合部１８は、現実空間の画像における影の発生部分の色調成分を抽出することにより、影の色調に関する情報も取得できる。画像突合部１８は、画像取得部１５からの現実空間の画像と共に、当該画像の影の発生位置に関する情報及び影の色調に関する情報を画像処理部１９に送出する。

画像処理部１９は、陰影演算部１４により取得された陰影情報に基づき、画像取得部１５により取得された現実空間の画像及びオブジェクト情報記憶部１７に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する部分である。現実空間の画像が補正される場合の補正処理を、図６を参照して具体的に説明する。図６は、画像処理部１９による補正処理の例を説明するための図である。

画像処理部１９は、陰影情報に基づき、画像取得部１５により取得された現実空間の画像から影の色調成分を除去する補正を行う。具体的には、画像処理部１９は、陰影演算部１４からの陰影情報に基づく、現実空間の画像における影の発生位置及び色調に関する情報を、現実空間の画像と共に、画像突合部１８から取得する。図６（ａ）は、このときに取得される現実空間の画像の例を示す図である。図６（ａ）に示すように、現実空間の画像には、マーカＭ及び影Ａが含まれている。そして、画像処理部１９は、影の発生位置及び色調に関する情報に基づき、画像突合部１８を介して取得した現実空間の画像から、影の色調成分を除去する補正を行う。図６（ｂ）は、補正された現実空間の画像の例を示す図である。即ち、画像処理部１９は、影の発生位置及び色調に関する情報を有しているので、これらの情報に基づき、図６（ａ）に示される画像から、影の色調成分を除去する補正を行い、図６（ｂ）に示されるような画像を生成できる。

また、画像処理部１９は、現実空間の画像において、画像突合部１８から取得した影の色調情報と略同様の色調情報を有する領域から、影の色調成分を除去する補正を行うこととしてもよい。この補正により、現実空間に恒常的に存在する構造物により発生する影だけでなく、現実空間中を一時的に通過した人や物等により生じた影を除去できる。画像処理部１９は、補正された現実空間の画像をマーカ検知部２０に送出する。

マーカ検知部２０は、画像処理部１９から取得した現実空間の画像から、マーカを検知する部分である。具体的には、マーカ検知部２０は、オブジェクト情報記憶部１７から、オブジェクト情報に含まれるマーカデータを取得し、取得したマーカデータに基づき現実空間の画像をサーチし、現実空間の画像におけるマーカの位置及び大きさといった情報を検知結果として出力できる。画像処理部１９から取得した現実空間の画像は、影が除去されているので、マーカ検知部２０は、オブジェクト情報記憶部１７に記憶されたマーカデータに基づくサーチによりマーカを検出できる。

マーカ検知部２０は、検知したマーカに対応付けられているオブジェクトデータをオブジェクト情報記憶部１７から取得し、当該オブジェクトデータ及び現実空間の画像と共に、マーカの検知結果をオブジェクト表示演算部２１に送出する。

オブジェクト表示演算部２１は、マーカの検知結果に基づき、当該マーカに対応付けて表示する仮想オブジェクトの向き及び大きさを演算する部分である。オブジェクト表示演算部２１は、現実空間の画像及びオブジェクトデータと共に、演算結果を表示部２２に送出する。

表示部２２は、マーカ検知部２０により検出されたマーカにオブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する部分である。

具体的には、表示部２２は、オブジェクト表示演算部２１からの演算結果に基づき仮想オブジェクトの大きさ及び向きを決定し、当該仮想オブジェクトの画像を現実空間の画像に重畳して、重畳画像を生成する。仮想オブジェクトの重畳位置は、マーカの位置を基準とした相対位置により規定される。そして、表示部２２は、重畳画像を例えばディスプレイといった装置に出力する。図７は、表示部２２により出力及び表示された重畳画像の例を示す図である。図７に示す例では、図５に示したオブジェクト情報においてマーカＩＤ「１」のマーカに対応付けられた仮想オブジェクトＶが、マーカＭに対応付けられて表示されている。

また、画像処理部１９は、上述したように、陰影取得手段により取得された陰影情報に基づきオブジェクト情報記憶部１７に記憶されたマーカに影の色調を付加する補正を行うことにより、影の影響を排除したマーカの抽出が可能になるようにしてもよい。この補正処理を、図８を参照して具体的に説明する。図８は、画像処理部１９による補正処理の例を説明するための図である。

画像処理部１９は、オブジェクト情報記憶部１７に記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行う。具体的には、画像処理部１９は、陰影演算部１４からの陰影情報に基づく、現実空間の画像における影の発生位置及び色調に関する情報を、現実空間の画像と共に、画像突合部１８から取得する。また、画像処理部１９は、マーカの所在位置を示す位置情報をオブジェクト情報記憶部１７から取得する。これらの情報に基づき、画像処理部１９は、現実空間における影の発生位置とマーカの位置との位置関係を推定する。図８（ａ）は、画像処理部に推定された影Ａ３の発生位置とマーカＭ_Ｒの位置との位置関係を模式的に示す図である。なお、マーカＭ_Ｒは、図５のオブジェクト情報記憶部１７において、マーカＩＤ「２」として記憶されている。マーカＩＤ「２」のマーカＭ_Ｒは位置情報（ＸＸ，ＹＹ）を有しているので、画像処理部１９は、画像突合部１８により推定された現実空間の推定画像中に、マーカＭ_Ｒを配置できる。

そして、画像処理部１９は、影の発生位置及びマーカの位置に基づき、現実空間においてマーカ上に発生する影を推定できる。即ち、画像処理部１９は、現実空間に配置されたマーカ上において影が発生している領域を推定し、オブジェクト情報記憶部１７から取得したマーカデータにおける影の発生領域に影の色調成分を付加する。図８（ｂ）は、影Ａ３、マーカＭ_Ｒ及びユーザＹの位置関係を示す図であり、図８（ｃ）は、図８（ｂ）に示す位置関係において、画像処理部１９により生成されたマーカデータＭ_Ｄの例を模式的に示す図である。図８（ｃ）に示されるように、画像処理部１９は、マーカデータＭ_Ｄの右側の領域Ａ_Ｄに、影の色調成分を付加することができる。

画像処理部１９は、現実空間の画像と共に、影の色調成分が付加されたマーカデータをマーカ検知部２０に送出する。そして、マーカ検知部２０は、画像処理部１９により影の色調成分が付されたマーカデータに基づき、現実空間の画像からマーカを検知できる。このように、現実空間の画像に配置されたマーカ上に他の構造物等に起因する影が生じている場合であっても、画像処理部１９は、その影の状態を反映したマーカデータを生成し、マーカ検知部２０は、そのマーカデータに基づき、現実空間の画像からマーカを抽出できる。

続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図９は、オブジェクト表示方法の処理内容を示すフローチャートである。

まず、位置情報取得部１１は、オブジェクト表示装置１の所在位置を示す位置情報を取得する（Ｓ１）。続いて、陰影演算部１４は、日時情報管理部１２により管理されている日時情報及び位置情報に基づき、現在における太陽の位置を算出する。そして、陰影演算部１４は、オブジェクト表示装置１の所在位置周辺の３次元の地図情報を取得し、ステップＳ２において算出された太陽の位置に基づき、現実空間における影の発生位置（陰影情報）を推定する（Ｓ３）。

次に、画像取得部１５は、現実空間の画像を取得する（Ｓ４）。続いて、画像突合部１８は、地図情報等及び陰影情報に基づき推定画像を生成する。さらに、画像突合部１８は、生成した推定画像と、画像取得部１５により取得された現実空間の画像とをマッチング（突合）する（Ｓ５）。ここで、画像突合部１８は、推定画像と現実空間の画像との建物（構造物）等の位置及び形状がマッチングするか否かを判定する（Ｓ６）。マッチングすると判定された場合には、処理手順はステップＳ７に進められる。一方、マッチングすると判定されなかった場合には、処理手順はステップＳ１に戻る。

ステップＳ７において、画像処理部１９は、陰影情報に基づき、画像取得部１５により取得された現実空間の画像又はオブジェクト情報記憶部１７に記憶されたマーカの画像を補正する（Ｓ７）。具体的には、画像処理部１９は、現実空間の画像における影が発生している領域から、影の色調成分を除去する。この場合に、画像処理部１９は、現実空間の画像において、陰影情報における影の色調情報と略同様の色調を有する領域から、影の色調成分を除去する補正を行ってもよい。または、画像処理部１９は、現実空間に存在するマーカにおいて影に覆われている領域があると推定された場合に、マーカデータの当該領域に影の色調成分を付加する。

続いて、マーカ検知部２０は、ステップＳ７において少なくとも一方が補正された現実空間の画像及びマーカデータを用いて、現実空間の画像からマーカを検知及び抽出する（Ｓ８）。そして、オブジェクト表示演算部２１は、マーカの検知結果に基づき、当該マーカに対応付けて表示する仮想オブジェクトの向き及び大きさを演算し、表示部２２は、マーカの検知結果に基づき演算された、当該マーカに対応付けて表示する仮想オブジェクトの向き及び大きさに基づき、仮想オブジェクトを現実空間の画像の所定位置に重畳した重畳画像を生成及び表示する（Ｓ９）。

次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図１０は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。

オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、位置情報取得モジュール１１ｍ、日時情報管理モジュール１２ｍ、地図記憶モジュール１３ｍ、陰影演算モジュール１４ｍ、画像取得モジュール１５ｍ、姿勢検知モジュール１６ｍ、オブジェクト情報記憶モジュール１７ｍ、画像突合モジュール１８ｍ、画像処理モジュール１９ｍ、マーカ検知モジュール２０ｍ、オブジェクト表示演算モジュール２１ｍ及び表示モジュール２２ｍを含む。そして、各モジュール１０ｍ〜２２ｍにより、オブジェクト表示装置１における各機能部１１〜２２のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１０に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。

本実施形態のオブジェクト表示装置１、オブジェクト表示方法及びオブジェクト表示プログラム１ｍによれば、現実空間における影の発生位置を示す陰影情報が取得され、取得された陰影情報に基づき、影の影響が排除されるように、現実空間の画像又は予め記憶しているマーカの画像が補正されるので、影が生じていない現実空間の画像と同様にマーカの検出処理を実施できる。従って、影が生じている現実空間の画像からのマーカの検出が可能となる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…オブジェクト表示装置、１ｍ…オブジェクト表示プログラム、１ｄ…記録媒体、１０ｍ…メインモジュール、１１…位置情報取得部、１１ｍ…位置情報取得モジュール、１２…日時情報管理部、１２ｍ…日時情報管理モジュール、１３…地図記憶部、１３ｍ…地図記憶モジュール、１４…陰影演算部、１４ｍ…陰影演算モジュール、１５…画像取得部、１５ｍ…画像取得モジュール、１６…姿勢検知部、１６ｍ…姿勢検知モジュール、１７…オブジェクト情報記憶部、１７ｍ…オブジェクト情報記憶モジュール、１８…画像突合部、１８ｍ…画像突合モジュール、１９…画像処理部、１９ｍ…画像処理モジュール、２０…マーカ検知部、２０ｍ…マーカ検知モジュール、２１…オブジェクト表示演算部、２１ｍ…オブジェクト表示演算モジュール、２２…表示部、２２ｍ…表示モジュール。

Claims

仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置であって、
現実空間の画像を取得する画像取得手段と、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得手段と、
前記陰影取得手段により取得された陰影情報に基づき、前記画像取得手段により取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理手段と、
前記画像処理手段により少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知手段と、
前記検知手段により検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示手段と、を備え、
前記画像処理手段は、前記陰影取得手段により取得された陰影情報に基づき、前記オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、
前記検知手段は、前記画像取得手段により取得された現実空間の画像から、前記画像処理手段により補正されたマーカを抽出する、
オブジェクト表示装置。
仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置であって、
現実空間の画像を取得する画像取得手段と、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得手段と、
前記陰影取得手段により取得された陰影情報に基づき、前記画像取得手段により取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理手段と、
前記画像処理手段により少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知手段と、
前記検知手段により検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示手段と、を備え、
前記陰影取得手段は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、前記陰影情報を推定する、
オブジェクト表示装置。
前記画像処理手段は、前記陰影取得手段により取得された陰影情報に基づき、前記画像取得手段により取得された現実空間の画像から影の色調成分を除去する補正を行い、
前記検知手段は、前記画像処理手段により補正された現実空間の画像から、前記マーカを抽出する、
請求項１または２に記載のオブジェクト表示装置。
前記陰影取得手段は、当該オブジェクト表示装置の所在位置を示す位置情報及び現在の日時を表す日時情報に基づき、当該オブジェクト表示装置のユーザにより生じる影の発生位置を推定し、前記陰影情報に含める、
請求項２に記載のオブジェクト表示装置。
前記画像処理手段は、前記現実空間の画像から、前記陰影情報に示される陰の発生位置の色調情報を取得し、前記現実空間の画像において該色調情報と略同様の色調情報を有する領域から、影の色調成分を除去する補正を行う、
請求項３に記載のオブジェクト表示装置。
仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
現実空間の画像を取得する画像取得ステップと、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得ステップと、
前記陰影取得ステップにおいて取得された陰影情報に基づき、前記画像取得ステップにおいて取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理ステップと、
前記画像処理ステップにおいて少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知ステップと、
前記検知ステップにおいて検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示ステップと、を有し、
前記画像処理ステップにおいて、前記陰影取得ステップにおいて取得された陰影情報に基づき、前記オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、
前記検知ステップにおいて、前記画像取得ステップにおいて取得された現実空間の画像から、前記画像処理ステップにおいて補正されたマーカを抽出する、
オブジェクト表示方法。
仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
現実空間の画像を取得する画像取得ステップと、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得ステップと、
前記陰影取得ステップにおいて取得された陰影情報に基づき、前記画像取得ステップにおいて取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理ステップと、
前記画像処理ステップにおいて少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知ステップと、
前記検知ステップにおいて検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示ステップと、を有し、
前記陰影取得ステップにおいて、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、前記陰影情報を推定する、
オブジェクト表示方法。
仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
コンピュータに、
現実空間の画像を取得する画像取得機能と、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得機能と、
前記陰影取得機能により取得された陰影情報に基づき、前記画像取得機能により取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理機能と、
前記画像処理機能により少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知機能と、
前記検知機能により検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示機能と、を実現させ、
前記画像処理機能は、前記陰影取得機能により取得された陰影情報に基づき、前記オブジェクト情報記憶手段に所在位置を示す位置情報と対応付けられて記憶されたマーカに対して、当該マーカの所在位置に応じて、影の色調成分を付加する補正を行い、
前記検知機能は、前記画像取得機能により取得された現実空間の画像から、前記画像処理機能により補正されたマーカを抽出する、
オブジェクト表示プログラム。
仮想オブジェクトに関する仮想オブジェクト情報を、現実空間に所在する所定の標識であるマーカに対応付けて記憶しているオブジェクト情報記憶手段を備え、前記マーカを現実空間の画像から抽出し、抽出された該マーカに対応付けられた仮想オブジェクトを、現実空間の画像に重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
コンピュータに、
現実空間の画像を取得する画像取得機能と、
現在の現実空間における影の発生位置を示す陰影情報を取得する陰影取得機能と、
前記陰影取得機能により取得された陰影情報に基づき、前記画像取得機能により取得された現実空間の画像及び前記オブジェクト情報記憶手段に記憶されたマーカの少なくとも一方を、影の影響を排除したマーカの抽出が可能になるように補正する画像処理機能と、
前記画像処理機能により少なくとも一方が補正された現実空間の画像及びマーカを用いて、前記現実空間の画像から前記マーカを抽出する検知機能と、
前記検知機能により検出されたマーカに前記オブジェクト情報記憶手段において対応付けられた仮想オブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示機能と、を実現させ、
前記陰影取得機能は、現実空間における構造物の３次元の形状及び位置を表す情報を含む３次元地図情報、及び現在の日時を表す日時情報に基づき、前記陰影情報を推定する、
オブジェクト表示プログラム。