JP4574473B2 - 情報処理装置および方法 - Google Patents

Description

本発明は、画像中の指標の誤検出を防止するための技術に関するものである。

［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１乃至２および非特許文献１において開示されているように、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。

言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。

［従来技術２］
一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。

［従来技術３］
従来技術１で説明したような複合現実感の提示を行う画像表示装置は、カメラによって撮影された現実空間の画像に、撮像装置の位置及び姿勢に応じて生成した仮想空間（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）の画像を重畳描画してそれを観察者の頭部に装着されたディスプレイに表示するビデオシースルー方式によって実現される。

ここで、観察者が観察している情景を第三者に提示する目的で、カメラによって撮影された現実空間の画像、またはその画像に仮想空間の画像を重畳描画した画像を、情景中に配した表示装置に表示する場合があった。
特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｂ．Ｇａｒｒｅｔｔ，ａｎｄ Ｍ．Ｌｉｖｉｎｇｓｔｏｎ： Ｓｕｐｅｒｉｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｂｙ ｉｎｔｅｇｒａｔｉｎｇ ｌａｎｄｍａｒｋ ｔｒａｃｋｉｎｇ ａｎｄ ｍａｇｎｅｔｉｃ ｔｒａｃｋｉｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ‘９６，ｐｐ．４２９−４３８，Ｊｕｌｙ １９９６． 加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９． Ｘ．Ｚｈａｎｇ，Ｓ．Ｆｒｏｎｚ，Ｎ．Ｎａｖａｂ： Ｖｉｓｕａｌ ｍａｒｋｅｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｅｃｏｄｉｎｇ ｉｎ ＡＲ ｓｙｓｔｅｍｓ：Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ‘０２），２００２． Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ Ｍ．Ｎｏｌｌｅ：Ｒｅｖｉｅｗ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｓｏｌｕｔｉｏｎｓ ｏｆ ｔｈｅ ｔｈｒｅｅ ｐｏｉｎｔ ｐｅｒｓｐｅｃｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４． Ｄ．Ｇ．Ｌｏｗｅ：Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１． 藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和，拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ，電子情報通信学会技術研究報告ＰＲＭＵ９９−１９２（信学技報ｖｏｌ．９９，ｎｏ．５７４，ｐｐ．１−８）

従来技術１のカメラの位置姿勢を推定する方法において、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用し、指標の３次元位置をカメラの画像面へと投影し、一方で、画像からのその指標の色を検出する色領域検出処理を行い、画像中での重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。

また、従来技術２で利用されている正方形マーカのような図形的な拡がりのある指標を利用する方法がある。従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、指標に符号情報やテンプレートとなりうる記号情報などを埋め込んでいる。図１０は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形マーカの例である。

いずれの従来技術においても、原理上、カメラが撮影する現実空間の中に、指標以外に指標と同じ色や図形が存在すると、それらを誤って同定してしまう。例えば、従来技術３において、カメラによって撮影された現実空間の画像（またはその画像に仮想空間の画像を重畳描画した画像）を表示する表示装置が情景中に配されている場合には、その表示画面がカメラによって撮影されてしまう状況が発生することがあった。そして、その表示画面内の指標を誤って情景中の指標として検出してしまうという問題があった。

本発明はこのような従来技術の問題点を解決することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、撮像手段によって情景を撮影することにより得られた画像を入力する画像入力手段と、前記撮影された画像から前記情景中の指標を検出する検出手段と、前記検出手段により検出された指標を用いて前記撮像手段の位置姿勢を推定する推定手段と、前記撮像手段により撮影された画像から表示画像を生成する生成手段と、前記生成手段により生成された表示画像を表示手段に表示させる出力手段と、前記表示手段が前記撮像手段により撮影されるときに該表示手段上に表示される情景中の指標が前記検出手段により検出されることを防止する誤検出防止手段とを備え、前記誤検出防止手段は、前記表示手段のリフレッシュレート及び／又は前記撮像手段のフレームレートを、夫々が異なる値となるように設定することを特徴とする。

本発明の他の態様によれば、撮像手段によって情景を撮影することにより得られた画像を入力する画像入力手段と、前記撮影された画像から前記情景中の指標を検出する検出手段と、前記検出手段により検出された指標を用いて前記撮像手段の位置姿勢を推定する推定手段と、前記撮像手段により撮影された画像から表示画像を生成する生成手段と、前記生成手段により生成された表示画像を表示手段に表示させる出力手段と、前記表示手段が前記撮像手段により撮影されるときに該表示手段上に表示される情景中の指標が前記検出手段により検出されることを防止する誤検出防止手段とを備え、前記誤検出防止手段は、前記表示手段及び前記撮像手段に夫々の偏光の向きが異なるように取り付けた偏光フィルタを用いることを特徴とする。

本発明の他の態様によれば、情報処理装置が行う情報処理方法であって、前記情報処理装置の入力手段が、表示装置が配置されている情景を撮像装置により撮影することにより得られた撮影画像を入力する入力工程と、前記情報処理装置の検出手段が、前記撮影画像から前記情景中の指標を検出する検出工程と、前記情報処理装置の推定手段が、前記検出工程で検出された指標を用いて前記撮像装置の位置姿勢を推定する推定工程と、前記情報処理装置の生成手段が、前記撮影画像から前記表示装置に表示するための表示画像を生成する生成工程と、前記情報処理装置の出力手段が、前記生成手段により生成された表示画像を前記表示装置に表示させる出力工程と、前記情報処理装置の誤検出防止手段が、前記表示装置に表示される情景中の指標が前記検出工程で検出されることを防止する誤検出防止工程とを備え、前記誤検出防止工程では、前記表示手段のリフレッシュレート及び／又は前記撮像手段のフレームレートを、夫々が異なる値となるように設定することを特徴とする。

本発明の他の態様によれば、情報処理装置が行う情報処理方法であって、前記情報処理装置の入力手段が、表示装置が配置されている情景を撮像装置により撮影することにより得られた撮影画像を入力する入力工程と、前記情報処理装置の検出手段が、前記撮影画像から前記情景中の指標を検出する検出工程と、前記情報処理装置の推定手段が、前記検出工程で検出された指標を用いて前記撮像装置の位置姿勢を推定する推定工程と、前記情報処理装置の生成手段が、前記撮影画像から前記表示装置に表示するための表示画像を生成する生成工程と、前記情報処理装置の出力手段が、前記生成手段により生成された表示画像を前記表示装置に表示させる出力工程と、前記情報処理装置の誤検出防止手段が、前記表示装置に表示される情景中の指標が前記検出工程で検出されることを防止する誤検出防止工程とを備え、前記誤検出防止工程では、前記表示手段及び前記撮像手段に夫々の偏光の向きが異なるように取り付けた偏光フィルタを用いることを特徴とする。

本発明によれば、現実空間に配された指標を撮影画像から検出する際に、現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを防止することができる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態に係る情報処理装置は、画像から検出された指標領域に局所的に図形又は小画像を重畳表示することによって指標の誤検出を防止する。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。

図１は、本実施形態における情報処理装置の構成を示している。同図に示したように、本実施形態における情報処理装置１００は、画像入力部１６０、データ記憶部１７０、指標検出部１１０、誤検出防止処理部１４０、画像生成部１５０、及び画像出力部１９０によって構成されており、撮像装置１３０及び表示装置１８０に接続されている。

現実空間中の複数の位置には、撮像装置１３０によって撮影するための複数個の指標Ｑ_ｋ（ｋ＝１，，，Ｋ_Ｑ）が配置されている。図１の例は、２個の指標Ｑ_１，Ｑ_２が設定されており、そのうちの１個の指標Ｑ_１が撮像装置１３０の視野内に含まれている状況を示している。

なお、指標Ｑ_ｋは、例えば、それぞれが異なる色を有する円形状のマーカによって構成してもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いることも可能である。撮像画像上における投影像の画像座標が検出可能であって、かついずれの指標であるかが何らかの方法で識別可能であるような指標であれば、何れの形態であってもよい。指標は、故意に設定されたものであってもよいし、故意に設定されたものではない、情景に元来存在する特徴であってもよい。

撮像装置１３０が出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。

画像入力部１６０は、情報処理装置１００へ入力される撮像画像をデジタルデータに変換し、データ記憶部１７０に保存する。

指標検出部１１０は、データ記憶部１７０より撮像画像を入力し、入力した画像中に撮影されている指標の画像座標を検出する。例えば、指標の各々が異なる色を有するマーカによって構成されている場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、指標の各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを画像上に施すことにより、指標の位置を検出する。また、四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、４つの直線によって形成されている領域を指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本明細書では、４つの頂点の個々によって形成される４つの指標であると考える。

指標検出部１１０は、さらに、検出された指標の画像座標とその指標の識別子をデータ記憶部１７０へと出力する。なお、以下では、撮像画像上で検出された指標を、検出された指標の夫々に付けられた識別子ｎ（ｎ＝１，，，Ｎ）を用いて、Ｑ_ｋｎと表記する。ここで、Ｎは撮像画像上で検出された指標の数を表している。また、検出された指標Ｑ_ｋｎの画像座標をｕ^Ｑｋｎと表記する。例えば図１の場合には、Ｎ＝１であり、指標の識別子ｋ_１＝１と、これらに対応する画像座標ｕ^Ｑｋ１が出力される。

誤検出防止処理部１４０は、表示装置１８０が撮像装置１３０によって撮影されるときに、表示装置１８０に表示された指標（図１の場合にはＱ_１’）が指標検出部１１０で検出されることを防止するために、撮影画像における指標検出部１１０によって検出された指標の位置に、局所的に図形又は小画像を重畳表示する。

ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。

画像生成部１５０は、表示装置１８０に表示するための表示画像を生成し、画像出力部１９０は、画像生成部１５０で生成された表示画像を表示装置１８０に出力するデータに変換し、表示装置へ出力する。

データ記憶部１７０は、画像入力部１６０から入力される画像、指標検出部１１０から入力される各々の指標の画像座標及び識別子、撮像装置１３０のカメラパラメータ等のデータを保持し、必要に応じてこれらを入出力する。

なお、図１に示した画像入力部１６０、データ記憶部１７０、指標検出部１１０、誤検出防止処理部１４０、画像生成部１５０、及び画像出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標検出部１１０、誤検出防止処理部１４０、画像生成部１５０、及び画像出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。

図２は画像入力部１６０、データ記憶部１７０、指標検出部１１０、誤検出防止処理部１４０、画像生成部１５０、及び画像出力部１９０の夫々をソフトウェアとして実行するコンピュータの基本構成を示す図である。

１００１はＣＰＵで、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像入力部１６０、データ記憶部１７０、指標検出部１１０、誤検出防止処理部１４０、画像生成部１５０、及び画像出力部１９０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。

１００２はＲＡＭで、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。データ記憶部１７０の機能は、ＲＡＭ１００２によって実現される。

１００３はＲＯＭで、一般にコンピュータの記憶プログラムや設定データなどが格納されている。１００４、１００５は夫々キーボード、マウスで、操作者は夫々を用いて、各種の指示をＣＰＵ１００１に入力することができる。

１００６は表示部で、ＣＲＴや液晶画面などにより構成されており、例えば、撮像装置１３０の位置姿勢計測のために表示すべきメッセージ等を表示することができる。

１００７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

１００８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

１００９はＩ／Ｆで、撮像装置１３０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、姿勢センサ１４０を接続するためのＲＳ２３２ＣあるいはＵＳＢシリアルポート、また、識別した指標に関わる情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。画像入力部１６０の機能の一部は、Ｉ／Ｆ１００９によって実現される。

１０１０は上述の各部を繋ぐバスである。

図３は、表示装置１８０に表示された指標の誤検出を防止する処理のフローチャートであり、ＣＰＵ１００１が誤検出防止処理部１４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

図３の処理では、誤検出防止処理部５４０を用いて、表示装置１８０に表示する表示画像における指標部分に対して図形または小画像を重畳する。

ステップＳ３０００において、誤検出防止処理部１４０は、指標検出部１１０において検出された夫々の指標Ｑ_ｎの画像座標ｕ^Ｑｎをデータ記憶部１７０から入力する。

ステップＳ３０１０において、誤検出防止処理部１４０は、指標検出部１１０が指標検出処理を行った撮像画像上の画像座標ｕ^Ｑｍの位置に、局所的に図形又は小画像を重畳表示する。

例えば、指標の各々が異なる色を有するマーカによって構成されている場合には、マーカ色として登録されていない色の図形（例えば円）を画像座標ｕ^Ｑｍの位置に重畳表示してマーカを覆い隠す。また、指標の各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、テクスチャ特徴の一部を覆い隠すように、図形又は小画像を重畳表示する。また、四角形指標を用いるような場合は、四角形指標として認識されなくなるように、図形又は小画像を重畳表示する。

図４は、四角形指標の指標領域４００中の特定パターンの一部を覆い隠すように四角形４１０を重畳表示した場合を示す図である。図４に示した例では、四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠している。

ステップＳ３０２０において、誤検出防止処理部１４０は、撮像画像に局所的に図形又は小画像を重畳表示した画像をデータ記憶部１７０に出力する。局所的に図形又は小画像が重畳された画像は、画像生成部１５０を介して表示装置１８０によって表示される。

以上の処理によって、局所的に図形又は小画像を重畳された画像が、表示装置１８０上に表示される。よって、表示画像が撮像装置１３０により撮影されたとしても、表示画像上に表示された指標が指標として検出されることはなくなる。

以上のように、本実施形態に係る情報処理装置及び情報処理方法によると、現実空間に存在する表示装置が撮像装置により撮影されても、表示装置上に表示された指標には図形又は小画像が重畳表示されているため、指標として検出されることを防止することができる。

なお、上記実施形態では、指標に重畳する画像として、図形又は小画像を用いたが、仮想物体画像などの他の画像を用いても構わない。

［第２の実施形態］
本実施形態に係る情報処理装置は、指標検出部１１０によって検出された各々の指標の情報に基づいて撮像装置１３０の位置及び姿勢を算出する位置姿勢算出部を、第１の実施形態の情報処理装置にさらに追加した構成となっている。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。

図５は、本実施形態に係る情報処理装置の構成を示す図である。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。図５に示したように、本実施形態における情報処理装置５００は、画像入力部１６０、データ記憶部１７０、指標検出部１１０、位置姿勢算出部５２０、誤検出防止処理部５４０、画像生成部１５０、及び画像出力部１９０によって構成されており、撮像装置１３０及び表示装置１８０に接続されている。

現実空間中の複数の位置には、撮像装置１３０によって撮影するための指標として、世界座標系（現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置ｘ_Ｗ ^Ｑｋが既知である複数個の指標Ｑ_ｋ（ｋ＝１，，，Ｋ_Ｑ）が配置されている。本実施形態においては、指標Ｑ_ｋは、撮像装置１３０によって取得される撮像画像上において、少なくとも３個以上の指標が常に観測されるように設定されていることが望ましい。図５の例は、４個の指標Ｑ_１，Ｑ_２，Ｑ_３，Ｑ_４が設定されており、そのうちの３個の指標Ｑ_１，Ｑ_３，Ｑ_４が撮像装置１３０の視野内に含まれている状況を示している。この場合、Ｎ（撮像画像上で検出された指標の数）＝３であり、指標の識別子ｋ_１＝１，ｋ_２＝３，ｋ_３＝４と、これらに対応する画像座標ｕ^Ｑｋ１，ｕ^Ｑｋ２，ｕ^Ｑｋ３が指標検出部１１０から出力される。

位置姿勢算出部５２０は、指標検出部１１０によって検出された各々の主観視点指標の画像座標ｕ^Ｑｋｎと、既知な情報として予め保持されている世界座標ｘ_Ｗ ^Ｑｋｎの組をデータ記憶部１７０から入力し、これらの情報に基づいて撮像装置１３０の位置及び姿勢を算出する。算出した位置及び姿勢は、例えば、位置を表す３次元ベクトルｘ_Ｗ ^Ｃと姿勢を表す３×３行列Ｒ_ＷＣとの組の形態によってデータ記憶部１７０に出力する。

主観視点指標の世界座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において古くから提案されている（例えば、非特許文献４、非特許文献５を参照）ので、その詳細な説明は省略する。

誤検出防止処理部５４０は、表示装置１８０が撮像装置１３０によって撮影されるときに、表示装置１８０に表示された指標（図５の場合にはＱ_１’，Ｑ_３’，Ｑ_４’）が指標検出部１１０で検出されることを防止するために、指標の推定位置に３次元仮想物体を重畳表示する。重畳する画像は、３次元仮想物体に限らず、他の図形又は小画像でも構わない。

なお、図５に示した画像入力部１６０、データ記憶部１７０、指標検出部１１０、位置姿勢算出部５２０、誤検出防止処理部５４０、画像生成部１５０、及び画像出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標検出部１１０、位置姿勢算出部５２０、誤検出防止処理部５４０、画像生成部１５０、及び画像出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。またこのコンピュータの基本構成は図２に示した構成とする。

図６は、表示装置１８０に表示された情景中の指標の誤検出を防止する処理のフローチャートであり、ＣＰＵ１００１が誤検出防止処理部５４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

ステップＳ６０００において、誤検出防止処理部５４０は、位置姿勢算出部５２０が算出した撮像装置１３０の位置及び姿勢と、既知な情報として予め保持されている指標の世界座標ｘ_Ｗ ^Ｑｋｎを、データ記憶部１７０から入力する。

ステップＳ６０１０において、誤検出防止処理部５４０は、撮像装置１３０の位置及び姿勢に基づいて、指標の世界座標ｘ_Ｗ ^Ｑｋｎを透視投影変換し、その位置に３次元仮想物体を重畳表示する。

ステップＳ６０２０において、誤検出防止処理部５４０は、撮像画像に３次元仮想物体を重畳表示した画像をデータ記憶部１７０に出力する。

以上の処理によって、撮像画像に３次元仮想物体を重畳表示した画像を、画像出力部１９０から出力して表示装置１８０に表示すれば、表示装置１８０が撮像装置１３０により撮影されても、表示装置１８０上に表示された指標が検出されることはなくなる。

なお、本実施形態において、撮像装置に位置姿勢センサを装着することによって、撮像装置の位置及び姿勢を計測してもよい。この場合には、画像情報を用いる場合と比較して、撮像装置の位置及び姿勢を安定的に推定することができる。

また、本実施形態において、撮像装置に慣性センサを装着して、例えば非特許文献６の手法によって、撮像装置の位置及び姿勢を算出してもよい。この場合、撮像装置によって取得される撮像画像上において、少なくとも２個以上の指標が常に観測されるように設定されていればよい。そして、この場合にも、画像情報のみを用いる場合と比較して、撮像装置の位置及び姿勢を安定的に推定することができる。

以上のように、本実施形態に係る情報処理装置及び情報処理方法によれば、指標の検出に失敗したような場合でも、指標があると予想される位置に３次元仮想物体を重畳表示することができる。すなわち、情景が薄暗いなどの理由によって撮像画像では指標として検出されなかった指標領域が、表示装置１８０に表示して撮像装置１３０で撮影した際には指標として検出されてしまうような場合を防止することができる。

［第３の実施形態］
上記の実施形態の夫々における指標検出部では、撮影画像の全領域に対して指標の検出処理を行っていた。これに対し、表示装置の設置場所を、そもそも指標の検出処理を行わない領域として設定してもよい。そうすれば、表示装置に指標が表示されていても、その指標の検出処理は行われないため、誤検出を防止することができる。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。

本実施形態に係る情報処理装置の構成は、第２の実施形態における情報処理装置の構成と同じく図５に示した通りであるが、誤検出防止処理部５４０および指標検出部１１０の機能が第２の実施形態とは異なる。

誤検出防止処理部５４０では、表示装置１８０が撮像装置１３０によって撮影されるときに、撮像装置１３０の位置及び姿勢、及び表示装置１８０の位置及び姿勢に基づいて、撮影画像中のどの領域が表示装置１８０に相当するかを算出し、その領域の情報をデータ記憶部１７０に出力する。

指標検出部１１０では、表示装置１８０に相当する画像中の領域の情報をデータ記憶部１７０より入力し、指標の検出処理をその領域以外の領域に対して行う。

図７は、撮影画像中の表示装置１８０に相当する領域を算出する処理のフローチャートであり、ＣＰＵ１００１が誤検出防止処理部５４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

ステップＳ７０００において、誤検出防止処理部５４０は、位置姿勢算出部５２０が算出した撮像装置１３０の位置及び姿勢と、既知な情報として予め保持されている表示装置の位置及び姿勢と（概略の）３次元モデルを、データ記憶部１７０から入力する。なお、初期状態においては、未だ指標検出部１１０で指標の検出が行われておらず、位置姿勢算出部５２０で撮像装置１３０の位置及び姿勢が算出されていないため、例えば、既知な情報として予め保持されている撮像装置１３０の初期位置及び初期姿勢をデータ記憶部１７０から入力する。

ステップＳ７０１０において、誤検出防止処理部５４０は、撮像装置１３０の位置及び姿勢と、表示装置１８０の位置及び姿勢とに基づいて、表示装置１８０の（概略の）３次元モデルを撮影画像上に透視投影変換する。

ステップＳ７０２０において、誤検出防止処理部５４０は、透視投影変換された表示装置１８０の（概略の）３次元モデルが占める画像中の領域を算出し、例えば、その領域の画素値を１、それ以外の領域の画素値を０としたマスク画像を生成する。

ステップＳ７０３０において、誤検出防止処理部５４０は、ステップＳ７０２０において作成したマスク画像をデータ記憶部１７０に出力する。

以上のようにして出力されたマスク画像を指標検出部１１０において入力し、指標の検出処理をマスク画像の画素値が０の領域のみに対して行えば、表示装置に指標が表示されていても、その指標の検出処理は行われないことになる。

なお、本実施形態において、撮像装置に位置姿勢センサを装着することによって、撮像装置の位置及び姿勢を計測してもよい。この場合には、撮像装置１３０の初期位置及び初期姿勢をデータ記憶部１７０に保持しておかなくてもよい。

また、本実施形態において、表示装置が移動するような場合には、既知な情報として予め保持されている表示装置の位置及び姿勢をデータ記憶部１７０から入力する代わりに、上記の第２の実施形態における撮像装置の位置及び姿勢の算出処理と同様な手法によって、表示装置の位置及び姿勢を算出すればよい。

以上のように、本実施形態に係る情報処理装置及び情報処理方法によると、現実空間に存在する表示装置が撮像装置により撮影されても、表示装置上に表示された指標については検出処理が行われないため、誤検出を防止することができる。

［第４の実施形態］
上記の実施形態の夫々における誤検出防止処理部では、指標上に図形等を重畳描画することによって誤検出を防止していたが，表示装置の表示画面が撮像装置によって正常に撮影されないようにしても誤検出を防止することができる。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。

図８は、本実施形態に係る情報処理装置の構成を示す図である。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。図８に示したように、本実施形態における情報処理装置８００は、画像入力部１６０、データ記憶部１７０、指標検出部１１０、画像生成部１５０、及び画像出力部１９０によって構成されており、撮像装置１３０及び表示装置１８０に接続されている。そして、誤検出防止手段として、撮像装置１３０に偏光フィルタ８４０が、そして表示装置１８０に偏光フィルタ８４５が取り付けられている。例えば、撮像装置１３０及び表示装置１８０に、夫々の回転方向が異なる円偏光フィルタを配置すれば、すなわち、例えば撮像装置１３０に右回りの円偏光フィルタ８４０、表示装置１８０に左回りの円偏光フィルタ８４５を配置すれば、表示装置の表示画面は、撮像装置と表示装置の相対的な向きに関係なく、撮像装置によってほぼ真っ暗に撮影される。すなわち、撮影画像において、表装置の表示画面はほぼ真っ黒の画像になる。
よって、指標検出部１１０において、表示画面内に表示された指標は、検出されなくなる。

なお、偏光フィルタ８４０、８４５を使用する代わりに、表示装置１８０のリフレッシュレート及び／又は撮像装置１３０のフレームレートを、夫々が異なる値となるように設定して、表示装置１８０の表示画面（図９左）が撮像装置１３０によって正常に撮影されないようにしてもよい。例えば、撮像装置１３０のフレームレートを１００ｆｐｓ（シャッタースピードを１／１００秒）に設定し、表示装置１８０のリフレッシュレートを６０Ｈｚに設定すれば、図９右に示すように、撮像装置１３０によって撮影される表示画面１８０には黒い縞模様が映り込むため、指標Ｑ’の一部が黒い縞模様によって隠されることになる。そうすれば、指標Ｑ’がテクスチャ特徴を有する特徴点によって構成されている場合や図１０に示すような四角形指標を用いる場合には、表示画面内のそれらを誤って情景中の指標として検出してしまうことがなくなる。この場合の情報処理装置の構成は、図８から偏光フィルタ８４０及び８４５を除いたものとなる。

以上のように、本実施形態に係る情報処理装置及び情報処理方法によると、現実空間に存在する表示装置の表示画面は撮像装置によって正常に撮影されないため、誤検出を防止することができる。

［その他の実施形態］
上記の第１および第２の実施形態における誤検出防止処理部では、指標の３次元位置上に画像を重畳することにより指標を変更または隠していたが、撮影画像における表示装置が撮影された画像領域に他の画像を重畳することによって、表示装置全体を隠すようにしてもよい。ここで、表示装置全体ではなく、表示装置の画面部分のみに３次元仮想物体を配してもよいことは言うまでもない。

なお、表示装置が移動するような場合には、上記の第２の実施形態における撮像装置の位置及び姿勢の算出処理と同様な手法によって、表示装置の位置及び姿勢を算出し、それに基づいて表示装置の３次元位置上に３次元仮想物体を配すればよい。この場合には、図５にさらに表示装置位置姿勢算出部が追加された構成となる。

なお、上述した実施形態をビデオシースルー方式ヘッドマウントディスプレイを用いた複合現実感を提示するシステムに適用することもできる。この場合、例えば、ヘッドマウントディスプレイの撮影部が撮像装置１３０に相当する。そして、指標を用いてヘッドマウントディスプレイの位置および姿勢を求め、求められた位置および姿勢に応じた仮想画像を生成し、仮想画像を撮影部で撮影された撮影画像に合成する。これにより、ユーザに複合現実感を提示することができる。さらに、ヘッドマウントディスプレイに表示されている画像に相当する画像を表示装置１８０に表示することにより、複合現実感を体験しているユーザ以外の観客に対してユーザが体験している状況を提示することができる。

上記各実施形態によれば、このようなシステムにおいて、表示画像における指標を指標として誤検出することにより、複合現実感の精度が低下することを防ぐことができる。

第１の実施形態に係る情報処理装置の概略構成を示す図である。 情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。 第１の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。 第１の実施形態における、四角形指標の一部を覆い隠すように図形を重畳表示した例を示す図である。 第２の実施形態に係る情報処理装置の概略構成を示す図である。 第２の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。 第３の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。 第４の実施形態に係る情報処理装置の概略構成を示す図である。 表示装置のリフレッシュレート又は撮像装置フレームレートを制御することによって得られる表示画像上の指標の一例を示すである。 従来技術で利用されている指標の例である。

Claims (12)

1. 撮像手段によって情景を撮影することにより得られた画像を入力する画像入力手段と、
   前記撮影された画像から前記情景中の指標を検出する検出手段と、
   前記検出手段により検出された指標を用いて前記撮像手段の位置姿勢を推定する推定手段と、
   前記撮像手段により撮影された画像から表示画像を生成する生成手段と、
   前記生成手段により生成された表示画像を表示手段に表示させる出力手段と、
   前記表示手段が前記撮像手段により撮影されるときに該表示手段上に表示される情景中の指標が前記検出手段により検出されることを防止する誤検出防止手段と
   を備え、
   前記誤検出防止手段は、前記表示手段のリフレッシュレート及び／又は前記撮像手段のフレームレートを、夫々が異なる値となるように設定することを特徴とする情報処理装置。
2. 撮像手段によって情景を撮影することにより得られた画像を入力する画像入力手段と、
   前記撮影された画像から前記情景中の指標を検出する検出手段と、
   前記検出手段により検出された指標を用いて前記撮像手段の位置姿勢を推定する推定手段と、
   前記撮像手段により撮影された画像から表示画像を生成する生成手段と、
   前記生成手段により生成された表示画像を表示手段に表示させる出力手段と、
   前記表示手段が前記撮像手段により撮影されるときに該表示手段上に表示される情景中の指標が前記検出手段により検出されることを防止する誤検出防止手段と
   を備え、
   前記誤検出防止手段は、前記表示手段及び前記撮像手段に夫々の偏光の向きが異なるように取り付けた偏光フィルタを用いることを特徴とする請求項１に記載の情報処理装置。
3. 前記誤検出防止手段は、前記撮像手段により撮影される画像の上に局所的に画像を重畳することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記誤検出防止手段は、前記表示手段上に表示される情景中の指標が該表示手段上で検出されないように、該検出手段により検出された指標の画像上の検出位置に画像を重畳することを特徴とする請求項３に記載の情報処理装置。
5. 前記撮像手段の位置姿勢を計測する位置姿勢計測手段をさらに備え、
   前記誤検出防止手段は、該位置姿勢計測手段により求められた該撮像手段の位置姿勢および前記指標の３次元位置に基づき、前記画像における指標の位置に３次元仮想物体画像を重畳することを特徴とする請求項３に記載の情報処理装置。
6. 前記誤検出防止手段は、前記表示手段上に表示される情景中の該表示手段を隠すように、該表示手段の画像上での位置に局所的に画像を重畳することを特徴とする請求項３に記載の情報処理装置。
7. さらに、前記表示手段の位置姿勢を求める第２の位置姿勢計測手段を備え、
   前記誤検出防止手段は、該第２の位置姿勢計測手段で計測された該表示手段の位置姿勢に基づき、前記画像における表示手段の位置に仮想物体画像を重畳することを特徴とする請求項３に記載の情報処理装置。
8. 前記検出手段により検出された指標を用いて前記撮像装置の位置姿勢を推定する推定手段と
   を有することを特徴とする請求項１又は２に記載の情報処理装置。
9. 情報処理装置が行う情報処理方法であって、
   前記情報処理装置の入力手段が、表示装置が配置されている情景を撮像装置により撮影することにより得られた撮影画像を入力する入力工程と、
   前記情報処理装置の検出手段が、前記撮影画像から前記情景中の指標を検出する検出工程と、
   前記情報処理装置の推定手段が、前記検出工程で検出された指標を用いて前記撮像装置の位置姿勢を推定する推定工程と、
   前記情報処理装置の生成手段が、前記撮影画像から前記表示装置に表示するための表示画像を生成する生成工程と、
   前記情報処理装置の出力手段が、前記生成手段により生成された表示画像を前記表示装置に表示させる出力工程と、
   前記情報処理装置の誤検出防止手段が、前記表示装置に表示される情景中の指標が前記検出工程で検出されることを防止する誤検出防止工程と
   を備え、
   前記誤検出防止工程では、前記表示手段のリフレッシュレート及び／又は前記撮像手段のフレームレートを、夫々が異なる値となるように設定することを特徴とする情報処理方法。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の入力手段が、表示装置が配置されている情景を撮像装置により撮影することにより得られた撮影画像を入力する入力工程と、
    前記情報処理装置の検出手段が、前記撮影画像から前記情景中の指標を検出する検出工程と、
    前記情報処理装置の推定手段が、前記検出工程で検出された指標を用いて前記撮像装置の位置姿勢を推定する推定工程と、
    前記情報処理装置の生成手段が、前記撮影画像から前記表示装置に表示するための表示画像を生成する生成工程と、
    前記情報処理装置の出力手段が、前記生成手段により生成された表示画像を前記表示装置に表示させる出力工程と、
    前記情報処理装置の誤検出防止手段が、前記表示装置に表示される情景中の指標が前記検出工程で検出されることを防止する誤検出防止工程と
    を備え、
    前記誤検出防止工程では、前記表示手段及び前記撮像手段に夫々の偏光の向きが異なるように取り付けた偏光フィルタを用いることを特徴とする情報処理方法。
11. 前記情報処理装置の仮想画像生成手段が、前記推定工程で推定された位置姿勢に基づき仮想画像を生成する仮想画像生成工程と、
    前記情報処理装置の合成手段が、前記仮想画像を前記撮影画像に合成する合成工程とを有することを特徴とする請求項９または１０記載の情報処理方法。
12. 請求項９乃至１１のいずれか１項に記載の情報処理方法の各工程をコンピュータに実行させるためのコンピュータ読み取り可能なプログラム。

Images