JP6192454B2 - 表示システム - Google Patents

Description

この発明は表示システムに関し、特にマーカを用いた拡張現実（ＡＲ）に関するものである。

現実世界にアノテーションを追加的に表示する拡張現実が、いろいろな分野において実用化されてきている。たとえば、透明な液晶ディスプレイによって構成され、カメラのついたメガネを装着することで拡張現実を実現するものがある。メガネを通して観察者の見ている現実に対して、液晶ディスプレイによって仮想のオブジェクトをアノテーションとして表示し、拡張現実を実現している。

拡張現実を実現するためには、観察者の視点を決定する必要がある。一般に、観察者の視点を決定するためには、撮像した画像を分析する方法、ＧＰＳやセンサなどを用いる方法がある。前者においては、マーカを用いこれを撮像することで観察者の視点を決定する方法と、マーカを用いることなく撮像した画像によって観察者の視点を決定する方法がある。マーカを用いるシステムは、たとえば特許文献１に記載されている。

特開２００３−７８８１１

しかしながら、特許文献１の技術では、マーカが撮像画像から外れると拡張現実の表示を行うことができないという問題があった。このため、広い視野にわたって拡張現実の表示を行うことは困難であるという問題があった。

この問題を解決するために、マーカを定められた間隔（たとえば１ｍごと）に予め配置しておくという方法がとられている。しかし、この方法では、マーカを予め規則的に配置しておく必要があり、前作業が煩雑であるという問題を生じていた。

この発明は、上記のような問題を解決して、作業が簡易でありながら、撮像されないマーカがでてきても拡張現実の表示を継続することのできる表示システムを提供することを目的とする。

(1)(2)この発明に係る表示システムは、互いの位置関係が既知である複数の特徴点を有する第１のマーカおよび第２のマーカを少なくとも撮像する撮像部と、第１のマーカおよび第２のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカまたは前記第２のマーカと前記撮像手段との位置関係を算出し、あるいは前記第１のマーカ、前記第２のマーカ、前記撮像手段の位置関係を算出し、基準座標系を決定する基準座標系決定手段と、前記決定した基準座標系に基づいて、当該基準座標系に仮想三次元オブジェクトを配置し、前記撮像部と関連づけられた視点から見たときに当該仮想三次元オブジェクトがどのように見えるかを、前記第１のマーカまたは前記第２のマーカのいずれかまたは双方の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて算出し、仮想オブジェクト画像を生成する仮想オブジェクト画像生成手段と、前記仮想オブジェクト画像を、表示部において表示するよう制御する表示手段とを備えた表示システムにおいて、
前記第１のマーカが撮像部による撮像画像から外れると、前記仮想オブジェクト画像生成手段は、前記第２のマーカに基づいて、仮想オブジェクト画像を生成することを特徴としている。

したがって、第１のマーカが撮像されなくなっても、継続的に拡張現実の表示を行うことができる。

(3)この発明に係る表示システムにおいては、仮想三次元オブジェクトが、前記第１のマーカまたは第２のマーカとの関係において前記基準座標系における配置位置が定められている。

したがって、第１のマーカを正しい位置に置けば、第２のマーカは任意の位置に置いても、継続的な拡張現実の表示を実現できる。

(4)この発明に係る表示システムにおいては、三次元オブジェクトが、オブジェクト配置用マーカに基づいて、前記基準座標系における配置位置が定められることを特徴としている。

したがって、第１のマーカ、第２のマーカともに任意の位置に置いても、継続的な拡張現実の表示を実現できる。

(5)この発明に係る拡張現実表示方法は、互いの位置関係が既知である複数の特徴点を有する第１のマーカを撮像し、第１のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカと前記撮像手段との位置関係を算出し、基準座標系を決定し、互いの位置関係が既知である複数の特徴点を有する第２のマーカを撮像し、第２のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第２のマーカと前記撮像手段との位置関係を算出し、当該第２のマーカの位置を前記基準座標系に組み入れ、前記決定した基準座標系に基づいて、当該基準座標系に仮想三次元オブジェクトを配置し、前記撮像部と関連づけられた視点から見たときに当該仮想三次元オブジェクトがどのように見えるかを、前記第１のマーカまたは前記第２のマーカのいずれかまたは双方の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて算出し、仮想オブジェクト画像を生成し、前記仮想オブジェクト画像を、表示部に表示する拡張現実表示方法において、前記第１のマーカが撮像部による撮像画像から外れると、前記第２のマーカに基づいて、仮想オブジェクト画像を生成して表示することを特徴としている。

したがって、第１のマーカが撮像されなくなっても、継続的に拡張現実の表示を行うことができる。

この発明において「撮像部」とは、対象を撮像することのできるものをいい、実施形態においてはＣＭＯＳカメラ２がこれに該当する。

「基準座標決定手段」は、実施形態においては、ステップＳ３がこれに対応する。

「仮想オブジェクト画像生成手段」は、実施形態においては、ステップＳ７、Ｓ８がこれに対応する。

「表示手段」は、実施形態においては、ステップＳ９がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による表示システムの機能ブロック図である。 表示システムの外観図である。 ハードウエア構成を示す図である。 表示プログラム２２のフローチャートである。 表示プログラム２２のフローチャートである。 マーカＭ1、Ｍ2の配置と撮像画像を示す図である。 マーカと基準座標系との関係を示す図である。 テーブルに記録される情報を示す図である。 撮像方向を特定するためのパラメータθ、φを説明するための図である。 拡張現実の表示例である。 視点が移動した際の拡張現実の表示例である。 表示プログラム２２のフローチャートである。

１．全体構成
図１に、この発明の一実施形態による表示システムの機能ブロック図を示す。表示手段８は、たとえば、観察者の装着したメガネのガラス部分に配置された透明液晶ディスプレイである。また、撮像部２は、当該メガネに設けられたカメラである。

撮像部２は、第１のマーカＭ1、第２のマーカＭ2を撮像する。第１のマーカＭ1には、特徴点Ｆ11、Ｆ12、Ｆ13、Ｆ14が印刷されている。同様に、第２のマーカＭ2には、特徴点Ｆ21、Ｆ22、Ｆ23、Ｆ24が印刷されている。

基準座標系決定手段４は、撮像画像中の、第１のマーカＭ1の特徴点Ｆ11、Ｆ12、Ｆ13、F14の位置関係より、第１のマーカＭ1と撮像部２との相対的な位置を算出する。これにより、第1のマーカＭ1、撮像部２の位置関係を反映した基準座標系を決定する。さらに、基準座標系決定手段４は、撮像画像中の、第２のマーカＭ2の特徴点Ｆ21、Ｆ22、Ｆ23、Ｆ24の位置関係より、第２のマーカＭ2と撮像部２との相対的な位置を算出する。そして、先に算出した基準座標系における第２のマーカＭ2の位置を決定する。

仮想オブジェクト画像生成手段６は、この基準座標系にアノテーションとして追加する仮想三次元オブジェクトを配置する。さらに、仮想オブジェクト画像生成手段６は、観察者の視点から、この仮想三次元オブジェクトを見たときにどのように見えるかを、前記第１のマーカＭ1または前記第２のマーカＭ2の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて計算し、仮想オブジェクト画像を生成する。表示手段８は、生成された仮想オブジェクト画像を、表示部１０に表示する。

ここで、撮像部２によって撮像された画像において、第１のマーカＭ1が外れて、第２のマーカＭ2だけとなった時には、次のようにして拡張現実の表示を行う。すなわち、仮想オブジェクト画像生成手段６は、第２のマーカＭ2の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて計算し、仮想オブジェクト画像を生成する。

これにより、第１のマーカＭ1が撮像部２の撮像範囲から外れても、拡張現実の表示を継続することができる。さらに、第２のマーカＭ2のみが撮像されている状態において、第３のマーカＭ3（図示せず）を撮像範囲内の任意の位置に置くことにより、第２のマーカＭ2、第３のマーカＭ3のいずれかが撮像範囲から外れても、拡張現実の表示を継続することが可能となる。

２．ハードウエア構成
図２に、この発明の一実施形態による表示システム１２の外観を示す。レンズ部分には、表示部である透明な液晶ディスプレイ１０が設けられている。この液晶ディスプレイ１０は透明であるため、装着者がこれを通して現実の世界を見ることができる。さらに、これに重ねて、アノテーションを表示することができる。

左側のツルの前方部には、撮像部であるＣＭＯＳカメラ２（ＵＳＢカメラやウエブカメラなどで一般的に用いられているＣＭＯＳイメージセンサを用いたカメラ）が設けられている。ツルの内部には、バッテリや制御回路（図示せず）が収納されている。

図３に、制御回路をＣＰＵを用いて構成した場合の構成を示す。ＣＰＵ１６には、ＣＭＯＳカメラ２、液晶ディスプレイ１０、不揮発性メモリ１８が接続されている。不揮発性メモリ１８には、オペレーティングシステム２０（たとえば、I-TORNなど）、表示プログラム２２が記録されている。表示プログラム２２は、オペレーティングシステム２０と協働してその機能を発揮するものである。

３．表示処理
図４ａ、図４ｂに、表示プログラム２２のフローチャートを示す。なお、仮想三次元オブジェクトを表示するためのプログラムとしては、ＡＲツールキットを用いることができる。

ＣＰＵ１６は、まず、ＣＭＯＳカメラ２によって撮像した画像を取り込む（ステップＳ１）。取り込んだ画像の例を、図５に示す。なお、図４ａのフローチャートにおいては、撮像画像の取り込みはステップＳ１のみが示されているが、ステップＳ２以下の処理と並行して、所定時間毎に取り込みが行われている。

続いて、ＣＰＵ１６は、画像中からマーカＭ1を認識し、さらに、当該マーカＭ1の特徴点Ｆ11、Ｆ12、Ｆ13、Ｆ14を認識する（ステップＳ２）。次に、ＣＰＵ１６は、図６に示すように、マーカＭ1の中心Ｏ1を原点とし、特徴点Ｆ11とＦ12を結ぶ方向がＸ方向、特徴点Ｆ11とＦ14を結ぶ方向がＹ方向、ＸＹ平面に垂直な方向にＺ方向をとって、基準座標系を決定する（ステップＳ３）。さらに、ＣＰＵ１６は、撮像画像におけるマーカＭ1の特徴点Ｆ11、Ｆ12、Ｆ13、Ｆ14の位置関係に基づいて、当該基準座標系におけるカメラ位置Ｃおよび撮像方向の推定を行う（図５Ｂ参照、ステップＳ４）。なお、撮像方向は、図８に示すように、ＸＹ平面内における角度θ、ＸＹ平面に対する角度φによって特定する。

なお、この実施形態においては、マーカＭ1は、アノテーションとして表示したい仮想三次元オブジェクトとの関係において計算された位置に置くようにしている。

この時、撮像された画像中にマーカＭ1のみが写っており、他のマーカが写っていなければ、上記の基準座標系を元に仮想三次元オブジェクトの表示を実行する。

ここでは、図５Ａに示すように、マーカＭ2も撮像されていたものとして説明を進める。マーカＭ2は、予め配置しておいてもよいが、仮想現実の処理を行っている最中に追加的に置くようにしてもよい。いずれの場合であっても、マーカＭ2は、その向きやマーカＭ1との間隔等の点において、制限なく自由に配置することができる。

ＣＰＵ１６は、第２のマーカＭ2の特徴点Ｆ21、Ｆ22、Ｆ23、Ｆ24を認識する（ステップＳ５）。これにより、マーカＭ2とカメラ位置Ｃとの相対的な位置関係がわかる。さらに、ＣＰＵ１６は、この相対的な位置関係に基づいて、基準座標系における第２のマーカＭ2の位置（中心点Ｏ2の位置）を推定する。

このようにして、図７に示すようなテーブルが不揮発性メモリ１８に記録される。

次に、ＣＰＵ１６は、予め定め不揮発性メモリ１８に記録されている三次元仮想オブジェクトのデータを読み出し、基準座標系において、第１のマーカＭ1との関係において予め定められている位置に配置する（ステップＳ７）。つづいて、ＣＰＵ１６は、観察者の視点から見た仮想三次元オブジェクトの二次元仮想オブジェクト画像を生成する（ステップＳ８）。なお、カメラ位置とカメラの撮像方向が分かっているので、図２のカメラ２の位置と、液晶ディスプレイ１０との位置関係から、観察者の視点を算出することができる。

さらに、ＣＰＵ１６は、生成した二次元仮想オブジェクト画像をディスプレイ１０に表示する（ステップＳ９）。これにより、例えば、図９に示すように、仮想三次元オブジェクトの画像Ｊが現実のオブジェクトＲに重ねて表示されることになる。なお、画像Ｊは、観察者の視点が移動すると、これに応じてその位置に仮想三次元オブジェクトが存在するかのように変更されるので、観察者は仮想的にそれを感知することができる。

次に、観察者の視点方向が変化し、図５のような撮像画像からマーカＭ1が外れた場合について説明する(図１０参照）。この場合の表示プログラム２２のフローチャートを、図１１に示す。なお、撮像画像の取り込みは、これらの処理と並行して所定時間間隔で実行されている。

ＣＰＵ１６は、撮像画像において、第２のマーカＭ2の特徴点Ｆ21、Ｆ22、Ｆ23、Ｆ24を認識する（ステップＳ１１）。これにより、既に算出済みである基準座標系におけるカメラＣの位置、撮像方向を推定する（ステップＳ１２）。次に、ＣＰＵ１６は、仮想三次元オブジェクトを、基準座標系に配置する（ステップＳ１３）。前述のように、仮想三次元オブジェクトは、第１のマーカＭ1との関係においてその位置が定義されている。しかし、ここでは、第１のマーカＭ1と第２のマーカＭ2との位置関係が既知であるから、仮想三次元オブジェクトを正しく配置することができる。

次に、ＣＰＵ１６は、観察者の視点から見た仮想三次元オブジェクトの二次元画像を生成する（ステップＳ１４）。続いて、ＣＰＵ１６は、仮想オブジェクトの二次元画像をディスプレイ１０に表示する（ステップＳ１５）。表示例を図１０に示す。マーカＭ1が一部分しか撮像されていなくとも（あるいは全く撮像されていなくとも）、図１０に示すように、正しい位置に仮想オブジェクトＪを表示することができる。また、図９では表示されていなかった仮想オブジェクトＫも表示することができる。

以上のように、基準となるマーカＭ1を撮像できなくなっても、任意の位置においたマーカＭ2によって、拡張現実を継続的に表示することができる。さらに、図１０の状態においてマーカＭ3を置けば、マーカＭ2、Ｍ3のいずれかが撮像できなくなっても、継続的に拡張現実を実現することができる。

４．その他の実施形態
(1)上記実施形態においては、第１のマーカＭ1を、現実のオブジェクトＲとの関係において予め定めた位置に置くようにしている。しかし、第１のマーカＭ1は任意の位置に置くようにし、仮想オブジェクト配置用のマーカを別途置いて、この配置用マーカの上に仮想オブジェクトを表示するようにしてもよい。この場合、画面を見ながら配置用マーカを移動させて仮想オブジェクトの位置を決定する。

仮想オブジェクトごとに、上記のように配置用マーカを用いて表示位置を設定してもよいし、基準となる仮想オブジェクトについてのみ配置用マーカを用い、他の仮想オブジェクトはこの仮想オブジェクトとの位置関係を定めておいて表示するようにしてもよい。

(2)なお、上記実施形態では、透明な液晶ディスプレイ１０を用いている。しかし、観察者の目に近接して配置した小型のディスプレイ（透明でも非透明でもよい）を設けるようにしてもよい。観察者の目に近接しているので、現実のオブジェクトに目の焦点を合わせると、ディスプレイ自体は観察者に意識されなくなって、同様の効果を得ることができる。

(3)上記実施形態では、撮像された第１のマーカＭ1の特徴点に基づいてカメラ位置Ｃや撮像方向を推定している。しかし、第１のマーカＭ1および第２のマーカＭ2の特徴点の双方に基づいて、カメラ位置Ｃや撮像方向を推定するようにしてもよい。つまり、撮像されている複数のマーカによる情報に基づいてカメラ位置Ｃや撮像方向を推定するようにしてもよい。

また、第１のマーカＭ1のみが撮像されているときに、これに基づいて基準座標系を設定し、引き続いて第２のマーカＭ2が撮像された結果、第１のマーカＭ1および第２のマーカＭ2の双方が撮像されたとき、第２のマーカＭ2の特徴点の情報に基づいて基準座標系を修正するようにしてもよい。

(4)上記実施形態において、２以上のマーカが撮像されていない（つまり特徴点による位置推定処理ができない）状態にあって、１つのマーカが撮像されている（つまり特徴点による位置推定処理ができる）状態のとき、ディスプレイ画面上に、警告文（たとえば「マーカを追加して下さい」）を表示するなどの処理を行うようにしてもよい。あるいは、画面全体の色を変えるなどして、警告を行うようにしてもよい。

(5)上記実施形態では、撮像部としてＣＭＯＳカメラを用いたが、撮像データを出力できるカメラであればいずれの型式のものであっても用いることができる。たとえば、ＣＣＤカメラなどを用いるようにしてもよい。

Claims (6)

1. 互いの位置関係が既知である複数の特徴点を有する第１のマーカおよび互いの位置関係が既知である複数の特徴点を有する第２のマーカを少なくとも撮像する撮像部と、
   第１のマーカおよび第２のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカまたは前記第２のマーカと前記撮像部との位置関係を算出し、あるいは前記第１のマーカ、前記第２のマーカ、前記撮像部の位置関係を算出し、基準座標系を決定する基準座標系決定手段と、
   前記決定した基準座標系に基づいて、当該基準座標系に仮想三次元オブジェクトを配置し、前記撮像部と関連づけられた視点から見たときに当該仮想三次元オブジェクトがどのように見えるかを、前記第１のマーカまたは前記第２のマーカのいずれかまたは双方の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて算出し、仮想オブジェクト画像を生成する仮想オブジェクト画像生成手段と、
   前記仮想オブジェクト画像を、表示部において表示するよう制御する表示手段と、
   を備えた表示システムにおいて、
   前記第２のマーカは、前記撮像部によって前記第１のマーカと同時に撮像されうる任意の位置に置かれたものであり、
   前記第１のマーカが撮像部による撮像画像から外れると、前記仮想オブジェクト画像生成手段は、前記第２のマーカに基づき、前記基準座標系において仮想オブジェクト画像を生成することを特徴とする表示システム。
2. 表示システムをコンピュータによって実現するための表示プログラムであって、コンピュータを、
   互いの位置関係が既知である複数の特徴点を有する第１のマーカおよび互いの位置関係が既知である複数の特徴点を有する第２のマーカを少なくとも撮像する撮像部による撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカまたは前記第２のマーカと前記撮像手段との位置関係を算出し、あるいは前記第１のマーカ、前記第２のマーカ、前記撮像手段の位置関係を算出し、基準座標系を決定する基準座標系決定手段と、
   前記決定した基準座標系に基づいて、当該基準座標系に仮想三次元オブジェクトを配置し、前記撮像部と関連づけられた視点から見たときに当該仮想三次元オブジェクトがどのように見えるかを、前記第１のマーカまたは前記第２のマーカのいずれかまたは双方の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて算出し、仮想オブジェクト画像を生成する仮想オブジェクト画像生成手段と、
   前記仮想オブジェクト画像を、表示部において表示するよう制御する表示手段として機能させる表示プログラムであって、
   前記第２のマーカは、前記撮像部によって前記第１のマーカと同時に撮像されうる任意の位置に置かれたものであり、
   前記第１のマーカが撮像部による撮像画像から外れると、前記仮想オブジェクト画像生成手段は、前記第２のマーカに基づき、前記基準座標系において仮想オブジェクト画像を生成することを特徴とする表示プログラム。
3. 請求項１のシステムまたは請求項２のプログラムにおいて、
   前記仮想三次元オブジェクトは、前記第１のマーカまたは第２のマーカとの関係において前記基準座標系における配置位置が定められていることを特徴とするシステムまたはプログラム。
4. 請求項１のシステムまたは請求項２のプログラムにおいて、
   前記三次元オブジェクトは、オブジェクト配置用マーカに基づいて、前記基準座標系における配置位置が定められることを特徴とするシステムまたはプログラム。
5. 拡張現実表示方法であって、
   互いの位置関係が既知である複数の特徴点を有する第１のマーカを撮像し、
   第１のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカと前記撮像手段との位置関係を算出し、基準座標系を決定し、
   互いの位置関係が既知である複数の特徴点を有する第２のマーカを撮像し、
   第２のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第２のマーカと前記撮像手段との位置関係を算出し、当該第２のマーカの位置を前記基準座標系に組み入れ、
   前記決定した基準座標系に基づいて、当該基準座標系に仮想三次元オブジェクトを配置し、前記撮像部と関連づけられた視点から見たときに当該仮想三次元オブジェクトがどのように見えるかを、前記第１のマーカまたは前記第２のマーカのいずれかまたは双方の前記基準座標系における位置、前記撮像部の前記基準座標系における位置、前記視点の前記基準座標系における位置に基づいて算出し、仮想オブジェクト画像を生成し、
   前記仮想オブジェクト画像を、表示部に表示する拡張現実表示方法において、
   前記第２のマーカは、前記撮像部によって前記第１のマーカと同時に撮像されうる任意の位置に置かれたものであり、
   前記第１のマーカが撮像部による撮像画像から外れると、前記第２のマーカに基づき、前記基準座標系において仮想オブジェクト画像を生成して表示することを特徴とする拡張現実表示方法。
6. 互いの位置関係が既知である複数の特徴点を有する第１のマーカおよび互いの位置関係が既知である複数の特徴点を有する第２のマーカを少なくとも撮像する撮像部と、
   第１のマーカおよび第２のマーカの撮像画像に基づいて、当該撮像画像における前記特徴点の位置関係に基づいて、前記第１のマーカまたは前記第２のマーカと前記撮像部との位置関係を算出し、あるいは前記第１のマーカ、前記第２のマーカ、前記撮像部の位置関係を算出し、基準座標系を決定する基準座標系決定手段と、
   を備えた基準座標システムにおいて、
   前記第２のマーカは、前記撮像部によって前記第１のマーカと同時に撮像されうる任意の位置に置かれたものであり、
   前記第１のマーカが撮像部による撮像画像から外れると、前記仮想オブジェクト画像生成手段は、前記第２のマーカに基づき、前記第１のマーカに基づいて推定された前記基準座標系を維持することを特徴とする基準座標システム。

Images