JP4135934B2

JP4135934B2 - 電子機器

Info

Publication number: JP4135934B2
Application number: JP2004101132A
Authority: JP
Inventors: 博一加藤; 雅章田邊
Original assignee: 株式会社ナック映像センター; 博一加藤
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2008-08-20
Anticipated expiration: 2024-03-30
Also published as: JP2005284992A

Description

本発明は、拡張現実感を実現する電子機器に関するものである。

公園や街路などに新しく何かを作る場合、新しく作った物が周囲の景観等にどのような影響を与えるかを知っておくことは重要である。一例として建設問題を考えると、新たに建設構造物を作る場合、その構造物が周囲の景観を損ねるか否かを検討する必要がある。現状では、この必要性を満たすためには、建設後の環境を絵や写真で示す第１の方法と、建設後の環境を模型で示す第２の方法とが考えられる。この第１の方法では、様々な角度から見た建設後の状況を把握することが難しい。また、前述第２の方法では、周囲の環境の全てを制限するには限界がある。

上述の要求を満たすべく、最近では、コンピュータ内に仮想世界を構築する人工現実感を用いて建設後の状況を確認することも可能である。しかしながら、この人工現実感では、ユーザーに提供される物の全てはあくまで仮想物体であるため、周囲の環境の全てを再現することは難しい。

ＣＧの短所を補う方法として、拡張現実感の技術がある（下記非特許文献１を参照）。拡張現実感とは、現実世界に仮想物体を重畳させる技術である。この技術であれば、上述した他の方法と比較して、ユーザーはよりリアルな視覚的情報を得ることが出来るので、建設後の景観の変化をより正確に予測することができる。
http://www.tobi-tech.com/tech/mr.htm（２００４年２月１９日検索）

しかしながら、従来の拡張現実感の技術では、以下の３つの課題がある。具体的には、幾何学的整合性をとる第１の課題と、時間的整合性をとる第２の課題と、光学的整合性をとる第３の課題がある。

第１の課題は、現実世界と仮想物体の３次元的位置合わせの課題である。仮想物体が現実世界内の正しい位置に表示されてそのサイズも的確に成るように、仮想物体と現実世界との整合をとる必要がある。

第２の課題は、現実世界に対する仮想物体表示の時間遅れの課題である。カメラの位置姿勢を変化させた場合に、仮想物体の動きと現実世界の動きが同じとなるようにする必要がある。

第３の課題は、現実世界と仮想世界との画質や陰影の違いの問題である。ディスプレイ等に表示された仮想物体の明るさや陰影といった光学条件が、現実世界のそれらと同じようになるように整合をとる必要がある。

拡張現実感の技術に於いては、上述した３つの問題の各々が重要であるが、その中でも最も重要なのが幾何学的整合をとる第１の課題である。建設予定の構造物と周囲の景観等を比較する場合、様々な角度や場所からカメラを用いて映像を確認したいという要望がある。しかしながら、カメラの位置を移動させた際の、現実世界と仮想物体との位置合わせを行うための好適な手法が開発されていない問題があった。

更に、通常は三脚等の支持手段にカメラを固定して現実世界の撮影を行うが、カメラとそれを固定する固定部との相対的な位置関係を求めるのが困難である問題があった。

本発明は上記した問題を鑑みて成されたものであり、本発明の主な目的は、ユーザーの労力を低減させつつ位置精度の高い仮想物体と実写映像との合成を行う電子機器を提供することにある。

本発明の電子機器は、特徴点を含む現実世界の光学像を撮影して画像データに変換する撮影手段と、前記画像データに基づく映像を表示する表示手段と、前記撮影手段を固定する固定手段と、前記固定手段を回転自在に支持する支持手段と、前記固定手段の回転角を測定する測定手段と、前記表示手段に表示される前記特徴点の前記表示手段上での座標を取得する取得手段と、前記特徴点の座標を基にして演算を行う演算手段とを具備し、前記撮影手段は、第１の画像データと、前記第１の画像データを撮影したときとは異なる姿勢で第２の画像データとを撮影し、前記取得手段は、前記第１の画像データに写る前記特徴点の座標である第１の座標と、前記第２の画像データに写る前記特徴点の座標である第２の座標とを取得し、前記測定手段は、前記第２の画像データを撮影した際に前記固定手段が回転した回転角を測定し、前記演算手段は、前記第１の座標、前記第２の座標および前記回転角を基にして、前記撮影手段の前記固定手段に対しての位置を求めることを特徴とする。

更に本発明の電子機器では、前記測定手段は、前記固定手段の水平方向の回転角を測定する第１の測定手段と、前記固定手段の垂直方向の回転角を測定する第２の測定手段とから成ることを特徴とする。

更に本発明の電子機器では、前記取得手段は、ポインティングデバイスであり、前記表示手段に表示された前記特徴点を前記ポインティングデバイスにより選択することで、前記特徴点の前記表示手段上での座標を取得することを特徴とする。

更に本発明の電子機器では、前記演算手段は、統計学的手法にて前記撮影手段の位置を算出することを特徴とする。

更に本発明の電子機器では、前記演算手段は、前記第１の画像データを撮影したときと前記第２の画像データを撮影したときの、前記撮影手段および前記固定手段の位置姿勢の変化を算出してから、前記撮影手段の前記固定手段に対しての位置を求めることを特徴とする。

本発明の電子機器は、特徴点を含む現実世界の光学像を撮影して画像データに変換すると共に、内部パラメータが既知の撮影手段と、前記画像データに基づく映像を表示する表示手段と、前記撮影手段を回転自在に支持する支持手段と、前記撮影手段を回転させつつ前記表示手段に表示される前記特徴点の前記表示手段上での座標を取得する取得手段と、前記撮影手段の回転角を測定する測定手段と、前記特徴点の座標および当該特徴点を所得したときの前記撮影手段の回転角を基にして前記現実世界に対する前記支持手段の位置および姿勢を計算する演算手段と、を具備し、ユーザーが前記支持手段を移動させる度に、前記撮影手段による前記特徴点の撮影、前記取得手段による前記特徴点の座標の取得および前記演算手段による前記支持手段の位置および姿勢の計算が行われることを特徴とする。

更に本発明の電子機器では、前記演算手段は、１つの前記画像データに含まれる複数個の前記特徴点の座標を基にして前記支持手段の座標を計算することを特徴とする。

更に本発明の電子機器では、前記撮影手段は前記支持手段に対して回転自在に固定され、前記撮影手段の回転角を測定する測定手段を具備し、前記撮影手段を回転させつつ、前記取得手段は前記特徴点の前記表示手段上での座標を取得し、前記演算手段は、前記取得手段にて取得した前記特徴点の座標および当該特徴点を所得したときの前記撮影手段の回転角から、前記支持手段の位置を計算することを特徴とする。

更に本発明の電子機器では、前記撮影手段は固定手段に固定され、前記固定手段は回転自在に前記支持手段に固定されることを特徴とする。

本発明の電子機器によれば、現実世界に配設された特徴点を撮影して、これらの特徴点の表示手段上での座標値を取得手段にて取得することにより、撮影手段とそれを支持する支持手段との相対的位置関係を検出することが出来る。従って、ユーザーにとって簡易な手法で撮影手段の位置の特定を行うことが可能となる。

更に本発明の電子機器によれば、複数個の特徴点を撮影手段により撮影し、これらの特徴点での表示部上での座標値を取得手段にて取得することで、撮影手段を支持する支持手段の現実世界での座標を容易に算出することが可能となる。また、上記特徴点の撮影は、前記撮影手段の１つの視界に写り込む複数個の特徴点を用いることができる。更には、離散して配置された複数個の特徴点を、撮影手段を回転させながら撮影することも可能である。このことにより、ユーザーは、より自由な場所に固定手段を移動させることができる。

以下に図を参照して、本発明の実施の形態に斯かる電子機器を説明する。

＜第１の形態＞
本形態では、実写映像と仮想物体との重ね合わせを行う電子機器１０の構成およびそれの使用方法等を説明する。

図１を参照して、本形態の電子機器１０の機械的・電気的構成を説明する。本形態の電子機器１０では、カメラ１１は、雲台１３を介して、回転自在に三脚１４に固定されている。ユーザー１６は、雲台１３に固定された表示手段としてのモニタ１２を認識しながら、操作レバー１５によりカメラ１１を自在に回転させることができる。

演算手段としての計算機１７は、上記したカメラ１１やモニタ１２等と接続されて、所定のプログラムに基づいた計算を行う。また、本形態の各構成要素は、電的に接続されている。

三脚１４は、装置全体を支持する役割を有し、雲台１３を介してその上部にはカメラ１１等が固定される。また、ユーザーの要望に応じて装置全体を移動可能なように、三脚１４は地面に対して移動可能に固定されている。更に、三脚１４の脚は伸縮可能であり、この脚を伸縮させることにより、カメラ１１等の高さを調節することが出来る。

雲台１３は、三脚１４の上部に介装され、カメラ１１等を回転自在に三脚に固定している。また、雲台１３には、図示しない角度センサーが備えられている。また、雲台１３の上部にはカメラ１１を固定する固定手段として機能する部位があり、この部位に操作レバー１５が接続されている。

図１（Ｂ）を参照して、この角度センサーの詳細を説明する。三脚上の雲台接地面に対して水平方向の角度の変化を検出する第１の検出手段２０Ａと、三脚上の雲台接地面に対して垂直方向の角度の変化を検出する第２の検出手段２０Ｂとから成る角度センサーが、表示装置１０に装備されている。これら検出手段により角度を検出することで、雲台１３の上部に固定されたカメラの姿勢の変化を知ることができる。上記した検出手段の解像度は例えば、２４０００ステップ／回転であり、非常に高性能なセンサーである。以下の説明では、三脚上の雲台接地面に対して平行な方向をパン方向と呼び、三脚上の雲台接地面に対して垂直な方向をチルト方向と呼ぶ場合がある。また、第１の測定手段２０Ａおよび第１の測定手段２０Ｂにより得られた角度情報は、演算部１８に伝達される。そして、これらの角度情報は、記憶部１９に記憶されても良い。

カメラ１１は、雲台１３の上部に固定されて、現実空間の光画像を画像データに変換する機能を有する。このカメラ１１としては、光信号を電気信号に変換する個体撮影素子を備えたカメラが好適である。具体的には、ＣＣＤ（charge-coupled device）を備えた個体撮影素子あるいはＣＭＯＳ（complementary MOS）を備えた個体撮影素子を内蔵するカメラ１１を本形態に適用することができる。図１（Ｂ）を参照して、カメラ１１により変換された画像データを構成する電気信号は、演算部１８に伝達される。

モニタ１２は、上述したカメラ１１と共に雲台１３上に固定されている。そして、モニタ１２は、演算部１８から出力された映像が表示される。具体的には、カメラ１１にて撮影された画像データは、演算部１８にて処理されて映像データが生成され、この映像データに基ずく映像がモニタ１２に表示される。また、モニタ１２は、カメラ１１にて撮影された画像データに基づく映像を、リアルタイムに連続して表示させている。このことにより、カメラが撮影している光画像をユーザー１６は的確に知ることができる。

上述した処理とは、例えば、カメラ１１にて撮影された画像データにＣＧ（computer graphics）を重畳させる処理を挙げることが出る。モニタ１２としては、携帯性を考慮すると薄型の液晶ディスプレイが好ましい。また、モニタ１２は、必ずしも雲台１３に固定されている必要はなく、三脚１４とは分離されて設置されても良い。

操作レバー１５は、雲台１３の上部に固定されている棒状のレバーである。ユーザー１６は、この操作レバー１５を操作することにより、雲台１３に固定されているカメラ１１を自在に回転させることができる。この際の回転の挙動は、上述した第１の測定手段２０Ａおよび第２の測定手段２０Ｂにより測定され、記憶部１９に記憶されている。

記憶部１９は、ハードディスク等の板状の形状を有する記録媒体、または、半導体記録媒体等であり、情報を記録する機能を有する部位である。記憶部１９に記憶される情報としては、重畳される予定のＣＧに関する情報、装置全体の設定情報、位置特定の際に用いる特徴点の座標、第１の測定手段２０Ａにて測定された角度変化の情報、第２の測定手段２０Ｂにより測定された角度変化の情報、あるいは、各部位の挙動を制御するプログラムを挙げることができる。

図２（Ａ）を参照して、次に、本形態を説明する際に用いる座標系に関して説明する。現実世界と仮想物体との位置合わせには、現実の世界座標からカメラの座標までの変換行列が必要になる。本形態では、以下の座標系を用いる。

世界座標Ｃ１は、現実の世界に設定される座標系であり、ＣＧ構造物や特徴点の位置などを表現するために用いる座標系である。ここで、特徴点とは、座標系同士の変換行列を算出する際に基準とする３次元の座標値が既知の点である。

三脚座標系Ｃ２は、三脚の雲台を基準にした座標系であり、ユーザーが位置認識装置を移動させることにより、この座標系は変化する。

三脚ＰＴ座標系Ｃ３は、三脚座標系と原点位置は同じであるが、ユーザーのチルト・パン方向の操作により回転した座標系である。従って、チルト角およびパン角がゼロ度であるときは、三脚ＰＴ座標系Ｃ３は、三脚座標系Ｃ２と一致する。

カメラ座標系Ｃ４は、カメラの焦点を基準とした座標系である。従って、カメラのレンズの交換等によりこの座標系は移動する可能性がある。

スクリーン座標系Ｃ５は、モニタ１２等のスクリーンに映し出される２次原画像の座標系である。また、カメラで観測を行った画像には、レンズによる歪みが生じているので、カメラにより取り込まれた画像は、この歪みを除去するための補正が行われている。

上記した各座標間の関係が明らかになると、世界座標系での座標値が既知のＣＧと、レンズに映り込む光画像との重畳を行うことが可能となる。ここで、各座標系の関係とは、即ち各座標間の変換行列を具体的に求めることである。図２（Ｂ）を参照して、各座標系の変換を行う変換行列に関して説明を行う。

行列Ｍ１は、世界座標系から三脚座標系までの変換行列である。具体的には、現実世界と仮想物体の位置合わせを行う場合、現実世界における三脚の位置姿勢が必要である。世界座標系から三脚座標系までの変換行列は三脚を設置した時に一度だけ求めれば良い。これは画像データと現実世界における３次元座標値を数点使い、キャリブレーションを行う事で実現できる。現実世界における三脚の設置位置を変えた場合は、この操作をもう一度行う必要がある。行列Ｍ１を求めるキャリブレーションは後述する。更にまた、ユーザーが所望の箇所に移動することから、世界座標系と三脚座標系との関係は事前には計測できない。従って、現実世界の現場にてユーザーが三脚を設置した時点で求める。

行列Ｍ２は、三脚ＰＴ座標から三脚座標までの変換行列である。具体的には、三脚ＰＴ座標系から三脚座標系への変換は、三脚に装備されたセンサである第１及び第２の測定手段２０Ａ、２０Ｂから得られるパン・チルト方向の角度情報から求める事ができる。パン・チルト方向の回転がそれぞれ１Ｐ[rad]、２Ｐ[rad]であるとすると、この変換は以下の数１で表現される。上述したように、本形態の計測手段は高精度なものである。この計測手段により、ユーザーのパン・チルト方向への操作はリアルタイム且つ高精度に演算部１８に入力される。

行列Ｍ３は、カメラ座標系から三脚ＰＴ座標系までの変換行列である。具体的には、本システムでは三脚１４の雲台１３にカメラ１１を固定しているが、雲台１３のパン・チルト方向の回転軸とカメラ座標系の原点がずれている。ゆえに雲台１３のパン・チルト方向への回転とカメラの位置姿勢変化の関係を表現するための変換行列をあらかじめ求めておく必要がある。更に詳述すると、カメラ座標系の原点はカメラの焦点位置にあり、三脚ＰＴ座標系とは、原点位置も向きもことなる。しかし、カメラ１１は三脚１４上にしっかりと固定されているので、ねじが緩んだり、壊れない限り変化しない。実際は、カメラは三脚から容易に取り外したり、取り付けたりすることあるが、取り付け自体がしっかりしているので、毎回の取り付けによって位置や角度が変わることがない。つまり、この関係は、事前に一度求めておけばよい。この三脚とカメラのオフセットを表す変換行列を求めるキャリブレーションは後述する。

行列Ｍ４は、カメラ座標系からスクリーン座標系までの変換行列である。具体的には、この変換行列の導出には拡張現実感構築ツールARToolKit[６]が提供する関数を使用している。具体的なＭ４の算出方法は後述する。カメラ座標系とスクリーン座標系との関係は、カメラ１１を取り替えない限り変化しないものなので、事前に１回求めておけばよい。

次に図３および図４を参照して、カメラ座標系Ｃ４から三脚ＰＴ座標系までの変換行列Ｍ３を求める方法を説明する。図３は、この方法を詳述するためのフローチャートであり、図４は、各座標系の関連を示す模式図である。本形態では、カメラをパン方向及びチルト方向に回転させながら複数枚の画像を撮影し、その画像に写り込む特徴点から変換行列Ｍ３を求めている。

図３を参照して、上記した変換行列Ｍ３を算出する具体的な各ステップを説明する。

ステップＳ１では、現実世界に位置する特徴点の３次元の座標を測定する。ここで、特徴点とはユーザーが視覚的に認識できる特徴的なポイントであることが好適である。具体的には、建物の角、標識の付け根、アンテナなど位置が特定できる物体であれば、それを特徴点として採用することができる。また、そのような物体がない場合は、適当に配置されたマーカーを特徴点として採用することができる。更に、特徴点の３次元の位置は、トータルステーションという計測器を用いて測定することができる。ここで、マーカーとしては、視覚的に際だつ色を有する物体、発行する物体等を採用することができる。

ステップＳ２では、上記特徴点をカメラにより撮影する。即ち、特徴点が撮影されるようにカメラの位置姿勢を調節して特徴点の撮影を行う。

ステップＳ３では、ステップＳ２にて撮影した特徴点のモニタ上での座標を取得する。この取得の作業は、マウス等のポインティングデバイスを用いて行うことができる。具体的には、ユーザーがマウスを操作して、モニタに映し出された特徴点の箇所までマウスカーソルを移動させてクリックすることにより、座標の取得を行うことができる。ここで、ポインティングデバイスとしては、マウスの他にもタブレット等を用いることができる。また、カメラが取得した画像データをプログラムにより解析を行って、モニタ上での特徴点の位置を算出してもよい。

ステップＳ４では、カメラの回転を行う。本形態では、カメラをパン方向およびチルト方向に回転させている。このことにより、パン方向およびチルト方向の両方が考慮された変換行列を求めるキャリブレーションを行うことができる。本ステップでのカメラのパン方向およびチルト方向への回転角は、第１の測定手段２０Ａおよび第２の測定手段２０Ｂにより正確に測定され、その情報は記憶部１９に記憶されている。

そして、ステップＳ４にてカメラの回転を行った後に、ステップＳ２に戻って、特徴点の撮影を行う。即ち、カメラを回転させてからモニタに写る特徴点の撮影を複数回に渡り行う。

本形態では、統計学的手法にて変換行列を求めている。従って、一般的には上記した撮影の回数が多いほど、算出される変換行列の精度は高くなるように思われる。しかしながら、モニタ上での特徴点の座標取得をユーザーの手作業で行った場合は、取得座標の回数が多すぎると、ユーザーが疲労してしまうので、取得される座標自体の精度が落ちてしまうか恐れがある。このことから、ユーザーに負担が掛からず、精度が確保できる範囲で、特徴点の撮影は行われる。

下記に詳述するステップＳ５以降では、上記のステップにより求めた座標ペアおよび回転角に関する情報から、変換行列Ｍ３を算出する。即ち、現実世界に配設された複数個の特徴点を回転しつつ撮影することで、カメラ１１とその固定部（雲台１３の上部）との相対的な位置関係を明らかにする。

ステップＳ５では、座標ペアに対して、世界座標系Ｃ１_ｉからカメラ座標系Ｃ４_ｉへの変換行列Ｔ_ｉを求める。また、変換行列Ｔ_ｉは、下記の数２に示すような行列である。ここで、ｉは取り込む画像の枚数を示している。この変換行列を求めるには、ARToolKit[６]が提供する関数を使用している。この具体的な方法としては、図５を参照して、カメラを用いてボード２４の表面に配置された複数個の黒点２５を撮影し、黒点２５の重心を求める等の作業を行って、下記数２の変換行列を得る。

ステップＳ６では、座標ペアに対して、三脚ＰＴ座標系Ｃ３から三脚座標系Ｃ２までの変換を行う変換行列Ｕ_ｉを求める。ここで、変換行列Ｕ_ｉは以下の数３に示すような行列である。この変換行列は、上述した数１を用いて求めることができる。

ステップＳ７では、三脚ＰＴ座標系の位置姿勢の変化を示す変換行列Ｓ_ｊを求め、更に、カメラ座標系の位置姿勢の変化を示す変換行列Ｃ_ｊを求める。変換行列Ｓ_ｊを下記数４に示し、変換行列Ｃ_ｊを下記数５に示す。ここで、ｉ＝１、２、３・・・ｎ＋１のとき、ｊ＝１、２、３・・・ｎである。

上記した変換行列Ｃ_ｊの具体的な算出方法を、図４を参照して説明する。変換行列Ｃ_１は、１番目と２番目に於けるＴ_１とＴ_２から導出することができる。世界座標系Ｃ１は常に静止して動かない座標系である。そして、変換行列Ｔ_１は世界座標系Ｃ１からカメラ座標系Ｃ４_１への変換を行う行列である。また、変換行列Ｔ_２は、世界座標Ｃ１からカメラ座標系Ｃ４_２への変換行列である。ここで、求めたい変換行列Ｃ_１は、カメラ座標系Ｃ４_１からカメラ座標系Ｃ４_２への変換行列である。この変換行列Ｃ_１の変換ルートは、Ｃ４_１→Ｃ４_２である。更にこの変換ルートは、Ｃ４_１→Ｃ１→Ｃ４_２とみなすことができる。図４では、このルートをＲ１で示している。このことから、ｊ番目の変換行列Ｃ_ｊは下記数６で求めることができる。

またＣ_ｊを求めた上記と同様の考え方で、下記数７でｊ番目の変換行列Ｓ_ｊは下記数７で求めることができる。

以上の計算で、カメラ座標系および三脚ＰＴ座標系の姿勢変化を示す変換行列Ｃ_ｊおよびＳ_ｊが計算される。

ステップＳ８では、上記したステップにて計算された変換行列Ｃ_ｊおよびＳ_ｊを用いて、カメラ座標系Ｃ４_ｉから三脚ＰＴ座標系Ｃ３_ｉへの変換行列であるＲを算出する。ここで、Ｒは、下記数８に示すような行列である。

図４を参照して、変換行列Ｒを算出するために、カメラ座標系Ｃ４_１から三脚ＰＴ座標系Ｃ３_２を算出する経路を考えてみる。この経路は二通が考えられる。１つの経路は、Ｃ４_１→Ｃ４_２→Ｃ３_２の経路Ｒ２である。それに対して、もう一つの経路は、Ｃ４_１→Ｃ３_１→Ｃ３_２の経路Ｒ３である。どちらの経路でも同じ座標系に到達する。更に、Ｃ_ｊおよびＳ_ｊは上記のステップにより既に求められているので、以下の数９が得られる。

上記数９を変形すると、以下の数１０を得る。

上記数１０を展開すると下記の数１１を得る。

ｎ＋１枚の画像を取り込んだ場合、上記数１１をｎ個得ることができる。そこで、ｎ個の上記数１１をまとめた物を以下の数１２と考えると、Ｊは１２ｎ×１行列、Ｋは１２ｎ×１１行列、Ｌは１１×１行列となる。

このことから、最小二乗法を用いて下記数１３が得られる。数１３では、正方行列の逆行列を用いた最小二乗法による演算を行っている。

この数１３を計算することで、変換行列Ｒの全ての成分を求めることができる。即ち、本形態では、カメラ座標系Ｃ４から三脚座標ＰＴ系Ｃ３への変換行列を計算する際に、先ず、これらの座標系の位置姿勢の変化を表す変換行列（Ｃ_ｊおよびＳ_ｊ）を求める。その後に、Ｃ_ｊおよびＳ_ｊを用いた統計学的手法により、変換行列Ｒを算出している。

変換行列Ｒを求める手法として、上述した統計学的手法ではなく、数学的に連立方程式を解く方法も考えられる。しかしながら、本形態にて変換行列Ｒを求める手法としては、上述した統計学的手法が好適である。これは、数学的手法にて変換行列Ｒを算出する場合を考えると、複数個求められる解の中から１つを選択しなければ成らない問題、安定した解が得られない場合がある問題等が発生する恐れがあるからである。それに比較して、本形態で採用した統計学的手法による変換行列Ｒの算出方法は、安定した解を得ることができる利点がある。更に本形態は、観測を行う特徴点の個数を増やすと、得られる解の精度が向上する利点もある。

図６および図７を参照して、表示装置１０を移動させた場合において、その位置を特定する変換行列を算出する方法に関して説明する。図６は変換行列を求めるフローチャートであり、図７は表示装置１０を移動させて仮想物体２２を観測する様子を示す概念図である。

例えば、建設予定の構造物等の仮想物体が周りの景観にどのような視覚的影響を与えるかを詳細に知るためには、ユーザーが望む場所に表示装置１０を据える作業が必要になる。このような場合では、表示装置１０を移動させる度に、世界座標系Ｃ１から三脚座標系Ｃ２までの変換を行う変換行列Ｍ１を再計算する必要がある。以下では、この変換行列Ｍ１の再計算を行う各ステップを説明する。

ステップＳ１１では、表示装置１０の移動を行う。即ち、仮想物体と周囲の景観との比較が好適に行えるように、ユーザーは所望の位置に表示装置１０を移動させる。このステップを複数回に渡り行うことで、ユーザーは、仮想物体がどの様な影響を周囲に与えるかを詳細に知ることができる。

ステップＳ１２では、現実世界に配設された特徴点の撮影を行う。特徴点の撮影を行う方法は、２つの方法が考えられる。第１の方法は、カメラを回転させずに、１つの映像に収まる複数個の特徴点を撮影する方法である。第２の方法は、カメラを回転しつつ、広範囲に配設された複数個の特徴点を撮影する方法である。精度向上のためには、特徴点が広範囲に配設することができる第２の方法が好適である。以下の説明では、第２の方法を採用して説明するが、第１の方法でも本形態を実施することができる。なお、特徴点の詳細は図３を参照して説明した物と同様である。

ステップＳ１３では、特徴点の画面上での座標値の取得を行う。具体的には、ポインティングデバイスを用いて、モニタ１２上に映し出される特徴点の平面的座標を取得する。このことにより、特徴点の現実世界での３次元の座標値と、モニタ上での２次元の座標値から成る座標ペアを複数個得ることができる。モニタ上での座標値を取得する具体的な方法は、図３を参照して説明した方法と同一である。また、特徴点同士の区別を行うために、各特徴点のモニタ上での座標を取得するときは、ＩＤを指定する。このことにより、特徴点の現実世界での３次元座標値と、モニタ上での２次元座標値から成る座標ペアが複数個得られる。

ステップＳ１４では、カメラの回転を行う。本形態では、特徴点の座標値を用いて変換行列の算出を行うことから、特徴点は広範囲に分布していることが好ましい。更に、表示装置１０と特徴点の相対的位置によっては、カメラの１つの視野に映し出すことができる特徴点の個数が変化する場合がある。このことから、本形態では、カメラを回転しつつ特徴点の撮影を行っている。このステップでのカメラのパン方向およびチルト方向への回転角は、常時測定されて記憶されている。

他の特徴点がモニタに写り込むようにカメラを回転させた後は、ステップＳ１２に戻って、他の特徴点の撮影を行い、ステップＳ１３にてその特徴点のモニタ上での座標値を取得する。

図７を参照して、紙面上にて左側に位置する表示装置１０Ａを一例に、特徴点のモニタ上での座標の取得方法を説明する。先ず、第１及び第２の特徴点Ｐ１及びＰ２を撮影して、各々の特徴点のモニタ上での座標値を取得する。次に、第３の特徴点Ｐ３から第５の特徴点Ｐ５がモニタに写り込むように、表示装置１０Ａのカメラを回転させる。そして、第３の特徴点Ｐ３から第５の特徴点Ｐ５のモニタ上での座標値を取得する。以上のステップにより、複数個の特徴点が広範囲に配設された場合でも、それらの特徴点のモニタ上での座標値を取得して、座標ペアを取得することができる。

ステップＳ１５では、上記ステップにより求められた座標ペアを用いて、世界座標系Ｃ１から三脚座標系Ｃ２までの変換行列Ｍ１を算出する。即ち、世界座標系Ｃ１における三脚の位置姿勢を求める。その具体的手法を下記する。

先ず、世界座標系Ｃ１からスクリーン座標系Ｃ５までの座標変換を行う下記数１４を考えてみる。

数１４にて、Ｘ_Ｓを含む左辺の行列は、モニタ上に映し出された特徴点の位置である。換言すると、ユーザーがクリックを行ったマウスポインタの位置である。そして、Ｘ_Ｗを含む右辺の行列は、特徴点の世界座標系での位置であり、予め測定されている。また、左辺のｈは、行列式の変換を行う際に、３次元から２次元への変換を行う変数である。この変数ｈは、一般的に同次座標系と呼ばれている。尚、上記数１４に現れるＭ１からＭ４は、図２を参照して説明された変換行列である。

ここで、カメラを回転させながらｎ点の特徴点に関して測定を行うことで、特徴点のスクリーン座標系での座標値と、特徴点の世界座標系での座標値と、Ｍ３との組み合わせをｎ個得ることができる。ここで、上記数１４を書き直すと下記数１５になる。

上記数１５にて、Ｍ（４−２）はＭ４・Ｍ３^−１・Ｍ２^−１である。そして、添え字のｉは、１、２、・・・・ｎである。即ち、ｎ点の特徴点について上記ステップを行った場合は、ｎ個の数１５を得ることができる。そして、ｎ個の数１５を用いた誤差最小化法により変換行列Ｍ１を算出する。具体的には、下記数１６のような定義を行い、下記数１７を最小化するようなＭ１を求めればいい。数１６および数１７にて、ハットマークが上部に付された変数は、ユーザーの操作により取得されたスクリーン座標系の特徴点の座標値を示している。

即ち、数１６及び数１７を用いた算出方法では、特徴点の世界座標系に於ける座標値から算出される特徴点のスクリーン座標系での計算値が、実際の値に近くなるように、変換行列Ｍ１を求める。

上記のステップにより、世界座標系Ｃ１から三脚座標系Ｃ２までの変換を行う変換行列Ｍ１は算出される。このことにより、世界座標系Ｃ１からスクリーン座標系Ｃ５への座標変換を行う全ての変換行列が求められた。

ステップＳ１６では、上述して求められた変換行列を、表示予定の仮想物体に適用させることにより、仮想物体の幾何学的整合性を保ちつつ、現実世界を映し出した画像に重ね合わせる。そして更に、異なる箇所からの撮影を行う場合は、ステップＳ１１に戻って表示装置１０の移動を行う。

上述した本形態のステップにより、ユーザーは、表示装置１０を所望の箇所に移動させて仮想物体２２と周囲の景観とが合成された画像を得ることができる。従って、ユーザーは、構築予定の構造物等の仮想物体２２が、周囲の景観に如何に影響を与えるかをより的確に知ることができる。具体的には、表示装置１０の移動を行った場合でも、表示装置を用いて、複数の特徴点を観測することにより、世界座標系Ｃ１から三脚座標系Ｃ２への変換を行う変換行列を求めることができる。また、世界座標系Ｃ１からスクリーン座標系Ｃ５への変換に必要な他の変換行列は既知である。従って、これらの変換行列用いることにより、幾何学的整合性を保ちつつ仮想物体２２を表示させることができる。

更に、本形態では、表示装置１０に装備されたカメラを回転させつつ、特徴点の撮影を行うことができる。従って、特徴点を広範囲に配設させることができるので、特徴点を用いて算出される変換行列の精度を向上させることができる。

＜第２の形態＞
本形態では、上述した第１の実施の形態にて説明した表示装置を用いた映像の表示方法を中心に説明する。

図８および図９を参照して、上記の第１の形態により位置関係が明らかにされた電子機器１０を用いて、現実世界を撮した実写画像に仮想物体を重ね合わせる方法を説明する。図８（Ａ）は、図１に示すモニタ１２に表示される映像を示しており、図８（Ｂ）は箱２７が映し出される部分の拡大図である。図８（Ｃ）は仮想物体が実写画像に重ね合わされた映像を示しており、図８（Ｃ）はその拡大図である。

図８（Ａ）を参照して、先ず、現実世界に配設された複数個の特徴点の、モニタ上での平面的座標を取得する。同図では、机２６の上部に箱２７が載置されている。そして、特徴点である箱２７の角部の現実世界での３次元上の位置は計測されている。この特徴点の位置の計測は、トータルステーション等の測量器具で行うことができる。

図８（Ｂ）を参照して、モニタ１２上における特徴点の平面的な座標を取得する。この座標値の取得は、マウス等のポインティングデバイスを用いて行う。即ち、ユーザー１６が、モニタ１２上に映し出される特徴点にマウスポインタの先端を合わせて、クリックすることで、各特徴点２８の平面的な座標を取得する。更に、クリックを行った点がどの特徴点に対応するかを記録するために、その点のＩＤを指定する。このことにより、現実世界の３次元の座標と、モニタ上での２次元の座標値から成る座標ペアが複数個取得できる。本形態では、これらの座標ペアを基に、現実世界の座標系からモニタ上の座標系への変換座標を求めている。従って、ユーザー１６は、上記座標ペアを複数個指定するのみで、この変換行列を求めることができる。

図８（Ｃ）を参照して、仮想物体２９が実写画像に重ね合わされた映像をモニタ１２に表示する。ここでは、飛行機の如き仮想物体２９が箱２７の上面に載置された状態の映像がモニタ１２に表示されている。ここで、仮想物体２９は、現実世界には存在しないものであり、いわゆるＣＧ（Computer Graphic）である。仮想物体２９の形状は、現実世界の３次元の座標で表現されている。具体的には、箱２７の上部に仮想物体２９が載置された状態になるように、仮想物体２９を構成する各部位の３次元の座標は決められている。従って、上記座標ペアにより求められた変換行列を、仮想物体２９の３次元の座標に適用させることで、３次元幾何学的な整合性を保ちつつ、重ね合わせを行うことができる。図８（Ｄ）は、仮想物体２９が表示された部分の拡大図であり、仮想物体２９が箱２７の上部に載置された状態が正確に映像化されていることを理解することができる。

図９を参照して、箱２７等を撮影しているカメラを回転させた場合における、モニタ１２に映し出される映像の変化を説明する。図９（Ａ）は箱２７が正面に写り込むようにカメラを設置して撮影した映像を示し、図９（Ｂ）から図９（Ｄ）はカメラを回転させて撮影した状態映像を示している。

図９（Ａ）を参照して、箱２７およびその上部に載置された状態で表示される仮想物体２９は、映像の中心部付近に表示されている。

図９（Ｂ）を参照して、ここでは、カメラを右方向に回転させたときに、モニタ１２に表示される映像を示している。カメラの回転に伴い、箱２７等は左よりの箇所に表示されている。更に本形態では、カメラの回転角度をリアルタイムに計測している。そして、計測された回転角度を用いて、現実世界の座標系からモニタ上の座標系までの変換を行う変換行列を逐次算出している。そして、求められた変換行列を用いて、仮想物体２９のモニタ上での座標を求めている。従って、本形態では、カメラを回転させた場合でも、幾何学的な整合性を保ちつつ仮想物体２９の表示を行うことができる。

図９（Ｃ）および図９（Ｄ）を参照して、これらの図では、カメラを左方向及び上方向に回転させた場合の映像を示している。これらの図でも、仮想物体２９の幾何学的整合性は保たれていることを理解することができる。

図１０および図１１を参照して、本形態の表示装置１０を用いた画像の合成方法を更に詳細に説明する。

先ず図１０を参照して、表示装置１０に装備されたカメラ１１により撮影された実写映像上にＣＧを重ね合わせるために必要な条件について説明する。図１０（Ａ）は現実世界に於ける建物３０Ａ等の配置を示す図であり、図１０（Ｂ）はＣＧの建物３１の状態を示す図である。ここでは、道路３２に面する建物３０Ａと建物３０Ｂとの間に、ＣＧの建物３２を合成する場合を考える。

図１０（Ａ）を参照して、本形態では、道路３２に面して既に建設されている建物３０Ａと３０Ｂとを、カメラ１１を用いて撮影している。ここでは、実際に現存する建物を実線で描き、ＣＧで描かれる建物を点線で描写している。

実写映像との幾何学的整合性を保ちつつＣＧの合成を行うには、描画する物体（ここでは、建物３１）の３次元形状データと、カメラに関するパラメータの２つの情報が必要になる。ここで、カメラに関するパラメータとは、どの位置から見たＣＧを描画するのかという事項に関する情報である。

このカメラに関するパラメータは、視野角や画像サイズといったカメラ自体のパラメータ（内部パラメータ）と、カメラがどの位置からどの方向に向けて設置されているのかといった、カメラと外部環境との関係を表すパラメータ（外部パラメータ）とに分類ことができる。

内部パラメータについては、実写撮影に使用するカメラが決まると、その時点で定数化されるパラメータである。従って、カメラに備えられたレンズの仕様から得たり、事前に計測しておくことができる。このようにして得られた内部パラメータは、ＣＧ描画を行うためのパラメータとして設定される。

外部パラメータについては、本形態では、カメラ１１をユーザーが自由に移動させることができることから、以下のようなステップを行っている。先ず、ＣＧの形状データを表現する座標系と同じ物を実世界にも想定している。具体的には、図１０（Ｂ）のＣＧを描く際の世界座標系を図１０（Ａ）の世界座標系と同じにしている。そして、この世界座標系と実際のカメラとの間の座標変換行列を求めて、この変換行列をＣＧ合成用のパラメータとして設定する。以上のステップにより、実写と幾何学的な整合が取れたＣＧを描画することができる。即ち、本願では、実際のカメラの位置や姿勢が変わる毎に、この座標変換行列を再計算し、設定している。

本願の表示装置１０では、ユーザーは自由に三脚を移動して、三脚上のカメラを自由にパン方向およびチルト方向に回転させることができる。更に、表示装置１０では、リアルタイムに世界座標系から実際のカメラとの間の座標変換行列を求めることで、幾何学的整合性を損なわずに、ＣＧの合成を行うことができる。

更に、図１０（Ｂ）を参照して、画像の重ね合わせ方法について説明する。ＣＧを単純に実写映像に重ね合わせた場合を考えると、ＣＧの構造物３１の下部が、実際にはそれよりも手前にある建物３０Ａを隠してしまう映像が生成される。このような映像は、不自然な映像である。従って本願では、映像を構成する各ピクセル毎に、実際の世界の構造物とＣＧの世界の構造物のどちらがカメラに対して手前にあるかを判定している。

具体的には、ＣＧ構造物が実際の構造物より手前にあるならば、そのピクセルに対してＣＧを合成する。それに対して、ＣＧ構造物が実際の構造物より奥にあるならば、そのピクセルに対してＣＧを合成しない。これらの作業が必要になる。

次に図１１を参照して、レンズの歪みを考慮した画像の合成方法を説明する。図１１は画像の合成を行う方法を示すフローチャートである。

図１０を参照して上述したように、ＣＧにおけるパラメータ設定を実際のカメラの撮影条件に全て一致させることで、幾何学的に整合性がとれたＣＧを描画することが可能となる。更に本形態では、カメラ内部のパラメータであるレンズ歪みを考慮したＣＧの合成方法を行っている。

レンズ歪みとは、レンズの有する光学的特性によって直線が曲線として観測されることである。即ち、実際のカメラで撮影した画像は歪みが生じている。このレンズ歪みは、魚眼レンズ等で顕著に発生する。歪みが生じている実写画像に、歪みが生じていないＣＧの画像を重ね合わせると、幾何学的な整合性が損なわれる。従って、本形態では、このレンズ歪みの補正処理が行われた実写映像に、歪みのないＣＧ映像を合成させている。また、レンズの歪みに合わせて、歪ませたＣＧを合成することでも、上記問題を解決することが可能である。しかしながら、計算量の低減を考えると、歪みを補正した実写映像にＣＧを合成する方が好適である。

図１１のフローチャートを参照して、その具体的手法を説明する。先ず、ステップＳ２１では、現実環境を実際のカメラで撮影する。このことにより、カメラに装備されたレンズによる歪みを含む実写映像が得られる。そして、ステップＳ２２では、レンズ歪みの補正を行う。即ち、レンズの歪みにより曲線として示されている部分の幾何学的補正を行う。以上の作業により、レンズ歪みが排除された実写映像が得られる。

ステップＳ２４では、予め用意されたＣＧデータからＣＧを生成する。このことにより、歪みが考慮されていないＣＧ映像が得られる。ステップＳ２３では、歪みが無い実写映像に、同様に歪みがないＣＧ画像を合成させる。このことにより、幾何学的整合性が保たれた画像の合成を行うことができる。

本発明の表示装置を説明する概念図（Ａ）、概念図（Ｂ）である。本発明に用いる座標系を説明する概念図（Ａ）、各座標系同士の関連を説明する概念図（Ｂ）である。本発明の表示装置を用いた変換行列の算出方法を示すフローチャートである。世界座標系から三脚座標系までの関係を示す概念図である。ボードの全容を示す斜視図である。本発明の表示装置を用いた変換行列の算出方法を示すフローチャートである。本発明の表示装置の使用方法を示す概念図である。本発明の表示装置の使用方法を示す概念図（Ａ）−（Ｄ）である。本発明の表示装置の使用方法を示す概念図（Ａ）−（Ｄ）である。本発明の表示装置を用いて画像の合成を行う様子を説明する斜視図（Ａ）、斜視図（Ｂ）である。本発明の表示装置を用いた画像の合成方法を示すフローチャートである。

符号の説明

１０表示装置
１１カメラ
１２モニタ
１３雲台
１４三脚
１５操作レバー
１６ユーザー
１７計算機
１８演算部
１９記憶部
２０Ａ第１の測定手段
２０Ｂ第２の測定手段
Ｃ１〜Ｃ５座標系
Ｍ１〜Ｍ４変換行列

Claims

特徴点を含む現実世界の光学像を撮影して画像データに変換する撮影手段と、
前記画像データに基づく映像を表示する表示手段と、
前記撮影手段を固定する固定手段と、
前記固定手段を回転自在に支持する支持手段と、
前記固定手段の回転角を測定する測定手段と、
前記表示手段に表示される前記特徴点の前記表示手段上での座標を取得する取得手段と、
前記特徴点の座標を基にして演算を行う演算手段とを具備し、
前記撮影手段は、第１の画像データと、前記第１の画像データを撮影したときとは異なる姿勢で第２の画像データとを撮影し、
前記取得手段は、前記第１の画像データに写る前記特徴点の座標である第１の座標と、前記第２の画像データに写る前記特徴点の座標である第２の座標とを取得し、
前記測定手段は、前記第２の画像データを撮影した際に前記固定手段が回転した回転角を測定し、
前記演算手段は、前記第１の座標、前記第２の座標および前記回転角を基にして、前記撮影手段の前記固定手段に対しての位置を求めることを特徴とする電子機器。
前記測定手段は、前記固定手段の水平方向の回転角を測定する第１の測定手段と、前記固定手段の垂直方向の回転角を測定する第２の測定手段とから成ることを特徴とする請求項１記載の電子機器。
前記取得手段は、ポインティングデバイスであり、
前記表示手段に表示された前記特徴点を前記ポインティングデバイスにより選択することで、前記特徴点の前記表示手段上での座標を取得することを特徴とする請求項１記載の電子機器。
前記演算手段は、統計学的手法にて前記撮影手段の位置を算出することを特徴とする請求項１記載の電子機器。
前記演算手段は、
前記第１の画像データを撮影したときと前記第２の画像データを撮影したときの、前記撮影手段および前記固定手段の位置姿勢の変化を算出してから、前記撮影手段の前記固定手段に対しての位置を求めることを特徴とする請求項１記載の電子機器。
特徴点を含む現実世界の光学像を撮影して画像データに変換すると共に、内部パラメータが既知の撮影手段と、
前記画像データに基づく映像を表示する表示手段と、
前記撮影手段を回転自在に支持する支持手段と、
前記撮影手段を回転させつつ前記表示手段に表示される前記特徴点の前記表示手段上での座標を取得する取得手段と、
前記撮影手段の回転角を測定する測定手段と、
前記特徴点の座標および当該特徴点を所得したときの前記撮影手段の回転角を基にして前記現実世界に対する前記支持手段の位置および姿勢を計算する演算手段と、を具備し、
ユーザーが前記支持手段を移動させる度に、前記撮影手段による前記特徴点の撮影、前記取得手段による前記特徴点の座標の取得および前記演算手段による前記支持手段の位置および姿勢の計算が行われることを特徴とする電子機器。
前記演算手段は、１つの前記画像データに含まれる複数個の前記特徴点の座標を基にして前記支持手段の位置および姿勢を計算することを特徴とする請求項６記載の電子機器。
前記取得手段は、ポインティングデバイスであり、
前記表示手段に表示された前記特徴点を前記ポインティングデバイスにより選択することで、前記特徴点の前記表示手段上での座標を取得することを特徴とする請求項６記載の電子機器。
前記演算手段は、統計学的手法にて前記支持手段の位置および姿勢を算出することを特徴とする請求項６記載の電子機器。
前記測定手段は、前記固定手段の水平方向の回転角を測定する第１の測定手段と、前記固定手段の垂直方向の回転角を測定する第２の測定手段とから成ることを特徴とする請求項６記載の電子機器。
前記撮影手段は固定手段に固定され、
前記固定手段は回転自在に前記支持手段に固定されることを特徴とする請求項６記載の電子機器。