JP3450704B2

JP3450704B2 - 位置姿勢検出装置及び情報処理方法

Info

Publication number: JP3450704B2
Application number: JP06582498A
Authority: JP
Inventors: 清秀佐藤; 裕之山本; 登志一大島; 尚郷谷口; 昭宏片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-09-01
Filing date: 1998-03-16
Publication date: 2003-09-29
Anticipated expiration: 2018-03-16
Also published as: JPH11136706A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影画像を用いて
作業者の位置姿勢を算出することに関する。

【０００２】

【従来の技術】近年、現実空間と仮想空間の繋ぎ目のな
い(seemless)結合を目的とした複合現実感（以下、「Ｍ
Ｒ」(Mixed Reality)と称す）に関する研究が盛んにな
っている。ＭＲは、従来、現実空間と切り離された状況
でのみ体験可能であったバーチャルリアリティ（以下Ｖ
Ｒと略す）の世界と現実空間との共存を目的とし、ＶＲ
を増強する技術として注目されている。

【０００３】ＭＲの応用としては、患者の体内の様子を
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。これらの応用に対
して共通に要求されるのは、現実空間と仮想空間の間の
“ずれ”をいかにして取り除くかという技術である。
“ずれ”は、位置ずれ、時間ずれ、質的ずれに分類可能
であり、この中でも最も基本的な要求といえる位置ずれ
の解消（即ち、位置合わせ）については、従来から多く
の取り組みが行われてきた。

【０００４】ビデオカメラで撮影された映像に仮想物体
を重畳するビデオシースルー(Video-See-Through)方式
のＭＲの場合、位置合せの問題は、そのビデオカメラの
３次元位置を正確に求める問題に帰結される。半透過型
のＨＭＤ(Head Mount Display)を用いる光学シースルー
(Optic-See-Through)方式のＭＲの場合における位置合
せの問題は、ユーザーの視点の３次元位置を求める問題
といえ、それらの計測法としては、磁気センサや超音波
センサ、ジャイロといった３次元位置方位センサ利用が
一般的であるが、これらの精度は必ずしも十分とはいえ
ず、その誤差が位置ずれの原因となる。

【０００５】一方、ビデオシースルー方式の場合には、
このようなセンサを用いずに画像情報を元に画像上での
位置合わせを直接行う手法も考えられる。この手法では
位置ずれを直接取り扱えるために、位置合わせが精度よ
く行える反面、実時間性や信頼性の欠如などの問題があ
った。近年になって、位置方位センサと画像情報の併用
により、両者の欠点を互いに補って精度よい位置合わせ
を実現する試みが報告されている。

【０００６】１つの試みとして、「Dynamic Registrati
on Correction in Video-Based-Augmented Reality Sys
tems」(Bajura MichaelとUlrich Neuman, IEEE Compute
r Graphics and Applications 15, 5, pp. 52-60, 199
5)（以下、第１文献と呼ぶ）は、ビデオシースルー方式
のＭＲにおいて、磁気センサの誤差によって生じる位置
ずれを画像情報によって補正する手法を提案した。

【０００７】また、「Superior Augmented Reality Reg
istration by Integrating Landmark Tracking and Mag
netic Tracking」(State Andrei等, Proc. of SIGGRAPH
96,pp. 429-438, 1996)（以下、第２文献と呼ぶ）は、
さらにこの手法を発展させ、画像情報による位置推定の
曖昧性をセンサ情報によって補う手法を提案した。上記
第２文献は、位置方位センサposition-azimuth sensor
のみを用いてビデオシースルー方式のＭＲ提示システム
を構築した場合において、そのセンサの誤差が原因とな
って画像上に発生する位置ずれを解消するために、３次
元位置が既知であるランドマークを現実空間に設定す
る。このランドマークは、その位置ずれを画像情報から
検出するための手掛かりとなる。

【０００８】位置方位センサの出力に誤差が含まれてい
ないとすると、画像上で実際に観測されるランドマーク
の座標（Ｑ_Iとする）と、そのセンサ出力に基づいて得
られるカメラ位置とランドマークの３次元位置とから導
きだされるランドマークの観測予測座標（Ｐ_Iとする）
とは、同一となるはずである。しかし、実際にはセンサ
出力に基づいて得られたカメラ位置は正確ではないた
め、ランドマークの座標Ｑ_Iと観測予測座標Ｐ_Iは一致し
ない。このＰ_IとＱ_Iのずれは、ランドマーク位置におけ
る仮想空間と現実空間の位置ずれを表しており、このた
めに、画像からランドマーク位置を抽出することで、ず
れの向きと大きさが算出できる。

【０００９】このように、画像上での位置ずれを定量的
に計測することにより、位置ずれを解消するようなカメ
ラ位置の補正が可能となる。方位センサと画像を併用す
る最も単純な位置合わせ方式は、１点のランドマークを
用いたセンサ誤差の補正と考えられ、画像上のランドマ
ークの位置ずれに応じてカメラ位置を平行移動または回
転させる手法が第１文献によって提案されている。

【００１０】第１図に、１点のランドマークを用いた位
置ずれ補正の基本的な考え方を示す。以下では、カメラ
の内部パラメータを既知として、歪みなどの影響を除外
した理想的な撮像系によって画像撮影が行われているも
のと仮定する。カメラの視点位置をＣ、画像上でのラン
ドマークの観測座標をＱ_I、現実空間のランドマーク位
置をＱ_Iとすると、点Ｑ_Iは点Ｃと点Ｑ_Iを結ぶ直線ｌ_Q上
に存在する。一方、位置方位センサによって与えられる
カメラ位置からは、カメラ座標系におけるランドマーク
位置Ｐ_Cと、その画像上での観測座標Ｐ_Iとが推測でき
る。以下では、点Ｃから点Ｑ_I、点Ｐ_Iへの３次元ベクト
ルを、それぞれｖ_l、ｖ₂と表記する。この方法では、補
正後のランドマークの観測予測座標符Ｐ'_IがＱ_Iに一致
するように（すなわち、カメラ座標系における補正後の
ランドマーク予測位置Ｐ'_Cが、直線ｌ_Q上に乗るよう
に）、カメラと物体の相対的な位置情報を修正する事に
よって、位置ずれが補正される。

【００１１】ランドマークの位置ずれを、カメラ位置の
回転によって補正することを考える。これは、二つのベ
クトルｖ_l、ｖ₂の成す角θだけカメラが回転するよう
に、カメラの位置情報に修正を加えることにより実現で
きる。実際の計算では、上記ベクトルｖ_l、ｖ₂を正規化
したベクトルｖ_ln、ｖ_2nを用いて、その外積ｖ_ln×ｖ_2n
を回転軸に、内積ｖ_1n・ｖ_2nを回転角として、点Ｃを中
心にカメラを回転させる。

【００１２】ランドマークの位置ずれを、カメラ位置の
相対的な平行移動によって補正することを考える。これ
は、仮想世界中の物体位置をｖ＝ｎ（ｖ₁−ｖ₂）だけ平
行移動させることで実現できる。ここでｎは、次式によ
って定義されるスケールファクタである。

【００１３】

【数１】

【００１４】ここで、｜ＡＢ｜は点Ａと点Ｂの間の距離
を示す記号とする。また、カメラが−ｖだけ平行移動す
るようにカメラの位置情報に修正を加えることでも、同
様の補正が可能となる。これは、この操作によって、相
対的に仮想物体がｖだけ移動したことに等しくなるため
である。以上の２つの手法は、ランドマーク上での位置
ずれを２次元的に一致させる手法であり、３次元的に正
しい位置にカメラ位置を補正することではない。しか
し、センサ誤差が小さい場合には十分な効果が期待でき
るものであり、また、補正のための計算コストは非常に
小さなものであり、実時間性に優れた手法である。

【００１５】

【発明が解決しようとする課題】しかしながら、上記文
献に示された手法では、唯一のマーカの撮像画像内での
位置を捕捉することが必要であるから、そのマーカが常
にカメラに撮影されていなくてはならないという制約が
あるため、ごく限られた範囲の空間しか見ることができ
なかった。

【００１６】ましてや、複数の作業者が共通の複合現実
空間を共有する場合には、１つのマーカのみでは上記制
約は致命的である。

【００１７】

【課題を解決するための手段】本発明はこのような事態
に鑑みてなされたもので、広い範囲で移動する作業者の
位置姿勢を高精度に捕捉可能にすることを目的とする。

【００１８】上記課題を解決するため、本発明に係る位
置姿勢検出装置は、作業者の三次元位置姿勢を計測し
て、作業者位置姿勢信号を出力する位置姿勢センサと、
位置が既知である複数のマーカが配置されている現実空
間を撮像するカメラと、前記カメラからの画像信号を処
理して、前記マーカの座標値を検出する検出手段と、前
記検出手段により検出された前記マーカの前記座標値と
前記位置姿勢センサからの前記作業者位置姿勢信号とに
基づいて、前記作業者の位置姿勢を演算する演算手段と
を備える位置姿勢検出装置であって、前記カメラから遠
方にあるマーカの分布密度が、近隣にあるマーカの分布
密度よりも低く設定されていることを特徴とする。

【００１９】また、上記位置姿勢検出装置は、複数の作
業者が協調作業を行う場合において、それぞれの作業者
のための前記マーカは互いに異なる表現態様を有してい
ることを特徴とする。

【００２０】さらに、上記位置姿勢検出装置は、前記演
算手段により演算された前記作業者の前記位置姿勢に基
づいて仮想画像を生成する生成手段と、前記生成手段に
より生成された前記仮想画像を前記カメラからの画像信
号に合成する合成手段とをさらに備えることを特徴とす
る。

【００２１】さらにまた、上記位置姿勢検出装置では、
前記演算手段が、前記位置姿勢センサから出力された前
記作業者位置姿勢信号に基づいて前記カメラのビューイ
ング変換行列を算出する第１の算出手段と、前記ビュー
イング変換行列を用いて前記マーカの観測予測座標値を
予測する予測手段と、前記予測手段により予測された前
記観測予測座標値と前記検出手段により検出された前記
マーカの前記座標値とを用いて補正行例を算出する第２
の算出手段と、前記補正行列を用いて前記ビューイング
変換行列を補正する補正手段とを備え、補正された前記
ビューイング変換行列を用いて前記作業者の前記位置姿
勢を演算することを特徴とする。

【００２２】さらにまた、本発明に係る情報処理方法
は、作業者の視点位置及び姿勢に応じた仮想画像を生成
し、現実画像と合成することにより複合現実感を提示す
る情報処理方法において、カメラから遠方にあるマーカ
の分布密度が近隣にあるマーカの分布密度よりも低くな
るように、位置が既知である複数のマーカが配置されて
いる現実空間を前記カメラによって撮影することにより
得られる画像を入力し、前記カメラからの画像信号を処
理することにより前記マーカの座標値を検出し、前記マ
ーカの前記座標値と、位置姿勢センサによって作業者の
三次元位置姿勢を計測することにより得られた作業者位
置姿勢信号とを用いて前記作業者の視点位置及び姿勢を
演算することを特徴とする。

【００２３】さらにまた、上記情報処理方法は、複数の
作業者が協調作業を行う場合において、それぞれの作業
者のための前記マーカは互いに異なる表現態様を有して
いることを特徴とする。

【００２４】

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】

【００３２】

【００３３】

【発明の実施の形態】以下、本発明の、複合現実感の提
示手法及びＨＭＤを、エアーホッケーゲーム装置に適用
した実施形態に係わるシステムを説明する。エアーホッ
ケーゲームは相手の存在する対戦型のゲームであり、通
常、下部から圧縮空気を供給してパックを浮かして、こ
のパックを打ち合い、相手のゴールにパックを入れたら
得点が入る。得点の多い方を勝者とするゲームである。
本実施形態のＭＲを適用したエアホッケーゲームは、仮
想のパックを仮想３次元画像として現実環境のテーブル
の上に重畳表示してプレーヤーに提示して、その仮想パ
ックをプレーヤに現実のマレットで仮想的に打ち合わせ
るものである。

【００３４】このゲーム装置の特徴は、：共通のカメラで複数の作業者に共通の現実世界を撮
影し、その共通の画像の中に複数の作業者によって操作
される作業用アクチュエータ（本実施形態ではマレッ
ト）を特定することによって、１つの複合現実世界を現
出させ、複数人で共有可能ならしめる。：広範な現実空間内で大きく移動する作業者の視点位
置を精度良く検出するために、頭部の位置と姿勢とを検
出する磁気センサの他に、カメラを作業者の頭部に装着
し、このカメラが、ゲームプレー用テーブルの上に設け
られた複数のマーカの中の少なくとも１つのマーカを撮
像ならしめ、この撮像されたマーカの画像座標とそのマ
ーカの既知の位置との差異から、上記磁気センサが検出
した頭部の位置／姿勢（即ち、作業者の視点の位置及び
姿勢）を補正するものである。

【００３５】〈ゲーム装置の構成〉第２図は、本実施形
態のシステムのゲーム装置部分を側面から見た図であ
る。複合現実感のエアーホッケーゲームは、テーブル１
０００を挟んで、二人の対戦者２０００，３０００が手
にマレット（２６０Ｌ，２６０Ｒ）をもって向かい合
う。二人の対戦者２０００，３０００は頭部にヘッドマ
ウントデイスプレイ（以下ＨＭＤと略す）２１０Ｌ，２
１０Ｒを装着する。本実施形態のマレットは、その先端
に赤外線発光器を有している。後述するように、本実施
形態では、画像処理によりマレット位置を検出するが、
マレットの形状や色に特徴があるのであれば、それらの
特徴を用いたパターン認識によるマレット位置の検出も
可能である。

【００３６】実施形態のＨＭＤ２１０は、第４図に示す
ようにシースルー型である。両対戦者２０００，３００
０は、ＨＭＤ２１０Ｌ，２１０Ｒを装着していても、テ
ーブル１０００の表面を観察することができる。ＨＭＤ
２１０には後述の画像処理システムから三次元仮想画像
が入力される。従って、対戦者２０００，３０００は、
ＨＭＤ２１０の光学系（第２図には不図示）を通した現
実空間の映像に重ねて、ＨＭＤ２１０の表示画面に表示
された三次元画像を見ることとなる。

【００３７】第３図は、左側プレーヤ２０００が自身の
ＨＭＤ２１０Ｌからみた映像を示す。二人のプレーヤ２
０００，３０００は仮想のパック１５００を打ち合う。
パック１５００を打つのはプレーヤ２０００（プレーヤ
３０００）が手に握っている現実のマレット２６０Ｌ
（２６０Ｒ）を用いる。プレーヤ２０００は手にマレッ
ト２６０Ｌを握っている。相手プレーヤ３０００の直前
にはゴール１２００Ｒが見える。後述の画像処理システ
ム（第３図には不図示）は、ゴール１２００Ｒが相手方
近傍に見えるように、三次元ＣＧを生成してＨＭＤ２１
０Ｌに表示する。

【００３８】対するプレーヤ３０００も、ＨＭＤ２１０
Ｒを介してプレーヤ３０００の近傍にゴール１２００Ｌ
を見ることとなる。パック１５００も後述の画像処理シ
ステムにより生成されて、各々のＨＭＤに表示される。〈磁気センサ付きＨＭＤ〉第４図は、ＨＭＤ２１０の構
成を示す。このＨＭＤ２１０は、例えば特開平７−３３
３５５１号のＨＭＤの本体に、磁気センサ２２０を支柱
２２１を介して取り付けたものである。図中、２１１は
ＬＣＤ表示パネルである。ＬＣＤ表示パネルからの光
は、光学部材２１２に入射し、全反射面２１４にて反射
して、凹面ミラー２１３の全反射面にて反射して、全反
射面２１４を透過して観察者の目に届く。

【００３９】磁気センサ２２０は、本実施形態では、Po
lhemus社の磁気センサFastrackを用いた。磁気センサは
磁気ノイズに弱いので、プラスティック製の支柱２２１
により、ノイズ発生源である表示パネル２１１及びカメ
ラ２４０から離間した。尚、第４図に示したＨＭＤに磁
気センサ及び（又は）カメラを取り付ける構成は、光学
的シースルー方式の（透視型の）ＨＭＤに限られず、ビ
デオシースルー方式の（遮蔽型の）ＨＭＤであっても、
磁気センサ及び（又は）カメラを、頭部位置及び姿勢を
正確に検出する目的で、そのＨＭＤに装着することは可
能である。

【００４０】第２図において、夫々のＨＭＤ２１０はバ
ンド（不図示）によってプレーヤの頭部に固定される。
プレーヤの夫々の頭部には、第４図に示すように磁気セ
ンサ２２０が、第２図に示すようにＣＣＤカメラ２４０
（２４０Ｌ，２４０Ｒ）が、それぞれ固定されている。
カメラ２４０の視界はプレーヤの前方方向に設定されて
いる。このような磁気センサ２２０とカメラ２４０とを
備えたＨＭＤをエアホッケーゲームに用いる場合には、
プレーヤはそれぞれテーブル１０００の上面を見ること
となるので、カメラ２４０もテーブル１０００の表面の
画像を撮像する。磁気センサ２２０（２２０Ｌ，２２０
Ｒ）は、交流磁界発生源２５０が発する交流磁界の変化
をセンスする。

【００４１】後述するように、カメラ２４０が撮影した
画像は、磁気センサ２２０が検出した頭部の位置／姿勢
を補正するために用いられる。プレーヤがテーブル１０
００の表面を見るために斜め下方を向くと、ＨＭＤ２１
０を通した視界には、テーブル１０００の表面と、前述
の仮想のパック１５００、現実のマレット２６０（２６
０Ｌ，２６０Ｒ）、仮想のゴール１２００（１２００
Ｌ，１２００Ｒ）が見える。また、プレーヤが、頭部
を、水平二次元平面内において水平移動させ、あるいは
ティルティング運動、ヨー運動、ローリング運動を行わ
せると、その変化は先ず磁気センサ２２０によって検出
され、併せて、頭部の姿勢変化に伴ってＣＣＤカメラ２
４０が撮像する画像の変化として観測される。即ち、磁
気センサ２２０からの頭部位置を表す信号はカメラ２４
０の画像を画像処理することによって補正される。

【００４２】〈複数のマーカ〉夫々のプレーヤに把持さ
れる夫々のマレット２６０はその先端に赤外線発光器を
有しており、各マレットのテーブル１０００上の位置
（二次元平面位置）は各マレットからの赤外線を検出す
るＣＣＤカメラ２３０によって知られる。即ち、カメラ
２３０は各プレーヤの手の位置（マレットの位置）を検
出するためにある。マレット位置を検出することによ
り、本ホッケーゲームの進行を判断することができる。

【００４３】他方、ＣＣＤカメラ２４０はマーカ画像と
呼ばれる画像を出力する。第５図はテーブル１０００上
に配置されたマーカの一例を示す。第５図において、○
印で示した５つのランドマーク即ちマーカ（１６００〜
１６０４）はプレーヤ２０００の頭部位置を補助的に検
出するために用いられるマーカを示し、□印で示した５
つのランドマーク即ちマーカ（１６５０〜１６５４）は
プレーヤ３０００の頭部位置を補助的に検出するために
用いられるマーカを示す。マーカを第５図のように複数
配置すると、頭部の位置、特に姿勢によって、どのマー
カが見えるかが決まる。換言すれば、各々のプレーヤに
装着されたＣＣＤカメラ２４０が写す画像中におけるマ
ーカを特定し、画像内での位置を検出することにより、
プレーヤの頭部姿勢を検出する磁気センサの出力信号の
補正を行うことができる。

【００４４】尚、第５図の○印と□印とは図示のために
採用したものであり、その形状に特徴があるわけではな
く、任意の形状であってもよい。二人のプレーヤ（２０
００，３０００）に対してそれぞれ割り当てられたマー
カ群（１６００〜１６０８）とマーカ群（１６５０〜１
６５８）とは、それぞれ、異なる色に着色されている。
本実施形態では、左側プレーヤ（＃１プレーヤ）のため
のマーカは赤色に、右側プレーヤ（＃２プレーヤ）のた
めのマーカは緑色に着色されている。画像処理における
マーカの区別を容易にするためである。尚、色でなく形
状やテクスチャによってマーカを区別することも可能で
ある。

【００４５】本実施形態の大きな特徴は、マーカを複数
配置した点にある。複数配置することによって、プレー
ヤがテーブル１０００上で本エアホッケーゲームの動作
範囲内で行動する限りにおいて、少なくとも１つのマー
カがＣＣＤカメラ２４０の視野内に入ることが保証され
る。第６図は、プレーヤが頭部を色々と移動した場合に
おいて、頭部の移動に伴って、マーカを検出する画像処
理範囲が移動する様子が描かれてる。同図に示すよう
に、１つの画像には少なくとも１つのマーカが入ってい
る。換言すれば、マーカの数、マーカ間の間隔等は、テ
ーブル１０００の大きさ、カメラ２４０の視野角、ゲー
ムの性質に基づくプレーヤの移動範囲の大きさに応じて
設定されるべきである。第５図の場合、プレーヤから遠
方であればあるほど、広い範囲が視野に入るので、マー
カ間の間隔を広くしなければならない。これは、近傍に
あるマーカ間の画像中での間隔距離と、遠方にあるマー
カ間の画像中での距離とを同じくすることにより、遠方
の視野の画像中に取り込まれるマーカの数を低く抑えて
マーカ検出精度の低下を防止するためである。このよう
にすることにより、画像中に取り込まれるマーカの密度
が遠方マーカでも近隣のマーカでも実質的に等しくする
ことができ、同じフレーム内に不必要に複数のマーカが
撮像されるのを防ぐことができる。

【００４６】後述するように、本システムでは、カメラ
２４０Ｌ（２４０Ｒ）が得た画像中に少なくとも１つの
マーカが存在し、そのマーカを特定できれば十分であ
る。従って、特定のマーカをプレーヤが頭を移動させる
間（カメラ２４０を移動させる間）において追跡し続け
る必要はない。〈ＭＲ画像生成システム〉第７図は、第２図に示したゲ
ーム装置における三次元画像の生成提示システムの構成
を示す。この画像生成提示システムは、左側プレーヤ２
０００のＨＭＤ２１０Ｌ及び右側プレーヤ３０００のＨ
ＭＤ２１０Ｒの夫々の表示装置に、三次元の仮想画像
（第３図のパック１５００，ゴール１２００）を出力す
るものである。三次元仮想画像のための左右の視差画像
の生成は、画像生成部５０５０Ｌ，５０５０Ｒに拠って
行われる。本実施形態では、画像生成部５０５０の夫々
に米国SiliconGraphics社製のコンピュータシステム「O
NYX2」を用いた。

【００４７】画像生成部５０５０は、ゲーム状態管理部
５０３０が生成するパック位置情報等と、２つの補正処
理部５０４０Ｌ，５０４０Ｒが生成する補正後の視点位
置・頭部方向に関する情報とを入力する。ゲーム状態管
理部５０３０および補正処理部５０４０Ｌ，５０４０Ｒ
の夫々はコンピュータシステムONYX2により構成され
た。

【００４８】テーブル１０００の中央上空に固定された
ＣＣＤカメラ２３０は、テーブル１０００の表面を全て
視野に納める。カメラ２３０によって取得されたマレッ
ト情報はマレット位置計測部５０１０に入力される。こ
の計測部５０１０は、同じく、SiliconGraphics社製「O
2」コンピュータシステムにより構成された。計測部５
０１０は、二名のプレーヤのマレット位置、即ち、手の
位置を検出する。手の位置に関する情報はゲーム状態管
理部５０３０に入力されて、ここで、ゲーム状態が管理
される。即ち、ゲーム状態・ゲームの進行は基本的には
マレットの位置によって決定される。

【００４９】SiliconGraphics社製コンピュータシステ
ムO2により構成された位置姿勢検出部５０００は、２つ
の磁気センサ２２０Ｌ，２２０Ｒの夫々の出力（センサ
２２０自体の位置及び姿勢）を入力して、各プレーヤに
装着されたカメラ（２４０Ｌ，２４０Ｒ）での視点位置
（Ｘ，Ｙ，Ｚ）及び姿勢（ｐ，ｒ，φ）を検出し、補正
処理部５０４０Ｌ，５０４０Ｒに出力する。

【００５０】一方、各プレーヤの頭部に固定されたＣＣ
Ｄカメラ２４０Ｌ，２４０Ｒはマーカ画像を取得し、こ
のマーカ画像は、夫々、マーカ位置検出部５０６０Ｌ，
５０６０Ｒにおいて処理され、夫々のカメラ２４０の視
野に納まっている夫々のプレーヤについての追跡マーカ
の位置が検出される。追跡マーカ位置に関する情報は補
正処理部５０４０（５０４０Ｌ，５０４０Ｒ）に入力さ
れる。

【００５１】尚、マーカを追跡するマーカ位置検出部５
０６０（５０６０Ｌ，５０６０Ｒ）はO2コンピュータシ
ステムにより構成された。〈マレット位置計測〉第８図乃至第１０図は、マレット
位置を計測する制御手順を示すフローチャートである。
１つの共通カメラでマレットを追跡することにより、複
数作業者による共通の複合現実感を提示することが可能
となる。第８図乃至第１０図のフローチャートにより、
本実施形態のマレット位置の計測について説明する。

【００５２】エアホッケーゲームでは、プレーヤは自身
のマレットを他のプレーヤの領域まで進めることはな
い。そのために、左側プレーヤ２０００（右側プレーヤ
３０００）のマレット２６０Ｌ（２６０Ｒ）を探索する
処理は、第１１図に示すように、左側フィールドの画像
データＩL（画像データＩR）に処理を集中すればよい。
固定位置にあるＣＣＤカメラ２３０が取得した画像を第
１１図に示すように２つの領域に分割することは容易で
ある。

【００５３】従って、第８図のフローチャートにおい
て、プレーヤ＃１（プレーヤ２０００）のマレット２６
０Ｌの探索についてはステップＳ１００で、プレーヤ＃
２（プレーヤ３０００）のマレット２６０Ｒの探索につ
いてはステップＳ２００で、夫々の処理が行われる。そ
こで、便宜上、右側プレーヤのマレットの探索（ステッ
プＳ２００）を例にして説明する。

【００５４】先ず、ステップＳ２１０で、ＴＶカメラ２
３０が撮像したテーブル１０００表面の多値画像を取得
する。ステップＳ２１２では、その多値画像の右半分の
画像データＩRについて、サブルーチン「ローカル領域
での探索」を施す。「ローカル領域での探索」処理の詳
細は第９図に示される。ステップＳ２１２で画像座標系
でのマレット位置の座標（ｘ，ｙ）が見つかると、ステ
ップＳ２１４からステップＳ２２０に進み、画像座標系
でのマレット位置座標（ｘ，ｙ）を次式に従ってテーブ
ル１０００の座標系（第１３図を参照）の座標位置
（ｘ’，ｙ’）に変換する。

【００５５】

【数２】

【００５６】ここで、マトリクスＭ_Tは画像座標系とテ
ーブル座標系とをキャリブレーションするための３×３
の変換行列で、既知である。ステップＳ２２０で得られ
た座標位置（ｘ’，ｙ’）（第３図では、（ｘ’，
ｙ’）は「手の位置」としてしめされている）はゲーム
状態管理部５０３０に送られる。ローカル領域でマレッ
トがみつからなかったならば、ステップＳ２１６で「グ
ローバル領域での探索」を行う。「グローバル領域での
探索」でマレットが見つかったならば、ステップＳ２２
０でその座標位置をテーブル座標系に変換する。尚、ロ
ーカル又はグローバル領域で探索された座標位置は、次
のフレームでのローカル領域におけるマレットの探索に
用いられる。

【００５７】第９図はマレットをローカル領域で探索す
る処理（ステップＳ２１２の詳細）を示す。但し、この
処理は便宜上右側フィールドにおける探索処理を示す
が、左側フィールドにおけるマレットの探索処理につい
ても実質的に同様である。ステップＳ２２２で、次式で
定義される大きさ（２Ａ＋１）×（２Ｂ＋１）画素の矩
形領域を抽出する。

【００５８】

【数３】ｘ＝［Ｉ_x−Ａ，Ｉ_x＋Ａ］ｙ＝［Ｉ_y−Ｂ，Ｉ_y＋Ｂ］ここで、上記式中の、Ｉ'_x，Ｉ'_yは前フレームで検出さ
れたマレットの座標値であり、Ａ，Ｂは探索領域の大き
さを決める定数であって、かかる探索領域は第１２図の
ようになる。

【００５９】ステップＳ２３０は、ステップＳ２２２で
定義された矩形領域中の全ての画素（ｘ，ｙ）につい
て、特徴の評値値Ｉ_S（ｘ，ｙ）が一定の条件を満足す
る画素を抽出する工程である。マレットを探索する目的
では、特徴量とは、画素値（赤外光の強度値）の類似度
が好適である。本実施形態では、マレットには赤外線発
光器を用いているので、その赤外光の強度の特徴を有す
るものは、一応マレットと判断する。

【００６０】即ち、ステップＳ２３２では、類似度Ｉ_S
が所定の閾値以上にマレットに近い画素を見つける。そ
のような画素を見つけると、カウンタＮに発生度数の累
積値を記憶する。また、そのような画素のｘ座標値及び
ｙ座標値をレジスタSUMx及びSUMyに累積記憶する。即
ち、

【００６１】

【数４】Ｎ＝Ｎ＋１ SUMx＝ SUMx＋ｘ SUMy＝ SUMy＋ｙとする。ステップＳ２３０を終了した時点で、第１２図
の領域中でマレットからの赤外光のパターンに類似して
いる全ての画素の個数Ｎ、及び座標値の累積値SUMx，SU
Myが得られる。Ｎ＝０であればステップＳ２３６で結果
“Not Found”が出力される。Ｎ＞０であれば、マレッ
トらしいものが見つかったのであり、ステップＳ２３８
で、マレットの位置（Ｉ_x，Ｉ_y）を、

【００６２】

【数５】

【００６３】に従って演算する。そして、この演算され
たマレット位置（Ｉ_x，Ｉ_y）をステップＳ２２０（第８
図）でテーブル座標系に変換し、この変換値を「手の位
置」を表す信号として管理部５０３０に渡す。第１０図
は、ステップＳ２１６のグローバル領域探索の詳細手順
を示す。第１０図のステップＳ２４０で、右側フィール
ドの画像ＩR中の、

【００６４】

【数６】

【００６５】｛（ｘ，ｙ）｜ｘ＞０，ｘ＜Width，ｘ＝ｎＣ，ｙ＞
０，ｙ＜Height，ｙ＝ｍＤ（ただしｎ，ｍは整数）｝を満足する画素の中で、特徴
の評値値Ｉ_Sの最大値をレジスタMaxに記憶する。ここ
で、Ｃ，Ｄは探索の粗さを決める定数であり、Widthお
よびHeightはその定義を第１５図に示す。即ち、ステッ
プＳ２４２で、特徴量Ｉ_Sが閾値記憶レジスタMaxに記憶
されている閾値を超えるか否かを判断する。そのような
画素が見つかったならば、ステップＳ２４４で、その特
徴量を新たな閾値とすべく、ステップＳ２４４で、

【００６６】

【数７】Max＝Ｉ_S（ｘ，ｙ）Ｉ_x＝ｘＩ_y＝ｙとする。ステップＳ２４６では、グローバル探索で見つ
かった最もマレットらしい画素（Ｉx，Ｉy ）の座標値
をステップＳ２２０に渡す。

【００６７】このようにして、マレットを画像中で見つ
け、その座標値をテーブル座標系に変換したものをゲー
ム状態管理部５０３０に渡す。〈ゲーム状態管理〉第１３図は、本実施形態のエアホッ
ケーゲームのゲームフィールドを示す。このフィールド
は、テーブル１０００の上の２次元平面上に定義され、
ｘ，ｙ軸を有する。また、左右の２つの仮想的ゴールラ
イン１２００Ｌ，１２００Ｒと、第１３図の上下方向に
設けられた仮想的壁１３００ａ，１３００ｂとを有す
る。仮想的ゴールライン１２００Ｌ，１２００Ｒと仮想
的壁１３００ａ，１３００ｂとは、その座標値は既知で
あり、移動することはない。このフィールドの中で、マ
レット２６０Ｒ，２６０Ｌの移動に応じて、パック１５
００の仮想画像が移動する。

【００６８】パック１５００は、現在位置の座標情報Ｐ
_pと速度情報ｖ_pとを有し、左マレット２６０Ｌは現在位
置の座標情報Ｐ_SLと速度情報ｖ_SLとを有し、右マレット
２６０Ｒは現在位置の座標情報Ｐ_SRと速度情報ｖ_SRとを
有する。第１４図は、ゲーム状態管理部５０３０におけ
る処理手順を説明するフローチャートである。

【００６９】ステップＳ１０において、パック１５００
の初期位置Ｐ_p0及び初期速度ｖ_p0を設定する。尚、パッ
クは速度ｖ_pで等速度運動を行う。また、パックは、壁
又はマレットに当たると完全弾性衝突を行う、即ち、速
度方向が反転するものとする。ゲーム状態管理部５０３
０は、マレット位置計測部５０１０が計測した各マレッ
トの位置情報Ｐ_Sから速度情報ｖ_Sを得る。

【００７０】ステップＳ１２は、ゲームでの勝敗が決定
する（ステップＳ５０で一方が３点を先取する）迄の間
は、Δｔ時間毎に実行される。すると、ステップＳ１２
では、パックの位置は、

【００７１】

【数８】Ｐ_p＝Ｐ_p0＋ｖ_p0・Δｔに更新される。初期位置及び初期速度設定後におけるパ
ックの位置は、一般には、

【００７２】

【数９】Ｐ_p＝Ｐ_p＋ｖ_p・Δｔで表される。ステップＳ１４では、更新されたパック位
置Ｐ_pがプレーヤの＃１側（左プレーヤ）のフィールド
にあるか否かを調べる。パック１５００が左プレーヤ側
にある場合について説明する。

【００７３】ステップＳ１６では、現在のパック位置が
左プレーヤのマレット１１００Ｌと干渉する位置にある
か否かを調べる。パック１５００がマレット１１００Ｌ
と干渉する位置にあるとは、左プレーヤ２０００がマレ
ット２６０Ｌをパックに衝突させるようなマレット操作
を行ったことを意味するから、パック１５００の運動を
反転させるために、ステップＳ１８で、パック１５００
の速度ｖ_pのｘ方向速度成分ｖ_pxの符号を反転させて、
ステップＳ２０に進む。

【００７４】尚、単に速度ｖ_pのｘ方向速度成分ｖ_pxの
符号を反転させる代わりに、

【００７５】

【数１０】ｖ_px＝−ｖ_px＋ｖ_SLx として、パックの動作を、パックのｘ方向速度ｖ_pxにマ
レットのｘ方向の操作速度ｖ_SLxを重畳して、反対方向
に進ませるようにしても良い。一方、現在のパック位置
が左プレーヤのマレット１１００Ｌと干渉する位置にな
い場合（ステップＳ１６でＮＯ）には、そのままステッ
プＳ２０に進む。

【００７６】ステップＳ２０では、パックの位置Ｐ_pが
仮想壁１３００ａ又は１３００ｂと衝突する位置にある
か否かを調べる。ステップＳ２０の判断がＹＥＳの場合
には、ステップＳ２２でパックの速度のｙ成分を反転さ
せる。次ぎにステップＳ２４で、現在のパック位置が左
プレーヤのゴールライン内にあるか否かを調べる。ＹＥ
Ｓの場合には、ステップＳ２６で相手側のプレーヤ、即
ち、右（＃２）プレーヤの得点を加算する。ステップＳ
５０では、いずれかの得点が３点以上先取したかを調べ
る。３点以上であればゲームを終了する。

【００７７】ステップＳ１４での判断で、パックの位置
Ｐ_pが右プレーヤ側（＃２プレーヤ側）にある場合に
は、ステップＳ３０以下を実行する。ステップＳ３０〜
ステップＳ４０は、ステップＳ１６〜ステップＳ２６と
実質的に動作は同じである。かくして、ゲームの進行状
態は管理される。ゲームの進行状態は、パックの位置、
マレットの位置であり、前述したように、画像生成部５
０５０（５０５０Ｌ，５０５０Ｒ）に入力される。

【００７８】〈頭部位置の補正〉第１６図は、補正処理
部５０４０（５０４０Ｌ，５０４０Ｒ）における処理の
制御手順の全体を示す。補正処理部５０４０における補
正とは、磁気センサ２２０の出力は誤差を伴うものであ
り、そのような出力に基づいて計測部５０００が演算し
た視点位置データ及び頭部姿勢データを、ＣＣＤカメラ
２４０から得られた画像中のマーカ位置に基づいて補正
する処理をいう。即ち、この補正処理は、カメラ２４０
が取得した画像中のマーカ位置から、カメラ２４０の位
置（頭部の位置に密接に関連するものでもある）の補正
値を求め、その補正値を用いて、視点のビューイング変
換行列を変更する。変更されたビューイング変換行列は
補正された視点の位置及び姿勢データを表すものであ
り、換言すれば、この補正されたビューイング変換行列
は補正された視点位置での仮想画像を与える。

【００７９】第２６図は、第１実施形態における観察者
の視点位置／姿勢の補正の原理を説明する。ここで、実
施形態における観察者の視点位置／姿勢の補正とは、補
正されたビューイング変換行列を求めることと等値であ
る。第２６図において、プレーヤのカメラ２４０がマー
カ１６０３を画像３００に捉えているとする。マーカ１
６０３の位置はこの画像３００内では画像座標系で例え
ば（ｘ₀，ｙ₀）と表される。一方、画像３００が捉えて
いるマーカが１６０３であることが分かれば、そのマー
カ１６０３の世界座標系での座標（Ｘ₀，Ｙ₀，Ｚ₀）は
既知である。（ｘ₀，ｙ₀）は画像座標値であり（Ｘ₀，
Ｙ₀，Ｚ₀）は世界座標であるから、これらの座標同士を
比較することはできない。第１実施形態では、磁気セン
サ２２０の出力からカメラ２４０のビューイング変換行
列Ｍ_Cを求め、世界座標系での座標（Ｘ₀，Ｙ₀，Ｚ₀）を
このビューイング変換行列Ｍ_Cを用いて画像座標系の座
標（ｘ^' ₀，ｙ^' ₀）に変換する。そして、（ｘ₀，ｙ₀）と
（ｘ^' ₀，ｙ^' ₀）との誤差が磁気センサ２２の出力の誤差
を表現するものであるから、これを補正する補正行列Δ
Ｍ_Cを求める。

【００８０】尚、第２６図から明らかなように、画像３
００内に捉えられたマーカがマーカ１６０３であること
を特定する必要があるが、第１実施形態では、後述する
ように、全てのマーカの世界座標系での三次元位置を上
記ビューイング変換行列Ｍ_Cにより画像座標系に変換し
て、変換後のカメラ座標値が上記（ｘ₀，ｙ₀）に最も近
いマーカを画像３００内に捉えられたマーカと特定す
る。この処理は第１９図及び第２０図によって説明され
るであろう。

【００８１】第１６図に従って補正処理部５０４０の処
理手順を詳細に説明する。即ち、ステップＳ４００で
は、磁気センサ２２０の出力に基づいて、カメラ２４０
のビューイング変換行列（４×４）を計算する。ステッ
プＳ４１０では、ステップＳ４００で求めたビューイン
グ変換行列と、カメラ２４０の理想的透視変換行列（既
知）と、各マーカの三次元位置（既知）とに基づいて、
各マーカが観測されるべき位置座標（画像座標系での）
を予測する。

【００８２】一方、マーカ位置検出部５０６０（５０６
０Ｌ，５０６０Ｒ）は、プレーヤの頭部に取り付けられ
たカメラ２４０（２４０Ｌ，２４０Ｒ）から得た画像中
でマーカを追跡している。マーカ位置検出部５０６０
は、検出したマーカ位置を、補正処理部５０４０（ステ
ップＳ４２０において）に渡す。補正処理部５０４０
（５０４０Ｌ，５０４０Ｒ）は、ステップＳ４２０にお
いて、渡されたマーカ位置情報に基づいて、現在観測し
ているマーカ、即ち補正の基準となるマーカを判別す
る。ステップＳ４３０では、ステップＳ４１０で演算さ
れたマーカの予測座標値とマーカ位置検出部５０６０が
検出したマーカの観測座標値との差異に基づいて、磁気
センサ２２０が検出したカメラ２４０の位置姿勢を補正
するための補正行列ΔＭｃを求める。カメラ２４０の位
置姿勢の補正ができるのは、マーカ位置検出部５０６０
が観測したマーカ（第２６図の例ではマーカ１６０３）
の座標値と磁気センサが検出した頭部位置に基づくマー
カ座標とは、センサ出力が正確であれば一致している筈
であるから、ステップＳ４３０で演算する上記の差異は
磁気センサ２２０の誤差を反映するからである。カメラ
の位置姿勢と視点の位置姿勢との相対関係は既知であ
り、その関係は三次元座標変換で表される。従って、こ
のカメラの位置姿勢の補正行列ΔＭｃに基づいて、ステ
ップＳ４４０で、ステップＳ４００で演算した視点のビ
ューイング変換行列を補正し、この補正された変換行列
を画像生成部５０５０（５０５０Ｌ，５０５０Ｒ）に渡
す。

【００８３】第１７図はマーカ位置検出部５０６０にお
ける、マーカの位置検出のための処理手順である。ステ
ップＳ５００では、カメラ２４０が取得したカラー画像
を取り込む。その後に、ステップＳ５０２では、「ロー
カル領域探索」を、ステップＳ５０６では「グローバル
領域探索」を行って、画像座標系によって表されたマー
カ位置（ｘ，ｙ）を検出する。ステップＳ５０２の「ロ
ーカル領域探索」、ステップＳ５０６の「グローバル領
域探索」は、手順としては、マレット探索における「ロ
ーカル領域探索」（第９図）、「グローバル領域探索」
（第１０図）に実質的に同じであるので、この「ローカ
ル領域探索」（第９図）と「グローバル領域探索」（第
１０図）とを援用することとし、図示を省略する。但
し、援用された制御手順（ステップＳ２３２）におけ
る、マーカ探索のための特徴量Ｉ_Sとして、プレーヤ＃
１（左）について、注目画素の画素値の、

【００８４】

【数１１】

【００８５】を用いる。プレーヤ＃１については、マー
カ（１６００〜１６０４）には赤色を用いているので、
この特徴量は赤らしさの程度を表す。また、プレーヤ＃
２（右）については緑色のマーカ（１６５０〜１６５
４）を用いているので、

【００８６】

【数１２】

【００８７】を用いる。また、グローバル探索における
特徴量Ｉ_S（ｘ，ｙ）についても上記２つの量を用い
る。ステップＳ５０２及びステップＳ５０６で得られた
マーカの座標値は、ステップＳ５１０で、歪みを補正す
るための行列Ｍ（例えば３×３の大きさを有する）を用
いて歪みのない理想的な画像座標系に変換する。この時
の変換式は、

【００８８】

【数１３】

【００８９】である。次ぎに、第１６図のステップＳ４
１０の処理の詳細について第１８図を用いて説明する。
前述したように、ステップＳ４００では世界座標系から
カメラ座標系への変換行列Ｍ_C（４×４のビューイング
変換行列）が得られている。一方、カメラ座標系から画
像座標系への変換行列Ｐ_C（４×４）も既知の値として
与えられている。また、注目するマーカの三次元座標位
置（Ｘ，Ｙ，Ｚ）も既知として与えられている。

【００９０】即ち、角度ｒをカメラ２４０の位置でのＺ
軸方向の回転(roll)とし、角度ｐをカメラ２４０の位置
でのＸ軸方向の回転(pitch)とし、角度φをカメラ２４
０の位置でのＺ軸方向の回転(yaw)とし、カメラ２４０
の位置を（Ｘ₀，Ｙ₀，Ｚ₀）すると、カメラ２４０のビ
ューイング変換行列（即ち、世界座標系からカメラ座標
系への変換行列）Ｍｃは、

【００９１】

【数１４】

【００９２】であり、ｄをカメラ２４０の焦点距離、ｗ
をカメラの撮像面の幅、ｈを同じく高さとすると、カメ
ラ座標系から画像座標系への変換行列Ｐ_Cは、

【００９３】

【数１５】

【００９４】で表される。従って、第１８図のステップ
Ｓ５２０（即ち第１６図のステップＳ４１０）では、注
目マーカの座標位置（Ｘ，Ｙ，Ｚ）を、次式に従って、
画像面上での位置（ｘ_h，ｙ_h，ｚ_h）に変換する。

【００９５】

【数１６】

【００９６】ステップＳ５２２では、画像座標系におけ
るマーカの観測予測座標値ｘ、ｙとして、

【００９７】

【数１７】

【００９８】を得る。かくして、ステップＳ４１０によ
り、各マーカｉの画像座標系での観測予測座標値
（ｘ_i，ｙ_i）を得ることができる。次ぎに、ステップＳ
４２０における「マーカ判別」の処理を説明する。第１
９図は、テーブル１０００上において、一方のプレーヤ
のカメラ２４０が画像６００を取得した場合を示す。

【００９９】テーブル１０００上に設けられているマー
カを、例えばＭ₁〜Ｍ₇とし、△印で表す。このマーカの
三次元位置Ｍ_iは既知である。画像６００内には、マー
カＭ₂，Ｍ₃，Ｍ₆，Ｍ₇が含まれている。一方、各マーカ
Ｍ_iの観測予測位置はステップＳ５２０で求められたも
のであり、それをＰ_iとする。また、Ｑは、マーカ位置
検出部５０６０が検出し、検出部５０６０から渡された
マーカ位置を示す。

【０１００】ステップＳ４２０の「マーカの判別」は、
マーカ位置検出部５０６０が検出したマーカ位置Ｑが、
どのＰ_i（即ち、どのＭ_i）に対応するかを判断するもの
である。第１９図において、ベクトルｅ_iを、検出され
たマーカ位置Ｑから各マーカの予測位置Ｐ_iに向かうベ
クトルの長さ、即ち、距離を表すものとする。ステップ
Ｓ４２０の詳細を第２０図に示す。即ち、第２０図の処
理は、画像６０００内に入るマーカｉ（ｉ＝０〜ｎ）の
距離ｅ_iのうち、最小値を示すマーカを探索し、そのマ
ーカの識別子ｉを出力するものである。即ち、

【０１０１】

【数１８】

【０１０２】である。第１９図の例では、Ｐ₂間での距
離ｅ₂が一番短いので、マーカＭ₂を磁気センサ出力の補
正に用いるデータとする。かくして、プレーヤがどのよ
うに移動しても、その活動範囲（フィールド）内では、
カメラ２４０は少なくとも１つのマーカを画像中に捉え
るので、従来のように、フィールドの大きさを狭く限定
する必要が無くなる。

【０１０３】次ぎに、ステップＳ４３０では、第１図に
おいて説明した処理と同じであって、式１８に基づいて
得られた誤差距離ｅ_minに基づいて、カメラの位置方位
の補正を表す変換行列ΔＭｃを求める。一方、ステップ
Ｓ４３２では、磁気センサ出力に基づいて、プレーヤの
視点位置でのビューイング変換行列Ｍ_Vを求める。ま
た、Ｍ_vcをカメラ座標系から視点座標系への変換行列
（既知である）とすると、ステップＳ４４０では、この
Ｍ_vcを用いて、次式によって補正後の視点のビューイン
グ変換行列Ｍ_v’を導出する。

【０１０４】

【数１９】

【０１０５】尚、第２６図から明らかであり、また後述
の第２実施形態からも明らかになることであるが、第１
実施形態（第１６図の処理）では、画像座標系に変換し
て、誤差距離ｅを求めたが、反対に世界座標系に変換し
て誤差距離ｅを求めても同じように補正後の視点のビュ
ーイング変換行列を得ることができる。〈頭部位置の検出精度の向上〉…第２実施形態上記第１実施形態では、ＨＭＤ２１０Ｌ（２１０Ｒ）に
は前方モニタ用の１つのカメラ２４０Ｌ（２４０Ｒ）が
設けられていた。このカメラ２４０により取得されたテ
ーブル１０００上のマーカの画像を、処理部５０６０が
処理して、画像中のマーカを特定（ステップＳ４２０）
して、プレーヤの頭部の姿勢、即ち、頭部に装着された
カメラの姿勢、換言すれば、この姿勢を有するカメラに
よるビューイング変換を表す行列を決定するというもの
であった。しかしながら、第１実施形態では画像座標系
での誤差のみを利用しているため、カメラとマーカの位
置関係に三次元的なずれが残ってしまう。

【０１０６】また、複合現実感を提示するための用途に
よっては、マーカが３次元空間の任意位置におかれる場
合もあり、このような場合は第１実施形態での第１６図
に示されたマーカの同定手法は信頼性が低くなる。次に
提案する第２実施形態は、この三次元的なずれの問題を
解消する。即ち、一人のプレーヤに２台のカメラを装着
してマーカの検出を世界座標系で行うことで、上記の問
題を解消する。また、第２実施形態は、マーカが平面上
に配置されなくてはならないという拘束も緩和する。

【０１０７】具体的には、２つのカメラが左右に配置装
着された２台のＨＭＤを二人のプレーヤに用いるもので
ある。即ち、第２１図に示すように、プレーヤ２０００
（３０００）のＨＭＤ２１０Ｌ（２１０Ｒ）には、２台
のカメラ２４０ＬＲ，２４０ＬＬ（２４０ＲＲ，２４０
ＲＬ）を装着し、このカメラ２４０ＬＲ，２４０ＬＬ
（２４０ＲＲ，２４０ＲＬ）から得たステレオ画像か
ら、カメラ２４０ＬＲ，２４０ＬＬ（２４０ＲＲ，２４
０ＲＬ）の姿勢を補正するものである。

【０１０８】尚、第２実施形態のシステムは、マーカが
３次元的に配置された場合にも対処できるものである
が、第１実施形態の処理手順との異同を明瞭にするため
に、第１実施形態と同じく、平面上に配置された複数の
マーカを用いるエアホッケーゲームに適用する。第２２
図は、第２実施形態に関わる画像処理システムの一部を
示す。即ち、第２２図は、第１実施形態の画像処理シス
テム（第７図）のうちの変更部分を示す。即ち、第７図
と第２２図とを対比すると、第２実施形態の画像処理シ
ステムは、各プレーヤに２台のカメラが設けられている
点のほかに、マーカ位置検出部５０６０Ｌ’（５０６０
Ｒ’）と、補正処理部５０４０Ｌ’（５０４０Ｒ’）と
を有する点で第１実施形態と異なるものの、第２実施形
態のマーカ位置検出部５０６０Ｌ’（５０６０Ｒ’）
と、補正処理部５０４０Ｌ’（５０４０Ｒ’）は第１実
施形態のマーカ位置検出部５０６０Ｌ（５０６０Ｒ）
と、補正処理部５０４０Ｌ（５０４０Ｒ）とソフトウエ
アの処理において異なっているに過ぎない。

【０１０９】第２３図は、第２実施形態の処理手順のう
ちの特に左側プレーヤ２０００のための制御手順を示
し、特に、第１実施形態の第１６図の制御手順に対応す
る部分であって、マーカ位置検出部５０６０’と位置・
姿勢検出部５０００と補正処理部５０４０Ｌ’との連係
動作を説明する。第２３図に於いて、第１実施形態と同
じところの位置・姿勢検出部５０００は、ステップＳ３
９８で磁気センサ２２０Ｌの出力に基づいて、視点のビ
ューイング変換行列を算出する。ステップＳ４００’で
は、磁気センサ２２０Ｌの出力に基づいて、カメラ２４
０ＬＲのビューイング変換行列の逆行列を算出する。こ
の変換行列は補正処理部５０４０’に送られる。

【０１１０】２台のカメラ２４０ＬＬ（２４０ＬＲ）か
らの画像はマーカ位置検出部５０６０Ｌ’に送られる。
即ち、ステップＳ４０２では、検出部５０６０’が右側
カメラ２４０ＬＲからの画像Ｒ中にマーカ画像ｍ_Rを抽
出する。抽出されたマーカの座標（即ち、観測座標）を
Ｉ_mRで表す。ステップＳ４０４では、検出部５０６０’
が右側カメラ２４０ＬＬからの画像Ｌ中に対応マーカ画
像ｍ_Lを抽出する。抽出されたマーカの座標をＩ_mLで表
す。マーカ画像ｍ_Rとマーカ画像ｍ_Lとは本来同じマーカ
ｍ_Xのものであるから、ステップＳ４０６では、観測さ
れた１組のマーカ座標（Ｉ_mR，Ｉ_mL）から、三角測量の
原理に基づいて、カメラ２４０ＬＲの座標系における抽
出された観測マーカの三次元位置Ｃ_mを導出する。

【０１１１】尚、ステップＳ４０４では、一般的なステ
レオ視による手法を用いてマーカ画像ｍ_Lの対応点探索
を行うが、処理を高速に行うために、周知のエピポーラ
拘束epipolar bindを用いて探索範囲を限定してもよ
い。第２３図のステップＳ４１０’，ステップＳ４２
０’，ステップＳ４２２，ステップＳ４３０’は補正処
理部５０４０Ｌ’における処理を示す。

【０１１２】まず、ステップＳ４１０’では、観測され
たマーカのカメラ座標系における三次元位置Ｃ_mを、ス
テップＳ４００’において導出された透視変換行列を用
いて、世界座標系の三次元位置Ｗ_mに変換する。ステッ
プＳ４２０’では、全てのマーカｍ_iの世界座標系にお
ける３次元位置Ｗ_mi（既知）を所定のメモリから取り出
して、個々のマーカｍ_iと観測マーカｍ_Xとのユークリッ
ド距離｜Ｗ_mi−Ｗ_m｜を最小とするようなＷ_miを決定す
る。即ち、観測マーカｍ_X最も近い位置にある既知のマ
ーカを同定する。

【０１１３】Ｗ_miとＷ_mとは本来的には同じ位置ではあ
るが、センサの誤差によって誤差ベクトルＤ（第１実施
形態のｅに相当）が発生しているものである。そこで、
ステップＳ４２０’では、観測された（追跡された）マ
ーカの３次元座標（世界座標）に最も近い座標値Ｗ_miを
有するマーカを決定し、ステップＳ４３０’では、観測
マーカと決定されたマーカとの距離差ベクトルＤを、

【０１１４】

【数２０】Ｄ＝Ｗ_mi−Ｗ_m により演算して、カメラ位置をこのベクトル量だけ移動
させるための変換行列ΔＭｃを求め、ステップＳ４４
０’では、第１実施形態と同じ手法で視点のビューイン
グ変換行列を補正する。

【０１１５】かくして、本発明は、２台のカメラを装着
したＨＭＤを用いることにより、観測マーカの位置検出
を三次元的に行うことができ、このために、より正確な
視点の位置姿勢が検出可能となり、ＭＲの仮想画像と実
画像とのつなぎが滑らかとなる。〈変形例１〉本発明は上述の第１実施形態や第２実施形
態にのみ適用されるものではない。

【０１１６】上記第１実施形態では、画像中にマーカを
検出する処理は、第１７図に示すように、最初に見つか
ったものを追跡対象のマーカとしていた。そのために、
例えば、第２４図に示すように、あるフレームでマーカ
Ｍ1を含む画像８００が得られた場合に、その後のフレ
ームの画像領域８１０には、マーカが領域８１０の端部
ではあるがその領域８１０内に含まれている場合には、
マーカＭiを補正処理の基準用のマーカとして決定する
ことに不都合はない。しかし、その後のフレームで、例
えば画像８２０が得られ、その領域内にはマーカＭ_iが
外れ、代わりにマーカＭ₂を含む場合には、補正のため
の基準マーカはそのマーカＭ₂に変更せざるを得ない。
このようなマーカの変更は追跡に失敗した場合にも必要
となり、位置ずれの補正には、新たに追跡されたマーカ
が利用される。

【０１１７】このように補正に使用するマーカを切り替
えることの問題点として、その切り替わりの際に、補正
値の急激な変化が原因となって、仮想物体が不自然に移
動してしまう場合がある。そこで、補正値の時間的整合
性を保つために、前フレームまでの補正値を次の補正値
の設定に反映させることを変形例として提案する。

【０１１８】即ち、あるフレームでの補正値（世界座標
系での平行移動を表す３次元ベクトル）をｖ_t、前フレ
ームでの補正値をｖ'_t-1としたとき、次式で求められる
ｖ'_tを新たな補正値とする。

【０１１９】

【数２１】

【０１２０】ここでαは、過去の情報の影響の度合いを
定義する０≦α＜１の定数である。上記式の意味すると
ころは、前フレームでの補正値ｖ'_t-1に拠る寄与度をα
とし、今回のフレームで得られた補正値ｖ_tを（１−
α）の寄与度で用いるというものである。このようにす
ることにより、補正値の急激な変化が緩和され、三次元
仮想画像の急激な変化（不自然な移動）が解消する。新
たな補正値αを適当な値に設定することで、マーカの切
り替わりによる不自然な物体の移動を防ぐことができ
る。

【０１２１】〈変形例２〉上記実施形態では、画像中に
マーカを検出する処理は、第１７図に示すように、ロー
カル探索でマーカを発見できなかった場合、前回のフレ
ームでのマーカの位置に関わらず、全画面中で最も類似
度の高い点を追跡対象のマーカとしていた。ここで、マ
ーカの探索を、前のフレームで見つかったマーカの位置
を中心にして、マーカ探索を行う変形例を提案する。こ
れは、プレーヤの移動に伴う画像フレームの移動があっ
ても、マーカは前フレームに存在した位置から大きくず
れていない位置に存在する可能性が高いからである。

【０１２２】第２５図は、前回のフレームにおいて見つ
かったマーカを今回のフレームに探索する原理を説明す
る。このような探索経路で探索を行い、ある閾値以上の
類似度を持つ点を見つけたら、この点を追跡対象のマー
カとするのである。〈変形例３〉上記実施形態は光学式ＨＭＤを用いたもの
であったが、本発明は光学式ＨＭＤの適用に限定される
ものではなく、ビデオシースルー方式のＨＭＤにも適用
可能である。

【０１２３】〈変形例４〉上記実施形態は、エアホッケ
ーゲームに適用したものであったが、本発明はエアホッ
ケーゲームに限られない。本発明は、複数人の作業（例
えばマレット操作）を、１つのカメラ手段により撮像し
て捉えるので、その複数人の作業を１つの仮想空間に再
現することが可能である。従って、本発明は、２人以上
の作業者を前提とした協調作業（例えば、複数人による
設計作業のＭＲプレゼンテーション、あるいは複数人の
対戦型ゲーム）の実施例にも好適である。

【０１２４】本発明の、複数のマーカに基づいた頭部姿
勢位置を補正する処理は、複数人の協調作業にのみ好適
であることはない。一人の作業者（あるいはプレーヤ）
に複合現実感を提示するシステムにも適用可能である。〈他の変形例〉第２実施形態では、２台のカメラを用い
ていたが、３台以上のカメラを用いてもよい。

【０１２５】前述したように、マーカはプレーヤのカメ
ラ２４０の少なくとも１つ捉えられれば十分である。マ
ーカの数が多すぎると、画像に捕捉されるマーカの数が
多くなり、第１６図のＳ４３０や第２３図のＳ４３０’
の追跡マーカの同定処理で、マーカを誤って同定してし
まう可能性が高くなる。従って、作業がカメラ２４０の
移動をある程度規制できるものであれば、そのカメラに
常に１つのマーカだけが捕捉されるように、マーカの数
を少なくすることも可能である。

【０１２６】また、前述の実施形態としての位置姿勢検
出装置は、プレーヤの視点位置での補正されたビューイ
ング変換行列を出力するものであったが、本発明はこれ
に限定されず、プレーヤの視点位置を補正された値
（Ｘ，Ｙ，Ｚ，ｒ，ｐ，φ）の形式で出力する装置にも
適用できる。また、マーカは、上述のシステムがマーカ
若しくはマークとして認識できるものであれば、いかな
る形状を有してもよく、また、マークではなく、もので
あってもよい。

【０１２７】

【発明の効果】以上説明したように本発明によれば、複
数のマーカを配置するので、作業者が広い作業範囲にお
ける作業又は広い移動範囲において移動しても、作業者
の位置姿勢を追跡できる。よって、例えば、広範囲での
複合仮想現実感の提示を可能にするという特別の効果が
得られる。また、複数のマーカを配置する上で、カメラ
から遠方にあるマーカの分布密度が、近隣にあるマーカ
の分布密度よりも低く設定されているので、遠方の視野
の画像中に取り込まれるマーカの数を低く抑えてマーカ
検出精度の低下を防止することができる。よって、遠方
の視野でも高精度に位置姿勢を求めることができる。

【図面の簡単な説明】

【図１】従来技術において、および本発明の実施形態
に適用されている、カメラ位置の補正の原理を説明する
図。

【図２】本発明の実施形態に用いられているゲーム装
置の構成を示す側面図。

【図３】第２図のゲーム装置で左側プレーヤの視界に
見えるシーンを説明する図。

【図４】第２図のゲーム装置に用いられているＨＭＤ
の構成を説明する図。

【図５】第２図のゲーム装置のテーブルに設けられた
マーカの配置を説明する図。

【図６】第５図のテーブル上で、プレーヤの移動につ
れて、プレーヤの頭部に装着されたカメラに捉えられる
画像中に含まれるマーカの変遷を説明する図。

【図７】実施形態のゲーム装置のための、三次元画像
生成装置の構成を説明する図。

【図８】実施形態のマレット位置計測部に因る処理手
順を説明するフローチャート。

【図９】実施形態のマレット位置計測部に因る処理手
順の一部サブルーチン（ローカル探索）を説明するフロ
ーチャート。

【図１０】実施形態のマレット位置計測部に因る処理
手順の一部サブルーチン（グローバル探索）を説明する
フローチャート。

【図１１】第８図のフローチャートの処理において用
いられる処理対象領域の分割を説明する図。

【図１２】第８図のフローチャートの処理において用
いられる対象領域の設定手法を示す図。

【図１３】本実施形態のゲームにおける仮想ゲームフ
ィールドの構成を説明する図。

【図１４】実施形態のゲーム状態管理部におけるゲー
ム管理の制御手順を説明するフローチャート。

【図１５】マレット検出ための手法を説明する図。

【図１６】実施形態における補正処理部の処理手順を
全体的に説明するフローチャート。

【図１７】第１６図のフローチャートの一部（マーカ
の追跡）を詳細に説明するフローチャート。

【図１８】第１６図のフローチャートの一部（マーカ
位置の予測）を詳細に説明するフローチャート。

【図１９】補正のために使用される基準となるマーカ
の検出の原理を説明する図。

【図２０】基準となるマーカの検出の原理を説明する
フローチャート。

【図２１】第２の実施形態に用いられるＨＭＤの構成
を示す図。

【図２２】第２実施形態の画像処理システムの主要の
構成を示すブロック図。

【図２３】第２実施形態の画像処理システムの制御の
一部を示すフローチャート。

【図２４】実施形態の変形例に適用される基準マーカ
の変遷を説明する図。

【図２５】実施形態の変形例に適用されるマーカ探索
の原理を説明する図。

【図２６】第１実施形態の補正処理の原理を説明する
図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者大島登志一横浜市西区花咲町６丁目145番地横浜花咲ビル株式会社エム・アール・システム研究所内 (72)発明者谷口尚郷横浜市西区花咲町６丁目145番地横浜花咲ビル株式会社エム・アール・システム研究所内 (72)発明者片山昭宏横浜市西区花咲町６丁目145番地横浜花咲ビル株式会社エム・アール・システム研究所内 (56)参考文献特開平７−152435（ＪＰ，Ａ) 特開平５−272922（ＪＰ，Ａ) 特開平８−322064（ＪＰ，Ａ) 特開平10−51711（ＪＰ，Ａ) 特開平９−46730（ＪＰ，Ａ) 特開平７−121293（ＪＰ，Ａ) 特開平８−240421（ＪＰ，Ａ) ＡｎｄｒｅｉＳｔａｔｅ，ＳｕｐｅｒｉｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＲｅｇｉｓｔｒａｔｉｏｎｂｙＩｎｔｅｇｒａｔｉｎｇＬａｎｄｍａｒｋＴｒａｃｋｉｎｇａｎｄＭａｇｎｅｔｉｃＴｒａｃｋｉｎｇ, Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ 23ｒｄａｎｎｕａｌｃｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒｇｒａｐｈｉｃｓａｎｄｉｎｔｅｒａｃｔｉｖｅｔｅｃｈｎｉｑｕｅｓ，米国, ＡＣＭ，1996年，ｐ．429−438 ＭｉｃｈａｅｌＢａｊｕｒａ，ＤｙｎａｍｉｃＲｅｇｉｓｔｒａｔｉｏｎＣｏｒｒｅｃｔｉｏｎｉｎＶｉｄｅｏ−ＢａｓｅｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＳｙｓｔｅｍ，ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，米国，ＩＥＥＥ，1995年，Ｖｏｌ．15，Ｎｏ. ５，ｐ．52−60 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 G06T 1/00 315 H04N 13/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】作業者の三次元位置姿勢を計測して、作
業者位置姿勢信号を出力する位置姿勢センサと、位置が既知である複数のマーカが配置されている現実空
間を撮像するカメラと、前記カメラからの画像信号を処理して、前記マーカの座
標値を検出する検出手段と、前記検出手段により検出された前記マーカの前記座標値
と前記位置姿勢センサからの前記作業者位置姿勢信号と
に基づいて、前記作業者の位置姿勢を演算する演算手段
とを備える位置姿勢検出装置であって、前記カメラから遠方にあるマーカの分布密度が、近隣に
あるマーカの分布密度よりも低く設定されていることを
特徴とする位置姿勢検出装置。
【請求項２】複数の作業者が協調作業を行う場合にお
いて、それぞれの作業者のための前記マーカは互いに異
なる表現態様を有していることを特徴とする請求項１に
記載の位置姿勢検出装置。
【請求項３】前記演算手段により演算された前記作業
者の前記位置姿勢に基づいて仮想画像を生成する生成手
段と、前記生成手段により生成された前記仮想画像を前記カメ
ラからの画像信号に合成する合成手段とをさらに備える
ことを特徴とする請求項１又は２に記載の位置姿勢検出
装置。
【請求項４】前記演算手段が、前記位置姿勢センサから出力された前記作業者位置姿勢
信号に基づいて前記カメラのビューイング変換行列を算
出する第１の算出手段と、前記ビューイング変換行列を用いて前記マーカの観測予
測座標値を予測する予測手段と、前記予測手段により予測された前記観測予測座標値と前
記検出手段により検出された前記マーカの前記座標値と
を用いて補正行例を算出する第２の算出手段と、前記補正行列を用いて前記ビューイング変換行列を補正
する補正手段とを備え、補正された前記ビューイング変換行列を用いて前記作業
者の前記位置姿勢を演算することを特徴とする請求項１
から３までのいずれか１項に記載の位置姿勢検出装置。
【請求項５】作業者の視点位置及び姿勢に応じた仮想
画像を生成し、現実画像と合成することにより複合現実
感を提示する情報処理方法において、カメラから遠方にあるマーカの分布密度が近隣にあるマ
ーカの分布密度よりも低くなるように、位置が既知であ
る複数のマーカが配置されている現実空間を前記カメラ
によって撮影することにより得られる画像を入力し、前記カメラからの画像信号を処理することにより前記マ
ーカの座標値を検出し、前記マーカの前記座標値と、位置姿勢センサによって作
業者の三次元位置姿勢を計測することにより得られた作
業者位置姿勢信号とを用いて前記作業者の視点位置及び
姿勢を演算することを特徴とする情報処理方法。
【請求項６】複数の作業者が協調作業を行う場合にお
いて、それぞれの作業者のための前記マーカは互いに異
なる表現態様を有していることを特徴とする請求項５に
記載の情報処理方法。