JP3423676B2 - 仮想対象物操作装置および仮想対象物操作方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、現実世界の対象物
を操作することにより、３次元コンピュータ・グラフィ
ックスによる仮想世界において対象物に対応付けられた
仮想対象物を操作する仮想対象物操作装置および仮想対
象物操作方法に関するものである。

【０００２】

【従来の技術】近年、３次元コンピュータ・グラフィッ
クス等により提示される仮想世界と人間が実際に生きて
いる現実世界とを融合させる複合現実の研究分野におい
て種々の研究が行われている。例えば、Jun Rekimoto,
“Matrix: Realtime Object Identification and Regis
tration Method for Augmented Reality”,Proc. of AP
CHI '98やMark Billinghurst, Hirokazu Kato,“Collab
orative Mixed Reality”, ISMR '99,pp.261-284 に
は、所定のマークが印刷された板状のマーカーをカメラ
により撮影し、撮影された画像中のマーカーの位置に３
次元コンピュータ・グラフィックスにより作成された仮
想対象物を投影することが開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
文献に用いられる方法では、カメラにより撮影した画像
のみが用いられ、世界座標系が規定されていない。この
ため、カメラ座標系に投影された仮想対象物を他の任意
の視点から見る場合に、その視点に相当するカメラ座標
系を得ることができず、任意の視点から見た仮想対象物
を表示することができない。

【０００４】本発明の目的は、３次元コンピュータ・グ
ラフィックスによる仮想世界における仮想対象物を現実
世界の対象物の操作に応じた状態で任意の視点から表示
することができる仮想対象物操作装置および仮想対象物
操作方法を提供することである。

【０００５】

【課題を解決するための手段および発明の効果】（１）
第１の発明 第１の発明に係る仮想対象物操作装置は、現実世界の対
象物を操作することにより、３次元コンピュータ・グラ
フィックスによる仮想世界において対象物に対応付けら
れた仮想対象物を操作する仮想対象物操作装置であっ
て、対象物の３次元位置を測定する位置測定手段と、対
象物を撮影する撮影手段と、位置測定手段により測定さ
れた対象物の３次元位置を用いて、撮影手段により撮影
された対象物の画像から対象物の姿勢を算出する姿勢算
出手段と、位置測定手段により測定された対象物の３次
元位置および姿勢算出手段により算出された対象物の姿
勢に応じて、仮想空間における仮想対象物の表示状態を
変化させる表示手段とを備えるものである。

【０００６】本発明の仮想対象物操作装置においては、
対象物の３次元位置が測定されるとともに、対象物が撮
影され、対象物の３次元位置を用いて撮影された対象物
の画像から対象物の姿勢が算出され、対象物の３次元位
置および算出された対象物の姿勢に応じて仮想空間にお
ける仮想対象物の表示状態が変化する。

【０００７】このように、対象物の画像のみならず、対
象物の３次元位置を測定しているので、世界座標系を規
定することができ、仮想対象物を他の視点から見る場合
でも、その視点に相当するカメラ座標系を得ることがで
きる。したがって、３次元コンピュータ・グラフィック
スによる仮想世界における仮想対象物を現実世界の対象
物の操作に応じた状態で任意の視点から表示することが
できる。

【０００８】（２）第２の発明 第２の発明に係る仮想対象物操作装置は、第１の発明に
係る仮想対象物操作装置の構成において、位置測定手段
は、対象物の３次元位置を無線により測定する無線位置
測定手段を含むものである。

【０００９】この場合、無線により対象物の３次元位置
を測定することができるので、対象物の３次元位置を測
定するための配線等を対象物に設ける必要がなくなり、
配線等に邪魔されることなく、対象物を自由に操作する
ことができる。

【００１０】（３）第３の発明 第３の発明に係る仮想対象物操作装置は、第２の発明に
係る仮想対象物操作装置の構成において、無線位置測定
手段は、対象物に取り付けられ、対象物を識別するため
の識別情報を無線により送信する送信手段と、送信手段
から送信される識別情報を受信する複数の受信手段とを
含むものである。

【００１１】この場合、対象物に取り付けられた送信手
段により対象物を識別するための識別情報が無線により
送信され、送信された識別情報が複数の受信手段により
受信されるので、対象物から送信される識別情報を複数
の位置で受信し、受信した時間差により対象物の３次元
位置を測定することができる。

【００１２】また、対象物を識別するための識別情報が
送信されているので、複数の対象物がある場合でも、操
作されている対象物がどの対象物であるかを特定するこ
とができる。したがって、複数の対象物を同時に操作
し、操作された各対象物に対応する仮想対象物を仮想空
間においてそれぞれ操作することができる。

【００１３】（４）第４の発明 第４の発明に係る仮想対象物操作装置は、第１〜第３の
いずれかの発明に係る仮想対象物操作装置の構成におい
て、対象物には、紫外線により発光する蛍光材料からな
る所定形状のマーカーが取り付けられ、撮影手段は、マ
ーカーに紫外線を照射する照射手段と、照射手段により
紫外線が照射されたマーカーを撮影するマーカー撮影手
段とを含むものである。

【００１４】この場合、対象物に取り付けられたマーカ
ーに紫外線が照射され、紫外線により発光するマーカー
を撮像することができる。このように、紫外線によるマ
ーカー自身の発光を利用してマーカーを撮影しているの
で、対象物の底面にマーカーを取り付け、対象物をガラ
ス面の上に配置した場合でも、ガラス面への映り込みが
少なくなり、ガラス面の影響を受けることなく、暗い場
所でも、対象物の底面に取り付けられたマーカーの画像
を撮影することができる。

【００１５】（５）第５の発明 第５の発明に係る仮想対象物操作装置は、現実世界の対
象物を操作することにより、３次元コンピュータ・グラ
フィックスによる仮想世界において前記対象物に対応付
けられた仮想対象物を操作する仮想対象物操作装置であ
って、前記対象物の３次元位置を測定する位置測定手段
と、前記対象物を撮影する撮影手段と、前記位置測定手
段により測定された前記対象物の３次元位置を用いて、
前記撮影手段により撮影された前記対象物の画像から前
記対象物の姿勢を算出する姿勢算出手段と、前記位置測
定手段により測定された前記対象物の３次元位置および
前記姿勢算出手段により算出された前記対象物の姿勢に
応じて、前記仮想空間における前記仮想対象物の表示状
態を変化させる表示手段とを備え、前記対象物は所定形
状のマーカーと、該マーカー上にその中心位置から偏在
したマークを有し、前記姿勢算出手段は、前記位置測定
手段により測定された前記対象物の３次元位置、前記撮
影手段により撮影された前記マーカーの画像および前記
マーカー上のマークの位置から前記対象物の姿勢を算出
するものである。

【００１６】この場合、マーカーの中心位置から偏在し
てマークが設けられ、対象物の３次元位置、マーカーの
画像およびマークの位置から対象物の姿勢を算出してい
るので、マーカーの形状が対象軸を有し、マーカーの形
状のみでは対象物の姿勢を完全に算出することができな
い場合でも、マーカーの中心位置から偏在したマークに
より対象物の大まかな傾きを特定することができ、対象
物の姿勢を算出することができる。

【００１７】（６）第６の発明 第６の発明に係る仮想対象物操作方法は、現実世界の対
象物を操作することにより、３次元コンピュータ・グラ
フィックスによる仮想世界において対象物に対応付けら
れた仮想対象物を操作する仮想対象物操作方法であっ
て、対象物の３次元位置を測定するステップと、対象物
を撮影するステップと、測定された対象物の３次元位置
および撮影された対象物の画像から対象物の姿勢を算出
するステップと、測定された対象物の３次元位置および
算出された対象物の姿勢に応じて、仮想世界における仮
想対象物の表示状態を変化させるステップとを含むもの
である。

【００１８】本発明に係る仮想対象物操作方法において
は、対象物の３次元位置が測定されるとともに、対象物
が撮影され、対象物の３次元位置および撮影された対象
物の画像から対象物の姿勢が算出され、対象物の３次元
位置および算出された対象物の姿勢に応じて仮想空間に
おける仮想対象物の表示状態が変化される。

【００１９】このように、対象物の画像のみならず、対
象物の３次元位置を測定しているので、世界座標系を規
定することができ、仮想対象物を他の視点から見る場合
でも、その視点に相当するカメラ座標系を得ることがで
きる。したがって、３次元コンピュータ・グラフィック
スによる仮想世界における仮想対象物を現実世界の対象
物の操作に応じた状態で任意の視点から表示することが
できる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態による
仮想対象物操作装置について図面を参照しながら説明す
る。図１は、本発明の一実施の形態による仮想対象物操
作装置の構成を示すブロック図である。

【００２１】図１に示す仮想対象物操作装置は、発信器
１、３次元位置測定装置２、Ｉ／Ｆ（インタフェース）
部３、ブラックライト４、カメラ５、演算処理装置６、
入力部７、ＲＯＭ（リードオンリメモリ）８、ＲＡＭ
（ランダムアクセスメモリ）９、記憶装置１０および表
示部１１を備える。

【００２２】図２は、現実世界の対象物と３次元位置測
定装置およびカメラ等との位置関係を示す概略斜視図で
あり、図３は、現実世界の対象物とマーカー等との位置
関係を示す概略斜視図である。

【００２３】図１および図２に示すように、テーブルＴ
Ｂの上にガラス板ＧＰが取り付けられ、ガラス板ＧＰの
上に現実世界の対象物ＯＢが配置される。対象物ＯＢ
は、例えば、積み木のような形状を有する高さＯＨの六
面体からなり（図３参照）、ユーザは、対象物ＯＢを把
持して対象物ＯＢを移動および回転等させて種々の操作
を行うことができる。

【００２４】対象物ＯＢの上面には発信器１が取り付け
られている。発信器１は、対象物ＯＢを特定するための
識別情報であるＩＤ情報を超音波により無線で３次元位
置測定装置２へ送信する。

【００２５】発信器１の上方には、超音波センサからな
る４個のセンサー部２ａ（図２参照）を有する略十字形
状の３次元位置測定装置２が設置されている。３次元位
置測定装置２は、発信器１から送信されるＩＤ情報を４
個のセンサー部２ａにより受信し、各センサー部２ａが
ＩＤ情報を受信した時間差により発信器１の位置すなわ
ち対象物ＯＢの３次元位置を計測する。

【００２６】上記のように、対象物ＯＢを識別するため
のＩＤ情報が送信されているので、対象物が複数ある場
合でも、操作されている対象物がどの対象物であるかを
特定することができる。したがって、複数の対象物を同
時に操作し、操作された各対象物に対応する仮想対象物
を仮想空間においてそれぞれ操作することができる。

【００２７】また、対象物ＯＢの底面には一片の長さが
２ＨＳの正方形のマーカーＭＫが取り付けられ（図３参
照）、テーブルＴＢの底部にカメラ５が取り付けられて
いる。カメラ５の両側にマーカーＭＫに紫外線を照射す
るためのブラックライト４が配置され、マーカーＭＫ
は、ブラックライト４により下方から紫外線を照射され
る。

【００２８】マーカーＭＫは、紫外線により発光する蛍
光塗料、蛍光樹脂等を用いた蛍光板からなり、紫外線の
照射によりマーカー自身が発光する。また、マーカーＭ
Ｋにはその中心から偏在した位置にマークＭＡが設けら
れ（図３参照）、マークＭＡは紫外線により発光しな
い。カメラ５は、発光しているマーカーＭＫの画像を撮
影し、マーカーＭＫのうちマークＭＡを除く部分が発光
している画像が撮影される。

【００２９】ここで、装置の上方から通常の可視光によ
る照明が当てられる場合、対象物ＯＢの底面にマーカー
ＭＫを取り付けたのでは、マーカーＭＫが照明に対して
影となり、テーブルＴＢの底部からカメラ５により画像
を撮影しにくくなる。しかしながら、本実施の形態で
は、それ自身があまり発光しないブラックライト４によ
り紫外線を発生させ、紫外線により発光するマーカーＭ
Ｋを撮影しているので、ガラス面に照明が映り込むこと
がなく、テーブルＴＢの内部が暗い場合でも、明瞭にマ
ーカーＭＫの画像を撮影することができる。

【００３０】また、本実施の形態では、上記のように紫
外線によりマーカーＭＫを撮影するとともに、超音波に
より対象物ＯＢの３次元位置を測定しているので、本装
置が暗い場所に設置された場合も、対象物ＯＢの３次元
位置を測定することができるとともに、マーカーＭＫの
画像を明瞭に捕らえることができる。

【００３１】さらに、対象物ＯＢの３次元位置を無線に
より得ることができるため、３次元位置の測定等のため
の配線等を対象物ＯＢに設ける必要がなくなり、自然な
状態で対象物ＯＢを自由に操作することができる。した
がって、特殊な操作方法を習得することなく、かつ、配
線等による使用時の煩雑さを感じることなく、対象物Ｏ
Ｂを容易に操作することができる。

【００３２】なお、現実世界の対象物ＯＢの３次元位置
を測定する位置測定手段は、上記の例に特に限定され
ず、対象物ＯＢの３次元位置を無線により検出すること
ができるものであれば、他の３次元位置測定装置を用い
てもよい。

【００３３】図１に示すように、３次元位置測定装置２
は、計測した対象物ＯＢの３次元位置をＩ／Ｆ部３を介
して演算処理装置６へ出力する。カメラ５は、撮影した
マーカーＭＫの画像をＩ／Ｆ部３を介して演算処理装置
６へ出力する。

【００３４】入力部７は、キーボード、マウス等から構
成され、ユーザが所望の入力を行うために用いられる。

【００３５】ＲＯＭ８には、種々のプログラムが予め記
憶され、後述する仮想対象物操作処理を実行するための
仮想対象物操作処理プログラムが予め記憶されている。
ＲＡＭ９は、演算処理装置６が種々の処理を実行すると
きのワーク領域として用いられる。記憶装置１０は、ハ
ードディスクドライブ等から構成され、演算処理装置６
により実行される種々のプログラムを記憶したり、必要
なデータ等を記憶する。

【００３６】演算処理装置６は、ＣＰＵ（中央演算処理
装置）等から構成され、ＲＯＭ８に予め記憶された仮想
対象物操作処理プログラムをＲＡＭ９等を用いて実行す
ることにより、画像切り出し部６１、対象物切り出し部
６２、主軸取得部６３、回転角取得部６４および仮想対
象物描画部６５の各機能を実行する。

【００３７】画像切り出し部６１は、カメラ５により撮
影された画像からマーカーＭＫを含む画像を切り出す。
対象物切り出し部６２は、切り出されたマーカーの画像
からマーカーＭＫを特定する。主軸取得部６３は、特定
されたマーカーＭＫの中心座標および対象物ＯＢの３次
元位置等を用いて対象物ＯＢの主軸ベクトルを算出す
る。回転角取得部６４は、算出した対象物ＯＢの主軸ベ
クトルに対する対象物ＯＢの回転角を取得する。仮想対
象物描画部６５は、対象物ＯＢの３次元位置と対象物Ｏ
Ｂの姿勢を表す主軸ベクトルおよび回転角とを用いて対
象物ＯＢに対応する仮想対象物を３次元コンピュータ・
グラフィックスによる仮想空間に描画するためのデータ
を作成し、表示部１１へ出力する。

【００３８】表示部１１は、ＣＲＴ（陰極線管）、液晶
表示パネル等から構成され、演算処理装置６の制御に従
い、３次元コンピュータ・グラフィックスによる仮想世
界を表示するとともに、対象物ＯＢの３次元位置および
姿勢に応じて仮想世界の中の仮想対象物の表示状態を変
化させる。

【００３９】上記の構成により、ユーザが実際に対象物
ＯＢを操作して３次元的に対象物ＯＢの位置および姿勢
を変化させると、表示部１１に表示される３次元コンピ
ュータ・グラフィックスによる仮想空間内の仮想対象物
の３次元的な位置および姿勢が変化した状態で表示さ
れ、現実世界の対象物ＯＢを操作することにより、仮想
空間において仮想対象物を操作することができる。この
ように、例えば、都市の景観シミュレーション、３次元
コンピュータ・グラフィックスのレイアウト作業等に、
本実施の形態の仮想対象物操作装置を応用することがで
きる。

【００４０】本実施の形態において、発信器１および３
次元位置測定装置２が位置測定手段および無線位置測定
手段に相当し、ブラックライト４およびカメラ５が撮影
手段に相当し、画像切り出し部６１、対象物切り出し部
６２、主軸取得部６３および回転角取得部６４が姿勢算
出手段に相当し、仮想対象物描画部６５および表示部１
１が表示手段に相当する。また、発信器１が送信手段に
相当し、３次元位置測定装置２が受信手段に相当し、ブ
ラックライト４が照射手段に相当し、カメラ５がマーカ
ー撮影手段に相当する。

【００４１】なお、本実施の形態の仮想対象物操作装置
は、専用のハードウエアを用いて実現することもできる
が、発信器１、３次元位置測定装置２、ブラックライト
４およびカメラ５を除き、例えば、パーソナルコンピュ
ータ、ワークステーション等と仮想対象物操作処理プロ
グラムとにより実現することもできる。

【００４２】次に、上記のように構成された仮想対象物
操作装置による仮想対象物操作処理について説明する。
図４は、図１に示す仮想対象物操作装置の演算処理装置
６により実行される仮想対象物操作処理を説明するため
のフローチャートである。

【００４３】なお、以下の各ステップのうち、ステップ
Ｓ１〜Ｓ４は、画像切り出し部６１の機能として実行さ
れる処理であり、ステップＳ５，Ｓ６は、対象物切り出
し部６２の機能として実行される処理であり、ステップ
Ｓ７は、主軸取得部６３の機能として実行される処理で
あり、ステップＳ８は、回転角取得部６４の機能として
実行される処理であり、ステップＳ９は、仮想対象物描
画部６５の機能として実行される処理である。

【００４４】まず、ステップＳ１において、演算処理装
置６は、３次元位置測定装置２により計測された対象物
ＯＢの３次元位置を示すデータをＩ／Ｆ部３を介して入
力され、対象物ＯＢの３次元位置が計測される。

【００４５】次に、ステップＳ２において、演算処理装
置６は、計測された対象物ＯＢの３次元位置からマーカ
ーＭＫ上の既知な点の３次元位置を推定する。具体的に
は、図３に示すように、マーカーＭＫの形状が正方形の
場合、マーカーＭＫの頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４の座
標は、計測した対象物ＯＢの３次元位置すなわち発信器
１の座標を（Ｘ，Ｙ，Ｚ）とすると、以下の式により求
めることができる。

【００４６】 Ｃ１＝［Ｘ−ＨＳ，Ｙ＋ＨＳ，Ｚ−ＯＨ］ …（１） Ｃ２＝［Ｘ＋ＨＳ，Ｙ＋ＨＳ，Ｚ−ＯＨ］ …（２） Ｃ３＝［Ｘ−ＨＳ，Ｙ−ＨＳ，Ｚ−ＯＨ］ …（３） Ｃ４＝［Ｘ＋ＨＳ，Ｙ−ＨＳ，Ｚ−ＯＨ］ …（４） ここで、ＨＳはマーカーＭＫの一片の長さの２分の１で
あり、ＯＨは対象物ＯＢの高さである。

【００４７】次に、ステップＳ３において、演算処理装
置６は、推定した点を射影行列を用いてカメラ画像上の
点に変換する。具体的には、上式で求めたマーカーＭＫ
の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４の座標をカメラ５により
撮影したカメラ画像の座標へ変換する。この３次元座標
からカメラ画像の座標への変換は、次式を用い、式１〜
式４で求めたマーカーＭＫの頂点Ｃ１，Ｃ２，Ｃ３，Ｃ
４のカメラ画像上での座標を求める。

【００４８】

【数１】

【００４９】ここで、［ｘ，ｙ］はカメラ画像の座標で
あり、［Ｘ，Ｙ，Ｚ］は３次元座標であり、ｓはスカラ
ーであり、Ｐは射影行列であり、カメラ校正により得ら
れるカメラの内部・外部変数である。なお、この点に関
しては、徐剛、辻三郎、“３次元ビジョン”、共立出版
に詳述されている。

【００５０】次に、ステップＳ４において、演算処理装
置６は、変換された点を基にマーカーＭＫを包含する画
像を切り出す。具体的には、ステップＳ３で求めたカメ
ラ画像上のマーカーＭＫの頂点からカメラ画像上でのマ
ーカーＭＫの暫定的な外接矩形を求め、この外接矩形の
画像を切り出す。ここで、現時点では、現実世界の対象
物ＯＢの姿勢は未知であり、上記で求めた外接矩形内に
マーカーＭＫ全体が含まれていない可能性もあるので、
外接矩形を十分に拡大した領域をカメラ画像から切り出
す。

【００５１】また、このとき、外接矩形の辺の長さＬを
求める。外接矩形の辺の長さＬは、例えば、マーカーＭ
Ｋの頂点Ｃ１のカメラ画像上での座標と頂点Ｃ２のカメ
ラ画像上での座標との距離を求めることにより得ること
ができる。

【００５２】次に、ステップＳ５において、演算処理装
置６は、切り出された画像からマーカーＭＫに対応する
マーカー領域を特定するマーカー領域特定処理を実行す
る。図５は、図４に示すマーカー領域特定処理を説明す
るためのフローチャートである。

【００５３】図５に示すように、マーカー領域特定処理
では、まず、ステップＳ１１において、演算処理装置６
は、ステップＳ４で切り出された画像を二値化する。

【００５４】次に、ステップＳ１２において、演算処理
装置６は、切り出した画像からマーカーＭＫに対応する
可能性のある領域を抽出し、抽出された領域の外接矩形
の面積Ｒを求める。

【００５５】次に、ステップＳ１３において、演算処理
装置６は、抽出された領域の外接矩形の中心と切り出し
た画像の中心との距離を求める。

【００５６】次に、ステップＳ１４において、演算処理
装置６は、ステップＳ１２で求めた外接矩形の面積が所
定の範囲内、例えば、Ｓ１＜Ｒ＜Ｓ２の条件を満たすか
否かを判断し、Ｓ１＜Ｒ＜Ｓ２の条件を満たす場合はス
テップＳ１５へ移行し、Ｓ１＜Ｒ＜Ｓ２の条件を満たさ
ない場合は、画像内の次の領域に対して処理を継続する
ため、ステップＳ１２へ移行する。

【００５７】ここで、Ｓ１＝ＭＳ・ｋ１（ｋ１＜１．
０）であり、Ｓ２＝ＭＳ・ｋ２（ｋ２＞１．０）であ
り、ＭＳはステップＳ４で求めた外接矩形の面積であ
り、ｋ１，ｋ２は上記の不等式を満たす所定の係数であ
る。

【００５８】Ｓ１＜Ｒ＜Ｓ２の条件を満たす場合、ステ
ップＳ１５において、演算処理装置６は、ステップＳ１
３で求めた外接矩形の中心と画像中心との距離を記憶す
る。

【００５９】次に、ステップＳ１６において、演算処理
装置６は、画像内の全ての領域に対して上記の処理を行
ったか否かを判断し、全ての領域に対して上記の処理が
終了した場合はステップＳ１７へ移行し、全ての領域に
対して上記の処理が終了していない場合は、画像内の次
の領域に対して以降の処理を継続するため、ステップＳ
１２へ移行する。

【００６０】画像内の全ての領域に対して上記の処理が
終了した場合、ステップＳ１７において、演算処理装置
６は、ステップＳ１５で記憶した距離を並べ替え、距離
が最小となる領域をマーカー領域として特定し、図４に
示すステップＳ６へ移行する。なお、上記の条件を満た
す領域が見つからない場合は、認識失敗として、後述す
る処理による対象物ＯＢの姿勢は求めないものとする。

【００６１】次に、再び図４に戻り、ステップＳ６にお
いて、演算処理装置６は、特定したマーカー領域からマ
ーカーＭＫの既知な点の画像上の位置を特定するマーカ
ー頂点特定処理を実行する。図６は、図４に示すマーカ
ー頂点特定処理を説明するためのフローチャートであ
る。

【００６２】図６に示すように、マーカー頂点特定処理
では、まず、ステップＳ２１において、演算処理装置６
は、Ｐｅｒｉｍｅｔｅｒオペレータを切り出した画像に
施すことにより、特定したマーカー領域の外周の稜線を
抽出する。

【００６３】例えば、マーカー領域として特定した領域
の二値画像が図７に示す画像である場合、この画像にＰ
ｅｒｉｍｅｔｅｒオペレータを適用すると、図８に示す
ような画像となる。すなわち、図７の画像の場合、白色
の領域ＭＫＩがマーカーＭＫに対応する領域であり、そ
の内側のハッチング領域ＭＡＩがマークＭＡに対応する
領域であり、この画像にＰｅｒｉｍｅｔｅｒオペレータ
を適用すると、図８に示すように、２つの稜線ＭＫＲ，
ＭＡＲが抽出される。このようにして求めた稜線のうち
外側の稜線ＭＫＲをマーカーＭＫの外周の稜線として抽
出する。

【００６４】次に、ステップＳ２２において、演算処理
装置６は、抽出した稜線をハフ変換する。すなわち、図
９に示すように、マーカー領域ＭＫＩの画像の中心を原
点、画像の上方向をｙ軸、画像の右方向をｘ軸と定め、
定めた座標系における外周画素の座標を求め、求めた座
標をハフ変換する。

【００６５】ここで、ハフ変換では、ｘｙ空間の直線を
下式により表現し、直線上の点の座標をρθのパラメー
タ空間に写像する。

【００６６】ｘｓｉｎθ＋ｙｃｏｓθ＝ρ …（６） そして、パラメータ空間を細かいセルに分割し、それぞ
れのセルを通る点の数を記録し、セルを通る点の数の多
いセルを見つけ、そのセルに対応するパラメータにより
ｘｙ空間上の直線を特定することができる。

【００６７】次に、ステップＳ２３において、演算処理
装置６は、ハフ変換の結果から直線成分を表す極大点を
求める。本実施の形態では、マーカーＭＫが正方形であ
るため、直線の数は４つになる。したがって、外周の点
をハフ変換によりρθ空間に写像すると、図１０に示す
ような４つの極大点（図中の白丸）が求まる。

【００６８】次に、ステップＳ２４において、演算処理
装置６は、求めた４つの極大点から平行な直線を特定す
る。具体的には、４つの極大点から下記の４つの直線方
程式を求める。

【００６９】 ｘｓｉｎθ１＋ｙｃｏｓθ１＝ρ１ …（７） ｘｓｉｎθ２＋ｙｃｏｓθ２＝ρ２ …（８） ｘｓｉｎθ３＋ｙｃｏｓθ３＝ρ３ …（９） ｘｓｉｎθ４＋ｙｃｏｓθ４＝ρ４ …（１０） ここで、上記の４つの直線のうち２組の直線がほぼ平行
な直線であるため、上記のθ１を基準にし、θ１との差
が最も小さいものを見つけることにより、式７の直線に
平行な直線を特定する。

【００７０】次に、ステップＳ２５において、演算処理
装置６は、特定した平行な直線からマーカーＭＫの頂点
を求める。すなわち、ステップＳ２４により平行な直線
の組み合わせがわかっているので、式７の直線と平行で
ない２つの直線の方程式から２頂点の座標を求め、ま
た、式７の直線と平行な直線とから同様に別の２頂点の
座標を求め、図４に示すステップＳ７へ移行する。

【００７１】再び図４を参照して、ステップＳ７におい
て、演算処理装置６は、ステップＳ５で特定したマーカ
ー領域の中心座標と対象物ＯＢの３次元位置をカメラ座
標に投影した点とを基に対象物ＯＢの主軸ベクトルを求
める主軸ベクトル算出処理を実行する。図１１は、図４
に示す主軸ベクトル算出処理を説明するためのフローチ
ャートである。

【００７２】図１１に示すように、主軸ベクトル算出処
理では、まず、ステップＳ３１において、演算処理装置
６は、ステップＳ５で特定したマーカー領域の中心座標
（ｃｘ，ｃｙ）を求める。

【００７３】次に、ステップＳ３２において、演算処理
装置６は、ステップＳ４で切り出した画像の中心座標
（ｒｘ，ｒｙ）を求める。具体的には、切り出した画像
の中心座標（ｒｘ，ｒｙ）を、下式による外周の画素の
座標の平均により求める。ここで、ｎは外周の画素数で
あり、ｘ，ｙは外周の画素の座標である。

【００７４】

【数２】

【００７５】次に、ステップＳ３３において、演算処理
装置６は、マーカーＭＫの実サイズとカメラ画像中のマ
ーカーＭＫのサイズから１画素に相当する実サイズ（ス
ケールパラメータ）を求める。具体的には、上記の外接
矩形の辺の長さＬがステップＳ４において既に求まって
おり、かつ、マーカーＭＫのサイズＭＬが既知であるこ
とから、１画素に相当する３次元座標の値（スケールパ
ラメータ）ｓを下式により求める。

【００７６】ｓ＝ＭＬ／Ｌ …（１２） 次に、ステップＳ３４において、演算処理装置６は、求
めたスケールパラメータｓを用いて対象物ＯＢの主軸ベ
クトルを求める。具体的には、対象物ＯＢの主軸ベクト
ルのＸ，Ｙ座標は、式１１により求めた中心座標（ｒ
ｘ，ｒｙ）とマーカー領域の中心座標（ｃｘ，ｃｙ）と
を用い、以下の式により求められる。

【００７７】Ｘ＝ｓ・（ｒｘ−ｃｘ） …（１３） Ｙ＝ｓ・（ｒｙ−ｃｙ） …（１４） ここで、図１２に示すように、対象物ＯＢの主軸ベクト
ルＭＶの長さは、対象物ＯＢの高さＯＨと等しく、か
つ、既知であることから、主軸ベクトルＭＶのＺ座標
は、下式により求められる。

【００７８】 Ｚ＝（ＯＨ² ＋Ｘ² ＋Ｙ² ）^1/2 …（１５） 上記のようにして、スケールパラメータｓ、切り出した
画像の中心座標（ｒｘ，ｒｙ）、マーカー領域の中心座
標（ｃｘ，ｃｙ）および対象物ＯＢの高さＯＨから３次
元座標上の対象物ＯＢの主軸ベクトルを求め、図４に示
すステップＳ８へ移行する。

【００７９】再び図４を参照して、ステップＳ８におい
て、演算処理装置６は、ステップＳ６において特定した
マーカーＭＫの各頂点からカメラ５のレンズ面と平行な
面におけるマーカーＭＫの回転角を求めるマーカー回転
角算出処理を実行する。図１３は、図４に示すマーカー
回転角算出処理を説明するためのフローチャートであ
る。

【００８０】図１３に示すように、まず、ステップＳ４
１において、演算処理装置６は、ステップＳ６において
求めたマーカーＭＫの４個の頂点から、切り出した画像
の左上頂点に近い頂点を求め、その頂点を基準にマーカ
ー領域の外周に沿って時計周りに頂点を並べ替える。こ
こで、図１４に示すように、並べ替えた各頂点をｃ１，
ｃ２，ｃ３，ｃ４と定める。

【００８１】次に、ステップＳ４２において、演算処理
装置６は、マーカーＭＫの回転ベクトルを求める。すな
わち、図１５に示すように、切り出された画像の中心に
座標系を設定し、マーカーＭＫの傾きを示す回転ベクト
ルＲＶ（ｖｘ，ｖｙ）を求める。

【００８２】ここで、マーカー領域の中心座標を（ｃ
ｘ，ｃｙ）、頂点ｃ２の座標を（ｘ２，ｙ２）、頂点ｃ
３の座標を（ｘ３，ｙ３）とすると、回転ベクトルＲＶ
（ｖｘ，ｖｙ）は、次式により求められる。

【００８３】 ＲＶ（ｖｘ，ｖｙ）＝（（ｘ２＋ｘ３）／２−ｃｘ，（ｙ２＋ｙ３）／２−ｃ ｙ） …（１６） 次に、ステップＳ４３において、演算処理装置６は、マ
ーカーＭＫの回転角θを次式により求める。

【００８４】 θ＝ｓｉｎ^-1（ｖｙ／（ｖｙ² ＋ｖｘ² ） ^1/2 ) …（１７） 次に、ステップＳ４４において、演算処理装置６は、カ
メラ画像上の各頂点の座標とマーカーＭＫの３次元ロー
カル座標系における頂点座標から射影行列を求める。

【００８５】ここで、上記の回転角θだけでは、実際の
マーカーＭＫの回転角は分からないため、マーカーＭＫ
に設けられたマークＭＡの向きを考慮する。すなわち、
マークＭＡの向きを求めるため、図１６に示すように、
マーカー座標系として、マーカーＭＫの中心に３次元ロ
ーカル座標系を設定する。このとき、マーカーＭＫの各
頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４の３次元ローカル座標は、
次式により求められる。

【００８６】 Ｃ１＝［−ＨＳ，ＨＳ，０］^T …（１８） Ｃ２＝［ＨＳ，ＨＳ，０］^T …（１９） Ｃ３＝［−ＨＳ，−ＨＳ，０］^T …（２０） Ｃ４＝［ＨＳ，−ＨＳ，０］^T …（２１） 上記の３次元ローカル座標を、ステップＳ６において既
に求めたカメラ画像上の各頂点の座標へ写像する射影行
列を、

【００８７】

【数３】 とすると、以下の関係が成り立ち、この連立方程式を解
いて射影行列を求める。

【００８８】

【数４】

【００８９】次に、ステップＳ４５において、演算処理
装置６は、求めた射影行列を用いて、図１７に示す４つ
のパターンをカメラ画像上に写像する。ここで、図１７
の（ａ）に示すパターンがパターン１であり、図１７の
（ｂ）に示すパターンがパターン２であり、図１７の
（ｃ）に示すパターンがパターン３であり、図１７の
（ｄ）に示すパターンがパターン４である。

【００９０】次に、ステップＳ４６において、演算処理
装置６は、写像された各パターンとマーカー領域とのマ
ッチングを行い、図１７に示す各パターンからマッチす
るパターンを特定する。

【００９１】次に、ステップＳ４７において、演算処理
装置６は、マッチしたパターンを基にマーカーＭＫの回
転角を求める。すなわち、マッチしたパターンに対応す
る角度を上記θに加え、マーカーＭＫの回転角を求め
る。ここで、図１７に示すパターン１を０度とし、マッ
チしたパターンの番号（１〜４）をＰＮとすると、マー
カーＭＫの回転角θｍは、下式により求められる。

【００９２】 θｍ＝θ＋（ＰＮ−１）・９０ …（２４） 上記の処理によりマーカーＭＫの回転角θｍを求めた
後、図４に示すステップＳ９へ移行する。

【００９３】再び図４を参照して、ステップＳ９におい
て、演算処理装置６は、上記の処理により求めた対象物
ＯＢの３次元位置と姿勢を表す主軸ベクトルおよび回転
角とを用い、３次元コンピュータ・グラッフィクによる
仮想空間における仮想対象物を対象物ＯＢの３次元位置
および姿勢に応じて描画するためのデータを作成して表
示部３へ出力し、処理を終了する。

【００９４】上記の処理により、本実施の形態では、対
象物ＯＢの３次元位置が測定されるとともに、対象物Ｏ
ＢのマーカーＭＫが撮影され、対象物ＯＢの３次元位置
および撮影されたマーカーＭＫの画像から対象物ＯＢの
姿勢が算出され、対象物ＯＢの３次元位置および姿勢に
応じて仮想空間における仮想対象物の表示状態が変化さ
れる。

【００９５】このように、対象物ＯＢのマーカーＭＫの
画像のみならず、対象物ＯＢの３次元位置を測定してい
るので、世界座標系を規定することができ、仮想対象物
を他の視点から見る場合でも、その視点に相当するカメ
ラ座標系を得ることができる。したがって、３次元コン
ピュータ・グラフィックスによる仮想世界における仮想
対象物を現実世界の対象物ＯＢの操作に応じた状態で任
意の視点から表示することができる。

【００９６】なお、本実施の形態では、正方形のマーカ
ーＭＫを用いたが、マーカーの形状はこの例に特に限定
されず、種々の変更が可能である、また、マーカーＭＫ
の中心位置から偏在してマークＭＡを設けたが、マーカ
ー自体の形状から大まかな回転角を検出できる場合は、
マークＭＡを省略してもよい。また、対象物ＯＢに直接
蛍光塗料を塗布し、対象物ＯＢを直接カメラ５により撮
影する場合は、マーカーＭＫを省略してもよい。

【図面の簡単な説明】

【図１】本発明の一実施の形態による仮想対象物操作装
置の構成を示すブロック図である。

【図２】現実世界の対象物と３次元位置測定装置および
カメラ等との位置関係を示す概略斜視図である。

【図３】現実世界の対象物とマーカー等との位置関係を
示す概略斜視図である。

【図４】図１に示す仮想対象物操作装置の演算処理装置
により実行される仮想対象物操作処理を説明するための
フローチャートである。

【図５】図４に示すマーカー領域特定処理を説明するた
めのフローチャートである。

【図６】図４に示すマーカー頂点特定処理を説明するた
めのフローチャートである。

【図７】マーカー領域として特定した領域の二値画像の
一例を示す図である。

【図８】図７に示す二値画像にＰｅｒｉｍｅｔｅｒオペ
レータを適用した後の画像を示す図である。

【図９】切り出したマーカー領域の画像に設定した座標
系を示す図である。

【図１０】図９に示す画像をハフ変換した後の極大点を
示す図である。

【図１１】図４に示す主軸ベクトル算出処理を説明する
ためのフローチャートである。

【図１２】対象物の主軸ベクトルを示す図である。

【図１３】図４に示すマーカー回転角算出処理を説明す
るためのフローチャートである。

【図１４】特定したマーカーの各頂点を並べ替えた状態
を示す図である。

【図１５】マーカー領域の中心に設定した座標系を示す
図である。

【図１６】マーカーの中心に設定した３次元ローカル座
標系を示す図である。

【図１７】マーカーの回転状態に対応した４つのパター
ンを示す図である。

【符号の説明】

１ 発信器 ２ ３次元位置測定装置 ３ Ｉ／Ｆ部 ４ ブラックライト ５ カメラ ６ 演算処理装置 ７ 入力部 ８ ＲＯＭ ９ ＲＡＭ １０ 記憶装置 １１ 表示部 ６１ 画像切り出し部 ６２ 対象物切り出し部 ６３ 主軸取得部 ６４ 回転角取得部 ６５ 仮想対象物描画部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 手術ナビゲーションにおける光磁気ハ イブリッド３次元センサの構築，電子情 報通信学会論文誌Ｄ−ＩＩ，日本，社団 法人電子情報通信学会，2000年 １月25 日，ＶＯＬ．Ｊ83−Ｄ−２ ＮＯ．１, 396−403 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 15/00 - 17/50 G06F 3/00 - 3/033

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 現実世界の対象物を操作することによ
   り、３次元コンピュータ・グラフィックスによる仮想世
   界において前記対象物に対応付けられた仮想対象物を操
   作する仮想対象物操作装置であって、 前記対象物の３次元位置を測定する位置測定手段と、 前記対象物を撮影する撮影手段と、 前記位置測定手段により測定された前記対象物の３次元
   位置を用いて、前記撮影手段により撮影された前記対象
   物の画像から前記対象物の姿勢を算出する姿勢算出手段
   と、 前記位置測定手段により測定された前記対象物の３次元
   位置および前記姿勢算出手段により算出された前記対象
   物の姿勢に応じて、前記仮想空間における前記仮想対象
   物の表示状態を変化させる表示手段とを備えることを特
   徴とする仮想対象物操作装置。
2. 【請求項２】 前記位置測定手段は、前記対象物の３次
   元位置を無線により測定する無線位置測定手段を含むこ
   とを特徴とする請求項１記載の仮想対象物操作装置。
3. 【請求項３】 前記無線位置測定手段は、 前記対象物に取り付けられ、前記対象物を識別するため
   の識別情報を無線により送信する送信手段と、 前記送信手段から送信される識別情報を受信する複数の
   受信手段とを含むことを特徴とする請求項２記載の仮想
   対象物操作装置。
4. 【請求項４】 前記対象物には、紫外線により発光する
   蛍光材料からなる所定形状のマーカーが取り付けられ、 前記撮影手段は、 前記マーカーに紫外線を照射する照射手段と、 前記照射手段により紫外線が照射されたマーカーを撮影
   するマーカー撮影手段とを含むことを特徴とする請求項
   １〜３のいずれかに記載の仮想対象物操作装置。
5. 【請求項５】 現実世界の対象物を操作することによ
   り、３次元コンピュー タ・グラフィックスによる仮想世
   界において前記対象物に対応付けられた仮想対象物を操
   作する仮想対象物操作装置であって、 前記対象物の３次元位置を測定する位置測定手段と、 前記対象物を撮影する撮影手段と、 前記位置測定手段により測定された前記対象物の３次元
   位置を用いて、前記撮影手段により撮影された前記対象
   物の画像から前記対象物の姿勢を算出する姿勢算出手段
   と、 前記位置測定手段により測定された前記対象物の３次元
   位置および前記姿勢算出手段により算出された前記対象
   物の姿勢に応じて、前記仮想空間における前記仮想対象
   物の表示状態を変化させる表示手段とを備え、 前記対象物は所定形状のマーカーと、該マーカー上にそ
   の 中心位置から偏在したマークを有し、 前記姿勢算出手段は、前記位置測定手段により測定され
   た前記対象物の３次元位置、前記撮影手段により撮影さ
   れた前記マーカーの画像および前記マーカー上のマーク
   の位置から前記対象物の姿勢を算出することを特徴とす
   る仮想対象物操作装置。
6. 【請求項６】 現実世界の対象物を操作することによ
   り、３次元コンピュータ・グラフィックスによる仮想世
   界において前記対象物に対応付けられた仮想対象物を操
   作する仮想対象物操作方法であって、 前記対象物の３次元位置を測定するステップと、 前記対象物を撮影するステップと、 測定された前記対象物の３次元位置を用いて、撮影され
   た前記対象物の画像から前記対象物の姿勢を算出するス
   テップと、 測定された前記対象物の３次元位置および算出された前
   記対象物の姿勢に応じて、前記仮想空間における前記仮
   想対象物の表示状態を変化させるステップとを備えるこ
   とを特徴とする仮想対象物操作方法。
7. 【請求項７】 現実世界の対象物を操作することによ
   り、３次元コンピュータ・グラフィックスによる仮想世
   界において前記対象物に対応付けられた仮想対象物を操
   作する仮想対象物操作方法であって、 前記対象物の３次元位置を測定するステップと、 前記対象物を撮影するステップと、 測定された前記対象物の３次元位置を用いて、撮影され
   た前記対象物の画像から前記対象物の姿勢を算出するス
   テップと、 測定された前記対象物の３次元位置および算出された前
   記対象物の姿勢に応じて、前記仮想空間における前記仮
   想対象物の表示状態を変化させるステップとを備え、 前記対象物は所定形状のマーカーと、該マーカー上にそ
   の中心位置から偏在したマークを有し、 前記対象物の姿勢の算出においては、測定された前記対
   象物の３次元位置、撮影された前記マーカーの画像およ
   び前記マーカー上のマークの位置から前記対象物の姿勢
   を算出することを特徴とする仮想対象物操作方法。