JPH1185385A - 座標検出システム及び発光体 - Google Patents

座標検出システム及び発光体

Info

Publication number
JPH1185385A
JPH1185385A JP9239365A JP23936597A JPH1185385A JP H1185385 A JPH1185385 A JP H1185385A JP 9239365 A JP9239365 A JP 9239365A JP 23936597 A JP23936597 A JP 23936597A JP H1185385 A JPH1185385 A JP H1185385A
Authority
JP
Japan
Prior art keywords
light
marker
light emitting
camera
emitting element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9239365A
Other languages
English (en)
Inventor
Hajime Fujii
元 藤井
Shigeru Nonami
成 野波
Akio Toshima
章雄 戸島
Hiroshi Nishiyama
洋 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka Gas Co Ltd
Original Assignee
Osaka Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka Gas Co Ltd filed Critical Osaka Gas Co Ltd
Priority to JP9239365A priority Critical patent/JPH1185385A/ja
Publication of JPH1185385A publication Critical patent/JPH1185385A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 比較的簡易な制御系を備え、被検出体に備え
られるべき部材も少なく、そのマーカの検出を良好な座
標検出システムを得る。 【解決手段】 少なくとも被検出体の位置を検出する座
標検出システムを構成するに、被検出体にビデオカメラ
を設け、ビデオカメラの視野内に少なくとも2つのマー
カが入るように所定の位置に固定された複数のマーカと
を設け、ビデオカメラによって撮像されたマーカの面積
に基づいて、該当マーカと被検出体との距離を演算する
距離演算部を備え、且つ、この距離演算部により求まっ
た距離に基づいて被検出体の位置を演算する演算装置を
設け、マーカ4が、光拡散材料からなる球状の被覆部材
21内に、複数の光源22を備えた構成とされる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被検出体の少なく
とも位置を検出する座標検出システム及び、このような
座標検出システムに有効に使用することができる発光体
に関する。
【0002】
【従来の技術】近年、マンマシーンインターフェースの
新しい試みとしてバーチャルリアリティシステムが注目
されている。このバーチャルリアリティシステムでは、
バーチャルリアリティの体験者が身につけたヘッドマウ
ントディスプレイ(以後、HMDと略称する)に仮想空
間が提示され、操作者の体の移動や視線の移動に応じて
仮想空間の視界も変化し、あたかも実空間で行動を起こ
しているかのように自由なアクセスが可能となる。この
ために体験者の体の移動や視線の移動(つまり首振り
角)をシステム側が認識する必要があり、バーチャルリ
アリティシステムには、操作者、つまりHMDの位置と
方向角(少なくとも位置)を検出する座標検出技術が不
可欠である。
【0003】このような3次元座標検出技術として古く
から知られているステレオ画像法では、体験者に装着さ
れた被検出体としてのマーカを所定間隔あけて配置され
た一対のビデオカメラで撮像し、各画像面上でのマーカ
像の2次元座標値から、公知の式を用いてマーカの3次
元座標値を求める。この技術では、2台のビデオカメラ
と、それぞれの撮像画像を分析する画像分析系が必要と
なり、トータル的な制御系が複雑で高価となる。
【0004】
【発明が解決しようとする課題】上記のような問題を解
決するシステムとして、発明者らは、被検出体(例えば
HMD)側にビデオカメラを設け、このビデオカメラの
視野内に少なくとも2つのマーカが入るように所定の位
置に複数のマーカを固定して備えたシステムを提案して
いる(特願平9−3793)。この場合、トータル的な
制御系が簡略化できるため、その効果は大きい。さて、
このようなシステムにあって、被検出体とマーカとの距
離の検出は、マーカの撮像面積によることが、同じくシ
ステムの簡易化のために好ましい。この場合、システム
には、ビデオカメラによって撮像されたマーカの面積に
基づいて該当マーカと被検出体との距離を演算し、求ま
った距離に基づいて被検出体の位置を演算する演算装置
が備えられることとなる。このようなシステムを使用し
て、被検出体の少なくとも位置を決定しようとする場
合、マーカの光量にばらつきが無いことが必要であり、
同時に、マーカを見ている方向に係わらずマーカの面積
がほぼ同一に検出されることが必要となる。さらに、マ
ーカを自己発光型の光源とし、ビデオカメラのフレーム
取り込みに同期させて、この光源を高速で点滅させるこ
とが好ましいが、この場合、所謂、発光素子(LED)
を採用することが考えられる。上記の状況で、発光素子
を単体の状態でマーカとして使用しようとすると、以下
のような問題が発生する。 イ) 発光素子間に特性のばらつきがあると、素子毎に
検出される発光面積が異なり、座標検出、距離検出が良
好に行えない。 ロ) 発光素子には指向性があるため、検出する方向に
よって、検出面積が異なりやすく、被検出体の位置の決
定が不正確になりやすい。 ハ) ビデオカメラからマーカまでの距離が離れてしま
うと、光量との関係で、距離変化に対する発光体の面積
変化が小さくなり、一意にカメラの位置・方向を決定で
きなくなりやすい。
【0005】従って、本発明の目的は、比較的簡易な制
御系を備え、被検出体に備えられるべき部材も少なくし
た座標検出システムにあって、そのマーカの検出を良好
なものとすることができる座標検出システムを得ること
にある。さらに、このような座標検出システムにおい
て、マーカとして良好に使用することができる発光体を
得ることにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
の本発明による少なくとも被検出体の位置を検出する座
標検出システムの特徴構成は以下のとおりである。即
ち、これは、前記被検出体に設けられたビデオカメラ
と、前記ビデオカメラの視野内に少なくとも2つのマー
カが入るように所定の位置に固定された複数のマーカと
を備え、前記ビデオカメラによって撮像されたマーカの
面積に基づいて、該当マーカと前記被検出体との距離を
演算し、求まった距離に基づいて前記被検出体の位置を
演算する演算装置を備え、前記マーカを、光拡散材料か
らなる球状の被覆部材内に、複数の光源を備えた発光体
で構成するのである。
【0007】この構成では、被検出体に1台のビデオカ
メラを設け、このビデオカメラで移動空間内の所定の位
置に固定されたマーカが撮像され、撮像されたマーカの
画像情報を演算して、ビデオカメラの、結果的には被検
出体の少なくとも位置が求められる。従って、周囲の移
動空間に複数のマーカを配置すれば、被検出体には近年
超小型化されているビデオカメラだけを設けるだけよ
い。例えば、バーチャルリアルティ体験者が装備するH
MDに超小型のビデオカメラを固定するだけで、バーチ
ャルリアルティ体験者の頭の位置や方向角(少なくとも
位置)で検出されるので、バーチャルリアルティ体験者
が受ける座標検出システムのための負担が小さなものと
なる。また、座標検出システムとしても1台のビデオカ
メラで済むことは、画像処理系も含め、全体システムの
コスト低減に貢献する。マーカと被検出体との距離の検
出にあたっては、マーカの検出される面積に基づいて両
者の距離を演算し、この結果を利用して演算装置で被検
出体の少なくとも位置が求められる。本発明では、光拡
散材料からなる球状の被覆部材内に、複数の光源を備え
た発光体で、マーカが構成される。この構成では、発光
体において、光拡散材料内に複数の光源が備えられてい
るため、光源間の光量のばらつきを吸収して、マーカ間
の差が発生しにくい状況を実現できる。さらに、光量も
増加することができる。一方、複数の光源が球状の光拡
散材料に被覆された構成となっているため、マーカは実
質上無指向性となっており、マーカの検出方向に係わら
ず、その検出面積を安定・確実なものとすることがで
き、また、マーカの発光面積も、被覆部材の大きさの調
整で所定量以上に容易に設定することができる。従っ
て、面積検出から距離を求め、被検出体の位置を求める
という操作を、安定しておこなうことができる。
【0008】さて、マーカを構成する複数の光源として
は、これらの光源を、それぞれ赤外線を発光する発光素
子とすることが好ましい。赤外光を採用することによ
り、可視光等の外乱なく必要な情報のみを検出すること
ができる。従って、この構成にあっては、システムを可
視光のある環境下においても使用することができる。さ
らに、高速での点滅を容易に実現できる。一方、光源用
の素子としては、所謂、発光素子(LED)を使用する
ことが入手容易であり、簡便である。
【0009】さらに、本システムを構築するにあたって
は、前記球状の被覆部材内にあって、球中央部位に一部
の発光素子を配設し、発光体の支持部である被覆部材基
端側部位に残余の発光素子を備えて構成することが好ま
しい。一般に、発光素子は、その前方向に指向性を有す
るため、球状の被覆部材内の中央部位に発光素子を、そ
の発光中心を前方向に向けて位置させた構成では、被覆
部材前方に対する指向性が残ることとなりやすい。従っ
て、中央位置に配設される素子の基端側を補うことが好
ましい。よって、発光体の支持部である被覆部材基端側
部位に残余の発光素子を備えることで、中央側素子の死
角となっている領域の光量を補い、全体として、無指向
性のマーカを構築することができる。
【0010】本発明の好適な実施形態の1つにおいて、
同一の発光体に属する前記光源が光源制御部によって同
時に点滅制御可能であり、前記ビデオカメラのフレーム
取り込みに同期して各発光体が順次点灯されることが好
ましい。この構成では、ビデオカメラによって取り込ま
れた画像フレーム毎に対応する発光体だけが写し出され
るので、写し出された発光体を複数の発光体から特定す
ることが容易となる。つまり、例えば、3つの発光体、
第1発光体、第2発光体、第3発光体が移動空間に配置
されている場合、1番目のフレームの取り込みに同期し
て第1発光体を点灯し、2番目のフレームの取り込みに
同期して第2発光体を点灯し、3番目のフレームの取り
込みに同期して第3発光体を点灯していくことで、3n
番目のフレームには第1発光体だけが認識可能に撮像さ
れ、3n+1番目のフレームには第2発光体だけが認識
可能に撮像され、3n+2番目のフレームには第3発光
体だけが認識可能に撮像される。なお、CRTのインタ
レース走査方式では、1/60秒毎に表示する奇数フィ
ールドと偶数フィールドの両フィールドから完全な画像
つまりフレームが作られることから、一般的には、フレ
ームは1/30秒毎に作られるものと理解されている
が、本発明における言葉の定義においては、フレームの
生成は1/30秒に限定されるわけではなく、フレーム
は任意のレートで生成されるもの、つまりフレームは任
意に選択されたレートで取り込まれるものであると理解
されるべきである。
【0011】上記のような目的で使用する発光体として
は、光拡散材料からなる球状の被覆部材内に、複数の光
源を設けた発光体であって、光源が、赤外線を発光する
発光素子であり、球状の被覆部材内にあって、球中央部
位に一部の発光素子が配設されるとともに、発光体の支
持部である被覆部材基端側部位に残余の発光素子が備え
られていることが好ましい。この場合、発光素子の光量
ばらつきの解消、光量の不足の解消、所定の発光面積を
確保、指向性の問題の解消、さらには、高速点滅を容易
に行う等の問題を容易に解消できる。
【0012】これまで説明してきた座標検出システムに
あっては、被検出体側にビデオカメラが、固定座標側に
マーカがある場合について、主体的に説明してきたが、
本願独特の構成の発光体は、それ自体が独特の構成であ
るため、これをより広い意味で、座標検出システムのマ
ーカとして使用することにより、その利点を発揮でき
る。即ち、少なくとも被検出体の位置を検出する座標検
出システムにおいて、位置検出のために使用するマーカ
として使用することにより、上記のような問題が無い状
態で、座標検出システムがマーカを検出することで、被
検出体の位置、方向角等を求めることができ、比較的簡
便なシステム系を使用して、信頼性の高いシステムを構
築できる。
【0013】従って、被検出体側にマーカが、固定座標
側にビデオカメラを固定配置する場合にあっても、その
威力を発揮できる。即ち、被検出体に付属して設けられ
た少なくとも一つの前記本願独特の構成のマーカと、こ
のマーカを視野内に収め、且つ、所定の位置に固定され
た少なくとの一つのビデオカメラとを備え、ビデオカメ
ラによって撮像されたマーカの面積に基づいて、該当マ
ーカ(被検出体)とビデオカメラの距離を演算し、求ま
った距離に基づいて被検出体の位置を演算する演算装置
を備えて、座標検出システムを構築することが好まし
い。この場合は、マーカを除くシステム構成は、任意の
構成を採用したとしてもマーカの検出が信頼性高い状態
で行われるため、マーカ起因の問題点を、大幅に解消し
て、信頼性の高い、実用的な座標検出システムを構築で
きる。このような構成例としては、以下のような構成が
提案される。 イ マーカを単一、及びビデオカメラを単一使用する場
合の構成例 この場合の構成に関しては、単一のマーカがビデオカメ
ラにより撮像されるのであるが、両者間の距離に関して
は、演算装置により、これを求めることができる。一
方、ビデオカメラが所謂移動空間座標系(絶対座標系)
に対して、その位置及び撮像方向を固定して備えられて
いる場合は、このビデオカメラで撮像されるマーカの、
ビデオカメラ撮像中心に対する位置により、マーカがあ
る方向を求めることができる。そして、このマーカが存
在する方向を被検出体の向いている方向と見なしてよい
場合は、被検出体の向いている方向とみなすことができ
る。 ロ マーカを被検出体の異なった位置に複数(少なく
とも一対)配設するとともに、ビデオカメラを単一使用
する場合の構成例 この場合の構成に関しては、一対のマーカがビデオカメ
ラにより撮像されるのであるが、マーカとビデオカメラ
との距離に関しては、演算装置により、これを求めるこ
とができる。そして、少なくとも一対のマーカの被検出
体に於ける位置が予め判明しているため、これらのマー
カの位置関係から被検出体の移動空間座標系(絶対座標
系)に対する方向と特定することができる。 ハ さらに、複数のマーカと複数のビデオカメラを配
設する場合にあっても、対応した解析系を備えることに
より、ビデオカメラが首振りをおこなう場合にあって
も、適切に、所望の情報を得ることができる。
【0014】本発明のその他の特徴及び利点は、以下図
面を用いた発明の実施の形態の説明とともに明らかにな
るだろう。
【0015】
【発明の実施の形態】図1は、本発明による座標検出シ
ステムの一例を採用した居住環境疑似体験システムのブ
ロック図である。壁面1aによって区画された移動空間
1内を自由に移動する仮想現実体験者は、超小型のビデ
オカメラ2(以後、単にカメラと称する)を上部に固定
させたHMD(Head Mounted Display)3を装着してい
る。HMD3は仮想現実映像装置5と接続されており、
HMD3の表示パネルには、仮想現実体験者の移動や首
振りに対応して仮想現実画像が写し出される。
【0016】壁面1aには、複数の発光体4が設けられ
ている。このマーカとしての発光体4はカメラ2の座標
(空間位置と方向角)を演算するための参照点として用
いられる。従って、カメラ2の任意の視野内に少なくと
も3つの発光体4が入るように分布配置されている。発
光体4は、カメラ2の移動空間1内の位置と方向角を算
定する演算装置としてのコントローラ6の中央制御部6
0によって制御される点滅制御部61につながれてお
り、各発光体4は画像取り込み部62によるカメラ2か
らの画像フレームの取り込みタイミングに同期して点滅
される。
【0017】この発光体4は、図2、図3に示すよう
に、光拡散材料(具体的にはセルロイド)からなる球状
(少なくとも、側面視180度以上の広がりを有し、2
70度以上が好ましい。具体的には、図3に示すもので
は310度の広がりを有する)の被覆部材21内に、複
数(具体的には8個)の光源を備えた構成とされてい
る。ここで、この光源は、赤外線を発光する発光素子
(発光ダイオード)22であり、その中心波長940n
m、発光帯域900nm〜990nmである。さらに、
これらの発光素子22の被覆部材内での配置関係につい
て説明すると、図3(イ)に示すように、球状の被覆部
材21内にあって、球中央部位に一部の発光素子22a
が配設されるとともに、マーカの支持部23である被覆
部材基端近傍の基端側部位に残余の発光素子22bが備
えられている。(イ)にあっては、理解を容易とするた
めに、代表的な発光素子のみを示している。ここで、黒
印で示すものは中央側に位置する発光素子であり、白抜
きで示すものは、発光体基端側に位置する発光素子であ
る。中央側に位置する一部の発光素子22aは4個配設
され、残余の発光素子22bも、これを均等に、周部よ
り囲むように4個備えられている。これらの発光素子2
2は、全て、マーカの前方(マーカの支持部から離間す
る方向)に、その発光中心方向が向けられており、その
指向性はθ1/2=±80°であり、比較的広い指向性
を有している。従って、球中央部位に一部の発光素子2
2aは、マーカの前方に主な発光領域を有し、残余の発
光素子22bは、一部の発光素子22aの死角部をも照
射する構成となっている。当然、これらの発光素子22
からの発光は、球状に設定されている光拡散部材からな
る被覆部材21により拡散されるため、マーカとして働
く本願の発光体4は充分な光量を備え、指向性の広いも
のとなっている。さらに、単一の発光体4内には、複数
の発光素子22が配設されるため、各発光体間の発光量
のばらつきを抑えることができる。さて、同一の発光体
4に属する光源としての発光素子22は、光源点滅制御
部61によって同時に点滅制御される。ちなみに、この
ような構成の発光体4に於けるカメラの視野中心にあ
り、カメラから300mm離れた位置での、複数の発光
体4の抽出面積のばらつきは、基本のものを1として、
0.997〜1.004程度であった。一方、発光素子
22単独の場合における、このようなばらつきを求めた
ところ、0.99〜1.05であり、本願で使用する発
光体4が、本願の趣旨に充分に合致していることが判
る。
【0018】この発光体4の同期点滅制御を図4を用い
て説明する。カメラ2の視野にそれぞれ第1・第2・第
3チャンネルを通じて給電される第1発光体4a、第2
発光体4b、第3発光体4cが入っているとする。第1
・第2・第3チャンネルは画像取り込み部62の画像フ
レーム取り込み周期に同期して順次つながっている発光
体4a、4b、4cに給電して点灯させるので、図に示
すように、1番目のフレームには点灯した第1発光体4
aが写し出されているが、他の第2・第3発光体4b、
4cは消灯している。2番目のフレームには点灯した第
2発光体4bが写し出されているが、他の第1・第3発
光体4a、4cは消灯している。3番目のフレームには
点灯した第3発光体4cが写し出されているが、他の第
1・第2発光体4a、4bは消灯している。最下欄の1
番目のフレームには、再び点灯した第1発光体4aが写
し出されている。このように、3n番目のフレームには
第1発光体4aが他と区別して認識可能に撮像され、3
n+1番目のフレームには第2発光体4bが他と区別し
て認識可能に撮像され、3n+2番目のフレームには第
3発光体4cが他と区別して認識可能に撮像されるので
ある(ここでn=0, 1,・・・)。画像フレームは1/6
0秒毎に取り込まれるので、各チャンネルにつながれた
発光体4は1/20秒毎の繰り返しで点灯される。
【0019】上述したように、画像取り込み部62によ
って取り込まれた各画像フレームには特定の発光体4だ
けが発光することになるので、画像フレーム内で発光し
ている発光体4を容易に特定することができる。発光体
4の特定はマーカ認識部63によって行われ、認識され
た発光体4は三角測量の基準点となるマーカとして後の
処理に利用される。
【0020】画像フレーム内で特定された、マーカとし
ての発光体4を用いてカメラ2の位置や向きを検出する
原理を図5から図8を用いて説明する。図5は、カメラ
2を身につけた仮想現実体験者が移動することになるx
軸とy軸とz軸で示された移動空間座標系を示してお
り、座標点C(xc,yc,zc )に位置するカメラ2は座
標点R1 (x1,y1,z1 )とR2 (x2,y2,z2 )とR
3(x3,y3,z3 )に固定されている3つのマーカ(発
光体4)を捉えている。カメラ2の座標点Cから各マー
カまでの距離r1 、r2 、r3 はカメラ2の撮像画面上
におけるマーカの面積から決定することができ、各マー
カの座標値は既知であるので、カメラ2の座標値はカメ
ラ2の撮像画面から算出することができる。計算式を簡
単にするため、図6に示すような、カメラ2の座標点C
を原点とする直交座標系である基準カメラ座標系を採用
する。移動空間座標系から基準カメラ座標系への変換式
は、 Xi =xi −xc Yi =yi −yc Zi =zi −zc (i =1, 2, 3) となり、次の連立3元1次方程式が成立する、 (xc −Xi )^2 −(yc −Yi )^2 −(zc −Z
i )^2 =ri (i =1, 2, 3) ここで、^2 は2乗を示す数式記載法であり、例えばx
^2 はxの2乗を示す。上記連立方程式を解くことで、
カメラ2の座標点C(xc,yc,zc )を算出することが
できる。
【0021】図7は、カメラ2の撮像画面をu軸、v軸
とし、カメラ2の撮影方向をw軸としたカメラ視野座標
系を示している。この視野座標系におけるマーカの中心
位置、つまりマーカの重心座標(u, v)は、画像処理
工学の公知なアルゴリズムより求めることができる。さ
らに、前述した基準カメラ座標系をもとに、カメラ2の
回転を考慮した座標系を考慮するが、その際、ここで
は、カメラ2の回転方向は基準カメラ座標系のY軸周り
とX軸周りの回転のみとする。この回転により変換され
た座標系を回転カメラ座標系と呼び、図8に示す。カメ
ラ2からマーカまでの距離rはカメラ2の撮像画面上に
おけるマーカの面積から決定することができるので、こ
の距離rに対するuとvの関係を予めテーブル化してお
くことで、各マーカの座標値(u, v, w)を簡単に求
めることができる。
【0022】基準カメラ座標系でその座標値が(X,
Y, Z)であったマーカが、回転カメラ座標系での座標
値では(u, v, w)であったとすれば、両者の関係は
以下の式で表すことができる。θx とθy はそれぞれ基
準カメラ座標系のX軸とY軸に対するカメラ2の回転角
とすると、 X=u cos( θy)−w sin( θy)・・・1) Y=u sin( θx) sin( θy)+v cos( θx)+w sin( θx) cos( θy)・・・2) Z=u cos( θx) sin( θy)−v sin( θx)+w cos( θx) cos( θy)・・・3) 1)より、 (X−u cos( θy))^2 =w^2 (1−cos ^2(θ
y)) cos(θy)=(uX±w Sqrt[u^2 −X^2 −w^2])
/(u^2 +w^2 ) ここで、Sqrt[ N] は、Nの2乗根を示す数式記載法で
ある。2)と3)より、 cos(θx)=E1 /E2 但し、E1 =vY±w Sqrt[u sin( θy)+w cos(θ
y)] E2 =v^2 +(u sin( θy)+w cos(θy))^2 上記式を解くことにより、カメラの回転角θx とθy が
算出できる。
【0023】上述した原理に基づいて、この座標検出シ
ステムのコントローラ6においても、カメラ2を通じて
取り込まれた画像フレームから、カメラ位置とカメラ方
向角が演算されるが、そのために、マーカ認識部63で
認識された発光体4の画像から発光体4の面積を演算す
るマーカ面積演算部64、発光体4の面積からカメラ2
と発光体4との距離を算出する距離演算部65、さらに
マーカ認識部63で認識された発光体4の画像から画像
フレームにおける発光体4の重心位置を求めるマーカ重
心演算部66、この重心位置やカメラ2と発光体4との
距離からカメラ4の位置座標を算出するカメラ位置座標
演算部67、異なる位置に設けられた複数の発光体4の
位置座標からカメラ方向角を演算するカメラ方向角演算
部68が備えられている。 仮想現実映像装置5には、
移動空間1内の任意の位置における任意の方向で見える
居住環境画像を生成することができる仮想現実画像生成
部52と、座標検出システムのコントローラ6によって
決定されたカメラ位置座標とカメラ方向角に基づいて、
仮想現実画像生成部52にアクセスして、適切な画像を
HMD3の表示パネルに表示する画像表示部51が備え
られている。
【0024】次に、この居住環境疑似体験システムの動
作を図9のフローチャートを用いて説明する。仮想現実
体験者がHMD3を装着して移動空間1に立つと、居住
環境疑似体験システムを起動させる。コントローラ6
は、グループ分けされた複数の発光体4に対して、画像
取り込み周期に同期させて、グループ毎に順次点灯と消
灯を繰り返す(#2)。まず、カメラ2からの画像を取
り込み(#4)、発光体4の点滅制御のタイミングと画
像フレームの取り込み順序から、取り込まれた画像フレ
ームに写し出された発光体4をグループを特定する(#
6)。特定された発光体4の画面上での面積及び重心位
置を演算し、その面積に基づいてカメラ2から発光体4
までの距離が求められる(#8)。カメラ2の方向角を
演算するに必要なグループの数の発光体4の位置情報が
求められている場合次のステップに進み、足らない場合
は、再びステップ6に戻る(#10)。
【0025】必要な発光体4の位置情報が求められてい
ると、上述した三角測量の原理に基づいて、移動空間1
内におけるカメラ2の位置座標と方向角が演算される
(#12)。算定されたカメラ2の位置座標と方向角が
コントローラ6から仮想現実映像装置5に送られると、
そのカメラ視点に対応する居住空間画像が生成され(#
14)、生成された画像はHMD3に送られ、表示パネ
ルに表示される(#16)。このステップ4からステッ
プ16までのルーチンは停止コマンドが発せられるまで
繰り返され(#18)、これによって、仮想現実体験者
は、自分が動いた位置、顔を向けた方向に対応した居住
空間を見ることができ、あたかもその居住空間内で実在
しているような体験をする。
【0026】なお、仮想現実画像生成部52がステレオ
画像を生成し、HMD3の表示パネルを左眼用と右眼用
に分けて構成すると、仮想現実体験者は、立体画像を見
ることになり、さらに臨場感溢れる居住空間を体験する
ことができる。
【0027】また、カメラ2の1つの方向角、例えばヨ
ーイング角の変化だけを許す場合、2つのグループから
の発光体4がカメラ2の撮像画面に入りように設定し、
この2つの発光体4の画像情報からカメラ2のヨーイン
グ角の変化を求めるとよい。カメラ2の2つの方向角、
例えばヨーイング角とピッチング角の変化だけを許す場
合、3つのグループからの発光体4がカメラ2の撮像画
面に入りように設定し、この3つの発光体4の画像情報
からカメラ2のヨーイング角とピッチング角の変化を求
めるとよい。さらに、カメラ2の3つの方向角、例えば
ヨーイング角とピッチング角とローリング角の変化を許
す場合、4つのグループからの発光体4がカメラ2の撮
像画面に入るように設定し、この4つの発光体4の画像
情報からカメラ2のヨーイング角ピッチング角とローリ
ング角の変化を求めるとよい。
【0028】ここでは、カメラ2の位置や方向角を決定
するための基準マーカとして、給電されることにより自
己発光する複数の発光素子(発光ダイオード)を光拡散
材料内に収納した発光体4を用いたが、これに代えて、
発光素子の部位に他の光源からの光を導き、これを光源
として使用してもよい。 〔別実施の形態〕上記の実施の形態例にあっては、光拡
散材料としてセルロイドを使用するものとしたが、この
ような材料としては、スリガラス、紙、プラスチック等
も使用することができる。上記の実施の形態例において
は、球中心部位に配設される発光素子の発光中心の方向
及び、マーカの基端側に備えられる発光素子の発光中心
を、共に、マーカの前方としたが、指向性の制御にあっ
ては、以下のような構成としてもよい。即ち、球中心部
位に配設される発光素子の発光中心の方向は、マーカの
前方とし、マーカの基端側に備えられる発光素子の発光
中心をこの発光中心から所定の角度を有して、照射端側
で中心側の発光中心から離間する方向とするのである。
このようにすると、光拡散部材の異なった位置に、それ
ぞれの発光素子の発光中心が存在することとなり、指向
性のより広いものを得ることができる。上記の実施の形
態例においては、被検出体側にビデオカメラが、固定座
標側にマーカがある場合について、説明したが、本願独
特の構成の発光体は、それ自体が独特の構成であるた
め、これを一般的な意味で、座標検出システムのマーカ
として使用することもできる。被検出体側にマーカが、
固定座標側にビデオカメラを固定配置する場合にあって
も、その威力を発揮できる。即ち、被検出体に付属して
設けられた少なくとも一つの本願独特の構成のマーカ
と、このマーカを視野内に収め、且つ、所定の位置に固
定された単一のビデオカメラを使用する場合にあっても
使用できる。この場合、両者間の距離に関しては、演算
装置により、これを求めることができる。一方、ビデオ
カメラが所謂移動空間座標系(絶対座標系)に対して、
その位置及び撮像方向を固定して備えられる場合、この
ビデオカメラで撮像されるマーカの、ビデオカメラ撮像
中心に対する位置により、マーカがある方向を求めるこ
とができる。そして、このマーカが存在する方向を被検
出体の向いている方向と見なして、被検出体の向いてい
る方向とみなすことができる。さらに、マーカを被検出
体の異なった位置に複数(少なくとも一対)配設すると
ともに、ビデオカメラを例えば壁面に固定して単一使用
する場合に関しては、一対のマーカをビデオカメラによ
り撮像することとなるが、マーカとビデオカメラとの距
離に関しては、演算装置により、これを求めることがで
きる。そして、少なくとも一対のマーカの被検出体に於
ける位置が予め判明しているため、これらマーカの位置
関係から被検出体の移動空間座標系(絶対座標系)を対
する方向(姿勢)を特定することができる。この様な場
合の一構成例を、図1に対応して、図10に示した。こ
の例にあっては、図1に示したカメラ位置座標演算部6
7の代わりにマーカ位置座標演算部670が、カメラ方
向角演算部68の代わりに人体姿勢演算部680が設け
られることとなる。これらの演算部670、680に
は、それぞれ適切な演算ソフトが収納されることとなる
が、ここで、人体姿勢とは、一対のマーカが両肩に装着
されている場合、両肩を結ぶ方向に対して直交する方向
を、人体が向いている方向(姿勢)として、求めること
となる。
【図面の簡単な説明】
【図1】本発明による座標検出システムの一例を採用し
た居住環境疑似体験システムのブロック図
【図2】発光体の外観を示す図
【図3】発光体の内部構造を示す図
【図4】取り込んだ画像フレームと点灯発光体の関係を
表す説明図
【図5】カメラの位置と方向角を三角測量に基づいて算
定する方法を説明するモデル図
【図6】カメラの位置と方向角を三角測量に基づいて算
定する方法を説明するモデル図
【図7】カメラの位置と方向角を三角測量に基づいて算
定する方法を説明するモデル図
【図8】カメラの位置と方向角を三角測量に基づいて算
定する方法を説明するモデル図
【図9】居住環境疑似体験システムの動作を示すフロー
チャート
【図10】本発明による発光体を使用する座標検出シス
テムの一構成例を示すブロック図
【符号の説明】
2 ビデオカメラ 4 発光体 5 仮想現実映像装置 6 演算装置 21 被覆部材 22 発光素子 23 支持部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 西山 洋 京都府京都市下京区中堂寺南町17 株式会 社関西新技術研究所内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも被検出体の位置を検出する座
    標検出システムにおいて、 前記被検出体に設けられたビデオカメラと、 前記ビデオカメラの視野内に少なくとも2つのマーカが
    入るように所定の位置に固定された複数のマーカとを備
    え、 前記ビデオカメラによって撮像されたマーカの面積に基
    づいて、該当マーカと前記被検出体との距離を演算し、
    求まった距離に基づいて前記被検出体の位置を演算する
    演算装置を備え、 前記マーカが、光拡散材料からなる球状の被覆部材内
    に、複数の光源を設けた発光体からなる座標検出システ
    ム。
  2. 【請求項2】 前記光源が、赤外線を発光する発光素子
    である請求項1に記載の座標検出システム。
  3. 【請求項3】 前記球状の被覆部材内にあって、球中央
    部位に一部の前記発光素子が配設されるとともに、前記
    発光体の支持部である被覆部材基端側部位に残余の前記
    発光素子が備えられている請求項2に記載の座標検出シ
    ステム。
  4. 【請求項4】 同一の発光体に属する前記光源が光源制
    御部によって同時に点滅制御可能であり、前記ビデオカ
    メラのフレーム取り込みに同期して各発光体が順次点灯
    される請求項1〜3のいずれか1項に記載の座標検出シ
    ステム。
  5. 【請求項5】 光拡散材料からなる球状の被覆部材内
    に、複数の光源を設けた発光体であって、前記光源が、
    赤外線を発光する発光素子であり、前記球状の被覆部材
    内にあって、球中央部位に一部の前記発光素子が配設さ
    れるとともに、前記発光体の支持部である被覆部材基端
    側部位に残余の前記発光素子が備えられている発光体。
  6. 【請求項6】 少なくとも被検出体の位置を検出する座
    標検出システムであって、請求項5記載の発光体を位置
    検出のために使用するマーカとして備えた座標検出シス
    テム。
  7. 【請求項7】 前記被検出体に付属して設けられた少
    なくとも一つの前記マーカと、 前記マーカを視野内に収め、且つ、所定の位置に固定さ
    れる少なくとも一つのビデオカメラとを備え、 前記ビデオカメラによって撮像されたマーカの面積に基
    づいて、該当マーカと前記被検出体との距離を演算し、
    求まった距離に基づいて前記被検出体の位置を演算する
    演算装置を備えた請求項6記載の座標検出システム。
JP9239365A 1997-09-04 1997-09-04 座標検出システム及び発光体 Pending JPH1185385A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9239365A JPH1185385A (ja) 1997-09-04 1997-09-04 座標検出システム及び発光体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9239365A JPH1185385A (ja) 1997-09-04 1997-09-04 座標検出システム及び発光体

Publications (1)

Publication Number Publication Date
JPH1185385A true JPH1185385A (ja) 1999-03-30

Family

ID=17043689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9239365A Pending JPH1185385A (ja) 1997-09-04 1997-09-04 座標検出システム及び発光体

Country Status (1)

Country Link
JP (1) JPH1185385A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005291879A (ja) * 2004-03-31 2005-10-20 Rikogaku Shinkokai 歩行ロボット用歩行データの測定方法
JP2018009886A (ja) * 2016-07-14 2018-01-18 国立大学法人 宮崎大学 顔向き検出システム、顔向き検出装置及び顔向き検出プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005291879A (ja) * 2004-03-31 2005-10-20 Rikogaku Shinkokai 歩行ロボット用歩行データの測定方法
JP2018009886A (ja) * 2016-07-14 2018-01-18 国立大学法人 宮崎大学 顔向き検出システム、顔向き検出装置及び顔向き検出プログラム

Similar Documents

Publication Publication Date Title
US10678324B2 (en) Systems and methods for augmented reality
JP7297028B2 (ja) 拡張現実のためのシステムおよび方法
AU2017220404B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US20180046874A1 (en) System and method for marker based tracking
US20160041391A1 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
JP7423683B2 (ja) 画像表示システム
US20120135803A1 (en) Game device utilizing stereoscopic display, method of providing game, recording medium storing game program, and game system
JPH10198506A (ja) 座標検出システム
US20190339768A1 (en) Virtual reality interaction system and method
US11256090B2 (en) Systems and methods for augmented reality
CN113368486B (zh) 一种用于vr头戴设备的光学追踪器和运动健身系统
JPH11211414A (ja) 位置検出システム
JPH1185385A (ja) 座標検出システム及び発光体
Meilinger et al. Global Landmarks Do Not Necessarily Improve Spatial Performance in Addition to Bodily Self-Movement Cues when Learning a Large-Scale Virtual Environment.
CN112667083A (zh) 一种娱乐头盔及其实现方法
CN214376323U (zh) 一种娱乐头盔
US20240275935A1 (en) Image display system and image display method
JP7111848B2 (ja) プログラム、情報処理装置、および方法
US12017137B2 (en) Device including plurality of markers