JP4562183B2 - 情報処理方法、情報処理装置 - Google Patents

Description

本発明は、現実空間中に配されるそれぞれの指標に係る情報を管理するための技術に関するものである。

カメラの焦点距離、主点、レンズ歪みなどのカメラ固有にカメラの内部に存在するカメラ内部パラメータ、もしくは、カメラの位置姿勢といったカメラが外界に対してどのように存在しているかを表すカメラ外部パラメータを校正するために、既定の世界座標系で定義された３次元現実空間内に置かれた１つ以上の指標（現実指標：３次元現実空間中の空間座標値は既知）をカメラで撮像して指標画像を取得し、各指標の３次元現実空間中の空間座標値（指標空間座標値）とこの指標の画像上の座標値（指標画像位置）とを用いて、カメラ校正アルゴリズムに基づき推定する方法がある。

指標画像位置を求めるためには、指標画像から既知の特徴を抽出する処理を行い、指標部分を抽出する必要がある。既知の特徴には実際の指標の形状（指標形状）や、指標を撮像装置で撮影して得られる指標画像上の指標の色（指標画像色）が利用される。

３次元現実空間内に置かれた１つ以上の指標を撮影・抽出し、カメラ校正アルゴリズムに基づきカメラ内部・外部パラメータを推定するためには、どのような指標が現実空間中でどのような位置にあるか、また指標を同定するための色・形状といった指標の定義情報を、パーソナルコンピュータなどの情報処理装置内であらかじめ定めておく必要がある。指標の定義情報は、情報処理装置内において、ツリー構造（木構造、階層構造とも言う）のデータ形式で管理されており、これらの指標に関する定義情報は、ユーザが情報処理装置上で動作するグラフィカル・ユーザ・インタフェース（以下、ＧＵＩ）を操作することで設定することができる。
特開２００２−２２８４４２号公報

図２は、ユーザが操作する従来のＧＵＩの表示例を示す図である。同図において２８０は、指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューであり、定義されている座標系と指標とが階層的に表示されている。同図では、ｗｏｒｌｄという名前の座標系（＝世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の５つの指標とが定義されており、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが、座標系ｗｏｒｌｄの下に所属している様子を示している。

２３０〜２３８はツリービュー２８０で選択されている指標の定義情報を入出力するテキストボックスであり、指標名、位置、認識色などに関する定義情報を管理することができる。同図のツリービュー２８０においては、指標ＯＲＡＮＧＥが選択され、選択されている指標のＯＲＡＮＧＥの文字が反転表示している様子が示されている。また、２３０〜２３８においては、選択されている指標ＯＲＡＮＧＥに関する定義情報が示されている。

２６０は、実写画像表示領域であり、撮像装置が撮影した画像が実時間で更新されている。実写画像表示領域２６０を見ると分かるとおり、撮像装置は「５つの指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが印刷された指標シート（例えば紙媒体を利用）」を撮影している。カメラ校正アルゴリズムに基づきカメラ内部・外部パラメータを推定する際、互いの相対的な位置関係が既定の複数指標が必要となるため、このような指標シートが用いられることが多い。また、このような指標シートを、カメラ校正ツールと共にベンダメーカがユーザに配布することもある。

指標シートには５つの指標と共に、各指標の名前（ＩＤ）があらかじめ印刷されている。また、各指標は指標シートの座標系上において既定の位置に配置されており、各指標同士の相対的な位置関係は一定状態に保たれている。しかし、ユーザは図２に示すＧＵＩ上で、例えば指標シート上に存在する指標ＯＲＡＮＧＥを削除したり、指標ＯＲＡＮＧＥの名前や位置に関する定義情報を自由に変更することが可能であった。すなわち、ユーザが誤って指標シート上に存在する指標の定義情報を変更してしまった場合、各指標同士の相対的な位置関係が崩れてしまうなど、カメラ校正アルゴリズムが正確に機能しなくなるという課題があった。よって、改善が求められていた。

本発明は、以上の問題に鑑みてなされたものであり、現実空間中に複数配される指標の定義情報の一部を変更不可能な状態として管理することで、ユーザの誤った操作を防ぐことを目的とする。

また、ユーザが、指標が配置された現実物体上に仮想物体を合成する複合現実感映像を体験することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、現実空間中に配される複数の指標に係る情報を管理する情報処理方法であって、
前記複数の指標の各々を識別する識別情報を表示する表示工程と、
前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が、互いの相対的な位置関係が固定となる指標のグループ、に属さない場合、前記指示された識別情報に対応する指標に係る情報を、指示された内容に応じて、削除もしくは変更する処理を行う処理工程と、
前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標に係る情報を削除もしくは変更する処理を禁止する制御を行う制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、現実空間中に配される複数の指標に係る情報を管理する情報処理装置であって、
前記複数の指標の各々を識別する識別情報を表示する表示手段と、
前記表示手段によって表示されている識別情報のうち指示された識別情報に対応する指標が、互いの相対的な位置関係が固定となる指標のグループ、に属さない場合、前記指示された識別情報に対応する指標に係る情報を、指示された内容に応じて、削除もしくは変更する処理を行う処理手段と、
前記表示手段で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標に係る情報を削除もしくは変更する処理を禁止する制御を行う制御手段と
を備えることを特徴とする。

本発明の構成により、現実空間中に複数配される指標の定義情報の一部を変更不可能な状態として管理することで、ユーザの誤った操作を防ぐことができる。

また、ユーザが、指標が配置された現実物体上に仮想物体を合成する複合現実感映像を体験することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
＜システム構成＞
先ず、本実施形態に係るシステムの構成について説明する。図１は、本実施形態に係るシステムのハードウェア構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、情報処理装置１００、撮像装置１６０、表示装置１７０により構成されている。以下、各装置について説明する。

先ず、情報処理装置１００について説明する。情報処理装置１００は、例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などにより構成されており、同図に示す如く、ＣＰＵ１１０、メモリ１２０、ＨＤＤ（ハードディスクドライブ装置）１３０、画像取得部１４０、画像生成部１５０、キーボード１８０、マウス１９０により構成されている。

ＣＰＵ１１０は、メモリ１２０にロードされたプログラムやデータを用いて情報処理装置１００全体の制御を行うと共に、情報処理装置１００が行う後述の各処理を実行する。

メモリ１２０は、ＨＤＤ１３０からロードされたプログラムやデータを一時的に記憶するためのエリア、画像取得部１４０によって撮像装置１６０から取得した画像データを一時的に記憶するためのエリア、ＣＰＵ１１０が各種の処理を実行する際に用いるワークエリアなど、各種のエリアを適宜提供することができる。

ＨＤＤ１３０は、ＯＳ（オペレーティングシステム）や、指標定義情報管理プログラム２００等を保存するものであり、これらはＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされ、ＣＰＵ１１０による処理対象となる。なお、指標定義情報管理プログラム２００は、現実空間中に配される指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューの表示・設定、指標定義情報の管理、指標色領域の表示、認識色領域の設定などをＣＰＵ１１０に実行させるためのプログラムである。また、ＨＤＤ１３０には、この指標定義情報管理プログラム２００を動作させるために必要なデータも保存されており、これもまたＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされる。

キーボード１８０、マウス１９０は、情報処理装置１００を操作するユーザが操作することで、各種の指示をＣＰＵ１１０に対して入力するためのものである。

画像取得部１４０は、撮像装置１６０から順次送出される各フレームの画像（現実空間画像）を受け、これを指標定義情報管理プログラム２００で扱うことのできるデータ形式に変換して、順次メモリ１２０、若しくはＨＤＤ１３０に転送する。

画像生成部１５０は、表示装置１７０に表示するための画面を生成するものであり、例えば、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで表示装置１７０に表示されるＧＵＩの画面もまた、この画像生成部１５０によって生成される。

次に、撮像装置１６０について説明する。撮像装置１６０は、複数の指標が配された現実空間の動画像を撮像するものであり、撮像した各フレームの画像は情報処理装置１００が有する画像取得部１４０に送出する。

次に、表示装置１７０について説明する。表示装置１７０は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０による処理結果を画像や文字などでもって表示することができる。例えば、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで表示される後述のＧＵＩ画面を表示する。

＜指標定義情報管理プログラム２００について＞
次に、指標定義情報管理プログラム２００について説明する。指標定義情報管理プログラム２００は、どのような指標が使われているか、指標の所属する座標系、指標シート、指標の位置、指標の認識色領域、指標形状といった指標定義情報を編集し、編集結果を所定の書式のファイル（指標定義情報ファイル）として生成したり、既存の指標定義情報ファイルを読み出したりするためのプログラムである。

図１３は、指標定義情報ファイルの構成例を示す図である。同図に示す如く、指標定義情報ファイルには、ｗｏｒｌｄという名前の座標系（世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の５つの指標とが定義されており、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが、座標系ｗｏｒｌｄの下に所属している様子を示している。また、指標定義情報ファイルには更に、それぞれの指標について、配置位置、色、サイズ（直径）等が登録されている。

このような指標定義情報ファイルは、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで画像生成部１５０が生成し、表示装置１７０に表示されるＧＵＩを、ユーザがキーボード１８０やマウス１９０を用いて操作することで編集することができる。但し、後述するように、一部の指標定義情報に関しては編集を行うことができないようになっている。これについて詳しくは後述する。また、図１３においては座標系ｗｏｒｌｄの直下、かつ指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡの上に「指標シート（紙）」である指標シートＳＨＥＥＴを定義しているが、これについても詳しくは後述する。

そして、編集された指標定義情報ファイルは、ユーザがキーボード１８０やマウス１９０を用いてＣＰＵ１１０に対して指示することで、ＣＰＵ１１０によってＨＤＤ１３０に保存される。また、上記ＧＵＩを介して使用する指標定義情報ファイルを指示すると、ＣＰＵ１１０は指示された指標定義情報ファイルをＨＤＤ１３０からメモリ１２０に読み出す。

図１２は、上記ＧＵＩの表示例を示す図である。同図のＧＵＩは上述の通り、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで画像生成部１５０が生成し、表示装置１７０に表示されるものである。なお、以下の説明では特に説明しない限りは、ＧＵＩに対する操作は、ユーザがキーボード１８０やマウス１９０を用いて行うものとし、この操作によって行われる処理は、ＣＰＵ１１０がこの操作を検知し、検知した操作内容に応じた処理を実行することにより成されるものとする。

同図において２１０、２２０はメニューであり、それぞれマウス１９０を用いてクリックすることで、図３、図４のようなメニューリストが表示される。

図３は、「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。同図において「開く」メニュー２１２は、マウス１９０でもって指示することで、ＨＤＤ１３０に保存されている指標定義情報ファイルを開き、後述するツリービュー２８０などに展開表示する処理をＣＰＵ１１０に指示するための項目である。「保存」メニュー２１４は、マウス１９０でもって指示することで、編集中の指標定義情報を指標定義情報ファイルとしてＨＤＤ１３０に保存する処理をＣＰＵ１１０に指示するための項目である。「終了」メニュー２１６は、マウス１９０でもって指示することで、指標定義情報管理プログラム２００を終了する処理をＣＰＵ１１０に指示するための項目である。

図４は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。同図において「座標系の新規作成」メニュー２２２は、マウス１９０でもって指示することで、ツリービュー２８０でマウスクリックにより選択され反転色となっている座標系の子座標系を新たに作成する処理を、ＣＰＵ１１０に指示するための項目である。ツリービュー２８０では、座標系を示すノード（座標系アイコンおよび座標系の名前）が追加される。

例えば、ツリービュー２８０が図１６に示す如く、座標系ｗｏｒｌｄが選択されている状態であった場合に、「座標系の新規作成」メニュー２２２を指示すると、図１７に示す如く、座標系ｗｏｒｌｄの子座標系として新しく座標系「ＮｅｗＣｏｏｒｄＳｙｓ」が作成され、ツリービュー２８０に表示される。図１６，１７は、座標系を示すノードの追加を説明する図である。

この子座標系をツリービューで選択して親座標系から見た位置姿勢を入力する必要があるが、それについては以下の説明の趣旨ではないので、説明は割愛する。

図４に戻って、「指標の新規作成」メニュー２２４は、マウス１９０でもって指示することで、ツリービュー２８０でマウスクリックにより選択され反転色となっている座標系に所属する指標を新規作成する処理を、ＣＰＵ１１０に指示するための項目である。ツリービュー２８０には指標を示すノード（指標アイコンおよび指標の名前）が追加される。指標の名前、位置、認識色領域の設定方法は後述する説明から理解可能と考える。

「指標シートのインポート」メニュー２２５は、マウス１９０でもって指示することで、ツリービュー２８０でマウスクリックにより選択され反転色となっている座標系に所属させる指標シートのノードを取り込む処理をＣＰＵ１１０に指示するための項目である。

ここで、指標シートとは、指標が印刷された紙もしくはプラスチックといった現実空間に存在する２次元平面の記録媒体である。もちろん、指標シートは指標が印刷されていなくても、各指標の互いの位置関係が固定であれば、シール状の指標を紙に貼り付けたものであってもよいし、素材が紙もしくはプラスチックに限らないことは言うまでもない。また、指標シートのノードは座標系の一種とも言える。

指標シートのノードを取り込むとは、あらかじめＨＤＤ１３０に保存された複数の指標シートに関する情報のうち、ユーザによって選択された指標シート情報を読み出し、指標定義情報ファイルに取り込むことである。ツリービュー２８０では、指標シートを示すノード（指標シートアイコンおよび指標シートの名前）、および指標シートに所属する指標のノードが追加される。例えばツリービュー２８０が図２０に示す如く、座標系ｗｏｒｌｄが選択されている状態であった場合に、このメニューによって指標シートＳＨＥＥＴを取り込むよう選択すると、図２１に示す如く、座標系ｗｏｒｌｄの下に新しく指標シートＳＨＥＥＴおよび指標シートに所属する指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが追加され、ツリービュー２８０に表示される。図２０，２１は、指標シートを示すノードの追加を説明する図である。

この指標シートをツリービュー２８０で選択して親座標系から見た位置姿勢を入力する必要があるが、それについては以下の説明の趣旨ではないので、説明は割愛する。

このように指標シートをノードとしてインポート可能にすることで、例えばベンダメーカが、カメラ校正ツール内に取り込むべき指標シート情報をあらかじめ組み込んでおけば、ユーザはベンダメーカから配布された指標シートを容易に利用することが可能となる。すなわち、ユーザは指標シートに印刷された指標の名前や位置をＧＵＩ上でいちいち入力することなく指標シートを利用可能になるため、その手間を大幅に省くことが可能となる。

図１４は、ベンダメーカが用意する指標シートの例と、その指標シートに対応してインポートすべき指標シートノード（＋指標シートに所属する指標のノード）の例を示す図である。

図１４（ａ）には、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが印刷されている現実の指標シートＳＨＥＥＴ（同図左側）と、対応する指標シートノードＳＨＥＥＴ（＋指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡのノード）（同図右側）が示されている。

図１４（ｂ）には、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＭＡＧＥＮＴＡが印刷されている現実の指標シートＳＨＥＥＴ_２（同図左側）と、対応する指標シートノードＳＨＥＥＴ_２（＋指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＭＡＧＥＮＴＡのノード）（同図右側）が示されている。

図１４（ｃ）には、指標ＯＲＡＮＧＥが印刷されている現実の指標シートＳＨＥＥＴ_３（同図左側）と、対応する指標シートノードＳＨＥＥＴ_３（＋指標ＯＲＡＮＧＥのノード）（同図右側）が示されている。

図４に戻って、「削除」メニュー２２８は、マウス１９０でもって指示することで、マウスクリックにより選択され反転色となっている座標系や指標や指標シートのノードを削除する処理をＣＰＵ１１０に指示するための項目である。削除指示されたノードはツリービュー２８０から削除され、座標系もしくは指標シートが削除された場合は、その座標系、指標シートに所属するすべての座標系、指標も同時に削除される。但し、指標シートそのものを削除したり、指標シートに所属する指標のみを削除したりすることはできない。これについて詳しくは後述する。

図１２に戻って、２８０は、図１３に例示した指標定義情報ファイルで管理されている座標系、指標、指標シートのツリー構造をグラフィカルに表示するツリービューである。同図では、定義されている座標系と指標と指標シートが、ツリー構造により階層的に表示されている。より詳しくは、ｗｏｒｌｄという名前の座標系（＝世界座標系）と、ＳＨＥＥＴという名前の指標シートと、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ、ＲＥＤという名前の指標が定義されている。

座標系ｗｏｒｌｄの下には、指標シートＳＨＥＥＴおよび指標ＲＥＤが所属しており、指標シートＳＨＥＥＴの下には指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが所属している。

２３０〜２３８はツリービュー２８０で選択されている指標の定義情報を入出力するテキストボックスである。ツリービュー２８０中の各座標系、各指標シート、各指標には、それぞれ座標系アイコン、指標シートアイコン、指標アイコンが関連付けられている。例えば指標シートＳＨＥＥＴには指標シートであることを示すような指標シートアイコン２８２が、ツリービュー２８０中の指標シートの名前に対して横並びに関連付けられている。また、指標ＯＲＡＮＧＥには指標であることを示すような指標アイコン２８１が、ツリービュー２８０中の指標の名前に対して横並びに関連付けられて表示されている。また、他の指標ＹＥＬＬＯＷ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ、ＲＥＤについても同様の指標アイコンが、ツリービュー２８０中の各指標の名前に対して横並びに関連付けられて表示されている。

指標名２３０は指標の名前であり、指標を識別するために使用される識別情報である。同図では、色の種類を識別情報としているが、ＭＡＲＫＥＲ０１、ＭＡＲＫＥＲ０２など、任意の名前を用いてよいことは言うまでもない。

指標位置２３２は指標の所属する座標系における三次元位置である。

ここで、同図では、指標名２３０と位置２３２の欄がグレーアウトしている（＝灰色になっている）。これは、指標ＯＲＡＮＧＥが指標シートＳＨＥＥＴに所属しているため、指標ＯＲＡＮＧＥを削除することが不可能な状態にしていることを示していると共に、指標ＯＲＡＮＧＥの指標名と位置に関する定義情報をユーザが変更不可能な状態にしていることを示している。もちろんツリービュー２８０で指標シートに所属していない指標ＲＥＤが選択された場合は、指標名２３０と位置２３２の欄はグレーアウトせず、ユーザが指標の削除や、指標名と位置に関する定義情報を変更することが可能な状態となる。

ここで、指標が指標シートＳＨＥＥＴに属しているか否かを、ツリービュー２８０上でユーザが瞬時に区別可能にするために、例えば指標シートＳＨＥＥＴに属している指標（ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ）の指標アイコンと、属していない指標（ＲＥＤ）の指標アイコンとを別にしてもよい（例えば、指標シートＳＨＥＥＴに属している指標は、指標アイコンを枠で囲む）。

輝度２３４、中心２３６、直径２３８は指標の認識色領域を定義するパラメータである。なお、本実施形態では、指標の認識色領域はＹＵＶ４４４色空間（輝度Ｙが８ビット、色差Ｃｂが８ビット、色差Ｃｒが８ビット）におけるＹ軸方向を高さ、ＣｂＣｒ平面上の楕円を底面とする楕円柱で決定される。この楕円の長径は、その延長線が必ずＣｂＣｒ平面中心（Ｃｂ＝１２７，Ｃｒ＝１２７）を通るように拘束される。

輝度２３４はＹの最小値、最大値、中心２３６は楕円中心位置、直径２３８は楕円の長径と短径を示している。指標シートＳＨＥＥＴに所属している各指標の輝度２３４、中心２３６、直径２３８は、撮影時の光源環境によっては調整する必要があるため、指標名２３０、位置２３２とは異なり、変更可能な状態であるが、初期値としてメーカベンダがあらかじめ定めた値が入力されている。

ユーザがマウス１９０を用いてこれらの指標定義情報を編集し、「保存」メニュー２１４を指示すると、ＣＰＵ１１０はこれを検知して、編集された指標定義情報を図１３に示す指標定義情報ファイルに反映する。

２５０は色空間画像表示領域であり、実写画像もしくは実写画像の選択領域の色領域をＹＵＶ４４４色空間で表現し、輝度Ｙ＝１２８のＣｂＣｒ平面への射影をとった色空間画像２５４が表示される。横軸が色差Ｃｂ、縦軸が色差Ｃｒである。色空間画像表示領域２５０はまた、認識色領域の設定用の領域でもある。認識色領域の一部の指定（Ｃｂ値とＣｒ値の範囲）を楕円カーソル２５２で囲まれた領域で行うことができる。楕円カーソル２５２の中心と円周上の制御点をマウス１９０でドラッグすることで、位置、形状、寸法を変更することが可能である。また中心２３６、直径２３８と同期しており、楕円カーソル２５２を操作すると、中心２３６、直径２３８の値が変化し、中心２３６、直径２３８の値を変更すると楕円カーソル２５２の位置、形状、寸法が変化する。

２６０は実写画像表示領域であり、撮像装置１６０が撮影した各フレームの画像が順次表示される領域である。実写画像表示領域２６０はまた、実写画像選択領域を設定する領域でもある。実写画像表示領域２６０内に表示されている画像上の選択したい領域をマウス１９０でドラッグすることで領域が選択される。選択された領域の枠線は図５に示す如く、実写画像表示領域上に重畳表示される。同図では、５０１が枠線を示す。図５は、実写画像表示領域２６０内の所望の領域を選択した場合の表示例を示す図である。

２７０は抽出画像表示領域であり、実写画像表示領域２６０内に表示されている実写画像における色が認識色領域に含まれる場合、その色の画素のみが認識色領域の代表色で表示される。なお認識色領域における輝度の範囲は、輝度２３４によって設定されているものとする。また認識色領域の代表色は、輝度（Ｙ）が１２８の時の、認識色領域を示す楕円カーソル２５２の中心の色（色差Ｃｂ、色差Ｃｒ）である。

図６〜８にその様子を示す。図６は実写画像表示領域２６０、図７は図６の実写画像表示領域２６０内の実写画像に対する色空間画像表示領域２５０を示す図で、図７に示す如く、図６の実写画像に対する色空間画像２５４と認識色領域設定用の楕円カーソル２５２とが重畳表示されている。図８は、図７に示す設定内容に基づいて図６に示した実写画像から抽出した抽出画像を示す図で、より詳しくは、図６の実写画像から、図７の色空間画像２５４と楕円カーソル２５２が交わっている色領域が抽出画像として抽出され、抽出画像表示領域２７０内に表示されている。

抽出画像表示領域２７０はまた、実写画像表示領域２６０と同様に、実写画像選択領域を設定する領域でもあり、図９に示したように、実写画像表示領域２６０、抽出画像表示領域２７０夫々で選択された領域の枠が、領域の選択に同期してもう一方に重畳表示される。図９は、一方の領域の選択に同期して、他方の領域に選択枠が表示される場合の表示例を示す図である。

また、領域が選択されると、色空間画像２５４が選択された領域を入力として計算される。図１０は、図９に示したように領域選択した場合の色空間画像２５４の様子を示す図である。なお、領域が選択されて無い場合は実写画像全体が入力として計算される。図１１は、図９で示される実写画像の撮影時において領域を選択して無い場合の色空間画像２５４の様子を示す図である。

次に、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで行われる処理、即ち、指標定義情報の管理、及び指標の認識色領域を設定する処理について、同処理のフローチャートを示す図１５を用いて以下説明する。

なお、同図のフローチャートに従った処理をＣＰＵ１１０に実行させるためのプログラムやデータはＨＤＤ１３０に保存されており、これは適宜ＣＰＵ１１０による制御に従ってメモリ１２０にロードされ、ＣＰＵ１１０がこれを用いて処理を実行することで、情報処理装置１００は以下説明する各処理を実行することになる。

なお、以下説明する処理の前段では、メモリ１２０には指標定義情報管理プログラム２００がロードされていると共に、表示装置１７０の表示画面上には、図１２に例示するようなＧＵＩが表示されているものとする。

そして、ユーザがキーボード１８０やマウス１９０を用いてツリービュー２８０内に表示されている所望の指標を選択すると、ＣＰＵ１１０はその旨を検知し、メモリ１２０に記憶されていたその指標の名前、位置、輝度、色領域を示す楕円の中心座標位置、楕円の長径および短径の情報（即ち、図１３に示す指標定義情報ファイルの一部）を読み出し、それぞれテキストボックス２３０〜２３８に出力する。また楕円カーソル２５２の表示が中心２３６、直径２３８に従って更新される。

このような場合に、ステップＳ１５０１では、ユーザがキーボード１８０やマウス１９０を用いて選択した指標に対して削除の指示を入力したか、若しくは選択した指標の指標名２３０、位置２３２を新たに入力する旨の指示を入力したかをチェックする。そしてチェックの結果、削除もしくは入力の指示があった場合、処理をステップＳ１５０１−２に進める。削除もしくは入力の指示がない場合は、処理をステップＳ１５０２に進める。

ステップＳ１５０１−２では、選択された指標が所定のグループに属しているものであるのか、即ち指標シートに所属しているものであるのかをチェックする。指標シートに所属していない場合には処理をステップＳ１５０１−３に進め、ステップＳ１５０１で指示があったとおり、指標の削除、もしくは指標名および位置の更新を行う。更新された結果は即座にＧＵＩに反映される。

一方、選択された指標が指標シートに所属している場合は処理をステップＳ１５０１−４に進め、指標の削除や、指標名２３０および位置２３２に関する指標定義情報を変更不可能な状態にして、指標定義情報の変更を禁止する。またその際に、指標の指標名２３０および位置２３２の欄はグレーアウト状態に表示する。これにより、ステップＳ１５０１で指示があった指標の削除、入力された指標名、位置は無視される。

カメラ校正アルゴリズムに基づいてカメラ内部・外部パラメータを推定するなど、紙などの記録媒体に印刷された指標を利用する場合を想定すると、上記のように、ユーザが指標シート上に存在する指標の削除や、指標の名前や位置に関する定義情報の変更を操作不可能な状態にすることで、各指標の相対的な互いの位置関係を保ったまま管理することができるため、カメラ校正アルゴリズムが常に正確に機能することが可能になる。

ステップＳ１５０１−３、Ｓ１５０１−４の処理が終わったら処理をステップＳ１５０２に進める。

次に、ステップＳ１５０２では、ユーザがキーボード１８０やマウス１９０を用いて、楕円の中心位置２３６、直径２３８に対する入力を行ったか否かをチェックする。チェックの結果、入力が成されている場合には処理をステップＳ１５０４に進め、中心位置２３６、直径２３８を入力された値に更新する。そして処理をステップＳ１５０８に進め、認識色領域の表示を更新する。

一方、楕円の中心位置２３６、直径２３８に対する入力を行っていない場合には処理をステップＳ１５０６に進め、ユーザがキーボード１８０やマウス１９０を用いて、認識色領域の輝度２３４に対する入力を行ったか否かをチェックする。チェックの結果、入力が成されている場合には処理をステップＳ１５０８に進め、輝度２３４を入力された値に更新すると共に、認識色領域の表示を更新する。

そしてステップＳ１５０８における処理が終了すると、若しくはユーザがキーボード１８０やマウス１９０を用いて、認識色領域の輝度２３４に対する入力を行っていない場合には処理をステップＳ１５１０に進める。

ステップＳ１５１０では、色空間表示領域２５０上の楕円カーソル２５２の中心や円周上の制御点が、マウス１９０によってドラッグされたかをチェックし、ドラッグされていない場合には処理をステップＳ１５１４に進めるのであるが、ドラッグされた場合は処理をステップＳ１５１２に進め、それに応じて中心２３６、直径２３８を更新する。

ステップＳ１５１４では、実写画像表示領域２６０、抽出画像表示領域２７０がマウス１９０でクリックされたか否かをチェックし、クリックされていない場合には処理をステップＳ１５１８に進めるのであるが、クリックされている場合には処理をステップＳ１５１６に進め、画像選択領域を解除する。そして処理をステップＳ１５２２に進める。

ステップＳ１５１８では、実写画像表示領域２６０、抽出画像表示領域２７０がマウス１９０でドラッグされたか否かをチェックし、ドラッグされていない場合には処理をステップＳ１５２２に進めるのであるが、ドラッグされている場合には処理をステップＳ１５２０に進め、ドラッグ開始点と終了点位置とを結ぶ線分を対角線とする四角形を図９，１０に例示する如く、選択領域として設定する。

ステップＳ１５２２では、画像取得部１４０が撮像装置１６０から取得した現実空間の画像を、指標定義情報管理プログラム２００の管理するメモリ１２０上に取り込み、続いてステップＳ１５２４で、メモリ１２０上に取り込んだ画像を実写画像表示領域２６０に表示する。

次に、ステップＳ１５２６では、ステップＳ１５２０で選択領域が設定されているか否かをチェックし、設定されていない場合には、処理をステップＳ１５３０に進めるのであるが、設定されている場合には、処理をステップＳ１５２８に進め、実写画像表示領域２６０と抽出画像表示領域２７０とで、それぞれ選択領域に対応する部分に選択領域枠を重畳表示する。そして処理をステップＳ１５３２に進め、選択領域枠内に相当する実写画像の部分についてＹＵＶ４４４の色空間画像２５４を計算し、更に処理をステップＳ１５３４に進め、色空間画像表示領域２５０を更新する。

ステップＳ１５３０では、選択領域が設定されていないので、選択表示枠は重畳表示せず、実写画像全体についてＹＵＶ４４４の色空間画像２５４を計算し、ステップＳ１５３４で、色空間画像表示領域２５０を更新する。

そして、ステップＳ１５３６では、色空間画像表示領域２５０上に更に、上記ステップＳ１５０２〜Ｓ１５１２で入力された認識色領域を示す楕円カーソル２５２を重畳表示する。

次に、ステップＳ１５３８では先ず、選択領域枠内に相当する実写画像の部分、若しくは実写画像全体について、認識色領域の色を持つ画素が存在するかをチェックし、存在する場合は認識色領域の代表色を求める。認識色領域の代表色は、輝度（Ｙ）が１２８の時の、認識色領域を示す楕円カーソル２５２の中心の色（色差Ｃｂ、色差Ｃｒ）である。そして、求めた認識色領域の代表色を用いて抽出画像を作成する。そしてステップＳ１５４０では、ステップＳ１５３８で作成した抽出画像を抽出画像表示領域２７０に表示することで、抽出画像表示領域２７０を更新する。

次に、ステップＳ１５４１では、ステップＳ１５０１−４で指標の削除や、指標の指標名、位置の変更を不可能な状態にしたので、それらを解除し、変更可能な状態に戻す。

そしてユーザがキーボード１８０やマウス１９０を用いて指標定義情報管理プログラム２００の動作終了指示を入力しない限りは（「終了」メニュー２１６がマウス１９０で選択されない限りは）、ステップＳ１５４２を介してステップＳ１５０１に戻り、以降の処理を繰り返す。

なお、ツリービュー２８０で別の指標アイコンをマウスクリックすると、選択された指標アイコンに対応する指標定義情報２３０〜２３８、２５０〜２５４、２７０が更新され、以後その指標アイコンに対して上記ステップＳ１５０１〜ステップＳ１５４１の一連の処理が実施される。

＜認識色領域の設定について＞
次に、上記指標定義情報管理プログラム２００を実行することにより成される、認識色領域を設定する処理について、図２２〜図２４、図２５〜図２８、図２９〜図３３を用いて説明する。なお各々の図は同じ時間での色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の状態の組合せを有している。

図２２〜図２４は、実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。

図２２は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。実写画像表示領域２６０内には５つの指標が存在するが、ここでは、実写画像中の左上の指標の認識色領域を設定する。

まず、図２３に示す如く、実写画像表示領域２６０から対象となる指標を領域選択する。すると実写画像表示領域２６０内には選択した領域を示す選択枠２３００が重畳表示されると共に、色空間画像表示領域２５０には、領域選択された実写部分のみの色空間画像２３０１が表示される。また抽出画像表示領域２７０には、実写画像表示領域の選択領域に同期して対応部分に選択枠２３０２が表示される。

続いて、図２４に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル２３０４をマウス１９０でもってドラッグすることより位置、長径、短径を変更し、色空間画像２３０１を包含するようにする。ここで色空間画像表示領域２５０の中心に近いほど無彩色になるため、中心付近は楕円に含まれないようにしている。すると、抽出画像表示領域２７０には、実写画像に存在する楕円カーソル２３０４で設定される認識色領域が抽出される。結果として領域選択された実写部分の色が抽出画像として抽出画像表示領域２７０内に表示される。

ここで、抽出画像の有色な画素が、実写画像の選択部分内（選択枠２３００内）にのみ存在し、かつ実写画像の対象とする指標部分と一致しているため、対象となる指標の指標色領域（実写画像選択部分）と認識色領域（楕円カーソル）とは一致したと判断し、作業を完了することができる。

図２５〜図２８は、実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。

図２５は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。ここでは３つの指標が実写画像中に存在するが、実写画像中の下の指標の認識色領域を設定する。

先ず、図２６に示す如く、実写画像表示領域２６０から対象となる指標を領域選択すると、選択した領域には選択枠２６００が表示されると共に、抽出画像表示領域２７０内の対応する領域には選択枠２６０１が表示され、更に、領域選択された実写部分のみが色空間画像２６０２に反映される。

続いて図２７に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル２６０５をマウス１９０を用いてドラッグすることより、位置、長径、短径を変更し、色空間画像２６０２を包含するようにする。しかし同図に示す如く、色空間画像２６０２のうち、楕円カーソル２６０５が包含する部分が小さいため、対象となる指標の指標色領域（実写画像選択部分）と認識色領域（楕円カーソル）が完全に一致せず、抽出画像が若干欠けてしまっている。

このような場合、図２８に示す如く、対象となる指標の指標色領域と抽出画像領域が一致するように見えるまで楕円カーソル２６０５を試行錯誤的に操作することを繰り返し行う。

図２９〜図３３は、実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。

図２９は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。ここでは３つの指標が実写画像中に存在するが、実写画像中の左の指標の認識色領域を設定する。また、実写画像中には指標以外の物体も含まれており、画像的に外乱の多い環境と言える。

先ず、図３０に示す如く、実写画像表示領域２６０から対象となる指標を領域選択すると、選択した領域には選択枠３０００が表示されると共に、抽出画像表示領域２７０内の対応する領域には選択枠２７０１が表示され、更に、領域選択された実写部分のみが色空間画像３００２に反映される。

続いて図３１に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル３００５をマウス１９０を用いてドラッグすることより、位置、長径、短径を変更し、色空間画像３００２を包含するようにする。しかし同図に示す如く、実写画像中にＹＵＶ４４４色空間における指標色領域付近の色が存在するため、抽出画像の有色な画素が、実写画像の選択部分外にも多数存在している。

このような状態で認識色領域を確定すると、抽出画像の有色な画素を指標として誤認識してしまうため、楕円カーソル３００５を操作して認識色領域を設定しなくてはならない。

図３２は、楕円カーソル３００５を操作して、抽出画像において選択部分外に存在する有色な画素を少なくした状態である。楕円カーソル３００５を試行錯誤的に操作して、最終的には図２４、図２８に示すように選択部分内にのみ存在しかつ実写画像の対象とする指標部分と一致するようにしなくてはならないが、楕円カーソル３００５の操作のみでは難しい場合もある。

このような場合には、現実空間に存在する物体を除去して、外乱を実写画像に含まれないようにすることも有効な手段である。しかし人間にとっては実写画像中の何が認識色領域設定のための外乱になるのか、判断することは難しい。それを特定するためには、図３３に示す如く、抽出画像において選択部分外に存在する有色な画素群３０１１を、抽出画像上で領域選択すればよい。実写画像上の選択領域枠と、抽出画像上の選択領域枠は同期しているため、抽出画像上の有色な画素を選択枠３０１０でもって領域選択すれば、抽出元の実写画像部分が領域枠３０１５で囲われる。この実写画像の領域枠３０１５を補助的な情報として、外乱となる現実物体を特定することが容易になる。

以上の作業を繰り返し行うことで外乱のない認識色領域の設定を行うことができる。

以上述べたように、本実施形態では、現実空間中に配される１つ以上の指標に関し、指標の定義情報の一部を変更不可能な状態として管理することで、ユーザの誤った操作を防ぐことが可能となる。

特に、カメラ校正アルゴリズムに基づきカメラ内部・外部パラメータを推定するなど、紙などの媒体に印刷された指標を利用する場合を想定すると、ユーザが指標シート上に存在する指標の削除や、指標の名前や位置に関する定義情報の変更を操作不可能な状態にすることで、各指標の相対的な互いの位置関係を保ったまま管理することができるため、カメラ校正アルゴリズムが常に正確に機能することが可能になる。

［第２の実施形態］
第１の実施形態では、指標が印刷された紙もしくはプラスチックといった、現実空間に存在する２次元平面の記録媒体を利用していたのに対して、本実施形態では、現実空間に存在する立体的な物体（例えば紙、プラスチックなどを利用）に指標が印刷されている場合について述べる。

本実施形態では、指標が印刷された立体的な物体（指標オブジェクト）を利用するために、図４に示すメニューの代わりに図１８に示すメニューを用いる。図１８は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本実施形態に係るメニューの表示例を示す図である。

図１８に示すメニューでは、図４のメニューに設けられている項目に加え、「指標オブジェクトのインポート」メニュー２２６が設けられている。ユーザがキーボード１８０やマウス１９０を用いて、この「指標オブジェクトのインポート」メニュー２２６を選択することにより、指標情報定義ファイルおよびツリービュー２８０に、指標が印刷された立体的な指標オブジェクトのノード（＋指標オブジェクトに所属する指標のノード）が追加される。

図１９は、ベンダメーカが用意する立体的な指標オブジェクトと、その指標オブジェクトに対応してインポートすべきノードの例を示す図である。

図１９（ａ）には、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが印刷されている現実の指標オブジェクトＯＢＪＥＣＴ（同図左側）と、対応する指標オブジェクトＯＢＪＥＣＴのノード（＋指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡのノード）（同図右側）が示されている。

図１９（ｂ）には、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＭＡＧＥＮＴＡが印刷されている現実の指標オブジェクトＯＢＪＥＣＴ_２（同図左側）と、対応する指標オブジェクトＯＢＪＥＣＴ_２のノード（＋指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＭＡＧＥＮＴＡのノード）（同図右側）が示されている。

図１９（ｃ）には、指標ＯＲＡＮＧＥが印刷されている現実の指標オブジェクトＯＢＪＥＣＴ_３（同図左側）と、対応する指標オブジェクトＯＢＪＥＣＴ_３のノード（＋指標ＯＲＡＮＧＥのノード）（同図右側）が示されている。

その他の構成については、第１の実施形態と同じ構成であるものとする。

なお、指標オブジェクトは指標が印刷されていなくても、各指標の互いの位置関係が固定であれば、シール状の指標を物体に貼り付けられたようなものであっても、また、物体を構成する一部のパーツ自体が指標になっていてもよいことは言うまでもない。さらに、素材が紙もしくはプラスチックに限らないことは言うまでもない。

以上述べたように、本実施形態によって、現実空間中に配された１つ以上の指標に関し、指標の定義情報の一部を変更不可能な状態として管理することで、ユーザの誤った操作を防ぐことが可能となる。

特に、指標が印刷される対象として、紙もしくはプラスチックといった現実空間に存在する２次元平面の記録媒体だけでなく、立体的な物体を利用することが可能となる。

［第３の実施形態］
本実施形態では、上記第１，２の実施形態で説明した現実物体（指標シート、指標オブジェクト）上に配された指標を用いたアプリケーションとして、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用したシステムについて説明を行う。

複合現実感とは、現実空間と仮想空間とを違和感なく自然に合成する技術である。複合現実感技術を応用したシステムでは、カメラなどの撮像装置によって撮影した現実空間の映像に対し、ユーザの頭部の動きに合わせてコンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想空間の映像を合成し、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示することで、複合現実感映像をシステムのユーザに提示するものである。複合現実感技術、およびヘッドマウントディスプレイに関する詳細説明については、例えば、大島登志一，佐藤清秀，山本裕之，田村秀行：“ＡＲ２ホッケー：協調型複合現実感システムの実現”，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．３，Ｎｏ．２，ｐｐ．５５−６０（１９９８．８）に開示されている。

図３４は、本実施形態に係る複合現実感システムのハードウェア構成を示すブロック図である。

同図に示す如く、本実施形態に係る複合現実感システムは、演算処理部１１００、頭部装着部１２００、センサ制御装置１３０３により構成されており、更に、本実施形態に係るシステムは、指標シート１４００を用いる。

先ず、演算処理部１１００について説明する。演算処理部１１００は、例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成されており、ＣＰＵ１１０１、ＲＡＭ１１０２、画像出力装置１１０３、システムバス１１０４、ディスク装置１１０５、入力装置１１０６、画像入力装置１１０７を備える。

ＣＰＵ１１０１は、ＲＡＭ１１０２に格納されているプログラムやデータを用いて演算処理部１１００全体の制御を行うと共に、演算処理部１１００が行う後述の各処理を実行する。

ＲＡＭ１１０２は、ディスク装置１１０５からロードされたプログラムやデータを一時的に記憶するためのエリア、画像入力装置１１０７が撮像装置１２０２から取得した画像データを一時的に記憶するためのエリア、入力装置１１０６がセンサ制御装置１３０３から取得した位置姿勢データを一時的に記憶するためのエリア、ＣＰＵ１１０１が各処理を実行する際に用いるワークエリアなど、各種のエリアを適宜提供することができる。

画像出力装置１１０３は、後述する各処理によって生成した複合現実空間の画像を表示装置１２０１に出力する。画像出力装置１１０３は、グラフィックスカードなどの機器によって実現されており、一般的には、グラフィックスメモリを保持している。

よって、ＣＰＵ１１０１上で実行されるプログラムによって生成された画像情報は、システムバス１１０４を介して、画像出力装置１１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１１０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置１２０１に送出する。グラフィックスメモリは必ずしも画像出力装置１１０３が保持する必要はなく、ＲＡＭ１１０２がグラフィックスメモリの機能を実現してもよい。

ディスク装置１１０５には、ＯＳ（オペレーティングシステム）や、上記指標定義情報管理プログラム２００、及びこれを実行させるために必要なデータ、さらには、仮想空間を構成する各仮想物体を描画するために用いるデータ（仮想空間データ）、センサ較正データ、指標シート１４００上に配置されているそれぞれの指標の定義情報、指標シート１４００と仮想物体との対応テーブル等の各種データ等が保存されており、これらはＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされる。

ここで、仮想物体を描画するために必要なデータには、仮想物体の配置位置姿勢を示すデータ、仮想物体がポリゴンで構成されている場合には、各ポリゴンの法線データ、ポリゴンを構成する各頂点の位置データ、テクスチャマッピングを施す場合にはテクスチャデータが含まれている。

入力装置１１０６は、センサ制御装置１３０３から送出される位置姿勢データを受け、これをＲＡＭ１１０２に出力する。

画像入力装置１１０７は、撮像装置１２０２が撮像した現実空間の画像を信号として受け、これをデータとしてＲＡＭ１１０２若しくはディスク装置１１０５に送出する。画像入力装置１１０７は、キャプチャカードなどの機器によって実現される。なお、表示装置１２０１に光学シースルー型の表示装置を用いる場合や、頭部装着部１２００に現実映像を必要としない没入型の装置を用いる場合には、画像入力装置１１０７は具備しなくてもよい。

システムバス１１０４は上述の各部を繋ぐものであり、上記各部はこのシステムバス１１０４を介して互いにデータ通信を行うことができる。

次に、頭部装着部１２００について説明する。頭部装着部１２００は、本実施形態では、ビデオシースルー型ＨＭＤなどによって実現される。頭部装着部１２００は表示装置１２０１、撮像装置１２０２、センサ１３０１から構成される。本実施形態では、頭部装着部１２００を構成する装置をユーザが頭部に装着しているが、ユーザが複合現実感を体験できる形態であれば、頭部装着部１２００は必ずしもユーザが装着する必要はない。

表示装置１２０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置１２０１は画像出力装置１１０３から送出される画像信号を表示するものであり、頭部装着部１２００を頭部に装着したユーザに対して複合現実感映像を提示するために用いられる。表示装置１２０１は頭部装着部１２００を構成する装置であるが、必ずしもユーザが装着する必要はない。即ち、ユーザが映像を確認することができる手段であれば、例えば表示装置１２０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。

撮像装置１２０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置１２０２は、頭部装着部１２００を頭部に装着したユーザの視点から見た現実空間の実写画像を撮像するために用いられる。そのため、撮像装置１２０２は頭部装着部１２００の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置１２０２の光軸と、表示装置１２０１の中心軸とを一致させてもよい。撮像装置１２０２が撮像した実写画像は、アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる画像信号として画像入力装置１１０７に送出される。

なお、表示装置１２０１に光学シースルー型の表示装置を用いる場合には、ユーザは表示装置１２０１を通して現実世界を直接観察することになるため、撮像装置１２０２を具備しなくてよい。また、頭部装着部１２００に現実映像を表示しない没入型の装置を用いる場合にも、撮像装置１２０２を具備しなくてよい。

センサ部１３００は、例えば磁気センサなどの６自由度の位置姿勢計測装置によって実現され、ユーザの視点（センサ１３０１）の現実空間中における位置・姿勢を計測し、演算処理部１１００の入力装置１１０６に送出する。

センサ１３０１は、センサ制御装置１３０３の制御により、ユーザの現実空間中における視点位置・姿勢を計測し、センサ制御装置１３０３に送出する。ここで、センサ１３０１が存在する位置と、ユーザの視点位置とでは位置がずれている。しかし、ユーザは頭部装着部１２００を頭部に装着しているため、センサ１３０１の位置とユーザの視点位置との位置ずれ量（オフセット量）は一定である。よって、あらかじめその位置ずれ量（オフセット量）を求めておけば、センサ１３０１により計測した位置姿勢に、このオフセットを加算すれば、視点の位置姿勢を求めることができる。

次に、センサ制御装置１３０３について説明する。センサ制御装置１３０３は、センサ１３０１に制御命令を送出し、また、センサ１３０１から位置・姿勢計測値を取得する。センサ制御装置１３０３は、取得したセンサ１３０１の現実空間中における位置・姿勢計測値を、センサ１３０１の位置姿勢情報として入力装置１１０６に送出する。

なお、センサ１３０１の位置姿勢を計測する際は、あらかじめ仮想空間の座標系と現実空間の座標系とを合わせておくことが望ましい。こうすることで、ある現実物体の位置姿勢が分かった場合、その位置姿勢の値と同じ仮想空間中の位置姿勢の値を持つ仮想物体は、現実物体と重なることになる。また、現実物体と仮想物体との関係が逆の場合でも同じことである。

仮想空間の座標系と現実空間の座標系とを合わせる技術については、従来から多くの取り組みが行われており、例えば、特開２００２−２２９７３０号公報、特開２００３−２６９９１３号公報等が示している方法で、現実空間と仮想空間とを正確に整合させるための位置合わせを実現することができる。

次に、指標シート１４００について説明する。指標シート１４００は上述の第１，２の実施形態でも説明したように、例えば現実空間に存在する紙、シール、プラスチックなどの平面素材に、指標を印刷したものである。

次に、以上の構成を有するシステムが行う処理について、説明する。図３５は、演算処理部１１００が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１１０１に実行させるためのプログラムやデータはディスク装置１１０５に保存されており、これをＣＰＵ１１０１による制御に従ってＲＡＭ１１０２にロードし、ＣＰＵ１１０１がこれを用いて処理を実行することで、演算処理部１１００は以下説明する各処理を実行することになる。

先ず、本フローチャートに従った処理を開始する前段で、システムを初期化する処理を行う。初期化とは、システムを構成する各機器の電源を入れたり、プログラムを起動したりといった、以下説明する処理手順を進めるにあたり最初に行なう処理である。さらに、センサ装置の説明で述べた仮想空間の座標系と現実空間の座標系との位置合わせを実行する。また、予め図１５に示すフローチャートに従った処理を実行することで、指標シート１４００上に配置された指標に係る情報（指標定義情報）を設定しておく。ここで設定した指標定義情報（指標の認識色、指標の位置など）は、ディスク装置１１０５に保存しておき、後の指標シート検出処理（ステップＳ２０２０）などにおいて利用される。

以上の処理、及び作業の後、本フローチャートに従った処理を開始する。先ず、頭部装着部１２００に備わっている撮像装置１２０２は現実空間の動画像を撮像し、各フレームの画像は信号として画像入力装置１１０７に入力されるので、ＣＰＵ１１０１は画像入力装置１１０７を制御し、画像入力装置１１０７はこれをデータとして順次ＲＡＭ１１０２に出力する。

ステップＳ２０２０では、ステップＳ２０１０で取り込んだ現実空間の画像中に、指標シート１４００が含まれていれば、これを検出する処理を行う。詳しくは、先ず、画像中に指標が存在するか否かを判定する。例えば、ステップＳ２０１０で取り込んだ現実空間の画像に対して、色検出処理、画像２値化処理、ラベリング処理といった画像処理方法を施すことで、画像中に指標が含まれていれば、それを検出することができる。なお、色検出処理には、上記指標定義情報を利用する。

次に、検出した指標の配置関係を元に、これら指標が指標シート１４００上のものであるかどうか判定を行う。もし、指標シート１４００上に配置された指標であれば、ステップＳ２０２０で検出したそれぞれの指標の配置関係は、指標定義情報に従っている。すなわち、指標定義情報を利用することで、指標シート１４００が現実空間の画像中に存在するか否かを判定することができる。

次に、ステップＳ２１００では、ステップＳ２０１０でＲＡＭ１１０２に取得した現実空間の画像を、同じＲＡＭ１１０２内に設けられているビデオバッファなどのメモリ上に描画する処理を行う。なお、表示装置１２０１に光学シースルー型の表示装置を用いる場合や、頭部装着部１２００に現実映像を必要としない没入型の装置を用いる場合には、本ステップにおける処理は省略する。

次に、センサ制御装置１３０３により制御されたセンサ１３０１が自身の位置姿勢を計測するので、センサ制御装置１３０３はこの計測値を入力装置１１０６に対して出力する。入力装置１１０６は受けた計測値をＲＡＭ１１０２に出力する。

よって、ステップＳ２１１０では、ＣＰＵ１１０１は、この計測値に上記オフセット量を加算することで、頭部装着部１２００を頭部に装着したユーザの視点の位置姿勢（ビューイング変換行列）を求める。また、本ステップでは、ユーザの視点からみた指標シート１４００の位置姿勢を計測する。一般的に、位置が既知の指標が同一平面上に４個以上配置されている場合、それらの指標をカメラで撮影することで、指標が配置された平面とカメラとの相対的な位置姿勢関係を求めることが可能なことが知られている。すなわち、視点座標系における指標シートの位置姿勢を求めることができる。なお、指標シートの位置姿勢を求めるためには、指標シート上に配置された各指標の位置が必要となるが、これは上記指標定義情報を利用すればよい。

次に、ステップＳ２１２０では、ステップＳ２１１０で計測した視点位置姿勢情報（ビューイング変換行列）と、ディスク装置１１０５からＲＡＭ１１０２にロードした仮想空間データと、現実空間における指標シート１４００の位置姿勢情報と、を用いて、ステップＳ２１００で利用したビデオバッファとは異なるビデオバッファに、ユーザの視点から見える仮想空間の画像を描画する。

仮想空間の画像を描画する際には、仮想物体を現実空間における指標シート１４００と位置的に関連付けて配置するようにする。本実施形態では、仮想物体の位置姿勢の原点が、指標シート１４００の座標系の原点と合うように仮想物体を配置する。ただし、指標シート１４００の座標系は２次元座標系である。そこで、Ｘ、Ｙ軸に直交し、指標が印刷された側をプラス方向とするＺ軸を設定し、仮想物体が、Ｚ軸のプラス方向、即ち指標シート１４００の上に配置されるように描画するものとする。描画する仮想物体の種類は、指標シート１４００の種類から、対応する仮想物体を読み取ることで決定する。例えば、指標シート１４００には、仮想物体「ポット」が対応しているものとする。このような指標シートと仮想物体の対応情報は、予め対応テーブルとしてディスク装置１１０５に保存しておき、利用時にＲＡＭ１１０２に読み出せばよい。

仮想物体を描画する際には、背景画像となる現実画像が透過するように、仮想物体が存在しない画面領域を背景透過率１００％で描画する。もしくは、同等の目的を達成するために、背景画像となる現実画像を透過させるようにあらかじめ定めたカラーバッファ値（例えば（Ｒ、Ｇ、Ｂ）＝（０、０、０））を入力してもよい。なお、表示装置１２０１に光学シースルー型の表示装置を用いる場合には、仮想物体が存在しない画面領域を背景が透過する色で描画してもよい。また、頭部装着部１２００に現実映像を必要としない没入型の装置を用いる場合には、仮想物体が存在しない画面領域に何を表示してもよい。

次に、ステップＳ２１３０では、ステップＳ２１００で現実空間の画像を描画したバッファの上に、ステップＳ２１２０で描画した仮想空間の画像を重畳合成して、複合現実空間画像を生成し、画像出力装置１１０３により表示装置１２０１に出力する。これにより、表示装置１２０１の表示画面上には、ユーザの視点から見える複合現実空間の画像が表示されることになり、頭部装着部１２００を頭部に装着したユーザに、この複合現実空間画像を提示することができる。

ここで、ステップＳ２１２０の説明で述べたように、仮想物体を描画する際に、仮想物体が存在しない画面領域を背景透過率１００％で描画したり、背景画像となる現実画像を透過させるようにあらかじめ定めたカラーバッファ値（例えば（Ｒ、Ｇ、Ｂ）＝（０、０、０））を入力しているため、現実空間と仮想空間とを合成した映像を表示することができる。なお、表示装置１２０１に光学シースルー型の表示装置を用いる場合や、頭部装着部１２００に現実映像を必要としない没入型の装置を用いる場合には、単にステップＳ２１２０で描画した仮想空間画像を表示装置１２０１に表示すればよい。

図３６は、ステップＳ２１３０で生成した複合現実空間の画像の一例を示す図である。指標シート１４００の上に仮想物体のポットが合成されている様子が分かる。もちろん、指標シート１４００が他の指標シートである場合は、他の仮想物体（例えば車や飛行機など）が指標シート上に合成描画されることは言うまでもない。

図３５に戻り、ステップＳ２１４０では、ユーザがキーボード１８０やマウス１９０を用いて本フローチャートに従った処理の終了指示を入力しない限りは、ステップＳ２１４０を介してステップＳ２０１０に戻り、以降の処理を繰り返す。

なお、以上の説明において、対象物の位置姿勢を計測するために用いたセンサは特に限定しなかったが、センサとしては、磁気センサや光学式センサなど、各種のセンサを用いることができる。また、センサとしては、機械的な位置姿勢計測装置や、測量機など他の手段で実現できることはいうまでもない。

以上、指標シートや指標オブジェクト上に配置された指標を用いたアプリケーションとして、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用したシステムについて述べた。

以上の説明により、本実施形態によれば、ユーザが、指標が配置された現実物体上に仮想物体を合成する複合現実感映像を体験することができる。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１、２の実施形態に係るシステムのハードウェア構成を示すブロック図である。 ユーザが操作する従来のＧＵＩの表示例を示す図である。 「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。 「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。 実写画像表示領域２６０内の所望の領域を選択した場合の表示例を示す図である。 実写画像表示領域２６０を示す図である。 図６の実写画像表示領域２６０内の実写画像に対する色空間画像表示領域２５０を示す図である。 図７に示す設定内容に基づいて図６に示した実写画像から抽出した抽出画像を示す図である。 一方の領域の選択に同期して、他方の領域に選択枠が表示される場合の表示例を示す図である。 図９に示したように領域選択した場合の色空間画像２５４の様子を示す図である。 図９で示される実写画像の撮影時において領域を選択して無い場合の色空間画像２５４の様子を示す図である。 ＧＵＩの表示例を示す図である。 指標定義情報ファイルの構成例を示す図である。 ベンダメーカが用意する指標シートの例と、その指標シートに対応してインポートすべき指標シートノード（＋指標シートに所属する指標のノード）の例を示す図である。 指標定義情報の管理、及び指標の認識色領域を設定する処理のフローチャートである。 座標系を示すノードの追加を説明する図である。 座標系を示すノードの追加を説明する図である。 「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本発明の第２の実施形態に係るメニューの表示例を示す図である。 ベンダメーカが用意する立体的な指標オブジェクトと、その指標オブジェクトに対応してインポートすべきノードの例を示す図である。 指標シートを示すノードの追加を説明する図である。 指標シートを示すノードの追加を説明する図である。 認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。 認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。 認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。 実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。 本発明の第３の実施形態に係る複合現実感システムのハードウェア構成を示すブロック図である。 演算処理部１１００が行う処理のフローチャートである。 ステップＳ２１３０で生成した複合現実空間の画像の一例を示す図である。

Claims (10)

1. 現実空間中に配される複数の指標に係る情報を管理する情報処理方法であって、
   前記複数の指標の各々を識別する識別情報を表示する表示工程と、
   前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が、互いの相対的な位置関係が固定となる指標のグループ、に属さない場合、前記指示された識別情報に対応する指標に係る情報を、指示された内容に応じて、削除もしくは変更する処理を行う処理工程と、
   前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標に係る情報を削除もしくは変更する処理を禁止する制御を行う制御工程と
   を備えることを特徴とする情報処理方法。
2. 前記制御工程では、前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標の位置を変更する処理を禁止する制御を行うことを特徴とする請求項１に記載の情報処理方法。
3. 前記制御工程では、前記表示工程で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標の指標名を変更する処理を禁止する制御を行うことを特徴とする請求項１又は２に記載の情報処理方法。
4. 前記表示工程では、前記グループに属している指標の識別情報を、前記グループに属していない指標の識別情報と異なる表示形態でもって表示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理方法。
5. 前記グループは、同一の物体上に設けられ且つ互いの相対的な位置関係が固定となる指標群であることを特徴とする請求項１乃至４の何れか１項に記載の情報処理方法。
6. 前記グループは、同一の２次元平面で構成されたシート上に設けられた指標群であることを特徴とする請求項５に記載の情報処理方法。
7. 前記グループは、同一の立体物上に設けられた指標群であることを特徴とする請求項５に記載の情報処理方法。
8. 現実空間中に配される複数の指標に係る情報を管理する情報処理装置であって、
   前記複数の指標の各々を識別する識別情報を表示する表示手段と、
   前記表示手段によって表示されている識別情報のうち指示された識別情報に対応する指標が、互いの相対的な位置関係が固定となる指標のグループ、に属さない場合、前記指示された識別情報に対応する指標に係る情報を、指示された内容に応じて、削除もしくは変更する処理を行う処理手段と、
   前記表示手段で表示されている識別情報のうち指示された識別情報に対応する指標が前記グループに属する場合、該指標に係る情報を削除もしくは変更する処理を禁止する制御を行う制御手段と
   を備えることを特徴とする情報処理装置。
9. コンピュータに請求項１乃至７の何れか１項に記載の情報処理方法を実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images