JP6348750B2

JP6348750B2 - 電子機器、表示方法、プログラム及び通信システム

Info

Publication number: JP6348750B2
Application number: JP2014073431A
Authority: JP
Inventors: 健治村瀬; 孝貴山岡; 貴裕柴田; 有城　正彦; 正彦有城; 阿部　徹; 徹阿部
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-03-31
Filing date: 2014-03-31
Publication date: 2018-06-27
Anticipated expiration: 2034-03-31
Also published as: JP2015194975A

Description

本発明は、電子機器、表示方法、プログラム及び通信システムに関する。

近年、ＡＲ（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）が注目を集めている。ＡＲとは、現実世界に何らかの情報を追加することで、目の前にある現実以上の情報を提示する技術や、その技術によって表される環境そのものを含めた状態をいう。

また、ＡＲは、付加情報を重畳する位置の算出方法により、ロケーションベース型とビジョンベース型に分類される。ロケーションベース型は、ＧＰＳ等から取得可能な位置情報を利用して情報提示を行うものをいう。ビジョンベース型とは、画像認識や空間認識等の技術を応用して直接目の前にある環境を認識し、解析することで情報提示を行うものをいう。

また、ビジョンベース型は、マーカーと呼ばれる決まった形の図形を認識することによって情報を提示するマーカー型と、決まった形の図形ではなく、現実の環境に実在する物体や空間そのものを認識、識別して、それに基づいて提示位置を特定し情報を出現させるマーカーレス型に分類される。
精度や室内利用の観点からビジョンベースが優位であるとされている。

特開２０１３−２５４３９９号公報

しかし、マーカー型は、カメラ撮影画像にマーカーが入ることが必須となるが、設備によっては情報の重畳先近辺にマーカーを用意できない場合が課題となる。一方、マーカーレス型は、空間認識や物体の認識において、計算量が多くなり、ハードウェア的な能力の要求が高くなる等の課題がある。
本発明は、上記課題を解決し、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる電子機器、表示方法、プログラム及び通信システムを提供することを目的とする。

本発明に係る電子機器は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、前記撮像画像取得部で取得された前記撮像画像を表示する表示部と、前記撮像画像取得部で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出部と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、前記位置算出部による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、前記手順を選択する選択部と、前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える構成である。

かかる構成によれば、電子機器は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

電子機器では、前記撮像部は、第１撮像部と第２撮像部とによって構成されており、前記第１撮像部は、前記所定のマーカーを撮像し、前記第２撮像部は、前記所定の機器を撮像し、前記表示部は、前記第２撮像部によって撮像された撮像画像を表示し、前記検出部は、前記第１撮像部によって撮像された撮像画像に含まれている所定のマーカーを検出し、前記位置算出部は、前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、前記仮想撮像部配置部は、前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する構成でもよい。

かかる構成によれば、電子機器は、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、電子機器は、互いの位置関係を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部にマーカーが映ってない場合でも、第１撮像部で撮影しているマーカーから、第２撮像部の位置及び姿勢が計算できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

本発明に係る表示方法は、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える構成である。

かかる構成によれば、表示方法は、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

本発明に係るプログラムは、コンピュータにより、撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、前記撮像画像取得工程で取得された前記撮像画像を表示部に表示する表示工程と、前記撮像画像取得工程で取得された前記撮像画像に含まれている所定のマーカーを検出し、識別する検出工程と、前記現実空間において、前記撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、前記位置算出工程による算出結果に基づいて、前記撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのものである。

かかる構成によれば、プログラムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

本発明に係る通信システムは、第１電子機器と第２電子機器とがネットワークを介して接続される通信システムにおいて、前記第１電子機器は、第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、前記第２電子機器は、前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、前記第２マーカーが固定されている第４撮像部と、前記第４撮像部で取得された撮像画像を表示する第２表示部と、前記位置関係情報に基づいて、前記第４撮像部の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、前記手順を選択する第２選択部と、前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える構成である。

かかる構成によれば、通信システムは、ネットワークを介して第１電子機器と第２電子機器との間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システムは、手順ごとに異なる仮想オブジェクトを表示部に表示される撮像画像に重畳して表示できるので、所定の機器（例えば、放送設備）の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

本発明によれば、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。

電子機器の構成を示す図である。マーカーに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順についての説明に供する図である。仮想オブジェクト等が表示部に表示される様子についての説明に供する図である。２台の撮像部を連携して利用する手順についての説明に供する図である。通信システムの概要についての説明に供する図である。通信システムの構成を示す図である。第２撮像部とマーカーとの相対的な位置及び姿勢を算出する手順についての説明に供する図である。第２撮像部とマーカーの相対的な位置及び姿勢を算出する手順についての説明に供する図である。通信システムによる処理の流れについての説明に供するフローチャートである。図９に示すステップＳ２の工程の詳細についての説明に供するフローチャートである。図９に示すステップＳ３の工程の詳細についての説明に供するフローチャートである。図１１に示すステップＳ３３の工程の詳細についての説明に供するフローチャートである。図１２に示すフローチャートにおいて想定する通信システムの構成を示す図である。撮像画像を解析し、マーカーごとに検出の結果を記録するときに用いるテーブルである。図９に示すステップＳ４の工程の詳細についての説明に供するフローチャートである。手順−仮想オブジェクト関連付けマトリックスについての説明に供する図である。

放送設備の保守は、電波の安定確保に対する重要な業務の一つである。操作を誤ると放送事故につながるおそれがある。そのため、保守の実施にあたり操作時のダブルチェック等により誤認識等のミスを低減させている。しかし、誤認識等は、人間の性質でもあるため、その防止が難しい。

一方、現実空間に位置及び姿勢を整合させながら情報を画面に重畳するＡＲ技術は、その直感的な情報提示方法により、誤認等によるミスを防ぐツールに活用できると考えられる。

本発明に係る電子機器１は、ＡＲを活用し、誤認識等のミスを低減させる構成を有する。以下に、電子機器１の具体的な構成と動作について説明する。

電子機器１は、図１に示すように、撮像部１１と、撮像画像取得部１２と、表示部１３と、検出部１４と、位置算出部１５と、仮想撮像部配置部１６と、レンダリング部１７と、重畳部１８と、記憶部１９と、選択部２０と、読出部２１と、を備える。電子機器１は、スマートフォン又はタブレットのような機器が該当するが、これに限られず、使用者の身体に装着して利用することができる端末（ウェアラブルデバイス）であってもよい。また、電子機器１がヘッドマウントディスプレイとＰＣの構成で実現される場合には、ヘッドマウントディスプレイは、使用者に装着され、ＰＣは、リュック等に入れて使用者に携行される形態が考えられる。

撮像画像取得部１２は、撮像部１１（カメラ）により現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図１に示すように、所定の機器２と、所定の機器２の前面に所定のマーカーＭ（以下、マーカーＭという）が固定されていることを想定している。よって、撮像画像には、所定の機器２とマーカーＭが含まれている。なお、以下では、所定の機器２を放送機２とも呼ぶが、放送機に限定されない。
また、マーカーＭは、例えば、後述する非特許文献１に示されているような中抜きの黒縁正方形により形成されている。内部の四隅は、各マーカーを識別するためのパターンとして利用される。

表示部１３は、撮像画像取得部１２で取得された撮像画像を表示する。表示部１３は、表示画面の前面にタッチパネルが配置されている。ユーザは、タッチパネルを操作することにより、様々な指示を電子機器１に送ることができる。

検出部１４は、撮像画像取得部１２で取得された撮像画像に含まれているマーカーＭを検出し、識別する。マーカーＭは、複数種類存在する。検出部１４は、その種類を識別する。

位置算出部１５は、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を算出する。なお、以下では、位置とは、平行移動成分を意味し、姿勢とは、回転成分を意味する。

仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、撮像部１１の内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部（仮想カメラ）を仮想空間内の所定の場所に配置する。
なお、内部パラメータは、検出部１４及び位置算出部１５においても、後述する非特許文献１に記載の手法により利用される。

記憶部１９は、現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
選択部２０は、手順を選択する。
読出部２１は、選択部２０により選択されている手順に基づいて、記憶部１９を参照し、対応する仮想オブジェクト及びその位置情報を読み出す。
レンダリング部１７は、読出部２１により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
重畳部１８は、表示部１３に表示されている撮像画像にレンダリング部１７で撮像した結果を重畳する。

ここで、現実空間において、撮像部１１とマーカーＭとの相対的な位置及び姿勢を求め、仮想空間内に仮想撮像部を配置し、マーカーＭに基づく仮想オブジェクトが仮想空間内で配置される位置及び姿勢を算出する手順について図２を参照しながら説明する。

撮像部１１の座標系Ｃは、撮像部１１とマーカーＭとの相対的な位置及び姿勢をＴ_ｃｍとし、これにマーカーＭの座標系を乗算することにより算出することができる。なお、Ｔ_ｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。

また、Ｔ_ｃｍは、例えば、下記非特許文献１に記載の手法により算出する。
（非特許文献１）
マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、加藤博一，ＭａｒｋＢｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎、日本バーチャルリアリティ学会論文誌巻：４号：６０７−６１６（発行年：１９９９年１２月３１日）

表示部１３のスクリーン座標系は、射影行列Ｐを用いて、Ｔ_ｃｍとマーカーＭの座標系を乗算することにより算出することができる。なお、射影行列Ｐは、事前にカメラキャリブレーションにより求まっている行列である。

電子機器１は、撮像部１１により撮像された現実空間のマーカーＭを基準にして、所定の位置及び姿勢に仮想オブジェクトを表示部１３に重畳して表示することができる。

ここで、選択部２０と読出部２１の動作について説明する。
ユーザは、図３に示すように、表示部１３に表示されている「手順」（図３中のＡ１）をタップ操作し、手順表示機能を起動して「手順リスト」（図３中のＡ２）を表示させ、「手順リスト」の中から所望の手順をタップ操作する。選択部２０は、タップ操作された手順が選択されたものとして認識する。なお、手順リストに表示される各手順は、それぞれ具体的な機器の操作方法を表示してもよい。

読出部２１は、選択された手順（図３に示す例の場合「手順（４）」が選択された）に基づいて、操作禁止の仮想オブジェクト（図３中のＡＲ１）と手順（４）の仮想オブジェクト（図３中のＡＲ２）を読み出す。

なお、「手順リスト」の各手順は、手順の番号と、位置及び姿勢の計算を行うときに用いるマーカーを示す情報と、重畳する仮想オブジェクトの情報と、完了フラグ（チェックの有無）と、選択フラグ（選択の有無）等の値を持っている。
よって、電子機器１は、「手順リスト」の中の一の手順が選択された場合、選択された手順が有している各種値に基づいて、処理を実行する。

また、表示部１３に表示されている「系統」（図３中のＡ３）をタップ操作すると、系統表示機能が起動し、表示部１３に系統図（図３中のＡ４）が表示されてもよい。また、系統図には、現在、表示部１３に表示されている仮想オブジェクトに対応する表示も重畳して行われ、操作の意味と本線系統を操作者に意識させることができる。なお、図３中に示す系統図は、一例であって、これに限られない。

かかる構成によれば、電子機器１は、手順ごとに異なる仮想オブジェクトを表示部１３に表示される撮像画像に重畳して表示できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

上述では、一台の撮像部１１によって、放送機２とマーカーＭを撮影できた場合の一例について説明したが、これに限られず、撮像部１１は、図４に示すように、第１撮像部１１ａと第２撮像部１１ｂとによって構成されていてもよい。なお、撮像部１１（第１撮像部１１ａ及び第２撮像部１１ｂ）は、電子機器１に固定されている構成でもよく、また、図４に示すように、電子機器１に固定されず自由に角度を調整できる構成でもよい。

第１撮像部１１ａは、マーカーＭを撮像する。
第２撮像部１１ｂは、放送機２を撮像する。
表示部１３は、第２撮像部１１ｂによって撮像された撮像画像を表示する。
検出部１４は、第１撮像部１１ａによって撮像された撮像画像に含まれているマーカーＭを検出する。

位置算出部１５は、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を算出し、当該算出結果と、第１撮像部１１ａ及び第２撮像部１１ｂの相対的な位置及び姿勢とに基づいて、第２撮像部１１ｂとマーカーＭとの相対的な位置及び姿勢を算出する。

仮想撮像部配置部１６は、位置算出部１５による算出結果に基づいて、第２撮像部１１ｂの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。

ここで、現実空間において、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢を求め、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢と、マーカーＭの座標から第２撮像部１１ｂの位置及び姿勢を算出する手順について図４を参照しながら説明する。

第２撮像部１１ｂの位置及び姿勢Ｃ_２は、第１撮像部１１ａとマーカーＭとの相対的な位置及び姿勢をＴ_ｃｍとし、これに第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔ_ｃｃと、マーカーＭの位置及び姿勢とを乗算することにより算出することができる。
Ｃ_２＝Ｔ_ｃｃＴ_ｃｍＭ・・・（３）
なお、Ｃ_２は、カメラ座標系を示し、Ｍは、マーカー座標系を示し、Ｔ_ｃｃとＴ_ｃｍは、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、Ｔ_ｃｃは、既知であるものとするが、以下のように算出することができる。なお、以下では、第１撮像部１１ａで撮像するマーカーをマーカーＭ_１とし、第２撮像部１１ｂで撮像するマーカーをマーカーＭ_２として説明する。

第１撮像部１１ａの位置及び姿勢Ｃ_１は、第１撮像部１１ａとマーカーＭ_１との相対的な位置及び姿勢Ｔ_ｃｍ１と、マーカーＭ_１を乗算することにより算出することができる。
Ｃ_１＝Ｔ_ｃｍ１Ｍ_１・・・（４）
なお、Ｃ_１は、カメラ座標系を示し、Ｍ_１は、マーカー座標系を示し、Ｔ_ｃｍ１は、マーカー座標系をカメラ座標系に変換するための変換行列である。

また、第２撮像部１１ｂの位置及び姿勢Ｃ_２は、第２撮像部１１ｂとマーカーＭ_２との相対的な位置及び姿勢Ｔ_ｃｍ２と、マーカーＭ_２を乗算することにより算出することができる。
Ｃ_２＝Ｔ_ｃｍ２Ｍ_２・・・（５）
なお、Ｍ_２は、マーカー座標系を示し、Ｔ_ｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、マーカーＭ_２は、マーカーＭ_１とマーカーＭ_２との相対的な位置及び姿勢Ｔ_ｍｍと、マーカーＭ_１を乗算することにより算出することができる。なお、Ｔ_ｍｍは、マーカーＭ_１とマーカーＭ_２の配置により事前に既知となっている。
Ｍ_２＝Ｔ_ｍｍＭ_１・・・（６）
なお、Ｔ_ｍｍは、変換行列である。
また、第２撮像部１１ｂの位置及び姿勢Ｃ_２は、第１撮像部１１ａと第２撮像部１１ｂとの相対的な位置及び姿勢Ｔ_ｃｃと第１撮像部１１ａを乗算することにより算出することができる。
Ｃ_２＝Ｔ_ｃｃＣ_１・・・（７）
（３）式〜（７）式に基づいて、Ｔ_ｃｃは、（８）式により算出することができる。
Ｔ_ｃｃ＝Ｔ_ｃｍ２Ｔ_ｍｍＴ_ｃｍ１ ^−１・・・（８）

なお、上述では、第１撮像部１１ａと第２撮像部１１ｂとを固定し、位置及び姿勢が変わらないことを前提にしたが、第１撮像部１１ａと第２撮像部１１ｂをサーボ等で駆動し、駆動したときの制御情報に基づいて位置及び姿勢（Ｔ_ｃｃ）を算出することもでき、第１撮像部１１ａと第２撮像部１１ｂとを固定にしなくてもよい。例えば、サーボ等で動かしうる第１撮像部１１ａと第２撮像部１１ｂの位置及び姿勢について、事前にそれぞれの位置及び姿勢でＴ_ｃｃを取得してサーボの制御情報を対応付けしておくことにより、位置及び姿勢を算出する。

かかる構成によれば、電子機器１は、互いの位置及び姿勢を既知とした撮像部（カメラ）を複数台用意し、情報重畳先を撮影する第２撮像部１１ｂにマーカーＭが映ってない場合でも、第１撮像部１１ａで撮影しているマーカーＭから、第２撮像部１１ｂの位置及び姿勢が計算できるので、放送機２の操作について、各手順において仮想オブジェクトにより補助することができ、操作の誤り等の低減に役立てることができる。

上述では、一の電子機器１によって、マーカーの設置位置に制限されずに情報提示を行う実施例について説明したが、これに限られず、複数の電子機器（例えば、第１電子機器１ａと第２電子機器１ｂ）がネットワークを介して接続される通信システム１００において、マーカーの設置位置に制限されずに情報提示を行う構成でもよい。

具体的には、通信システム１００は、監督者側の第１電子機器１ａと操作者側の第２電子機器１ｂとを同期させ、監督者側の環境に固定されているマーカーと第１電子機器１ａとの相対的な位置及び姿勢を第１電子機器１ａから第２電子機器１ｂに送信することにより、操作者側の環境にマーカーが固定されていなくても、情報提示を行うことができる。

このように構成される通信システム１００は、図５に示すように、監督者と操作者の役割分担を明確化でき、監督者が進行管理を行うことにより、操作者は、放送機２の操作の作業に集中できるメリットがある。例えば、第１電子機器１ａと第２電子機器１ｂを同期させておき、第１電子機器１ａを利用して監督者が手順（１）と手順（２）に操作が完了したことを示すチェックを行い、手順（３）に操作中であることを示すチェックを行うと、第２電子機器１ｂの表示部には、手順（１）と手順（２）には操作が完了したことを示すチェックが表示され、手順（３）には操作中を示すチェックが表示される。

以下に、通信システム１００の具体的な構成と動作について説明する。なお、第１電子機器１ａと第２電子機器１ｂは、基本的に同じ構成である。

第１電子機器１ａは、図６に示すように、第３撮像部１１ｃと、第１撮像画像取得部１２ａと、第１表示部１３ａと、第１検出部１４ａと、第１位置算出部１５ａと、第１仮想撮像部配置部１６ａと、第１レンダリング部１７ａと、第１重畳部１８ａと、第１記憶部１９ａと、第１選択部２０ａと、第１読出部２１ａと、第１送受信部２２ａと、を備える。

第１撮像画像取得部１２ａは、第３撮像部１１ｃにより現実空間を撮像して得られた撮像画像を取得する。なお、本実施例に係る現実空間には、図６に示すように、監督者側の環境にマーカーＭ１が配置されており、操作者側の環境には放送機２が配置されていることを想定している。

第１表示部１３ａは、第１撮像画像取得部１２ａで取得された撮像画像を表示する。
第１検出部１４ａは、第１撮像画像取得部１２ａで取得された撮像画像に含まれている第１マーカーＭ１を検出し、識別する。
第１記憶部１９ａは、第２電子機器１ｂに備えられている第４撮像部１１ｄと、当該第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴ_ｃｃ２）が記憶されている。また、第１記憶部１９ａには、他に、現実空間に配置されている放送機（図６に示す例では、監督者側の環境には放送機は配置されていない）を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。

第１読出部２１ａは、第１記憶部１９ａから第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を読み出す。読み出された第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢は、第１位置算出部１５ａを介して、第１送受信部２２ａに供給される。また、第１読出部２１ａは、第３撮像部１１ｃの内部パラメータ（射影行列Ｐ）を第１記憶部１９ａから読み出して、第１仮想撮像部配置部１６ａに供給する。
第１位置算出部１５ａは、第３撮像部１１ｃと、第４撮像部１１ｄに固定されている第２マーカーＭ２との相対的な位置及び姿勢（例えば、後述するＴ_ｃｍ２）の逆行列（例えば、後述するＴ_ｃｍ２ ^−１）を算出する。また、第１位置算出部１５ａは、第３撮像部１１ｃと第１マーカーＭ１との相対的な位置及び姿勢（例えば、後述するＴ_ｃｃＴ_ｃｍ）を算出する。

第１送受信部２２ａは、第１位置算出部１５ａによる算出結果と、第１読出部２１ａで読み出した第４撮像部１１ｄと第２マーカーＭ２との相対的な位置及び姿勢を位置関係情報（例えば、後述するＴ_ｃｃ２Ｔ_ｃｍ２ ^−１Ｔ_ｃｃＴ_ｃｍ）とし、第１検出部１４ａで検出した第１マーカーＭ１の識別結果（例えば、マーカー番号）とともに第２電子機器１ｂに送信する。

第２電子機器１ｂは、図６に示すように、第４撮像部１１ｄと、第２撮像画像取得部１２ｂと、第２表示部１３ｂと、第２検出部１４ｂと、第２位置算出部１５ｂと、第２仮想撮像部配置部１６ｂと、第２レンダリング部１７ｂと、第２重畳部１８ｂと、第２記憶部１９ｂと、第２選択部２０ｂと、第２読出部２１ｂと、第２送受信部２２ｂと、を備える。

第２送受信部２２ｂは、第１送受信部２２ａから送信されてきた位置関係情報と第１マーカーの識別結果を受信する。
第４撮像部１１ｄは、第２マーカーＭ２が固定されている。
第２撮像画像取得部１２ｂは、第４撮像部１１ｄにより現実空間を撮像して得られた撮像画像を取得する。
第２表示部１３ｂは、第４撮像部１１ｄで取得された撮像画像を表示する。
第２仮想撮像部配置部１６ｂは、位置関係情報に基づいて、第４撮像部１１ｄの内部パラメータ（例えば、焦点距離、画像サイズ、歪係数等）により設定される仮想撮像部を仮想空間内の所定の場所に配置する。

第２記憶部１９ｂは、現実空間に配置されている放送機２を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。なお、記憶部１９に記憶されているテーブルの一例として、後述する図１６に手順−仮想オブジェクト関連付けマトリックスを示す。
第２選択部２０ｂは、手順を選択する。
第２読出部２１ｂは、第２送受信部２２ｂで受信した第１マーカーＭ１の識別結果と第２選択部２０ｂにより選択されている手順に基づいて、第２記憶部１９ｂを参照し、対応する仮想オブジェクト及びその位置及び姿勢を読み出す。また、第２読出部２１ｂは、第４撮像部１１ｄの内部パラメータ（射影行列Ｐ）を第２記憶部１９ｂから読み出して、第２仮想撮像部配置部１６ｂに供給する。

第２レンダリング部１７ｂは、第２読出部２１ｂにより読み出された仮想オブジェクトをその位置及び姿勢にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
第２重畳部１８ｂは、第２表示部１３ｂに表示されている撮像画像に第２レンダリング部１７ｂで撮像した結果を重畳する。

かかる構成によれば、通信システム１００は、ネットワークを介して第１電子機器１ａと第２電子機器１ｂとの間において、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる。さらに、通信システム１００は、環境の問題で操作者側にマーカーを固定できない場合でも、監督者側に固定されているマーカーに基づいて、手順ごとに異なる仮想オブジェクトを操作者側の第２電子機器１ｂの撮像画像に重畳して表示できる。よって、通信システム１００は、放送機２の操作について、各手順において仮想オブジェクトにより補助することにより、操作者による操作の誤り等を低減することができる。

ここで、第４撮像部１１ｄとマーカーＭ１との相対的な位置及び姿勢を算出する手順について図７を参照しながら以下に説明する。なお、以下では、第３撮像部１１ｃは、放送機２を撮像する撮像部１１ｃ_１と、マーカーＭ１を撮像する撮像部１１ｃ_２とにより構成されるものとして説明するが、これに限られない。

撮像部１１ｃ_２の位置及び姿勢Ｃ_ｓ２は、撮像部１１ｃ_１と撮像部１１ｃ_２の相対的な位置及び姿勢Ｔ_ｃｃと、撮像部１１ｃ_１とマーカーＭ１の相対的な位置及び姿勢Ｔ_ｃｍと、マーカーＭ１の位置及び姿勢Ｍ_ｓとを乗算することにより算出することができる。
Ｃ_ｓ２＝Ｔ_ｃｃＴ_ｃｍＭ_ｓ・・・（９）
なお、Ｃ_ｓ２は、カメラ座標系を示し、Ｍ_ｓは、マーカー座標系を示し、Ｔ_ｃｃとＴ_ｃｍは、変換行列である。

また、撮像部１１ｃ_２の位置及び姿勢Ｃ_ｓ２は、撮像部１１ｃ_２とマーカーＭ２の位置及び姿勢Ｍ_ｏとの相対的な位置及び姿勢Ｔ_ｃｍ２と、マーカーＭ２の位置及び姿勢Ｍ_ｏとを乗算することにより算出することができる。
Ｃｓ_２＝Ｔ_ｃｍ２Ｍ_ｏ・・・（１０）
なお、Ｍ_ｏは、マーカー座標系を示し、Ｔ_ｃｍ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。

（９）式と（１０）式に基づいて、Ｍ_ｏは、（１１）式により算出することができる。
Ｍ_ｏ＝Ｔ_ｃｍ２ ^−１Ｔ_ｃｃＴ_ｃｍＭ_ｓ・・・（１１）
また、第４撮像部１１ｄの位置及び姿勢Ｃ_ｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔ_ｃｃ２と、マーカーＭ２の位置及び姿勢Ｍ_ｏとを乗算することにより算出することができる。
Ｃ_ｏ２＝Ｔ_ｃｃ２Ｍ_ｏ・・・（１２）
なお、Ｃ_ｏ２は、カメラ座標系を示し、Ｔ_ｃｃ２は、マーカー座標系をカメラ座標系に変換するための変換行列である。

よって、（１１）式と（１２）式に基づいて、Ｃ_ｏ２は、（１３）式により算出することができる。
Ｃ_ｏ２＝Ｔ_ｃｃ２Ｔ_ｃｍ２ ^−１Ｔ_ｃｃＴ_ｃｍＭ_ｓ・・・（１３）
このようにして、第２電子機器１ｂは、第１電子機器１ａから位置関係情報（Ｔ_ｃｃ２Ｔ_ｃｍ２ ^−１Ｔ_ｃｃＴ_ｃｍ）を受信することにより、第４撮像部１１ｄのマーカーＭ１に対する相対的な位置及び姿勢を算出することができる。

つぎに、Ｔ_ｃｃ２の導出（キャリブレーション）の手順について図８を参照しながら説明する。なお、以下では、Ｔ_ｃｃ２を導出するために必要な撮像部１１ｅと、マーカーＭ３を追加して説明する。また、マーカーＭ３の位置及び姿勢は、Ｍ_ｃとする。

第４撮像部１１ｄの位置及び姿勢Ｃ_ｏ２は、第４撮像部１１ｄとマーカーＭ３の相対的な位置及び姿勢Ｔ_３と、マーカーＭ３の位置及び姿勢Ｍ_ｃとを乗算することにより算出することができる。
Ｃ_ｏ２＝Ｔ_３Ｍ_ｃ・・・（１４）

また、第４撮像部１１ｄの位置及び姿勢Ｃ_ｏ２は、第４撮像部１１ｄとマーカーＭ２の相対的な位置及び姿勢Ｔ_ｃｃ２と、マーカーＭ２の位置及び姿勢Ｍ_ｏとを乗算することにより算出することができる。
Ｃ_ｏ２＝Ｔ_ｃｃ２Ｍ_ｏ・・・（１５）

（１４）式と（１５）式に基づいて、Ｔ_ｃｃ２は、（１６）式により算出することができる。
Ｔ_ｃｃ２＝Ｔ_３Ｍ_ｃＭ_ｏ ^−１・・・（１６）

撮像部１１ｅの位置及び姿勢Ｃ_ｃは、撮像部１１ｅとマーカーＭ２の相対的な位置及び姿勢Ｔ_２と、マーカーＭ２の位置及び姿勢Ｍ_ｏとを乗算することにより算出することができる。
Ｃ_ｃ＝Ｔ_２Ｍ_ｏ・・・（１７）

また、撮像部１１ｅの位置及び姿勢Ｃ_ｃは、撮像部１１ｅとマーカーＭ３の相対的な位置及び姿勢Ｔ_１と、マーカーＭ３の位置及び姿勢Ｍ_ｃとを乗算することにより算出することができる。
Ｃ_ｃ＝Ｔ_１Ｍ_ｃ・・・（１８）

（１７）式と（１８）式に基づいて、Ｍ_ｃは、（１９）式により算出することができる。
Ｍ_ｃ＝Ｔ_１ ^−１Ｔ_２Ｍ_ｏ・・・（１９）

また、（１６）式と（１９）式に基づいて、Ｔ_ｃｃ２を導出することができる。
Ｔ_ｃｃ２＝Ｔ_３Ｔ_１ ^−１Ｔ_２・・・（２０）

つぎに、通信システム１００による処理の流れについて、図９に示すフローチャートを参照しながら説明する。なお、以下では、操作者側の第２電子機器１ｂの動作を主体に説明する。
ステップＳ１において、第２電子機器１ｂは、手順リストを表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「手順」（図３中のＡ１）がタップ操作されたかどうかによって判断する。

手順リストを表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ２に進み、手順リストを表示部４３に表示しないと判断した場合（Ｎｏ）には、ステップＳ５に進む。

ステップＳ２において、第２電子機器１ｂは、手順の選択と、表示処理を行う。なお、ステップＳ２の工程の詳細については、後述する。
ステップＳ３において、第２電子機器１ｂは、マーカーの検出処理を行う。なお、ステップＳ３の工程の詳細については、後述する。
ステップＳ４において、第２電子機器１ｂは、仮想オブジェクト（ＡＲオブジェクト）の表示処理を行う。なお、ステップＳ４の工程の詳細については、後述する。

ステップＳ５において、第２電子機器１ｂは、系統図を表示部４３に表示するかどうかを判断する。例えば、第２電子機器１ｂは、ユーザにより表示部４３に表示されている「系統」（図３中のＡ３）がタップ操作されたかどうかによって判断する。

系統を表示部４３に表示すると判断した場合（Ｙｅｓ）には、ステップＳ６に進み、系統を表示部４３に表示しないと判断した場合（Ｎｏ）には、処理を終了する。

＜ステップＳ２の工程について＞
ステップＳ２の工程の詳細について、図１０を参照しながら説明する。
ステップＳ２１において、第２電子機器１ｂは、割り込み処理によって、表示されている手順リストの中から手順や完了フラグの操作が行われたとき、当該操作を行った者が操作者であるかどうかを判断する。操作者によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２２に進み、操作者によって操作されなかったと判断、すなわち、監督者（第１電子機器１ａ）によって操作されたと判断された場合（Ｙｅｓ）には、ステップＳ２３に進む。

ステップＳ２２において、第２電子機器１ｂは、ロックの解除を行うかどうかを判断する。本実施例では、第１電子機器１ａと第２電子機器１ｂとは、同期していることが前提であるが、ロックの解除によりこの同期が解除される。ロックの解除を行ったと判断した場合（Ｙｅｓ）には、ステップＳ２３に進み、ロックの解除を行っていないと判断した場合（Ｎｏ）には、ステップＳ２５に進む。

ステップＳ２３において、第２電子機器１ｂは、割り込み処理によって、管理者（第１電子機器１ａ）から送信されてきた手順の番号や完了フラグを受信し、送信されてきた手順の番号や完了フラグの選択状況を取得する。

ステップＳ２４において、第２電子機器１ｂは、手順の番号や完了フラグをグローバル変数へ代入する。グローバル変数は、選択手順番号と、完了フラグ（配列）によって構成されている。選択手順番号は、例えば、手順が何も選択されていない場合には「０」が代入され、手順（１）が選択されている場合には「１」が代入され、手順（２）が選択されている場合には「２」が代入される。完了フラグは、手順番号ごとに代入していき、図１０に示す例では、手順（１）及び手順（２）は、完了しているため「１：完了」が代入され、手順（３）以降は完了していないため「０：未」が代入される。

ステップＳ２５において、第２電子機器１ｂは、グローバル変数に応じた手順表示画面を描画する。例えば、第２電子機器１ｂは、図３に示すような画面を表示部４３に描画する。

＜ステップＳ３の工程について＞
ステップＳ３の工程の詳細について、図１１を参照しながら説明する。
ステップＳ３１において、第２電子機器１ｂは、グローバル変数より手順番号を読み込む。例えば、グローバル変数が「１」の場合には、手順（１）が選択されていることになる。

ステップＳ３２において、第２電子機器１ｂは、手順−仮想オブジェクト関連付けマトリックスを参照し、ステップＳ３１の工程で読み込んだ手順番号に対応するマーカー番号とその優先度を取得する。なお、手順−仮想オブジェクト関連付けマトリックスについては、後述する。また、第２電子機器１ｂは、選択されている手順番号に対応する完了フラグの状態に応じて、参照するテーブルを変えてもよい。

ステップＳ３３において、第２電子機器１ｂは、該当するマーカーの検出処理を実行する。未検出であった場合には、戻り値を「−１」にする。マーカーを一つ検出した場合には、検出したマーカーの番号を戻り値にする。また、複数のマーカーを検出した場合には、ステップＳ３４に進む。

ステップＳ３４において、第２電子機器１ｂは、複数のマーカーの中から優先度の高いマーカーの番号を選択し、選択したマーカーの番号を戻り値にする。

ここで、ステップＳ３３の工程におけるマーカーの検出手順について、図１２を用いて詳述する。なお、以下では、図１３に示すように、監督者側に設置される第３撮像部１１ｃは、主にマーカーを撮像する撮像部１１ｃ_１と、主に放送機を撮像する撮像部１１ｃ_２とにより構成されており、一方、操作者側に設置される第４撮像部１１ｄは、主にマーカーを撮像する撮像部１１ｄ_１と、主に放送機を撮像する撮像部１１ｄ_２とにより構成されているものとする。また、図１３に示す例では、監督者側（第１電子機器１ａ）によって該当マーカーが検出されたケースを示している。

ステップＳ３０１において、第２電子機器１ｂは、撮像部１１ｄ_２によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０２に進む。

ステップＳ３０２において、第２電子機器１ｂは、撮像部１１ｄ_１によって該当マーカーを検出したかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、ステップＳ３０３に進む。

ステップＳ３０３において、第２電子機器１ｂは、監督者側（第１電子機器１ａ側の撮像部１１ｃ_１又は撮像部１１ｃ_２）によって該当マーカーを検出できたかどうかを判断する。検出した場合には、ステップＳ３０４に進み、未検出の場合には、戻り値を「−１」にする。

ステップＳ３０４において、第２電子機器１ｂは、マーカー情報を出力する。例えば、第２電子機器１ｂは、撮像部で撮像された画像からマーカーを検出し、登録されている全マーカーと比較し、一致した場合には、「１：検出」とし、一致しなかった場合には、「０：無」として、図１４に示すテーブルに代入する。第２電子機器１ｂは、テーブルを参照して、該当マーカーの有無を判断する。

＜ステップＳ４の工程について＞
ステップＳ４の工程の詳細について、図１５を参照しながら説明する。
ステップＳ４１において、第２電子機器１ｂは、該当マーカーを検出できたかどうかを判断する。検出できたと判断した場合（Ｙｅｓ）には、ステップＳ４２に進み、検出できなかったと判断した場合（Ｎｏ）には、処理を終了する。

ステップＳ４２において、第２電子機器１ｂは、検出したマーカー情報に基づいて、座標変換処理を行う。
ステップＳ４３において、第２電子機器１ｂは、検出したマーカー番号と選択されている手順番号に基づいて、手順−仮想オブジェクト関連付けマトリックスを参照し、表示部４３に表示する仮想（ＡＲ）オブジェクトと表示する座標を取得する。
ステップＳ４４において、第２電子機器１ｂは、ステップＳ４３の工程で取得した座標に基づいて、仮想オブジェクトを表示部４３に表示する処理を行う。

ここで、ステップＳ３２及びステップＳ４３の工程で用いる手順−仮想オブジェクト関連付けマトリックスについて、図１６を参照しながら説明する。
手順−仮想オブジェクト関連付けマトリックスは、手順ごとにテーブル化されている。各テーブルには、各マーカー番号に対して、マーカー優先度と、表示すべき仮想（ＡＲ）オブジェクトの番号と、仮想オブジェクトの表示座標が対応付けられている。なお、一度に、複数のマーカーを使用する場合もあるので、マーカー優先度は同じでもよい。また、同じ仮想オブジェクトを複数箇所に使用する場合もあるので、表示座標は、ひとつのマスに対して、複数個設定することもできる。
なお、上述した手順−仮想オブジェクト関連付けマトリックスは、一例であって、これに限られない。例えば、手順−仮想オブジェクト関連付けマトリックスには、他に、スケール（大きさ）、姿勢等が含まれてもよい。

また、本実施例では、主に、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行う電子機器と通信システムの構成と動作について説明したが、これに限られず、各構成要素を備え、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うための方法、及びプログラムとして構成されてもよい。

さらに、電子機器及び通信システムの機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１電子機器
１ａ第１電子機器
１ｂ第２電子機器
２所定の機器（放送機）
１１撮像部
１２撮像画像取得部
１２ａ第１撮像画像取得部
１２ｂ第２撮像画像取得部
１３表示部
１３ａ第１表示部
１３ｂ第２表示部
１４検出部
１４ａ第１検出部
１４ｂ第２検出部
１５位置算出部
１５ａ第１位置算出部
１５ｂ第２位置算出部
１６仮想撮像部配置部
１６ａ第１仮想撮像部配置部
１６ｂ第２仮想撮像部配置部
１７レンダリング部
１７ａ第１レンダリング部
１７ｂ第２レンダリング部
１８重畳部
１８ａ第１重畳部
１８ｂ第２重畳部
１９記憶部
１９ａ第１記憶部
１９ｂ第２記憶部
２０選択部
２０ａ第１選択部
２０ｂ第２選択部
２１読出部
２１ａ第１読出部
２１ｂ第２読出部
２２ａ第１送受信部
２２ｂ第２送受信部
１００通信システム

Claims

所定のマーカーを撮像する第１撮像部及び所定の機器を撮像する第２撮像部を備える撮像部と、
前記撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部で取得された前記第２撮像部によって撮像された撮像画像を表示する表示部と、
前記撮像画像取得部で取得された前記第１撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出部と、
前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、
前記位置算出部による算出結果に基づいて、前記第２撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、
前記手順を選択する選択部と、
前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、
前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、
前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える電子機器。
所定のマーカーを撮像する第１撮像部及び所定の機器を撮像する第２撮像部を備える撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記第２撮像部によって撮像された撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記第１撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記第２撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える表示方法。
コンピュータにより、
所定のマーカーを撮像する第１撮像部及び所定の機器を撮像する第２撮像部を備える撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記第２撮像部によって撮像された撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記第１撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記第１撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第１撮像部及び前記第２撮像部の相対的な位置及び姿勢とに基づいて、前記第２撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記第２撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのプログラム。
第１電子機器と第２電子機器とがネットワークを介して接続される通信システムにおいて、
前記第１電子機器は、
第３撮像部により現実空間を撮像して得られた撮像画像を取得する第１撮像画像取得部と、
前記第１撮像画像取得部で取得された前記撮像画像に含まれている第１マーカーを検出し、識別する第１検出部と、
前記第２電子機器に備えられている第４撮像部と、当該第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢が記憶されている第１記憶部と、
前記第１記憶部から前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を読み出す第１読出部と、
前記第３撮像部と、前記第２電子機器に備えられている第４撮像部に固定されている第２マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第３撮像部と前記第１マーカーとの相対的な位置及び姿勢を算出する第１位置算出部と、
前記第１位置算出部による算出結果と、前記第１読出部で読み出した前記第４撮像部と前記第２マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第１検出部で検出した前記第１マーカーの識別結果とともに前記第２電子機器に送信する第１送受信部とを備え、
前記第２電子機器は、
前記第１送受信部から送信されてきた前記位置関係情報と前記第１マーカーの識別結果を受信する第２送受信部と、
前記第２マーカーが固定されている第４撮像部と、
前記第４撮像部で取得された撮像画像を表示する第２表示部と、
前記位置関係情報に基づいて、前記第４撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する第２仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第２記憶部と、
前記手順を選択する第２選択部と、
前記第２送受信部で受信した前記第１マーカーの識別結果と前記第２選択部により選択されている手順に基づいて、前記第２記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第２読出部と、
前記第２読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第２レンダリング部と、
前記第２表示部に表示されている前記撮像画像に前記第２レンダリング部で撮像した結果を重畳する第２重畳部と、を備える通信システム。