WO2023190468A1 - 仮想画像表示装置、撮像装置、仮想画像表示システム及び方法 - Google Patents

Abstract

現実世界に仮想画像を重ね合わせ、撮像装置単体では表示できない画像を表示する仮想画像表示装置、撮像装置、仮想画像表示システム及び方法を提供する。プロセッサ及び第１ディスプレイを有する仮想画像表示装置（１００）は、撮像装置（２００）からのライブビュー画像を受信する。プロセッサは、ライブビュー画像を撮像装置（２００）の表示領域に重ね合わせる際に使用する変換情報を取得し、その変換情報に基づいてライブビュー画像を幾何変換する。第１ディスプレイは、幾何変換されたライブビュー画像を表示する。ユーザは、光学系（１４６）を介して撮像装置（２００）の表示領域に重ね合わされた仮想のライブビュー画像を視認することができる。

Description

仮想画像表示装置、撮像装置、仮想画像表示システム及び方法

　本発明は仮想画像表示装置、撮像装置、仮想画像表示システム及び方法に係り、特に現実世界に仮想画像を重ね合わせて表示する技術に関する。

　従来、仮想空間における撮影を実行し、撮影により生成された写真（画像）を容易に確認できる方法が提案されている（特許文献１）。

　特許文献１に記載の方法は、ヘッドマウントデバイス（ＨＭＤ：Head-Mounted Device）を用いて提供される仮想空間の中心に仮想カメラを配置し、仮想カメラの位置及び姿勢から仮想カメラの撮影範囲に対応する画像を生成し、生成した画像を仮想カメラのプレビュー画面に表示する。そして、ユーザからの撮影指示により仮想空間での撮影が行われると、写真画像を生成してメモリに保存し、また、生成した写真画像を仮想空間の予め定めた位置に配置し、写真画像が配置された位置を、ＨＭＤを装着したユーザに通知する。

　特許文献１に記載の仮想カメラは、メモリモジュールに保存されたオブジェクト情報に基づいて生成され、仮想空間に配置されるカメラオブジェクトであり、アバターオブジェクトの手の部分に相当する手オブジェクトによりカメラオブジェクトに設けられたボタンの押下を受け付けると、仮想空間における撮影を実行する。尚、アバターオブジェクトの手の部分に相当する手オブジェクトは、ユーザの手の位置に連動するように移動する。また、特許文献1では、ＨＭＤデバイスを用いて仮想カメラの撮影映像を提供しているが、透過型スマートグラス、網膜投影等の方法も考えられる。

　また、特許文献２には、現実世界と仮想世界を融合させた拡張現実（ＡＲ：Augmented Reality）の技術を、ゲームなどに有効に活用する情報処理装置が提案されている。

　特許文献２に記載の情報処理装置は、実空間を撮影する背面カメラから撮影画像を取得し、撮影画像に含まれるマーカを検出すると、そのマーカに対応する情報処理（ゲーム）を開始し、マーカに対応するキャラクタ、アイコンの仮想オブジェクトを、被写空間に対応する３次元座標系に配置して撮影画像上に描画し、表面の表示装置に表示する。アイコンは、マーカが置かれている平面上に置かれているように表現し、表示画面上のタッチパッドに対する接触、あるいは指による被写空間における対応位置の指示のいずれかに基づき操作可能としている。

特開２０１９－２１２３６号公報 特開２０１５－４１１２６号公報

　本開示の技術に係る一つの実施形態は、現実世界に仮想画像を重ね合わせ、従来の撮像装置単体では表示できない画像を表示する仮想画像表示装置、撮像装置、仮想画像表示システム及び方法を提供する。

　第１態様に係る発明は、プロセッサ及び第１ディスプレイを有する仮想画像表示装置であって、仮想画像表示装置は、第１撮像装置からのライブビュー画像を受信し、プロセッサは、ライブビュー画像を第１撮像装置の表示領域に重ね合わせる際に使用する情報を取得し、情報に基づいてライブビュー画像を変換し、第１ディスプレイは、変換されたライブビュー画像を表示する、仮想画像表示装置である。

　本発明の第２態様に係る仮想画像表示装置において、第１ディスプレイは、メガネ型又はゴーグル型の仮想画像表示機能を有するウェアラブルデバイスであることが好ましい。

　本発明の第３態様に係る仮想画像表示装置において、ユーザの視野範囲を撮影する第２撮像装置を有し、プロセッサは、第２撮像装置が撮影した撮影画像を解析して表示領域を特定し、情報を取得する。

　本発明の第４態様に係る仮想画像表示装置において、プロセッサは、第２撮像装置が撮影した第１撮像装置のマーカの位置に基づいて情報を取得する。

　本発明の第５態様に係る仮想画像表示装置において、プロセッサは、第１ディスプレイを基準にした第１撮像装置の３次元位置及び姿勢を示す情報を取得し、３次元位置及び姿勢を示す情報に基づいて情報を取得する。

　本発明の第６態様に係る仮想画像表示装置において、第１撮像装置は、ライブビュー画像を表示する第２ディスプレイを有し、表示領域は、第２ディスプレイの表示領域であることが好ましい。

　本発明の第７態様に係る仮想画像表示装置において、第２ディスプレイは、第１撮像装置の装置本体との相対的な姿勢関係が回動によって変更可能な回動機構を備え、表示領域は、回動した第２ディスプレイの表示領域であることが好ましい。

　本発明の第８態様に係る仮想画像表示装置において、第１撮像装置は、ビューファインダを有し、表示領域は、ビューファインダの表示領域であることが好ましい。

　本発明の第９態様に係る仮想画像表示装置において、第１ディスプレイは、視野を透過するディスプレイであって、現実世界の視野に変換したライブビュー画像を表示することが好ましい。

　本発明の第１０態様に係る仮想画像表示装置において、ユーザの視野範囲を撮影する第２撮像装置を備え、第１ディスプレイは、視野を覆う没入型のディスプレイであって、第２撮像装置が撮影した撮影画像に、変換したライブビュー画像を重ね合わせた合成画像を表示することが好ましい。

　本発明の第１１態様に係る仮想画像表示装置において、プロセッサは、ライブビュー画像に仮想オブジェクト画像を合成することが好ましい。

　本発明の第１２態様に係る発明は、プロセッサ、第１ディスプレイ及びユーザの視野範囲を撮影する第２撮像装置を有する仮想画像表示装置であって、プロセッサは、第２撮像装置が撮影した画像から、少なくともグリップ部を備えた仮想カメラの画角に対応する画像を切り出してライブビュー画像として取得し、ライブビュー画像を仮想カメラの表示領域に重ね合わせる際に使用する情報を取得し、情報に基づいてライブビュー画像を変換し、第１ディスプレイは、変換されたライブビュー画像を表示する、仮想画像表示装置である。

　本発明の第１３態様に係る仮想画像表示装置において、変換は、幾何変換であることが好ましい。

　第１４態様に係る発明は、ライブビュー画像を撮影する撮像部と、第１モードと第２モードとを切り替えるモード切替え部と、第１モードに切り替えられた場合にライブビュー画像を表示する第２ディスプレイ又はビューファインダと、第２モードに切り替えられた場合にライブビュー画像を、第１態様から第１１態様のいずれかの仮想画像表示装置に送信する通信部と、を備えた撮像装置である。

　本発明の第１５態様に係る撮像装置において、第２モードに切り替えられた場合に、第２ディスプレイ又はビューファインダにマーカを表示することが好ましい。

　第１６態様に係る発明は、第１態様から第１３態様のいずれかの仮想画像表示装置と、第１４態様又は第１５態様の撮像装置と、から構成された仮想画像表示システムである。

　本発明の第１７態様に係る仮想画像表示システムにおいて、仮想画像表示装置のプロセッサは、ライブビュー画像に仮想オブジェクト画像を合成し、第２モードに切り替えられた状態で記録用の撮影が行われると、仮想オブジェクト画像を撮像装置に送信し、撮像装置は、第２モードに切り替えられた状態で記録用の撮影を行うと、撮影した画像と仮想画像表示装置から受信した仮想オブジェクト画像とを紐付けて記録し、又は撮影した画像に仮想オブジェクト画像を合成して記録することが好ましい。

　第１８態様に係る発明は、第１態様から第１１態様のいずれかの仮想画像表示装置と、仮想画像表示装置と通信するサーバと、から構成された仮想画像表示システムであって、サーバは、実空間の３次元情報を有する３次元画像を管理し、プロセッサは、第１撮像装置の３次元位置及び姿勢を示す第１情報に基づいて、サーバが管理している３次元画像から、第１撮像装置の撮影領域に対応する３次元画像を切り出し、切り出した３次元画像を２次元画像に変換し、２次元画像をライブビュー画像として使用する、仮想画像表示システムである。

　第１９態様に係る発明は、第１２態様の仮想画像表示装置と、仮想画像表示装置と通信するサーバと、から構成された仮想画像表示システムであって、サーバは、実空間の３次元情報を有する３次元画像を管理し、プロセッサは、仮想カメラの３次元位置及び姿勢を示す第１情報に基づいて、サーバが管理している３次元画像から、仮想カメラの撮影領域に対応する３次元画像を切り出し、切り出した３次元画像を２次元画像に変換し、２次元画像をライブビュー画像として使用する、仮想画像表示システムである。

　本発明の第２０態様に係る仮想画像表示システムにおいて、サーバは、実空間に配置された多視点カメラ、監視カメラ、ドライブレコーダ、ドローンカメラ、又は携帯端末カメラを含む多数のカメラにより撮影された画像から最新の３次元画像を生成して管理することが好ましい。

　本発明の第２１態様に係る仮想画像表示システムにおいて、サーバは、３次元画像に仮想オブジェクト画像を合成することが好ましい。

　第２２態様に係る発明は、プロセッサ及び第１ディスプレイを有する仮想画像表示装置が実行する仮想画像表示方法であって、プロセッサが、第１撮像装置からのライブビュー画像を受信するステップと、プロセッサが、ライブビュー画像を第１撮像装置の表示領域に重ね合わせる際に使用する情報を取得するステップと、プロセッサが、情報に基づいてライブビュー画像を変換するステップと、第１ディスプレイが、変換されたライブビュー画像を表示するステップと、を含む仮想画像表示方法である。

図１は、本発明に係る仮想画像表示システムのシステム構成を示す図である。 図２は、図１に示した撮像装置を前方から見た斜視図である。 図３は、撮像装置のモニタパネルの３つの開閉状態を示す図である。 図４は、仮想画像表示装置の第２撮像装置により撮像装置を含む視野画像を撮影する様子を示す図である。 図５は、撮像装置の特定の表示領域にライブビュー画像が重畳される様子を示す図である。 図６は、本発明に係る仮想画像表示システムを構成する仮想画像表示装置の実施形態を示すブロック図である。 図７は、本発明に係る撮像装置の実施形態を示すブロック図である。 図８は、本発明に係る仮想画像表示システムの第１実施形態を示す要部ブロック図である。 図９は、ライブビュー画像と視野画像と撮像装置の表示領域との幾何的な関係を示す図である。 図１０は、ＡＲマーカが設けられた撮像装置の外観を示す図である。 図１１は、仮想画像表示装置のＸＲディスプレイの第１実施形態を示す図である。 図１２は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第１表示例を示す図である。 図１３は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第２表示例を示す図である。 図１４は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第３表示例を示す図である。 図１５は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第４表示例を示す図である。 図１６は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第５表示例を示す図である。 図１７は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第５表示例を示す図である。 図１８は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第６表示例を示す図である。 図１９は、撮像装置がＸＲモードに設定されている場合の撮像装置の第１外観例を示す図である。 図２０は、撮像装置がＸＲモードに設定されている場合の撮像装置の第２外観例を示す図である。 図２１は、撮像装置がＸＲモードに設定されている場合の撮像装置の第３外観例を示す図である。 図２２は、撮像装置の外観を複数の領域に分割して変更する場合の概念図である。 図２３は、ＸＲ環境での使用に対応した撮像装置の斜視図である。 図２４は、本発明に係る仮想画像表示システムを構成する仮想カメラの実施形態を示す背面側からの斜視図である。 図２５は、本発明に係る仮想画像表示システムを構成する仮想カメラの実施形態を示す前面側からの斜視図である。 図２６は、本発明に係る仮想画像表示システムを構成する仮想カメラの他の実施形態を示す斜視図である。 図２７は、仮想カメラが撮影するライブビュー画像の取得方法の実施形態を示す図である。 図２８は、仮想画像表示装置のＸＲディスプレイの第２実施形態を示す図である。 図２９は、本発明に係る仮想画像表示システムの第２実施形態を示すブロック図である。 図３０は、本発明に係る仮想画像表示方法の第１実施形態を示すフローチャートである。 図３１は、本発明に係る撮像装置による表示方法を示すフローチャートである。 図３２は、本発明に係る仮想画像表示方法の第２実施形態を示すフローチャートである。 図３３は、図３２に示した撮像装置の確認を行うステップＳ３００の処理の実施形態を示すサブルーチンである。 図３４は、図３２に示したライブビュー画像ＬＶ１の重ね合わせ表示を行うステップＳ３２００の処理の実施形態を示すサブルーチンである。 図３５は、図３２に示した撮影情報ＩＮＦＯの重ね合わせ表示を行うステップＳ３３０の処理の実施形態を示すサブルーチンである。 図３６は、図３２に示した再生画像の重ね合わせ表示を行うステップＳ３４０の処理の実施形態を示すサブルーチンである。 図３７は、撮像装置の外観変更方法の実施形態を示すフローチャートである。

　以下、添付図面に従って本発明に係る仮想画像表示装置、撮像装置、仮想画像表示システム及び方法の好ましい実施形態について説明する。

　［仮想画像表示システムの概要］
　図１は、本発明に係る仮想画像表示システムのシステム構成を示す図である。

　図１に示す仮想画像表示システム１０は、仮想画像表示装置１００と、第１撮像装置（以下、単に「撮像装置」という)２００とから構成され、仮想画像表示装置１００と撮像装置２００とは相互に通信する。通信は、Bluetooth（登録商標）、Wi-Fi（Wireless Fidelity）（登録商標）等の規格の近距離無線通信が好ましいが、有線でもよい。

　この実施形態の仮想画像表示装置１００は、メガネ型の仮想画像表示機能を有するウェアラブルデバイスであり、図示しないプロセッサ及び第１ディスプレイ、及び第２撮像装置（以下、「内蔵カメラ」という）を備えている。

　第１ディスプレイは、拡張現実（ＡＲ：Augmented Reality）、仮想現実（ＶＲ：Virtual Reality）、複合現実（ＭＲ：Mixed Reality）、又はＡＲ、ＶＲ、ＭＲの総称であるクロスリアリティ（ＸＲ：X Reality）を実現するためのディスプレイである。

　ＡＲは、メガネを通して見える現実世界に仮想世界（仮想画像等）を重ね合わせることで、目の前にある現実世界を“仮想的に拡張する”技術であり、ＶＲは、カメラにより撮影された映像等をＶＲゴーグルやＶＲヘッドセットに表示し、ＶＲゴーグル等によって現実世界を遮断し、非現実の世界に深く没入できるという特徴がある。ＭＲは、現実世界に仮想オブジェクトや情報を重ねて表示する技術であり、ＡＲと同様であるが、ＡＲを更に発展させた技術であり、ユーザの位置や動きに合わせてデジタル情報を表示したり、直接ユーザがデジタル情報を触って操作することが可能である。

　図１に示した仮想画像表示装置１００の第１ディスプレイ（以下、「ＸＲディスプレイ」という）は、グラス（メガネ）を通して見える現実世界に仮想世界を重ね合わせるＡＲ又はＭＲの表示機能を有するものである。

　図１において、１４６は、仮想画像表示装置１００（以下、「スマートグラス」ともいう）のハーフミラーを含む光学系であり、スマートグラスの表示素子に表示される映像（仮想画像）は、光学系１４６を介して現実世界に重ね合わされる。尚、スマートグラスの詳細については後述する。

　図２は、図１に示した撮像装置を前方から見た斜視図である。

　図１及び図２に示す撮像装置２００は、交換レンズ２０２と、交換レンズ２０２が着脱自在なカメラ本体（装置本体）２０３とから構成されたミラーレスのデジタル一眼カメラである。尚、撮像装置２００は、ミラーレスのデジタル一眼カメラに限らず、デジタル一眼レフカメラ、レンズ交換が不能なレンズ一体型のデジタルカメラでもよし、カメラ機能を有するスマートフォン、ＰＤＡ(Personal Digital Assistants)でもよい。

　図１において、カメラ本体２０３の上面には、シャッターボタン２３２、シャッタースピード／感度ダイヤル２３４、露出補正ダイヤル２３６等が設けられている。

　また、カメラ本体２０３の一壁面である背面には、モニタパネル２４０が、図示しない回動機構を介して回動自在に配設されている。

　図３は、撮像装置のモニタパネルの３つの開閉状態を示す図である。

　図３に示すようにモニタパネル２４０は、カメラ本体２０３との相対的な姿勢関係が回動によって変更可能なチルト式のパネルである。

　図３（Ａ）は、モニタパネル２４０が閉じている状態の撮像装置２００を示しており、図３（Ｂ）及び（Ｃ）は、モニタパネル２４０が９０°及び１８０°回動した状態の撮像装置２００を示している。

　モニタパネル２４０が閉じているときに隠れるモニタパネル２４０の内側の面（裏面）には、メインモニタ（第２ディスプレイ）２４１が配設され、モニタパネル２４０が閉じているときにカメラ外観と略面一となる面（表面）には、サブモニタ２４２が配設されている。

　メインモニタ２４１は、図３（Ｂ）及び（Ｃ）に示すようにモニタパネル２４０が開いているときに動作可能となり、ライブビュー画像、記録済みの画像（再生画像）等を表示し、サブモニタ２４２は、図１及び図３（Ａ）に示すようにモニタパネル２４０が閉じているときに動作可能となり、シャッタースピード、絞り値、ＩＳＯ感度、その他の撮影に関する情報（撮影情報）を表示する。

　また、図１に示すようにカメラ本体２０３の背面には、ビューファインダ２４３の接眼部が配置されている。このビューファインダ２４３は、電子ビューファインダ（ＥＶＦ：Electronic View Finder）と光学ファインダ（ＯＶＦ：Optical View Finder）との切替えが可能なハイブリッドファインダである。

　更に、ＯＶＦ表示では、電子式レンジファインダ（ＥＲＦ：Electronic Range Finder）（ＥＶＦを表示する小窓）をＯＶＦの一部に表示、又は非表示を選択することができる。ＥＲＦは、視野率１００％、2.5倍拡大、６倍拡大の３通りの表示ができ、ＯＶＦでの撮影時にピントの確認、画角、露出及びホワイトバランスをモニタすることができる。

　図２に示すようにカメラ前面には、ビューファインダ２４３のＥＶＦとＯＶＦとの切替えを行うためのファインダ切替えレバー２４９が設けられている。

　図２上で、ファインダ切替えレバー２４９を時計回り方向に回動させると、ＥＶＦとＯＶＦとの切替えを行うことができる。また、ＯＶＦ表示のときに、図２上でファインダ切替えレバー２４９を反時計回り方向に回動させると、ＥＲＦの表示と非表示との切替えを行うことができる。

　更に、カメラ本体２０３の背面には、上下左右等の複数方向を指示するトグルスイッチ２４４、メニュー／実行ボタン２４５、再生ボタン２４６、表示／戻るボタン２４７等が設けられている。

　更にまた、各種の機能の割り当てが可能な複数のファンクションボタンが設けられている。

　［仮想画像表示システムの概要］
　図４は、仮想画像表示装置の第２撮像装置により撮像装置を含む視野画像を撮影する様子を示す図である。

　図４において、仮想画像表示装置１００の内蔵カメラ１０１は、撮像装置２００を含むユーザの視野に相当する視野画像を撮影する。内蔵カメラ１０１は、ユーザがスマートグラスを装着し、瞳が正面を向いている場合のユーザの視野に相当する視野画像を撮影する。

　ユーザは、撮像装置２００を手に持ってフレーミング等の各種の操作を行う。

　撮像装置２００は、ＸＲ環境での使用中の場合、撮像装置２００の操作により生成されるライブビュー画像を、連続データとして仮想画像表示装置１００に送信する。

　仮想画像表示装置１００のプロセッサは、視野画像に存在する撮像装置２００の画像（カメラ画像）に基づいて撮像装置２００の表示領域を特定する。この表示領域は、図３に示した撮像装置２００のメインモニタ２４１やサブモニタ２４２のように現実に画像の表示が可能な表示領域に限らず、例えば、カメラ本体２０３の一壁面である背面上に予め設定した領域であってもよい。

　ユーザは、スマートグラスを通して現実世界の撮像装置２００を視認することができるが、プロセッサは、撮像装置２００から受信したライブビュー画像を変換（幾何変換）し、スマートグラスに表示させることで、現実の撮像装置２００の特定の表示領域に、スマートグラスの光学系１４６を介してライブビュー画像（仮想画像）を重ね合わせ表示させる。

　図５は、撮像装置の特定の表示領域にライブビュー画像が重畳される様子を示す図である。

　スマートグラスを装着したユーザの目の前の表示位置において、スマートグラスの光学系１４６を介して幾何変換されたライブビュー画像ＬＶ１を表示する。これにより、ユーザは、図５に示すように現実の撮像装置２００を、スマートグラスを通して視認することができ、かつ撮像装置２００の特定の表示領域に合成された（貼り付けられた）、実際には存在しないＸＲ環境上の画像（ライブビュー画像ＬＶ１）が撮像装置２００に表示されているように、ライブビュー画像ＬＶ１を観察することができる。

　図１及び図３に示した撮像装置２００は、図５に示したようなサイズのライブビュー画像ＬＶ１を表示する現実のモニタを備えていないが、仮想画像表示装置１００は、ライブビュー画像ＬＶ１を表示することで、ユーザは、撮像装置２００が、あたかも図５に示したライブビュー画像ＬＶ１を表示するディスプレイを備えるものとして視認することができる。

　この仮想画像表示システム１０によれば、ユーザは、撮像装置２００の背面の特定の表示領域（現実世界）を見ているのではなく、特定の表示領域に合成されるライブビュー画像ＬＶ１をスマートグラスにより観察するため、現実の特定の表示領域が直射日光の照射により見にくい場合でも、ライブビュー画像ＬＶ１を良好に観察することができる。

　また、撮像装置２００は、現実世界のカメラ製品であるため、作品志向の撮影操作を行うのに操作性がよく、撮影体験の質を高く維持することができる。更に、フレーミング等のために撮像装置２００の位置や角度を動かしながら使用する場合であっても、撮像装置２００に対してライブビュー画像ＬＶ１を追従してスマートグラスに表示することができ、すばやい撮像装置２００の操作が要求される動きの激しい撮影（スポーツ撮影や流し撮り、子供、ペットなどの撮影）でもシャッターチャンスを逃さないようにすることができる。

　尚、スマートグラスの内蔵カメラ１０１が撮影する視野画像は、視野画像におけるカメラ画像の特定の表示領域（座標）を求め、ライブビュー画像を撮像装置２００の特定の表示領域に重ね合わせる際に使用する情報（変換情報）の取得に使用され、また、スマートグラスの代わりに、視野（視界）を覆う没入型のディスプレイ（ＶＲゴーグル）を使用する場合、ＶＲゴーグルに表示する視野画像として使用される。

　＜仮想画像表示装置の実施形態＞
　図６は、本発明に係る仮想画像表示システムを構成する仮想画像表示装置の実施形態を示すブロック図である。

　図６に示す仮想画像表示装置１００は、図１に示した外観形状を有する仮想画像表示装置１００の内部構成を示すブロック図である。

　仮想画像表示装置１００は、内蔵カメラ１０１、プロセッサ（ＸＲプロセッサ）１１０、第１メモリ１２０、操作部１３０、仮想画像表示機能を有する第１ディスプレイであるＸＲディスプレイ１４０、表示制御部１４２、仮想オブジェクト生成部１５０、第１通信部１６０、ＧＰＳ（Global Positioning System）受信機１７０、ジャイロセンサ１７２、加速度センサ１７４、及び地磁気センサ１７６等を備えている。

　内蔵カメラ１０１は、撮影レンズ１０２、イメージセンサ１０４、及びＡＦＥ（Analog Front End）１０６を有する。

　内蔵カメラ１０１は、撮像装置２００を手に持って撮影する場合、その撮像装置２００（カメラ画像）を含む視野画像を撮影するもので、撮影レンズ１０２は、人間の視野角と同等以上の視野角を有することが好ましい。

　イメージセンサ１０４は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成することができる。尚、イメージセンサ１０４は、ＣＭＯＳ型に限らず、ＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

　撮影レンズ１０２によってイメージセンサ１０４の受光面に結像された被写体の光学像は、イメージセンサ１０４によって電気信号に変換される。イメージセンサ１０４の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ１０４からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。

　ＡＦＥ１０６は、イメージセンサ１０４から出力されるアナログの画像信号に対して各種のアナログ信号処理を施す。ＡＦＥ１０６は、相関二重サンプリング回路、ＡＧＣ（Automatic Gain Control）回路、アナログ－デジタル変換回路（Ａ／Ｄ変換回路）（いずれも図示省略）を含む。相関二重サンプリング回路は、イメージセンサ１０４からのアナログ信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。ＡＧＣ回路は、相関二重サンプリング回路によりノイズが除去されたアナログ信号を増幅し、アナログ信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換回路は、ＡＧＣ回路でゲイン調整された画像信号をデジタル信号に変換する。

　尚、イメージセンサ１０４がＣＭＯＳ型イメージセンサである場合、ＡＦＥ１０６は、イメージセンサ１０４内に内蔵されていることが多い。

　ＸＲプロセッサ１１０は、ＣＰＵ（Central Processing Unit）等から構成され、各部を統括制御するとともに、撮像装置２００から、第１通信部１６０を介して受信したライブビュー画像を、撮像装置２００の特定の表示領域に重ね合わせる際に使用する情報（変換情報）を取得する処理、及びその情報に基づいてライブビュー画像を変換（幾何変換）してＸＲディスプレイ１４０に出力する処理等の各種の処理を行う。尚、ＸＲプロセッサ１１０による処理の詳細については後述する。

　第１メモリ１２０は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)等を含む。フラッシュメモリ及びＲＯＭは、ファームウエアを含む各種のプログラム、パラメータ、アバターを含む各種の仮想オブジェクトを示す画像（仮想オブジェクト画像）等を記憶する不揮発性メモリである。

　ＲＡＭは、ＸＲプロセッサ１１０による処理の作業領域として機能し、また、不揮発性メモリに格納されたファームウエア等を一時的に記憶する。尚、ＸＲプロセッサ１１０が、第１メモリ１２０の一部（ＲＡＭ）を内蔵していてもよい。

　操作部１３０は、各種の操作指令、パラメータの設定、アバターを含む仮想オブジェクトの選択、アバターのコントロール等を行う部分であり、マイクロフォンを備え、音声により操作入力を行う音声入力装置の他に、手や指などの身体の動きを、内蔵カメラ１０１が撮影する画像から読み取って操作入力とするジェスチャー入力部、スマートグラスのフレームに設けられるタッチパネル、ＸＲディスプレイ１４０に表示されるＧＵＩ（Graphical User Interface）画面、及びＧＵＩ画面上のカーソル等を移動させる専用コントローラ等が考えられる。

　また、撮像装置２００のジャイロセンサ２７２、加速度センサ２７４、及び地磁気センサ２７６等により撮像装置２００の揺れ、振動、又は光線角度を検知し、検知した情報を各種の操作指令等として使用することができる。

　尚、撮像装置２００の撮影操作中は両手が使用されているため、音声入力装置が好ましい。

　表示制御部１４２は、ＸＲプロセッサ１１０からライブビュー画像、再生画像、撮影情報等を入力すると、表示用の信号形式に変換してＸＲディスプレイ１４０に出力する。

　ＸＲディスプレイ１４０は、図示しない表示素子を有し、表示制御部１４２からの表示用の信号により駆動される表示素子にライブビュー画像等を表示する。表示素子に表示されるライブビュー画像は、スマートグラスの光学系１４６（図１参照）を介してグラス越しの現実世界に重ね合わされる。

　ＸＲディスプレイ１４０は、ユーザの目の前の表示位置において、撮像装置２００の特定の表示領域に重畳するように幾何変換されたライブビュー画像等を表示し、ユーザは、現実世界に重ね合わされたライブビュー画像等を観察することができる。

　仮想オブジェクト生成部１５０は、第１メモリ１２０に記憶されたアバターを含む各種の仮想オブジェクト画像からユーザにより指示された所望の仮想オブジェクト画像を読み出し、ライブビュー画像への合成用に加工した仮想オブジェクト画像を生成する。例えば、ユーザ自身を表すアバターが選択され、また、髪形や衣装が選択されると、その選択された髪形や衣装を纏ったアバターを生成し、更にアバターの位置、向き等が操作部１３０により指示される場合、その位置等にアバターを移動させる処理を行う。

　また、仮想オブジェクト生成部１５０は、撮像装置２００の部品（外装部品、スイッチ類等）を示す仮想オブジェクトの選択指示を受け付け、選択された部品の画像（部品画像）を撮像装置２００への合成用に加工した仮想オブジェクト画像を生成する。撮像装置２００に部品画像を合成することで、ＸＲディスプレイ１４０を通じて観察される撮像装置２００の外観を変更することができる。

　第１通信部１６０は、撮像装置２００との間で必要な情報を送受信する部分であり、撮像装置２００がＸＲ環境でライブビュー画像を撮影している場合、撮像装置２００からライブビュー画像を受信する。また、第１通信部１６０は、撮像装置２００がＸＲ環境でシャッターボタン２３２（図１参照）が押下され、記録用の撮影が行われた場合には、シャッターレリーズ信号を受信する。シャッターレリーズ信号の受信時にライブビュー画像にアバターの画像を合成している場合には、第１通信部１６０は、そのアバターの画像を撮像装置２００に送信する。

　ＧＰＳ受信機１７０、ジャイロセンサ１７２、加速度センサ１７４、及び地磁気センサ１７６は、ＸＲディスプレイ１４０（内蔵カメラ１０１）の３次元位置及び姿勢を示す情報を検出するためのセンサ類である。ＸＲディスプレイ１４０の３次元位置及び姿勢を示す情報は、ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報を取得するために使用する。ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報は、ライブビュー画像を幾何変換するための変換情報の算出に使用することができる。

　＜撮像装置の実施形態＞
　図７は、本発明に係る撮像装置の実施形態を示すブロック図である。

　図７に示す撮像装置２００は、図１に示した仮想画像表示システム１０を構成する撮像装置２００の内部構成を示すブロック図である。

　撮像装置２００は、撮像部２０１、カメラプロセッサ２１０、第２メモリ２２０、操作部２３０、表示制御部２４８、メインモニタ２４１、サブモニタ２４２、ビューファインダ２４３、画像処理部２５０、第２通信部（通信部）２６０、ＧＰＳ受信機２７０、ジャイロセンサ２７２、加速度センサ２７４、及び地磁気センサ２７６等を備えている。

　撮像部２０１は、交換レンズ２０２、イメージセンサ２０４、及びＡＦＥ２０６を有する。

　交換レンズ２０２は、カメラ本体２０３に装着されたものであり、カメラ本体２０３のレンズマウントに設けられた複数の信号端子を介してカメラ本体２０３との間で双方向通信を行うことができ、例えば、カメラ本体２０３からのリクエスト信号に応じて交換レンズ２０２のレンズ情報（焦点距離、フォーカス位置、絞り値等の情報）をカメラ本体２０３に送信し、また、カメラ本体２０３からの指令にしたがってフォーカスレンズ、絞り等を駆動する。

　イメージセンサ２０４は、ＣＭＯＳ型のカラーイメージセンサにより構成されているが、ＣＭＯＳ型に限らず、ＣＣＤ型のイメージセンサでもよい。

　ＡＦＥ２０６は、イメージセンサ２０４から出力されるアナログの画像信号に対して各種のアナログ信号処理を施した後にデジタルの画像信号に変換し、ＲＡＷデータとして出力する。

　カメラプロセッサ２１０は、ＣＰＵ等から構成され、各部を統括制御するとともに、操作部２３０を使用したユーザ操作にしたがって各部を統括制御するとともに、ＡＦ（Auto Focus）制御、ＡＥ（Automatic Exposure）制御を含む各種の処理を行う。

　尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部２３０によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。

　操作部２３０は、図１に示したようにシャッターボタン２３２、シャッタースピード／感度ダイヤル２３４、露出補正ダイヤル２３６の他に、トグルスイッチ２４４、メニュー／実行ボタン２４５、再生ボタン２４６、表示／戻るボタン２４７等を含み、これらのボタン、ダイヤル等の操作により各種の指示、設定を行うことができる。

　本例の撮像装置２００の操作部２３０は、撮像装置２００を非ＸＲ環境（通常の環境）で使用する第１モード（非ＸＲモード）とＸＲ環境で使用する第２モード（ＸＲモード）と、を切り替えるモード切替え部を有する点で、従来の撮像装置の操作部とは相違する。

　ＸＲモード／非ＸＲモードのモード切替え部は、ＸＲモードの設定／解除が割り当てられたファンクションボタンを使用することができるが、専用のモード切替えレバーを設けるようにしてもよい。また、トグルスイッチ２４４及びメニュー／実行ボタン２４５を使用し、メニュー画面上でＸＲモードの設定／解除を行うものでもよい。

　専用のモード切替えレバーとしては、例えば、図２に示したファインダ切替えレバー２４９と同様の構成のモード切替えレバーをカメラ本体２０３の前面、背面又は上面に設けることができる。

　尚、ＸＲモードが設定され、ＸＲ環境で使用する場合の撮像装置２００の動作の詳細については後述する。

　第２メモリ２２０は、フラッシュメモリ、ＲＯＭ、ＲＡＭ等を含む。フラッシュメモリ及びＲＯＭは、ファームウエアを含む各種のプログラム、パラメータ及び撮影画像（静止画、動画）等を記憶する不揮発性メモリである。

　ＲＡＭは、カメラプロセッサ２１０による処理の作業領域として機能し、また、不揮発性メモリに格納されたファームウエア等を一時的に記憶する。尚、カメラプロセッサ２１０が、第２メモリ２２０の一部（ＲＡＭ）を内蔵していてもよい。

　表示制御部２４８は、カメラプロセッサ２１０、又は画像処理部２５０からライブビュー画像、再生画像、撮影情報等を入力すると、表示用の信号形式に変換してメインモニタ２４１、サブモニタ２４２、及びビューファインダ２４３（ＥＶＦ）に出力する。

　メインモニタ２４１は、図３（Ｂ）及び（Ｃ）に示すようにモニタパネル２４０が開いているときに動作可能となり、非ＸＲモードの場合にカメラプロセッサ２１０からの指示にしたがってライブビュー画像、記録済みの画像（再生画像）等を表示する。

　サブモニタ２４２は、図３（Ａ）に示すようにモニタパネル２４０が閉じているときに動作可能となり、非ＸＲモードの場合にカメラプロセッサ２１０からの指示にしたがってシャッタースピード、絞り値、ＩＳＯ感度等を示す撮影情報を表示する。

　ビューファインダ２４３は、ファインダ切替えレバーの操作によりＥＶＦとＯＶＦとの切替えが可能であり、ＥＶＦに切り替えられ、かつ非ＸＲモードの場合にカメラプロセッサ２１０からの指示にしたがってライブビュー画像を表示する。

　したがって、モニタパネル２４０が閉じており、かつ非ＸＲモードの場合には、ユーザは、ビューファインダ２４３で撮影範囲を確認しながらフレーミングを行うことができる。

　尚、非ＸＲモードの場合にモニタパネル２４０が開いていても、ビューファインダ２４３に目を近づけると、アイセンサ（図示せず）の働きにより、自動的にビューファインダ２４３の表示に切り替え、目を離すとメインモニタ２４１の表示に切り替えることができる。

　一方、メインモニタ２４１及びサブモニタ２４２は、ＸＲモードの場合には、それぞれライブビュー画像及び撮影情報を表示せず、例えば、カメラプロセッサ２１０からの指示にしたがってメインモニタ２４１又はサブモニタ２４２の表示領域を特定するマーカ（例えば、ＡＲマーカ）を表示することができる。

　画像処理部２５０は、撮像部２０１から出力されるＲＡＷデータに対してオフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）等のＲＡＷ現像処理を行う。また、シャッターボタン２３２の押下に基づいて取得されたＲＡＷデータに対しては、画像処理部２５０は、ＲＡＷ現像処理後に圧縮処理を行い、画像ファイルとして第２メモリ２２０又は図示しないメモリカードに記録する。

　また、撮像部２０１から出力される連続するＲＡＷデータに対し、画像処理部２５０によりＲＡＷ現像処理された連続データは、ライブビュー画像ＬＶとして表示制御部２４８を介してメインモニタ２４１、又は第２通信部２６０に出力される。

　第２通信部２６０は、仮想画像表示装置１００との間で必要な情報を送受信する部分であり、撮像装置２００がＸＲモードに設定され、ＸＲ環境でライブビュー画像を撮影している場合、第２通信部２６０は、ライブビュー画像ＬＶを仮想画像表示装置１００に送信する。

　また、第２通信部２６０は、撮像装置２００がＸＲ環境でシャッターボタン２３２（図１参照）が押下され、記録用の撮影が行われた場合には、シャッターレリーズ信号を仮想画像表示装置１００に送信する。仮想画像表示装置１００は、第１通信部１６０を介してシャッターレリーズ信号を受信し、その受信時にライブビュー画像にアバターの画像を合成している場合には、仮想画像表示装置１００の第１通信部１６０からそのアバターの画像を撮像装置２００に送信する。

　ＧＰＳ受信機２７０、ジャイロセンサ２７２、加速度センサ２７４、及び地磁気センサ２７６は、撮像装置２００の３次元位置及び姿勢を示す情報を検出するためのセンサ類である。撮像装置２００の３次元位置及び姿勢を示す情報は、ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報を取得するために使用する。ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報は、ライブビュー画像ＬＶを幾何変換するための変換情報の算出に使用することができる。

　［仮想画像表示システムの第１実施形態］
　図８は、本発明に係る仮想画像表示システムの第１実施形態を示す要部ブロック図であり、図６に示した仮想画像表示装置１００のＸＲプロセッサ１１０の機能を示す機能ブロック図である。

　図８において、ＸＲプロセッサ１１０は、変換情報取得部１１２、合成部１１４、及び幾何変換部１１６として機能する。

　スマートグラスの内蔵カメラ１０１は、撮像装置２００を含むユーザの視野に相当する視野画像ＩＭを撮影し、撮影した視野画像ＩＭを変換情報取得部１１２に出力する。

　撮像装置２００は、撮像装置２００がＸＲ環境での使用中の場合、撮像装置２００の操作により生成されるライブビュー画像ＬＶを連続データとして送信し、第１通信部１６０は、撮像装置２００からライブビュー画像ＬＶを受信する。

　変換情報取得部１１２は、ライブビュー画像ＬＶを撮像装置２００の表示領域に重ね合わせる際に使用する変換情報を取得する部分であり、内蔵カメラ１０１から撮影画像（視野画像ＩＭ）を入力する。

　変換情報取得部１１２は、入力した視野画像ＩＭを解析して撮像装置２００の表示領域を示す領域情報を取得し、領域情報に基づいて変換情報を取得する。

　図９は、ライブビュー画像と視野画像と撮像装置の表示領域との幾何的な関係を示す図である。

　図９において、ライブビュー画像ＬＶの画像座標系をＸＹ座標系とし、視野画像ＩＭの画像座標系をＸ’Ｙ’座標系とする。また、ライブビュー画像ＬＶの縦横の画像サイズをｈ１，ｗ１とし、視野画像ＩＭの縦横の画像サイズをｈ２，ｗ２とする。尚、ライブビュー画像ＬＶのＸＹ座標系における４隅の点（特徴点）Ｐ１～Ｐ４の座標は、ライブビュー画像ＬＶの画像サイズにより既知である。

　図９に示すように視野画像ＩＭには、撮像装置２００を示すカメラ画像が含まれている。

　変換情報取得部１１２は、視野画像ＩＭにおける撮像装置２００の特定の表示領域を示す領域情報として、例えば、表示領域の４隅の点（特徴点Ｐ１～Ｐ４に対応する対応点Ｐ１’～Ｐ４’）の座標を取得する。

　第１実施形態の変換情報取得部１１２は、ライブビュー画像ＬＶの４隅の特徴点Ｐ１～Ｐ４に対応する対応点Ｐ１’～Ｐ４’として、視野画像ＩＭを解析してモニタパネル２４０（図１参照）の四角形の輪郭を検出し、その輪郭の４隅の点を対応点Ｐ１’～Ｐ４’とすることができる。尚、本例では、閉じているモニタパネル２４０の四角形の輪郭で囲まれた領域を表示領域とするが、表示領域は適宜定義することができる。

　続いて、変換情報取得部１１２は、視野画像ＩＭのカメラ画像上の表示領域（対応点Ｐ１’～Ｐ４’により特定されるモニタパネル２４０の領域）にライブビュー画像ＬＶを重ね合わせる際に使用する変換情報を取得する。

　いま、ライブビュー画像ＬＶを、アフィン変換により幾何変形させ、カメラ画像上の表示領域に重ね合わせる場合、アフィン変換のパラメータ（変換情報）を取得する必要がある。

　アフィン変換は、次式により行うことができる。

　［数１］において、（ｘ，ｙ）は、ライブビュー画像ＬＶの座標（ＸＹ座標系における座標）を示し、（ｘ'，ｙ'）は、アフィン変換後の座標（視野画像ＩＭのＸ’Ｙ’座標系における座標）を示す。

　また、［数１］において、パラメータａ～ｄは、画像の拡大縮小、回転、スキュー（せん断）を示すパラメータであり、パラメータｔ_x，ｔ_yは、平行移動を示すパラメータである。

　アフィン変換ではパラメータ推定のために２つの画像（本例では、ライブビュー画像ＬＶと視野画像ＩＭ）のマッチング点（特徴点と対応点）を３組以上与える必要があるが、上記のライブビュー画像ＬＶの特徴点Ｐ１～Ｐ４と、視野画像ＩＭの対応点Ｐ１’～Ｐ４’の４組のマッチング点が得られるため、［数１］式に示したアフィン変換のパラメータａ～ｄ、ｔ_x，ｔ_yを求めることができる。

　変換情報取得部１１２は、このようにしてアフィン変換のパラメータａ～ｄ、ｔ_x，ｔ_yを、変換情報として取得することができる。

　また、２つの画像の間で幾何変換する他の方法として、例えば射影変換が考えられる。

　射影変換は、次式により行うことができる。

　射影変換で、３×３の変換行列で表される９つのパラメータ（ｈ₁₁～ｈ₃₃）を全て求める必要があり、アフィン変換に比べて２つの画像間のマッチング点を多く求める必要があるが、アフィン変換よりも精度の高い幾何変換を行うことができる。

　図８に戻って、合成部１１４には、第１通信部１６０を介してライブビュー画像ＬＶが加えられている。合成部１１４は、ライブビュー画像ＬＶに仮想オブジェクトを合成する部分であり、合成部１１４の他の入力には、仮想オブジェクト生成部１５０により生成された仮想オブジェクトの画像が加えられている。

　仮想オブジェクト生成部１５０は、ユーザ指示により第１メモリ１２０から所望の仮想オブジェクト（例えば、アバター）の画像を読み出し、ライブビュー画像ＬＶへの合成用に加工したアバターの画像を生成出力する。

　ユーザは、ユーザ自身を示すアバターの画像を第１メモリ１２０に登録することができる。ユーザ自身を示すアバターの画像は、ユーザ自身を撮影した画像でもよいし、アニメのキャラクタ、ロボット、ペット等の画像でもよい。

　また、ユーザは、操作部１３０での操作により髪形や衣装を適宜選択することができ、仮想オブジェクト生成部１５０は、ユーザにより選択指示された髪形や衣装を纏ったアバターの画像を生成することができる。更に、アバターの位置、向き等がユーザにより指示されると、仮想オブジェクト生成部１５０は、ロールプレイングゲーム中のアバターのように、その指示された位置等にアバターの画像を移動させる処理を行う。

　更に、仮想オブジェクト生成部１５０は、よりリアルなアバターの画像を生成する場合、ライブビュー画像ＬＶ等から得られる明るさや色味に合せて、アバターの画像の明るさや色味を調整するようにしてもよい。

　合成部１１４は、第１通信部１６０を介して加えられるライブビュー画像ＬＶに、仮想オブジェクト生成部１５０により生成されたアバターを含む仮想オブジェクトの画像を合成し、合成したライブビュー画像ＬＶを幾何変換部１１６に出力する。

　尚、合成部１１４は、仮想オブジェクト生成部１５０により仮想オブジェクトが生成されない場合には、入力したライブビュー画像ＬＶをそのままライブビュー画像ＬＶとして幾何変換部１１６に出力する。

　幾何変換部１１６は、変換情報取得部１１２により取得された変換情報に基づいて、合成部１１４を介して加えられるライブビュー画像ＬＶを幾何変換する部分である。例えば、幾何変換部１１６による幾何変換がアフィン変換の場合、変換情報取得部１１２は、［数１］式に示したアフィン変換のパラメータ（ａ～ｄ，ｔ_x，ｔ_y）を変換情報として取得し、幾何変換部１１６は、ライブビュー画像ＬＶの座標（ｘ，ｙ）の画素を、上記変換情報に基づいてアフィン変換することで、視野画像ＩＭの座標（ｘ'，ｙ'）の画素に変換する。また、幾何変換部１１６による幾何変換が射影変換の場合には、［数２］式に示した射影変換のパラメータ（ｈ₁₁～ｈ₃₃）を変換情報として取得し、幾何変換部１１６は、ライブビュー画像ＬＶの座標（ｘ，ｙ）の画素を、上記変換情報に基づいて射影変換することで、視野画像ＩＭの座標（ｘ’，ｙ’）の画素に変換する。

　幾何変換部１１６により幾何変換されたライブビュー画像ＬＶ（以下、「ライブビュー画像ＬＶ１」という）は、ＸＲディスプレイ１４０に出力される。

　ＸＲディスプレイ１４０は、幾何変換されたライブビュー画像ＬＶ１を、ＸＲディスプレイ１４０の対応する画素位置に（内蔵カメラ１０１の視野画像ＩＭに対応する画素位置）に表示する。図９に示した例では、ライブビュー画像ＬＶのＸＹ座標系の４つの座標Ｐ１～Ｐ４で表されるライブビュー画像ＬＶは、視野画像ＩＭのＸ’Ｙ’座標系に座標変換され、４つの座標Ｐ１’～Ｐ４’で表されるライブビュー画像ＬＶ１として表示される。

　尚、ユーザがスマートグラスを装着している場合のユーザの視野範囲と、内蔵カメラ１０１が撮影する視野画像ＩＭとはパララックスがあるため、ＸＲディスプレイ１４０は、視野画像ＩＭにおけるカメラ画像の大きさ（距離に相当）とカメラ画像の位置に応じてパララックスを補正することが好ましい。

　＜変換情報取得部の第２実施形態＞
　図８に示した第１実施形態の変換情報取得部１１２は、視野画像ＩＭを解析してモニタパネル２４０の四角形の輪郭を検出し、その輪郭の４隅の点（図９のＰ１’～Ｐ４’）で囲まれた四角形の領域を、撮像装置２００の表示領域Ａとして設定し、変換情報を取得しているが、これに限らず、変換情報取得部１１２は、内蔵カメラ１０１が撮影した撮像装置２００のマーカ（以下、「ＡＲマーカ」という）の位置に基づいて変換情報を取得するものでもよい。

　図１０は、ＡＲマーカが設けられた撮像装置の外観を示す図である。

　図１０に示す撮像装置２００には、９つのＡＲマーカＭ１～Ｍ９が設けられている。

　ＡＲマーカは、予め登録されたイラストや画像等を示すマーカであり、位置情報と紐付けることができる。したがって、変換情報取得部１１２は、視野画像ＩＭからＡＲマーカＭ１～Ｍ９を読み取ることで、そのＡＲマーカＭ１～Ｍ９が表示された位置の位置情報を取得することができ、撮像装置２００の各面の傾き、位置、サイズ、中心座標などの情報を取得することができる。

　ＡＲマーカＭ１～Ｍ９のうちのＡＲマーカＭ１は、サブモニタ２４２に表示されたＡＲマーカであり、ＡＲマーカＭ２～Ｍ９は、予めカメラ本体２０３に設けられたＡＲマーカである。

　ＡＲマーカＭ２～Ｍ４は、モニタパネル２４０の４隅のうちの３箇所の位置を示すＡＲマーカであり、モニタパネル２４０の領域をライブビュー画像ＬＶ１の表示領域Ａとする場合、撮像装置２００のライブビュー画像ＬＶ１の表示領域Ａを特定するＡＲマーカＭとなる。

　尚、撮像装置２００をＸＲ環境で使用する場合、ＡＲマーカＭ１をライブビュー画像ＬＶ１の表示領域Ａを特定するマーカとして表示させることができる。また、サブモニタ２４２にＡＲマーカＭを表示する場合、そのＡＲマーカＭの個数は、１個に限らず、複数表示させることができる。更に、メインモニタ２４１（図３（Ｂ）及び（Ｃ）参照）を、ライブビュー画像ＬＶ１の表示領域とする場合、メインモニタ２４１の領域を特定する複数のＡＲマーカＭを表示させることができる。

　ＡＲマーカＭ５は、カメラ本体２０３の上面に設けられたマーカであり、ＡＲマーカＭ６は、カメラ本体２０３の背面上部に設けられたマーカであり、ＡＲマーカＭ７はカメラ本体２０３の側面に設けられたマーカである。これらのＡＲマーカＭ５～Ｍ７は、カメラ本体２０３の各面を特定するために設けられたマーカである。

　また、ＡＲマーカＭ８は、シャッタースピード／感度ダイヤル２３４の上面に設けられたマーカであり、ＡＲマーカＭ９は、露出補正ダイヤル２３６の上面に設けられたマーカである。これらのＡＲマーカＭ８、Ｍ９は、ダイヤルの位置（回動位置を含む）を特定するために設けられたマーカである。

　ＡＲマーカＭ４～Ｍ９は、カメラ本体２０３に仮想オブジェクト（外観を変更するスキン）を貼り付けるための領域を特定するために使用することができる。

　尚、ＡＲマーカＭ１～Ｍ９の代わりに、二次元バーコード（例えば、「ＱＲコード」（登録商標））によりマーカを構成してもよい。二次元バーコードを表示する場合、撮像装置２００が何を表示しているかの情報、ライブビュー画像内に表示されるデータや指標（シャッタースピード、絞り値、ヒストグラムなどの数値情報）をコード化した二次元バーコードとすることができ、また、二次元バーコードは、データ表示の配置情報を組み込んだ情報を含んでいてもよい。

　また、ＡＲマーカＭ１～Ｍ９の代わりに、位置の特定に適した他の形状を有するマーカでもよく、ＡＲマーカＭと二次元バーコードとが混在していてもよく、マーカの種類、位置、及び個数は、図１０に示した実施形態に限定されない。

　＜変換情報取得部の第３実施形態＞
　ライブビュー画像ＬＶを撮像装置２００の表示領域Ａに重ね合わせる際に使用する変換情報を取得する変換情報取得部は、内蔵カメラ１０１が撮影した視野画像ＩＭを使用する場合に限らず、撮像装置２００の３次元位置及び姿勢を示す情報と、ＸＲディスプレイ１４０の３次元位置及び姿勢を示す情報とを取得し、ＸＲディスプレイ１４０（第１ディスプレイ）を基準にした撮像装置２００の相対的な３次元位置及び姿勢を示す情報を取得することで、変換情報を取得することができる。

　変換情報取得部は、仮想画像表示装置１００のＧＰＳ受信機１７０、ジャイロセンサ１７２、加速度センサ１７４、及び地磁気センサ１７６のセンサ出力に基づいてＸＲディスプレイ１４０の３次元位置及び姿勢を示す情報を取得することができ、同様に撮像装置２００のＧＰＳ受信機２７０、ジャイロセンサ２７２、加速度センサ２７４、及び地磁気センサ２７６のセンサ出力に基づいてＸＲディスプレイ１４０の３次元位置及び姿勢を示す情報を取得することができる。

　ここで、仮想画像表示装置１００（ＸＲディスプレイ１４０）をグローバル座標系で表し、撮像装置２００をカメラ座標系（ローカル座標系）で表すものとすると、撮像装置２００の大きさ、形状は既知であるため、ローカル座標系における撮像装置２００の各部の３次元位置（例えば、）は、予め設定することができる。

　一方、ＸＲディスプレイ１４０のグローバル座標系は、例えば、ＸＲディスプレイ１４０の表示素子の中心を原点とし、表示素子の原点を通る表示素子の互いに直交する面内の方向をＸ軸及びＹ軸とし、表示素子の原点を通る法線方向をＺ軸とするＸＹＺの３軸直交座標系と定義することができる。

　前述したようにＸＲディスプレイ１４０の３次元位置及び姿勢を示す情報と、撮像装置２００の３次元位置及び姿勢を示す情報とを取得すること（即ち、ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報を取得すること）で、これらの情報に基づいてライブビュー画像ＬＶを、撮像装置２００の表示領域Ａに重ね合わせる際に使用する変換情報を取得することができる。

　例えば、撮像装置２００の表示領域Ａのローカル座標系の３次元位置（即ち、ライブビュー画像ＬＶの３次元位置）を、ＸＲディスプレイ１４０を基準にした撮像装置２００の３次元位置及び姿勢を示す情報に基づいて、ＸＲディスプレイ１４０の座標系であるグローバル座標系の座標に変換する。続いて、グローバル座標系に座標変換した撮像装置２００の表示領域Ａの３次元位置（即ち、ライブビュー画像ＬＶの３次元位置）を、ＸＲディスプレイ１４０の表示素子のサイズ、光学系の焦点距離等の既知のパラメータに基づいてＸＲディスプレイ１４０の表示素子の表示面上に透視投影変換することで、変換後のライブビュー画像ＬＶ１を求めることができる。

　尚、ＸＲディスプレイ１４０を基準にした撮像装置２００の相対的な３次元位置及び姿勢を示す情報は、仮想画像表示装置１００のＧＰＳ受信機１７０、ジャイロセンサ１７２、加速度センサ１７４、及び地磁気センサ１７６のセンサ出力、及び撮像装置２００のＧＰＳ受信機２７０、ジャイロセンサ２７２、加速度センサ２７４、及び地磁気センサ２７６のセンサ出力に基づいて求める場合に限らず、仮想画像表示装置１００（スマートグラス）に設けた光センシング計測装置（例えば、ＬｉＤＡＲ（Light Detection And Ranging））が測定した計測データ、ＴＯＦ（Time Of Flight)カメラが取得した距離画像、あるいはスマートグラスの左右に設けた内蔵カメラが取得したステレオ画像等により求めてもよい。

　＜ＸＲディスプレイの第１実施形態＞
　図１１は、仮想画像表示装置のＸＲディスプレイの第１実施形態を示す図である。

　図１１に示すＸＲディスプレイ１４０は、視野を透過するディスプレイであって、現実世界の視野に幾何変換したライブビュー画像ＬＶ１を表示する、メガネ型のウェアラブルデバイス（スマートグラス）である。

　ＸＲディスプレイ１４０は、表示素子１４４、レンズ１４６Ａ及びハーフミラー１４６Ｂを含む光学系１４６と、を備えている。表示素子１４４に表示された幾何変換後のライブビュー画像ＬＶ１は、光学系１４６によりユーザの目の前の表示位置において、虚像として表示される。

　ユーザは、ハーフミラー１４６Ｂを介して透過する現実世界を視認することができるとともに、ハーフミラー１４６Ｂで反射して現実世界に重ね合わされたライブビュー画像ＬＶ１を視認することができる。尚、ライブビュー画像ＬＶ１は、現実世界の撮像装置２００の表示領域Ａに重ね合わされた画像であり、撮像装置２００からの反射光線ではないため、仮想の画像である。

　また、図１１に示す表示素子１４４は、有機ＥＬ（electro-luminescence）パネルや液晶パネルなどの面発光素子であるが、これに限らず、多数の可動式の微小鏡面（マイクロミラー）を、集積回路上に平面状に配列したＤＭＤ（Digital Micromirror Device）と、ＤＭＤに赤、緑、青の光を入射させる光源とで構成された表示素子でもよい。

　＜ＸＲモードにおける第１表示例＞
　図１２は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第１表示例を示す図である。

　図１２（Ａ）は、裸眼で撮像装置２００を見た場合のイメージを示す図である。図１２（Ａ）では、モニタパネル２４０が閉じており、サブモニタ２４２に撮影情報が表示されている。ＸＲモードが設定されている場合に、仮想画像表示装置１００（スマートグラス）を装着していない場合、ユーザは、ライブビュー画像ＬＶ１を観察することができない。

　図１２（Ｂ）は、仮想画像表示装置１００を装着して撮像装置２００を見た場合のイメージを示す図である。図１２（Ｂ）に示す第１表示例は、撮像装置２００の閉じているモニタパネル２４０の領域にライブビュー画像ＬＶ１を重ねて表示する場合に関して示している。

　この場合、ユーザは、仮想画像表示装置１００を装着して撮像装置２００を見ることで、あたかもモニタパネル２４０の領域にライブビュー画像ＬＶ１が表示されているように見える。

　尚、設定により現実世界に合成される画像をライブビュー画像ＬＶ１から切り替えて、別の表示形態に変更することも可能である。

　＜ＸＲモードにおける第２表示例＞
　図１３は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第２表示例を示す図である。

　図１３に示す第２表示例は、撮像装置２００のメインモニタ２４１の領域にライブビュー画像ＬＶ１を重ねて表示する場合に関して示している。また、図１３は、モニタパネル２４０が９０°回動した状態の撮像装置２００を示している。この場合、モニタパネル２４０の内側のメインモニタ２４１を上方から視認でき、ローアングルの撮影に適している。

　撮像装置２００がＸＲモードに設定されている場合、メインモニタ２４１にはライブビュー画像は表示されておらず、仮想画像表示装置１００を装着することで、ユーザは、あたかもメインモニタ２４１の領域にライブビュー画像が表示されているように見える。

　図１３に示す第２表示例によれば、生成されるライブビュー画像ＬＶ１は、撮像装置２００のメインモニタ２４１の可動範囲に応じた制限を受けるが、メインモニタ２４１が自由に回転できないことによってライブビュー画像ＬＶ１の表示の向きなどが分からなくならず、実物の撮像装置２００の操作方法と同じため操作性が良く、迷うことがない利点がある。

　また、実物のモニタパネル２４０の代わりに、ダミーのモニタパネルを表示させて、そのダミーのモニタパネルにライブビュー画像ＬＶ１を表示させることができる。この場合、実物のモニタパネル２４０の可動範囲よりもダミーのモニタパネルの可動範囲を大きく（例えば、＋１０度だけ大きく）することができる。更に、ダミーのモニタパネルの可動範囲を選択により切り替えたり（自由に、段階的に、…）、切り替えたことが分かるようにモニタパネルのフレームの色や形（リアルカメラライクと透明な額縁状など）を替えることが好ましい。

　＜ＸＲモードにおける第３表示例＞
　図１４は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第３表示例を示す図である。

　図１４に示す第３表示例は、図１２（Ｂ）に示した第１表示例の変形例であり、撮像装置２００の閉じているモニタパネル２４０よりも大きいダミーのモニタパネル上にライブビュー画像ＬＶ１を重ねて表示する場合に関して示している。

　幾何変形して重ね合わせて表示するライブビュー画像ＬＶ１の大きさは、自由に設定可能であり、図１４に示す第３表示例では、仮想画像表示装置１００を装着することで、ユーザは、モニタパネル２４０のサイズよりも大きい、実在しない大きさのダミーのモニタパネルにライブビュー画像ＬＶ１が表示されているように見える。

　尚、ダミーのモニタパネルのサイズは、一定サイズに限らず、モニタパネル２４０の隅を引っ張るなどの拡大操作をすることに連動して、拡縮できるようにしてもよい。この場合、モニタパネル２４０に実際に画枠を引っ張った感触を感じさせる感触付与部材を持たせることが好ましい。

　この場合のモニタパネル２４０の隅を引っ張るなどの拡大操作を検出する方法としては、仮想画像表示装置１００の内蔵カメラ１０１の画像認識によってジェスチャーコントロールの原理を用いて拡大縮小の動作に合わせてダミーのモニタパネルのサイズを拡大縮小させても良いし、撮像装置２００のモニタパネル２４０に設けられたタッチパネルに対してピンチ操作を行ったことを検出して、それに連動させるなど、他の方法を用いても良い。

　また、モニタパネル２４０の隅を引っ張ると、ダミーのモニタパネルの縦横比は固定のまま、ダミーのモニタパネルを引っ張っている方向及び上に向かって拡大し、又は引っ張っている方向及び上下に均等に拡大し、又は下に向かって拡大するようにしてもよい。

　＜ＸＲモードにおける第４表示例＞
　図１５は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第４表示例を示す図である。

　図１５に示す第４表示例は、実在しないモニタパネルの領域にライブビュー画像ＬＶ１を重ねて表示する場合に関して示している。

　モニタパネル２４０は、図３（Ｂ）及び（Ｃ）に示すようにカメラ本体２０３に対してチルトできる回動機構を備えているが、図１５に示すようにライブビュー画像ＬＶ１を回動させる回動機構を備えていない。

　図１５に示す第４表示例では、カメラ本体２０３の背面の右側に仮想の回動機構を設け、モニタパネルを適宜回動させている。これにより、ライブビュー画像ＬＶ１が、モニタパネル２４０の大きさとほぼ同じ大きさで、その一端が撮像装置２００に固定されているように見えており、かつモニタパネルをチルト操作してユーザの方向に向けた状態のように、視線方向に対して正対して見えるように表示している。

　なお、図１５においては左右の一辺を軸に横方向にチルトするように表示しているが、これは一例であり、上下の一辺を固定軸にして上下方向のチルトの表示をしても良いし、また、異なる２方向のチルトを組み合わせた不定形の表示を行っても良い。この場合は、モニタパネルはいずれかの辺で撮像装置２００に固定されている様には見えず、ヒンジ機構で連結されているように仮想画像で表現しても良い。

　＜ＸＲモードにおける第５表示例＞
　図１６は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第５表示例を示す図である。

　図１６に示す第５表示例は、図１５に示した第４表示例の変形例であり、カメラ本体２０３の向きが逆向きの場合に関して示している。即ち、図１６に示す第５表示例は、カメラ本体２０３の背面の左側に仮想の回動機構を設け、モニタパネルを適宜回動させている。これにより、ライブビュー画像ＬＶ１が、モニタパネル２４０の大きさとほぼ同じ大きさで、かつ視線方向に対して正対して見えるように表示している。

　このように、モニタパネルを回動させる仮想の２軸又は３軸のヒンジを設け、ライブビュー画像ＬＶ１が常に正対して見えるようにカメラ本体に対してモニタパネルを自動的に回動させて表示させることが好ましい。これにより、リアルカメラの使い勝手に近い操作感が得られ、戸惑うことがなく、また、空中にライブビュー画像ＬＶ１が浮かんでいるような不自然合成画像にならず、よりリアルな感覚の撮影が行えることで、撮影行為の質が向上する。

　図１７は、図１６に示したライブビュー画像等の第５表示例に対する変形例を示す図である。

　図１７（Ａ）は、図１６に示したライブビュー画像等の第５表示例と同一の表示状態を示す図である。図１７（Ａ）に示すように撮像装置２００は、撮像装置２００全体が、ＸＲディスプレイ１４０の視野内に入っている場合に関して示している。

　図１７（Ｂ）は、図１７（Ａ）に示した撮像装置２００が、ＸＲディスプレイ１４０の視野に対して左側に移動し、撮像装置２００の左半分が視野から外れた場合に関して示している。

　この場合でも、仮想画像表示装置１００は、撮像装置２００からライブビュー画像ＬＶを受信することができるため、図１７（Ｂ）に示すようにライブビュー画像ＬＶ１をＸＲディスプレイ１４０に表示することができる。即ち、仮想画像表示装置１００は、撮像装置２００に対してライブビュー画像ＬＶ１を、本来の表示位置よりも図１７（Ｂ）上で右側に移動させ、ライブビュー画像ＬＶ１全体を表示する。

　図１７（Ｃ）は、図１７（Ｂ）に示した撮像装置２００が、更に左側に移動し．撮像装置２００の左側の２／３が、ＸＲディスプレイ１４０の視野から外れた場合に関して示している。この場合、仮想画像表示装置１００は、撮像装置２００に対してライブビュー画像ＬＶ１を、図１７（Ｂ）に示した表示位置よりも図１７（Ｃ）上で更に右側に移動させ、ライブビュー画像ＬＶ１全体を表示する。

　図１７（Ｄ）は、図１７（Ｃ）に示した撮像装置２００が、更に左側に移動し．撮像装置２００全体が、ＸＲディスプレイ１４０の視野から外れた場合に関して示している。この場合、仮想画像表示装置１００は、撮像装置２００に対してライブビュー画像ＬＶ１を、図１７（Ｃ）に示した表示位置よりも図１７（Ｄ）上で更に右側に移動させ、ライブビュー画像ＬＶ１全体を表示する。この場合、ライブビュー画像ＬＶ１の左端は、視野の左端と一致している。

　図１７に示す表示例では、撮像装置２００が左側に移動して視野から外れる場合に関して示しているが、これに限らず、撮像装置２００が右側に移動して視野から外れる場合、上方に移動して視野から外れる場合、及び下方に移動して視野から外れる場合も、上記と同様にライブビュー画像ＬＶ１を移動させ、ライブビュー画像ＬＶ１全体を表示させることができる。

　また、図１５に示したライブビュー画像等の第４表示例を含む他の表示例の場合も、上記と同様に撮像装置２００が視野から外れる場合には、撮像装置２００に対してライブビュー画像ＬＶ１を移動させることができる。

　これにより、撮像装置２００が視野から外れても、視野から外れた位置の周辺にライブビュー画像ＬＶ１を表示し続けることでライブビューを見続けることができる。

　尚、図１２から図１７に示した第１表示例から第５表示例において、合成表示されるライブビュー画像ＬＶ１とともに、ライブビュー画像ＬＶ１の下端部において、撮影情報を表示することが可能である。

　＜ＸＲモードにおける第６表示例＞
　図１８は、撮像装置がＸＲモードに設定されている場合のライブビュー画像等の第６表示例を示す図である。

　図１８に示す第６表示例は、撮像装置２００の閉じているモニタパネル２４０のサブモニタ２４２（図１参照）よりも広い領域に、撮影情報ＩＮＦＯを重ねて表示する場合に関して示している。

　この撮影情報ＩＮＦＯは、通常のサブモニタ２４２に表示される撮影情報（図１２（Ａ）参照）に加えてヒストグラムを含んでいる。このヒストグラムは、現在撮影中のライブビュー画像の輝度の分布を示す輝度ヒストグラムである。ヒストグラムは、輝度ヒストグラムに限らず、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色ごとのＲＧＢヒストグラムでもよい。

　また、撮影情報ＩＮＦＯは、シャッタースピード、絞り値、ＥＶ値（exposure value）などの撮影条件を示す情報に限らず、種々の撮影情報を含む。例えば、被写体情報を表すメタデータ、ＩＳＯ感度、顔認識枠やＡＦ枠などの検出エリア情報などを撮影情報ＩＮＦＯに含めることができる。

　仮想画像表示装置１００は、撮像装置２００から撮影情報ＩＮＦＯを示すテキストデータ又は画像を受信することができる。また、仮想画像表示装置１００は、サブモニタ２４２に撮影情報ＩＮＦＯが表示されている場合、その撮影情報ＩＮＦＯを画像認識によって読み取ることで取得することができる。

　撮影情報ＩＮＦＯは、他の撮像装置のデータと区別するためのカメラ識別情報を含むことが好ましいが、撮影情報ＩＮＦＯを表示する際には、カメラ識別情報は非表示にする。

　一方、仮想画像表示装置１００は、撮影情報ＩＮＦＯを合成して表示する場合、ビューファインダ２４３の領域にライブビュー画像ＬＶを重ね合わせて表示させることが好ましい。

　これにより、仮想画像表示装置１００を装着したユーザは、ビューファインダ２４３に目を近づけると、ビューファインダ２４３の接眼部からライブビュー画像ＬＶを視認することができる。

　＜撮像装置の第１外観例＞
　図１９は、撮像装置がＸＲモードに設定されている場合の撮像装置の第１外観例を示す図である。

　図１０に示したように撮像装置２００には、ＡＲマーカＭ１～Ｍ９が設けられており、仮想画像表示装置１００は、視野画像ＩＭからＡＲマーカＭ１～Ｍ９の位置を検出することで、撮像装置２００の各面、又は撮像装置２００の外観形状を示すポリゴンを特定することができる。

　仮想画像表示装置１００は、ＡＲマーカＭ１～Ｍ９に合せて撮像装置２００の外観を示す仮想オブジェクト画像（スキン）を貼り付け合成することで、元の撮像装置２００の外観とは異なる外観になるように表示させることができる。

　撮像装置２００の外観とは異なる外観にする方法として、上述の例では撮像装置２００の外観を示す仮想オブジェクト画像（スキン）を貼り付け合成するという方法を記載したが、仮想オブジェクト画像（スキン）は張り付ける面に平面的に張り付いているものでなくても構わない。例えば、図１９の撮像装２００の前面に取り付けられているレンズ２００Ｂのように、別部材が飛び出して見える、または別部材が取り付けられているような形状を持っていても構わない。

　また、１つのＡＲマーカに対して仮想オブジェクト画像（スキン）は複数であっても構わない。

　また、レンズ２００Ｂの部分が着脱可能であるように構成しても構わない。更に、レンズ２００Ｂの部分を持って取り外すような操作（例えば回転して引き離すなど、レンズ交換を模したジェスチャー）を画像認識によって検出して，その操作に連動して着脱が行われるようにしても良い。

　また、図１９に示す撮像装置２００の第１外観例では、カメラ本体２０３の背面のモニタを大きくし、かつ背面のスイッチ類を変更している。

　＜撮像装置の第２外観例＞
　図２０は、撮像装置がＸＲモードに設定されている場合の撮像装置の第２外観例を示す図である。

　仮想画像表示装置１００は、図１９に示した第１外観例と同様に、撮像装置２００の外観を示す仮想オブジェクト画像（スキン）を貼り付け合成することで、撮像装置２００の外観を変更させる。

　図２０に示す撮像装置２００の第２外観例では、カメラ本体２０３の上面がシャッターボタン２３２のみのシンプルな形状に変更されている。図２０に示す第２外観例の場合、図１等に示したシャッタースピード／感度ダイヤル２３４及び露出補正ダイヤル２３６は見えなくなる。

　撮像装置２００がＸＲモードに設定され、外観の変更により撮像装置２００の一部の操作系が見えなくなる場合には、撮像装置２００は、見えなくなる操作系（実物のシャッタースピード／感度ダイヤル２３４及び露出補正ダイヤル２３６等）を動作不能にすることが好ましい。

　＜撮像装置の第３外観例＞
　図２１は、撮像装置がＸＲモードに設定されている場合の撮像装置の第３外観例を示す図である。

　仮想画像表示装置１００は、図１９に示した第１外観例と同様に、撮像装置２００の外観を示す仮想オブジェクト画像（スキン）を貼り付け合成することで、撮像装置２００の外観を変更させる。

　図２１に示す撮像装置２００の第３外観例では、ビューファインダの位置が左端から中央部に変更されており、また、カメラ本体２０３の背面のモニタや操作系が削除されている。

　＜撮像装置の外観第３外観例＞
　図２２は、撮像装置の外観を複数の領域に分割して変更する場合の概念図である。

　仮想画像表示装置１００の第１メモリ１２０は、撮像装置２００の外観を複数の領域に分割した分割領域毎に外観を示す仮想オブジェクト画像を記憶している。

　図０に示す例では、仮想オブジェクト画像として、交換レンズ部１５１、皮革外装部１５２、操作ダイヤル部１５３、上部外装部１５４、ファインダ部１５５、モニタ部１５６が、第１メモリ１２０に記憶されている。

　交換レンズ部１５１は、広角レンズ、望遠レンズ等の種類の異なる複数の交換レンズ部を含む。皮革外装部１５２は、黒レザー、茶レザー、赤レザー、クロコダイル柄等を含む。上部外装部１５４は、シルバー、ブラック、ゴールド、ツートン等の質感、色の外装を含む。ファインダ部１５５及びモニタ部１５６も種々の形状、及び大きさのものを含む。

　ユーザは、これらの分割領域毎の外観を示す仮想オブジェクト画像を、操作部２３０での操作により選択して組み合わせることで、撮像装置２００の外観をオリジナルの外観にすることができる。

　即ち、ＸＲプロセッサ１１０は、操作部２３０でのユーザ操作により、外観を示す１乃至複数の仮想オブジェクト画像を受け付け、これらの仮想オブジェクト画像を、撮像装置２００の３次元位置及び姿勢により適宜幾何変換し、ＸＲディスプレイ１４０に出力する。これにより、ユーザは、ＸＲディスプレイ１４０を介して視認される撮像装置を、ユーザが選択した仮想オブジェクト画像の外観を有するものとして認識することができる。

　また、複数種類の仮想オブジェクト画像を組み合わせる場合、予め効果的な組合せを複数用意しておき、ユーザは、複数の組合せの中から選択するようにしてもよい。この場合、ＸＲプロセッサ１１０は、複数の組合せの中から選択された組合せの仮想オブジェクト画像を受け付け、これらの仮想オブジェクト画像を、撮像装置２００の３次元位置及び姿勢により適宜幾何変換し、ＸＲディスプレイ１４０に出力する。

　更にまた、複数種類の仮想オブジェクト画像の効果的な組合せは、過去の学習結果により決定（ＡＩ（artificial intelligence）により決定）して登録し、又は更新するようにしてもよい。

　過去の組合せデータ（ＡＩには限定しないが）によって、ＧＵＩの操作性や外観の変更を行うことにより、過去のデータによって得られたユーザの好みやユーザの操作性に合った、仮想オブジェクト画像の効果的な組合せを提供することができる。この学習をＡＩによって行うことで、より操作性が高く好みに合ったものにすることができる。

　また、これらの技術をさらに多数のユーザに対して過去の組合せデータを集めることで多くのユーザの好みをデータサーバー上に持っておけば、必要に応じて不特定多数のユーザや、特定のユーザグループ（左利きのユーザ、女性ユーザ、子供ユーザ、高齢者ユーザなど）の使勝手に対する外観や操作性の向上につながるようにカスタマイズすることもできる。また、これらをメニュー画面や設定画面で選択的に、あるいはＡＩがユーザに合わせて自動的に行う方法を用いても良い。

　更に、仮想オブジェクト画像の交換だけでなく、例えば、図１等に示したシャッタースピード／感度ダイヤル２３４及び露出補正ダイヤル２３６を入れ替えるなどの配置の変更を行えるように構成しても構わない。

　また、ユーザは、これら撮像装置２００の外観をオリジナルの外観にする操作を、分割領域毎の外観を示す仮想オブジェクト画像を、操作部２３０での操作により選択して組み合わせることで行うことが出来ると記載したが、オリジナルの外観にする操作を直感的に行うために、画像認識技術を用いたジェスチャーコントロールで行えるようにしてもよい。すなわち、仮想画像表示装置１００に設けられた内蔵カメラ１０１の視野画像ＩＭから画像認識によりユーザが外観を示す仮想オブジェクト画像を変更するジェスチャーを行ったことを認識して、ジェスチャーに対応する外観を示す仮想オブジェクト画像を移動させたり交換させたりするように表示を制御することで、仮想外観を変化させても良い。

　更に、いずれの分割領域に仮想オブジェクト画像（スキン）が貼り付けられたが直感的に分かるようにＸＲディスプレイ１４０に、表示される撮像装置２００の画像の輝度を上げて表示、あるいは内側の部分が光っていることを表す光芒の表現を周囲に表示するなどによって、画像視野内の使用している撮像装置２００の画像を光って見えるようにしてもよい。

　尚、これらの仮想オブジェクト画像は、撮像装置２００の３次元位置及び姿勢により適宜、幾何変換されて合成される。

　また、交換レンズ部１５１を、例えば、実際の広角レンズからバーチャルの望遠レンズに交換することで、仮想画像表示装置１００は、ライブビュー画像ＬＶ１を望遠レンズで撮影されたように拡大表示することができる。

　＜ＸＲ環境での使用に対応した撮像装置＞
　図２３は、ＸＲ環境での使用に対応した撮像装置の斜視図である。

　図２３に示す撮像装置２８０は、ダミーレンズ２８１、３つの実レンズ２８２、及びダミーモニタ２８３を備えている。

　ダミーレンズ２８１は、外観のみを構成するレンズであり、撮影機能がない。

　３つの実レンズ２８２は、それぞれ焦点距離が異なるレンズであり、ユーザは、適宜選択して使用することができる。実レンズ２８２により撮影されたライブビュー画像は、仮想画像表示装置１００に送信される。

　ダミーモニタ２８３は、表示機能がなく、カメラ本体に対して回動可能な可変ダミーモニタである。

　前述した撮像装置２００は、ＸＲ環境で使用する場合、メインモニタ２４１等にはライブビュー画像を表示せず、仮想画像表示装置１００が、ライブビュー画像ＬＶ１を撮像装置２００の表示領域に重ね合わせて表示するが、本例の撮像装置２８０の場合、仮想画像表示装置１００は、撮像装置２８０のダミーモニタ２８３にライブビュー画像を重ね合わせて表示する。

　また、仮想画像表示装置１００は、ダミーモニタ２８３が回動するとその回動したダミーモニタ２８３にライブビュー画像を重ね合わせて表示させることができる。これにより、図１３、図１５及び図１７に示した場合と同様のライブビュー画像ＬＶ１を表示させることができる。

　＜仮想カメラ＞
　図２４は、本発明に係る仮想画像表示システムを構成する仮想カメラの実施形態を示す背面側からの斜視図である。

　図２４に示す仮想カメラ２９０は、少なくとも手で把持できるグリップ部を備えた仮想カメラであり、操作スイッチ類が設けられている。この場合、「仮想カメラ」という言葉は用いているが、グリップ部には実態があり、仮想表示によるカメラという意味ではない。

　仮想カメラ２９０は、レンズ、撮像素子等の撮像部を備えておらず、カメラ機能がないダミーカメラであり、本例の仮想カメラ２９０は、グリップ部のみの外観形状を有する。

　仮想カメラ２９０のグリップ部には、少なくともシャッターボタンを含む操作部材が設けられているが、操作部材は、ユーザ操作により可動するが、操作信号を発生しないダミースイッチである。

　仮想カメラ２９０は、レンズや撮像素子が不要で、通信部も大幅に簡易化でき、軽量化も可能であり、折り畳みなどの適用により小型化も容易に可能である。また、ユーザは、カメラ機能がない仮想カメラ２９０であっても通常のカメラと同様にフレーミングや操作部材の操作感が得られる。

　本実施形態の仮想カメラ２９０の操作部材は、ユーザ操作により可動するが、操作信号を発生しないダミースイッチであるが、他の実施形態として、仮想カメラ２９０の各操作部材は実際に操作感覚が得られるように操作可能となっており、ユーザ操作を検出する操作検出部と操作信号を送信する（ライブビュー画像の送信は含まない）通信部を有することで、ユーザが行った仮想カメラ２９０の各操作部材に対する操作内容を、通信部を介して仮想画像表示装置１００（または仮想画像表示システム１０または後述するＸＲサーバ３００）に送信することによってユーザが行った操作をリアルタイムで反映させることが出来るようにしてもよい。

　また、ユーザが行った操作をリアルタイムで反映させる方法としては、この方法に限らず、他のバリエーションとして、仮想カメラ２９０の各操作部材は実際に操作感覚が得られるように操作可能であるが、操作を検出する操作検出部や通信部は持たないものであっても、操作感覚の質を向上させることが出来る。この場合は、仮想画像表示装置１００や仮想画像表示システム１０が有する撮像装置２００や、画像認識用のカメラアイを用いてユーザの指の動きや操作部材の操作状況を画像認識によって検出することでユーザが行った操作をリアルタイムに反映させることが可能である。この場合の反映にかかる時間や反映のエラー率は操作検出手部及び通信部を有するものに対して一般的には性能が劣るが、画像認識の性能によっては実用上遜色がないものにすることができる。

　図２５は、本発明に係る仮想画像表示システムを構成する仮想カメラの実施形態を示す正面側からの斜視図である。

　図２５（Ａ）に示す仮想カメラ２９０は、図２４に示した背面側からの仮想カメラ２９０を正面側から見た斜視図である。

　前述したように仮想カメラ２９０は、撮影レンズ、撮像素子等の撮像部を備えておらず、カメラ機能がないダミーカメラである。

　図２５（Ｂ）に示す仮想カメラ２９０Ｂは、スマートフォンに搭載されているような小型カメラ２９３Ｂを、グリップの前面であって、グリップを把持した手によって隠れない部分に内蔵している。

　この場合、ユーザ操作を検出する操作検出部に加えて、画像送信を含む通信部を有することで、ユーザが行った撮像装置２９０Ｂの各操作部材に対する操作内容及び小型カメラ２９３Ｂによって取得されたライブビュー画像等を、通信部を介して仮想画像表示装置１００（または仮想画像表示システム１０または後述するＸＲサーバ３００）に送信することができる。以降の流れは、後述するスマートフォンを併用する実施形態と同様である。

　また、仮想カメラ２９０Ｂは、カメラ付きグリップ部が備えているカメラ機能を使用した、現実の撮像装置として使用することができる。また、カメラ付きグリップ部のカメラ機能を使用する場合、カメラ付きグリップ部により撮影されるライブビュー画像に対して、後述するスマートフォンを使用する実施形態のように、仮想画像表示装置１００の内蔵カメラ１０１の視野画像ＩＭや、ＸＲサーバ３００から取得されるライブビュー画像によって補完や解像度強化、白飛び、黒つぶれ補正などを施して最終的な画像としてもよい。

　図２５（Ｃ）に示す仮想カメラ２９０Ｃは、画像認識用の小型カメラ２９３Ｃを、グリップの前面であって、グリップを把持した手によって隠れない部分に内蔵している。この小型カメラ２９３Ｃは、図２５（Ｂ）に示した小型カメラ２９３Ｂよりも解像度が低いものでもよい。

　仮想カメラ２９０Ｃは、操作を検出する操作検出部に加えて通信部を有するが、この場合の通信部は、画像送信を行うものでなくてもよい。通信部は画像送信を含まない場合は、ユーザが行った仮想カメラ２９０Ｃの各操作部材に対する操作内容及び、小型カメラ２９３Ｃによって取得された画像データを送信するのではなく、小型カメラ２９３によって取得された画像データから、画像認識などを用いて、仮想カメラ２９０Ｃが向けられている被写体の情報や、設定された画角の範囲情報などを数値化や文字化して、各操作部材に対する操作内容とともに通信部を介して仮想画像表示装置１００（または仮想画像表示システム１０またはＸＲサーバ３００）に送信することができる。これにより、画像送信を含む通信部に比べて小型、ローコストな構成にすることができる。以降の処理の流れに関しては、カメラ機能がないダミーカメラによる実施形態と、後述するスマートフォンを使用する実施形態との処理の組み合わせによって実現できるため、その説明は省略する。

　図２６は、本発明に係る仮想画像表示システムを構成する仮想カメラの他の実施形態を示す斜視図である。

　図２６に示す仮想カメラ２９２は、図２４に示した仮想カメラ２９０にスマートフォン２９１を合体させたものである。

　この仮想カメラ２９２は、カメラ機能を備えていない仮想カメラとして使用したり、スマートフォン２９１が備えているカメラ機能を使用した、現実の撮像装置として使用することができる。また、スマートフォン２９１のカメラ機能を使用する場合、スマートフォン２９１により撮影されるライブビュー画像に対して、後述するように仮想画像表示装置１００の内蔵カメラ１０１の視野画像ＩＭや、ＸＲサーバ３００から取得されるライブビュー画像によって補完や解像度強化、白飛び、黒つぶれ補正などを施して最終的な画像としてもよい。

　図２４に示した仮想カメラ２９０、及びスマートフォン２９１のカメラ機能を使用しない場合の仮想カメラ２９２は、ライブビュー画像を撮影することができないが、仮想の撮像部を設定することで、仮想カメラ２９０、２９２の画角に対応する画像（ライブビュー画像）を取得することができる。

　図２７は、仮想カメラが撮影するライブビュー画像の取得方法の実施形態を示す図である。

　前述したように仮想画像表示装置１００の内蔵カメラ１０１は、仮想カメラ２９０を含むユーザの視野に相当する視野画像ＩＭを撮影し、撮影した視野画像ＩＭを取得する。図２７において、Ｌ１は、内蔵カメラ１０１の光軸である。

　仮想カメラ２９０がカメラ機能を有する場合に撮影するライブビュー画像は、仮想カメラ２９０の３次元位置、姿勢（撮影方向）、及び画角により特定することができる。図２７において、Ｌ２は、仮想カメラ２９０において仮定した光軸であり、仮想カメラ２９０の３次元位置及び姿勢から求めることができる。

　仮想画像表示装置１００は、撮像装置２００と同様に、ＸＲディスプレイ１４０を基準にした仮想カメラ２９０の３次元位置及び姿勢を示す情報を取得することができる。

　したがって、仮想カメラ２９０の画角を設定すれば、仮想カメラ２９０の３次元位置及、姿勢及び画角により撮影されるライブビュー画像が、内蔵カメラ１０１により撮影される視野画像ＩＭのどの範囲に相当するかを求めることができる。

　即ち、仮想画像表示装置１００は、内蔵カメラ１０１が撮影した視野画像ＩＭから、仮想カメラ２９０の画角に対応する画像を切り出してライブビュー画像として取得することができる。尚、内蔵カメラ１０１の画角は、仮想カメラ２９０に設定する画角よりも広く、視野画像ＩＭは、仮想カメラ２９０が撮影するライブビュー画像を含むものとする。

　このように、仮想画像表示装置１００は、仮想カメラ２９０が仮に撮像部を有する場合に撮影することができるライブビュー画像を、内蔵カメラ１０１が撮影した視野画像ＩＭから取得することができる。

　仮想画像表示装置１００は、取得したライブビュー画像を幾何変換し、仮想カメラ２９０に対して設定した表示領域（例えば、仮想カメラ２９０であるグリップ部に隣接する領域）に表示させることができる。

　また、仮想画像表示装置１００は、図２６に示した仮想カメラ２９２の場合、取得したライブビュー画像を幾何変換し、仮想カメラ２９２のスマートフォン２９１の表示領域に重ね合わせて表示することができる。

　更に、仮想画像表示装置１００は、内蔵カメラ１０１が撮影した視野画像ＩＭを解析することで、仮想カメラ２９０におけるスイッチ類のユーザ操作（ジェスチャー）を検出することができ、スイッチ類のユーザ操作に基づく記録用の撮影、保存及びその他の処理を実施することができる。

　また、仮想カメラは、グリップ部だけのものに限らず、外観形状、大きさ、スイッチ類の配置や有無が異なる種々のものが考えられる。

　尚、本例の仮想カメラ２９０は、カメラ機能を備えていないが、本物のスイッチ類及び通信部等を備え、スイッチ類の操作情報は、仮想カメラ２９０に備えた簡易の通信部を介して仮想画像表示装置１００に送信するようにしてもよい。

　＜ＸＲディスプレイの第２実施形態＞
　図２８は、仮想画像表示装置のＸＲディスプレイの第２実施形態を示す図である。

　図２８に示すＸＲディスプレイ１４１は、視野を覆う没入型のディスプレイであって、ゴーグル型の仮想画像表示機能を有するウェアラブルデバイスであり、内蔵カメラ１０１、画像合成部１４３、表示素子１４５、及び光学系１４７から構成されている。

　内蔵カメラ１０１が撮影した撮影画像（視野画像ＩＭ）は、画像合成部１４３に出力される。

　画像合成部１４３の他の入力には、幾何変換されたライブビュー画像ＬＶ１が加えられており、画像合成部１４３は、視野画像ＩＭに含まれるカメラ画像の表示領域にライブビュー画像ＬＶ１を合成し（貼り付け）、表示素子１４５に出力する。

　表示素子１４５は、ライブビュー画像ＬＶ１が合成された視野画像ＩＭを表示する。この視野画像ＩＭは、光学系１４７によりユーザの目の前の表示位置において、虚像として表示される。

　ゴーグル型のＸＲディスプレイ１４１を装着したユーザは、光学系１４７を通じて表示素子１４５に表示された視野画像ＩＭの虚像を視認することができる。ユーザは、ゴーグル型のＸＲディスプレイ１４１により視野が覆われるため、視野画像ＩＭ以外を見ることができず、非現実の世界に深く没入することができる。

　尚、図２８では、１つのＸＲディスプレイ１４１のみを示したが、ゴーグル型の場合、両目に対応する左右一対のＸＲディスプレイ１４１を備える。したがって、内蔵カメラ１０１等もそれぞれ左右に設けられ、ライブビュー画像ＬＶ１も左右用のライブビュー画像が生成されることになる。

　［仮想画像表示システムの第２実施形態］
　図２９は、本発明に係る仮想画像表示システムの第２実施形態を示すブロック図である。

　図２９に示す仮想画像表示システム１１は、仮想画像表示装置１８０、仮想カメラ２９０、及びサーバ（ＸＲサーバ）３００から構成されている。

　仮想画像表示装置１８０は、図６に示した仮想画像表示装置１００とほぼ共通するが、ＸＲサーバ３００との間で必要な情報を送受信する点で、仮想画像表示装置１００と相違する。

　図２９において、ＸＲサーバ３００は、実空間の３次元情報を有する３次元画像（ＸＲ空間構築データ）を管理するデータベース（ＤＢ：database）３０２を備える。

　ＸＲサーバ３００は、実空間に配置された多視点カメラ３２０、監視カメラ３３０、ドライブレコーダ３４０、ドローンカメラ３１０、又は携帯端末カメラを含む多数のカメラにより撮影された画像を収集し、最新のＸＲ空間構築データを生成してデータベース３０２にて管理している。

　データベース３０２は、街区、都市、商店街、観光地等をデジタル化し、ＸＲ空間構築データとして管理する。また、複数のＸＲサーバ３００を連携させ、より広域のＸＲ空間構築データを管理することが好ましい。

　仮想画像表示装置１８０のＸＲプロセッサ１１１は、図６に示した仮想画像表示装置１００のＸＲプロセッサ１１０と同様の機能を備えるが、更に仮想カメラ２９０の３次元位置、姿勢、及び画角を示す情報（第１情報）に基づいて、ＸＲサーバ３００が管理しているＸＲ空間構築データから、仮想カメラ２９０の撮影領域に対応するＸＲ空間構築データを切り出し、切り出した３次元のＸＲ空間構築データを２次元画像に変換し、この２次元画像をライブビュー画像として使用する。

　ＸＲプロセッサ１１１は、データベース３０２から読み出した３次元のＸＲ空間構築データを、仮想カメラ２９０の３次元位置及び姿勢（撮影方向）に基づいて、仮想カメラ２９０のカメラ内部パラメータ（本例では、予め設定した画角又は焦点距離）を使用して透視投影変換することで２次元画像に変換し、これをライブビュー画像ＬＶとする。

　また、ＸＲプロセッサ１１１は、内蔵カメラ１０１が撮影した視野画像ＩＭを解析して仮想カメラ２９０の表示領域を特定し、ライブビュー画像ＬＶを、仮想カメラ２９０の表示領域に重ね合わせる際に使用する変換情報を取得し、取得した変換情報に基づいてライブビュー画像ＬＶを幾何変換するが、仮想画像表示装置１８０のＸＲディスプレイ１４０と仮想カメラ２９０との相対的な３次元位置及び姿勢に基づいて変換情報を取得し、かつＸＲディスプレイにて視野画像ＩＭを使用しない場合には、内蔵カメラ１０１は省略することができる。ＸＲプロセッサ１１１は、周囲にいる他の人の撮像装置から送信される画像データを用いてより良いライブビュー画像を生成するようにしてもよい。

　また、ＸＲサーバ３００は、最新のＸＲ空間構築データを生成する際に、多視点カメラ３２０等の画像として現在画像だけでなく過去に記録した画像も用い複数の画像のコンポジット合成によって単体よりも高画質のＸＲ空間構築データを構築することが好ましい。複数の画像を用いて、わずかな画素のずれを利用して加工及び合成することによって画像の画素数を増やすことができる。

　複数の画像を用いて、補完画像を作成する際に、白飛び、黒つぶれなどの相互補完を行い、画像データの得られない、または品質の悪い部分を補完し、更に品質の悪い部分を補完する際に、光の強弱によって発生する明暗の上下関係が逆転しないように補完画像の明るさを補正することが好ましい。更に、補完画像の明るさを補正する際に、全体の表示ラチチュード（印刷ラチチュードの中）に納まるようにガンマカーブを補正し、あるいは全体の印刷ラチチュードの中に納まるように印刷パラメータカーブを補正することが好ましい。

　主被写体画像と合成する際に、明るさ、光線方向、色温度、ガンマカーブ（印刷パラメータ）を多視点カメラ３２０等の画像に合わせる補正を行うことが好ましい。更に、多視点カメラ３２０の過去画像及び現在画像から主要被写体以外を画像合成する場合、現在画像から天気や時刻等の変化する条件を検出し、検出した天気や時刻等の変化する条件に合わせて、過去画像やＸＲ空間構築データを変換して合成することが好ましい。

　また、ＸＲサーバ３００は、ＸＲ空間構築データに仮想オブジェクト画像を合成するようにしてもよい。例えば、ＸＲサーバ３００は、ＸＲ空間構築データが人物の画像を含んでいる場合、その人物を模したアバターの画像に変換し、人物の画像に代えてアバターの画像に変更することができる。また、ＸＲサーバ３００は、人物の画像から人物を特定し、かつ特定した人物が自分のアバターの画像をＸＲサーバ３００に登録している場合には、人物の画像を登録されたアバターの画像に変更することができる。

　これにより、仮想画像表示装置１８０は、ＸＲサーバ３００からアバターの画像を含むライブビュー画像ＬＶを取得することができる。

　尚、自分が入っている画像が他者によって使用される場合が考えられるが、この場合には、その旨を仮想画像表示装置１００にて報知し、又は警告することが好ましい。また、自分が入っている画像の許可／不許可の設定が可能であり、許可に設定されている場合には報知等は省略することができる。

　また、自分が入っている画像が他者によって使用される場合、不許可に設定されている場合には、その旨を相手に報知し、警告し、又は相手の撮影をロックする信号を送信し、あるいは自分の画像部分にモザイクを掛けさせる信号、相手側の画像を生成させない生成禁止信号を送信することができる。相手側の装置は、生成禁止信号を受信すると、禁止被写体の画像を生成しない（消す、背景で塗り潰す等）ように画像処理を行うことが好ましい。

　更に、この実施形態では、仮想画像表示装置１８０が、ＸＲサーバ３００からライブビュー画像ＬＶを取得するようにしているが、これに限らず、仮想画像表示装置１８０は、ライブビュー画像ＬＶの抽出に必要な情報をＸＲサーバ３００に送信し、ＸＲサーバ３００がライブビュー画像ＬＶを取得し、仮想画像表示装置１８０に送信するようにしてもよいし、ライブビュー画像ＬＶを幾何変換し、幾何変換したライブビュー画像ＬＶ１を仮想画像表示装置１００に送信するようにしてもよい。

　また、ＸＲサーバ３０は、ＸＲディスプレイ１４０の視野範囲を示す情報を取得することで、ライブビュー画像ＬＶを取得する方法と同様にして視野画像ＩＭを取得し、仮想画像表示装置１００に送信するようにしてもよい。

　更にまた、この実施形態では、仮想カメラ２９０を使用しているが、撮像装置２００を使用する場合にも適用できる。この場合、撮像装置２００がＸＲ環境で使用されている場合、撮像装置２００はライブビュー画像を撮影せず、ＸＲサーバ３００から取得することになる。

　また、ＸＲサーバ３００のデータベース３０２には、最新のＸＲ空間構築データが登録されるが、必ずしもリアルタイムのＸＲ空間構築データではないため、最新のＸＲ空間構築データから生成されるライブビュー画像ＬＶも必ずしもリアルタイムの画像ではない。

　したがって、仮想画像表示装置１８０は、例えば、内蔵カメラ１０１で撮影される視野画像ＩＭと明るさや色味に合わせて、ライブビュー画像ＬＶの明るさや色味を調整することが好ましい。

　尚、仮想カメラ２９０の姿勢は、仮想カメラ２９０を手に持ってユーザが任意に操作することができるが、仮想カメラ２９０の３次元位置も現実の位置ではなく、ユーザ操作により任意の位置に変更可能にすることにより、ユーザは、自宅に居ながら観光地等の撮影を楽しむことができる。

　［仮想画像表示方法の第１実施形態］
　図３０は、本発明に係る仮想画像表示方法の第１実施形態を示すフローチャートである。

　図３０に示す第１実施形態の仮想画像表示方法は、仮想画像表示装置１００により行われ、主として図６に示した仮想画像表示装置１００のＸＲプロセッサ１１０により行われる方法である。

　図３０において、ＸＲプロセッサ１１０は、内蔵カメラ１０１により撮影した視野画像ＩＭを取得する（ステップＳ１００）。

　ＸＲプロセッサ１１０は、視野画像ＩＭを解析して、視野画像ＩＭに含まれる撮像装置２００を示すカメラ画像を抽出する（ステップＳ１０２）。撮像装置２００を手に持って撮像装置２００によりライブビュー画像を撮影する場合、図９に示すように内蔵カメラ１０１により撮影される視野画像ＩＭには、通常、撮像装置２００を示すカメラ画像が含まれている。

　ＸＲプロセッサ１１０は、抽出したカメラ画像から撮像装置２００が、ＸＲ対応カメラか否かを判別する（ステップＳ１０４）。この判別は、例えば、抽出したカメラ画像と第１メモリ１２０に予め保存されたＸＲ対応カメラの外観データとを比較することにより行うことができる。また、撮像装置２００に設けられたＡＲマーカＭが、予め登録されたＡＲマーカＭと一致するか否かにより判別することができる。

　ＸＲプロセッサ１１０は、内蔵カメラ１０１により撮影された撮像装置２００がＸＲ対応カメラであると判別すると（「Yes」の場合）、続いて撮像装置２００がＸＲモードか、又は非ＸＲモードかを検出する（ステップＳ１０６）。

　ＸＲモード／非ＸＲモードの検出は、撮像装置２００がＸＲモードに設定され、メインモニタ２４１又はサブモニタ２４２にＡＲマーカＭを表示する場合には、そのＡＲマーカＭを検出することで行うことができる。また、撮像装置２００が専用のモード切替えレバーを有している場合、モード切替えレバーの位置を画像認識することで行うことができる。更に、視野画像ＩＭからカメラ画像が抽出された場合に、ＸＲプロセッサ１１０は、仮想画像表示装置１００から自動的に撮像装置２００に対して無線接続し、撮像装置２００との通信結果に基づいてＸＲモード／非ＸＲモードの検出を行うことができる。例えば、仮想画像表示装置１００からの発呼に対して撮像装置２００から応答がない場合には、撮像装置２００はＸＲモードに設定されていないと判別することができる。

　ステップＳ１０８において、ＸＲモード／非ＸＲモードの検出結果から、撮像装置２００がＸＲモードに設定されていないと判別されると（「No」の場合）、ＸＲプロセッサ１１０は、仮想画像表示装置１００（スマートグラス）におけるライブビュー画像の重ね合わせ合成機能をＯＦＦにし（ステップＳ１１０）、ステップＳ１００に戻る。これにより、ユーザは、スマートグラスを透過する現実世界のみを見ることができる。

　一方、ステップＳ１０８において、ＸＲモード／非ＸＲモードの検出結果から、撮像装置２００がＸＲモードに設定されていると判別されると（「Yes」の場合）、抽出したカメラ画像に基づいて撮像装置２００の表示領域Ａ（図１０参照）を特定する。表示領域Ａの特定は、モニタパネル２４０の四角形の輪郭を検出し、あるいは撮像装置２００に付されたＡＲマーカＭ２～Ｍ４を検出することで行うことができる。

　次に、ＸＲプロセッサ１１０は、ライブビュー画像ＬＶを、撮像装置２００の表示領域Ａに重ね合わせる際にしようする変換情報を取得する。ライブビュー画像ＬＶをアフィン変換して表示領域Ａに重ね合わせる場合には、アフィン変換のパラメータ（変換行列）を変換情報として取得し、ライブビュー画像ＬＶを射影変換して表示領域Ａに重ね合わせる場合には、射影変換の変換行列を変換情報として取得する。尚、変換行列は、ライブビュー画像ＬＶの複数の特徴点の座標と、複数の特徴点に対応する表示領域Ａにおける複数の対応点の座標から求めることができる。

　続いて、ＸＲプロセッサ１１０は、撮像装置２００からライブビュー画像ＬＶを受信する（ステップＳ１１６）。ライブビュー画像ＬＶは連続データであるが、ステップＳ１１６では、１フレーム分の画像データを受信する。

　ＸＲプロセッサ１１０は、ステップＳ１１４で取得した変換情報に基づいて、ライブビュー画像ＬＶ（１フレームの画像データ）を幾何変換し、幾何変換したライブビュー画像ＬＶ１をＸＲディスプレイ１４０に出力する（ステップＳ１１８）。

　ＸＲディスプレイ１４０は、図１１に示すように幾何変換されたライブビュー画像ＬＶ１を入力して表示素子１４４に表示する（ステップＳ１２０）。ユーザは、ＸＲディスプレイ１４０の光学系１４６を通じて現実世界（撮像装置２００の表示領域Ａ）に重ね合わされたライブビュー画像ＬＶ１を視認することができる。

　ＸＲプロセッサ１１０は、ＸＲディスプレイ１４０によるライブビュー画像ＬＶ１の画像表示を終了する否かを判別する（ステップＳ１２２）。画像表示を終了させない場合には、ステップＳ１００に遷移させ、ステップＳ１００からステップＳ１２２の処理を、ライブビュー画像ＬＶの１フレーム毎に繰り返す。画像表示を終了させない場合には、仮想画像表示装置１００による処理を終了させる。

　［撮像装置による表示方法］
　図３１は、本発明に係る撮像装置による表示方法を示すフローチャートである。

　尚、図３０に示す撮像装置による表示方法は、主として図７に示した撮像装置２００のカメラプロセッサ２１０により行われる方法である。

　図３１において、カメラプロセッサ２１０は、まず、モード切替え部によりＸＲモードが設定されているか否かを判別する（ステップＳ２００）。

　ユーザは、明るい場所などでメインモニタ２４１が見えにくい場合、実際のメインモニタ２４１よりも大きく仮想モニタにライブビュー画像ＬＶ１を表示したい場合、あるいはアバターを含む各種の仮想オブジェクトを撮影したい場合にＸＲモードを設定し、より自然な使い勝手を優先させ、現実のメインモニタ２４１に表示されるライブビュー画像等を観察したい場合に非ＸＲモードに設定することで、ＸＲモードと非ＸＲモードのメリット／デメリットに応じて撮像装置２００を使い分けることができる。

　ステップＳ２００において、ＸＲモードが設定されていると判別されると（「Yes」の場合）、カメラプロセッサ２１０は、閉じているモニタパネル２４０のサブモニタ２４２にＡＲマーカＭを表示させる。このＡＲマーカＭは、ライブビュー画像ＬＶ１の表示領域Ａを特定するマーカとして利用することができ、及び／又は他の撮像装置と区別するためのカメラ識別情報として利用することができる。

　続いて、カメラプロセッサ２１０は、撮像部２０１により撮影され、ＲＡＷ現像処理されたライブビュー画像ＬＶを、第２通信部２６０を介して仮想画像表示装置１００に送信する（ステップＳ２２０）。

　一方、ステップＳ２００において、ＸＲモードが設定されていないと判別されると（非ＸＲモードの場合）には、カメラプロセッサ２１０は、チルト可能なモニタパネル２４０が開いているか否かを判別する（ステップＳ２３０）。モニタパネル２４０が開いていると判別すると、カメラプロセッサ２１０は、撮像部２０１により撮影され、ＲＡＷ現像処理されたライブビュー画像ＬＶをメインモニタ２４１に出力し、メインモニタ２４１にライブビュー画像ＬＶ１を表示させる。これにより、ユーザは、メインモニタ２４１に表示されたライブビュー画像ＬＶにより現在の撮影範囲等を確認することができる。

　一方、モニタパネル２４０が開いていないと判別すると（「No」の場合）、カメラプロセッサ２１０は、続いてハイブリッドファインダであるビューファインダ２４３が、ＥＶＦに切り替えられているか、又はＯＶＦに切り替えられているかを判別する（ステップＳ２５０）。この判別は、ファインダ切替えレバーのユーザ操作に基づいて行うことができる。

　カメラプロセッサ２１０は、ビューファインダ２４３がＥＶＦに切り替えられている場合には、ＥＶＦにライブビュー画像ＬＶ１を表示させる（ステップＳ２６０）。一方、ビューファインダ２４３がＯＶＦに切り替えられている場合には、ＯＶＦに光学像（ファインダ像）が表示される（ステップＳ２７０）。この場合、ライブビュー画像ＬＶ１を生成する処理は停止させることができる。

　ユーザは、ビューファインダ２４３の接眼部を覗くことで、ＥＶＦに表示されたライブビュー画像ＬＶ１、又はＯＶＦに表示されるファインダ像を確認することができる。

　［仮想画像表示方法の第２実施形態］
　図３２は、本発明に係る仮想画像表示方法の第２実施形態を示すフローチャートである。

　図３２に示す第２実施形態の仮想画像表示方法は、図３０に示した第１実施形態と同様に、主として図６に示した仮想画像表示装置１００のＸＲプロセッサ１１０により行われる方法である。

　図３２において、ＸＲプロセッサ１１０は、まず、撮像装置２００の確認を行う（ステップＳ３００）。

　図３３は、図３２に示した撮像装置の確認を行うステップＳ３００の処理の実施形態を示すサブルーチンである。

　図３３において、ＸＲプロセッサ１１０は、内蔵カメラ１０１により撮影した視野画像ＩＭを取得し（ステップＳ３０１）、視野画像ＩＭに存在する撮像装置２００のカメラ画像を抽出する（ステップＳ３０２）。

　続いて、ＸＲプロセッサ１１０は、カメラ画像を画像解析し、ＡＲマーカＭの抽出処理を行う（ステップＳ３０３）。本例のＸＲ対応カメラである撮像装置２００には、ＡＲマーカＭが付されているため、ＡＲマーカＭの有無から撮像装置２００の有無の確認が可能である。

　ステップＳ３０４において、ＡＲマーカＭの「有り」が判別されると（「Yes」の場合）、ステップＳ３０５に遷移し、ここで、ＸＲプロセッサ１１０は、ＡＲマーカＭを有する対象機器との通信を開始する。

　続いて、ＸＲプロセッサ１１０は、対象機器がユーザの撮像装置２００であるか否かを通信により確認する（ステップＳ３０６）。ＸＲプロセッサ１１０は、例えば、一度、ペアリングした機器同士か否か確認することで、対象機器がユーザの撮像装置２００であるか否かを確認することができる。尚、仮想画像表示装置１００とユーザの撮像装置２００とは、公知の方法によりペアリングすることができる。

　ステップＳ３０７において、対象機器がユーザの撮像装置２００であると判別されると（「Yes」の場合）、ＸＲプロセッサ１１０は、視野画像ＩＭに含まれるカメラ画像が、ユーザの撮像装置２００であると確認する（ステップＳ３０８）。

　一方、ステップＳ３０４において、視野画像ＩＭ（カメラ画像）内にＡＲマーカＭが無いと判別され（「No」の場合）、又はステップＳ３０７において、対象機器がユーザの撮像装置２００ではないと判別されると（「No」の場合）、ＸＲプロセッサ１１０は、ユーザの撮像装置２００を確認することができなかった（未確認）とする（ステップＳ３０９）。

　図３２に戻って、ステップＳ３１０において、ユーザの撮像装置２００の存在の確認がとれると（「Yes」の場合）、ＸＲプロセッサ１１０は、撮像装置２００がＸＲモードか否かを判別する（ステップＳ３１２）。ＸＲモードの判別方法は、前述した方法と同様に行うことができるため、ここではその説明は省略する。

　ステップＳ３１２において、撮像装置２００がＸＲモードに設定されていると判別された場合（「Yes」の場合）、ＸＲプロセッサ１１０は、撮像装置２００の表示領域Ａに、ライブビュー画像を重ね合わせて表示すべきか、再生画像を重ね合わせて表示すべきか、又は撮影情報ＩＮＦＯを重ね合わせて表示すべきかを確認する（ステップＳ３１４）。

　撮像装置２００は、ＸＲ環境で使用する場合において、ライブビュー画像、再生画像、又は撮影情報ＩＮＦＯのいずれを、撮像装置２００の表示領域Ａに表示させるかのユーザ指示を受け付けることができ、受け付けたユーザ指示に対応する情報（ライブビュー画像、再生画像、又は撮影情報ＩＮＦＯ）を仮想画像表示装置１００に送信する。

　したがって、ＸＲプロセッサ１１０は、撮像装置２００から受信した情報（ライブビュー画像等）に基づいて、撮像装置２００の表示領域Ａに、ライブビュー画像を重ね合わせて表示すべきか、再生画像を重ね合わせて表示すべきか、又は撮影情報ＩＮＦＯを重ね合わせて表示すべきかを確認することができる。

　ステップＳ３１８において、ライブビュー画像を表示すると判別されると、ＸＲプロセッサ１１０は、ステップＳ３２０に遷移させ、撮像装置２００から受信したライブビュー画像をＸＲディスプレイ１４０に重ね合わせ表示する。

　図３４は、図３２に示したライブビュー画像ＬＶ１の重ね合わせ表示を行うステップＳ３２００の処理の実施形態を示すサブルーチンである。

　図３４において、ＸＲプロセッサ１１０は、撮像装置２００からライブビュー画像ＬＶを受信する（ステップＳ３２１）。

　続いて、ＸＲプロセッサ１１０は、受信したライブビュー画像ＬＶに対応する撮影情報ＩＮＦＯを取得する（ステップＳ３２２）。ここで、撮影情報ＩＮＦＯは、例えば、テキスト情報であり、ライブビュー画像ＬＶの１フレーム又は複数フレーム毎に対応付けられた付属情報である。

　ステップＳ３２３において、撮影情報ＩＮＦＯの「有り」が判別されると（「Yes」の場合）、ＸＲプロセッサ１１０は、ステップＳ３２４に遷移させ、ここで、ライブビュー画像ＬＶの周辺領域に撮影情報ＩＮＦＯを合成する（ステップＳ３２４）。

　一方、ステップＳ３２３において、撮影情報ＩＮＦＯの「無し」が判別されると（「No」の場合）、ＸＲプロセッサ１１０は、ステップＳ３２４を飛ばしてステップＳ３２５に遷移させる。

　尚、ＸＲプロセッサ１１０は、撮影情報ＩＮＦＯを取得しも、撮影情報ＩＮＦＯの受け渡し情報が、「非表示」を表す情報を含む場合には、撮影情報ＩＮＦＯ「無し」と判別し、ステップＳ３２４を飛ばしてステップＳ３２５に遷移させる。また、ＸＲサーバ３００から取得したデータを元に撮像装置２００の操作によってライブビュー画像を作り出す場合において、そのライブビュー画像の撮影情報ＩＮＦＯを取得しても、撮像装置２００の操作により生成されたライブビュー画像の撮影情報ＩＮＦＯである場合には、撮影情報ＩＮＦＯ「無し」と判別し、ステップＳ３２４を飛ばしてステップＳ３２５に遷移させる。

　ステップＳ３２５において、ＸＲプロセッサ１１０は、内蔵カメラ１０１から視野画像ＩＭを取得し、取得した視野画像ＩＭに基づいて撮像装置２００上の複数のＡＲマーカＭの位置を検出する。

　その後、ＸＲプロセッサ１１０は、ステップＳ３２６～Ｓ３２９の処理を行うことで、ＸＲディスプレイ１４０により観察される撮像装置２００の表示領域Ａにライブビュー画像ＬＶ１を重ね合わせて表示する。尚、ステップＳ３２６～Ｓ３２９の処理は、図３０に示したフローチャートのステップＳ１１２、Ｓ１１４、Ｓ１１８，及びＳ１２０の処理と同様であるため、その詳細な説明は省略する。

　図３２に戻って、ステップＳ３１８において、撮影情報表示と判別されると、ＸＲプロセッサ１１０は、ステップＳ３３０に遷移させ、撮像装置２００から受信した撮影情報ＩＮＦＯをＸＲディスプレイ１４０に重ね合わせ表示する。

　図３５は、図３２に示した撮影情報ＩＮＦＯの重ね合わせ表示を行うステップＳ３３０の処理の実施形態を示すサブルーチンである。

　図３５において、ＸＲプロセッサ１１０は、仮想画像表示装置１００におけるライブビュー画像ＬＶ１の重ね合わせ表示機能をＯＦＦにし、撮影情報ＩＮＦＯの重ね合わせ表示機能をＯＮにする（ステップＳ３３１）。

　続いて、ＸＲプロセッサ１１０は、撮像装置２００からテキストデータの撮影情報ＩＮＦＯを受信する（ステップＳ３３２）。

　ＸＲプロセッサ１１０は、受信した撮影情報ＩＮＦＯから撮影情報ＩＮＦＯを示す撮影情報画像（ラスター画像又はベクター画像）を生成する（ステップＳ３３３）。

　その後、ＸＲプロセッサ１１０は、ステップＳ３３４～Ｓ３３８の処理を行うことで、ＸＲディスプレイ１４０により観察される撮像装置２００の表示領域Ａに撮影情報ＩＮＦＯを示す撮影情報画像を重ね合わせて表示する。尚、ステップＳ３３４～Ｓ３３８の処理は、図３４に示したフローチャートのステップＳ３２５～３２９の処理とは、ライブビュー画像ＬＶ１の代わりに撮影情報画像を表示する点で相違する（即ち、表示する画像が相違する）が、その他の処理は共通するため、その詳細な説明は省略する。

　図３２に戻って、ステップＳ３１８において、再生画像表示と判別されると、ＸＲプロセッサ１１０は、ステップＳ３４０に遷移させ、撮像装置２００から受信した再生画像をＸＲディスプレイ１４０に重ね合わせ表示する。

　図３６は、図３２に示した再生画像の重ね合わせ表示を行うステップＳ３４０の処理の実施形態を示すサブルーチンである。

　図３６において、撮像装置２００のカメラプロセッサ２１０は、撮像装置２００において選択された再生画像は、撮像装置２００の画像（撮像装置２００の第２メモリ２２０に記録された撮影画像）か、又は図示しないネットワーク上の画像（ネットワーク上のサーバで管理されているユーザの画像）か、を識別する（ステップＳ２８０）。尚、この場合の撮像装置２００は、ネットワークと接続可能であり、ネットワーク上のサーバに撮影画像を保存し、又はサーバから撮影画像を読み出すことができるものとする。

　ステップＳ２８１において、撮像装置２００内の画像と判別されると、カメラプロセッサ２１０は、ユーザ操作にしたがって撮像装置２００の第２メモリ２２０から再生画像を読み出す（ステップＳ２８２）。尚、内蔵メモリである第２メモリ２２０の代わりに、撮像装置２００に着脱自在なメモリカードから再生画像を読み出すようにしてもよい。

　一方、ステップＳ２８１において、ネットワーク上の画像と判別されると、カメラプロセッサ２１０は、ユーザ操作にしたがってネットワークに保存されたユーザの画像群から再生画像を読み出す（ステップＳ２８３）。

　カメラプロセッサ２１０は、ステップＳ２８２又はＳ２８３で読み出した再生画像を仮想画像表示装置１００に送信する（ステップＳ２８４）。

　上記ステップＳ２８０～Ｓ２８４の処理は、撮像装置２００での処理であり、以下の各処理が、仮想画像表示装置１００による処理である。

　仮想画像表示装置１００のＸＲプロセッサ１１０は、撮像装置２００から送信された再生画像を受信する（ステップＳ３４１）。

　その後、ＸＲプロセッサ１１０は、ステップＳ３４２～Ｓ３４６の処理を行うことで、ＸＲディスプレイ１４０により観察される撮像装置２００の表示領域Ａに再生画像を重ね合わせて表示する。尚、ステップＳ３４２～Ｓ３４６の処理は、図３４に示したフローチャートのステップＳ３２５～３２９の処理とは、ライブビュー画像ＬＶ１の代わりに再生画像を表示する点で相違する（即ち、表示する画像が相違する）が、その他の処理は共通するため、その詳細な説明は省略する。

　このようにして仮想画像表示装置１００は、ＸＲディスプレイ１４０により観察される撮像装置２００の表示領域Ａにライブビュー画像ＬＶ１、撮影情報ＩＮＦＯ、又は再生画像を重ね合わせ表示することができ、仮想画像表示装置１００（スマートグラス）を装着したユーザは、スマートグラスを透過する現実世界に重ね合わされたライブビュー画像ＬＶ１等を視認することができる。

　＜撮像装置の外観変更方法＞
　図３７は、撮像装置の外観変更方法の実施形態を示すフローチャートである。

　図３７に示す撮像装置２００の外観変更方法は、主として図６に示した仮想画像表示装置１００のＸＲプロセッサ１１０により行われる方法である。

　尚、本例の撮像装置２００の外観変更方法は、物理的に撮像装置２００の外観を変更するのではなく、仮想画像表示装置１００（スマートグラス）により観察される撮像装置２００の外観を画像上で変更するものである。

　図３７において、ＸＲプロセッサ１１０は、内蔵カメラ１０１により撮影した視野画像ＩＭを取得し（ステップＳ３５０）、視野画像ＩＭに存在する撮像装置２００のカメラ画像を抽出する（ステップＳ３５２）。

　ＸＲプロセッサ１１０は、抽出したカメラ画像から撮像装置２００が、ＸＲ対応カメラか否かを判別する（ステップＳ３５４）。この判別は、例えば、抽出したカメラ画像と第１メモリ１２０に予め保存されたＸＲ対応カメラの外観データとを比較することにより行うことができる。

　ステップＳ３５４において、内蔵カメラ１０１により撮影された撮像装置２００がＸＲ対応カメラであると判別されると（「Yes」の場合）、ＸＲプロセッサ１１０は、撮像装置２００のＸＲ対応データを取得する（ステップＳ３５６）。ＸＲ対応データは、撮像装置２００の交換レンズ部、皮革外装部、操作ダイヤル部、上部外装部、ファインダ部、モニタ部等の外観形状を示すデータを含む。

　一方、ステップＳ３５４において、内蔵カメラ１０１により撮影された撮像装置２００がＸＲ対応カメラでないと判別されると（「No」の場合）、ＸＲプロセッサ１１０は、仮想画像表示装置１００（スマートグラス）におけるライブビュー画像の重ね合わせ合成機能をＯＦＦにし（ステップＳ３５８）、ステップＳ３５０に戻る。これにより、ユーザは、スマートグラスを透過する現実世界のみ（実物の撮像装置２００）を見ることができる。

　次に、ＸＲプロセッサ１１０は、ステップＳ３５２により抽出したカメラ画像と、ステップＳ３５６で取得したＸＲ対応データに基づいて、カメラ画像を分割した複数の領域を表示領域として特定する（ステップＳ３６０）。即ち、ＸＲ対応データに対応する、交換レンズ部、皮革外装部、操作ダイヤル部、上部外装部、ファインダ部、モニタ部等の領域を表示領域として特定する。

　続いて、ＸＲプロセッサ１１０は、ユーザの選択操作に基づいて撮像装置２００における複数の表示領域のうちの１以上の表示領域に合成する部品画像を取得する（ステップＳ３６２）。仮想画像表示装置１００の第１メモリ１２０には、撮像装置２００の外観を複数の領域に分割した分割領域毎に外観を示す部品画像（仮想オブジェクト画像）が記憶されており、ユーザは、第１メモリ１２０に記憶された複数の部品画像をメインモニタ２４１に表示させ、操作部２３０により表示領域に合成する部品画像を選択することができる。尚、部品画像は、部品の３次元モデルの表面に画像が貼り付けられたものとすることができる。

　ＸＲプロセッサ１１０は、３次元の部品画像をその部品画像に対応する２次元の表示領域に重ね合わせる際に使用する変換情報を取得する（ステップＳ３６４）。部品画像の３次元データは既知であり、表示領域の２次元データも検出することができるため、３次元の部品画像を対応する表示領域に合致するように投影する変換情報は取得することができる。

　ＸＲプロセッサ１１０は、ステップＳ３６４で取得した変換情報に基づいて部品画像を幾何変換し、幾何変換した部品画像をＸＲディスプレイ１４０に出力する（ステップＳ３６６）。

　ＸＲディスプレイ１４０は、幾何変換された部品画像を入力して表示素子１４４に表示することで、部品画像を撮像装置２００の表示領域に重ね合わせ表示する（ステップＳ３６８）。ユーザは、ＸＲディスプレイ１４０の光学系１４６を通じて現実世界（撮像装置２００の表示領域）に重ね合わされた部品画像（外観を変更するスキン）を視認することができる。即ち、ユーザは自分好みの外観を有する、オリジナルの撮像装置にすることができる。また、１つの撮像装置を何通りもの外観で使い分けることができる。

　尚、撮像装置の外観を変更しつつ、撮像装置のモニタ部の表示領域にライブビュー画像ＬＶ１等を重ね合わせ表示することができることは言うまでもない。

　［その他］
　本実施形態の撮像装置２００は、ＸＲモードが設定された場合において、自撮り撮影を行うことができる。この場合、撮像装置２００の前面に設定した表示領域、又は１８０°回動させたモニタパネル２４０のサブモニタ２４２側の表示領域Ａに、ライブビュー画像ＬＶ１を表示させることができる。また、ユーザは、スマートグラスやＶＲゴーグルを装着しているが、ユーザの顔領域にはアバターの顔画像を合成することが好ましい。

　また、撮像装置２００は、非ＸＲ環境において、メインモニタ２４１にライブビュー画像ＬＶに撮影情報ＩＮＦＯを合成して表示させる表示態様と、メインモニタ２４１にライブビュー画像ＬＶのみを表示させる表示態様と、撮影情報ＩＮＦＯのみを表示させる表示態様と、表示／戻るボタン２４７を押す毎に切り替える機能を有するが、仮想画像表示装置１００は、撮像装置２００をＸＲ環境で使用する場合、非ＸＲ環境で設定された表示態様に合わせてライブビュー画像ＬＶ１等を表示させることが好ましい。

　仮想画像表示装置１００のＸＲプロセッサ１１０は、内蔵カメラ１０１により取り込んだ視野画像ＩＭの明るさ情報に応じて、撮像装置２００の表示領域Ａが明るい時は明るく、暗い時は暗くなるように、合成するライブビュー画像ＬＶ１の明るさを変化させることが好ましく、白飛びや黒つぶれが生じる明るさの場合は白飛びや黒つぶれが生じないようにあらかじめ設定された閾値を超えない範囲でライブビュー画像ＬＶ１の明るさを制御することが好ましい。

　更に、本実施形態において、例えば、ＣＰＵ（Central Processing Unit）等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　更に、本発明は上述した実施形態を複数備え、本発明の撮影装置、またはシステムを適用できるものであれば、選択的、または両立に作用する変形が可能であることは言うまでもない。

　また、仮想画像表示装置の「第１ディスプレイ」は、メガネ型又はゴーグル型の仮想画像表示機能を有するウェアラブルデバイスであり、ＨＭＤデバイスや透過型スマートグラスを用いて仮想画像を含む映像を提供しているが、それ以外の方法（例えば、スマートグラス等に内蔵された網膜投影装置や、第1ディスプレイのディスプレイ方式としてプロジェクターを使用することにより、プロジェクションマッピングの原理によって仮想画像を表示する方法など、本発明の撮影装置、またはシステムを適用でき、本発明の本質である表示を実現できるものであれば、第1ディスプレイとしての表示部は如何なるものでもよい。

　更に、本実施形態では、仮想画像表示装置１００が、ライブビュー画像ＬＶを幾何変換し、幾何変換したライブビュー画像ＬＶ１をＸＲディスプレイ１４０に出力するが、仮想画像表示装置１００は、前述したようにＸＲサーバ３００から幾何変換されたライブビュー画像ＬＶ１を取得してもよいし、撮像装置２００から幾何変換されたライブビュー画像ＬＶ１を取得するようにしてもよい。この場合、撮像装置２００は、ライブビュー画像ＬＶを幾何変換する処理を行うために、仮想画像表示装置１００から視野画像ＩＭを取得し、又は仮想画像表示装置１００と撮像装置２００との相対的な３次元位置及び姿勢の情報を取得する必要がある。

　また、仮想画像表示装置１００は、撮像装置２００がＸＲ環境で使用される場合（ＸＲモードが設定されている場合）に、ＸＲディスプレイ１４０にて撮像装置１００の表示領域にライブビュー画像ＬＶ１を重ね合わせて表示させるが、撮像装置２００が非ＸＲ環境（通常の環境）で使用される場合（非ＸＲモードが設定されている場合）にも、仮想画像表示装置１００におけるライブビュー画像ＬＶ１の重ね合わせ合成機能をＯＮできるようにしてもよい。これにより、撮像装置２００を通常の環境で使用する場合に、撮像装置２００のディスプレイが直射日光の照射により見にくい場合でも、ライブビュー画像ＬＶ１を良好に観察することができるというメリットがある。

　更に、この技術を用いたものを「ＸＲ環境での使用中」であっても、自動的にはライブビュー画像ＬＶを仮想画像表示装置１００に送信しないモードを設けて、選択的に撮像装置１００のディスプレイにライブビュー画像を表示することが出来るような構成であっても構わない。

　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０、１１…仮想画像表示システム
１００…仮想画像表示装置
１０１…内蔵カメラ
１０２…撮影レンズ
１０４…イメージセンサ
１１０、１１１…ＸＲプロセッサ
１１２…変換情報取得部
１１４…合成部
１１６…幾何変換部
１２０…第１メモリ
１３０、２３０…操作部
１４０、１４１…ＸＲディスプレイ
１４２…表示制御部
１４３…画像合成部
１４４、１４５…表示素子
１４６、１４７…光学系
１４６Ａ…レンズ
１４６Ｂ…ハーフミラー
１５０…仮想オブジェクト生成部
１５１…交換レンズ部
１５２…皮革外装部
１５３…操作ダイヤル部
１５４…上部外装部
１５５…ファインダ部
１５６…モニタ部
１６０…第１通信部
１７０、２７０…ＧＰＳ受信機
１７２、２７２…ジャイロセンサ
１７４、２７４…加速度センサ
１７６、２７６…地磁気センサ
１８０…仮想画像表示装置
２００、２８０…撮像装置
２０１…撮像部
２０２…交換レンズ
２０３…カメラ本体
２０４…イメージセンサ
２１０…カメラプロセッサ
２２０…第２メモリ
２３２…シャッターボタン
２３４…感度ダイヤル
２３６…露出補正ダイヤル
２４０…モニタパネル
２４１…メインモニタ
２４２…サブモニタ
２４３…ビューファインダ
２４４…トグルスイッチ
２４５…実行ボタン
２４６…再生ボタン
２４７…ボタン
２４８…表示制御部
２５０…画像処理部
２６０…第２通信部
２８１…ダミーレンズ
２８２…実レンズ
２８３…ダミーモニタ
２９０、２９０Ｂ、２９０Ｃ、２９２…仮想カメラ
２９１…スマートフォン
３００…ＸＲサーバ
３０２…データベース
３１０…ドローンカメラ
３２０…多視点カメラ
３３０…監視カメラ
３４０…ドライブレコーダ
Ａ…表示領域
ＩＭ…視野画像
ＩＮＦＯ…撮影情報
ＬＶ、ＬＶ１…ライブビュー画像
Ｍ、Ｍ１～Ｍ９…ＡＲマーカ
Ｐ１～Ｐ４…特徴点
Ｐ１'～Ｐ４'…対応点
Ｓ１００～Ｓ１２２、Ｓ２００～Ｓ２８４、Ｓ３００～Ｓ３６８…ステップ

Claims (22)

1. 　プロセッサ及び第１ディスプレイを有する仮想画像表示装置であって、
   　前記仮想画像表示装置は、第１撮像装置からのライブビュー画像を受信し、
   　前記プロセッサは、
   　前記ライブビュー画像を前記第１撮像装置の表示領域に重ね合わせる際に使用する情報を取得し、
   　前記情報に基づいて前記ライブビュー画像を変換し、
   　前記第１ディスプレイは、前記変換された前記ライブビュー画像を表示する、
   　仮想画像表示装置。
2. 　前記第１ディスプレイは、メガネ型又はゴーグル型の仮想画像表示機能を有するウェアラブルデバイスである、
   　請求項１に記載の仮想画像表示装置。
3. 　ユーザの視野範囲を撮影する第２撮像装置を有し、
   　前記プロセッサは、前記第２撮像装置が撮影した撮影画像を解析して前記表示領域を特定し、前記情報を取得する、
   　請求項１又は２に記載の仮想画像表示装置。
4. 　前記プロセッサは、前記第２撮像装置が撮影した前記第１撮像装置のマーカの位置に基づいて前記情報を取得する、
   　請求項３に記載の仮想画像表示装置。
5. 　前記プロセッサは、前記第１ディスプレイを基準にした前記第１撮像装置の３次元位置及び姿勢を示す情報を取得し、前記３次元位置及び姿勢を示す情報に基づいて前記情報を取得する、
   　請求項１又は２に記載の仮想画像表示装置。
6. 　前記第１撮像装置は、前記ライブビュー画像を表示する第２ディスプレイを有し、
   　前記表示領域は、前記第２ディスプレイの表示領域である、
   　請求項１から５のいずれか１項に記載の仮想画像表示装置。
7. 　前記第２ディスプレイは、前記第１撮像装置の装置本体との相対的な姿勢関係が回動によって変更可能な回動機構を備え、
   　前記表示領域は、回動した前記第２ディスプレイの表示領域である、
   　請求項６に記載の仮想画像表示装置。
8. 　前記第１撮像装置は、ビューファインダを有し、
   　前記表示領域は、前記ビューファインダの表示領域である、
   　請求項１から５のいずれか１項に記載の仮想画像表示装置。
9. 　前記第１ディスプレイは、視野を透過するディスプレイであって、現実世界の視野に前記変換した前記ライブビュー画像を表示する、
   　請求項１から８のいずれか１項に記載の仮想画像表示装置。
10. 　ユーザの視野範囲を撮影する第２撮像装置を備え、
    　前記第１ディスプレイは、視野を覆う没入型のディスプレイであって、前記第２撮像装置が撮影した撮影画像に、前記変換した前記ライブビュー画像を重ね合わせた合成画像を表示する、
    　請求項１から８のいずれか１項に記載の仮想画像表示装置。
11. 　前記プロセッサは、前記ライブビュー画像に仮想オブジェクト画像を合成する、
    　請求項１から１０のいずれか１項に記載の仮想画像表示装置。
12. 　プロセッサ、第１ディスプレイ及びユーザの視野範囲を撮影する第２撮像装置を有する仮想画像表示装置であって、
    　前記プロセッサは、
    　前記第２撮像装置が撮影した画像から、少なくともグリップ部を備えた仮想カメラの画角に対応する画像を切り出してライブビュー画像として取得し、
    　前記ライブビュー画像を前記仮想カメラの表示領域に重ね合わせる際に使用する情報を取得し、
    　前記情報に基づいて前記ライブビュー画像を変換し、
    　前記第１ディスプレイは、前記変換された前記ライブビュー画像を表示する、
    　仮想画像表示装置。
13. 　前記変換は、幾何変換である、
    　請求項１から１２のいずれか１項に記載の仮想画像表示装置。
14. 　ライブビュー画像を撮影する撮像部と、
    　第１モードと第２モードとを切り替えるモード切替え部と、
    　前記第１モードに切り替えられた場合に前記ライブビュー画像を表示する第２ディスプレイ又はビューファインダと、
    　前記第２モードに切り替えられた場合に前記ライブビュー画像を、請求項１から１１のいずれか１項に記載の仮想画像表示装置に送信する通信部と、
    　を備えた撮像装置。
15. 　前記第２モードに切り替えられた場合に、前記第２ディスプレイ又は前記ビューファインダにマーカを表示する、
    　請求項１４に記載の撮像装置。
16. 　請求項１から１３のいずれか１項に記載の仮想画像表示装置と、請求項１４又は１５に記載の撮像装置と、から構成された、
    　仮想画像表示システム。
17. 　前記仮想画像表示装置の前記プロセッサは、前記ライブビュー画像に仮想オブジェクト画像を合成し、
    　前記第２モードに切り替えられた状態で記録用の撮影が行われると、前記仮想オブジェクト画像を前記撮像装置に送信し、
    　前記撮像装置は、前記第２モードに切り替えられた状態で記録用の撮影を行うと、前記撮影した画像と前記仮想画像表示装置から受信した前記仮想オブジェクト画像とを紐付けて記録し、又は前記撮影した画像に前記仮想オブジェクト画像を合成して記録する、
    　請求項１６に記載の仮想画像表示システム。
18. 　請求項１から１１のいずれか１項に記載の仮想画像表示装置と、前記仮想画像表示装置と通信するサーバと、から構成された仮想画像表示システムであって、
    　前記サーバは、実空間の３次元情報を有する３次元画像を管理し、
    　前記プロセッサは、
    　前記第１撮像装置の３次元位置及び姿勢を示す第１情報に基づいて、前記サーバが管理している前記３次元画像から、前記第１撮像装置の撮影領域に対応する３次元画像を切り出し、
    　前記切り出した前記３次元画像を２次元画像に変換し、前記２次元画像を前記ライブビュー画像として使用する、
    　仮想画像表示システム。
19. 　請求項１２に記載の仮想画像表示装置と、前記仮想画像表示装置と通信するサーバと、から構成された仮想画像表示システムであって、
    　前記サーバは、実空間の３次元情報を有する３次元画像を管理し、
    　前記プロセッサは、
    　前記仮想カメラの３次元位置及び姿勢を示す第１情報に基づいて、前記サーバが管理している前記３次元画像から、前記仮想カメラの撮影領域に対応する３次元画像を切り出し、
    　前記切り出した前記３次元画像を２次元画像に変換し、前記２次元画像を前記ライブビュー画像として使用する、
    　仮想画像表示システム。
20. 　前記サーバは、実空間に配置された多視点カメラ、監視カメラ、ドライブレコーダ、ドローンカメラ、又は携帯端末カメラを含む多数のカメラにより撮影された画像から最新の前記３次元画像を生成して管理する、
    　請求項１８又は１９に記載の仮想画像表示システム。
21. 　前記サーバは、前記３次元画像に仮想オブジェクト画像を合成する、
    　請求項１８から２０のいずれか１項に記載の仮想画像表示システム。
22. 　プロセッサ及び第１ディスプレイを有する仮想画像表示装置が実行する仮想画像表示方法であって、
    　前記プロセッサが、第１撮像装置からのライブビュー画像を受信するステップと、
    　前記プロセッサが、前記ライブビュー画像を前記第１撮像装置の表示領域に重ね合わせる際に使用する情報を取得するステップと、
    　前記プロセッサが、前記情報に基づいて前記ライブビュー画像を変換するステップと、
    　前記第１ディスプレイが、前記変換された前記ライブビュー画像を表示するステップと、
    　を含む仮想画像表示方法。

Images