JP5303685B2 - 拡張現実感提供装置 - Google Patents

Description

本発明は、使用者と当該使用者以外の第三者に拡張現実感を提供する拡張現実感提供装置に関する。

カメラで撮影した画像（実写画像）に仮想物体画像を重畳させた合成画像を表示部に表示することで、当該表示部を観察する観察者に拡張現実感を提供する装置が普及してきている。このような装置としては、例えば、カメラ付のヘッドマウントディスプレイ（ＨＭＤ）を利用したものが知られている（例えば特許文献１参照）。

特許文献１は、カメラ付のＨＭＤと、これとは別に設けられた据え置き型のディスプレイとによって、ＨＭＤを装着する観察者だけでなく、ディスプレイを見ている第三者にも拡張現実感を提供するシステムを開示している。このシステムは、カメラで撮影した実写画像に仮想物体画像を重畳させた合成画像をＨＭＤに表示させると共に、当該合成画像を外部のディスプレイに送信し、当該ディスプレイにて当該合成画像を表示している。

このようなシステムにおいて、ＨＭＤを装着する観察者は、自身の頭部の動きに応じた映像を観察することができる。このため、ＨＭＤに表示される映像が揺れる、傾く等しても観察者にとって違和感はない。

しかし、同じ映像をディスプレイによって見ている第三者にとっては、自身の意図とは関係なく映像が変化するために、映像酔いを引き起こす可能性がある。そこで、このシステムでは、ＨＭＤに表示される映像に傾きがあるときには、ディスプレイに表示させる映像の傾きを補正することで、第三者に違和感のない映像を提供するようにしている。

また、特許文献２には、映像酔いを軽減するために、入力映像から動きベクトルを算出し、当該動きベクトルの大きさ及び向きが大きいときには、外部に出力する映像をホールドする方法が開示されている。

日本国特開２００７−２９９３２６号公報 日本国特開２０１０−５０６４５号公報

特許文献１に記載のシステムにおいて、観察者の頭部の動きが激しい場合等には、仮想物体画像の合成に必要な測位情報の信頼性が低下し、仮想物体画像の合成に失敗する場合がある。この結果、ＨＭＤ及びディスプレイに表示される映像は、仮想物体画像が消えたり現れたりするものとなり、拡張現実感が低下してしまうという課題がある。

特許文献１では、この課題について特に考慮されていない。また、特許文献２は、拡張現実感を提供する技術ではないため、当然ながら当該課題についての記載はない。

ＨＭＤと外部のディスプレイで拡張現実感を共有できるシステムにおいては、外部のディスプレイを見る第三者に与える違和感を如何に軽減するかが重要であり、従来の方法だけではこの違和感の軽減には不十分であった。

本発明は、上記事情に鑑みてなされたものであり、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することを目的とする。

本発明の拡張現実感提供装置は、フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、前記拡張現実感提供装置の動き量を検出する動き量検出部と、前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備えるものである。

本発明によれば、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することができる。

本発明の一実施形態を説明するための拡張現実感提供装置としてのヘッドマウントディスプレイ（ＨＭＤ）１００の外観を示す図 図１に示すＨＭＤ１００の内部構成を示すブロック図 図１に示したＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート 図１に示したＨＭＤ１００の動作を説明するための状態遷移図 図１に示したＨＭＤ１００の動作を説明するための状態遷移図 図１に示したＨＭＤ１００の動作を説明するための状態遷移図 図１に示したＨＭＤ１００の動作を説明するための状態遷移図 ＨＭＤ１００の第一の変形例における出力制御部１５の内部構成を示すブロック図 第一の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート 第一の変形例のＨＭＤ１００の動作を説明するための状態遷移図 第二の変形例のＨＭＤ１００の出力制御部１５の内部構成を示す図 第二の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート 第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図 第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図 第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図 第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための拡張現実感提供装置としてのヘッドマウントディスプレイ（ＨＭＤ）１００の外観を示す図である。

図１に示すＨＭＤ１００は、眼鏡型の筐体１と、筐体１に設けられた右眼用の撮像部２Ｒ及び左眼用の撮像部２Ｌと、ＨＭＤ１００を装着する装着者の右眼と対向する筐体部分４Ｒに設けられた右眼用の表示部３Ｒと、ＨＭＤ１００を装着する装着者の左眼と対向する筐体部分４Ｌに設けられた左眼用の表示部３Ｌとを備える。

図２は、図１に示すＨＭＤ１００の内部構成を示すブロック図である。

ＨＭＤ１００は、図１に示した撮像部２Ｒ，２Ｌ及び表示部３Ｒ，３Ｌに加えて、現実映像処理部１０Ｒ，１０Ｌと、測位部１１と、仮想映像記憶部１２と、仮想映像処理部１３と、仮想映像合成部１４Ｒ，１４Ｌと、出力制御部１５と、ＨＭＤ１００の動き量を検出する角速度センサ１６と、映像記憶部１７とを備える。

撮像部２Ｒ，２Ｌは、撮像素子で撮像して得られる撮像信号をアナログ処理し、アナログ処理後の撮像信号をデジタル変換し、デジタル化された撮像信号を現実映像処理部１０Ｒ，１０Ｌに出力する。

現実映像処理部１０Ｒは、撮像部２Ｒから出力された撮像信号に、周知のデジタル信号処理を施して右眼用の撮像画像データ（右眼用の現実映像）を生成する。

現実映像処理部１０Ｌは、撮像部２Ｌから出力された撮像信号に、周知のデジタル信号処理を施して左眼用の撮像画像データ（左眼用の現実映像）を生成する。

測位部１１は、現実映像処理部１０Ｒで生成された右眼用の現実映像と、現実映像処理部１０Ｌで生成された左眼用の現実映像とを用いて、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す座標である世界座標を算出する。

例えば、測位部１１は、右眼用の現実映像と左眼用の現実映像とに共通に含まれる特徴点を抽出し、当該特徴点に基づいて世界座標を算出する。又は、測位部１１は、右眼用の現実映像と左眼用の現実映像とに共通に含まれるマーカーをパターンマッチングにて検出し、検出したマーカーの位置に応じて世界座標を算出する。

測位部１１は、世界座標の算出と共に、当該算出した世界座標の算出精度（信頼性）が第一の閾値以上か否かを判定する。例えば、特徴点に基づいて世界座標を算出した場合には、当該特徴点の数を、信頼性を評価するための評価値とする。マーカーに応じて世界座標を算出した場合には、パターンマッチングした際の誤差二乗和を、信頼性を評価するための評価値とする。測位部１１は、信頼性の判定結果を、仮想映像処理部１３及び出力制御部１５に入力する。

仮想映像記憶部１２は、現実映像処理部１０Ｒ，１０Ｌにより生成された現実映像に合成する三次元の仮想物体映像を複数種類記憶している。

仮想映像処理部１３は、測位部１１で算出された世界座標に応じて、仮想映像記憶部１２から読み出した任意の三次元仮想物体映像を二次元化する。この際、仮想映像処理部１３は、表示部３Ｒ，３Ｌそれぞれの視点に応じた二次元化を行う。

仮想映像処理部１３は、測位部１１で算出された世界座標の信頼性（上記評価値と同義）が第一の閾値以上であった場合は、二次元化した右眼用の仮想物体映像を仮想映像合成部１４Ｒに出力し、二次元化した左眼用の仮想物体映像を仮想映像合成部１４Ｌに出力する。一方、仮想映像処理部１３は、測位部１１で算出された世界座標の信頼性が第一の閾値未満であった場合は、二次元化した仮想物体映像を仮想映像合成部１４Ｒ及び仮想映像合成部１４Ｌに出力しない。

仮想映像合成部１４Ｒは、二次元化された右眼用の仮想物体映像が仮想映像処理部１３から入力された場合は、現実映像処理部１０Ｒから出力された右眼用の現実映像と、当該右眼用の仮想物体映像とを合成して、右眼用の仮想合成映像を生成し、当該仮想合成映像を表示部３Ｒ及び出力制御部１５に出力する。一方、仮想映像合成部１４Ｒは、右眼用の仮想物体映像が仮想映像処理部１３から入力されなかった場合は、仮想合成映像を生成せずに、右眼用の現実映像を表示部３Ｒ及び出力制御部１５に出力する。

仮想映像合成部１４Ｌは、二次元化された左眼用の仮想物体映像が仮想映像処理部１３から入力された場合は、現実映像処理部１０Ｌから出力された左眼用の現実映像と、当該左眼用の仮想物体映像とを合成して、左眼用の仮想合成映像を生成し、当該仮想合成映像を表示部３Ｌ及び出力制御部１５に出力する。一方、仮想映像合成部１４Ｌは、左眼用の仮想物体映像が仮想映像処理部１３から入力されなかった場合は、仮想合成映像を生成せずに、左眼用の現実映像を表示部３Ｌ及び出力制御部１５に出力する。

表示部３Ｒは、仮想映像合成部１４Ｒから出力された現実映像又は仮想合成映像を表示する。

表示部３Ｌは、仮想映像合成部１４Ｌから出力された現実映像又は仮想合成映像を表示する。

出力制御部１５は、ＨＭＤ１００の外部に設置された外部表示装置に仮想合成映像を出力する。この外部表示装置は、左眼用の映像と右眼用の映像を表示して、その観察者に立体映像を見せられるものとなっている。

出力制御部１５は、外部表示装置に出力した仮想合成映像を映像記憶部１７に記憶する。映像記憶部１７には、常に最新の仮想合成映像だけが上書きされて記憶される。出力制御部１５は、角速度センサ１６で検出されるＨＭＤ１００の動き量に基づき、必要と判断したときには、映像記憶部１７に記憶されている仮想合成映像の上書き（更新）を停止する。

出力制御部１５は、仮想映像合成部１４Ｒ，１４Ｌにより生成された仮想合成映像を外部表示装置に出力する通常出力制御と、映像記憶部１７に記憶されている仮想合成映像を外部表示装置に出力するホールド出力制御とを、測位部１１による世界座標の信頼性の判定結果と、角速度センサ１６で検出されるＨＭＤ１００の動き量とに基づいて切り替えて実施する。

図３は、図１に示したＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。

ステップＳ１で撮像部２Ｒ，２Ｌにより撮像が行われると、出力制御部１５は、角速度センサ１６からの情報により、ＨＭＤ１００の動き量（現フレーム期間とその１つ前のフレーム期間との間の動き量）を検出する（ステップＳ２）。

次に、現実映像処理部１０Ｒ，１０Ｌにおいて、撮像部２Ｒ，２Ｌからそれぞれ出力された撮像信号から撮像画像データ（現実映像）が生成される（ステップＳ３）。

次に、測位部１１において、ステップＳ３で生成された２つの現実映像に基づいて世界座標の算出（測位）が行われる（ステップＳ４）。

次に、測位部１１において世界座標の信頼性（測位信頼性）の判定が行われ、測位信頼性が第一の閾値以上であった場合（ステップＳ５：ＹＥＳ）はステップＳ６以降の処理が行われ、測位信頼性が第一の閾値未満であった場合（ステップＳ５：ＮＯ）はステップＳ１２以降の処理が行われる。

ステップＳ６では、ステップＳ４において算出された世界座標に応じて仮想物体映像が二次元化され、この二次元化された仮想物体映像とステップＳ３で生成された現実映像とを合成した仮想合成映像が生成され（ステップＳ７）、当該仮想合成映像が表示部３Ｒ，３Ｌに表示される（ステップＳ８）。

ステップＳ８の後、出力制御部１５が、ステップＳ２で検出した動き量が第二の閾値以上か否かを判定し、当該動き量が第二の閾値以上のときはステップＳ１３の処理を行い、当該動き量が第二の閾値未満のときはステップＳ１０の処理を行う。

ステップＳ１０では、出力制御部１５が、ステップＳ８にて表示部３Ｒ，３Ｌに表示された仮想合成映像を映像記憶部１７に記憶する（映像記憶部１７に記憶されている仮想合成映像を上書きして更新する）。その後、出力制御部１５は、ステップＳ８にて表示部３Ｒ，３Ｌに表示された仮想合成映像を外部表示装置に出力して（ステップＳ１１）、１フレーム期間の処理を終了する。

ステップＳ１３では、出力制御部１５が、ステップＳ８で表示部３Ｒ，３Ｌに表示された仮想合成映像を映像記憶部１７に記憶せずに（映像記憶部１７に記憶された仮想合成映像の更新を行わずに）、映像記憶部１７に記憶されている仮想合成映像を読み出す。次に、この読み出した仮想合成映像を外部表示装置に出力して（ステップＳ１４）、１フレーム分の処理を終了する。

ステップＳ５の説明に戻り、測位信頼性が第一の閾値未満であった場合（ステップＳ５：ＮＯ）は、ステップＳ３で生成された現実映像が表示部３Ｒ，３Ｌに表示される（ステップＳ１２）。ステップＳ１２の後は、ステップＳ１３及びステップＳ１４の処理が行われて、外部表示装置には、映像記憶部１７に記憶されている仮想合成映像が表示される。

以上が１フレーム期間におけるＨＭＤ１００の動作であるが、以下では、複数フレーム期間に渡るＨＭＤ１００の動作を、図４〜７を参照して説明する。

図４は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図４では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態に変化したときの動作を示している。

図４において、横軸はフレーム期間の開始時刻を表す。各時刻Ｔ０〜Ｔ５の上には、当該各時刻で開始されるフレーム期間終了後の、表示部３Ｒに表示されている仮想合成映像（ＨＭＤ表示映像）、映像記憶部１７に記憶されている仮想合成映像（記憶映像）、及び外部表示装置に出力されている外部出力映像を図示している。

図４において、ＨＭＤ表示映像、記憶映像、及び外部出力映像には、それぞれ符号を内部に記してあり、同一の映像には同一符号を付してある。なお、図４では、右眼に対応する映像についてのみ図示している。

時刻Ｔ０〜Ｔ２の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値未満であるため、撮像後に生成された仮想合成映像が表示部３Ｒに表示され、当該仮想合成映像が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像が映像記憶部１７に記憶される。

したがって、時刻Ｔ０〜Ｔ２の間、外部表示装置では、ＨＭＤ１００の表示部に表示される映像と同じ映像が表示されることとなり、ＨＭＤ１００の装着者と、外部表示装置の観察者とで、人物の現実映像に星の仮想映像が重畳された拡張現実感を共有することができる。

時刻Ｔ３にてＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ３にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（４）が表示部３Ｒに表示されるが、当該仮想合成映像（４）は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ４及び時刻Ｔ５でも、ＨＭＤ１００の動き量が第二の閾値未満になっていないため、外部表示装置には記憶映像（３）が出力される（ホールド出力制御が実施される）。

したがって、時刻Ｔ３以降、ＨＭＤ１００の表示部には、仮想合成映像（４）〜（６）が順次切り替わって表示されるものの、外部表示装置には、ＨＭＤ１００の動きが第二の閾値以上になる直前に表示されていた仮想合成映像（３）が表示され続けることになる。このため、外部表示装置の観察者は、仮想合成映像（４）〜（６）のように大きく変化する映像を見なくてすむようになり、映像酔いを防ぐことができる。

図５は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図５では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。図５に示した標記は図４に示したものと同じである。

時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値以上となっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示される。しかし、当該仮想合成映像は外部表示装置には出力されず、代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（３）が表示部３Ｒに表示され、当該仮想合成映像（３）が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像（３）が映像記憶部１７に記憶される。

時刻Ｔ１３〜Ｔ１５の各々でも、ＨＭＤ１００の動き量が第二の閾値未満になっているため、外部表示装置には、各フレーム期間で生成される仮想合成映像（４）〜（６）が出力される（通常出力制御が実施される）。

このように、外部表示装置に出力される映像がホールドされた後でも、ＨＭＤ１００の動き量が小さくなれば、ＨＭＤ１００にて表示されているのと同じ仮想合成映像を外部表示装置に表示させることができる。

図６は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図６では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満の状態に変化したときの動作を示している。図６に示した標記は図４に示したものと同じである。

時刻Ｔ０〜Ｔ２の各々にて開始されたフレーム期間では、測位信頼性が第一の閾値以上になっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示され、当該仮想合成映像が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像が映像記憶部１７に記憶される。

したがって、時刻Ｔ０〜Ｔ２の間、外部表示装置では、ＨＭＤ１００の表示部に表示される映像と同じ映像が表示されることとなり、ＨＭＤ１００の装着者と、外部表示装置の観察者とで、人物の現実映像に星の仮想映像が重畳された拡張現実感を共有することができる。

時刻Ｔ３にて測位信頼性が第一の閾値未満になると、時刻Ｔ３にて開始されたフレーム期間では、撮像後に生成された現実映像（４）が表示部３Ｒに表示されるが、当該現実映像（４）は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ４及び時刻Ｔ５でも、測位信頼性が第一の閾値未満になっているため、外部表示装置には記憶映像（３）が出力される（ホールド出力制御が実施される）。

したがって、時刻Ｔ３以降、ＨＭＤ１００の表示部には、現実映像（４）〜（６）が順次切り替わって表示されるものの、外部表示装置には、測位信頼性が第一の閾値未満になる直前に表示されていた仮想合成映像（３）が表示され続けることになる。

このような動作により、時刻Ｔ２において外部表示装置に表示されていた星の仮想映像が、時刻Ｔ３以降に突然消えてしまうといったことがなくなる。このため、外部表示装置の観察者にとっては、仮想映像が突然消失することによる拡張現実感の低下を防ぐことができる。また、ＨＭＤ１００の装着者は、表示部３Ｒ，３Ｌに表示される現実映像によって視界を確保することができ、安全性を確保することができる。

図７は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図７では、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。図７に示した標記は図４に示したものと同じである。

時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、測位信頼性が第一の閾値未満となっているため、撮像後に生成された現実映像が表示部３Ｒに表示されるが、当該現実映像は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ１２にて測位信頼性が第一の閾値以上になりかつ動き量が第二の閾値未満になると、時刻Ｔ１２にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（３）が表示部３Ｒに表示され、当該仮想合成映像（３）が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像（３）が映像記憶部１７に記憶される。

時刻Ｔ１３〜Ｔ１５の各々でも、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になっているため、外部表示装置には、各フレーム期間で生成される仮想合成映像（４）〜（６）が出力される（通常出力制御が実施される）。

以上のように、ＨＭＤ１００によれば、測位信頼性が第一の閾値以上かつＨＭＤ１００の動き量が第二の閾値未満の場合に、出力制御部１５が通常出力制御を行う。このため、この場合には、ＨＭＤ１００の装着者と外部表示装置の観察者とで拡張現実感を共有させることができる。

また、ＨＭＤ１００によれば、動き量に関わらず、測位信頼性が第一の閾値未満であって、仮想合成映像の生成が成功しないような場合には、出力制御部１５がホールド出力制御を行う。このため、このような場合であっても、外部表示装置には映像記憶部１７に記憶中の仮想合成映像を表示させ続けることができる。この結果、外部表示装置の観察者に与える拡張現実感の低下を防ぐことができる。

また、ＨＭＤ１００によれば、測位信頼性が第一の閾値以上であっても、ＨＭＤ１００の動き量が第二の閾値以上の場合には、出力制御部１５がホールド出力制御を行うため、映像記憶部１７に記憶中の仮想合成映像を外部表示装置に表示させ続けることができる。この結果、外部表示装置の観察者が映像酔いしてしまうのを防ぐことができる。

以下では、ＨＭＤ１００の変形例について説明する。

（第一の変形例）
ＨＭＤ１００の第一の変形例の内部ブロック構成は、出力制御部１５の構成が異なる点を除いては、図２に示した構成と同じである。

図８は、ＨＭＤ１００の第一の変形例における出力制御部１５の内部構成を示すブロック図である。

図８に示した出力制御部１５は、加重平均部１５１と、出力判定部１５２と、フォーマット変換部１５３とを備える。

加重平均部１５１は、仮想映像合成部１４Ｒ，１４Ｌで生成された仮想合成映像（ＨＭＤ表示映像）と、映像記憶部１７に記憶されている仮想合成映像（記憶中映像）とを加重平均して、外部表示装置に出力する外部出力映像を生成する。具体的には、｛（ＨＭＤ表示映像）×α＋（記憶映像）×β｝／（α＋β）の演算を行って、外部出力映像を生成する。

出力判定部１５２は、測位部１１からの測位信頼性の判定結果と角速度センサ１６で検出されたＨＭＤ１００の動き量とに基づいて、３つの制御を切り替えて実施する。１つ目の制御は、仮想映像合成部１４Ｒ，１４Ｌにより生成された仮想合成映像をフォーマット変換部１５３を介して外部表示装置に出力する通常出力制御である。２つ目の制御は、映像記憶部１７に記憶されている仮想合成映像をフォーマット変換部１５３を介して外部表示装置に出力するホールド出力制御である。３つ目の制御は、加重平均部１５１で生成された外部出力映像を、フォーマット変換部１５３を介して外部表示装置に出力する移行出力制御である。

出力判定部１５２は、ホールド出力制御を行ったときには、外部表示装置の表示を固定（ホールド）したことを示すホールドフラグを内部メモリに記憶する。また、出力判定部１５２は、通常出力制御を行ったときには内部メモリ内の全てのフラグを消去する。また、出力判定部１５２は、移行出力制御を行ったときには、外部表示装置の表示を固定表示から通常表示に移行していることを示すホールドアウト移行中フラグを内部メモリに記憶する。出力判定部１５２は、移行出力制御を行う毎に、ホールドアウト移行中フラグの本数を増加させていく。出力判定部１５２は、ホールドフラグについては、通常出力制御を行う毎にフラグの本数は増やさない。

フォーマット変換部１５３は、入力された映像を外部表示装置用のデータに変換して、外部表示装置に送信する。

図９は、第一の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。図９において、図３と同じ処理には同一符号を付してある。図９のステップＳ９、ステップＳ１０、ステップＳ１１、ステップＳ１３、及びステップＳ１４の処理は出力判定部１５２が行う。

ステップＳ１４の後、出力判定部１５２は、内部メモリにホールドフラグを記憶してから（ステップＳ２２）、処理を終了する。また、ステップＳ１１の後、出力判定部１５２は、内部メモリの全てのフラグを消去してから（ステップＳ２１）、処理を終了する。

ステップＳ９の判定で、ＨＭＤ１００の動き量が第二の閾値未満であった場合（ステップＳ９：ＮＯ）、出力判定部１５２は、内部メモリにホールドフラグが記憶されているか否かを判定し（ステップＳ２３）、ホールドフラグが記憶されていない場合はステップＳ１０の処理を行い、ホールドフラグが記憶されていた場合はステップＳ２４の処理を行う。

ステップＳ２４では、出力判定部１５２が、内部メモリにホールドアウト移行中フラグがｎ個（ｎは１以上の自然数）記憶されているか否かを判定する。

次に、出力判定部１５２は、ホールドアウト移行中フラグがｎ本であった場合にはステップＳ１０の処理を行い、ホールドアウト移行中フラグがｎ本未満であった場合にはステップＳ２５の処理（移行出力制御）を行う。

ステップＳ２５では、出力判定部１５２が、ステップＳ８で表示中の仮想合成映像と、映像記憶部１７に記憶されている仮想合成映像とを加重平均した外部出力映像を加重平均部１５１にて生成させ、この外部出力映像をフォーマット変換部１５３でフォーマット変換後、外部表示装置に出力させる。

ステップＳ２５が終了すると、出力判定部１５２は、内部メモリにホールドアウト移行中フラグを１つ記憶し（ステップＳ２６）、処理を終了する。

以上が第一の変形例のＨＭＤ１００の１フレーム期間における動作であるが、以下では、複数フレーム期間に渡る第一の変形例のＨＭＤ１００の動作を、図１０を参照して説明する。

図１０は、第一の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１０では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。

なお、図１０に示した標記は、図４に示したものと同じである。また、図１０では、右眼に対応する映像についてのみ図示している。また、図１０では、ｎ＝３、重み係数α，β＝１／２のときの動作を例示している。

また、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの状態遷移は、図１０において、時刻Ｔ１２で測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になるものとし、時刻Ｔ１０，Ｔ１１のＨＭＤ表示映像が、仮想合成映像ではなく現実映像になるだけであり、基本的な動作は同じである。

また、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満又は動き量が第二の閾値以上の状態に変化したときの動作は、図４及び図６に示したものと同じである。

時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値以上となっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示されるが、当該仮想合成映像は外部表示装置には出力されない。当該仮想合成映像の代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。時刻Ｔ１０，Ｔ１１の各々にて開始されたフレーム期間の終了後は、出力判定部１５２の内部メモリにホールドフラグのみが記憶されている。

時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。このため、時刻Ｔ１２にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（１）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される（１回目の移行出力制御が実施される）。映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ記憶される。

次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つ記憶されている。

このため、時刻Ｔ１３にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（２）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｃが外部表示装置に出力される（２回目の移行出力制御が実施される）。

映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。

次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは２つ記憶されている。

このため、時刻Ｔ１４にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（３）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｄが外部表示装置に出力される（３回目の移行出力制御が実施される）。

映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。

次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは３つ（＝ｎ）記憶されている。

このため、時刻Ｔ１５にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（４）が映像記憶部１７に上書きされると共に、当該仮想合成映像（４）が外部表示装置に出力される（通常出力制御が実施される）。

仮想合成映像（４）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１５以降は、ＨＭＤ表示中の仮想合成映像がそのまま外部表示装置に表示される。

このように、第一の変形例では、ＨＭＤ１００の動き量が第二の閾値以上の状態から、ＨＭＤ１００の動き量が第二の閾値未満の状態に変化したときに、出力制御部１５が行う制御を、ホールド出力制御から通常出力制御にすぐに切り替えるのではなく、仮想映像合成部１４Ｒ，１４Ｌで生成される仮想合成映像と映像記憶部１７に記憶されている仮想合成映像とを加重平均して得た外部出力映像を外部表示装置に出力する移行出力制御をｎ回行ってから、通常出力制御に切り替えている。

この移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（４）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（４）に向かって徐々に変化させていくことができる。

このため、映像の大きな変化による映像刺激を、外部表示装置の観察者に与えてしまうのを防ぐことができる。また、移行出力制御中に外部表示装置に表示される映像（Ｂ，Ｃ，Ｄ）は、図１０に示したように、ホールド出力制御時と通常出力制御時に表示される映像（Ａ、（４））とは見た目が全く異なるものとなるため、ホールド状態から通常状態への復帰タイミングが分かりやすくなる。

なお、以上の説明では、加重平均部１５１で用いる重み係数をｎ回の移行出力制御ですべて同じにしているが、これに限らない。

例えば、ＨＭＤ表示中の仮想合成映像の重み係数を、出力判定部１５２の内部メモリに記憶されている移行中フラグの数に比例して大きくしてもよい。

具体的には、図１０の時刻Ｔ１３にて開始されるフレーム期間では、ＨＭＤ表示映像の重み係数を２／３にし、記憶映像の重み係数を１／３にし、時刻Ｔ１４にて開始されるフレーム期間では、ＨＭＤ表示映像の重み係数を３／４にし、記憶映像の重み係数を１／４にする。

このようにすることで、外部表示装置に表示される映像に含まれる記憶映像の割合を徐々に減らしていくことができ、より自然に映像を変化させることができる。

（第二の変形例）
第二の変形例のＨＭＤ１００は、図９に示したステップＳ２５における加重平均映像の生成方法が異なる点と、映像記憶部１７が複数の仮想合成映像を記憶できるようになっている点と、図９に示したステップＳ１２以降の処理が異なる点を除いては、第一の変形例と同じ構成である。

図１１は、第二の変形例のＨＭＤ１００の出力制御部１５の内部構成を示す図である。図１１に示す出力制御部１５は、加重平均部１５１を加重平均部１５１ａに変更した点を除いては、図８に示した構成と同じである。

加重平均部１５１ａは、映像記憶部１７に記憶されている仮想合成映像と、仮想映像合成部１４Ｒ，１４Ｌにより生成される仮想合成映像を加重平均して外部出力映像を生成したり、映像記憶部１７に記憶されている複数の仮想合成映像を加重平均して外部出力映像を生成したりする。

図１２は、第二の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。図１２において、図９と同じ処理には同一符号を付してある。

図１２に示したフローチャートは、図９において、ステップＳ２５をステップＳ３５に変更し、ステップＳ９：ＹＥＳの後にステップＳ３０〜Ｓ３３を追加し、ステップＳ３０及びステップＳ３１の判定がＹＥＳのときにステップＳ１３以降の処理を行うようにしたものである。

ステップＳ３５では、出力判定部１５２が、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像のうちの少なくとも１つとの加重平均により、外部表示装置に出力する外部出力映像を加重平均部１５１ａにて生成させ、この外部出力映像をフォーマット変換部１５３を介して外部表示装置に出力する第一の移行出力制御を行う。

ステップＳ３０では、出力判定部１５２が、内部メモリにホールドフラグが記憶されているか否かを判定し、ホールドフラグが記憶されていなければステップＳ３１に処理を移行し、記憶されていればステップＳ１３に処理を移行する。

ステップＳ３１では、出力判定部１５２が、内部メモリにホールドイン移行中フラグがｎ本記憶されているか否かを判定する。出力判定部１５２は、ステップＳ３１の判定がＹＥＳのときはステップＳ１３の処理を行い、ステップＳ３１の判定がＮＯのときは、ステップＳ３２の処理を行う。

ステップＳ３２では、出力判定部１５２が、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像とから選ばれる、複数の仮想合成映像を加重平均部１５１ａにて加重平均して外部出力映像を生成し、この外部出力映像をフォーマット変換部１５３を介して外部表示装置に出力する第二の移行出力制御を行う。

ステップＳ３２の後、出力判定部１５２は、内部メモリにホールドイン移行中フラグを１つ記憶して（ステップＳ３３）、処理を終了する。

以下では、第一の移行出力制御時の加重平均部１５１ａでの外部出力映像の生成方法の詳細を、図１３を参照して説明し、第二の移行出力制御時の加重平均部１５１ａでの外部出力映像の生成方法の詳細を、図１４を参照して説明する。

図１３は、第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１３では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化するときの動作を示している。

図１３に示した標記は、図４に示したものと同じである。また、図１３では、右眼に対応する映像についてのみ図示している。また、図１３では、ｎ＝５のときの動作を例示している。

なお、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化するときの動作については、図１３において、時刻Ｔ１２で測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になり、時刻Ｔ１０，Ｔ１１のＨＭＤ表示映像が、仮想合成映像ではなく現実映像になるだけであり、基本的な動作は同じである。

時刻Ｔ１０及びＴ１１の各々では、ＨＭＤ１００の動き量が第二の閾値以上となっており、また、出力判定部１５２の内部メモリにはホールドフラグが記憶されている。

このため、時刻Ｔ１０及びＴ１１の各々にて開始されるフレーム期間では、撮像後に生成された仮想合成映像が表示部３Ｒに表示されるが、当該仮想合成映像は外部表示装置には出力されない。当該仮想合成映像の代わりに、映像記憶部１７の「記憶領域１」に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。このため、時刻Ｔ１２にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される。

映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に仮想合成映像（１）が記憶される。

次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが１つ記憶されている。

このため、時刻Ｔ１３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（２）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）とを足して３で割った映像Ｃが、外部表示装置に出力される。

映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」に仮想合成映像（２）が記憶される。

次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが２つ記憶されている。

このため、時刻Ｔ１４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（３）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）と、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）とを足して４で割った映像Ｄが、外部表示装置に出力される。

映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶領域４」に仮想合成映像（３）が記憶される。

次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが３つ記憶されている。

このため、時刻Ｔ１５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（４）と、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）と、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）とを足して３で割った映像Ｅが、外部表示装置に出力される。

映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に仮想合成映像（４）が上書きされると共に、「記憶領域２」の仮想合成映像（１）が消去される。

次の時刻Ｔ１６では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが４つ記憶されている。

このため、時刻Ｔ１６にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（５）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像（４）とを足して２で割った映像Ｆが、外部表示装置に出力される。

映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ追加される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」及び「記憶領域４」の仮想合成映像（２），（３）が消去される。

次の時刻Ｔ１７では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが５つ記憶されている。

このため、ＨＭＤ表示中の仮想合成映像（６）が映像記憶部１７の「記憶領域１」に上書きされ、当該仮想合成映像（６）が外部表示装置に出力される（通常出力制御が実施される）。

仮想合成映像（６）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１７以降は、ＨＭＤ表示中の仮想合成映像が、そのまま外部表示装置に表示される。

図１４は、第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１４では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態に変化するときの動作を示している。

図１４に示した標記は、図４に示したものと同じである。また、図１４では、右眼に対応する映像についてのみ図示している。また、図１４では、ｎ＝５のときの動作を例示している。

なお、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満の状態に変化するときの動作は、図６に示したものと同じである。

時刻Ｔ０にて開始されたフレーム期間では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満であり、ホールドフラグは記憶されていない。このため、撮像後に生成された仮想合成映像Ａが表示部３Ｒに表示され、当該仮想合成映像Ａが外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像Ａが映像記憶部１７の「記憶領域１」に記憶される。

時刻Ｔ１にて測位信頼性が第一の閾値以上かつＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ１の時点では出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つも記憶されていないため、時刻Ｔ１にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される。

映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に仮想合成映像（１）が記憶される。

次の時刻Ｔ２では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが１つとなっている。

このため、時刻Ｔ２にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（２）を１／２倍したものと、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａを１／４倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）を１／４倍したものとを加算した映像Ｃが外部表示装置に出力される。

映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶映像３」に仮想合成映像（２）が記憶される。

次の時刻Ｔ３では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが２つとなっている。

このため、時刻Ｔ３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（３）を１／２倍したものと、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａを１／８倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）を１／８倍したものと、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／４倍したものとを加算した映像Ｄが外部表示装置に出力される。

映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶映像４」に仮想合成映像（３）が記憶される。

次の時刻Ｔ４では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが３つとなっている。

このため、時刻Ｔ４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第二の移行出力制御が実施される）。

具体的には、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／４倍したものと、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）を３／４倍したものとを加算した映像Ｅが外部表示装置に出力される。

映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ記憶される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」及び「記憶領域２」のデータは消去される。

次の時刻Ｔ５では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが４つとなっている。

このため、時刻Ｔ５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第二の移行出力制御が実施される）。

具体的には、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／８倍したものと、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）を７／８倍したものとを加算した映像Ｆが外部表示装置に出力される。

映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」のデータが消去される。

次の時刻Ｔ６では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが５つ（＝ｎ）になっている。

このため、時刻Ｔ６にて開始されるフレーム期間では、映像記憶部１７の「記憶領域４」に記憶された仮想合成映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。

そして、時刻Ｔ６以降は、「記憶領域４」に記憶されている仮想合成映像（３）が外部表示装置に表示され続ける。

以上のように、第二の変形例では、ＨＭＤ１００の動き量が第二の閾値以上の状態から第二の閾値未満の状態に変化したときに、出力制御部１５が行う制御を、ホールド出力制御から通常出力制御にすぐに切り替えるのではなく、第一の移行出力制御をｎ回行ってから通常出力制御に切り替えている。

第一の移行出力制御は、仮想映像合成部１４Ｒ，１４Ｌで生成される仮想合成映像と映像記憶部１７に記憶されている少なくとも１つの過去の仮想合成映像とを加重平均して得た外部出力映像を外部表示装置に出力する制御である。そして、第二の変形例では、第一の移行出力制御を行う各フレーム期間にて設定する重み係数をフレーム期間毎に変えることで、外部出力映像に含まれる仮想合成映像Ａの割合を徐々に減らしていくと共に、外部出力映像に含まれる時系列的に新しい仮想合成映像の割合を徐々に増やすことを可能にしている。

この第一の移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（６）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（６）に向かって徐々に変化させていくことができる。

このため、映像の大きな変化による映像刺激を、外部表示装置の観察者に与えてしまうのを防ぐことができる。また、移行出力制御中に外部表示装置に表示される映像（Ｂ〜Ｆ）は、図１３に示したように、ホールド出力制御時と通常出力制御時に表示される映像（Ａ、（６））とは見た目が全く異なるものとなるため、ホールド状態から通常状態への復帰タイミングが分かりやすくなる。

また、第二の変形例では、ＨＭＤ１００の動き量が第二の閾値未満の状態から第二の閾値以上の状態に変化したときに、出力制御部１５が行う制御を、通常出力制御からホールド出力制御にすぐに切り替えるのではなく、第二の移行出力制御をｎ回行ってからホールド出力制御に切り替えている。

第二の移行出力制御は、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像とから選ばれる複数の仮想合成映像の加重平均により、外部表示装置に出力する外部出力映像を生成し、これを外部表示装置に出力する制御である。

図１４の例では、第二の移行出力制御を行う５個のフレーム期間のうちの３つ目のフレーム期間（時刻Ｔ３で開始されるフレーム期間）をホールドフレーム期間に設定し、このホールドフレーム期間で生成される仮想合成映像を、通常出力制御を行うフレーム期間（時刻Ｔ６で開始されるフレーム期間）において外部表示装置に出力する映像としている。

そして、ホールドフレーム期間以前のフレーム期間（図１４の時刻Ｔ１〜Ｔ３の各々で開始されるフレーム期間）では、フレーム期間中に生成される仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間にて仮想映像合成部１４Ｒ，１４Ｌによって生成された少なくとも１つの仮想合成映像とを加重平均して外部出力映像を生成している。

また、ホールドフレーム期間よりも後のフレーム期間（図１４の時刻Ｔ４、Ｔ５で開始されるフレーム期間）では、映像記憶部１７に記憶されている、ホールドフレーム期間において生成された仮想合成映像（３）とホールドフレーム期間の１つ前のフレーム期間で生成された仮想合成映像（２）、の加重平均によって外部出力映像を生成している。

また、ｎ回のフレーム期間では、加重平均を行う対象となる仮想合成映像のうち、新しいものの割合が、時刻が経過するにしたがって徐々に多くなるように、フレーム期間毎に重み係数を変更している。

このようなｎ回の第二の移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（３）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（３）に向かって徐々に変化させていくことができる。

このため、外部表示装置において、仮想合成映像Ａから仮想合成映像（３）に表示映像が突然変化してしまうことによる違和感をなくすことができる。

なお、ホールド出力制御から通常出力制御に切り替えるときに行う第二の移行出力制御の回数ｎは、第二の変形例においては２以上の自然数である必要がある。また、第二の移行出力制御を行うｎ回のフレーム期間のうち、１回目から（ｎ−１）回目までのフレーム期間のいずれかを、ホールドフレーム期間として設定する必要がある。

（第三の変形例）
以下では、図１３の時刻Ｔ１２〜Ｔ１６の各時刻におけるＨＭＤ１００の動作の変形例を、図１５を参照して説明し、図１４の時刻Ｔ１〜Ｔ５の各時刻におけるＨＭＤ１００の動作の変形例を、図１６を参照して説明する。

図１５は、第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１５において、時刻Ｔ１２〜Ｔ１６以外の状態は、図１３に示した状態と同じである。

時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。

このため、時刻Ｔ１２にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが、外部表示装置に出力される。

映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に映像Ｂが記憶される。

次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが１つ記憶されている。

このため、時刻Ｔ１３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（２）と、映像記憶部１７の「記憶領域２」に記憶中の映像Ｂとを足して２で割った映像Ｃが、外部表示装置に出力される。

映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に映像Ｃが上書きされる。

次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが２つ記憶されている。

このため、時刻Ｔ１４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（３）と、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃとを足して２で割った映像Ｄが、外部表示装置に出力される。

映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に映像Ｄが上書きされる。

次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが３つ記憶されている。

このため、時刻Ｔ１５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（４）を２／３倍したものと、映像記憶部１７の「記憶領域２」に記憶中の映像Ｄを１／３倍したものを加算して得られる映像Ｅが、外部表示装置に出力される。

映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に映像Ｅが上書きされる。

次の時刻Ｔ１６では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが４つ記憶されている。

このため、時刻Ｔ１６にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第一の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（５）を３／４倍したものと、映像記憶部１７の「記憶領域１」に記憶中の映像Ｅを１／４倍したものを加算して得られる映像Ｆが、外部表示装置に出力される。

映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」の映像Ｄが消去される。

次の時刻Ｔ１７では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが５つ記憶されている。

このため、ＨＭＤ表示中の仮想合成映像（６）が映像記憶部１７の「記憶領域１」に上書きされ、当該仮想合成映像（６）が外部表示装置に出力される（通常出力制御が実施される）。

仮想合成映像（６）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１７以降は、ＨＭＤ表示中の仮想合成映像が、そのまま外部表示装置に表示される。

図１６は、第三の変形例のＨＭＤ１００の動作を説明するためのイメージ図である。図１６において、時刻Ｔ１〜Ｔ５以外の状態は、図１４に示した状態と同じである。

時刻Ｔ１にてＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ１の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されておらず、また、ホールドイン移行中フラグが１つも記憶されていない。

このため、時刻Ｔ１にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが、外部表示装置に出力される。

映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に映像Ｂが記憶される。

次の時刻Ｔ２では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが１つとなっている。

このため、時刻Ｔ２にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（２）と映像記憶部１７の「記憶領域２」に記憶中の映像Ｂを足して２で割って得られる映像Ｃが外部表示装置に出力される。

映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶映像１」に映像Ｃが上書きされる。

次の時刻Ｔ３では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが２つとなっている。

このため、時刻Ｔ３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第二の移行出力制御が実施される）。

具体的には、ＨＭＤ表示中の仮想合成映像（３）と映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを足して２で割って得られる映像Ｄが外部表示装置に出力される。

映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に仮想合成映像（３）が記憶される。

次の時刻Ｔ４では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが３つとなっている。

このため、時刻Ｔ４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第二の移行出力制御が実施される）。

具体的には、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを１／４倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（３）を３／４倍したものとを加算した映像Ｅが外部表示装置に出力される。

映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。

次の時刻Ｔ５では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが４つとなっている。

このため、時刻Ｔ５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第二の移行出力制御が実施される）。

具体的には、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを１／８倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（３）を７／８倍したものとを加算した映像Ｆが外部表示装置に出力される。

映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」のデータが消去される。

次の時刻Ｔ６では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが５つ（＝ｎ）になっている。

このため、時刻Ｔ６にて開始されるフレーム期間では、映像記憶部１７の「記憶領域２」に記憶された仮想合成映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。

時刻Ｔ６以降は、「記憶領域２」に記憶されている仮想合成映像（３）が外部表示装置に表示され続ける。

図１５に示した時刻Ｔ１２〜Ｔ１６の各々で開始されるフレーム期間中に行われる第一の移行出力制御は、フレーム期間中に生成された仮想合成映像と、当該フレーム期間の１つ前のフレーム期間で外部表示装置に出力されていた仮想合成映像とを加重平均して外部出力用映像を生成し、この外部出力用映像を外部表示装置に出力する制御である。

この第一の移行出力制御によれば、映像記憶部１７には記憶領域１と記憶領域２の２つの領域があればよいため、第二の変形例のときよりもメモリ容量を削減することができる。

図１６に示した時刻Ｔ１〜Ｔ５の各々で開始されるフレーム期間中に行われる第二の移行出力制御は、フレーム期間中に生成される仮想合成映像と、当該フレーム期間よりも前のフレーム期間にて生成された過去の仮想合成映像と、当該フレーム期間よりも前のフレーム期間にて外部表示装置に出力された仮想合成映像とから選ばれる複数の仮想合成映像の加重平均により、外部表示装置に出力する外部出力映像を生成し、これを外部表示装置に出力する制御である。

図１６の例では、出力制御部１５が、第二の移行出力制御を行うｎ回のフレーム期間のうちの３回目のフレーム期間をホールドフレーム期間とし、ホールドフレーム期間以前のフレーム期間（時刻Ｔ１〜Ｔ３の各々で開始されるフレーム期間）では、当該フレーム期間で生成した仮想合成映像と、当該フレーム期間の１つ前のフレーム期間にて外部表示装置に出力された仮想合成映像とを加重平均して外部出力映像を生成する。また、出力制御部１５は、ホールドフレーム期間より後のフレーム期間（時刻Ｔ４，Ｔ５の各々で開始されるフレーム期間）では、ホールドフレーム期間で生成された仮想合成映像と、ホールドフレーム期間の１つ前のフレーム期間にて外部表示装置に出力された仮想合成映像とを加重平均して外部出力映像を生成している。

なお、ホールドフレーム期間より後のフレーム期間では、外部出力映像に含まれる仮想合成映像（３）の割合が、通常出力制御を行うフレーム期間に近づくにしたがって増えるように、重み係数がフレーム期間毎に変更される。

このようなｎ回の第二の移行出力制御によれば、映像記憶部１７には映像領域１と映像領域２の２つの領域があればよいため、第二の変形例のときよりもメモリ容量を削減することができる。

なお、第三の変形例においても、ホールド出力制御から通常出力制御に切り替えるときに行う第二の移行出力制御の回数ｎは２以上の自然数とし、第二の移行出力制御を行うｎ回のフレーム期間のうち、１回目から（ｎ−１）回目までのフレーム期間のいずれかをホールドフレーム期間として設定する必要がある。

以上のように、本明細書には次の事項が開示されている。

開示された拡張現実感提供装置は、フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、前記拡張現実感提供装置の動き量を検出する動き量検出部と、前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備えるものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する少なくとも１つのフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該第二のフレーム期間において前記外部表示装置に出力されていた前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記少なくとも１つのフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記加重平均する対象となる前記仮想映像合成部で生成される前記仮想合成映像の重み係数を、前記少なくとも１つのフレーム期間の後のフレーム期間に近づくほど大きくするものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。

開示された拡張現実感提供装置は、前記出力制御部は、加重平均後の映像に含まれる、生成時刻の新しい前記仮想合成映像の割合が徐々に増えるように、前記加重平均時の重み係数をフレーム期間毎に変化させるものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行うものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。

開示された拡張現実感提供装置は、前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記１フレーム分の仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行うものである。

開示された拡張現実感提供装置は、前記出力制御部は、加重平均後の映像に含まれる、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像の割合が徐々に大きくなるように、前記第三のフレーム期間より後のフレーム期間において行う前記加重平均時の重み係数をフレーム期間毎に変化させるものである。

本発明によれば、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年１１月９日出願の日本出願（特願２０１０−２５１３０４）に基づくものであり、その内容はここに参照として取り込まれる。

１００ ＨＭＤ
３Ｒ，３Ｌ 表示部
１１ 測位部
１６ 角速度センサ

Claims (9)

1. フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、
   現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、
   前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、
   前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、
   前記拡張現実感提供装置の動き量を検出する動き量検出部と、
   前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備える拡張現実感提供装置。
2. 請求項１記載の拡張現実感提供装置であって、
   前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する少なくとも１つのフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該第二のフレーム期間において前記外部表示装置に出力されていた前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記少なくとも１つのフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
3. 請求項２記載の拡張現実感提供装置であって、
   前記出力制御部は、前記加重平均する対象となる前記仮想映像合成部で生成される前記仮想合成映像の重み係数を、前記少なくとも１つのフレーム期間の後のフレーム期間に近づくほど大きくする拡張現実感提供装置。
4. 請求項１記載の拡張現実感提供装置であって、
   前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
5. 請求項４記載の拡張現実感提供装置であって、
   前記出力制御部は、加重平均後の映像に含まれる、生成時刻の新しい前記仮想合成映像の割合が徐々に増えるように、前記加重平均時の重み係数をフレーム期間毎に変化させる拡張現実感提供装置。
6. 請求項１、４、又は５記載の拡張現実感提供装置であって、
   前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
   前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行う拡張現実感提供装置。
7. 請求項１記載の拡張現実感提供装置であって、
   前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
8. 請求項１又は７記載の拡張現実感提供装置であって、
   前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
   前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記１フレーム分の仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行う拡張現実感提供装置。
9. 請求項８記載の拡張現実感提供装置であって、
   前記出力制御部は、加重平均後の映像に含まれる、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像の割合が徐々に大きくなるように、前記第三のフレーム期間より後のフレーム期間において行う前記加重平均時の重み係数をフレーム期間毎に変化させる拡張現実感提供装置。

Images