JP7217368B2 - 画像表示装置 - Google Patents

Description

本発明は、複合現実感を利用した画像を表示する画像表示装置に関する。

特許文献１には、複合現実感空間において作業者が観察しているＨＭＤの映像と、作業者が仮想物体に対して行った操作に関する情報と、仮想物体の状態に関する情報とを対応付けて記録することが記載されている。

特開２００５－２６７０３３号公報

作業者は必ずしも同じ場所で同じ作業するわけではなく、作業場所に応じた作業を行うことがある。したがって、その作業場所に応じた作業動画を表示させたい、という要望がある。上記特許文献１に記載の発明においては、作業場所に応じた作業動画をユーザに提供することは考慮されておらず、そのような動画を提供することができない。

そこで、本発明は、作業場所に応じた作業動画などのコンテンツを含んだ複合現実感空間をユーザに提供することができる画像表示装置を提供することを目的とする。

本発明の画像表示装置は、作業対象に対する作業内容を示した合成対象データ、前記作業内容に応じた配置位置および配置時間を対応付けて記憶する記憶部と、前記配置位置および前記配置時間に基づいて、前記現実空間を表す外界情報に対して重畳表示可能に前記合成対象データを生成する生成部と、前記外界情報に対して前記合成対象データを重畳表示する表示部と、を備える。

この発明によれば、配置位置および配置時間に応じた位置に合成対象データを現実空間に対して合成することができる。

本発明によると、配置位置および配置時間に応じた位置に合成対象データを現実空間に対して合成することができる。

複合現実感を利用した映像を示す図である。 現実空間にある操作対象物Ｔに対して、そのユーザＵの位置を概念的に示す図である。 動画データの再生画面である動画再生画面Ｇの配置位置を模式的に示した図である。 本実施形態における画像表示装置１００の機能構成を示すブロック図である。 操作対象物Ｔの操作状況を録画するときの画像表示装置１００の動作を示すフローチャートである。 画像表示装置１００の動画データを再生するときの処理を示すフローチャートである。 動画データの再生中における配置位置および表示姿勢の切替を行う処理を示すフローチャートである。 図７に示された処理の後における再生処理を示すフローチャートである。 シークモード時における動画再生処理を示すフローチャートである。 本開示の一実施の形態に係る画像表示装置１００のハードウェア構成の一例を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、複合現実感を利用した映像を示す図である。図１に示すように、複合現実感を利用した映像は、現実空間にある操作対象物Ｔに対して、その操作対象物Ｔの操作動画データを再生するための動画再生画面Ｇを合成して構成される。図１において、操作対象物Ｔは、テレビであり、現実空間に配置される。動画再生画面Ｇは、現実空間にある操作対象物Ｔを含んだ映像に、仮想画像として合成される。この動画再生画面Ｇは、現実空間における操作対象物Ｔに対する操作した位置に表示されるよう合成される。ユーザは、操作対象物Ｔを基準に、その操作位置に移動することで、この動画再生画面Ｇによる再生動画を視聴することができる。

図１（ａ）においては、動画再生画面Ｇは、操作対象物Ｔの右前（操作対象物Ｔに向かって左手前）に合成して表示される。図１（ｂ）においては、動画再生画面Ｇは、操作対象物Ｔの右後ろ（操作対象物Ｔに向かって左後ろ）に合成して表示される。動画再生画面Ｇは、図１に示される位置に合成して表示されるよう、操作対象物Ｔを基準にした位置で管理されている。

図２は、現実空間にある操作対象物Ｔに対して、ゴーグル型の画像表示装置１００を装着したユーザＵが操作をしているときの、そのユーザＵの位置を概念的に示す図である。図２に示されるように、ユーザＵは、操作対象物Ｔの正面に位置し、その位置で操作を行う。画像表示装置１００は、その操作の様子を録画し記憶するとともに、その録画した位置を取得して記憶する。その後、操作対象物Ｔに向かって左側に移動し、そこでの作業を録画子記憶するとともに、その位置を取得し、記憶する。さらに、ユーザＵは、操作対象物Ｔに向かって左側に移動し、上述の通り、操作の動画データとその位置を記憶する。

このように、画像表示装置１００は、ユーザＵの操作を録画して動画データとして記憶するとともに、その録画位置を記憶することができる。

図３は、その動画データの再生画面である動画再生画面Ｇの配置位置を模式的に示した図である。図３に示したように動画再生画面Ｇは、録画したときに取得した位置に合せて、現実空間に仮想的に配置される。ユーザＵは、画像表示装置１００を介して操作対象物Ｔをみる場合に、操作対象物Ｔを含んだ映像に動画再生画面Ｇが複合現実感により合成される。

このような動画再生画面Ｇを、現実空間における操作対象物Ｔに対する操作位置に合成して表示することで、ユーザは、操作対象物Ｔを操作する際に、その操作位置を簡単に把握でき、また操作のための動画再生画面を見ることができる。

図４は、本実施形態における画像表示装置１００の機能構成を示すブロック図である。この画像表示装置１００は、カメラ１０１、表示部１０２、複合現実感処理部１０３（生成部）、記憶部１０４、録画部１０５、自己位置姿勢推定部１０６、および再生部１０７を含んで構成されている。この画像表示装置１００は、ユーザの頭部に装着されるいわゆるＨＭＤ（Head Mounted Display）のゴーグル型の装置であるが、それに限るものではなく、タブレット型などで構成してもよい。

カメラ１０１は、操作対象物Ｔを含む現実空間を撮影する撮影部である。このカメラ１０１は、ユーザが操作対象物Ｔを操作している様子を動画で撮影する。なお、静止画を撮影してもよい。

表示部１０２は、カメラ１０１が撮影した現実空間の映像に、複合現実感処理部１０３が動画再生画面Ｇを合成して表示する部分である。

複合現実感処理部１０３は、カメラ１０１が撮影した現実空間の映像に対して仮想画像を合成する部分である。具体的には、複合現実感処理部１０３は、記憶部１０４に記憶されている動画再生画面Ｇを、現実空間に存在する操作対象物Ｔの映像に合成する。合成に際して、複合現実感処理部１０３は、記憶部１０４に記憶されている現実空間における動画再生画面Ｇの配置位置および表示姿勢に基づいて、動画再生画面Ｇを現実空間に仮想的に配置する。そして、複合現実感処理部１０３は、カメラ１０１が撮影している撮影方向および動画再生画面Ｇの配置位置および表示姿勢に基づいて、当該動画再生画面Ｇを回転させて、カメラ１０１が撮影している映像に合成する。

記憶部１０４は、現実空間における動画再生画面Ｇの仮想的な配置位置、表示姿勢および録画した動画データを記憶する部分である。動画再生画面Ｇは、３次元画像で構成されており、回転によりその表示態様を変えることができる。

録画部１０５は、ユーザが操作対象物Ｔを操作している様子を録画して、録画した動画データを記憶部１０４に記憶する部分である。録画部１０５は、録画するとともに、その録画位置を動画再生画面Ｇの現実空間における仮想的な配置位置として取得して、記憶部１０４に、その録画位置および録画姿勢（撮影方向）の逆方向を動画再生画面Ｇの配置位置および表示姿勢として記憶する。

自己位置姿勢推定部１０６は、操作対象物Ｔに対する相対的な自己位置を推定する部分である。自己位置姿勢推定機能は、公知の技術であって、例えばＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術がある。本実施形態においては、操作対象物Ｔに、初期位置を定義するためのマーカを添付しておき、自己位置姿勢推定部１０６がカメラ１０１で撮影した映像に基づいて、その距離と撮影角度とを把握し、操作対象物Ｔに対する自己位置を推定する。ユーザＵが移動すると、カメラ１０１が撮影した操作対象物Ｔの映像に基づいて、移動先の自己位置を算出する。そして、ユーザＵの操作の録画時においては、この自己位置に基づいて、録画部１０５は、録画位置および録画姿勢を取得し、記憶部１０４が、録画位置および録画姿勢を、動画再生画面Ｇの配置位置および表示姿勢として記憶する。

再生部１０７は、記憶部１０４に記憶されている動画データを再生する部分である。

つぎに、画像表示装置１００の動作について説明する。図５は、操作対象物Ｔの操作状況を録画するときの画像表示装置１００の動作を示すフローチャートである。

ユーザ操作に従ってカメラ１０１は、操作対象物Ｔを撮影し（Ｓ１０１）、操作対象物Ｔを特定する（Ｓ１０２）。この特定は、操作対象物Ｔの外観に基づいてもよいし、操作対象物Ｔに添付されたマーカ、その他の付属物に基づいてもよい。そして、自己位置姿勢推定部１０６は、操作対象物Ｔに添付されているマーカを用いて、操作対象物Ｔおよび画像表示装置１００との相対位置関係を定義する初期位置を設定する。また、操作対象物Ｔに対する画像表示装置１００（カメラ１０１）の録画姿勢（傾き）を算出する（Ｓ１０３）。

ユーザは操作位置に移動し（Ｓ１０４）、録画部１０５は、カメラ１０１により撮影された操作に対する録画を開始する（Ｓ１０５）。録画部１０５は、操作対象物Ｔに対する操作を録画しながら、自己位置姿勢推定部１０６により推定された現在の自己位置である録画位置および録画姿勢（カメラ１０１の傾き）の推定値と、動画タイムスタンプとを記録する（Ｓ１０６）。録画部１０５は、事前に決めた特定秒間停止すると（Ｓ１０７）、録画停止したか否かを判断する（Ｓ１０８）。録画停止と判断した場合には、停止時の録画位置および画像表示装置１００の録画姿勢の推定値と、動画タイムスタンプとを記録する（Ｓ１０９）。録画部１０５は、記録した一連の録画位置Ｐ、録画姿勢Ｒ、およびタイムスタンプの値群と、その動画データとを操作対象物Ｔに対応付けて記憶部１０４に記憶する（Ｓ１１０）。

つぎに、操作対象物Ｔに対する録画した操作の動画データの再生処理について説明する。図６は、画像表示装置１００の動画データを再生するときの処理を示すフローチャートである。

カメラ１０１が操作対象物Ｔを撮影し（Ｓ２０１）、操作対象物Ｔを特定する（Ｓ２０２）。この特定は、上述の録画時と同様に、操作対象物Ｔの外観またはマーカ等に基づいて行われる。

自己位置姿勢推定部１０６は、操作対象物Ｔを特定することで、自己位置を推定するための初期位置を設定する。また、操作対象物Ｔに対するカメラ１０１の撮影姿勢を算出する（Ｓ２０３）。

複合現実感処理部１０３は、操作対象物Ｔの操作の動画データ、動画再生画面Ｇの配置位置および表示姿勢を記憶部１０４から取得する（Ｓ２０４）。そして、複合現実感処理部１０３は、動画データを再生するための動画再生画面Ｇを、タイムスタンプ０秒に対応する配置位置および表示姿勢で、現実空間に仮想的に配置する。表示部１０２は、自己位置姿勢推定部１０６が推定した自己位置、動画再生画面Ｇの配置位置・表示姿勢およびカメラ１０１の撮影範囲に基づいて、動画再生画面Ｇが合成された映像を表示する（Ｓ２０５）。その際、複合現実感処理部１０３は、動画再生画面Ｇを、その表示姿勢に応じて回転して合成する。

再生部１０７は、ユーザ入力で再生が指示されると（Ｓ２０６：ＹＥＳ）、動画再生画面Ｇの再生処理を行う（Ｓ２０７）。これをプログラムが終了するまで繰り返す（Ｓ２０８）。

ここで、動画再生画面Ｇの再生処理について詳細に説明する。図７～図９は、画像表示装置１００における動画再生処理の詳細を示すフローチャートである。図７は、動画データの再生中における配置位置および表示姿勢の切替を行う処理を示すフローチャートである。

再生部１０７は、記憶部１０４に記憶されている動画データの再生を行う（３０１）。複合現実感処理部１０３は、再生部１０７による再生処理と並行して、自己位置姿勢推定部１０６による位置姿勢推定結果および視線トラッキング機能（図示せず）によって、ユーザの視点位置（またはユーザの位置）とその視線方向とを取得する（Ｓ３０２）。複合現実感処理部１０３は、視線の動画再生画面Ｇからのずれφ、およびユーザの自己位置と動画再生画面Ｇとの距離Ｄを算出する。再生部１０７は、ずれφおよび距離Ｄに応じて、再生速度を調整する（Ｓ３０３）。例えば、再生部１０７は、ずれφが所定角度ずれており、距離Ｄが所定値以上である場合には、その再生速度を遅く、または停止する。なお、ずれφおよび距離Ｄに対する条件は少なくとも何れか一方でもよい。これは、ユーザが動画再生画面Ｇを見ているか否かを判断するための基準である。

複合現実感処理部１０３は、動画再生画面Ｇの配置位置および表示姿勢を記憶部１０４から取得する（Ｓ３０４）。複合現実感処理部１０３は、動画再生画面Ｇの現在の配置位置と、記憶部１０４に記憶されている、タイムスタンプに応じた動画再生画面Ｇの配置位置Ｐとの距離がＬ以上であるか否かを判断する（Ｓ３０５）。複合現実感処理部１０３は、Ｌ以上であると判断すると、配置位置Ｐに動画再生画面Ｇを配置する（Ｓ３０６）。距離がＬ以上である場合は、動画再生画面Ｇが再生している作業位置が大きく変わったことを意味している。配置位置Ｐは、上述録画処理でも説明したとおり、タイムスタンプごとに記録されている。よって、細かい手振れ時の加速度に反応してこまめに画像を動かさないことで、見やすくすることが可能となる。

また、複合現実感処理部１０３は、動画再生画面Ｇの現在の表示姿勢と、記憶部１０４に記憶されているタイムスタンプに応じた表示姿勢Ｒとの差が所定角度（角度θ）以上であるか否かを判断する（Ｓ３０７）。ここで所定角度以上であると判断すると、動画再生画面Ｇを表示姿勢Ｒに設定する（Ｓ３０８）。所定角度以上である場合は、動画再生画面Ｇに動画データを再生しているときに、ユーザによる録画姿勢（表示姿勢Ｒ、作業時におけるユーザの向きなど）が大きく変わったことを意味している。したがって、そのような場合には、動画再生画面Ｇの表示姿勢も変えることが、実際の作業を表すことになる。

つぎに、図８に示される動作のフローチャートについて説明する。図８は、図７に示された処理の後における再生処理を示すフローチャートである。

複合現実感処理部１０３は、動画再生画面Ｇの現在の表示姿勢（表示方向ベクトル（画面が向いている方向））と、ユーザＵの現在位置から動画再生画面Ｇへの移動ベクトルとのなす角度が角度φ２以上であるか否かを判断する（Ｓ４０１）。

複合現実感処理部１０３は、角度φ２以上であると判断すると、動画再生画面Ｇの表示面をユーザＵの現在位置方向に傾けるまたは湾曲させる（Ｓ４０２）。

複合現実感処理部１０３は、再生部１０７による再生処理が行われている場合には（Ｓ４０３：ＮＯ、Ｓ４０４：ＮＯ）、アバタを生成して、動画再生画面Ｇの配置位置の付近に当該アバタを配置する（Ｓ４０７）。例えば、複合現実感処理部１０３は、動画再生画面Ｇの表示面の手前１メートルに配置するとともに、当該アバタの姿勢を姿勢Ｒに設定する。一時停止等は、ユーザＵによる操作により実行され、例えば表示部１０２がタッチパネルディスプレイである場合には、タップ等により指示される。

処理Ｓ４０３～処理Ｓ４０６において、一時停止処理から再生指示がなされるまで、処理Ｓ４０１に戻り、再生が再開されるまで繰り返し行われる。

複合現実感処理部１０３は上述の通りに複合現実感技術による映像を生成し、表示部１０２は複合現実感技術による映像を表示する。

図８における処理は、動画再生画面Ｇの配置位置をユーザ位置に応じて傾けまたは変形させ、また、アバタを配置するための処理である。

引き続き図９を用いて、再生処理について説明する。図９は、シークモード時における動画再生処理を示すフローチャートである。

複合現実感処理部１０３は、シークモードが指示されているか否かを判断する（Ｓ５０１）。シークモードとは、録画時におけるユーザの移動軌跡を示すためのモードである。これはユーザＵが、操作部等を介して、任意のタイミングで指示することができる。

シークモードが指示されている場合に（Ｓ５０１：ＹＥＳ）、複合現実感処理部１０３は、動画再生画面Ｇの移動軌跡をタップ可能な太い線で構成して、表示部１０２は表示する（Ｓ５０２）。この移動軌跡は、記憶部１０４に記憶されている配置位置およびタイムスタンプに基づいて、構成される。

表示部１０２は、当該移動軌跡がユーザＵによりタップされたことを検出すると（Ｓ５０３：ＹＥＳ）、再生部１０７は、動画データの再生位置を、タップされた移動軌跡の座標の時刻に対応する位置に設定する（Ｓ５０４）。この移動軌跡には、動画再生画面Ｇの配置位置ごとにタイムスタンプおよび動画データの再生位置が関連付けされており、再生部１０７は、そのタイムスタンプに基づいた再生位置を認識することができる。これら処理（Ｓ３０１～Ｓ５０４）を再生処理が終了するまで繰り返す（Ｓ５０５）。

なお、動画再生画面Ｇの一時停止中、再生中を問わずに、表示部１０２は、動画再生画面Ｇのコピー画面を、表示画面のいずれかの隅に表示してもよい。また、複合現実感処理部１０３は、現実空間における予め定めた位置に、当該コピー画面を仮想的に配置してもよい。

つぎに、本実施形態における画像表示装置１００の作用効果について説明する。この画像表示装置１００は、合成対象データである操作動画データ、当該操作動画データの現実空間における配置位置および配置時間を対応付けて記憶する記憶部１０４を備える。そして、表示部１０２は、現実空間における配置位置および配置時間に基づいて、操作動画データと現実空間にある操作対象物とを合成表示する。

本実施形態においては、カメラ１０１が、現実空間の外界情報を撮影して映像として取得し、複合現実感処理部１０３が撮影された現実空間の映像と操作動画データとを合成して、表示部１０２はこれを表示する。

なお、これに限らず、画像表示装置１００を、シースルーのグラス型にしてもよい。その場合、表示部１０２は、外界光を透過する透過型の表示パネルを有し、表示パネルを透過した現実空間にある操作対象物Ｔなどの外界情報に対して、操作動画データを表示パネル上で合成示する。

また、画像表示装置１００において、操作動画データは、動画データであって、配置時間は前記動画データの再生時間に相当する。複合現実感処理部１０３は、再生時間に応じた配置位置に操作動画データを移動させ、表示部１０２はこれを表示する。

これにより、作業内容に応じた位置に操作動画データを配置することができる。

また、画像表示装置１００において、複合現実感処理部１０３は、合成対象データの近傍にアバタを配置し、表示部１０２はこれを表示する。アバタを配置することで、動画撮影者の視点等を把握することができる。

画像表示装置１００において、複合現実感処理部１０３は、現実空間に仮想的に配置された操作動画データの再生面、すなわち動画再生画面Ｇの表示面をユーザに正対するよう変形させる。

これにより、ユーザは、常にその動画を視聴でき、その内容を把握することができる。

また、画像表示装置１００において、前記動画データに対する視線を検出する検出部（視線トラッキング機能）と、を備え、再生部１０７は、前記視線が前記動画データから外れた場合に、当該動画データの再生を停止またはスロー再生をする。

これにより、視線により再生処理をコントロールできる。

画像表示装置１００において、記憶部１０４は、複数の動画データおよびそれらに応じた配置位置および配置時間を記憶する。再生部１０７は、複数の動画データのそれぞれを連続して再生するとともに、複合現実感処理部１０３は、再生する動画データの配置位置に応じてアバタを移動させる。

これにより、操作作業位置をユーザは把握することができる。

また、画像表示装置１００において、録画部１０５は、作業内容を、現実空間における作業位置を録画する録画部をさらに備える。そして、録画部１０５は、記憶部１０４に、作業内容の動画データを合成対象データとして記憶するとともに、その作業位置および作業時間を、配置位置および配置時間として記憶する。

これにより、作業内容を動画データとして、作業位置とともに記憶することで、複合現実感により動画データを現実空間に合成して再生し表示することが可能となる。

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における画像表示装置１００は、本開示の画像表示方法の処理を行うコンピュータとして機能してもよい。図１０は、本開示の一実施の形態に係る画像表示装置１００のハードウェア構成の一例を示す図である。上述の画像表示装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。画像表示装置１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

画像表示装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の複合現実感処理部１０３、自己位置姿勢推定部１０６は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、画像表示装置１００の複合現実感処理部１０３は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る画像表示方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、画像表示装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

本開示においては、「移動局（ＭＳ：Mobile Station）」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」などの用語は、互換的に使用され得る。

移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０１…カメラ、１０２…表示部、１０３…複合現実感処理部、１０４…記憶部、１０５…録画部、１０６…自己位置姿勢推定部、１０７…再生部。

Claims (5)

1. 作業対象に対する作業内容を示した合成対象データ、前記作業内容に応じた配置位置および配置時間を対応付けて記憶する記憶部と、
   前記配置位置および前記配置時間に基づいて、現実空間を表す外界情報に対して重畳表示可能に前記合成対象データを生成する生成部と、
   前記外界情報に対して前記合成対象データを合成表示する表示部と、
   を備え、
   前記生成部は、前記現実空間に仮想的に配置された前記合成対象データの表示面を正対するよう変形させる、画像表示装置。
2. 前記生成部は、前記合成対象データの近傍にアバタを生成する、
   請求項１に記載の画像表示装置。
3. 動画データの再生制御を行う再生部と、
   前記動画データに対するユーザの視線を検出する検出部と、を備え、
   前記再生部は、前記視線が前記動画データから外れた場合に、当該動画データの再生を停止またはスロー再生をする、
   請求項１または２に記載の画像表示装置。
4. 動画データの再生制御を行う再生部をさらに備え、
   前記記憶部は、複数の動画データおよびそれらに応じた配置位置および配置時間を記憶し、
   前記再生部は、前記複数の動画データのそれぞれを連続して再生するとともに、前記生成部は、再生する動画データの配置位置に応じてアバタを生成させる、
   請求項１または２に記載の画像表示装置。
5. 作業内容を、現実空間における作業位置を付加して録画する録画部をさらに備え、
   前記録画部は、前記記憶部に、前記作業内容の動画データを合成対象データとして記憶するとともに、その作業位置および作業時間を、配置位置および配置時間として記憶する、
   請求項１～４のいずれか一項に記載の画像表示装置。

Images