JP5482711B2 - 画像表示装置 - Google Patents

Description

本発明は、画像信号に応じた画像を虚像である表示画像として観察者に表示するとともに、その表示画像に重ねて外界の景色も観察者が観察することが可能であるシースルー型ヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置に関し、特に、外部から入力された連続画像を欠落なく再生する技術に関する。

表示すべき画像を表す画像光を観察者の眼に投射するために観察者の頭部に装着されるＨＭＤを有する画像表示装置が既に知られている（例えば、特許文献１参照。）。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。

ＨＭＤを、画像光形成方式によって分類すると、例えば特許文献１に開示されている空間変調型、すなわち、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ（エレクトロ・ルミネッセンス））を用いて、光源の出射光から前記画像光を形成する方式と、走査型、すなわち、光源の出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式とに分類される。

また、ＨＭＤを、表示画像の観察方式によって分類すると、例えば特許文献１に開示されているシースルー型、すなわち、観察者が、当該ＨＭＤによる表示画像に重ねて外界の景色を観察することが可能である方式と、密閉型、すなわち、現実外界を表す外光の入射を遮断し、観察者が、ＨＭＤによる表示画像のみを観察することを可能である方式とに分類される。

シースルー型ＨＭＤを使用すれば、密閉型ＨＭＤとは異なり、観察者は、表示画像の観察中、外界の景色も併せて観察できるため、視覚的な閉塞感も圧迫感も軽減されるとともに、外界の景色に関する情報も同時に取得できるため、便利である。

しかし、観察者は、それの頭部にＨＭＤを装着して表示画像を観察しつつ、歩行などにより、移動する場合があり、この場合には、表示画像に対し、外界の景色が相対的に移動する。そのため、このような移動中には、観察者にとり、外界の景色によって邪魔されるために表示画像が視認され難くなる可能性や、表示画像によって邪魔されるために外界の景色が視認され難くなる可能性がある。

これに対し、特許文献１は、頭部にＨＭＤを装着して表示画像を観察している観察者が歩行中であるか否かを判定し、歩行中である場合には、観察者に対する画像の表示を自動的に停止させたり、画像の表示は継続するがその表示される画像の輝度を自動的に低下させる技術を開示している。

特開平９−２１１３８２号公報

しかし、本発明者らによる研究により判明したことは、特許文献１に開示された技術では、画像の表示すなわち画像の再生のためにＨＭＤに入力される画像が静止画像ではなく、連続画像（動画、ストリーミングコンテンツの一例）である場合には、観察者の移動が終了すると、動画の再生が自動的に再開されるが、動画のうち、観察者の移動がなかったなら再生されていたはずの部分が、その移動の終了後に再生されることはないということである。そのため、この開示技術では、観察者は、観察者の移動に伴う画像表示の停止に起因して、動画の一部を観察することができないという問題がある。

再生すべき動画をＨＭＤに送信する外部機器であって、送信、一時停止、録画等の操作をＨＭＤのユーザが当該外部機器に対して行うことが可能であるものをＨＭＤに接続するという対策を講ずれば、ユーザは、その移動中、再生すべき動画を外部機器に録画でき、その移動の終了後には、その録画した動画をいつでもＨＭＤに送信して再生できる。よって、この対策を講ずれば、観察者の移動に伴う画像表示の停止に起因して、動画の一部を観察することができないという問題は生じない。

しかし、この対策を講ずる場合には、新たな問題が生じる可能性がある。すなわち、観察者は、移動に先立ち、上述の外部機器に対し、一時停止および録画という操作を行い、かつ、その移動の終了後に、その外部機器に対し、再生という操作を、家庭においてパソコンを操作するなどの環境とは異なる環境で行わなければならず、面倒であるという問題が生じる可能性があるのである。

以上説明した事情を背景として、本発明は、画像信号に応じた表示画像に重ねて外界の景色を観察者が観察することが可能なシースルー型ＨＭＤを有する画像表示装置において、外部から入力された連続画像を欠落なく再生することを課題としてなされたものである。

その課題を解決するために、本発明によれば、画像信号に応じた画像を虚像である表示画像として観察者に表示するとともに、その表示画像を外界の景色に重ねて観察者が観察することを可能にするシースルー型ヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
観察者に対する前記外界の景色の相対的な移動を検知し、その移動に応じた信号を出力する移動検知部と、
その移動検知部からの出力信号に基づき、前記移動が存在するか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記移動が存在するとの判定の開始時点から終了時点までの期間、前記通常再生を中止するか、または、前記通常再生を、通常モードより観察者が前記表示画像を視認し難い特別モードで行い、
前記録画部は、少なくとも、前記移動が存在するとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行い、
当該画像表示装置は、さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う画像表示装置が提供される。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。

（１） 画像信号に応じた画像を虚像である表示画像として観察者に表示するとともに、その表示画像を外界の景色に重ねて観察者が観察することを可能にするシースルー型ヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
観察者に対する前記外界の景色の相対的な移動を検知し、その移動に応じた信号を出力する移動検知部と、
その移動検知部からの出力信号に基づき、前記移動が存在するか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記移動が存在するとの判定の開始時点から終了時点までの期間、前記通常再生を中止するか、または、前記通常再生を、通常モードより観察者が前記表示画像を視認し難い特別モードで行い、
前記録画部は、少なくとも、前記移動が存在するとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行う画像表示装置。

（２） さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う（１）項に記載の画像表示装置。

（３） 前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う（２）項に記載の画像表示装置。

（４） さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む（１）ないし（３）項のいずれかに記載の画像表示装置。

（５） 前記移動検知部は、観察者が観察している前記外界の景色を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像の時間的変化の有無に基づき、前記移動が存在するか否かを判定する（１）ないし（４）項のいずれかに記載の画像表示装置。

（６） 前記移動検知部は、当該ＨＭＤの、絶対空間に対する移動を検知するセンサを含む（１）ないし（４）項のいずれかに記載の画像表示装置。

本発明によれば、観察者に対する外界の景色の相対的な移動が存在するとの判定（以下、「移動判定」という。）が開始されると、入力部に入力されてその入力部から出力された画像信号によって表される入力画像を再生する通常再生が自動的に中止されるか、または、その通常再生が、通常モードより観察者が表示画像を視認し難い特別モードに自動的に移行する。それと並行して、前記入力部から出力された入力画像が自動的に録画される。前記移動判定が終了すると、録画された画像を古い方から順に再生する録画再生が自動的に行われる。

したがって、本発明によれば、移動判定の終了後に画像の再生が自動的に再開されると、その移動判定の開始時点と終了時点との間の期間中に前記入力部に入力された画像が、追加の操作を観察者に要求することなく、自動的に再生される。その結果、本発明によれば、前記移動が発生すると、画像再生が自動的に一時的に停止させられるにもかかわらず、前記移動が終了して画像再生が再開されると、画像の部分的欠落なしで、画像を再生することが可能となり、よって、当該画像表示装置の使い勝手が向上する。

本発明の第１実施形態に従う画像表示装置を、それのＨＭＤが観察者の頭部に装着された使用状態で、制御ユニットと共に正面図である。 図１に示す画像表示装置の構成を概念的に表す機能ブロック図である。 図２に示す制御ユニットの構成を概念的に表す機能ブロック図である。 図３に示す制御ユニットがある例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。 図３に示す制御ユニットが別の例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。 図２に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。 本発明の第２実施形態に従う画像表示装置の構成を概念的に表す機能ブロック図である。 図７に示す制御ユニットの構成を概念的に表す機能ブロック図である。 図８に示す制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。 図７に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。 本発明の第３実施形態に従う画像表示装置における制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。 上記第３実施形態に従う画像表示装置におけるプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。

以下、本発明のさらに具体的な実施の形態のうちのいくつかを図面に基づいて例示的に詳細に説明する。

図１には、本発明の第１実施形態に従う画像表示装置１０が使用状態で平面図で示されている。この画像表示装置１０は、シースルー型のＨＭＤ１２を有する。このＨＭＤ１２は、画像を表す画像光を観察者の眼に投影するように構成されている。このＨＭＤ１２は、ヘッドマウント装置１４により、観察者の頭部に装着される。

ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が装着している眼鏡（図示しない）のフレームであるか、専用のフレームであるかを問わず、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介してＨＭＤ１２が搭載される。

次に、図１および図２を参照することにより、ＨＭＤ１２およびそのＨＭＤ１２を制御するための制御ユニット２０であってコンピュータを主体として構成されているものを説明する。

なお付言するに、本実施形態おいては、共に独立した部品であるＨＭＤ１２と制御ユニット２０とが互いに組み合わされて画像表示装置１０を構成しているが、制御ユニット２０をＨＭＤ１２内に組み込むことによって画像表示装置１０を構成してもよい。

まず、ＨＭＤ１２の概略を説明する。図１には、このＨＭＤ１２が平面図で示されている。このＨＭＤ１２は、単眼式であり、画像を表す画像光を観察者の片眼に眼前から投影して前記画像を観察者に表示する。

図２に示すように、ＨＭＤ１２は、空間変調型であり、光源（例えば、ＬＥＤ（発光ダイオード））３０からの面状の光を、空間変調素子としてのＬＣＤ（液晶ディスプレイ）３２を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の眼３４の瞳孔３６を経て、網膜３８上に投影し、それにより、観察者が画像を虚像として観察することを可能にする。

図２に示すように、光源３０は、光源駆動回路４０によって駆動され、また、ＬＣＤ３２は、ＬＣＤ駆動回路４２によって駆動される。ＨＭＤ１２は、さらに、光源３０からの光に対して必要な光学処理を施してＬＣＤ３２に入射する照明光学系４４と、ＬＣＤ３２から出射した画像光を瞳孔３６に誘導する接眼光学系４６とを備えている。

図１に示すように、ＨＭＤ１２は、前述のように、シースルー型であるため、このＨＭＤ１２から出射する画像光を曲げて瞳孔３６に誘導する反射部材としてのハーフミラー４８を有している。観察者の眼３４には、ハーフミラー４８から反射した画像光のみならず、外界の景色を表す光（外光）がハーフミラー４８を透過して入射する。その結果、観察者は、画像光によって表示される画像（表示画像）に重ねて外界の景色を観察することが可能となる。

なお付言するに、本実施形態においては、ＨＭＤ１２が単眼式および空間変調型であるが、両眼式に変更したり、網膜走査型、すなわち、レーザ等、光源からの、画像信号に応じた強度を有する光束をスキャナによって走査し、その走査された光束を観察者の網膜３８に投影することにより、観察者が画像を虚像として観察することを可能にする型式に変更することが可能である。

図２に示すように、ＨＭＤ１２は、さらに、音声信号出力回路５０を備えている。その音声信号出力回路５０は、観察者の耳５２に装着されるイヤホン５４（耳に接近したスピーカを用いて音声を出力するデバイスの一例であり、他の例としては、ヘッドホンがある）に音声信号を有線または無線で出力する。ＨＭＤ１２は、映像と音声とを一緒に再生して観察者（ユーザ）に出力することが可能である。

次に、制御ユニット２０を説明する。この制御ユニット２０はＨＭＤ１２に、図１に示すように、ケーブル６０を介して接続されている。ケーブル６０は、いずれも図示しないが、制御信号を供給する制御ラインと、電力を供給するパワーラインと、映像信号を供給する映像ラインとを含んでいる。ＨＭＤ１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。

制御ユニット２０は、図２に機能ブロック図で概念的に表すように、前記コンピュータを主体として構成されている。具体的には、制御ユニット２０は、プロセッサとしてのＣＰＵ(Central Processing Unit)７０と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)７２および録画再生用メモリ７４と、揮発性メモリとしてのＲＡＭ(Random Access Memory)７６とを備えている。録画再生用メモリ７４は、例えば、フラッシュＲＯＭ、ＨＤＤ（ハードディスクドライブ）に装着されるＨＤ（ハードディスク）である。ＲＡＭ７６は、ビデオＲＡＭを有する。それらＣＰＵ７０，プログラムＲＯＭ７２，録画再生用メモリ７４およびＲＡＭ７６は、バス７８を介して互いに接続され、それにより、前記コンピュータが構成される。

バス７８には、さらに、ユーザである観察者が種々の要求（例えば、外部から送信されたコンテンツとしての連続画像（動画、一連の複数枚のフレームによって構成される映像）を再生することを要求する再生要求、その再生要求の解除など）、情報等を制御ユニット２０に対して入力するためにユーザによって操作される操作部としての操作パネル（例えば、キー、ボタン、タッチスクリーン）９０が接続されている。このバス７８には、さらに、時間を計測するためのタイマ９２と、撮像素子としてのカメラ９４（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）とが接続されている。カメラ９４は、観察者が観察している外界の景色を撮像するために、ＨＭＤ１２またはフレーム１４に装着される。

バス７８には、さらに、外部から画像信号が入力される画像信号入力回路１００と、外部から音声信号が入力される音声信号入力回路１０２と、画像処理回路１０４とが接続されている。画像信号入力回路１００には、無線または有線で接続された外部機器（例えば、パーソナルコンピュータや、コンテンツサーバ）から、再生すべき連続画像（以下、単に「画像」という。）を表すデータがストリーミングによって連続的に送信される。画像信号入力回路１００は、ＡＤコンバータ（図示しない）を有し、それにより、入力されたアナログの画像信号を、デジタルの画像信号（画像データ）に変換してバス７８に出力する。画像信号の受信と同期して、音声信号入力回路１０２は、同じ外部機器から、再生すべき音声を表すデータをストリーミングによって連続的に受信する。なお、画像信号入力回路１００に入力される画像信号がデジタル信号である場合もあり、この場合には、ＡＤコンバータは不要である。

画像処理回路１０４は、画像信号入力回路１００から出力された画像信号を光源駆動信号とＬＣＤ駆動信号とに変換し、光源駆動信号は光源駆動回路４０に、ＬＣＤ駆動信号はＬＣＤ駆動回路４２にそれぞれ供給する。バス７８には、さらに、ＨＭＤ１２内の音声信号出力回路５０も接続されており、音声信号入力回路１０２から出力された音声信号が、その音声信号出力回路５０を介してイヤホン５４に出力される。

図３には、制御ユニット２０のうち、画像再生制御に関する部分が機能ブロック図で概念的に表されている。この制御ユニット２０は、画像信号入力回路１００から出力された画像信号により表される入力画像を再生する通常再生を行い、それにより、表示画像を形成する通常再生部１１０を備えている。通常再生部１１０は、入力画像をリアルタイムに再生するリアルタイム再生を行う。この制御ユニット２０は、さらに、録画再生用メモリ７４に入力画像を録画する録画部１１２と、録画再生用メモリ７４から画像データを読み出して再生する録画再生を行い、それにより、表示画像を形成する録画再生部１１４とを備えている。通常再生部１１０および録画再生部１１４は、それぞれの画像信号（画像データ）を画像処理回路１０４を介してＨＭＤ１２に供給する。

画像表示装置１０においては、カメラ９４が、観察者に対する外界の景色の相対的な移動を検知し、その移動に応じた信号を出力する移動検知部の一例として設けられている。ただし、その移動検知部は、カメラ９４に限定されることなく、例えば、ＨＭＤ１２の、絶対空間に対する移動を検知するセンサ（例えば、ジャイロセンサ、加速度センサ、角速度センサ、地磁気センサ等）を主体とするものとして構成することが可能である。

観察者に対する外界の景色の相対的な移動を発生させる原因事象は、典型的には、観察者が移動するという事象や、観察者が、自身の位置はそのままで頭部を傾けたり動かしたりするという事象であるが、外界の景色が時間と共に変化する可能性がある場合（例えば、外界に存在する車両などの移動物体を観察者が視認していたり、外界に設置されたスクリーン上に表示された画像を観察者が観察している場合）には、外界の景色が変化するという事象も、該当する。

図３に示すように、制御ユニット２０は、さらに、カメラ９４によって撮像された画像の時間的変化の有無に基づき、前記移動が存在するか否かを判定する判定部１１８を備えている。その判定部１１８の判定結果に基づき、通常再生部１１０、録画部１１２および録画再生部１１４のそれぞれの作動状態が変化する。

図３に示すように、制御ユニット２０は、さらに、第１消去部１２０を備えている。その第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、その再生された画像を録画再生用メモリ７４から消去する。

図４には、再生開始時点ｔ１から再生終了時点ｔ５までの間に、判定部１１８による、前記移動が存在するとの判定（以下、単に「移動判定」という。）が１回のみ行われるという、説明の便宜を優先させた仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。

図４に示すように、通常再生部１１０は、再生開始時点ｔ１から、通常再生（本実施形態においては、入力画像をリアルタイムに再生すること）を行う。通常再生部１１０は、判定部１１８による、移動判定の開始時点ｔ２から、通常再生を中止する。録画部１１２は、移動判定の開始時点ｔ２（通常再生が中止された時点に等しい）から、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画する。録画部１１２は、移動判定の終了時点ｔ３の到来後も、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画することをシームレスで継続する。録画再生部１１４は、移動判定の終了時点ｔ３から、録画再生用メモリ７４から、録画された画像を読み出して録画再生を行う。第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、直ちに、その再生された画像を録画再生用メモリ７４から消去する。

したがって、本実施形態によれば、前記移動が行われているために、画像が再生されてもその画像が外界の景色によって邪魔されて見難いか、または、画像が再生されるとその画像が障害物となって外界の景色が見難い可能性がある期間中に、画像の再生が中止され、さらに、その期間が終了すると、再生が中止された画像が、画像も外界の景色も見易い環境において再生される。再生が中止された画像の再生が終了すると、移動判定の終了時点ｔ３から録画再生用メモリ７４に録画された画像が、先行する画像再生に対してシームレスに再生される。

録画再生用メモリ７４の記憶容量は、理想的には、無限であるが、現実的には、有限である。そのため、移動判定の開始時点ｔ２と終了時点ｔ３との間の時間間隔の長さが、録画再生用メモリ７４の記憶可能時間Ｔ１を超えない限り、録画再生を、入力画像の欠落なしで行うことが可能である。

なお付言するに、本実施形態においては、通常再生部１１０は、移動判定の開始時点ｔ２から、通常再生を中止するように設計されているが、例えば、通常再生が、時点ｔ２とｔ３との間の期間中、画像表示を中止するのではなく、通常モードより観察者が表示画像を視認し難い特別モード（例えば、表示画像を、通常より輝度を下げて表示したり、表示画像を、通常は中央位置に表示画像が表示される画像表示領域において、中央位置から外れた周辺位置に表示するなど）で行われる態様で本発明を実施することが可能である。この態様によれば、画像表示を中止する場合とは異なり、移動判定中に外部から入力された画像の展開を観察者がリアルタイムで監視することが可能となる。

図４に対し、図５には、再生開始時点ｔ１から再生終了時点ｔ７までの間に、移動判定が２回行われるという、図４より現実性を増した仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。

図６には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。

ステップＳ１において、ユーザが画像表示装置１０の電源（図示しない）を投入すると、このプログラムの実行が開始される。このプログラムにおいては、まず、ステップＳ２において、所定のスタンバイ処理が行われ、次に、ステップＳ３において、ユーザが操作パネル９０を操作することにより、再生要求を入力するのが待たれる。ユーザが再生要求を入力すると、ステップＳ３の判定がＹＥＳとなり、ステップＳ４において、カメラ９４により、観察者が観察している外界の景色が撮像され、撮像データが生成される。

続いて、ステップＳ５において、その生成された撮像データに基づき、カメラ９４がある時刻に撮影した外界画像と、その時刻より所定時間経過した時刻に撮影した外界画像とを、各画素ごとに、互いに比較するなどして、観察者に対する外界の景色の相対的な移動（以下、単に「移動」という。）が行われているか否かが判定される。

今回は、前記移動が行われていないと仮定すると、このステップＳ５の判定がＮＯとなり、ステップＳ６において、録画再生用メモリ７４に、これから再生すべき画像データすなわち録画データが存在しているか否かが判定される。今回は、そのような録画データが録画再生用メモリ７４に存在しないと仮定すると、ステップＳ７において、通常再生が行われ、入力画像がリアルタイム再生される。その後、ステップＳ８に進む。

このステップＳ８においては、ユーザからの再生要求が終了したか否か、すなわち、ユーザが再生の終了を要求しているか否かが判定される。今回は、再生要求が終了していないと仮定すると、ステップＳ９において、再生すべき画像データが存在しない（すなわち、新たな入力画像も、録画再生用メモリ７４に録画されている未再生画像データも存在しない）か否かが判定される。今回は、再生すべき画像データが存在すると仮定すれば、ステップＳ４に戻る。

その後、前記移動が行われるに至ると、このプログラムの実行中、ステップＳ５の判定がＹＥＳとなり、ステップＳ１０において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ４に戻るが、画像入力中であれば、ステップＳ１１において、画像信号入力回路１００から出力された入力画像がリアルタイムに録画再生用メモリ７４に録画され、これにより、録画が行われる。続いて、ステップＳ１２において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。その後、ステップＳ８に進む。

その後、今回の移動が終了すると、このプログラムの実行中、ステップＳ５の判定がＮＯとなり、ステップＳ６において、録画データが録画再生用メモリ７４に存在しているか否かが判定されると、今回は、録画データが存在しているため、ステップＳ６の判定がＹＥＳとなる。続いて、ステップＳ１３において、録画再生が行われ、録画された画像が古い方から順に録画再生用メモリ７４から読み出されて再生される。その後、ステップＳ１４において、再生された画像データが、録画再生用メモリ７４から消去される。ステップＳ１５において、画像信号入力回路１００から出力された新しい入力画像が録画再生用メモリ７４にリアルタイムに録画される。なお、図６には、フローチャートにより表現することの都合上、このステップＳ１５が、ステップＳ１３の実行後に行われるように表現されているが、このステップＳ１５による録画は、ステップＳ１３による録画再生と実質的に並行的に行われる。その後、ステップＳ８に進む。

前記再生要求が終了したためにステップＳ８の判定がＹＥＳとなるか、または、再生要求が終了していないが再生すべき画像データが存在しないためにステップＳ９の判定がＹＥＳとなると、ステップＳ１６において、画像表示装置１０の電源がＯＦＦである（すなわち、ユーザが、画像表示装置１０の電源を切断した）か否かが判定される。今回は、電源がＯＦＦではないと仮定すれば、ステップＳ３に戻るが、今回は、電源がＯＦＦであると仮定すれば、ステップＳ１７において、所定の終了処理が画像表示装置１０の各部品に対して行われる。その後、ステップＳ１８において、このプログラムの実行が終了する。

以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図６に示すステップＳ４およびＳ５を実行する部分が、図３に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ７、Ｓ１０およびＳ１２を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ１５、Ｓ１０およびＳ１１を構成する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ６およびＳ１３を実行する部分が、録画再生部１１４を構成し、制御ユニット２０のうち、ステップＳ１４を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成している。また、画像信号入力回路１００が、前記（１）項における「入力部」の一例を構成している。

以上、本実施形態においては、再生すべき画像がストリーミングによって連続的に制御ユニット２０に入力される環境において、移動判定の継続中に入力画像のリアルタイム再生が中止され、その間、リアルタイム再生が中止された入力画像が録画され、その移動判定の終了後、録画された画像が再生されることを説明したが、このような再生処理は、画像のみならず、音声についても行われる。その結果、本実施形態においては、移動判定の終了後に再開される画像の再生が、音声と同期して行われることになる。

次に、本発明の第２実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。

第１実施形態においては、図６に示すように、ステップＳ４において、移動検知部の一例であるカメラ９４により、観察者が観察している外界の景色が撮像され、その後、ステップＳ５において、その撮像結果に基づき、表示画像に対する外界の景色が移動中であるか否か（例えば、観察者が歩行中であるか否か、観察者は静止しているが、外界の景色が変化中であるか否か）が判定される。その判定の確度を確保するため、前記移動が実際に開始されてから、ステップＳ５において、前記移動中であるとの判定が開始されるまでには、図９にタイムチャートで例示するように、タイムラグがあることを避け得ない。そのため、そのタイムラグの期間中は、前記移動が実際に存在していても、画像の再生が中止されない。

これに対し、本実施形態に従う画像表示装置２００においては、図７に示すように、上記タイムラグの通常の時間長さ以上の長さで画像データをリアルタイムにかつ一時的に記憶する遅延メモリ２０２（後に詳述する）が、図２に示す画像表示装置１０に対して追加されている。さらに、本実施形態においては、前記移動判定の終了時点ｔ３から、まずは、遅延メモリ２０２から画像データを読み出して第１の録画再生が行われ、その遅延メモリ２０２が空になると、今度は、録画再生用メモリ７４から画像データを読み出して第２の録画再生が、第１の録画再生に連続するようにシームレスで行われる。

したがって、本実施形態によれば、上記タイムラグの期間中に再生された画像と同じものが、前記移動判定が終了してから、すなわち、前記移動が完全に終了してから、再度、再生される。よって、観察者は、上記タイムラグの期間中に再生された画像を正常に観察することができなくても、同じ画像を、前記移動の終了後に、正常に観察することが可能となる。

図７には、本実施形態に従う画像表示装置２００の構成が、図２に示す画像表示装置１０と同様に、機能ブロック図で表されている。画像表示装置２００は、上述のように、画像表示装置１０に対し、遅延メモリ２０２を追加的に備え、さらに、一時記憶部２１２と、第２消去部２１６とを、それぞれ追加的な部品として備えている。

遅延メモリ２０２は、ＦＩＦＯ式の画像データバッファとして機能するように使用され、記憶可能時間（最大記憶時間）Ｔ２だけ連続する最新の画像データを記憶する容量を有している。その結果、この遅延メモリ２０２は、現時点より、記憶可能時間Ｔ２の長さと同じ時間だけ過去の時間帯内に入力された画像データを、逐次更新しつつ、一時記憶する。通常、前記タイムラグの長さは、前記移動判定の開始時点ｔ２から終了時点ｔ３までの時間の長さより短いため、遅延メモリ２０２の記憶可能時間Ｔ２は、録画再生用メモリ７４の記憶可能時間Ｔ１より短くて済む。

一時記憶部２１２は、画像信号入力回路１００から出力された入力画像をリアルタイムに遅延メモリ２０２に記憶させる。第２消去部２１６は、遅延メモリ２０２から読み出されて再生された画像をリアルタイムに遅延メモリ２０２から消去する。

図８には、画像表示装置２００のうちの制御ユニット２０の構成が、図３と同様に、機能ブロック図で表されている。画像表示装置２００は、録画再生部１１４に代わる録画再生部２２０を有している。録画再生部２２０は、前述の第１および第２の録画再生を行う。

図９には、本実施形態に従う画像再生制御が、図４と同じシナリオのもとで行われることを想定した場合の様子がタイムチャートで表されている。

図９に示すように、通常再生部１１０は、図４と同様に、外部から入力された画像をＲＡＭ７６からリアルタイムで読み出して再生する。これに対し、録画再生部２２０は、前記移動判定の終了時点ｔ３から、第１の録画再生を行い、その後、第２の録画再生を行う。録画再生部２００は、第１の録画再生においては、遅延メモリ２０２に一時記憶された画像、すなわち、前記移動判定の開始時点ｔ２から記憶可能時間Ｔ２と同じ時間だけ過去に戻った第１時点から、前記移動判定の開始時点ｔ２と等しい第２時点までの期間中に遅延メモリ２０２に一時記憶されたもの（遅延メモリ２０２に記憶されている画像すべて）を古い方から順に遅延メモリ２０２から読み出して再生する。一方、録画再生部２２０は、第２の録画再生においては、録画再生用メモリ７４から画像を古い方から順に読み出して再生する。

図１０には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。

このプログラムにおいては、ステップＳ１０１−Ｓ１０６が、図６に示すステップＳ１−Ｓ６と同様にして実行され、また、ステップＳ１１１、Ｓ１１２およびＳ１２３−Ｓ１２５が、図６に示すステップＳ８、Ｓ９およびＳ１６−Ｓ１８と同様にして実行される。

図１０に示すプログラムにおいては、前記移動が行われていないと仮定すると、ステップＳ１０５の判定がＮＯとなり、その後、ステップＳ１０６において、録画再生用メモリ７４に録画データが存在しているか否かが判定される。

今回は、そのような録画データは録画再生用メモリ７４に存在しないと仮定すると、ステップＳ１０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ１０８において、その一時記憶によって遅延メモリ２０２から溢れた画像データがある場合には、その画像データが消去される。それらステップＳ１０７とＳ１０８の共同により、遅延メモリ２０２に、記憶可能時間Ｔ２を超えない時間分の画像データが一時記憶される。その後、ステップＳ１０９において、画像信号出力回路１００から出力された入力画像がリアルタイムにＲＡＭ７６から読み出されて通常再生される。

その後、前記移動が行われるに至ると、このプログラムの実行中、ステップＳ１０５の判定がＹＥＳとなり、ステップＳ１１３において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ１０４に戻るが、画像入力中であれば、ステップＳ１１４において、画像信号出力回路１００から出力された入力画像が遅延メモリ２０２に一時記憶されることが中止される。続いて、ステップＳ１１５において、画像信号出力回路１００から出力された入力画像が録画再生用メモリ７４に録画され、録画される。その後、ステップＳ１１６において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。続いて、ステップＳ１１１に進む。

その後、今回の移動が終了すると、このプログラムの実行中、ステップＳ１０５の判定がＮＯとなり、今回は、録画データが録画再生用メモリ７４に存在するから、ステップＳ１０６の判定がＹＥＳとなる。続いて、ステップＳ１１７において、遅延メモリ２０２に一時記憶されている画像データすなわち遅延データが遅延メモリ２０２に存在するか否かが判定される。今回は、遅延データが存在するから、ステップＳ１１８において、遅延メモリ２０２から画像が古い方から順に読み出されて録画再生される。前記第１の録画再生が行われるのである。その後、ステップＳ１１９において、再生された画像が遅延メモリ２０２から消去される。それらステップＳ１１８およびＳ１１９の実行が反復された結果、遅延メモリ２０２が空になると、ステップＳ１１７の判定がＮＯとなる。

遅延メモリ２０２が空になると、ステップＳ１２０において、録画再生用メモリ７４から画像が古い方から順に読み出されて録画再生される。前記第２の録画再生が行われるのである。その後、ステップＳ１２１において、再生された画像が録画再生用メモリ７から消去される。ステップＳ１２２において、画像信号入力回路１００から出力された新しい入力画像がリアルタイムに録画再生用メモリ７４に録画される。なお、図１０には、フローチャートにより表現することの都合上、このステップＳ１２２が、ステップＳ１２０の実行後に行われるように表現されているが、このステップＳ１２２による録画は、ステップＳ１２０による録画再生と実質的に並行的に行われる。その後、ステップＳ１１１に進む。

以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図１０に示すステップＳ１０４およびＳ１０５を実行する部分が、図８に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ１１７、Ｓ１２２、Ｓ１１３およびＳ１１５を実行する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ１０６およびＳ１１７−Ｓ１２０を構成する部分が、録画再生部２２０を構成し、制御ユニット２０のうち、ステップＳ１２２を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０８およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。

なお付言するに、本実施形態においては、遅延メモリ２０２と、ソフトウエアで構成された第２消去部２１６（図１０に示すステップＳ１０８）との共同により、現時点から過去一定時間内に外部から受信された画像データを絶えず更新しつつ一時的に記憶する画像データバッファが構成されているが、この画像データバッファは、これに限らず、例えば、ハードウエアによって構成されたシフトレジスタとして構成することが可能である。この場合には、制御ユニット２０のハードウエア構成を複雑にすることなく、ソフトウエア構成を単純化することが容易である。

次に、本発明の第３実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第２実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。

第２実施形態においては、図９にタイムチャートで示すように、再生開始時点ｔ１から、入力画像がリアルタイムにＲＡＭ７６から読み出されて再生される。これに対し、本実施形態においては、図９と同様にして図１１にタイムチャートで示すように、再生開始時点ｔ１から、遅延メモリ２０２が画像データで満杯になる時点ｔ１’まで、画像の再生開始が遅延される。時点ｔ１’が到来すると、遅延メモリ２０２から画像データが古い方から順に読み出されて再生され、それにより、リアルタイム再生ではなく、画像が入力されるタイミングより遅いタイミングで入力画像を再生する遅延再生が行われる。

図１２には、本実施形態に従う画像表示装置２００において、画像再生制御のために、制御ユニット２０のＣＰＵ７０によって実行されるプログラムが、図１０と同様にして、フローチャートで概念的に表されている。以下、このプログラムを説明するが、図１０に示すプログラムとは異なるステップのみにつき、詳細に説明し、共通のステップについては、重複した説明を省略する。

ステップＳ１０６の判定がＮＯとなると、ステップＳ２０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ２０８において、再生開始時点ｔ１から、遅延メモリ２０２の記憶可能時間Ｔ２と同じ時間が経過するのが待たれる。遅延メモリ２０２が画像データで満杯になるのが待たれるのである。時間Ｔ２が経過し、遅延メモリ２０２が画像データで満杯になると、ステップＳ２０９において、遅延メモリ２０２から最も古い画像データが読み出されて再生される。ある画像データが遅延メモリ２０２に記憶された時点から時間Ｔ２だけ遅延するタイミングで、その画像データが再生され、それにより、遅延再生が行われるのである。その後、ステップＳ２１０において、今回再生された画像データが遅延メモリ２０２から消去される。続いて、ステップＳ１１１に進む。

以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０８、Ｓ２０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ２１０およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。

以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (5)

1. 画像信号に応じた画像を虚像である表示画像として観察者に表示するとともに、その表示画像を外界の景色に重ねて観察者が観察することを可能にするシースルー型ヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
   前記画像信号が入力される入力部と、
   その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
   録画再生用メモリと、
   その録画再生用メモリに前記入力画像を録画する録画部と、
   前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
   観察者に対する前記外界の景色の相対的な移動を検知し、その移動に応じた信号を出力する移動検知部と、
   その移動検知部からの出力信号に基づき、前記移動が存在するか否かを判定する判定部と
   を含み、
   前記通常再生部は、少なくとも、前記移動が存在するとの判定の開始時点から終了時点までの期間、前記通常再生を中止するか、または、前記通常再生を、通常モードより観察者が前記表示画像を視認し難い特別モードで行い、
   前記録画部は、少なくとも、前記移動が存在するとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
   前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行い、
   当該画像表示装置は、さらに、
   前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
   前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
   前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
   を含み、
   それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
   前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う画像表示装置。
2. 前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う請求項１に記載の画像表示装置。
3. さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む請求項１または２に記載の画像表示装置。
4. 前記移動検知部は、観察者が観察している前記外界の景色を撮像するカメラを含み、
   前記判定部は、そのカメラによって撮像された画像の時間的変化の有無に基づき、前記移動が存在するか否かを判定する請求項１ないし３のいずれかに記載の画像表示装置。
5. 前記移動検知部は、当該ＨＭＤの、絶対空間に対する移動を検知するセンサを含む請求項１ないし３のいずれかに記載の画像表示装置。

Images