JPH11133347A

JPH11133347A - 映像観察装置

Info

Publication number: JPH11133347A
Application number: JP9298048A
Authority: JP
Inventors: Takatoshi Ishikawa; 隆敏石川; Yasushi Kobayashi; 恭小林; Kenji Ishibashi; 賢司石橋; Hideki Osada; 英喜長田
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1997-10-30
Filing date: 1997-10-30
Publication date: 1999-05-21
Anticipated expiration: 2017-10-30
Also published as: JP3724157B2; US20020001397A1; US6549641B2

Abstract

(57)【要約】【課題】本発明は、観察者が感じる頭部の動きと表示映
像のずれをできるだけ小さくする映像観察装置を提供す
ることを目的とする。【解決手段】観察者の頭部の運動を検出するヘッドトラ
ック手段５と、前記ヘッドトラック手段５の検出結果に
基づいて映像データを生成し該映像データを表示手段３
に与える映像生成手段８とを有する映像観察装置におい
て、前記映像生成手段８における映像生成時間を前記ヘ
ッドトラック手段５の検出結果に応じて制御する制御手
段とを有することを特徴とする映像観察装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ヘッドトラック機
能を有する映像観察装置に関するもので、特に観察者に
仮想現実感を提供するヘッドマウントディスプレイ（Ｈ
ＭＤ）などの映像観察装置に関するものである。

【０００２】

【従来の技術】従来からヘッドトラック機能を有する映
像観察装置として、頭部の動きに対応させてコンピュー
タグラフィックス（ＣＧ）から適当な映像を表示するＣ
Ｇ映像観察装置や、ヘッドトラック信号に合わせてカメ
ラを遠隔操作し、その撮影映像をＨＭＤで観察するとい
った遠隔操作システムが知られている。

【０００３】このように、映像観察装置においてヘッド
トラック機能を搭載させることにより、より臨場感溢れ
る映像を表示することが可能となった。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来技術の映像観察装置においては、頭部の動きと表示映
像がずれてしまうという問題点がある。なぜなら、頭部
の動きを検出してからその検出結果に基づく表示を行う
までにある一定の処理時間を有するからである。頭部が
ほぼ静止状態にある場合は、頭部の動きと表示映像がず
れても、観察者はこのずれをほとんど認識できないので
問題ない。

【０００５】しかしながら、観察者の頭部の動きが速い
場合はずれを認識できるようになる。このようなずれ
（視覚情報と体感加速度のずれ）は、観察者の前庭感覚
により心理的に不快感や嘔吐感を与える。尚、頭部の動
きが速いほど表示映像のずれは大きくなり観察者が感じ
る不快感や嘔吐感も大きくなる。

【０００６】本発明は、観察者が感じる頭部の動きと表
示映像のずれをできるだけ小さくする映像観察装置を提
供することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の映像観察装置においては、観察者
の頭部の運動を検出するヘッドトラック手段と、前記ヘ
ッドトラック手段の検出結果に基づいて画像データを生
成し該画像データを表示手段に与える映像生成手段とを
有する映像観察装置において、前記映像生成手段におけ
る映像生成時間を制御する制御手段とを有する構成とす
る。

【０００８】上記構成においては、まずヘッドトラック
手段により頭部運動を検出する。映像生成手段では、前
記ヘッドトラック手段の検出結果に応じた映像データを
生成する。つまり、頭部運動に追従させた映像データを
生成する。そして、制御手段では、前記映像生成手段に
おける映像生成時間を制御する。映像生成時間を速くす
る制御がなされると、ヘッドトラック信号が検出されて
からその検出結果に基づく映像が表示されるまでの時間
が短縮されることになる。よって、表示映像と頭部方向
のずれが低減されることになる。

【０００９】尚、頭部運動としては、回転運動や前後、
左右への運動など全ての頭部運動を含む。よって、ヘッ
ドトラック手段の検出結果に応じて頭部位置を三次元的
に算出するように制御することは可能である。この場
合、映像生成手段は元データから視差情報を有する左右
の眼に対応する映像データを生成する処理を行うことに
なる。制御手段は、この映像生成時間を制御する。

【００１０】請求項２に記載の発明においては、請求項
１に記載の映像観察装置において、更に撮像手段を有
し、前記映像生成手段は前記撮像手段の撮像データを用
いて前記映像データを生成する構成とする。

【００１１】上記構成においては、撮像手段により前記
ヘッドトラック手段の検出結果に応じた方向の被写体が
撮像される。この撮像データを用いて、映像生成手段で
は映像データを生成する。制御手段では、前記映像生成
手段における映像生成時間を制御する。

【００１２】請求項３に記載の発明は、請求項１又は２
に記載の映像観察装置において、前記制御手段は、Ｖθ
≧２×Ｙ／Ｘとなる場合は前記映像生成手段における映
像生成時間を所定の時間より短くする構成とする。尚、
上記式において、Ｖθ（゜/sec）はヘッドトラック手段
の検出結果から算出される頭部の回転運動の角速度、Ｘ
（1/゜）は表示手段による表示映像の網膜上の視角１゜
に存在する画素数、Ｙ（1/sec）はフレームレートとす
る。

【００１３】頭部の回転運動の角速度が大きいほど、頭
部位置と表示映像のずれを観察者が認識できる。よっ
て、上記構成においては、制御手段は頭部の回転運動の
角速度に応じて前記映像生成手段における映像生成時間
を短くするか否かを決定するようにする。このような制
御により、頭部が微動しかせず観察者がずれを認識でき
ないような場合は、映像生成時間を短くする制御が行わ
れない。一方、頭部の回転運動の角速度がある一定値以
上の場合は、観察者はずれを認識できることになるの
で、映像生成時間を短くして表示映像と頭部方向のずれ
を低減させる。尚、前記一定値の２×Ｙ／Ｘとは、１フ
レーム間である物体が２画素ずれて観察される頭部角速
度を表している。

【００１４】請求項４に記載の発明は、請求項１乃至３
いずれかに記載の映像観察装置において、前記制御手段
は前記ヘッドトラック手段から送られてくる第１のヘッ
ドトラック信号に応じて第２のヘッドトラック信号を取
得するか否かを決定し、第２のヘッドトラック信号を取
得する場合には前記映像生成手段における映像生成時間
を所定の時間より短くする制御を行う構成とする。

【００１５】制御手段は通常第１のヘッドトラック信号
を検出して、この信号に基づいて後段の制御を行う。そ
して、所定の表示タイミングで映像が表示されることに
なる。ここで、第１のヘッドトラック信号より映像生成
時間の短縮量が想定され、第１のヘッドトラック信号よ
り短縮時間をシフトさせたタイミングで発生する第２の
ヘッドトラック信号を検出しこの信号に基づいて後段の
制御を行い、所定の表示タイミングで映像が表示される
ようにすると、より最新のヘッドトラック情報に基づい
て制御することになるので、表示映像と頭部位置のずれ
が小さくなる。このような制御は頭部運動の速度が大き
いほど有効となる。

【００１６】請求項５に記載の発明は、請求項１乃至４
いずれかに記載の映像観察装置において、前記制御手段
は映像データにおける１画素あたりの色数を制御するこ
とにより映像生成時間を制御する構成とする。

【００１７】上記構成においては、例えば映像データの
１画素あたりの色数を減らすことでデータ量が減りその
分映像生成時間を短くできる。尚、眼球の追従運動は３
５（゜/sec）までと言われていることから、頭部運動の
速度がある値以上のときは焦点調節が固定または機能し
ていないことになる（見えていても、色や物体のエッジ
の認識力は低下している）。よって、色数を減らしても
観察者は違和感を感じない。

【００１８】請求項６に記載の発明は、請求項１乃至５
いずれかに記載の映像観察装置において、前記制御手段
は一つの映像データに対応する画素数を制御することに
より映像生成時間を制御する構成とする。

【００１９】上記構成においては、例えば一つの映像デ
ータに対応する画素数を増やすことで少ない映像データ
で１画面の映像を表すことができる。メモリに記憶され
ている元データから１画面の映像データを再生する際に
は、画素データを間引くことで再生時間が短縮される。
また、データ量が少なくなるので、伝送する際には伝送
時間が短くなる。つまり、映像生成時間が短縮される。
請求項５の制御と同様に、頭部回転運動の角速度がある
値以上のときは、上記制御がなされても観察者は違和感
なく映像を観察できる。

【００２０】請求項７に記載の発明は、請求項２に記載
の映像観察装置において、前記撮像手段と処理手段とを
備える撮像装置を有し、前記制御手段は前記ヘッドトラ
ック手段の検出結果に応じて前記処理手段を制御し、前
記処理手段は前記制御手段から送られてくる信号に基づ
いてデータ量を制御してから前記映像生成手段に撮像デ
ータを伝送する構成とする。

【００２１】上記構成においては、撮像装置内で、撮像
手段により撮像されたデータのデータ量が制御された後
映像生成手段に伝送される。よって、撮像装置と映像生
成手段間の伝送データ量を少なくすることができる。伝
送データ量が少ない場合は、データの伝送時間が短縮さ
れることになる。また、撮像装置と映像生成手段間の伝
送量を減らすことで、無線での通信が可能となり、撮像
装置を遠隔で操作する映像観察装置とすることができ
る。

【００２２】

【発明の実施の形態】

〈第１の実施形態〉図１は、本発明の第１の実施形態の
ＨＭＤの全体構成を示した図である。本装置は、映像表
示部１とワークステーション（処理手段）２から成る。
映像表示部１には、映像を表示する表示手段３と、音声
を提供する音声提供手段４と、頭部の回転運動の角加速
度を検出するヘッドトラック手段５が構成されている。

【００２３】映像表示部１を頭部に装着すると、表示手
段３は目の前に、音声提供手段４は耳近傍に配される。
６は、観察者が観察する映像を例示したものである。ワ
ークステーション２は、制御手段７と映像生成手段８を
備えている。

【００２４】図２に、本装置の概略ブロック図を示す。
ヘッドトラック手段５で検出されたヘッドトラック信号
は、制御手段７へ送られる。制御手段７では、ヘッドト
ラック信号に基づいて頭部回転運動の角速度を計算した
り、角速度より頭部方向を算出したり、制御信号を生成
したりする。そして、映像生成手段８に頭部方向位置の
データなどを含む制御信号を出力する。

【００２５】映像生成手段８では、制御信号に基づいて
映像生成を行う。映像の元データとしては、例えばコン
ピュータグラフィックスのデータなどを用いる。また
は、メモリーに蓄積された全天周のデータを用いる。映
像生成手段８は、これら元データから制御信号に基づい
て表示視野角分の画像を読み出す。そして、画像データ
を映像データに変換して表示手段３に送る。映像データ
は表示手段３で表示される。以下、制御信号を受信して
から映像データを生成するまでの映像生成手段８におけ
る一連の処理を、映像生成処理ということにする。

【００２６】本実施形態の映像観察装置においては、観
察者頭部の回転運動の所定の速度条件に基づく分類に応
じて映像生成時間を短縮する（処理時間短縮制御）。以
下、所定の速度条件について説明する。

【００２７】制御手段７は検出したヘッドトラック信号
に基づいて、まず、頭部回転運動の水平成分の角速度Ｖ
θ_h(゜／sec)、垂直成分の角速度Ｖθ_v(゜／sec)を計算す
る。そして、この値より合成角速度Ｖθを算出する。Ｖ
θはＶθ＝（Ｖθ_h ²＋Ｖθ_v ²）^1/2となる。このＶθを
用いて頭部回転角速度を以下のように分類分けする。

【００２８】（イ）静止状態：Ｖθ＜２×Ｙ／Ｘ（ロ）低速度：２×Ｙ／Ｘ≦Ｖθ≦１５（ハ）中速度：１５≦Ｖθ≦３０（ニ）高速度：Ｖθ≧３０

【００２９】尚、上記分類式においてＸ（1／゜）は網膜
上の視角１゜に存在する表示映像の画素数、Ｙ（1/se
c）はフレームレートを表す。

【００３０】表示映像上で不動の物体が１フレームで１
画素ずれて観察されるとき、ＶθはＹ／Ｘである。この
ような超低速時では、眼球は映像の追従ができており画
面上の物体を注視している状態と考えられ、細かな色・
形状の判別を行える。例えば、ＶＧＡ（６４０×４８
０）の３０万画素（ＲＧＢでは９０万画素）のＬＣＤ素
子を表示素子とし、観察者の視野角を４０゜とすると、
Ｘは１６（1／゜）となる。フレームレート（Ｙ）を６０
（1/sec）とすると、Ｙ／Ｘは３．７５となる。つま
り、Ｖθ＝３．７５（゜/sec）のときに、１フレームで
ある物体が１画素ずれて観察される。

【００３１】また、移動物体をゆっくりと追跡する際に
生じる低速で平滑な眼球運動である眼球の追従運動は３
０〜３５゜/sec以下と言われている。以上のことを踏ま
えて上記の速度条件を採用した。

【００３２】次に、上記速度条件に基づく処理時間短縮
制御について説明する。本装置では、検出した速度の情
報（分類）に応じて画像データの色数を決定する。速度
の分類が（ニ）の高速度である場合に最も少ない色数と
し（多くのビットを落とし）、静止状態（イ）ではビッ
ト数を落とすことなく通常の８ビットデータとする。ビ
ット数を落として色数を減らすと、同一の映像生成手段
８での処理時間を短くすることができる。

【００３３】図３を用いて、色数の低減について詳細に
説明する。色数の低減は具体的には画像データ１画素あ
たりのビットの桁数を減らすことによる。映像生成手段
８にはＣＧの映像やカメラで撮影した映像が圧縮して保
存されており、それらの画像データは本実施形態では８
ビットデータである。

【００３４】映像生成手段８では、制御手段７から送ら
れてくる色数低減信号を含む制御信号の指示に従って保
存されているデータから必要なデータを再生する。図３
（ａ）は、色数低減信号に基づいて再生された画像デー
タを表す。尚、画像データは、表示手段３へは８ビット
のデータとしてしか送信できないので、送信する前に図
３（ａ）の画像データを補完する必要がある。補完した
画像データを図３（ｂ）に示す。

【００３５】制御手段７は、頭部回転運動の角速度が静
止状態の場合は、８ビットの画像データをそのまま再生
するように指示する色数低減信号を映像生成手段８に送
信する。この信号に基づいて再生されるデータを図５
（ａ）のイ）に示す。再生された画像データは補完する
必要がない。

【００３６】以下、同様に制御手段７は頭部回転運動の
角速度が低速度、中速度、高速度の場合において、それ
ぞれ８ビットの画像データの内下２桁、下４桁、下６桁
のビットデータを削減して再生するように指示する色数
低減信号を生成し映像生成手段８に送信する。この信号
に基づいて映像生成手段８で再生された画像データをそ
れぞれ図５（ａ）のロ）、ハ）、ニ）に示す。表示手段
３へ送信時には、削減したビットデータ分に０を補完し
た映像データに変換する。

【００３７】削減したビットには常に０が入るので、高
速度ほど画像データが表現する階調数（色数）は減る
が、その分再生するデータのビット数が少なくなるので
画像データ再生時間が短縮される。

【００３８】本実施形態においては、上記のように色数
を削減することにより処理時間を短縮する制御を行って
いる。尚、映像生成時間の短縮方法はこの方法に限定さ
れない。例えば、画像再生段階で全ての画素のデータを
読み込まずにｎ個飛ばして読み込むような指示をするよ
うにしてもよい。そして、読み込まなかった画素のデー
タは近傍の画素データと同一として画像を再生する。つ
まり、解像度が小さくなる。このように制御すること
で、読み込み時間が短くなり映像生成時間が短縮され
る。

【００３９】本実施形態における映像時間短縮制御によ
り、高速度ほど映像生成時間が短縮されるので、高速度
ほど表示遅れが解消される。尚、表示遅れは高速度ほど
観察者に認識されるので、上記のように速度条件を設け
て制御することが望ましい。また、表示遅れが解消され
る分、表示映像の色数が削減され映像の鮮明度は低下す
るが、頭部の回転運動により、観察者の眼はこのことを
認識できるほど映像を追従できない。よって、頭部回転
運動時における表示映像の鮮明度の低下は問題とならな
い。

【００４０】図４は、本装置における制御内容をブロッ
ク毎に簡単に示したフローチャートである。ステップ＃
５では、ヘッドトラック手段５は頭部回転角加速度（ヘ
ッドトラック信号）を検出する。そしてこの検出結果を
制御手段７に送信する。ステップ＃１０で制御手段７
は、送られてきた信号の処理とその処理結果に基づいて
信号を生成する。

【００４１】ステップ＃１５で、映像生成手段８は制御
手段７から送られてくる頭部位置情報信号や色数低減信
号に基づいて画像データの再生・補完を行う。生成した
画像データは映像データにした後表示手段３に送信す
る。ステップ＃２０で、表示手段３は映像を表示する。

【００４２】図５に、制御手段７における色数低減信号
生成の制御のフローチャートを示す。まず、ステップ＃
２５でヘッドトラック信号を入力する。この信号に基づ
いて頭部回転運動の角速度Ｖθを算出する。ステップ＃
３０でＶθ≧３０か否か判定する。Ｖθ≧３０であれ
ば、ステップ＃５５へ進み下６桁削減して画像データを
再生することを指示する制御信号１を生成する。

【００４３】Ｖθ≧３０でない場合は、ステップ＃３５
へ進みＶθ≧１５か否か判定する。Ｖθ≧１５であれ
ば、ステップ＃６０へ進み下４桁を削減して画像データ
を再生することを指示する制御信号２を生成する。

【００４４】Ｖθ≧３０でない場合は、ステップ＃４０
へ進みＶθ≧２×Ｙ／Ｘか否か判定する。Ｖθ≧２×Ｙ
／Ｘであれば、ステップ＃６５へ進み下２桁を削減して
画像データを再生することを指示する制御信号３を生成
する。

【００４５】Ｖθ≧２×Ｙ／Ｘでない場合は、ステップ
＃４５へ進み８ビットの画像データを再生することを指
示する制御信号４を生成する。各ステップで生成した制
御信号はステップ＃５０で映像生成手段８に送る。映像
生成手段８では、上記制御信号とそれ以外にも送られて
くる頭部方向情報信号等に基づいて画像生成をする。

【００４６】〈第２の実施形態〉図６は、第２の実施形
態の映像観察装置の概略ブロック図である。本装置で
は、映像データの元データとして撮像手段で撮像された
データを用いる。１０は水平に並んだ２つのカメラから
なる撮像手段である。１２は、制御手段７からの指示に
従い撮像手段１０を制御したり、撮像データを処理した
りする処理手段である。

【００４７】制御手段７は、ヘッドトラック手段５が検
出したヘッドトラック信号に基づいて頭部方向などを算
出し、色数低減信号を含む制御信号を処理手段１２へ送
る。処理手段１２により制御される撮像手段１０は、頭
部運動に連動するように制御されるので、頭部方向の映
像を撮像する。１３は、処理手段１２と映像再生手段を
結ぶ通信回線である。通信回線１３を介して処理手段１
２で圧縮等の処理がされた画像データが映像再生手段に
送信される。

【００４８】９は、送信されてきた画像データの解凍・
再生・補完を行う映像再生手段である。映像再生手段９
で解凍・再生された画像データは、映像データに変換さ
れた後表示手段３に送られ、ここで表示される。尚、本
実施形態では処理手段１２と画像再生手段９を合わせて
映像生成手段８ということにする。

【００４９】本装置も、第１の実施形態の装置と同様
に、所定の速度条件に基づいて映像生成手段８における
処理時間短縮制御がなされる。このとき生成される色数
低減信号も第１の実施形態と同じである。ただ、映像生
成手段８の構成の違いにより、色数低減信号に基づく映
像生成の方法が異なるので、以下このことについて図７
のフローチャートを用いて説明する。

【００５０】まず、ステップ＃７０でヘッドトラック手
段５は頭部回転運動の角加速度を検出する。ステップ＃
７５で、制御手段７は頭部回転運動の角速度算出後、所
定の速度条件に基づいて頭部回転運動の角速度を静止状
態、低速度、中速度、高速度に分類する。そして、分類
に応じて色数低減信号を生成する。本実施形態では、こ
の色数低減信号を含む制御信号を処理手段１２に送る。
ステップ＃８０で処理手段１２は、色数低減信号と頭部
方向の情報に基づいてメモリに保存されている撮像デー
タをビット数を削減した画像データに変換する。そし
て、変換した画像データを圧縮して通信回線１３を使っ
て伝送する。つまり、図３（ａ）に示すようなビット数
の画像データが圧縮されて映像再生手段９に送信され
る。

【００５１】映像再生手段９では、送信されてきた画像
データを解凍したのち図３（ｂ）のように補完する。削
減されたビット位置に０を入れることにより補完する。
このような一連の処理においては、再生するビット数が
少ないほど、通信回線１３による送信が高速にできる。
また、映像再生手段９における解凍も高速で行える。つ
まり、映像生成手段８における映像生成時間が短くな
る。よって、第１の実施形態と同様に高速度ほど表示遅
れが解消される。

【００５２】図１１に、撮像装置、映像生成装置、表示
装置からなる本実施形態の映像表示装置（図６参照）を
それぞれの装置毎に分けたブロック図として示す。１
５、１６、１７はそれぞれ撮像装置、映像生成装置、表
示装置である。各装置間では、それぞれの通信手段を介
して通信が行われる。

【００５３】各装置の各手段でなされている処理は、図
６を用いて説明したので、説明を省略する。本装置は、
映像生成装置１６に撮像データを処理する処理手段１２
が含まれるので、撮像装置１５を簡易に構成できる。よ
って、撮像装置１５は持ち運びやすいものとなる。

【００５４】尚、本実施形態の各装置の構成を図１１に
示したが、各装置の構成はこれに限らない。例えば、図
１２に示すような構成（第３の実施形態）であってもよ
い。

【００５５】〈第３の実施形態〉図１２に、装置毎に分
けた本実施形態の映像表示装置のブロック図を示す。本
実施形態は、撮像手段１０で撮像された撮像データを処
理する（具体的には、映像生成装置１６内に構成されて
いる制御手段７から送られてくる色数低減信号に基づい
て、撮像データをビット数を削減した画像データに変換
する処理等を行う）処理手段１２が、映像生成装置１６
内ではなく撮像装置１５内に構成されている点のみが第
２の実施形態と異なる。

【００５６】本実施形態のような構成とすることで、撮
像装置１５内でデータが削減されてから映像生成装置１
６に送られることになる。つまり、通信回線１８におけ
るデータ伝送量が少なくなる。よって、通信回線１８を
構成することなく無線で通信するようにしてもよい。無
線で通信するように構成した場合は、撮像装置１５を遠
隔操作することができる。

【００５７】〈第４の実施形態〉本実施形態の装置の基
本的な構成は、第１の実施形態の装置と同様であるが、
ヘッドトラック手段５がモーショントラック手段（位置
検出手段）を兼ねる点が異なる。図８に本実施形態の概
略ブロック図を示す。モーショントラック手段１４は、
観察者の頭部の前後、左右、上下運動など回転運動以外
の運動を検出する。つまり、モーショントラック信号か
ら観察者の三次元的な頭部位置を算出することができ
る。

【００５８】制御手段７はヘッドトラック信号から頭部
回転運動の角速度を算出し、モーショントラック信号か
ら頭部位置の移動速度を算出する。所定の速度条件に基
づいて算出した角速度と移動速度を分類分けする。そし
て、この分類に応じた色数低減信号を生成し、頭部方向
情報と頭部位置情報と色数低減信号を含む制御信号を映
像生成手段８に送る。

【００５９】映像生成手段８では、送られてきた信号に
基づいて画像データを生成する。このとき、映像生成手
段８では予め記憶されている元情報を基に、視差情報を
含む左右の眼に対応する画像データを生成し直す。よっ
て、生成する画像データのビット数が少ないほど、短時
間で生成することができる。

【００６０】本装置の制御では頭部回転運動の角速度以
外に頭部位置の移動速度も用いられることと、映像生成
手段８における前述の映像生成方法が異なる点以外は第
１の実施形態と同様の制御が行われるので、その他の説
明は省略する。

【００６１】第１〜第４の実施形態においては、速度条
件に応じて映像生成時間（第３の実施形態においては映
像伝送時間を含む）を短縮する制御がなされる。このと
き、表示タイミングに近いタイミングで検出したヘッド
トラック信号に基づいて映像データが生成されるように
制御することが望ましい。以下、この制御について図９
（第１例）、図１０（第２例）のタイミングチャートを
用いて説明する。まず、具体的には図９のタイミングチ
ャートの制御を第１の実施形態の映像観察装置に適用し
た場合について説明する。

【００６２】比較のために、映像生成時間短縮制御がな
されない第１の実施形態の装置と同一の構成の装置の制
御について図９（ａ）にタイミングチャートを示し説明
する。尚、図９と後述の図１０のタイミングチャートに
おいては、ヘッドトラックサンプリングトリガーと映像
表示トリガー、さらに映像生成手段８における映像生成
処理に関して示す。

【００６３】ヘッドトラックサンプリングトリガーは周
期Ｔ₁で発生する。ヘッドトラックサンプリングトリガ
ーが発生する基準タイミングをｔ₁、ｔ₂、ｔ₃・・・と
示す。ヘッドトラックサンプリングトリガーに同期し
て、ヘッドトラック手段５で発生される頭部角加速度の
情報を含むヘッドトラック信号をＡ₁、Ａ₂、Ａ₃・・・
とする。

【００６４】ヘッドトラック信号は制御手段７に送られ
る。制御手段７は、ヘッドトラック信号から頭部方向な
どを算出してこれらの情報を制御信号として映像生成手
段８に送る。映像生成手段８では、制御信号を基に映像
生成処理を行う。

【００６５】映像生成時間は映像生成手段８の処理能力
によって決まる。この装置では、映像生成時間がＴ₃₀で
あったとする。尚、ヘッドトラックサンプリングトリガ
ーが発生されてから映像生成手段８が映像生成処理にと
りかかるまでには、制御手段７において一定の時間を要
するが、この時間についてはタイミングチャート上では
省略している。

【００６６】映像生成処理が終了してから一定の待ち時
間Ｔ₄を経過した後、映像表示トリガーに同期して表示
手段３に映像が表示される。映像表示トリガーは周期Ｔ
₂で発生する。

【００６７】次に、処理時間短縮制御を採用した第１の
実施形態の装置における制御方法について図９（ｂ）に
タイミングチャートを示し説明する。ヘッドトラックサ
ンプリングトリガーと映像表示トリガーは図９（ａ）と
同じ周期（Ｔ₁とＴ₂）で発生する。

【００６８】制御手段７では、まず基準タイミングで発
生したヘッドトラック信号（第１のヘッドトラック信
号）Ａ₁、Ａ₂、Ａ₃・・・を検出する。そして、このヘ
ッドトラック信号から頭部回転運動の角速度を算出す
る。算出した頭部回転運動の角速度を前述の所定の速度
条件に基づいて静止状態、低速度、中速度、高速度のい
ずれかに分類する。その分類に従って、基準タイミング
外のヘッドトラック信号（第２のヘッドトラック信号）
を検出するか否か、また検出する場合には基準タイミン
グからどれほどずらして検出するか（シフト量をいくつ
にするか）を決定する。第２のヘッドトラック信号を検
出しない場合はシフト量０（ｓ＝０）となる。

【００６９】上記分類において、静止状態以外に分類さ
れた場合は第２のヘッドトラック信号を検出する。第２
のヘッドトラック信号の検出のシフト量は低速度で１
（ｓ＝１）、中速度で２（ｓ＝２）、高速度で３（ｓ＝
３）とする。尚、シフト量が大きいほど基準タイミング
からのずれが大きいことを意味する。

【００７０】図９（ｂ）における具体例を説明する。制
御手段７は、基準タイミングがｔ₃のときにヘッドトラ
ック信号Ａ３を検出する。計算の結果、このヘッドトラ
ック信号Ａ３から算出される頭部回転運動の速度は低速
度に分類されるとする。この場合は、シフト量を１とし
てヘッドトラックサンプリングトリガーを発生させこの
とき発生されるヘッドトラック信号Ａ３’を検出する。
尚、基準タイミングで発生されるヘッドトラックサンプ
リングトリガーと基準タイミング外で発生されるヘッド
トラックサンプリングトリガーを区別するために図９
（ｂ）中ではそれぞれ黒い太線と白抜きの太線で示す。

【００７１】制御手段７は、ヘッドトラック信号Ａ３’
に基づいて信号処理等を行い制御信号を発生する。尚、
色数削減信号はシフト量に基づいて生成する。この制御
信号に基づいて映像生成手段８では映像生成を行う。映
像生成時間はＴ₃₁となりシフトした分だけＴ₃₀より短く
なる。映像生成時間の短縮は前述の映像生成時間短縮制
御（色数を削減すること）により達成される。生成され
た映像データは表示手段３に送られる。待ち時間Ｔ₄の
経過後、映像表示トリガーの出力に同期させて映像表示
が行われる。

【００７２】他の具体例を示す。基準タイミングがｔ₄
のときにヘッドトラック信号Ａ４を検出する。計算の結
果、このヘッドトラック信号Ａ４から算出される頭部回
転運動の速度は中速度に分類されるとする。この場合
は、シフト量を２としてヘッドトラックヘッドトラック
サンプリングトリガーを発生させこのタイミングで発生
されるヘッドトラック信号Ａ４’を検出する。そして、
ヘッドトラック信号Ａ４’に基づいて信号処理等を行い
制御信号を発生する。映像生成手段８では前記制御信号
に基づいて映像を生成する。映像生成時間はＴ₃₂とな
り、シフトした分だけＴ₃₀より短くなる。

【００７３】生成された映像データは、表示手段３に出
力され待ち時間Ｔ₄経過後に映像表示トリガーに同期し
て表示される。

【００７４】映像生成時間短縮制御によりシフト量０の
場合は映像生成時間がＴ₃₀であったのに対し、シフト量
１、２、３の場合はそれぞれＴ₃₀より短いＴ₃₁、Ｔ₃₂、
Ｔ₃₃の時間で映像生成がなされる。図９（ａ）において
は、頭部回転運動の速度が速いほど、基準タイミングで
の頭部位置と映像表示トリガーが発生されるタイミング
での頭部位置のずれが大きくなる。つまり、表示映像と
頭部位置とのずれが大きくなる。

【００７５】一方、図９（ｂ）においては、頭部回転運
動の角速度が速いほどヘッドトラック信号を検出するタ
イミングを映像表示トリガーが発生されるタイミングに
近いタイミングにシフトさせているので、前記ずれを低
減することができる。

【００７６】上記では、一つの処理手段（制御手段７と
映像生成手段８を含む手段）を有する映像観察装置にお
ける表示映像ずれ防止機能について示したが、上記機能
は処理手段を二つ以上有する映像観察装置においても応
用できる。また、上記においては、頭部回転運動の角速
度を４つに分類した場合について示したが、分類方法は
この方法に限定されない。以下、４つの処理手段を有す
る映像観察装置におけるタイミングチャートについて説
明する。尚、ここでは、速度を静止状態、低速度、高速
度の３通りに分類する。

【００７７】図９と同様に、まず比較のために、映像生
成時間短縮制御がなされない同一の構成の装置の制御方
法について図１０（ａ）にタイミングチャートを示し説
明する。

【００７８】ヘッドトラックサンプリングトリガーは周
期Ｔ₁で発生する。ヘッドトラックサンプリングトリガ
ーが発生する基準タイミングをｔ₁、ｔ₂、ｔ₃・・・と
示す。ヘッドトラックサンプリングトリガーに同期し
て、ヘッドトラック手段５で発生するヘッドトラック信
号をＢ₁、Ｂ₂、Ｂ₃・・・と示す。

【００７９】この装置においては、映像生成手段による
映像生成時間がＴ₅₀、待ち時間がＴ₆である。映像表示
トリガーは周期Ｔ₂で発生する。尚、映像生成時間Ｔ₅₀
が映像表示トリガーの２周期に要する時間（２Ｔ₂）よ
り長いので、４つの映像生成手段で生成された画像が映
像表示トリガーに同期して順に表示されることになる。

【００８０】第１の処理手段（第１の制御手段と第１の
映像生成手段からなる）に注目して図１０（ａ）におけ
る具体例を説明する。第１の制御手段は基準タイミング
ｔ₁で発生されたヘッドトラック信号Ｂ₁を検出する。そ
して、ヘッドトラック信号Ｂ₁に基づいて制御信号を生
成する。この制御信号を第１の映像生成手段に送信す
る。第１の映像生成手段では制御信号に基づいて映像デ
ータを生成する。このとき映像生成時間はＴ₅₀となる。
待ち時間Ｔ₆経過後、タイミングｔ₃₄で発生される映像
表示トリガーに同期して、生成された映像が表示手段で
表示される。上記のような処理が、Ｔ₁ずつずれて各制
御手段でなされる。

【００８１】映像生成時間短縮制御がなされる装置の制
御方法について図１０（ｂ）にタイミングチャートを示
し説明する。ヘッドトラックサンプリングトリガーと映
像表示トリガーが図１０（ａ）と同様にそれぞれ周期Ｔ
₁とＴ₂で発生する。また、基準タイミングで発生したヘ
ッドトラック信号を第１〜第４の制御手段で順に検出す
ることも同様である。つまり、第１の制御手段がヘッド
トラックサンプリング信号Ｂ₁を検出し、第２の処理手
段がヘッドトラック信号Ｂ₂を検出し・・・と各制御手
段が順にヘッドトラック信号を検出する。また、シフト
量が０である場合の映像生成時間と待ち時間も図１０
（ａ）の装置と同様のＴ₅₀とＴ₆である。

【００８２】図１０（ｂ）においては、各制御手段はま
ず、基準タイミングで検出したヘッドトラック信号（第
１のヘッドトラック信号）に基づいてその時点の頭部回
転運動の角速度を算出する。そして、その角速度を所定
の速度条件に基づいて静止状態・低速度・高速度のいず
れかに分類する。そして、第２のヘッドトラック信号を
検出するシフト量を決定する。

【００８３】静止状態であれば、シフト量０（ｓ＝０）
とする。低速度であれば、シフト量１（ｓ＝１）とす
る。高速度であれば、シフト量２（ｓ＝２）とする。そ
して、シフト量に応じたタイミングで第２のヘッドトラ
ック信号を検出し、この第２のヘッドトラック信号に基
づいて制御信号を生成する。

【００８４】尚、ｓ＝０の場合は第２のヘッドトラック
信号を検出することなく、図１０（ａ）における制御と
同一の制御を行う。つまり、第１のヘッドトラック信号
検出後、制御信号生成する。そして、映像生成手段では
映像生成時間Ｔ₅₀で映像生成し、待ち時間Ｔ₆経過後映
像表示トリガーに同期して映像が表示される。

【００８５】ｓ＝１の場合は、制御手段は更に第１のヘ
ッドトラック信号発生の次のタイミングで発生するヘッ
ドトラック信号を検出する。これを第２のヘッドトラッ
ク信号とする。そして、この第２のヘッドトラック信号
に基づいて制御信号を生成し、これを映像生成手段に送
信する。尚、シフト量が変わっても、第１のヘッドトラ
ック信号を検出してから映像表示を行うまでの時間に変
化はない。よって、シフト量に応じた映像生成時間短縮
制御により映像生成時間を短縮する。ｓ＝１の場合は映
像生成時間はＴ₅₁となる。

【００８６】ｓ＝２の場合は、制御手段は更に第１のヘ
ッドトラック信号発生の次の次のタイミングで発生する
ヘッドトラック信号を検出する。そして、この信号に基
づいて制御信号を生成し映像生成手段へ送信する。映像
生成手段では、映像生成時間Ｔ₅₂で映像データを生成し
表示手段に送信する。待ち時間Ｔ₆経過後、映像表示ト
リガーに同期して画像表示が行われる。

【００８７】図１０（ｂ）における具体例を説明する。
第１の制御手段では、基準タイミングｔ₁で発生された
ヘッドトラック信号Ｂ₁を検出する。そして、この信号
に基づいてこの時点での頭部回転運動の角速度の分類を
決定する。ここでは、静止状態に分類されたとする。静
止状態の場合は、ｓ＝０なので、第１の映像生成手段で
は通常映像生成時間Ｔ₅₀で処理を行い映像データを生成
する。そして、待ち時間Ｔ₆経過後、映像表示トリガー
に同期してタイミングｔ₃₄で映像表示が行われる。

【００８８】第２の制御手段では、基準タイミングｔ₂
で発生されたヘッドトラック信号Ｂ₂を検出する。そし
て、この信号に基づいてこの時点での頭部回転運動の角
速度の分類を決定する。ここでは、低速度に分類される
とする。低速度の場合は、ｓ＝１なので、次の基準タイ
ミングｔ₃で発生されるヘッドトラック信号Ｂ₃を第２の
ヘッドトラック信号として検出する。そして、このヘッ
ドトラック信号Ｂ₃に基づいて制御信号を生成し映像生
成手段に送る。映像生成手段では、映像生成時間Ｔ₅₁で
処理を行い映像データを生成する。待ち時間Ｔ₆経過
後、映像表示トリガーに同期してタイミングｔ₄₅で映像
表示が行われる。

【００８９】第３の制御手段では、基準タイミングｔ₃
で発生されたヘッドトラック信号Ｂ₃を検出する。そし
て、角速度が高速度に分類されるとする。ｓ＝２となる
ので、次の次の基準タイミングｔ₅で発生されるヘッド
トラック信号Ｂ₅を第２のヘッドトラック信号としても
う一度検出し、この信号に基づいて制御信号を生成し映
像生成手段に送信する。映像生成手段では映像生成時間
Ｔ₅₂で処理を行い映像データを生成する。待ち時間Ｔ₆
経過後、映像表示トリガーに同期させてタイミングｔ₅₆
で映像表示を行う。

【００９０】４つの処理手段（制御手段と映像生成手段
よりなる）による上記のような処理が繰り返し行われ
る。このような制御方法によると、図９（ｂ）に示した
ものと同様に、表示映像と頭部位置のずれが低減される
ことになる。第１の実施形態の装置では、図９（ｂ）を
用いて説明した制御を採用する。尚、上記第２例におい
ては、必ずしも４つの処理手段を必要としない。処理手
段の中に４つのＣＰＵを構成し、これらのＣＰＵで並列
に映像を生成するように制御してもよいからである。要
するに、処理手段が構成されているワークステーション
がマルチタスクを行えるものであればよい。

【００９１】

【発明の効果】本発明によると、映像生成時間を短縮す
ることにより、ヘッドトラックによる時間遅れのない自
然な表示映像が観察者に与えられる。よって、観察者は
嘔吐感・不快感なく映像が観察できる。尚、映像時間の
短縮は、色数を落としたり画像データ数を減らすことに
より、高速な処理・データ転送が可能となり達成され
る。

【００９２】このように、各ブロックにおける制御を調
節するだけの簡単な制御で処理時間を短縮することがで
きるので、複雑な回路を付け加える必要がなく安価に構
成することができる。また、頭部微動においては、色数
を落とさないので自然な映像を観察することができる。

【００９３】また、請求項７に記載の発明によると、撮
像装置の処理手段により、伝送前に撮像データ量を低減
できるため、通信時間を格段に速くでき、リアルタイム
に撮影した撮像データをもとに遅れ（表示ずれ）のない
映像を観察者に提示できる。

【図面の簡単な説明】

【図１】第１の実施形態の映像観察装置の全体構成図。

【図２】第１の実施形態の映像観察装置の概略ブロック
図。

【図３】（ａ）色数低減信号に基づいて生成された画像
データと、（ｂ）前記画像データを補完したデータを模
式的に示した図。

【図４】第１の実施形態の映像観察装置における各ブロ
ック毎の制御を示したフローチャート。

【図５】第１の実施形態の制御手段における制御のフロ
ーチャート。

【図６】第２の実施形態の映像観察装置の概略ブロック
図。

【図７】第２の実施形態の映像観察装置における各ブロ
ック毎の制御を示したフローチャート。

【図８】第４の実施形態の映像観察装置の概略ブロック
図。

【図９】（ａ）映像生成時間短縮制御がなされない映像
観察装置と（ｂ）映像生成時間短縮制御がなされる映像
観察装置の制御のタイミングチャートの一例。

【図１０】（ａ）映像生成時間短縮制御がなされない映
像観察装置と（ｂ）映像生成時間短縮制御がなされる映
像観察装置の制御のタイミングチャートの他の例。

【図１１】第２の実施形態の映像観察装置を装置毎に分
けて示したブロック図。

【図１２】第３の実施形態の映像観察装置を装置毎に分
けて示したブロック図。

【符号の説明】

１表示部２ワークステーション３表示手段５ヘッドトラック手段７制御手段８映像生成手段９映像再生手段１０撮像手段１２処理手段１３通信回線

───────────────────────────────────────────────────── フロントページの続き (72)発明者石橋賢司大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (72)発明者長田英喜大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内

Claims

【特許請求の範囲】

【請求項１】観察者の頭部の運動を検出するヘッドト
ラック手段と、前記ヘッドトラック手段の検出結果に基づいて映像デー
タを生成し該映像データを表示手段に与える映像生成手
段とを有する映像観察装置において、前記映像生成手段における映像生成時間を前記ヘッドト
ラック手段の検出結果に応じて制御する制御手段とを有
することを特徴とする映像観察装置。
【請求項２】更に撮像手段を有し、前記映像生成手段
は前記撮像手段の撮像データを用いて前記映像データを
生成することを特徴とする請求項１に記載の映像観察装
置。
【請求項３】前記制御手段は、Ｖθ≧２×Ｙ／Ｘとな
る場合は前記映像生成手段における映像生成時間を所定
の時間より短くすることを特徴とする請求項１又は２に
記載の映像観察装置。尚、上記式において、Ｖθ（゜/se
c）はヘッドトラック手段の検出結果から算出される頭
部の回転運動の角速度、Ｘ（1/゜）は表示手段による表
示映像の網膜上の視角１゜に存在する画素数、Ｙ（1/se
c）はフレームレートとする。
【請求項４】前記制御手段は前記ヘッドトラック手段
から送られてくる第１のヘッドトラック信号に応じて第
２のヘッドトラック信号を取得するか否かを決定し、第
２のヘッドトラック信号を取得する場合には前記映像生
成手段における映像生成時間を所定の時間より短くする
ことを特徴とする請求項１乃至３いずれかに記載の映像
観察装置。
【請求項５】前記制御手段は映像データにおける１画
素あたりの色数を制御することにより映像生成時間を制
御することを特徴とする請求項１乃至４いずれかに記載
の映像観察装置。
【請求項６】前記制御手段は一つの映像データに対応
する画素数を制御することにより映像生成時間を制御す
ることを特徴とする請求項１乃至５いずれかに記載の映
像観察装置。
【請求項７】前記撮像手段と処理手段とを備える撮像
装置を有し、前記制御手段は前記ヘッドトラック手段の
検出結果に応じて前記処理手段を制御し、前記処理手段
は前記制御手段から送られてくる信号に基づいてデータ
量を制御してから前記映像生成手段に撮像データを伝送
することを特徴とする請求項２に記載の映像観察装置。