JP4925831B2

JP4925831B2 - 映像表示装置

Info

Publication number: JP4925831B2
Application number: JP2006544874A
Authority: JP
Inventors: 正樹大槻; 茂加藤; 一皇伊三木; 知巳高階
Original assignee: Nikon Corp; Nikon Systems Inc
Current assignee: Nikon Corp; Nikon Systems Inc
Priority date: 2004-11-12
Filing date: 2005-10-31
Publication date: 2012-05-09
Anticipated expiration: 2025-10-31
Also published as: WO2006051743A1; EP1811493A1; US20070262917A1; EP1811493B1; EP1811493A4; JPWO2006051743A1

Description

本発明は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置（通常ヘッドマウントディスプレイと呼ばれることが多く、本明細書においてもヘッドマウントディスプレイと称することがある）に関するものである。

近年、液晶パネル（ＬＣＤ）等の表示デバイス上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介して拡大した虚像として観察する眼鏡タイプ等、人体に装着して使用される映像表示装置が種々提案され、ウエアラブルディスプレイと呼ばれている。そのうち、頭部に装着して使用されるものは、特にヘッドマウントディスプレイと呼ばれている。

ヘッドマウントディスプレイは、多くの場合、頭に巻いた形で頭部に装着する構成とされ、両目に対応する位置に映像表示系を形成した両目タイプと左右目の一方の目に対応する位置に映像表示系を形成した片目タイプとがある。このうち、両目タイプのものは、主として映像を楽しむための目的に使用される。片目タイプのものは、例えばウエアラブルパソコン等の表示装置等や、作業者に指示を表示する表示装置としての使用方法が期待されている。その例として、特開平８−３０５２９８号公報、特開２００４−２０７８４７号公報に記載されるような方式のものが公知となっている。

ヘッドマウントディスプレイにおいて問題となる点の一つに、画面の端部が見づらいということがある。通常の映画館等においては、スクリーン上に投影された画面の端部を見る場合には、人間は眼球運動によって視線を振ると同時に、首を回すことによって視線の向きを画面の端部に向けている。

しかし、ヘッドマウントディスプレイの場合、首を回すと、画面全体がそれに伴って動いてしまうため、眼球運動のみによって画面の端部を見る必要があり、そのために慣れるまでは、画面の端部が見づらく感じてしまうのである。

画面の端部を見るときに眼球運動を主にするか首の回転を主にするかは、人によって異なるが、特に後者の人にとっては、ヘッドマウントディスプレイに慣れるまでは、非常に使いづらいという感じを与える。これは、ヘッドマウントディスプレイを、装置の表示端末として使用し、画面全体に亘ってアイコン等を表示する場合に、特に問題となる。

このような問題を解決する方法として、特開平７−９５４９８号公報には、頭部の動きを検出して、それに応じて表示映像を動かす方法が開示されている。しかし、この方法では、装置が複雑になる上に、表示映像を動かした際に、画面の一部が切れてしまうという問題点がある。

一方、特開２０００−１７１７５１号公報には、視野の一部に画面を表示し、頭部の動きに応じて画面の表示位置を移動させる方法が開示されている。しかし、この方法では、本来表示できるエリアの一部にしか画面を表示していないため、表示される要素（アイコン等）も、本来表示可能なサイズより小さくしなければならず、表示エリアを有効に利用できないという問題点がある。

本発明はこのような事情に鑑みてなされたもので、表示される画像の端部を、眼球運動のみで見ることができるようにトレーニングを行う機能を持った映像表示装置を提供することを課題とする。

前記課題を解決するための第１の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能を有し、当該装着者が当該映像表示装置を使用した回数に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置である。

本手段においては、使用回数が少ないうちは、縮小率を大きくして、画面を視野中央に小さく表示し、使用回数が多くなるに従って、縮小率を徐々に小さくしていき、最後に正常の画面とすることにより、使用になれないうちは、画像が視野中心付近集中し、慣れるに従って大きくなって視野の周縁部にまで及ぶようにすることができる。よって、装着者は、使用することによって自然に、眼球運動だけで画像の端部を見ることができるようになり、違和感を覚えるのが軽減される。

前記課題を解決するための第２の手段は、第１の手段であって、映像表示装置の電源が入るたびに使用回数を１ずつインクリメントすることによって使用回数を定めるように構成されたことを特徴とするものである。
前記課題を解決するための第３の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能を有し、当該装着者が当該映像表示装置を使用した回数に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置である。

前記課題を解決するための第４の手段は、第３の手段であって、映像表示装置の電源が入るたびに使用回数を１ずつインクリメントすることによって使用回数を定めるように構成されたことを特徴とするものである。
前記課題を解決するための第５の手段は、前記第３または第４の手段であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用回数の増加につれて、画面の外側に移動して、所定回数の使用後には、本来表示される位置に表示する機能を有することを特徴とするものである。

本手段においては、画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示する。「画像の一部」としては、アイコンなど、装着者が注目しなければならないようなものを選択することが好ましい。よって、装着者が慣れないうちは、これらの画像の一部が、本来表示される位置よりも画面の中心に近い位置に表示されるので、装着者は、画像の周縁部を見る機会が少なくなり、違和感を覚えない。

そして、これら画像の一部を、使用回数の増加につれて、画面の外側に移動して、所定回数の使用後には、本来表示される位置に表示する。これにより、装着者は、徐々に画面の周縁部を注視する割合が多くなるので、徐々に、眼球運動のみにより画面の周縁部を注視する動作に慣れてくる。従って、最終的には、違和感を覚えずに当初予定されている画面を見ることができるようになる。

前記課題を解決するための第６の手段は、前記第３または第４の手段であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の使用回数の増大に応じて小さくすることを特徴とするものである。

本手段においては、画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させる。よって、装着者は、これら画像の一部を目で追うことにより、自然に眼球運動のみにより画面の周縁部を見ることに慣れてくる。

又、往復運動の振幅を、使用回数の増大に応じて小さくするようにしているので、装着者の慣れに従って、往復運動位置を、画面の周縁部に限定することが可能となる。

前記課題を解決するための第７の手段は、前記第１または第２の手段のいずれかであって、使用回数を装着者毎に記憶し、前記装着者毎に、記憶された使用回数を使用することを特徴とするものである。

一つの映像表示装置を、複数の人間が使用する場合、単に映像表示装置の使用回数によって前記第１または第２の手段の動作を行わせるのでは、装着者の慣れに応じた表示をすることができない。本手段においては、使用回数を装着者毎に記憶し、装着者毎に、記憶された使用回数を使用して、前記第１または第２の手段の動作を行わせているので、一つの映像表示装置を、複数の人間が使用する場合でも、各人の慣れに応じて、別々の表示を行わせることができる。

第１の参考形態は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能と、装着者の視線を検出する機能を有し、検出された装着者の視線の方向分布に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置である。

第２の参考形態は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能と、装着者の視線を検出する機能を有し、検出された装着者の視線の方向分布に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置である。

第３の参考形態は、前記第２の参考形態であって、前記画像の一部を、装着者の視線の方向分布が画像の中心付近に集中しているときは、本来表示される位置よりも画面の中央部に移動し、前記装着者の視線の方向分布が画像の外部に及ぶ割合が多くなるにつれて、画面の外側に移動し、装着者の視線の方向分布が画像の外部に及ぶ割合が所定値以上となった場合に、本来表示される位置に表示する機能を有することを特徴とするものである。

第４の参考形態は、前記第２の参考形態であって、前記画像の一部を、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の視線の方向分布が画像の外部に及ぶ割合に応じて変化させることを特徴とするものである。

これら第１の参考形態から第４の参考形態においては、前記第１の手段から第７の手段において、画像の縮小率や画像の一部の表示位置を、使用回数に応じて変化させていたのに対して、装着者の視線の方向分布に応じて変化させていることが異なっている。一般に、ヘッドマウントディスプレイの使用に慣れないうちは、装着者の視線の方向分布は視野の中心部に偏っており、使用に慣れてくるに従って、視線の方向分布が視野の周縁部に及ぶようになって平均化される。よって、このことを利用して、視線の方向分布が周縁部に及ぶようになって平均化されるに従って、前記第１の手段から第７の手段において、使用回数が増加した場合に行うような制御を行うようにしている。

前記課題を解決するための第８の手段は、前記第１または第２の手段であって、装着者の視線を検出する機能を有し、当該映像表示装置の使用回数と、視線検出結果の組み合わせに応じて、縮小率を変更する機能を有することを特徴とするものである。

前記課題を解決するための第９の手段は、前記第３または第４の手段であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した回数と、視線検出結果の組み合わせに応じて、表示位置を変更する機能を有することを特徴とするものである。

前記課題を解決するための第１０の手段は、前記第９の手段であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用回数の増加と、視線検出結果の組み合わせに応じて、画面の外側に移動して、最後には、本来表示される位置に表示する機能を有することを特徴とするものである。

前記課題を解決するための第１１の手段は、前記第９の手段であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、当該装着者が当該映像表示装置を使用した回数と、視線検出結果の組み合わせに応じて変化させることを特徴とするものである。

前記課題を解決するための第１２の手段は、前記第８の手段であって、使用回数を装着者毎に記憶し、装着者毎に、記憶された使用回数を使用することを特徴とするものである。

前記課題を解決するための第１３の手段は、前記第９の手段であって、使用回数を装着者毎に記憶し、装着者毎に、記憶された使用回数を使用することを特徴とするものである。
これら第８の手段から第１３の手段においては、前記第１の手段から第７の手段において画像の縮小率や画像の一部の表示位置を、使用回数に応じて変化させていたのに対して、これに加えて装着者の視線の方向分布に応じて変化させていることが異なっている。よって、前記第１の手段から第７の手段と、前記第１の参考形態から第４の参考形態を適当に組み合わせた作用効果を奏する。

本発明の実施の形態の１例であるヘッドマウントディスプレイの概略構成を示すブロック図である。画像制御部の第１の動作を示す図である。画像制御部の第２の動作を示す図である。画像制御部の第３の動作を示す図である。

以下、本発明の実施の形態の例を、図を用いて説明する。図１は、本発明の実施の形態の１例であるヘッドマウントディスプレイの概略構成を示すブロック図である。このヘッドマウントディスプレイは頭部に装着される頭部装着部１と、制御部２と、操作部３、及び視線検出部４から成り立っている。

頭部装着部１には、画像表示部５と音声出力部６が設けられ、制御部２の中には、操作部３から入力される装着者の信号を受け付け、各装着者毎の使用回数、使用時間を記憶したり、視線検出部４からの信号を受け付け、装着者の視線の方向分布を算出する機能を有する入力制御部７が設けられている。入力制御部７は、この他にも操作部３から入力される操作信号の処理を行う機能を有するが、その機能は本発明と関係がないので省略する。

又、制御部２には、頭部装着部１に対し、表示すべき画像と出力すべき音声を記憶した記憶部８が設けられている。記憶部８に記憶された表示画像は、画像制御部９中の画像処理プログラムにより実際に表示される画像に変換され、画像表示部５に伝送されて表示される。記憶部８に記憶された音声信号は、音声制御部１０により調整され、音声出力部６に伝送されて音声信号として出力される。

以下、画像制御部９の動作の例について説明する。各動作のうちどれを選択するかは、操作部３の操作スイッチの操作によって決定され、操作スイッチの位置が入力制御部７に伝送される。

図２は、画像制御部９の第１の動作を示す図である。１１は本来表示すべき画像を示し、四角の枠１２で囲われた表示領域全体に亘って表示されるようになっている。画像制御部９は、この画像全体を画像の中心を中心として縮小表示する機能を有している。縮小表示された縮小画像を１３に示す。画像制御部９は、ヘッドマウントディスプレイの使用初期においては縮小画像１３を表示し、入力制御部７から入力される、装着者に対応したヘッドマウントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部３のスイッチで決定される）が増加すると共に、縮小画像１３の縮小率を小さくし、画像を大きくして、所定回数又は所定使用時間に達した後は、本来表示すべき画像１１を表示するようにする。

入力制御部７は、ヘッドマウントディスプレイの電源が入るたびに使用回数を１ずつインクリメントし、ヘッドマウントディスプレイの電源が入っている間、使用時間を加算する。ヘッドマウントディスプレイが複数の装着者によって使用される場合は、操作部３から入力された装着者のコード毎に使用回数、使用時間を計算しておき、各装着者に対応した使用回数、使用時間を使用して上記のような制御を行う。

これによって、装着者は、最初は視野の中心部に視線を集中させ、時間の経過と共に眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

図３は、画像制御部９の第２の動作を示す図である。１４は本来表示すべき画像を示し、四角の枠１２で囲われた表示領域全体に亘って表示されるようになっている。そして、表示画像には、背景１５とアイコン１６が含まれている。画像制御部９は、この表示画像の一部であるアイコン１６の位置を、本来表示すべき位置から画像の中心部に移動させる機能を有している。

ヘッドマウントディスプレイの使用初期において表示される実際の画像は、１７に示すようなものとなり、背景１５は不変であるが、アイコン１６の位置が画像の中心側にシフトしている。

画像制御部９は、ヘッドマウントディスプレイの使用初期においては初期画像１７を表示し、入力制御部７から入力される、装着者に対応したヘッドマウントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部３のスイッチで決定される）が増加すると共に、アイコン１６の位置を順次画面の外側にシフトして、所定回数又は所定使用時間に達した後は、本来表示すべき位置に戻し、本来表示すべき画像１４を表示するようにする。

このようにすると、装着者は、最初は視野の中心部にあるアイコン１６に視線を集中させ、時間の経過と共に外側に移動するアイコン１６を見ることにより、眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

図４は、画像制御部９の第３の動作を示す図である。１４は本来表示すべき画像を示し、四角の枠１２で囲われた表示領域全体に亘って表示されるようになっている。そして、表示画像には、背景１５とアイコン１６が含まれている。画像制御部９は、この表示画像の一部であるアイコン１６の位置を、本来表示すべき位置と画像の中心部の位置（１６’で示す）との間で往復運動させる機能を有している。

そして、この往復運動において、本来アイコン１６が表示される位置は、一つの端として固定とし、往復運動の他の端１６’を、入力制御部７から入力される、装着者に対応したヘッドマウントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部３のスイッチで決定される）が増加すると共に、画面の外側にシフトして、所定回数又は所定使用時間に達した後は、本来表示すべき位置に戻し、本来表示すべき画像１４を表示するようにする。

このようにすると、装着者は、最初はアイコン１６が視野の中心部である１６’に来たときにそれを注視するが、時間の経過と共にアイコンが表示される位置が外側に移動するので、眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

以上説明した画像制御部９の動作では、使用回数又は使用時間に応じて、画像の縮小、移動を制御していた。これとは別に、前述したように視線の方向分布に基づいて、画像の縮小、移動を制御するようにしてもよい。なお、視線の検出装置としては、例えば、特開平７−３２００８号公報に記載されるような公知のものを使用することができる。

画面の周縁を見ることに慣れていない場合は、周縁を見ることが苦痛であるため、周縁を見ている時間が少なく、所定時間内の視線方向の分布は、画面の中央部付近に集中する。画面の周縁部を見ることに慣れるに従って、周縁部を見る時間が増加し、所定時間内の視線方向の分布は、周縁部まで広がって平坦化する。

よって、例えば、所定時間内における画面中央方向を中心とした視線角度の分布の標準偏差をとり、この標準偏差を、前述の使用回数、使用時間の代わりに使用してもよい。則ち、標準偏差が小さいときは、使用回数、使用時間が少ない場合と同様の表示を行い、標準偏差が大きくなるに従って、使用回数、使用時間が多くなったときと同じ表示に変えていけばよい。

さらには、使用回数、使用時間と、視線検出結果の組み合わせにより、以上に示した例における、図形の縮小表示の割合を、決定してもよい。例えば、使用時間と視線変動の標準偏差の二乗和の平方根を基準としたり、使用回数と視線変動の標準偏差の二乗和の平方根を基準としたりして、図形の縮小表示の割合を、決定してもよい。

Claims

頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能を有し、当該装着者が当該映像表示装置を使用した回数に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置。
映像表示装置の電源が入るたびに使用回数を１ずつインクリメントすることによって使用回数を定めるように構成されたことを特徴とする請求項１に記載の映像表示装置。
頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能を有し、当該装着者が当該映像表示装置を使用した回数に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置。
映像表示装置の電源が入るたびに使用回数を１ずつインクリメントすることによって使用回数を定めるように構成されたことを特徴とする請求項３に記載の映像表示装置。
請求項３または４に記載の映像表示装置であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用回数の増加につれて、画面の外側に移動して、所定回数の使用後には、本来表示される位置に表示する機能を有することを特徴とする映像表示装置。
請求項３または４に記載の映像表示装置であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の使用回数の増大に応じて小さくすることを特徴と装置。
請求項１または２に記載の映像表示装置であって、使用回数を装着者毎に記憶し、前記装着者毎に、記憶された使用回数を使用することを特徴とする映像表示装置。
請求項１または２に記載の映像表示装置であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した回数と、視線検出結果の組み合わせに応じて、縮小率を変更する機能を有することを特徴とする映像表示装置。
請求項３または４に記載の映像表示装置であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した回数と、視線検出結果の組み合わせに応じて、表示位置を変更する機能を有することを特徴とする映像表示装置。
請求項９に記載の映像表示装置であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用回数の増加と、視線検出結果の組み合わせに応じて、画面の外側に移動して、最後には、本来表示される位置に表示する機能を有することを特徴とする映像表示装置。
請求項９に記載の映像表示装置であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、当該装着者が当該映像表示装置を使用した回数と、視線検出結果の組み合わせに応じて変化させることを特徴とする映像表示装置。
請求項８に記載の映像表示装置であって、使用回数を装着者毎に記憶し、装着者毎に、記憶された使用回数を使用することを特徴とする映像表示装置。
請求項９に記載の映像表示装置であって、使用回数を装着者毎に記憶し、装着者毎に、記憶された使用回数を使用することを特徴とする映像表示装置。