WO2006051743A1

WO2006051743A1 - 映像表示装置

Info

Publication number: WO2006051743A1
Application number: PCT/JP2005/020332
Authority: WO
Inventors: Masaki Otsuki; Shigeru Kato; Kazuou Isagi; Tomomi Takashina
Original assignee: Nikon Corporation; Nikon Systems Inc
Priority date: 2004-11-12
Filing date: 2005-10-31
Publication date: 2006-05-18
Also published as: EP1811493A4; JP4925831B2; EP1811493B1; EP1811493A1; JPWO2006051743A1; US20070262917A1

Abstract

１１は本来表示すべき画像を示し、四角の枠１２で囲われた表示領域全体に亘って表示されるようになっている。画像制御部は、この画像全体を画像の中心を中心として縮小表示する機能を有している。縮小表示された縮小画像を１３に示す。画像制御部９は、ヘッドマウントディスプレイの使用初期においては縮小画像１３を表示し、入力制御部から入力されるヘッドマウントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部のスイッチで決定される）が増加すると共に、縮小画像１３の縮小率を小さくし、画像を大きくして、所定回数又は所定使用時間に達した後は、本来表示すべき画像１１を表示するようにする。

Description

映像表示装置

技術分野

本発明は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置（通常ヘッドマウントデ明ィスプレイと呼ばれることが多く、本明細書においてもヘッドマウントディスプレイと称することがある）に関田

するものである。

背景技術

近年、液晶パネル（L C D )等の表示デバイス上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介して拡大した虚像として観察する眼鏡タイプ等、人体に装着して使用されるの映像表示装置が種々提案され、ウェアラブルディスプレイと呼ばれている。そのうち、頭部に装着して使用されるものは、特にへッドマゥントディスプレイと呼ばれている。

ヘッドマウントディスプレイは、多くの場合、頭に巻いた形で頭部に装着する構成とされ、両目に対応する位置に映像表示系を形成した両目タイプと左右目の一方の目に対応する位置に映像表示系を形成した片目タイプとがある。このうち、両目タイプのものは、主として映像を楽しむための目的に使用される。片目タイプのものは、例えばウェアラブルパソコン等の表示装置等や、作業者に指示を表示する表示装置としての使用方法が期待されている。その例として、特開平 8— 3 0 5 2 9 8号公報、特開 2 0 0 4— 2 0 7 8 4 7号公報に記載されるような方式のものが公知となっている。へッドマゥントディスプレイにおいて問題となる点の一つに、画面の端部が見づらいということがある。通常の映画館等においては、スクリ —ン上に投影された画面の端部を見る場合には、人間は眼球運動によつて視線を振ると同時に、首を回すことによって視線の向きを画面の端部に向けている。

しかし、ヘッドマウントディスプレイの場合、首を回すと、画面全体がそれに伴って動いてしまうため、眼球運動のみによって画面の端部を見る必要があり、そのために慣れるまでは、画面の端部が見づらく感じてしまうのである。

画面の端部を見るときに眼球運動を主にするか首の回転を主にするかは、人によって異なるが、特に後者の人にとっては、ヘッドマウントデイスプレイに慣れるまでは、非常に使いづらいという感じを与える。これは、へッドマゥントディスプレイを、装置の表示端末として使用し、画面全体に亘つてアイコン等を表示する場合に、特に問題となる。

このような問題を解決する方法として、特開平 7 - 9 5 4 9 8号公報には、頭部の動きを検出して、それに応じて表示映像を動かす方法が開示されている。しかし、この方法では、装置が複雑になる上に、表示映像を動かした際に、画面の一部が切れてしまうという問題点がある。一方、特開 2 0 0 0— 1 7 1 7 5 1号公報には、視野の一部に画面を表示し、頭部の動きに応じて画面の表示位置を移動させる方法が開示されている。しかし、この方法では、本来表示できるエリアの一部にしか画面を表示していないため、表示される要素（アイコン等）も、本来表示可能なサイズょり小さくしなければならず、表示ェリァを有効に利用できないという問題点がある。発明の開示本発明はこのような事情に鑑みてなされたもので、表示される画像の端部を、眼球運動のみで見ることができるようにトレーニングを行う機能を持った映像表示装置を提供することを課題とする。

前記課題を解決するための第 1の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置である。

本手段においては、使用時間や使用回数が少ないうちは、縮小率を大きくして、画面を視野中央に小さく表示し、使用時間や使用回数が多くなるに従って、縮小率を徐々に小さくしていき、最後に正常の画面とすることにより、使用になれないうちは、画像が視野中心付近集中し、慣れるに従って大きくなって視野の周縁部にまで及ぶようにすることができる。よって、装着者は、使用することによって自然に、眼球運動だけで画像の端部を見ることができるようになり、違和感を覚えるのが軽減される。

前記課題を解决するための第 2の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置である。

前記課題を解決するための第 3の手段は、前記第 2の手段であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用時間又は使用回数の増加につれて、画面の外側に移動して、所定時間又は所定回数の使用後には、本来表示される位置に表示する機能を有することを特徴とするものである。本手段においては、画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示する。「画像の一部」としては、アイコンなど、装着者が注目しなければならないようなものを選択することが好ましい。よって、装着者が慣れないうちは、これらの画像の一部が、本来表示される位置よりも画面の中心に近い位置に表示されるので、装着者は、画像の周縁部を見る機会が少なくなり、違和感を覚えない。

そして、これら画像の一部を、使用時間又は使用回数の増加につれて、画面の外側に移動して、所定時間又は所定回数の使用後には、本来表示される位置に表示する。これにより、装着者は、徐々に画面の周縁部を注視する割合が多くなるので、徐々に、眼球運動のみにより画面の周縁部を注視する動作に慣れてくる。従って、最終的には、違和感を覚えずに当初予定されている画面を見ることができるようになる。

前記課題を解決するための第 4の手段は、前記第 2の手段であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の使用時間又は使用回数の増大に応じて小さくすることを特徴とするものである。

本手段においては、画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させる。よって、装着者は、これら画像の一部を目で追うことにより、自然に眼球運動のみにより画面の周縁部を見ることに慣れてくる。又、往復運動の振幅を、使用時間又は使用回数の増大に応じて小さくするようにしているので、装着者の慣れに従って、往復運動位置を、画面の周縁部に限定することが可能となる。

前記課題を解決するための第 5の手段は、前記第 1の手段から第 4の手段のいずれかであって、使用時間又は使用回数を装着者毎に記憶し、前記装着者毎に、記憶された使用時間又は使用回数を使用することを特徴とするものである。

一つの映像表示装置を、複数の人間が使用する場合、単に映像表示装置の使用時間や使用回数によって前記第 1の手段から第 4の手段の動作を行わせるのでは、装着者の慣れに応じた表示をすることができない。本手段においては、使用時間又は使用回数を装着者毎に記憶し、装着者毎に、記憶された使用時間又は使用回数を使用して、前記第 1 の手段から第 4の手段の動作を行わせているので、一つの映像表示装置を、複数の人間が使用する場合でも、各人の慣れに応じて、別々の表示を行わせることができる。

前記課題を解決するための第 6の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能と、装着者の視線を検出する機能を有し、検出された装着者の視線の方向分布に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置である。

前記課題を解決するための第 7の手段は、頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能と、装着者の視線を検出する機能を有し、検出された装着者の視線の方向分布に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置である。

前記課題を解決するための第 8の手段は、前記第 7の手段であって、前記画像の一部を、装着者の視線の方向分布が画像の中心付近に集中しているときは、本来表示される位置よりも画面の中央部に移動し、前記装着者の視線の方向分布が画像の外部に及ぶ割合が多くなるにつれて、画面の外側に移動し、装着者の視線の方向分布が画像の外部に及ぶ割合が所定値以上となった場合に、本来表示される位置に表示する機能を有することを特徴とするものである。

前記課題を解決するための第 9の手段は、前記第 7の手段であって、前記画像の一部を、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の視線の方向分布が画像の外部に及ぶ割合に応じて変化させることを特徴とするものである。

これら第 6の手段から第 9の手段においては、前記第 1の手段から第 4の手段において、画像の縮小率や画像の一部の表示位置を、使用時間又は使用回数に応じて変化させていたのに対して、装着者の視線の方向分布に応じて変化させていることが異なっている。一般に、ヘッドマウントディスプレイの使用に慣れないうちは、装着者の視線の方向分布は視野の中心部に偏っており、使用に慣れてくるに従って、視線の方向分布が視野の周縁部に及ぶようになって平均化される。よって、このことを利用して、視線の方向分布が周縁部に及ぶようになって平均化されるに従って、前記第 1の手段から第 4の手段において、使用時間又は使用回数が増加した場合に行うような制御を行うようにしている。

前記課題を解決するための第 1 0の手段は、前記第 1の手段であって、装着者の視線を検出する機能を有し、当該映像表示装置の使用時間又は使用回数と、視線検出結果の組み合わせに応じて、縮小率を変更する機能を有することを特徴とするものである。

前記課題を解決するための第 1 1の手段は、前記第 2の手段であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数と、視線検出結果の組み合わせに応じて、表示位置を変更する機能を有することを特徴とするものである。

前記課題を解決するための第 1 2の手段は、前記第 1 1の手段であつて、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用時間又は使用回数の増加と、視線検出結果の組み合わせに応じて、画面の外側に移動して、最後には、本来表示される位置に表示する機能を有することを特徴とするものである。前記課題を解決するための第 1 3の手段は、前記第 1 1の手段であつて、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、当該装着者が当該映像表示装置を使用した時間又は回数と、視線検出結果の組み合わせに応じて変化させることを特徴とするものである。

前記課題を解決するための第 1 4の手段は、前記第 1 0の手段から第 1 3の手段のいずれかであって、請求項 1 0から請求項 1 3のうちいずれか 1項に記載の映像表示装置であって、使用時間又は使用回数を装着者毎に記憶し、装着者毎に、記憶された使用時間又は使用回数を使用することを特徴とするものである。

これら第 1 0の手段から第 1 4の手段においては、前記第 1の手段から第 5の手段において画像の縮小率や画像の一部の表示位置を、使用時間又は使用回数に応じて変化させていたのに対して、これに加えて装着者の視線の方向分布に応じて変化させていることが異なっている。よつて、前記第 1 の手段から第 5の手段と、前記第 6の手段から第 9の手段を適当に組み合わせた作用効果を奏する。図面の簡単な説明

図 1は、本発明の実施の形態の 1例であるへッドマゥントディスプレイの概略構成を示すブロック図である。

図 2は、画像制御部の第 1の動作を示す図である。図 3は、画像制御部の第 2の動作を示す図である。

図 4は、画像制御部の第 3の動作を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態の例を、図を用いて説明する。図 1は、本発明の実施の形態の 1例であるへッドマゥントディスプレイの概略構成を示すブロック図である。このへッドマウントディスプレイは頭部に装着される頭部装着部 1 と、制御部 2 と、操作部 3、及び視線検出部 4から成り立っている。

頭部装着部 1には、画像表示部 5 と音声出力部 6が設けられ、制御部 2の中には、操作部 3から入力される装着者の信号を受け付け、各装着者毎の使用回数、使用時間を記憶したり、視線検出部 4からの信号を受け付け、装着者の視線の方向分布を算出する機能を有する入力制御部 7 が設けられている。入力制御部 7は、この他にも操作部 3から入力される操作信号の処理を行う機能を有するが、その機能は本発明と関係がないので省略する。

又、制御部 2には、頭部装着部 1に対し、表示すべき画像と出力すベき音声を記憶した記憶部 8が設けられている。記憶部 8に記憶された表示画像は、画像制御部 9中の画像処理プログラムにより実際に表示される画像に変換され、画像表示部 5に伝送されて表示される。記憶部 8に記憶された音声信号は、音声制御部 1 0により調整され、音声出力部 6 に伝送されて音声信号として出力される。

以下、画像制御部 9の動作の例について説明する。各動作うちどれを選択するかは、操作部 3の操作スィッチの操作によって決定され、操作スィツチの位置が入力制御部 7に伝送される。

図 2は、画像制御部 9の第 1の動作を示す図である。 1 1は本来表示すべき画像を示し、四角の枠 1 2で囲われた表示領域全体に亘つて表示されるようになつている。画像制御部 9は、この画像全体を画像の中心を中心として縮小表示する機能を有している。縮小表示された縮小画像を 1 3に示す。画像制御部 9は、ヘッドマウントディスプレイの使用初期においては縮小画像 1 3を表示し、入力制御部 7から入力される、装着者に対応したへッドマウントディスプレイの使用回数又は使用時間 (どちらを選択するかは操作部 3のスィツチで決定される）が増加すると共に、縮小画像 1 3の縮小率を小さくし、画像を大きくして、所定回数又は所定使用時間に達した後は、本来表示すべき画像 1 1 を表示するようにする。

入力制御部 7は、へッドマウントディスプレイの電源が入るたびに使用回数を 1ずつィンクリメントし、ヘッドマウントディスプレイの電源が入っている間、使用時間を加算する。ヘッドマ'ゥントディスプレイが複数の装着者によって使用される場合は、操作部 3から入力された装着者のコード毎に使用回数、使用時間を計算しておき、各装着者に対応した使用回数、使用時間を使用して上記のような制御を行う。

これによつて、装着者は、最初は視野の中心部に視線を集中させ、時間の経過と共に眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

図 3は、画像制御部 9の第 2の動作を示す図である。 1 4は本来表示すべき画像を示し、四角の枠 1 2で囲われた表示領域全体に亘つて表示されるようになつている。そして、表示画像には、背景 1 5 とアイコン 1 6が含まれている。画像制御部 9は、この表示画像の一部であるアイコン 1 6の位置を、本来表示すべき位置から画像の中心部に移動させる機能を有している。ヘッドマウントディスプレイの使用初期において表示される実際の画像は、 1 7に示すようなものとなり、背景 1 5は不変であるが、アイコン 1 6の位置が画像の中心側にシフトしている。

画像制御部 9は、へッドマゥントディスプレイの使用初期においては初期画像 1 7を表示し、入力制御部 7から入力される、装着者に対応したへッドマウントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部 3のスィッチで決定される）が増加すると共に、アイコン 1 6の位置を順次画面の外側にシフトして、所定回数又は所定使用時間に達した後は、本来表示すべき位置に戻し、本来表示すべき画像 1 4 を表示するようにする。

このようにすると、装着者は、最初は視野の中心部にあるアイコン 1 6に視線を集中させ、時間の経過と共に外側に移動するアイコン 1 6を見ることにより、眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

図 4は、画像制御部 9の第 3の動作を示す図である。 1 4は本来表示すべき画像を示し、四角の枠 1 2で囲われた表示領域全体に亘つて表示されるようになつている。そして、表示画像には、背景 1 5 とアイコン 1 6が含まれている。画像制御部 9は、この表示画像の一部であるアイコン 1 6の位置を、本来表示すべき位置と画像の中心部の位置（ 1 6 ' で示す）との間で往復運動させる機能を有している。

そして、この往復運動において、本来アイコン 1 6が表示される位置は、一つの端として固定とし、往復運動の他の端 1 6 ' を、入力制御部 7から入力される、装着者に対応したへッドマゥントディスプレイの使用回数又は使用時間（どちらを選択するかは操作部 3のスィッチで決定される）が増加すると共に、画面の外側にシフトして、所定回数又は所定使用時間に達した後は、本来表示すべき位置に戻し、本来表示すべき画像 1 4を表示するようにする。

このようにすると、装着者は、最初はアイコン 1 6が視野の中心部である 1 6 ' に来たときにそれを注視するが、時間の経過と共にアイコンが表示される位置が外側に移動するので、眼球運動により視野を広げていく訓練を受けることができる。よって、自然に眼球運動のみで画像表示領域の周縁部を見ることができるようになる。

以上説明した画像制御部 9の動作では、使用回数又は使用時間に応じて、画像の縮小、移動を制御していた。これとは別に、前述したように視線の方向分布に基づいて、画像の縮小、移動を制御するようにしてもよレ、。なお、視線の検出装置としては、例えば、特開平 7— 3 2 0 0 8 号公報に記載されるような公知のものを使用することができる。

画面の周縁を見ることに慣れていない場合は、周縁を見ることが苦痛であるため、周縁を見ている時間が少なく、所定時間内の視線方向の分布は、画面の中央部付近に集中する。画面の周縁部を見ることに慣れるに従って、周縁部を見る時間が増加し、所定時間内の視線方向の分布は、周縁部まで広がって平坦化する。

よって、例えば、所定時間内における画面中央方向を中心とした視線角度の分布の標準偏差をとり、この標準偏差を、前述の使用回数、使用時間の代わりに使用してもよい。則ち、標準偏差が小さいときは、使用回数、使用時間が少ない場合と同様の表示を行い、標準偏差が大きくなるに従って、使用回数、使用時間が多くなつたときと同じ表示に変えていけばよい。

さらには、使用回数、使用時間と、視線検出結果の組み合わせにより、以上に示した例における、図形の縮小表示の割合を、決定してもよい。例えば、使用時間と視線変動の標準偏差の二乗和の平方根を基準としたり、使用回数と視線変動の標準偏差の二乗和の平方根を基準としたりして、図形の縮小表示の割合を、決定してもよい。

Claims

請求の範囲

1 . 頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置。

2 . 頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置。

3 . 請求の範囲第 2項に記載の映像表示装置であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用時間又は使用回数の増加につれて、画面の外側に移動して、所定時間又は所定回数の使用後には、本来表示される位置に表示する機能を有することを特徴とする映像表示装置。

4 . 請求の範囲第 2項に記載の映像表示装置であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の使用時間又は使用回数の増大に応じて小さくすることを特徴とする映像表示装置。

5 . 請求の範囲第 1項に記載の映像表示装置であって、使用時間又は使用回数を装着者毎に記憶し、前記装着者毎に、記憶された使用時間又は使用回数を使用することを特徴とする映像表示装置。

6 . 頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面の一部又は全部を縮小して表示する機能と、装着者の視線を検出する機能を有し、検出された装着者の視線の方向分布に応じて、縮小率を変更する機能を有することを特徴とする映像表示装置。

7 . 頭部に装着した状態で装着者の目に映像を表示する映像表示装置であって、表示される画面を構成する画像の一部を、画面の中心側に移動して表示する機能と、装着者の視線を検出する機能を有し、検出された前記装着者の視線の方向分布に応じて、表示位置を変更する機能を有することを特徴とする映像表示装置。

8 . 請求の範囲第 7項に記載の映像表示装置であって、前記画像の一部を、装着者の視線の方向分布が画像の中心付近に集中しているときは、本来表示される位置よりも画面の中央部に移動し、装着者の視線の方向分布が画像の外部に及ぶ割合が多くなるにつれて、画面の外側に移動し、装着者の視線の方向分布が画像の外部に及ぶ割合が所定値以上となった場合に、本来表示される位置に表示する機能を有することを特徴とする映像表示装置。

9 . 請求の範囲第 7項に記載の映像表示装置であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、前記装着者の視線の方向分布が画像の外部に及ぶ割合に応じて変化させることを特徴とする映像表示装置。

1 0 . 請求の範囲第 1項に記載の映像表示装置であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数と、視線検出結果の組み合わせに応じて、縮小率を変更する機能を有することを特徴とする映像表示装置。

1 1 . 請求の範囲第 2項に記載の映像表示装置であって、装着者の視線を検出する機能を有し、当該装着者が当該映像表示装置を使用した時間又は回数と、視線検出結果の組み合わせに応じて、表示位置を変更する機能を有することを特徴とする映像表示装置。

1 2 . 請求の範囲第 1 1項に記載の映像表示装置であって、前記画像の一部を、当初は本来表示される位置よりも画面の中心に近い位置に表示し、前記装着者の使用時間又は使用回数の増加と、視線検出結果の組み合わせに応じて、画面の外側に移動して、最後には、本来表示される位置に表示する機能を有することを特徴とする映像表示装置。

1 3 . 請求の範囲第 1 1項に記載の映像表示装置であって、前記画像の一部を、本来表示される位置を一方の端点として、本来表示される位置よりも画面の中心に近い位置との間を往復運動させ、当該往復運動の振幅を、当該装着者が当該映像表示装置を使用した時間又は回数と、視線検出結果の組み合わせに応じて変化させることを特徴とする映像表示装置。

1 4 . 請求の範囲第 1 0項に記載の映像表示装置であって、使用時間又は使用回数を装着者毎に記憶し、装着者毎に、記憶された使用時間又は使用回数を使用することを特徴とする映像表示装置。

1 5 . 請求の範囲第 1 1項に記載の映像表示装置であって、使用時間又は使用回数を装着者毎に記憶し、装着者毎に、記憶された使用時間又は使用回数を使用することを特徴とする映像表示装置。