JP6575117B2 - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

表示装置、表示装置の制御方法、および、プログラム Download PDF

Info

Publication number
JP6575117B2
JP6575117B2 JP2015077458A JP2015077458A JP6575117B2 JP 6575117 B2 JP6575117 B2 JP 6575117B2 JP 2015077458 A JP2015077458 A JP 2015077458A JP 2015077458 A JP2015077458 A JP 2015077458A JP 6575117 B2 JP6575117 B2 JP 6575117B2
Authority
JP
Japan
Prior art keywords
image
display
unit
eye
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015077458A
Other languages
English (en)
Other versions
JP2016197830A (ja
Inventor
勇一 毛利
勇一 毛利
小林 伸一
伸一 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015077458A priority Critical patent/JP6575117B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to US15/327,158 priority patent/US10725300B2/en
Priority to CN201580037933.0A priority patent/CN106537227B/zh
Priority to KR1020177004166A priority patent/KR20170031223A/ko
Priority to TW104124435A priority patent/TW201604586A/zh
Priority to PCT/JP2015/003766 priority patent/WO2016017144A1/en
Priority to EP15753499.1A priority patent/EP3175616A1/en
Publication of JP2016197830A publication Critical patent/JP2016197830A/ja
Application granted granted Critical
Publication of JP6575117B2 publication Critical patent/JP6575117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mechanical Optical Scanning Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。
従来、使用者の右眼と左眼のそれぞれに対応して画像を表示する装置が知られている(例えば、特許文献1、2参照)。特許文献1、2記載の装置は、左右対の液晶ディスプレイに表示する2つの画面を、1つのつながった画面として認識させることで、アスペクト比の異なる画像を表示する。また、特許文献2記載の装置は、2つの画面の重なり幅を調整することで、重なり部分の輝度を調整する。
特開平7−302063号公報 特開平7−302064号公報
上記従来の表示装置のように、使用者の右眼と左眼のそれぞれに対応して2つの画像を表示する場合、入力画像より大きい画像を処理する必要がある。特許文献1には、NTSC仕様(水平解像度600×垂直解像度500)の液晶パネルを2枚利用して、MUSE方式のハイビジョン画像を、水平解像度1200×垂直解像度500のワイド画像として表示する例の記載がある。この例では、入力画像を、より高解像度の画像に変換する処理が必要とされ、変換後の画像を処理する際の負荷は、入力画像を処理する場合より高負荷となる。このように、2つの画面を合わせた表示画像の解像度は、入力画像よりも大きくなることが一般的であり、処理負荷が高いことが懸念される。
本発明は、上述した事情に鑑みてなされたものであり、複数の表示部を備えた表示装置が入力画像を表示する場合の処理負荷を軽減することを目的とする。
上記目的を達成するために、本発明の表示装置は、使用者の左眼に対応して画像を表示する第1表示部、及び、使用者の右眼に対応して画像を表示する第2表示部と、表示対象の画像を分割し、分割された画像を含む第1画像及び第2画像を、前記第1及び第2表示部に出力する画像処理部と、を備え、前記第1画像及び前記第2画像は、前記画像処理部により分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、前記第1画像及び前記第2画像の一方の前記疑似画像領域の状態は、他方の前記画像領域の状態に対応すること、を特徴とする。
本発明によれば、第1表示部と第2表示部で第1及び第2画像を表示し、第1画像及び第2画像が、表示対象の画像を分割した画像で構成される画像領域に加え、分割された画像を含まない非画像領域を含む。このため、表示対象の画像の高解像度化や拡大等の処理を伴わず、若しくは、処理の負荷を抑えられる。さらに、画像を表示部に転送する転送速度を抑えられる。また、非画像領域を生成する処理、非画像領域を単純化すれば容易に負荷を抑えられる。従って、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。
また、本発明は、上記表示装置において、前記第1画像及び前記第2画像に含まれる前記非画像領域は、前記分割された画像とは異なる疑似画像を含む疑似画像領域であること、を特徴とする。
本発明によれば、疑似画像を用いることにより、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。
また、本発明は、上記表示装置において、前記第1画像及び前記第2画像は、前記第1表示部及び前記第2表示部で表示された場合に、使用者に前記表示対象の画像として視認される画像であること、を特徴とする。
本発明によれば、対象の画像を分割して第1表示部と第2表示部とで表示することにより、処理の負荷を抑えて、2つの表示部を活用して対象の画像を表示できる。
また、本発明は、上記表示装置において、前記画像処理部は、前記第1画像及び前記第2画像における前記画像領域の位置を、前記表示対象の画像における前記分割された画像の位置に対応させること、を特徴とする。
本発明によれば、表示対象の画像を分割し、分割した画像の位置を変えずに第1及び第2表示部で表示するので、2つの表示部を利用して1つの表示対象の画像を使用者に視認させることができる。
また、本発明は、上記表示装置において、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置を制御する表示状態制御部を備えること、を特徴とする。
本発明によれば、第1画像の画像領域と第2画像の画像領域の表示位置を適切に調整して、表示対象の画像の視認性を良好に保つことができる。
また、本発明は、上記表示装置において、前記使用者の入力を受け付ける受付部を備え、前記表示状態制御部は、前記受付部により受け付けた入力に従って、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを変更すること、を特徴とする。
本発明によれば、使用者が自覚する見え方に対応して画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、本発明は、上記表示装置において、前記使用者の視線の状態に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを制御すること、を特徴とする。
本発明によれば、使用者が自覚する見え方に対応して画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、本発明は、上記表示装置において、前記使用者の視線方向を検出する視線検出部を備え、前記表示状態制御部は、前記視線検出部で検出した視線方向に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを制御すること、を特徴とする。
本発明によれば、使用者の視線方向に合わせて画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記視線検出部で検出した前記使用者の利き目の視線方向に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置を制御すること、を特徴とする。
本発明によれば、使用者の利き目の視線方向を優先するように、画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、本発明は、上記表示装置において、前記第1表示部及び前記第2表示部は、外景を透過し、前記外景とともに視認できるように前記画像を表示し、前記表示状態制御部は、前記第1画像または前記第2画像の少なくともいずれかにおける前記非画像領域の表示形態を調整すること、を特徴とする。
本発明によれば、疑似画像領域の表示形態を調整することで、疑似画像領域を透過する外景、或いは、疑似画像領域に対応する画像領域の視認性を制御できる。
また、本発明は、上記表示装置において、前記外景に含まれる対象物を前記使用者が視認する位置に対応して、前記表示対象の画像を前記第1表示部及び前記第2表示部に表示させる表示制御部を備え、前記表示状態制御部は、前記対象物を前記使用者が視認する位置に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記前記第2表示部における前記第2画像の前記画像領域の表示位置を制御すること、を特徴とする。
本発明によれば、外景に含まれる対象物に対応するAR表示を、良好に行うことができる。
また、本発明は、上記表示装置において、前記画像処理部は、前記表示対象の画像から、互いに重複する部分を有する2つの画像を抽出し、これら2つの画像をそれぞれ前記第1画像及び前記第2画像の前記画像領域とすること、を特徴とする。
本発明によれば、第1表示部が表示する画像と第2表示部が表示する画像とを重複させることができる。これにより、第1及び第2表示部が表示する画像の継ぎ目が違和感を抱かせる場合に、この違和感を解消して高品位の画像を表示できる。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記第1画像及び前記第2画像において予め設定された領域に前記画像領域および前記非画像領域を配置すること、を特徴とする。
本発明によれば、画像処理部が表示対象の画像を分割する処理、及び、非画像領域を組み合わせて第1または第2画像を生成する処理の負荷を軽減できる。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記第1画像及び前記第2画像の各々に、複数の前記画像領域と複数の前記非画像領域とを配置すること、を特徴とする。
本発明によれば、第1画像と第2画像とが、より複雑な形状で組み合わされて、表示対象を視認させる。このため、例えば使用者が視認しやすい形状で表示対象の画像を分割して、画像を表示できる。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記第1画像が前記第1表示部で表示される表示サイズと前記第2画像が前記第2表示部で表示される表示サイズとを同一に設定すること、を特徴とする。
本発明によれば、第1及び第2表示部の表示サイズが等しいので、第1表示部が表示する画像と第2表示部が表示する画像との対応が明確になり、2つの表示部の画像から1つの表示対象の画像を認識しやすいという利点がある。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記第1画像及び前記第2画像の共通する位置に所定の指標を配置すること、を特徴とする。
本発明によれば、第1及び第2表示部に表示される画像において共通する位置に指標があるので、第1表示部及び第2表示部が表示する画像の対応が明確になる。このため、2つの表示部の画像から1つの表示対象の画像を認識しやすいという利点がある。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記第1表示部及び前記第2表示部に表示する前記指標の表示サイズを変化させること、を特徴とする。
本発明によれば、必要に応じて指標の視認性を高めることができ、指標が表示対象の画像の視認を阻害しないように適切に表示できる。
また、本発明は、上記表示装置において、前記表示状態制御部は、前記指標の表示サイズを時間の経過とともに縮小させ、前記表示対象の画像が変化した場合に、前記指標の表示サイズを拡大すること、を特徴とする。
本発明によれば、指標が必要な場合には指標を大きく表示させて視認性を高めることができ、指標の必要性が低下すると指標を小さくして、画像の視認の妨げとならないように表示できる。これにより、指標を適切に表示して、利便性の向上を図ることができる。
また、本発明は、上記表示装置において、前記第1表示部及び前記第2表示部は、それぞれ、光源と、前記光源からの光を2次元走査する光走査部と、前記光走査部が2次元走査する光を前記使用者に向けて反射する反射部と、を備えて構成され、前記表示状態制御部は、前記第1表示部及び前記第2表示部の前記光走査部が光を走査する振幅に対応する前記第1画像及び前記第2画像を、前記画像処理部から前記第1及び第2表示部に出力させること、を特徴とする。
本発明によれば、第1表示部及び第2表示部が、光を走査して画像を視認させる構成を有する場合に、この構成において第1画像及び第2画像が良好に視認されるように、表示を制御できる。これにより、走査型の表示装置において、表示対象の画像を良好に視認できる。
また、本発明は、上記表示装置において、前記第1表示部及び前記第2表示部は互いに異なるタイミングで前記第1画像と前記第2画像とを表示すること、を特徴とする。
本発明によれば、画像を表示するタイミングを異ならせることで、画像を転送するタイミングを分散させることができ、単位時間あたりの画像の転送量を抑えられる。
また、上記目的を達成するために、本発明の表示装置は、使用者の左眼に対応して画像を表示する第1表示部、及び、使用者の右眼に対応して画像を表示する第2表示部と、表示対象の画像を分割し、分割された画像を含む第1画像及び第2画像を、前記第1及び第2表示部に出力する画像処理部と、前記使用者の視線方向を検出する視線検出部と、前記視線検出部で検出された前記使用者の視線方向に対応して、前記第1表示部が表示する前記第1画像、及び、前記第2表示部が表示する前記第2画像の表示態様を制御する表示状態制御部と、を備えることを特徴とする。
本発明によれば、第1表示部と第2表示部で第1及び第2画像を表示することにより、表示対象の画像の高解像度化や拡大等の処理を伴わず、若しくは、処理の負荷を抑えることができ、画像を表示部に転送する転送速度を抑えられる。このため、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。また、使用者の視線方向に合わせて画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、上記目的を達成するために、本発明は、第1及び第2表示部を備える表示装置の制御方法であって、表示対象の画像を分割し、分割された画像に対応する第1画像及び第2画像を、前記第1及び第2表示部で表示し、前記第1画像及び第2画像を、前記分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、かつ前記第1画像及び前記第2画像の一方の前記非画像領域の状態が他方の前記画像領域の状態に対応する画像とすること、を特徴とする。
本発明によれば、表示対象の画像の高解像度化や拡大等の処理を伴わず、若しくは、処理の負荷を抑えられる。さらに、画像を表示部に転送する転送速度を抑えられる。また、非画像領域を生成する処理、非画像領域を単純化すれば容易に負荷を抑えられる。従って、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。
また、上記目的を達成するために、本発明は、第1及び第2表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、表示対象の画像を分割し、分割された画像を含む第1画像及び第2画像を、前記第1及び第2表示部に出力する画像処理部として機能させ、前記第1画像及び前記第2画像は、前記画像処理部により分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、前記第1画像及び前記第2画像の一方の前記非画像領域の状態を、他方の前記画像領域の状態に対応させること、を特徴とする。
本発明によれば、表示対象の画像の高解像度化や拡大等の処理を伴わず、若しくは、処理の負荷を抑えられる。さらに、画像を表示部に転送する転送速度を抑えられる。また、非画像領域を生成する処理、非画像領域を単純化すれば容易に負荷を抑えられる。従って、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。
第1の実施形態の頭部装着型表示装置の外観構成を示す説明図。 頭部装着型表示装置の機能的構成を示すブロック図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像の例を示す説明図。 頭部装着型表示装置の描画の動作の説明図。 第2の実施形態の頭部装着型表示装置の機能的構成を示すブロック図。 画像表示部の要部構成を示す図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像と視線との対応と、表示する画像の例を示す説明図。 頭部装着型表示装置の動作を示すフローチャート。 第3の実施形態の頭部装着型表示装置の機能的構成を示すブロック図。 頭部装着型表示装置の表示方式の説明図。 頭部装着型表示装置が表示する画像と表示動作の例を示す説明図。 頭部装着型表示装置が表示する画像と表示動作の例を示す説明図。 頭部装着型表示装置の動作を示すフローチャート。
[第1の実施形態]
以下、図面を参照して本発明を適用した第1の実施形態について説明する。
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成される画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置(コントローラー)10と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク63と、を備える。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)を備える。また、右光学像表示部26、28の前面側に調光板(図示略)を備えてもよい。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置すればよい。この調光板としては、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを利用できる。調光板の光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26および左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部20を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板を用いる場合について説明する。この調光板は右導光板261、左導光板262を保護し、右導光板261、左導光板262の損傷や汚れの付着等を抑制するために役立つ。
調光板は右光学像表示部26および左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよいし、省略してもよい。
カメラ61は、右光学像表示部26の他端である端部ERに配置される。カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。
カメラ61の撮像方向すなわち画角は、画像表示部20の表側方向を撮像する方向である。換言すれば、カメラ61の画角は、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板を通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されていると、より好ましい。
画像表示部20は、さらに、画像表示部20を制御装置10に接続するための接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。
連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。イヤホンプラグ30の近傍にはマイク63が設けられている。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がっている。
なお、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10と、のそれぞれには、互いに嵌合するコネクター(図示略)が設けられている。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御装置10は、頭部装着型表示装置100を制御するための装置である。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指によりタッチ操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。
トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図2は、頭部装着型表示装置100の機能ブロック図である。図2には、頭部装着型表示装置100に接続する画像供給装置OAを、合わせて図示する。頭部装着型表示装置100は、画像供給装置OAとともに、表示システムを構成できる。
図2に示すように、制御装置10は、制御部140と、操作部135と、入力情報取得部110(受付部)と、記憶部120と、電源130と、インターフェイス180と、送信部(Tx)51および送信部(Tx)52と、を有している。
操作部135は、使用者による操作を検出する。操作部135は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18の各部を備える。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。
電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を利用できる。
記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。
制御部140は、CPU、ROM、RAM等を備え、ROMまたは記憶部120に記憶されたプログラムを実行することにより、頭部装着型表示装置100の各部を制御する。制御部140は、上記プログラムを実行することにより、頭部装着型表示装置100の基本制御システムであるオペレーティングシステム(ОS)150として機能する。また、制御部140は、上記プログラムを実行して、画像処理部160、分割制御部164、音声処理部170、及び表示制御部190として機能する。これらの機能はオペレーティングシステム150の一部であってもよいし、オペレーティングシステム150上で動作するアプリケーションプログラムの機能であってもよい。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する。この画像データは、例えばRGBデータである。ここで、記憶部120のDRAMは、1フレームの画像データを一時的に格納するフレームメモリー、或いはフレームバッファーとして機能する。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データData、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
頭部装着型表示装置100は、画像処理部160及び表示制御部190の機能により、後述するインターフェイス180または通信部117を介して入力されるコンテンツの画像を、画像表示部20により表示させる。表示するコンテンツが2D(平面)の静止画像または動画像である場合、右表示駆動部22及び左表示駆動部24は、同じ画像を表示する。画像処理部160は、記憶部120内のDRAMに格納した画像データを、送信部51から右眼用画像データとして送信し、送信部52から、左眼用画像データとして送信する。つまり、画像処理部160は右眼用及び左眼用の2つの画像データを処理する。画像データが高解像度である場合や、フレームレートが高い場合には、画像処理部160の処理負荷が大きくなる。処理負荷が過大であると、制御部140を構成するハードウェアの発熱量の増大、消費電力の増大、不要輻射の原因となる高調波の発生等が懸念される。このため、処理負荷の増大に見合った放熱対策、十分な電源容量の確保、ハードウェア性能の強化などが行われることから、構成の複雑化によるコスト増、装置の大型化を招いてしまう。
本実施形態の頭部装着型表示装置100は、分割制御部164(表示状態制御部)を備え、分割制御部164の機能により分割表示を実行し、これにより画像処理部160の処理負荷を軽減できる。
分割表示は、コンテンツの画像を分割し、右表示駆動部22と左表示駆動部24に、分けて表示する方法である。分割表示の実行時には、分割制御部164が画像の分割状態や分割した画像の表示位置を制御し、この制御に従って画像処理部160が画像を分割して表示する。画像処理部160が、コンテンツの画像から右眼用画像データ及び左眼用画像データを生成する処理で、複製による画像データのデータ量の増加を抑えることができるため、処理負荷を軽減できる。分割表示の詳細については後述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)および左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部170は、マイク63により集音されて入力される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部170は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得して、制御装置10の動き及び動きの方向を検出可能である。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))やBluetooth(登録商標)規格に準じた無線データ通信を実行する。
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の画像供給装置OAを接続するためのインターフェイスである。画像供給装置OAが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置OAを無線通信回線により制御装置10に接続することも可能である。この場合、画像供給装置OAは、通信部117と無線通信を実行して、コンテンツのデータをMiracast(登録商標)等の無線通信技術により送信する。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66と、を備えている。
振動センサー65は、加速度センサーを利用して構成され、図1に示すように画像表示部20の内部に配置される。図1の例では右保持部21において、右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。例えば、制御部140は、9軸センサー66で検出された使用者の頭部の動きから画像表示部20の向きを判定し、使用者の視線方向を推定できる。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1と、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。
なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
そして、左表示駆動部24及び左導光板262は、使用者の左眼に対応して画像を表示する第1表示部を構成する。また、右表示駆動部22及び右導光板261は、使用者の右眼に対応して画像を表示する第2表示部を構成する。
図3は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、分割制御部164の機能を利用した、分割表示に係る動作を示す。
分割制御部164は、インターフェイス180または通信部117でコンテンツが入力され、操作部135の操作によりコンテンツの表示が指示されると、画像処理部160及び表示制御部190を制御して、分割表示を開始する(ステップS11)。
ここで、通常の画像の表示を実行するか、分割表示を実行するかは、予め設定される。また、分割制御部164は、画像供給装置OAから入力されるコンテンツの画像について、アスペクト比、表示サイズまたは表示解像度、表示リフレッシュレート等の属性を判定し、判定した属性に合わせて、分割表示を実行するか否かを判定してもよい。また、判定した属性に対応付けて自動的に判定を行ってもよいし、属性が、使用者が設定した条件に該当する場合に分割表示を実行してもよい。さらに、分割表示を実行するか否かを選択する入力操作を、使用者が実行可能なようにしてもよい。
画像処理部160は、コンテンツに含まれる画像信号を取得し、コンテンツの画像を構成するディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する(ステップS12)。
続いて、分割制御部164が、例えば記憶部120に記憶された設定データ123を参照して、画像の分割に関する設定を取得する(ステップS13)。設定データ123は、画像処理部160が取得したコンテンツの画像データの分割の態様について設定するデータである。画像データの分割の態様は、縦(垂直方向)半分、横(水平方向)半分、横ライン単位、縦ライン単位、ドット単位など、各種の態様があり、分割した各データの重複部を設けてもよいし、マーカーを付してもよい。分割の態様については図4〜図9に具体例を挙げて後述する。なお、マーカーとは、例えばバーコード等の1次元コード、QRコード(登録商標)等の2次元コード、或いはその他の機械認識可能なマーカー等が挙げられ、情報を含むものであっても含まないものであってもよい。
分割制御部164は、画像処理部160によって、記憶部120のDRAMに格納された画像データを分割させる(ステップS14)。さらに、分割制御部164は、画像処理部160によって、分割後の画像データを含む左眼用画像データ(第1画像)及び右眼用画像データ(第2画像)を生成させる(ステップS15)。
その後、画像処理部160は、右眼用画像データを送信部51を介して右表示駆動部22に送信し、左眼用画像データを送信部52を介して左表示駆動部24に送信し、右眼用の画像と左眼用の画像とを表示させる(ステップS16)。
制御部140は、表示の終了に関する指示の有無を判別し(ステップS17)、表示を継続する場合(ステップS17;NO)はステップS12に戻る。また、操作部135により表示終了の指示がされた場合は(ステップS17;YES)、本処理を終了する。
図4〜図9は、分割表示の具体的な例を示す図である。
図4は、縦方向(上下方向、高さ方向、垂直方向)における所定位置で画像を分割する例を示す図である。図4(A)は分割前のコンテンツの画像(分割前画像)350を示し、(B)は分割された一方の画像(分割画像)351を示し、(C)は分割された他方の画像(分割画像)353を示す。図4(D)は分割画像351をもとにした左眼用画像352を示し、図4(E)は分割画像353をもとにした右眼用画像354を示す。
図4の例では、画像処理部160は、分割制御部164の制御により、分割前画像350(表示対称の画像)を上下方向に2分割する。分割する位置は、分割前画像350の上下方向における中心であり、分割前画像350が均等に分割される。分割された分割画像351と分割画像353の縦方向のサイズは同一である。また、分割画像351、353の横方向のサイズは分割前画像350と同一である。
分割画像351は分割前画像350の上半分に相当する。分割画像351は、縦方向の解像度(画素数)が分割前画像350の半分であるため、画像処理部160は、分割画像351をもとに左眼用画像352(第1画像)を出力する。左眼用画像352は、画像領域352Aと、疑似画像領域352Bとで構成される。画像領域352Aは分割画像351であり、疑似画像領域352Bは縦方向の解像度を調整するために画像処理部160が追加するダミーのデータである。
また、画像処理部160は、分割画像353をもとに右眼用画像354(第2画像)を出力する。右眼用画像354は、画像領域354Aと、疑似画像領域354Bとで構成される。画像領域354Aは分割画像353であり、疑似画像領域354Bは、縦方向の解像度を調整するために画像処理部160が追加するダミーのデータである。
この例では、左眼用画像352が左表示駆動部24に出力され、左光学像表示部28により表示される。また、右眼用画像354が右表示駆動部22に出力され、右光学像表示部26により表示される。使用者には、左眼用画像352の画像光が左眼に入射し、右眼用画像354の画像光が右眼に入射するので、左眼に左眼用画像352が、右眼に右眼用画像354が見える。人間の脳には左眼と右眼に見える画像を合成する働きがあることが経験上、明らかになっており、使用者は、本実施形態で表示される左眼用画像352及び右眼用画像354を合成する。これにより、使用者は合成された分割前画像350を認識する。
特に、左眼用画像352の疑似画像領域352Bは、右眼用画像354の画像領域354Aと同じサイズ、同じ画素数となっており、右眼用画像354の疑似画像領域354Bは、左眼用画像352の画像領域352Aと同じサイズ、同じ画素数となっている。このように、疑似画像領域352Bは画像領域354Aに対応し、疑似画像領域354Bは画像領域352Aに対応する。つまり、使用者の一方の眼に分割前画像350の一部が見える位置では、他方の眼にはダミーデータが見える。このため、使用者の脳の働きにより画像を合成する際に、画像とダミーデータとが重ね合わされるので、自然に画像の重ね合わせがなされ、無理なく、使用者は分割前画像350を認識できる。
分割前画像350の上半分である分割画像351は、左眼用画像352の上半分である画像領域352Aとなっており、分割前画像350の下半分である分割画像353は、右眼用画像354の下半分である画像領域354Aとなっている。つまり、画像領域352A、354Aは、対応する分割画像が分割前画像350で占めていた位置と、同じ位置に配置される。このため、使用者は、より自然に画像を重ね合わせて分割前画像350を認識できる。
また、左光学像表示部28の表示可能領域における左眼用画像352の表示位置と、右光学像表示部26の表示可能領域における右眼用画像354の表示位置とは、同じ位置にすることが望ましい。さらに、左光学像表示部28の表示可能領域における左眼用画像352の表示サイズと、右光学像表示部26の表示可能領域における右眼用画像354の表示サイズが、同じサイズであると、より好ましい。この場合、使用者の左眼に見える左眼用画像352の位置と、右眼に見える右眼用画像354の位置とが一致するので、使用者が左右の眼の視野を合成して分割前画像350を認識しやすいという利点がある。ここで、表示可能領域とは、右光学像表示部26、左光学像表示部28が画像を表示できる領域をいう。
発明者らの検討により、左眼用画像352及び右眼用画像354の表示サイズが使用者の視認性に与える影響として、次のことが明らかになった。
表示サイズが大きい場合、画像領域352A、354Aが見えるほか、疑似画像領域352B、354Bが明瞭に視認される。このため、疑似画像領域352B、354Bが目立つことで、画像領域352A、354Aがぼやけて見える傾向がある。また、表示サイズが大きいほど左眼用画像352及び右眼用画像354が明るく見えることが判明した。これは、左眼用画像352及び右眼用画像354の光量が多いためだと考えられる。
これに対し、表示サイズが小さい場合には、疑似画像領域352B、354Bが目立ちにくく、画像領域352A、354Aが明瞭に見える傾向があった。また、画像領域352A、354Aのずれが小さく、正しく重ね合わされた状態で分割前画像350を視認することができたが、表示サイズが小さいほど認識される画像が暗くなった。
このことから、左眼用画像352及び右眼用画像354の表示サイズは小さい方が好ましく、例えば、右光学像表示部26、左光学像表示部28の表示可能領域に対し、縦方向及び横方向のいずれにも半分以下のサイズであると、好ましい。
本実施形態では、画像処理部160が処理する画像データは、分割前画像350と、疑似画像領域352B、354Bを構成するダミーデータである。疑似画像領域352B、354Bは、例えば黒を示す(R,G,B)=(0,0,0)のデータである。また、全白を示すデータ(RGB24ビットデータの場合、(255,255,255))であってもよい。黒または白の画素が連続して構成される画像データは、容易に生成および圧縮可能である。このため、本実施形態では、分割前画像350を送信部51、52のそれぞれに出力する場合に比べて、画像処理部160が処理する実質的なデータ量を削減或いは圧縮することができ、画像処理部160の処理負荷を軽減できる。
上述したように、画像表示部20は透過型の表示装置であり、外光を透過する右光学像表示部26及び左光学像表示部28によって、画像光を使用者の眼に入射する。疑似画像領域352B、354Bが黒で構成される場合、疑似画像領域352B、354Bに相当する部分には画像光が無い。このため、使用者の眼には、分割画像351の画像光と分割画像353の画像光とが入射する一方、ダミーデータの画像光が入射しないので、使用者の眼に入射する画像光の光量は、ほぼ分割前画像350の1画面分と同等である。従って、使用者は容易に分割前画像350を認識できる。
なお、上記の例は、右光学像表示部26及び左光学像表示部28の両方で分割前画像350を表示する場合に比べて、画像光の光量がほぼ半分となり、暗く見える。その対策として、分割制御部164の制御により、画像処理部160が分割表示を行う場合は、通常表示を行う場合に比べ、右光学像表示部26及び左光学像表示部28が発する画像光の光量を増大させる構成としてもよい。具体的には、右バックライト221及び左バックライト222の光量を増大させる方法、画像処理部160により輝度伸長処理を行って左眼用画像352及び右眼用画像354の輝度を高める方法がある。或いは、右表示駆動部22及び左表示駆動部24が画像光を絞る絞り機構(減光機構)を備える場合には、この絞り機構の機能により画像光を増光してもよい。
一方、疑似画像領域352B、354Bが白で構成される場合、疑似画像領域352B、354Bに相当する部分は最大輝度の画素の画像光が照射される。使用者の眼には、分割画像351の画像光と分割画像353の画像光とが入射し、さらに、ダミーデータに対応する白の画像光が入射する。この場合、使用者の眼に入射する画像光の光量は、ダミーデータの色が無彩色であるため、使用者が分割画像351、353を合成して分割前画像350を認識する妨げとはならない。さらに、疑似画像領域352B、354Bの画像光が使用者の眼に入射する場合、この画像光により外光の影響を受けにくくなるという利点がある。すなわち、画像光が入射することで、疑似画像領域352B、354Bの表示位置で外景が見えにくくなるので、例えば外光が強い場合に、分割前画像350の視認性を高めることが期待できる。
分割前画像350を分割する位置、及び、疑似画像領域352B、354Bを構成するダミーデータの画素値等は、頭部装着型表示装置100において予め設定され、設定内容は設定データ123として記憶される。
なお、図4(B)〜(E)には、分割前画像350を縦方向における中央で分割して、上半分の画像をもとに左眼に対応する左眼用画像352を出力し、下半分と右眼に対応する右眼用画像354を出力する例を示した。分割前画像350を分割する位置は、分割前画像350の中央に限定されず、任意の位置であってよい。この場合、疑似画像領域352B、354Bが、画像領域352A、354Aの画素数と分割前画像350の画素数との差に対応していればよい。すなわち、疑似画像領域352Bが画像領域354Aに対応し、疑似画像領域354Bが画像領域352Aに対応していれば、図4(B)〜(E)に示した例と同様の効果を得ることができる。
画像処理部160は、分割画像351、353に相当する画像データを実際に生成して、記憶部120に記憶してもよいし、記憶部120から画像データを読み出して送信部51、52に出力するときのデータ処理で画像の分割を実現してもよい。
例えば、画像処理部160は、記憶部120のDRAMから分割前画像350を読み出し、上半分を分割画像351としてDRAM上に書き出し、下半分を分割画像353としてDRAM上に書き出す。続いて、画像処理部160は、DRAM上の分割画像351に、疑似画像領域352Bを構成するダミーデータを付加して、左眼用画像352を生成する。同様に、画像処理部160は、DRAM上の分割画像353にダミーデータを付加して右眼用画像354を生成する。この場合、DRAM上には左眼用画像352及び右眼用画像354の画像データが記憶される。画像処理部160は、DRAMから左眼用画像352及び右眼用画像354を読み出して、送信部51、52により出力する。
また、例えば、画像処理部160は、DRAM上の分割前画像350に基づいて送信部51、52から画像データを出力するときに、画像の分割とダミーデータの付加を行う構成としてもよい。この場合、画像処理部160は、所定バイトまたは所定ライン数を単位として、分割前画像350の上端位置からデータを読み出し、送信部52に出力する。画像処理部160は、分割前画像350の上半分のデータを読み出した後、ダミーデータを送信部52に出力する。画像処理部160は、疑似画像領域352Bのライン数に相当する量のダミーデータを送信部52に出力する。この処理で画像処理部160が送信部51に出力するデータは、図4(D)に示す左眼用画像352のデータと同じものである。
また、画像処理部160は、疑似画像領域354Bに相当する量のダミーデータを送信部51に出力し、このダミーデータの出力の後に、分割前画像350の中央位置から下半分のデータを読み出して、送信部51に出力する。この処理で画像処理部160が送信部51に出力するデータは、図4(E)に示す右眼用画像354のデータと同じものである。
このように、DRAM上に左眼用画像352及び右眼用画像354の画像データを実際に記憶しなくても、分割前画像350を分割し、分割した分割画像351、353をもとに左眼用画像352及び右眼用画像354を出力する動作を実現できる。
さらに、画像処理部160が、送信部51に出力するデータと送信部52に出力するデータとを並列的に処理し、出力するプロセッサーを備えている場合、分割前画像350の上半分に係る処理と下半分に係る処理とを並列して実行できる。このとき、各処理でDRAMから読み出すデータは別のデータであるため、DRAM上の同一アドレスに対する処理が衝突、競合することはなく、競合調整の処理の必要性は低い。このため、分割前画像350の全体を送信部51と送信部52の各々に出力する場合に比べて、制御部140全体の処理の負荷を軽減できる。
ここで、分割制御部164は、画像処理部160を制御して、右表示駆動部22と左表示駆動部24の画像の表示タイミングをずらす処理を実行させてもよい。具体的には、送信部51、52から左眼用画像352及び右眼用画像354を出力するタイミング、或いは、垂直同期信号VSync、水平同期信号HSync等を調整する。
この場合、画像処理部160が出力する単位時間あたりの画像データ量を抑えることができ、より一層、処理の負荷を軽減できる。左光学像表示部28と右光学像表示部26が画像を表示するタイミングが異なるが、表示される画像のフレーム周波数が極端に低くない場合(例えば、数フレーム〜数十フレーム/秒)、使用者が知覚する残像が重ね合わされる。このため、使用者が、右光学像表示部26の表示画像と左光学像表示部28の表示画像を重ね合わせて、分割前画像350を認識できる。
さらに、図4(A)〜(E)の例では、分割前画像350の上半分を、使用者の左眼に対応する左眼用画像352とし、分割前画像350の下半分を、使用者の右眼に対応する右眼用画像354としたが、これはあくまで一例である。左眼用画像352が分割前画像350の下半分を含む画像であってもよく、この場合、右眼用画像354は、分割前画像350の上半分を含む画像であればよい。つまり、左眼用画像352及び右眼用画像354は、一方の疑似画像領域が他方の画像領域に対応する関係が相互に成立し、かつ、画像領域352A、354Aを合成すると分割前画像350の全体が視認される画像となっていればよい。
図4(F)は、画像内部に重ね位置マークMが付された左眼用画像355を示し、図4(G)には対応する右眼用画像356を示す。
左眼用画像355及び右眼用画像356は、いずれも、重ね位置マークM(指標)が含まれている。図4(F)、(G)の例では、重ね位置マークMが画像の中央に配置されているが、左眼用画像355における重ね位置マークMの位置と、右眼用画像356における重ね位置マークMの位置とは同じ位置である。つまり、左眼用画像355及び右眼用画像356は、右光学像表示部26、左光学像表示部28で表示される表示サイズが同一に設定され、共通する位置に重ね位置マークMを含む。この場合、重ね位置マークMは、使用者の右眼と左眼の両方に見える。このため、左眼用画像355と右眼用画像356の画像領域を合成するときの位置合わせの目安、或いは基準として機能するので、使用者は重ね位置マークMを基準として、無理なく左右の眼に見える画像を合成して、分割される前の分割前画像350を認識できる。
左眼用画像355及び右眼用画像356における重ね位置マークMの表示位置、及び、重ね位置マークMの表示サイズは、分割制御部164が設定し、画像処理部160に重ね位置マークMを表示させる。分割制御部164は、記憶部120に予め記憶される重ね位置マークMの画像を読み出して、画像処理部160により、重ね位置マークMを指定した位置及びサイズで表示させる。
図4(F)、(G)には左眼用画像355及び右眼用画像356のそれぞれに1つの重ね位置マークMを配置した例を示したが、指標(ここでは重ね位置マーク)の数や形状等は任意である。例えば、重ね位置マークの形状は他の図形、文字、画像等、様々なものを用いることができ、表示色、輝度等も任意であり、使用者が、左眼用画像355及び右眼用画像356に配置された重ね位置マークMを視覚的に識別できればよい。例えば、頭部装着型表示装置100の操作に関するメニュー画面で使用者に見せるアイコン等を重ね位置マークとして使用してもよく、枠形状の重ね位置マークを用いてもよく、複数の図形や画像を含む重ね位置マークを表示してもよい。また、重ね位置マークの位置は、左眼用画像355及び右眼用画像356で共通する位置にあればよく、左眼用画像355及び右眼用画像356の中央に限定されない。
また、例えば、画像処理部160が、分割制御部164の制御により、重ね位置マークの表示色と輝度を調整可能とし、左眼用画像355及び右眼用画像356の色に対応して、重ね位置マークの表示色と輝度を決めてもよい。重ね位置マークが複数の図形等で構成される場合、これら複数の図形等の表示形態を異ならせてもよい。
図5は、画像を分割する処理の別の例として、横方向(水平方向)における所定位置で画像を分割する例を示す図である。図5(A)は分割前画像350を示し、(B)は分割画像357を示し、(C)は分割画像359を示す。図5(D)は分割画像357をもとにした左眼用画像358を示し、図5(E)は分割画像359をもとにした右眼用画像360を示す。
分割画像357、359は、分割前画像350が、横方向において予め設定された位置で分割された画像である。分割前画像350は横方向の中央位置で、均等に、2つに分割され、分割画像357と分割画像359の横方向のサイズは同一である。また、分割画像357、359の縦方向のサイズは分割前画像350と同一である。
画像処理部160は、分割画像357、359をもとに、左眼用画像358及び右眼用画像360を生成して、送信部51、52に出力する。
左眼用画像358の左半分は、分割画像357を含む画像領域358Aであり、右半分が疑似画像領域358Bである。疑似画像領域358Bは、疑似画像領域352B、354Bと同様に、画像処理部160が付加するダミーデータで構成される。左眼用画像358における画像領域358Aの位置、及びサイズは、分割前画像350における分割画像357と同じである。
また、右眼用画像360の右半分は、分割画像359を含む画像領域360Aであり、左半分が疑似画像領域360Bである。疑似画像領域360Bは、疑似画像領域352B、354Bと同様に、画像処理部160が付加するダミーデータで構成される。右眼用画像360における画像領域360Aの位置、及びサイズは、分割前画像350における分割画像359と同じである。
この図5の例では、図4を参照して説明した例と同様の効果が得られる。
すなわち、左光学像表示部28及び右光学像表示部26のそれぞれが、左眼用画像358及び右眼用画像360を表示した場合、使用者には分割前画像350が認識される。分割前画像350を分割することにより、画像処理部160が分割前画像350の全体を送信部51と送信部52の各々に出力する場合に比べて、制御部140全体の処理の負荷を軽減できる。
左眼用画像358の疑似画像領域358Bは、右眼用画像360の画像領域360Aと同じサイズ、同じ画素数となっており、疑似画像領域360Bは、画像領域358Aと同じサイズ、同じ画素数となっている。このため、使用者の脳の働きにより画像を合成する際に、画像とダミーデータとが重ね合わされるので、自然に画像の重ね合わせがなされ、無理なく、使用者は分割前画像350を認識できる。
また、分割前画像350の左半分である分割画像357は、左眼用画像358の左半分の画像領域358Aとなっており、分割前画像350の右半分である分割画像359は、右眼用画像360の右半分である画像領域360Aとなっている。このため、使用者は、より自然に画像を重ね合わせて分割前画像350を認識できる。
また、左光学像表示部28の表示可能領域における左眼用画像358の表示位置と、右光学像表示部26の表示可能領域における右眼用画像360の表示位置とは、同じ位置にすることが望ましい。さらに、左光学像表示部28の表示可能領域における左眼用画像358の表示サイズと、右光学像表示部26の表示可能領域における右眼用画像360の表示サイズも、同じサイズであると、より好ましい。この場合、使用者が左右の眼の視野を合成して分割前画像350を認識しやすいという利点がある。
図4及び図5の例では、分割前画像350を、重複することなく分割する例を説明したが、重複する部分があってもよい。この例を図6に示す。
図6は、図5と同様に横方向(水平方向)における所定の位置で画像を分割する例を示す図であり、図6(A)は分割前画像350を示し、(B)は分割画像361を示し、(C)は分割画像363を示す。図6(D)は分割画像361をもとにした左眼用画像362を示し、図6(E)は分割画像363をもとにした右眼用画像364を示す。図6(A)〜(E)中の一点鎖線は、分割前画像350の横方向における中央位置を示す。
分割画像361は、分割前画像350の左半分と、分割前画像350の幅方向中央よりも右側の部分を取り出した画像である。分割画像363は、分割前画像350の右半分と、分割前画像350の幅方向中央よりも左側の部分を取り出した画像である。左眼用画像362は、分割画像361で構成される画像領域362Aと、画像領域362Aの右側に付加されるダミーデータからなる疑似画像領域362Bとを含む。左眼用画像362及び右眼用画像364のそれぞれは、分割前画像350と同サイズ、同画素数である。
画像処理部160は、分割画像361、363をもとに、左眼用画像362及び右眼用画像364を生成して、送信部51、52に出力する。
左眼用画像358の左半分は、分割画像357を含む画像領域358Aであり、右半分が疑似画像領域358Bである。疑似画像領域358Bは、疑似画像領域352B、354Bと同様に、画像処理部160が付加するダミーデータで構成される。左眼用画像358における画像領域358Aの位置、及びサイズは、分割前画像350における分割画像357と同じである。
また、右眼用画像360の右半分は、分割画像359を含む画像領域360Aであり、左半分が疑似画像領域360Bである。疑似画像領域360Bは、疑似画像領域352B、354Bと同様に、画像処理部160が付加するダミーデータで構成される。右眼用画像360における画像領域360Aの位置、及びサイズは、分割前画像350における分割画像359と同じである。
左眼用画像362を左光学像表示部28により表示し、右眼用画像364を右光学像表示部26により表示すると、図5(D)、(E)に示した左眼用画像358及び右眼用画像360と同様の効果が得られる。
ここで、左眼用画像362は左眼用画像358とは異なり、分割前画像350の中央より右側の部分を含んでいる。また、右眼用画像364も同様に、右眼用画像360とは異なり、分割前画像350の中央より左側の部分を含む。つまり、画像領域362Aと画像領域364Aとは重複する部分がある。
使用者の眼には、左眼用画像362と右眼用画像364が見える。この左眼用画像362及び右眼用画像364は、分割前画像350の中央及びその近傍が共通しているので、この共通部分は使用者の両眼に重複して見える。この場合、使用者は、両眼に重複して見える部分を、画像を重ね合わせる指標として認識するので、左眼用画像362と右眼用画像364から分割前画像350を容易に認識できる。
疑似画像領域362B、364Bの表示色が画像領域362A、364Aに比べて暗い色である場合、画像領域362A、364Aが重なる重複領域の明るさは、重複領域以外の画像領域362A、364Aに比べ明るくなる。この種の違和感を防止するため、重複領域の輝度を低下させてもよい。具体的には、画像処理部160が左眼用画像362及び右眼用画像364に対し、重複領域の画素値または輝度を低下させる処理を行い、処理後のデータを送信部51、52から出力してもよい。
また、疑似画像領域362B、364Bの表示色が画像領域362A、364Aに比べて明るい色である場合、或いは、画像領域362A、364Aと同等の輝度である場合は、画像領域362A、364Aが重なる重複領域の明るさは、重複領域以外と同等になる可能性がある。この場合には、上記の違和感を生じるおそれは小さい。
従って、画像処理部160は、設定されている疑似画像領域362B、364Bの色を判定し、この色に応じて、重複領域の輝度を調整する必要の有無を判別してもよい。そして、調整が必要と判別した場合に、上記のように重複領域の画像データの輝度を調整する処理を行って、画像データを右表示駆動部22、左表示駆動部24に出力してもよい。
左眼用画像362と右眼用画像364の共通部分(重複部分)の大きさは図6に示す例に限定されない。この重複部分が大きいと、使用者にとっては、左右の眼に見える画像を合成するときの指標が明瞭になるため、効果的であるが、重複部分が小さくても指標としての効果は十分である。
また、重複部分が大きくなるほど、画像処理部160は処理する画像は、分割前画像350の2つ分に近づく。つまり、分割前画像350を分割して左眼用画像と右眼用画像を生成することの効果が薄れる。従って、重複部分の大きさは、使用者が画像を重ね合わせる指標としての効果が得られる程度の大きさを有し、かつ、小さい方が好ましい。
また、分割前画像350を多数の領域に分割して、左眼用画像及び右眼用画像とすることも可能である。
図7は、分割前画像350を、縦方向における複数の位置で分割する例を示す図である。図7(A)は複数の分割画像片371Aで構成される分割画像371を示し、(B)は複数の分割画像片373Aで構成される分割画像373を示す。図7(C)は分割画像371をもとにした左眼用画像372を示し、図7(D)は分割画像373をもとにした右眼用画像374を示す。
この例では、上述した分割前画像350を横方向のライン単位で分割し、横方向に細長い複数の分割画像片371A、373Aに分ける。分割画像片371A、373Aは、例えば、1ライン分の画像であってもよいし、複数ライン分の画像であってもよい。画像処理部160は、ライン単位で分割した画像を、左眼用の分割画像片371Aと、右眼用の分割画像片373Aとに分ける。例えば、画像処理部160は、分割前画像350における上から順に、分割画像片371Aと分割画像片373Aに振り分ける。この処理により、画像処理部160は、左眼用の分割画像片371Aの集合である分割画像371、及び、右眼用の分割画像片373Aの集合である分割画像373を得る。
画像処理部160は、分割画像371を画像領域372Aとし、画像領域372Aの間の空白部にダミーデータからなる疑似画像領域372Bを付加して、左眼用画像372を得る。同様に、画像処理部160は、分割画像373を画像領域374Aとし、画像領域374Aの間の空白部にダミーデータからなる疑似画像領域374Bを付加して、右眼用画像374を得る。左眼用画像372及び右眼用画像374のサイズは分割前画像350と同一である。
左眼用画像372の疑似画像領域372Bは、右眼用画像374の画像領域374Aと同数の画像片で構成され、各画像片は同サイズ、同画素数となっている。また、疑似画像領域374Bは画像領域372Aと同数の画像片で構成され、各画像片は同サイズ、同画素数である。
画像処理部160は、左眼用画像372を送信部52から出力し、左表示駆動部24及び左光学像表示部28で表示させ、右眼用画像374を送信部51から出力し、右表示駆動部22及び右光学像表示部26で表示させる。これにより、図4〜図6で説明した例と同様の効果が得られる。
すなわち、使用者には左眼用画像372及び右眼用画像374を重ね合わせた分割前画像350が認識される。そして、分割前画像350を分割することにより、画像処理部160が分割前画像350の全体を送信部51と送信部52の各々に出力する場合に比べて、制御部140全体の処理の負荷を軽減できる。
また、疑似画像領域372Bは画像領域374Aに対応し、疑似画像領域372Bは画像領域374Aに対応する。このため、使用者の脳の働きにより画像を合成する際に、画像とダミーデータとが重ね合わされるので、自然に画像の重ね合わせがなされ、無理なく、使用者は分割前画像350を認識できる。
さらに、分割前画像350を横方向のラインを単位として分割するので、分割された分割画像371、373では、分割画像片371A、373Aの数を多くすることができる。この場合、分割画像371、373はいずれも分割前画像350の上部から下部までを含んでいるので、左眼用画像372及び右眼用画像374は、一方だけでも分割前画像350に近い画像を使用者に認識させる。使用者は、両方の眼で分割前画像350に近い画像を視認できるので、使用者の違和感を軽減できる。
また、図8に示すように、縦方向のライン単位で画像を分割してもよい。
図8(A)は複数の分割画像片375Aで構成される分割画像375を示し、(B)は複数の分割画像片377Aで構成される分割画像377を示す。図8(C)は分割画像375をもとにした左眼用画像376を示し、図8(D)は分割画像377をもとにした右眼用画像378を示す。
この例では、上述した分割前画像350を縦方向のライン単位で分割し、縦方向に細長い複数の分割画像片375A、375Aに分ける。分割画像片375A、375Aは、例えば、1ライン分の画像であってもよいし、複数ライン分の画像であってもよい。画像処理部160は、ライン単位で分割した画像を、左眼用の分割画像片375Aと、右眼用の分割画像片375Aとに分ける。例えば、画像処理部160は、分割前画像350における左から順に、分割画像片375Aと分割画像片375Aに振り分ける。この処理により、画像処理部160は、左眼用の分割画像片375Aの集合である分割画像375、及び、右眼用の分割画像片377Aの集合である分割画像377を得る。
画像処理部160は、分割画像375を画像領域376Aとし、画像領域376Aの間の空白部にダミーデータからなる疑似画像領域376Bを付加して、左眼用画像376を得る。同様に、画像処理部160は、分割画像377を画像領域378Aとし、画像領域378Aの間の空白部にダミーデータからなる疑似画像領域378Bを付加して、右眼用画像378を得る。左眼用画像376及び右眼用画像378のサイズは分割前画像350と同一である。左眼用画像376の疑似画像領域376Bは、右眼用画像378の画像領域378Aと同数の画像片で構成され、各画像片は同サイズ、同画素数となっている。また、疑似画像領域378Bは画像領域376Aと同数の画像片で構成され、各画像片は同サイズ、同画素数となっている。
画像処理部160は、左眼用画像376を送信部52から出力し、左表示駆動部24及び左光学像表示部28で表示させ、右眼用画像378を送信部51から出力し、右表示駆動部22及び右光学像表示部26で表示させる。この場合、分割前画像350を分割する方向が異なるだけで、図7で説明した例と同様の効果が得られる。
図9は、分割前画像350を矩形の画像片に分割する例を示す。
図9(A)は複数の分割画像片379Aで構成される分割画像379を示し、(B)は複数の分割画像片381Aで構成される分割画像381を示す。図8(C)は分割画像379をもとにした左眼用画像380を示し、図8(D)は分割画像381をもとにした右眼用画像382を示す。
この例では、上述した分割前画像350を縦方向及び横方向に数ドットの画素を含む矩形の分割画像片に分ける。画像処理部160は、分割制御部164の制御により、分割画像片を左眼用の分割画像片379Aと、右眼用の分割画像片381Aとに分ける。例えば、画像処理部160は、分割前画像350における左上から順に、1個ずつ、分割画像片379Aと分割画像片381Aに振り分ける。
画像処理部160は、分割画像379を画像領域380Aとし、画像領域380Aの間の空白部にダミーデータからなる疑似画像領域380Bを付加して、左眼用画像380を得る。同様に、画像処理部160は、分割画像381を画像領域382Aとし、画像領域382Aの間の空白部にダミーデータからなる疑似画像領域382Bを付加して、右眼用画像382を得る。左眼用画像380及び右眼用画像382のサイズは分割前画像350と同一である。
また、左眼用画像380の疑似画像領域380Bは、右眼用画像382の画像領域382Aと同数の画像片を有し、各画像片は同サイズ、同画素数となっている。疑似画像領域382Bは、画像領域380Aと同数の画像片を有し、各画像片は同サイズ、同画素数となっている。
画像処理部160は、左眼用画像380を送信部52から出力し、左表示駆動部24及び左光学像表示部28で表示させ、右眼用画像382を送信部51から出力し、右表示駆動部22及び右光学像表示部26で表示させる。この場合、分割前画像350を分割する方向が異なるだけで、図7及び図8で説明した例と同様の効果が得られる。
このように、分割制御部164は、画像処理部160を制御して、表示対象の画像(分割前画像350)を種々の形態で分割し、分割した画像をもとに、左眼用画像及び右眼用画像を送信部51、52から出力する。画像処理部160は、図4〜図9に示した例の一部のみを実行可能であってもよいし、全ての処理を実行可能であってもよい。また、図4〜図9に例示した以外の形態で表示対象の画像を分割するものであってもよい。
また、頭部装着型表示装置100は、重ね位置マークMを表示する場合に、重ね位置マークMの表示サイズを変化させることも可能である。
図10は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、重ね位置マークMのサイズを変化させる動作を示す。また、図11は重ね位置マークMの表示サイズの変化を示す図であり、図11(A)及び(B)は重ね位置マークMの表示サイズが大きい状態を示す。また、図11(C)及び(D)は重ね位置マークMの表示サイズを縮小した状態を示し、図11(E)及び(F)は異なる形状の重ね位置マークMを表示した状態を示す。
図4(F)及び(G)を参照して説明したように、分割制御部164は、画像処理部160を制御して、左眼用画像355及び右眼用画像356における同じ位置に重ね位置マークMを表示させる。これにより、重ね位置マークMは、使用者の右眼と左眼の両方に見え、左眼用画像355と右眼用画像356の画像領域を合成するときの位置合わせの目安、或いは基準として機能する。
使用者が画像(映像を含む)を見始めるときには、左眼用画像355及び右眼用画像356を一つの画像として認識する見方に慣れていないため、重ね位置マークMは有効に機能する。しかし、画像を見続けるうちに使用者が慣れてくると、左眼用画像355及び右眼用画像356の位置合わせの指標として、重ね位置マークMの必要性は小さくなる。
そこで、分割制御部164は、画像処理部160を制御して、重ね位置マークMの表示サイズを変更してもよい。分割制御部164は、例えば、記憶部120に記憶される重ね位置マークMの画像データを読み出して、この画像データを、画像処理部160によって分割した左眼用画像355及び右眼用画像356のそれぞれに重畳させる。この場合、記憶部120に、サイズの異なる重ね位置マークMの画像データを予め複数記憶しておけば、分割制御部164が、記憶部120から読み出す重ね位置マークMの画像データを変更することにより、重ね位置マークMの表示サイズを変更できる。また、分割制御部164は、記憶部120から重ね位置マークMの画像データを取得し、取得した画像データを、所定の倍率で拡大または縮小して、画像処理部160により重畳させてもよい。この場合、分割制御部164は、重ね位置マークMを拡大または縮小する倍率を変更することで、重ね位置マークMの表示サイズを変更できる。
図10には、分割制御部164が重ね位置マークMの表示サイズを変更する動作の一例を示す。
分割制御部164は、画像表示部20による画像の表示を開始すると(ステップS21)、重ね位置マークMを、予め設定された最大サイズで、画像処理部160により表示させる(ステップS22)。その後、分割制御部164は、重ね位置マークMの表示状態を継続した時間を監視し、予め設定された時間に達したか否かを判定する(ステップS23)。設定された時間に達した場合(ステップS23;YES)、分割制御部164は、重ね位置マークMの表示サイズを縮小し、画像処理部160により、重ね位置マークMの表示を更新させる(ステップS24)。つまり、重ね位置マークMを表示する時間が経過する毎に、重ね位置マークMが縮小される。
重ね位置マークMの表示を継続した時間が設定された時間に達していない場合(ステップS23;NO)、及び、ステップS24で重ね位置マークMの表示サイズを更新した後、分割制御部164は、画像が切り替えられたか否かを判定する(ステップS25)。分割制御部164は、画像が切り替えられた場合(ステップS25;YES)、ステップS22に戻り、重ね位置マークMを最大サイズで表示する。
画像が切り替えられた場合とは、画像処理部160が表示する画像の画像データが切り替えられたことを指す。具体的には、頭部装着型表示装置100の画像ソースが変更された場合や、画像供給装置OAから入力される画像データの解像度やフレームレートが変化した場合に、画像が切り替えられたと判定する。また、分割制御部164は、左眼用画像における画像領域と疑似画像領域の境界、及び/又は、右眼用画像における画像領域と疑似画像領域との境界を変更した場合に、画像が切り替えられたと判定してもよい。また、左光学像表示部28における左眼用画像の表示サイズや、右光学像表示部26における右眼用画像の表示サイズが変更された場合に、画像が切り替えられたと判定してもよい。
画像の切り替えが無い場合(ステップS25;NO)、分割制御部164は、表示を終了するか否かを判定し(ステップS26)、表示を継続する場合は(ステップS26;NO)、ステップS23に戻る。また、表示を終了する場合(ステップS26;YES)、分割制御部164は、画像処理部160による分割画像と重ね位置マークMの表示を終了させる(ステップS27)。
図11(A)及び(B)には、左眼用画像355及び右眼用画像356に最大サイズの重ね位置マークMを配置した例を示す。この例では、左眼用画像355における画像領域352Aと疑似画像領域352Bの境界、及び、右眼用画像356における画像領域354Aと疑似画像領域354Bとの境界に、大きな重ね位置マークMが表示される。
ここで、図11(C)及び(D)に示すように、重ね位置マークMが縮小されると、画像領域352Aと画像領域354Aの視認性に対する重ね位置マークMの影響が小さくなり、使用者は表示対象の分割前画像350を見やすくなる。
また、重ね位置マークMの形状が任意であることは上述したが、例えば、図11(E)及び(F)に示すように、重ね位置マークMを帯状としてもよい。この例では、重ね位置マークMが、左眼用画像355における画像領域352Aと疑似画像領域352Bとの境界に重なる。また、図11(F)の例では、右眼用画像356における画像領域354Aと疑似画像領域354Bとの境界の全体に、重ね位置マークMが重なる。使用者が、左右の重ね位置マークMが重なるように画像を見るときに、画像領域352Aと疑似画像領域352Bとの境界、及び、画像領域354Aと疑似画像領域354Bとの境界が見えにくくなる。従って、境界を意識することなく、重ね位置マークMを指標として、左右の画像を合成するように見ることができる。例えば図5(D)及び(E)に示したように、分割前画像350を水平方向に分割した場合には、画像領域と疑似画像領域との境界に合わせて、縦方向(垂直方向)に延びる帯形状の重ね位置マークMを表示すればよい。
また、重ね位置マークMに代えて、右眼用画像と左眼用画像とにおける画像領域が重畳する重畳領域(例えば、図18の重畳領域W1)を、位置合わせ用の指標としてもよい。この場合、上述した重ね位置マークMのサイズを変更する処理と同様に、時間の経過とともに重畳領域のサイズを小さく変化させ、画像が切り替わった場合に重畳領域のサイズを大きくしたりしてもよい。
ここで、頭部装着型表示装置100が、分割画像351、353の表示位置の調整(キャリブレーション)を行う機能について説明する。
図12は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、表示位置調整の動作を示す。また、図13は表示位置調整の動作において頭部装着型表示装置100が表示する画像の例を示す図である。図13(A)は使用者が知覚する画像を模式的に示す合成画像391であり、図13(B)及び(C)は表示位置調整における表示例を示す。
図13(A)に示す合成画像391は、画像処理部160が図4(D)及び(E)に示す左眼用画像352と右眼用画像354を画像表示部20に表示させた場合に、使用者が知覚する可能性がある画像の状態の一例である。頭部装着型表示装置100が分割前画像350を分割して表示する場合に、使用者がどのように知覚するかは個人差がある。例えば、使用者の両眼と右導光板261、左導光板262との位置関係に起因して、左眼用画像352と右眼用画像354とが、例えば合成画像391のようにずれて見える。物理的な位置関係が原因で合成画像391にずれが発生した場合、頭部装着型表示装置100が、画像表示部20における画像の表示位置を調整することで、改善が期待できる。
使用者が、合成画像391のずれを感じ、操作部135の操作により表示位置の調整を指示すると、分割制御部164は、画像処理部160を制御して、図13(B)及び(C)に示す画面を表示させる。図13(B)では、右LCD241(図2)の表示可能領域241Aよりも小さく画像領域352Aが描画され、画像領域352Aを移動可能な方向を示す矢印が表示される。図13(C)では、左LCD242(図2)の表示可能領域242Aによりも小さく画像領域354Aが描画され、画像領域354Aを移動可能な方向を示す矢印が表示される。画像領域352A、354A、及び矢印を除く領域は、例えば黒色や暗色で表示される。
図13(B)及び(C)の表示状態で、使用者は、操作部135の操作により画像領域352A、354Aの表示位置の移動を指示する。使用者には図13(A)のように、ずれた合成画像391が見えるので、ずれを解消する方向を直感的な操作で指示できることが好ましい。このため、例えば、トラックパッド14や方向キー16の操作が1回行われる毎に、分割制御部164が、画像領域352Aまたは画像領域354Aの表示位置を所定量移動させる。
図12に表示位置の調整に係る動作を示す。
分割制御部164は、例えば操作部135の操作に応じて表示位置の調整を開始し(ステップS41)、表示位置の調整を行うための調整用画像データを記憶部120から取得する(ステップS42)。調整用画像データは、例えば図13(B)、(C)に示した矢印等を含む。分割制御部164は、画像処理部160により調整用画像データに基づく画像を表示させ(ステップS43)、ここで、使用者が表示位置の移動の指示を入力する(ステップS44)。分割制御部164は、指示入力に応じて、右LCD241及び左LCD242における表示位置を変更し(ステップS45)、表示位置の調整が完了したか否かを判定する(ステップS46)。
分割制御部164は、例えば、操作部135により調整完了の指示が入力された場合に、調整が完了したと判定する(ステップS46;YES)。分割制御部164は、調整用の画像の表示を終了するとともに、ステップS45の移動後の表示位置を、右LCD241と左LCD242のそれぞれについて取得して、設定データ123に記録し(ステップS47)、本処理を終了する。また、調整が完了していないと判定した場合(ステップS46)、分割制御部164はステップS44に戻り、移動の指示を受け付ける。
また、画像処理部160は、分割画像を右LCD241及び左LCD242に表示させる際のデータの出力を制御することで、右LCD241及び左LCD242における表示タイミングを適切に調整できる。図14は、頭部装着型表示装置100の描画の動作の一例を示す説明図である。
図14には、図8を参照して説明した複数の分割画像片375Aで構成される左眼用画像376(図14(A))、及び、複数の分割画像片377Aで構成される右眼用画像378(図14(B))を表示する場合の動作を示す。
通常の表示処理において、画像処理部160は、右LCD制御部211(図2)及び左LCD制御部212(図2)に対し、水平方向のラインを単位として画像信号を送信する。この画像信号に基づき、右LCD制御部211は、ライン毎に右LCD241の表示を更新し、左LCD制御部212はライン毎に左LCD242の表示を更新する。
ここで、画像処理部160は、右LCD制御部211及び左LCD制御部212に、2ラインを単位とし、ラインの先頭位置から画像信号を送信することができる。この場合、左LCD制御部212は、図14(B)に示すように、左LCD242の表示可能領域242Aの端部から、画像領域376Aを、縦方向の2ラインずつ描画する。右LCD制御部211は、図14(C)に示すように、右LCD241の表示可能領域241Aの端部から、画像領域378Aを、縦方向の2ラインずつ描画する。
さらに、左LCD制御部212が画像領域376Aを描画するタイミングと、右LCD制御部211が画像領域378Aを描画するタイミングとを揃えると、より好ましい。例えば、左LCD制御部212が、左眼用画像376において左端に位置する画像領域376Aを描画するタイミングと同じ、或いはほぼ同じタイミングで、右LCD制御部211が、左LCD制御部212が描画する画像領域376Aに隣接する画像領域378Aを描画する。つまり、分割前画像350において隣接していた部分を同時に描画する。この場合、使用者には、ほぼ同じタイミングで、分割前画像350における比較的大きな領域が描画されて見えるので、視覚的な合成が容易であり、視認性を高めることが期待できる。
なお、画像表示部20における画像の表示位置の調整方法は、上述のように、右LCD241及び左LCD242で画像を描画する位置を変更する方法に限らない。例えば、画像表示部20のフレームを構成する右保持部21及び左保持部23に対する右光学像表示部26及び左光学像表示部28の位置を移動してもよい。また、右投写光学系251及び左投写光学系252の機能により、右導光板261及び左導光板262に結像する画像の位置を変更してもよい。また、右投写光学系251及び左投写光学系252のレンズ群等を移動させてもよい。また、右LCD241及び左LCD242の位置のみを変更することで、画像の表示位置を調整してもよい。
以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置100は、使用者の左眼に対応して画像を表示する左光学像表示部28、及び、使用者の右眼に対応して画像を表示する右光学像表示部26を備える。また、頭部装着型表示装置100は、表示対象の画像を分割し、分割された画像を含む左眼用画像及び右眼用画像を、左光学像表示部28及び右光学像表示部26に出力する画像処理部160を備える。そして、左眼用画像及び右眼用画像は、画像処理部160により分割された画像で構成される画像領域と、分割された画像を含まない非画像領域(疑似画像領域)とを含み、左眼用画像及び右眼用画像の一方の非画像領域の状態は、他方の画像領域の状態に対応する。これにより、表示対象の画像の高解像度化や拡大等の処理を伴わず、若しくは、処理の負荷を抑えられる。さらに、画像を表示部に転送する転送速度を抑えられる。また、非画像領域を生成する処理、非画像領域を単純化すれば容易に負荷を抑えられる。従って、画像の表示に係る負荷を抑えて、対象の画像を使用者に視認させることができる。
また、非画像領域は、分割された画像とは異なる疑似画像を含む疑似画像領域とすることができる。
また、頭部装着型表示装置100が表示する左眼用画像及び右眼用画像は、左光学像表示部28及び右光学像表示部26で表示された場合に、使用者に表示対象の画像として視認される画像であるから、使用者には分割前の画像と同様の画像を見せることができる。従って、2つの表示部を活用して画像を分割し、処理負荷を軽くして、対象の画像を表示できる。
また、画像処理部160は、左眼用画像及び右眼用画像における画像領域の位置を、表示対象の画像における分割された画像の位置に対応させるので、分割された画像の位置が変えらずに左光学像表示部28及び右光学像表示部26で表示される。このため、2つの表示部を利用して1つの表示対象の画像を使用者に視認させることができる。
また、頭部装着型表示装置100は、分割制御部164により、右光学像表示部26における右眼用画像が有する画像領域の表示位置、及び、左光学像表示部28における左眼用画像が有する画像領域の表示位置を制御する。このため、右眼用画像と左眼用画像の表示位置を適切に調整して、表示対象の画像の視認性を良好に保つことができる。また、分割制御部164は、右眼用画像と左眼用画像の表示位置を制御し、変更してもよいし、画像領域の表示位置を制御し、変更してもよい。
また、頭部装着型表示装置100は、使用者の入力を受け付ける入力情報取得部110を備え、分割制御部164は、入力情報取得部110により受け付けた入力に従って、右光学像表示部26における右眼用画像が有する画像領域の表示位置、及び、左光学像表示部28における左眼用画像が有する画像領域の表示位置の少なくともいずれかを変更する。このため、使用者が知覚する見え方に対応して、使用者が操作を行うことで、画像領域の表示位置を調整できる。
表示位置を調整する動作において、分割制御部164は、右光学像表示部26における右眼用画像が有する画像領域の表示位置、及び、左光学像表示部28における左眼用画像が有する画像領域の表示位置のうち、少なくとも一方を変更すればよい。また、必要に応じて、右光学像表示部26における右眼用画像が有する画像領域の表示位置、及び、左光学像表示部28における左眼用画像が有する画像領域の表示位置の両方を変更してもよい。
また、画像表示部20は、外景を透過し、前記外景とともに視認できるように画像を表示し、画像処理部160は、左眼用画像及び右眼用画像の少なくともいずれかにおける疑似画像領域(非画像領域)の表示形態を調整してもよい。具体的には、疑似画像領域352B、354B(図4)を黒色にする場合、疑似画像領域352B、354Bに相当する部分には画像光が無い。この場合、使用者の眼には、分割画像351の画像光と分割画像353の画像光とが入射する一方、ダミーデータの画像光が入射しないので、使用者の眼に入射する画像光の光量は、ほぼ分割前画像350の1画面分と同等である。従って、使用者は容易に分割前画像350を認識できる。これに対し、疑似画像領域352B、354Bを白色で構成する場合、疑似画像領域352B、354Bに相当する部分は最大輝度の画素の画像光が照射される。この場合、使用者の眼には、分割画像351の画像光と分割画像353の画像光とが入射し、さらに、ダミーデータに対応する白の画像光が入射する。このように、疑似画像領域の表示形態を変化させて、例えば表示色を黒または白にすることで、分割前画像の見え方を調整できる。
疑似画像領域の表示形態は、疑似画像領域を一様の色で構成する場合の表示色に限らず、疑似画像領域の色合い、輝度であってもよい。上記の例ではダミーデータの色が無彩色であるため、使用者が分割画像351、353を合成して分割前画像350を認識する妨げとはならない。しかしながら、疑似画像領域の色を有彩色としてもよい。この場合、使用者が視認する分割前画像350の色合いを、疑似画像領域の色の影響で変化させることができる。
さらに、疑似画像領域352B、354Bの輝度が低い場合は、この疑似画像領域352B、354Bに重なる位置に外景が見えやすいので、使用者には外光が知覚される。これに対し、疑似画像領域352B、354Bの輝度が高いと、外景が透過しにくいので、使用者は外景の影響を受けることなく分割前画像350を視認できる。
なお、疑似画像領域の表示形態は一定でなくてもよく、変化させてもよい。この場合、画像処理部160は、表示する分割前画像350の輝度や色調の変化に合わせて、疑似画像領域の表示形態(色、輝度、色調など)を変化させてもよい。或いは、分割前画像350が変化しない場合に、時間の経過に伴い、疑似画像領域の表示形態を変化させてもよい。
また、画像処理部160は、図6を参照して説明したように、分割前画像350から、互いに重複する部分を有する分割画像361、363を抽出し、これら分割画像361、363をそれぞれ左眼用画像362及び右眼用画像364の画像領域としてもよい。この場合、左光学像表示部28及び右光学像表示部26が表示する画像の継ぎ目が目立ちにくいので、使用者の違和感を軽減し、高品位の画像を表示できる。
また、画像処理部160は、図7〜図9を参照して説明したように、左眼用画像及び右眼用画像の各々に、複数の画像領域と複数の疑似画像領域とを配置してもよい。この場合、左眼用画像と右眼用画像とが、より複雑な形状で組み合わされて、使用者に表示対象の画像を視認させる。このため、例えば使用者が視認しやすい形状で表示対象の画像を分割して、画像を表示できる。
また、上記頭部装着型表示装置100において、画像処理部160は、図4(F)、(G)を参照して説明したように、左眼用画像及び右眼用画像の共通する位置に所定の指標(重ね位置マークM)を含ませてもよい。さらに、左光学像表示部28及び右光学像表示部26の表示サイズを等しくしてもよい。この場合、共通の位置に指標が配置されるため、右光学像表示部26が表示する画像と左光学像表示部28が表示する画像との対応が明確になる。使用者は、2つの表示部の画像から1つの表示対象の画像を認識しやすいという利点がある。
また、分割制御部164は、右光学像表示部26及び左光学像表示部28により表示する重ね位置マークM(指標)の表示サイズを変化させることができる。このため、重ね位置マークMの必要性の多寡に応じて、指標の視認性を変化させることができ、使用者が画像を認識しやすく、かつ、画像の視認を阻害しないように表示できる。
また、分割制御部164は、重ね位置マークMの表示サイズを時間の経過とともに縮小させ、表示対象の画像が変化した場合に、重ね位置マークMの表示サイズを拡大する。このため、重ね位置マークMの必要性の変化に適切に対応できる。すなわち、重ね位置マークMが必要な場合には大きく表示させて視認性を高め、重ね位置マークMの必要性が低下すると表示サイズを小さくして、画像の視認の妨げとならないように表示できる。
また、画像処理部160は、左眼用画像及び右眼用画像において予め設定された領域に画像領域および疑似画像領域を配置する。このため、画像処理部160が表示対象の画像を分割する処理、及び、分割した画像に疑似画像領域を組み合わせて左眼用画像及び右眼用画像を生成する処理の負荷を軽減できる。
また、右光学像表示部26及び左光学像表示部28は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部20を構成する。使用者には、外景に重なって、分割された画像を含む左眼用画像と右眼用画像とが見える。
この構成では、左眼用画像及び右眼用画像の画像領域の表示色、表示輝度または画像全体の光量を調整することで、左眼用画像と右眼用画像の見え方を調整できる。例えば、外光の光量に合わせて輝度または光量を調整し、外景よりも表示対象の画像を見やすくすることも、外景を見やすくすることもできる。
さらに、左眼用画像及び右眼用画像に含まれる疑似画像領域の色及び/又は明るさを調整することで、左眼用画像と右眼用画像の見え方を調整できる。例えば、外光の光量が高い場合に、疑似画像領域の輝度を高くして、表示対象の画像を明るく見せることができる。また、例えば、外光の光量が低い場合に疑似画像領域の輝度を低くして、表示対象の画像を暗くし、外景に合わせて見やすくすることができる。反対に、外光の光量が低い場合に疑似画像領域の輝度を高くして、表示対象の画像を目立たせることもできる。
また、第1の実施形態では、図12に示した表示位置の調整に係る処理で、使用者の指示の入力に対応して、右LCD241及び左LCD242における表示位置を変更する構成を説明したが、制御部140の制御によって、自動的に表示位置を調整してもよい。例えば、第2の実施形態で説明するように使用者の眼を撮像して視線方向を検出する視線検出部を備える構成、或いは、使用者の眼の眼電位を計測して眼球運動を検出することにより、視線を推定する構成とすることができる。この場合、位置調整用の指標を含む画像を右LCD241及び左LCD242に表示し、指標を使用者が注視した状態の使用者の視線を検出し、検出結果に基づき表示位置を自動調整することができる。また、導光板261、262で導かれる画像光により使用者が視認する虚像を撮像する撮像部(図示略)を備える構成とし、この撮像部の撮像画像に基づき、左眼用画像及び右眼用画像の表示位置が適切であるか否かを判定し、必要に応じて表示位置を調整してもよい。この場合、使用者が表示位置を指示する操作を行わなくても、表示位置を適切に調整できるという利点がある。
[第2の実施形態]
図15は、第2の実施形態の頭部装着型表示装置100Aの機能的構成を示すブロック図である。また、図9は、頭部装着型表示装置100Aが備える画像表示部20Aの要部構成を示す図であり、(A)は画像表示部20Aを使用者の頭部側から見た要部斜視図、(B)は視線方向の説明図である。
本第2の実施形態では、使用者の視線を検出する機能、及び、使用者の視線方向に位置する対象物に対応するAR表示を行う機能を備えた頭部装着型表示装置100Aについて説明する。本第2の実施形態において、第1の実施形態と同様に構成される各部については同符号を付して説明を省略する。
画像表示部20Aは、画像表示部20(図2)の構成に加えて、距離センサー64及び視線センサー68(視線検出部)を備える。その他の点については頭部装着型表示装置100と頭部装着型表示装置100Aとは共通であり、上記第1の実施形態における頭部装着型表示装置100の動作を、頭部装着型表示装置100Aが実行できる。
図16(A)に示す261A,262Aは、それぞれ、右導光板261及び左導光板262に形成されたハーフミラーであり、外景を透過可能に画像を表示する表示領域に相当する。ハーフミラー261A、262Aは、上記第1の実施形態の画像表示部20においても同様に存在する。
距離センサー64は、図16(A)に示すように、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20Aを装着した状態で、距離センサー64の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー64は、予め設定された測定方向に位置する測定対象物までの距離を検出する。
例えば、図16(B)に示すように、距離センサー64は、使用者の右眼REの視線RDと左眼LEの視線LDとの先にある対象物OBまでの距離を検出する。この場合、距離センサー64が検出を行う方向64Aは、画像表示部20Aの正面である。
距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー64は、制御部140の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、後述する位置検出部162の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー64は光源や受光部、或いは音源と検出部とを備え、測距処理を距離検出部173が行ってもよい。
本実施形態の距離センサー64の測定方向は、頭部装着型表示装置100Aの表側方向であり、カメラ61の撮像方向と重複する。
また、視線センサー68は、図16(A)に示すように、画像表示部20Bの使用者側の面に配置される。視線センサー68は、使用者の右眼RE(図16(B))、及び、左眼LE(図16(B))のそれぞれに対応するように、右光学像表示部26と左光学像表示部28との中央位置に一対、設けられる。視線センサー68は、例えば、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラで構成される。視線センサー68は、制御部140(図4)の制御に従って撮像を行い、制御部140が、撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。また、視線センサー68は、使用者の左右の眼をそれぞれ撮像するので、使用者が眼を閉じた場合には、視線センサー68によって眼が閉じたことを検出できる。
図15のブロック図に示すように、距離センサー64及び視線センサー68は、接続部40により制御部140に接続される。距離検出部173は、距離センサー64を制御して対象物までの距離を検出することが可能である。なお、制御部140は、カメラ61の撮像画像データに基づき対象物までの距離を検出する構成としてもよい。
分割制御部164は、視線センサー68で検出した視線方向に対応して、表示対象の画像を分割した右眼用画像と左眼用画像の表示態様を調整できる。
図17は、頭部装着型表示装置100Aの動作を示すフローチャートであり、視線方向に対応して表示対象の画像を分割する境界位置を調整する動作を示す。図18は、図17に示す動作の説明図であり、(A)、(B)及び(C)は視野特性を示し、(A)は水平方向の視野を示し、(B)は垂直方向の視野を示し、(C)は視線方向を示す直線に垂直な面における視野の分布を示す。また、図18(D)、(E)、(F)、(G)は分割画像の態様を示す。
一般的に、人間は視野の領域ごとに見え方の特性が異なることが知られている。詳細には、人間の視野には、図16(B)RD、LDに示す視線方向を中心として、最も中心に近い弁別視野V1と、有効視野V2と、安定注視野V3とがある。弁別視野V1は、視力などの視機能が最も優れて発揮される中心領域であり、視線方向を中心としておよそ±5°の範囲とされる。弁別視野V1の水平方向の範囲は図中X1に相当し、垂直方向の範囲は図中Y1に相当する。
有効視野V2は、眼球運動だけで瞬時に情報受容ができる領域であり、その範囲は、視線方向を中心として、水平方向(図中X2)におよそ±30°垂直方向(図中Y2)におよそ±20°とされる。また、安定注視野V3は、眼球・頭部運動により無理なく注視できる範囲であり、効果的な情報受容ができる領域とされる。安定注視野V3の範囲は、視線方向を中心として、水平方向(図中X3)におよそ±60〜90°、垂直方向(図中Y3)におよそ±45〜70°とされる。
従って、使用者が左右の眼で見た画像を合成して、表示対象の画像すなわち分割前の分割前画像350を視認する場合、分割前画像350を分割する位置(境界)が、弁別視野V1またはその近傍にあると、良好に分割前画像350を認識できる。そこで、分割制御部164は、使用者の視線に合わせて左右に表示する画像の境界を制御する。
分割制御部164は、利き目設定用の画像データを記憶部120から取得し(ステップS61)、取得した画像データに基づき、画像処理部160によって利き目設定用の画像を表示させる(ステップS62)。利き目設定用の画像を見た使用者が、操作部135の操作により利き目が右眼か左眼かを指定する入力を行うと、分割制御部164は入力を受け付けて(ステップS63)、利き目に関する設定データ123の設定を更新する(ステップS64)。
ステップS61〜S64の動作では、使用者の利き目を特定する。図16(B)に示したように、視線センサー68は、使用者の右眼REの視線方向RD、及び、左眼LEの視線方向LDを検出するが、使用者が知覚する視線方向は、視線方向RD、LDの中間とは限らず、利き目の視線方向の方が強く意識されることが多い。分割制御部164は図17の動作で使用者の利き目を特定し、利き目の視線方向に対応する処理を行う。
ステップS62で表示される利き目設定用画像は、使用者が、利き目が右眼であるか左眼であるかを容易に自分で判別できるような画像である。この利き目設定用画像は、右光学像表示部26及び左光学像表示部28を透過して視認される外景を利用して、利き目を判定できる画像であってもよい。また、利き目を判定するために使用者に片目を閉じるよう案内するメッセージや画像を含んでもよい。
分割制御部164は、表示対象の画像の表示を開始する(ステップS65)。ステップS66では、分割制御部164は、表示対象の画像を、予め設定されたデフォルトの位置および形態で分割した右眼用画像及び左眼用画像を、画像処理部160により表示させる。
分割制御部164は、視線センサー68による視線の検出を実行する(ステップS66)。ステップS66で、分割制御部164は、視線センサー68が検出する使用者の利き目の視線方向のみに基づいて視線方向を特定してもよい。また、利き目の視線方向が優先されるように、視線センサー68が検出する右眼REの視線方向RD、及び、左眼LEの視線方向LDに基づいて、視線方向を求めてもよい。
ここで、分割制御部164は、視線が移動したか否かを判定する(ステップS67)。分割制御部164は、ステップS66の検出を前回行ったときの視線方向と、その次にステップS66の検出を行った時の視線方向との差が、設定された閾値を超える場合に、視線方向が移動したと判定する(ステップS67;YES)。この場合、分割制御部164は、ステップS66で検出した視線方向に合わせて、表示対象の画像を分割する境界の位置、及び、重畳領域の大きさを画像処理部160に対して指定し、表示を更新させる(ステップS68)。これにより、最新の視線方向に合わせた右眼用画像及び左眼用画像が表示される。なお、ステップS66の動作を1回目に行う場合は、視線が移動したときと同様にステップS68の動作を実行する。
また、視線方向が移動していないと判定した場合(ステップS67;NO)、及び、ステップS68の動作を実行した後、分割制御部164は、表示を終了するか否かを判定する(ステップS69)。表示を継続する場合は(ステップS69;NO)、ステップS66に戻り、表示を終了する場合(ステップS69;YES)、画像処理部160による表示を終了させて本処理を終了する。
図17の動作では、使用者の選択入力に基づいて利き目に関する設定データ123を更新し、設定データ123の設定に従ってステップS67〜S68の処理を行う例を示したが、この利き目設定を自動的に変更、更新してもよい。また、利き目に関する設定データ123を更新することなく、分割制御部164の処理で使用する利き目の設定を一時的に切り替えてもよい。
人間の利き目は注視する方向によって変化することがあるので、分割制御部164は、ステップS66で視線を検出した場合に、検出した視線方向から求められる注視方向が、設定データ123で設定された利き目とは逆側である場合に、設定データ123で設定される利き目と逆側の目を利き目としてS67〜S68の処理を行ってもよい。例えば、設定データ123により右眼が利き目として設定され、ステップS66で検出した視線方向が使用者の視界の左半分に属する場合、左眼を利き目として、ステップS67〜S68の処理を行ってもよい。
図18(D)及び(E)は、視線方向に対応した左眼用画像384及び右眼用画像385の例を示す。左眼用画像384は、分割前画像350(図4(A))を上下に2分した画像である。図4(D)の左眼用画像352と比較して、左眼用画像384の画像領域384Aは、分割前画像350の半分以上を含む。また、右眼用画像385の画像領域385Aは、分割前画像350の下部であり、分割前画像350の半分以上を含む。これら左眼用画像384及び右眼用画像385を重ねた場合、図中に符号W1で示す重畳領域が発生する。この重畳領域W1は、使用者の右眼にも左眼にも見えるように表示される領域であり、使用者にはより明瞭に視認される。分割制御部164は、視線センサー68の検出結果に基づき、使用者の視線が重畳領域W1に含まれるように、画像領域384A、385Aの位置とサイズを決定し、画像処理部160に表示させる。
図18(F)及び(G)は、視線センサー68の検出結果から分割制御部164が特定した視線方向が、下方に移動した例を示す。図18(F)及び(G)の状態では、視線方向に合わせて重畳領域W1が画像の下部にあり、この重畳領域W1の位置に対応するように、画像領域384A、385Aが変化している。
このように、視線方向に対応して重畳領域W1の位置及びサイズを調整することにより、使用者の視野における弁別視野V1が重畳領域W1に含まれるように画像を表示できる。このため、使用者は、重畳領域W1を明瞭に視認できるとともに、使用者の視機能が発揮されにくい安定注視野V3等においては、画像を左右に分割することで処理負荷を軽減できる。
また、図17で説明した処理では、分割制御部164が視線方向に合わせて表示対象の画像を分割する境界の位置、及び、重畳領域の大きさを、弁別視野V1に関する一般的な値を用いて決定した。この処理で、分割制御部164は、個人差を反映して処理を行ってもよい。すなわち、視線方向に対する弁別視野、有効視野、或いは安定注視野の範囲について、標準値と使用者の個人差(差分)を計測し、この差分を加えて図17のステップS68の処理を行ってもよい。
図19は、頭部装着型表示装置100Aの動作を示すフローチャートであり、AR表示に係る動作を示す。
分割制御部164は、使用者が画像表示部20Aを透過して視認する対象物に対応して、ARコンテンツを表示するAR表示を行う。対象物は外景に含まれる物体、人、動物、或いは遠景である。分割制御部164は、AR表示で、この対象物に対応する位置に画像や文字等を表示することで、対象物に関する情報を提供し、或いは、画像表示部20A越しに見える対象物の姿の見え方を変える。ARコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ARコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ARコンテンツのデータは、例えば記憶部120に記憶される。
ARコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。本実施形態では、対象物は物体とし、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。
分割制御部164は、使用者の視界に位置する対象物を検出する。そして、AR表示制御部186は、検出した対象物に対応するARコンテンツの表示位置を決定し、ARコンテンツを表示する。ARコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、分割制御部164は、対象物の位置を特定するが、特定の方法は、例えばカメラ61の撮像画像データから対象物の画像を検出する方法等がある。本実施形態で、分割制御部164は、使用者の視線方向に対象物があると推定し、使用者の視線方向に存在する物体までの距離を距離センサー64で検出することで、対象物が位置する方向と距離を得る。
分割制御部164は、記憶部120に記憶されたARコンテンツのデータを取得し(ステップS81)、取得したデータに基づき、ARコンテンツを画像処理部160によって表示させる(ステップS82)。ここで、画像処理部160は、分割制御部164の制御により、予め設定されたデフォルトの分割位置、重畳領域の大きさ等に基づいてARコンテンツの画像を分割し、右眼用画像及び左眼用画像を表示する。
続いて、分割制御部164は、視線センサー68及び距離センサー64によるArの対象物の検出を行い(ステップS83)、視線センサー68の検出結果及び距離センサー64の検出結果に基づいて、ARの対象物が存在する方向を特定する(ステップS84)。ステップS84で特定する方向は、画像表示部20Aの表示部である右光学像表示部26、左光学像表示部28を基準とする相対的な方向である。従って、対象物が動く場合だけでなく、対象物に対して画像表示部20Aが動いた場合に、対象物の方向が変化する。
分割制御部164は、対象物の方向が変化したか否かを判定する(ステップS85)。分割制御部164は、前回のステップS84で特定した方向と、その次にステップS84で特定した方向との差が、設定された閾値を超える場合に、対象物の方向が移動したと判定する(ステップS85;YES)。この場合、分割制御部164は、ステップS85で検出した方向に合わせて、表示対象の画像を分割する境界の位置、及び、重畳領域の大きさの設定を変更し(ステップS86)、変更後の設定に従って表示を更新させる(ステップS87)。これにより、対象物の方向に合わせた右眼用画像及び左眼用画像が表示される。なお、ステップS84の動作を1回目に行う場合は、対象物の方向が変化したときと同様にステップS86の動作を実行する。
また、対象物の方向が変化していないと判定した場合(ステップS85;NO)、及び、ステップS87の動作を実行した後、分割制御部164は、表示を終了するか否かを判定する(ステップS88)。表示を継続する場合は(ステップS88;NO)、ステップS83に戻り、表示を終了する場合(ステップS88;YES)、画像処理部160による表示を終了させて本処理を終了する。
このように、本発明を適用した第2の実施形態に係る頭部装着型表示装置100Aは、頭部装着型表示装置100Aにおいて、使用者の視線方向を検出する視線センサー68を備える。分割制御部164は、視線センサー68で検出した視線方向に対応して、右光学像表示部26における右眼用画像の画像領域の表示位置、及び、左光学像表示部28における左眼用画像の画像領域の表示位置を制御する。このため、用者の視線方向に合わせて画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、分割制御部164は、視線センサー68で検出した使用者の利き目の視線方向に対応して、右光学像表示部26における右眼用画像の画像領域の表示位置、及び、左光学像表示部28における左眼用画像の画像領域の表示位置を制御できる。このため、使用者の利き目の視線方向を優先するように、画像領域の表示位置を調整でき、表示対象の画像の視認性を良好に保つことができる。
また、分割制御部164は、外景に含まれる対象物を使用者が視認する位置に対応して、表示対象の画像を右光学像表示部26及び左光学像表示部28に表示させるAR表示制御部として機能する。分割制御部164は、対象物を使用者が視認する位置に対応して、右光学像表示部26における右眼用画像の画像領域の表示位置、及び、左光学像表示部28における左眼用画像の画像領域の表示位置を制御する。このため、外景に含まれる対象物に対応するAR表示を、良好に行うことができる。
ここで、分割制御部164は、分割制御部164は、使用者が視認する外景における対象物に対応する表示処理として、AR表示に限定されず、いわゆるMR(Mixed Reality)表示やVR(Virtual Reality)表示を行ってもよい。分割制御部164は、視線センサー68で検出した使用者の視線方向に基づき、使用者が視認または注視する外景中の対象物または対象物の位置を特定する。分割制御部164は、カメラ61の撮像画像に基づき生成するMR画像や、VR表示用のCG(Computer Graphics)を含むVR画像を、使用者が視認または注視する外景中の対象物または対象物の位置に対応するように、表示制御部190により表示させればよい。ここで、MR画像は、例えば、カメラ61の撮像画像に、予め生成され記憶されたCGまたは制御部140が生成するCGを合成した画像である。また、VR画像は、予め生成され記憶されたCGまたは制御部140が生成するCGを用いて作成される画像である。これらのMR表示、或いはVR表示を行う場合に、分割制御部164は、表示対象の画像であるMR画像またはVR画像を分割して、右光学像表示部26に右眼用画像を表示し、左光学像表示部28に左眼用画像を表示できる。
なお、上述した第1及び第2の実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよいし、LCOS(Liquid crystal on silicon,LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
また、本発明を、MEMS(Micro Electro Mechanical Systems)ミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
以下、MEMSミラーを採用した構成について、第3の実施形態として説明する。
[第3の実施形態]
図20は、本発明を適用した第3の実施形態の頭部装着型表示装置100Bの機能的構成を示すブロック図である。
頭部装着型表示装置100Bは、上記第1及び第2の実施形態で説明した制御装置10に、画像表示部20Bを接続して構成される。画像表示部20Bは、第1の実施形態の画像表示部20、及び、第2の実施形態で説明した画像表示部20Aが備える右表示駆動部22及び左表示駆動部24を、右表示駆動部22A及び左表示駆動部24Aに置き換えた構成を有する。
右表示駆動部22Aは、光源401と、右光源駆動部402、ミラー403を備えるMEMSスキャナー404(光走査部)と、ミラー駆動制御部405と、受信部53とを備える。
光源401は、例えばレーザー光源(図示略)を備え、赤(R)、緑(G)、青(B)の色光を合成した合成光を出射する。右光源駆動部402は、光源401に駆動電流を供給して、光源401を点灯させる。
ミラー403は、光源401が光を放射する放射部に向けて配置され、光源401の出射光を反射する。MEMSスキャナー404は、ミラー403を動かして傾きを制御することにより、ミラー403の反射光の光路を変化させる。MEMSスキャナー404の動作により、ミラー403の反射光は右導光板261のハーフミラー261A(図16(A))に照射される。また、MEMSスキャナー404はミラー403を高速で駆動することにより、ミラー403の反射光を、ハーフミラー261A上で2次元的に走査(掃引)できる。このため、ハーフミラー261Aに、ミラー403の反射光により像を形成し、使用者に画像を見せることができる。
ミラー駆動制御部405は、受信部53で受信した制御データに基づき、MEMSスキャナー404の動きを制御する。
左表示駆動部24Aは、光源411と、左光源駆動部412、ミラー413を備えるMEMSスキャナー414(光走査部)と、ミラー駆動制御部415と、受信部54とを備える。
光源411は、例えばレーザー光源(図示略)を備え、赤(R)、緑(G)、青(B)の色光を合成した合成光を出射する。左光源駆動部412は、光源411に駆動電流を供給して、光源411を点灯させる。
ミラー413は、光源401が光を放射する放射部に向けて配置され、光源411の出射光を反射する。MEMSスキャナー414は、ミラー413を動かして傾きを制御することにより、ミラー413の反射光の光路を変化させる。MEMSスキャナー414の動作により、ミラー413の反射光は左導光板262のハーフミラー262A(図16(A))に照射される。また、MEMSスキャナー414はミラー413を高速で駆動することにより、ミラー413の反射光を、ハーフミラー262A上で2次元的に走査できる。このため、ハーフミラー262Aに、ミラー413の反射光により像を形成し、使用者に画像を見せることができる。
ミラー駆動制御部415は、受信部54で受信した制御データに基づき、MEMSスキャナー414の動きを制御する。
この構成において、ハーフミラー261A、262Aは反射部として機能する。
図21は、頭部装着型表示装置100Aが画像を表示する表示方式の例を示す説明図であり、(A)は右導光板261における走査の例を示し、(B)、(C)及び(D)は分割表示を行う場合の走査の例を示す。
図21(A)に例示するように、画像表示部20Bは、レーザーが発した画像光を走査することで画像を表示する。例えば、ハーフミラー261Aにおいては、画像光は、軌跡405Aに示すように水平方向に走査される。詳細には、画像光は、ハーフミラー261Aを水平方向に移動し、ハーフミラー261Aの端で折り返して斜め下方に移動し、再び水平方向に移動する。このため、軌跡405Aの両端には、折り返し部405Bが発生する。この折り返し部405Bの発生に対応するため、ハーフミラー261Aでは、折り返し部405Bを含まない範囲が表示可能領域261Cとなる。図示はしないが左導光板262に左表示駆動部24Aが表示する場合も同様である。
右表示駆動部22Aは、折り返し部405Bにおいては、MEMSスキャナー404を駆動させる一方で、右光源駆動部402の制御により光源401の光の出射を止めることができる。このため、折り返し部405Bでは、実際には光がハーフミラー261Aに当たらず、使用者には表示可能領域261Cの光が視認される。また、表示可能領域261Cでは、ミラー403の反射光が水平に移動する間、及び、斜め下方に移動する間にハーフミラー261Aに当たる光により、画像が形成される。なお、ミラー403の反射光が水平に移動する間のみ表示可能領域261Cに光を照射して、画像を形成することも可能であり、この場合はミラー403の反射光が斜め下方に移動する過程では画像は形成されない。
頭部装着型表示装置100Bが、分割制御部164の制御により分割表示を行う場合、例えば図21(B)、(C)に示すように、表示対象の画像を水平方向に分割して表示する。図21(B)には左導光板262のハーフミラー262Aにおける走査範囲を示し、(C)にはハーフミラー261Aにおける走査範囲を示す。分割表示を行う場合、右保持部21と左導光板262のそれぞれにおいて、折り返し部405Bを考慮し、表示可能領域261C、262Cの半分より大きい領域で、画像光の走査が行われる。このため、MEMSスキャナー404、414が走査(掃引)を行う範囲は、図21(D)に示すように、少なくとも折り返し部405Bが重畳して、重畳領域W11を形成するように画像が表示される。また、重畳領域W11には、折り返し部405Bだけでなく、軌跡405Aが含まれることが好ましい。
頭部装着型表示装置100Bは、図22に示すように、縦方向に延びる帯状の画像領域と疑似画像領域とを含む分割画像を表示してもよい。
図22は画像の表示例を示し、(A)は分割前画像350を示し、(B)及び(C)は分割画像を示す。分割画像395は、使用者の左眼に視認させる左眼用の分割画像片395Aと、ダミーデータからなる疑似画像領域395Bとを含む。また、分割画像396は、使用者の右眼に視認させる右眼用の分割画像片396Aと、ダミーデータからなる疑似画像領域396Bとを含む。
右表示駆動部22Aが分割画像片395Aを表示する場合、及び、左表示駆動部24Aが分割画像片396Aを表示する場合、図22(D)に示すように、水平方向に画像光を走査してもよい。この場合、右光源駆動部402及び左光源駆動部412により、分割画像片395A、396Aに相当する位置では画像光を照射し、疑似画像領域395B、396B及び折り返し部405Bでは画像光を止める制御がなされる。
また、図22(D)に示すように、右表示駆動部22A、左表示駆動部24Aは、ミラー403、413の反射光を縦方向に走査してもよい。すなわち、右表示駆動部22Aは、ミラー403の反射光を、分割画像片395Aの幅に合わせて水平方向に走査し、斜め下方に折り返して、再び水平方向に走査する。この走査を繰り返して、一つの分割画像片395Aに相当する範囲を掃引し、この掃引を分割画像片395Aの数だけ実行する。また、左表示駆動部24Aも同様の掃引を実行できる。この場合、疑似画像領域395Bに相当する領域における掃引を減らすことができ、効率よく画像光による表示を行える。
また、分割制御部164は、水平方向に延びる帯状の分割画像片397Aと疑似画像領域397Bとを含む分割画像397と、水平方向に延びる帯状の分割画像片398Aと疑似画像領域398Bとを含む分割画像398とを生成してもよい。
この場合、右表示駆動部22Aは、図23(C)に示すように、ミラー403の反射光を水平方向に掃引することが好ましい。左表示駆動部24Aも同様である。
このように、頭部装着型表示装置100Bは、分割制御部164の制御により、表示対象の画像を分割する方法または態様と、右表示駆動部22A及び左表示駆動部24Aが画像光をMEMSにより掃引する態様とを合わせて制御できる。このため、より効率よく画像を表示し、画像の表示に係る負荷を軽減できる。
図24は、頭部装着型表示装置100Bの動作を示すフローチャートであり、特に、画像データに基づく画像の表示を開始する動作を示す。
分割制御部164は、記憶部120から表示対象の画像データを取得し(ステップS101)、画像を分割する境界位置を決定する(ステップS102)。次に、分割制御部164は、ステップS102で決定した境界位置に、折り返し部405Bのように表示できない非描画部を加味して、分割画像のサイズを決定する(ステップS103)。ステップS103で決定されるサイズは、拡大率や縮小率を示すものではなく、分割画像に設けられる重畳領域の大きさに関するサイズである。また、ステップS103では、分割する境界位置を変更してもよい。
その後、分割制御部164は、決定した分割画像の境界およびサイズに基づき、画像処理部160によって分割画像のデータを生成させ(ステップS104)、表示を開始させる(ステップS105)。
本発明を適用した第3の実施形態に係る頭部装着型表示装置100Bは、上述した第1及び第2の実施形態で説明した動作を実行し、同様の効果を得ることができる。
さらに、頭部装着型表示装置100Bは、光源401、右光源駆動部402、ミラー403を備えるMEMSスキャナー404、及びミラー駆動制御部405を有する右表示駆動部22Aを具備する。また、光源411、左光源駆動部412、ミラー413を有するMEMSスキャナー414、及びミラー駆動制御部415を有する左表示駆動部24Aを具備する。そして、頭部装着型表示装置100Bは、MEMSスキャナー404、414が画像光を走査する振幅に対応する分割画像を生成して、画像表示部20Bにより表示する。例えば、分割制御部164は、画像処理部160を制御して、画像光の走査における折り返し部405Bを加味して分割画像を生成する。このため、画像光の掃引により画像を表示する構成において、分割画像が良好に視認されるように、表示を制御できる。
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、矩形の分割前画像350を分割して表示する例について説明したが、表示する画像のサイズ、形状、画素数、カラー画像か白黒画像かの種別、及び、動画像か静止画像かについて限定されない。
また、上記各実施形態において、右眼用画像と左眼用画像とにおける分割領域とを、1フレーム毎など、所定時間ごとに切り替える構成としてもよい。この場合、所定の時間毎に1つの分割前画像を左右の眼に視認させることができるので、画像の視認性を高める効果が期待できる。
また、上記実施形態で、画像処理部160は、コンテンツの画像を構成するディジタル画像信号を1フレームごとにDRAMに格納に格納して、分割し、分割画像を生成する構成として説明した。本発明はこれに限定されず、例えば、画像供給装置OAからアナログ画像信号が入力される場合に、画像処理部160が、アナログ画像信号を分割してもよい。さらに、画像処理部160は、右表示駆動部22及び左表示駆動部24にそれぞれアナログ画像信号を出力する構成において、疑似画像領域のアナログ画像信号を生成して合成してもよい。すなわち、画像処理部160は、疑似画像領域のアナログ画像信号を、右表示駆動部22及び左表示駆動部24に出力するアナログ画像信号に合成することで、第1画像及び第2画像を生成し出力してもよい。
また、制御装置10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御装置10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面(ガラスや透明なプラスチック等)に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、カメラ61の撮像画像やCGを利用して、MR表示やVR表示を行う構成は、外光とともに画像を視認させる表示装置に限らず、各種の表示装置に適用可能であり、例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、AR表示、MR表示、或いはVR表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、上記各実施形態では、使用者の頭部に装着する眼鏡型の画像表示部20を例示したが、本発明はこれに限定されない。例えば、帽子のように装着する画像表示部等の他の方式の画像表示部を、画像表示部20に代えて採用してもよい。その他の構成であってもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。さらに、例えば、使用者が両手に持って使用する双眼鏡型のハンドヘルドディスプレイ(Hand Held Display)を、本願の画像表示部20として採用してもよい。さらにまた、使用者の両眼の眼球(例えば、角膜上)に装着して使用する、いわゆるコンタクトレンズ型ディスプレイや、眼球内に埋め込まれるインプラント型ディスプレイなど、使用者の眼球において網膜に結像させるディスプレイを、画像表示部20としてもよい。いずれの場合にも、使用者の一方の眼に像を認識させる表示部を第1表示部とし、他方の眼に像を認識させる表示部を第2表示部とすることができる。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10と画像表示部20とが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、図2、図15、図20に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2、図15、図20に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117またはインターフェイス180を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成の内、操作部135のみが単独の使用者インターフェース(UI)として形成されてもよいし、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2、図15、図20に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
10…制御装置、20、20A、20B…画像表示部、21…右保持部、22、22A…右表示駆動部(第2表示部)、23…左保持部、24、24A…左表示駆動部(第1表示部)、26…右光学像表示部(第2表示部)、28…左光学像表示部(第1表示部)、68…視線センサー(視線検出部)、100、100A、100B…頭部装着型表示装置(表示装置)、110…入力情報取得部(受付部)、117…通信部、120…記憶部、140…制御部、150…オペレーティングシステム、160…画像処理部、164…分割制御部(表示状態制御部)、170…音声処理部、180…インターフェイス、190…表示制御部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、261A、262A…ハーフミラー(反射部)、262…左導光板、401、411…光源、402…右光源駆動部、403、413…ミラー、404、414…MEMSスキャナー(光走査部)、405、415…ミラー駆動制御部、412…左光源駆動部。

Claims (20)

  1. 使用者の左眼に対応して画像を表示する第1表示部、及び、使用者の右眼に対応して画像を表示する第2表示部と、
    表示対象の画像(左眼用の画像と右目用の画像が多重化された多重化画像を除く)を分割し、分割された画像を含む第1画像及び第2画像を、前記第1及び第2表示部に出力する画像処理部と、を備え、
    前記第1画像及び前記第2画像は、前記画像処理部により分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、
    前記第1画像及び前記第2画像の一方の前記非画像領域の位置は、他方の前記画像領域の位置に対応
    前記第1画像及び前記第2画像は、前記第1表示部及び前記第2表示部で表示された場合に、使用者に前記表示対象の画像として視認される画像であり、
    前記画像処理部は、前記第1画像及び前記第2画像における前記画像領域の位置を、前記表示対象の画像における前記分割された画像の位置に対応させること、
    を特徴とする表示装置。
  2. 前記第1画像及び前記第2画像に含まれる前記非画像領域は、前記分割された画像とは異なる疑似画像を含む疑似画像領域であること、
    を特徴とする請求項1記載の表示装置。
  3. 前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置を制御する表示状態制御部を備えること、
    を特徴とする請求項1または2に記載の表示装置。
  4. 前記使用者の入力を受け付ける受付部を備え、
    前記表示状態制御部は、前記受付部により受け付けた入力に従って、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを変更すること、
    を特徴とする請求項3に記載の表示装置。
  5. 前記使用者の視線の状態に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを制御すること、
    を特徴とする請求項または4に記載の表示装置。
  6. 前記使用者の視線方向を検出する視線検出部を備え、
    前記表示状態制御部は、前記視線検出部で検出した視線方向に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置の少なくともいずれかを制御すること、
    を特徴とする請求項記載の表示装置。
  7. 前記表示状態制御部は、前記視線検出部で検出した前記使用者の利き目の視線方向に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置を制御すること、
    を特徴とする請求項記載の表示装置。
  8. 前記第1表示部及び前記第2表示部は、外景を透過し、前記外景とともに視認できるように前記画像を表示し、
    前記表示状態制御部は、前記第1画像または前記第2画像の少なくともいずれかにおける前記非画像領域の輝度又は表示色を調整すること、を特徴とする請求項からのいずれかに記載の表示装置。
  9. 前記外景に含まれる対象物を前記使用者が視認する位置に対応して、前記表示対象の画像を前記第1表示部及び前記第2表示部に表示させる表示制御部を備え、
    前記表示状態制御部は、前記対象物を前記使用者が視認する位置に対応して、前記第1表示部における前記第1画像の前記画像領域の表示位置、及び、前記第2表示部における前記第2画像の前記画像領域の表示位置を制御すること、
    を特徴とする請求項記載の表示装置。
  10. 前記画像処理部は、前記表示対象の画像から、互いに重複する部分を有する2つの画像を抽出し、これら2つの画像をそれぞれ前記第1画像及び前記第2画像の前記画像領域とすること、を特徴とする請求項からのいずれかに記載の表示装置。
  11. 前記表示状態制御部は、前記第1画像及び前記第2画像において予め設定された領域に前記画像領域および前記非画像領域を配置すること、を特徴とする請求項から1のいずれかに記載の表示装置。
  12. 前記表示状態制御部は、前記第1画像及び前記第2画像の各々に、複数の前記画像領域と複数の前記非画像領域とを配置すること、を特徴とする請求項から1のいずれかに記載の表示装置。
  13. 前記表示状態制御部は、前記第1画像が前記第1表示部で表示される表示サイズと前記第2画像が前記第2表示部で表示される表示サイズとを同一に設定すること、を特徴とする請求項から1のいずれかに記載の表示装置。
  14. 前記表示状態制御部は、前記第1画像及び前記第2画像の共通する位置に所定の指標を配置すること、を特徴とする請求項から1のいずれかに記載の表示装置。
  15. 前記表示状態制御部は、前記第1表示部及び前記第2表示部に表示する前記指標の表示サイズを変化させること、
    を特徴とする請求項14に記載の表示装置。
  16. 前記表示状態制御部は、前記指標の表示サイズを時間の経過とともに縮小させ、前記表示対象の画像が変化した場合に、前記指標の表示サイズを拡大すること、
    を特徴とする請求項1または15に記載の表示装置。
  17. 前記第1表示部及び前記第2表示部は、それぞれ、
    光源と、前記光源からの光を2次元走査する光走査部と、
    前記光走査部が2次元走査する光を前記使用者に向けて反射する反射部と、を備えて構成され、
    前記表示状態制御部は、前記第1表示部及び前記第2表示部の前記光走査部が光を走査する振幅に対応する前記第1画像及び前記第2画像を、前記画像処理部から前記第1及び第2表示部に出力させること、
    を特徴とする請求項から1のいずれかに記載の表示装置。
  18. 前記第1表示部及び前記第2表示部は互いに異なるタイミングで前記第1画像と前記第2画像とを表示すること、を特徴とする請求項1から1のいずれかに記載の表示装置。
  19. 第1及び第2表示部を備える表示装置の制御方法であって、
    表示対象の画像(左眼用の画像と右目用の画像が多重化された多重化画像を除く)を分割し、
    分割された画像に対応する第1画像及び第2画像を、前記第1及び第2表示部で表示し、
    前記第1画像及び第2画像を、前記分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、かつ前記第1画像及び前記第2画像の一方の前記非画像領域の位置が他方の前記画像領域の位置に対応する画像であり
    前記第1画像及び前記第2画像は、前記第1表示部及び前記第2表示部で表示された場合に、使用者に前記表示対象の画像として視認される画像であり、
    前記第1画像及び前記第2画像における前記画像領域の位置を、前記表示対象の画像における前記分割された画像の位置に対応させること、
    を特徴とする表示装置の制御方法。
  20. 第1及び第2表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    表示対象の画像(左眼用の画像と右目用の画像が多重化された多重化画像を除く)を分割し、分割された画像を含む第1画像及び第2画像を、前記第1及び第2表示部に出力する画像処理部として機能させ、
    前記第1画像及び前記第2画像は、前記画像処理部により分割された画像で構成される画像領域と、前記分割された画像を含まない非画像領域とを含み、前記第1画像及び前記第2画像の一方の前記非画像領域の位置を、他方の前記画像領域の位置に対応させ、
    前記第1画像及び前記第2画像は、前記第1表示部及び前記第2表示部で表示された場合に、使用者に前記表示対象の画像として視認される画像であり、
    前記第1画像及び前記第2画像における前記画像領域の位置を、前記表示対象の画像における前記分割された画像の位置に対応させること、
    を特徴とするプログラム。
JP2015077458A 2014-07-31 2015-04-06 表示装置、表示装置の制御方法、および、プログラム Active JP6575117B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015077458A JP6575117B2 (ja) 2015-04-06 2015-04-06 表示装置、表示装置の制御方法、および、プログラム
CN201580037933.0A CN106537227B (zh) 2014-07-31 2015-07-28 显示装置、用于显示装置的控制方法以及程序
KR1020177004166A KR20170031223A (ko) 2014-07-31 2015-07-28 표시 장치, 표시 장치의 제어 방법 및, 프로그램을 갖는 컴퓨터 판독 가능 기록 매체
TW104124435A TW201604586A (zh) 2014-07-31 2015-07-28 顯示裝置、顯示裝置之控制方法、及程式
US15/327,158 US10725300B2 (en) 2014-07-31 2015-07-28 Display device, control method for display device, and program
PCT/JP2015/003766 WO2016017144A1 (en) 2014-07-31 2015-07-28 Display device, control method for display device, and program
EP15753499.1A EP3175616A1 (en) 2014-07-31 2015-07-28 Display device, control method for display device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015077458A JP6575117B2 (ja) 2015-04-06 2015-04-06 表示装置、表示装置の制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2016197830A JP2016197830A (ja) 2016-11-24
JP6575117B2 true JP6575117B2 (ja) 2019-09-18

Family

ID=57358523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015077458A Active JP6575117B2 (ja) 2014-07-31 2015-04-06 表示装置、表示装置の制御方法、および、プログラム

Country Status (1)

Country Link
JP (1) JP6575117B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11196975B2 (en) 2017-05-18 2021-12-07 Sony Interactive Entertainment Inc. Image generating device, image display system, and image generating method
CN112119344B (zh) 2018-05-17 2023-01-20 鲁姆斯有限公司 具有交叠投射仪组件的近眼显示器
EP3990967A4 (en) 2019-06-27 2022-08-03 Lumus Ltd. APPARATUS AND METHODS FOR TRACKING THE EYE BASED ON IMAGING THE EYE THROUGH A LIGHT GUIDE OPTICAL ELEMENT
CN116057451A (zh) * 2020-09-03 2023-05-02 三星电子株式会社 改变显示器的设置的方法及电子装置
US11789264B2 (en) 2021-07-04 2023-10-17 Lumus Ltd. Display with stacked light-guide elements providing different parts of field of view

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JPH07302063A (ja) * 1994-05-02 1995-11-14 Canon Inc 表示装置
JP5215211B2 (ja) * 2009-03-04 2013-06-19 Kddi株式会社 関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
JP5367063B2 (ja) * 2010-03-31 2013-12-11 パナソニック株式会社 立体表示装置の駆動方法および立体表示装置
JP2012049658A (ja) * 2010-08-25 2012-03-08 Sony Corp 表示制御装置および表示制御方法、並びに画像生成装置および画像生成方法
JP2012125453A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 表示装置
JP5803193B2 (ja) * 2011-03-24 2015-11-04 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20120138205A (ko) * 2011-06-14 2012-12-24 삼성디스플레이 주식회사 표시 장치
JP2013211712A (ja) * 2012-03-30 2013-10-10 Sony Corp 出力制御装置、出力制御方法、及びプログラム
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP6398157B2 (ja) * 2013-08-19 2018-10-03 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
JP2016197830A (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
US10725300B2 (en) Display device, control method for display device, and program
US10162412B2 (en) Display, control method of display, and program
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6060512B2 (ja) 頭部装着型表示装置
JP5884576B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9836120B2 (en) Display device, method of controlling the same, and computer program
JP5970872B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN105739095B (zh) 显示装置以及显示装置的控制方法
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
JP6575117B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017049468A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016186561A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033759A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6631014B2 (ja) 表示システム、及び表示制御方法
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6620417B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
JP6268704B2 (ja) 表示装置、表示装置の制御方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180905

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6575117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150