JP6020923B2 - 焦点可変レンズを有するビューア、および映像表示システム - Google Patents

焦点可変レンズを有するビューア、および映像表示システム Download PDF

Info

Publication number
JP6020923B2
JP6020923B2 JP2013107063A JP2013107063A JP6020923B2 JP 6020923 B2 JP6020923 B2 JP 6020923B2 JP 2013107063 A JP2013107063 A JP 2013107063A JP 2013107063 A JP2013107063 A JP 2013107063A JP 6020923 B2 JP6020923 B2 JP 6020923B2
Authority
JP
Japan
Prior art keywords
viewer
video
user
focal length
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013107063A
Other languages
English (en)
Other versions
JP2014230019A (ja
Inventor
加藤　弓子
弓子 加藤
井上　剛
剛 井上
小澤　順
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013107063A priority Critical patent/JP6020923B2/ja
Priority to US14/284,141 priority patent/US9864191B2/en
Publication of JP2014230019A publication Critical patent/JP2014230019A/ja
Application granted granted Critical
Publication of JP6020923B2 publication Critical patent/JP6020923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Description

本発明は、焦点可変レンズを有しており、ユーザの眼球運動に対応してレンズの焦点距離を自動調整するビューアに関する。
人は眼球の運動によって注視点を移動する。注視点が奥行方向に動く際にも眼球が運動する。この運動は特に輻輳開散運動（Vergence eye movement）と呼ばれている。
特許文献１には、眼球運動に伴う眼電位の変化を検出して注視点をもとめ、注視点に合わせて可変焦点レンズの焦点距離を調節する技術が記載されている。
特開平４−２７３２１１号公報 特開平７−８８１４３号公報 特開２０１１−２０９７４９号公報 特開２０１１−１２５６９３号公報
YUUSUKE SAKASHITA, HIRONOBU FUJIYOSHI, YUTAKA HIRATA, HISANORI TAKAMARU, and NAOKI FUKAYA, "Real-Time Measurement of Cycloduction Movement Based on Fast Ellipse Detection", Electronics and Communications in Japan, Vol. 92, No. 11, pp. 9-18, 2009, Translated from Denki Gakkai Ronbunshi, Vol. 127-C, No. 4, April 2007, pp. 591-598
図２７はステレオ方式の３次元映像と輻輳開散運動の関係を模式的に示したものである。ステレオ方式の３次元映像は、右眼用の映像と左眼用の映像をユーザのそれぞれの目に表示することで３次元の奥行を見せるものである。映像を表示するディスプレイは２次元の平面ディスプレイであって、図２７（ａ），（ｂ）に示すように、人間が３次元空間内で両目で物を見る際の自然な目の動き（輻輳開散運動）を、左右の目に別々の映像を示すことによって再現している。すなわち、ステレオ方式では、特許文献１で焦点可変レンズの制御に用いている、注視点が奥行方向に動く際の眼球運動を、平面ディスプレイに表示した映像に対して再現させることによって、３次元映像の観視を実現している。
右眼用の映像はユーザの右眼の位置から見た映像であり、左眼用の映像はユーザの左眼の位置から見た映像である。そのため、左右の映像では、同一の被写体であってもその奥行位置により視差が生じている。ユーザは映像中の被写体を注視する際には、左右の映像の視差により右の眼球の角度と左の眼球の角度をそれぞれに調節する。この眼球の調節は、奥行方向に注視点が動く際と同じ輻輳開散運動になる。すなわち、ステレオ方式の３次元映像を観視する際には、ユーザの眼球は左右映像の視差によって作られた仮想の奥行位置を注視するのと同様に動く。一方、映像それ自身は平面ディスプレイに提示されており、眼球運動から導かれる注視点には表示されてはいない。したがって、映像をはっきり見るためには、焦点はディスプレイ平面に合わせられている必要がある。
図２８は対象物と眼の輻輳角との関係を示す模式図であり、（ａ）は２次元映像観視時、（ｂ）は３次元映像観視時である。図２８（ａ）に示すように、２次元映像を見る場合、ユーザの眼は左右とも同じ映像を見ている。すなわち、映像中のどの対象物に注目してもユーザの左右の眼の視線は画面上で交わる。このため、ユーザの眼の輻輳角は画面との距離によって決まり、対象物を見る角度によって小さな差はあるものの、概ね一定である。
一方、図２８（ｂ）に示すように、３次元映像を見る場合、左右の眼に提示される映像に視差がつけられている。このため、ユーザの左右の視線は、映像中の対象物の奥行位置で交差することになり、必ずしも画面表面では交差しない。したがって、ユーザの眼の輻輳角は、対象物によって異なることになる。
ここで、ステレオ方式の３次元映像を観視する際に、特許文献１のように、眼球運動すなわち輻輳角を作る運動から注視点を求めてレンズの焦点距離を調節すると、レンズの焦点距離が、視差によって作られた仮想の奥行位置に調節されてしまう。その一方で、３次元映像であっても、映像が表示されているのはあくまでもディスプレイの画面表面である。このため、眼球運動に従って焦点距離が調節されるビューアを装着して３次元映像を観視すると、画面表面とは異なる奥行位置に焦点距離が調整されてしまうため、ユーザはディスプレイに表示されている映像をはっきり見ることができない。したがって、３次元映像の観視を、適切かつ快適に、行うことができない。
本発明は、上述の課題を解決するためになされたものであり、ユーザの眼球運動に対応して焦点を調節可能なビューアにおいて、ユーザがステレオ方式の３次元映像を適切かつ快適に観視可能にすることを目的とする。
本発明の一態様に係るビューアは、ユーザの眼球運動に対応して焦点を調節可能なビューアであって、焦点可変レンズと、前記焦点可変レンズの焦点距離を調節するレンズ制御部と、前記ユーザの３次元映像の観視を検出する検出部と、前記検出部が前記ユーザの３次元映像の観視を検出したとき、前記ユーザの眼球運動にかかわらず、前記焦点可変レンズの焦点距離を固定するよう、前記レンズ制御部に指示する焦点距離固定部とを備える。
このビューアによると、ユーザの３次元映像の観視を検出したとき、ユーザの眼球運動にかかわらず、焦点可変レンズの焦点距離が固定される。これにより、ユーザが３次元映像を観視するとき、仮想注視点への眼球運動に合わせて画面位置と異なる奥行位置に焦点が合ってしまうという問題が回避される。したがって、ユーザは、焦点距離が自動調節されるビューアを装着していても、３次元映像を適切かつ快適に観視することができる。
本発明によると、眼球運動に対応して焦点距離を自動調節するビューアを装着していても、３次元映像の観視を検出したとき焦点距離が固定されるため、ユーザは、３次元映像を適切かつ快適に観視することができる。
実施の形態１に係るビューアの構成の一例を示すブロック図である。 実施の形態１に係るビューアと映像表示システムの構成の一部の一例を示すブロック図である。 図１に示すビューアの眼球運動センサの構成例を示すブロック図である。 図１に示すビューアの注視距離判定部の構成例を示すブロック図である。 眼球運動から注視位置距離を計算する方法の例を示す模式図である。 図１に示すビューアの焦点距離固定部の構成例を示すブロック図である。 実施の形態１に係るビューアの動作の一例を示すフローチャートである。 実施の形態１に係るビューアの構成の他の例を示すブロック図である。 実施の形態１の変形例１に係るビューアと映像表示システムの構成の一部の一例を示すブロック図である。 図９に示す映像表示システムの奥行情報記憶部および映像情報記憶部が記憶する情報の一例を示す模式図である。 図９に示す映像表示システムが送信するデータ形式の例を示す図である。 実施の形態１の変形例１に係るビューアにおける焦点距離固定部の構成例を示すブロック図である。 図１２に示す焦点距離固定部の動作の一例を示すフローチャートである。 実施の形態１の変形例２に係るビューアと映像表示システムの構成の一部の例を示すブロック図である。 図１４に示す映像表示システムが送信するデータ形式の例を示す図である。 実施の形態１の変形例２に係るビューアにおける焦点距離固定部の構成例を示すブロック図である。 図１６に示す焦点距離固定部の画面サイズ−距離テーブルが記憶する情報の一例を示す模式図である。 実施の形態２に係るビューアと映像表示システムの構成の一部の例を示すブロック図である。 実施の形態２に係るビューアを前面から見た模式図である。 （ａ）（ｂ）はビューアの向きと映像表示システムのカメラで撮影されたマーカ画像との関係を示した模式図である。 図１８に示すビューアと映像表示システムの通信動作の一例を示す図である。 図１８に示すビューアと映像表示システムの動作の一例を示すフローチャートである。 実施の形態３に係るビューアと映像表示システムの構成の一部の例を示すブロック図である。 （ａ）〜（ｃ）は３Ｄテレビ用メガネと実施の形態３に係るビューアの受光範囲を説明するための模式図である。 （ａ）（ｂ）は実施の形態３に係るビューアと３Ｄテレビ画面との角度による受光状況の違いを示す模式図である。 （ａ）（ｂ）は実施の形態３に係るビューアにおける光線の入射角の判定方法を示す模式図である。 （ａ）（ｂ）はステレオ方式の３次元映像と眼球の輻輳開散運動の関係を示す模式図である。 対象物と眼の輻輳角との関係を示す模式図であり、（ａ）は２次元映像観視時、（ｂ）は３次元映像観視時である。
本発明の第１態様では、ユーザの眼球運動に対応して焦点を調節可能なビューアは、焦点可変レンズと、前記焦点可変レンズの焦点距離を調節するレンズ制御部と、前記ユーザの３次元映像の観視を検出する検出部と、前記検出部が前記ユーザの３次元映像の観視を検出したとき、前記ユーザの眼球運動にかかわらず、前記焦点可変レンズの焦点距離を固定するよう、前記レンズ制御部に指示する焦点距離固定部とを備える。
本発明の第２態様では、第１態様のビューアにおいて、前記検出部は、映像表示システムから送信される情報信号を受信する受信部と、前記受信部が受信した前記情報信号が３次元映像提示を示す信号を含むとき、前記ユーザが３次元映像を観視していると判定する信号検出部とを備えている。
本発明の第３態様では、第２態様のビューアにおいて、前記焦点距離固定部は、前記情報信号を用いて前記ユーザから表示装置までの距離を推定し、推定した距離に基づいて、固定する焦点距離を決定する。
本発明の第４態様では、第３態様のビューアにおいて、前記ユーザの眼球運動から、前記ユーザの注視距離を判定する注視距離判定部をさらに備え、前記情報信号は、３次元映像提示を示す信号を含むとき、前記映像表示システムが提示する３次元映像の奥行情報をさらに含み、 前記焦点距離固定部は、前記奥行情報が、前記３次元映像の奥行位置が前記表示装置の画面位置にあることを示すとき、前記注視距離判定部による判定結果を基にして、前記ユーザから前記表示装置までの距離を推定する。
本発明の第５態様では、第３態様のビューアにおいて、前記情報信号は、３次元映像提示を示す信号を含むとき、前記表示装置の画面サイズ情報をさらに含み、前記焦点距離固定部は、前記画面サイズ情報を基にして、前記表示装置の画面サイズが大きいほど前記ユーザから前記表示装置までの距離が長いという規則に従って、前記ユーザから前記表示装置までの距離を推定する。
本発明の第６態様では、第１態様のビューアにおいて、前記焦点可変レンズは、設定可能な焦点距離が複数種類に限定されており、前記焦点距離固定部は、前記焦点可変レンズの焦点距離を固定するとき、前記設定可能な焦点距離のうち最も遠い距離に固定する。
本発明の第７態様では、第２態様のビューアにおいて、正面から見たとき、所定形状として認識されるマーカを有している。
本発明の第８態様では、第７態様のビューアにおいて、前記マーカは、前記ビューアの前面における左右両端にそれぞれ、左右対称になるように、設けられている。
本発明の第９態様では、第２態様のビューアにおいて、前記映像表示システムは、前記情報信号を、直進性の高い媒体を介して送信するものであり、前記ビューアは、前記媒体の受信範囲が、前方正面を含む所定の範囲に限定されており、前記所定の範囲は、前方正面を基準にして左右それぞれ６０度までの範囲内に設定されている。
本発明の第１０態様では、第９態様のビューアにおいて、前記映像表示システムは、３次元映像用メガネを用いるものであり、かつ、前記３次元映像用メガネに対して前記媒体を介して同期信号を送信するものであり、前記ビューアは、前記媒体の受信範囲が、前記３次元映像用メガネよりも狭く設定されている。
本発明の第１１態様では、第９態様のビューアにおいて、前記媒体は、赤外線または可視光である。
本発明の第１２態様では、第７態様のビューアに、情報信号を送信可能に構成された映像表示システムは、表示装置と、前記表示装置の前方を撮影するカメラと、前記カメラに前記ビューアが映っている場合において、前記マーカの画像が前記所定形状として認識されるか否かに基づいて、前記ビューアを装着したユーザが前記表示装置の方を見ているか否かを判定する観視行動検出部とを備え、前記観視行動検出部が、前記ユーザが前記表示装置の方を見ていないと判定したとき、前記情報信号として３次元映像提示を示す信号を送信することを、回避する。
本発明の第１３態様では、第１２態様の映像表示システムにおいて、前記ビューアは、前記ユーザの眼球運動に対応した焦点調節を機能させているとき、ビューア信号を送信するものであり、前記映像表示システムは、前記観視行動検出部が、前記ユーザが前記表示装置の方を見ていると判定し、かつ、前記ビューア信号を受信したとき、前記情報信号として３次元映像提示を示す信号を送信する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係るビューアについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
実施の形態１では、焦点可変レンズを有し、ユーザの眼球運動に対応して焦点調節可能な、メガネやゴーグル等のビューアについて説明する。本実施の形態に係るビューアは、これを装着しているユーザがステレオ方式の３次元映像（以降、単に３次元映像と記載する）を観視しているとき、焦点可変レンズの焦点距離を固定する。
図１は本実施の形態に係るビューアの構成の一例を示すブロック図である。図１のビューア１０は、眼球運動センサ１１０と、注視距離判定部１２０と、焦点距離決定部１３０と、レンズ制御部１４０と、焦点可変レンズ１５０と、３次元映像観視検出部２００と、焦点距離固定部３００とを備える。なお、焦点距離固定部３１０，３２０については、後の変形例１，２において説明する。
眼球運動センサ１１０は、ユーザの眼球運動をセンシングするセンサであり、具体的にはカメラ、生体信号用センサ等である。眼球運動センサ１１０はユーザの眼球運動情報を注視距離判定部１２０に出力する。
注視距離判定部１２０は、眼球運動センサ１１０から出力されたユーザの眼球運動情報から、ユーザの注視距離、すなわち、ユーザの注視点の奥行位置、言い換えるとユーザからユーザの注視点までの距離を判定する。注視距離判定部１２０はユーザの注視距離情報を焦点距離決定部１３０に出力する。
焦点距離決定部１３０は、注視距離判定部１２０から出力された注視距離情報から焦点可変レンズ１５０の焦点距離を決定する。焦点距離決定部１３０は焦点距離情報をレンズ制御部１４０に出力する。
レンズ制御部１４０は、焦点距離決定部１３０から出力された焦点距離情報と、焦点距離固定部３００から出力された固定信号とから、焦点可変レンズ１５０の焦点距離を調節するための制御信号を生成する。そして、生成した制御信号を焦点可変レンズ１５０に出力する。ここで、固定信号は焦点距離情報に対して優先順位が高い。すなわち、レンズ制御部１４０は、固定信号が入力されている場合は、固定信号によって指示された焦点距離に合わせた制御信号を生成する。固定信号が入力されていない場合は、焦点距離情報から制御信号を生成する。制御信号は焦点可変レンズ１５０の種類により異なる。
焦点可変レンズ１５０は、レンズ制御部１４０から出力された制御信号によりレンズの焦点距離を変更する。焦点可変レンズ１５０はその種類により焦点距離の制御方法が異なる。また、焦点距離を連続的に変化させるものと、予め定められた複数の焦点距離を選択するものとがある。焦点可変レンズの種類とその制御の詳細については後述する。
３次元映像観視検出部２００は、ユーザが３次元映像を観視している状態を検出する。ここでは、３次元映像観視検出部２００は、ビューア１０の外部から送信される情報信号を受信し、受信した情報信号が３次元映像提示を示す信号を含むとき、ユーザが３次元映像を観視していると判定する。具体的には例えば、３次元映像提示を示す情報信号は、３次元映像表示装置や映像信号出力装置等から電気信号、無線信号または赤外線信号等によって送信されたり、３次元映像用メガネのシャッタ制御信号が情報信号として送信されたりする。３次元映像観視検出部２００は、ユーザが３次元映像を観視しているか否かの情報である観視情報を焦点距離固定部３００に出力する。
焦点距離固定部３００は、３次元映像観視検出部２００から出力された観視情報を受け、この観視情報が、ユーザが３次元映像を観視していることを示しているとき、焦点距離を所定距離に固定するよう指示する固定信号を生成し、レンズ制御部１４０に出力する。すなわち、焦点距離固定部３００は、３次元映像観視検出部２００がユーザの３次元映像の観視を検出したとき、ユーザの眼球運動にかかわらず、焦点可変レンズ１５０の焦点距離を固定するよう、レンズ制御部１４０に指示する。
＜焦点可変レンズ１５０の詳細＞
ここでは、焦点可変レンズ１５０は、焦点距離を１０ｃｍから３ｍまでの間で連続的に変化させることができるものとする。このような焦点可変レンズは例えば、特許文献２のように液体を封入して封入圧を変化させることでレンズの形状を変化させることで実現できる。レンズ制御部１４０が出力する制御信号は、例えば、焦点可変レンズ１５０の封入圧力を調節する電気信号である。
なお、焦点可変レンズ１５０は特許文献３のように、液晶の結晶の角度を変化させることで任意の焦点距離を実現するものであっても良い。この場合には、レンズ制御部１４０が出力する制御信号は、例えば、液晶の結晶の角度を決定するために印加する電圧である。
＜３次元映像観視検出部２００の詳細＞
図２は本実施形態における、ビューア１０の３次元映像観視検出部２００と、情報信号を送信する映像表示システム２１０の一部の構成の例を示すブロック図である。
映像表示システム２１０は、例えば放送あるいはネットワークによる通信や配信を通して、また、例えばハードディスクのような記憶媒体に記憶されたデータを再生して、３次元映像または２次元映像を表示する。具体的には、テレビシステムや再生装置、レコーダ等である。図２では、映像表示システム２１０は、映像制御部２１１と、表示装置としてのディスプレイ２１２と、信号生成部２１３と、送信部２１４と、を備える。なお、映像表示システム２１０は、図２に示した要素以外にも、３次元映像を表示するために必要な画像処理部や記憶部等の構成を備えるが、ここでは図示を省いている。
ディスプレイ２１２は、３次元映像または２次元映像を表示する。３次元映像を表示する場合、ディスプレイ２１２は、右眼用映像と左眼用映像をそれぞれユーザの右眼と左眼にのみ見えるよう表示する。３次元映像の表示方式には、アクティブシャッタ方式やパッシブシャッタ方式など専用メガネを用いる方式や、画面表面に設置した特殊なレンズあるいはフィルタを用いて右眼用映像と左眼用映像との光の角度を調節する方式などがある。
映像制御部２１１は、映像信号を取得し、これを表示信号に加工してディスプレイ２１２に出力する。３次元映像の場合は、映像信号をディスプレイ２１２の表示方式に従って右眼用画像と左眼用画像に加工して、ディスプレイ２１２に出力する。また、映像制御部２１１は３次元映像の場合は、映像が３次元映像である旨を示す信号を信号生成部２１３に出力する。信号生成部２１３は映像制御部２１１から映像が３次元映像である旨を示す信号を受けると、３次元映像提示を示す信号を情報信号として生成し、送信部２１４に出力する。送信部２１４は信号生成部２１３によって生成された情報信号を送信する。この情報信号は例えば、無線信号、赤外線信号等として送信される。
３次元映像観視検出部２００は、受信部２０１と、信号検出部２０２とを備える。受信部２０１は、映像表示システム２１０の送信部２１４から送信された情報信号を受信する。信号検出部２０２は受信部２０１が受信した情報信号が３次元映像提示を示す信号を含むか否かを判定する。そして、情報信号が３次元映像提示を示す信号を含むとき、ユーザが３次元映像を観視していると判定し、その旨を示す観視情報を焦点距離固定部３００に出力する。
＜眼球運動センサ１１０の詳細＞
図３は眼球運動センサ１１０の詳細な構成の一例を示すブロック図である。眼球運動センサ１１０は例えば、右眼撮影カメラ１１１、左眼撮影カメラ１１２、画像合成部１１３、画像記憶部１１４、瞳孔抽出部１１５、瞳孔中心計算部１１６、および瞳孔移動量計算部１１７を備える。
右眼撮影カメラ１１１はユーザの右眼の映像を撮影する。左眼撮影カメラ１１２はユーザの左眼の映像を撮影する。画像合成部１１３は右眼撮影カメラ１１１で撮影された映像と左眼撮影カメラ１１２で撮影された映像とを時刻と縮尺を合わせて単一の平面に合成する。画像記憶部１１４は画像合成部１１３で合成された単一平面の画像を記憶する。記憶期間は少なくとも右眼撮影カメラ１１１あるいは左眼撮影カメラ１１２が撮影する際のフレーム期間以上である。
瞳孔抽出部１１５は画像合成部１１３で合成された単一平面の画像から左右の瞳孔を抽出する。さらに、画像記憶部１１４に記憶された少なくとも1フレーム以上過去の画像に映っている瞳孔を抽出する。すなわち、瞳孔抽出部１１５は現在の画像と過去の画像の瞳孔を抽出する。瞳孔中心計算部１１６は瞳孔抽出部１１５で抽出された現在と過去の画像中の瞳孔の中心点の座標を計算する。中心座標の求め方は、例えば、非特許文献１に示されるように、抽出した瞳孔を楕円とみなして、画像中で抽出された瞳孔と楕円とのマッチングを行い、誤差最小となる楕円の中心を瞳孔の中心とする方法がある。楕円でなく正円を用いる方法もある。
瞳孔移動量計算部１１７は、瞳孔中心計算部１１６が計算した左右の瞳孔の中心座標が少なくとも1フレーム前の画像と異なるか否かを判断し、左右の瞳孔中心座標の移動量を計算する。すなわち、瞳孔移動量計算部１１７は過去の瞳孔中心の座標と現在の瞳孔中心の座標とを比較して、瞳孔の移動量を計算する。そして瞳孔移動量計算部１１７は、瞳孔中心座標の移動量が予め定められた一定の値より大きい場合に眼球運動として検出する。瞳孔移動量計算部１１７は計算した移動量とともに、瞳孔中心計算部１１６が計算した左右の瞳孔中心の座標を注視距離判定部１２０に出力する。
なお、ここでは、眼球運動センサ１１０は、眼球を撮像するカメラを用いる構成としたが、これに限られるものではない。例えば、特許文献４に示されるように、眼球の周辺に接触させた複数の電極で取得される眼電位よりユーザの注視点の距離を推定するものとしても良い。
＜注視距離判定部１２０の詳細＞
図４は注視距離判定部１２０の詳細な構成の一例を示すブロック図である。注視距離判定部１２０は、例えば、基準座標記憶部１２１と、座標処理部１２２と、計算部１２３とを備える。奥行位置は両眼の非共同性眼球運動(disconjugate eye movement)、あるいは輻輳開散運動(vergence)と呼ばれる眼球運動から求める。輻輳開散運動は、頭部の正中軸に直行する両眼を結ぶ軸(正立時の水平軸)上の運動の成分が、左右の眼球で逆向きに動く動作である。輻輳開散運動の大きさにより奥行位置を判定する。
基準座標記憶部１２１は、ユーザが正中線上、すなわちユーザの真正面の無限遠を注視した際の左右の瞳孔中心の座標を基準座標として記憶する。座標処理部１２２は、眼球運動センサ１１０が出力した左右の瞳孔中心の座標と基準座標記憶部１２１に記憶された基準座標とを、水平軸上にまとめる。
計算部１２３は、左右の眼球について、真正面の無限遠注視時の瞳孔中心と、現在の瞳孔中心の位置のずれを求め、予め定められた眼球の半径を利用して、現在の眼球の回転角を計算する。図５は注視距離の計算方法を模式的に示した図である。無限遠注視時を０度として、水平方向の瞳孔中心の座標より、注視距離は以下のように計算できる。
ただし
ｘ：水平面座標中の注視点の前額面平行軸座標
ｙ：水平面座標中の注視点の正中面平行軸座標
θl：左眼回転角度
θr：右眼回転角度
ｘl0：無限遠注視時の左眼瞳孔中心
ｘr0：無限遠注視時の右眼瞳孔中心
ｘl：座標(x,y)注視時の左眼瞳孔中心
ｘr：座標(x,y)注視時の右眼瞳孔中心
ｒ：眼球半径
＜焦点距離固定部３００の詳細＞
図６は焦点距離固定部３００の詳細な構成の一例を示すブロック図である。図６の焦点距離固定部３００は、距離データ記憶部３０１と、制御信号生成部３０２とを備える。
距離データ記憶部３０１は、ユーザが３次元映像を観視していると判断されたときに焦点可変レンズ１５０の焦点距離を固定する際の、固定する焦点距離のデータを記憶している。本実施の形態では、例えば２ｍである。
制御信号生成部３０２は、３次元映像観視検出部２００から出力された観視情報が、ユーザが３次元映像を観視していることを示しているとき、焦点可変レンズ１５０の焦点距離を距離データ記憶部３０１に記憶された焦点距離に固定する制御信号を生成して、レンズ制御部１４０に出力する。
＜ビューアの動作＞
図７は本実施の形態に係るビューア１０の動作を示すフローチャートである。図４に従って、ビューア１０の動作について説明する。
ビューア１０の電源が入ると、ビューア１０の動作が開始する（Ｓ１００）。次いで、３次元映像観視検出部２００が動作を開始し、外部から送信される情報信号を受信し、受信した情報信号が３次元映像提示を示す信号を含むか否かを判定する（Ｓ１０１）。情報信号が３次元映像提示を示す信号を含むときは、ユーザが３次元映像を観視していると判定し（Ｓ１０１においてＹＥＳ)、ステップＳ１１１に進む。ステップＳ１１１では、焦点距離固定部３００が、焦点可変レンズ１５０の焦点距離を所定の焦点距離、例えば２ｍに固定する固定信号を生成する（Ｓ１１１）。この固定信号をレンズ制御部１４０が取得し、指示された焦点距離を記憶する（Ｓ１０６）。
一方、３次元映像提示を示す信号を情報信号として受信しないときは（Ｓ１０１においてＮＯ）、ステップＳ１０２に進み、眼球運動センサ１１０がユーザの眼球の運動状態を取得し、眼球運動の有無を判定する。眼球運動センサ１１０が眼球運動を検出したときは（Ｓ１０２においてＹＥＳ）、ステップＳ１０３に進み、眼球運動を検出しなかったときは（Ｓ１０２においてＮＯ）、ステップＳ１０１に戻る。
ステップＳ１０３では、注視距離判定部１２０が眼球運動センサ１１０から出力された眼球運動の情報に基づいて、ユーザの注視距離を判定する。続いて焦点距離決定部１３０は、レンズ制御部１４０に記憶された現在の焦点距離と、注視距離判定部１２０がステップＳ１０３で判定した注視距離とを比較し、焦点距離を変更するか否かを判定する（Ｓ１０４）。現在の焦点距離と注視距離とが異なる場合は焦点距離を変更し（Ｓ１０４においてＹＥＳ）、ステップＳ１０５に進む。一方、現在の焦点距離と注視距離とが同じである場合は焦点距離を変更せず（Ｓ１０４においてＮＯ）、ステップＳ１０１に戻る。
ステップＳ１０５では、焦点距離決定部１３０が、注視距離判定部１２０がステップＳ１０３で判定した注視距離に基づいて焦点可変レンズ１５０の焦点距離を決定する（Ｓ１０５）。レンズ制御部１４０は焦点距離決定部１３０が決定した焦点距離を記憶する（Ｓ１０６）。ここで、焦点可変レンズ１５０は焦点距離を１０ｃｍから３ｍまでの間で連続的に変化させることができるので、焦点距離決定部１３０は、焦点距離を注視距離判定部１２０が判定した注視距離に設定する。ただし注視距離が１０ｃｍ未満の場合は焦点距離を１０ｃｍとし、注視距離が３ｍ以上の場合は焦点距離を３ｍとする。
なお、焦点可変レンズ１５０が複数の焦点距離を選択するものであれば、焦点距離決定部１３０は、例えば、焦点可変レンズ１５０がとり得る焦点距離のうち、注視距離判定部１２０が判定した注視距離に最も近い焦点距離を、焦点可変レンズ１５０の焦点距離として選択すればよい。
ステップＳ１０６の後、レンズ制御部１４０は焦点可変レンズ１５０の焦点距離を変更する制御信号を出力する（Ｓ１０７）。このときの焦点距離は、ステップＳ１１１で固定された焦点距離、または、ステップＳ１０５で決定された焦点距離である。ステップＳ１０７の実行の後、ステップＳ１０１に戻る。
ステップＳ１０１〜Ｓ１０７およびＳ１１１を繰り返すことによって、ビューア１０の焦点距離は常に最適な焦点距離に調節され、また、ユーザが３次元映像を観視しているときは、ビューア１０の焦点距離は所定の値に固定される。ステップＳ１１１を経由してステップＳ１０７に至り、ビューア１０の焦点距離が固定された場合であっても、ステップＳ１０１に戻り、３次元映像観視検出部２００が３次元映像提示を示す信号を受信しなくなったとき、すなわち、ステップＳ１０１においてＮＯとなったとき、ステップＳ１０２〜Ｓ１０７を経て、ビューア１０の焦点距離は眼球運動に対応して調節される。すなわち、３次元映像の観視情報が検出されなくなることによって、焦点距離の固定が解除される。
このように本実施形態によると、ユーザの眼球運動から注視距離を推定し、焦点可変レンズ１５０の焦点距離を調節するビューアにおいて、３次元映像観視検出部２００が、映像表示システム２１０から送信される情報信号を受信して、ユーザの３次元映像の観視を検出する。そして焦点距離固定部３００は、ユーザの３次元映像の観視が検出されたとき、ユーザの眼球運動にかかわらず、焦点可変レンズ１５０の焦点距離を固定するための制御信号をレンズ制御部１４０に出力する。
これにより、ユーザが３次元映像を観視する際に、３次元映像中のオブジェクトの仮想距離に合わせてユーザの眼球が運動していても、焦点可変レンズ１５０の焦点距離が固定されるので、３次元映像中のオブジェクトの仮想距離によってビューア１０の焦点が合わなくなることを防止することができる。
なお、本実施形態では、固定する焦点距離を例えば２ｍとしたが、これに限られるものではない。固定する焦点距離は、ユーザから表示装置までの距離に一致させるのが好ましいので、例えば、映像表示システム２１０の通常の利用形態におけるユーザから表示装置までの推定距離を、固定する焦点距離として設定しておけばよい。
なお、本実施形態では、３次元映像を提示する映像表示システムがビューアに情報信号を送信する手段として、無線信号や赤外線信号等を用いるものとしたが、これらに限定されるものではない。例えば、映像表示システム２１０がアクティブシャッタ方式を採用している場合は、専用メガネにシャッタの同期信号を送信する手段が、情報信号を送信する手段を兼ねるようにし、情報信号の送信をこの同期信号の送信と併せて行ってもよい。また、この同期信号自体を、３次元映像提示を示す情報信号として用いてもかまわない。
また、本実施形態では、映像表示システム２１０から送信される情報信号によって、ユーザの３次元映像の観視を検出するものとしたが、ユーザの３次元映像の観視を検出する方法は、これに限られるものではない。例えば、ビューア１０に３次元映像観視用のスイッチを設けておいて、ユーザがそのスイッチをオンしたとき、３次元映像を観視している、と判定してもよい。
なお、上の説明では、焦点可変レンズ１５０は焦点距離を例えば１０ｃｍから３ｍまでの任意の距離に変更できるものとし、焦点距離を固定する際には、所定距離として例えば２ｍに固定するものとした。しかしながら、焦点可変レンズ１５０が、設定可能な焦点距離が複数種類に限定されている場合には、焦点距離固定部３００は、設定可能な焦点距離のうちいずれか1つに固定するものとしても良い。
図８は本実施形態に係るビューアの構成の他の例を示すブロック図である。図８のビューア１０Ａでは、焦点可変レンズ１５０が取りうる焦点距離が複数種類に限定されている。そして、 焦点距離記憶部１６０は焦点可変レンズ１５０が取りうる焦点距離を記憶している。取りうる焦点距離は例えば２０ｃｍ、５０ｃｍおよび３ｍである。また、焦点距離記憶部１６０が設けられているため、焦点距離固定部３００Ａは、図６の焦点距離固定部３００と異なり、距離データ記憶部３０１を備える必要はない。
図７の動作フローのステップＳ１１１において、焦点距離固定部３００Ａは焦点距離記憶部１６０を参照し、記憶された焦点距離からいずれか１つを選択して、焦点可変レンズ１５０の焦点距離を、選択した距離に固定するための固定信号を生成する。例えば、通常の３次元映像の観視形態を考慮して、焦点距離記憶部１６０に記憶された距離のうち最も遠いものを選択してもよい。ここでは例えば、２０ｃｍ、５０ｃｍおよび３ｍのうち最も遠い３ｍを選択する。なお、固定する焦点距離の選択方法はこれに限られるものではない。
（実施の形態１の変形例１）
実施の形態１では、ユーザが３次元映像を観視しているときに固定する焦点距離は、予め定めておくものとした。これに対して、変形例１，２では、映像表示システムから送信される情報信号を用いて、ユーザから表示装置までの距離を推定し、この推定した距離に基づいて、固定する焦点距離を決定する。
変形例１では、映像表示システムから送信される情報信号は、３次元映像提示を示すとき、提示する３次元映像の奥行情報をさらに含むものとする。そして、３次元映像の奥行位置が表示装置の位置近傍にあるとき、注視距離判定部１２０による判定結果を基にして、ユーザから表示装置までの距離が推定される。この距離に基づいて、固定する焦点距離が決定される。
本変形例に係るビューアの構成は、図１と同様である。ただし、焦点距離固定部３００に代えて焦点距離固定部３１０を備えており、注視距離判定部１２０の出力が焦点距離固定部３１０に与えられる。その他の構成については、実施の形態１と同様である。
図９は本変形例における、ビューア１０の３次元映像観視検出部２００と、情報信号を送信する映像表示システム２２０の一部の構成の例を示すブロック図である。３次元映像観視検出部２００は図２に示すものと同様である。映像表示システム２２０は、図２に示す映像表示システム２１０と対比すると、映像情報記憶部２２５、奥行情報記憶部２２６および奥行情報抽出部２２７が追加され、映像制御部２０１に代えて映像制御部２２１が、信号生成部２０３に代えて信号生成部２２３が設けられている。
映像情報記憶部２２５は３次元または２次元の映像情報を記憶する。奥行情報記憶部２２６は映像情報記憶部２２５が記憶する３次元の映像情報に対応した奥行情報を記憶する。奥行情報抽出部２２７は提示される３次元映像の奥行情報をフレームごとに抽出して、映像制御部２２１に出力する。
図１０は映像情報記憶部２２５に記憶された映像情報、および、奥行情報記憶部２２６に記憶された奥行情報の一例を示す模式図である。図１０に示すように、フレームごとの左右の画像に対応する奥行情報が奥行情報記憶部２２６に記憶されている。図１０の例では、奥行情報は、標準位置で表示装置を見た場合の画面平面からの引っ込みの距離（最大奥行）と飛び出しの距離（最小奥行）とで示される。ここでは、画面上の位置を０として、飛び出し側を負の値、引っ込み側を正の値で表している。
図１０の例では、フレーム８３０６２とフレーム８３０６３では遠い山が提示されており、これらは画面平面から引っ込みの距離が無限大である。一方、フレーム８３０６４では山の手前に人が移っており、このため、最小奥行は０すなわち画面平面上であり、最大奥行は無限大である。
映像制御部２２１は映像情報記憶部２２５から３次元映像を取得して、ディスプレイ２１２の表示方式に従って、右眼用画像と左眼用画像のそれぞれを加工してディスプレイ２１２に出力する。さらに映像制御部２２１は、取得した映像が３次元映像である場合は、３次元映像提示を示す信号と、提示する３次元映像の奥行情報を１フレームずつ信号生成部２２３に出力する。
信号生成部２２３は、映像制御部２２１の出力からフレームごとの最大奥行と最小奥行とを抽出し、例えば図１１に示すような情報信号を生成する。図１１に示す情報信号は、３次元映像提示を示す信号と、当該フレームの奥行最小値および奥行最大値を、それぞれ２バイトずつ含んでいる。なお、情報信号におけるデータの順番やデータサイズは、図１１に示すものに限られるものではない。送信部２１４は信号生成部２２３で生成された情報信号を無線等により送信する。
３次元映像観視検出部２００において、受信部２０１は送信された情報信号を受信する。信号検出部２０２は受信部２０１が受信した情報信号が、３次元映像提示を示す信号を含むとき、この情報信号を焦点距離固定部３１０に出力する。
図１２は焦点距離固定部３１０の詳細な構成の一例を示すブロック図である。図１２の焦点距離固定部３１０は、奥行情報抽出部３１１と、固定距離決定部３１２と、画面距離記憶部３１３と、制御信号生成部３０２とを備える。制御信号生成部３０２は図６の焦点距離固定部３００における制御信号生成部３０２と同様である。
奥行情報抽出部３１１は３次元映像観視検出部２００から送られた情報信号から、奥行情報を抽出する。固定距離決定部３１２は抽出された奥行情報と注視距離判定部１２０から出力された注視距離情報とに従って、ユーザから３次元映像を提示している画面平面までの距離を推定し、固定する焦点距離を決定する。画面距離記憶部３１３は固定距離決定部３１２が推定したユーザから画面平面までの距離を記憶する。
図１３は焦点距離固定部３１０の動作の一例を示すフローチャートである。図１３に従って、焦点距離固定部３１０の動作について説明する。
奥行情報抽出部３１１は３次元映像観視検出部２００から送られた情報信号を取得すると（Ｓ１２１）、例えば図１１のようなデータ形式の情報信号から奥行情報を抽出する（Ｓ１２２）。固定距離決定部３１２は、抽出された奥行情報のうち最小奥行が０付近か否か、すなわち３次元映像の奥行位置が表示装置の画面位置にあるか否かを判断する（ステップＳ１２３）。例えば、最小奥行の値が０を含む所定範囲内にあるとき、０付近、すなわち、３次元映像の奥行位置が表示装置の画面位置にあるものと判断する。例えば、映像表示システムが大型テレビである場合には、例えば画面位置の前後１０ｃｍ程度の範囲内に、最小奥行の値があればよい。すなわち、ユーザの眼球運動が、表示装置の画面位置を見ている状態とほぼ同じと推定できる範囲であればよい。
最小奥行が０付近であるとき（Ｓ１２３においてＹＥＳ）、固定距離決定部３１２は注視距離判定部１２０が出力した注視距離を取得し（Ｓ１２４）、取得した注視距離を、焦点可変レンズ１５０の焦点距離を固定する固定距離として決定する（Ｓ１２５）。そして画面距離記憶部３１３は、固定距離決定部３１２から出力された注視距離を画面距離として記憶する（Ｓ１２６）。
一方、最小奥行が０付近でないとき（Ｓ１２３においてＮＯ）、固定距離決定部３１２は画面距離記憶部３１３を参照して、画面距離が記憶されているか否かを判断する（Ｓ１２７）。画面距離記憶部３１３に画面距離が記憶されているとき（Ｓ１２７においてＹＥＳ）、固定距離決定部３１２は画面距離記憶部３１３に記憶されている画面距離を、固定する焦点距離として決定する（Ｓ１２８）。画面距離記憶部３１３に画面距離が記憶されていないときは（Ｓ１２７においてＮＯ）、固定距離決定部３１２は固定する焦点距離を所定値、例えば２ｍに決定する（Ｓ１２９）。
制御信号生成部３０２は、ステップＳ１２５，Ｓ１２８またはＳ１２９で決定された固定距離に焦点距離を固定する制御信号を生成して、レンズ制御部１４０に出力する（Ｓ１３０）。
なお、図１３のフローの動作は、例えば数フレーム毎に行うようにしてもよい。
本変形例によると、固定する焦点距離が、ユーザの注視距離を基にして推定された画面距離に基づいて、決定される。このため、ユーザとディスプレイとの距離が標準より近いまたは遠い場合においても、快適に３次元映像を観視できる焦点距離を保つことができる。
なお、本変形例では、推定された画面距離をそのまま、固定する焦点距離として決定したが、これに限られるものではない。例えば、焦点可変レンズ１５０が、設定可能な焦点距離が複数種類に限定されている場合には、推定された画面距離に最も近い焦点距離を固定距離として選択してもよい。
（実施の形態１の変形例２）
変形例２では、映像表示システムから送信される情報信号は、３次元映像提示を示すとき、３次元映像を表示している表示装置の画面サイズ情報をさらに含むものとする。そして、この画面サイズ情報を基にして、ユーザから表示装置までの距離が推定される。この距離に基づいて、固定する焦点距離が決定される。
本変形例に係るビューアの構成は、図１と同様である。ただし、焦点距離固定部３００に代えて焦点距離固定部３２０を備えている。その他の構成については、実施の形態１と同様である。
図１４は本変形例における、ビューア１０の３次元映像観視検出部２００と、情報信号を送信する映像表示システム２３０の一部の構成の例を示すブロック図である。３次元映像観視検出部２００は図２に示すものと同様である。映像表示システム２３０は、図２に示す映像表示システム２１０と対比すると、画面サイズ記憶部２３５が追加され、映像制御部２１１に代えて映像制御部２３１が、信号生成部２１３に代えて信号生成部２３３が設けられている。
画面サイズ記憶部２３５はディスプレイ２１２の画面サイズを記憶している。映像制御部２３１は図示しない映像記憶部あるいは放送受信部から３次元映像を取得して、ディスプレイ２１２の表示方式に従って、右眼用画像と左眼用画像のそれぞれを加工してディスプレイ２１２に出力する。さらに映像制御部２３１は、取得した映像が３次元映像である場合は、３次元映像提示を示す信号と、画面サイズ記憶部２３５に記憶された画面サイズ情報を信号生成部２３３に出力する。
信号生成部２３３は、３次元映像提示を示す信号と画面サイズ情報とを合わせて、例えば図１５に示すような情報信号を生成する。図１５に示す情報信号は、３次元映像提示を示す信号と、画面サイズ情報とを、それぞれ２バイトずつ含んでいる。なお、情報信号におけるデータの順番やデータサイズは、図１５に示すものに限られるものではない。送信部２１４は信号生成部２３３で生成された情報信号を無線等により送信する。
３次元映像観視検出部２００において、受信部２０１は送信された情報信号を受信する。信号検出部２０２は受信部２０１が受信した情報信号が３次元映像提示を示す信号を含むとき、この情報信号を焦点距離固定部３１０に出力する。
図１６は焦点距離固定部３２０の詳細な構成の一例を示すブロック図である。図１６の焦点距離固定部３２０は、画面サイズ情報抽出部３２１と、固定距離決定部３２２と、画面サイズ−距離テーブル３２３と、制御信号生成部３０２とを備える。制御信号生成部３０２は図６の焦点距離固定部３００における制御信号生成部３０２と同様である。
画面サイズ情報抽出部３２１は３次元映像観視検出部２００から送られた情報信号から、画面サイズ情報を抽出する。固定距離決定部３２２は画面サイズ−距離テーブル３２３を参照し、画面サイズ情報に対応する距離を抽出し、抽出した距離を固定する焦点距離として決定する。
図１７は画面サイズ−距離テーブル３２３の記憶内容の一例である。例えば画面サイズ２０インチに対して距離５０ｃｍというように、画面サイズとユーザからディスプレイまでの距離とが対応付けられている。なお、本変形例では、画面サイズが大きいほどユーザから表示装置までの距離が長いという規則に従って、テーブルが作成されている。固定距離決定部３２２は図１７に示すような画面サイズ−距離テーブルを参照して、画面サイズ情報に従って固定距離を決定する。
本変形例によると、固定する焦点距離が、画面サイズ情報を利用して推定された画面距離に基づいて、決定される。このため、より快適に３次元映像を観視できる焦点距離を保つことができる。
なお、本変形例では、推定された画面距離をそのまま、固定する焦点距離として決定したが、これに限られるものではない。例えば、焦点可変レンズ１５０が、設定可能な焦点距離が複数種類に限定されている場合には、推定された画面距離に最も近い焦点距離を固定距離として選択してもよい。あるいは、画面サイズ−距離テーブル３２３における距離のデータを、予め、焦点可変レンズ１５０が取りうる焦点距離に設定しておいてもよい。
（実施の形態２）
実施の形態１では、映像表示システムは、３次元映像を提示しているとき、近くにビューアのあるなしにかかわらず、常に３次元映像提示を示す情報信号を送信している。これに対して実施の形態２では、映像表示システムは、ビューアを装着したユーザが表示装置の方を見ているか否かを判定し、見ていないと判定したときは、３次元映像提示を示す情報信号を送信しないものとする。
図１８は本実施形態における、ビューア２０と、情報信号を送信する映像表示システム２５０との一部の構成の例を示すブロック図である。図１８に示すビューア２０は、図１の構成において、マーカ２６０が追加されており、また、３次元映像観視検出部２００に代えて３次元映像観視検出部２４０を備えている。マーカ２６０は、ビューア２０を正面から見たとき所定形状として認識されるものである。なお、焦点可変レンズ１５０等のその他の構成については図示を省略している。焦点距離を固定する動作は実施の形態１と同様である。
図１９は本実施形態に係るビューア２０の外観例を示す模式図である。図１９に示すビューア２０は、前面における左右両端にそれぞれ、同一サイズ、同一形状のマーカａ，ｂが、左右対称になるように設けられている。
また、３次元映像観視検出部２４０は、図２に示した受信部２０１および信号検出部２０２に加えて、信号生成部２４１と、送信部２４２とを備えている。信号生成部２４１は、ビューア２０がユーザの眼球運動に対応した焦点調節を機能させているとき、ビューア信号を生成する。送信部２４２は信号生成部２４１で生成されたビューア信号を外部に送信する。
映像表示システム２５０は、カメラ２５６と、観視行動検出部２５７と、ビューア用信号制御部２５５と、信号生成部２５３と、受信部２５４と、送信部２１４と、映像制御部２５１と、ディスプレイ２１２とを備える。
映像制御部２５１は、図示しない映像放送受信部あるいは映像情報記憶部から３次元映像を取得し、ディスプレイ２１２の表示方式に従って、右眼用画像と左眼用画像のそれぞれを加工してディスプレイ２１２に出力する。映像制御部２５１は取得した映像が３次元映像である場合には、３次元映像提示を示す信号を信号生成部２５３に出力する。
カメラ２５６は、ビューア２０を装着したユーザの観視行動を計測するセンサとしての役割を有する。カメラ２５６は、具体的には例えば、ディスプレイ２１２にその前方正面に向けて設置されており、ビューア２０を装着したユーザがディスプレイ２１２の前にいるとき、マーカ２６０を含むビューア２０の画像を撮像することができる。観視行動検出部２５７はカメラ２５６の撮像画像から、マーカ２６０の画像を検出し、その画像から、ビューア２０を装着したユーザが実際にディスプレイ２１２の方を見ているか否かを判定する。なお、カメラ２５６は、ディスプレイ２１２側からその前方を撮影することができればよく、設置位置は特に限定されない。
図２０はディスプレイ２１２に対するマーカ２６０の位置と、そのときのカメラ２５６の撮像画像を示す模式図である。図２０（ａ）では、ユーザは実際にディスプレイ２１２の方を見ているため、ビューア２０はディスプレイ２１２に正対している。したがって、マーカａ，ｂの画像は左右対称になっている。一方、図２０（ｂ）では、ユーザはディスプレイ２１２の前にいるものの、実際にはディスプレイ２１２とは異なる方向を見ている。このため、ビューア２０はディスプレイ２１２に正対していない。したがって、マーカａ，ｂの画像は左右対称にはならない。
このように、マーカａ，ｂの画像が左右対称になっているか否かによって、ビューア２０を装着したユーザが、実際にディスプレイ２１２の方を見ているか否かを判定することができる。
受信部２５４はビューア２０から送信されたビューア信号を受信する。ビューア用信号制御部２５５は、受信部２５４で受信したビューア信号と観視行動検出部２５７による検出結果とに従って、３次元映像提示を示す信号の生成を許可するか否かを決定する。
信号生成部２５３は、ビューア用信号制御部２５５によって生成が許可されたとき、映像制御部２５１の出力に従って、３次元映像提示を示す信号を情報信号として生成する。送信部２１４は、信号生成部２５３で生成された情報信号を送信する。
図２１および図２２を用いて、図１８の構成の動作について説明する。
まず、カメラ２５６がディスプレイ２１２の前方正面を撮影する（Ｓ２０１）。観視行動検出部２５７は、ステップＳ２０１で得られた撮像画像の中から、画像処理により、マーカ２６０の画像を検索する。そして、ユーザの観視行動の有無を検出する（Ｓ２０２）。
ステップＳ２０２は詳細には例えば図２２に示すように行われる。撮像画像中にマーカ画像が２つ抽出できたときは（Ｓ２２１においてＹＥＳ）、ステップＳ２２２に進む。一方、マーカ画像が抽出されない、または、マーカ画像が１つしか抽出されない場合は（Ｓ２２１においてＮＯ）、ステップＳ２２４に進み、ユーザの観視行動はなし、すなわち、ユーザはディスプレイ２１２の方を見ていないと判定する。
ステップＳ２２２では、観視行動検出部２５７は、抽出された２つのマーカ画像のサイズが同じであるか否かを判定する。同じであるときは（Ｓ２２２においてＹＥＳ）、ステップＳ２２３に進む。一方、２つのマーカ画像のサイズが異なる場合は（Ｓ２２２においてＮＯ）、ステップＳ２２４に進み、ユーザの観視行動はなしと判定する。なお、ここでの画像サイズの比較方法は、例えば、画像サイズの差が所定値以下である場合は、画像サイズが同じと判定するものである。
ステップＳ２２３では、観視行動検出部２５７は、抽出されたマーカ画像間の距離が標準距離であるか否かを判断する。標準距離であるときは（Ｓ２２３においてＹＥＳ）、ステップＳ２０５に進む。一方、標準距離でないときは（Ｓ２２３においてＮＯ）、ステップＳ２２４に進み、ユーザの観視行動はなしと判定する。画像間の距離の判断は、例えば、マーカ画像サイズとマーカ間の標準距離とを対応付けたテーブルを予め準備しておき、ステップＳ２２２で測定されたマーカ画像サイズに対応する標準距離をテーブルから読み出し、マーカ画像間の距離と比較する。またここでの比較では、例えば、標準距離とマーカ画像間の距離との差が所定値以下であるときは、標準距離と同じとみなす。
すなわち、ここでは、２つのマーカが同じ大きさで撮影されており、さらに、マーカの間隔が標準距離であるとき、ビューア２０を装着したユーザがディスプレイ２１２の方を見ているものと判定している。
そして、観視鼓動なしと判定したとき（Ｓ２２４）、ステップＳ２０１にもどる。すなわち、観視行動検出部２５７が、ユーザがディスプレイ２１２の方を見ていないと判定したとき、情報信号として３次元映像提示を示す信号を送信することが、回避される。
一方、ビューア２０において、眼球運動に対応した焦点調節を機能させているとき、信号生成部２４１がビューア信号を生成する（Ｓ２０３）。そして、送信部２４２がビューア信号を送信する（Ｓ２０４、通信１）。
ステップＳ２０５において、映像表示システム２５０は、ビューア用信号制御部２５５が、受信部２５４が受信した信号の中から、ビューア２０から送信されたビューア信号を検索する。ビューア信号が検出されたとき（Ｓ２０５においてＹＥＳ）、ビューア用信号制御部２５５は、３次元映像提示を示す信号の生成を許可する旨を出力する。信号生成部２５３はビューア用信号制御部２５５の出力に従って、３次元映像提示を示す信号を生成する（Ｓ２０６）。送信部２１４はステップＳ２０６で生成された３次元映像提示を示す信号を情報信号として送信する（Ｓ２０７、通信２）。一方、ビューア信号が検出されなかったとき（Ｓ２０５においてＮＯ）、ビューア用信号制御部２５５は３次元映像提示を示す信号の生成を許可しないで、ステップＳ２０１に戻る。
３次元映像観視検出部２４０は、受信部２０１が、映像表示システム２５０から送信された情報信号を受信すると（通信２）、信号検出部２０２が３次元映像提示を示す信号を検出して（Ｓ２０８）、焦点距離固定部３００に出力する（Ｓ２０９）。
このように本実施形態によると、ビューア２０が左右対称のマーカ２６０を備えており、映像表示システム２５０がカメラ２５６によってディスプレイ正面の画像を取得し、撮像したマーカ画像から、ビューア２０を装着したユーザがディスプレイ２１２の方を見ているか否かを判定する。そして、ディスプレイ２１２の方を見ていると判定したとき、ビューア信号を映像表示システム２５０に送信したビューア２０に対して、３次元映像提示を示す信号を送信する。
これにより、ビューア２０は、映像表示システム２５０に空間的に近い位置にあっても、ユーザが３次元映像を見ている場合にのみ焦点距離を固定し、ユーザが３次元映像を提示しているディスプレイ２１２を見ていない場合には、眼球運動に従って焦点距離を調節することができる。したがって、ビューア２０のユーザは、３次元映像を見ているときはディスプレイ２１２に焦点距離が固定された状態となり映像をはっきり見ることができる一方、映像表示システム２５０の近傍にいてもディスプレイ２１２を見ていないときは、焦点距離が調節され、常に適切な焦点距離で物をはっきり見ることができる。
なお、本実施形態では、ビューア２０には、マーカ２６０として、前面における左右両端にそれぞれ、同一サイズ、同一形状のマーカが左右対称になるように設けられているものとしたが、マーカ２６０の構成はこれに限られるものではない。マーカは、少なくとも正面から見たとき左右対称になっており、カメラで撮影したときに、マーカ画像が左右対称になっているか否かによって、ビューアがディスプレイの方を向いているか否かを判定できるものであればよい。
なお、本実施形態では、ビューア２０から映像表示システム２５０にビューア信号を送信するものとしたが、ビューア信号を送信しない構成であってもよい。この場合は、映像表示システムは、ビューアを装着したユーザがディスプレイの方を見ているものと判定したとき、３次元映像提示を示す信号を送信すればよい。
なお、本実施形態では、ビューア２０が焦点距離を固定する動作は実施の形態１と同様としたが、実施の形態１の変形例１，２と同様としても良い。
（実施の形態３）
実施の形態３では、３次元映像提示を示す情報信号は、赤外線等の直進性の高い媒体を介して送信されるものとする。そして、ビューアは、媒体の受信範囲が、前方正面を含む所定角度の範囲に限定されている。このため、ビューアは、ユーザが表示装置の方を向いているときに限って、３次元映像提示を示す信号を受信する。
図２３は本実施形態における、ビューア３０の３次元映像観視検出部２６０と、情報信号を送信する映像表示システム２７０の一部の構成の例を示すブロック図である。本実施形態に係るビューア３０の構成は、図１のビューア１０と同様であるが、３次元映像観視検出部２００に代えて、３次元映像観視検出部２６０が設けられている。３次元映像観視検出部２６０において、受信部２６１は赤外線受光部２６２を備えている。また映像表示システム２７０は、図２に示す映像表示システム２１０と対比すると、送信部２１４に代えて、パタン生成部２７１および赤外線出力部２７２を備えた送信部２７３を備えている。
ここで、ディスプレイ２１２は、アクティブシャッタ方式であるものとする。すなわち、映像表示システム２７０は、３Ｄテレビ用メガネのシャッタを制御するための同期信号を出力する。映像制御部２１１はディスプレイ２１２に左右の映像を交互に出力する制御を行うと同時に、信号生成部２１３に３Ｄテレビ用メガネのシャッタを制御する同期信号の情報を出力する。信号生成部２１３は映像制御部２１１が出力する情報に従って、３Ｄテレビ用メガネのシャッタを制御する制御信号を生成する。パタン生成部２７１は信号生成部２１３が出力する制御信号に応じた赤外線の発光パタンを生成する。赤外線出力部２７２はパタン生成部２７１が生成した発光パタンに従って赤外光を照射する。
図２４は赤外線受光のイメージを示す模式図であり、（ａ）は３Ｄテレビ用メガネの受光範囲、（ｂ）は３Ｄテレビ用メガネの受光限界、（ｃ）は本実施形態に係るビューア３０の受光範囲をそれぞれ示している。図２４（ａ）に示すように、３Ｄテレビ用メガネは、ユーザがディスプレイ２１２をどの角度から見ていても、適切に同期信号を受けて３次元映像を見ることができるように、赤外線の受光範囲は広角になっている。受光範囲は例えば、前方正面を基準にして左右それぞれ８０度までの範囲である。また、図２４（ｂ）に示すように、ディスプレイ２１２も赤外線を広角に出力しており、このため、ユーザはディスプレイ２１２の前の広い範囲で３次元映像を観視することができる。
また、本実施形態では、３次元映像提示を示す情報信号の送信も、赤外線によって行われる。ビューア３０を利用するユーザは、３次元映像を観視する場合には、３Ｄテレビ用メガネとビューア３０とを重ねて装着する。そして図２４（ｃ）に示すように、ビューア３０の受光範囲は３Ｄテレビ用メガネよりも狭く設定されており、ビューア３０の前方正面を含む狭い範囲に限定されている。受光範囲は例えば、前方正面を基準にして左右それぞれ３０度までの範囲である。
図２５（ａ）（ｂ）はユーザが３Ｄテレビ用メガネとビューア３０を重ねて装着した場合における、ディスプレイ２１２に対する角度による受光状態の違いを示した模式図である。図２５（ａ）では、ユーザはディスプレイ２１２に対して正面を向いている。このとき、３Ｄテレビ用メガネとビューア３０の両方とも、赤外線を受光することができる。したがって、３Ｄテレビ用メガネはシャッタ制御用同期信号を受信するとともに、ビューア３０は３次元映像観視を示す情報信号を受信し、焦点距離を固定する。
一方、図２５（ｂ）では、ユーザはディスプレイ２１２の正面に位置しているものの、ディスプレイ２１２の方は見ていない。このとき、３Ｄテレビ用メガネは赤外線を受光するが、ビューア３０は赤外線を受光することができない。したがって、３Ｄテレビ用メガネは同期信号を受けて、シャッタ制御が左右映像の表示に同期している状態であるが、ビューア３０は３次元観視を示す情報信号を受信しない。したがって、ビューア３０の焦点距離は固定されず、ユーザの眼球運動に対応した焦点調節が行われる。
このように本実施形態によると、３次元映像提示を示す情報信号が映像表示システム２７０から赤外線によって送信される。そして、ビューア３０の赤外線受光範囲が、前方正面を含む所定角度の範囲に狭く限定されている。これにより、ユーザが３次元映像を表示している画面の方を向いている、すなわち、３次元映像を観視しているときにのみ、焦点距離を固定することができる。したがって、ユーザが３次元映像を表示しているシステムの近くにいるだけで、３次元映像を観視していないにもかかわらず、ビューア３０の焦点が固定されてしまうという問題を回避することができる。
なお、本実施形態では、情報信号の通信に赤外線を用いるものとしたが、これに限られるものではなく、例えば可視光等の直進性の高い通信用媒体であればよい。
また、本実施形態では、ディスプレイ２１２がアクティブシャッタ方式であり、映像表示システム２７０がシャッタ制御用同期信号を送信するものとし、この同期信号を送信する手段を用いて、３次元映像提示を示す情報信号を送信するものとしたが、これに限られるものではない。例えば、同期信号の送信手段とは別個に、赤外線等を利用した情報信号の送信手段を設けてもよい。あるいは、同期信号を送信する必要のない方式の場合には、赤外線等を利用した情報信号の送信手段を設ければよい。これらの場合には、映像表示システムが赤外線を出力する範囲を狭く限定してもよい。例えば、出力範囲を、前方正面を基準にして左右それぞれ例えば３０度までの範囲としてもよい。
また、ビューア３０が媒体を受信する範囲は、前方正面を含む所定の範囲であって、ユーザがディスプレイ２１２の方を見ているときは情報信号を受信し、見ていないときは情報信号を受信しないような範囲に限定されていればよい。ユーザの通常の観視形態に鑑みると、例えば、ビューア３０の前方正面を基準にして左右それぞれ３０度までの範囲、あるいはそれより狭い範囲に設定されていればよい。
なお、本実施形態では、ビューア３０の受光範囲が狭く設定されているものとしたが、受光範囲を広く設定しておき、赤外線等の直進性の高い媒体の入射角を判定して、この入射角が所定範囲内にあるときのみ、３次元映像提示を示す信号を検出するようにしてもよい。
図２６は入射角を判定する方法を示す模式図である。図２６の例では、映像表示システム２７０の赤外線出力部２７２は断面が円形（半径ａ）の光線を射出するものとする。図２６（ａ）に示すように、光線方向が受光部に対して垂直であるときは、受光範囲は光線と相似形、ここでは半径ａの円形になる。一方、図２６（ｂ）に示すように、光線方向が受光部に対して傾いているときは、その角度に応じて受光範囲は歪み、ここでは楕円になる。受光範囲の図形の歪み量から入射角を判定することができる。ビューア３０は、入射角が所定範囲内にあるときのみ、３次元映像提示信号を受け入れればよい。これにより、本実施形態と同様の効果が得られる。
なお、本実施形態では、ビューア２０が焦点距離を固定する動作は実施の形態１と同様としたが、実施の形態１の変形例１，２と同様としても良い。
なお、以上の各実施形態において、映像表示システムは、表示装置を備えている構成としたが、これに限られるものではなく、例えば、映像表示システムが、別の表示装置に映像信号を送信する構成であってもかまわない。
本発明は、焦点可変レンズを利用した光学装置に広く利用可能であり、メガネ、ゴーグル等のビューア、顕微鏡、双眼鏡、ヘッドマウントディスプレイ等の焦点距離調節を行う光学装置に広く利用可能であり、ビューア、顕微鏡、双眼鏡、ヘッドマウントディスプレイの焦点距離調節を行う際に有用である。
１０，２０，３０ ビューア
１２０ 注視距離判定部
１４０ レンズ制御部
１５０ 焦点可変レンズ
２００，２４０，２６０ ３次元映像観視検出部（検出部）
２０１ 受信部
２０２ 信号検出部
２１０，２２０，２３０，２５０，２７０ 映像表示システム
２１２ ディスプレイ（表示装置）
２５６ カメラ
２５７ 観視行動検出部
２６０ マーカ
３００，３１０，３２０ 焦点距離固定部

Claims (13)

  1. ユーザの眼球運動に対応して焦点を調節可能なビューアであって、
    焦点可変レンズと、
    前記焦点可変レンズの焦点距離を調節するレンズ制御部と、
    前記ユーザの３次元映像の観視を検出する検出部と、
    前記検出部が前記ユーザの３次元映像の観視を検出したとき、前記ユーザの眼球運動にかかわらず、前記焦点可変レンズの焦点距離を固定するよう、前記レンズ制御部に指示する焦点距離固定部と
    を備えるビューア。
  2. 請求項１記載のビューアにおいて、
    前記検出部は、
    映像表示システムから送信される情報信号を受信する受信部と、
    前記受信部が受信した前記情報信号が３次元映像提示を示す信号を含むとき、前記ユーザが３次元映像を観視していると判定する信号検出部とを備えている
    ことを特徴とするビューア。
  3. 請求項２記載のビューアにおいて、
    前記焦点距離固定部は、前記情報信号を用いて前記ユーザから表示装置までの距離を推定し、推定した距離に基づいて、固定する焦点距離を決定する
    ことを特徴とするビューア。
  4. 請求項３記載のビューアにおいて、
    前記ユーザの眼球運動から、前記ユーザの注視距離を判定する注視距離判定部をさらに備え、
    前記情報信号は、３次元映像提示を示す信号を含むとき、前記映像表示システムが提示する３次元映像の奥行情報をさらに含み、
    前記焦点距離固定部は、前記奥行情報が、前記３次元映像の奥行位置が前記表示装置の画面位置にあることを示すとき、前記注視距離判定部による判定結果を基にして、前記ユーザから前記表示装置までの距離を推定する
    ことを特徴とするビューア。
  5. 請求項３記載のビューアにおいて、
    前記情報信号は、３次元映像提示を示す信号を含むとき、前記表示装置の画面サイズ情報をさらに含み、
    前記焦点距離固定部は、前記画面サイズ情報を基にして、前記表示装置の画面サイズが大きいほど前記ユーザから前記表示装置までの距離が長いという規則に従って、前記ユーザから前記表示装置までの距離を推定する
    ことを特徴とするビューア。
  6. 請求項１記載のビューアにおいて、
    前記焦点可変レンズは、設定可能な焦点距離が複数種類に限定されており、
    前記焦点距離固定部は、前記焦点可変レンズの焦点距離を固定するとき、前記設定可能な焦点距離のうち最も遠い距離に固定する
    ことを特徴とするビューア。
  7. 請求項２記載のビューアにおいて、
    正面から見たとき、所定形状として認識されるマーカを有している
    ことを特徴とするビューア。
  8. 請求項７記載のビューアにおいて、
    前記マーカは、前記ビューアの前面における左右両端にそれぞれ、左右対称になるように、設けられている
    ことを特徴とするビューア。
  9. 請求項２記載のビューアにおいて、
    前記映像表示システムは、前記情報信号を、直進性の高い媒体を介して送信するものであり、
    前記ビューアは、前記媒体の受信範囲が、前方正面を含む所定の範囲に限定されており、
    前記所定の範囲は、前方正面を基準にして左右それぞれ３０度までの範囲内に設定されている
    ビューア。
  10. 請求項９記載のビューアにおいて、
    前記映像表示システムは、３次元映像用メガネを用いるものであり、かつ、前記３次元映像用メガネに対して前記媒体を介して同期信号を送信するものであり、
    前記ビューアは、前記媒体の受信範囲が、前記３次元映像用メガネよりも狭く設定されている
    ことを特徴とするビューア。
  11. 請求項９記載のビューアにおいて、
    前記媒体は、赤外線または可視光である
    ことを特徴とするビューア。
  12. 請求項７記載のビューアに、情報信号を送信可能に構成された映像表示システムであって、
    表示装置と、
    前記表示装置の前方を撮影するカメラと、
    前記カメラに前記ビューアが映っている場合において、前記マーカの画像が前記所定形状として認識されるか否かに基づいて、前記ビューアを装着したユーザが前記表示装置の方を見ているか否かを判定する観視行動検出部とを備え、
    前記観視行動検出部が、前記ユーザが前記表示装置の方を見ていないと判定したとき、前記情報信号として３次元映像提示を示す信号を送信することを、回避する
    映像表示システム。
  13. 請求項１２記載の映像表示システムにおいて、
    前記ビューアは、前記ユーザの眼球運動に対応した焦点調節を機能させているとき、ビューア信号を送信するものであり、
    前記映像表示システムは、前記観視行動検出部が、前記ユーザが前記表示装置の方を見ていると判定し、かつ、前記ビューア信号を受信したとき、前記情報信号として３次元映像提示を示す信号を送信する
    ことを特徴とする映像表示システム。
JP2013107063A 2013-05-21 2013-05-21 焦点可変レンズを有するビューア、および映像表示システム Active JP6020923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013107063A JP6020923B2 (ja) 2013-05-21 2013-05-21 焦点可変レンズを有するビューア、および映像表示システム
US14/284,141 US9864191B2 (en) 2013-05-21 2014-05-21 Viewer with varifocal lens and video display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013107063A JP6020923B2 (ja) 2013-05-21 2013-05-21 焦点可変レンズを有するビューア、および映像表示システム

Publications (2)

Publication Number Publication Date
JP2014230019A JP2014230019A (ja) 2014-12-08
JP6020923B2 true JP6020923B2 (ja) 2016-11-02

Family

ID=51935128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013107063A Active JP6020923B2 (ja) 2013-05-21 2013-05-21 焦点可変レンズを有するビューア、および映像表示システム

Country Status (2)

Country Link
US (1) US9864191B2 (ja)
JP (1) JP6020923B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076910B (zh) * 2013-03-25 2017-11-03 联想(北京)有限公司 一种信息处理的方法及电子设备
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107409205B (zh) 2015-03-16 2020-03-20 深圳市大疆创新科技有限公司 用于焦距调节和深度图确定的装置和方法
CN105072436A (zh) * 2015-08-28 2015-11-18 胡东海 虚拟现实及增强现实成像景深自动调节方法以及调节装置
US11006101B2 (en) * 2016-01-29 2021-05-11 Hewlett-Packard Development Company, L.P. Viewing device adjustment based on eye accommodation in relation to a display
US10545344B2 (en) * 2016-05-20 2020-01-28 Kent State University Stereoscopic display with reduced accommodation fatique
US10394313B2 (en) * 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
US10241329B2 (en) * 2017-07-13 2019-03-26 Google Llc Varifocal aberration compensation for near-eye displays
NL2019319B1 (en) * 2017-07-21 2019-02-06 Easee Health B V A method of performing an eye examination test.
US20190064545A1 (en) * 2017-08-26 2019-02-28 Winthrop De Childers Device Interaction for Correcting Presbyopia
CN107515474B (zh) * 2017-09-22 2020-03-31 宁波维真显示科技股份有限公司 自动立体显示方法、装置及立体显示设备
EP3697286A4 (en) * 2017-10-19 2021-07-28 Virginia Commonwealth University EYE TRACKING PROCEDURES AND SYSTEMS ACTIVATED BY EYE VERGENCE
US20220014723A1 (en) * 2018-12-03 2022-01-13 Google Llc Enhancing performance capture with real-time neural rendering
EP3979896A1 (en) * 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP4322526A1 (en) 2021-06-22 2024-02-14 Samsung Electronics Co., Ltd. Augmented reality device comprising variable focus lens and operation method thereof
WO2023038122A1 (ja) * 2021-09-10 2023-03-16 ＶｉＸｉｏｎ株式会社 可変焦点レンズ制御装置、眼用レンズ装置、眼鏡、制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998233B2 (ja) 1991-02-28 2000-01-11 トヨタ自動車株式会社 可変焦点眼鏡
JPH0730928A (ja) * 1993-07-12 1995-01-31 Canon Inc 立体像観察装置
JP3666891B2 (ja) 1993-09-27 2005-06-29 スカラ株式会社 近視・老視予防具及び近視・老視予防具にて実行される制御方法
US5861936A (en) * 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
JP2002196280A (ja) * 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
JP2004279743A (ja) * 2003-03-17 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 三次元表示装置
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
JP5275769B2 (ja) * 2008-12-03 2013-08-28 富士フイルム株式会社 ズームレンズおよび撮像装置
JP5246666B2 (ja) * 2009-05-11 2013-07-24 パナソニック株式会社 多焦点電子眼鏡
JP2011041035A (ja) * 2009-08-12 2011-02-24 Sony Corp シャッタメガネおよびシャッタ制御方法
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
KR101296903B1 (ko) * 2010-12-20 2013-08-14 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
JP5166571B2 (ja) * 2011-05-30 2013-03-21 株式会社東芝 電子機器、表示制御方法及び表示制御プログラム
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム

Also Published As

Publication number Publication date
US9864191B2 (en) 2018-01-09
US20140347456A1 (en) 2014-11-27
JP2014230019A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
JP3089306B2 (ja) 立体画像撮像及び表示装置
EP2660645A1 (en) Head-mountable display system
EP2395759A1 (en) Autostereoscopic display device and method for operating an autostereoscopic display device
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
JP2016529764A (ja) 指向性バックライトの光源の制御
CN109510977A (zh) 使用同心观察圆来生成立体光场全景
KR20140038366A (ko) 움직임 패럴랙스를 가지는 3-차원 디스플레이
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
CN113196139B (zh) 用于生成立体图像的具有双摄像头的柔性眼戴设备
US20130169529A1 (en) Adjusting an optical guide of a three-dimensional display to reduce pseudo-stereoscopic effect
US10616568B1 (en) Video see-through head mounted display and control method thereof
JP6491477B2 (ja) ライブ３ｄｘ線観視
US11143876B2 (en) Optical axis control based on gaze detection within a head-mountable display
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
WO2018010677A1 (zh) 一种信息处理方法、穿戴式电子设备、处理装置及系统
US20230156176A1 (en) Head mounted display apparatus
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
CN107209949B (zh) 用于产生放大3d图像的方法和系统
CN106648075B (zh) 一种虚拟现实设备的控制方法及虚拟现实设备
JP2012080294A (ja) 電子機器、映像処理方法、及びプログラム
CN104216126A (zh) 一种变焦3d显示技术
JP2012244466A (ja) 立体画像処理装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160921

R151 Written notification of patent or utility model registration

Ref document number: 6020923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151