JP7173836B2 - コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 - Google Patents

コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 Download PDF

Info

Publication number
JP7173836B2
JP7173836B2 JP2018208358A JP2018208358A JP7173836B2 JP 7173836 B2 JP7173836 B2 JP 7173836B2 JP 2018208358 A JP2018208358 A JP 2018208358A JP 2018208358 A JP2018208358 A JP 2018208358A JP 7173836 B2 JP7173836 B2 JP 7173836B2
Authority
JP
Japan
Prior art keywords
eye
image
cornea
object point
corneal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018208358A
Other languages
English (en)
Other versions
JP2020077055A (ja
Inventor
佑介 林
薫 草深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018208358A priority Critical patent/JP7173836B2/ja
Priority to US17/290,980 priority patent/US11551375B2/en
Priority to CN201980073713.1A priority patent/CN112955933B/zh
Priority to PCT/JP2019/042204 priority patent/WO2020095747A1/ja
Priority to EP19881108.5A priority patent/EP3879491A4/en
Publication of JP2020077055A publication Critical patent/JP2020077055A/ja
Application granted granted Critical
Publication of JP7173836B2 publication Critical patent/JP7173836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

本開示は、コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体に関する。
従来、ステレオカメラが有する２つのカメラがそれぞれ撮像した撮像画像に基づいて、物体、人物等の被写体までの距離を算出することが知られている。例えば、特許文献１には、このようなステレオカメラにおいて正確に距離を算出するために、２つのカメラの位置および姿勢の相対的なずれを較正することが記載されている。
国際公開２０１６／２０８２００号
距離を測定するために２つの撮像装置が用いられる場合、１つのみの撮像装置を用いる場合に比べて、高額な費用が発生する。これを解消するために、１つの撮像装置を用いて実空間における被写体までの距離を算出することが望まれていた。
本開示は、１つの撮像装置を用いて実空間における被写体の位置を正確に判定することができるコントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体を提供する。
本開示のコントローラは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。前記コントローラは、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する。
本開示のコントローラは、物点を視認している利用者の第１眼および第２眼を含む撮像画像から前記第１眼の角膜の像および前記第２眼の角膜の像を抽出し、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する。
本開示の位置判定装置は、通信モジュールと、コントローラと、を備える。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。前記コントローラは、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する。
本開示の、位置判定システムは、撮像装置と、位置判定装置と、を備える。前記位置判定装置は、通信モジュールと、コントローラと、を含む。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。前記コントローラは、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する。
本開示の表示システムは、撮像装置と、位置判定装置と、ヘッドアップディスプレイとを備える。前記位置判定装置は、通信モジュールと、コントローラと、を備える。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。前記コントローラは、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する。前記ヘッドアップディスプレイは、前記コントローラによって判定された前記物点の位置に基づいて、利用者の眼が前記物点の位置に関連する位置で視認する虚像を表示する。
本開示のプログラムは、コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムであって、前記コントローラが、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出するためのプログラムである。
本開示の記録媒体は、プログラムを記録したコンピュータ読み取り可能な記録媒体である。前記プログラムは、コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムであって、前記コントローラが、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出するためのプログラムである。
本開示の一実施形態によれば、１つの撮像装置を用いて実空間における被写体の位置を正確に判定することが可能となる。
第１の実施形態の位置判定システムの概略構成を示す図である。 図１に示す撮像装置によって生成された撮像画像の例を示す図である。 図３は、図１に示す撮像画像から抽出した眼の像の例を示す図であり、図３（ａ）は、右眼の像の例を示す図であり、図３（ｂ）は、左眼の像の例を示す図である。 図３（ｂ）に示す左眼の角膜の像が一部を構成する楕円が傾いている例を模式的に示す図である。 眼が基準状態にある場合の角膜と像面との関係を示す模式図である。 眼が基準状態にない場合の角膜と像面との関係を示す模式図である。 左中心位置、左法線方向、右中心位置、および右法線方向と物点の位置との関係を示す図である。 エピポーラ平面を用いて算出される右眼の角膜内の物点の像を説明するための図である。 左眼および右眼それぞれの位置と、撮像面の位置と、物点の位置との関係を示す図である。 第２例を用いて物点の位置を判定する処理を示すフローチャートである。 第２例を用いて物点の位置を判定する処理を示すフローチャートである。 第２の実施形態の表示システムの概略構成を示す図である。
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
本開示の第１の実施形態にかかる位置判定システム１００は、図１に示すように、撮像装置１と、位置判定装置２とを備える。
撮像装置１は、撮像範囲に利用者の両眼が含まれるように配置される。以降の説明では、撮像装置１の光軸方向をｚ軸方向として表す。利用者が撮像装置１の方向を向いているときに左眼（第１眼）と右眼（第２眼）を結ぶ方向に沿う眼間方向をｘ軸方向として表す。光軸方向および眼間方向に直交する方向をｙ軸方向として表す。
撮像装置１は、撮像光学系１１と、撮像素子１２と、第１通信モジュール１３とを含む。
撮像光学系１１は、１つ以上のレンズを含んで構成される。撮像光学系１１は、撮像光学系１１の光軸が撮像素子１２の撮像面１２１に垂直となるように配置されている。撮像光学系１１は、被写体から入射した光を撮像素子１２の撮像面１２１において被写体像として結像させる。
撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１２は、撮像光学系１１によって撮像面１２１に結像された像を変換することによって撮像画像を生成する。
第１通信モジュール１３は、位置判定装置２と通信可能である。具体的には、第１通信モジュール１３は、撮像素子１２によって生成された撮像画像を位置判定装置２に送信する。第１通信モジュール１３と位置判定装置２との通信において用いられる通信方式は、近距離または長距離の無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）、等を含んでよい。長距離の無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。
位置判定装置２は、第２通信モジュール（通信モジュール）２１と、コントローラ２２と含む。
第２通信モジュール２１は、撮像装置１の第１通信モジュール１３と通信可能である。第２通信モジュール２１による第１通信モジュール１３との通信において用いられる通信方式は、第１通信モジュール１３で用いられる通信方式と同じであってよい。第２通信モジュール２１は、第１通信モジュール１３から撮像画像を受信する。
コントローラ２２は、位置判定装置２の各構成要素に接続され、各構成要素を制御しうる。コントローラ２２によって制御される構成要素は、第２通信モジュール２１を含む。コントローラ２２は、例えばプロセッサとして構成される。コントローラ２２は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ２２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
コントローラ２２は、撮像装置１を制御して、図２に示すような、利用者の両眼を撮像した撮像画像を生成させる。コントローラ２２は、撮像装置１によって生成され、第２通信モジュール２１によって受信された撮像画像を取得する。コントローラ２２は、撮像画像に基づいて、各種の処理を行う。
図１に示したように、利用者の眼が物点ＯＰを視認している場合、物点ＯＰは、左眼の角膜に投影され、さらに、左眼の角膜に投影された物点の像ＯＰELの像ＯＰILが撮像装置１の撮像面１２１に形成される。
利用者の眼が撮像装置１の方向を見ている基準状態にある場合、撮像画像上の角膜の像ＣＩは略円形である。一方、利用者の眼が撮像装置１とは異なる方向を向いている場合、図３に示すように、撮像画像上の角膜の像ＣＩは楕円形の一部を形成する。図３（ａ）に示す右眼の角膜の像ＣＩR内にある物点の像ＯＰIRの位置、図３（ｂ）に示す左眼の角膜の像ＣＩL内にある物点の像ＯＰILの位置とは異なる。すなわち、物点の像ＯＰIRと物点の像ＯＰILとは互いに視差を有する。
図３に示す左眼の角膜が一部を形成する楕円形を概略的に表した図４に示すように、楕円形の長径ｒLmaxは、画像眼間方向に対して傾いた方向に延在することがある。画像眼間方向は、撮像画像において、眼が基準状態にあるときの左眼の像の中心と右眼の像の中心とを結ぶ方向に沿う方向である。
コントローラ２２は、撮像画像において、左眼の角膜の像ＣＩLの特徴量を判定する。特徴量は、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmaxおよび短径ｒLminそれぞれの長さ、ならびに長径ｒLmaxが延在する方向である。コントローラ２２は、特徴量に基づいて、実空間における左角膜中心位置（第１角膜中心位置）ＣLおよび左眼の角膜の方向（第１角膜方向）を算出する。左角膜中心位置ＣLは、図５に示すような左眼の角膜と強膜との境界の中心である。左眼の角膜の方向は、左眼の角膜の中心における接平面の法線方向である。眼が基準状態にある場合の角膜の方向を左眼基準方向ａ0という。
コントローラ２２は、同じく、撮像画像において、右眼の角膜の像ＣＩRの特徴量を判定する。特徴量は、右眼の角膜の像ＣＩRが一部を形成する楕円形の長径ｒRmaxおよび短径ｒRminそれぞれの長さ、ならびに長径ｒRmaxが延在する方向である。コントローラ２２は、特徴量に基づいて、実空間における右角膜中心位置（第２角膜中心位置）ＣLおよび右眼の角膜の方向（第２角膜方向）を算出する。右角膜中心位置ＣRは、右眼の角膜と強膜との境界の中心である。右眼の角膜の方向は、右眼の角膜の中心における接平面の法線方向である。
以降において、コントローラ２２が、左眼および右眼の角膜の像ＣＩLおよびＣＩRの特徴量を判定する処理について詳細に説明する。コントローラ２２が、実空間における左角膜中心位置ＣLおよび右角膜中心位置ＣR、ならびに左眼および右眼それぞれの角膜の方向を算出する処理について詳細に説明する。
＜角膜の像の特徴量の判定＞
コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLを抽出する。例えば、コントローラ２２は、パターンマッチング等を用いることによって、撮像画像における眼の像全体を抽出する。コントローラ２２は、眼の像における、所定値以下の輝度値を有する楕円形の一部を形成する領域を左眼の角膜の像ＣＩLとして抽出してよい。所定値は、人間の眼の像が取り得る輝度値の上限値に関する値である。所定値は、人間の眼の輝度値の上限値と周囲環境の明るさ等によって設定されうる。輝度値の最高値から最低値までを２５６階調で表した場合、所定値は、例えば、１０であってよい。コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLをハフ変換によって抽出してよい。ハフ変換は、直角座標上の点を楕円のパラメータに変換するものである。コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLを、楕円を複数のクラスタに分けて当該クラスタ毎の抽出をしてよい。例えば、楕円を４つのクラスタに分けてよい。複数のクラスタが異なる楕円となる場合は、マージ処理によって１つの楕円とする。
コントローラ２２は、図４に示すような、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmaxおよび短径ｒLminを判定する。コントローラ２２は、長径ｒLmaxの方向および眼間方向とのなす角度φLを判定する。
コントローラ２２は、同じく、右眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒRmaxおよび短径ｒRminを判定する。コントローラ２２は、長径ｒRmaxの方向および眼間方向とのなす角度φRを判定する。
＜角膜の中心位置の算出＞
図５に示すように、コントローラ２２は、撮像装置１の焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmax、および左眼の角膜の半径ｒLに基づいて、撮像装置１の瞳から左角膜中心位置ＣLまでの距離ｄLを算出する。焦点距離ｆは、撮像装置１の仕様により規定された既知の値である。角膜の半径ｒLは、人間の一般的な角膜の半径に基づく値であり、約５．６ｍｍである。具体的には、コントローラ２２は、式（１）を用いて距離ｄLを算出する。
Figure 0007173836000001
距離ｄLが算出されると、コントローラ２２は、算出された距離ｄLと、既知である、撮像装置１の撮像面１２１の位置、焦点距離ｆに基づいて、実空間における左角膜中心位置ＣLを算出する。
コントローラ２２は、同じく右角膜中心位置ＣRを算出する。
＜角膜の方向の算出＞
コントローラ２２は、左眼の像の長径ｒLmaxにおよび短径ｒLminに基づいて、図６に示すような角膜の方向ａ1を算出する。角膜の方向ａ1は、角膜の中心における接平面の法線方向である。
まず、コントローラ２２は、左眼の角膜の方向ａ1の左眼基準方向ａ0からの眼間方向（ｘ軸方向）の軸の周りでの回転角度である角度τLを、式（２）を用いて算出する。既に説明したように、左眼基準方向ａ0は、左眼が撮像装置１の方を向いている状態での左眼の角膜の方向である。
Figure 0007173836000002
コントローラ２２は、角度τLおよび角度φLをパラメータとする（τL，φL）で示される方向を左眼の角膜の方向ａ1と決定する。
コントローラ２２は、同じく、右眼の像の長径ｒRmaxにおよび短径ｒRminに基づいて、右眼の角膜の方向（τR，φR）を決定する。
＜物点の位置の算出＞
コントローラ２２は、左角膜中心位置ＣLおよび右角膜中心位置ＣRに基づいて、実空間における物点ＯＰの位置を算出する。
（第１例）
コントローラ２２は、図７に示すように、実空間において、左角膜中心位置ＣLから左眼の角膜の角度（τL，φL）に向かう第１直線ｌｉｎｅ１を示す式を算出する。コントローラ２２は、同じく、右角膜中心位置ＣRから右眼の角膜の角度（τR，φR）に向かう第２直線ｌｉｎｅ２を算出する。コントローラ２２は、第１直線ｌｉｎｅ１および第２直線ｌｉｎｅ２の交点を物点ＯＰの位置として算出する。コントローラ２２は、物点ＯＰの位置を算出すると、左眼および右眼の中点から物点ＯＰまでの距離を算出してよい。
（第２例）
コントローラ２２は、図３に示すような、撮像画像における、左眼の角膜の像ＣＩL内に含まれる物点の像ＯＰILの位置と、右眼の角膜の像ＣＩR内に含まれる物点の像ＯＰIRの位置に基づいて、実空間における物点ＯＰの位置を算出する。
具体的には、コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL内の物点の像ＯＰILを抽出する。図３に示す例では、左眼の角膜の像ＣＩL内の物点の像ＯＰILは、図１に示す直方体の物体の１つの角を構成する物点ＯＰからの光が投影された左眼の角膜内の物点の像ＯＰELを撮像装置１が撮像して生成した撮像画像内の物点の像である。コントローラ２２は、パターンマッチング、エッジ検出による特徴点の抽出等、任意の方法により、左眼の角膜の像ＣＩL全体から、物点の像ＯＰILを抽出する。コントローラ２２は、同じく、右眼の角膜の像ＣＩR全体から、物点の像ＯＰIRを抽出する。
コントローラ２２は、撮像画像に基づいて、実空間における撮像面１２１上の左眼の角膜の像ＣＩL内の物点の像ＯＰILの位置（左結像位置）Ｐ1と、右眼の角膜の像ＣＩR内の物点の像ＯＰIRの位置（右結像位置）Ｐ2とを算出する。Ｐ1およびＰ2それぞれは、上述した実空間における原点からの距離および方向を表すベクトルである。
コントローラ２２は、左結像位置Ｐ1を算出すると、実空間における左眼の角膜内に投影されている物点の像ＯＰELの投影位置（左投影位置）ＳP Lを算出する。具体的には、撮像画像における中心位置の座標を（Ｏｘ，Ｏｙ）とし、左結像位置Ｐ1の座標を（ｕ，ｖ）とし、左投影位置ＳP Lの実空間における撮像装置の瞳を原点とする座標（ｘ、ｙ、ｚ）とする。コントローラ２２は、上述のように算出した、撮像装置の瞳から左角膜中心位置ＣLまでの距離ｄLをｚとする。撮像面１２１と左角膜中心位置ＣＬまでの距離に対して、左投影位置ＳP Lから左角膜中心位置ＣLまでの距離は非常に小さいため、距離ｚは、撮像面１２１から左角膜中心位置ＣLまでの距離と近似されうる。
コントローラ２２は、ｘおよびｙをそれぞれ式（３）および式（４）により算出する。
ｘ＝（ｚ／ｆ）×（ｕ－Ｏｘ） 式（３）
ｙ＝（ｚ／ｆ）×（ｖ－Ｏｙ） 式（４）
コントローラ２２は、実空間における、右眼の角膜内に投影されている物点の像ＯＰERの投影位置（右投影位置）ＳP Rを算出する。具体的には、図８に示すように、コントローラ２２は、左眼の角膜内における左投影位置ＳP Lと、左角膜中心位置ＣLおよび右角膜中心位置ＣRとを通る平面であるエピポーラ平面を算出する。コントローラ２２は、エピポーラ平面に基づいて、実空間における、右投影位置ＳP Rを算出する。さらに具体的には、コントローラ２２は、右眼の角膜と、エピポーラ平面との交差線ＣＬｉｎｅを算出する。コントローラ２２は、撮像画像の右眼の角膜の像ＣＩR内における、交差線ＣＬｉｎｅに対応する線ＣＬｉｎｅ’上を探索することにより、物点の像ＯＰIRを抽出する。コントローラ２２は、撮像画像内の物点の像ＯＰIRの位置に基づいて右投影位置ＳP Rを算出する。
コントローラ２２は、左投影位置ＳP Lと、右投影位置ＳP Rと、左結像位置Ｐ1と、右結像位置Ｐ2とに基づいて、物点の位置を算出する。この方法について、図９を参照して説明する。
コントローラ２２は、左投影位置ＳP Lにおける法線方向を示す単位ベクトルである法線ベクトルｎ1を算出する。具体的には、コントローラ２２は、左眼中心位置ＥLから左投影位置ＳP Lに向かう方向の単位ベクトルを法線ベクトルｎ1として算出する。左眼中心位置ＥLは、既に算出された左角膜中心位置ＣLおよび左眼の角膜の方向ａ1に基づいて算出されうる。コントローラ２２は、左投影位置ＳP Lから左結像位置Ｐ1に向かうベクトルｒ1を算出する。
上述したように、物点ＯＰは、左眼の角膜に投影され、さらに、左眼の角膜に投影された物点の像ＯＰELの像ＯＰILが撮像装置１の撮像面１２１に形成する。そのため、物点ＯＰから左投影位置ＳP Lに向かう単位ベクトルｖｓ1と、左投影位置ＳP Lにおける法線ベクトルｎ1とのなす角は、左投影位置ＳP Lから撮像面１２１上の物点の像ＯＰILに向かう方向と、法線ベクトルｎ1とのなす角と同じである。したがって、コントローラ２２は、法線ベクトルｎ1と、左投影位置ＳP Lから左結像位置Ｐ1に向かうベクトルｒ1とに基づいて、物点ＯＰから左投影位置ＳP Lまでの方向に向かう単位ベクトルｖｓ1を算出しうる。
コントローラ２２は、同じく、右投影位置ＳP Rと、右結像位置Ｐ2と、右角膜中心位置ＣRとに基づいて、物点ＯＰから右投影位置ＳP Rに向かう単位ベクトルｖｓ2を算出する。
左結像位置Ｐ1は、式（５）で表される。式（５）において、ｓ1は、物点ＯＰから左投影位置ＳP Lまでの距離を示すスカラー量である。Ｐ1、ｖｓ1、およびｒ1はそれぞれベクトルであるため、式（５）に示される演算はベクトル演算である。
Ｐ1＝ｓ1×ｖｓ1＋ｒ1 式（５）
右結像位置Ｐ2は、式（６）で表される。Ｐ2は、所定の原点からの距離および方向を表すベクトルである。式（６）において、ｓ2は、物点ＯＰから左投影位置ＳP Lまでの距離を示すスカラー量である。Ｐ2、ｖｓ2、およびｒ2はそれぞれベクトルであるため、式（６）に示される演算はベクトル演算である。
Ｐ2＝ｓ2×ｖｓ2＋ｒ2 式（６）
左眼の角膜内に投影された物点ＯＰの像ＯＰELは直交射影によりに撮像面１２１に像を形成する。そのため、Ｐ1、Ｐ2、ｒ1、およびｒ2の間には式（７）および（８）で表される関係が成立する。
（Ｐ1－Ｐ2）・ｒ1＝０ 式（７）
（Ｐ1－Ｐ2）・ｒ2＝０ 式（８）
コントローラ２２は、上述したように算出したｖｓ1、ｖｓ2、ｒ1、およびｒ2を式（５）から式（８）に代入することによって、距離ｓ1および距離ｓ2を算出しうる。
距離ｓ1および距離ｓ2が算出されると、コントローラ２２は、左投影位置ＳP Lから単位ベクトルｖｓ1の逆方向に距離ｓ1であり、右投影位置ＳP Rから単位ベクトルｖｓ2の逆方向に距離ｓ2である位置を物点ＯＰの位置として算出する。コントローラ２２は、物点ＯＰの位置を算出すると、左眼および右眼の中点から物点ＯＰまでの距離を算出してよい。
次に、コントローラ２２が第１例を用いて実行する処理について、図１０を参照して詳細に説明する。
＜第１例を利用した処理＞
まず、コントローラ２２は、撮像装置１に撮像画像を生成させる（ステップＳ１１）。
コントローラ２２は、撮像装置１によって生成され、第２通信モジュール２１によって受信された撮像画像を取得する（ステップＳ１２）。
コントローラ２２は、撮像画像から、左眼の角膜の像ＣＩLが一部を形成する楕円形を抽出する（ステップＳ１３）。
コントローラ２２は、ステップＳ１３で抽出された楕円形の長径ｒLmax、短径ｒLmin、および長径ｒLmaxの方向と画像眼間方向とのなす角度である角度φLを判定する（ステップＳ１４）。
コントローラ２２は、撮像装置１の焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmax、および左眼の角膜の半径ｒLに基づいて、撮像装置１の瞳から左角膜中心位置ＣLまでの距離ｄLを算出する（ステップＳ１５）。
コントローラ２２は、実空間における撮像装置１の位置、焦点距離ｆ、および距離ｄLに基づいて、実空間における左角膜中心位置ＣLを算出する（ステップＳ１６）。
コントローラ２２は、楕円形の長径ｒLmaxおよび短径ｒLminに基づいて、左眼の角膜の方向ａ1の左眼基準方向ａ0に対する角度τLを算出し、角度φLおよび角度τLによって定まる方向を左眼の角膜の方向と決定する（ステップＳ１７）。
コントローラ２２は、撮像画像から、右眼の角膜の像ＣＩRが一部を形成する楕円形を抽出する（ステップＳ１８）。
コントローラ２２は、ステップＳ１７で抽出された楕円形の長径ｒRmax、短径ｒRmin、および長径ｒRmaxの方向と画像眼間方向とのなす角度である角度φRを判定する（ステップＳ１９）。
コントローラ２２は、焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒRmax、および左眼の角膜の半径ｒRに基づいて、撮像装置１の瞳から右角膜中心位置ＣRまでの距離ｄRを算出する（ステップＳ２０）。
コントローラ２２は、実空間における撮像装置１の位置、焦点距離ｆ、および距離ｄRに基づいて、右角膜中心位置ＣRを算出する（ステップＳ２１）。
コントローラ２２は、楕円形の長径ｒRmaxおよび短径ｒRminに基づいて、右眼の角膜の方向ｂ1の右基準方向ｂ0に対する角度τRを算出し、角度φRおよび角度τRによって定まる方向を右眼の角膜の方向と決定する（ステップＳ２２）。
コントローラ２２は、左角膜中心位置ＣLから左眼の角膜の角度（τL，φL）に向かう第１直線ｌｉｎｅ１を示す式を算出する（ステップＳ２３）。
コントローラ２２は、右角膜中心位置ＣRから右眼の角膜の角度（τR，φR）に向かう第２直線ｌｉｎｅ２を算出する（ステップＳ２４）。
コントローラ２２は、第１直線ｌｉｎｅ１および第２直線ｌｉｎｅ２の交点を物点ＯＰの位置として算出する（ステップＳ２５）。
＜第２例を利用した処理＞
次に、コントローラ２２が第２例を用いて実行する処理について、図１１を参照して詳細に説明する。
コントローラ２２が実行するステップＳ３１からステップＳ３６は、第１例を利用した処理におけるステップＳ１１からステップＳ１６までと同じである。コントローラ２２が実行するステップＳ３７からステップＳ４０は、第１例を利用した処理におけるステップＳ１８からステップＳ２１までと同じである。
コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL内の物点の像ＯＰILを抽出し、物点の像ＯＰILに対応する撮像面１２１上の左結像位置Ｐ1を算出する（ステップＳ４１）。
コントローラ２２は、左結像位置Ｐ1、焦点距離ｆ、および左角膜中心位置ＣLに基づいて左投影位置ＳP Lを算出する（ステップＳ４２）。
コントローラ２２は、右眼の角膜の像ＣＩR内の物点の像ＯＰIRを抽出し、物点の像ＯＰILに対応する撮像面１２１上の右結像位置Ｐ2を算出する（ステップＳ４３）。ここで、コントローラ２２は、左眼の角膜内における左投影位置ＳP Lと、左角膜中心位置ＣLおよび右角膜中心位置ＣRを通る平面であるエピポーラ平面を算出してもよい。このような構成において、コントローラ２２は、エピポーラ平面と右眼の角膜の交差線ＣＬｉｎｅに対応する、右眼の角膜の像ＣＩR内の線ＣＬｉｎｅ’上から物点の像ＯＰIRを抽出しうる。
コントローラ２２は、右結像位置Ｐ2に基づいて、撮像装置１の撮像面１２１および焦点距離ｆ、ならびに右角膜中心位置ＣRを用いて右投影位置ＳP Rを算出する（ステップＳ４４）。
コントローラ２２は、左投影位置ＳP L、左投影位置ＳP Lにおける左眼の角膜の接平面の法線ベクトルｎ1、左結像位置Ｐ1に基づいて、左投影位置ＳP Lから物点ＯＰまでの距離ｓ1を算出する（ステップＳ４５）。
コントローラ２２は、右投影位置ＳP R、右投影位置ＳP Rにおける右眼の角膜の接平面の法線ベクトルｎ2、右結像位置Ｐ2に基づいて、右投影位置ＳP Rから物点ＯＰまでの距離ｓ2を算出する（ステップＳ４６）。
コントローラ２２は、左投影位置ＳP Lから法線ベクトルｎ1と反対方向に距離ｓ1であり、右投影位置ＳP Rから法線ベクトルｎ2と反対方向に距離ｓ2である位置を物点ＯＰの位置として算出する（ステップＳ４７）。
第１の実施形態に係るコントローラ２２として、コンピュータ等の情報処理装置が採用可能である。このような情報処理装置は、第１の実施形態に係るコントローラ２２の各機能を実現する処理内容を記述したプログラムを、コンピュータ読み取り可能な記録媒体に記録し、プロセッサによって当該プログラムを読み出して実行させることで実現可能である。
以上説明したように、第１の実施形態では、コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL、および右眼の角膜の像ＣＩRに基づいて、実空間における物点の位置を判定する。このため、コントローラ２２は、複数の撮像装置によってそれぞれ生成された撮像画像を用いずに、物点の位置を判定することができる。したがって、複数の撮像装置を設けることに要する費用が低減されうる。複数の撮像装置の設置位置の関係を正確に保つために較正する手間が低減されうる。
第１の実施形態では、コントローラ２２は、左眼の角膜の像ＣＩL内の物点の像の位置に基づいて、左眼に投影された物点の左投影位置ＳP Lを判定する。コントローラ２２は、左角膜中心位置ＣL、右角膜中心位置ＣR、左投影位置ＳP Lを含むエピポーラ平面と右眼の角膜の交差線ＣＬｉｎｅに基づいて、右眼の角膜の像ＣＩR内から物点の像を検出する。したがって、コントローラ２２は、撮像画像の右眼の角膜の像ＣＩR全体からではなく、交差線ＣＬｉｎｅに基づく線ＣＬｉｎｅ’上から物点を検出することができる。したがって、コントローラ２２が右眼の角膜の像ＣＩR内から物点の像を検出するための負荷が低減されうる。
本開示の第２の実施形態にかかる表示システム２００は、図１２に示すように、移動体２０に搭載されうる。
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
表示システム２００は、撮像装置１と、位置判定装置２と、ＨＵＤ３と、を備える。撮像装置１は、第１の実施形態の撮像装置１と同じである。位置判定装置２は、ＨＵＤ３と通信する点で、第１の実施形態の位置判定装置２とは異なるが、その他の点では同じである。位置判定装置２は、実空間における物点ＯＰの位置をＨＵＤ３に送信する。物点ＯＰの位置とは、利用者が各時点で目視しているもの、例えば、道路標識、前方車両、歩行者、道路上の障害物等に含まれる特徴点の位置である。物点ＯＰは、左眼および右眼の角膜方向付近に位置する。
ＨＵＤ３は、利用者の眼に画像を虚像として投影する。ＨＵＤ３は、利用者が視認する虚像までの見かけ上の距離を調整できるものとする。ＨＵＤ３は、利用者の眼が位置判定装置２によって判定された物点ＯＰの位置に関連する位置に虚像を視認するように虚像を表示しうる。物点ＯＰの位置に関連する位置とは、利用者から見て物点ＯＰまでの距離と近い距離の位置を含む。ＨＵＤ３は、１つ以上の反射器３１と、光学部材３２と、表示装置３３とを含みうる。
反射器３１は、表示装置３３から射出された画像光を、光学部材３２の所定領域に向けて反射させる。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材３２に対する利用者の眼の方向、および光学部材３２への画像光の入射方向によって定まりうる。
反射器３１は、１つ以上のミラーであってよい。反射器３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、反射器３１は、１つのミラーとして表示している。しかし、反射器３１は、これに限られず、２つ以上のミラーを組み合わせて構成してよい。
光学部材３２は、表示装置３３から射出され、１つ以上の反射器３１によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させる。例えば、移動体２０のウインドシールドは、光学部材３２として兼用されてよい。したがって、ＨＵＤ３は、光路Ｌに沿って、表示装置３３から射出された画像光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した画像光によって表示装置３３に表示された画像を虚像として視認しうる。
表示装置３３は、液晶パネル等の表示素子を含んで構成される。表示装置３３は、左右の眼に視差を与えるように構成された表示装置を用いることができる。
表示装置３３は、利用者の眼が位置判定装置２によって判定された前記物点ＯＰの位置に関連する位置に、表示装置３３により表示される画像の虚像を視認するように画像を表示する。物点ＯＰに関連する位置は、利用者が物点ＯＰを視認している状態から、虚像を視認するために、眼の焦点距離を変更する負荷を感じにくい程度に、物点ＯＰから近い位置である。物点ＯＰに関連する位置は、例えば、利用者の視野内で物点ＯＰに重なる位置であってよい。物点ＯＰに関連する位置は、物点ＯＰから所定範囲内の位置であってよい。
ＨＵＤ３は、虚像までの距離を含む虚像の表示位置を調整するために、位置判定装置２により判定される物点ＯＰの位置に従って、反射器３１および表示装置３３の表示素子の相対位置が調整可能に構成されてよい。また、表示装置３３が左右の眼に視差を与えるように構成された表示装置の場合、表示装置３３は、位置判定装置２により判定される物点ＯＰの位置に従って、視差量を調整するように構成されてよい。
表示装置３３が表示する画像は、物点ＯＰに関連する情報または関連しない情報を表示しうる。表示装置３３が表示する画像が、物点ＯＰに関する情報を示す画像の場合、例えば、画像は、物点ＯＰが存在することを利用者に警告するための画像であってよい。例えば、画像は、移動体２０から物点ＯＰまでの距離を示すための画像であってよい。画像が移動体２０から物点ＯＰまでの距離を示すための画像である構成において、例えば、位置判定装置２が、利用者の眼の位置と、移動体２０の前端部の位置との関係に基づいて移動体２０から物点ＯＰまでの距離を算出しうる。そして、表示装置３３は、位置判定装置２によって算出された移動体２０から物点ＯＰまでの距離を受信して、該距離を示す画像を表示してよい。
第２の実施形態に係るコントローラ２２として、コンピュータ等の情報処理装置が採用可能である。このような情報処理装置は、第２の実施形態に係るコントローラ２２の各機能を実現する処理内容を記述したプログラムを、コンピュータ読み取り可能な記録媒体に記録し、プロセッサによって当該プログラムを読み出して実行させることで実現可能である。
第２の実施形態によれば、第１の実施形態と同様に、複数の撮像装置を設けることに要する費用が低減されうる。複数の撮像装置の設置位置の関係を正確に保つために較正する手間が低減されうる。
第２の実施形態によれば、表示システム２００は、利用者が物点ＯＰに関連する位置に虚像を視認するように虚像を表示する。したがって、表示システム２００は、利用者が物点ＯＰを視認している状態から虚像を視認している状態となるために、眼の焦点距離を変更する負荷を該利用者に感じにくくさせうる。したがって、利用者の眼の疲れが軽減されうる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
上述の実施形態の第２例において、コントローラ２２は、左眼の角膜の像ＣＩL内の物点の位置を抽出してから、左眼の角膜内における物点の像ＯＰELの位置と、左角膜中心位置ＣLと、右角膜中心位置ＣRとの３点を含む平面をエピポーラ平面として算出した。しかし、エピポーラ平面の算出方法は、この限りではない。例えば、コントローラ２２は、右眼の角膜の像ＣＩR内の物点の像ＯＰILの位置を抽出してから、右眼の角膜内における物点の像ＯＰERの位置と、左角膜中心位置ＣLと、右角膜中心位置ＣRとの３点を含む平面をエピポーラ平面として算出してもよい。
上述の実施形態の第２例において、コントローラ２２は、エピポーラ平面を算出しなくてもよい。このような構成において、コントローラ２２は、左眼および右眼それぞれの角膜の像全体から、それぞれ物点の像ＯＰILおよびＯＰIRを抽出してよい。
上述の実施形態において、コントローラ２２は、ステップＳ１３からＳ１７を行った後にステップＳ１８からＳ２２を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ１８からステップＳ２２を行った後に、ステップＳ１３からＳ１７を行ってよい。コントローラ２２は、ステップＳ１３からＳ１７とステップＳ１８からＳ２２とを並列に行ってもよい。
上述の実施形態において、コントローラ２２は、ステップＳ２３を行った後にステップＳ２４を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ２４を行った後にステップＳ２３を行ってもよい。コントローラ２２は、ステップＳ２３とステップＳ２４とを並列に行ってもよい。
上述の実施形態において、コントローラ２２は、ステップＳ３３からＳ３６を行った後にステップＳ３７からＳ４０を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ３７からＳ４０を行った後に、ステップＳ３３からＳ３６を行ってよい。コントローラ２２は、ステップステップＳ３３からＳ３６とステップＳＳ３７からＳ４０とを並列に行ってもよい。
上述の実施形態において、コントローラ２２は、ステップＳ４１およびＳ４２を行った後にステップＳ４３およびＳ４４を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ４３およびＳ４４を行った後に、ステップＳ４１およびＳ４２を行ってよい。コントローラ２２は、ステップＳ４１およびＳ４２とステップＳ４３およびＳ４４とを並列に行ってもよい。
上述の実施形態において、コントローラ２２は、ステップＳ４５を行った後にステップＳ４６を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ４６を行った後にステップＳ４５を行ってもよい。コントローラ２２は、ステップＳ４５とステップＳ４６とを並列に行ってもよい。
１ 撮像装置
２ 位置判定装置
３ ＨＵＤ
１１ 撮像光学系
１２ 撮像素子
１３ 第１通信モジュール
２０ 移動体
２１ 第２通信モジュール
２２ コントローラ
３１ 反射器
３２ 光学部材
３３ 表示装置
１００ 位置判定システム
１２１ 撮像面
２００ 表示システム
ｄ 視差
ＯＰ 物点
ＯＰIL 左眼の角膜の像内の物点の像
ＯＰIR 右眼の角膜の像内の物点の像
ＯＰEL 左眼の角膜内の物点の像
ＯＰER 右眼の角膜内の物点の像
Ｐ1 左眼の角膜の像内の物点の像の位置
Ｐ2 右眼の角膜の像内の物点の像の位置
ｓ1 物点ＯＰから投影位置ＳP Lまでの長さ
ｓ2 物点ＯＰから投影位置ＳP Rまでの長さ
ＳP L 左投影位置
ＳP R 右投影位置
ｖｓ1 物点ＯＰから投影位置ＳP Lに向かう方向の単位ベクトル
ｖｓ2 物点ＯＰから投影位置ＳP Rに向かう方向の単位ベクトル

Claims (10)

  1. 撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する、コントローラであって、
    前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
    前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、
    前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、コントローラ。
  2. 前記第１眼の角膜の中心における接平面の法線方向である第１角膜方向を判定し、前記第２眼の角膜の中心における接平面の法線方向である第２角膜方向を判定し、
    前記第１角膜中心位置から前記第１角膜方向に向かう第１直線と、前記第２角膜中心位置から前記第２角膜方向に向かう第２直線との交点を、前記物点の位置と判定する、請求項１に記載のコントローラ。
  3. 前記実空間における前記撮像装置の撮像面の位置、前記撮像画像における前記第１眼および前記第２眼それぞれの角膜の像内の物点の像の位置、および前記撮像装置の焦点距離に基づいて、前記物点の位置を判定する、請求項１に記載のコントローラ。
  4. 前記第１眼の角膜の像の一部が形成する楕円形の長径および短径に基づいて、第１角膜中心位置を判定する、請求項１から３のいずれか一項に記載のコントローラ。
  5. 物点を視認している利用者の第１眼および第２眼を含む撮像画像から前記第１眼の角膜の像および前記第２眼の角膜の像を抽出し、
    前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、
    前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
    前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、
    前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、コントローラ。
  6. 撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、
    前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラであって、
    前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
    前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、
    前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、コントローラと、
    を備える位置判定装置。
  7. 撮像装置と、
    前記撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラであって、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、コントローラと、を含む位置判定装置と、
    を備える位置判定システム。
  8. 撮像装置と、
    前記撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラであって、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、コントローラと、を有する位置判定装置と、
    前記コントローラによって判定された前記物点の位置に基づいて、利用者の眼が前記物点の位置に関連する位置で視認する虚像を表示するヘッドアップディスプレイと、
    を備える表示システム。
  9. コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムであって、
    前記コントローラが、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
    前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、
    前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出するためのプログラム。
  10. コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、前記コントローラが、前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
    前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の投影位置を判定し、
    前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出するためのプログラムである、コンピュータ読み取り可能な記録媒体。
JP2018208358A 2018-11-05 2018-11-05 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 Active JP7173836B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018208358A JP7173836B2 (ja) 2018-11-05 2018-11-05 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
US17/290,980 US11551375B2 (en) 2018-11-05 2019-10-28 Controller, position determination device, position determination system, and display system for determining a position of an object point in a real space based on cornea images of a first eye and a second eye of a user in captured image
CN201980073713.1A CN112955933B (zh) 2018-11-05 2019-10-28 控制器、位置判定装置、位置判定系统、显示系统、程序以及记录介质
PCT/JP2019/042204 WO2020095747A1 (ja) 2018-11-05 2019-10-28 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体。
EP19881108.5A EP3879491A4 (en) 2018-11-05 2019-10-28 CONTROL UNIT, POSITION DETECTION DEVICE, POSITION DETERMINATION SYSTEM, DISPLAY SYSTEM, PROGRAM AND RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018208358A JP7173836B2 (ja) 2018-11-05 2018-11-05 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2020077055A JP2020077055A (ja) 2020-05-21
JP7173836B2 true JP7173836B2 (ja) 2022-11-16

Family

ID=70611302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018208358A Active JP7173836B2 (ja) 2018-11-05 2018-11-05 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体

Country Status (5)

Country Link
US (1) US11551375B2 (ja)
EP (1) EP3879491A4 (ja)
JP (1) JP7173836B2 (ja)
CN (1) CN112955933B (ja)
WO (1) WO2020095747A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309291A (ja) 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
WO2016031666A1 (ja) 2014-08-29 2016-03-03 アルプス電気株式会社 視線検出装置
JP2016122380A (ja) 2014-12-25 2016-07-07 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
WO2018000020A1 (en) 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2831546B2 (ja) * 1993-10-08 1998-12-02 株式会社コーナン 角膜撮影位置表示方法およびその装置
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
WO2011117776A1 (en) * 2010-03-22 2011-09-29 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer
US9268024B1 (en) * 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
JP2014188322A (ja) * 2013-03-28 2014-10-06 Panasonic Corp 視線検出装置、視線検出方法及びプログラム
KR101909006B1 (ko) * 2014-07-24 2018-10-17 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램
US10360462B2 (en) 2015-06-24 2019-07-23 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method
JP6334477B2 (ja) * 2015-08-24 2018-05-30 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
JP6631951B2 (ja) * 2015-12-18 2020-01-15 国立大学法人静岡大学 視線検出装置及び視線検出方法
JP6485819B2 (ja) * 2016-07-27 2019-03-20 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309291A (ja) 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
WO2016031666A1 (ja) 2014-08-29 2016-03-03 アルプス電気株式会社 視線検出装置
JP2016122380A (ja) 2014-12-25 2016-07-07 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
WO2018000020A1 (en) 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking

Also Published As

Publication number Publication date
WO2020095747A1 (ja) 2020-05-14
US11551375B2 (en) 2023-01-10
EP3879491A1 (en) 2021-09-15
JP2020077055A (ja) 2020-05-21
US20220036582A1 (en) 2022-02-03
EP3879491A4 (en) 2022-12-07
CN112955933B (zh) 2024-05-24
CN112955933A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
JP2013024662A (ja) ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
JP7207954B2 (ja) ３次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
JP6688212B2 (ja) 画像投影装置、画像表示装置、および移動体
JP2022159732A (ja) 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体
JP7173836B2 (ja) コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
WO2022131137A1 (ja) ３次元表示装置、画像表示システムおよび移動体
US11782270B2 (en) Head-up display, head-up display system, and mobile body
WO2021232222A1 (zh) 用于测距的方法和装置
JP7141975B2 (ja) 画像表示モジュール、画像表示システム、移動体、画像表示方法及び画像表示プログラム
WO2021201161A1 (ja) 検出装置および画像表示モジュール
JP7466687B2 (ja) 検出装置および画像表示システム
JP7536590B2 (ja) 検出装置および画像表示モジュール
JP6665077B2 (ja) 画像投影装置、画像表示装置、および移動体
EP4145213A1 (en) Image display system
JP7250582B2 (ja) 画像表示モジュール、移動体、及び光学系
JP7332764B2 (ja) 画像表示モジュール
CN115665400B (zh) 增强现实抬头显示成像方法、装置、设备以及存储介质
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R150 Certificate of patent or registration of utility model

Ref document number: 7173836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150