JP6371849B2 - 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム - Google Patents

Description

本発明は、画像の位置合わせ（レジストレーション（registration）、アライメント（alignment））のための装置に関する。

特許文献１には、被験者が注視している点（注視点）および同被験者の個人パラメータを推定する装置が記載されている。該装置は、被験者の眼球の像が含まれる画像（眼球画像）を取得し、当該眼球画像から、眼球の姿勢（すなわち眼球の光軸の方向）を推定するとともに、被験者の視線の方向（注視の方向）を推定する。そして、該装置は、眼球の光軸の方向と視線の方向との間のずれ量を個人パラメータとして定量化する。

国際公開第２０１４／０２１１６９号パンフレット

眼球を撮像して得られる画像（眼球画像）には一般に、眼球の角膜で鏡面反射した光の像（角膜表面反射像）が含まれる。当該角膜表面反射像は、被験者が実際に見ている光景と対応している。このことを利用して、例えば、そのような角膜表面反射像を含む眼球画像と、被験者周囲の風景の画像（シーン画像）とを用いて、被験者が目にした光景を復元しようとする試みが近年活発に行われている。このような研究およびその成果から派生する種々のアプリケーションにおいては、眼球画像と、眼球画像とは別に被験者の周囲の風景を撮像して取得されるシーン画像との位置合わせ（レジストレーション）は極めて重要な技術である。

しかしながら、角膜表面反射像に多くのノイズ成分が含まれるため、眼球画像とシーン画像との位置合わせ（レジストレーション、アライメント）をロバストに行うことは、困難であった。

本発明は、例えば眼球画像とシーン画像のような、２つまたはそれ以上の画像間で相互の位置合わせ（レジストレーション、アライメント）をロバストに行うことができる装置を提供する。

本発明の一態様は、
第１画像のデータおよび第２画像のデータを取得する取得部と、
第１画像のデータおよび第２画像のデータを格納する記憶部と、
第１画像を球面光線マップへ移す写像である第１写像と、第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
第１画像中の一点と、当該一点と対応する第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
球面光線マップにおける第１画像の像と、球面光線マップにおける第２画像の像とを位置整合させる回転写像を、対応点対を構成する第１画像中の一点の位置および局所特徴量、ならびに、対応点対を構成する第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
第１写像と、回転写像と、第２写像と、に基づいて、記憶部に格納された第１画像のデータを、記憶部に格納された第２画像のデータに対して位置合わせして第２画像に対して位置合わせされた第１画像のデータを生成するレジストレーション部と、を有する画像位置合わせ装置である。

本発明の実施形態による画像位置合わせ装置は、２つまたはそれ以上の画像間で相互の位置合わせ（レジストレーション、アライメント）をロバストに行うことができる。

アイ・カメラおよびシーン・カメラの配置例を示す図 アイ・カメラが撮像した眼球画像の例（ａ）、および、シーン・カメラが撮像したシーン画像の例（ｂ）を示す図 実施形態による画像位置合わせ方法の概略を示す図 実施形態による画像位置合わせ装置の構成を示すブロック図 画像位置合わせ装置が実行する画像位置合わせの処理の流れを示すフローチャート 取得した眼球画像およびシーン画像、ならびに、左右反転を施した眼球画像の例を示す図 弱透視投影モデルを用いた眼球姿勢推定の方法を説明する図 眼球画像およびシーン画像における初期対応点対の例を示す図 眼球画像およびシーン画像における複数組の初期対応点対の例を示す図 図５のステップＳ５での処理（ＲＡＮＲＥＳＡＣ処理）の詳細を示すフローチャート 第ｉ組の初期対応点対を示す図 眼球画像において副次的対応点をランダムにプロットした例を示す図 第ｉ組の初期対応点対での対応関係に従って導出されたワーピング関数に基づいて、眼球画像上にランダムにプロットされた副次的対応点に対応するシーン画像上の副次的対応点をプロットした例を示す図 レジストレーションされた眼球画像の例、および、ファイン・レジストレーション（微調整）の実行の例を示す図 実施形態による位置合わせ装置を用いた応用例（視点推定）を示す図 実施形態による位置合わせ装置を用いた応用例（周辺視野推定）を示す図 実施形態による位置合わせ装置を用いた応用例（虹彩認証用画像の生成）を示す図

１．発明に至った経緯
図１に示すようなシステムを例に挙げ、本発明に至った経緯を説明する。同図のシステムは、被験者の眼球２０（のうち、主として角膜２１）を撮像するアイ・カメラ９１１ｅと、被験者が見ている光景（シーン）を撮像する（撮像の方向が被験者の視線方向と略一致するように設置されている）シーン・カメラ９１１ｓを有する。同システムには、図示しないコンピュータがさらに含まれ、そのコンピュータが、アイ・カメラ９１１ｅが撮像した画像（眼球画像）から被験者の視線の方向を推定するとともに、シーン・カメラ９１１ｓが撮像した画像（シーン画像）を用いて被験者が目にしている光景を高精細に復元することを試みる。

図２は、図１のシステムのアイ・カメラ９１１ｅおよびシーン・カメラ９１１ｓが撮像する眼球画像およびシーン画像の例を示す図である。図２（ａ）は、アイ・カメラ９１１ｅが撮像した被験者の眼球の画像（眼球画像）Ｉｅ９の例である。図２（ｂ）は、シーン・カメラ９１１ｓが撮像した被験者が目にした光景（シーン）の画像（シーン画像）Ｉｓ９の例である。

上記したコンピュータは、（例えば領域Ｉ９３０ｅに見られるような）角膜表面での反射光の像から、被験者が見ている光景（シーン）を推定する。そして、コンピュータは、当該シーンに対応する影像をシーン画像Ｉｓ９の例えば領域Ｉ９３０ｓから求め、この結果を踏まえて、高精細なシーン画像Ｉｓ９を用いて被験者が目にした光景を復元しようとする。

しかしながら、眼球画像Ｉｅ９を見れば、角膜表面反射像のコントラストは比較的低く、かつ、角膜表面反射像には虹彩のテクスチャＩｉｔや、まつげＩｅｌおよびまつげの影Ｉｓｅｌといったノイズが溢れている。さらに、角膜が曲面状の表面を有するために、角膜に映るシーンの影像は非線形的な歪みを受けている。そのため、従来の画像位置合わせの手法では、眼球画像Ｉｅ９と、シーン画像Ｉｓ９とをロバストに位置合わせすることは困難であった。

２．本発明の実施形態の概要
そこで、本願発明者は、以下に説明する新規な画像位置合わせのための装置および方法を提案する。まずここでは図３を参照し、本発明の実施形態による画像位置合わせ装置が実行する画像位置合わせ方法の概要を説明する。

本発明の実施形態による画像位置合わせ装置は、眼球画像Ｉｅとシーン画像Ｉｓのデータを取得して、メモリ等の記憶手段に格納する。そして、画像位置合わせ装置は、シーン画像Ｉｓ、および、眼球画像Ｉｅそれぞれを球面光線マップ（球面光線環境、Environmental Map （ＥＭ））へ移す写像（第１写像および第２写像）を決定する。ここでの「球面光線マップ」とは、画像を撮像した手段を中心として当該中心へ入射する光を所定の半径を有する球面にマッピングしたときに生成される、撮像手段を取り囲む光線環境に関するマップである。図３（ｃ）は、シーン画像Ｉｓについての球面光線マップＥＭｓの例であり、同図には、球面光線マップＥＭｓにおけるシーン画像の像が示されている。図３（ｄ）は、眼球画像Ｉｅについての球面光線マップＥＭｅの例であり、同図には、球面光線マップＥＭｅにおける眼球画像の像が示されている。ここでは、シーン画像Ｉｓを球面光線マップＥＭｓへ移す（変換する）写像（変換関数）をＡｓ（）とし、眼球画像Ｉｅの角膜表面反射像を球面光線マップＥＭｅへ移す（変換する）写像（関数）をＬ（）としている。たとえば、シーン画像Ｉｓの画素ｘ_１は、写像Ａｓにより、球面光線マップＥＭｓ上のＡｓ（ｘ_１）へ移り、眼球画像Ｉｅの画素ｘ_２は、写像Ｌにより、球面光線マップＥＭｅ上のＬ（ｘ_２）へ移る。

次に、画像位置合わせ装置は、シーン画像Ｉｓ（第１画像）と、眼球画像Ｉｅ（第２画像）（の角膜表面反射像）と、の間で、対応する特徴点のペア（以下で「初期対応点対」とも称される点対）を少なくとも一対（例えば点ｐと点ｑの一対）求める。画像位置合わせ装置は、ここでの対応点の検出のため、既存の手法（ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等）を用いることができる。ＳＩＦＴやＳＵＲＦといった既存の特徴点検出の手法では、検出された対応点対の各特徴点（点ｐ、点ｑ）それぞれについての局所特徴量として、方向（オリエンテーション）の情報（θ_ｐ、θ_ｑ）を算出することができる。画像位置合わせ装置は、このオリエンテーションの情報（θ_ｐおよびθ_ｑ）と対応点（特徴点）（点ｐ、点ｑ）の位置の情報を利用して、球面光線マップＥＭｓ上のシーン画像の像を球面光線マップＥＭｅ上の角膜表面反射像に対して位置整合させる回転写像Ｒを決定する。ここでは、球面光線マップＥＭｓと球面光線マップＥＭｅとが実質的に等しいと仮定し、故に、上述の位置整合は回転写像Ｒにより表現可能であることを仮定している。（つまり、たとえば、シーン画像Ｉｓの画素ｑ_１は、写像Ａｓにより、球面光線マップＥＭｓ上のＡｓ（ｑ）へ移り、球面光線マップＥＭｓ上のシーン画像の像の画素Ａｓ（ｑ）におけるオリエンテーションの情報は、Ａｓ’（ｑ，θ_ｑ）と表現され、眼球画像Ｉｅの画素ｐは、写像Ｌにより、球面光線マップＥＭｓと共通する球面光線マップＥＭｓ上のＬ（ｐ）へ移り、球面光線マップＥＭｅ上の眼球画像（の角膜表面反射像）の像の画素Ｌ（ｐ）におけるオリエンテーションの情報は、Ｌ’（ｐ，θ_ｐ）と表現される。）

最後に、画像位置合わせ装置は、眼球画像Ｉｅの各画素に対し、写像Ｌ（）、回転写像Ｒの逆写像Ｒ^−１、写像Ａｓ（）の逆写像Ａｓ（）^−１（図中のワーピング関数Ｗ（Ｗ＝Ａｓ（）^−１・Ｒ^−１・Ｌ（）））を適用することにより、眼球画像Ｉｅの各画素をシーン画像Ｉｓに対し位置合わせ（レジストレーション、アライメント）する。つまり、本実施形態によれば、画像位置合わせの問題は、球面光線マップ上での２つの像の位置整合の問題に帰着される。球面上の位置整合の問題へ帰着されることにより、レジストレーションに必要な、求めるべきパラメータの数が低減される、という効果が奏される。そのため、本画像位置合わせ装置は、ただ一組の初期対応点対（特徴点ｐと特徴点ｑで構成されるペア）を求めることで、位置合わせが可能となる。すなわち、本画像位置合わせ装置が実行する画像位置合わせ方法においては、ただ一組の初期対応点対（の各特徴点の位置および局所特徴量（オリエンテーション））が決定できさえすれば、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。なお、画像位置合わせ装置は、初期対応点対の検出および当該初期対応点対を構成する各点での局所特徴量（例えばオリエンテーションの情報）の算出に、上述のＳＩＦＴおよびＳＵＲＦのほかにも、ＭＳＥＲ（Maximally Stable External Regions）といった手法を用いることができる。

また、画像位置合わせ装置が、上述の「一組の初期対応点対」を決定する工程も、新規な特徴を有している。本明細書では、この、新規で特徴的な初期対応点対抽出の工程を、「ＲＡＮＲＥＳＡＣ」（RANdom RESAmple Consensus）と称する。ＲＡＮＲＥＳＡＣは、一言で言えば、二画像の複数の初期対応点対の候補から最も対応がよい一組の初期対応点対を決定して当該一組の初期対応点対に基づいて画像の位置合わせをするものである。ＲＡＮＲＥＳＡＣは、最適なただ一組の最適な初期対応点対に基づいて画像の位置合わせをする点において、位置合わせに大勢の適切な（よく対応した）対応点対を必要とするＲＡＮＳＡＣ（RANdom SAmple Consensus）と大きく相違する。なお、このＲＡＮＲＥＳＡＣが適用可能な二画像は、眼球画像とシーン画像の組み合わせに限定されない。

以下では、眼球画像（の角膜表面反射像）とシーン画像との間での画像位置合わせ（レジストレーション）を例として、本発明の実施形態による画像位置合わせ装置および方法を説明する。しかしながら、本発明は、言うまでも無いことだが、眼球画像およびシーン画像に限らず、様々な画像について相互の位置合わせ（レジストレーション、アライメント）を行うことができる。

３．画像位置合わせ装置の構成
図４は、本発明の実施形態による画像位置合わせ装置１０の構成を示す概略図である。画像位置合わせ装置１０は、被験者の眼球２０（のうち主として角膜２１）を撮像するアイ・カメラ１１ｅから画像データ（「眼球画像」のデータ）を取得するための第１映像インタフェース３ｅと、被験者が見ている光景（シーン）を撮像する（撮像の方向および画角が被験者の視線方向（眼球の光軸の方向）と略一致するように（あるいは視線方向を含むように）設置されている）シーン・カメラ１１ｓから画像データ（「シーン画像」のデータ）を取得するための第２映像インタフェース３ｓを備えている。さらに、画像位置合わせ装置１０は、第１および第２映像インタフェース３ｅ，３ｓを介して装置１０へ入力され記憶部２に格納されたシーン画像および眼球画像のデータを用いて両画像の位置合わせを行う演算部１（制御部）と、眼球画像のデータやシーン画像のデータといった各種データおよび演算部１が実行するプログラム等を格納する記憶部２を備える。なお、画像位置合わせ装置１０は、アイ・カメラ１１ｅとシーン・カメラ１１ｓとともに画像位置合わせシステムを構成する。

演算部１は、所定のプログラム（画像位置合わせプログラム）を実行することにより、 画像位置合わせ装置のマッピング部、対応点抽出部、回転写像導出部、および、レジストレーション部として動作する。

入力部５は、外部の演算装置に対するデータ・インタフェース、および、ユーザからのデータ入力を受け付けるユーザ・インタフェースを含み、ユーザ・インタフェースは、マウス、キーボードといった入力装置を含む。

なお、演算部１は、装置１０の全体の動作を制御する制御部としても動作する。当該制御動作の一つとして、演算部１はシーン・カメラ１１ｓおよびアイ・カメラ１１ｅの動作（撮像等）を制御してもよい。

演算部１は、所謂、中央処理装置（ＣＰＵ、Central Processing Unit）である。しかしながら、演算部１の構成は、ＣＰＵおよびその周辺の補助回路に限定されない。演算部１は、所定の演算処理に特化したＧＰＵ（Graphics Processing Unit）等でもよい。あるいは、演算部１は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルロジックデバイスや、マイクロコントローラ、といったプロセッサとして実装することも可能である。演算部１は、ＣＰＵ等の上記要素を複数組み合わせて構成されてもよく、かつ演算部１を構成する要素は上述の例に限定されるものではない。演算部１は、記憶部２に格納された画像位置合わせプログラムを実行することにより、本発明の実施形態による画像位置合わせ方法を実行することができる。また、画像位置合わせプログラムは、フレキシブル・ディスク、光ディスク、フラッシュメモリ等に記録されてよく、また、インターネット等のネットワークを介して送信されてよい。

記憶部２は、各種データおよび演算部１が実行する画像位置合わせプログラム等を格納する。記憶部２は、例えば、ＲＯＭ（Read-Only memory）およびＲＡＭ（Random Access Memory）である。記憶部２には、画像位置合わせプログラムのほか、シーン・カメラ１１ｓおよびアイ・カメラ１１ｅのカメラ内部マトリクス（camera internal matrix）が保持されている。（カメラ内部マトリクスとは、カメラ内部パラメータをその要素に含むマトリクス形式のデータである。）カメラ内部マトリクスのデータは、画像位置合わせの前に外部から記憶部２へロードして記憶部２へ格納されてもよいし、あるいは、カメラ内部マトリクスのデータは、画像位置合わせプログラムに含まれてもよい。あるいは、画像位置合わせ装置１０は、画像位置合わせの前に、演算部１（ＣＰＵ）の制御の下、シーン・カメラ１１ｓおよびアイ・カメラ１１ｅについてカメラキャリブレーションを行うことにより各々のカメラ内部マトリクスを求めてそれらを記憶部２に格納するように動作してもよい。

出力部４は、演算部１が行った画像位置合わせの結果を出力する。出力部４は、例えば、モニタディスプレイであり、あるいは、プリンタである。あるいは、出力部４は、ハードディスクやフラッシュメモリといった外部記憶装置や、ネットワークを介して接続された他のコンピュータとの接続を実現するためのインタフェース機構を備えてもよい。

４．画像位置合わせの流れ
次に、図５〜図１４を参照し、画像位置合わせ装置１０の演算部１（図４）が、画像位置合わせプログラムを実行したときに行う処理について説明する。

図５は、画像位置合わせ装置１０（図４）が実行する画像位置合わせの処理の流れを示すフローチャートである。

ステップＳ１において、演算部１（図４）は、取得部として動作して、アイ・カメラ１１ｅが撮像した眼球画像、および、シーン・カメラ１１ｓが撮像したシーン画像を取得する。図６（ａ）は、そのようにして取得されたシーン画像Ｉｓの例であり、図６（ｂ）は、同様にして取得された眼球画像Ｉｅ’の例である。取得したシーン画像Ｉｓおよび眼球画像Ｉｅ’は、記憶部２（図４）に格納される。

ステップＳ２において、演算部１（図４）は、引き続き取得部として動作して、取得した眼球画像Ｉｅを、左右方向について反転させる。これは、眼球画像Ｉｅの角膜表面反射像に含まれるシーンの向きを、シーン画像Ｉｓにおけるシーンの像の向きと一致させるためである。図６（ｃ）は、そのようにして反転された眼球画像Ｉｓの例である。反転された眼球画像Ｉｓは、記憶部２（図４）に格納される。以降、演算部１は、反転された眼球画像Ｉｓを用いて処理を行う。なお、画像の反転の処理は、眼球画像Ｉｅに代えて、シーン画像Ｉｓに対して施されてもよい。

ステップＳ３において、演算部１（図４）は、マッピング部として動作して、シーン画像Ｉｓを球面光線マップＥＭｓへ移す写像Ａｓ（）（図３）と、眼球画像Ｉｅ（の角膜表面反射像）を、球面光線マップＥＭｅへ移す写像Ｌ（）（図３）とを決定する。

シーン画像Ｉｓを球面光線マップＥＭｓへ移す写像Ａｓ（）（図３）は次のようにして決定される。演算部１（図４）は、記憶部２（図４）に格納されている、シーン・カメラ１１ｓの３×３カメラ内部マトリクスＫｓを読み出す。そして、演算部１は、写像Ａｓ（）を次式

に従って決定する。（ここで、ベクトルｑは、シーン画像Ｉｓ中の点（画素）を指すベクトルである。シーン画像Ｉｓ中の点ｑは、写像Ａｓ（）により、ベクトルＡｓ（ｑ）が指す球面光線マップＥＭｓ上の点に移る。）演算部１は、このようにして決定した写像Ａｓ（）（変換関数）を、記憶部２に格納する。

他方、演算部１は、次のようにして、眼球画像Ｉｅを球面光線マップＥＭｅへ移す写像Ｌ（）（図３）を決定する。

写像Ｌ（）の決定方法について、主として図７を参照して説明する。図７（ａ）は、球面（角膜球２１_ＳＰＨの表面）の一部とみなした角膜２１と、アイ・カメラ１１ｅ（原点Ｏ）と、で構成される非剛体反射屈折結像系（non-rigid catadioptric imaging system）の弱透視投影モデルである。図７（ｂ）は、原点Ｏ側から見た場合の投影面ＩＰの例図である。図７（ｃ）は、眼球の光軸方向ベクトルｇと角度φおよびτとの関係を説明する図である。この弱透視投影モデルにおいては、角膜２１は、角膜球２１_ＳＰＨを角膜縁２１_Ｌで切り取った部分球面とみなすことができる。なおここでは、角膜２１の代表寸法（半径ｒ_Ｌ、角膜縁中心Ｉと球面２１_ＳＰＨの中心Ｃと間の距離ｄ_ＬＣ）として、固定値（ヒトの平均値）を採用するものとする。

眼球の姿勢は、角膜縁中心Ｉの位置と、眼球光軸方向ｇと、で定めることができる。Ｚ_ｃａｍ軸方向に関し、角膜２１の厚さは十分に薄いと仮定すれば、ほぼ真円である角膜縁２１_Ｌは、投影面ＩＰにおいて、（真円を含む）楕円２１_ＬＰとなる。この楕円２１_ＬＰは、中心ｉ_Ｉ、長軸の長さｒ_ｍａｘ、短軸の長さｒ_ｍｉｎ、および、回転角φ、の４つのパラメータで定めることができる。角膜縁２１_Ｌの中心の位置は、投影面ＩＰにおける楕円２１_ＬＰの中心ｉ_Ｉ、および、角膜２１とカメラ（原点Ｏ）との間の距離ｄ（ｄ＝ｒ_Ｌ・ｆ／ｒ_ｍａｘ、（ｆは焦点距離））とで定めることができる。つまり、角膜２１Ｌの中心を指し示す位置ベクトルをベクトルＩとすれば、Ｉ＝ｄ・Ｋｅ^−１ｉ_Ｉと表すことができ、ここで、Ｋｅは、シーン・カメラ１１ｓの３×３カメラ内部マトリクスである。

次に、眼球光軸方向ｇ（これは、被験者の視線の方向と略一致する。）は、方向ベクトルｇ＝［ｓｉｎ（τ）ｓｉｎ（φ） −ｓｉｎ（τ）ｃｏｓ（φ） −ｃｏｓ（τ）］^Ｔと表すことができ、ここで、角度τは、アイ・カメラ１１ｅの結像面（投影面ＩＰ）に対する角膜縁２１Ｌの傾きすなわちτ＝±ａｒｃｃｏｓ（ｒ_ｍｉｎ／ｒ_ｍａｘ）であり、角度φは、同結像面に対する楕円２１_ＬＰの回転角である。（図７（ａ）から（ｃ）を参照。）

次に角膜球２１_ＳＰＨの中心Ｃの位置について考察する。角膜球２１ＳＰＨの半径ｒ_Ｃをおよそ７．７ミリメートル（ヒトの平均値）とすれば、角膜球中心Ｃは、光軸方向ｇのマイナス方向に沿って角膜縁中心Ｉからおよそ５．６ミリメートル（ｄ_ＬＣ ^２＝ｒ_Ｃ ^２−ｒ_Ｌ ^２）の位置にあることがわかる。

以上を踏まえ、眼球画像Ｉｅ（図６（ｃ））として結像される光の経路の逆経路（眼球画像Ｉｅの画素ｐから出た光が、角膜２１上の点Ｐで反射してシーン内の光源へ向かう経路）を考える。アイ・カメラ１１ｅ（図４）の３×３カメラ内部マトリクスをＫｅとすれば、アイ・カメラ１１ｅの正規化逆投影ベクトルＡｅ（ｐ）は、

と表すことができ、ここで、ベクトルｐは、眼球画像中のピクセルｐの位置ベクトルである。角膜２１上の点Ｐにおいて反射した光が、眼球画像のピクセルｐに結像するとき、点Ｐの位置ベクトルは、Ｐ＝ｔ_１×Ａｅ（ｐ）と表すことができる。角膜球２１_ＳＰＨの中心をＣとして、関係式｜｜Ｐ−Ｃ｜｜^２＝ｒ_Ｃ ^２をｔ_１について解く。

ここで、定義より、｜｜Ａｅ（ｐ）｜｜^２＝１であるから、

を得る。角膜表面における反射光に興味があるので、２つのｔ_１のうちで値が小さいほうを採る。これにより、眼球画像のピクセルｐに結像する光の、角膜２１上における反射点Ｐが定まる。以上より、眼球画像のピクセルｐに結像する光の経路のシーン中の点を示すベクトルＬ（ｐ）と、角膜表面上の点Ｐにおける法線ベクトルＮ（ｐ）は、次式、

で求めることができる。上式を用いることで、眼球画像Ｉｅの少なくとも瞳の領域の画素の影像について角膜表面で反射した光の光源の方向を特定することができる。すなわち、上式から、角膜表面反射像についての球面光線マップＥＭｅ（図３）を構成することができる。換言すれば、式（５）のＬ（）は、眼球画像Ｉｅ（図６）の角膜表面反射像を、上記非剛体反射屈折結像系についての球面光線マップに移す写像（変換関数）である。

演算部１（図４）は、マッピング部として動作して、上記式（２）から（５）に相当する演算を行うことによって、眼球画像Ｉｅの角膜表面反射像を球面光線マップＥＭｅへ移す写像Ｌ（）（図３）を決定する。当該演算に用いられる計算アルゴリズムは、画像位置合わせプログラム内に格納されている。（ここで、ベクトルｐは、眼球画像Ｉｓの角膜表面反射像中の点（画素）を指すベクトルである。眼球画像Ｉｓの角膜表面反射像中の点ｐは、写像Ｌ（）により、ベクトルＬ（ｐ）が指す球面光線マップＥＭｅ上の点に移る。）演算部１は、このようにして決定された写像Ｌ（）を、記憶部２に格納する。

図５に戻り、ステップＳ４において、演算部１は、対応点抽出部として動作して、図８および図９に示すように、シーン画像Ｉｓ（図６（ａ））および眼球画像Ｉｅ（図６（ｃ））において回転・スケール不変な特徴点（ＬＰ_ｓ１およびＬＰ_ｅ１等）を検出し、それら特徴点それぞれの局所特徴量を算出する。特徴点の検出および局所特徴量の算出は、例えばＳＩＦＴに従えばよい。特徴点の検出および局所特徴量の算出に必要なアルゴリズムは、記憶部２に格納された画像位置合わせプログラム内に格納されている。例えば、ＳＩＦＴ特徴量を用いる場合、演算部１が算出する局所特徴量は、１．位置の情報（ベクトルｘ）、２．オリエンテーションの情報（θ^ｘ）、３．特徴ベクトル（ベクトルＦ（ｘ））、４．スケールパラメータ（ｓ^ｘ）の４つの成分で構成される。したがって局所特徴量は、眼球画像Ｉｅのｉ番目の特徴点ｐについて

｛ｐ_ｉ，Ｆ（ｐ_ｉ），θ_ｉ ^ｐ，ｓ_ｉ ^ｐ｝、シーン画像Ｉｓのｉ番目の特徴点ｑについて

｛ｑ_ｉ，Ｆ（ｑ_ｉ），θ_ｉ ^ｑ，ｓ_ｉ ^ｑ｝と表現することができる。演算部１は、検出した特徴点の位置および局所特徴量を記憶部２に格納する。

次に演算部１は、引き続き対応点抽出部として動作して、ＳＩＦＴ等に従って検出した特徴点および算出した局所特徴量に基づき、シーン画像Ｉｓ中の特徴点（ＬＰ_ｓ１等）と、眼球画像Ｉｅ中の特徴点（ＬＰ_ｓ１等）との対応点マッチング（ＣＰ１等）を行う。図８は、１番目の初期対応点対ＣＰ１を例示する。演算部１は、図９に示すように、対応点マッチングを複数回行って、複数組み（Ｍ組み）の初期対応点対（ＣＰ_１〜ＣＰ_Ｍ）を求める。そして、演算部１は、対応点（ＬＰ_ｓ１〜ＬＰ_ｓＭおよびＬＰ_ｅ１〜ＬＰ_ｅＭ）の位置、および、初期対応点対（ＣＰ_１〜ＣＰ_Ｍ）の対応関係の情報を、記憶部２に格納する。

次に、ステップＳ５において、演算部１は、ステップＳ４で求めた初期対応点対（ＣＰ_１〜ＣＰ_Ｍ）それぞれについて、各初期対応点対（ＣＰ_１、ＣＰ_２、．．．ＣＰ_Ｍ−１、または、ＣＰ_Ｍ）の対応関係に基づいて、球面光線マップＥＭｓ上でのシーン画像Ｉｓの像と、球面光線マップＥＭｅ上での眼球画像Ｉｅ（の角膜表面反射像）の像とを位置整合させる（３×３マトリクス）回転写像Ｒを次式

に従って導出し、回転写像Ｒを用いて眼球画像Ｉｅの画素をシーン画像Ｉｓの画素とレジストレーションする変換関数（ワーピング関数Ｗ）を導出する。式（６）におけるベクトルｐおよびベクトルｑは、初期対応点対（ＣＰ_１、ＣＰ_２、．．．ＣＰ_Ｍ−１、または、ＣＰ_Ｍ）を構成するシーン画像Ｉｓおよび眼球画像Ｉｅの点（ＬＰ_ｓ１、ＬＰ_ｓ２、．．．、ＬＰ_ｓＭ−１、または、ＬＰ_ｓＭ、ならびに、ＬＰ_ｅ１、ＬＰ_ｅ２、．．．、ＬＰ_ｅＭ−１、または、ＬＰ_ｅＭ）である。また、シーン・カメラ１１ｓを構成する光学系と、アイ・カメラ１１ｅおよび角膜２１で構成される結像系は、両者とも、実質的に同一な光線環境にあることを仮定している。（この仮定により、眼球画像Ｉｅとシーン画像Ｉｓのレジストレーション（ワーピング関数Ｗの導出）は、回転写像Ｒの導出に帰着される。）

演算部１は、次のように表現される計算アルゴリズムに従って回転写像Ｒを導出する。

式（１）および式（６）ならびに図３等から明らかなように、シーン画像Ｉｓのｉ番目の対応点ＬＰ_ｓｉと眼球画像Ｉｅのｉ番目の対応点ＬＰ_ｅｉで構成される初期対応点対（ＣＰ_ｉ）の対応関係に従う回転写像Ｒ_ｉは、

であり、ここで、

である。式（７）のハット記号（「＾」）は、規格化されたベクトルを表し、Ｌ’（）およびＡｓ’（）は、二次元で表されたオリエンテーションの情報を、球面光線マップにおける三次元的なオリエンテーション情報に変換する関数である。第ｉ番目の初期対応点対（ＣＰ_ｉ）の対応関係に従う回転写像Ｒ_ｉを用いれば、次式

より、第ｉ番目の初期対応点対（ＣＰ_ｉ）の対応関係に従う変換写像（ワーピング関数Ｗ_ｉ）が定まる。ワーピング関数Ｗｉは、第ｉ番目の初期対応点対（ＣＰ_ｉ）の対応関係に従って眼球画像Ｉｅの画素をシーン画像Ｉｓの画素に対してレジストレーションする写像である。演算部１は、初期対応点対（ＣＰ_１〜ＣＰ_Ｍ）と対応付けて、ワーピング関数Ｗ_ｉ（ｉ：１〜Ｍ）を記憶部２に格納する。

図５に戻り、ステップＳ６において、演算部１（図４）は、対応点対抽出部として動作して、Ｍ組みの初期対応点対それぞれの対応関係を評価し、最も高く評価された点対で構成される初期対応点対を対応点対として抽出する（「ＲＡＮＲＥＳＡＣ」処理）。より具体的には、演算部１は、ＲＡＮＲＥＳＡＣ処理においては、前記初期対応点対のうちの１組の点対の対応関係に従うように、前記第１画像および前記第２画像において複数の副次的対応点対を特定してそれら副次的対応点対の対応関係を評価することにより、上記初期対応点対の１組の点対の対応関係を評価する。そして、最も高く評価された点対で構成される初期対応点対を最適な初期対応点対として抽出する。つまり、演算部１は、ステップＳ５において初期対応点対（ＣＰ_ｉ）に応じて求めたワーピング関数Ｗ_ｉを用いて眼球画像Ｉｅおよびシーン画像Ｉｓにおいて副次的な対応点対をさらに求め、それら副次的な対応点対に関する画像相関を計算して、ワーピング関数Ｗ_ｉの正しさを評価することにより、複数の（Ｍ個）のワーピング関数Ｗ_ｉのうちから最適なワーピング関数Ｗを決定する。

図１０は、最適な初期対応点対を決定するための処理（ＲＡＮＲＥＳＡＣの処理）の詳細を示すフローチャートである。演算部１は、対応点対抽出部として動作して、図１０に示された処理を実行する。

ステップＳ６１において、演算部１は、対応点対抽出部として動作して、ｉ番目の対応点対ＣＰ_ｉ（図１１）に基づいて求めたワーピング関数Ｗｉを用いて副次的な対応点対を生成する。具体的には、演算部１は、眼球画像Ｉｅの角膜の領域を検出し、角膜の領域内でランダムにＫ個の点ＳＬＰ_ｅｉ（図１２）を設定する。そして、演算部１は、ワーピング関数Ｗｉを用いて角膜の領域内のＫ個の点ＳＬＰ_ｅｉそれぞれと対応するシーン画像Ｉｓ中の点ＳＬＰ_ｓｉ（図１３）を抽出して、Ｋ組みの副次的な対応点対を抽出する。これら副次的な対応点対は、

と表現することもでき、ここで、ベクトルｐ_ｊ ^＊は、眼球画像Ｉｅの角膜の領域内のランダムに選ばれた点を指す位置ベクトルである。

次に、ステップＳ６２において、演算部１は、対応点対抽出部として動作して、上述の副次的な対応点対のグループ（ワーピング関数Ｗ_ｉ（ｉは、所与の整数（ｉ＝１〜Ｍ））に従って求められた副次的対応点対群）について、局所的なテクスチャの相関性および方向の類似度を尺度として類似度を評価する。具体的には、演算部１は、以下の評価関数を用いて類似度を評価する。

上式の右辺第１項は、テクスチャの類似度を表し、右辺第２項は、方向の類似度を表している。同項のσ_ｔ、σ_ｏ、αは、テクスチャの相関性と方向の類似度の重みを定義する正定数である。（・，・）は、ベクトルの内積である。ｑ_ｊ ^＊は、Ｗ（ｐ_ｊ ^＊）を表す。

演算部１は、Ｍ組みの初期対応点対それぞれの副次的な対応点対のグループについて式（１０）を用いて評価を行う（ステップＳ６３）。

そして、演算部１は、ステップＳ６４において、対応点対抽出部として動作して、最も類似度が高いと評価された副次的な対応点対のグループ、すなわち、

で定まる第ｉ’番目の初期対応点対（ＣＰ_ｉ’）およびそのワーピング関数Ｗ_ｉ’を特定する。

なお、副次的な対応点対を構成する各点における局所特徴のスケール・パラメータを適切に設定することが重要である。理想的には、スケール・パラメータは、球面光線マップにおいて同じ大きさ（空間ボリューム）を占めるように調整されればよい。ここでは、次式

に従い、各画像での点（ｐ，ｑ）におけるスケール・パラメータの比率を求める。ここで、ｓ_ｉ ^ｐは、ユーザが設定した角膜表面反射像におけるスケール・パラメータであり、ｓ_ｉ ^ｑは、対応するシーン画像中の点ｑでのスケール・パラメータである。

図５に戻り、ステップＳ７において、演算部１は、レジストレーション部として動作して、ステップＳ６で決定したワーピング関数Ｗ_ｉ’を用いて、眼球画像Ｉｅ（の角膜表面反射像）をシーン画像Ｉｓに対して位置合わせ（レジストレーション、アライメント）して、位置合わせされた眼球画像のデータを生成する。図１４（ａ）はそのようにして求めた、位置合わせされた眼球画像（の角膜表面反射像）ＩｅＲである。

図５のステップＳ８において、演算部１は、レジストレーション部として動作して、ステップＳ６で決定したワーピング関数Ｗ_ｉ’の微調整（ファインレジストレーション）を行う。微調整が施された眼球画像のデータは、記憶部２（図４）に格納される。本ステップでは、演算部１は、角膜球中心Ｃの位置（図７）すなわち距離ｄ_ＬＣの長さ、および、投影面ＩＰにおける楕円の回転角φを微小変動させて式（１０）に従う評価を繰り返し行い、評価値を収束させる。収束には、内点法を用いる。図１４（ｃ）は、ファインレジストレーション前の画像ＩｅＲをシーン画像Ｉｓと重ね合わせた画像である。図１４（ｄ）は、ファインレジストレーション後の画像ＩｅＲをシーン画像Ｉｓと重ね合わせた画像である。図１４（ｃ）および（ｄ）を見れば判るように、ファインレジストレーション処理によって、さらにレジストレーションの精度が向上する。

このように、画像位置合わせ装置１０（図４）は、ただ一組の対応点対（ステップＳ６で決定された最適な初期対応点対）に基づいて変換写像（ワーピング関数Ｗ_ｉ’（））を決定することができる。そうすることによって、眼球画像Ｉｅのシーン画像Ｉｓに対する位置合わせ（レジストレーション）をロバストに実行することができる。また、画像位置合わせ装置１０（図４）は、ＲＡＮＲＥＳＡＣ処理を行って、上記ただ一組の対応点対を適切に決定することができる。すなわち、本画像位置合わせ装置は、ＲＡＮＲＥＳＡＣ処理により適切に一組の初期対応点対を決定し、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。

なお、上記実施形態では、眼球画像Ｉｅをシーン画像Ｉｓに対して位置合わせする例を示したが、反対に、シーン画像Ｉｓを眼球画像Ｉｅに対して位置合わせすることも、当然のことながら可能である。また、本実施形態による画像位置合わせ装置１０が位置合わせできる画像は、眼球画像Ｉｅとシーン画像Ｉｓとの組み合わせに限定されない。また、上記実施形態では、画像位置合わせ装置１０は、自装置に接続された撮像装置（アイ・カメラ１１ｅおよびシーン・カメラ１１ｓ（図４））から位置合わせすべき画像のデータを取得している。しかしながら、画像位置合わせ装置１０は、そういった撮像装置以外の装置（画像データベース等）から１つまたは２つ以上の画像のデータを取得し、当該画像について、位置合わせを実行することができる。例えば、画像位置合わせ装置１０は、ネットワークを介して、Google Street Viewといったオープン・データベースから画像のデータを取得し、当該画像と、アイ・カメラ１１ｅが撮像した眼球画像Ｉｅ（図６）との間で位置合わせを行ってよい。あるいは、画像位置合わせ装置１０は、１つまたは複数の外部の装置（例えば、画像のデータベース）や光ディスク、フラッシュメモリといった記録媒体から複数の画像のデータを取得し、当該複数の画像の間で位置合わせを行ってもよい。これらの場合も、取得された各画像を球面光線マップへ移す写像は、画像位置合わせ装置１０が、適宜、画像位置合わせ処理に先立って、予め準備すればよい。この準備の方法は、当業者にとっては自明である。

なお、画像位置合わせ装置１０は、画像位置合わせプログラムを記憶部２（図４）に格納し、当該プログラムは、上で説明した諸量の計算に必要な計算アルゴリズムを格納している。（しかしながら、当然のことながら、計算アルゴリズムの一部または全部は、画像位置合わせプログラムとは別に記憶部２に格納されてもよい。）

５．実験結果
本実施形態による画像位置合わせ装置１０（図４）を用いた画像位置合わせ実験の結果を示す。本実験においては、角膜表面反射像（眼球画像Ｉｅ）およびシーン画像Ｉｓを安定して同時撮影するため、アイ・カメラ１１ｅ（図４）およびシーン・カメラ１１ｓ（図４）として、２台の小型ボードカメラ（IDS UI-1241LE-C-HQ, 1/1.8'' CMOS, 1280 x 1024 pixel）および、ヘッドマウントシステムからなるシステムを構成した。該システムでは、アイ・カメラ１１ｅ（f=12 mm, (H, V）=(33.3, 24.8)deg）は、眼球２０から７０〜１１０ミリメートル程度離れた距離に位置し、瞳直径を約４００〜４５０画素程度の大きさで撮影した。低照度環境での撮影に際しては、アイ・カメラ１１ｅのゲインおよび露出パラメータを調整した。アイ・カメラ１１ｅおよびシーン・カメラ１１ｓは、画像位置合わせ装置１０（パーソナル・コンピュータ、ＰＣ）に接続された状態で、１０ｆｐｓで画像を取得した。

４人の被験者それぞれについて、屋外および屋内の環境で３か所ずつデータの取得を行った。取得後、手動で閉瞼のフレームを除去した後、１０フレームごとに瞳輪郭抽出を行った。

本実施形態による画像位置合わせ方法（1-point RANRESAC）ならびに、比較のため、2-point RANSACおよび2-point RANRESACをＰＣに実装して実験を行った。

2-point RANSACでは、初期対応点対から２組みの初期対応点対をランダムに選択して、当該２組みの対応点対からワーピング関数を推定した。その後、残りの初期対応点対を用いて、何組みが正しく変換（レジストレーション）できたかをカウントする。これを５００回繰り返し、そのなかで得られた解（ワーピング関数）のうち最良のものをワーピング関数に決定する。

2-point RANRESACでは、2-point RANSACと同様にしてワーピング関数を推定した。その後、ＲＡＮＲＥＳＡＣ法に従って評価を行った。これを、2-point RANSACと同様、５００回繰り返し、最良の解を選択した。

すべての実験において、MATLAB 2013bのComputer Vision System Toolbox上で実装されたＳＵＲＦ局所特徴を用い、ＰＣ（Intel Core i7 3.2 GHz, 16GB RAM）を用いた。また、パラメータには、（σ_ｔ，σ_ｏ，α，ｓ^ｐ）＝（０．２，０．２，０．３，０．５）を設定した。本実施形態による方法（1-point RANRESAC）および2-point RANRESACでのランダムサンプリングの点数（点対の組数）Ｋは、２００とした。

表１〜表７に位置合わせの精度（成功率）を示す。位置合わせに要した時間は、１フレームあたり、３７．０秒（実施形態による画像位置合わせ方法（1-point RANRESAC））、１４．４７秒（2-point RANSAC）、１８０．４７秒（2-point RANRESAC）であった。

実施形態による画像位置合わせ方法では、屋外シーンで８５．５％（表１〜表３）、屋内シーン（表４〜表６）で８６．３％、の成功率であり、2-point RANSACおよび2-point RANRESACを大幅に上回っている。2-point RANRESACは、1-point RANRESAC（本実施形態）よりは成功率が劣るが、同じ回転行列推定を行う2-point RANSACと比べて成功率の点で上回っている。このことから、RANRESAC法がノイズ状況に関してロバストであることが確認できた。

６．応用例
本実施形態による画像位置合わせ装置および画像位置合わせ方法は、眼球画像Ｉｅの角膜表面反射像と、シーン画像Ｉｓとのマッチングを可能にする。以下、本実施形態を用いて実現される応用用途の例を紹介する。

６．１．注視点の推定
本実施形態による画像位置合わせ装置を用いた注視点推定を説明する。この注視点の推定により、例えば、ユーザが目で見ている風景の画像を抽出し、Googleストリートビュー等の画像を参照することで、ユーザが見ている物や場所を特定することができる。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。本実施形態による画像位置合わせ装置を用いた注視点推定においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。

まず、演算部１は、視点抽出部として動作して、公知の手法により眼球画像から眼球の姿勢を検出することにより被験者の注視反射点ＧＲＰ（図１５）を検出する。ここでの注視反射点ＧＲＰとは、被験者の眼球の光軸とほぼ一致する視線の方向から到来した光が角膜表面において反射する点である。（公知の手法については、例えば、国際公開パンフレットＷＯ２０１４／０２１１６９Ａ１を参照。）そして、演算部１は、眼球画像Ｉｅをシーン画像Ｉｓにレジストレーションするワーピング関数Ｗを導出する。そして最後に、演算部１は、シーン画像Ｉｓにおける、眼球画像Ｉｅの注視反射点ＧＲＰに対応する点ＧＲＰ’（図１５）を求める。シーン画像Ｉｓにおける点ＧＲＰ’は、被験者が注視している光景（注視点）に相当する。

このようにして、本実施形態による画像位置合わせ装置によって、被験者が注視している光景（注視点）を、シーン画像Ｉｓ中から抽出することが可能になる。すなわち、以上のように、本実施形態による画像位置合わせ装置は、注視点抽出システムとしても動作する。

６．１．１ ディスプレイ装置への応用
上記の注視点抽出システムとして動作する画像位置合わせ装置を用いたディスプレイ装置を説明する。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。このディスプレイ装置（ＡＲシステム）においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。このディスプレイ装置は、本実施形態による画像位置合わせ装置と同様に図４に示す構成を有する。出力部４は画像を表示するモニタディスプレイである。演算部１は、出力部４にシーン画像Ｉｓを表示させるととともに、上述のように抽出したシーン画像Ｉｓにおけるシーン画像中の任意の点の位置に所定の画像を重ねて表示させる。これによってＡＲシステムによる重畳表示を行う事ができる。

６．２．周辺視野の推定
さらに、本実施形態による画像位置合わせ装置および画像位置合わせ方法により、被験者の周辺視野をシーン画像Ｉｓに復元することもできるようになる。

まず、演算部１は、視野推定部として動作して、眼球画像Ｉｅを用いて眼球の姿勢（光軸）を特定し、眼球の光軸に対し所定の角度（たとえば、１０度、２０度、．．．９０度）を成す方向から到来した光が角膜表面において反射した点を特定する（図１６）。これらの点は、眼球画像Ｉｅにおいて、曲線を描くように分布する。次に、演算部１は、これらの点に対応する点を、本実施形態により決定されたワーピング関数Wを用い、シーン画像Ｉｓ内から検出する。検出された点群は、被験者の周辺視野（注視点を中心として所定の角度で広がる領域）の領域を形成する。

このようにして、本実施形態による画像位置合わせ装置によって、被験者の周辺視野の領域を、シーン画像Ｉｓ中から抽出することが可能になる。すなわち、画像位置合わせ装置は、シーン画像Ｉｓにおいて被験者の周辺視野の領域を推定することができ、つまり、周辺視野の推定システムとしても動作する。

６．３．虹彩認識への応用
既存の虹彩認識の手法では、角膜表面での鏡面反射を抑制するため赤外線照明を用いて眼球の画像を取得している。これに対し、本実施形態による画像位置合わせ装置を用いれば、シーン画像を用いて、眼球画像に含まれる鏡面反射（角膜表面反射像）を除去することができるようになる。

まず、本実施形態による画像位置合わせ装置の演算部１は、眼球画像Ｉｅ（図１７）とシーン画像Ｉｓ（図１７）との間のワーピング関数Wを導出する。演算部１は、このワーピング関数Wを用いて、シーン画像Ｉｓを眼球画像Ｉｅに対して位置合わせする。演算部１は、虹彩画像生成部として動作して、位置合わせされたシーン画像Ｉｓを、眼球画像Ｉｅにおけるシーン画像Ｉｓに対応する部分から減算することにより、眼球画像Ｉｓの角膜表面反射像を除去することで虹彩画像を生成する。図１７の画像Ｉ_ｉｔは、そのようにして角膜の鏡面反射が効果的に除去された眼球画像、すなわち、虹彩画像である。このように、本実施形態による画像位置合わせ装置によれば、眼球画像Ｉｓに含まれた角膜の鏡面反射を効果的に除去でき、ノイズのない虹彩画像Ｉ_ｉｔを得ることができる。これにより、角膜表面での鏡面反射を抑制するために照明に赤外光を使用する必要がなくなる。その後、演算部１は、認識部として動作して、虹彩画像に対して公知の方法を用いて虹彩認識処理を行う。

このように、本実施形態による画像位置合わせ装置は、赤外線照明のみならず、可視光領域の照明を用いて眼球画像を取得した場合であっても、効果的に角膜の鏡面反射を除去することができ、精度のよい虹彩画像を得ることができる。このようにして得られた虹彩画像を用いることで、虹彩認識の精度を向上させることが可能になる。すなわち、本実施形態による画像位置合わせ装置は、虹彩認識システムとしても動作する。

以上の点から、本実施の形態は以下のシステム及び方法も開示している。

（１）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出し、
前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、
を有する、注視点抽出システム。

（２）（１）の注視点抽出システムを備える表示システム（ＡＲシステム）。

（３）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
を有する、周辺視野推定システム。

（４）被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得する取得部と、
前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成する虹彩画像生成部と、
前記虹彩画像を用いて虹彩認識を行う認識部と、
を有する、虹彩認識システム。

（５）被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出するステップと、
演算部が、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
を有する、注視点抽出方法。

（６）演算部が、被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
を有する、周辺視野推定方法。

（７）被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得するステップと、
前記第１画像のデータおよび前記第２画像のデータを格納するステップと、
演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するステップと、
演算部が、位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成するステップと、
演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、
を有する、虹彩認識方法。

以上、本発明を特定の実施形態と関連させて説明したが、当業者にとっては他の多くの変更、修正、置換、削除、応用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されるものではなく、添付の請求の範囲によってのみ限定される。

Claims (13)

1. 被験者の眼球を撮影した画像である第１画像のデータおよび被験者の視線方向の被写体を撮影した画像である第２画像のデータを取得する取得部と、
   前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
   前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
   前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
   前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出部と、
   前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
   を有する画像位置合わせ装置。
2. 前記対応点対抽出部は、前記対応点対の候補として、前記第１画像の点と前記第２画像の点とで構成される対応点対候補を複数組み検出し、前記複数組みの対応点対候補それぞれの点対の対応関係を評価し、最も高く評価された点対で構成される対応点対候補を前記対応点対として抽出する、ことを特徴とする請求項１に記載の画像位置合わせ装置。
3. 前記対応点対抽出部は、前記対応点対候補を構成する前記第１画像の点と前記第２画像の点との対応関係に従って前記第１画像および前記第２画像から抽出された点対で構成される複数の副次的対応点対の対応関係を評価することにより、前記対応点対候補の対応関係を評価する、ことを特徴とする請求項２に記載の画像位置合わせ装置。
4. 第１画像を撮影する第１のカメラと、
   第２の画像を撮影する第２のカメラと、
   前記第１画像と前記第２画像の位置合わせを行う、請求項１ないし３のいずれかに記載の画像位置合わせ装置と
   を備えた、ことを特徴とする画像位置合わせシステム。
5. 被験者の眼球を撮影した画像である第１画像のデータおよび被験者の視線方向の被写体を撮影した画像である第２画像のデータを取得する取得ステップと、
   前記第１画像のデータおよび前記第２画像のデータを記憶部に格納する記憶ステップと、
   演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング・ステップと、
   演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
   演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
   演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション・ステップと、を有する画像位置合わせ方法。
6. コンピュータが実行可能な画像位置合わせプログラムであって、
   前記画像位置合わせプログラムは、前記コンピュータに、
   被験者の眼球を撮影した画像である第１画像のデータおよび被験者の視線方向の被写体を撮影した画像である第２画像のデータを取得する取得ステップと、
   前記第１画像のデータおよび前記第２画像のデータを記憶部に格納する記憶ステップと、
   前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング・ステップと、
   前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
   前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
   前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション・ステップと、を実行させることを特徴とする画像位置合わせプログラム。
7. 被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
   前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
   前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
   前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
   前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出し、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、 を有する、注視点抽出システム。
8. 請求項７記載の注視点抽出システムを備えた表示システム。
9. 被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得する取得部と、
   前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
   前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
   前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
   前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
   を有する、周辺視野推定システム。
10. 被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得する取得部と、
    前記第１画像のデータおよび前記第２画像のデータを格納する記憶部と、
    前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するマッピング部と、
    前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
    前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
    前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するレジストレーション部と、
    位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成する虹彩画像生成部と、
    前記虹彩画像を用いて虹彩認識を行う認識部と、
    を有する、虹彩認識システム。
11. 被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
    演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    演算部が、前記第１画像から眼球の姿勢を検出することにより前記第１画像上で注視反射点を検出するステップと、
    演算部が、前記第１写像と、前記回転写像と、前記第２写像とに基づいて、前記第２画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
    を有する、注視点抽出方法。
12. 演算部が、被験者の眼球を撮影した画像である第１画像及び被験者の視線方向の被写体を撮影した画像である第２画像を取得するステップと、
    演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    演算部が、前記第１画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第１写像と前記回転写像と前記第２写像とに基づいて、前記第２画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
    を有する、
    周辺視野推定方法。
13. 被験者の視線方向の被写体を撮影した画像である第１画像および被験者の眼球を撮影した画像である第２画像を取得するステップと、
    前記第１画像のデータおよび前記第２画像のデータを記憶部に格納するステップと、
    演算部が、前記第１画像を球面光線マップへ移す写像である第１写像と、前記第２画像を球面光線マップへ移す写像である第２写像と、を決定するステップと、
    演算部が、前記第１画像中の一点と、当該一点と対応する前記第２画像中の一点を検出することにより対応点対を抽出するステップと、
    演算部が、前記球面光線マップにおける前記第１画像の像と、前記球面光線マップにおける前記第２画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第１画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第２画像中の一点の位置および局所特徴量に基づいて導出するステップと、
    演算部が、前記第１写像と、前記回転写像と、前記第２写像と、に基づいて、前記記憶部に格納された前記第１画像のデータを、前記記憶部に格納された前記第２画像のデータに対して位置合わせして前記第２画像に対して位置合わせされた前記第１画像のデータを生成するステップと、
    演算部が、位置合わせされた前記第１画像を前記第２画像から減算して虹彩画像を生成するステップと、
    演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、を有する、
    虹彩認識方法。

Images