JPWO2015075894A1 - 撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法 - Google Patents

Abstract

［課題］ 装置のサイズやコストの増大を解決する撮像装置を提供する。［解決手段］ 本発明の撮像装置は、一つの撮像素子と、光源から光を照射される被写体の共通する箇所の異なる視点での複数の像を、前記一つの撮像素子上に結像させる結像手段と、を有する。

Description

本発明は撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法に関し、特に一つの撮像素子を有する撮像装置、瞳孔撮像装置、瞳孔径測定装置、瞳孔状態検出装置、及び瞳孔撮像方法に関する。

対象物が前後に動く場合に、正確な三次元座標を測定するために、撮像装置を２組用意して三角測量に基づいて位置等を測定する方法が特許文献１乃至３に記載されている。

特開２００７-１４４１１３号公報 特開２０１２−２１０３９４号公報 特開平１１−０６３９２７号公報

しかし、特許文献１乃至３に記載の技術では少なくとも２台のカメラが必要であり、その分装置のサイズやコストが増大するという問題があった。

本発明の目的は、上述した課題を解決する撮像装置を提供することにある。

本発明の撮像装置は、一つの撮像素子と、光源から光を照射される被写体の共通する箇所の異なる視点での複数の像を、前記一つの撮像素子上に結像させる結像手段と、を有する。

本発明によれば、一台のカメラで、三角測量可能な画像を撮像できるため、サイズ、コストの増大を抑制することが可能な撮像装置を提供できる。

第一の実施形態における撮像装置の上面図を示す。 第一の実施形態における撮像装置が任意の光源を有する場合の上面図を示す。 第一の実施形態における撮像装置が任意の分割手段を有する場合の上面図を示す。 第一の実施形態における撮像装置が結像手段を有する場合の上面図を示す。 第二の実施形態における瞳孔撮像装置の上面図を示す。 第三の実施形態における瞳孔径測定装置の上面図を示す。 第三の実施形態における瞳孔径測定装置が瞳孔径推定手段として瞳孔抽出手段と、瞳孔径算出手段を備える場合の上面図を示す。 第三の実施形態における瞳孔径測定装置において、結像された１枚の画像から、一つ以上の瞳孔の三次元座標、寸法を算出するまでの流れを表すフローチャートを示す。 第三の実施形態における瞳孔径測定装置において、（ａ）撮像素子８で撮像された画像の一例、（ｂ）(ａ)における線分ＰＱの断面における画像の強度分布、（ｃ）抽出した瞳孔部分２１の円周と、円周の座標の取得例を示す。 第三の実施形態における瞳孔の三次元座標の算出方法を説明する図である。 第三の実施形態における瞳孔状態検出装置の上面図を示す。 第三の実施形態において瞳孔状態判定手段を有する場合の処理を示すフローチャートである。 第三の実施形態における瞳孔撮像装置の上面図を示す。 第四の実施形態における瞳孔撮像装置の具体的な構成の一例を示した図である。 第四の実施形態における瞳孔撮像装置の第一の波長の光の光路を示す図である。 第四の実施形態における瞳孔撮像装置の第二の波長の光の光路を示す図である。 全反射面、波長選択膜を備えたプリズム体の構成を示す図である。 第五の実施形態における瞳孔径測定装置の上面図を示す。 第五の実施形態において瞳孔径推定手段が瞳孔抽出手段と瞳孔径算出手段を備える場合のフローチャートである。 第五の実施形態における瞳孔径測定装置の動作を示すフローチャートである。 第五の実施形態における瞳孔径測定装置の（ａ）は第一の撮像素子４４で撮像される画像の強度分布と（ｂ）第二の撮像素子４５で撮像される画像の強度分布を示す図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔径測定装置の特徴抽出フィルタの作用を説明する図である。 第五の実施形態における瞳孔状態検出装置の動作を示すフローチャートである。 第六の実施形態における瞳孔状態検出表示装置が表示装置として光学フィルタを有する場合の斜視図である。 第六の実施形態における瞳孔状態検出表示装置が表示装置として光学フィルタ６１ａと表示部６１ｂを有する場合の斜視図である。 第六の実施形態における瞳孔状態検出表示装置が表示装置として光学フィルタ６１ａ、表示部６１ｂ、ハーフミラー６１ｄを有する場合の斜視図である。

［第一の実施形態］以下に、本発明を実施するための好ましい形態について図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

［構成の説明］図１は、本実施形態における撮像装置１００の上面図である。図１に示すように、本実施形態における撮像装置１００は、一つの光源２ａと、ハーフミラー２ｂａと，ミラー２ｂｂ〜２ｂｄと、一つの撮像素子５と、レンズ６ｂと、を備える。

光源２ａは、ハーフミラー２ｂａに入射光を出射する。ハーフミラー２ｂａは、光源２ａからの入射光を、ハーフミラー２ｂａを透過しミラー２ｂｂ方向に進む光と、ハーフミラー２ｂａで反射しミラー２ｂｃ方向に進む光に分割する。ミラー２ｂｃはハーフミラー２ｂａからの入射光をミラー２ｂｄ方向に反射する。ミラー２ｂｂ、２ｂｄは、互いに異なる位置から入射光を被写体１に向かって入射させる。ここで、これらミラー２ｂｂ、２ｂｄから被写体１に向かって入射光を入射させる場合の２つの光軸として、図１は、光軸Ａ、光軸Ｂを示している。なお、本実施形態では、光軸Ａ及び光軸Ｂは、平行であるが、これら光軸Ａ及び光軸Ｂが交差せずに、被写体１の異なる位置に入射光を入射可能であれば、必ずしも平行である必要はない。光軸Ａにおける被写体１からの光をミラー２ｂｂ、ハーフミラー２ｂａで反射させてレンズ６ｂに入射させ、光軸Ａ上（例えば、第一の視点３）での像を撮像素子５上に結像させる。ミラー２ｂｄ、ミラー２ｂｃは、光軸Ｂにおける被写体１からの光を反射させ、ハーフミラー２ｂａに光を入射させる。ハーフミラー２ｂａは、ミラー２ｂｃからの光をレンズ６ｂに入射させる。そして、ハーフミラー２ｂａは、光軸Ｂ上（例えば、第二の視点４）での像を撮像素子５上に結像させる。撮像素子５上には、少なくとも、異なる２視点である第一の視点３と第二の視点４における被写体からの光がレンズ６ｂによって同時に結像される。

［動作の説明］次に、本実施形態における撮像装置１００の動作について説明する。まず、光源２ａからの入射光が被写体１に入射するまでを説明する。光源２ａから発光した光はハーフミラー２ｂａに入射する。ハーフミラー２ｂａで入射光は、ハーフミラー２ｂａを透過しミラー２ｂｂ方向に進む光と、ハーフミラー２ｂａで反射しミラー２ｂｃ方向に進む光に分割される。ハーフミラー２ｂａで反射しミラー２ｂｃ方向に進んだ光はミラー２ｂｃで反射しミラー２ｂｄに入射し、ハーフミラー２ｂａを透過しミラー２ｂｂ方向に進んだ光と互いに平行であって、被写体１の異なる位置に入射する。

次に、被写体１からの光が撮像素子５上に結像するまでを説明する。まず、光軸Ａにおける被写体１からの光はミラー２ｂｂで反射され、ハーフミラー２ｂａで反射され、レンズ６ｂに入射し、光軸Ａ上（例えば、第一の視点３）での像が撮像素子５上に結像する。一方光軸Ｂ方向の被写体１からの光はミラー２ｂｄで反射され、さらにミラー２ｂｃで反射され、ハーフミラー２ｂａを透過してレンズ６ｂに入射し、第一の視点３での被写体からの光とともに光軸Ｂ上（例えば、第二の視点４）での像は撮像素子５上に結像する。ここで、第一の視点３と第二の視点４での像は、おのおのの視点で少なくとも被写体１の共通する箇所である特徴点１ａの像を含む。すなわち、少なくとも被写体１の共通する箇所である特徴点１ａの像が撮像素子５上に結像する。

［効果の説明］本実施形態における撮像装置１００の構成を採用すれば、異なる視点での被写体１の光を光学系によって一つの画像素子５上に結像し撮像できるため、装置の構成が単純で、サイズを小さくしうる撮像装置１００を得られる。また、前述のような構成で、撮像した画像から特徴点１ａの正確な位置を三角測量によって求めることができる。

上述の説明においては、一つの光源２ａと、ハーフミラー２ｂａと、ミラー２ｂｂ、ミラー２ｂｃ、ミラー２ｂｄを用いる例を示したが、本実施形態は、必ずしもこれらの各構成に限定されるものではない。図２に示すように、図１の光源２ａに変えて、自然光や室内照明など、位置・角度が任意である任意の光源２でもよい。また、図３に示すように、図１のハーフミラー２ｂａに変えて、任意の分割手段２ｂでもよい。

また、上述の説明においては第一の視点３と第二の視点４での被写体１からの光を撮像素子５上に結像させたが、少なくとも異なる２視点での被写体１からの光を結像させればよい。２視点以上からの光を結像させれば、三角測量による三次元座標の算出は可能である。

撮像素子５はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の既知の素子を用いることができる。

また、図１において、ハーフミラー２ｂａとミラー２ｂｂとの間の光路長はＬであり、ハーフミラー２ｂａとミラー２ｂｃとの間の光路長とミラー２ｂｃとミラー２ｂｄとの間の光路長は、それぞれＬ/２である。つまり、ハーフミラー２ｂａとミラー２ｂｃの間の光路長とミラー２ｂｃとミラー２ｂｄの間の光路長の和はＬである。これは、光源２ａからミラー２ｂｂに入射し、ミラー２ｂｂから被写体１方向に出射する光軸Ａに至る経路と、光源２ａからミラー２ｂｃに入射し、ミラー２ｂｃから２ｂｄに入射し、そしてミラー２ｂｄから被写体１方向に出射する光軸Ｂに至る経路とで進む光の光路長が等しくなるように配置されている。このことで、光軸Ａ方向からの被写体１からの光と、光軸Ｂ方向からの被写体１からの光が、等しい光路長で撮像素子５上に結像される。このように、おのおのの光が等しい光路長で結像することで、結像した画像から三角測量によって正確な三次元座標を算出することができる。本実施形態における撮像装置１００では結像した画像から三次元座標を求める処理は行わない。また、三角測量の説明は、後述する第三の実施形態における構成・動作の説明にて詳述する。前述の光路長は、和がＬであればハーフミラー２ｂａとミラー２ｂｃの間の光路長、ミラー２ｂｃとミラー２ｂｄの間の光路長は任意の値に設定してもよい。

また、第一の視点３と第二の視点４での被写体１からの光を撮像素子５上に結像するに至る構成は、前述のミラー、ハーフミラー、レンズすべてを上述の数用いたものでなくてもよい。図４のように、上述の構成は、第一の視点３と第二の視点４での被写体１からの光を撮像素子５上に結像することができる任意のミラー、ハーフミラー、レンズなどからなる光学系からなる結像手段６であれば代用できる。ここで図３に示す構成は、図２に示す任意の光源２を、光源２ａ、ハーフミラー２ｂａやミラー２ａａなどの光学系で構成している。これらの光学系の構成を用いて、結像手段６を構成する光学系と共用する光路の構成とすれば、撮像装置１００はより小さくできる。さらに、装置内部の構成をより簡単にできるため、撮像装置１００をより安価に製造することができる。

［第二の実施形態］次に第二の実施形態について説明をする。図５は本実施形態に関する瞳孔撮像装置２００の構成を示す上面図である。

［構成の説明］本実施形態の瞳孔撮像装置２００は、図５に示すように、光源１１と、波長選択手段１２と、結像手段２０と、を有する。光源１１は、所定の波長の光を発光する。波長選択手段１２は、光源１１から発光した所定の波長の光を選択的に透過する。結像手段２０は、波長選択手段１２を介して光源１１から所定の波長の光が照射される被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分に対する異なる視点でのおのおのの像を、波長選択手段１２を介して一つの撮像素子１３上に結像させる。ここで、異なる視点は、光源１１が光を出射する方向と略平行な異なる光軸上にあり、異なる光軸は、互いに平行している。

それ以外の構成や構成のバリエーションは、第一の実施形態と同様である。つまり、第二の実施形態の瞳孔撮像装置２００は、光源１１と、波長選択手段１２と、一つの撮像素子１３と、第一の視点１５と、第二の視点１６と、結像手段２０とを有する。本実施形態では、結像手段２０としてハーフミラー２０ａと、ミラー２０ｂ〜２０ｄと、レンズ２０ｅと、を備える構成を例に説明する。

［動作の説明］次に、本実施形態の瞳孔撮像装置２００における動作について説明する。まず、光源１１からの入射光が被検出者１４を照射するまでを説明する。図５に示すように、光源１１から発光した光はハーフミラー２０ａに入射する。ハーフミラー２０ａで入射光は、ハーフミラー２０ａを透過しミラー２０ｂ方向に進む光と、ハーフミラー２０ａで反射しミラー２０ｃ方向に進む光に分割される。ハーフミラー２０ａで反射しミラー２０ｃ方向に進んだ光は、ミラー２０ｃで反射しミラー２０ｄに入射し、ハーフミラー２０ａを透過しミラー２０ｂ方向に進んだ光と互いに平行し、この光とは被検出者１４の異なる位置に入射する。

次に、被検出者１４からの光が撮像素子１３上に結像するまでを説明する。まず、光軸Ａ方向の被検出者１４からの光はミラー２０ｂで反射され、ハーフミラー２０ａで反射され、レンズ２０ｅに入射し、第一の視点１５での像は撮像素子１３上に結像する。一方光軸Ｂ方向から入射した被検出者１４からの光はミラー２０ｄで反射され、さらにミラー２０ｃで反射され、ハーフミラー２０ａを透過してレンズ２０ｅに入射し、第一の視点１５での被検出者１４からの光とともに第二の視点１６での像は撮像素子１３上に結像する。ここで、第一の視点１５と第二の視点１６における被検出者１４からの光は、おのおのの視点で被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの光が含まれる。すなわち、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分の像が撮像素子１３上に結像する。光軸Ａ、Ｂは、被検出者１４から入射された光に対して略平行であるから、結像する像の瞳孔部分は眼底反射光が撮像されている。

［効果の説明］本実施形態における瞳孔撮像装置２００では、異なる２視点での被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分の光を光学系によって一つの撮像素子１３上に結像し撮像できるため、装置の構成が単純で、サイズを小さくしうる撮像装置２００を得られる。さらに、このような装置によって瞳孔周囲の三次元座標、瞳孔径を三角測量を用いて正確に求めることが可能な瞳孔１４ａの画像を撮像できる。

本実施形態における瞳孔撮像装置２００は、瞳孔周囲の三次元座標以外に、被検出者の瞳孔像の強度、顔面の反射光分布等人物の特徴量を計算、計測することに用いてもよい。

［第三の実施形態］第二の実施形態の構成に加え、撮像素子１３上に結像された１枚の画像の中の、一つ以上の瞳孔１４ａに対応する少なくとも２つの領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段２１を有することで、図６のような瞳孔径測定装置３００とすることができる。

瞳孔径推定手段２１は、図７に示すように、瞳孔抽出手段２１ａと、瞳孔径算出手段２１ｂと、を具備する。この瞳孔抽出手段２１ａは、撮像素子１３上に結像された１枚の画像から一つ以上の瞳孔１４ａに対応する少なくとも２つの領域を抽出する。瞳孔径算出手段２１ｂは、前述の少なくとも２つの領域から、一つ以上の瞳孔１４ａの三次元座標、寸法を算出する。なお、通常、瞳孔１４ａは、２つあるため、瞳孔抽出手段２１ａにより合計４つの領域が抽出される。

［構成・動作の説明］次に、第二の実施形態との差分の構成と動作を説明する。瞳孔径推定手段２１が瞳孔抽出手段２１ａと瞳孔径算出手段２１ｂを備える場合を例に構成・動作を説明する。一つの撮像素子１３上に結像された１枚の画像から、瞳孔抽出手段２１ａは一つ以上の瞳孔１４ａに対応する少なくとも２つの領域を抽出する。瞳孔抽出手段２１ａが抽出した２つの領域から、瞳孔径算出手段２１ｂは一つ以上の瞳孔１４ａの三次元座標、寸法を算出する。なお、上述したように、通常、瞳孔１４ａは、２つあるため、瞳孔抽出手段２１ａにより合計４つの領域が抽出される。

以下に、一つの撮像素子１３上に結像された１枚の画像から、瞳孔抽出手段２１ａが２つの領域を抽出し、瞳孔径算出手段２１ｂが一つ以上の瞳孔１４ａの三次元座標、寸法を算出するまでの流れを、図８のフローチャートを用いて説明する。

図８に示すように、まず瞳孔抽出手段２１ａが撮像素子１３上に結像された一枚の画像を取り込む（Ｓ２；画像取り込み）。そして、瞳孔抽出手段２１ａは、取り込んだ画像に二値化処理を行い、画像内の瞳孔１４ａに対応する４つの領域を抽出し、瞳孔径算出手段２１ｂに出力する（Ｓ３；瞳孔部分抽出）。この瞳孔抽出手段２１ａが抽出した画像内の瞳孔１４ａに対応する４つの領域から、瞳孔径算出手段２１ｂが画像内の瞳孔１４ａの周囲の撮像素子１３面内の座標（Ｘ、Ｙ座標とする）を取得する（Ｓ４；座標取得）。さらに、瞳孔径算出手段２１ｂは、求めたＸ，Ｙ座標に加え、後述する数式１から数式３で示した計算方法を用いて三角測量によって撮像素子１３上に結像した瞳孔１４ａを含む実像に対して撮像素子１３から垂直方向の距離（Ｚ座標とする）を求める（Ｓ５；瞳孔の三次元座標取得）。また、瞳孔径算出手段２１ｂは、求めた三次元座標から瞳孔径を算出し（Ｓ６；瞳孔径算出）、算出した瞳孔径を記録する（Ｓ７；瞳孔径記録）。以上の瞳孔径測定装置３００においては、時系列で撮像する場合など複数回撮像する場合は、図８のフローチャートでＳ７の処理が終了した後に、Ｓ１のステップに戻る。

次に、上述の各ステップの詳細を説明する。図８におけるＳ２で取り込まれる画像、すなわち撮像素子８で撮像された画像は、一例として図９（ａ）のような被検出者１４の顔面画像である。この画像は、図５における光軸Ａ、光軸Ｂそれぞれの方向から見た被検出者１４の顔面画像が光学的に重なった像である。図９(ｂ)は、図９(ａ)における線分ＰＱの断面における画像の強度分布であり、光軸Ａ、光軸Ｂそれぞれの方向から見た被検出者１４の瞳孔部分２２がそれぞれ高い強度値で撮像される。

次に、Ｓ３で瞳孔抽出手段２１ａにより、図９(ｂ)に示した閾値で２値化画像処理をすると、図９(ｃ)に示すように光軸Ａ、光軸Ｂそれぞれの方向から見た被検出者１４の瞳孔部分２２のみが抽出される。そして、Ｓ４で瞳孔抽出手段２１ａは図９（ｃ）における抽出した瞳孔部分２１の円周の座標を取得し、記録する。

ここで、記録される座標は、例えば、図９(ｃ)に示すように、瞳孔抽出手段２１ａで記録された座標のＸ成分（図９(ａ)における線分ＰＱの方向）のうち、光軸Ａ方向の右目画像の最小座標ＸARmin、最大座標ＸARmax、のように記録される。また、記録される座標は、光軸Ａ方向の左目画像の最小座標ＸALmin、最大座標ＸALmax、のように記録される。また、記録される座標は、光軸Ｂ方向の右目画像の最小座標ＸBRmin、最大座標ＸBRmax、のように記録される。また、記録される座標は、光軸Ｂ方向の左目画像の最小座標ＸBLmin、最大座標ＸBLmax、にように記録される。同様にＹ座標も記録することが可能になる。

次に、瞳孔１４ａの三次元座標の算出方法を、具体例を示して説明する。図１０は本実施形態の瞳孔径測定装置３００の瞳孔径算出手段２１の動作を説明する図である。図１０において、レンズ２０ｅの主点の位置を原点とし、レンズ２０ｅの光軸Ａ方向をＺ方向とする。また、光軸Ａに対し、垂直で、図１０の面上の水平方向をＸ方向とする。また、図１０の奥行方向をＹ方向とする。ここで、図１０の光軸Ａ、Ｂと図５の光軸Ａ、Ｂは同じである。言い換えると、図５における光軸Ａ、Ｂを、各光軸及びレンズ２０ｅと撮像素子１３ごとに直線状に表現しなおしたものが図１０である。図５におけるそれぞれの光軸から見た画像は、図１０における撮像素子１３及び光学的に等価な撮像素子１３ａ上の視点Ａ、Ｂ（第一の視点１５、第二の視点１６と対応）の位置での画像となる。よって、図７において瞳孔抽出手段２１ａで記録された視点Ａの右眼瞳孔右端の最小Ｘ座標のＸARmin、視点Ｂの右眼瞳孔右端の最小Ｘ座標のＸBRminは各光軸、および光軸間の距離に対して図１０に示した通りの位置関係となる。以下、図１０に示した右目の瞳孔１４ａの右端を例に、三次元座標Ｅ（ＸRmin，ＹRmin，ＺRmin）を測定する方法について説明する。

図１０において、光軸Ａ・Ｂ間の距離ｄは、図５よりＬ＋Ｌ／２である。また、ｆはレンズ２０ｅの焦点距離である。図５における光軸Ｂに対するレンズ２０ｅおよび撮像素子１３は、図１０において光学的に等価なレンズ２０ｅａ、光学的に等価な撮像素子１３ａとして表現している。以降、この光学的等価図を用いて説明する。

図１０において、被検出者１４と光軸Ａおよび光軸Ｂ、視点Ａと視点Ｂは三角測量（ステレオ計測）と同様な関係になるので、右目の瞳孔１４ａの右端の三次元座標Ｅ（ＸＲｍｉｎ，ＹＲｍｉｎ，ＺＲｍｉｎ）は数式１〜３で示される。
［数式１］
ＺＲｍｉｎ＝ｆ・ｄ／（ＸＢＲｍｉｎ−ＸＡＲｍｉｎ）
［数式２］
ＸＲｍｉｎ＝ＺＲｍｉｎ・（ＸＡＲｍｉｎ）/ｆ
［数式３］
ＹＲｍｉｎ＝ＺＲｍｉｎ・（ＹＡＲｍｉｎ）/ｆ
同様に、右目瞳孔左端、左目瞳孔右端、左目瞳孔左端の三次元座標を求めることができる。さらに、右目瞳孔の左右端間距離、左目瞳孔の左右端間距離から、左右それぞれの瞳孔の直径を求めることができる。このことにより、被検出者１４がレンズ２０ｅに対して光軸方向に動いても（ＺＲｍｉｎが変動しても）正確な瞳孔１４ａの瞳孔径を検出することが可能となる。

本実施形態では、瞳孔径測定装置３００を示したが、さらに瞳孔状態判定手段２４を有することで、瞳孔状態検出装置４００とすることができる。以下に、瞳孔状態判定手段２４を有する瞳孔状態検出装置４００の構成のうち、瞳孔径測定装置３００との差分を、図１１を用いて説明する。また、瞳孔状態判定手段２４を有する場合の処理を、図１２のフローチャートを用いて説明する。

図１１に示したように、瞳孔状態判定手段２４は瞳孔径算出手段２１ｂが出力する一つ以上の瞳孔１４ａの三次元座標、寸法から被検出者１４の心理状態、生理状態を判定する。

図１２には、瞳孔状態判定手段２４が一つ以上の瞳孔１４ａの三次元座標、寸法に対し周波数分析を行い、その結果から被検出者１４の心理状態、生理状態を判定する場合のフローチャートを示している。図１２に示すように、Ｓ６で瞳孔径算出手段２１ｂは所定の周期で瞳孔径を算出する。Ｓ７で算出した瞳孔径を記録し、Ｓ８で時系列的に収集された瞳孔径のデータを瞳孔状態判定手段２４が分析し、分析結果から被検出者１４の心理状態、生理状態を判定する。以上の瞳孔状態検出装置４００においては、図１２のフローチャートに示すように、Ｓ７の終了後、Ｓ１のステップに戻る。ステップＳ８以降は、Ｓ１〜Ｓ７の処理と並行に行ってもよいし、別に行ってもよい。

以下、瞳孔径測定装置３００との差分のステップを、具体例を挙げ説明する。Ｓ７において、瞳孔径算出手段２１ｂによって瞳孔径のデータは時系列データとして１/６０秒毎に算出される。算出された瞳孔径のデータは、瞳孔状態判定手段２４によって記録されうる。瞳孔状態判定手段２４に記録された時系列データは、瞳孔状態判定手段２４によって周波数分析としてウェーブレット変換が施されうる。

ウェーブレット変換の結果から被検出者１４の心理状態、生理状態を判定する方法として、まず、ウェーブレット変換の周波数帯を、０．１５Ｈｚを境とした低周波帯０．０４〜０．１５Ｈｚ、高周波帯０．１６Ｈｚ〜０．５Ｈｚとに分ける。そして、低周波帯の振幅と高周波帯の振幅との振幅比から心理状態を判定することができる。一般に、低周波帯の振幅は副交感神経、高周波帯の振幅は交感神経が優位な状態とされている。例えば、低周波帯のパワーを高周波帯のパワーで割った値が４以上であれば副交感神経が優位で被検出者がリラックスしている状態であり、４以下であれば交感神経が優位で被検出者が興奮している状態であると判定する。

［効果の説明］以上、第三の実施形態の瞳孔径測定装置３００は、装置の構成が単純で、サイズを小さくしうることに加え、三角測量を用いて瞳孔径を正確に求めることが可能である。瞳孔状態検出装置４００では、被検出者１４の身体を拘束せずに、自由な態勢で精神状態を客観的定量的に評価する装置を小型かつ低コストで提供することが可能である。

ウェーブレット変換の周波数帯は、心理状態の分別ができれば他の周波数０．０４〜０．５Ｈｚ以外でもよく、低周波帯、高周波帯を分ける周波数は０．１５Ｈｚ以外でもよい。また、周波数解析はウェーブレット変換以外にフーリエ変換や、その他の方法を用いてもよい。

実験の際、撮像素子１３は水平１９２０画素、垂直１０８０画素のＣＭＯＳセンサで行い、この場合のＸ，Ｙ方向の画素ピッチは３μｍであった。画像精細度は他の画素数を適用してもよい。

撮像素子１３の画像更新周波数は毎秒６０回であった。すなわち、瞳孔径算出手段２１ｂによって瞳孔径のデータは時系列データとして１/６０秒毎に算出されたが、他の時間間隔でもよい。

上述の画素数のＣＭＯＳセンサを用いた場合、レンズ２０ｅの焦点距離fを１５ｍｍ、ｄを５０ｍｍとすると、撮像距離（Ｚ座標）が５００ｍｍにおけるＸ，Ｙ方向の瞳孔１４ａの計測分解能は０．１ｍｍとなる。また、Ｚ方向は1ｍｍの分解能で撮像距離に対する補正が行うことができた。

また、光源１として波長８５０ｎｍのＬＥＤを使用したが、同様な効果が得られれば別の波長のものを使用してもよい。また、環境光を計測するセンサを備えて、瞳孔径の対光反射に対する補正をしてもよい。「ＬＥＤ」とは、「Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ」の略である。

本実施形態では光軸Ａと光軸Ｂは平行である場合について説明したが、各ミラーの角度を変えて光軸Ａと光軸Ｂとの間に角度を持たせた輻輳撮影となる条件でもよい。

［第四の実施形態］次に第四の実施形態について説明をする。図１３は本実施形態に関する瞳孔撮像装置５００の構成を示す上面図である。本実施形態の瞳孔撮像装置５００は、図１３に示すように、第二の実施形態と異なる点は、第二の光源４２、第二の結像手段４９、を備えている点である。それ以外の構成や構成のバリエーションは、第二の実施形態と同様である。つまり、第四の実施形態の瞳孔撮像装置５００は、第一の光源４１と、第二の光源４２と、波長選択手段４３と、第一の撮像素子４４と、第二の撮像素子４５と、第一の結像手段４８と、第二の結像手段４９と、を有する。

［構成の説明］次に、本実施形態の瞳孔撮像装置５００の構成を、図１３を用いて説明する。第一の光源４１は、第一の波長の光を出射する。第二の光源４２は第一の光源４１と異なる位置から異なる角度で第二の波長の光を出射する。波長選択手段４３は、前述の第一の波長の光および第二の波長の光を選択的に透過する。第一の撮像素子４４は、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの、第一の視点４６と第二の視点４７での第一の波長の光を波長選択手段４３を介して受光する。第二の撮像素子４５は、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分の第一の視点４６での第二の波長の光を、波長選択手段４３を介して受光する。第一の結像手段４８は、第一の光源４１からの光が被検出者１４へ出射される際の光軸Ａおよび光軸Ｂと略平行に被検出者１４からの光を波長選択手段４３を介して受光する。さらに第一の結像手段４８は、照射される被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの、第一の視点４６と第二の視点４７での各々の第一の波長の光による像を、波長選択手段４３を介して第一の撮像素子４４上に結像させる。第二の結像手段４９は、被検出者の少なくとも一つ以上の瞳孔を含む少なくとも顔面の一部分の第一の視点での第二の波長の光による像を、波長選択手段４３を介して第二の撮像素子４５上に結像させる。
第一の視点４６と第二の視点４７は第一の光源４１が光を出射する方向と略平行な２つの光軸である光軸Ａ及び光軸Ｂ上にあり、この２つの光軸は、互いに平行する。

［動作の説明］次に、本実施形態の瞳孔撮像装置５００における動作について図１３に基づいて説明する。まず、光源４１からの入射光が被検出者１４を照射するまでを説明する。第一の光源４１は、第一の波長の光を出射する。第一の波長の光は波長選択手段４３を介して被検出者１４に照射される。一方第二の光源４２は、第一の光源４１と異なる位置から異なる角度で第二の波長の光を出射する。第二の波長の光は被検出者１４に照射される。

次に、被検出者１４からの光が第１の撮像素子４４及び第２の撮像素子４５上に結像するまでを説明する。被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの前述の第一の波長の光は波長選択手段４３を介して第一の光源４１からの光が被検出者１４へ出射される際の光軸と同軸な第一の光軸（図１３中では光軸Ａ）と第二の光軸（図１３中では光軸Ｂ）上にある第一の結像手段４８に入射する。入射した第一の波長の光は第一の結像手段４８によって第一の撮像素子４４上に結像する。一方、被検出者１４の一つの瞳孔１４ａを含む少なくとも顔面の一部分からの前述の第二の波長の光は波長選択手段４３を介して第二の結像手段４９に入射する。入射した第二の波長の光は第二の結像手段４９によって第二の撮像素子４５上に結像する。

以下、第一の結像手段４８、第二の結像手段４９の具体的な構成を挙げて詳細を説明する。図１４は、瞳孔撮像装置５００の具体的な構成の一例を示した図である。また、図１５Ａは第一の光源４１からの第一の波長の光路の光学系を示した図である。図１５Ｂは、第二の光源４２からの第二の波長の光路の光学系を示した図である。ここで図１５Ａの構成は、光学的には第三の実施形態と同じ作用を持つ光学系であり、第一の撮像素子４４には図９（ａ）と同様に光軸Ａ、Ｂそれぞれの方向に対応する被検出者１４の顔面画像が重なって撮像される。

図１４に示すように、第一の結像手段４８は、第一の波長選択ミラー４８ａ、第二の波長選択ミラー４８ｂ、第三の波長選択ミラー４８ｃ、第一のミラー４８ｄ、第二のミラー４８ｅ、ハーフミラー４８ｆ、レンズ４８ｇを有する。また、第二の結像手段４９は、第一の波長選択ミラー４８ａ、ミラー４９ａ、第二の波長選択ミラー４８ｂ、レンズ４８ｇ、第三の波長選択ミラー４８ｃを有する。ここで第一の波長選択ミラー４８ａ、第二の波長選択ミラー４８ｂ、第三の波長選択ミラー４８ｃは、第一の光源４１が出射する第一の波長の光を選択的に反射し、第二の光源４２が出射する第二の波長に光を選択的に透過する。

次に、第一の光源４１から出射された入射光が被検出者１４に照射されるまでの流れを、図１５Ａを参照して説明する。第一の光源４１から発光した光はハーフミラー４８ｆに入射する。ハーフミラー４８ｆに入射した入射光は、ハーフミラー４８ｆを透過し第一の波長選択ミラー４８ａ方向に進む光と、ハーフミラー４８ｆで反射し第二のミラー４８ｅ方向に進む光に分割される。ハーフミラー４８ｆで反射された光は、第二のミラー４８ｅで反射し、第一のミラー４８ｄで反射され、波長選択手段を介して被検出者１４方向に進む。一方ハーフミラー４８ｆを透過した光は、第一の波長選択ミラー４８ａで反射され、波長選択手段を介して被検出者１４方向に進む。つまり、ハーフミラー４８ｆを透過した光は、ハーフミラー４８ｆで反射された光と互いに平行し、被検出者１４の異なる位置に入射する。

一方、図１５Ｂに示すように、第二の光源４２は、第一の光源４１と異なる位置から異なる角度で第二の波長の光を被検出者１４方向に出射する。

次に、被検出者１４からの光が第一の撮像素子４４、第二の撮像素子４５上に結像するまでの流れを説明する。図１５Ａに示すように、まず、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの光が、光軸Ａに平行で、波長選択手段４３を介して第１の波長選択ミラー４８ａに入射する。そして、波長選択手段４３を介して入射した光のうち第一の波長の光が、第一の波長選択ミラー４８ａで反射される。さらに、第一の波長の光が、ハーフミラー４８ｆで一部が反射され、第二の波長選択ミラー４８ｂで反射され、レンズ４８ｇに入射し、第三の波長選択ミラー４８ｃで反射され、第一の撮像素子４４上に結像される。

同様に、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの光が、光軸Ｂに平行で、波長選択手段４３を介して第１のミラー４８ｄに入射する。そして、波長選択手段４３を介して入射した光のうち第一の波長の光が第一のミラー４８ｄで反射される。さらに、第二のミラー４８ｅで反射され、ハーフミラー４８ｆを一部が透過し、以降光軸Ａに平行に入射した光と同じ経路で第一の撮像素子４４上に結像される。つまり、光軸Ａ方向と光軸Ｂ方向の両方の視点からの被検出者１４の像が第一の撮像素子４４上に結像される。結像した像のうち、瞳孔１４ａの部分は、光源４１から発光した光が被検出者１４に照射される光軸（光軸Ａ及び光軸Ｂ）と、被検出者１４から反射した光が撮像素子４４に入射する光軸（光軸Ａ及び光軸Ｂ）とが、同軸であるため、眼底反射光が撮像されている。このため、いわゆる明瞳孔の像が撮像される。

なお、光軸Ａ方向からの光でハーフミラー４８ｆを透過する光、光軸Ｂ方向からの光でハーフミラー４８ｆを反射する光は光源４１方向に戻る。この戻り光は、光源４１からの入射光のうち被検出者１４の顔面で反射した光のみであるので、前記戻り光は光源４１から出射される入射光の強度と比較して強度がはるかに小さい。このため、もし光源４１の表面等で再び反射しても、本実施形態において特段の問題とはならない。

また、図１５Ｂに示すように、被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分からの光が、波長選択手段４３に入射する。波長選択手段４３を介して入射した光のうち第二の波長の光が第一の波長選択ミラー４８ａで透過する。そして、透過した光が、ミラー４９ａで反射され、第二の波長選択ミラー４８ｂで透過し、レンズ４８ｇに入射し、第三の波長選択ミラー４８ｃを透過し、第二の撮像素子４５上に結像される。つまり、第一の撮像素子４４と異なり、光軸Ａ方向からの被検出者１４の一つ以上の瞳孔１４ａを含む少なくとも顔面の一部分の像のみが撮像素子４５上に結像する。結像した像のうち、瞳孔１４ａの部分は、光源４２から発光した光が被検出者１４に照射される光軸と、被検出者１４から反射した光が撮像素子４４に入射する光軸（光軸Ａ及び光軸Ｂ）とが、非同軸であるため、眼底反射光は撮像されていない。このため、いわゆる暗瞳孔の像が撮像される。光軸Ｂ方向からの第二の波長の光は、図１５Ａにおける第二の波長選択ミラー４８ｂを透過するため、撮像素子４５上には結像しない。

［効果の説明］本実施形態における瞳孔撮像装置５００では、さらに、異なる波長の光源を一方は撮像素子と同軸上、もう一方は非同軸な位置・角度に配置し、波長ごとに異なる撮像素子上に瞳孔１４ａの像を結像させるため、明瞳孔及び暗瞳孔の像を撮像できる。

なお、光軸Ａと光軸Ｂの両方の方向から入射した光を撮像素子４４上に結像させるため、ハーフミラー４８ｆは第一の波長の透過率が５０％（反射率が５０％）のものを使用することが好ましい。

また、瞳孔撮像装置５００製造の際の光学系の位置合わせ工程を簡略化するために、例えば、第一の波長選択ミラー４８ａ、第二の波長選択ミラー４８ｂ、第三の波長選択ミラー４８ｃは、図１５Ｃに示す、プリズム体５２のような光学的に等価な構成にしてもよい。このプリズム体５２は、全反射面５１、波長選択膜５２を具備している。この場合、被検出者１４の顔面で反射した光が波長選択ミラーに入射する方向に波長選択膜５１を向けるように、かつ波長選択ミラーと同じ角度で配置する。他のミラーについても同様に、光学的に等価な他の構成にしてもよく、全反射するミラーをプリズム体５２で置き換える場合には、前述のミラーの面としてプリズム体５２の全反射面５０を用いる。

［第五の実施形態］図１６は本実施形態の瞳孔径測定装置６００を示す上面図である。本実施形態は、第四の実施形態の構成に加え、第一の撮像素子４４上に結像された１枚の画像中の瞳孔１４ａを撮像した領域と、第二の撮像素子４５上に結像された１枚の画像中の同じく瞳孔１４ａを撮像した領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段５３を有する。

瞳孔径推定手段５３は、図１７に示すように瞳孔抽出手段５３ａと瞳孔径算出手段５３ｂを備えている。瞳孔抽出手段５３ａは、第一の撮像素子４４上に結像された画像中の瞳孔１４ａを撮像した領域と、第二の撮像素子４５上に結像された画像中の同じく瞳孔１４ａを撮像した領域を抽出する。通常、瞳孔は２つあるため合計４つの領域を抽出する。瞳孔径算出手段５３ｂは抽出した４つの領域から、瞳孔１４ａの三次元座標、寸法を算出する。

［構成・動作の説明］以下に、第一の撮像素子４４上に結像された１枚の画像と第二の撮像素子４５上に結像された１枚の画像から、瞳孔抽出手段５３ａが２つの領域を抽出し、瞳孔径算出手段５３ｂが一つ以上の瞳孔抽出手段５３ａの三次元座標、寸法を算出するまでの流れを、図１８のフローチャートを用いて説明する。

図１８に示すように、まず瞳孔抽出手段５３ａは、第一の撮像素子４４、第二の撮像素子４５上に結像されたそれぞれの画像を取り込む（Ｓ１０２；画像取り込み）。次に、瞳孔抽出手段５３ａは、第一の撮像素子４４上に結像された画像と第二の撮像素子４５上に結像された画像との差分を算出する（Ｓ１０３；画像差分）。また、瞳孔抽出手段５３ａは、差分算出後の画像に二値化処理を行い、瞳孔１４ａを撮像した２つの領域を抽出する（Ｓ１０４；光軸Ａ画像瞳孔部分抽出）。瞳孔径算出手段５３ｂは、抽出した２つの領域から、瞳孔１４ａの周囲の撮像素子面内の座標（Ｘ、Ｙ座標とする）を取得し、少なくともいずれかの瞳孔直径を算出する（Ｓ１０５；視点Ａ画像瞳孔部分瞳孔直径算出）。瞳孔径算出手段５３ｂは、求めた瞳孔径から微分フィルタを設定する（Ｓ１０６；微分フィルタ設定）。さらに、瞳孔径算出手段５３ｂは、第一の撮像素子４４に結像した画像に先述の微分フィルタを適用する（Ｓ１０７；画像微分処理）。瞳孔抽出手段５３ａは、先述の画像微分処理を適用した画像に二値化処理を行い、画像内の瞳孔部分２２に対応する４つの領域を抽出し、瞳孔径算出手段５３ｂに出力する（Ｓ１０８；瞳孔部分抽出）。瞳孔径算出手段５３ｂは、画像内の瞳孔部分２２に対応する４つの領域の第一の撮像素子４４面内Ｘ、Ｙ座標を算出する（Ｓ１０９；座標取得）。瞳孔径算出手段５３ｂは、求めたＸ，Ｙ座標に加え、数式１から数式３で示した計算方法を用いて三角測量によって第一の撮像素子４４上に結像した瞳孔部分２２を含む実像に対して第一の撮像素子４４から垂直方向の距離（Ｚ座標とする）を求める（Ｓ１１０；瞳孔の三次元座標取得）。瞳孔径算出手段５３ｂは、求めた三次元座標から４つの瞳孔部分２２の瞳孔径を算出し（Ｓ１１１；瞳孔径算出）、算出した瞳孔径を記録する（Ｓ１１２；瞳孔径記録）。以上の瞳孔径測定装置６００においては、時系列で撮像する場合など複数回撮像する場合は、図１８のフローチャートでＳ１１２の処理が終了した後に、Ｓ１０１のステップに戻る。

次に、上述の各ステップのうち、第三の実施形態における図８のフローチャートとの差分である、Ｓ１０４〜Ｓ１０８について詳細に説明する。まず、Ｓ１０４について説明する。図１９（ａ）は第一の撮像素子４４で撮像される画像の強度分布、図１９（ｂ）は第二の撮像素子４５で撮像される画像の強度分布を示す図である。

図１９（ａ）では、図９（ｂ）と同様に顔面部分２３に対して瞳孔部分２２の強度が大きくなるが、顔面部分２３と瞳孔部分２２の強度レベル差が小さい場合、２値化処理が難しくなる。

このような場合に、明瞳孔の像である図１９（ａ）と、暗瞳孔の像である図１９（ｂ）の差分をとる（図１９（ａ）から図１９（ｂ）を減算処理する）ことで、顔面部分２３からの反射の成分を相殺する。その結果図１９（ｃ）に示すように光軸Ａ方向で見た時の瞳孔部分２２のみを抽出できる。瞳孔部分２２の抽出後、Ｓ１０５として、図１９（ｃ）に示したように、抽出した瞳孔部分２２から光軸Ａ方向の瞳孔部分２２の右左瞳孔直径ＤＲ、ＤＬをそれぞれ求めることができる。

２値化処理した画像からは図９(ｃ)と同様に、光軸Ａ方向の右目画像の最小座標はＸＡＲｍｉｎ、最大座標はＸＡＲｍａｘのように記録される。光軸Ａ方向の左目画像の最小座標はＸＡＬｍｉｎ、最大座標はＸＡＬｍａｘ、のように記録される。光軸Ｂ方向の右目画像の最小座標はＸＢＲｍｉｎ、最大座標はＸＢＲｍａｘ、のように記録される。光軸Ｂ方向の左目画像の最小座標はＸＢＬｍｉｎ、最大座標はＸＢＬｍａｘ、のように記録される。同様にＹ成分も記録することが可能である。

次にＳ１０６を説明する。図２０は特徴抽出フィルタの作用を説明する図である。本実施形態では、特徴抽出フィルタとして数式４で示す２次微分フィルタを例示する。ここで、微分間隔ＤＲは前述の光軸Ａ方向の瞳孔部分の右瞳孔直径である。Ｓ１０６として、求めた光軸Ａ方向の瞳孔部分２２の右左瞳孔直径ＤＲ、ＤＬのいずれかを数式４に適用する。そしてＳ１０７として図２０Ａの画像に図２０Ｂの二次微分フィルタを施し、Ｓ１０８として二値化処理をすることで、直径ＤＲの大きさのものを選択的に抽出ができ、図２０Ｃに示すように光軸Ｂ方向で見た時の瞳孔部分２２も抽出できる。抽出した瞳孔部分２２を瞳孔径算出手段５３ｂに出力する。
［数式４］
Ｉ（ｘ，ｙ）＝２・Ｉ（ｘ，ｙ）−Ｉ（ｘ−ＤＲ，ｙ）−Ｉ（ｘ＋ＤＲ，ｙ）
ここで、ＤＲの値は光軸Ａ方向の抽出した瞳孔１４ａの像から常に求めることができるので、撮像距離が変動して、例えば図２０ＥのようにＤＲの値が増加した場合においても、このときの値ＤＲを微分間隔とするため、図２０Ｆに示すように二次微分フィルタを最適化でき、図２０Ｇに示すように瞳孔１４ａの選択的抽出ができる。

以上、瞳孔径測定装置６００について説明したが、図１７に示すように、瞳孔径測定装置６００はさらに瞳孔状態判定手段５４を備えても良い。図２１には、瞳孔状態判定手段５４を備えた場合のフローチャートを示している。図１８において算出された瞳孔径（Ｓ１１１；瞳孔径算出）の値から（Ｓ１１２；瞳孔径記録）、第三の実施形態で示した周波数分析（図１２中Ｓ８）の分析結果から被検出者１４の心理状態、生理状態を判定する。なお、被検出者１４の心理状態、生理状態を判定する方法として、第三の実施形態で述べたように、まず、ウェーブレット変換の周波数帯を、０．１５Ｈｚを境とした低周波帯０．０４〜０．１５Ｈｚ、高周波帯０．１６Ｈｚ〜０．５Ｈｚとに分ける。そして、低周波帯の振幅と高周波帯の振幅との振幅比から心理状態を判定することができる。つまり、瞳孔状態判定手段５４を備えた場合においては、図２１のフローチャートはＳ２１１の処理が終了した後に、Ｓ２０１のステップに戻る。Ｓ２１２以降は、Ｓ２０１〜Ｓ２１１の処理と並行に行ってもよいし、別に行ってもよい。

［効果の説明］本実施形態における瞳孔撮像装置６００では、さらに、顔面部分２３と瞳孔部分２２の強度レベル差が小さい場合でも、２値化処理によって正確な瞳孔径を算出できる。また、本実施形態における瞳孔状態検出装置７００は、被検出者１４の身体を拘束せずに、自由な態勢で精神状態を客観的定量的に評価する装置を小型かつ低コストで提供することが可能である。

なお、特徴抽出フィルタとして、二次微分フィルタではなく数式５に示す２次元分布のものを用いてもよい。この場合、フィルタ処理は図２０Ｄ、図２０Ｈのようになる。
［数式５］
Ｉ（ｘ，ｙ）＝４・Ｉ（ｘ，ｙ）―Ｉ（ｘ−Ｄ，ｙ）―Ｉ（ｘ＋Ｄ，ｙ）―Ｉ（ｘ，ｙ―Ｄ）―Ｉ（ｘ，ｙ＋Ｄ）
瞳孔１４ａの抽出には左瞳孔直径ＤＬを用いてもよく、右左瞳孔直径ＤＲ、ＤＬを交互に用いてもよい。

特徴抽出フィルタは値ＤＲ、ＤＬを基にしたものであれば、既知の各種画像処理フィルタを用いてもよい。

光源１の光源には波長８５０ｎｍのＬＥＤを使用した。光源６７の光源には波長９４０ｎｍのＬＥＤを使用した。光源１、２は同様な効果得られれば別の波長のものを使用してもよい。

波長選択フィルタは誘電体多層膜を用いたダイクロイックミラーを用いることができるが、他の既知の波長選択フィルタを用いてもよい。

本実施形態では光軸Ａと光軸Ｂは平行であるが、各ミラーの角度を変えて光軸Ａと光軸Ｂとの間に角度を持たせた輻輳撮影となる条件でもよい。

［第六の実施形態］次に第六の実施形態について説明をする。図２２は本実施形態に関する瞳孔状態検出表示装置８００の構成を示す上面図である。本実施形態の瞳孔状態検出表示装置８００は、図２２に示すように、第三、または第五の実施形態に対し、被検出者１４と波長選択手段４３との間に表示装置６１を備えている点で異なる。それ以外の構成や構成のバリエーションは、第三、第五の実施形態と同様である。なお、図２２Ａは表示装置６１として光学フィルタ６１ａ、図２２Ｂでは光学フィルタ６１ａと表示部６１ｂ、情報処理装置６１ｃ、図２２Ｃでは光学フィルタ６１ａ、表示部６１ｂ、ハーフミラー６１ｄである場合を示している。

［構成の説明］図２２Ａにおいて瞳孔状態検出装置１０１は本願発明の第三および第五の実施形態の瞳孔状態検出装置４００、または瞳孔状態検出装置７００である。図２２Ａ中の光学フィルタ６１ａが可視光全反射、赤外光全透過である場合、被検出者１４から見ると鏡のように見える。また、光学フィルタ６１ａを可視光吸収、赤外光透過とすれば被検出者１４から見ると黒い平面に見える。

図２２Ｂは、瞳孔状態検出装置１０１での判定結果に基づいて、情報処理装置６１ｃにより判断した結果を表示部６１ｂに表示する構成である。この構成において、表示部６１ｂに表示することで、被検出者１４に疲労状態や精神状態を知らせたり、被検出者１４の対光反射などの反応を測定するための視覚刺激を与えたりしてもよい。なお、被検出者１４の心理状態、生理状態を判定する方法として、第三の実施形態で述べたように、まず、ウェーブレット変換の周波数帯を、０．１５Ｈｚを境とした低周波帯０．０４〜０．１５Ｈｚ、高周波帯０．１６Ｈｚ〜０．５Ｈｚとに分ける。そして、低周波帯の振幅と高周波帯の振幅との振幅比から心理状態を判定することができる。

図２２Ｃは、図２２Ｂで示す構成にハーフミラー６１ｃを備えた構成である。
表示部６１ｂの表示がないときは鏡として作用、表示部６１ｂの表示がある場合は、被検出者１４の鏡像と表示画像を光学的に融合することができる。

［効果の説明］第六の実施形態の瞳孔状態検出表示装置８００により、図２２Ａの構成の場合、被検出者１４は測定されていることを感じず、より精度の高い心理状態を評価できる。さらに図２２Ｂの構成の場合、被検出者１４の心理状態、生理状態の瞳孔状態検出装置４００、瞳孔状態検出装置７００による評価結果に応じて被検出者１４に視覚刺激を与えることで、精神的ストレス管理や、精神的疾病の治療にさらなる効果をもたらすことが可能となった。図２２Ｃの構成の場合、上述の図２２Ａと図２２Ｂの構成の効果を表示内容に応じて得ることができる。

表示部６１ｂとしては、液晶ディスプレイを用いることができる。液晶ディスプレイの他に、有機ＥＬディスプレイやその他のディスプレイを使用してもよい。なお、「ＥＬ」は、「Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ」の略である。また、表示部６１ｂは、通常の２次元表示のもの以外に、レンチキュラレンズやパララックスバリアを用いた立体ディスプレイを用いてもよい。立体ディスプレイを用いた場合、瞳孔状態検出装置１０１で得られた左右の瞳孔位置や瞳孔位置から求められる輻輳角、瞳孔径から求められる眼球の焦点調節状態の状態を用いて、立体ディスプレイの観察に適切な視差画像を表示してもよい。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
一つの撮像素子と、
光源から光を照射される被写体の共通する箇所の異なる視点での複数の像を、前記一つの撮像素子上に結像させる結像手段と、を有する、撮像装置。
［付記２］
前記少なくとも異なる２視点が第一の視点と第二の視点であり、
前記結像手段は、前記第一の視点における被写体からの光をミラーで反射させてレンズに入射させることで前記一つの撮像素子上に結像させ、前記第二の視点における前記被写体からの光をミラーで反射させて前記レンズに入射させることで前記一つの撮像素子上に前記第一の視点と前記第二の視点とにおける被写体の像と同時に結像させる、付記１に記載の撮像装置。
［付記３］
前記任意の光源は、一つの光源と、前記一つの光源から出射された入射光を分割する分割手段と、前記分割手段で分割した入射光を平行するあるいは輻輳する角度で異なる２方向から被写体方向に入射させるミラーである、付記１または２に記載の撮像装置。
［付記４］
前記分割手段がハーフミラーである、付記３に記載の撮像装置。
［付記５］
所定の波長の光を出射する光源と、
前記所定の波長の光を選択的に透過する波長選択手段と、
一つの撮像素子と、
前記波長選択手段を介して前記光源から前記所定の波長の光を照射される被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分の異なる視点でのおのおのの像を、前記波長選択手段を介して前記一つの撮像素子上に結像させる結像手段を有し、
前記異なる視点は前記光源が光を出射する方向と略平行な異なる光軸上にあり、
前記異なる光軸は、互いに平行または輻輳する配置である、
瞳孔撮像装置。
［付記６］
付記５の瞳孔撮像装置と、前記一つの撮像素子上に結像された１枚の画像の中の、前記一つ以上の瞳孔に対応する少なくとも２つの領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段と、を有する瞳孔径測定装置。
［付記７］
前記瞳孔径推定手段が、前記一つの撮像素子上に結像された１枚の画像から前記少なくとも２つの領域を抽出する瞳孔抽出手段と、
前記少なくとも２つの領域から、前記一つ以上の瞳孔の三次元座標、寸法を算出し、出力する瞳孔径算出手段を有する、付記６に記載の瞳孔径測定装置。
［付記８］
付記６または７に記載の瞳孔径測定装置と、前記瞳孔径算出手段が出力する前記一つ以上の瞳孔の三次元座標、寸法から被検出者の心理状態、生理状態を判定する瞳孔状態判定手段と、を有する瞳孔状態検出装置。
［付記９］
第一の波長の光を出射する第一の光源と、
前記第一の光源と異なる角度で第二の波長の光を出射する第二の光源と、
前記第一の波長の光および前記第二の波長の光を選択的に透過する波長選択手段と、
第一の撮像素子と、
第二の撮像素子と、
前記第一の光源からの光が被検出者へ出射される際と光軸が同軸であり、前記第一の波長の光を前記波長選択手段を介して照射される前記被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分の第一の視点と第二の視点でのおのおのの前記第一の波長の光による像を、前記波長選択手段を介して前記第一の撮像素子上に結像させる第一の結像手段と、
前記第二の波長の光を照射される被検出者の少なくとも一つの瞳孔を含む少なくとも顔面の一部分の前記第一の視点での前記第二の波長の光による像を、前記波長選択手段を介して前記第二の撮像素子上に結像させる第二の結像手段と、を有し、
前記第一の視点と前記第二の視点は前記第一の光源が光を出射する方向と略平行な２つの光軸上にあり、
前記２つの光軸は、互いに平行または輻輳する配置である、
瞳孔撮像装置。
［付記１０］
付記９の瞳孔撮像装置と、前記第一の撮像素子上に結像された１枚の画像と前記第二の撮像素子上に結像された１枚の画像との中の、前記一つ以上の瞳孔に対応する少なくとも２つの領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段と、を有する瞳孔径測定装置。
［付記１１］
前記瞳孔径推定手段が、前記第一の撮像素子上に結像された１枚の画像と前記第二の撮像素子上に結像された１枚の画像から前記一つ以上の瞳孔の領域を抽出する瞳孔抽出手段と、
前記一つ以上の瞳孔の三次元座標、寸法を算出し、出力する瞳孔径算出手段と、を有する、付記１０に記載の瞳孔径測定装置。
［付記１２］
前記第一の撮像素子と前記第二の撮像素子との上に結像されたそれぞれの画像が、明瞳孔を含む画像と暗瞳孔を含む画像である、付記１１記載の瞳孔径測定装置。
［付記１３］
前記瞳孔抽出手段は、前記それぞれの画像の減算処理をする付記１１記載の瞳孔径測定装置。
［付記１４］
前記第一の結像手段は、前記第一の視点における前記一つ以上の瞳孔を含む少なくとも顔面の一部分からの光を、前記第一の波長を選択的に反射する第一の波長選択ミラーで反射させ、さらにミラーで反射させ、さらに前記第一の波長を選択的に反射する第二の波長選択ミラーで反射させ、レンズに入射させることで前記第一の撮像素子上に結像させ、同時に前記第二の視点における前記一つ以上の瞳孔を含む少なくとも顔面の一部分からの光をミラーで反射させ、さらに前記レンズに入射させることで前記第一の撮像素子上に結像させる、付記９記載の瞳孔撮像装置。
［付記１５］
前記第二の結像手段は、前記第一の視点における前記一つ以上の瞳孔を含む少なくとも顔面の一部分からの光をミラーで反射させ、レンズに入射させることで第二の撮像素子上に結像させる、付記９記載の瞳孔撮像装置。
［付記１６］
付記１５に記載の瞳孔撮像装置と、前記被検出者と前記波長選択手段との間にさらに表示装置と、を有する、瞳孔状態検出表示装置。
［付記１７］
被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分に光源から所定の波長の光を出射し、
前記光を出射する方向と略平行の２つの光軸の各々の光軸上の異なる少なくとも２視点での、前記一つ以上の瞳孔を含む少なくとも顔面の一部分からの光を一つの撮像素子上に結像させる、
瞳孔撮像方法。
［付記１８］
被検出者の一つの瞳孔を含む少なくとも顔面の一部分に第一の光源が第一の波長の光を出射し、
前記第一の光源と異なる位置から異なる角度で第二の光源が被検出者の一つの瞳孔を含む少なくとも顔面の一部分に前記第二の波長の光を出射し、
被検出者の一つの瞳孔を含む少なくとも顔面の一部分方向から入射する前記第一の波長の光および前記第二の波長の光が前記第一の波長の光および前記第二の波長の光を選択的に透過する波長選択手段を介し第一の結像手段と第二の結像手段に入射し、
前記第一の光源からの光が被検出者へ出射される際と光軸が同軸である第一の結像手段は第一の視点と第二の視点での前記被検出者の一つの瞳孔を含む少なくとも顔面の一部分の各々の前記第一の波長の光を第一の撮像素子上に結像させ、
第二の結像手段は第一の視点での前記被検出者の少なくとも一つの瞳孔を含む少なくとも顔面の一部分の前記第二の波長の光を第二の撮像素子上に結像させる、
瞳孔撮像方法。
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１３年１１月１９日に出願された日本出願特願２０１３−２３８４９３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１a 特徴点
２ 任意の光源
２ａ 光源
２ａａ ミラー
２ｂ 分割手段
２ｂａ ハーフミラー
２ｂｂ〜２ｂｄ ミラー
２ｂ レンズ
３ 第一の視点
４ 第二の視点
５ 撮像素子
６ 結像手段
６ａ ミラー
６ｂ レンズ
１００ 撮像装置
１１ 光源
１２ 波長選択手段
１３ 撮像素子
１３ａ 光学的に等価な撮像素子
１４ 被検出者
１４a 瞳孔
１５ 第一の視点
１６ 第二の視点
２０ 結像手段
２０ａ ハーフミラー
２０ｂ〜ｄ ミラー
２０ｅ レンズ
２０ｅａ 光学的に等価なレンズ
２１ 瞳孔径推定手段
２１ａ 瞳孔抽出手段
２１ｂ 瞳孔径算出手段
２２ 瞳孔部分
２３ 顔面部分
２４ 瞳孔状態判定手段
２００ 瞳孔撮像装置
３００ 瞳孔径測定装置
４００ 瞳孔状態検出装置
４１ 第一の光源
４２ 第二の光源
４３ 波長選択手段
４４ 第一の撮像素子
４５ 第二の撮像素子
４６ 第一の視点
４７ 第二の視点
４８ 第一の結像手段
４８a 第一の波長選択ミラー
４８b 第二の波長選択ミラー
４８c 第三の波長選択ミラー
４８d 第一のミラー
４８ｅ 第二のミラー
４８ｆ ハーフミラー
４８ｇ レンズ
４９ 第二の結像手段
４９a ミラー
５０ 全反射面
５１ 波長選択膜
５２ プリズム体
５３ 瞳孔径推定手段
５３a 瞳孔抽出手段
５３b 瞳孔径算出手段
５４ 瞳孔状態判定手段
５００ 瞳孔撮像装置
６００ 瞳孔径測定装置
７００ 瞳孔状態検出装置
６１ 表示装置
６１ｂ 表示部
１０１ 瞳孔状態検出装置
１０３ 光学フィルタ
１０４ ハーフミラー
８００ 瞳孔状態検出表示装置

Claims (10)

1. 一つの撮像素子と、
   光源から光を照射される被写体の共通する箇所の異なる視点での複数の像を、前記一つの撮像素子上に結像させる結像手段と、を有する、撮像装置。
2. 前記少なくとも異なる２視点が第一の視点と第二の視点であり、
   前記結像手段は、前記第一の視点における被写体からの光をミラーで反射させてレンズに入射させることで前記一つの撮像素子上に結像させ、前記第二の視点における前記被写体からの光をミラーで反射させて前記レンズに入射させることで前記一つの撮像素子上に前記第一の視点と前記第二の視点とにおける被写体の像と同時に結像させる、請求項１に記載の撮像装置。
3. 所定の波長の光を出射する光源と、
   前記所定の波長の光を選択的に透過する波長選択手段と、
   一つの撮像素子と、
   前記波長選択手段を介して前記光源から前記所定の波長の光を照射される被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分の異なる視点でのおのおのの像を、前記波長選択手段を介して前記一つの撮像素子上に結像させる結像手段と、を有し、
   前記異なる視点は前記光源が光を出射する方向と略平行な異なる光軸上にあり、
   前記異なる光軸は、互いに平行または輻輳する配置である、
   瞳孔撮像装置。
4. 請求項３の瞳孔撮像装置と、前記一つの撮像素子上に結像された１枚の画像の中の、前記一つ以上の瞳孔に対応する少なくとも２つの領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段と、を有する瞳孔径測定装置。
5. 前記瞳孔径推定手段が、前記一つの撮像素子上に結像された１枚の画像から前記少なくとも２つの領域を抽出する瞳孔抽出手段と、
   前記少なくとも２つの領域から、前記一つ以上の瞳孔の三次元座標、寸法を算出し、出力する瞳孔径算出手段を有する、請求項４に記載の瞳孔径測定装置。
6. 第一の波長の光を出射する第一の光源と、
   前記第一の光源と異なる角度で第二の波長の光を出射する第二の光源と、
   前記第一の波長の光および前記第二の波長の光を選択的に透過する波長選択手段と、
   第一の撮像素子と、
   第二の撮像素子と、
   前記第一の光源からの光が被検出者へ出射される際と光軸が同軸であり、前記第一の波長の光を前記波長選択手段を介して照射される前記被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分の第一の視点と第二の視点でのおのおのの前記第一の波長の光による像を、前記波長選択手段を介して前記第一の撮像素子上に結像させる第一の結像手段と、
   前記第二の波長の光を照射される被検出者の少なくとも一つの瞳孔を含む少なくとも顔面の一部分の前記第一の視点での前記第二の波長の光による像を、前記波長選択手段を介して前記第二の撮像素子上に結像させる第二の結像手段と、を有し、
   前記第一の視点と前記第二の視点は前記第一の光源が光を出射する方向と略平行な２つの光軸上にあり、
   前記２つの光軸は、互いに平行または輻輳する配置である、
   瞳孔撮像装置。
7. 請求項６の瞳孔撮像装置と、前記第一の撮像素子上に結像された１枚の画像と前記第二の撮像素子上に結像された１枚の画像との中の、前記一つ以上の瞳孔に対応する少なくとも２つの領域を用いて、三角測量によって瞳孔径を推定する瞳孔径推定手段と、を有する瞳孔径測定装置。
8. 前記瞳孔径推定手段が、前記第一の撮像素子上に結像された１枚の画像と前記第二の撮像素子上に結像された１枚の画像から前記一つ以上の瞳孔の領域を抽出する瞳孔抽出手段と、
   前記一つ以上の瞳孔の三次元座標、寸法を算出し、出力する瞳孔径算出手段と、を有する、請求項７に記載の瞳孔径測定装置。
9. 前記第一の撮像素子と前記第二の撮像素子との上に結像されたそれぞれの画像が、明瞳孔を含む画像と暗瞳孔を含む画像であり、
   前記瞳孔抽出手段は、前記それぞれの画像の減算処理をする請求項８記載の瞳孔径測定装置。
10. 被検出者の一つ以上の瞳孔を含む少なくとも顔面の一部分に光源から所定の波長の光を出射し、
    前記光を出射する方向と略平行の２つの光軸の各々の光軸上の異なる少なくとも２視点での、前記一つ以上の瞳孔を含む少なくとも顔面の一部分からの光を一つの撮像素子上に結像させる、
    瞳孔撮像方法。

Images