JP3630762B2 - 眼球像受光装置及び眼球像受光制御方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、視線検出等の機能を有したカメラや望遠鏡などの光学機器に具備される眼球像受光装置、及び、眼球像受光制御方法に関するものである。
【０００２】
【従来の技術】
従来より、撮影者が観察面上のどの位置を観察しているかを検出する、いわゆる視線（視軸）を検出する装置（例えばアイカメラ）が種々提供されている。例えば特開平１−２７４７３６号公報においては、光源からの平行光束を撮影者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して注視点を求めている。また同公報において、注視点検出装置を一眼レフカメラに配設し、撮影者の注視点情報を用いて撮影レンズの自動焦点調節を行う例を開示している。
【０００３】
図１１は一眼レフカメラに配設された視線検出光学系の概略図である。
【０００４】
同図において、１は撮影レンズ、２は主ミラー、７はピント板、８はペンタプリズムである。１１は１１ａの部分が赤外光のみを反射する様なミラーになった部分を含む接眼レンズで、撮影者は該接眼レンズ１１に目を近付けてファインダ内の被写体を観察する。１３ａ，１３ｂは各々撮影者に対して不感の赤外光を放射する発光ダイオード等の光源である。１５は撮影者の眼である。
【０００５】
前記光源１３ａ，１３ｂで発光した光は撮影者１５の眼球で反射し、この赤外光の一部は接眼レンズ内の赤外反射ミラー部１１ａで反射され、受光レンズ１２においてイメージセンサ１４に集光する。
【０００６】
図１２（ａ）は上記イメージセンサ１４に投影される眼球像の概略図であり、図中５２ａ，５２ｂは赤外発光ダイオード１３ａ，１３ｂの角膜反射像で、５０は眼球の白目の部分、５１は瞳孔、５３は目の回りの皮膚の部分である。
【０００７】
図１２（ｂ）は、図１２（ａ）のイメージセンサ１４のあるライン（Ｅ−Ｅ´）からの出力信号６０の強度を示す図である。
【０００８】
眼球像の特徴は、赤外発光ダイオード１３ａ，１３ｂの角膜反射の輝度が一番高いが面積的にはあまり大きくなく、瞳孔部分は反射率が非常に低いため輝度レベルが最低で、ある程度の面積を占めることである。白目部分は角膜反射と瞳孔部分の輝度レベルの中間になり、皮膚の部分は外光や照明条件により輝度が高かったり低かったりする。
【０００９】
図１３は視線検出原理を説明する為の図である。
【００１０】
同図において、１５は撮影者の眼球、１６は角膜、１７は虹彩である。また、図１１に示した接眼レンズ１１は説明には不用であるため省略してある。以下この図を用いて視線の検出方法を説明する。
【００１１】
赤外発光ダイオード１３ｂより放射された赤外光は、観察者の眼球１５の角膜１６を照射する。このとき、角膜１６の表面で反射した赤外光の一部により形成される角膜反射像ｄ（虚像）は受光レンズ１２により集光され、イメージセンサ１４上の位置ｄ´に結像する。同様に赤外発光ダイオード１３ａにより放射された赤外光は、眼球１５の角膜１６を照明する。このとき、角膜１６の表面で反射した赤外光の一部により形成された角膜反射像ｅは受光レンズ１２により集光され、イメージセンサ１４上の位置ｅ´に結像する。
【００１２】
又、虹彩１７の端部ａ，ｂからの光束は、受光レンズ１２を介してイメージセンサ１４上の位置ａ´，ｂ´に該端部ａ，ｂの像を結像する。受光レンズ１２の光軸に対する眼球１５の光軸の回転角θが小さい場合、虹彩１７の端部ａ，ｂのｘ座標をｘａ，ｘｂとすると、瞳孔１９の中心位置ｃの座標ｘｃは、
ｘｃ≒（ｘａ＋ｘｂ）／２
と表される。
【００１３】
又、角膜反射像ｄ及びｅの中点のｘ座標と角膜１６の曲率中心ｏのｘ座標ｘｏとは略一致する。この為、角膜反射像の発生位置ｄ，ｅのｘ座標をｘｄ，ｘｅ、角膜１６の曲率中心ｏと瞳孔１９の中心ｃまでの標準的な距離をＯＣとすると、眼球１５の光軸１５ａの回転角θｘは、
ＯＣ＊ＳＩＮθｘ≒（ｘｄ＋ｘｅ）／２−ｘｃ ……（１）
の関係式を略満足する。この為、図１２（ａ）に示した様に、イメージセンサ１４上に投影された眼球１５の各特徴点（角膜反射像及び瞳孔の中心）の位置を検出することにより、眼球１５の光軸１５ａの回転角θを求めることができる。
【００１４】
眼球１５の光軸１５ａの回転角は（１）式より、
β＊ＯＣ＊ＳＩＮθｘ≒｛（ｘｐｏ−δｘ）−ｘｉｃ｝＊ｐｉｔｃｈ ……（２）
β＊ＯＣ＊ＳＩＮθｙ≒｛（ｙｐｏ−δｙ）−ｙｉｃ｝＊ｐｉｔｃｈ ……（３）
と求められる。
【００１５】
ここで、θｘはｚ−ｘ平面内での眼球光軸の回転角、θｙはｙ−ｚ平面内での眼球光軸の回転角である。又（ｘｐｏ，ｙｐｏ）はイメージセンサ１４上の２個の角膜反射像の中点の座標、（ｘｉｃ，ｙｉｃ）はイメージセンサ１４上の瞳孔中心の座標である。ｐｉｔｃｈはイメージセンサ１４の画素ピッチである。また、βは受光レンズ１２に対する眼球１５の位置により決る結像倍率で、実質的には２個の角膜反射像の間隔の関数として求められる。δｘ，δｙは角膜反射像の中点の座標を補正する補正項であり、撮影者の眼球を平行光ではなく発散光にて照明していることにより生じる誤差を補正する補正項、及び、δｙに関しては、撮影者の眼球を下まぶたの方から発散光にて照明していることにより生じるオフセット成分を補正する補正項も含まれている。
【００１６】
撮影者の眼球光軸の回転角（θｘ，θｙ）が算出されると、撮影者の観察面（ピント板）上の注視点（ｘ，ｙ）はカメラの姿勢が横位置の場合、
ｘ＝ｍ＊（θｘ＋△） …………（４）
ｙ＝ｍ＊θｙ …………（５）
と求められる。
【００１７】
ここで、ｘ方向はカメラの姿勢が横位置の場合の撮影者に対して水平方向、ｙ方向はカメラの姿勢が横位置の場合の撮影者に対して垂直方向を示している。ｍは眼球の回転角からピント板上の座標に変換する変換係数、△は眼球光軸１５ａと視軸（注視点）とのなす角である。一般に眼球の回転角と観察者が実際に視ている視軸とは、観察者に対して水平方向に約５°ずれており、垂直方向には殆どずれていない事が知られている。
【００１８】
この様な視線検出装置を、カメラや望遠鏡などのように野外や屋内のどちらでも使用する様な光学装置に搭載した場合、観察者の眼球が外光（太陽光）に照明されているときと全く照明されていないときとがあり、眼球像の明るさ、特に視線検出に用いる部分以外の目の回りの明るさやまつ毛等の反射が視線検出を行うための眼球像の画像に大変影響する。現在眼球像を検出するイメージセンサのダイナミックレンジは屋外での明るさと室内での明るさとの比よりもかなり狭く、必要な眼球像を得るために該イメージセンサの駆動条件を変化させる、いわゆるオートゲインコントロール（ＡＧＣ）を行う必要がある。この為、眼球像を検出するイメージセンサの出力を複数の領域に分割し、その出力に一定の演算を行いＡＧＣを行う必要がある。
【００１９】
図１４（ａ）は、従来例のイメージセンサのＡＧＣの為のエリアの分割図である。
【００２０】
簡単にＡＧＣの方法を説明すると、最初に予め決まった蓄積制御でセンサ出力を得、センサの全領域の中央部分を６つの領域に分割し、その各々の領域を代表する輝度情報（Ａ０〜Ａ５）を求める。次に、最大値の閾値より大きい値と、最小値の閾値より小さい値を排除する。更に、残った値に特定の重み付け演算を行い、全体の輝度を代表する値を求める。この代表輝度値に従ってセンサの制御方法を決定する。
【００２１】
【発明が解決しようとする課題】
しかしながら、図１４（ｃ）の様に眼球中心がイメージセンサの中心に無いと〔図１４（ｂ）は眼球中心がイメージセンサの中心にある場合を示している〕、目の回りの部分の明るさでＡＧＣ制御されたり、眼球がファインダから遠い為にイメージセンサ上で眼球が小さくなってしまった場合には、眼球部分の明るさでＡＧＣ制御されない。この時に外光があれば実際より眼球が明るいと判断してしまうし、外光がなければ実際より眼球が暗いと判断してしまう。
【００２２】
更に、図１４（ｄ）の様に、太陽光が部分的に目の付近を照明していたりした場合も眼球の瞳孔付近部分の明るさを正確に検出することができず、この場合実際より明るい眼球部であると判断し、ＡＧＣ制御がうまく働かずに像信号出力が小さく制御されてしまう。
【００２３】
いずれにせよ外光の影響を受け易くなり、適切な眼球像を得ることは困難であった。
【００２４】
（発明の目的）
本発明の目的は、眼球中心が受光面の中心に無い場合や、眼球が観察面から遠い為に受光面上で眼球が小さくなってしまった場合や、太陽光が部分的に眼球を照明していた場合であっても、眼球部分の明るさを正確に検出し、外光や眼球の位置の影響を受けない適切な眼球像を得ることのできる眼球像受光装置及び眼球像受光制御方法を提供することである。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、請求項１〜４及び７記載の本発明は、観察者の眼球の反射像を検出する受光手段と、該受光手段で受光した眼球の反射像の特徴点を検出する特徴点検出手段と、前記受光手段により得られる受光出力が所定値以上であれば前記該特徴点検出手段により検出された特徴点情報を基に前記反射像の領域を複数に分割し、前記受光手段により得られる受光出力が所定値より小さければ前記特徴点情報を用いずに前記受光手段のセンサ中心を基に前記反射像の領域を複数に分割し、分割した領域にて得られる情報から前記反射像の輝度情報を検出する輝度検出手段と、該輝度検出手段によって検出された輝度情報を基に前記受光手段の駆動条件を設定する制御手段とを備えている。
【００２６】
また、請求項５及び６記載の本発明は、観察者の眼球の反射像を検出する受光手段を制御して受光出力を得、該受光出力から反射像の特徴点を検出し、前記受光手段により得られる受光出力が所定値以上であれば前記特徴点情報を基に反射像の領域を複数に分割し、前記受光手段により得られる受光出力が所定値より小さければ前記特徴点情報を用いずに前記受光手段のセンサ中心を基に前記反射像の領域を複数に分割し、分割した領域の受光出力から反射像の輝度情報を検出し、該輝度情報から前記受光手段の駆動を制御する為の制御方法を決定し、該決定した制御方法で前記受光手段の駆動を制御するようにしている。
【００２８】
【実施例】
以下、本発明を図示の実施例に基づいて詳細に説明する。
【００２９】
図１は本発明の第１の実施例に係る眼球像受光装置を具備したカメラに内蔵された電気的構成の要部を示すブロック図である。
【００３０】
カメラに内蔵された制御手段であるところのマイクロコンピュータの中央処理装置（以下、ＣＰＵと称す）１００には、視線検出回路１０１，測光回路１０２，自動焦点検出回路１０３，信号入力回路１０４，ＬＣＤ駆動回路１０５，ＬＥＤ駆動回路１０６，ＩＲＥＤ駆動回路１０７，シャッタ制御回路１０８，モータ制御回路１０９が接続されている。また、撮影レンズ内に配置された焦点調節回路１１０，絞り駆動回路１１１とはマウント接点３７を介して信号の伝達がなされる。該ＣＰＵ１００に付随した記憶手段としてのＥＥＰＲＯＭ１００ａは、フィルムカウンタ、その他の撮影情報を記憶可能である。
【００３１】
前記視線検出回路１０１は、イメージセンサ１４（ＣＣＤ−ＥＹＥとも記す）からの眼球像の出力をＣＰＵ１００に送信する。ＣＰＵ１００は前記イメージセンサ１４からの眼球像信号をＣＰＵ１００内のＡ／Ｄ変換手段によりＡ／Ｄ変換し、この像情報を後述する様に視線検出に必要な眼球像の各特徴点を所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の眼球の回転角を算出する。
【００３２】
前記測光回路１０２は、測光センサ１０からの出力を増幅後、対数圧縮し、各センサの輝度情報としてＣＰＵ１００に送られる。 前記測光センサ１０は画面内を複数に分割しており、それぞれ光電変換出力を出力する複数のフォトダイオードから構成されている。
【００３３】
ラインセンサ６ｆは画面内の５つの測距点に対応した５組のラインセンサＣＣＤ−Ｌ２，ＣＣＤ−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から構成される公知のＣＣＤラインセンサである。
【００３４】
前記自動焦点検出回路１０３は、前記ラインセンサ６ｆから得た電圧をＣＰＵ１００に送り、ＣＰＵ１００では内蔵されたＡ／Ｄ変換手段によってラインセンサ信号を順次Ａ／Ｄ変換する。
【００３５】
ＳＷ−１はレリーズ釦の第１ストロークでＯＮし、測光，ＡＦ，視線検出動作を開始する為の測光スイッチ、ＳＷ−２はレリーズ釦の第２ストロークでＯＮするレリーズスイッチ、ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は不図示の電子ダイヤル内に設けたダイヤルスイッチで、信号入力回路１０４のアップダウンカウンタに入力され、電子ダイヤルの回転クリック量をカウントする。
【００３６】
本発明のカメラの構成要素である制御手段は、ＣＰＵ１００及びＥＥＰＲＯＭ１００ａから成っており、ＣＰＵ１００はカメラの各機能部材に信号を送信して制御を行うと共に、各種の検出回路からの信号を受けてその信号処理を行う。
【００３７】
また、前記特徴点検出手段は、ＣＰＵ１００，視線検出回路１０１，ＩＲＥＤ駆動回路１０７，ＣＣＤ−ＥＹＥ１４，眼球回転角検出手段から成る。
【００３８】
次に、視線検出機能を具備したカメラの動作について、図２〜図４のフローチャートを用いて説明する。
【００３９】
まず、カメラの全体シーケンスの動作を、図２のフローチャートに従って説明を行う。なお、このフローではカメラの普通のシーケンスについて説明しており、特殊な動作や不慮の事故に対するトラブル処理については本発明とは関係ないので記述していない。
［ステップ＃１００］ 不図示のモードダイアルを回転させてカメラを不作動状態から所定の撮影モードに設定すると（本実施例ではシャッタ優先ＡＥに設定された場合をもとに説明する）、カメラの電源がＯＮされ、ステップ＃１０１より動作を開始する。
［ステップ＃１０１］ ＣＰＵ１００の視線検出に使われる変数がリセットされる。
［ステップ＃１０２］ レリーズ釦４１が押込まれてスイッチＳＷ−１がＯＮされるまで待機し、レリーズ釦４１が押込まれてスイッチＳＷ−１がＯＮされたことを信号入力回路１０４が検知するとステップ＃１０３へ進む。
［ステップ＃１０３］ ＣＰＵ１００は視線検出を実行する。その詳しい内容は後述する。
［ステップ＃１０４］ 上記ステップ＃１０３の結果をもとに、注視点の選択の判別を行う。視線が測距点のどれかを注視していればその測距点を選択し、測距点以外の部分を注視していたり、視線検出ができなかった場合は、測距点選択を次に行う焦点検出結果によって決定する測距点自動選択モードにする。
［ステップ＃１０５］ 視線検出によって測距点が選択されたならば、その測距点の焦点検出を実行する。測距点自動選択モードならば全ての測距点で焦点検出を行い、その演算結果により測距点を選択し、以後に続く合焦判定やレンズ駆動を行う。ＣＰＵ１００は焦点検出回路１０３に信号を送って焦点検出動作を行わせる。
［ステップ＃１０６］ 焦点検出結果が合焦であるかどうかを判定し、分岐を行うが、焦点検出結果が合焦かどうかは撮影レンズのデフォーカス量が所定以内かどうかで判定する。
【００４０】
ここで、もし撮影レンズのデフォーカス量が所定より大きければ、ステップ＃１０７へ分岐する。
［ステップ＃１０７］ ＣＰＵ１００はレンズ焦点調節回路１１０に信号を送って所定量撮影レンズ１を駆動させる。
【００４１】
レンズ駆動後はステップ＃１０５へ戻り、自動焦点検出回路１０３は再度焦点検出を行い、撮影レンズ１が合焦するまでステップ＃１０５〜ステップ＃１０７の動作を繰返す。
【００４２】
上記ステップ＃１０６において撮影レンズのデフォーカス量が所定以内であれば、合焦なのでステップ＃１０８へ分岐する。
［ステップ＃１０８］ 選択された測距点において撮影レンズ１が合焦したので、ＣＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってファインダ内ＬＣＤ２４（図１参照）の合焦マークを点灯させると共に、ＬＥＤ駆動回路１０６にも信号を送って合焦している測距点マーク（ＬＥＤ２１）を合焦表示させる。
［ステップ＃１０９］ ＣＰＵ１００は測光回路１０２に信号を送信して測光センサ１０を用いて測光を行わせる。測光は画面内を分割して行い、ＣＰＵ１００は各エリアの測光値から所定のアルゴリズムで評価測光を行い、合焦した測距点を含む測光領域に重み付けを行った露出値を決定する。
［ステップ＃１１０］ レリーズ釦４１が押込まれてスイッチＳＷ−２がＯＮされているか否かの判定を行い、ＯＮすることによりステップ＃１１１へ進む。
［ステップ＃１１１］ 上記スイッチＳＷ−２がＯＮされたので、ＣＰＵ１００はシャッタ制御回路１０８，モータ制御回路１０９，絞り駆動回路１１１にそれぞれ信号を送信し、絞り３１、モータＭ−１，Ｍ−２、マグネットＭＧ−１，ＭＧ−２を用いて所定のレリーズ動作を行わせる。
【００４３】
ここで、このレリーズ動作について、図１を用いて簡単に説明する。
【００４４】
先ず、モータＭ−２に通電し、主ミラー２をアップさせ、絞り３１を絞り込む。その後、マグネットＭＧ−１に通電してシャッタの先幕を開放する。ここで、絞り３１の絞り値及びシャッタのシャッタスピードは、前記測光回路１０２にて検知された露出値とフィルムの感度から設定される。所定のシャッタ秒時が経過すると、マグネットＭＧ−２に通電し、シャッタの後幕を閉じる。これにより、フィルムへの露光が終了する。
【００４５】
次に、モータＭ−２に再度通電し、主ミラー２をダウンさせ、次いでシャッタチャージを行うと共にモータＭ−１にも通電し、フィルムの１駒送りを行い、一連のレリーズ動作を終了する。
【００４６】
その後、カメラはステップ＃１０１を介して再びスイッチＳＷ−１がＯＮされるまで待機する（ステップ＃１０２）。
【００４７】
なお、この図２のフローチャートには図示していないが、ステップ＃１０３〜ステップ＃１１０の間でＳＷ−１がＯＦＦされた場合は、ステップ＃１０１に戻り、次に再びＳＷ−１がＯＮされるまでステップ＃１０２において待機するようになっている。
【００４８】
次に、図２のステップ＃１０３において実行される視線検出について、図３のフローチャートを用いて説明する。
［ステップ＃２０１］ 図２のステップ＃１０３においてサブルーチン視線検出がコールされると、プログラムがこのシーケンスに移り、ＣＰＵ１００は視線検出回路１０１に信号を出力し、視線検出を開始する。
［ステップ＃２０２］ 撮影者の眼球像を得る為のイメージセンサ１４の蓄積時間及び読出し増幅率を決定するために、イメージセンサ１４を所定の蓄積時間で電荷蓄積を行う（予備蓄積という）。
［ステップ＃２０３］ ＣＰＵ１００は視線検出回路１０１に信号を送って予備蓄積の蓄積電荷読出し、順次Ａ／Ｄ変換を行い、所定のＡＧＣ計算を行う。ＡＧＣ計算については、後で詳しく説明する。
［ステップ＃２０４］ ここでは本蓄積を行う。
【００４９】
つまり、先ずＣＰＵ１００は撮影者の眼を照明する為にＩＲＥＤ駆動回路１０７を介して赤外発光ダイオード（ＩＲＥＤとも記す）１３ａ，１３ｂを点灯し、上記ステップ＃２０３のＡＧＣ計算で決定された蓄積時間及び出力増幅率により蓄積及びゲインの制御を行い、センサ出力を得る。そして、蓄積が終了すると共にＩＲＥＤ１３ａ，１３ｂを消灯する。
［ステップ＃２０５］ ＣＰＵ１００は蓄積の終了したイメージセンサ１４から撮影者の眼球像を読出す。
［ステップ＃２０６］ 上記ステップ＃２０５にて読出したイメージセンサ１４の角膜反射像（Ｐ像とも記す）や瞳孔部の特徴抽出の処理を行う。この特徴抽出は上記のステップ＃２０５の読出しと共に逐次的に行っても良い。
【００５０】
なお、具体的には本出願人によって特願平３ー１２１９０９８号に詳述されているので、詳細な説明は省略するが、ここで簡単に説明すると、Ｐ像は眼球照明用ＩＲＥＤ１３ａ，１３ｂの角膜反射像であるから、図１２に示した様に、像信号中には光強度の強い輝度として現れるため、その特徴をもって１組のＰ像を検出し、その位置（ｘｄ´，ｙｄ´）、（ｘｅ´，ｙｅ´）を求めることが出来る。瞳孔の反射率は非常に低く画像上の低輝度で、かつ、一定の基準を満たす部分として検出することができる。このようにして瞳孔中心（ｘｃ´，ｙｃ´）及び瞳孔径（ｒｃ）の検出を行う。
［ステップ＃２０７］ 撮影者の眼球像の中からＰ像位置と瞳孔が検出されたので、ここでは撮影者の眼球光軸の回転各（θｘ，θｙ）を算出する。
［ステップ＃２０８］ 上記ステップ＃２０７にて眼球の回転角が得られるので、ここでは前述の計算式（４），（５）を使って所定の演算を行い、ファインダ上の注視点の座標を求める。眼球回転角から注視点の座標の演算の所定数ｍ及び△は、撮影者の個人の違いを求めておく。個人の補正データはキャリブレーションで求めるが、キャリブレーションについての説明は省略する。
［ステップ＃２０９］ 視線検出を終了し、図２のステップ＃１０４へリターンする。
【００５１】
次に、本実施例における主要部分であるＡＧＣの計算について説明する。
【００５２】
先ず、図５を使ってＡＧＣの原理を説明する。
【００５３】
図５（ａ）において、ｉｍａｇｅ はイメージセンサ全体を、ＭＩＮはイメージセンサ出力の最低値、（Ｘｍｉｎ ，Ｙｍｉｎ ）はその位置座標である。Ａｒｅａ０ ， Ａｒｅａ１ ， Ａｒｅａ２ はＡＧＣの計算エリアの最低輝度を中心に縦横ｓｚの大きさＡｒｅａ０ があり、それを取囲むようにＡｒｅａ１ ， Ａｒｅａ２ がある。このようにすると、イメージセンサ上の眼球像は図５（ｂ）の様に瞳孔の位置が最低輝度となるため、ＡＧＣ計算エリアＡｒｅａ０ は瞳孔を中心とした領域となり、眼球像を基準にしたＡＧＣ制御を行うことができる。
【００５４】
更にＡＧＣ計算エリアで、大きさｓｚを輝度により変化させ、輝度が高いほど小さくなるように設定すれば、図５（ｃ）の様に、外光が強く瞳孔が小さくなった場合も、それに連動してＡＧＣ計算エリアを小さく設定できるので、外光の影響でＡＧＣが狂うことがない。
【００５５】
逆に外光が無くイメージセンサ全体の輝度が低い場合は、図５（ｄ）の様に、瞳孔部分以外のところが最低輝度になる場合がある。このような時に、ＡＧＣ計算エリアを最低輝度位置に連動させると、眼球像が本当より暗いと判断してしまい、ＡＧＣがうまく働く無くなってしまうので、イメージセンサ全体の輝度がある程度低い場合にはイメージセンサの中心をＡＧＣエリアの中心に設定する。
【００５６】
最低輝度が周辺部分の瞳孔中心以外の部分になってしまうのを防ぐ方法として、周辺部分に重み付けを行うこともできる。
【００５７】
全体的に輝度がそれ程低くない場合でも、斜めにファインダを覗いた為に顔面とファインダの距離が離れて暗くなってしまったり、光学系の周辺光量落ちの影響で周辺部が最低輝度になってしまうからである。
【００５８】
更に暗いときには、瞳孔が開いてイメージセンサ上の瞳孔の像も大きくなるため、ＡＧＣ計算エリアの大きさｓｚも大きく設定することにより、正しくＡＧＣ計算することができる。
【００５９】
このようにしてＡＧＣ計算エリアが決定すると、それらの平均輝度を求める。エリアＡｒｅａ０ ， Ａｒｅａ１ ， Ａｒｅａ２ の平均輝度をそれぞれａ０，ａ１，ａ２とする。平均輝度の計算は、高輝度や低輝度でリミットをかけて計算したり、エリアによってリミットの有無を変えてもよい。
【００６０】
これらの値を重み付け加算することによって、ＡＧＣを決定する為の値ＡＧを計算することができる。
【００６１】
ＡＧ＝ｍ×ａ０＋ｎ×ａ１＋ｏ×ａ２
（ｍ，ｎ，ｏは重み付けの係数）
なお、ＡＧの計算方法はこの式に限定される必要はなく、ｍ，ｎ，ｏの値を場合に変化させたりすることも可能である。更に、値を正規化するためにＡＧを（ｍ＋ｎ＋ｏ）で除算しても良い。
【００６２】
図４は、上記のＡＧＣ計算時の動作（図３のステップ＃２０３において実行される）を示すフローチャートである。
［ステップ＃３０１］ 図３のステップ＃２０３においてサブルーチンＡＧＣ計算視線検出がコールされると、プログラムがこのシーケンスに移り、ＣＰＵ１００はＡＧＣ計算を開始する。
［ステップ＃３０２］ ＣＰＵ１００は蓄積の終了したイメージセンサ１４から撮影者の眼球像を読出す。
［ステップ＃３０３］ 予備蓄積の出力の最低輝度ＭＩＮ，最高輝度ＭＡＸ，平均輝度Ａｖｅを求める。最低輝度はセンサの位置（Ｘｍｉｎ ，Ｙｍｉｎ ）も記憶する。これらの値の検出はイメージセンサ１４の読出しと一緒に逐次的に行っても良い。
【００６３】
次に、イメージセンサ信号をエリア別に分ける。先ず、エリアの中心を決定する。
［ステップ＃３０４］ イメージセンサ１４の全体の平均輝度Ａｖｅと閾値Ｔｈ１とを比較し、平均輝度Ａｖｅが低ければステップ＃３０５へ分岐する。また、平均輝度Ａｖｅが閾値Ｔｈ１より大きければステップ＃３０６へ分岐する。
［ステップ＃３０５］ ＡＧＣ計算エリアの中心（ｃｘ，ｃｙ）をセンサ中心に設定する。このステップ＃３０５へは平均輝度Ａｖｅが低い場合に分岐してくるが、この場合全体的に真っ暗なことが多く、最低輝度の位置等をＡＧＣ計算エリアの中心にする必要がない。次にステップ＃３０７へ進む。
［ステップ＃３０７］ ＡＧＣエリア計算の大きさｓｚをｓ０に設定する〔例えば図５（ｄ）の状態〕。
【００６４】
ＡＧＣ計算エリアの中心と大きさが決定したら、次にステップ＃３１１へと進む。
【００６５】
上記ステップ＃３０４で平均輝度Ａｖｅが閾値Ｔｈ１より大きい場合には、前述した様にステップ＃３０６に分岐する。
［ステップ＃３０６］ ここではＡＧＣ計算エリアの中心（ｃｘ，ｃｙ）を最低輝度の座標（Ｘｍｉｎ ，Ｙｍｉｎ ）に設定する。イメージセンサ１４に眼球像がある場合、平均輝度Ａｖｅがある程度大きい時は眼球の瞳孔部分の輝度が最低になる。そこで、最低輝度を中心にＡＧＣ計算エリアを決めれば眼球の輝度を基準にしたセンサ制御が可能になる。次にステップ＃３０８へ進む。
［ステップ＃３０８］ ＡＧＣ計算エリアの大きさを決める為に再び平均輝度Ａｖｅと閾値Ｔｈ２を比較する。もし閾値Ｔｈ２より低ければステップ＃３０９へ分岐し、大きければステップ＃３１０へ分岐する。
［ステップ＃３０９］ ＡＧＣ計算エリアの大きさｓｚをｓ１に設定する〔例えば図５（ｂ）の状態〕。
［ステップ＃３１０］ ＡＧＣ計算エリアの大きさｓｚをｓ２に設定する〔例えば図５（ｃ）の状態〕。イメージセンサの平均輝度Ａｖｅが高い時は、屋外での撮影等で外光がある場合が考えられる。このような場合瞳孔の大きさが小さくなっているのでＡＧＣ計算エリアも小さくする。
【００６６】
上記ステップ＃３０７，ステップ＃３０９，ステップ＃３１０でＡＧＣ計算エリアの大きさが決定されたが、それらは「ｓ０＞ｓ１＞ｓ２」の関係になっている。これは、輝度が高いほど瞳孔は絞られ、イメージセンサ１４上の大きさが小さくなるのに合せてＡＧＣ計算エリアを小さくするようにしているからである。また、眼球がファインダから離れた場合も比較的外光が入り易く、平均輝度が大きくなる反面、センサから眼球が遠ざかるのでセンサ上の瞳孔の大きさも小さくなるからである。
【００６７】
本例ではＡＧＣ計算エリアの大きさを閾値と順次比較して３種類のどれかに決定したが、輝度の関数として計算しても良い。
【００６８】
ＡＧＣ計算エリアの中心と大きさが決定したら、ステップ＃３１１へ進む。
［ステップ＃３１１］ ＡＧＣ計算エリアＡｒｅａ０ の平均輝度ａ０を求める。
【００６９】
Ａｒｅａ０ は（ｃｘ，ｃｙ）を中心とした大きさ「ｓｚ×ｓｚ」の領域である。Ａｒｅａ１ の平均輝度を求める時の為にＡｒｅａ０ のＴｏｔａｌ 輝度は記憶しておく。
［ステップ＃３１２］ ＡＧＣ計算エリアＡｒｅａ１ の平均輝度ａ１を求める。
【００７０】
Ａｒｅａ１ は（ｃｘ，ｃｙ）を中心とした大きさ「（２ｓｚ）×（１．５ ｓｚ）」で、Ａｒｅａ０ の部分を除くドーナツ状の領域である。Ａｒｅａ１ の平均輝度を求めるには（ｃｘ，ｃｙ）を中心とした大きさ（２ｓｚ）×（１．５ ｓｚ）の領域のＴｏｔａｌ 輝度からＡｒｅａ０ のＴｏｔａｌ 輝度を減算し、画素数で除算することによって求めることができる。
［ステップ＃３１３］ ＡＧＣ計算エリアＡｒｅａ２ の平均輝度ａ２を求める。
【００７１】
Ａｒｅａ２ は（ｃｘ，ｃｙ）を中心とした大きさ「（３ｓｚ）×（２ｓｚ）」で、Ａｒｅａ０ ， Ａｒｅａ１ の部分を除くドーナツ状の領域である。Ａｒｅａ２ の平均輝度を求めるには（ｃｘ，ｃｙ）を中心とした大きさ「（３ｓｚ）×（２ｓｚ）」の領域のＴｏｔａｌ 輝度からＡｒｅａ０ ， Ａｒｅａ１ のＴｏｔａｌ 輝度を減算し、画素数で除算することによって求めることができる。
【００７２】
本実施例では
Ａｒｅａ０ の大きさを「ｓｚ×ｓｚ」
Ａｒｅａ１ の大きさを
「（２ｓｚ）×（１．５ ｓｚ）」 但しＡｒｅａ０ の部分を除く
Ａｒｅａ２ の大きさを
「（３ｓｚ）×（２ｓｚ）」 但しＡｒｅａ０，Ａｒｅａ１ の部分を除く
と設定したが、必ずしもこの大きさの比率である必要はなく、輝度の条件によって比率を変化させたりしても良い。
［ステップ＃３１４］ それぞれのエリアの平均輝度ａ０，ａ１，ａ２が計算されたので、これらの値を重み付け加算することによってＡＧＣを決定する為の値ＡＧを計算する。
【００７３】
ＡＧ＝（ｍ×ａ０＋ｎ×ａ１＋ｏ×ａ２）／（ｍ＋ｎ＋ｏ）
（ｍ，ｎ，ｏは重み付けの係数、例えばｍ＝０，ｎ＝２，ｏ＝１）
なお、ＡＧの計算方法はこの式に限定される必要はなく、ｍ，ｎ，ｏの値を場合に変化させたりすることも可能である。
【００７４】
エリアの数や形は、本例に限定される必要はなく、もっと多くの領域に分割しても良いし、例えば同心円状の形状にしても良い。
［ステップ＃３１５］ センサの制御値（蓄積時間Ｔｉｎｔ 及びセンサの読出しゲインＧｎ）を計算する。
【００７５】
これらの値はＡＧの関数として計算するようにしても良いし、表を作ってテーブル検索して求めても良い。例えば、センサ信号を８ビットのＡ／Ｄ変換を行った場合、計算結果であるＡＧの値は０から２５５までの値となるから、図６の様に０から２５５までのテーブルを予め作っておき、それを検索してＴｉｎｔ とゲイン及び出力特性（線形，非線形）を求める。
［ステップ＃３１６］ ＡＧＣ計算を終了し、図３のステップ＃２０４へリターンする。
【００７６】
このように画像の最低輝度位置を中心にして、全体の輝度に応じた大きさのＡＧＣ計算エリアを設定することにより、眼球中心がイメージセンサ１４の中心に無い場合や、眼球がファインダから遠い為にイメージセンサ１４上で眼球が小さくなってしまった場合、更に、太陽光が部分的に眼球を照明していた場合、等でも眼球部分の明るさを正確に検出することができ、外光や眼球の位置の影響を受けない適切な眼球像を得ることができる。
【００７７】
（第２の実施例）
上記の第１の実施例では、イメージセンサ信号全てをＣＰＵの中に記憶してから処理を行っているが、メモリ容量の関係でそれができない場合がある。
【００７８】
例えば眼球像を取込むイメージセンサの画素数は少なくとも「１００×６０」画素程度必要であるのに、これを処理する１チップマイコン内のＲＡＭの容量は１Ｋ〜２Ｋバイト程度である。従って、マイコンに外付けのＲＡＭを付けないで処理を行うとＲＡＭが足りなくなってしまう。このように、通常イメージセンサ出力全てを記憶するためには大量のメモリが必要で、そのようなメモリが無い場合がある。
【００７９】
そこで、イメージセンサ画像の全ての値を記憶してＡＧＣ計算するのではなく画素数を減らして演算する事もできる。例えば、センサ画素を小さなブロック毎に分けてその値でＡＧＣ計算をしてもよい。
【００８０】
図７（ａ）は、「１００×６０」画素のイメージセンサに眼球像がある場合の例である。この画像全てをＲＡＭ上に記憶する為には、１画素１バイトとして６０００バイトのメモリが必要である。
【００８１】
そこで、図７（ｂ）の様に、「５×５」画素のブロック毎にまとめてそのブロックの平均値（又は代表値）をＲＡＭに記憶するようにすれば、イメージセンサ全体でも必要なメモリ容量は２４０バイトになる。
【００８２】
図７（ｃ）の様に、２４０バイトの中から最低輝度のブロックを選び、その中心位置をＡＧＣエリアの中心にしてＡＧＣ制御を行うことができる。
【００８３】
この動作を、図８のフローチャートを用いて説明する。
【００８４】
なお、カメラの構成及びＡＧＣ計算以外の部分は第１の実施例と同様なので、重複する部分の説明は省略する。
［ステップ＃４０１］ 図３のステップ＃２０３においてサブルーチンＡＧＣ計算がコールされると、プログラムがこのシーケンスに移り、ＣＰＵ１００はＡＧＣ計算を開始する。
［ステップ＃４０２］ センサの出力をブロック毎にまとめてＣＰＵ１００内のＲＡＭに読込む。
【００８５】
例えば、上述の様に「１００×６０」画素のイメージセンサ出力を「５×５」画素のブロック毎にまとめてそのブロックの平均値（又は代表値）をＲＡＭに記憶するようにすれば、必要なメモリ容量は２４０バイトになる。イメージセンサの中にはブロック毎のセンサ出力の平均を出力をする事ができるものもあるが、このようなセンサではその機能を使ってブロックのデータを求める。そのような機能がない場合は、センサ画像全体を読み込みながら逐次処理を行ってブロック毎の値を計算しなければならない。ブロックの読出し中に最高輝度，最低輝度平均輝度，最低輝度位置を検出する。
［ステップ＃４０３］ ＡＧＣ計算エリアを決定する。
【００８６】
エリアの決定方法は図４と同様で、平均輝度が低ければ最低輝度位置とは関係なくセンサ中心をＡＧＣ計算エリアの中心にし、該エリアの大きさも大きめにする。平均輝度が一定以上であれば、ＡＧＣ計算エリアの中心を最低輝度の位置にする。このときブロックでデータを読み込んでいるので、最低輝度を示すブロックの中心をＡＧＣ計算エリアの中心にしても良いし、ブロックのデータを作成するときに正確な最低輝度位置を記憶しておいても良い。更に、平均輝度値によってＡＧＣのエリアサイズを決定する。
［ステップ＃４０４］ ＡＧＣ計算エリアＡｒｅａ０ ， Ａｒｅａ１ ， Ａｒｅａ２ の平均輝度を計算する。エリアの境界がブロックの間に無い時は補完して求める。逆にエリアの大きさをブロック単位で決めても良い。各エリアＡｒｅａ０ ， Ａｒｅａ１ ， Ａｒｅａ２ の平均値をａ０，ａ１，ａ２とする。
［ステップ＃４０５］ それぞれのエリアの平均輝度ａ０，ａ１，ａ２が計算されたので、これらの値を重み付け加算することによってＡＧＣを決定する為の値ＡＧを計算する。
【００８７】
ＡＧ＝（ｍ×ａ０＋ｎ×ａ１＋ｏ×ａ２）／（ｍ＋ｎ＋ｏ）
（ｍ，ｎ，ｏは重み付けの係数、例えばｍ＝０，ｎ＝２，ｏ＝１）
なお、ＡＧの計算方法はこの式に限定される必要はなく、ｍ，ｎ，ｏの値を場合に変化させたりすることも可能である。
［ステップ＃４０６］ ＡＧの値からテーブル検索してセンサの制御値を決定する。
［ステップ＃４０７］ ＡＧＣ計算を終了し、図３のステップ＃２０４へリターンする。
【００８８】
このように画像の全部をＲＡＭ上に記憶できなくてもデータ数をブロック毎にまとめて演算することにより、ＡＧＣ計算をすることができる。
【００８９】
次に、図９フローチャートを用いてブロックデータの読出しの説明を行う。
［ステップ＃５０１］ 図８のステップ＃４０２においてサブルーチンブロック読出しがコールされると、プログラムがこのシーケンスに移り、ステップ＃５０２以降の動作を開始する。
［ステップ＃５０２］ ブロック読出しに必要なパラメータの初期化を行う。最低値，最高輝度値，輝度のＴｏｔａｌ 計算用のパラメータ、画像のラインカウント用パラメータ等を初期化する。
［ステップ＃５０３］ １ラインのセンサ出力を読出す。
［ステップ＃５０４］ センサ出力を読出しながらセンサ最高輝度値，最低輝度値，輝度合計，最低輝度位置等を検出する。
［ステップ＃５０５］ ブロック毎の値を計算する為の１ライン分の処理を行う。１ライン分のブロック数のバッファに合計を加算する。
［ステップ＃５０６］ 読出しラインをカウントするカウンタ１のカウントアップを行う。
［ステップ＃５０７］ ラインの１ブロック分（ブロックの縦の大きさ）を読込んだかどうか判定し、読込んでいればステップ＃５０８に分岐する。
し、そうでなければステップ＃５０９へ進む。
［ステップ＃５０８］ ブロック１行分の平均を求める。次のブロックの値を計算する為に縦方向のカウンタｊをカウントアップする。
【００９０】
上記ステップ＃５０７においてラインの１ブロック分（ブロックの縦の大きさ）を読込んでいなければ、ステップ＃５０９に分岐する。
［ステップ＃５０９］ 全ラインの読出しが終了したかどうか判定し、終了していればステップ＃５１０へ進み、終了していなければステップ＃５０３へ戻り、次のラインの読出しを行う。
［ステップ＃５１０］ 全体の平均輝度を求める。
［ステップ＃５１１］ 図８のステップ＃４０３へリターンする。
【００９１】
このようにすると、第１の実施例と同様、最低輝度位置を中心にして全体の輝度に応じた大きさのＡＧＣ計算エリアを設定することにより、眼球中心がイメージセンサの中心に無い場合や、眼球がファインダから遠い為にイメージセンサ上で眼球が小さくなってしまった場合、更に、太陽光が部分的に眼球を照明していた場合、等でも眼球部分の明るさを正確に検出することができ、外光や眼球の位置の影響を受けない適切な眼球像を得ることができる。
【００９２】
（変形例）
上記の第１及び第２の実施例では、ＡＧＣ計算を行う為に予備蓄積を行い、センサの蓄積時間や読出しゲインを決定したが、センサの光電蓄積中にその時点の蓄積電荷をセンサの蓄積動作を妨げないで読出せるものがある。このようなセンサを使用する場合は、初めから本蓄積を行い、蓄積開始後一定時間（本蓄積で必要とする蓄積時間より短い時間）後に蓄積動作を続行したままセンサ出力を一旦読出してＡＧＣ計算を行っても良い。
【００９３】
また、ＡＧＣ計算エリアの中心を最低輝度の位置で決定したが、必ずしも最低輝度でＡＧＣ計算エリアの中心を決定する必要はない。例えば、センサ輝度の特定な閾値より低い値を示すエリアを求め、そのエリアの中心をＡＧＣ領域の中心としてもよい。
【００９４】
図１０はイメージセンサ上の眼球像とその断面図である。
【００９５】
図１０（ｂ）は図１０（ａ）の（Ｅ）−（Ｅ´）の断面図であり、最低輝度の位置は瞳孔の中心位置ではなく、少し右側にある。これに対し、一定の閾値より低いエリアの中心位置の方が実際の瞳孔中心に近い位置になるので、そこをＡＧＣ計算エリアの中心（ｃｘ）にする。
【００９６】
同様に、図１０（ｃ）は図１０（ａ）の（Ｆ）−（Ｆ´）の断面図である。この場合、最低輝度の位置は瞳孔の中心位置ではなく、少し下側にある。これに対し、一定の閾値より低いエリアの中心位置の方が実際の瞳孔中心に近い位置になるので、そこをＡＧＣ計算エリアの中心（ｃｙ）にする。
【００９７】
このようにして（ｃｘ，ｃｙ）を求めることもできる。
【００９８】
更に、センサの端の部分が暗くなって最低輝度を示してしまう場合もあるので、閾値以下になるエリアの大きさを判断して、エリアの大きさが大きすぎたり、小さすぎないエリアを選ぶようにしても良い。
【００９９】
また、本発明は、一眼レフカメラに適用した例を述べたが、ビデオカメラ等のカメラに適用してもよく、更にはその他の光学機器や他の装置、更には構成ユニットとしても適用することができるものである。
【０１００】
【発明の効果】
以上説明したように、本発明によれば、眼球の反射像の特徴点を検出し、受光手段により得られる受光出力が所定値以上であれば検出した特徴点情報を基に反射像の領域を複数に分割し、受光手段により得られる受光出力が所定値より小さければ特徴点情報を用いずに受光手段のセンサ中心を基に反射像の領域を複数に分割し、分割領域から得られる反射像の輝度情報を基に反射像に含まれる眼球像部分の信号が最適になるように受光手段の駆動制御を行うようにしている。
【０１０１】
よって、眼球中心が受光面の中心に無い場合や、眼球が観察面から遠い為に受光面上で眼球が小さくなってしまった場合や、太陽光が部分的に眼球を照明していた場合であっても、眼球部分の明るさを正確に検出し、外光や眼球の位置の影響を受けない適切な眼球像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係るカメラの要部構成を示すブロック図である。
【図２】図１のカメラの一連の動作を示すフローチャートである。
【図３】図２のステップ＃１０３での動作の詳細を示すフローチャートである。
【図４】図３のステップ＃２０３での動作の詳細を示すフローチャートである。
【図５】本実施例においてＡＧＣ計算エリアの設定について説明する為の図である。
【図６】本実施例においてセンサの蓄積時間，読出しゲインの関係を示す図である。
【図７】本発明の第２の実施例においてセンサの画素をブロックに分割してＡＧＣ計算エリアを設定する例を示す図である。
【図８】本発明の第２の実施例においてサブルーチンＡＧＣ計算の動作を示すフローチャートである。
【図９】図８のステップ＃４０２での動作の詳細を示すフローチャートである。
【図１０】本発明の各実施例とは別のＡＧＣ計算エリアの中心位置の決定方法について説明する為の図である。
【図１１】一般的な視線検出機能を具備したカメラの光学系の配置図である。
【図１２】図１１のカメラにおいて検出される眼球像及びその出力信号の強度を示す図である。
【図１３】一般的な視線検出原理を説明する為の図である。
【図１４】従来の視線検出機能を具備したカメラにおいて行われるＡＧＣ計算エリアの中心位置の決定方法について説明する為の図である。
【符号の説明】
１１ 接眼レンズ
１２ 受光レンズ
１３ａ，１３ｂ 赤外発光ダイオード
１４ イメージセンサ
２１ ＬＥＤ
１００ ＣＰＵ
１００ａ ＥＥＰＲＯＭ
１０１ 視線検出回路
１０７ ＩＲＥＤ駆動回路

Claims (7)

1. 観察者の眼球の反射像を検出する受光手段と、該受光手段で受光した眼球の反射像の特徴点を検出する特徴点検出手段と、前記受光手段により得られる受光出力が所定値以上であれば前記特徴点検出手段により検出された特徴点情報を基に前記反射像の領域を複数に分割し、前記受光手段により得られる受光出力が所定値より小さければ前記特徴点情報を用いずに前記受光手段のセンサ中心を基に前記反射像の領域を複数に分割し、分割した領域にて得られる情報から前記反射像の輝度情報を検出する輝度検出手段と、該輝度検出手段によって検出された輝度情報を基に前記受光手段の駆動条件を設定する制御手段とを備えた眼球像受光装置。
2. 前記受光手段は、複数の電荷蓄積型の光電変換素子から成るイメージセンサであることを特徴とする請求項１記載の眼球像受光装置。
3. 前記制御手段は、前記イメージセンサの蓄積時間と前記イメージセンサから出力される出力信号の増幅特性のうちの少なくとも一方を、前記輝度検出手段にて検出された輝度情報を基に設定することを特徴とする請求項２記載の眼球像受光装置。
4. 前記特徴点を基に分割された複数の分割領域は、それぞれ大きさが異なり、かつ、前記反射像の特徴点を含むものであることを特徴とする請求項１，２又は３記載の眼球像受光装置。
5. 観察者の眼球の反射像を検出する受光手段を制御して受光出力を得、該受光出力から反射像の特徴点を検出し、前記受光手段により得られる受光出力が所定値以上であれば前記特徴点情報を基に反射像の領域を複数に分割し、前記受光手段により得られる受光出力が所定値より小さければ前記特徴点情報を用いずに前記受光手段のセンサ中心を基に前記反射像の領域を複数に分割し、分割した領域の受光出力から反射像の輝度情報を検出し、該輝度情報から前記受光手段の駆動を制御する為の制御方法を決定し、該決定した制御方法で前記受光手段の駆動を制御することを特徴とする眼球像受光制御方法。
6. 前記反射像の特徴点は最低輝度であることを特徴とする請求項５記載の眼球像受光制御方法。
7. 前記受光手段で受光した眼球の反射像の特徴点は最低輝度であることを特徴とする請求項１，２又は３記載の眼球像受光装置。

Images