JP3576584B2

JP3576584B2 - Eyeball detection device and device equipped with the same

Info

Publication number: JP3576584B2
Application number: JP32754893A
Authority: JP
Inventors: 小西一樹
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-12-24
Filing date: 1993-12-24
Publication date: 2004-10-13
Anticipated expiration: 2019-10-13
Also published as: JPH07181368A

Description

【０００１】
【産業上の利用分野】
本発明は、静止画カメラやビデオカメラ等のファインダーを有する機器に備えられる眼球検出装置に関するものである。
【０００２】
【従来の技術】
従来の眼球検出装置としては特開平３−３０５８３号公報記載のものなどがある。
【０００３】
これには以下のように記述されている。図１７〜図１９はその発明の第一実施例に係わり、図１７は電子ビューファインダー装置のブロック図、図１８はカメラ一体型ＶＴＲの斜視図、図１９は電子ビューファインダー装置の接眼部周辺の構成を示す側面図である。
【０００４】
図１８に示すように、カメラ一体型ＶＴＲの本体１０１内には、公知のカセット収納部、駆動メカニズム、映像処理、制御回路などが配設され、本体１０１の前面側には、撮影レンズ系１０２、マイクロフォン１０３などが配設され、また、本体１０１の後面側には操作パネル部１０４、電子ビューファインダー装置１０５などが配設されている。上記電子ビューファインダー装置１０５は、アイキャップ１０６、該アイキャップ１０６内に配設された１／２〜１インチ程度のＣＲＴなどよりなる表示器、ビューファインダー系制御回路等を具備したものとなっている。
【０００５】
図１７は電子ビューファインダー装置１０５の概略構成を示しており、同図において１０７はビューファインダー映像処理回路、１０８はＣＲＴ等からなる表示部、１０９は後述する如く駆動されるスイッチ、１１０は電源入力端子、１１１は映像信号入力端子である。いま、スイッチ１０９がＯＮ状態であると、電子ビューファインダー装置１０５の消費電力の大部分を占める表示部１０８にはスイッチ１０９を介して電源電流が供給され、ビューファインダー映像処理回路１０７で適宜処理された映像信号が表示部１０８に出力されて、表示部１０８において画像が表示される。
【０００６】
該実施例においては、電子ビューファインダー装置１０５の接眼部１１２（アイキャップ１０６を含む）が、図１９の矢印方向で示すように前後に所定量スライド自在とされていると共に、同図で左行き方向に軽いバネ力による偏奇習性を付与されている。そして、上記接眼部１１２が同図で僅かに右方向にスライドすると前記スイッチ１０９の被動部１０９ａが押圧されてスイッチ１０９がＯＮされるようになっている。即ち、該実施例においては、カメラ一体型ＶＴＲの電源を投入しても、スイッチ１０９がＯＮしない限り電子ビューファインダー装置１０５は非動作状態となるようになっている。
【０００７】
上記構成において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ１０６に顔面を押付けて片目で表示部１０８を覗き込むと、接眼部１１２が押圧されて僅かに可動してスイッチ１０９をＯＮさせ、前記したように表示部１０８に電源を供給して、表示部１０８に画像等を表示させる。従って、使用者が明らかに電子ビューファインダー装置１０５の使用を意図して、アイキャップ１０６に顔面を押付けて片目で表示部１０８を覗き込むと、自動的に電子ビューファインダー装置１０５が動作状態となるため極めて使い勝手がよい上、不要時には電子ビューファインダー装置１０５への電源供給が断たれるので、消費電力の節約に大いに寄与する。なお該実施例のスイッチは任意のものが使用可能であるが、軽い操作力と短いストロークで作動するものが望ましい。
【０００８】
図２０および図２１はその発明の第二実施例に係り、図２０は電子ビューファインダー装置１０５のブロック図、図２１は接眼部１１２の正面図である。
【０００９】
図２０において、１２０は、電源入力端子１１０と表示部１０８の間に介装・接続されたスイッチ回路で、スイッチングトランジスタ（ＰＮＰトランジスタ）１２１と抵抗１２２，１２３とからなり、抵抗１２３が接地されたとき（Ｌレベルになった）ときベース電流が流れてスイッチングトランジスタ１２１がＯＮ状態となって、表示部１０８に電源電流を供給するようになっている。１２４は、人体の発する赤外線によって起電力を生じる赤外線センサで、該赤外線センサ１２４は図２１に示すように、前記接眼部１１２における顔面と対向する適宜の部位に設置される。１２５は増幅波形整形回路で、赤外線センサ１２４の起電力を増幅器１２６によって増幅し、波形整形回路１２７でノイズを除去し、適当なアタックタイムとレリーズタイムを設定する。そして赤外線センサ１２４の出力が所定レベル以上になると、波形整形回路１２７の出力端１２７ａはＬレベルとなって前記スイッチ回路１２０をＯＮさせ、電子ビューファインダー装置１０５を動作状態におくようになっている。
【００１０】
上記した構成をとる該実施例において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ１０６に顔面を押付けて片目で表示部１０８をのぞき込むか、あるいは、接眼部１１２に顔を近付けると、前記赤外線センサ１２４が顔面から発する赤外線を検知し、例えば赤外線センサ１２４に顔面が１０〜１５ｃｍ以内に接近すると、赤外線センサ１２４の出力が所定レベル以上となって、前述したようにスイッチ回路１２０をＯＮさせ、前記したように表示部１０８に電源を供給して、表示部１０８に画像等を表示させる。なお、参考までに述べると、前記赤外線センサ１２４としては、例えば、（株）村田製作所製の焦電型赤外線センサＩＲＡシリーズや、住友金属鉱山（株）製の焦電型赤外線センサＳＰＳシリーズなどが挙げられる。
【００１１】
この第二実施例においても、前記第一実施例と同等の効果を奏し、且つ、例えば使用者が顔面を接眼部１１２へ１０〜１５ｃｍ以内に近接させたときに、使用者が電子ビューファインダー使用の意志ありと判定するので、アイキャップ１０６に顔面を押付けないでも電子ビューファインダー装置１０５を作動することが出来る。
【００１２】
図２２〜図２４はその発明の第三実施例に係り、図２２は電子ビューファインダー装置１０５のブロック図、図２３は接眼部１１２の正面図、図２４は電子ビューファインダー装置１０５の使用状態を示す説明図である。
【００１３】
図２２において、１３０は発信部（発光部）で、赤外線ＬＥＤ１３１、トランジスタ１３２、発信器１３３を具備し、例えば、ピーク波長９４０ｎｍで発光する赤外線ＬＥＤ１３１への供給電流を、約４０ＫＨｚの発信周波数の発信器１３３と変調用トランジスタ１３２で制御して、赤外線ＬＥＤ１３１から赤外光を所望方向に出射するようになっている。１３４は受信部（受光部）で、使用者の顔面で反射した赤外光をフォトダイオード１３５で受け、フォトダイオード電流の変化を抵抗１３６の電圧降下変化として次段の増幅波形整形回路１３７に出力する。増幅波形整形回路１３７は、その増幅器１３８によって、コイル１３９とコンデンサ１４０とからなる並列共振回路の制御下で共振周波数約４０ＫＨｚのみを選択増幅する。増幅器１３８の出力は整流器１４１を介して後段の波形整形回路１４２に送信され、該波形整形回路１４２はノイズを除去し、適当なアタックタイムとレリーズタイムを設定する。そしてフォトダイオード１３５の出力が所定レベル以上になると、波形整形回路１４２の出力端１４２ａはＬレベルとなって前記スイッチ回路１２０をＯＮさせ、電子ビューファインダー装置１０５を動作状態におくようになっている。なお、前記赤外線ＬＥＤ１３１およびフォトダイオード１３５は、図２３，図２４に示すように、接眼部１１２におけるアイキャップ１０６の下で顔面に対向するように配置されており、例えば眼の下（鼻の横）で赤外光が反射されるように設定されている。
【００１４】
上記した構成をとる該実施例において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ１０６に顔面を押付けて片目で表示部１０８をのぞき込むか、あるいは、接眼部１１２に顔を近付けると、前記フォトダイオード１３５が顔面からの赤外線ＬＥＤ１３１の反射光を検知し、例えばフォトダイオード１３５に顔面が１０〜１５ｃｍ以内に接近すると、フォトダイオード１３５の出力が所定レベル以上となって、前述したようにスイッチ回路１２０をＯＮさせ、前記したように表示部１０８に電源を供給して、表示部１０８に画像等を表示させる。
【００１５】
この第三実施例においても、前記第二実施例と同等の効果を奏する。
【００１６】
【発明が解決しようとする課題】
しかしながらこれらの従来例においては、
１．ファインダー接眼部に設けられたスイッチへの押圧
２．人体の発する赤外線
３．赤外反射光
の有無や強さ（所定レベル以上かどうか）を判定することで使用者にカメラのファインダーを覗く意志が有るか無いかを判断している。そのため使用者の顔面（眼球）以外のもの、例えば、手などの人の顔以外の部分、衣類、窓ガラス、コップなどがファインダー接眼部に押圧されたり、近付いたりしただけで、スイッチ回路がＯＮし、表示部に電源を供給して、表示部に画像等を表示させてしまう。
【００１７】
【課題を解決するための手段】
上記の問題点を解決するために、本発明では、照明光を照射する照明手段と、前記照明手段の照明による反射像を受光する受光手段と、前記受光手段が受光した反射像から、接近したものが眼球か否かを判断する判断手段とを有する眼球検出装置において、前記判断手段に、受光手段が受光した反射像に高輝度部分があるかどうかを判断するステップ、受光手段が受光した反射像にある高輝度部分の大きさが所定の大きさ以下かどうかにより該高輝度部分が正反射面による反射によって生じたものであるかどうかを判断するステップおよび受光手段が受光した反射像にある高輝度部分の周辺に低輝度部分が存在するかどうかを判断するステップを設ける。
すなわち、エリアセンサー等の受光手段に反射像を結像させ、
１．その反射像に高輝度部分がある。
２．その反射像にある高輝度部分の大きさが一定値以下かどうかにより、該高輝度部分が正反射面による反射によって生じたものである。
３．その反射像にある高輝度部分の周辺に低輝度部分が存在する。
という３つの条件を満たすか否かを確認する。そして、これら条件を満足する反射像が存在する場合に、この反射像の高輝度部分を眼球のプルキンエ像と判断し、誤検出することなく眼球の接近を検出できるようにしている。
なお、本発明の眼球検出装置は、静止画カメラやビデオカメラその他のファインダーを有する機器に搭載され、機器使用者がファインダーを覗いていることを正確に検出することを可能とする。
【００１８】
【実施例】
図１に本発明第一実施例のブロック図を示す。１はＭＰＵ（マイクロプロセッシングユニット）、２はメモリー、３はＣＣＤ駆動回路、４はＣＣＤ、５は複数のｉＲＥＤから構成されるｉＲＥＤ群、６はＡＦを行なうためのレンズ駆動ユニット、７は絞り駆動ユニット、８はシャッターユニット、９はｉＲＥＤ駆動回路である。
【００１９】
また本実施例で用いたイメージセンサーはフレームトランスフォータイプのＣＣＤ（ＦＴ−ＣＣＤ）である。
【００２０】
その構成を図１１に示す。
【００２１】
図のＳＩＭＧは感光領域（イメージゾーン）であり、垂直方向にＬ、水平方向にＮ配置されている画素ＩＭＰＸＬからなる。ＩＭＰＸＬは、例えばフォトダイオードであるような光電変換機能と、電荷転送機能とを備えた単位画素で、ここに発生する信号は垂直転送パルスφＶを印加することで、ＣＣＤ４内部（ＶＤＲＶ）にてφＶを基に生成される複数の駆動信号により駆動される。
【００２２】
ＳＳＴＲはメモリーゾーンＳＩＭＧで発生した電荷を一時的に記憶する記憶領域（メモリーゾーン）である。ＳＳＴＲを構成する単位記憶部ＳＴＰＸＬはＳＩＭＧを構成する単位画素ＩＭＰＸＬと同数であり、転送パルスも同じく垂直転送パルスφＶである。
【００２３】
ＨＳＨＩＦＴは水平方向転送レジスタで、ＣＣＤ駆動回路３から入力される水平転送パルスφＨを印加することで、ＣＣＤ４内部（ＨＤＲＶ）にてφＨを基に生成される複数の駆動信号により駆動される。
【００２４】
φＲＯはＨＳＨＩＦＴにより信号が転送され、これに同期して、ＳＯＵＴから信号出力がなされるとき、前画素出力の影響が次出力画素に及ばぬよう、信号増幅回路ＳＯＵＴにおいて画素毎に出力の初期化を行なう信号である。なおφＲＯはφＨを基にしてＣＣＤ内部（ＨＤＲＶ）で生成される。
【００２５】
ＯＦＤは画素ＩＭＰＸＬに照射される光量に応じて発生する電荷が飽和レベルに達したとき、過飽和とならぬように、所定レベル以上の電荷を排出するために設けられた、一般にはオーバーフロードレインと呼ばれる排出溝である。
【００２６】
このタイプのＣＣＤはイメージゾーンＳＩＭＧの各画素に光があたることによって生じた電荷を、垂直方向転送パルスφＶを基に生成される複数の駆動信号によって、全画素メモリーゾーンＳＳＴＲに転送する。すなわちＣＣＤに対して垂直方向転送パルスφＶがひとパルス印加される毎に、φＶを基に生成される複数の駆動信号によって１ラインの全ての画素が垂直方向に１画素ずつ転送され、φＶがライン数分印加されたとき全画素メモリーゾーンＳＳＴＲに転送される。ついでメモリーゾーンＳＳＴＲに格納されたこれらの電荷を、垂直方向転送パルスφＶを基に生成される複数の駆動信号によって、１ライン毎に出力用の水平方向転送レジスタＨＳＨＩＦＴに転送する。そして、これらの電荷による像信号を出力用転送レジスタＨＳＨＩＦＴから水平方向転送パルスφＨを基に生成される複数の駆動信号によって、１画素ずつ読み出す。すなわち読み出しの際はＣＣＤに対してφＶをひとつ印加しφＶを基に生成される複数の駆動信号によって１ラインずつ水平方向転送レジスタＨＳＨＩＦＴに転送する。ついで水平方向の画素数に相当する数の水平方向転送パルスφＨを印加することで生じる複数の駆動信号によってＨＳＨＩＦＴから、像信号を１画素ずつ読み出す。
【００２７】
そしてＣＣＤ駆動回路及びｉＲＥＤ駆動回路の構成を図１２に示す。
【００２８】
１はＭＰＵ、３０，３１はパルスＹＶ・ＹＨをＣＣＤを駆動するに十分な電圧に昇圧するレベルシフト回路、３４は増幅器、３５はｉＲＥＤをオンするためのトランジスタ、３６，３７，３８はｉＲＥＤに流れる電流を決めるためのトランジスタ、３９，４０，４１はｉＲＥＤに流れる電流を決めるための抵抗、５１はｉＲＥＤである。
【００２９】
本発明においてはイメージセンサーからの画像信号を処理することによりプルキンエ像の有無を判断して、撮影者のファインダーを覗く意志を判断するわけであるが、まずプルキンエ像及び眼球前眼部について説明する。
【００３０】
撮影者の眼球に平行光（もしくは発散光）を照射すると、この光が角膜前面で反射し発光ダイオードの虚像が生じる。プルキンエ像と呼ばれるこの虚像は、ポートレート写真などでいわゆる黒目の部分に明るい輝点が生じるキャッチライトとしても有名である。プルキンエ像を含むイメージセンサーの典型的な信号出力を図３に示す。急峻に立ち上がっている輝度の高い部分がプルキンエ像である。また人の眼球の曲率半径は約７ｍｍ、ｉＲＥＤの発光面の大きさは数ｍｍ程度なのでプルキンエ像の大きさは眼球上で約１００〜３００μｍｍ、結像倍率１／１０程度の受光系で結像させるとセンサー上での大きさは約１０〜３０μｍｍとなる。これは通常のイメージセンサーの画素ピッチを考えると１〜２画素程度の小さいものといえる。よって、プルキンエ像とは輝度の高い小さい像ということができる。さらにプルキンエ像の眼球前眼部での発生位置はキャッチライトのイメージから想像できるように、ほとんどが瞳孔もしくは虹彩上である。よってプルキンエ像の周辺には虹彩や強膜によるプルキンエ像に比べて輝度の低い像が存在することになる。そしてこの輝度は照明状態にもよるがプルキンエ像の１／２０〜１／１０ぐらいである。
【００３１】
次に上記の原理を用いた本発明の動作について述べる。
【００３２】
図２は本発明第一実施例の動作を示すフローチャートである。
【００３３】
ＭＰＵは眼球検出のルーチンに入ると、まず演算に使用する変数の初期化等の初期化処理を行なう。この初期化の際に眼球検出の状態を表すＲＡＭのビット１をセットし既に初期化が行なわれたことを示す。このビットがセットされているときは、初期化のモジュールにおいてＥ^２ＰＲＯＭからのパラメータの読み込み、眼球検出のステップを表すＲＡＭのクリアなどの処理は行なわず、演算に使用する変数の初期化のみを行なう。このビットがクリアされているときは、演算に使用する変数の初期化のほかに、Ｅ^２ＰＲＯＭからのパラメータの読み込み、眼球検出のステップを表すＲＡＭのクリアなどの処理も行なう。このビットは眼球検出のルーチンを抜けるときにクリアされる。
【００３４】
その後ＭＰＵは駆動回路及びＣＣＤへの電源供給を開始し、その後蓄積制御のステップに移る。
【００３５】
まず眼球検出のステップを表すＲＡＭのビットの設定状態から蓄積時間とｉＲＥＤ電流（すなわち、照明手段であるｉＲＥＤ群５の照明光量）を選択し、設定する。眼球検出のステップを表すＲＡＭのビット６がセットされていればサードステップ、ビット６がクリアされ、ビット５がセットされていればセカンドステップ、ビット６・ビット５がともにクリアされていればファーストステップとなる。蓄積時間は全ステップとも０．１ｍｓｅｃ、ｉＲＥＤ電流はファーストステップ・セカンドステップ・サードステップでそれぞれ、ｉ（ｍＡ）、２ｉ（ｍＡ）、１０ｉ（ｍＡ）である。基準の電流値ｉは、ｉＲＥＤの発光効率、イメージセンサーの感度などによって変化するが、５〜１０ｍＡ程度となる。
【００３６】
そしてＭＰＵ１は駆動回路９のｉＲＥＤ電流設定を行なう。図１２に示すように、ＭＰＵ１はｉＲＥＤ電流設定のために、上記の選択結果に基づきｉＲＥＤ電流選択のための出力端子ｓ１，ｓ２，ｓ３…のうちひとつをセットする。このことにより出力端子ｓ１，ｓ２，ｓ３…の先に接続されているトランジスタ３６，３７，３８のうちひとつがオンし、結果として電流値を設定するための抵抗３９，４０，４１…のいずれかが選択され、ｉＲＥＤ５１に流れる電流が設定される。
【００３７】
ついでＭＰＵはＣＣＤのクリア動作を行ないＣＣＤのメモリーゾーンＳＳＴＲ・出力用転送レジスタＨＳＨＩＦＴ等に残っている電荷を消去する。
【００３８】
すなわち、ＭＰＵ１は図１３に示すような垂直方向転送パルスＹＶ、水平方向転送パルスＹＨを出力する。このふたつのパルスＹＨ、ＹＶがレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。これによりイメージゾーンＳＩＭＧ、メモリーゾーンＳＳＴＲに残っていた電荷は、それぞれイメージゾーン→メモリーゾーン→出力用転送レジスタと垂直方向転送パルスφＶを基に生成される複数の駆動信号により転送され、これと同時に出力用転送レジスタから水平方向転送パルスφＨを基に生成される複数の駆動信号によって、図１３に示すように複数の画素の像が加算された形で出力線に出力され、イメージゾーン・メモリーゾーン・出力用転送レジスタ等に残っている電荷は消去される。
【００３９】
そして外光除去を行なうためにまずｉＲＥＤを点灯せずに設定された蓄積時間分の外光蓄積を行なう。この画像信号をＣＣＤ駆動回路３を介して読み込みＲＡＭへ転送していく。
【００４０】
ＦＴＣＣＤではクリア動作の終了時点が次の蓄積の開始となるので、前記のＣＣＤクリア動作のためのＹＶ，ＹＨパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。そして眼球検出のステップを表すＲＡＭのビットの設定状態から設定された蓄積時間が経過したならば、ＣＣＤから画像信号を読み出す作業を行なう。
【００４１】
この読み出し作業はまずメモリーゾーンＳＳＴＲへの転送作業から行なう。
【００４２】
ＭＰＵ１は図１４に示すようなパルスＹＶ，ＹＨが出力する。このパルス（ＹＶ，ＹＨ）は、レベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、垂直方向転送パルスφＶ、水平方向転送パルスφＨとしてＣＣＤに与えられる。前半のφＶ，φＨが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンＳＩＭＧの電荷がメモリーゾーンＳＳＴＲへ垂直転送され、と同時にメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへの電荷が垂直転送される。また出力用転送レジスタＨＳＨＩＦＴの電荷が出力線に出力されたことで出力用転送レジスタＨＳＨＩＦＴをクリアしている。図１４に示すように、φＶ，φＨを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφＨパルスによって、さらに前半のパルスによってメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンＳＩＭＧで生じた信号が、φＶを基に生成される複数の駆動信号によって、メモリーゾーンＳＳＴＲに転送され記憶されている。
【００４３】
ついで画像信号を読み出すステップに移る。
【００４４】
まず、ＭＰＵ１は図１５に示すようにパルスＹＶ，ＹＨを出力する。このパルス（ＹＶ，ＹＨ）はレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。このときは、１ラインの像信号の出力を行なうのにＭＰＵ１からひとつのＹＶ（φＶ）パルスと、それに続く複数（１ラインの画素数に相当する数）のＹＨ（φＨ）パルスがＣＣＤに対して出力される。よって、φＶパルスを基に生成される複数の駆動信号によりメモリーゾーンＳＳＴＲの１ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移され、ついでそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はＭＰＵ１のＡ／Ｄ変換入力端子に増幅器３４を介して接続されており、ＭＰＵ１はφＨに同期してこの画像信号をＡ／Ｄ変換し、ＲＡＭに順次格納していく。さらに、もうひと組のＹＶ，ＹＨパルスを駆動回路に対して出力すると、φＶパルスを基に生成される複数の駆動信号により当初のメモリーゾーンＳＳＴＲの２ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移される。そしてそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、Ａ／Ｄ変換されＲＡＭに順次格納される。以下同様にして、全画素のデータをＡ／Ｄ変換しＲＡＭに順次格納する。
【００４５】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしかＲＡＭへのデータ格納は行なわない。すなわちメモリーゾーンに電荷が転送された後、ファーストステップによって決定された領域にいたるまでは、ＹＶパルス、ＹＨパルスを図１６に示すように出力する。このようにすることで、メモリーゾーンＳＳＴＲに記憶されている信号のうちＬ’ライン目までのものをＡ／Ｄ変換などをすることなく出力線に出力することができる。その後、図１５に示すＹＶ，ＹＨパルスの組み合わせを読み出す領域のライン数に相当する分だけ出力する。このひとつめの組み合わせにおけるＹＶ（φＶ）パルスによって（Ｌ’＋１）ライン目の信号が出力レジスタＨＳＨＩＦＴに移り、その後のＹＨ（φＨ）パルスにより１画素ずつ出力され、Ａ／Ｄ変換後ＲＡＭに格納される。以下同様にして動作が行なわれ、その領域のラインの画像信号をＡ／Ｄ変換し、順次ＲＡＭに格納していく。ただし、領域外の画素については、Ａ／Ｄ変換のみ行ないＲＡＭへの格納は行なわない。
【００４６】
このＲＡＭへの転送作業が終了したらもう一度ＣＣＤのクリア動作を行ない、続いてｉＲＥＤを点灯しての照明蓄積を行なう。
【００４７】
すなわちＭＰＵ１は、すでに選択された点灯ｉＲＥＤを点灯するためにｉＲＥＤ選択端子（ｓ１，ｓ２，ｓ３のいずれか）をセットしているので、ＣＣＤクリア動作のためのＹＶ，ＹＨパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。同時に蓄積信号ＹＳＴＲをハイにしてトランジスタ３５をオンし、ｉＲＥＤ５１を点灯する。そして眼球検出のステップを表すＲＡＭのビットの設定状態から設定された蓄積時間が経過したならば、ＣＣＤから画像信号を読み出し・外光除去の作業を行なう。
【００４８】
まずメモリーゾーンＳＳＴＲへの転送を行なう。
【００４９】
ＭＰＵ１は図１４に示すようにパルスＹＶ，ＹＨが出力する。このパルス（ＹＶ，ＹＨ）は、レベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、垂直方向転送パルスをφＶ、水平方向転送パルスφＨとしてＣＣＤに与えられる。前半のφＶ，φＨが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンＳＩＭＧの電荷がメモリーゾーンＳＳＴＲへ垂直転送され、と同時にメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへも電荷が垂直転送される。また出力用転送レジスタＨＳＨＩＦＴの電荷が出力線に出力されたことで出力用転送レジスタＨＳＨＩＦＴをクリアしている。図１４に示すように、φＶ，φＨを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφＨパルスによって、さらに前半のパルスによってメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンＳＩＭＧで生じた信号が、φＶを基に生成される複数の駆動信号によって、メモリーゾーンＳＳＴＲに転送され記憶されている。
【００５０】
ついでＭＰＵは外光除去の作業を行なう。
【００５１】
まず、ＭＰＵ１は図１５に示すようにパルスＹＶ，ＹＨを出力する。このパルス（ＹＶ，ＹＨ）はレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。このときは、１ラインの像信号の出力を行なうのにＭＰＵ１からひとつのＹＶ（φＶ）パルスと、それに続く複数（１ラインの画素数に相当する数）のＹＨ（φＨ）パルスがＣＣＤに対して出力される。よってφＶパルスを基に生成される複数の駆動信号によりメモリーゾーンＳＳＴＲの１ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移され、ついでそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はＭＰＵ１のＡ／Ｄ変換入力端子に増幅器３４を介して接続されており、ＭＰＵ１はφＨに同期してこの画像信号をＡ／Ｄ変換し、この画素に対応する外光積分時の値をＲＡＭから読み出し、Ａ／Ｄ変換値からこのＲＡＭから読み出した値を引き、その結果を再びＲＡＭに格納する。さらに、もうひと組のＹＶ，ＹＨパルスを駆動回路に対して出力すると、φＶパルスを基に生成される複数の駆動信号により当初のメモリーゾーンＳＳＴＲの２ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移される。そしてそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、Ａ／Ｄ変換と記憶値との差分計算をされたのちＲＡＭに順次格納される。以下同様にして、全画素のデータについてＡ／Ｄ変換、記憶値との差分計算ＲＡＭに順次格納する。
【００５２】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしか、読み込み値と記憶値の差分計算、ＲＡＭへの再格納は行なわない。
【００５３】
その後ＭＰＵは駆動回路及びＣＣＤへの電源供給を停止する。
【００５４】
ついでＭＰＵはこの外光除去された画像信号を用いた処理に移る。これについてはのちに詳細を述べる。
【００５５】
外光除去された画像信号を用いた処理が終了したならば、ＭＰＵはその結果を評価する。まず、眼球検出の状態を示すＲＡＭのビット２（このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる）の状態を調べ、クリアされていたならば、もう一度ファーストステップからやり直すために、眼球検出のステップを表すＲＡＭのビット５、ビット６をクリアして、処理の初めの部分に制御をもどす。また、眼球検出の状態を示すＲＡＭのビット２がセットされていた場合は、眼球検出のステップを表すＲＡＭを調べ、ファーストステップ、セカンドステップの場合は、次のステップを実行するために、そのまま処理の初めの部分に制御をもどす。逆にサードステップの場合は、眼球検出成功なので、眼球検出のルーチンをこのまま抜ける（既にサードステップ成功の時点で眼球検出成功を表すＲＡＭのビットがセットされている）。
【００５６】
ここで、外光除去された画像信号を用いた処理について説明する。
【００５７】
この処理は眼球検出の各ステップで異なる。そこで眼球検出のステップを表すＲＡＭのビットにより設定されたステップを判断し、そのステップの処理を行なう。
【００５８】
ファーストステップの場合（ＲＡＭのビット６・ビット５がともにクリア）は、以下の処理を行なう。ファーストステップはしきい値Ｃｏｎｓｔ１を越える小さな像が存在するか否かを求めるステップである。
【００５９】
図４にそのフローチャートを示す。
【００６０】
まず請求項にいう「受光手段が受光した反射像に高輝度部分があるかどうかを判断するステップ」としてのファーストステップについて説明する。まず変数ｊ＝０と初期化する。ついで画素の輝度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。ラインＬ、画素ｉの輝度をＤ（Ｌ，ｉ）とし、ｉ＝１からしきい値と比較し、これを越える画素があるかどうか調べる。存在しない場合はｉに＋１して次の画素に移る。
【００６１】
しきい値Ｃｏｎｓｔ１を越える画素が存在した場合は、このラインＬでのしきい値Ｃｏｎｓｔ１を越える画素の範囲（長さ）をはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ｉに＋１して次の画素としきい値Ｃｏｎｓｔ１を比較する。Ｄ（Ｌ，ｉ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（Ｌ，ｉ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（Ｌ，ｉ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ２を比較する。その長さが定数Ｃｏｎｓｔ２より小さければ、その位置（何画素目か）を記憶する。もし複数の画素に渡っていたならばその平均値（割り切れない場合は例えば小数点以下を切り捨て）を記憶する。また２つ以上しきい値を越える部分があったならば、それぞれについてその位置（画素）を、Ｐ（ｊ）＝ｉと記憶する。またこのラインＬもＬ１＝Ｌと、その値を記憶しておく。複数個このようなデータを記憶するために、この後カウンターｊをカウントアップする。
【００６２】
そしてそのラインの全画素についてこの処理が終了したならば、そのラインでしきい値Ｃｏｎｓｔ１を越え、長さがＣｏｎｓｔ２以下のものがあったかを調べる。なければ次のラインに処理を移す。
【００６３】
あれば、ｋ＝０と初期化した後、Ｌ＝Ｌ１−Ｌ０とし、ラインＬにおいて記憶された画素位置における輝度Ｄ（Ｌ，Ｐ（ｋ））をしきい値Ｃｏｎｓｔ１と比較する。但しＬ０は定数。その結果がＤ（Ｌ，Ｐ（ｋ））≦Ｃｏｎｓｔ１ならＬ１’＝Ｌとこの値を記憶する。Ｄ（Ｌ，Ｐ（ｋ））＞Ｃｏｎｓｔ１ならＤ（Ｌ，Ｐ（ｋ））≦Ｃｏｎｓｔ１となるまで同じ処理を繰り返す。
【００６４】
ラインを更新して、その次のラインＬで同様の処理をする。この処理を、比較の結果がＤ（Ｌ，Ｐ（ｋ））≦Ｃｏｎｓｔ１となるまでラインを更新しながら繰り返す。Ｄ（Ｌ，Ｐ（ｋ））≦Ｃｏｎｓｔ１の条件を満足したとならば、Δ＝（Ｌ−１）−Ｌ１’を求め、この値と定数Ｃｏｎｓｔ２を比較し、Δ≦Ｃｏｎｓｔ２となったならばファーストステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２（このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる）をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すＲＡＭのビット５をセットする。
【００６５】
と同時にラインＬ２＝Ｌ，Ｌ１＝Ｌ１’，Ｐ＝Ｐ（ｋ）とＬ，Ｌ１’，画素Ｐ（ｋ）を記憶する。
【００６６】
ｊが２以上のときはその個数回だけ上記の処理を繰り返すが、条件を満足した時点で処理を終了する。
【００６７】
上記の条件を全て満たすものがないまま全ラインの処理を終了したならば、ファーストステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、ファーストステップが失敗を表現することになる。
【００６８】
請求項にいう「受光手段が受光した反射像にある高輝度部分の大きさが一定値以下かどうかにより該高輝度部分が正反射面による反射によって生じたものであるかどうかを判断するステップ」であるセカンドステップの場合（ビット６がクリア・ビット５がセット）は以下の処理を行なう。セカンドステップはファーストステップで検出された小さな明るい像が正反射面によるものなのか、拡散反射面によるものなのかを判断するステップである。
【００６９】
またセカンドステップは、ファーストステップで検出された小さな明るい像の周辺のみで処理を行なう。その範囲は水平（画素）方向Ｐ−ａ２からＰ＋ａ２まで、垂直（ライン）はＬ１−ｂ２からＬ２＋ｂ２までである。但しａ２，ｂ２はともに２〜５ぐらいの定数である。
【００７０】
図５にそのフローチャートを示す。
【００７１】
まず画素の輝度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。ラインＬ、画素ｉの輝度をＤ（Ｌ，ｉ）とし、Ｌ＝１，ｉ＝１からしきい値を比較し、これを越える画素があるかどうか調べる。但しＬ＝１，ｉ＝１のＲＡＭに記憶されているのはファーストステップのＬ＝Ｌ１−ｂ２、ｉ＝Ｐ−ａ２に相当する画素のデータである。もし存在しない場合はｉに＋１して次の画素に移る。
【００７２】
しきい値Ｃｏｎｓｔ１を越える画素が存在した場合は、このラインＬでのしきい値Ｃｏｎｓｔ１を越える画素の範囲（長さ）をはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ｉに＋１して次の画素としきい値Ｃｏｎｓｔ１を比較する。Ｄ（Ｌ，ｉ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（Ｌ，ｉ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（Ｌ，ｉ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ３を比較する。Ｃｏｎｓｔ３はＣｏｎｓｔ２＋２程度の定数である。その長さが定数Ｃｏｎｓｔ３より大きければ、この反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、セカンドステップが失敗を表現することになる。
【００７３】
その長さが定数Ｃｏｎｓｔ３より小さければ（すなわち、この反射が正反射であれば）、次の処理に移る。
【００７４】
まずＬ＝１と初期化し、Ｄ（Ｌ，Ｐ−（Ｐ−ａ２）＋１）＝Ｄ（Ｌ，ａ２＋１）としきい値Ｃｏｎｓｔ１と比較し、これを越える画素があるかどうかを調べる。但しＬ＝１，ｉ＝１のＲＡＭに記憶されているのはファーストステップのＬ＝Ｌ１−ｂ２，ｉ＝Ｐ−ａ２に相当する画素のデータである。もし存在しない場合はＬに＋１して次のラインに移る。
【００７５】
しきい値Ｃｏｎｓｔ１を越えるものが存在した場合は、しきい値Ｃｏｎｓｔ１を越える長さをはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、Ｌに＋１して次のラインの値としきい値Ｃｏｎｓｔ１を比較する。Ｄ（Ｌ，ａ２＋１）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（Ｌ，ａ２＋１）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（Ｌ，ａ２＋１）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ３を比較する。Ｃｏｎｓｔ３はＣｏｎｓｔ２＋２程度の定数である。その長さが定数Ｃｏｎｓｔ３より大きければ、この反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、セカンドステップが失敗を表現することになる。
【００７６】
その長さが定数Ｃｏｎｓｔ３より小さければ（すなわち、この反射が正反射であれば）、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットし、セカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理でサードステップが実行されるように眼球検出のステップを表すＲＡＭのビット６をセットする。
【００７７】
そしてそのラインの全画素、全ラインについてこの処理を行なってもＣｏｎｓｔ１を越えるものが存在しなければ、セカンドステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、セカンドステップが失敗を表現することになる。
【００７８】
請求項にいう「受光手段が受光した反射像にある高輝度部分の周辺に低輝度部分が存在するかどうかを判断するステップ」であるサードステップの場合（ビット６・ビット５がともにセット）は以下の処理を行なう。サードステップはセカンドステップまでで検出された小さな明るい正反射像の周辺に、比較的輝度の弱い反射像（虹彩や強膜）が存在するかどうかを判断するステップである。
【００７９】
またサードステップは、ファーストステップで検出された小さな明るい像の周辺のみで処理を行なう。その範囲は水平（画素）方向はＰ−ａ３からＰ＋ａ３まで、垂直（ライン）はＬ１−ｂ３からＬ２＋ｂ３までである。但しａ３，ｂ３はともに１０〜２０ぐらいの定数である。
【００８０】
図６にそのフローチャートを示す。
【００８１】
まず画素の輝度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。ラインＬ、画素ｉの輝度をＤ（Ｌ，ｉ）とし、ｉ＝１からしきい値と比較し、これを越える画素があるかどうか調べる。その数をカウントする。但しＬ＝１，ｉ＝１のＲＡＭに記憶されているのはファーストステップのＬ＝Ｌ１−ｂ３、ｉ＝Ｐ−ａ３に相当する画素のデータである。
【００８２】
そしてＭＰＵは、Ｌ＝１，ｉ＝１の画素からその輝度値Ｄ（Ｌ，ｉ）をしきい値Ｃｏｎｓｔ１と順次比較していき、Ｄ（Ｌ，ｉ）≧Ｃｏｎｓｔ１ならばカウンターＮｉｍａｇｅをカウントアップする。この作業を画素、ラインを更新しながら全画素、全ラインについて行なう。
【００８３】
終了後ＭＰＵは、カウンターＮｉｍａｇｅの値を定数Ｃｏｎｓｔ４と比較する。Ｃｏｎｓｔ４はＣｏｎｓｔ２＋１０程度の定数である。Ｎｉｍａｇｅ＜Ｃｏｎｓｔ４ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、サードステップが失敗を表現することになる。
【００８４】
逆にＮｉｍａｇｅ≧Ｃｏｎｓｔ４なら、サードステップの条件を満足した（すなわち、高輝度部分の周辺に低輝度部分が存在する）と判断し、眼球検出の状態を示すＲＡＭのビット２をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すＲＡＭのビット７をセットする。
【００８５】
なお、定数Ｃｏｎｓｔ１，Ｃｏｎｓｔ２，Ｃｏｎｓｔ３，Ｃｏｎｓｔ４，ａ２，ａ３，ｂ２，ｂ３などの値は、イメージセンサー（ＣＣＤ）として、２０×１５＝３００（画素）程度のセンサーを用いたときの目安であり、当然のことながらイメージセンサーの画素数によって大きく変化する。
【００８６】
図１に本発明第二実施例のブロック図を示す。１はＭＰＵ（マイクロプロセッシングユニット）、２はメモリー、３はＣＣＤ駆動回路、４はＣＣＤ、５は複数のｉＲＥＤから構成されるｉＲＥＤ群、６はＡＦを行なうためのレンズ駆動ユニット、７は絞り駆動ユニット、８はシャッターユニット、９はｉＲＥＤ駆動回路である。
【００８７】
図７は本発明第二実施例の動作を示すフローチャートである。
【００８８】
ＭＰＵは眼球検出のルーチンに入ると、まず演算に使用する変数の初期化等の初期化処理を行なう。この初期化の際に眼球検出の状態を表すＲＡＭのビット１をセットし既に初期化が行なわれたことを示す。このビットがセットされているときは、初期化のモジュールにおいてＥ^２ＰＲＯＭからのパラメータの読み込み、眼球検出のステップを表すＲＡＭのクリアなどの処理は行なわず、演算に使用する変数の初期化のみを行なう。このビットがクリアされているときは、演算に使用する変数の初期化のほかに、Ｅ^２ＰＲＯＭからのパラメータの読み込み、眼球検出のステップを表すＲＡＭのクリアなどの処理も行なう。このビットは眼球検出のルーチンを抜けるときにクリアされる。
【００８９】
その後ＭＰＵは駆動回路及びＣＣＤへの電源供給を開始し、その後蓄積制御のステップに移る。
【００９０】
まず眼球検出のステップを表すＲＡＭのビットの設定状態から蓄積時間とｉＲＥＤ電流を選択し、設定する。眼球検出のステップを表すＲＡＭのビット６がセットされていればサードステップ、ビット６がクリアされビット５がセットされていればセカンドステップ、ビット６・ビット５がともにクリアされていればファーストステップとなる。蓄積時間は全ステップとも０．１ｍｓｅｃ、ｉＲＥＤ電流はファーストステップ・セカンドステップ・サードステップでそれぞれ、ｉ（ｍＡ）、２ｉ（ｍＡ）、１０ｉ（ｍＡ）である。基準の電流値ｉはｉＲＥＤの発光効率、イメージセンサーの感度などによって変化するが、５〜１０ｍＡ程度となる。
【００９１】
そしてＭＰＵ１は駆動回路９のｉＲＥＤ電流設定を行なう。図１２に示すように、ＭＰＵ１はｉＲＥＤ電流設定のために、上記の選択結果に基づきｉＲＥＤ電流選択のための出力端子ｓ１，ｓ２，ｓ３…のうちひとつをセットする。このことにより出力端子ｓ１，ｓ２，ｓ３…の先に接続されているトランジスタ３６，３７，３８のうちひとつがオンし、結果として電流値を設定するための抵抗３９，４０，４１…のいずれかが選択され、ｉＲＥＤ５１に流れる電流が設定される。
【００９２】
ついでＭＰＵはＣＣＤのクリア動作を行ないＣＣＤのメモリーゾーンＳＳＴＲ・出力用転送レジスタＨＳＨＩＦＴ等に残っている電荷を消去する。
【００９３】
すなわち、ＭＰＵ１は図１３に示すような垂直方向転送パルスＹＶ、水平方向転送パルスＹＨを出力する。このふたつのパルスＹＨ、ＹＶがレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。これによりイメージゾーンＳＩＭＧ、メモリーゾーンＳＳＴＲに残っていた電荷は、それぞれイメージゾーン→メモリーゾーン→出力用転送レジスタと垂直方向転送パルスφＶを基に生成される複数の駆動信号により転送され、これと同時に出力用転送レジスタから水平方向転送パルスφＨを基に生成される複数の駆動信号によって、図１３に示すように複数の画素の像が加算された形で出力線に出力され、イメージゾーン・メモリーゾーン・出力用転送レジスタ等に残っている電荷は消去される。
【００９４】
そして外光除去を行なうためにまずｉＲＥＤを点灯せずに設定された蓄積時間分の外光蓄積を行なう。この画像信号をＣＣＤ駆動回路３を介して読み込みＲＡＭへ転送していく。
【００９５】
ＦＴＣＣＤではクリア動作の終了時点が次の蓄積の開始となるので、前記のＣＣＤクリア動作のためのＹＶ，ＹＨパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。そして眼球検出のステップを表すＲＡＭのビットの設定状態から設定された蓄積時間が経過したならば、ＣＣＤから画像信号を読み出す作業を行なう。
【００９６】
この読み出し作業はまずメモリーゾーンＳＳＴＲへの転送作業から行なう。
【００９７】
ＭＰＵ１は図１４に示すようなパルスＹＶ，ＹＨが出力する。このパルス（ＹＶ，ＹＨ）は、レベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、垂直方向転送パルスφＶ、水平方向転送パルスφＨとしてＣＣＤに与えられる。前半のφＶ，φＨが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンＳＩＭＧの電荷がメモリーゾーンＳＳＴＲへ垂直転送され、と同時にメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへも電荷が垂直転送される。また出力用転送レジスタＨＳＨＩＦＴの電荷が出力線に出力されたことで出力用転送レジスタＨＳＨＩＦＴをクリアしている。図１４に示すように、φＶ，φＨを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφＨパルスによって、さらに前半のパルスによってメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンＳＩＭＧで生じた信号が、φＶを基に生成される複数の駆動信号によって、メモリーゾーンＳＳＴＲに転送され記憶されている。
【００９８】
ついで画像信号を読み出すステップに移る。
【００９９】
まず、ＭＰＵ１は図１５に示すようにパルスＹＶ，ＹＨを出力する。このパルス（ＹＶ，ＹＨ）はレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。このときは、１ラインの像信号の出力を行なうのにＭＰＵ１からひとつのＹＶ（φＶ）パルスと、それに続く複数（１ラインの画素数に相当する数）のＹＨ（φＨ）パルスがＣＣＤに対して出力される。よってφＶパルスを基に生成される複数の駆動信号によりメモリーゾーンＳＳＴＲの１ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移され、ついでそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はＭＰＵ１のＡ／Ｄ変換入力端子に増幅器３４を介して接続されており、ＭＰＵ１はφＨに同期してこの画像信号をＡ／Ｄ変換し、ＲＡＭに順次格納していく。さらに、もうひと組のＹＶ，ＹＨパルスを駆動回路に対して出力すると、φＶパルスを基に生成される複数の駆動信号により当初のメモリーゾーンＳＳＴＲの２ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移される。そしてそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、Ａ／Ｄ変換されＲＡＭに順次格納される。以下同様にして、全画素のデータをＡ／Ｄ変換しＲＡＭに順次格納する。
【０１００】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしかＲＡＭへのデータ格納は行なわない。すなわちメモリーゾーンに電荷が転送された後、ファーストステップによって決定された領域にいたるまでは、ＹＶパルス、ＹＨパルスを図１６に示すようにし出力する。このようにすることで、メモリーゾーンＳＳＴＲに記憶されている信号のうちＬ’ライン目までのものをＡ／Ｄ変換などをすることなく出力線に出力することができる。その後、図１５に示すＹＶ，ＹＨパルスの組み合わせを読み出す領域のライン数に相当する分だけ出力する。このひとつめの組み合わせにおけるＹＶ（φＶ）パルスによって（Ｌ’＋１）ライン目の信号が出力レジスタＨＳＨＩＦＴに移り、その後のＹＨ（φＨ）パルスにより１画素ずつ出力され、Ａ／Ｄ変換後ＲＡＭに格納される。以下同様にして動作が行なわれ、その領域のラインの画像信号をＡ／Ｄ変換し、順次ＲＡＭに格納していく。ただし、領域外の画素については、Ａ／Ｄ変換のみ行ないＲＡＭへの格納は行なわない。
【０１０１】
このＲＡＭへの転送作業が終了したらもう一度ＣＣＤのクリア動作を行ない、続いてｉＲＥＤを点灯しての照明蓄積を行なう。
【０１０２】
すなわちＭＰＵ１は、すでに選択された点灯ｉＲＥＤを点灯するためにｉＲＥＤ選択端子（ｓ１，ｓ２，ｓ３のいずれか）セットしているので、ＣＣＤクリア動作のためのＹＶ，ＹＨパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。同時に蓄積信号ＹＳＴＲをハイにしてトランジスタ３５をオンし、ｉＲＥＤ５１を点灯する。そして眼球検出のステップを表すＲＡＭのビットの設定状態から設定された蓄積時間が経過したならば、ＣＣＤから画像信号を読み出し・外光除去の作業を行なう。
【０１０３】
まずメモリーゾーンＳＳＴＲへの転送を行なう。
【０１０４】
ＭＰＵ１は図１４に示すようにパルスＹＶ，ＹＨが出力する。このパルス（ＹＶ，ＹＨ）は、レベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、垂直方向転送パルスをφＶ、水平方向転送パルスφＨとしてＣＣＤに与えられる。前半のφＶ，φＨが交互に与えられる部分は二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンＳＩＭＧの電荷がメモリーゾーンＳＳＴＲへ垂直転送され、と同時にメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへも電荷が垂直転送される。また出力用転送レジスタＨＳＨＩＦＴの電荷が出力線に出力されたことで出力用転送レジスタＨＳＨＩＦＴをクリアしている。図１４に示すように、φＶ，φＨを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφＨパルスによって、さらに前半のパルスによってメモリーゾーンＳＳＴＲから出力用転送レジスタＨＳＨＩＦＴへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンＳＩＭＧで生じた信号が、φＶを基に生成される複数の駆動信号によって、メモリーゾーンＳＳＴＲに転送され記憶されている。
【０１０５】
ついでＭＰＵは外光除去の作業を行なう。
【０１０６】
まず、ＭＰＵ１は図１５に示すようにパルスＹＶ，ＹＨを出力する。このパルス（ＹＶ，ＹＨ）はレベルシフト回路３０，３１でＣＣＤを駆動するのに十分な電圧に変換され、ＣＣＤに与えられる。この垂直方向転送パルスをφＶ、水平方向転送パルスをφＨと呼ぶ。このときは、１ラインの像信号の出力を行なうのにＭＰＵ１からひとつのＹＶ（φＶ）パルスと、それに続く複数（１ラインの画素数に相当する数）のＹＨ（φＨ）パルスがＣＣＤに対して出力される。よって、φＶパルスを基に生成される複数の駆動信号によりメモリーゾーンＳＳＴＲの１ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移され、ついでそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はＭＰＵ１のＡ／Ｄ変換入力端子に増幅器３４を介して接続されており、ＭＰＵ１はφＨに同期してこの画像信号をＡ／Ｄ変換し、この画素に対応する外光積分時の値をＲＡＭから読み出し、Ａ／Ｄ変換値からこのＲＡＭから読み出した値を引き、その結果を再びＲＡＭに格納する。さらに、もうひと組のＹＶ，ＹＨパルスを駆動回路に対して出力すると、φＶパルスを基に生成される複数の駆動信号により当初のメモリーゾーンＳＳＴＲの２ライン目の電荷が、出力用転送レジスタＨＳＨＩＦＴに移される。そしてそれに続くφＨパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、Ａ／Ｄ変換と記憶値との差分計算をされたのちＲＡＭに順次格納される。以下同様にして、全画素のデータについてＡ／Ｄ変換と記憶値との差分計算しＲＡＭに順次格納する。
【０１０７】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしか、読み込み値と記憶値の差分計算、ＲＡＭへの再格納は行なわない。
【０１０８】
その後ＭＰＵは駆動回路及びＣＣＤへの電源供給を停止する。
【０１０９】
ついでＭＰＵはこの外光除去された画像信号を用いた処理に移る。これについてはのちに詳細を述べる。
【０１１０】
外光除去された画像信号を用いた処理が終了したならば、ＭＰＵはその結果を評価する。まず、眼球検出の状態を示すＲＡＭのビット２（このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる）の状態を調べ、クリアされていたならば、もう一度ファーストステップからやり直すために、眼球検出のステップを表すＲＡＭのビット５、ビット６をクリアして、処理の初めの部分に制御をもどす。また、眼球検出の状態を示すＲＡＭのビット２がセットされていた場合は、眼球検出のステップを表すＲＡＭを調べ、ファーストステップ、セカンドステップの場合は、次のステップを実行するために、そのまま処理の初めの部分に制御をもどす。逆にサードステップの場合は、眼球検出成功なので、眼球検出のルーチンをこのまま抜ける（既にサードステップ成功の時点で眼球検出成功を表すＲＡＭのビットがセットされている）。
【０１１１】
ここで、外光除去された画像信号を用いた処理について説明する。
【０１１２】
第二実施例の特徴は水平方向・垂直方向の各ラインのピーク値（最大輝度値）を求め、その値によって処理を行なっている点である。
【０１１３】
よってまずＭＰＵはピーク値を求め、ＲＡＭに記憶していく。これは各水平ライン・垂直ラインの画素の外光除去されたデータを順次ＲＡＭから読み込み、それまでの最大値（初期値＝０）と比較することで、各ラインで最大輝度のものを求めればよい。
【０１１４】
そののち、このピーク値を用いた処理を行なう。
【０１１５】
この処理は眼球検出の各ステップで異なる。そこで眼球検出のステップを表すＲＡＭのビットにより設定されたステップを判断し、そのステップの処理を行なう。
【０１１６】
ファーストステップの場合（ＲＡＭのビット６・ビット５がともにクリア）は、以下の処理を行なう。ファーストステップはしきい値Ｃｏｎｓｔ１を越える小さな像が存在するか否かを求めるステップである。
【０１１７】
図８にそのフローチャートを示す。
【０１１８】
まず変数Ｎｐｅａｋ＝０と初期化し、ついで各ラインのピーク値をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。水平ラインＬＨのピーク値をＤ（ＬＨ）とし、ＬＨ＝１からしきい値を比較し、これを越えるものがあるかどうか調べる。存在しない場合はＬＨに＋１して次の水平ラインに移る。
【０１１９】
，しきい値Ｃｏｎｓｔ１を越えるものが存在した場合は、しきい値Ｃｏｎｓｔ１を越えるものの範囲（長さ）をはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ＬＨに＋１して次のラインの値としきい値Ｃｏｎｓｔ１を比較する。Ｄ（ＬＨ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（ＬＨ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（ＬＨ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ２を比較する。
【０１２０】
その長さが定数Ｃｏｎｓｔ２より大きければ、水平ラインについての処理を全水平ラインについて終了するまで継続する。
【０１２１】
その長さが定数Ｃｏｎｓｔ２より小さければ、ファーストステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２（このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる）をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すＲＡＭのビット５をセットする。またその長さＬＥＮをＲＡＭに記憶する。と同時に水平ラインで条件を満足したことを表すために、眼球検出のステップを表すＲＡＭのビット３をセットする。
【０１２２】
水平ラインにおける処理において、ファーストステップの条件を満足するものが得られなかった場合は垂直ラインについて同様の処理を行なう。
【０１２３】
すなわち、変数Ｎｐｅａｋ＝０と初期化し、ついで各ラインのピーク度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。垂直ラインＬＶのピーク値をＤ（ＬＶ）とし、ＬＶ＝１からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはＬＶに＋１して次の垂直ラインに移る。
【０１２４】
しきい値Ｃｏｎｓｔ１を越えるものが存在した場合は、しきい値Ｃｏｎｓｔ１を越えるものの範囲（長さ）をはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ＬＶに＋１して次のラインの値としきい値Ｃｏｎｓｔ１を比較する。Ｄ（ＬＶ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（ＬＶ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（ＬＶ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ２を比較する。
【０１２５】
その長さが定数Ｃｏｎｓｔ２より大きければ、垂直ラインについての処理を全垂直ラインについて終了するまで継続する。
【０１２６】
その長さが定数Ｃｏｎｓｔ２より小さければ、ファーストステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すＲＡＭのビット５をセットする。またその長さＬＥＮをＲＡＭに記憶する。と同時に垂直ラインで条件を満足したことを表すために、眼球検出のステップを表すＲＡＭのビット３をクリアする。
【０１２７】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、ファーストステップが失敗を表現することになる。
【０１２８】
セカンドステップの場合（ビット６がクリア・ビット５がセット）は以下の処理を行なう。セカンドステップはファーストステップで検出された小さな明るい像が正反射面によるものなのか、拡散反射面によるものなのかを判断するステップである。
【０１２９】
図９にそのフローチャートを示す。
【０１３０】
まず眼球検出のステップを表すＲＡＭのビット３の状態を調べ、ビット３がセットされていたならば水平ラインのピーク値を用いた処理を、ビット３がクリアされていたならば垂直ラインのピーク値を用いた処理を行なう。
【０１３１】
まず水平ラインのピーク値を用いる処理について説明する。
【０１３２】
まず変数Ｎｐｅａｋ＝０と初期化し、ついで各ラインのピーク度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。水平ラインＬＨのピーク値をＤ（ＬＨ）とし、ＬＨ＝１からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはＬＨに＋１して次の水平ラインに移る。
【０１３３】
しきい値Ｃｏｎｓｔ１を越えるものが存在した場合は、しきい値Ｃｏｎｓｔ１を越えるものの長さをはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ＬＨに＋１して次のラインの値としきい値Ｃｏｎｓｔ１を比較する。Ｄ（ＬＨ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（ＬＨ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（ＬＨ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ３を比較する。Ｃｏｎｓｔ３はＣｏｎｓｔ２＋２程度の定数である。
【０１３４】
その長さが定数Ｃｏｎｓｔ３より大きければ、水平ラインについての処理を全水平ラインについて終了するまで継続する。
【０１３５】
その長さが定数Ｃｏｎｓｔ３より小さければ、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットしセカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、サードステップが実行されるように眼球検出のステップを表すＲＡＭのビット６をセットする。
【０１３６】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップで検出された反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、セカンドステップが失敗を表現することになる。
【０１３７】
次に垂直ラインのピーク値を用いる処理について説明する。処理は水平ラインのピーク値を用いる場合と同様に行なわれる。
【０１３８】
まず変数Ｎｐｅａｋ＝０と初期化し、ついで各ラインのピーク度をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。垂直ラインＬＶのピーク値をＤ（ＬＶ）とし、ＬＶ＝１からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはＬＶに＋１して次の水平ラインに移る。
【０１３９】
しきい値Ｃｏｎｓｔ１を越えるものが存在した場合は、しきい値Ｃｏｎｓｔ１を越えるものの長さをはかる。すなわち、ｍ＝１と長さをはかるカウンターを初期化した後、ＬＶに＋１して次のラインの値としきい値Ｃｏｎｓｔ１を比較する。Ｄ（ＬＶ）＞Ｃｏｎｓｔ１ならｍをカウントアップする。この処理をＤ（ＬＶ）≦Ｃｏｎｓｔ１となるまで続ける。Ｄ（ＬＶ）≦Ｃｏｎｓｔ１となったならばｍと定数Ｃｏｎｓｔ３を比較する。Ｃｏｎｓｔ３はＣｏｎｓｔ２＋２程度の定数である。
【０１４０】
その長さが定数Ｃｏｎｓｔ３より大きければ、垂直ラインについての処理を全垂直ラインについて終了するまで継続する。
【０１４１】
その長さが定数Ｃｏｎｓｔ３より小さければ、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットしセカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、サードステップが実行されるように眼球検出のステップを表すＲＡＭのビット６をセットする。
【０１４２】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップで検出された反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、セカンドステップが失敗を表現することになる。
【０１４３】
サードステップの場合（ビット６・ビット５がともにセット）は以下の処理を行なう。サードステップはセカンドトステップまでで検出された小さな明るい正反射像の周辺に、比較的輝度の弱い反射像（虹彩や強膜）が存在するかどうかを判断するステップである。
【０１４４】
図１０にそのフローチャートを示す。
【０１４５】
まず眼球検出のステップを表すＲＡＭのビット３の状態を調べ、ビット３がセットされていたならば水平ラインのピーク値を用いた処理を、ビット３がクリアされていたならば垂直ラインのピーク値を用いた処理を行なう。
【０１４６】
まず水平ラインのピーク値を用いる処理について説明する。
【０１４７】
まず水平ラインのピーク値をしきい値Ｃｏｎｓｔ１と比較する処理を行なう。ラインＬＨの輝度をＤ（ＬＨ）とし、ＬＨ＝１からしきい値と比較し、これを越えるものがあるかどうかを調べ、その数をカウントする。
【０１４８】
そしてＭＰＵは、ＬＨ＝１からその輝度値Ｄ（ＬＨ）をしきい値Ｃｏｎｓｔ１と順次比較していき、Ｄ（ＬＨ）≧Ｃｏｎｓｔ１ならばカウンターＮｉｍａｇｅをカウントアップする。この作業をラインを更新しながら、全水平ラインについて行なう。
【０１４９】
終了後ＭＰＵは、カウンターＮｉｍａｇｅの値を定数Ｃｏｎｓｔ４と比較する。Ｃｏｎｓｔ４はＣｏｎｓｔ２＋１０程度の定数である。Ｎｉｍａｇｅ＜Ｃｏｎｓｔ４ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、サードステップが失敗を表現することになる。
【０１５０】
逆にＮｉｍａｇｅ≧Ｃｏｎｓｔ４なら、サードステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すＲＡＭのビット７をセットする。
【０１５１】
垂直ラインのピーク値を用いた処理も同様に行なわれ、しきい値Ｃｏｎｓｔ１を越えるものの数をカウントし、その数ＮｉｍａｇｅとＣｏｎｓｔ４を比較する。
【０１５２】
もしＮｉｍａｇｅ＜Ｃｏｎｓｔ４ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すＲＡＭのビット２がクリアされているので、サードステップが失敗を表現することになる。
【０１５３】
逆にＮｉｍａｇｅ≧Ｃｏｎｓｔ４なら、サードステップの条件を満足したと判断し、眼球検出の状態を示すＲＡＭのビット２をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すＲＡＭのビット７をセットする。
【０１５４】
なお、定数Ｃｏｎｓｔ１，Ｃｏｎｓｔ２，Ｃｏｎｓｔ３，Ｃｏｎｓｔ４などの値は、イメージセンサー（ＣＣＤ）として、２０×１５＝３００（画素）程度のセンサーを用いたときの目安であり、当然のことながらイメージセンサーの画素数によって大きく変化する。
【０１５５】
【発明の効果】
以上説明したように、本発明によれば、誤検出することなく眼球の接近を検出することができる。
そして、本発明の眼球検出装置を静止画カメラやビデオカメラその他のファインダーを有する機器に搭載すれば、機器使用者がファインダーを覗いていることを正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の第一および第二実施例の構成を示すブロック図である。
【図２】本発明の第一実施例の動作の手順を示すフローチャートである。
【図３】本発明におけるプルキンエ像を含む典型的なラインの出力画像信号を表す図である。
【図４】本発明の第一実施例のファーストステップのフローチャートである。
【図５】本発明の第一実施例のセカンドステップのフローチャートである。
【図６】本発明の第一実施例のサードステップのフローチャートである。
【図７】本発明の第二実施例の動作の手順を示すフローチャートである。
【図８】本発明の第二実施例のファーストステップのフローチャートである。
【図９】本発明の第二実施例のセカンドステップのフローチャートである。
【図１０】本発明の第二実施例のサードステップのフローチャートである。
【図１１】本発明の第一実施例および第二実施例に用いるフレームトランスファータイプのＣＣＤの説明図である。
【図１２】本発明の第一実施例および第二実施例に用いるＣＣＤ駆動回路およびｉＲＥＤ駆動回路の説明図である。
【図１３】本発明の第一実施例および第二実施例に用いるＣＣＤを駆動するためのパルスのタイミングチャートである。
【図１４】本発明の第一実施例および第二実施例に用いるＣＣＤを駆動するためのパルスのタイミングチャートである。
【図１５】本発明の第一実施例および第二実施例に用いるＣＣＤを駆動するためのパルスのタイミングチャートである。
【図１６】本発明の第一実施例および第二実施例に用いるＣＣＤを駆動するためのパルスのタイミングチャートである。
【図１７】従来技術の第一実施例の電子ビューファインダー装置のブロック図である。
【図１８】従来技術の第一実施例のカメラ一体型ＶＴＲの斜視図である。
【図１９】従来技術の第一実施例の電子ビューファインダー装置の接眼部周辺の側面図である。
【図２０】従来技術の第二実施例の電子ビューファインダー装置のブロック図である。
【図２１】従来技術の第二実施例の接眼部の正面図である。
【図２２】従来技術の第三実施例の電子ビューファインダー装置のブロック図である。
【図２３】従来技術の第三実施例の接眼部の正面図である。
【図２４】従来技術の第三実施例の電子ビューファインダー装置の使用状態を示す平面図である。
【符号の説明】
１…ＭＰＵ（マイクロプロセッシングユニット）
２…メモリー３…ＣＣＤ駆動回路
４…ＣＣＤ５…ｉＲＥＤ群
６…レンズ駆動ユニット７…絞り駆動ユニット
８…シャッターユニット９…ｉＲＥＤ駆動回路
３４…増幅器
３５，３６，３７，３８…トランジスタ
３９，４０，４１…抵抗５１…ｉＲＥＤ[0001]
[Industrial applications]
The present inventionStill camera, video camera, etc.With a viewfinderEye detection provided forIt concerns the device.
[0002]
[Prior art]
As a conventional eyeball detecting device, there is one described in Japanese Patent Application Laid-Open No. 3-30583.
[0003]
It is described as follows. 17 to 19 relate to the first embodiment of the present invention, FIG. 17 is a block diagram of an electronic viewfinder device, FIG. 18 is a perspective view of a camera-integrated VTR, and FIG. 19 is around an eyepiece of the electronic viewfinder device. It is a side view which shows a structure of.
[0004]
As shown in FIG. 18, a known cassette housing unit, a driving mechanism, a video processing, a control circuit, and the like are provided in a main body 101 of the camera-integrated VTR. , A microphone 103, and the like, and an operation panel unit 104, an electronic viewfinder device 105, and the like are provided on the rear side of the main body 101. The electronic viewfinder device 105 includes an eye cap 106, a display device such as a CRT of about 1/2 to 1 inch disposed in the eye cap 106, a viewfinder system control circuit, and the like. I have.
[0005]
FIG. 17 shows a schematic configuration of the electronic viewfinder device 105. In the same figure, 107 is a viewfinder video processing circuit, 108 is a display unit composed of a CRT or the like, 109 is a switch driven as described later, 110 is a power input. A terminal 111 is a video signal input terminal. Now, when the switch 109 is in the ON state, a power supply current is supplied via the switch 109 to the display unit 108 occupying most of the power consumption of the electronic viewfinder device 105, and the display unit 108 is appropriately processed by the viewfinder video processing circuit 107. The output video signal is output to the display unit 108, and an image is displayed on the display unit 108.
[0006]
In this embodiment, the eyepiece 112 (including the eye cap 106) of the electronic viewfinder device 105 is slidable back and forth by a predetermined amount as shown by the arrow direction in FIG. Bizarre habits are given to the directions by light spring force. When the eyepiece 112 slides slightly rightward in the figure, the driven part 109a of the switch 109 is pressed and the switch 109 is turned on. That is, in this embodiment, even if the power of the camera-integrated VTR is turned on, the electronic viewfinder device 105 is in a non-operation state unless the switch 109 is turned on.
[0007]
In the above configuration, when the user now desires the electronic viewfinder function and presses the face against the eye cap 106 and looks into the display unit 108 with one eye, the eyepiece unit 112 is pressed and slightly moved to activate the switch 109. When the power is turned on, the power is supplied to the display unit 108 as described above, and an image or the like is displayed on the display unit 108. Therefore, when the user clearly presses the face against the eye cap 106 and looks into the display unit 108 with one eye for the purpose of clearly using the electronic viewfinder device 105, the electronic viewfinder device 105 is automatically activated. Therefore, it is extremely easy to use, and when unnecessary, power supply to the electronic viewfinder device 105 is cut off, which greatly contributes to saving power consumption. Although any switch can be used in this embodiment, it is desirable that the switch be operated with a light operating force and a short stroke.
[0008]
20 and 21 relate to a second embodiment of the present invention. FIG. 20 is a block diagram of the electronic viewfinder device 105, and FIG. 21 is a front view of the eyepiece unit 112.
[0009]
20, reference numeral 120 denotes a switch circuit interposed and connected between the power input terminal 110 and the display unit 108. The switch circuit 120 includes a switching transistor (PNP transistor) 121 and resistors 122 and 123, and the resistor 123 is grounded. At this time (when the level becomes L level), a base current flows, the switching transistor 121 is turned on, and a power supply current is supplied to the display unit 108. Reference numeral 124 denotes an infrared sensor which generates an electromotive force by infrared rays emitted from a human body. The infrared sensor 124 is provided at an appropriate portion of the eyepiece 112 facing the face as shown in FIG. Reference numeral 125 denotes an amplified waveform shaping circuit, which amplifies the electromotive force of the infrared sensor 124 by an amplifier 126, removes noise by a waveform shaping circuit 127, and sets an appropriate attack time and release time. When the output of the infrared sensor 124 exceeds a predetermined level, the output terminal 127a of the waveform shaping circuit 127 goes low to turn on the switch circuit 120 and keep the electronic viewfinder device 105 operating. .
[0010]
In the embodiment having the above-described configuration, if the user now desires the electronic viewfinder function and presses the face on the eye cap 106 and looks into the display unit 108 with one eye, or closes the face to the eyepiece unit 112. When the infrared sensor 124 detects infrared rays emitted from the face, for example, when the face approaches the infrared sensor 124 within 10 to 15 cm, the output of the infrared sensor 124 becomes higher than a predetermined level, and the switch circuit 120 is activated as described above. When the power is turned on, the power is supplied to the display unit 108 as described above, and an image or the like is displayed on the display unit 108. For reference, as the infrared sensor 124, for example, a pyroelectric infrared sensor IRA series manufactured by Murata Manufacturing Co., Ltd., a pyroelectric infrared sensor SPS series manufactured by Sumitomo Metal Mining Co., Ltd., or the like is used. No.
[0011]
Also in the second embodiment, the same effect as in the first embodiment can be obtained, and when the user brings the face close to the eyepiece 112 within 10 to 15 cm, for example, the user can use the electronic viewfinder. Since it is determined that there is intention to use, the electronic viewfinder device 105 can be operated without pressing the face against the eye cap 106.
[0012]
22 to 24 relate to a third embodiment of the present invention, FIG. 22 is a block diagram of an electronic viewfinder device 105, FIG. 23 is a front view of an eyepiece 112, and FIG. FIG.
[0013]
In FIG. 22, reference numeral 130 denotes a transmitting unit (light emitting unit) which includes an infrared LED 131, a transistor 132, and a transmitter 133. For example, a transmitting current of about 40 KHz is transmitted to the infrared LED 131 which emits light at a peak wavelength of 940 nm. The infrared light is emitted from the infrared LED 131 in a desired direction under the control of the device 133 and the modulation transistor 132. A receiving unit (light receiving unit) 134 receives the infrared light reflected on the user's face by the photodiode 135 and outputs a change in the photodiode current as a voltage drop change of the resistor 136 to the amplification waveform shaping circuit 137 in the next stage. I do. The amplification waveform shaping circuit 137 selectively amplifies only the resonance frequency of about 40 KHz by the amplifier 138 under the control of the parallel resonance circuit including the coil 139 and the capacitor 140. The output of the amplifier 138 is transmitted to a subsequent-stage waveform shaping circuit 142 via a rectifier 141, and the waveform shaping circuit 142 removes noise and sets an appropriate attack time and release time. When the output of the photodiode 135 exceeds a predetermined level, the output terminal 142a of the waveform shaping circuit 142 goes low to turn on the switch circuit 120 and keep the electronic viewfinder device 105 in an operating state. . The infrared LED 131 and the photodiode 135 are arranged so as to face the face below the eye cap 106 in the eyepiece 112 as shown in FIGS. It is set so that infrared light is reflected in the horizontal direction.
[0014]
In the embodiment having the above-described configuration, if the user now desires the electronic viewfinder function and presses the face on the eye cap 106 and looks into the display unit 108 with one eye, or closes the face to the eyepiece unit 112. The photodiode 135 detects the reflected light of the infrared LED 131 from the face. For example, when the face approaches the photodiode 135 within 10 to 15 cm, the output of the photodiode 135 becomes a predetermined level or more, and as described above. The switch circuit 120 is turned on, and power is supplied to the display unit 108 as described above, so that the display unit 108 displays an image or the like.
[0015]
This third embodiment also has the same effect as the second embodiment.
[0016]
[Problems to be solved by the invention]
However, in these conventional examples,
1. Pressing the switch provided in the viewfinder eyepiece
2. Infrared rays emitted by the human body
3. Infrared reflected light
By judging the presence or absence and the strength (whether or not the level is equal to or higher than a predetermined level), it is determined whether or not the user has a will to look into the viewfinder of the camera. For this reason, the switch circuit is activated only when something other than the user's face (eyeball), for example, a part other than the human face such as a hand, clothing, window glass, or a cup is pressed or approached by the viewfinder eyepiece. When turned on, power is supplied to the display unit, and an image or the like is displayed on the display unit.
[0017]
[Means for Solving the Problems]
In order to solve the above-described problems, in the present invention, an illumination unit that irradiates illumination light, a light receiving unit that receives a reflected image by the illumination of the illumination unit, and a reflected image received by the light receiving unit, In an eyeball detection device having a determination means for determining whether or not the thing is an eyeball, the determination means,Judging whether or not the reflected image received by the light-receiving means has a high-luminance portion, and determining whether the high-luminance portion in the reflected image received by the light-receiving means is equal to or smaller than a predetermined size. There are provided a step of judging whether or not the light is caused by the reflection by the reflecting surface and a step of judging whether or not a low luminance portion exists around a high luminance portion in the reflected image received by the light receiving means.
That is, a reflected image is formed on a light receiving means such as an area sensor,
1. The reflected image has a high luminance portion.
2. Whether the size of the high-luminance part in the reflected image is below a certain valueBy the saidThe high-luminance portion is caused by reflection from the specular reflection surface.
3. A low-luminance part exists around the high-luminance part in the reflection image.
That3Check whether the following conditions are satisfied. Then, when there is a reflected image that satisfies these conditions, the high-luminance portion of the reflected image is determined as a Purkinje image of the eyeball, and the approach of the eyeball can be detected without erroneous detection.
Note that the eyeball detection device of the present invention is mounted on a still image camera, a video camera, or another device having a finder, and can accurately detect that a device user is looking into the finder.
[0018]
【Example】
FIG. 1 shows a block diagram of the first embodiment of the present invention. 1 is an MPU (Micro Processing Unit), 2 is a memory, 3 is a CCD drive circuit, 4 is a CCD, 5 is an iRED group composed of a plurality of iREDs, 6 is a lens drive unit for performing AF, and 7 is a diaphragm drive A unit, 8 is a shutter unit, and 9 is an iRED drive circuit.
[0019]
The image sensor used in this embodiment is a frame-transform type CCD (FT-CCD).
[0020]
The configuration is shown in FIG.
[0021]
SIMG in the figure is a photosensitive area (image zone), and is composed of pixels IMPXL arranged vertically in L and horizontally in N. The IMPXL is a unit pixel having a photoelectric conversion function such as a photodiode and a charge transfer function. A signal generated here is applied to a vertical transfer pulse φV to generate a signal φV inside the CCD 4 (VDRV). Is driven by a plurality of drive signals generated based on
[0022]
SSTR is a storage area (memory zone) for temporarily storing charges generated in the memory zone SIMG. The number of unit storage units STPXL forming the SSTR is the same as that of the unit pixels IMPXL forming the SIMG, and the transfer pulse is also the vertical transfer pulse φV.
[0023]
HSHIFT is a horizontal transfer register, which is driven by a plurality of drive signals generated based on φH inside the CCD 4 (HDRV) by applying a horizontal transfer pulse φH input from the CCD drive circuit 3.
[0024]
φRO is a signal transferred by HSHIFT, and in synchronism with this, when a signal is output from SOUT, the output of each pixel is initialized in the signal amplifier circuit SOUT so that the output of the previous pixel does not affect the next output pixel. Is performed. Note that φRO is generated inside the CCD (HDRV) based on φH.
[0025]
The OFD is provided to discharge a charge of a predetermined level or more so that the charge generated according to the amount of light irradiated to the pixel IMPXL does not become oversaturated when the charge reaches a saturation level, and is generally called an overflow drain. It is a discharge groove.
[0026]
This type of CCD transfers electric charges generated by irradiating each pixel of the image zone SIMG to all the pixel memory zones SSTR by a plurality of drive signals generated based on the vertical transfer pulse φV. That is, every time one vertical transfer pulse φV is applied to the CCD, all the pixels in one line are transferred one pixel at a time in the vertical direction by a plurality of drive signals generated based on φV. When applied for several minutes, it is transferred to the all-pixel memory zone SSTR. Next, these charges stored in the memory zone SSTR are transferred to the output horizontal transfer register HSHIFT line by line by a plurality of drive signals generated based on the vertical transfer pulse φV. Then, an image signal due to these charges is read out pixel by pixel by a plurality of drive signals generated from the output transfer register HSHIFT based on the horizontal transfer pulse φH. That is, at the time of reading, one φV is applied to the CCD, and the data is transferred to the horizontal transfer register HSHIFT line by line by a plurality of drive signals generated based on the φV. Next, an image signal is read out one pixel at a time from the HSHIFT by a plurality of drive signals generated by applying a horizontal transfer pulse φH of a number corresponding to the number of pixels in the horizontal direction.
[0027]
FIG. 12 shows the configurations of the CCD drive circuit and the iRED drive circuit.
[0028]
1 is an MPU, 30 and 31 are level shift circuits for boosting the pulse YV / YH to a voltage sufficient to drive the CCD, 34 is an amplifier, 35 is a transistor for turning on iRED, and 36, 37 and 38 are iRED. Transistors for determining the flowing current, 39, 40, and 41 are resistors for determining the current flowing to iRED, and 51 is iRED.
[0029]
In the present invention, by processing the image signal from the image sensor,ND) Judgment of the presence or absence of an image to determine the photographer's will to look through the viewfinder.ND. The image and the anterior segment of the eyeball will be described.
[0030]
When the photographer's eyeball is irradiated with parallel light (or divergent light), this light is reflected on the front surface of the cornea, and a virtual image of the light emitting diode is generated. PurkiNThis virtual image, which is called an image, is also famous as a catchlight in which bright luminescent spots occur in so-called black eyes in portrait photography and the like. PurkiNFIG. 3 shows a typical signal output of an image sensor including an image. The sharply rising high-brightness area is purky.ND. Also, since the radius of curvature of the human eyeball is about 7 mm and the size of the light emitting surface of iRED is about several mm,ND) The size of the image is about 100 to 300 μm on the eyeball, and the size on the sensor is about 10 to 30 μm when the image is formed by a light receiving system with an imaging magnification of about 1/10. This can be said to be as small as about 1 to 2 pixels in consideration of the pixel pitch of a normal image sensor. So PurkiNThe image can be called a small image with high luminance. More purkiNThe location of the image in the anterior segment of the eyeball is almost on the pupil or iris as can be imagined from the image of the catchlight. So PurkiND) Puriki with iris and sclera around the imageND) An image having a lower luminance than the image exists. This brightness depends on the lighting conditions, butND) About 1/20 to 1/10 of the image.
[0031]
Next, the operation of the present invention using the above principle will be described.
[0032]
FIG. 2 is a flowchart showing the operation of the first embodiment of the present invention.
[0033]
Upon entering the eyeball detection routine, the MPU first performs initialization processing such as initialization of variables used for calculation. At the time of this initialization, bit 1 of the RAM indicating the state of eyeball detection is set to indicate that initialization has already been performed. When this bit is set, E² Processing such as reading parameters from the PROM and clearing the RAM representing the step of eyeball detection is not performed, but only initialization of variables used for calculation is performed. When this bit is cleared, E² Processing such as reading parameters from the PROM and clearing the RAM representing the step of eyeball detection is also performed. This bit is cleared when exiting the eyeball detection routine.
[0034]
After that, the MPU starts power supply to the drive circuit and the CCD, and then proceeds to the accumulation control step.
[0035]
First, the accumulation time and the iRED current from the setting state of the bit of the RAM representing the eyeball detection step(That is, the illumination light amount of the iRED group 5 as the illumination means)Select and set. The third step is set if bit 6 of the RAM representing the eyeball detection step is set, the bit 6 is cleared, the second step is set if bit 5 is set, and the first step is set if both bit 6 and bit 5 are cleared. It becomes. The accumulation time is 0.1 msec in all steps, and the iRED current is i (mA), 2i (mA), and 10i (mA) in the first step, second step, and third step, respectively. The reference current value i varies depending on the luminous efficiency of iRED, the sensitivity of the image sensor, and the like, but is about 5 to 10 mA.
[0036]
Then, the MPU 1 sets the iRED current of the drive circuit 9. As shown in FIG. 12, the MPU 1 sets one of the output terminals s1, s2, s3,... For selecting the iRED current based on the above selection result in order to set the iRED current. As a result, one of the transistors 36, 37, 38 connected to the output terminals s1, s2, s3,... Is turned on, and as a result, one of the resistors 39, 40, 41,. Is selected, and the current flowing through the iRED 51 is set.
[0037]
Next, the MPU performs a CCD clearing operation to erase the charge remaining in the CCD memory zone SSTR, the output transfer register HSHIFT, and the like.
[0038]
That is, the MPU 1 outputs a vertical transfer pulse YV and a horizontal transfer pulse YH as shown in FIG. These two pulses YH and YV are converted into voltages sufficient to drive the CCD by the level shift circuits 30 and 31, and are given to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. As a result, the charges remaining in the image zone SIMG and the memory zone SSTR are transferred by a plurality of drive signals generated based on the image zone → memory zone → output transfer register and the vertical transfer pulse φV, respectively. By the plurality of drive signals generated from the output transfer register based on the horizontal transfer pulse φH, the image of the plurality of pixels is output to the output line in the form of addition as shown in FIG.・ Electric charge remaining in the transfer register for output is erased.
[0039]
Then, in order to remove external light, external light is accumulated for a set accumulation time without turning on iRED. This image signal is read via the CCD drive circuit 3 and transferred to the RAM.
[0040]
In the FTCD, the end of the clearing operation is the start of the next accumulation. Therefore, when the output of the YV and YH pulses for the CCD clearing operation is completed, the counting of the accumulation time is started from this point. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, an operation of reading an image signal from the CCD is performed.
[0041]
This read operation is first performed from the transfer operation to the memory zone SSTR.
[0042]
The MPU 1 outputs pulses YV and YH as shown in FIG. The pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD as a vertical transfer pulse φV and a horizontal transfer pulse φH. In the first half where φV and φH are alternately applied, the electric charges of the image zone SIMG are vertically transferred to the memory zone SSTR by the plurality of drive signals generated based on the two pulses, and at the same time, the output transfer from the memory zone SSTR is performed. The charge to the register HSHIFT is vertically transferred. The output transfer register HSHIFT is cleared by the output of the charge of the output transfer register HSHIFT to the output line. As shown in FIG. 14, by alternately supplying φV and φH, images of a plurality of pixels are output in an added form. Further, the charge transferred from the memory zone SSTR to the output transfer register HSHIFT by the second half φH pulse and the first half pulse is output to the output line and erased. Therefore, signals generated in the image zone SIMG are transferred to and stored in the memory zone SSTR by a plurality of drive signals generated based on φV.
[0043]
Then, the process proceeds to the step of reading the image signal.
[0044]
First, the MPU 1 outputs pulses YV and YH as shown in FIG. These pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. At this time, one YV (φV) pulse from the MPU 1 and a plurality of (the number corresponding to the number of pixels in one line) subsequent YH (φH) pulses are output from the MPU 1 to the CCD in order to output an image signal for one line. Output. Accordingly, the electric charge of the first line of the memory zone SSTR is transferred to the output transfer register HSHIFT by a plurality of drive signals generated based on the φV pulse, and then the plurality of drive signals generated based on the subsequent φH pulse. Is output to the output line. This output signal is connected to an A / D conversion input terminal of the MPU 1 via an amplifier 34, and the MPU 1 converts the image signal into an A / D signal in synchronization with φH and sequentially stores the image signal in a RAM. Further, when another set of YV and YH pulses is output to the drive circuit, the charge of the second line of the memory zone SSTR is initially transferred by the plurality of drive signals generated based on the φV pulse to the output transfer register HSHIFT. Moved to Then, it is output to the output line by a plurality of drive signals generated based on the following φH pulse. This output signal is similarly A / D converted and sequentially stored in the RAM. Similarly, data of all pixels is A / D converted and sequentially stored in the RAM.
[0045]
However, in the case of the second step and the third step, data is stored in the RAM only for a narrow area determined by the first step. That is, after the charges are transferred to the memory zone, the YV pulse and the YH pulse are output as shown in FIG. 16 until the region determined by the first step is reached. By doing so, it is possible to output the signals stored in the memory zone SSTR up to the L'th line to the output line without performing A / D conversion or the like. After that, a combination of the YV and YH pulses shown in FIG. The signal of the (L '+ 1) th line is transferred to the output register HSHIFT by the YV (φV) pulse in the first combination, and is output one pixel at a time by the subsequent YH (φH) pulse, and is stored in the RAM after A / D conversion Is done. Thereafter, the operation is performed in the same manner, and the image signals of the lines in that area are A / D converted and sequentially stored in the RAM. However, for pixels outside the area, only A / D conversion is performed and storage in the RAM is not performed.
[0046]
When the transfer operation to the RAM is completed, the CCD is again cleared, and the illumination is accumulated by turning on iRED.
[0047]
That is, since the MPU 1 sets the iRED selection terminal (any one of s1, s2, and s3) for lighting the already-selected lighting iRED, the output of the YV and YH pulses for the CCD clear operation is completed. Then, counting of the accumulation time is started from this point. At the same time, the accumulation signal YSTR is set high to turn on the transistor 35, and the iRED 51 is turned on. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, the image signal is read from the CCD and the work of removing external light is performed.
[0048]
First, transfer to the memory zone SSTR is performed.
[0049]
The MPU 1 outputs pulses YV and YH as shown in FIG. The pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and are supplied to the CCD as a vertical transfer pulse φV and a horizontal transfer pulse φH. In the first half where φV and φH are alternately applied, the charges in the image zone SIMG are vertically transferred to the memory zone SSTR by the plurality of drive signals generated based on the two pulses, and at the same time, are transferred from the memory zone SSTR for output. Electric charges are also vertically transferred to the register HSHIFT. The output transfer register HSHIFT is cleared by the output of the charge of the output transfer register HSHIFT to the output line. As shown in FIG. 14, by alternately supplying φV and φH, images of a plurality of pixels are output in an added form. Further, the charge transferred from the memory zone SSTR to the output transfer register HSHIFT by the second half φH pulse and the first half pulse is output to the output line and erased. Therefore, signals generated in the image zone SIMG are transferred to and stored in the memory zone SSTR by a plurality of drive signals generated based on φV.
[0050]
Next, the MPU performs an operation of removing external light.
[0051]
First, the MPU 1 outputs pulses YV and YH as shown in FIG. These pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. At this time, one YV (φV) pulse from the MPU 1 and a plurality of (the number corresponding to the number of pixels in one line) subsequent YH (φH) pulses are output from the MPU 1 to the CCD in order to output an image signal for one line. Output. Therefore, the electric charge of the first line of the memory zone SSTR is transferred to the output transfer register HSHIFT by a plurality of drive signals generated based on the φV pulse, and then the plurality of drive signals generated based on the subsequent φH pulse. Output to the output line. This output signal is connected to the A / D conversion input terminal of the MPU 1 via the amplifier 34. The MPU 1 converts the image signal into a digital signal in synchronization with φH, and integrates the external light corresponding to this pixel at the time of integrating external light. The value is read from the RAM, the value read from this RAM is subtracted from the A / D converted value, and the result is stored in the RAM again. Further, when another set of YV and YH pulses is output to the drive circuit, the charge of the second line of the memory zone SSTR is initially transferred by the plurality of drive signals generated based on the φV pulse to the output transfer register HSHIFT. Moved to Then, it is output to the output line by a plurality of drive signals generated based on the following φH pulse. Similarly, the output signal is sequentially stored in the RAM after the difference between the A / D conversion and the stored value is calculated. In the same manner, the data of all the pixels are sequentially stored in the A / D conversion and difference calculation RAM with the stored value.
[0052]
However, in the case of the second step and the third step, only for a narrow area determined by the first step, the difference calculation between the read value and the stored value and the re-storage in the RAM are not performed.
[0053]
Thereafter, the MPU stops supplying power to the drive circuit and the CCD.
[0054]
Next, the MPU shifts to processing using the image signal from which external light has been removed. This will be described in detail later.
[0055]
When the processing using the image signal from which external light has been removed is completed, the MPU evaluates the result. First, bit 2 of the RAM indicating the state of eyeball detection (this bit indicates whether or not each step satisfies the condition of that step, and is set when the condition is satisfied and cleared at initialization. ) Is checked, and if it is cleared, in order to start over from the first step again, the bits 5 and 6 of the RAM representing the eyeball detection step are cleared, and control is returned to the beginning of the process. If bit 2 of the RAM indicating the state of eyeball detection has been set, the RAM indicating the step of eyeball detection is checked, and if it is the first step or the second step, the next step is executed. Return control to the beginning of Conversely, in the case of the third step, since the eyeball detection is successful, the routine exits the eyeball detection routine as it is (the bit of the RAM indicating the success of the eyeball detection has already been set at the time of the successful third step).
[0056]
Here, processing using the image signal from which external light has been removed will be described.
[0057]
This processing differs for each step of eyeball detection. Therefore, the step set by the bit of the RAM representing the step of eyeball detection is determined, and the processing of that step is performed.
[0058]
In the case of the first step (both bits 6 and 5 of the RAM are cleared), the following processing is performed. The first step is a step for determining whether or not a small image exceeding the threshold value Const1 exists.
[0059]
FIG. 4 shows a flowchart thereof.
[0060]
First, the first step as a "step of determining whether or not a reflected image received by the light receiving means has a high luminance portion" will be described.First, a variable j = 0 is initialized. Next, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. The luminance of the line L and the pixel i is set to D (L, i). From i = 1, a comparison is made with a threshold value to check whether there is any pixel exceeding the threshold value. If it does not exist, +1 is added to i and the process moves to the next pixel.
[0061]
If there is a pixel exceeding the threshold value Const1, the range (length) of the pixel exceeding the threshold value Const1 on the line L is measured. That is, after the counter for measuring the length of m = 1 is initialized, i is incremented by 1 and the next pixel is compared with the threshold value Const1. If D (L, i)> Const1, m is counted up. This process is continued until D (L, i) ≦ Const1. If D (L, i) ≦ Const1, m is compared with a constant Const2. If the length is smaller than the constant Const2, the position (the number of the pixel) is stored. If it is over a plurality of pixels, its average value (if it is not divisible, for example, rounds down the decimal point) is stored. If there are two or more portions exceeding the threshold value, the position (pixel) of each is stored as P (j) = i. This line L also stores L1 = L and its value. In order to store a plurality of such data, the counter j is thereafter counted up.
[0062]
Then, when this processing is completed for all the pixels on the line, it is checked whether or not there is any line in the line that exceeds the threshold value Const1 and has a length equal to or less than Const2. If not, the process moves to the next line.
[0063]
If there is, after initializing k = 0, L = L1−L0, and the luminance D (L, P (k)) at the pixel position stored in the line L is compared with the threshold value Const1. However, L0 is a constant. If the result is D (L, P (k)) ≤Const1, this value is stored as L1 '= L. If D (L, P (k))> Const1, the same processing is repeated until D (L, P (k)) ≦ Const1.
[0064]
The line is updated, and the same processing is performed on the next line L. This process is repeated while updating the line until the comparison results in D (L, P (k)) ≦ Const1. If the condition of D (L, P (k)) ≦ Const1 is satisfied, Δ = (L−1) −L1 ′ is obtained, this value is compared with a constant Const2, and if Δ ≦ Const2, It is determined that the condition of the first step is satisfied, and bit 2 of the RAM indicating the state of eyeball detection (this bit indicates whether or not the condition of the step is satisfied in each step, and is set when the condition is satisfied. Is cleared at initialization) to indicate that the first step was successful. Further, in the processing using the image signal from which external light has been removed, bit 5 of the RAM representing the eyeball detection step is set so that the second step is executed.
[0065]
At the same time, the lines L2 = L, L1 = L1 ', P = P (k), L, L1', and the pixel P (k) are stored.
[0066]
When j is 2 or more, the above processing is repeated for the number of times, but the processing ends when the condition is satisfied.
[0067]
If the processing of all the lines is completed without satisfying all of the above conditions, it is determined that the first step has failed, and the processing routine is exited. Since bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the first step represents failure.
[0068]
"Step of judging whether or not the high-brightness portion is caused by reflection by the specular reflection surface based on whether or not the size of the high-brightness portion in the reflection image received by the light receiving means is equal to or smaller than a certain value" IsIn the case of the second step (bit 6 is cleared and bit 5 is set), the following processing is performed. In the second step, whether the small bright image detected in the first step is due to a specular reflection surface,AntiThis is a step of determining whether the shot is caused by a shooting surface.
[0069]
In the second step, processing is performed only around the small bright image detected in the first step. The range is from the horizontal (pixel) direction P-a2 to P + a2, and the vertical (line) is from L1-b2 to L2 + b2. However, both a2 and b2 are constants of about 2 to 5.
[0070]
FIG. 5 shows a flowchart thereof.
[0071]
First, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. Let the luminance of line L and pixel i be D (L, i), and L = 1, i = 1ICompare the values to see if any pixels exceed this. However, what is stored in the RAM of L = 1 and i = 1 is the pixel data corresponding to L = L1-b2 and i = P-a2 in the first step. If it does not exist, i is incremented by 1 and the process moves to the next pixel.
[0072]
If there is a pixel exceeding the threshold value Const1, the range (length) of the pixel exceeding the threshold value Const1 on the line L is measured. That is, after the counter for measuring the length of m = 1 is initialized, i is incremented by 1 and the next pixel is compared with the threshold value Const1. If D (L, i)> Const1, m is counted up. This process is continued until D (L, i) ≦ Const1. If D (L, i) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about Const2 + 2. If the length is larger than the constant Const3, it is determined that the reflection is a diffuse reflection, and the process exits from this processing routine. Since the bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the second step represents a failure.
[0073]
If its length is smaller than the constant Const3(Ie, if this reflection is specular)Then, proceed to the next process.
[0074]
First, L = 1 is initialized, D (L, P− (P−a2) +1) = D (L, a2 + 1) is compared with the threshold value Const1, and it is checked whether or not there is a pixel exceeding this value. However, what is stored in the RAM of L = 1 and i = 1 is the pixel data corresponding to L = L1-b2 and i = P-a2 in the first step. If it does not exist, +1 is added to L and the processing moves to the next line.
[0075]
If there is something exceeding the threshold value Const1, the length exceeding the threshold value Const1 is measured. That is, after the counter for measuring the length of m = 1 is initialized, L is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (L, a2 + 1)> Const1, m is counted up. This process is continued until D (L, a2 + 1) ≦ Const1. If D (L, a2 + 1) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about Const2 + 2. If the length is larger than the constant Const3, it is determined that the reflection is a diffuse reflection, and the process exits from this processing routine. Since the bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the second step represents a failure.
[0076]
If its length is smaller than the constant Const3(Ie, if this reflection is specular), It is determined that the condition of the second step is satisfied, and bit 2 of the RAM indicating the state of the eyeball detection is set to indicate that the second step is successful. Further, bit 6 of the RAM representing the eyeball detection step is set so that the third step is executed in the next process using the image signal from which external light has been removed.
[0077]
If this processing is performed for all pixels and all lines of the line and there is no pixel that exceeds Const1, it is determined that the second step has failed and the processing routine is exited. Since the bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the second step represents a failure.
[0078]
"The step of judging whether or not a low-luminance portion exists around a high-luminance portion in a reflection image received by the light-receiving means".In the case of the third step (both bit 6 and bit 5 are set), the following processing is performed. The third step is a step of judging whether or not a reflected image (iris or sclera) having relatively low luminance exists around a small bright regular reflection image detected up to the second step.
[0079]
In the third step, processing is performed only around the small bright image detected in the first step. The range is from P-a3 to P + a3 in the horizontal (pixel) direction, and from L1-b3 to L2 + b3 in the vertical (line) direction. However, a3 and b3 are constants of about 10 to 20.
[0080]
FIG. 6 shows the flowchart.
[0081]
First, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. The luminance of the line L and the pixel i is set to D (L, i). From i = 1, a comparison is made with a threshold value to check whether there is any pixel exceeding the threshold value. Count the number. However, what is stored in the RAM of L = 1 and i = 1 is pixel data corresponding to L = L1-b3 and i = P-a3 in the first step.
[0082]
Then, the MPU sequentially compares the luminance value D (L, i) with the threshold value Const1 from the pixel of L = 1, i = 1, and counts up the counter Image if D (L, i) ≧ Const1. I do. This operation is performed for all pixels and all lines while updating pixels and lines.
[0083]
After completion, the MPU compares the value of the counter Image with the constant Const4. Const4 is a constant of about Const2 + 10. If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the bit 2 of the RAM indicating the state of the eyeball detection has already been cleared in the initialization routine, the third step represents a failure.
[0084]
On the other hand, if Image ≧ Const4, the condition of the third step was satisfied.(That is, a low-luminance part exists around a high-luminance part.), And sets bit 2 of the RAM indicating the state of eyeball detection to indicate that the third step was successful. Further, to indicate the success of the eyeball detection operation, bit 7 of the RAM indicating the step of eyeball detection is set.
[0085]
The values of the constants Const1, Const2, Const3, Const4, a2, a3, b2, b3 and the like are guidelines when a sensor of about 20 × 15 = 300 (pixels) is used as an image sensor (CCD). Naturally, it greatly changes depending on the number of pixels of the image sensor.
[0086]
FIG. 1 shows a block diagram of a second embodiment of the present invention. 1 is an MPU (Micro Processing Unit), 2 is a memory, 3 is a CCD drive circuit, 4 is a CCD, 5 is an iRED group composed of a plurality of iREDs, 6 is a lens drive unit for performing AF, and 7 is a diaphragm drive A unit, 8 is a shutter unit, and 9 is an iRED drive circuit.
[0087]
FIG. 7 is a flowchart showing the operation of the second embodiment of the present invention.
[0088]
Upon entering the eyeball detection routine, the MPU first performs initialization processing such as initialization of variables used for calculation. At the time of this initialization, bit 1 of the RAM indicating the state of eyeball detection is set to indicate that initialization has already been performed. When this bit is set, E² Processing such as reading parameters from the PROM and clearing the RAM representing the step of eyeball detection is not performed, but only initialization of variables used for calculation is performed. When this bit is cleared, E² Processing such as reading parameters from the PROM and clearing the RAM representing the step of eyeball detection is also performed. This bit is cleared when exiting the eyeball detection routine.
[0089]
After that, the MPU starts power supply to the drive circuit and the CCD, and then proceeds to the accumulation control step.
[0090]
First, the accumulation time and the iRED current are selected and set from the setting state of the bit of the RAM representing the eyeball detection step. If bit 6 of the RAM representing the eyeball detection step is set, a third step is set if bit 6 is cleared and bit 5 is set, a second step is set if bit 5 is set, and a first step is set if both bit 6 and bit 5 are cleared. Become. The accumulation time is 0.1 msec in all steps, and the iRED current is i (mA), 2i (mA), and 10i (mA) in the first step, second step, and third step, respectively. Although the reference current value i changes depending on the luminous efficiency of iRED, the sensitivity of the image sensor, and the like, it is about 5 to 10 mA.
[0091]
Then, the MPU 1 sets the iRED current of the drive circuit 9. As shown in FIG. 12, the MPU 1 sets one of the output terminals s1, s2, s3,... For selecting the iRED current based on the above selection result in order to set the iRED current. As a result, one of the transistors 36, 37, 38 connected to the output terminals s1, s2, s3,... Is turned on, and as a result, one of the resistors 39, 40, 41,. Is selected, and the current flowing through the iRED 51 is set.
[0092]
Next, the MPU performs a CCD clearing operation to erase the charge remaining in the CCD memory zone SSTR, the output transfer register HSHIFT, and the like.
[0093]
That is, the MPU 1 outputs a vertical transfer pulse YV and a horizontal transfer pulse YH as shown in FIG. These two pulses YH and YV are converted into voltages sufficient to drive the CCD by the level shift circuits 30 and 31, and are given to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. As a result, the charges remaining in the image zone SIMG and the memory zone SSTR are transferred by a plurality of drive signals generated based on the image zone → memory zone → output transfer register and the vertical transfer pulse φV, respectively. By the plurality of drive signals generated from the output transfer register based on the horizontal transfer pulse φH, the image of the plurality of pixels is output to the output line in the form of addition as shown in FIG.・ Electric charge remaining in the transfer register for output is erased.
[0094]
Then, in order to remove external light, external light is accumulated for a set accumulation time without turning on iRED. This image signal is read via the CCD drive circuit 3 and transferred to the RAM.
[0095]
In the FTCD, the end of the clearing operation is the start of the next accumulation. Therefore, when the output of the YV and YH pulses for the CCD clearing operation is completed, the counting of the accumulation time is started from this point. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, an operation of reading an image signal from the CCD is performed.
[0096]
This read operation is first performed from the transfer operation to the memory zone SSTR.
[0097]
The MPU 1 outputs pulses YV and YH as shown in FIG. The pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD as a vertical transfer pulse φV and a horizontal transfer pulse φH. In the first half where φV and φH are alternately applied, the charges in the image zone SIMG are vertically transferred to the memory zone SSTR by the plurality of drive signals generated based on the two pulses, and at the same time, are transferred from the memory zone SSTR for output. Electric charges are also vertically transferred to the register HSHIFT. The output transfer register HSHIFT is cleared by the output of the charge of the output transfer register HSHIFT to the output line. As shown in FIG. 14, by alternately supplying φV and φH, images of a plurality of pixels are output in an added form. Further, the charge transferred from the memory zone SSTR to the output transfer register HSHIFT by the second half φH pulse and the first half pulse is output to the output line and erased. Therefore, signals generated in the image zone SIMG are transferred to and stored in the memory zone SSTR by a plurality of drive signals generated based on φV.
[0098]
Then, the process proceeds to the step of reading the image signal.
[0099]
First, the MPU 1 outputs pulses YV and YH as shown in FIG. These pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. At this time, one YV (φV) pulse from the MPU 1 and a plurality of (the number corresponding to the number of pixels in one line) subsequent YH (φH) pulses are output from the MPU 1 to the CCD in order to output an image signal for one line. Output. Therefore, the electric charge of the first line of the memory zone SSTR is transferred to the output transfer register HSHIFT by a plurality of drive signals generated based on the φV pulse, and then the plurality of drive signals generated based on the subsequent φH pulse. Output to the output line. This output signal is connected to an A / D conversion input terminal of the MPU 1 via an amplifier 34, and the MPU 1 converts the image signal into an A / D signal in synchronization with φH and sequentially stores the image signal in a RAM. Further, when another set of YV and YH pulses is output to the drive circuit, the charge of the second line of the memory zone SSTR is initially transferred by the plurality of drive signals generated based on the φV pulse to the output transfer register HSHIFT. Moved to Then, it is output to the output line by a plurality of drive signals generated based on the following φH pulse. This output signal is similarly A / D converted and sequentially stored in the RAM. Similarly, data of all pixels is A / D converted and sequentially stored in the RAM.
[0100]
However, in the case of the second step and the third step, data is stored in the RAM only for a narrow area determined by the first step. That is, after the charge is transferred to the memory zone, the YV pulse and the YH pulse are output as shown in FIG. 16 until the region determined by the first step is reached. By doing so, it is possible to output the signals stored in the memory zone SSTR up to the L'th line to the output line without performing A / D conversion or the like. After that, a combination of the YV and YH pulses shown in FIG. The signal of the (L '+ 1) th line is transferred to the output register HSHIFT by the YV (φV) pulse in the first combination, and is output one pixel at a time by the subsequent YH (φH) pulse, and is stored in the RAM after A / D conversion Is done. Thereafter, the operation is performed in the same manner, and the image signals of the lines in that area are A / D converted and sequentially stored in the RAM. However, for pixels outside the area, only A / D conversion is performed and storage in the RAM is not performed.
[0101]
When the transfer operation to the RAM is completed, the CCD is again cleared, and the illumination is accumulated by turning on iRED.
[0102]
That is, since the MPU 1 sets the iRED selection terminal (any of s1, s2, and s3) to light the already selected lighting iRED, if the output of the YV and YH pulses for the CCD clear operation is completed. If this is the case, the counting of the accumulation time is started from this point. At the same time, the accumulation signal YSTR is set high to turn on the transistor 35, and the iRED 51 is turned on. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, the image signal is read from the CCD and the work of removing external light is performed.
[0103]
First, transfer to the memory zone SSTR is performed.
[0104]
The MPU 1 outputs pulses YV and YH as shown in FIG. The pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and the vertical transfer pulse is supplied to the CCD as φV and the horizontal transfer pulse φH. In the first half where .phi.V and .phi.H are alternately applied, the charge in the image zone SIMG is vertically transferred to the memory zone SSTR by the plurality of drive signals generated based on the two pulses, and at the same time, the output transfer from the memory zone SSTR is performed. Electric charges are also vertically transferred to the register HSHIFT. The output transfer register HSHIFT is cleared by the output of the charge of the output transfer register HSHIFT to the output line. As shown in FIG. 14, by alternately supplying φV and φH, images of a plurality of pixels are output in an added form. Further, the charge transferred from the memory zone SSTR to the output transfer register HSHIFT by the second half φH pulse and the first half pulse is output to the output line and erased. Therefore, signals generated in the image zone SIMG are transferred to and stored in the memory zone SSTR by a plurality of drive signals generated based on φV.
[0105]
Next, the MPU performs an operation of removing external light.
[0106]
First, the MPU 1 outputs pulses YV and YH as shown in FIG. These pulses (YV, YH) are converted into voltages sufficient for driving the CCD by the level shift circuits 30 and 31, and supplied to the CCD. This vertical transfer pulse is called φV, and the horizontal transfer pulse is called φH. At this time, one YV (φV) pulse from the MPU 1 and a plurality of (the number corresponding to the number of pixels in one line) subsequent YH (φH) pulses are output from the MPU 1 to the CCD in order to output an image signal for one line. Output. Accordingly, the electric charge of the first line of the memory zone SSTR is transferred to the output transfer register HSHIFT by a plurality of drive signals generated based on the φV pulse, and then the plurality of drive signals generated based on the subsequent φH pulse. Is output to the output line. This output signal is connected to the A / D conversion input terminal of the MPU 1 via the amplifier 34. The MPU 1 converts the image signal into a digital signal in synchronization with φH, and integrates the external light corresponding to this pixel at the time of integrating external light. The value is read from the RAM, the value read from this RAM is subtracted from the A / D converted value, and the result is stored in the RAM again. Further, when another set of YV and YH pulses is output to the drive circuit, the charge of the second line of the memory zone SSTR is initially transferred by the plurality of drive signals generated based on the φV pulse to the output transfer register HSHIFT. Moved to Then, it is output to the output line by a plurality of drive signals generated based on the following φH pulse. Similarly, the output signal is sequentially stored in the RAM after the difference between the A / D conversion and the stored value is calculated. Thereafter, similarly, the difference between the A / D conversion and the stored value is calculated for the data of all pixels, and the difference is sequentially stored in the RAM.
[0107]
However, in the case of the second step and the third step, only for a narrow area determined by the first step, the difference calculation between the read value and the stored value and the re-storage in the RAM are not performed.
[0108]
Thereafter, the MPU stops supplying power to the drive circuit and the CCD.
[0109]
Next, the MPU shifts to processing using the image signal from which external light has been removed. This will be described in detail later.
[0110]
When the processing using the image signal from which external light has been removed is completed, the MPU evaluates the result. First, bit 2 of the RAM indicating the state of eyeball detection (this bit indicates whether or not each step satisfies the condition of that step, and is set when the condition is satisfied and cleared at initialization. ) Is checked, and if it is cleared, in order to start over from the first step again, the bits 5 and 6 of the RAM representing the eyeball detection step are cleared, and control is returned to the beginning of the process. If bit 2 of the RAM indicating the state of eyeball detection has been set, the RAM indicating the step of eyeball detection is checked, and if it is the first step or the second step, the next step is executed. Return control to the beginning of Conversely, in the case of the third step, since the eyeball detection is successful, the routine exits the eyeball detection routine as it is (the bit of the RAM indicating the success of the eyeball detection has already been set at the time of the successful third step).
[0111]
Here, processing using the image signal from which external light has been removed will be described.
[0112]
The feature of the second embodiment is that the peak value (maximum luminance value) of each line in the horizontal direction and the vertical direction is obtained, and the processing is performed according to the value.
[0113]
Therefore, first, the MPU obtains the peak value and stores it in the RAM. This is done by sequentially reading the data of pixels on each horizontal line / vertical line from which extraneous light has been removed from the RAM and comparing it with the maximum value up to that time (initial value = 0). Good.
[0114]
After that, a process using this peak value is performed.
[0115]
This processing differs for each step of eyeball detection. Therefore, the step set by the bit of the RAM representing the step of eyeball detection is determined, and the processing of that step is performed.
[0116]
In the case of the first step (both bits 6 and 5 of the RAM are cleared), the following processing is performed. The first step is a step for determining whether or not a small image exceeding the threshold value Const1 exists.
[0117]
FIG. 8 shows the flowchart.
[0118]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak value of each line with the threshold value Const1 is performed. The peak value of the horizontal line LH is set to D (LH), and the threshold value is compared from LH = 1, and it is checked whether or not there is a value exceeding the threshold value. If there is no LH, +1 is added to LH, and the process moves to the next horizontal line.
[0119]
If there is a value exceeding the threshold value Const1, the range (length) of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring the length to m = 1, +1 is added to LH, and the value of the next line is compared with the threshold value Const1. If D (LH)> Const1, m is counted up. This process is continued until D (LH) ≦ Const1. If D (LH) ≦ Const1, m is compared with a constant Const2.
[0120]
If the length is larger than the constant Const2, the processing for the horizontal lines is continued until the processing is completed for all the horizontal lines.
[0121]
If the length is smaller than the constant Const2, it is determined that the condition of the first step has been satisfied, and bit 2 of the RAM indicating the state of eyeball detection (this bit determines whether or not the condition of that step has been satisfied in each step) This flag is set when the condition is satisfied, and is cleared at initialization) to indicate that the first step was successful. Further, in the processing using the image signal from which external light has been removed, bit 5 of the RAM representing the eyeball detection step is set so that the second step is executed. The length LEN is stored in the RAM. At the same time, bit 3 of the RAM indicating the eyeball detection step is set to indicate that the condition is satisfied on the horizontal line.
[0122]
In the processing on the horizontal line, if a result satisfying the condition of the first step is not obtained, the same processing is performed on the vertical line.
[0123]
That is, a process of initializing the variable Npeak = 0 and then comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the vertical line LV is set to D (LV), and the threshold value is compared with the threshold value from LV = 1, and it is checked whether or not there is a value exceeding the threshold value. If not, the value of LV is incremented by +1 to move to the next vertical line.
[0124]
If there is a value exceeding the threshold value Const1, the range (length) of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring m = 1 and length, LV is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (LV)> Const1, m is counted up. This process is continued until D (LV) ≦ Const1. If D (LV) ≦ Const1, m is compared with a constant Const2.
[0125]
If the length is larger than the constant Const2, the processing for the vertical lines is continued until the processing is completed for all the vertical lines.
[0126]
If the length is smaller than the constant Const2, it is determined that the condition of the first step is satisfied, and bit 2 of the RAM indicating the state of the eyeball detection is set to indicate that the first step is successful. Further, in the processing using the image signal from which external light has been removed, bit 5 of the RAM representing the eyeball detection step is set so that the second step is executed. The length LEN is stored in the RAM. At the same time, in order to indicate that the condition is satisfied in the vertical line, bit 3 of the RAM indicating the step of eyeball detection is cleared.
[0127]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the first step has failed, and the processing routine is exited. Since bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the first step represents failure.
[0128]
In the case of the second step (bit 6 is cleared and bit 5 is set), the following processing is performed. In the second step, whether the small bright image detected in the first step is due to a specular reflection surface,AntiThis is a step of determining whether the shot is caused by a shooting surface.
[0129]
FIG. 9 shows a flowchart thereof.
[0130]
First, the state of bit 3 of the RAM representing the eyeball detection step is checked. If bit 3 is set, processing using the horizontal line peak value is performed. If bit 3 is cleared, processing using the vertical line peak value is performed. Is performed.
[0131]
First, processing using the peak value of the horizontal line will be described.
[0132]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the horizontal line LH is set to D (LH), and the threshold value is compared with LH = 1, and it is checked whether or not there is a value exceeding the threshold value. If there is no LH, +1 is added to LH to move to the next horizontal line.
[0133]
If there is a value exceeding the threshold value Const1, the length of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring the length to m = 1, +1 is added to LH, and the value of the next line is compared with the threshold value Const1. If D (LH)> Const1, m is counted up. This process is continued until D (LH) ≦ Const1. If D (LH) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about Const2 + 2.
[0134]
If the length is larger than the constant Const3, the processing for the horizontal lines is continued until the processing is completed for all the horizontal lines.
[0135]
If the length is smaller than the constant Const3, it is determined that the condition of the second step is satisfied, and bit 2 of the RAM indicating the state of the eyeball detection is set to indicate that the second step is successful. Further, in the process using the image signal from which the external light has been removed, the bit 6 of the RAM indicating the eyeball detection step is set so that the third step is executed.
[0136]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the reflection detected in the first step is the diffuse reflection, and the process exits from this processing routine. Since the bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the second step represents a failure.
[0137]
Next, processing using the peak value of the vertical line will be described. The processing is performed in the same manner as when the peak value of the horizontal line is used.
[0138]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the vertical line LV is set to D (LV), and the threshold value is compared with the threshold value from LV = 1, and it is checked whether or not there is a value exceeding the threshold value. If not, the value of LV is incremented by +1 to move to the next horizontal line.
[0139]
If there is a value exceeding the threshold value Const1, the length of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring m = 1 and length, LV is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (LV)> Const1, m is counted up. This process is continued until D (LV) ≦ Const1. If D (LV) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about Const2 + 2.
[0140]
If the length is larger than the constant Const3, the processing for the vertical lines is continued until the processing is completed for all the vertical lines.
[0141]
If the length is smaller than the constant Const3, it is determined that the condition of the second step is satisfied, and bit 2 of the RAM indicating the state of the eyeball detection is set to indicate that the second step is successful. Further, in the process using the image signal from which the external light has been removed, the bit 6 of the RAM indicating the eyeball detection step is set so that the third step is executed.
[0142]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the reflection detected in the first step is the diffuse reflection, and the process exits from this processing routine. Since the bit 2 of the RAM indicating the state of eyeball detection has already been cleared in the initialization routine, the second step represents a failure.
[0143]
In the case of the third step (both bit 6 and bit 5 are set), the following processing is performed. The third step is a step of determining whether or not a reflected image (iris or sclera) having relatively low brightness exists around a small bright regular reflection image detected up to the second step.
[0144]
FIG. 10 shows a flowchart thereof.
[0145]
First, the state of bit 3 of the RAM representing the eyeball detection step is checked. If bit 3 is set, processing using the horizontal line peak value is performed. If bit 3 is cleared, processing using the vertical line peak value is performed. Is performed.
[0146]
First, processing using the peak value of the horizontal line will be described.
[0147]
First, a process of comparing the peak value of the horizontal line with the threshold value Const1 is performed. The luminance of the line LH is set to D (LH), and the threshold value is compared with LH = 1, and it is checked whether or not there is a line exceeding the threshold value.
[0148]
Then, the MPU sequentially compares the luminance value D (LH) with the threshold value Const1 from LH = 1, and if D (LH) ≧ Const1, counts up the counter Image. This operation is performed for all horizontal lines while updating the lines.
[0149]
After completion, the MPU compares the value of the counter Image with the constant Const4. Const4 is a constant of about Const2 + 10. If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the bit 2 of the RAM indicating the state of the eyeball detection has already been cleared in the initialization routine, the third step represents a failure.
[0150]
Conversely, if Image ≧ Const4, it is determined that the condition of the third step has been satisfied, and bit 2 of the RAM indicating the state of eyeball detection is set, indicating that the third step has been successful. Further, to indicate the success of the eyeball detection operation, bit 7 of the RAM indicating the step of eyeball detection is set.
[0151]
The process using the peak value of the vertical line is performed in the same manner, the number exceeding the threshold value Const1 is counted, and the number Image and Const4 are compared.
[0152]
If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the bit 2 of the RAM indicating the state of the eyeball detection has already been cleared in the initialization routine, the third step represents a failure.
[0153]
Conversely, if Image ≧ Const4, it is determined that the condition of the third step has been satisfied, and bit 2 of the RAM indicating the state of eyeball detection is set, indicating that the third step has been successful. Further, to indicate the success of the eyeball detection operation, bit 7 of the RAM indicating the step of eyeball detection is set.
[0154]
Note that the values of the constants Const1, Const2, Const3, Const4, and the like are guidelines when a sensor of about 20 × 15 = 300 (pixels) is used as an image sensor (CCD). It varies greatly depending on the number.
[0155]
【The invention's effect】
As described above, the present inventionAccording toThe approach of the eyeball can be detected without erroneous detection.
If the eyeball detection device of the present invention is mounted on a still image camera, a video camera, or another device having a finder, it is possible to accurately detect that the device user is looking into the finder.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of first and second embodiments of the present invention.
FIG. 2 is a flowchart showing a procedure of an operation of the first embodiment of the present invention.
FIG. 3 is a purki according to the present invention.NFIG. 6 is a diagram illustrating an output image signal of a typical line including an image.
FIG. 4 is a flowchart of a first step of the first embodiment of the present invention.
FIG. 5 is a flowchart of a second step of the first embodiment of the present invention.
FIG. 6 is a flowchart of a third step of the first embodiment of the present invention.
FIG. 7 is a flowchart showing an operation procedure of the second embodiment of the present invention.
FIG. 8 is a flowchart of a first step according to the second embodiment of the present invention.
FIG. 9 is a flowchart of a second step according to the second embodiment of the present invention.
FIG. 10 is a flowchart of a third step of the second embodiment of the present invention.
FIG. 11 is an explanatory diagram of a frame transfer type CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 12 is an explanatory diagram of a CCD drive circuit and an iRED drive circuit used in the first and second embodiments of the present invention.
FIG. 13 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 14 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 15 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 16 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 17 is a block diagram of an electronic viewfinder device according to a first embodiment of the prior art.
FIG. 18 is a perspective view of a camera-integrated VTR according to a first embodiment of the prior art.
FIG. 19 is a side view of the vicinity of an eyepiece of the electronic viewfinder device according to the first embodiment of the prior art.
FIG. 20 is a block diagram of an electronic viewfinder device according to a second embodiment of the prior art.
FIG. 21 is a front view of an eyepiece according to a second embodiment of the prior art.
FIG. 22 is a block diagram of an electronic viewfinder device according to a third embodiment of the prior art.
FIG. 23 is a front view of an eyepiece according to a third embodiment of the prior art.
FIG. 24 is a plan view showing a use state of the electronic viewfinder device according to the third embodiment of the prior art.
[Explanation of symbols]
1 ... MPU (micro processing unit)
2 ... Memory 3 ... CCD drive circuit
4: CCD 5: iRED group
6 Lens drive unit 7 Aperture drive unit
8 Shutter unit 9 iRED drive circuit
34 ... Amplifier
35, 36, 37, 38 ... transistors
39, 40, 41 ... resistance 51 ... iRED

Claims

Illumination means for irradiating illumination light, light receiving means for receiving a reflected image by the illumination of the illumination means, and judging means for judging from the reflected image received by the light receiving means whether or not the approaching object is an eyeball An eyeball detection device,
The determining means determines whether there is a high-luminance portion in the reflected image received by the light-receiving means, and determines whether the size of the high-luminance portion in the reflected image received by the light-receiving means is equal to or smaller than a predetermined size. by further comprising a step of determining whether the low luminance part around the high luminance portion of the reflected image step and the light receiving means has received to determine whether the high-intensity part is positive reflection image is present Eyeball detection device characterized by the following.

An apparatus comprising the eyeball detection device according to claim 1 .