JP3576584B2 - Eyeball detection device and device equipped with the same - Google Patents
Eyeball detection device and device equipped with the same Download PDFInfo
- Publication number
- JP3576584B2 JP3576584B2 JP32754893A JP32754893A JP3576584B2 JP 3576584 B2 JP3576584 B2 JP 3576584B2 JP 32754893 A JP32754893 A JP 32754893A JP 32754893 A JP32754893 A JP 32754893A JP 3576584 B2 JP3576584 B2 JP 3576584B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- image
- ram
- bit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Focusing (AREA)
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、静止画カメラやビデオカメラ等のファインダーを有する機器に備えられる眼球検出装置に関するものである。
【0002】
【従来の技術】
従来の眼球検出装置としては特開平3−30583号公報記載のものなどがある。
【0003】
これには以下のように記述されている。図17〜図19はその発明の第一実施例に係わり、図17は電子ビューファインダー装置のブロック図、図18はカメラ一体型VTRの斜視図、図19は電子ビューファインダー装置の接眼部周辺の構成を示す側面図である。
【0004】
図18に示すように、カメラ一体型VTRの本体101内には、公知のカセット収納部、駆動メカニズム、映像処理、制御回路などが配設され、本体101の前面側には、撮影レンズ系102、マイクロフォン103などが配設され、また、本体101の後面側には操作パネル部104、電子ビューファインダー装置105などが配設されている。上記電子ビューファインダー装置105は、アイキャップ106、該アイキャップ106内に配設された1/2〜1インチ程度のCRTなどよりなる表示器、ビューファインダー系制御回路等を具備したものとなっている。
【0005】
図17は電子ビューファインダー装置105の概略構成を示しており、同図において107はビューファインダー映像処理回路、108はCRT等からなる表示部、109は後述する如く駆動されるスイッチ、110は電源入力端子、111は映像信号入力端子である。いま、スイッチ109がON状態であると、電子ビューファインダー装置105の消費電力の大部分を占める表示部108にはスイッチ109を介して電源電流が供給され、ビューファインダー映像処理回路107で適宜処理された映像信号が表示部108に出力されて、表示部108において画像が表示される。
【0006】
該実施例においては、電子ビューファインダー装置105の接眼部112(アイキャップ106を含む)が、図19の矢印方向で示すように前後に所定量スライド自在とされていると共に、同図で左行き方向に軽いバネ力による偏奇習性を付与されている。そして、上記接眼部112が同図で僅かに右方向にスライドすると前記スイッチ109の被動部109aが押圧されてスイッチ109がONされるようになっている。即ち、該実施例においては、カメラ一体型VTRの電源を投入しても、スイッチ109がONしない限り電子ビューファインダー装置105は非動作状態となるようになっている。
【0007】
上記構成において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ106に顔面を押付けて片目で表示部108を覗き込むと、接眼部112が押圧されて僅かに可動してスイッチ109をONさせ、前記したように表示部108に電源を供給して、表示部108に画像等を表示させる。従って、使用者が明らかに電子ビューファインダー装置105の使用を意図して、アイキャップ106に顔面を押付けて片目で表示部108を覗き込むと、自動的に電子ビューファインダー装置105が動作状態となるため極めて使い勝手がよい上、不要時には電子ビューファインダー装置105への電源供給が断たれるので、消費電力の節約に大いに寄与する。なお該実施例のスイッチは任意のものが使用可能であるが、軽い操作力と短いストロークで作動するものが望ましい。
【0008】
図20および図21はその発明の第二実施例に係り、図20は電子ビューファインダー装置105のブロック図、図21は接眼部112の正面図である。
【0009】
図20において、120は、電源入力端子110と表示部108の間に介装・接続されたスイッチ回路で、スイッチングトランジスタ(PNPトランジスタ)121と抵抗122,123とからなり、抵抗123が接地されたとき(Lレベルになった)ときベース電流が流れてスイッチングトランジスタ121がON状態となって、表示部108に電源電流を供給するようになっている。124は、人体の発する赤外線によって起電力を生じる赤外線センサで、該赤外線センサ124は図21に示すように、前記接眼部112における顔面と対向する適宜の部位に設置される。125は増幅波形整形回路で、赤外線センサ124の起電力を増幅器126によって増幅し、波形整形回路127でノイズを除去し、適当なアタックタイムとレリーズタイムを設定する。そして赤外線センサ124の出力が所定レベル以上になると、波形整形回路127の出力端127aはLレベルとなって前記スイッチ回路120をONさせ、電子ビューファインダー装置105を動作状態におくようになっている。
【0010】
上記した構成をとる該実施例において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ106に顔面を押付けて片目で表示部108をのぞき込むか、あるいは、接眼部112に顔を近付けると、前記赤外線センサ124が顔面から発する赤外線を検知し、例えば赤外線センサ124に顔面が10〜15cm以内に接近すると、赤外線センサ124の出力が所定レベル以上となって、前述したようにスイッチ回路120をONさせ、前記したように表示部108に電源を供給して、表示部108に画像等を表示させる。なお、参考までに述べると、前記赤外線センサ124としては、例えば、(株)村田製作所製の焦電型赤外線センサIRAシリーズや、住友金属鉱山(株)製の焦電型赤外線センサSPSシリーズなどが挙げられる。
【0011】
この第二実施例においても、前記第一実施例と同等の効果を奏し、且つ、例えば使用者が顔面を接眼部112へ10〜15cm以内に近接させたときに、使用者が電子ビューファインダー使用の意志ありと判定するので、アイキャップ106に顔面を押付けないでも電子ビューファインダー装置105を作動することが出来る。
【0012】
図22〜図24はその発明の第三実施例に係り、図22は電子ビューファインダー装置105のブロック図、図23は接眼部112の正面図、図24は電子ビューファインダー装置105の使用状態を示す説明図である。
【0013】
図22において、130は発信部(発光部)で、赤外線LED131、トランジスタ132、発信器133を具備し、例えば、ピーク波長940nmで発光する赤外線LED131への供給電流を、約40KHzの発信周波数の発信器133と変調用トランジスタ132で制御して、赤外線LED131から赤外光を所望方向に出射するようになっている。134は受信部(受光部)で、使用者の顔面で反射した赤外光をフォトダイオード135で受け、フォトダイオード電流の変化を抵抗136の電圧降下変化として次段の増幅波形整形回路137に出力する。増幅波形整形回路137は、その増幅器138によって、コイル139とコンデンサ140とからなる並列共振回路の制御下で共振周波数約40KHzのみを選択増幅する。増幅器138の出力は整流器141を介して後段の波形整形回路142に送信され、該波形整形回路142はノイズを除去し、適当なアタックタイムとレリーズタイムを設定する。そしてフォトダイオード135の出力が所定レベル以上になると、波形整形回路142の出力端142aはLレベルとなって前記スイッチ回路120をONさせ、電子ビューファインダー装置105を動作状態におくようになっている。なお、前記赤外線LED131およびフォトダイオード135は、図23,図24に示すように、接眼部112におけるアイキャップ106の下で顔面に対向するように配置されており、例えば眼の下(鼻の横)で赤外光が反射されるように設定されている。
【0014】
上記した構成をとる該実施例において、いま使用者が電子ビューファインダー機能を望み、前記アイキャップ106に顔面を押付けて片目で表示部108をのぞき込むか、あるいは、接眼部112に顔を近付けると、前記フォトダイオード135が顔面からの赤外線LED131の反射光を検知し、例えばフォトダイオード135に顔面が10〜15cm以内に接近すると、フォトダイオード135の出力が所定レベル以上となって、前述したようにスイッチ回路120をONさせ、前記したように表示部108に電源を供給して、表示部108に画像等を表示させる。
【0015】
この第三実施例においても、前記第二実施例と同等の効果を奏する。
【0016】
【発明が解決しようとする課題】
しかしながらこれらの従来例においては、
1.ファインダー接眼部に設けられたスイッチへの押圧
2.人体の発する赤外線
3.赤外反射光
の有無や強さ(所定レベル以上かどうか)を判定することで使用者にカメラのファインダーを覗く意志が有るか無いかを判断している。そのため使用者の顔面(眼球)以外のもの、例えば、手などの人の顔以外の部分、衣類、窓ガラス、コップなどがファインダー接眼部に押圧されたり、近付いたりしただけで、スイッチ回路がONし、表示部に電源を供給して、表示部に画像等を表示させてしまう。
【0017】
【課題を解決するための手段】
上記の問題点を解決するために、本発明では、照明光を照射する照明手段と、前記照明手段の照明による反射像を受光する受光手段と、前記受光手段が受光した反射像から、接近したものが眼球か否かを判断する判断手段とを有する眼球検出装置において、前記判断手段に、受光手段が受光した反射像に高輝度部分があるかどうかを判断するステップ、受光手段が受光した反射像にある高輝度部分の大きさが所定の大きさ以下かどうかにより該高輝度部分が正反射面による反射によって生じたものであるかどうかを判断するステップおよび受光手段が受光した反射像にある高輝度部分の周辺に低輝度部分が存在するかどうかを判断するステップを設ける。
すなわち、エリアセンサー等の受光手段に反射像を結像させ、
1.その反射像に高輝度部分がある。
2.その反射像にある高輝度部分の大きさが一定値以下かどうかにより、該高輝度部分が正反射面による反射によって生じたものである。
3.その反射像にある高輝度部分の周辺に低輝度部分が存在する。
という3つの条件を満たすか否かを確認する。そして、これら条件を満足する反射像が存在する場合に、この反射像の高輝度部分を眼球のプルキンエ像と判断し、誤検出することなく眼球の接近を検出できるようにしている。
なお、本発明の眼球検出装置は、静止画カメラやビデオカメラその他のファインダーを有する機器に搭載され、機器使用者がファインダーを覗いていることを正確に検出することを可能とする。
【0018】
【実施例】
図1に本発明第一実施例のブロック図を示す。1はMPU(マイクロプロセッシングユニット)、2はメモリー、3はCCD駆動回路、4はCCD、5は複数のiREDから構成されるiRED群、6はAFを行なうためのレンズ駆動ユニット、7は絞り駆動ユニット、8はシャッターユニット、9はiRED駆動回路である。
【0019】
また本実施例で用いたイメージセンサーはフレームトランスフォータイプのCCD(FT−CCD)である。
【0020】
その構成を図11に示す。
【0021】
図のSIMGは感光領域(イメージゾーン)であり、垂直方向にL、水平方向にN配置されている画素IMPXLからなる。IMPXLは、例えばフォトダイオードであるような光電変換機能と、電荷転送機能とを備えた単位画素で、ここに発生する信号は垂直転送パルスφVを印加することで、CCD4内部(VDRV)にてφVを基に生成される複数の駆動信号により駆動される。
【0022】
SSTRはメモリーゾーンSIMGで発生した電荷を一時的に記憶する記憶領域(メモリーゾーン)である。SSTRを構成する単位記憶部STPXLはSIMGを構成する単位画素IMPXLと同数であり、転送パルスも同じく垂直転送パルスφVである。
【0023】
HSHIFTは水平方向転送レジスタで、CCD駆動回路3から入力される水平転送パルスφHを印加することで、CCD4内部(HDRV)にてφHを基に生成される複数の駆動信号により駆動される。
【0024】
φROはHSHIFTにより信号が転送され、これに同期して、SOUTから信号出力がなされるとき、前画素出力の影響が次出力画素に及ばぬよう、信号増幅回路SOUTにおいて画素毎に出力の初期化を行なう信号である。なおφROはφHを基にしてCCD内部(HDRV)で生成される。
【0025】
OFDは画素IMPXLに照射される光量に応じて発生する電荷が飽和レベルに達したとき、過飽和とならぬように、所定レベル以上の電荷を排出するために設けられた、一般にはオーバーフロードレインと呼ばれる排出溝である。
【0026】
このタイプのCCDはイメージゾーンSIMGの各画素に光があたることによって生じた電荷を、垂直方向転送パルスφVを基に生成される複数の駆動信号によって、全画素メモリーゾーンSSTRに転送する。すなわちCCDに対して垂直方向転送パルスφVがひとパルス印加される毎に、φVを基に生成される複数の駆動信号によって1ラインの全ての画素が垂直方向に1画素ずつ転送され、φVがライン数分印加されたとき全画素メモリーゾーンSSTRに転送される。ついでメモリーゾーンSSTRに格納されたこれらの電荷を、垂直方向転送パルスφVを基に生成される複数の駆動信号によって、1ライン毎に出力用の水平方向転送レジスタHSHIFTに転送する。そして、これらの電荷による像信号を出力用転送レジスタHSHIFTから水平方向転送パルスφHを基に生成される複数の駆動信号によって、1画素ずつ読み出す。すなわち読み出しの際はCCDに対してφVをひとつ印加しφVを基に生成される複数の駆動信号によって1ラインずつ水平方向転送レジスタHSHIFTに転送する。ついで水平方向の画素数に相当する数の水平方向転送パルスφHを印加することで生じる複数の駆動信号によってHSHIFTから、像信号を1画素ずつ読み出す。
【0027】
そしてCCD駆動回路及びiRED駆動回路の構成を図12に示す。
【0028】
1はMPU、30,31はパルスYV・YHをCCDを駆動するに十分な電圧に昇圧するレベルシフト回路、34は増幅器、35はiREDをオンするためのトランジスタ、36,37,38はiREDに流れる電流を決めるためのトランジスタ、39,40,41はiREDに流れる電流を決めるための抵抗、51はiREDである。
【0029】
本発明においてはイメージセンサーからの画像信号を処理することによりプルキンエ像の有無を判断して、撮影者のファインダーを覗く意志を判断するわけであるが、まずプルキンエ像及び眼球前眼部について説明する。
【0030】
撮影者の眼球に平行光(もしくは発散光)を照射すると、この光が角膜前面で反射し発光ダイオードの虚像が生じる。プルキンエ像と呼ばれるこの虚像は、ポートレート写真などでいわゆる黒目の部分に明るい輝点が生じるキャッチライトとしても有名である。プルキンエ像を含むイメージセンサーの典型的な信号出力を図3に示す。急峻に立ち上がっている輝度の高い部分がプルキンエ像である。また人の眼球の曲率半径は約7mm、iREDの発光面の大きさは数mm程度なのでプルキンエ像の大きさは眼球上で約100〜300μmm、結像倍率1/10程度の受光系で結像させるとセンサー上での大きさは約10〜30μmmとなる。これは通常のイメージセンサーの画素ピッチを考えると1〜2画素程度の小さいものといえる。よって、プルキンエ像とは輝度の高い小さい像ということができる。さらにプルキンエ像の眼球前眼部での発生位置はキャッチライトのイメージから想像できるように、ほとんどが瞳孔もしくは虹彩上である。よってプルキンエ像の周辺には虹彩や強膜によるプルキンエ像に比べて輝度の低い像が存在することになる。そしてこの輝度は照明状態にもよるがプルキンエ像の1/20〜1/10ぐらいである。
【0031】
次に上記の原理を用いた本発明の動作について述べる。
【0032】
図2は本発明第一実施例の動作を示すフローチャートである。
【0033】
MPUは眼球検出のルーチンに入ると、まず演算に使用する変数の初期化等の初期化処理を行なう。この初期化の際に眼球検出の状態を表すRAMのビット1をセットし既に初期化が行なわれたことを示す。このビットがセットされているときは、初期化のモジュールにおいてE2 PROMからのパラメータの読み込み、眼球検出のステップを表すRAMのクリアなどの処理は行なわず、演算に使用する変数の初期化のみを行なう。このビットがクリアされているときは、演算に使用する変数の初期化のほかに、E2 PROMからのパラメータの読み込み、眼球検出のステップを表すRAMのクリアなどの処理も行なう。このビットは眼球検出のルーチンを抜けるときにクリアされる。
【0034】
その後MPUは駆動回路及びCCDへの電源供給を開始し、その後蓄積制御のステップに移る。
【0035】
まず眼球検出のステップを表すRAMのビットの設定状態から蓄積時間とiRED電流(すなわち、照明手段であるiRED群5の照明光量)を選択し、設定する。眼球検出のステップを表すRAMのビット6がセットされていればサードステップ、ビット6がクリアされ、ビット5がセットされていればセカンドステップ、ビット6・ビット5がともにクリアされていればファーストステップとなる。蓄積時間は全ステップとも0.1msec、iRED電流はファーストステップ・セカンドステップ・サードステップでそれぞれ、i(mA)、2i(mA)、10i(mA)である。基準の電流値iは、iREDの発光効率、イメージセンサーの感度などによって変化するが、5〜10mA程度となる。
【0036】
そしてMPU1は駆動回路9のiRED電流設定を行なう。図12に示すように、MPU1はiRED電流設定のために、上記の選択結果に基づきiRED電流選択のための出力端子s1,s2,s3…のうちひとつをセットする。このことにより出力端子s1,s2,s3…の先に接続されているトランジスタ36,37,38のうちひとつがオンし、結果として電流値を設定するための抵抗39,40,41…のいずれかが選択され、iRED51に流れる電流が設定される。
【0037】
ついでMPUはCCDのクリア動作を行ないCCDのメモリーゾーンSSTR・出力用転送レジスタHSHIFT等に残っている電荷を消去する。
【0038】
すなわち、MPU1は図13に示すような垂直方向転送パルスYV、水平方向転送パルスYHを出力する。このふたつのパルスYH、YVがレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。これによりイメージゾーンSIMG、メモリーゾーンSSTRに残っていた電荷は、それぞれイメージゾーン→メモリーゾーン→出力用転送レジスタと垂直方向転送パルスφVを基に生成される複数の駆動信号により転送され、これと同時に出力用転送レジスタから水平方向転送パルスφHを基に生成される複数の駆動信号によって、図13に示すように複数の画素の像が加算された形で出力線に出力され、イメージゾーン・メモリーゾーン・出力用転送レジスタ等に残っている電荷は消去される。
【0039】
そして外光除去を行なうためにまずiREDを点灯せずに設定された蓄積時間分の外光蓄積を行なう。この画像信号をCCD駆動回路3を介して読み込みRAMへ転送していく。
【0040】
FTCCDではクリア動作の終了時点が次の蓄積の開始となるので、前記のCCDクリア動作のためのYV,YHパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。そして眼球検出のステップを表すRAMのビットの設定状態から設定された蓄積時間が経過したならば、CCDから画像信号を読み出す作業を行なう。
【0041】
この読み出し作業はまずメモリーゾーンSSTRへの転送作業から行なう。
【0042】
MPU1は図14に示すようなパルスYV,YHが出力する。このパルス(YV,YH)は、レベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、垂直方向転送パルスφV、水平方向転送パルスφHとしてCCDに与えられる。前半のφV,φHが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンSIMGの電荷がメモリーゾーンSSTRへ垂直転送され、と同時にメモリーゾーンSSTRから出力用転送レジスタHSHIFTへの電荷が垂直転送される。また出力用転送レジスタHSHIFTの電荷が出力線に出力されたことで出力用転送レジスタHSHIFTをクリアしている。図14に示すように、φV,φHを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφHパルスによって、さらに前半のパルスによってメモリーゾーンSSTRから出力用転送レジスタHSHIFTへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンSIMGで生じた信号が、φVを基に生成される複数の駆動信号によって、メモリーゾーンSSTRに転送され記憶されている。
【0043】
ついで画像信号を読み出すステップに移る。
【0044】
まず、MPU1は図15に示すようにパルスYV,YHを出力する。このパルス(YV,YH)はレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。このときは、1ラインの像信号の出力を行なうのにMPU1からひとつのYV(φV)パルスと、それに続く複数(1ラインの画素数に相当する数)のYH(φH)パルスがCCDに対して出力される。よって、φVパルスを基に生成される複数の駆動信号によりメモリーゾーンSSTRの1ライン目の電荷が、出力用転送レジスタHSHIFTに移され、ついでそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はMPU1のA/D変換入力端子に増幅器34を介して接続されており、MPU1はφHに同期してこの画像信号をA/D変換し、RAMに順次格納していく。さらに、もうひと組のYV,YHパルスを駆動回路に対して出力すると、φVパルスを基に生成される複数の駆動信号により当初のメモリーゾーンSSTRの2ライン目の電荷が、出力用転送レジスタHSHIFTに移される。そしてそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、A/D変換されRAMに順次格納される。以下同様にして、全画素のデータをA/D変換しRAMに順次格納する。
【0045】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしかRAMへのデータ格納は行なわない。すなわちメモリーゾーンに電荷が転送された後、ファーストステップによって決定された領域にいたるまでは、YVパルス、YHパルスを図16に示すように出力する。このようにすることで、メモリーゾーンSSTRに記憶されている信号のうちL’ライン目までのものをA/D変換などをすることなく出力線に出力することができる。その後、図15に示すYV,YHパルスの組み合わせを読み出す領域のライン数に相当する分だけ出力する。このひとつめの組み合わせにおけるYV(φV)パルスによって(L’+1)ライン目の信号が出力レジスタHSHIFTに移り、その後のYH(φH)パルスにより1画素ずつ出力され、A/D変換後RAMに格納される。以下同様にして動作が行なわれ、その領域のラインの画像信号をA/D変換し、順次RAMに格納していく。ただし、領域外の画素については、A/D変換のみ行ないRAMへの格納は行なわない。
【0046】
このRAMへの転送作業が終了したらもう一度CCDのクリア動作を行ない、続いてiREDを点灯しての照明蓄積を行なう。
【0047】
すなわちMPU1は、すでに選択された点灯iREDを点灯するためにiRED選択端子(s1,s2,s3のいずれか)をセットしているので、CCDクリア動作のためのYV,YHパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。同時に蓄積信号YSTRをハイにしてトランジスタ35をオンし、iRED51を点灯する。そして眼球検出のステップを表すRAMのビットの設定状態から設定された蓄積時間が経過したならば、CCDから画像信号を読み出し・外光除去の作業を行なう。
【0048】
まずメモリーゾーンSSTRへの転送を行なう。
【0049】
MPU1は図14に示すようにパルスYV,YHが出力する。このパルス(YV,YH)は、レベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、垂直方向転送パルスをφV、水平方向転送パルスφHとしてCCDに与えられる。前半のφV,φHが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンSIMGの電荷がメモリーゾーンSSTRへ垂直転送され、と同時にメモリーゾーンSSTRから出力用転送レジスタHSHIFTへも電荷が垂直転送される。また出力用転送レジスタHSHIFTの電荷が出力線に出力されたことで出力用転送レジスタHSHIFTをクリアしている。図14に示すように、φV,φHを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφHパルスによって、さらに前半のパルスによってメモリーゾーンSSTRから出力用転送レジスタHSHIFTへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンSIMGで生じた信号が、φVを基に生成される複数の駆動信号によって、メモリーゾーンSSTRに転送され記憶されている。
【0050】
ついでMPUは外光除去の作業を行なう。
【0051】
まず、MPU1は図15に示すようにパルスYV,YHを出力する。このパルス(YV,YH)はレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。このときは、1ラインの像信号の出力を行なうのにMPU1からひとつのYV(φV)パルスと、それに続く複数(1ラインの画素数に相当する数)のYH(φH)パルスがCCDに対して出力される。よってφVパルスを基に生成される複数の駆動信号によりメモリーゾーンSSTRの1ライン目の電荷が、出力用転送レジスタHSHIFTに移され、ついでそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はMPU1のA/D変換入力端子に増幅器34を介して接続されており、MPU1はφHに同期してこの画像信号をA/D変換し、この画素に対応する外光積分時の値をRAMから読み出し、A/D変換値からこのRAMから読み出した値を引き、その結果を再びRAMに格納する。さらに、もうひと組のYV,YHパルスを駆動回路に対して出力すると、φVパルスを基に生成される複数の駆動信号により当初のメモリーゾーンSSTRの2ライン目の電荷が、出力用転送レジスタHSHIFTに移される。そしてそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、A/D変換と記憶値との差分計算をされたのちRAMに順次格納される。以下同様にして、全画素のデータについてA/D変換、記憶値との差分計算RAMに順次格納する。
【0052】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしか、読み込み値と記憶値の差分計算、RAMへの再格納は行なわない。
【0053】
その後MPUは駆動回路及びCCDへの電源供給を停止する。
【0054】
ついでMPUはこの外光除去された画像信号を用いた処理に移る。これについてはのちに詳細を述べる。
【0055】
外光除去された画像信号を用いた処理が終了したならば、MPUはその結果を評価する。まず、眼球検出の状態を示すRAMのビット2(このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる)の状態を調べ、クリアされていたならば、もう一度ファーストステップからやり直すために、眼球検出のステップを表すRAMのビット5、ビット6をクリアして、処理の初めの部分に制御をもどす。また、眼球検出の状態を示すRAMのビット2がセットされていた場合は、眼球検出のステップを表すRAMを調べ、ファーストステップ、セカンドステップの場合は、次のステップを実行するために、そのまま処理の初めの部分に制御をもどす。逆にサードステップの場合は、眼球検出成功なので、眼球検出のルーチンをこのまま抜ける(既にサードステップ成功の時点で眼球検出成功を表すRAMのビットがセットされている)。
【0056】
ここで、外光除去された画像信号を用いた処理について説明する。
【0057】
この処理は眼球検出の各ステップで異なる。そこで眼球検出のステップを表すRAMのビットにより設定されたステップを判断し、そのステップの処理を行なう。
【0058】
ファーストステップの場合(RAMのビット6・ビット5がともにクリア)は、以下の処理を行なう。ファーストステップはしきい値Const1を越える小さな像が存在するか否かを求めるステップである。
【0059】
図4にそのフローチャートを示す。
【0060】
まず請求項にいう「受光手段が受光した反射像に高輝度部分があるかどうかを判断するステップ」としてのファーストステップについて説明する。まず変数j=0と初期化する。ついで画素の輝度をしきい値Const1と比較する処理を行なう。ラインL、画素iの輝度をD(L,i)とし、i=1からしきい値と比較し、これを越える画素があるかどうか調べる。存在しない場合はiに+1して次の画素に移る。
【0061】
しきい値Const1を越える画素が存在した場合は、このラインLでのしきい値Const1を越える画素の範囲(長さ)をはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、iに+1して次の画素としきい値Const1を比較する。D(L,i)>Const1ならmをカウントアップする。この処理をD(L,i)≦Const1となるまで続ける。D(L,i)≦Const1となったならばmと定数Const2を比較する。その長さが定数Const2より小さければ、その位置(何画素目か)を記憶する。もし複数の画素に渡っていたならばその平均値(割り切れない場合は例えば小数点以下を切り捨て)を記憶する。また2つ以上しきい値を越える部分があったならば、それぞれについてその位置(画素)を、P(j)=iと記憶する。またこのラインLもL1=Lと、その値を記憶しておく。複数個このようなデータを記憶するために、この後カウンターjをカウントアップする。
【0062】
そしてそのラインの全画素についてこの処理が終了したならば、そのラインでしきい値Const1を越え、長さがConst2以下のものがあったかを調べる。なければ次のラインに処理を移す。
【0063】
あれば、k=0と初期化した後、L=L1−L0とし、ラインLにおいて記憶された画素位置における輝度D(L,P(k))をしきい値Const1と比較する。但しL0は定数。その結果がD(L,P(k))≦Const1ならL1’=Lとこの値を記憶する。D(L,P(k))>Const1ならD(L,P(k))≦Const1となるまで同じ処理を繰り返す。
【0064】
ラインを更新して、その次のラインLで同様の処理をする。この処理を、比較の結果がD(L,P(k))≦Const1となるまでラインを更新しながら繰り返す。D(L,P(k))≦Const1の条件を満足したとならば、Δ=(L−1)−L1’を求め、この値と定数Const2を比較し、Δ≦Const2となったならばファーストステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2(このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる)をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すRAMのビット5をセットする。
【0065】
と同時にラインL2=L,L1=L1’,P=P(k)とL,L1’,画素P(k)を記憶する。
【0066】
jが2以上のときはその個数回だけ上記の処理を繰り返すが、条件を満足した時点で処理を終了する。
【0067】
上記の条件を全て満たすものがないまま全ラインの処理を終了したならば、ファーストステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、ファーストステップが失敗を表現することになる。
【0068】
請求項にいう「受光手段が受光した反射像にある高輝度部分の大きさが一定値以下かどうかにより該高輝度部分が正反射面による反射によって生じたものであるかどうかを判断するステップ」であるセカンドステップの場合(ビット6がクリア・ビット5がセット)は以下の処理を行なう。セカンドステップはファーストステップで検出された小さな明るい像が正反射面によるものなのか、拡散反射面によるものなのかを判断するステップである。
【0069】
またセカンドステップは、ファーストステップで検出された小さな明るい像の周辺のみで処理を行なう。その範囲は水平(画素)方向P−a2からP+a2まで、垂直(ライン)はL1−b2からL2+b2までである。但しa2,b2はともに2〜5ぐらいの定数である。
【0070】
図5にそのフローチャートを示す。
【0071】
まず画素の輝度をしきい値Const1と比較する処理を行なう。ラインL、画素iの輝度をD(L,i)とし、L=1,i=1からしきい値を比較し、これを越える画素があるかどうか調べる。但しL=1,i=1のRAMに記憶されているのはファーストステップのL=L1−b2、i=P−a2に相当する画素のデータである。もし存在しない場合はiに+1して次の画素に移る。
【0072】
しきい値Const1を越える画素が存在した場合は、このラインLでのしきい値Const1を越える画素の範囲(長さ)をはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、iに+1して次の画素としきい値Const1を比較する。D(L,i)>Const1ならmをカウントアップする。この処理をD(L,i)≦Const1となるまで続ける。D(L,i)≦Const1となったならばmと定数Const3を比較する。Const3はConst2+2程度の定数である。その長さが定数Const3より大きければ、この反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、セカンドステップが失敗を表現することになる。
【0073】
その長さが定数Const3より小さければ(すなわち、この反射が正反射であれば)、次の処理に移る。
【0074】
まずL=1と初期化し、D(L,P−(P−a2)+1)=D(L,a2+1)としきい値Const1と比較し、これを越える画素があるかどうかを調べる。但しL=1,i=1のRAMに記憶されているのはファーストステップのL=L1−b2,i=P−a2に相当する画素のデータである。もし存在しない場合はLに+1して次のラインに移る。
【0075】
しきい値Const1を越えるものが存在した場合は、しきい値Const1を越える長さをはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、Lに+1して次のラインの値としきい値Const1を比較する。D(L,a2+1)>Const1ならmをカウントアップする。この処理をD(L,a2+1)≦Const1となるまで続ける。D(L,a2+1)≦Const1となったならばmと定数Const3を比較する。Const3はConst2+2程度の定数である。その長さが定数Const3より大きければ、この反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、セカンドステップが失敗を表現することになる。
【0076】
その長さが定数Const3より小さければ(すなわち、この反射が正反射であれば)、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットし、セカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理でサードステップが実行されるように眼球検出のステップを表すRAMのビット6をセットする。
【0077】
そしてそのラインの全画素、全ラインについてこの処理を行なってもConst1を越えるものが存在しなければ、セカンドステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、セカンドステップが失敗を表現することになる。
【0078】
請求項にいう「受光手段が受光した反射像にある高輝度部分の周辺に低輝度部分が存在するかどうかを判断するステップ」であるサードステップの場合(ビット6・ビット5がともにセット)は以下の処理を行なう。サードステップはセカンドステップまでで検出された小さな明るい正反射像の周辺に、比較的輝度の弱い反射像(虹彩や強膜)が存在するかどうかを判断するステップである。
【0079】
またサードステップは、ファーストステップで検出された小さな明るい像の周辺のみで処理を行なう。その範囲は水平(画素)方向はP−a3からP+a3まで、垂直(ライン)はL1−b3からL2+b3までである。但しa3,b3はともに10〜20ぐらいの定数である。
【0080】
図6にそのフローチャートを示す。
【0081】
まず画素の輝度をしきい値Const1と比較する処理を行なう。ラインL、画素iの輝度をD(L,i)とし、i=1からしきい値と比較し、これを越える画素があるかどうか調べる。その数をカウントする。但しL=1,i=1のRAMに記憶されているのはファーストステップのL=L1−b3、i=P−a3に相当する画素のデータである。
【0082】
そしてMPUは、L=1,i=1の画素からその輝度値D(L,i)をしきい値Const1と順次比較していき、D(L,i)≧Const1ならばカウンターNimageをカウントアップする。この作業を画素、ラインを更新しながら全画素、全ラインについて行なう。
【0083】
終了後MPUは、カウンターNimageの値を定数Const4と比較する。Const4はConst2+10程度の定数である。Nimage<Const4ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、サードステップが失敗を表現することになる。
【0084】
逆にNimage≧Const4なら、サードステップの条件を満足した(すなわち、高輝度部分の周辺に低輝度部分が存在する)と判断し、眼球検出の状態を示すRAMのビット2をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すRAMのビット7をセットする。
【0085】
なお、定数Const1,Const2,Const3,Const4,a2,a3,b2,b3などの値は、イメージセンサー(CCD)として、20×15=300(画素)程度のセンサーを用いたときの目安であり、当然のことながらイメージセンサーの画素数によって大きく変化する。
【0086】
図1に本発明第二実施例のブロック図を示す。1はMPU(マイクロプロセッシングユニット)、2はメモリー、3はCCD駆動回路、4はCCD、5は複数のiREDから構成されるiRED群、6はAFを行なうためのレンズ駆動ユニット、7は絞り駆動ユニット、8はシャッターユニット、9はiRED駆動回路である。
【0087】
図7は本発明第二実施例の動作を示すフローチャートである。
【0088】
MPUは眼球検出のルーチンに入ると、まず演算に使用する変数の初期化等の初期化処理を行なう。この初期化の際に眼球検出の状態を表すRAMのビット1をセットし既に初期化が行なわれたことを示す。このビットがセットされているときは、初期化のモジュールにおいてE2 PROMからのパラメータの読み込み、眼球検出のステップを表すRAMのクリアなどの処理は行なわず、演算に使用する変数の初期化のみを行なう。このビットがクリアされているときは、演算に使用する変数の初期化のほかに、E2 PROMからのパラメータの読み込み、眼球検出のステップを表すRAMのクリアなどの処理も行なう。このビットは眼球検出のルーチンを抜けるときにクリアされる。
【0089】
その後MPUは駆動回路及びCCDへの電源供給を開始し、その後蓄積制御のステップに移る。
【0090】
まず眼球検出のステップを表すRAMのビットの設定状態から蓄積時間とiRED電流を選択し、設定する。眼球検出のステップを表すRAMのビット6がセットされていればサードステップ、ビット6がクリアされビット5がセットされていればセカンドステップ、ビット6・ビット5がともにクリアされていればファーストステップとなる。蓄積時間は全ステップとも0.1msec、iRED電流はファーストステップ・セカンドステップ・サードステップでそれぞれ、i(mA)、2i(mA)、10i(mA)である。基準の電流値iはiREDの発光効率、イメージセンサーの感度などによって変化するが、5〜10mA程度となる。
【0091】
そしてMPU1は駆動回路9のiRED電流設定を行なう。図12に示すように、MPU1はiRED電流設定のために、上記の選択結果に基づきiRED電流選択のための出力端子s1,s2,s3…のうちひとつをセットする。このことにより出力端子s1,s2,s3…の先に接続されているトランジスタ36,37,38のうちひとつがオンし、結果として電流値を設定するための抵抗39,40,41…のいずれかが選択され、iRED51に流れる電流が設定される。
【0092】
ついでMPUはCCDのクリア動作を行ないCCDのメモリーゾーンSSTR・出力用転送レジスタHSHIFT等に残っている電荷を消去する。
【0093】
すなわち、MPU1は図13に示すような垂直方向転送パルスYV、水平方向転送パルスYHを出力する。このふたつのパルスYH、YVがレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。これによりイメージゾーンSIMG、メモリーゾーンSSTRに残っていた電荷は、それぞれイメージゾーン→メモリーゾーン→出力用転送レジスタと垂直方向転送パルスφVを基に生成される複数の駆動信号により転送され、これと同時に出力用転送レジスタから水平方向転送パルスφHを基に生成される複数の駆動信号によって、図13に示すように複数の画素の像が加算された形で出力線に出力され、イメージゾーン・メモリーゾーン・出力用転送レジスタ等に残っている電荷は消去される。
【0094】
そして外光除去を行なうためにまずiREDを点灯せずに設定された蓄積時間分の外光蓄積を行なう。この画像信号をCCD駆動回路3を介して読み込みRAMへ転送していく。
【0095】
FTCCDではクリア動作の終了時点が次の蓄積の開始となるので、前記のCCDクリア動作のためのYV,YHパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。そして眼球検出のステップを表すRAMのビットの設定状態から設定された蓄積時間が経過したならば、CCDから画像信号を読み出す作業を行なう。
【0096】
この読み出し作業はまずメモリーゾーンSSTRへの転送作業から行なう。
【0097】
MPU1は図14に示すようなパルスYV,YHが出力する。このパルス(YV,YH)は、レベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、垂直方向転送パルスφV、水平方向転送パルスφHとしてCCDに与えられる。前半のφV,φHが交互に与えられる部分では二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンSIMGの電荷がメモリーゾーンSSTRへ垂直転送され、と同時にメモリーゾーンSSTRから出力用転送レジスタHSHIFTへも電荷が垂直転送される。また出力用転送レジスタHSHIFTの電荷が出力線に出力されたことで出力用転送レジスタHSHIFTをクリアしている。図14に示すように、φV,φHを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφHパルスによって、さらに前半のパルスによってメモリーゾーンSSTRから出力用転送レジスタHSHIFTへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンSIMGで生じた信号が、φVを基に生成される複数の駆動信号によって、メモリーゾーンSSTRに転送され記憶されている。
【0098】
ついで画像信号を読み出すステップに移る。
【0099】
まず、MPU1は図15に示すようにパルスYV,YHを出力する。このパルス(YV,YH)はレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。このときは、1ラインの像信号の出力を行なうのにMPU1からひとつのYV(φV)パルスと、それに続く複数(1ラインの画素数に相当する数)のYH(φH)パルスがCCDに対して出力される。よってφVパルスを基に生成される複数の駆動信号によりメモリーゾーンSSTRの1ライン目の電荷が、出力用転送レジスタHSHIFTに移され、ついでそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はMPU1のA/D変換入力端子に増幅器34を介して接続されており、MPU1はφHに同期してこの画像信号をA/D変換し、RAMに順次格納していく。さらに、もうひと組のYV,YHパルスを駆動回路に対して出力すると、φVパルスを基に生成される複数の駆動信号により当初のメモリーゾーンSSTRの2ライン目の電荷が、出力用転送レジスタHSHIFTに移される。そしてそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、A/D変換されRAMに順次格納される。以下同様にして、全画素のデータをA/D変換しRAMに順次格納する。
【0100】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしかRAMへのデータ格納は行なわない。すなわちメモリーゾーンに電荷が転送された後、ファーストステップによって決定された領域にいたるまでは、YVパルス、YHパルスを図16に示すようにし出力する。このようにすることで、メモリーゾーンSSTRに記憶されている信号のうちL’ライン目までのものをA/D変換などをすることなく出力線に出力することができる。その後、図15に示すYV,YHパルスの組み合わせを読み出す領域のライン数に相当する分だけ出力する。このひとつめの組み合わせにおけるYV(φV)パルスによって(L’+1)ライン目の信号が出力レジスタHSHIFTに移り、その後のYH(φH)パルスにより1画素ずつ出力され、A/D変換後RAMに格納される。以下同様にして動作が行なわれ、その領域のラインの画像信号をA/D変換し、順次RAMに格納していく。ただし、領域外の画素については、A/D変換のみ行ないRAMへの格納は行なわない。
【0101】
このRAMへの転送作業が終了したらもう一度CCDのクリア動作を行ない、続いてiREDを点灯しての照明蓄積を行なう。
【0102】
すなわちMPU1は、すでに選択された点灯iREDを点灯するためにiRED選択端子(s1,s2,s3のいずれか)セットしているので、CCDクリア動作のためのYV,YHパルスの出力が終了したならば、この時点から蓄積時間の計時を開始する。同時に蓄積信号YSTRをハイにしてトランジスタ35をオンし、iRED51を点灯する。そして眼球検出のステップを表すRAMのビットの設定状態から設定された蓄積時間が経過したならば、CCDから画像信号を読み出し・外光除去の作業を行なう。
【0103】
まずメモリーゾーンSSTRへの転送を行なう。
【0104】
MPU1は図14に示すようにパルスYV,YHが出力する。このパルス(YV,YH)は、レベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、垂直方向転送パルスをφV、水平方向転送パルスφHとしてCCDに与えられる。前半のφV,φHが交互に与えられる部分は二つのパルスを基に生成される複数の駆動信号によって、イメージゾーンSIMGの電荷がメモリーゾーンSSTRへ垂直転送され、と同時にメモリーゾーンSSTRから出力用転送レジスタHSHIFTへも電荷が垂直転送される。また出力用転送レジスタHSHIFTの電荷が出力線に出力されたことで出力用転送レジスタHSHIFTをクリアしている。図14に示すように、φV,φHを交互に与えることで複数の画素の像が加算された形で出力される。また後半のφHパルスによって、さらに前半のパルスによってメモリーゾーンSSTRから出力用転送レジスタHSHIFTへ転送されてきた電荷を出力線に出力し消去する。よってイメージゾーンSIMGで生じた信号が、φVを基に生成される複数の駆動信号によって、メモリーゾーンSSTRに転送され記憶されている。
【0105】
ついでMPUは外光除去の作業を行なう。
【0106】
まず、MPU1は図15に示すようにパルスYV,YHを出力する。このパルス(YV,YH)はレベルシフト回路30,31でCCDを駆動するのに十分な電圧に変換され、CCDに与えられる。この垂直方向転送パルスをφV、水平方向転送パルスをφHと呼ぶ。このときは、1ラインの像信号の出力を行なうのにMPU1からひとつのYV(φV)パルスと、それに続く複数(1ラインの画素数に相当する数)のYH(φH)パルスがCCDに対して出力される。よって、φVパルスを基に生成される複数の駆動信号によりメモリーゾーンSSTRの1ライン目の電荷が、出力用転送レジスタHSHIFTに移され、ついでそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号はMPU1のA/D変換入力端子に増幅器34を介して接続されており、MPU1はφHに同期してこの画像信号をA/D変換し、この画素に対応する外光積分時の値をRAMから読み出し、A/D変換値からこのRAMから読み出した値を引き、その結果を再びRAMに格納する。さらに、もうひと組のYV,YHパルスを駆動回路に対して出力すると、φVパルスを基に生成される複数の駆動信号により当初のメモリーゾーンSSTRの2ライン目の電荷が、出力用転送レジスタHSHIFTに移される。そしてそれに続くφHパルスを基に生成される複数の駆動信号によって出力線に出力される。この出力信号も同様にして、A/D変換と記憶値との差分計算をされたのちRAMに順次格納される。以下同様にして、全画素のデータについてA/D変換と記憶値との差分計算しRAMに順次格納する。
【0107】
ただし、セカンドステップ・サードステップのときはファーストステップによって決定される狭い領域についてのみしか、読み込み値と記憶値の差分計算、RAMへの再格納は行なわない。
【0108】
その後MPUは駆動回路及びCCDへの電源供給を停止する。
【0109】
ついでMPUはこの外光除去された画像信号を用いた処理に移る。これについてはのちに詳細を述べる。
【0110】
外光除去された画像信号を用いた処理が終了したならば、MPUはその結果を評価する。まず、眼球検出の状態を示すRAMのビット2(このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる)の状態を調べ、クリアされていたならば、もう一度ファーストステップからやり直すために、眼球検出のステップを表すRAMのビット5、ビット6をクリアして、処理の初めの部分に制御をもどす。また、眼球検出の状態を示すRAMのビット2がセットされていた場合は、眼球検出のステップを表すRAMを調べ、ファーストステップ、セカンドステップの場合は、次のステップを実行するために、そのまま処理の初めの部分に制御をもどす。逆にサードステップの場合は、眼球検出成功なので、眼球検出のルーチンをこのまま抜ける(既にサードステップ成功の時点で眼球検出成功を表すRAMのビットがセットされている)。
【0111】
ここで、外光除去された画像信号を用いた処理について説明する。
【0112】
第二実施例の特徴は水平方向・垂直方向の各ラインのピーク値(最大輝度値)を求め、その値によって処理を行なっている点である。
【0113】
よってまずMPUはピーク値を求め、RAMに記憶していく。これは各水平ライン・垂直ラインの画素の外光除去されたデータを順次RAMから読み込み、それまでの最大値(初期値=0)と比較することで、各ラインで最大輝度のものを求めればよい。
【0114】
そののち、このピーク値を用いた処理を行なう。
【0115】
この処理は眼球検出の各ステップで異なる。そこで眼球検出のステップを表すRAMのビットにより設定されたステップを判断し、そのステップの処理を行なう。
【0116】
ファーストステップの場合(RAMのビット6・ビット5がともにクリア)は、以下の処理を行なう。ファーストステップはしきい値Const1を越える小さな像が存在するか否かを求めるステップである。
【0117】
図8にそのフローチャートを示す。
【0118】
まず変数Npeak=0と初期化し、ついで各ラインのピーク値をしきい値Const1と比較する処理を行なう。水平ラインLHのピーク値をD(LH)とし、LH=1からしきい値を比較し、これを越えるものがあるかどうか調べる。存在しない場合はLHに+1して次の水平ラインに移る。
【0119】
,しきい値Const1を越えるものが存在した場合は、しきい値Const1を越えるものの範囲(長さ)をはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、LHに+1して次のラインの値としきい値Const1を比較する。D(LH)>Const1ならmをカウントアップする。この処理をD(LH)≦Const1となるまで続ける。D(LH)≦Const1となったならばmと定数Const2を比較する。
【0120】
その長さが定数Const2より大きければ、水平ラインについての処理を全水平ラインについて終了するまで継続する。
【0121】
その長さが定数Const2より小さければ、ファーストステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2(このビットは各々のステップでそのステップの条件を満足したか否かを示すもので、条件を満足したときセットされ、初期化のときクリアされる)をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すRAMのビット5をセットする。またその長さLENをRAMに記憶する。と同時に水平ラインで条件を満足したことを表すために、眼球検出のステップを表すRAMのビット3をセットする。
【0122】
水平ラインにおける処理において、ファーストステップの条件を満足するものが得られなかった場合は垂直ラインについて同様の処理を行なう。
【0123】
すなわち、変数Npeak=0と初期化し、ついで各ラインのピーク度をしきい値Const1と比較する処理を行なう。垂直ラインLVのピーク値をD(LV)とし、LV=1からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはLVに+1して次の垂直ラインに移る。
【0124】
しきい値Const1を越えるものが存在した場合は、しきい値Const1を越えるものの範囲(長さ)をはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、LVに+1して次のラインの値としきい値Const1を比較する。D(LV)>Const1ならmをカウントアップする。この処理をD(LV)≦Const1となるまで続ける。D(LV)≦Const1となったならばmと定数Const2を比較する。
【0125】
その長さが定数Const2より大きければ、垂直ラインについての処理を全垂直ラインについて終了するまで継続する。
【0126】
その長さが定数Const2より小さければ、ファーストステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットしファーストステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、セカンドステップが実行されるように眼球検出のステップを表すRAMのビット5をセットする。またその長さLENをRAMに記憶する。と同時に垂直ラインで条件を満足したことを表すために、眼球検出のステップを表すRAMのビット3をクリアする。
【0127】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップ失敗として、このままこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、ファーストステップが失敗を表現することになる。
【0128】
セカンドステップの場合(ビット6がクリア・ビット5がセット)は以下の処理を行なう。セカンドステップはファーストステップで検出された小さな明るい像が正反射面によるものなのか、拡散反射面によるものなのかを判断するステップである。
【0129】
図9にそのフローチャートを示す。
【0130】
まず眼球検出のステップを表すRAMのビット3の状態を調べ、ビット3がセットされていたならば水平ラインのピーク値を用いた処理を、ビット3がクリアされていたならば垂直ラインのピーク値を用いた処理を行なう。
【0131】
まず水平ラインのピーク値を用いる処理について説明する。
【0132】
まず変数Npeak=0と初期化し、ついで各ラインのピーク度をしきい値Const1と比較する処理を行なう。水平ラインLHのピーク値をD(LH)とし、LH=1からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはLHに+1して次の水平ラインに移る。
【0133】
しきい値Const1を越えるものが存在した場合は、しきい値Const1を越えるものの長さをはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、LHに+1して次のラインの値としきい値Const1を比較する。D(LH)>Const1ならmをカウントアップする。この処理をD(LH)≦Const1となるまで続ける。D(LH)≦Const1となったならばmと定数Const3を比較する。Const3はConst2+2程度の定数である。
【0134】
その長さが定数Const3より大きければ、水平ラインについての処理を全水平ラインについて終了するまで継続する。
【0135】
その長さが定数Const3より小さければ、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットしセカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、サードステップが実行されるように眼球検出のステップを表すRAMのビット6をセットする。
【0136】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップで検出された反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、セカンドステップが失敗を表現することになる。
【0137】
次に垂直ラインのピーク値を用いる処理について説明する。処理は水平ラインのピーク値を用いる場合と同様に行なわれる。
【0138】
まず変数Npeak=0と初期化し、ついで各ラインのピーク度をしきい値Const1と比較する処理を行なう。垂直ラインLVのピーク値をD(LV)とし、LV=1からしきい値と比較し、これを越えるものがあるかどうかを調べる。存在しない場合にはLVに+1して次の水平ラインに移る。
【0139】
しきい値Const1を越えるものが存在した場合は、しきい値Const1を越えるものの長さをはかる。すなわち、m=1と長さをはかるカウンターを初期化した後、LVに+1して次のラインの値としきい値Const1を比較する。D(LV)>Const1ならmをカウントアップする。この処理をD(LV)≦Const1となるまで続ける。D(LV)≦Const1となったならばmと定数Const3を比較する。Const3はConst2+2程度の定数である。
【0140】
その長さが定数Const3より大きければ、垂直ラインについての処理を全垂直ラインについて終了するまで継続する。
【0141】
その長さが定数Const3より小さければ、セカンドステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットしセカンドステップが成功したことを表現する。さらに、次の外光除去された画像信号を用いた処理で、サードステップが実行されるように眼球検出のステップを表すRAMのビット6をセットする。
【0142】
上記の条件を満たすものがないまま全ラインの処理を終了したならば、ファーストステップで検出された反射は拡散反射であったと判断してこの処理ルーチンを抜ける。初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、セカンドステップが失敗を表現することになる。
【0143】
サードステップの場合(ビット6・ビット5がともにセット)は以下の処理を行なう。サードステップはセカンドトステップまでで検出された小さな明るい正反射像の周辺に、比較的輝度の弱い反射像(虹彩や強膜)が存在するかどうかを判断するステップである。
【0144】
図10にそのフローチャートを示す。
【0145】
まず眼球検出のステップを表すRAMのビット3の状態を調べ、ビット3がセットされていたならば水平ラインのピーク値を用いた処理を、ビット3がクリアされていたならば垂直ラインのピーク値を用いた処理を行なう。
【0146】
まず水平ラインのピーク値を用いる処理について説明する。
【0147】
まず水平ラインのピーク値をしきい値Const1と比較する処理を行なう。ラインLHの輝度をD(LH)とし、LH=1からしきい値と比較し、これを越えるものがあるかどうかを調べ、その数をカウントする。
【0148】
そしてMPUは、LH=1からその輝度値D(LH)をしきい値Const1と順次比較していき、D(LH)≧Const1ならばカウンターNimageをカウントアップする。この作業をラインを更新しながら、全水平ラインについて行なう。
【0149】
終了後MPUは、カウンターNimageの値を定数Const4と比較する。Const4はConst2+10程度の定数である。Nimage<Const4ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、サードステップが失敗を表現することになる。
【0150】
逆にNimage≧Const4なら、サードステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すRAMのビット7をセットする。
【0151】
垂直ラインのピーク値を用いた処理も同様に行なわれ、しきい値Const1を越えるものの数をカウントし、その数NimageとConst4を比較する。
【0152】
もしNimage<Const4ならば、プルキンエ像の周辺に比較的弱い反射像はないと判断してこの処理ルーチンを抜ける。この場合、初期化のルーチンで既に眼球検出の状態を示すRAMのビット2がクリアされているので、サードステップが失敗を表現することになる。
【0153】
逆にNimage≧Const4なら、サードステップの条件を満足したと判断し、眼球検出の状態を示すRAMのビット2をセットし、サードステップが成功したことを表現する。さらに、眼球検出動作の成功を表すために、眼球検出のステップを表すRAMのビット7をセットする。
【0154】
なお、定数Const1,Const2,Const3,Const4などの値は、イメージセンサー(CCD)として、20×15=300(画素)程度のセンサーを用いたときの目安であり、当然のことながらイメージセンサーの画素数によって大きく変化する。
【0155】
【発明の効果】
以上説明したように、本発明によれば、誤検出することなく眼球の接近を検出することができる。
そして、本発明の眼球検出装置を静止画カメラやビデオカメラその他のファインダーを有する機器に搭載すれば、機器使用者がファインダーを覗いていることを正確に検出することができる。
【図面の簡単な説明】
【図1】本発明の第一および第二実施例の構成を示すブロック図である。
【図2】本発明の第一実施例の動作の手順を示すフローチャートである。
【図3】本発明におけるプルキンエ像を含む典型的なラインの出力画像信号を表す図である。
【図4】本発明の第一実施例のファーストステップのフローチャートである。
【図5】本発明の第一実施例のセカンドステップのフローチャートである。
【図6】本発明の第一実施例のサードステップのフローチャートである。
【図7】本発明の第二実施例の動作の手順を示すフローチャートである。
【図8】本発明の第二実施例のファーストステップのフローチャートである。
【図9】本発明の第二実施例のセカンドステップのフローチャートである。
【図10】本発明の第二実施例のサードステップのフローチャートである。
【図11】本発明の第一実施例および第二実施例に用いるフレームトランスファータイプのCCDの説明図である。
【図12】本発明の第一実施例および第二実施例に用いるCCD駆動回路およびiRED駆動回路の説明図である。
【図13】本発明の第一実施例および第二実施例に用いるCCDを駆動するためのパルスのタイミングチャートである。
【図14】本発明の第一実施例および第二実施例に用いるCCDを駆動するためのパルスのタイミングチャートである。
【図15】本発明の第一実施例および第二実施例に用いるCCDを駆動するためのパルスのタイミングチャートである。
【図16】本発明の第一実施例および第二実施例に用いるCCDを駆動するためのパルスのタイミングチャートである。
【図17】従来技術の第一実施例の電子ビューファインダー装置のブロック図である。
【図18】従来技術の第一実施例のカメラ一体型VTRの斜視図である。
【図19】従来技術の第一実施例の電子ビューファインダー装置の接眼部周辺の側面図である。
【図20】従来技術の第二実施例の電子ビューファインダー装置のブロック図である。
【図21】従来技術の第二実施例の接眼部の正面図である。
【図22】従来技術の第三実施例の電子ビューファインダー装置のブロック図である。
【図23】従来技術の第三実施例の接眼部の正面図である。
【図24】従来技術の第三実施例の電子ビューファインダー装置の使用状態を示す平面図である。
【符号の説明】
1…MPU(マイクロプロセッシングユニット)
2…メモリー 3…CCD駆動回路
4…CCD 5…iRED群
6…レンズ駆動ユニット 7…絞り駆動ユニット
8…シャッターユニット 9…iRED駆動回路
34…増幅器
35,36,37,38…トランジスタ
39,40,41…抵抗 51…iRED[0001]
[Industrial applications]
The present inventionStill camera, video camera, etc.With a viewfinderEye detection provided forIt concerns the device.
[0002]
[Prior art]
As a conventional eyeball detecting device, there is one described in Japanese Patent Application Laid-Open No. 3-30583.
[0003]
It is described as follows. 17 to 19 relate to the first embodiment of the present invention, FIG. 17 is a block diagram of an electronic viewfinder device, FIG. 18 is a perspective view of a camera-integrated VTR, and FIG. 19 is around an eyepiece of the electronic viewfinder device. It is a side view which shows a structure of.
[0004]
As shown in FIG. 18, a known cassette housing unit, a driving mechanism, a video processing, a control circuit, and the like are provided in a
[0005]
FIG. 17 shows a schematic configuration of the
[0006]
In this embodiment, the eyepiece 112 (including the eye cap 106) of the
[0007]
In the above configuration, when the user now desires the electronic viewfinder function and presses the face against the
[0008]
20 and 21 relate to a second embodiment of the present invention. FIG. 20 is a block diagram of the
[0009]
20,
[0010]
In the embodiment having the above-described configuration, if the user now desires the electronic viewfinder function and presses the face on the
[0011]
Also in the second embodiment, the same effect as in the first embodiment can be obtained, and when the user brings the face close to the
[0012]
22 to 24 relate to a third embodiment of the present invention, FIG. 22 is a block diagram of an
[0013]
In FIG. 22,
[0014]
In the embodiment having the above-described configuration, if the user now desires the electronic viewfinder function and presses the face on the
[0015]
This third embodiment also has the same effect as the second embodiment.
[0016]
[Problems to be solved by the invention]
However, in these conventional examples,
1. Pressing the switch provided in the viewfinder eyepiece
2. Infrared rays emitted by the human body
3. Infrared reflected light
By judging the presence or absence and the strength (whether or not the level is equal to or higher than a predetermined level), it is determined whether or not the user has a will to look into the viewfinder of the camera. For this reason, the switch circuit is activated only when something other than the user's face (eyeball), for example, a part other than the human face such as a hand, clothing, window glass, or a cup is pressed or approached by the viewfinder eyepiece. When turned on, power is supplied to the display unit, and an image or the like is displayed on the display unit.
[0017]
[Means for Solving the Problems]
In order to solve the above-described problems, in the present invention, an illumination unit that irradiates illumination light, a light receiving unit that receives a reflected image by the illumination of the illumination unit, and a reflected image received by the light receiving unit, In an eyeball detection device having a determination means for determining whether or not the thing is an eyeball, the determination means,Judging whether or not the reflected image received by the light-receiving means has a high-luminance portion, and determining whether the high-luminance portion in the reflected image received by the light-receiving means is equal to or smaller than a predetermined size. There are provided a step of judging whether or not the light is caused by the reflection by the reflecting surface and a step of judging whether or not a low luminance portion exists around a high luminance portion in the reflected image received by the light receiving means.
That is, a reflected image is formed on a light receiving means such as an area sensor,
1. The reflected image has a high luminance portion.
2. Whether the size of the high-luminance part in the reflected image is below a certain valueBy the saidThe high-luminance portion is caused by reflection from the specular reflection surface.
3. A low-luminance part exists around the high-luminance part in the reflection image.
That3Check whether the following conditions are satisfied. Then, when there is a reflected image that satisfies these conditions, the high-luminance portion of the reflected image is determined as a Purkinje image of the eyeball, and the approach of the eyeball can be detected without erroneous detection.
Note that the eyeball detection device of the present invention is mounted on a still image camera, a video camera, or another device having a finder, and can accurately detect that a device user is looking into the finder.
[0018]
【Example】
FIG. 1 shows a block diagram of the first embodiment of the present invention. 1 is an MPU (Micro Processing Unit), 2 is a memory, 3 is a CCD drive circuit, 4 is a CCD, 5 is an iRED group composed of a plurality of iREDs, 6 is a lens drive unit for performing AF, and 7 is a diaphragm drive A unit, 8 is a shutter unit, and 9 is an iRED drive circuit.
[0019]
The image sensor used in this embodiment is a frame-transform type CCD (FT-CCD).
[0020]
The configuration is shown in FIG.
[0021]
SIMG in the figure is a photosensitive area (image zone), and is composed of pixels IMPXL arranged vertically in L and horizontally in N. The IMPXL is a unit pixel having a photoelectric conversion function such as a photodiode and a charge transfer function. A signal generated here is applied to a vertical transfer pulse φV to generate a signal φV inside the CCD 4 (VDRV). Is driven by a plurality of drive signals generated based on
[0022]
SSTR is a storage area (memory zone) for temporarily storing charges generated in the memory zone SIMG. The number of unit storage units STPXL forming the SSTR is the same as that of the unit pixels IMPXL forming the SIMG, and the transfer pulse is also the vertical transfer pulse φV.
[0023]
HSHIFT is a horizontal transfer register, which is driven by a plurality of drive signals generated based on φH inside the CCD 4 (HDRV) by applying a horizontal transfer pulse φH input from the
[0024]
φRO is a signal transferred by HSHIFT, and in synchronism with this, when a signal is output from SOUT, the output of each pixel is initialized in the signal amplifier circuit SOUT so that the output of the previous pixel does not affect the next output pixel. Is performed. Note that φRO is generated inside the CCD (HDRV) based on φH.
[0025]
The OFD is provided to discharge a charge of a predetermined level or more so that the charge generated according to the amount of light irradiated to the pixel IMPXL does not become oversaturated when the charge reaches a saturation level, and is generally called an overflow drain. It is a discharge groove.
[0026]
This type of CCD transfers electric charges generated by irradiating each pixel of the image zone SIMG to all the pixel memory zones SSTR by a plurality of drive signals generated based on the vertical transfer pulse φV. That is, every time one vertical transfer pulse φV is applied to the CCD, all the pixels in one line are transferred one pixel at a time in the vertical direction by a plurality of drive signals generated based on φV. When applied for several minutes, it is transferred to the all-pixel memory zone SSTR. Next, these charges stored in the memory zone SSTR are transferred to the output horizontal transfer register HSHIFT line by line by a plurality of drive signals generated based on the vertical transfer pulse φV. Then, an image signal due to these charges is read out pixel by pixel by a plurality of drive signals generated from the output transfer register HSHIFT based on the horizontal transfer pulse φH. That is, at the time of reading, one φV is applied to the CCD, and the data is transferred to the horizontal transfer register HSHIFT line by line by a plurality of drive signals generated based on the φV. Next, an image signal is read out one pixel at a time from the HSHIFT by a plurality of drive signals generated by applying a horizontal transfer pulse φH of a number corresponding to the number of pixels in the horizontal direction.
[0027]
FIG. 12 shows the configurations of the CCD drive circuit and the iRED drive circuit.
[0028]
1 is an MPU, 30 and 31 are level shift circuits for boosting the pulse YV / YH to a voltage sufficient to drive the CCD, 34 is an amplifier, 35 is a transistor for turning on iRED, and 36, 37 and 38 are iRED. Transistors for determining the flowing current, 39, 40, and 41 are resistors for determining the current flowing to iRED, and 51 is iRED.
[0029]
In the present invention, by processing the image signal from the image sensor,ND) Judgment of the presence or absence of an image to determine the photographer's will to look through the viewfinder.ND. The image and the anterior segment of the eyeball will be described.
[0030]
When the photographer's eyeball is irradiated with parallel light (or divergent light), this light is reflected on the front surface of the cornea, and a virtual image of the light emitting diode is generated. PurkiNThis virtual image, which is called an image, is also famous as a catchlight in which bright luminescent spots occur in so-called black eyes in portrait photography and the like. PurkiNFIG. 3 shows a typical signal output of an image sensor including an image. The sharply rising high-brightness area is purky.ND. Also, since the radius of curvature of the human eyeball is about 7 mm and the size of the light emitting surface of iRED is about several mm,ND) The size of the image is about 100 to 300 μm on the eyeball, and the size on the sensor is about 10 to 30 μm when the image is formed by a light receiving system with an imaging magnification of about 1/10. This can be said to be as small as about 1 to 2 pixels in consideration of the pixel pitch of a normal image sensor. So PurkiNThe image can be called a small image with high luminance. More purkiNThe location of the image in the anterior segment of the eyeball is almost on the pupil or iris as can be imagined from the image of the catchlight. So PurkiND) Puriki with iris and sclera around the imageND) An image having a lower luminance than the image exists. This brightness depends on the lighting conditions, butND) About 1/20 to 1/10 of the image.
[0031]
Next, the operation of the present invention using the above principle will be described.
[0032]
FIG. 2 is a flowchart showing the operation of the first embodiment of the present invention.
[0033]
Upon entering the eyeball detection routine, the MPU first performs initialization processing such as initialization of variables used for calculation. At the time of this initialization,
[0034]
After that, the MPU starts power supply to the drive circuit and the CCD, and then proceeds to the accumulation control step.
[0035]
First, the accumulation time and the iRED current from the setting state of the bit of the RAM representing the eyeball detection step(That is, the illumination light amount of the
[0036]
Then, the
[0037]
Next, the MPU performs a CCD clearing operation to erase the charge remaining in the CCD memory zone SSTR, the output transfer register HSHIFT, and the like.
[0038]
That is, the
[0039]
Then, in order to remove external light, external light is accumulated for a set accumulation time without turning on iRED. This image signal is read via the
[0040]
In the FTCD, the end of the clearing operation is the start of the next accumulation. Therefore, when the output of the YV and YH pulses for the CCD clearing operation is completed, the counting of the accumulation time is started from this point. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, an operation of reading an image signal from the CCD is performed.
[0041]
This read operation is first performed from the transfer operation to the memory zone SSTR.
[0042]
The
[0043]
Then, the process proceeds to the step of reading the image signal.
[0044]
First, the
[0045]
However, in the case of the second step and the third step, data is stored in the RAM only for a narrow area determined by the first step. That is, after the charges are transferred to the memory zone, the YV pulse and the YH pulse are output as shown in FIG. 16 until the region determined by the first step is reached. By doing so, it is possible to output the signals stored in the memory zone SSTR up to the L'th line to the output line without performing A / D conversion or the like. After that, a combination of the YV and YH pulses shown in FIG. The signal of the (L '+ 1) th line is transferred to the output register HSHIFT by the YV (φV) pulse in the first combination, and is output one pixel at a time by the subsequent YH (φH) pulse, and is stored in the RAM after A / D conversion Is done. Thereafter, the operation is performed in the same manner, and the image signals of the lines in that area are A / D converted and sequentially stored in the RAM. However, for pixels outside the area, only A / D conversion is performed and storage in the RAM is not performed.
[0046]
When the transfer operation to the RAM is completed, the CCD is again cleared, and the illumination is accumulated by turning on iRED.
[0047]
That is, since the
[0048]
First, transfer to the memory zone SSTR is performed.
[0049]
The
[0050]
Next, the MPU performs an operation of removing external light.
[0051]
First, the
[0052]
However, in the case of the second step and the third step, only for a narrow area determined by the first step, the difference calculation between the read value and the stored value and the re-storage in the RAM are not performed.
[0053]
Thereafter, the MPU stops supplying power to the drive circuit and the CCD.
[0054]
Next, the MPU shifts to processing using the image signal from which external light has been removed. This will be described in detail later.
[0055]
When the processing using the image signal from which external light has been removed is completed, the MPU evaluates the result. First,
[0056]
Here, processing using the image signal from which external light has been removed will be described.
[0057]
This processing differs for each step of eyeball detection. Therefore, the step set by the bit of the RAM representing the step of eyeball detection is determined, and the processing of that step is performed.
[0058]
In the case of the first step (both
[0059]
FIG. 4 shows a flowchart thereof.
[0060]
First, the first step as a "step of determining whether or not a reflected image received by the light receiving means has a high luminance portion" will be described.First, a variable j = 0 is initialized. Next, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. The luminance of the line L and the pixel i is set to D (L, i). From i = 1, a comparison is made with a threshold value to check whether there is any pixel exceeding the threshold value. If it does not exist, +1 is added to i and the process moves to the next pixel.
[0061]
If there is a pixel exceeding the threshold value Const1, the range (length) of the pixel exceeding the threshold value Const1 on the line L is measured. That is, after the counter for measuring the length of m = 1 is initialized, i is incremented by 1 and the next pixel is compared with the threshold value Const1. If D (L, i)> Const1, m is counted up. This process is continued until D (L, i) ≦ Const1. If D (L, i) ≦ Const1, m is compared with a constant Const2. If the length is smaller than the constant Const2, the position (the number of the pixel) is stored. If it is over a plurality of pixels, its average value (if it is not divisible, for example, rounds down the decimal point) is stored. If there are two or more portions exceeding the threshold value, the position (pixel) of each is stored as P (j) = i. This line L also stores L1 = L and its value. In order to store a plurality of such data, the counter j is thereafter counted up.
[0062]
Then, when this processing is completed for all the pixels on the line, it is checked whether or not there is any line in the line that exceeds the threshold value Const1 and has a length equal to or less than Const2. If not, the process moves to the next line.
[0063]
If there is, after initializing k = 0, L = L1−L0, and the luminance D (L, P (k)) at the pixel position stored in the line L is compared with the threshold value Const1. However, L0 is a constant. If the result is D (L, P (k)) ≤Const1, this value is stored as L1 '= L. If D (L, P (k))> Const1, the same processing is repeated until D (L, P (k)) ≦ Const1.
[0064]
The line is updated, and the same processing is performed on the next line L. This process is repeated while updating the line until the comparison results in D (L, P (k)) ≦ Const1. If the condition of D (L, P (k)) ≦ Const1 is satisfied, Δ = (L−1) −L1 ′ is obtained, this value is compared with a constant Const2, and if Δ ≦ Const2, It is determined that the condition of the first step is satisfied, and
[0065]
At the same time, the lines L2 = L, L1 = L1 ', P = P (k), L, L1', and the pixel P (k) are stored.
[0066]
When j is 2 or more, the above processing is repeated for the number of times, but the processing ends when the condition is satisfied.
[0067]
If the processing of all the lines is completed without satisfying all of the above conditions, it is determined that the first step has failed, and the processing routine is exited. Since
[0068]
"Step of judging whether or not the high-brightness portion is caused by reflection by the specular reflection surface based on whether or not the size of the high-brightness portion in the reflection image received by the light receiving means is equal to or smaller than a certain value" IsIn the case of the second step (
[0069]
In the second step, processing is performed only around the small bright image detected in the first step. The range is from the horizontal (pixel) direction P-a2 to P + a2, and the vertical (line) is from L1-b2 to L2 + b2. However, both a2 and b2 are constants of about 2 to 5.
[0070]
FIG. 5 shows a flowchart thereof.
[0071]
First, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. Let the luminance of line L and pixel i be D (L, i), and L = 1, i = 1ICompare the values to see if any pixels exceed this. However, what is stored in the RAM of L = 1 and i = 1 is the pixel data corresponding to L = L1-b2 and i = P-a2 in the first step. If it does not exist, i is incremented by 1 and the process moves to the next pixel.
[0072]
If there is a pixel exceeding the threshold value Const1, the range (length) of the pixel exceeding the threshold value Const1 on the line L is measured. That is, after the counter for measuring the length of m = 1 is initialized, i is incremented by 1 and the next pixel is compared with the threshold value Const1. If D (L, i)> Const1, m is counted up. This process is continued until D (L, i) ≦ Const1. If D (L, i) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about
[0073]
If its length is smaller than the constant Const3(Ie, if this reflection is specular)Then, proceed to the next process.
[0074]
First, L = 1 is initialized, D (L, P− (P−a2) +1) = D (L, a2 + 1) is compared with the threshold value Const1, and it is checked whether or not there is a pixel exceeding this value. However, what is stored in the RAM of L = 1 and i = 1 is the pixel data corresponding to L = L1-b2 and i = P-a2 in the first step. If it does not exist, +1 is added to L and the processing moves to the next line.
[0075]
If there is something exceeding the threshold value Const1, the length exceeding the threshold value Const1 is measured. That is, after the counter for measuring the length of m = 1 is initialized, L is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (L, a2 + 1)> Const1, m is counted up. This process is continued until D (L, a2 + 1) ≦ Const1. If D (L, a2 + 1) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about
[0076]
If its length is smaller than the constant Const3(Ie, if this reflection is specular), It is determined that the condition of the second step is satisfied, and
[0077]
If this processing is performed for all pixels and all lines of the line and there is no pixel that exceeds Const1, it is determined that the second step has failed and the processing routine is exited. Since the
[0078]
"The step of judging whether or not a low-luminance portion exists around a high-luminance portion in a reflection image received by the light-receiving means".In the case of the third step (both
[0079]
In the third step, processing is performed only around the small bright image detected in the first step. The range is from P-a3 to P + a3 in the horizontal (pixel) direction, and from L1-b3 to L2 + b3 in the vertical (line) direction. However, a3 and b3 are constants of about 10 to 20.
[0080]
FIG. 6 shows the flowchart.
[0081]
First, a process of comparing the luminance of the pixel with the threshold value Const1 is performed. The luminance of the line L and the pixel i is set to D (L, i). From i = 1, a comparison is made with a threshold value to check whether there is any pixel exceeding the threshold value. Count the number. However, what is stored in the RAM of L = 1 and i = 1 is pixel data corresponding to L = L1-b3 and i = P-a3 in the first step.
[0082]
Then, the MPU sequentially compares the luminance value D (L, i) with the threshold value Const1 from the pixel of L = 1, i = 1, and counts up the counter Image if D (L, i) ≧ Const1. I do. This operation is performed for all pixels and all lines while updating pixels and lines.
[0083]
After completion, the MPU compares the value of the counter Image with the constant Const4. Const4 is a constant of about Const2 + 10. If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the
[0084]
On the other hand, if Image ≧ Const4, the condition of the third step was satisfied.(That is, a low-luminance part exists around a high-luminance part.), And sets bit 2 of the RAM indicating the state of eyeball detection to indicate that the third step was successful. Further, to indicate the success of the eyeball detection operation,
[0085]
The values of the constants Const1, Const2, Const3, Const4, a2, a3, b2, b3 and the like are guidelines when a sensor of about 20 × 15 = 300 (pixels) is used as an image sensor (CCD). Naturally, it greatly changes depending on the number of pixels of the image sensor.
[0086]
FIG. 1 shows a block diagram of a second embodiment of the present invention. 1 is an MPU (Micro Processing Unit), 2 is a memory, 3 is a CCD drive circuit, 4 is a CCD, 5 is an iRED group composed of a plurality of iREDs, 6 is a lens drive unit for performing AF, and 7 is a diaphragm drive A unit, 8 is a shutter unit, and 9 is an iRED drive circuit.
[0087]
FIG. 7 is a flowchart showing the operation of the second embodiment of the present invention.
[0088]
Upon entering the eyeball detection routine, the MPU first performs initialization processing such as initialization of variables used for calculation. At the time of this initialization,
[0089]
After that, the MPU starts power supply to the drive circuit and the CCD, and then proceeds to the accumulation control step.
[0090]
First, the accumulation time and the iRED current are selected and set from the setting state of the bit of the RAM representing the eyeball detection step. If
[0091]
Then, the
[0092]
Next, the MPU performs a CCD clearing operation to erase the charge remaining in the CCD memory zone SSTR, the output transfer register HSHIFT, and the like.
[0093]
That is, the
[0094]
Then, in order to remove external light, external light is accumulated for a set accumulation time without turning on iRED. This image signal is read via the
[0095]
In the FTCD, the end of the clearing operation is the start of the next accumulation. Therefore, when the output of the YV and YH pulses for the CCD clearing operation is completed, the counting of the accumulation time is started from this point. Then, when the set accumulation time has elapsed from the setting state of the bit of the RAM representing the eyeball detection step, an operation of reading an image signal from the CCD is performed.
[0096]
This read operation is first performed from the transfer operation to the memory zone SSTR.
[0097]
The
[0098]
Then, the process proceeds to the step of reading the image signal.
[0099]
First, the
[0100]
However, in the case of the second step and the third step, data is stored in the RAM only for a narrow area determined by the first step. That is, after the charge is transferred to the memory zone, the YV pulse and the YH pulse are output as shown in FIG. 16 until the region determined by the first step is reached. By doing so, it is possible to output the signals stored in the memory zone SSTR up to the L'th line to the output line without performing A / D conversion or the like. After that, a combination of the YV and YH pulses shown in FIG. The signal of the (L '+ 1) th line is transferred to the output register HSHIFT by the YV (φV) pulse in the first combination, and is output one pixel at a time by the subsequent YH (φH) pulse, and is stored in the RAM after A / D conversion Is done. Thereafter, the operation is performed in the same manner, and the image signals of the lines in that area are A / D converted and sequentially stored in the RAM. However, for pixels outside the area, only A / D conversion is performed and storage in the RAM is not performed.
[0101]
When the transfer operation to the RAM is completed, the CCD is again cleared, and the illumination is accumulated by turning on iRED.
[0102]
That is, since the
[0103]
First, transfer to the memory zone SSTR is performed.
[0104]
The
[0105]
Next, the MPU performs an operation of removing external light.
[0106]
First, the
[0107]
However, in the case of the second step and the third step, only for a narrow area determined by the first step, the difference calculation between the read value and the stored value and the re-storage in the RAM are not performed.
[0108]
Thereafter, the MPU stops supplying power to the drive circuit and the CCD.
[0109]
Next, the MPU shifts to processing using the image signal from which external light has been removed. This will be described in detail later.
[0110]
When the processing using the image signal from which external light has been removed is completed, the MPU evaluates the result. First,
[0111]
Here, processing using the image signal from which external light has been removed will be described.
[0112]
The feature of the second embodiment is that the peak value (maximum luminance value) of each line in the horizontal direction and the vertical direction is obtained, and the processing is performed according to the value.
[0113]
Therefore, first, the MPU obtains the peak value and stores it in the RAM. This is done by sequentially reading the data of pixels on each horizontal line / vertical line from which extraneous light has been removed from the RAM and comparing it with the maximum value up to that time (initial value = 0). Good.
[0114]
After that, a process using this peak value is performed.
[0115]
This processing differs for each step of eyeball detection. Therefore, the step set by the bit of the RAM representing the step of eyeball detection is determined, and the processing of that step is performed.
[0116]
In the case of the first step (both
[0117]
FIG. 8 shows the flowchart.
[0118]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak value of each line with the threshold value Const1 is performed. The peak value of the horizontal line LH is set to D (LH), and the threshold value is compared from LH = 1, and it is checked whether or not there is a value exceeding the threshold value. If there is no LH, +1 is added to LH, and the process moves to the next horizontal line.
[0119]
If there is a value exceeding the threshold value Const1, the range (length) of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring the length to m = 1, +1 is added to LH, and the value of the next line is compared with the threshold value Const1. If D (LH)> Const1, m is counted up. This process is continued until D (LH) ≦ Const1. If D (LH) ≦ Const1, m is compared with a constant Const2.
[0120]
If the length is larger than the constant Const2, the processing for the horizontal lines is continued until the processing is completed for all the horizontal lines.
[0121]
If the length is smaller than the constant Const2, it is determined that the condition of the first step has been satisfied, and
[0122]
In the processing on the horizontal line, if a result satisfying the condition of the first step is not obtained, the same processing is performed on the vertical line.
[0123]
That is, a process of initializing the variable Npeak = 0 and then comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the vertical line LV is set to D (LV), and the threshold value is compared with the threshold value from LV = 1, and it is checked whether or not there is a value exceeding the threshold value. If not, the value of LV is incremented by +1 to move to the next vertical line.
[0124]
If there is a value exceeding the threshold value Const1, the range (length) of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring m = 1 and length, LV is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (LV)> Const1, m is counted up. This process is continued until D (LV) ≦ Const1. If D (LV) ≦ Const1, m is compared with a constant Const2.
[0125]
If the length is larger than the constant Const2, the processing for the vertical lines is continued until the processing is completed for all the vertical lines.
[0126]
If the length is smaller than the constant Const2, it is determined that the condition of the first step is satisfied, and
[0127]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the first step has failed, and the processing routine is exited. Since
[0128]
In the case of the second step (
[0129]
FIG. 9 shows a flowchart thereof.
[0130]
First, the state of
[0131]
First, processing using the peak value of the horizontal line will be described.
[0132]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the horizontal line LH is set to D (LH), and the threshold value is compared with LH = 1, and it is checked whether or not there is a value exceeding the threshold value. If there is no LH, +1 is added to LH to move to the next horizontal line.
[0133]
If there is a value exceeding the threshold value Const1, the length of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring the length to m = 1, +1 is added to LH, and the value of the next line is compared with the threshold value Const1. If D (LH)> Const1, m is counted up. This process is continued until D (LH) ≦ Const1. If D (LH) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about
[0134]
If the length is larger than the constant Const3, the processing for the horizontal lines is continued until the processing is completed for all the horizontal lines.
[0135]
If the length is smaller than the constant Const3, it is determined that the condition of the second step is satisfied, and
[0136]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the reflection detected in the first step is the diffuse reflection, and the process exits from this processing routine. Since the
[0137]
Next, processing using the peak value of the vertical line will be described. The processing is performed in the same manner as when the peak value of the horizontal line is used.
[0138]
First, a variable Npeak = 0 is initialized, and then a process of comparing the peak degree of each line with the threshold value Const1 is performed. The peak value of the vertical line LV is set to D (LV), and the threshold value is compared with the threshold value from LV = 1, and it is checked whether or not there is a value exceeding the threshold value. If not, the value of LV is incremented by +1 to move to the next horizontal line.
[0139]
If there is a value exceeding the threshold value Const1, the length of the value exceeding the threshold value Const1 is measured. That is, after initializing a counter for measuring m = 1 and length, LV is incremented by 1 and the value of the next line is compared with the threshold value Const1. If D (LV)> Const1, m is counted up. This process is continued until D (LV) ≦ Const1. If D (LV) ≦ Const1, m is compared with a constant Const3. Const3 is a constant of about
[0140]
If the length is larger than the constant Const3, the processing for the vertical lines is continued until the processing is completed for all the vertical lines.
[0141]
If the length is smaller than the constant Const3, it is determined that the condition of the second step is satisfied, and
[0142]
If the processing of all the lines is completed without satisfying the above condition, it is determined that the reflection detected in the first step is the diffuse reflection, and the process exits from this processing routine. Since the
[0143]
In the case of the third step (both
[0144]
FIG. 10 shows a flowchart thereof.
[0145]
First, the state of
[0146]
First, processing using the peak value of the horizontal line will be described.
[0147]
First, a process of comparing the peak value of the horizontal line with the threshold value Const1 is performed. The luminance of the line LH is set to D (LH), and the threshold value is compared with LH = 1, and it is checked whether or not there is a line exceeding the threshold value.
[0148]
Then, the MPU sequentially compares the luminance value D (LH) with the threshold value Const1 from LH = 1, and if D (LH) ≧ Const1, counts up the counter Image. This operation is performed for all horizontal lines while updating the lines.
[0149]
After completion, the MPU compares the value of the counter Image with the constant Const4. Const4 is a constant of about Const2 + 10. If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the
[0150]
Conversely, if Image ≧ Const4, it is determined that the condition of the third step has been satisfied, and
[0151]
The process using the peak value of the vertical line is performed in the same manner, the number exceeding the threshold value Const1 is counted, and the number Image and Const4 are compared.
[0152]
If Image <Const4, PurkiNIt is determined that there is no relatively weak reflected image around the image d, and the process exits from this processing routine. In this case, since the
[0153]
Conversely, if Image ≧ Const4, it is determined that the condition of the third step has been satisfied, and
[0154]
Note that the values of the constants Const1, Const2, Const3, Const4, and the like are guidelines when a sensor of about 20 × 15 = 300 (pixels) is used as an image sensor (CCD). It varies greatly depending on the number.
[0155]
【The invention's effect】
As described above, the present inventionAccording toThe approach of the eyeball can be detected without erroneous detection.
If the eyeball detection device of the present invention is mounted on a still image camera, a video camera, or another device having a finder, it is possible to accurately detect that the device user is looking into the finder.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of first and second embodiments of the present invention.
FIG. 2 is a flowchart showing a procedure of an operation of the first embodiment of the present invention.
FIG. 3 is a purki according to the present invention.NFIG. 6 is a diagram illustrating an output image signal of a typical line including an image.
FIG. 4 is a flowchart of a first step of the first embodiment of the present invention.
FIG. 5 is a flowchart of a second step of the first embodiment of the present invention.
FIG. 6 is a flowchart of a third step of the first embodiment of the present invention.
FIG. 7 is a flowchart showing an operation procedure of the second embodiment of the present invention.
FIG. 8 is a flowchart of a first step according to the second embodiment of the present invention.
FIG. 9 is a flowchart of a second step according to the second embodiment of the present invention.
FIG. 10 is a flowchart of a third step of the second embodiment of the present invention.
FIG. 11 is an explanatory diagram of a frame transfer type CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 12 is an explanatory diagram of a CCD drive circuit and an iRED drive circuit used in the first and second embodiments of the present invention.
FIG. 13 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 14 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 15 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 16 is a timing chart of pulses for driving a CCD used in the first embodiment and the second embodiment of the present invention.
FIG. 17 is a block diagram of an electronic viewfinder device according to a first embodiment of the prior art.
FIG. 18 is a perspective view of a camera-integrated VTR according to a first embodiment of the prior art.
FIG. 19 is a side view of the vicinity of an eyepiece of the electronic viewfinder device according to the first embodiment of the prior art.
FIG. 20 is a block diagram of an electronic viewfinder device according to a second embodiment of the prior art.
FIG. 21 is a front view of an eyepiece according to a second embodiment of the prior art.
FIG. 22 is a block diagram of an electronic viewfinder device according to a third embodiment of the prior art.
FIG. 23 is a front view of an eyepiece according to a third embodiment of the prior art.
FIG. 24 is a plan view showing a use state of the electronic viewfinder device according to the third embodiment of the prior art.
[Explanation of symbols]
1 ... MPU (micro processing unit)
2 ...
4: CCD 5: iRED group
6
8
34 ... Amplifier
35, 36, 37, 38 ... transistors
39, 40, 41 ...
Claims (2)
前記判断手段は、前記受光手段が受光した反射像に高輝度部分があるかどうかを判断するステップ、前記受光手段が受光した反射像にある高輝度部分の大きさが所定の大きさ以下かどうかにより該高輝度部分が正反射像であるかどうかを判断するステップおよび前記受光手段が受光した反射像にある高輝度部分の周辺に低輝度部分が存在するかどうかを判断するステップを有することを特徴とする眼球検出装置。Illumination means for irradiating illumination light, light receiving means for receiving a reflected image by the illumination of the illumination means, and judging means for judging from the reflected image received by the light receiving means whether or not the approaching object is an eyeball An eyeball detection device,
The determining means determines whether there is a high-luminance portion in the reflected image received by the light-receiving means, and determines whether the size of the high-luminance portion in the reflected image received by the light-receiving means is equal to or smaller than a predetermined size. by further comprising a step of determining whether the low luminance part around the high luminance portion of the reflected image step and the light receiving means has received to determine whether the high-intensity part is positive reflection image is present Eyeball detection device characterized by the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32754893A JP3576584B2 (en) | 1993-12-24 | 1993-12-24 | Eyeball detection device and device equipped with the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32754893A JP3576584B2 (en) | 1993-12-24 | 1993-12-24 | Eyeball detection device and device equipped with the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07181368A JPH07181368A (en) | 1995-07-21 |
JP3576584B2 true JP3576584B2 (en) | 2004-10-13 |
Family
ID=18200306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32754893A Expired - Fee Related JP3576584B2 (en) | 1993-12-24 | 1993-12-24 | Eyeball detection device and device equipped with the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3576584B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108055430A (en) * | 2017-12-13 | 2018-05-18 | 广东欧珀移动通信有限公司 | Electronic device |
CN115933172B (en) * | 2022-11-29 | 2023-09-12 | 大连海事大学 | Human eye sight tracking device and method based on polarized multispectral imaging |
-
1993
- 1993-12-24 JP JP32754893A patent/JP3576584B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07181368A (en) | 1995-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7505076B2 (en) | Digital camera having red-eye reduction bracket photographing mode | |
US7974529B2 (en) | Digital camera | |
JPH0727102B2 (en) | Automatic focus detector for camera | |
US7589764B2 (en) | Focus detection device including reduction of fluctuations due to flickering light | |
US7496290B2 (en) | Multipoint autofocus system and camera having multipoint autofocus system | |
CN100449398C (en) | Device incorporating eye-start capability | |
US6351606B1 (en) | Electronic camera, method for detecting obstruction to electronic flash and method for correcting exposure level | |
US20070019097A1 (en) | Image-pickup apparatus | |
JP3576584B2 (en) | Eyeball detection device and device equipped with the same | |
US20070201854A1 (en) | Imaging device with automatic control function of light for shooting | |
JP2007047544A (en) | Strobe apparatus | |
JP2001305422A (en) | Range finder | |
JP2004186721A (en) | Camera | |
JP3619417B2 (en) | Camera ranging device | |
WO2004073298A1 (en) | Electronic camera | |
KR101279436B1 (en) | Photographing apparatus, and photographing method | |
JP4884887B2 (en) | Imaging device | |
JP2018133826A (en) | Imaging apparatus, control method thereof, and control program | |
JP4754745B2 (en) | Camera with strobe device | |
JP4915272B2 (en) | Imaging apparatus and program thereof | |
JPH0667273A (en) | Camera-shake detector | |
JP3793403B2 (en) | Ranging device | |
JP3746944B2 (en) | Ranging device | |
JPH11183957A (en) | Image pickup device | |
JPH1195093A (en) | Focus detecting device for camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |