JP4245708B2 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
JP4245708B2
JP4245708B2 JP32229398A JP32229398A JP4245708B2 JP 4245708 B2 JP4245708 B2 JP 4245708B2 JP 32229398 A JP32229398 A JP 32229398A JP 32229398 A JP32229398 A JP 32229398A JP 4245708 B2 JP4245708 B2 JP 4245708B2
Authority
JP
Japan
Prior art keywords
harmful light
photoelectric conversion
conversion element
distance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32229398A
Other languages
English (en)
Other versions
JP2000147366A (ja
Inventor
昌孝 井出
寿之 松本
洋一郎 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP32229398A priority Critical patent/JP4245708B2/ja
Publication of JP2000147366A publication Critical patent/JP2000147366A/ja
Application granted granted Critical
Publication of JP4245708B2 publication Critical patent/JP4245708B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は自動的に焦点検出や測距を行い、その結果に基づいて撮影レンズの焦点調節を行うカメラに適用可能な測距装置に関する。
【0002】
【従来の技術】
従来から夜景撮影用モードを有するカメラが数多く実現されているが、そのような夜景撮影用のモードがなくてもカメラを三脚に固定して長時間露光を使用するときれいな写真が撮影することができる。
【0003】
夜景のような暗い被写体でも、最近の自動焦点(AF)カメラは焦点を確実に検出することができる。
図19の(a)は、撮影されるファインダ内の画像を示している。
【0004】
手前に人物が立っており、撮影者は夜景を背景にその人物を主要被写体として撮影しようとしているところである。
このシーンにおいて、人物の右側には背景の街灯があり、人物の左側には背景の建物のネオンがある。
【0005】
AFターゲット(測距枠)は、これら人物と街灯とネオンの3つをとらえており、その周辺は夜のため暗いとする。
一般に、夜景を撮影しようとした場合には、上記のようなシーンは良くあるシーンである。
【0006】
つまり、測距枠内に何らかの光源があり、その光源は背景の建物の窓の明かりや街灯である場合が多く、測距枠内が完全に暗い場合の方が稀である。
また、手前に主要被写体の人物がいない場合でも,同様のことが言える。
【0007】
すなわち、夜景撮影における光源は、昼間の太陽と異なって点光源的になる場合が多いと言える。
図19の(a)のシーンをAFセンサで撮像したセンサデータを図19の(b)に示す。
【0008】
AFの検出方式は、公知のパッシブ位相差検出方式であり、それぞれ左右のセンサ列の出力を示す。
横軸は前画素(64エレメントとした)の並び順を示し、縦軸はセンサ出力であり、隣合う画素の出力を結んで描いた図である。
【0009】
図19の(b)からわかるように、街灯の像はAFセンサにとって点光源的であり、かつ非常に明るいため、細くて急峻な像となるが、人物の像は背景の街灯やネオンよりも暗く、出力は小さい。
【0010】
すなわち、明暗差が大きいため暗部の中央の像がつぶれた出力となってる。
例えば、逆光下のセンサ出力もこのようになることが知られている。
このようなセンサ出力に基づいて焦点演算すると、背景にも人物にもピントがあっていない写真となることがある。
【0011】
この原因は、パッシブ位相差検出方式が、原理上、元々持っている以下の2つの問題点に起因する。
(1)逆光的な被写体は中央の像がつぶれるため、中央の像に合焦しにくい。
(2)急峻な像(像が2、3画素にしか出ていないような点光源的な像)に基づいて演算焦点すると、演算精度が低下する。
【0012】
上記(1),(2)の問題点を解決するため、次のような従来技術が知られている。
まず、特公平6−7219号公報には、AFセンサをAF光学系の結像面から少しオフセットした位置に配置すると共に、光学的なローパス効果を出すことにより急峻なセンサ出力になりにくいようにした技術が開示されている。
【0013】
そして、特開平5−264887号公報には、逆光状態を検出するとAFセンサの積分時間を延長することにより、暗部の像も出力されるようにした技術が開示されている。
【0014】
すなわち、これは、図19の(c)に示すように、周辺の街灯の像は飽和するが、中央の人物の像をはっきりと出力して、人物に合焦させる技術である。
図19の(c)の場合の積分時間は、図19の(b)の場合のそれよりも数倍長くなっている。
【0015】
そして、特開平7−199039号公報には、夜景を撮影する夜景モードにセットされた場合には、AFの補助光を発光させる技術が開示されている。
すなわち、手前の人物に補助光を照射して人物の像をはっきりと出力することにより、人物に合焦させる技術である。
【0016】
また、街灯のような点光源状の直接光は、AF光学系の収差等により、AFセンサ上でフレアーを有する像になる場合がある。
このような状況で、上記点光源状の直接光がAFセンサの有効受光領域の端に入射した場合、像の重心位置がずれるために誤測距となる(図18参照)。
【0017】
【発明が解決しようとする課題】
しかるに、上記従来技術には以下のような問題点があつた。
まず、特公平6−7219号公報の技術では、細い線状の被写体に対しては効果があるが、図19の(a)の街灯のような点光源に対しては効果がないという問題点がある。
【0018】
これは、逆に言えば、街灯のような点光源はそれ程までに非常に急峻な像になると言える。
つまり、点光源の焦点検出に及ぼす影響を小さくする技術が必要となる。
【0019】
そして、特開平5−264887号公報では、太陽光下の逆光を検出の対象にしているため、図19の(b)のようなセンサ出力は逆光と判断できないという問題点がある。
【0020】
すなわち、これは、両側の出力が中央部よりも大きい場合のみ、逆光であると判断することができる。
そして、特開平7−199039号公報では、夜景モードでは、常に、AFの補助光が出射されるためエネルギーロスとなるばかりか、必要のない場面(太陽光下で夜景モードを使用、あるいは街灯のようなAFにとっての有害光のない夜景)でも補助光が出射されるという問題点がある。
【0021】
なお、上記、街灯のような点光源状の直接光による、AFセンサ上でフレアーを有する像が有効受光領域の端に入射した場合の像の重心ずれによる誤測距の問題を解決する手法は未だ提案されていない。
【0022】
本発明は上記従来技術の問題点に鑑みてなされたもので、焦点検出等の測距動作に対して有害光の及ぼす影響を除去し、主要被写体に対するAF精度の向上を可能とする測距装置を提供することを目的とする。
【0023】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
(1) 光電変換素子列を有する光電変換素子を含み、撮影レンズの焦点状態、または被写体までの距離を上記光電変換素子列の出力に基づき所定の測距演算方法により検出して測距信号を出力する測距手段と、
上記測距手段による測距結果に悪影響を及ぼす点光源状の被写体による有害光の影響があるかを上記光電変換素子列の出力に基づき判定する有害光判定手段と、
上記有害光判定手段において有害光が含まれていると判断された場合には、有害光の影響を除去するように上記測距手段による所定の測距演算方法を変更する制御手段と、
を具備し、
上記有害光判定手段は上記光電変換素子列上の有害光の位置を検出し、上記制御手段は上記有害光判定手段によって検出された上記有害光の位置に基づいて上記測距手段により測距演算を行う検出ブロックとして、あらかじめ決められた複数の検出ブロックのうちから上記有害光の位置を含まない検出ブロックを選択する
ことを特徴とする測距装置が提供される。
【0024】
また、本発明によると、
(2) 光電変換素子列を有する光電変換素子を含み、撮影レンズの焦点状態、または被写体までの距離を上記光電変換素子列の出力に基づき所定の測距演算方法により検出して測距信号を出力する測距手段と、
上記測距手段による測距結果に悪影響を及ぼす点光源状の被写体による有害光の影響があるかを上記光電変換素子列の出力に基づき判定する有害光判定手段と、
上記有害光判定手段において有害光が含まれていると判断された場合には、有害光の影響を除去するように上記測距手段による所定の測距演算方法を変更する制御手段と、
を具備し、
上記有害光判定手段は上記光電変換素子列上の有害光の位置を検出し、上記制御手段は上記有害光判定手段によって検出された上記有害光の位置に基づいて上記測距手段により測距演算を行う検出ブロックを、上記有害光の位置を含まないように設定する
ことを特徴とする測距装置が提供される。
【0025】
また、本発明によると、
(3) 上記有害光判定手段は上記光電変換素子列の画素出力の最大値が第1判定値より大きく、かつ、上記最大値の画素出力と当該画素出力が最大値の画素の両側において2画素離れた位置の画素出力との差が第2判定値より大きい場合に、有害光が存在すると判定する
ことを特徴とする(1)または(2)に記載の測距装置が提供される。
【0026】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態によるカメラの自動焦点調節装置として適用可能な測距装置の概念を示したブロック図である。
【0027】
すなわち、本発明の第1の態様によるカメラの自動焦点調節装置として適用可能な測距装置は、撮影レンズの焦点状態、または被写体までの距離を所定の測距演算方法により検出して測距信号を出力する測距手段1と、この測距手段1の出力に基づき測距動作に悪影響を及ぼす有害光の有無を判断する有害光判断手段2と、この有害光判断手段2において有害光が含まれていると判断された場合には、有害光の影響を除去するように測距演算方法を変更するように測距手段1に指示する測距演算方法変更手段3と、上記測距手段1の出力に基づいて焦点調節制御を行う制御手段4と、を具備することを特徴とする。
【0028】
図2は、本発明の自動焦点調節装置を適用したカメラの全体の構成を示したブロック図である。
まず、機構的な構成と光学的な構成について説明する。
【0029】
図2において、被写体からの光束は、5群構成の撮影レンズ41を通過し、メインミラー42に入射される。
ここで、撮影レンズ41は、第1群レンズ51、第2群レンズ52、第3群レンズ53、第4群レンズ54及び第5群レンズ55の各レンズ群と、絞り87とにより構成される。
【0030】
そして、第1群レンズ51、第2群レンズ52ではフォーカシングが行われ、ズーム時は、第3群レンズ53、第4群レンズ54を移動させると同時に、第1群レンズ51、第2群レンズ52がカム構造で駆動されて、ズーム時のピント移動が防止されている。
【0031】
上記メインミラー42はハーフミラーになっており、このメインミラー42に対する入射光量の70%がファインダ光学系43に向けて反射される。
一方、メインミラー42に対する入射光量の残り30%は、該メインミラー42を透過し、サブミラー44で反射された後、AF光学系45に導かれる。
【0032】
上記ファインダ光学系43は、スクリーン61、コンデンサレンズ62、プリズム63、モールドダハミラー64、接眼レンズ65により構成され、撮影者により観察される。
【0033】
そして、メインミラー42とサブミラー44は、フィルム露光時には図中の破線で示された位置に退避する。
また、撮影レンズ41を通過した被写体光束は、シャッタ71の開いている間にフィルム72に露光される。
【0034】
更に、上記AF光学系45は、視野絞り81、赤外カットフィルタ82、コンデンサレンズ83、ミラー84、再結像絞り85、再結像レンズ86とから構成されており、AFセンサ15に対して焦点検出のための光束を導くようになっている。
【0035】
次に、電気的な構成について説明する。
図2において、カメラの制御装置であるカメラ制御部10は、内部に中央処理装置CPU11とインターフェースIC12等を有しており、カメラの一連の動作の制御を行っている。
【0036】
上記カメラ制御部10には、露光制御部13と、フィルム駆動部14と、AFセンサ15と、絞り駆動部16と、ズーム制御部17とAFレンズ制御部18と、測光部19と、ストロボ制御部20と、スイッチ群21と、EEPROM22とが接続されている。
【0037】
上記露光制御部13は、メインミラー42のアップダウン及びシャッタ71の駆動を行って、フィルム72への露光を制御する。
上記フィルム駆動部14は、フィルム72の巻上げ巻戻しの制御を行う。
【0038】
上記AFセンサ15は、光電変換素子列であるフォトダイオードアレイ15L及び15Rを有しており、その各素子の出力をカメラ制御部10に送出して焦点検出を行う。
【0039】
上記絞り駆動部16は、撮影レンズ41内の絞り87を適正絞り値まで駆動する。
上記ズーム制御部17は、撮影レンズ41のズームレンズ群をズームモータ23によつて駆動する。
【0040】
この場合、ズームレンズ群の位置は、ズームモータ23に付設されているエンコーダ24によって制御される。
上記AFレンズ制御部18は、撮影レンズ41のフォーカスレンズ群をAFモータ25によって駆動する。
【0041】
この場合、フォーカスレンズ群の位置は、AFモータ25に付設されているエンコーダ26によって制御される。
上記測光部19は、被写体の輝度に応じた出力を発生するフォトダイオードからなるセンサであり、例えば、ファインダ光学系43内に設置される。
【0042】
上記ストロボ制御部20は、被写体に閃光発光を行うストロボを制御すると共に、本発明では、補助光としてストロボ光を使用するので、補助光制御部も兼ねている。
【0043】
上記スイッチ群21は、撮影者によって押圧されるカメラ上の全てのスイッチ(以下SW)であり、図示されないレリーズ釦や夜景モードを設定する撮影モードSWを含む。
【0044】
この夜景モードSWを押圧すると、カメラは夜景撮影に適した露光動作をするモードになる。
上記EEPROM22には、AF、測光等の各種補正データ等が記憶されており、CPU11は、カメラの電源投入時や初期化の際にCPU11は該EEPROM22からデータを読み出してCPU11内のRAMに展開すると共に、必要に応じて該EEPROM22から随時データを読み出して補正等を行う。
【0045】
次に、図3はAFセンサ15の内部ブロック構成を示す図である。
図3において、AFセンサ15は、フォトダイオードアレイ15Lと15R、画素増幅回路EAC、シフトレジスタSR及びセンサ制御回路SCCから構成されている。
【0046】
上記フォトダイオードアレイ15Lと15Rは、各フォトダイオードに入射する光量に応じた電荷を発生し、それぞれ独立して上記画素増幅回路EACに出力する。
【0047】
上記画素増幅回路EACでは、フォトダイオードアレイ15Lと15Rの各フォトダイオードから発生される電荷をそれぞれ独立して増幅し、発生電荷に対する電圧信号を発生する。
【0048】
また、画素増幅回路EACは、各フォトダイオードの発生する電荷のうちの最大値、つまり最も入射光量の大きいフォトダイオードに対応する画素増幅回路出力に応じてモニタ出力を発生し、モニタ出力端子MDATAに出力する。
【0049】
上記センサ制御回路SCCは、CPU11からの各信号(CEN,RES,END,CLK)に応じてAFセンサ15の内部の動作を制御する。
更に、シフトレジスタSRは、CPU11からのクロック信号CLKに応じてフォトダイオードアレイ15Lと15Rの各フォトダイオードに対応する画素増幅回路EACの出力を、順次センサデータ出力端子SDATAに出力させる。
【0050】
次に、図4のタイミングチャートに基づき、CPU11とAFセンサ15の動作を説明する。
最初に、CPU11によりリセット信号RESを受けると、センサ制御回路SCCは、AFセンサ15内の各ブロックの初期化を行うと共に、フォトダイオードアレイ15Lと15R及び画素増幅回路EACによる電荷の蓄積動作を開始させる。
【0051】
この蓄積動作中、画素増幅回路EACは、電荷蓄積のレベルに応じたモニタ信号をモニタ出力MDATAに出力する。
CPU11は、このモニタ出力MDATAを内蔵のADコンバータで随時モニタしており、適切な電荷蓄積量となるレベルに達したところで蓄積終了信号ENDをAFセンサ15に出力し、積分動作を終了させる。
【0052】
次に、CPU11が読み出しクロックCLKをAFセンサ15に出力すると、シフトレジスタSRは、これに応じてフォトダイオードアレイ15Lと15Rのフォトダイオードの蓄積電荷に対応する画素増幅回路EACの出力電圧をセンサデータ出力SDATAに順次出力する。
【0053】
CPU11では、このセンサデータ出力SDATAを内蔵のADコンバータで順次AD変換し、内部のRAMに各々格納していく。
なお、後述するように、本発明では、AFの補助光としてストロボ光を使用しており、被写体が低輝度のために焦点検出ができないときには、積分動作中にストロボ光を図示のようにパルス的に発光して、適正積分量を得る。
【0054】
図5は、補助光を兼ねているストロボ制御部20の詳細な構成を示すブロック図である。
図5において、電源Eには電源電圧をストロボが発光可能な電圧になるまで昇圧するDC/DCコンバータ90が並列に接続されている。
【0055】
このDC/DCコンバータ90の出力にはメインコンデンサMCに充電された電圧を測定するメインコンデンサ電圧測定回路91が接続されている。
そして、上記DC/DCコンバータ90の出力には、Xe(キセノン)管95に発光のためのトリガを印加するトリガ回路92が接続されていると共に、ダイオードD1を介して発光エネルギーを蓄えるメインコンデンサMCにも接続されている。
【0056】
そして、電源Eには前記ダイオードD1のカソードに接続されたメインコンデンサMCのエネルギーを消費して発光するXe管95と、このXe管95の発光光量の制御を行う発光光量制御回路93が直列に接続されており、前記発光光量制御回路93には電源Eの供給を制御する電源供給制御回路94が接続されている。
【0057】
上記DC/DCコンバータ90、メインコンデンサ電圧測定回路91、トリガ回路92、発光光量制御回路93の制御は、CPU11によりインターフェースIC12を介して行われる。
【0058】
図6は、本発明の第1の実施の形態のカメラ全体の動作を示したメインルーチンのフローチャートである。
まず、不図示のメインSWがオンされると、CPU11がパワーオンリセットされて動作を開始し、I/Oポートの初期化とRAMの初期化等を行う(ステップS1)。
【0059】
次に、ファーストレリーズ(以下、1RSW)がオンされているかを判断する(ステップS2)。
本発明のカメラのレリーズSW(不図示)は一般的な2段階SWになっており、半押しの第1ストロークで1RSWがオンし、カメラはAFとレンズ駆動等の動作を行い、全押しの第2ストロークでセカンドレリーズスイッチ(以下、2RSW)がオンして露光に至るようになっている。
【0060】
ステップS2で、1RSWがオフならステップS10に移行する。
一方、1RSWがオンであれば、測光部19が動作して被写体輝度の測光を行うことにより、適正露出となる絞り値とシャッタスピード値が演算される(ステップS3)。
【0061】
そして、サブルーチン「AF」が実行されて被写体の焦点検出が行われる。
この焦点検出に基づいて、フォーカシングレンズが合焦位置へ駆動されて、被写体にピントが合わせられる(ステップS4)が、これについては後述する。
【0062】
続いて、このAF動作の結果、合焦したか否かが判断される(ステップS5)が、後述するように、ローコントラスト等でAF不能の場合(検出不能フラグで判断)にも合焦していないと判断される。
【0063】
ここで、合焦していなければステップS9に移行し、合焦するまで露光動作に移行できないようになっている。
一方、合焦している場合には、2RSWがオンされているか否かが判断される(ステップS6)。
【0064】
ここで、2RSWがオフしていればステップS2に戻るが、オンしていれば上記ステップS3で演算した結果に基づいて絞り87、メインミラー42、シャッタ71を制御して露出動作を行う(ステップS7)。
【0065】
この露出動作が終了すると、撮影されたフィルム72が巻上げられて次の駒の位置に給送されて(ステップS8)、一連の撮影動作が終了する。
そして、不図示の表示装置LCD、LEDの表示動作が制御されて(ステップS9)、ステップS2に戻る。
【0066】
また、上記ステップS10では、1RSWや2RSW以外のSWのどれかが操作された場合に応じて、他のSWの状態が検出され、オンされていなければ上記ステップS9に移行する。
【0067】
オンされているSWがある場合には、そのSWに応じた処理が実行された(ステップS11)後に、ステップS9に移行する。
図7は、上記ステップS4におけるサブルーチン「AF」のフローチャートである。
【0068】
まず、図4で説明したタイミングチャートに従ってAFセンサ15の積分動作を行う(ステップS20)。
この積分終了後、全画素のセンサデータをCPU11のRAMに読み込み(ステップS21)、照度補正を行う(ステップS22)。
【0069】
この照度補正は、センサ感度バラツキやAF光学系の周辺光量低下を補正する公知の技術である。
ステップS23では、有害光となる点光源が含まれているか否かを判断するが、この有害光判断の具体的方法については後述する。
【0070】
ステップS24では、有害光判断の結果、設定されている有害光フラグを参照し、有害光が含まれていない場合には、ステップS26に移行する。
また、有害光が含まれている場合には、ステップS25にて有害光のAFセンサ上の位置を記憶する。
【0071】
ステップS26では、有害光の位置が中央ブロック内か否かを判別する。
有害光フラグがクリアされている状態すなわち有害光がない場合、または有害光が中央ブロックにない場合には、ステップS27に移行して中央ブロックの相関演算を行う。
【0072】
中央ブロックとは、図19の(b)に示したそれぞれ左右のセンサの中央部同士のブロックを示している。
この中央ブロック内の相関演算についても後述する。
【0073】
一方、ステップS26で有害光が中央ブロック内にある場合はステップS29に移行し、中央ブロックの相関演算を行わない。
ステップS28では、中央ブロック相関演算の結果が検出不能であるかを判断し、検出不能であればステップS29に進み、検出可能であればステップS35に進む。
【0074】
ステップS29では、有害光位置が右ブロック内か否か判別し、有害光フラグがクリアされている状態または有害光が右ブロックにない場合には、ステップS30に移行して右ブロックの相関演算を行う。
【0075】
右ブロックとは、図19の(b)に示したそれぞれ左右のセンサの右同士のブロックを示している。
右ブロックの相関演算の結果、検出不能であればステップS32に進み、検出可能であれば、ステップS35に進む。
【0076】
ステップ32では、有害光位置が、左ブロック内か否か判別し、有害光フラグがクリアされている状態または有害光が左ブロックにない場合には、ステップS33に移行して左ブロックにない場合は、ステップS33に移行して左ブロックの相関演算を行う。
【0077】
左ブロックとは、図19の(b)に示したそれぞれの左右のセンサの左同士のブロックを示している。
また、有害光が左ブロック内の場合には、全ブロックで検出不能としてリターンする。
【0078】
そして、左ブロック相関演算の結果、焦点検出不能であるか否かを判断し(ステップS35)、検出不能であれば全ブロックで検出不能であるのでリターンする。
【0079】
一方、ステップS28、S32、S34のいずれかで検出可能であれば、ステップS35で測距結果である撮影レンズ41のデフォーカス量を演算し、ステップS36で撮影レンズの収差量を補正する。
【0080】
この収差補正とは、撮影レンズ41の焦点距離の違いによる検出デフォーカス量の差を補正するものである。
次に、撮影レンズ41が既に合焦状態にあるのか否かを判断する(ステップS37)。
【0081】
この判断は、検出フオーカス量が所定の許容値以内にあるかを判断するためである。
そして、すでに、合焦状態にあればレンズ駆動する必要がないので、リターンするが、非合焦であれば上記測距結果であるデフォーカス量に基づいて、合焦までのレンズ駆動量を演算して(ステップS38)、撮影レンズ41を合焦位置まで駆動する(ステップS39)。
【0082】
ステップS35乃至39については公知の技術であり、本発明の主旨と直接関係ないので説明を省略する。
以上のように、有害光を検出した場合は、有害光を含むブロックの相関演算を行わないようにしたので、図19の(b)の点光源(右ブロック)以外の被写体の像についてのみ相関演算を行い、人物に合焦することができる。
【0083】
すなわち、ステップS27の中央ブロック相関演算において、人物の像を検出可能とすることができる。
ここで、図8を参照して、図7のステップS27で実行されるサブルーチン 「中央ブロック相関演算」について説明する。
【0084】
図7のステップS21で読み込まれるセンサデータは、ここでは左センサの被写体像信号L(I)、右センサの被写体像信号R(I)として表記するものとする。
【0085】
まず、変数SL,SR,Fmin,Jに初期値として、それぞれ″5″,″37″,″5″,″8″を代入する(ステップ、S71,S72)。
このSLは被写体像信号L(I)のうちから相関検出する小ブロック素子列の先頭番号を記憶する変数であり、同様に、SRは被写体像信号R(I)のうちから相関検出する小ブロック素子列の先頭番号を記憶する変数であり、Fminは相関最小値を示す変数である。
【0086】
また、Jは被写体像信号R(I)において小ブロックのずらした回数をカウントする変数である。
そして、相関出力F(s)を次式により計算する。
【0087】
Figure 0004245708
この場合、小ブロックの素子数は27であり、この小ブロックの素子数はファインダに表示された測距枠の大きさと検出光学系の倍率によつて定まる。
【0088】
続いて、相関出力F(s)の最小値を検出する。
すなわち、F(s)をFminと比較して、もしF(s)がFminよりも小さければFminにF(s)を代入し、そのときのSLとSRをそれぞれSLMとSRMとして記憶する(ステップS74、S75)。
【0089】
更に、SRとJをデクリメントし(ステップS76)、J=0でなるまで相関演算を繰り返す(ステップS77)。
すなわち、像Lでの小ブロック位置を固定し、像Rでの小ブロック位置を1素子ずつずらせながら相関をとる。
【0090】
そして、J=0になると、次にSLに4をSRに3をそれぞれ加算し、SL=29になるまで相関演算を繰り返す(ステップS78、S79)。
すなわち、像Lでの小ブロックの素子数を4素子づつずらせながら相関演算を繰り返す。
【0091】
以上により、効率的に相関演算を行い、相関出力の最小値を検出することができる。
この相関出力の最小値を示す小ブロックの位置が、最も相関性の高い像信号の位置関係を示している。
【0092】
そして、このときの小ブロックの間隔である2像間隔SRM−SLMを採用する。
そして、検出した最も相関性の高い小ブロック像信号について相関性の判定を行うために、次の式(2),(3)で示す相関出力FMとFPとを計算する(ステップS80)。
【0093】
Figure 0004245708
Figure 0004245708
すなわち、被写体像Rについて最小の相関出力を示す小ブロック位置に対して±1素子だけずらせたときの相関出力を計算する。
【0094】
このとき、FM、Fmin、FPは、図9の(a)、(b)に示すような関係になる。
なお、図9の(a)、(b)の横軸は、光電変換素子の位置(左端からの素子の番号)であり、縦軸は相関出力を示している。
【0095】
相関性の高い場合には、相関出力F(s)は、点SoにおいてSo=0になるが、これに対して、相関性の低い場合にはSoは″0″にならない。
以上までの相関演算を行うことによって、光電変換素子数を片側64個とすると、左右それぞれの両端の約5素子を除いたほぼ全域に渡って相関演算を行ったことになる。
【0096】
続いて、相関性の判定をするために、次式で示す相関性指数SKとFSを求める(ステップS81)。
FM≧FPのとき
SK=(FP+Fmin)/(FM−Fmin) …(4)
FS=FM−Fmin …(5)
FM<FPのとき
SK=(FM+Fmin)/(FP−Fmin) …(6)
FS=FP−Fmin …(7)
なお、図9の(a)、(b)は、FM≧FPのときのみを示している。
【0097】
相関性指数SKは、相関性の高い場合にはSK=1となり、その値が大きくなるほど相関性は低くなる。
また、相関性指数FSは、最も相関性の高い小ブロック像信号のコントラストに相当するので、この値が大きいほどコントラストが高いことを示す。
【0098】
したがって、相関性指数SKとFSとの値を所定の値と比較することによって、検出する像ずれ量に信頼性があるか否かを判断することができる(ステップS82、S83)。
【0099】
ステップS82とS83とのいずれかにおいて信頼性が低いと判断された場合には、検出不能フラグをセットして(ステップS84)、リターンするが、ステップS82とS83のいずれでも信頼性が高いと判断された場合には、検出不能フラグをクリアして(ステップS85)、リターンする。
【0100】
この検出不能フラグを先の図7のステップS28で判断する。
以上のように信頼性がある場合には、2像間隔SRM−SLMを採用する。
この2像間隔SRM−SLMは、画素単位のデータであるので、公知の3点補間等の手法により、より詳細な2像間隔データZRが算出される。
【0101】
そして、EEPROM22にメモリされている合焦時の2像間隔ZR0を用いて、合焦近傍においてデフォーカス量に比例する像ずれ量ΔZR=ZR−ZR0を求める。
【0102】
サブルーチン「右ブロック相関演算」、「左ブロック相関演算」については、上記「中央ブロック相関演算」に対して、変数、初期値等の設定が異なるのみで基本的処理はそれと同様であるので説明は省略する。
【0103】
図10は、ステップS23の有害光判断の概念図である。
図10のセンサデータは、図19の(b)のそれと同じである。
図10は有害光の焦点検出に及ぼす影響が大きい場合を示す。
【0104】
先に説明したように、街灯の像はAFセンサにとって点光源的であり、かつ非常に明るいため、細くて急峻な像となるが、人物の像は背景の街灯やネオンよりも暗く、出力は小さい。
【0105】
すなわち、明暗差が大きいため暗部の中央の像がつぶれた出力となっており、図中のAとBの幅は大きいがCの幅は小さくなり、Cの幅は画素のピッチにもよるが3画素程度である。
【0106】
また、出力のaとbは小さくcは非常に大きくなる。
このようなセンサデータになる場合を検出して有害光有りと判断する。
次に、図11に図7のステップS23のサブルーチン「有害光判断」のフローチャートを示す。
【0107】
まず、全画素の中で最大出力となる値とその画素を探索し、その値をMaxとする(ステップS100)。
これは図10の(a)中のCに対応する。
【0108】
そして、このMaxが第1のスレッシュ値よりも大きいか否かを判断し(ステップS101)、大きくない場合には有害光フラグをクリアして(ステップS110)、リターンする。
【0109】
すなわち、このMaxがある程度大きくない場合には有害光ではあり得ないと判断する。
一方、このMaxが第1のスレッシュ値よりも大きい場合には、最大出力を与える画素の2画素先の画素の出力を求め、その出力をMaxpとする(ステップS102)。
【0110】
更に、最大出力を与える画素の2画素手前の画素の出力を求め、その出力をMaxmとする(ステップS103)。
そして、Max−Maxpが第2のスレッシュ値よりも大きいか否かを判断し(ステップS104)、大きくない場合にはステップS107に移行するが、大きい場合にはMax−Maxmが第2のスレッシュ値よりも大きいか否かを判断し(ステップS105)、大きくない場合にはステップS107に移行する。
【0111】
すなわち、±2画素の範囲でセンサデータが急峻に変化していることを検出し、急峻に変化していない場合には有害光では有り得ないと判断する。
ステップS107では、有害光フラグをクリアして、リターンする。
【0112】
一方、Max−Maxpが第2のスレッシュ値よりも大きく、かつ、Max−Maxmも第2のスレッシュ値よりも大きい場合には、有害光フラグをセットして(ステップS106)、リターンする。
【0113】
次に、本発明の第2の実施の形態について説明するが、その構成は前述した第1の実施の形態のそれと同様である。
図12は、第2の実施の形態によるサブルーチン「AF」のフローチャートが示されている。
【0114】
最初に、ステップS181では、AFセンサ15の積分制御を行う。
ステップS182では、CPU11はAFセンサ15において蓄積された信号をセンサデータとして読み出し、RAMに格納する。
【0115】
ステップS183では、第1の実施の形態と同様に照度補正を行なう。
ステップS184では、RAMに格納されたセンサーデータに基づいて焦点検出演算1を行う。
【0116】
ステップS185では、焦点検出演算1の結果が検出不能か否かを判別することにより、検出できた場合にはステップS186に移行するが、検出不能の場合にはリターンする。
【0117】
ステップS186では、上記焦点検出演算1により算出された像ずれ量ΔZRが、合焦許容範囲より広い所定の範囲内か否かを判定し、範囲外のときにはステップS188に移行する。
【0118】
これは、像ずれ量すなわちデフォーカス量が大きい状態では検出精度が低下するので、次に、説明する有害光影響除去処理を行っても効果的ではないためである。
【0119】
次に、ステップS187では、上記相関性の最も高い検出ブロックSLM,SRMのセンサデータより主要被写体と混在する有害光の有無を判定し、有害光がある場合にはその影響を除去する処理を行う。
【0120】
この有害光影響除去方法については後述する。
ステップS188では、上記焦点検出演算により求められて最終的に採用された像ずれ量ΔZRをデフォーカス量に変換する演算を行う。
【0121】
ステップS189では第1の実施の形態と同様の収差補正を行う。
そして、ステップS190では上記デフォーカス量が合焦許容範囲内にあるか否かを判別して、合焦範囲内にあればリターンする。
【0122】
一方、ステップS190にて非合焦状態であれば、ステップS191では求められたでフォーカス量に基づいてレンズ駆動量を計算し、ステップS192で撮影レンズ41の駆動制御を実行し、リターンする。
【0123】
図13は、図12のステップS184におけるサブルーチン「焦点検出演算1」によるAFセンサデータ(被写体像信号L(i)、R(i))上の検出ブロックのシフト方法を示すものである。
【0124】
このように被写体像信号の全域にわたって効率的に検出演算を行なう。
なお、この「焦点検出演算1」による処理は、第1の実施の形態の「中央ブロック相関演算」と同様であるので説明を省略する。
【0125】
次に、図14に示すフローチヤートに基づいて行われる「有害光影響除去処理」について説明する。
ステップS193においては、上記「焦点検出演算1」による相関性が最も高い検出ブロックSLM内のセンサーデータL(i)について第1の実施の形態のサブルーチン「有害光判断」を適用する。
【0126】
ステップS194において、有害光フラグを参照して、有害光有りの場合にはステップS195は進むが、有害光がない場合にはステップS199に進み、焦点検出演算1の結果を採用してリターンする。
【0127】
ステップS195では、検出された有害光位置に基づいて新しい検出ブロックBLを設定する。
ここで、新検出ブロックBLの設定は、主要被写体と有害光の位置関係に応じて異なる。
【0128】
図16の(a)の場合では、有害光の左端がi=aに位置している。
このとき、センサーデータL(i)内で新検出ブロックBLの最終位置をBLE=aと設定し、検出ブロックBLの画素数Nをa−SLM+1とする。
【0129】
また、先頭位置BLS=SLMである。
また、図16の(b)の場合では、有害光の右端がi=bに位置している。
センサデータL(i)内で新検出ブロックBLの先頭位置BLSは、有害光の右端1=bとし(BLS=b)、最終位置はBLE=SLM+26とする。
【0130】
また、画素数NはSLM+27−bとなる。
ステップS196では、上記新検出ブロックBLについて「焦点検出演算2」が実行されるが、この「焦点検出演算2」については後述する。
【0131】
ステップS197においては、新検出ブロックBLでの検出結果が検出可能か否かを判別し、検出可能の場合にはステップS198にて焦点検出演算2の結果を採用する。
【0132】
一方、検出不能の場合にはステップS199において、焦点検出演算1の結果を採用する。
次に、図15に示されるフローチャートにより焦点検出演算2を説明する。
【0133】
「焦点検出演算2」では、検出ブロックBLについての演算を行う。
ステップS121において、図17に示すようにセンサーデータL(i)、R(i)上の検出ブロックの先頭を示す変数SL、SRにそれぞれ初期値としてBLS、Xs+BLS+d(Xsは合焦時のシフト量)を入力する。
【0134】
次に、ステップS122において、変数Jに初期値2*dを設定する。
JはセンサーデータR(i)でのブロックのシフト回数をカウントするための変数である。
【0135】
次に、ステップS123において、以下に示すような相関演算式(8)の計算を行う。
F(s)=Σ|L(SL+i)−R(SR+i)|(i=0〜N)…(8)
s=SR−SL
続いて、相関出力F(s)の最小値を検出するために、ステップS124にてF(s)とFminとを比較してF(s)がFminよりも小さければFminにF(s)を代入し、そのときのSL、SRをSL1、SR1として記憶する (ステップS125)。
【0136】
ここで、Fminは予め所定の初期値を設定しておく。
一方、ステップS124にて、F(s)がFmin以上の場合には、そのままステップS126に進む。
【0137】
ステップS126ではSR、Jをそれぞれデクリメントして、次のセンサーデータR(i)のブロックを指定する。
ステップS127では、J=0か否かを判定する。
【0138】
ここで、Jが0でなければ上記演算を繰り返すために、ステップS123に戻る。
このようにステップS123乃至S128では、センサーデータL(i)のブロック位置をBLSに固定したままでセンサーデータR(i)のブロック位置を1画素ずつ、回数J回ずらすことにより、合焦時シフト量xsを中心にdの範囲で合焦近傍のみシフト量を変化させながら相関をとる動作を繰り返す。
【0139】
図17は検出ブロックBLに対するセンサデータR(i)上の検出ブロックBRの位置シフトの様子を示している。
そして、J=0となると、ステップS128でFM、FPの計算を行い、ステップS129で、信頼性指数FS、SKの計算を行う。
【0140】
この計算方法は前述の式(4)乃至(7)と同一であるので、その説明については省略する。
次に、ステップS130、S131にて、上記信頼性指数FS、SKを判定値FSth2、SKth2と比較し、信頼性の有無を判別する。
【0141】
この判定値は、検出ブロックの画素数に応じて、以下のように変更される。
ここで、検出ブロック内の画素数が少ない方が、相関出力F(s)が小さくなりやすいので、信頼性指数FS、SKの判定値は、検出画素数Nとすると、例えば
FSth2=N/27*FSth …(9)
SKth2=27/N*Skth …(10)
のように画素数に応じて設定している。
【0142】
そして、信頼性がない場合(FS≦FSth2またはSK>SKth2)には、検出不能としてリターンするが、信頼性がある場合(FS>FSth2且つSK≦SKth2)には、ステップS132に進んで検出不能フラグをクリアし、リターンする。
【0143】
また、ステップS133では検出不能フラグをセットしてリターンする。
なお、第2の実施の形態ではセンサデータL(i)内の最良相関ブロックSLMについてのみ、有害光判断を行なっているが、センサデータR(i)についてのみ有害光判断を行なってもよいし、両方の結果を考慮してもよい。
【0144】
また、撮影レンズの焦点距離や撮影倍率等の条件を考慮して、有害光判断を行なうか否かを判別するようにしてもよい。
具体的には、有害光が遠近混在しやすい焦点距離が小さいか又は撮影倍率が所定値より小さい場合だけ有害光判断を行ってもよい。
【0145】
以上のように、本発明では、主要被写体の背景に有害光被写体があっても、その有害光を分離して焦点検出演算を行なうことによりその影響を排除し、AF精度を向上させることが可能となる。
【0146】
なお第1及び第2の実施の形態では、TTL位相差方式の焦点検出装置に適用しているが、外光式パッシブ測距装置に適用してもデフォーカス量データが距離データに置き換わるだけであり、まったく同様の効果が得られる。
【0147】
また、以上の処理を夜景モードが選択されている場合にだけ実行するようにして、他の撮影モードの場合には実行しないようにしてもよい。
本発明の焦点調節装置によれば、測距視野内や被写体の背景に、夜景撮影における街灯のような有害光があっても、その影響を排除してAF精度を向上させることができるという顕著な効果が得られる。
【0148】
【発明の効果】
従って、以上説明したように、本発明によれば、焦点検出等の測距動作に対して有害光の及ぼす影響を除去し、主要被写体に対するAF精度の向上を可能とする測距装置を提供することができる。
【図面の簡単な説明】
【図1】図1は、本発明の第1の実施の形態によるカメラの自動焦点調節装置として適用可能な測距装置の概念を示したブロック図である。
【図2】図2は、本発明の自動焦点調節装置を適用したカメラの全体の構成を示したブロック図である。
【図3】図3は、AFセンサ15の内部ブロック構成を示す図である。
【図4】図4は、CPU11とAFセンサ15の動作を説明するタイミングチャートである。
【図5】図5は、補助光を兼ねているストロボ制御部20の詳細な構成を示すブロック図である。
【図6】図6は、本発明の第1の実施の形態のカメラ全体の動作を示したメインルーチンのフローチャートである。
【図7】図7は、上記ステップS4におけるサブルーチン「AF」のフローチャートである。
【図8】図8は、図7のステップS27で実行されるサブルーチン「中央ブロック相関演算」について説明するためのフローチャートである。
【図9】図9は、FM、Fmin、FPの関係を示すもので、図9の(a)、(b)の横軸は、光電変換素子の位置(左端からの素子の番号)であり、縦軸は相関出力を示している。
【図10】図10は、図7のステップS23で実行されるサブルーチン「有害光判断」の概念図である。
【図11】図11は、図7のステップS23で実行されるサブルーチン「有害光判断」のフローチャートである。
【図12】図12は、第2の実施の形態によるサブルーチン「AF」のフローチャートである。
【図13】図13は、図12のステップS184におけるサブルーチン「焦点検出演算1」によるAFセンサデータ(被写体像信号L(i)、R(i))上の検出ブロックのシフト方法を示す図である。
【図14】図14は、「有害光影響除去処理」について説明するためのフローチヤートである。
【図15】図15は、焦点検出演算2を説明するためのフローチヤートである。
【図16】図16は、検出された有害光位置に基づいて新しい検出ブロックBLを主要被写体と有害光の位置関係に応じて設定する場合の具体例を説明するための図である。
【図17】図17は、センサデータL(i)、R(i)上の検出ブロックの位置シフトの先頭を示す変数SL、SRにそれぞれ初期値としてBLS、Xs+BLS+d (xsは合焦時のシフト量)を入力する様子を示す図である。
【図18】図18は、点光源状の直接光がAFセンサの有効受光領域の端に入射した場合、像の重心位置がずれるために誤測距となることを説明するための図である。
【図19】図19は、従来技術を説明するための図である。
【符号の説明】
1…測距手段、
2…有害光判断手段、
3…測距演算方法変更手段、
4…制御手段、
41…撮影レンズ、
42…メインミラー、
43…ファインダ光学系、
44…サブミラー、
45…AF光学系、
51…第1群レンズ、
52…第2群レンズ、
53…第3群レンズ、
54…第4群レンズ、
55…第5群レンズ、
87…絞り、
61…スクリーン、
62…コンデンサレンズ、
63…プリズム、
64…モールドダハミラー、
65…接眼レンズ、
71…シャッタ、
72…フィルム、
81…視野絞り、
82…赤外カットフィルタ、
83…コンデンサレンズ、
84…ミラー、
85…再結像絞り、
86…再結像レンズ、
10…カメラ制御部、
11…中央処理装置(CPU)、
12…インターフェースIC、
13…露光制御部、
14…フィルム駆動部、
15…AFセンサ、
16…絞り駆動部、
17…ズーム制御部、
18…AFレンズ制御部、
19…測光部、
20…ストロボ制御部、
21…スイッチ群、
22…EEPROM、
15L、15R…フォトダイオードアレイ、
23…ズームモータ、
24…エンコーダ、
25…AFモータ、
26…エンコーダ、
EAC…画素増幅回路、
SR…シフトレジスタ、
SCC…センサ制御回路。

Claims (3)

  1. 光電変換素子列を有する光電変換素子を含み、撮影レンズの焦点状態、または被写体までの距離を上記光電変換素子列の出力に基づき所定の測距演算方法により検出して測距信号を出力する測距手段と、
    上記測距手段による測距結果に悪影響を及ぼす点光源状の被写体による有害光の影響があるかを上記光電変換素子列の出力に基づき判定する有害光判定手段と、
    上記有害光判定手段において有害光が含まれていると判断された場合には、有害光の影響を除去するように上記測距手段による所定の測距演算方法を変更する制御手段と、
    を具備し、
    上記有害光判定手段は上記光電変換素子列上の有害光の位置を検出し、上記制御手段は上記有害光判定手段によって検出された上記有害光の位置に基づいて上記測距手段により測距演算を行う検出ブロックとして、あらかじめ決められた複数の検出ブロックのうちから上記有害光の位置を含まない検出ブロックを選択する
    ことを特徴とする測距装置。
  2. 光電変換素子列を有する光電変換素子を含み、撮影レンズの焦点状態、または被写体までの距離を上記光電変換素子列の出力に基づき所定の測距演算方法により検出して測距信号を出力する測距手段と、
    上記測距手段による測距結果に悪影響を及ぼす点光源状の被写体による有害光の影響があるかを上記光電変換素子列の出力に基づき判定する有害光判定手段と、
    上記有害光判定手段において有害光が含まれていると判断された場合には、有害光の影響を除去するように上記測距手段による所定の測距演算方法を変更する制御手段と、
    を具備し、
    上記有害光判定手段は上記光電変換素子列上の有害光の位置を検出し、上記制御手段は上記有害光判定手段によって検出された上記有害光の位置に基づいて上記測距手段により測距演算を行う検出ブロックを、上記有害光の位置を含まないように設定する
    ことを特徴とする測距装置。
  3. 上記有害光判定手段は上記光電変換素子列の画素出力の最大値が第1判定値より大きく、かつ、上記最大値の画素出力と当該画素出力が最大値の画素の両側において2画素離れた位置の画素出力との差が第2判定値より大きい場合に、有害光が存在すると判定する
    ことを特徴とする請求項1または2に記載の測距装置。
JP32229398A 1998-11-12 1998-11-12 測距装置 Expired - Fee Related JP4245708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32229398A JP4245708B2 (ja) 1998-11-12 1998-11-12 測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32229398A JP4245708B2 (ja) 1998-11-12 1998-11-12 測距装置

Publications (2)

Publication Number Publication Date
JP2000147366A JP2000147366A (ja) 2000-05-26
JP4245708B2 true JP4245708B2 (ja) 2009-04-02

Family

ID=18142018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32229398A Expired - Fee Related JP4245708B2 (ja) 1998-11-12 1998-11-12 測距装置

Country Status (1)

Country Link
JP (1) JP4245708B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5499432B2 (ja) * 2007-10-05 2014-05-21 ソニー株式会社 撮像装置
JP5361502B2 (ja) * 2009-04-08 2013-12-04 キヤノン株式会社 焦点検出装置および方法、撮像装置
CN113631944A (zh) * 2019-03-27 2021-11-09 松下知识产权经营株式会社 距离测量装置以及图像生成方法

Also Published As

Publication number Publication date
JP2000147366A (ja) 2000-05-26

Similar Documents

Publication Publication Date Title
US7414231B2 (en) Focus-state detecting device, image sensing apparatus and image sensing system having same and lens unit mounted thereon
JP5597078B2 (ja) 撮像装置及びその制御方法
JP5424708B2 (ja) 焦点検出装置
JP2008122534A (ja) 撮像装置及びその制御方法及びプログラム
US7940323B2 (en) Image-pickup apparatus and control method thereof
JP3963568B2 (ja) カメラの自動焦点調節装置
US6498900B1 (en) Automatic focusing apparatus
JP4350199B2 (ja) カメラ
JP4245708B2 (ja) 測距装置
JP2000171685A (ja) 焦点検出装置
JP2012155149A (ja) 撮像装置及びその制御方法
JP6742733B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP4063924B2 (ja) カメラの自動焦点調節装置
JP3780051B2 (ja) カメラの自動焦点調節装置
JP4380300B2 (ja) カメラシステムおよび閃光装置
JP2006072084A (ja) 自動焦点検出装置およびカメラシステム
JP4810768B2 (ja) カメラ
CN109387992B (zh) 能够充分确保发光精度的摄像设备及其控制方法
JP4532169B2 (ja) 焦点検出装置
JP2009003261A (ja) 焦点調節装置、撮像装置および、焦点調節方法
JP6128193B2 (ja) 撮像装置
JP2006017854A (ja) 撮像装置及び閃光発光装置
JP2006146058A (ja) カメラの測光装置
JP3335702B2 (ja) カメラ
JP2000298232A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees