JP4085720B2 - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP4085720B2
JP4085720B2 JP2002193473A JP2002193473A JP4085720B2 JP 4085720 B2 JP4085720 B2 JP 4085720B2 JP 2002193473 A JP2002193473 A JP 2002193473A JP 2002193473 A JP2002193473 A JP 2002193473A JP 4085720 B2 JP4085720 B2 JP 4085720B2
Authority
JP
Japan
Prior art keywords
subject
imaging
evaluation value
optical system
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002193473A
Other languages
Japanese (ja)
Other versions
JP2004037732A (en
Inventor
行 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002193473A priority Critical patent/JP4085720B2/en
Publication of JP2004037732A publication Critical patent/JP2004037732A/en
Application granted granted Critical
Publication of JP4085720B2 publication Critical patent/JP4085720B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラに関する。
【0002】
【従来の技術】
従来、デジタルカメラに用いられているAF方式には、コントラスト検出方式や位相差方式などがある。また、外付けのAFモジュールを装着してカメラから被写体までの距離を検出する方式もある。コントラスト検出方式は出力画像のコントラストに基づいて合焦動作を行うものであり、フォーカスレンズを少しずつ移動してコントラストがピークとなる位置にレンズを位置決めする。位相差方式では、撮影レンズから撮像光学系に導かれる光束の一部をAFセンサに導き、撮影レンズの空中像がフィルム面の前にあるか後にあるかを像の空間的な位相のズレから調べる。
【0003】
【発明が解決しようとする課題】
しかしながら、コントラスト検出方式では、フォーカスレンズを少しずつ移動させながらコントラストがピークとなる位置を探す方式であるため、ピント合わせに要する時間が他の方式に比べて長いという欠点があった。また、位相差方式では、レンズ系の小さなデジタルカメラでは十分な基線長が得られないため精度が出難いという問題があった。さらに、外付けAFモジュールを使用する方法では、カメラの撮像素子に結像される被写体像とAFモジュールで捉えたピント合わせ用の被写体像とが必ずしも一致しないため、ピントがまったく合わないというおそれがあった。
【0004】
本発明の目的は、パララックスを利用して測距を行うことにより、精度良いAF動作を素早く行うことができるデジタルカメラを提供することにある。
【0005】
【課題を解決するための手段】
(1)請求項1の発明によるデジタルカメラは、撮影光学系により結像された撮影用被写体像を撮像する撮影用撮像素子と、撮影用撮像素子よりも画素数が少なく、且つAF光学系により結像されたAF用被写体像を撮像するAF用撮像素子と、撮影用撮像素子の撮像データとAF用撮像素子の撮像データとに基づき、パララックスを利用して被写体距離を演算する被写体距離演算手段と、撮影用撮像素子の撮像データに基づいて撮影用被写体像の焦点評価値を演算する評価値演算手段と、撮影光学系のフォーカスレンズを、分割された複数の移動範囲から成る当該フォーカスレンズの可動範囲で移動する移動手段と、被写体距離演算手段の演算結果に基づいてフォーカスレンズを移動した後に、その移動後のフォーカスレンズの位置が含まれる移動範囲内において、該フォーカスレンズをスキャン移動させつつ評価値演算手段により所定タイミングで繰り返し演算される焦点評価値に基づいてフォーカスレンズを移動して合焦動作を行わせる制御手段と、合焦動作開始時の撮影用被写体のボケ具合がAF用被写体像のボケ具合とほぼ同等となるように調節する調節手段と、を備えたことを特徴とする
(2)請求項2の発明は、請求項1に記載のデジタルカメラにおいて、調整手段は、被写体光束の光量を調節する絞り機構によりボケ具合を調整することを特徴とする。
(3)請求項3の発明は、請求項1または2に記載のデジタルカメラにおいて、AF光学系が、デジタルカメラのファインダ光学系の一部を含むものである。
【0006】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を説明する。図1は本発明によるデジタルカメラ1の概略構成を示す図である。撮影光学系2は被写体光L1を撮影用のCCD撮像素子3に結像する。一方、4はファインダ光学系であり、撮影光学系2の光軸とファインダ光学系4の光軸とは距離aだけ離れている。この距離aが基線長である。ファインダ光学系4の結像レンズ5を通過した被写体光L2は、ハーフミラー6により光束L21と光束L22とに分割される。
【0007】
光束L21は、ハーフミラー6を透過してファインダ接眼レンズ7へと入射する。一方、ハーフミラー6で反射された光束L22はAF用CCD撮像素子8に導かれ、その撮像面に結像される。すなわち、CCD撮像素子3は撮影光学系2により結像された被写体像を撮像し、CCD撮像素子8はファインダ光学系4の結像レンズ5により結像された被写体像を撮像することになる。なお、CCD撮像素子8は撮影ではなくAF用に用いるので、撮影用CCD撮像素子3よりも画素数は小さくて良い。例えば、撮影用CCD撮像素子3に300万画素のCCDを用いた場合でも、AF用CCD撮像素子8には同様の300万画素が必ずしも必要ではなく、30万画素程度でも十分である。なお、本実施の形態ではCCD型の撮像素子を用いているが、CCD型に限らず使用することができる。
【0008】
図2は図1に示したデジタルカメラ1の機能ブロック図である。撮影光学系2のフォーカシングレンズ(不図示)はドライバ10により駆動される。ドライバ10は、フォーカシングレンズを駆動する駆動機構とその駆動回路とを備えている。撮影光学系2とCCD撮像素子3との間には絞り11が設けられており、絞り11はドライバ12により駆動される。各ドライバ10,12は、それぞれメインCPU13により制御される。
【0009】
14はCCD撮像素子3に関するCPUであり、ドライバ15を介してCCD撮像素子3の駆動制御を行うとともに、CCD撮像素子3の撮像信号に基づいた各種画像処理を行う。画像処理後の撮影画像データは記録媒体16に記録される。一方、17はCCD撮像素子8に関するCPUであり、ドライバ18を介してCCD撮像素子8の駆動制御を行うとともに、CCD撮像素子8の撮像信号に基づいた各種画像処理を行う。
【0010】
メインCPU13には、像ズレに基づいた三角測距方式により被写体距離を算出する第1のAF演算部131と、コントラスト検出方式によりAF演算を行う第2のAF演算部132とが設けられている。AF演算部131には、CCD撮像素子3の撮像信号による画像データおよびCCD撮像素子8の撮像信号による画像データの両方が入力される。一方、コントラスト検出方式でAF演算を行う場合には、CCD撮像素子3の撮像信号による画像データのみが評価値演算部133に入力され、その演算結果がAF演算部132に入力される。なお、以下では、これらの画像データのことも撮像信号と呼ぶことにする。
【0011】
評価値演算部133には、撮像信号から所定の帯域の高周波成分を抽出するバンドパスフィルタ(不図示)が設けられている。評価値演算部133における高周波成分抽出は撮像範囲内の所定AF領域の撮像信号に対して行われ、抽出された高周波成分の絶対値をそのAF領域内で積分することにより焦点評価値が演算される。AF演算部132では、後述するように焦点評価値のピーク位置の演算が行われる。AF演算部131で演算された被写体距離、評価値演算部133で算出された焦点評価値およびAF演算部132で算出されたピーク位置は記憶部134に記憶される。なお、焦点評価値はフォーカスレンズ位置と対で記憶される。
【0012】
《AF動作の説明》
次に、本実施の形態のデジタルカメラ1におけるAF動作について説明する。本実施の形態では、(1)AF演算部131の演算結果を用いた、すなわち、三角測距による被写体距離のみを用いたAF動作と、(2)三角測距によるAF動作およびAF演算部132の演算結果を用いるコントラスト検出方式によるAF動作の両方を用いる場合について説明する。
【0013】
まず、本実施の形態のAF動作例を説明する前に、三角測距によるAF動作とコントラスト検出方式によるAF動作とを個別に説明する。
(三角測距によるAF動作)
三角測距による被写体距離の算出方法について説明する。図3は被写体距離D、基線長aおよび被写体像のズレ量dとの関係を示す図である。なお、説明を簡単にするために、撮影光学系2の焦点距離f2と結像レンズ5の焦点距離f5とを等しいと仮定し、その値をfとする。実際には、f2≠f5であってCCD撮像素子3上の被写体像とCCD撮像素子8上の被写体像とは大きさが異なるが、ソフト的に両方の画像の大きさを等しくすればf2=f5=fと仮定したことと同じになる。
【0014】
基線長aは撮影光学系2の光学軸と結像レンズ5の光学軸との距離であり、互いの光学軸が一致しないとパララックス(視差)が生じる。20Aは、撮影光学系2によりCCD撮像素子3上に結像された被写体20の像である。一方、20Bは、結像レンズ5によりCCD撮像素子8上に結像された被写体20の像である。図3では被写体20はほぼ撮影光学系2の光学軸上にあり、被写体像20AはCCD撮像素子3の中央に結像される。一方、結像レンズ5に関しては被写体20は光軸外にあるため、被写体像20BはCCD撮像素子8の中央から距離dだけ離れた位置に結像される。このとき、被写体距離Dと基線長aとの間には次式(1)の関係が成り立つ。
【数1】
D=f・a/d …(1)
【0015】
図4(a)はCCD撮像素子3で撮像された画像21を示しており、図4(b)はCCD撮像素子8で撮像された画像22を示している。図4では、画像21,22を同じ大きさで表示した。画像21の場合には、図3の被写体20は画像21の中央にある。また、画像22の場合には、被写体20は中央よりも右寄りに距離d’だけずれている。このズレ量d’は図3のズレ量dに対応しており、比例定数kを用いてd’=k・dのように表せる。一方、被写体距離が無限大とみなせるぐらい遠方にある被写体23,24の場合には、画像21における位置と画像22における位置とが同じになる。なお、図3では被写体20の上下・左右が反転した像20A,20BがCCD撮像素子3,8に結像されているので、像20Bは中央よりも左側にずれている。
【0016】
AF演算部131では、CCD撮像素子3およびCCD撮像素子8の各撮像信号に基づいて図3のズレ量dを算出し、そのズレ量dと式(1)とから被写体距離Dを演算する。式(1)のfには、撮影光学系2の焦点距離f2が用いられる。焦点距離f2,f5や基線長aは予め記憶部134に記憶されている。メインCPU13は、AF演算部131で算出された被写体距離Dに基づいて撮影光学系2のフォーカスレンズを移動する。
【0017】
CCD撮像素子3,8の撮像信号に基づくズレ量dの算出方法は、従来の三角測距に用いられている方法と同様であり、以下では、その原理の概略を説明する。図4(a)に示した領域25はAF領域を表しており、このAF領域25内の被写体にピントが合うようにAF動作が行われる。すなわち、CCD撮像素子3から出力された撮像信号の内の、AF領域25の被写体に対応する撮像信号が被写体距離Dの算出に用いられる。
【0018】
一方、CCD撮像素子8の場合には、AF領域25と同位置の領域を含む右側に延びる帯状領域26の撮像信号がAF演算に用いられる。このように、右側に長い領域26を設定する理由は、図4(b)に示すように、CCD撮像素子8に結像される被写体像はCCD撮像素子3に撮像される被写体像よりも常に右側にずれるためである。
【0019】
図5は、AF領域25の撮像信号および領域26の撮像信号を模式的に示したものである。AF領域25は左右方向に4個の分割領域A1〜A4に分割され、斜線で信号の大きさを表している。また、領域26は左右方向に12個の分割領域B1〜B12に分割され、AF領域25と同様に斜線で信号の大きさを表した。図5に示す例では、分割領域B4〜B7の信号パターンと分割領域A1〜A4の信号パターンとがほぼ同じになっている。すなわち、分割領域B4〜B7に結像された被写体像と分割領域A1〜A4に結像された被写体像は、同一被写体であると判定される。
【0020】
分割領域B1〜B12の一分割領域分のズレ量をgとすれば、AF領域25で捉えられた被写体像の領域26におけるズレ量は3gということになる。このズレ量3gが図3のズレ量dに等しい。3g=dの関係と式(1)とから、被写体距離Dが次式(2)で算出される。
【数2】
D=f・a/3g …(2)
【0021】
本実施の形態では、個別に設けられた二つの撮像系で撮像された被写体像を用いて三角測距を行っているので、基線長aを十分な距離に設定することが可能となり、精度良く三角測距を行うことができる。また、AF用CCD撮像素子8の結像光学系にファインダ光学系4の結像レンズ9を兼用して用いているので、コストアップおよびカメラの大型化を極力抑えることができる。
【0022】
(コントラスト検出方式によるAF動作)
次に、コントラスト検出方式によるAF動作について説明する。図6は、焦点評価値の一例を示す図であり、横軸はフォーカスレンズのレンズ位置を表しており、縦軸は焦点評価値の大きさを表している。曲線Lは、図4(a)のAF領域25内の被写体に対して、フォーカスレンズを至近側から無限側まで移動させたときに得られる焦点評価値を示している。曲線Lはレンズ位置Pにピークを有しており、レンズ位置Pで被写体像のコントラストが最大となる。すなわち、被写体にピントが合ったことになる。このように、コントラスト検出方式では、焦点評価値がピークとなる位置にフォーカスレンズを移動することにより合焦を行わせる。
【0023】
ピーク位置の検出には、一般的に「山登り合焦動作」と呼ばれる方法が用いられる。x3は山登り開始時のフォーカシングレンズ位置であり、そのときの焦点評価値はy3である。なお、レンズ位置x3および焦点評価値y3は図2の記憶部134に記憶される。合焦動作を開始すると、例えばフォーカスレンズを至近側に所定量移動して、移動後の位置x4における焦点評価値y4を算出する。
【0024】
次いで、算出された焦点評価値y4と記憶部134に記憶されている移動開始時の焦点評価値y3とを比較する。図6の場合、得られた焦点評価値y4は焦点評価値y3よりも大きいので焦点評価値は移動方向に関して増加傾向にあり、焦点評価値がピークとなるレンズ位置Pはレンズ位置x4よりも至近側にあると判定される。このように至近側と判定されるとフォーカシングレンズをさらに至近側に所定量だけ移動し、移動後のレンズ位置x5における焦点評価値y5を算出する。その後、焦点評価値y4と焦点評価値y5とを比較する。
【0025】
2回目の移動では、レンズ位置x5の焦点評価値y5はレンズ位置x4の焦点評価値y4よりも小さいと判定される。すなわち、ピーク位置Pはレンズ位置x5よりも無限側にあると判定される。そこで、データ(x3、y3)、(x4、y4)、(x5、y5)に基づく補間演算を行って焦点評価値のピーク位置Pを算出し、そのピーク位置Pにフォーカシングレンズを移動する。このように、山登り合焦動作では、「レンズ移動」→「焦点評価値の算出」→「焦点評価値の比較」という一連の処理を繰り返し行うことにより、フォーカシングレンズを焦点評価値のピーク位置Pに移動する。なお、レンズ移動の際には、現在位置の焦点評価値と前回に得られた焦点評価値とを比較することにより移動方向が決定される。ところで、動作開始時のレンズ位置x3がピーク位置Pから大きく離れている場合には、繰り返しを何回も行わないとピーク位置Pを検出することができない。そのため、コントラスト検出方式のAF動作は、時間がかかるという欠点があった。
【0026】
《具体的なAF動作例の説明》
次に、前述した2種類のAF動作(1),(2)について説明する。
・AF動作(1)
AF動作(1)では、三角測距によるAF動作のみを行う。すなわち、図2のFA演算部131において図5のズレ量3gを検出し、式(2)により被写体距離Dを算出する。そして、算出された被写体距離Dに応じた距離だけ撮影光学系2のフォーカスレンズを移動する。そのため、従来の「山登り合焦動作」を用いるコントラスト検出方式だけのAF動作に比べて、FA動作時間を短縮することができる。
【0027】
・AF動作(2)
AF動作(2)では、三角測距とコントラスト検出方式とを兼用する。図7および図8は、AF動作(2)の第1の例および第2の例を説明する図である。第1の例では、まず三角測距により被写体距離Dを演算し、被写体距離Dに基づくレンズ位置x7を算出する。そして、フォーカスレンズを、AF開始時のレンズ位置x6から算出されたレンズ位置x7へと移動する。ここまでは、AF動作(1)と同様である。その後、レンズ位置x7からコントラスト検出方式による山登り合焦動作を行って、フォーカスレンズをピーク位置Pに移動する。このAF動作の場合には、三角測距によるレンズ位置x7とピーク位置Pとの間にズレが生じた場合でも精度良いAF動作が行える。
【0028】
一方、図8に示す第2の例では、フォーカスレンズの可動範囲を3つの範囲H1,H2,H3に分割する。なお、分割数は3に限らずいくつでも良い。まず、三角測距により被写体距離Dを算出し、対応するレンズ位置が範囲H1,H2,H3のいずれに含まれるかを判定する。図8の例は三角測距で得られたレンズ位置が範囲H2に含まれている場合であり、この場合にはフォーカスレンズを範囲H2の無限側境界位置x8に移動する。その後、フォーカスレンズをレンズ位置x8からレンズ位置x9まで移動させ、その移動の間に評価値演算部133による焦点評価値演算を所定タイミングで繰り返し行う。このようにしてサンプリングされた複数の焦点評価値は各サンプリング時のレンズ位置と対で記憶部134に記憶される。
【0029】
AF演算部132では、サンプリングされた焦点評価値に基づいてピーク位置Pを演算する。ピーク位置Pが得られたならば、フォーカスレンズをピーク位置に移動する。このようにしてAF動作が完了する。この第2の例の場合には、動作速度の速い三角測距による大まかなレンズ移動を行って、その後、範囲H2内においてフォーカスレンズをスキャン移動して焦点評価値のピーク位置を検出し、そのピーク位置にフォーカスレンズを移動するようにした。その結果、AF精度を保持しつつAF動作の高速化を図ることができる。
【0030】
また、第2の例の場合の三角測距では、ピーク位置Pが範囲H1,H2,H3のいずれにあるかが分かれば良いので、厳密な測距を行う必要が無く、三角測距演算の簡略化を図ることができる。また、コントラスト検出方式のAF動作でも「山登り合焦動作」ではなく、スキャン移動で範囲H2内の焦点評価値をサンプリングをしてからピーク位置Pを探すようにしたので、AF動作の高速化が図れる。
【0031】
なお、スキャン開始位置を無限遠側の境界位置x8としたが、至近側の境界位置x9としても良い。さらに、レンズ可動範囲を多数に分割し、「スキャン合焦動作」に変えて「山登り合焦動作」を行わせるようにしても良い。その場合、山登り合焦動作の開始は、分割範囲のどちらの境界から行わせてもよいし、分割範囲の例えば中央位置から行わせても良い。
【0032】
上述した実施の形態では撮影光学系2はズーム光学系ではなかったが、撮影光学系2をズーム光学系とした場合でも本発明は同様に適用することができる。その場合、ズームに連動して駆動される変倍レンズをファインダ光学系4に設けて、CCD撮像素子3の撮像範囲とCCD撮像素子8撮像範囲とを一致させるようにする。ところで、二つのCCD撮像素子3,8で撮像された画像はボケ具合が等しいのが好ましい。一般的に、ファインダ側の被写体像はボケが小さいので、AF動作中はCCD撮像素子8側の絞り11を絞り込むようにすると良い。それによって、AF精度のより一層の向上が図れる。
【0033】
以上説明した実施の形態と特許請求の範囲の要素との対応において、CCD撮像素子3は撮影用撮像素子を、CCD撮像素子8はAF用撮像素子を、結像レンズおよびハーフミラー6はAF光学系を、第1のAF演算部131は被写体距離演算手段を、メインCPU13およびドライバ10は制御手段および移動手段を、絞り11およびドライバ12は絞り機構を、絞り11,ドライバ12およびメインCPU13は調整手段をそれぞれ構成する。
【0034】
【発明の効果】
以上説明したように、本発明によれば、撮影画像を撮像するための撮影光学系および撮影用撮像素子とは別に、AF用撮像素子とAF光学系を設け、各撮像素子で撮像された被写体像のパララックスを利用して被写体距離を算出して合焦動作を行い、さらに、焦点評価値に基づく合焦動作を行うようにしたので、AF動作を精度良くかつ素早く行うことができる。
【図面の簡単な説明】
【図1】図1は本発明によるデジタルカメラ1の概略構成を示す図である。
【図2】デジタルカメラ1の機能ブロック図である。
【図3】被写体距離D、基線長aおよび被写体像のズレ量dとの関係を示す図である。
【図4】撮像画像を示す図であり、(a)はCCD撮像素子3で撮像された画像で、(b)はCCD撮像素子8で撮像された画像である。
【図5】AF領域25および領域26の撮像信号を模式的に示したものである。
【図6】焦点評価値の一例を示す図である。
【図7】AF動作(2)の第1の例を説明する図である。
【図8】AF動作(2)の第2の例を説明する図である。
【符号の説明】
1 デジタルカメラ
2 撮影光学系
3,8 CCD撮像素子
4 ファインダ光学系
5 結像レンズ
6 ハーフミラー
7 ファインダ接眼レンズ
10,12,15,18 ドライバ
11 絞り
13,14、17 CPU
16 記録媒体
20 被写体
25 AF領域
26 帯状領域
131 第1のAF演算部
132 第2のAF演算部
133 評価値演算部
134 記憶部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera.
[0002]
[Prior art]
Conventional AF methods used in digital cameras include a contrast detection method and a phase difference method. There is also a method for detecting the distance from the camera to the subject by attaching an external AF module. The contrast detection method performs a focusing operation based on the contrast of the output image, and moves the focus lens little by little to position the lens at a position where the contrast reaches a peak. In the phase difference method, a part of the light beam guided from the photographic lens to the imaging optical system is guided to the AF sensor, and whether the aerial image of the photographic lens is in front of or behind the film surface is determined from the spatial phase shift of the image. Investigate.
[0003]
[Problems to be solved by the invention]
However, the contrast detection method is a method of searching for a position where the contrast reaches a peak while moving the focus lens little by little, and thus has a drawback that the time required for focusing is longer than that of other methods. Further, the phase difference method has a problem that it is difficult to obtain accuracy because a sufficient base line length cannot be obtained with a digital camera having a small lens system. Further, in the method using the external AF module, the subject image formed on the image sensor of the camera and the subject image for focusing captured by the AF module do not always match, and there is a risk that the focus will not be achieved at all. there were.
[0004]
An object of the present invention is to provide a digital camera that can quickly perform an accurate AF operation by performing distance measurement using parallax.
[0005]
[Means for Solving the Problems]
(1) A digital camera according to a first aspect of the present invention is a photographic image pickup device that picks up a photographic subject image formed by a photographic optical system , and has a smaller number of pixels than the photographic image pickup device, and an AF optical system. Subject distance calculation that calculates the subject distance using parallax based on the AF imaging element that captures the formed AF subject image, the imaging data of the imaging sensor and the imaging data of the AF imaging element A focus evaluation value calculating means for calculating a focus evaluation value of a photographic subject image based on imaging data of a photographic imaging element, and a focus lens of the photographic optical system, the focus lens including a plurality of divided movement ranges a moving means for moving the movable range, after moving the focus lens on the basis of the calculation result of the subject distance calculating means, including the position of the focus lens after the movement That within the moving range, and control means on the basis of the focus evaluation value that is repeatedly calculated at a predetermined timing to perform the focusing operation by moving the focus lens by the evaluation value computing means while scanning moving the focus lens, if Adjusting means for adjusting the degree of blur of the shooting subject at the start of the focusing operation to be substantially equal to the degree of blur of the AF subject image .
(2) The invention of claim 2 is the digital camera according to claim 1, wherein the adjusting means adjusts the degree of blur by a diaphragm mechanism that adjusts the amount of light of the subject light beam.
(3) The invention of claim 3 is the digital camera according to claim 1 or 2, wherein the AF optical system includes a part of a finder optical system of the digital camera.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a schematic configuration of a digital camera 1 according to the present invention. The photographing optical system 2 forms an image of the subject light L1 on the CCD image pickup device 3 for photographing. On the other hand, 4 is a finder optical system, and the optical axis of the photographing optical system 2 and the optical axis of the finder optical system 4 are separated by a distance a. This distance a is the baseline length. The subject light L2 that has passed through the imaging lens 5 of the finder optical system 4 is split into a light beam L21 and a light beam L22 by the half mirror 6.
[0007]
The light beam L21 passes through the half mirror 6 and enters the viewfinder eyepiece 7. On the other hand, the light beam L22 reflected by the half mirror 6 is guided to the AF CCD image pickup device 8 and imaged on the image pickup surface. That is, the CCD image pickup device 3 picks up the subject image formed by the photographing optical system 2, and the CCD image pickup device 8 picks up the subject image formed by the image forming lens 5 of the finder optical system 4. Since the CCD image pickup device 8 is used for AF instead of shooting, the number of pixels may be smaller than that of the CCD image pickup device 3 for shooting. For example, even when a CCD with 3 million pixels is used for the photographing CCD image sensor 3, the same 3 million pixels are not necessarily required for the AF CCD image sensor 8, and about 300,000 pixels are sufficient. In the present embodiment, a CCD type imaging device is used, but it is not limited to the CCD type and can be used.
[0008]
FIG. 2 is a functional block diagram of the digital camera 1 shown in FIG. A focusing lens (not shown) of the photographing optical system 2 is driven by a driver 10. The driver 10 includes a drive mechanism that drives the focusing lens and a drive circuit thereof. A diaphragm 11 is provided between the photographing optical system 2 and the CCD image pickup device 3, and the diaphragm 11 is driven by a driver 12. Each of the drivers 10 and 12 is controlled by the main CPU 13.
[0009]
Reference numeral 14 denotes a CPU related to the CCD image pickup device 3 that controls the drive of the CCD image pickup device 3 via the driver 15 and performs various image processing based on the image pickup signal of the CCD image pickup device 3. The captured image data after the image processing is recorded on the recording medium 16. On the other hand, 17 is a CPU related to the CCD image pickup device 8, which controls the drive of the CCD image pickup device 8 via the driver 18 and performs various image processing based on the image pickup signal of the CCD image pickup device 8.
[0010]
The main CPU 13 is provided with a first AF calculation unit 131 that calculates a subject distance by a triangulation method based on image displacement, and a second AF calculation unit 132 that performs AF calculation by a contrast detection method. . Both the image data based on the imaging signal of the CCD imaging device 3 and the image data based on the imaging signal of the CCD imaging device 8 are input to the AF calculation unit 131. On the other hand, when performing the AF calculation using the contrast detection method, only image data based on the imaging signal of the CCD image sensor 3 is input to the evaluation value calculation unit 133, and the calculation result is input to the AF calculation unit 132. Hereinafter, these image data are also referred to as imaging signals.
[0011]
The evaluation value calculation unit 133 is provided with a bandpass filter (not shown) that extracts a high-frequency component of a predetermined band from the imaging signal. The high-frequency component extraction in the evaluation value calculation unit 133 is performed on the imaging signal in the predetermined AF area within the imaging range, and the focus evaluation value is calculated by integrating the absolute value of the extracted high-frequency component in the AF area. The The AF calculation unit 132 calculates the peak position of the focus evaluation value as will be described later. The subject distance calculated by the AF calculation unit 131, the focus evaluation value calculated by the evaluation value calculation unit 133, and the peak position calculated by the AF calculation unit 132 are stored in the storage unit 134. The focus evaluation value is stored in pairs with the focus lens position.
[0012]
<< Explanation of AF operation >>
Next, the AF operation in the digital camera 1 of the present embodiment will be described. In this embodiment, (1) the AF operation using the calculation result of the AF calculation unit 131, that is, the AF operation using only the subject distance by the triangulation, and (2) the AF operation and the AF calculation unit 132 by the triangulation. A case will be described in which both AF operations by the contrast detection method using the calculation result are used.
[0013]
First, before explaining the AF operation example of the present embodiment, the AF operation by the triangulation and the AF operation by the contrast detection method will be individually explained.
(AF operation by triangulation)
A method for calculating the subject distance by triangulation will be described. FIG. 3 is a diagram showing the relationship between the subject distance D, the base line length a, and the subject image shift amount d. In order to simplify the explanation, it is assumed that the focal length f2 of the photographing optical system 2 is equal to the focal length f5 of the imaging lens 5, and the value is assumed to be f. Actually, f2 ≠ f5, and the subject image on the CCD image pickup device 3 and the subject image on the CCD image pickup device 8 are different in size. However, if the sizes of both images are made equal in terms of software, f2 = This is the same as assuming f5 = f.
[0014]
The base line length a is the distance between the optical axis of the photographing optical system 2 and the optical axis of the imaging lens 5. If the optical axes do not coincide with each other, parallax (parallax) occurs. Reference numeral 20A denotes an image of the subject 20 formed on the CCD image pickup device 3 by the photographing optical system 2. On the other hand, 20B is an image of the subject 20 imaged on the CCD image sensor 8 by the imaging lens 5. In FIG. 3, the subject 20 is substantially on the optical axis of the photographing optical system 2, and the subject image 20 </ b> A is formed at the center of the CCD image sensor 3. On the other hand, since the subject 20 is outside the optical axis with respect to the imaging lens 5, the subject image 20 </ b> B is imaged at a position away from the center of the CCD image sensor 8 by a distance d. At this time, the relationship of the following equation (1) is established between the subject distance D and the base line length a.
[Expression 1]
D = f · a / d (1)
[0015]
4A shows an image 21 imaged by the CCD image sensor 3, and FIG. 4B shows an image 22 imaged by the CCD image sensor 8. In FIG. 4, the images 21 and 22 are displayed in the same size. In the case of the image 21, the subject 20 in FIG. 3 is at the center of the image 21. In the case of the image 22, the subject 20 is shifted by a distance d ′ to the right of the center. This deviation d ′ corresponds to the deviation d in FIG. 3 and can be expressed as d ′ = k · d using the proportionality constant k. On the other hand, in the case of the subjects 23 and 24 that are so far away that the subject distance can be regarded as infinite, the position in the image 21 and the position in the image 22 are the same. In FIG. 3, since the images 20A and 20B in which the top and bottom and the left and right sides of the subject 20 are inverted are formed on the CCD image pickup devices 3 and 8, the image 20B is shifted to the left from the center.
[0016]
The AF calculation unit 131 calculates the shift amount d in FIG. 3 based on the image pickup signals of the CCD image pickup device 3 and the CCD image pickup device 8, and calculates the subject distance D from the shift amount d and the equation (1). The focal length f2 of the photographing optical system 2 is used for f in Expression (1). The focal lengths f2 and f5 and the base line length a are stored in the storage unit 134 in advance. The main CPU 13 moves the focus lens of the photographing optical system 2 based on the subject distance D calculated by the AF calculation unit 131.
[0017]
The method of calculating the shift amount d based on the image pickup signals of the CCD image pickup devices 3 and 8 is the same as the method used for the conventional triangulation, and the outline of the principle will be described below. An area 25 shown in FIG. 4A represents an AF area, and an AF operation is performed so that a subject in the AF area 25 is in focus. In other words, the image pickup signal corresponding to the subject in the AF area 25 in the image pickup signal output from the CCD image pickup device 3 is used for calculating the subject distance D.
[0018]
On the other hand, in the case of the CCD image pickup device 8, the image pickup signal of the band-like region 26 extending to the right side including the region at the same position as the AF region 25 is used for AF calculation. Thus, the reason why the long region 26 is set on the right side is that the subject image formed on the CCD image sensor 8 is always more than the subject image captured on the CCD image sensor 3 as shown in FIG. This is because it shifts to the right.
[0019]
FIG. 5 schematically shows the imaging signal of the AF area 25 and the imaging signal of the area 26. The AF area 25 is divided into four divided areas A1 to A4 in the left-right direction, and the magnitude of the signal is indicated by diagonal lines. Further, the area 26 is divided into 12 divided areas B1 to B12 in the left-right direction, and the magnitude of the signal is represented by diagonal lines similar to the AF area 25. In the example shown in FIG. 5, the signal patterns of the divided areas B4 to B7 and the signal patterns of the divided areas A1 to A4 are substantially the same. That is, it is determined that the subject image formed in the divided regions B4 to B7 and the subject image formed in the divided regions A1 to A4 are the same subject.
[0020]
If the amount of deviation of one divided area of the divided areas B1 to B12 is g, the amount of deviation in the area 26 of the subject image captured in the AF area 25 is 3 g. This deviation amount 3g is equal to the deviation amount d in FIG. From the relationship of 3g = d and the equation (1), the subject distance D is calculated by the following equation (2).
[Expression 2]
D = f · a / 3g (2)
[0021]
In the present embodiment, since the triangulation is performed using the subject images picked up by the two image pickup systems provided separately, the base line length a can be set to a sufficient distance, and the accuracy is high. Triangular distance measurement can be performed. Moreover, since the imaging lens 9 of the finder optical system 4 is also used as the imaging optical system of the AF CCD image pickup device 8, it is possible to suppress cost increase and enlargement of the camera as much as possible.
[0022]
(AF operation by contrast detection method)
Next, an AF operation using the contrast detection method will be described. FIG. 6 is a diagram illustrating an example of the focus evaluation value. The horizontal axis represents the lens position of the focus lens, and the vertical axis represents the magnitude of the focus evaluation value. A curve L indicates a focus evaluation value obtained when the focus lens is moved from the closest side to the infinite side with respect to the subject in the AF area 25 in FIG. The curve L has a peak at the lens position P, and the contrast of the subject image is maximized at the lens position P. That is, the subject is in focus. Thus, in the contrast detection method, focusing is performed by moving the focus lens to a position where the focus evaluation value reaches a peak.
[0023]
For the detection of the peak position, a method generally called “mountain climbing focusing operation” is used. x3 is a focusing lens position at the start of mountain climbing, and the focus evaluation value at that time is y3. The lens position x3 and the focus evaluation value y3 are stored in the storage unit 134 in FIG. When the focusing operation is started, for example, the focus lens is moved by a predetermined amount to the close side, and the focus evaluation value y4 at the moved position x4 is calculated.
[0024]
Next, the calculated focus evaluation value y4 is compared with the focus evaluation value y3 at the start of movement stored in the storage unit 134. In the case of FIG. 6, since the obtained focus evaluation value y4 is larger than the focus evaluation value y3, the focus evaluation value tends to increase in the moving direction, and the lens position P at which the focus evaluation value reaches a peak is closer to the lens position x4. Is determined to be on the side. When it is determined that the lens is in the close side, the focusing lens is further moved to the close side by a predetermined amount, and the focus evaluation value y5 at the lens position x5 after the movement is calculated. Thereafter, the focus evaluation value y4 and the focus evaluation value y5 are compared.
[0025]
In the second movement, it is determined that the focus evaluation value y5 at the lens position x5 is smaller than the focus evaluation value y4 at the lens position x4. That is, it is determined that the peak position P is on the infinite side with respect to the lens position x5. Therefore, an interpolation calculation based on the data (x3, y3), (x4, y4), (x5, y5) is performed to calculate the peak position P of the focus evaluation value, and the focusing lens is moved to the peak position P. As described above, in the hill-climbing focusing operation, a series of processes of “lens movement” → “calculation of focus evaluation value” → “comparison of focus evaluation value” is repeatedly performed, so that the focusing lens has a peak position P of the focus evaluation value. Move to. When moving the lens, the moving direction is determined by comparing the focus evaluation value at the current position with the focus evaluation value obtained last time. By the way, when the lens position x3 at the start of the operation is far away from the peak position P, the peak position P cannot be detected unless it is repeated many times. Therefore, the AF operation of the contrast detection method has a drawback that it takes time.
[0026]
<< Description of specific AF operation example >>
Next, the two types of AF operations (1) and (2) described above will be described.
AF operation (1)
In the AF operation (1), only the AF operation by triangulation is performed. That is, the FA calculation unit 131 in FIG. 2 detects the amount of deviation 3g in FIG. 5 and calculates the subject distance D by Expression (2). Then, the focus lens of the photographing optical system 2 is moved by a distance corresponding to the calculated subject distance D. Therefore, the FA operation time can be shortened as compared with the conventional AF operation using only the contrast detection method using the “mountain climbing focusing operation”.
[0027]
AF operation (2)
In the AF operation (2), both the triangulation and the contrast detection method are used. 7 and 8 are diagrams for explaining a first example and a second example of the AF operation (2). In the first example, the subject distance D is first calculated by triangulation, and the lens position x7 based on the subject distance D is calculated. Then, the focus lens is moved to the lens position x7 calculated from the lens position x6 at the start of AF. Up to this point, the operation is the same as the AF operation (1). Thereafter, a hill-climbing focusing operation is performed from the lens position x7 by the contrast detection method, and the focus lens is moved to the peak position P. In the case of this AF operation, accurate AF operation can be performed even when a deviation occurs between the lens position x7 and the peak position P by triangulation.
[0028]
On the other hand, in the second example shown in FIG. 8, the movable range of the focus lens is divided into three ranges H1, H2, and H3. The number of divisions is not limited to three and may be any number. First, the subject distance D is calculated by triangulation, and it is determined whether the corresponding lens position is included in the range H1, H2, or H3. The example of FIG. 8 is a case where the lens position obtained by the triangulation is included in the range H2, and in this case, the focus lens is moved to the infinite side boundary position x8 of the range H2. Thereafter, the focus lens is moved from the lens position x8 to the lens position x9, and during the movement, the focus evaluation value calculation by the evaluation value calculation unit 133 is repeatedly performed at a predetermined timing. The plurality of focus evaluation values sampled in this way are stored in the storage unit 134 in pairs with the lens positions at the time of each sampling.
[0029]
The AF calculation unit 132 calculates the peak position P based on the sampled focus evaluation value. If the peak position P is obtained, the focus lens is moved to the peak position. In this way, the AF operation is completed. In the case of this second example, a rough lens movement is performed by triangulation with a high operating speed, and then the focus lens is scanned within the range H2 to detect the peak position of the focus evaluation value. The focus lens was moved to the peak position. As a result, it is possible to increase the speed of the AF operation while maintaining the AF accuracy.
[0030]
Further, in the triangulation in the case of the second example, it is only necessary to know whether the peak position P is in the range H1, H2, or H3. Simplification can be achieved. Also, the contrast detection AF operation is not the “mountain climbing focusing operation”, but the focus evaluation value in the range H2 is sampled by scanning movement and then the peak position P is searched. I can plan.
[0031]
Although the scan start position is the boundary position x8 on the infinity side, it may be the boundary position x9 on the closest side. Further, the lens movable range may be divided into a large number, and the “mountain climbing focusing operation” may be performed instead of the “scanning focusing operation”. In this case, the hill-climbing focusing operation may be started from either boundary of the divided range, or may be performed from, for example, the center position of the divided range.
[0032]
In the embodiment described above, the photographing optical system 2 is not a zoom optical system, but the present invention can be similarly applied even when the photographing optical system 2 is a zoom optical system. In that case, a magnifying lens that is driven in conjunction with the zoom is provided in the finder optical system 4 so that the imaging range of the CCD imaging device 3 and the imaging range of the CCD imaging device 8 are matched. By the way, it is preferable that the images picked up by the two CCD image pickup devices 3 and 8 have the same degree of blur. In general, since the subject image on the finder side is small in blur, it is preferable to narrow down the diaphragm 11 on the CCD image sensor 8 side during the AF operation. Thereby, the AF accuracy can be further improved.
[0033]
In correspondence between the embodiment described above and the elements of the claims, the CCD image pickup device 3 is a photographing image pickup device, the CCD image pickup device 8 is an AF image pickup device, and the imaging lens and the half mirror 6 are AF optical devices. The first AF calculation unit 131 adjusts the subject distance calculation means, the main CPU 13 and the driver 10 adjust the control means and moving means, the aperture 11 and the driver 12 adjust the aperture mechanism, and the aperture 11, the driver 12 and the main CPU 13 adjust the system. Each means is configured.
[0034]
【The invention's effect】
As described above, according to the present invention, an AF imaging element and an AF optical system are provided separately from the imaging optical system and imaging imaging element for capturing a captured image, and the subject imaged by each imaging element. There rows calculated by focusing operation of the object distance by using the parallax image, further, since to perform the focusing operation based on the focus evaluation value, it is possible to perform the AF operation accurately and quickly.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a digital camera 1 according to the present invention.
FIG. 2 is a functional block diagram of the digital camera 1;
FIG. 3 is a diagram illustrating a relationship between a subject distance D, a baseline length a, and a subject image shift amount d;
4A and 4B are diagrams illustrating captured images, where FIG. 4A is an image captured by the CCD image sensor 3 and FIG. 4B is an image captured by the CCD image sensor 8;
FIG. 5 schematically shows imaging signals in an AF area 25 and an area 26;
FIG. 6 is a diagram illustrating an example of a focus evaluation value.
FIG. 7 is a diagram illustrating a first example of an AF operation (2).
FIG. 8 is a diagram illustrating a second example of AF operation (2).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Digital camera 2 Shooting optical system 3, 8 CCD image pick-up element 4 Finder optical system 5 Imaging lens 6 Half mirror 7 Finder eyepiece 10, 12, 15, 18 Driver 11 Aperture 13, 14, 17 CPU
16 Recording medium 20 Subject 25 AF area 26 Band-like area 131 First AF calculation unit 132 Second AF calculation unit 133 Evaluation value calculation unit 134 Storage unit

Claims (3)

撮影光学系により結像された撮影用被写体像を撮像する撮影用撮像素子と、
前記撮影用撮像素子よりも画素数が少なく、且つAF光学系により結像されたAF用被写体像を撮像するAF用撮像素子と、
前記撮影用撮像素子の撮像データと前記AF用撮像素子の撮像データとに基づき、パララックスを利用して被写体距離を演算する被写体距離演算手段と、
前記撮影用撮像素子の撮像データに基づいて前記撮影用被写体像の焦点評価値を演算する評価値演算手段と、
前記撮影光学系のフォーカスレンズを、分割された複数の移動範囲から成る当該フォーカスレンズの可動範囲で移動する移動手段と、
前記被写体距離演算手段の演算結果に基づいて前記フォーカスレンズを移動した後に、その移動後のフォーカスレンズの位置が含まれる移動範囲内において、該フォーカスレンズをスキャン移動させつつ前記評価値演算手段により所定タイミングで繰り返し演算される焦点評価値に基づいて前記フォーカスレンズを移動して合焦動作を行わせる制御手段と
前記合焦動作開始時の前記撮影用被写体像のボケ具合が前記AF用被写体像のボケ具合とほぼ同等となるように調節する調節手段と、を備えたことを特徴とするデジタルカメラ。
A photographic image sensor for capturing a photographic subject image formed by the photographic optical system;
An AF imaging element that captures an AF subject image formed by an AF optical system with a smaller number of pixels than the imaging imaging element;
Subject distance calculation means for calculating a subject distance using parallax based on imaging data of the imaging sensor for imaging and imaging data of the AF imaging element;
Evaluation value calculation means for calculating a focus evaluation value of the shooting subject image based on imaging data of the shooting imaging element;
Moving means for moving the focus lens of the photographing optical system within a movable range of the focus lens composed of a plurality of divided movement ranges ;
After the focus lens is moved based on the calculation result of the subject distance calculation means, the evaluation value calculation means performs predetermined movement while moving the focus lens within a moving range including the position of the focus lens after the movement. based on the focus evaluation value that is repeatedly calculated at a timing and control means for causing the moving focusing operation of the focusing lens,
A digital camera comprising: adjusting means for adjusting a blur condition of the photographing subject image at the start of the focusing operation so as to be substantially equal to a blur condition of the AF subject image .
請求項1に記載のデジタルカメラにおいて、
前記調整手段は、被写体光束の光量を調節する絞り機構によりボケ具合を調整することを特徴とするデジタルカメラ。
The digital camera according to claim 1, wherein
The digital camera according to claim 1, wherein the adjusting means adjusts a degree of blur by a diaphragm mechanism that adjusts a light amount of a subject light beam .
請求項1または2に記載のデジタルカメラにおいて、
前記AF光学系が前記デジタルカメラのファインダ光学系の一部を含むことを特徴とするデジタルカメラ。
The digital camera according to claim 1 or 2,
The digital camera characterized in that the AF optical system includes a part of a finder optical system of the digital camera.
JP2002193473A 2002-07-02 2002-07-02 Digital camera Expired - Fee Related JP4085720B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002193473A JP4085720B2 (en) 2002-07-02 2002-07-02 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002193473A JP4085720B2 (en) 2002-07-02 2002-07-02 Digital camera

Publications (2)

Publication Number Publication Date
JP2004037732A JP2004037732A (en) 2004-02-05
JP4085720B2 true JP4085720B2 (en) 2008-05-14

Family

ID=31702426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002193473A Expired - Fee Related JP4085720B2 (en) 2002-07-02 2002-07-02 Digital camera

Country Status (1)

Country Link
JP (1) JP4085720B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011051A (en) * 2008-06-26 2010-01-14 Nikon Corp Digital camera
JP4995175B2 (en) * 2008-10-29 2012-08-08 富士フイルム株式会社 Stereo imaging device and focus control method
JP5489897B2 (en) * 2010-07-22 2014-05-14 パナソニック株式会社 Stereo distance measuring device and stereo distance measuring method
KR102636272B1 (en) 2016-07-26 2024-02-14 삼성전자주식회사 Image pickup device and electronic system including the same
CN106791434B (en) * 2017-01-18 2019-12-13 捷开通讯(深圳)有限公司 Device and method for assisting in picture definition by AF focusing

Also Published As

Publication number Publication date
JP2004037732A (en) 2004-02-05

Similar Documents

Publication Publication Date Title
KR101632578B1 (en) Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US9681037B2 (en) Imaging apparatus and its control method and program
JP2008026802A (en) Imaging apparatus
JP2007322922A (en) Imaging system and camera, and lens unit
CN106998413A (en) Image processing equipment, picture pick-up device and image processing method
JP5963552B2 (en) Imaging device
JP2010139563A (en) Focus detector, focusing device, and imaging apparatus
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
JP6076106B2 (en) Imaging apparatus and imaging method
JP2007133301A (en) Autofocus camera
JP4085720B2 (en) Digital camera
JP5377092B2 (en) Imaging apparatus and distance measuring method
JP5023750B2 (en) Ranging device and imaging device
JP2009042555A (en) Electronic camera
JP2603212B2 (en) Automatic tracking device in camera
KR101599434B1 (en) Space detecting apparatus for image pickup apparatus using auto focusing and the method thereof
JP2010072559A (en) Imaging apparatus and object area extracting method
JP5098714B2 (en) Ranging device and imaging device
JP2005164983A (en) Digital camera
JP2001165622A (en) Optical device
US10530985B2 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium
JP6900228B2 (en) Imaging device, imaging system, imaging device control method, and program
JP4533175B2 (en) Imaging device
JP3618925B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees