JP3868264B2 - Distance measuring device with blur detection function - Google Patents

Distance measuring device with blur detection function Download PDF

Info

Publication number
JP3868264B2
JP3868264B2 JP2001331348A JP2001331348A JP3868264B2 JP 3868264 B2 JP3868264 B2 JP 3868264B2 JP 2001331348 A JP2001331348 A JP 2001331348A JP 2001331348 A JP2001331348 A JP 2001331348A JP 3868264 B2 JP3868264 B2 JP 3868264B2
Authority
JP
Japan
Prior art keywords
camera
pair
image signal
image
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001331348A
Other languages
Japanese (ja)
Other versions
JP2003131279A (en
Inventor
康一 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001331348A priority Critical patent/JP3868264B2/en
Publication of JP2003131279A publication Critical patent/JP2003131279A/en
Application granted granted Critical
Publication of JP3868264B2 publication Critical patent/JP3868264B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラによる撮影の際に発生する手ブレ等の振動状態を検出するAF用センサを利用したブレ検出機能付き測距装置に係り、特に、撮影者に手ブレ防止のための警告を有効に行えるようにしたブレ検出装置に関する。
【0002】
【従来の技術】
一般に、手でカメラを持って撮影する際に、シャッタ速度が遅い場合などに露光中にカメラが振れてしまい失敗写真となる、所謂、手ブレが発生する場合がある。
【0003】
この手ブレを防止するために、種々の防振技術が検討されている。
【0004】
この防振技術は、振動の検出と、検出した振動への対策との二つの技術に分けられる。
【0005】
また、振動対策の技術は、さらに、振動状態をユーザーに認知させる警告技術と、撮影レンズを駆動制御して手ブレによる像の劣化を防止する技術に分類される。
【0006】
このうち警告技術として、本出願人は、例えば、特願平11一201845号において、表示手段の工夫によって手ブレに強いカメラを提案している。
【0007】
また、測距センサを応用した例も、最近では、特開2001−165622号公報、より古くは、特公昭62−27686号公報等に開示されている。
【0008】
【発明が解決しようとする課題】
しかしながら、一般ユーザーの中には、そもそも手ブレとは何かすら知らずに手ブレ防止の必要性を認識せずにレリーズ釦を深く押し込んで、失敗写真を撮影してしまう人が存在する。
【0009】
特に、旅先などで自分の写真を撮ってもらうために、カメラを付近にいた人に手渡してレリーズ操作を依頼すると、その依頼された人は戸惑いのあまり図6の(a)に示すようにカメラを大きく動かしてホールディングしてしまい、せっかくの写真が台無しとなる場合が少なくない。
【0010】
また、測距センサを利用して手ブレ検出を行う場合、手ブレ検出用に測距センサから出力される像信号の記憶手段を設けると、膨大な記憶容量が必要となり、大容量のメモリを使用することによるコストの増大や、手ブレ検出以外に使用するデータの格納に支障をきたすという問題があった。
【0011】
【発明が解決しようとする課題】
本発明は、上記の事情に鑑みてなされたもので、測距センサを利用して手ブレ検出を行う場合に、メモリ容量の増大を招くことなく、従来より高精度かつ簡単な構成で実現し得るブレ検出機能付き測距装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
(1) 被写体像を結像させるための一対の受光レンズと、
前記一対の受光レンズにより結像された被写体像を光電変換して像信号として出力する一対のラインセンサと、
前記一対のラインセンサから出力される像信号を記憶するための記憶手段とを有し、
前記一対のラインセンサから出力される一対の像信号に基づいて測距動作を行い、前記一対のラインセンサのいずれか一方から所定時間毎に出力される像信号の変化に基づいて手ブレ検出動作を行うことが可能なブレ検出機能付き測距装置において、
前記記憶手段の記憶領域を二分割し、測距動作時には、前記二分割された記憶領域に前記一対のラインセンサから出力される一対の像信号をそれぞれ格納し、手ブレ検出動作時には、前記一対のラインセンサの一方から出力される像信号の基準となる像信号と最新の像信号とを前記二分割された記憶領域にそれぞれ格納することを特徴とするブレ検出機能付き測距装置が提供される。
【0016】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【0017】
本実施の形態は、カメラのファインダ内に設けられた撮影モードによる撮影範囲(ファインダ視野)を光の透過率変化で表示する液晶表示手段と、手ブレ判定としては前述の測距センサの他、モノリシック加速度計を併用し、カメラの振動を検出して手ブレの発生を示唆する振動検出手段とを備えて、手ブレが発生した場合には、液晶表示手段の表示領域の透過率をパターン的に変化させてユーザーへ手ブレ発生を容易に認識させる技術を採用している。
【0018】
前記モノリシック加速度計は、ICチップ上に形成されるものであり、可動のパターンと非可動のパターンとの間に発生する容量変化を利用して振動を検出する装置であり、本実施の形態では、例えば、特開平8−178954号公報等で提案されているものを用いることができる。
【0019】
このモノリシック加速度計の構成としては、前述の両パターンは共にシリコン基板上にポリシリコン部材により形成されており、一方の電極が移動可能で加速度に応答し、他方の電極が加速度に対して静止しているような状態で一対のコンデンサを形成している。
【0020】
このようなシリコン基板に加速度が加わると、一方のコンデンサの容量は増大し、他方のコンデンサの容量は減少する。
【0021】
これらの差動キャパシタンスを電圧信号の変換する信号処理回路が必要であり、これらの可動電極、コンデンサ及び信号処理回路が同一基板上にモノリシックに形成されている。
【0022】
また、特開平8一178954号公報には、自動車の制動システムやエアバッグ等の安全装置を作動させるための応用が述べられており、モノリシック化することにより、寸法、コスト、所要電力、信頼性等にすぐれている点が説明されている。
【0023】
本実施の形態では、このようなモノリシック加速度計素子を有効に配置、制御し、上記特質を保ちつつ、カメラ特有の状況を加味し、高精度で効果的な防振カメラを実現する。
【0024】
なお、この部分は、モノリシック加速度計素子に代えて、衝撃などを検出するショックセンサ等で構成してもよい。
【0025】
図1及び図2は、本実施の形態に係るカメラの構成例を示す図である。
【0026】
図1の(a)は、本実施の形態に係るカメラの外観と、その一部を切り欠いた内部構造を示す斜視図である。
【0027】
図1の(b)は、本実施の形態に用いられる硬質プリント基板14と、フレキシブルプリント基板(以下フレキ基板と称する)7との配置関係を示す側面図である。
【0028】
図1の(c)は、本発明の測距光学系を説明するために示す図である。
【0029】
図2の(a)は、本実施の形態によるカメラの電子回路を含む制御系の構成を示すブロック図である。
【0030】
図2の(b)は、図2の(a)のモノリシック加速度計3によって検出可能な方向を説明するための図である。
【0031】
図1の(a)に示すように、カメラ10の前面には、撮影レンズ9やストロボ8の他、ファインダ対物レンズ15やオートフォーカス用の測距部の受光レンズ等が配置されている。
【0032】
このカメラ10の内部には、該カメラ10を全自動で動かすための電子回路が設けられている。
【0033】
この電子回路には、硬質プリント基板14上に実装される前述したモノリシック加速度計(加速度IC)3も含まれており、位置関係を示すために、図1の(a)において一部内部構造が見えるように切り欠いて示している。
【0034】
また、硬質プリント基板14上には、加速度IC3の他に、カメラ全体の撮影に関する動作を制御するためのワンチップマイクロコンピュータ(CPU)1や、モータ等のアクチュエータを動作させて機械系機構部を駆動させるインターフェースIC(IFIC)2が実装されている。
【0035】
また、CPU1の近傍には、カメラ組立工程で部品ばらつきの調整用データを記憶するためのメモリ4として、例えば、EEPROMが設けられている。
【0036】
図1の(b)は、図1のカメラ10の主要部を取り除いて横方向から見た状態で、硬質プリント基板14とフレキ基板7の関係を示す図である。
【0037】
この硬質プリント基板14は、カメラ10の内部の曲面に沿って折り曲げられないため、フレキ基板7が用いられており、これらの二つの基板はコネクタ12により接続されている。
【0038】
このフレキ基板7の上には、図1の(a)に示すように、表示素子(LCD)6が実装され、オートフォーカス(AF)用センサ5との通信ラインやスイッチ用パターン13が形成されている。
【0039】
このフレキ基板7は、カメラ10の背面まで回り込み、図1の(b)に示すような警告表示部11における発音素子PCVやLED等の告知用素子が実装され、警告表示部11にCPU1から出力された信号が伝達される他、AF用センサ5にも信号の授受がなされるようになっている。
【0040】
このAFセンサ5は、図1の(c)のように、三角測距の原理を用いて、被写体101までのの距離を求めるもので、被写体101の像信号102を、二つの受光レンズ5d及びセンサアレイ5cによって検出し、その相対位置差Xより被写体距離を検出することができる。
【0041】
被写体は、一般に縦方向の陰影を有するため、この二つの受光レンズ5dは図1の(a)に示すように横方向(X方向)に配置されており、センサアレイ5cも横方向に分割されている。
【0042】
これによって、横方向に手ブレがある場合に生じるX方向の像ずれは、このAFセンサ5により検出できる。
【0043】
従って、加速度IC3は、図2の(b)に示すように、X方向よりもY方向のブレを検出する方向に配置して、X、Y両方向の検出を別々のセンサで補い合うようにしている。
【0044】
ここで、加速度IC3について説明する。
【0045】
図3は、加速度IC3の製造工程の一例を示す図である。
【0046】
まず、図3の(a)、(b)に示すように、シリコン基板(ICチップ)20上に酸化膜21を形成し、その酸化膜21上にレジストマスクによるパターンを形成する。
【0047】
次に、図3の(c)に示すように、露出している部分をエッチングで除去し、レジストマスクをすると、任意の部分に開口部を形成することができる。
【0048】
その後、図3の(d)に示すように、ポリシリコン層22を堆積させる。
【0049】
その後、図3の(e)に示すように、酸化膜21をウエットエッチングを用いて選択的に除去することにより、ポリシリコン層22がブリッジ状の構造でシリコン基板20上に形成される。
【0050】
このポリシリコン層22には、リンなどの不純物拡散を行うことによって、導電性を持たせる。
【0051】
図4は、以上のようにして製造される加速度IC3の各部の構成を示す図である。
【0052】
まず、上述したようなブリッジ構造の形式により、図4の(b)に示すような4隅に支柱部を有する可動電極22cがシリコン基板20上に形成される。
【0053】
また、シリコン基板20上には、図4の(a)に示すように、別の電極24、25を形成し、前述した可動電極22cの腕部23a、23bと隣接させて配置することにより、腕部23aと電極24、腕部23bと電極25との間に微小容量のコンデンサが形成される。
【0054】
さらに、図4(c)に示すように、シリコン基板20上に、この可動電極構造を配置するICチップとすることによって、所定方向の加速度を検出することができる処理回路付きのICがモノリシックで構成される。
【0055】
つまり、図4の(c)に示すように、このICチップ上には上記モノリシックで構成された可動電極コンデンサと共に、処理回路29がオンチップで形成されている。
【0056】
これは可動電極22cによって変化する容量成分を検出して、加速度に応じた信号を出力するものである。
【0057】
ブリッジ状の可動電極22cの動きによって、上記二つの電極に形成される容量の一方は増加し、他方は減少するので、図4の(b)に示す矢印方向の加速度を検出することができる。
【0058】
従って、このICチップをカメラに搭載すると、図2の(b)に示すように、Y方向の加速度を検出することができる。
【0059】
図5の(a)は、処理回路29の構成例を示すブロック図である。
【0060】
前述したように、Y方向の移動を検出するためのY方向加速度センサ31に含まれる腕部23a、23bと電極24及び電極25のそれぞれの間で容量成分が形成され、腕部23a、23bの動きによって、これらの容量が変化する。
【0061】
この容量変化は、処理回路29によって電気的信号に変換される。
【0062】
この処理回路29は、パルス波形の搬送波を発振する搬送波発生器(発振回路)32と、Y方向加速度センサ31の容量変化によって変化したそれぞれの発振波形を全波スイッチング整流によって復調する復調回路34と、加速度依存のアナログ信号を出力するフィルタ回路36と、アナログPWM変換するPWM信号発生回路37とで構成される。
【0063】
図5の(b)は、処理回路29からのの出力波形を示す図である。
【0064】
このように加速度に応じて、パルスのデューティー比(図5の(b)に示す出力波形の半周期T1と全周期T2との割合)が変化する。
【0065】
従って、この加速度IC3は、加速度に比例する電圧信号または加速度に比例するパルス幅変調(PWM)信号を出力する。
【0066】
デジタル信号のみを扱えるCPU1は、内蔵するカウンタを利用して、PWM信号を復調すれば、加速度検出が可能となる。
【0067】
加速度に比例する電圧信号は、A/D変換器を有する調整機等を利用すればよい。
【0068】
また、PWM信号を利用すれば、CPU1にA/D変換器を搭載する必要はない。
【0069】
図2の(a)は、このような加速度IC3を実装したカメラの電子回路を含む制御系の構成を示すブロック図である。
【0070】
この構成においては、カメラ全体を制御するCPU1と、IFIC2と、モノリシック加速度計(加速度IC)3と、調整用データを記憶するするメモリ(EEPROM)4と、オートフォーカス(AF)部5aと、測光部5bと、カメラの設定状態や撮影に関する情報を表示するための液晶表示素子(LCD)6と、ファインダ内に設けられて撮影に関する情報を表示するファインダ内LCD6aと、補助光等を発光させる発光管を含むストロボ部8と、発光管を発光させるための電荷をチャージするメインコンデンサ8aと、ズーミング機能を有する撮影レンズ9と、LEDを含む警告表示部11と、警告表示部11に直列接続された抵抗11aと、カメラの撮影シーケンスを開始させるためのスイッチ13a、13bと、撮影レンズ9、シャッタ19、フィルム給送等の駆動機構を駆動するモータ18と、モータ18と連動して回転する回転羽根16と、モータ18の駆動制御のために回転する回転羽根16の穴を光学的に検出するフォトインタラプタ17とで構成される。
【0071】
また、モータ18は、撮影レンズ9やシャッタ19等の各駆動機構を駆動する場合に切替機構により駆動先を切り替えてもよいし、それぞれ駆動機構に別のモータを備えてもよい。
【0072】
この構成において、CPU1は、スイッチ13a、13bの操作状態に従って、カメラの撮影シーケンスを司る。
【0073】
つまり、モノリシック加速度計3の出力に従って手ブレ警告用のファインダ内LCD6aによる警告表示の他、撮影時にはAF用の測距部を含むAF部5a、露出制御のために被写体の輝度を測定する測光部5bを駆動し、必要な信号を受け取って前述したIFIC2を介して、モータ18を制御する。
【0074】
このとき、モータ18の回転は回転羽根16に伝えられ、その調整の穴の有無の位置に従ってフォトィンタラプタ17が出力する信号をIFIC2が波形整形する。
【0075】
そして、CPU1は、IFIC2からの出力信号に基づいて、モータ18の回転の状態をモニタする。
【0076】
また、必要に応じてストロボ部8による補助光の発光が行われる。
【0077】
図13は、ファインダ内LCD6aに表示される警告パターンの一例を示したものである。
【0078】
このファインダ内LCD6aは、パノラマモード時の画面表示や、シャッタが切れたことを示すブラックアウト表示等に使われるものを流用する。
【0079】
図13に示すA、Cのパターンは、パノラマ撮影設定時に表示される遮光パターンを用いるものであり、まず、画面Aに示すように、上部領域のみを遮光し、次に画面Bに示すようにパノラマ撮影時の撮影範囲を示す中央の領域のみを遮光し、最後に画面Cに示すようにパノラマ遮光領域の下部領域のみを遮光することを順次、繰り返し行うパターンである。
【0080】
この表示形態を繰り返し行うことにより、ファインダを覗いているユーザーに手ブレが発生していることを認知させることができる。
【0081】
ちなみに、このA、B、Cのパターンを同時に遮光することで、上記のブラックアウト表示を行うことができる。
【0082】
図14は、ファインダ内LCD6aに表示される通常表示パターンの一例を示したものである。
【0083】
このような表示によって、ファインダ画面が揺れる感じを表現することができるので、ユーザーはカメラを構え直して手ブレが発生しなくなると、ノーマルかパノラマのモードに応じて図14の(a)の画面Dまたは図14の(b)の画面Eに戻り、被写体モニタが可能となる。
【0084】
また、図15は、LCD6aに表示される手ブレ警告の表示パターンの例を示している。
【0085】
この図15に示す手ブレ警告の表示パターンは、図13で説明したパターンと同様に、パノラマ撮影設定時に表示される遮光部分を利用している。
【0086】
すなわち、図15に示す手ブレ警告の表示パターンは、上下の遮光部分を交互に画面A、画面Cとして表示するパターンである。
【0087】
この図15に示す手ブレ警告の表示パターンは、図13におけるパターンとは異なり、常に、画面中央部が見えているため、パノラマ撮影モード時に、被写体の表情が見えにくくなったりすることはない。
【0088】
また、手ブレ警告時には、前述したように点滅を行うため、図14の(a)、(b)における通常表示とは異なり、ユーザーが誤解することはない。
【0089】
次に、このような構成によるカメラの振動検出の原理について、図6以下により説明する。
【0090】
図6の(a)に示すように、ユーザー10が片手でカメラをホールディングする場合には、カメラを斜め方向に微小振動させる傾向があり、これは図6の(b)に示すように、X方向とY方向の動きに分解できるものである。
【0091】
一般のユーザーは、こうした微小振動が撮影時に「ブレ」という作用を引き起こすことに対して無意識である場合が多く、カメラ10がこの微小振動を検出して、図13で説明したような表示を行うことにより、ユーザーは左手100aをカメラに添える等、振動を押さえるような方策を講じて撮影するため、手ブレによる失敗のない写真撮影が可能となる。
【0092】
但し、常に、警告が出ていると煩わしく、十分手ブレの発生を熟知しているハイクラスのユーザーはむしろ、ブレを効果的に用いた写真撮影を楽しんだりする場合もあるので、このホールディングチェック機能は撮影モードの一つにしておき、ユーザーが必要と判断する場合のみに設定できるような工夫をする。
【0093】
つまり、図8の(a)に示すような、スイッチ13cや液晶表示部6を設け、通常状態ではフィルムカウンタ6a等の機能のみを作動させ、モードの切替スイッチ13cをユーザー100が図8の(b)に示すように操作した場合のみ、手ブレモード設定を行うようにする。
【0094】
そして、このモードが設定されると、図8の(b)、(c)に示すように表示セグメント6b、6cの部分が表示され、6b部が点滅すると、ユーザーはホールディングチェックモードに入ったことが分かる。
【0095】
図8の(d)に示すように、このモード表示は、セルフタイマーモード表示の一部を兼用しているので、LCD内のレイアウトに負担をかけることがない。
【0096】
この場合、表示セグメント6b、6cは、図9に示すように基板6d上に配置されていることにより、それぞれ、独立して表示制御を行うことができるようになっている。
【0097】
図10は、カメラ10を背面から見た外観図である。
【0098】
ユーザーは、このモードに設定してカメラを構え、ホールディングチェックが不安定であれば、前述のように、ファインダ内LCDが点滅し、また、図10に示すようにカメラ10のファインダ接眼部61近くのLED等による警告表示部11を点滅させて警告するようにしてもよい。
【0099】
図11は、カメラ10を前面から見た外観図である。
【0100】
この図11に示すように、セルフタイマー表示用LED65を点滅させて、カメラの所有者が他の人に撮影を頼んだ場合に、撮影者のホールディングをチェックすることができるようにしてもよい。
【0101】
図7の(a)、(b)は、本発明の特徴たるAFセンサの出力(像信号)と、加速度センサの出力との違いについて説明するために示した図である。
【0102】
但し、この場合、ユーザーが、図6の(a)、(b)に示したように、X、Yの両方向成分の動きを持つ手ブレを起こしているとする。
【0103】
図7の(a)に示すように、像位置X1、時間t=t0の静止状態からカメラが動いた瞬間、t=t1のタイミングで加速度センサはカメラが動き出すことによる信号を出力するが、その後、像位置X2からX6、時間t=t2からt=t6の間で一定速度で動いていれば、カメラがブレているにもかかわらず、加速度センサは加速度がないので信号を出さない。
【0104】
そして、再び、カメラが止まったとき、t=t7のタイミングで、今度は、先の定速度運動を停止させるような方向に、加速度センサから出力が生じ、カメラは、時間t=t8以降で静止状態となる。
【0105】
この加速度センサを補うように、カメラの像センサ(AFセンサ)は、定速度運動中も変化しつづける像信号を出力するので、この出力を判定すれば加速度センサの出力が0でも、カメラのCPU1は、カメラが動いていることを判別することができる。
【0106】
また、図7の(b)に示すように、像信号がほとんど変化しなくても、加速度センサから出力が生じることもある。
【0107】
これは、ユーザーが震えながらカメラを固定して保持しようとする状態の場合で、図7の(a)とは異なり、像の変化は小さく、実際、これで撮影したとしても、焦点距離によっては、問題ない写真が撮れるケースが多い。
【0108】
つまり、加速度センサから大きな出力が生じても、カメラは微動しているだけである場合があり、加速度センサがたまにしか反応しなくとも、カメラ位置は大きく変化している場合もある。
【0109】
また、AFセンサによるブレ判定にも限界がいくつかある。
【0110】
例えば、コントラストがないシーンや、暗くて像が分からないようなシーンでは、カメラの像センサ(AFセンサ)は、像の変化が解らないため判定を行うことができない。
【0111】
また、本実施の形態のように、一方向しか検出方向のないセンサでは、それとは異なる方向のカメラの移動や像変化は解らないし、カメラがあまりに大きくブレた場合には、AFセンサがモニタしている位置が外れて像が完全に変化してしまい、ブレ量の正確な判定ができなくなってしまう。
【0112】
従って、この加速度センサとAFセンサとの二つの検出方式によるセンサを適当に使い分けてブレを判定する工夫が必要となる。
【0113】
図12は、このような二つの検出方式によるセンサを搭載したホールディングチェックモード付カメラ内のCPUが、内蔵のプログラムに沿ったシーケンスにより行う表示制御等を説明するために示すフローチャートである。
【0114】
例えば、図11に示すカメラでは、前面のレンズを保護するバリア10aを開いたときには、ユーザーは、まず、フレーミングを行い、まだホールディングの動作に入っておらず、カメラは大きく動かされるため、AFセンサによる判定は有効でない。
【0115】
AFセンサは画面内の狭い部分しかモニタしていないので、大きなカメラの移動に対しては、全く定量的な評価ができない。
【0116】
従って、ステップS1では、まず、加速度センサの出力を判定し、バリアを開いたときのショックや、ユーザーがカメラを構えたときのショックがあっても、所定時間はホールディング警告の表示は禁止する(ステップS2)。
【0117】
その後で、AFセンサを使った像検出に入る(ステップS3)。
【0118】
これによって、像検出がホールディングチェックに向いているかが判断されるので、低輝度(ステップS4)かローコントラスト(ステップS5)の場合には、これを判定して像信号を利用しないで、加速度検出によるブレ判定のフローに入る(ステップS10)。
【0119】
そして、加速度センサが信号を出力したとき、所定時間、逆方向の加速度を出力するのが検出されないとき(ステップS11、S12)、警告を発する(ステップS13)。
【0120】
これは、図7の(a)に示すように、カメラが定速で動き続けていることを判別し、手ブレが起こり得ることをユーザーに知らしめるものである。
【0121】
この状態では、ユーザーが流し撮りなどを意図している可能性があるので、例えば、ファインダ内のLCDの点滅(図13等)を行わず、図10に示すようにファインダ接眼近辺のLED11を点滅させるだけにして、AFセンサも併用した場合(ステップS26)とは異なる警告にしてもよい。
【0122】
また、像信号が高輝度、ハイコントラストで手ブレ判定に向いている場合には、ステップS20、S21以下のフローにて像検出を所定時間間隔で(ステップS22)繰り返す(ステップS23、S24)。
【0123】
図16は、本発明の実施の形態においてAFセンサ5ca、5cbにより光電変換された像信号が、記憶手段110の基準部像信号格納領域110a、参照部像信号格納領域(測距時)または最新像信号格納領域(手ブレ検出時)110bにそれぞれ記憶される形態を説明するために示す図である。
【0124】
この像検出は、図16の(b)に示すように、一対のAFセンサ5cの一方のセンサ5caと、記憶手段110の基準部像信号格納領域110a、最新像信号格納領域(手ブレ検出時)110bを用いて行われる。
【0125】
まず、ステップS21で、AFセンサ5caにより光電変換された像信号は、記憶手段110の最新像信号格納領域110bに記憶される。
【0126】
次に、ステップS24では、先にステップS21で最新像信号格納領域110bに記憶された像信号が基準像信号格納領域110aに転送されると共に、AFセンサ5caにより光電変換された像信号が最新像信号格納領域110bに記憶される。
【0127】
以後は、前回のステップS24で最新像信号格納領域110bに記憶された像信号が、基準像信号格納領域110aに転送され、今回のステップS24でAFセンサ5caにより光電変換された像信号が最新像信号格納領域110bに記憶される。
【0128】
このようにステップS24では、記憶手段110に格納された像信号を用いて後述する相関演算を行い像ずれ量X(n)を求める。
【0129】
その像ずれ量X(n)が所定レベルXcより大きい場合には、ステップS25で判定し、ステップS26に分岐してホールディングが不十分である警告を行うようにする。
【0130】
これらの警告によって、ユーザーは自分が無意識に手ブレを起こしていることを認識し、カメラを両手で構えたり、何かの上に乗せたりして、対策することができる。
【0131】
また、像ずれ量がX(n)がステップS25のXcよりさらに大きなXccよりも大きい場合には、ユーザーは全く別のアングルをとったり、構図を変更した場合であると考えられので、ステップS1に戻るようにする(S27のY)。
【0132】
また、像信号が安定している場合には、ステップS25をNに分岐するので、レリーズ操作が可能となり、これ以降はステップS30以下の露光シーケンスに入る。
【0133】
まず、ピント合わせ及びそのための測距が行われる。
【0134】
このとき、測距を行うための像信号の測定は、図16の(a)に示すように、’一対のAFセンサ5cの両方のセンサ5ca、5cbを用いて行われる。
【0135】
このAFセンサ5ca、5cbにより光電変換された像信号は、記憶手段110の基準部像信号格納領域110a、参照部像信号格納領域110bにそれぞれ記憶される。
【0136】
そして、記憶手段110に格納された像信号を用いて後述する相関演算により像ずれ量を求め、この像ずれ量を被写体距離に応じたデータに変換してピント合せが行われる。
【0137】
次に、ステップS3の像検出にようて得られた輝度情報によって露出時間が決められ、露光を開始する。
【0138】
この間、カメラが揺れると手ブレになるので、ステップS33において加速度検出を行い、レリーズ釦押し込み時のショック等による加速度gを求める。
【0139】
この加速度gが大きいと、露光時間が短くとも手ブレ写真となる。
【0140】
また、この加速度gが小さくとも、露光時間が長いと、この場合にも手ブレ写真となる。
【0141】
これを判定するために、ステップS34にて露出時間をカウントし、露出を終了すると(ステップS35)、求められた加速度gと露出時間tENDから速度を求める。
【0142】
この速度によってt、ENDの時間だけ変化したということから、移動量を算出することができるので、これがそのレンズの許容量△Yを越えていれば、ステップS36からS37に分岐して警告を行う。
【0143】
前述のように、加速度だけでは速度の変化しか解らないが、本実施の形態ではまず、所定位置に停止していることをAFセンサの出力〈像信号〉が変化しないことによって判定しているので、これを基準として露光中にどれだけカメラが移動したかを正確に判定することができる。
【0144】
以上説明したように本実施の形態によれば、AF用のセンサを有効に活用したので、AFセンサを単に測距用として用いるだけでなく、ホールディングチェック用にも用いると共に、像信号を記憶するメモリ領域も測距時とホールディングチェック時とで兼用するようにしているため、新規のセンサやメモリを必要としないので、コストアップやスペースの増大を招くことなくカメラの付加価値を高めることができる。
【0145】
また、加速度センサの信号と併用し、X方向、Y方向の揺れを検出して、暗いシーンや低コントラストシーンにも対応できるばかりでなく、静止検出センサとして用いることによって、加速度センサ出力からカメラ移動量算出を正確に行うことが可能である。
【0146】
これらによって、撮影レンズの焦点距離や絞り、撮影時のシャッタスピードに対応して、正確な撮影後の手ブレ判定を行うことができる。
【0147】
また、算出された移動量により、撮影レンズの位置を補正すれば、防振機能付カメラヘの応用が可能であることは言うまでもない。
【0148】
図17は、以上における相関演算のウインドシフト方法を説明するための図である。
【0149】
すなわち、図17の(a)、(b)に示すように、AFセンサ5ca、5cbは、複数の光電変換素子により構成されている。
【0150】
そして、これらのAFセンサ5ca、5cbから出力された像信号a1,a2,…aN、b1,b2,…bNは、記憶手段110の領域110a、110bに格納される(手ブレ検出時は、上述のように所定時間差を置いて取得したa1,a2,…aNのみが格納される)。
【0151】
この像信号より所定範囲(以下ウインド)120a、120bのデータを抽出する。
【0152】
抽出の方法としては、ウインド120aは固定し、ウインド120bを1センサ分ずつシフトさせていくのが、最も単純な方法である。
【0153】
これは一例であり、ウインドのデータ数、シフト量、シフト方法等は、測距時と手ブレ検出時で変更しても良い。
【0154】
抽出される一対のウインドのデータを用いて式(1)式により相関量F(n)を求める。
【0155】

Figure 0003868264
但し、n:シフト量、W:ウインド内データ数、i:ウインド内データNo.
k:演算エリア先頭センサデータNo.
図18は、各シフト値毎の相関値を示す相関データグラフである。
【0156】
一対のウインド120a、120bのデータの一致度が最も高くなるのは、図18に示すように、ウインド120bを1センサ分ずつシフトさせて求めたF(n)が極小値(F(n)=Fmin)となる場合で、シフト量n=nFminが被写体像の相対的な像ずれ量となる。
【0157】
この像ずれ量を、手ブレ判定時には、X方向の手ブレ量X(n)として用い、測距時にはAFデータとして被写体距離データの算出に用いる。
【0158】
以上説明したように、本実施の形態によれば、とりわけ手ブレが気になる撮影シーンにおいて、ホールディングチェックモードを設定すれば、手ブレ時には警告を発し、撮影者に手ブレを認識させるようにしたので、手ブレによる失敗のない写真撮影が可能となる。
【0159】
しかも、本実施の形態によれば、ホールディング判定時には、従来の測距用のセンサとして使用されているセンサを手ブレ判定にも有効使用し、像信号を記憶するメモリ領域も測距時とホールディングチェック時とで兼用するようにしているので、コストアップとなることなく、信頼性の高い手ブレ判定を行うことができる。
【0160】
【発明の効果】
従って、以上説明したように、本発明によれば、測距センサを利用して手ブレ検出を行う場合に、メモリ容量の増大を招くことなく、従来より高精度かつ簡単な構成で実現し得るブレ検出機能付き測距装置を提供することができる。
【図面の簡単な説明】
【図1】図1の(a)は、本発明の実施の形態に係るカメラの外観と、その一部を切り欠いた内部構造を示す斜視図であり、図1の(b)は、本実施の形態に用いられる硬質プリント基板14と、フレキシブルプリント基板(以下フレキ基板と称する)7との配置関係を示す側面図であり、図1の(c)は、本発明の測距光学系を説明するために示す図である。
【図2】図2の(a)は、本発明の実施の形態に係るカメラの電子回路を含む制御系の構成を示すブロック図であり、図2の(b)は、図2の(a)のモノリシック加速度計3によって検出可能な方向を説明するための図である。
【図3】図3は、図2の加速度IC3の製造工程の一例を示す図である。
【図4】図4は、図3の製造工程によって製造される加速度IC3の各部の構成を示す図である。
【図5】図5の(a)は、処理回路29の構成例を示すブロック図であり、図5の(b)は、処理回路29からのの出力波形を示す図である。
【図6】図6は、本発明の実施の形態に係るカメラの振動検出の原理について説明するための図である。
【図7】図7の(a)、(b)は、本発明の特徴たるAFセンサの出力(像信号)と、加速度センサの出力との違いについて説明するために示した図である。
【図8】図8は、本発明の実施の形態に係るカメラのホールディングチェック機能を撮影モードの一つにしておき、ユーザーが必要と判断する場合のみに設定できるようにする場合を示す図である。
【図9】図9は、図8の(b)、(c)の表示セグメント6b、6cの配置例を示す図である。
【図10】図10は、本発明の第1の実施の形態に係るカメラ10を背面から見た外観図である。
【図11】図11は、本発明の第1の実施の形態に係るカメラ10を前面から見た外観図である。
【図12】図12は、本発明の実施の形態で採用している二つの検出方式によるセンサを搭載したホールディングチェックモード付カメラ内のCPUが、内蔵のプログラムに沿ったシーケンスにより行う表示制御等を説明するために示すフローチャートである。
【図13】図13は、図2の(a)のファインダ内LCD6aに表示される警告パターンの一例を示す図である。
【図14】図14は、図2の(a)のファインダ内LCD6aに表示される通常表示パターンの一例を示す図である。
【図15】図15は、図2の(a)のファインダ内LCD6aに表示される手ブレ警告の表示[パターン1]の例を示す図である。
【図16】図16は、本発明の実施の形態においてAFセンサ5ca、5cbにより光電変換された像信号が、記憶手段110の基準部像信号格納領域110a、参照部像信号格納領域または最新像信号格納領域110bにそれぞれ記憶される形態を説明するために示す図である。
【図17】図17は、本発明における相関演算のウインドシフト方法を説明するための図である。
【図18】図18は、図17の相関演算のウインドシフト方法における各シフト値毎の相関値を示す相関データグラフである。
【符号の説明】
14…硬質プリント基板、
7…フレキシブルプリント基板(フレキ基板)、
3…モノリシック加速度計(加速度IC)、
10…カメラ、
9…撮影レンズ、
8…ストロボ、
15…ファインダ対物レンズ、
1…ワンチップマイクロコンピュータ(CPU)、
2…インターフェースIC(IFIC)、
4…メモリ(EEPROM)、
12…コネクタ、
6…表示素子(LCD)、
5…オートフォーカス(AF)用センサ、
13…通信ラインやスイッチ用パターン、
11…警告表示部、
101…被写体、
102…像信号、
5d…受光レンズ、
5c…センサアレイ、
20…シリコン基板(ICチップ)、
21…酸化膜、
22…ポリシリコン層、
22c…可動電極、
24、25…別の電極、
23a、23b…可動電極22cの腕部、
29…処理回路、
32…搬送波発生器(発振回路)、
31…Y方向加速度センサ、
34…復調回路、
36…フィルタ回路、
37…PWM信号発生回路、
5a…オートフォーカス(AF)部、
5b…測光部、
6a…ファインダ内LCD6a、
8a…メインコンデンサ、
11a…抵抗11a、
スイッチ…13a、13b、
19…シャッタ、
18…モータ、
16…回転羽根、
17…フォトインタラプタ、
6b、6c…表示セグメント、
61…ファインダ接眼部、
65…セルフタイマー表示用LED、
10a…バリア。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a distance measuring apparatus with a blur detection function using an AF sensor that detects a vibration state such as a camera shake that occurs during shooting by a camera, and in particular, warns a photographer to prevent camera shake. The present invention relates to a shake detection device that can be effectively used.
[0002]
[Prior art]
In general, when taking a picture with a camera in hand, there may be a so-called camera shake in which the camera shakes during exposure and becomes a failed photograph when the shutter speed is slow.
[0003]
In order to prevent this camera shake, various anti-vibration techniques have been studied.
[0004]
This anti-vibration technique can be divided into two techniques: vibration detection and countermeasures against the detected vibration.
[0005]
Further, the vibration countermeasure technology is further classified into a warning technology for allowing the user to recognize the vibration state, and a technology for preventing image degradation due to camera shake by driving and controlling the photographing lens.
[0006]
Among them, as a warning technique, the present applicant has proposed a camera that is resistant to camera shake by devising display means, for example, in Japanese Patent Application No. 11-201845.
[0007]
Further, an example in which a distance measuring sensor is applied is recently disclosed in Japanese Patent Laid-Open No. 2001-165622, and more anciently, in Japanese Patent Publication No. 62-27686.
[0008]
[Problems to be solved by the invention]
However, among general users, there are people who do not know what camera shake is in the first place and do not recognize the necessity of camera shake prevention and push the release button deeply to take a failed photo.
[0009]
In particular, in order to have you take a picture of yourself while traveling, if you hand over the camera to a person nearby and ask for a release operation, the requested person will be too confused, as shown in FIG. 6 (a). There are many cases in which the picture is ruined because of a large amount of movement.
[0010]
In addition, when camera shake detection is performed using a distance measuring sensor, if a storage means for image signals output from the distance measuring sensor is provided for camera shake detection, a huge storage capacity is required, and a large capacity memory is required. There have been problems such as an increase in cost due to use and a problem in storing data used for other than camera shake detection.
[0011]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described circumstances. When camera shake detection is performed using a distance measuring sensor, the present invention is realized with a higher accuracy and simpler configuration than before without increasing the memory capacity. An object of the present invention is to provide a distance measuring device with a blur detection function.
[0012]
[Means for Solving the Problems]
According to the present invention, in order to solve the above problems,
(1) a pair of light receiving lenses for forming a subject image;
A pair of line sensors that photoelectrically convert a subject image formed by the pair of light-receiving lenses and output as an image signal;
Storage means for storing image signals output from the pair of line sensors,
Output from the pair of line sensors A pair of Based on image signal Perform ranging operation The pair of line sensors Either one of From Every predetermined time Change in output image signal On the basis of Camera shake detection Action In a distance measuring device with a blur detection function capable of performing
The storage area of the storage means is divided into two, and a pair of image signals output from the pair of line sensors are stored in the divided storage area during the distance measuring operation, and the pair of image signals are stored during the camera shake detection operation. An image signal serving as a reference of an image signal output from one of the line sensors and the latest image signal are stored in the storage area divided into two. A distance measuring device with a blur detection function is provided.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0017]
In the present embodiment, a liquid crystal display means for displaying a photographing range (finder field of view) according to a photographing mode provided in a finder of a camera with a change in light transmittance, and as a camera shake determination, in addition to the distance measuring sensor described above, In combination with a monolithic accelerometer, it is equipped with a vibration detection means that detects camera vibration and suggests the occurrence of camera shake. When camera shake occurs, the transmittance of the display area of the liquid crystal display means is patterned. This is a technology that makes it easy for users to recognize the occurrence of camera shake.
[0018]
The monolithic accelerometer is formed on an IC chip, and is a device that detects vibration using a capacitance change generated between a movable pattern and a non-movable pattern. For example, those proposed in Japanese Patent Application Laid-Open No. 8-178854 can be used.
[0019]
As a configuration of this monolithic accelerometer, both patterns described above are formed of a polysilicon member on a silicon substrate, one electrode is movable and responds to acceleration, and the other electrode is stationary with respect to the acceleration. In this state, a pair of capacitors is formed.
[0020]
When acceleration is applied to such a silicon substrate, the capacity of one capacitor increases and the capacity of the other capacitor decreases.
[0021]
A signal processing circuit for converting these differential capacitances into voltage signals is required, and these movable electrodes, capacitors and signal processing circuits are monolithically formed on the same substrate.
[0022]
Japanese Patent Application Laid-Open No. 8-178954 describes an application for operating a safety device such as an automobile braking system or an air bag. By making it monolithic, dimensions, cost, required power, and reliability are described. The point which is excellent in etc. is explained.
[0023]
In the present embodiment, such a monolithic accelerometer element is effectively arranged and controlled, and while maintaining the above characteristics, a camera-specific situation is taken into account, and a highly accurate and effective anti-vibration camera is realized.
[0024]
Note that this portion may be constituted by a shock sensor or the like for detecting an impact or the like instead of the monolithic accelerometer element.
[0025]
1 and 2 are diagrams illustrating a configuration example of a camera according to the present embodiment.
[0026]
FIG. 1A is a perspective view showing the appearance of the camera according to the present embodiment and the internal structure with a part thereof cut away.
[0027]
FIG. 1B is a side view showing a positional relationship between the hard printed board 14 used in the present embodiment and a flexible printed board (hereinafter referred to as a flexible board) 7.
[0028]
(C) of FIG. 1 is a figure shown in order to demonstrate the ranging optical system of this invention.
[0029]
FIG. 2A is a block diagram showing a configuration of a control system including the electronic circuit of the camera according to the present embodiment.
[0030]
FIG. 2B is a diagram for explaining directions that can be detected by the monolithic accelerometer 3 of FIG.
[0031]
As shown in FIG. 1A, on the front surface of the camera 10, a finder objective lens 15 and a light receiving lens of a distance measuring unit for autofocus are arranged in addition to the photographing lens 9 and the strobe 8.
[0032]
An electronic circuit for moving the camera 10 fully automatically is provided inside the camera 10.
[0033]
This electronic circuit also includes the above-described monolithic accelerometer (acceleration IC) 3 mounted on the hard printed circuit board 14, and in order to show the positional relationship, a part of the internal structure is shown in FIG. Notched to show.
[0034]
In addition to the acceleration IC 3, on the rigid printed circuit board 14, a one-chip microcomputer (CPU) 1 for controlling an operation related to photographing of the entire camera and an actuator such as a motor are operated to provide a mechanical system unit. An interface IC (IFIC) 2 to be driven is mounted.
[0035]
Further, in the vicinity of the CPU 1, for example, an EEPROM is provided as a memory 4 for storing adjustment data for component variation in the camera assembly process.
[0036]
FIG. 1B is a diagram showing the relationship between the hard printed circuit board 14 and the flexible circuit board 7 in a state where the main part of the camera 10 of FIG. 1 is removed and viewed from the lateral direction.
[0037]
Since the rigid printed board 14 is not bent along the curved surface inside the camera 10, the flexible board 7 is used, and these two boards are connected by the connector 12.
[0038]
On the flexible substrate 7, as shown in FIG. 1A, a display element (LCD) 6 is mounted, and a communication line with the autofocus (AF) sensor 5 and a switch pattern 13 are formed. ing.
[0039]
The flexible substrate 7 wraps around to the back of the camera 10 and is mounted with a notification element such as a sound emitting element PCV or LED in the warning display unit 11 as shown in FIG. In addition to the transmitted signal, the AF sensor 5 is also provided with a signal.
[0040]
As shown in FIG. 1C, the AF sensor 5 obtains the distance to the subject 101 using the principle of triangulation, and the image signal 102 of the subject 101 is converted into two light receiving lenses 5d and 5d. The subject distance can be detected from the relative position difference X detected by the sensor array 5c.
[0041]
Since the subject generally has a vertical shadow, the two light receiving lenses 5d are arranged in the horizontal direction (X direction) as shown in FIG. 1A, and the sensor array 5c is also divided in the horizontal direction. ing.
[0042]
As a result, an image shift in the X direction that occurs when there is camera shake in the lateral direction can be detected by the AF sensor 5.
[0043]
Accordingly, as shown in FIG. 2B, the acceleration IC 3 is arranged in a direction in which blur in the Y direction is detected rather than in the X direction, and the detection in both the X and Y directions is supplemented by separate sensors. .
[0044]
Here, the acceleration IC3 will be described.
[0045]
FIG. 3 is a diagram illustrating an example of a manufacturing process of the acceleration IC 3.
[0046]
First, as shown in FIGS. 3A and 3B, an oxide film 21 is formed on a silicon substrate (IC chip) 20, and a pattern using a resist mask is formed on the oxide film 21.
[0047]
Next, as shown in FIG. 3C, when the exposed portion is removed by etching and a resist mask is formed, an opening can be formed in an arbitrary portion.
[0048]
Thereafter, a polysilicon layer 22 is deposited as shown in FIG.
[0049]
Thereafter, as shown in FIG. 3E, the oxide film 21 is selectively removed by wet etching, whereby the polysilicon layer 22 is formed on the silicon substrate 20 in a bridge-like structure.
[0050]
The polysilicon layer 22 is made conductive by diffusing impurities such as phosphorus.
[0051]
FIG. 4 is a diagram showing the configuration of each part of the acceleration IC 3 manufactured as described above.
[0052]
First, the movable electrode 22c having support portions at four corners as shown in FIG. 4B is formed on the silicon substrate 20 by the bridge structure as described above.
[0053]
Further, as shown in FIG. 4A, another electrodes 24 and 25 are formed on the silicon substrate 20 and arranged adjacent to the arm portions 23a and 23b of the movable electrode 22c described above. A very small capacitor is formed between the arm 23 a and the electrode 24, and between the arm 23 b and the electrode 25.
[0054]
Furthermore, as shown in FIG. 4C, an IC with a processing circuit capable of detecting acceleration in a predetermined direction is monolithic by using an IC chip in which the movable electrode structure is arranged on the silicon substrate 20. Composed.
[0055]
That is, as shown in FIG. 4C, the processing circuit 29 is formed on the IC chip together with the above-described monolithic movable electrode capacitor.
[0056]
This detects a capacitance component that changes by the movable electrode 22c, and outputs a signal corresponding to the acceleration.
[0057]
Due to the movement of the bridge-shaped movable electrode 22c, one of the capacitances formed in the two electrodes increases and the other decreases, so that the acceleration in the arrow direction shown in FIG. 4B can be detected.
[0058]
Therefore, when this IC chip is mounted on a camera, acceleration in the Y direction can be detected as shown in FIG.
[0059]
FIG. 5A is a block diagram illustrating a configuration example of the processing circuit 29.
[0060]
As described above, capacitance components are formed between the arm portions 23a and 23b and the electrodes 24 and 25 included in the Y-direction acceleration sensor 31 for detecting movement in the Y direction, and the arm portions 23a and 23b These capacities change with movement.
[0061]
This change in capacitance is converted into an electrical signal by the processing circuit 29.
[0062]
The processing circuit 29 includes a carrier wave generator (oscillation circuit) 32 that oscillates a carrier wave having a pulse waveform, and a demodulation circuit 34 that demodulates each oscillation waveform changed by the capacitance change of the Y-direction acceleration sensor 31 by full-wave switching rectification. The filter circuit 36 outputs an acceleration-dependent analog signal, and the PWM signal generation circuit 37 performs analog PWM conversion.
[0063]
FIG. 5B is a diagram showing an output waveform from the processing circuit 29.
[0064]
Thus, the duty ratio of the pulse (the ratio between the half cycle T1 and the full cycle T2 of the output waveform shown in FIG. 5B) changes according to the acceleration.
[0065]
Therefore, the acceleration IC 3 outputs a voltage signal proportional to the acceleration or a pulse width modulation (PWM) signal proportional to the acceleration.
[0066]
The CPU 1 that can handle only digital signals can detect acceleration by demodulating the PWM signal using a built-in counter.
[0067]
For the voltage signal proportional to the acceleration, an adjuster having an A / D converter may be used.
[0068]
If a PWM signal is used, it is not necessary to mount an A / D converter on the CPU 1.
[0069]
FIG. 2A is a block diagram showing a configuration of a control system including an electronic circuit of a camera on which such an acceleration IC 3 is mounted.
[0070]
In this configuration, a CPU 1 that controls the entire camera, an IFIC 2, a monolithic accelerometer (acceleration IC) 3, a memory (EEPROM) 4 that stores adjustment data, an autofocus (AF) unit 5a, and photometry Unit 5b, a liquid crystal display element (LCD) 6 for displaying information related to camera settings and photographing, an in-finder LCD 6a provided in the finder for displaying information relating to photographing, and light emission for emitting auxiliary light and the like A strobe unit 8 including a tube, a main capacitor 8a for charging a light for emitting light from the arc tube, a photographing lens 9 having a zooming function, a warning display unit 11 including an LED, and a warning display unit 11 are connected in series. Resistor 11a, switches 13a and 13b for starting a camera photographing sequence, and photographing lens 9 A motor 18 for driving a shutter 19 and a driving mechanism such as film feeding, a rotating blade 16 that rotates in conjunction with the motor 18, and a hole in the rotating blade 16 that rotates for driving control of the motor 18 are optically detected. And the photo interrupter 17.
[0071]
The motor 18 may switch the driving destination by a switching mechanism when driving each driving mechanism such as the photographing lens 9 and the shutter 19, or each driving mechanism may be provided with another motor.
[0072]
In this configuration, the CPU 1 governs the shooting sequence of the camera according to the operation state of the switches 13a and 13b.
[0073]
That is, in addition to the warning display by the in-finder LCD 6a for camera shake warning according to the output of the monolithic accelerometer 3, the AF unit 5a including the AF distance measuring unit at the time of shooting, and the photometric unit for measuring the luminance of the subject for exposure control 5b is driven, a necessary signal is received, and the motor 18 is controlled via the IFIC 2 described above.
[0074]
At this time, the rotation of the motor 18 is transmitted to the rotary blade 16, and the IFIC 2 shapes the signal output from the photointerrupter 17 according to the position of the presence or absence of the adjustment hole.
[0075]
Then, the CPU 1 monitors the rotation state of the motor 18 based on the output signal from the IFIC 2.
[0076]
Further, auxiliary light is emitted by the flash unit 8 as necessary.
[0077]
FIG. 13 shows an example of a warning pattern displayed on the finder LCD 6a.
[0078]
The in-finder LCD 6a is used for screen display in the panorama mode, blackout display indicating that the shutter has been released, and the like.
[0079]
The patterns A and C shown in FIG. 13 use a light shielding pattern displayed at the time of panoramic shooting setting. First, as shown in screen A, only the upper area is shielded, and then as shown in screen B. In this pattern, only the central area indicating the photographing range at the time of panoramic photographing is shielded, and finally only the lower area of the panoramic light shielding area is shielded as shown in screen C.
[0080]
By repeating this display mode, a user looking through the viewfinder can recognize that camera shake has occurred.
[0081]
Incidentally, the blackout display can be performed by simultaneously shielding the A, B, and C patterns.
[0082]
FIG. 14 shows an example of a normal display pattern displayed on the finder LCD 6a.
[0083]
With such a display, it is possible to express a feeling that the viewfinder screen is shaken. Therefore, when the user resets the camera and no camera shake occurs, the screen shown in FIG. D or the screen E shown in FIG. 14B is returned to, and the subject can be monitored.
[0084]
FIG. 15 shows an example of a camera shake warning display pattern displayed on the LCD 6a.
[0085]
The camera shake warning display pattern shown in FIG. 15 uses a light-shielding portion that is displayed when panoramic shooting is set, similarly to the pattern described in FIG.
[0086]
That is, the camera shake warning display pattern shown in FIG. 15 is a pattern in which the upper and lower light shielding portions are alternately displayed as the screen A and the screen C.
[0087]
The camera shake warning display pattern shown in FIG. 15 is different from the pattern shown in FIG. 13 because the center of the screen is always visible, so that the expression of the subject does not become difficult to see in the panoramic shooting mode.
[0088]
Further, since the blinking is performed as described above at the time of camera shake warning, the user does not misunderstand unlike the normal display in FIGS. 14 (a) and 14 (b).
[0089]
Next, the principle of camera vibration detection with such a configuration will be described with reference to FIG.
[0090]
As shown in FIG. 6 (a), when the user 10 holds the camera with one hand, there is a tendency to slightly vibrate the camera in an oblique direction, as shown in FIG. 6 (b). It can be decomposed into a movement in the direction and the Y direction.
[0091]
In general, a general user is often unconscious about such a micro vibration causing an effect of “blur” at the time of photographing, and the camera 10 detects the micro vibration and performs display as described in FIG. Thus, since the user takes a picture such as putting the left hand 100a on the camera and taking measures such as suppressing vibrations, it is possible to take a picture without failure due to camera shake.
[0092]
However, since it is always annoying when a warning is issued, high-class users who are well aware of the occurrence of camera shake may rather enjoy taking pictures using blur effectively. The function is set to one of the shooting modes, and the device can be set only when the user deems it necessary.
[0093]
That is, as shown in FIG. 8A, the switch 13c and the liquid crystal display unit 6 are provided, and only the functions of the film counter 6a and the like are operated in the normal state. The camera shake mode is set only when the operation is performed as shown in b).
[0094]
When this mode is set, the display segments 6b and 6c are displayed as shown in FIGS. 8B and 8C. When the portion 6b flashes, the user has entered the holding check mode. I understand.
[0095]
As shown in FIG. 8D, since this mode display also serves as a part of the self-timer mode display, there is no burden on the layout in the LCD.
[0096]
In this case, the display segments 6b and 6c are arranged on the substrate 6d as shown in FIG. 9, so that display control can be performed independently.
[0097]
FIG. 10 is an external view of the camera 10 as viewed from the back.
[0098]
If the user holds the camera in this mode and the holding check is unstable, the LCD in the finder blinks as described above, and the finder eyepiece 61 of the camera 10 as shown in FIG. You may make it warn by blinking the warning display part 11 by LED nearby.
[0099]
FIG. 11 is an external view of the camera 10 as viewed from the front.
[0100]
As shown in FIG. 11, the self-timer display LED 65 may be blinked so that the holding of the photographer can be checked when the camera owner asks another person to take a picture.
[0101]
FIGS. 7A and 7B are views for explaining the difference between the output (image signal) of the AF sensor and the output of the acceleration sensor, which is a feature of the present invention.
[0102]
However, in this case, it is assumed that the user has shakes with movements in both the X and Y directions as shown in FIGS. 6A and 6B.
[0103]
As shown in FIG. 7A, at the instant when the camera moves from the stationary state at the image position X1 and time t = t0, the acceleration sensor outputs a signal when the camera starts moving at the timing of t = t1, If the camera moves at a constant speed between the image positions X2 to X6 and the time t = t2 to t = t6, the acceleration sensor does not output a signal because there is no acceleration even though the camera is shaken.
[0104]
Then, when the camera stops again, at the timing of t = t7, an output is generated from the acceleration sensor in a direction that stops the previous constant speed motion, and the camera is stopped after time t = t8. It becomes a state.
[0105]
In order to compensate for this acceleration sensor, the image sensor (AF sensor) of the camera outputs an image signal that continues to change even during constant speed movement. Therefore, if this output is determined, even if the output of the acceleration sensor is 0, the CPU 1 of the camera Can determine that the camera is moving.
[0106]
Further, as shown in FIG. 7B, an output may be generated from the acceleration sensor even if the image signal hardly changes.
[0107]
This is the case where the user is trying to fix and hold the camera while shaking, and unlike FIG. 7A, the change in the image is small. There are many cases where you can take pictures without any problems.
[0108]
In other words, even if a large output is generated from the acceleration sensor, the camera may only move slightly, and even if the acceleration sensor responds only occasionally, the camera position may change greatly.
[0109]
In addition, there are some limitations in blur determination by the AF sensor.
[0110]
For example, in a scene where there is no contrast or a scene where the image is dark and the image is not known, the image sensor (AF sensor) of the camera cannot make a determination because the change in the image is not understood.
[0111]
Also, as in this embodiment, a sensor with only one direction of detection does not understand camera movement or image change in a different direction, and if the camera shakes too much, the AF sensor monitors it. As a result, the image is completely changed and the blur amount cannot be accurately determined.
[0112]
Therefore, it is necessary to devise a method for determining blur by appropriately using sensors based on the two detection methods of the acceleration sensor and the AF sensor.
[0113]
FIG. 12 is a flowchart for explaining display control and the like performed by a CPU in a camera with a holding check mode equipped with a sensor based on these two detection methods in a sequence according to a built-in program.
[0114]
For example, in the camera shown in FIG. 11, when the barrier 10a that protects the front lens is opened, the user first performs framing, has not yet entered the holding operation, and the camera is moved greatly. Judgment by is not valid.
[0115]
Since the AF sensor only monitors a narrow portion in the screen, it cannot be quantitatively evaluated for a large camera movement.
[0116]
Therefore, in step S1, first, the output of the acceleration sensor is determined, and even if there is a shock when the barrier is opened or a shock when the user holds the camera, the display of the holding warning is prohibited for a predetermined time ( Step S2).
[0117]
Thereafter, image detection using the AF sensor is started (step S3).
[0118]
As a result, it is determined whether the image detection is suitable for the holding check. Therefore, in the case of low luminance (step S4) or low contrast (step S5), this is determined and acceleration detection is performed without using the image signal. Is entered into the blur determination flow (step S10).
[0119]
When the acceleration sensor outputs a signal, when no acceleration is detected for a predetermined time (step S11, S12), a warning is issued (step S13).
[0120]
As shown in FIG. 7A, this determines that the camera continues to move at a constant speed and informs the user that camera shake can occur.
[0121]
In this state, there is a possibility that the user intends to take a panning shot. Therefore, for example, the LCD in the finder does not blink (FIG. 13 etc.) and the LED 11 near the finder eyepiece blinks as shown in FIG. The warning may be different from the case where the AF sensor is also used together (step S26).
[0122]
If the image signal has high brightness and high contrast and is suitable for camera shake determination, image detection is repeated at predetermined time intervals (step S22) in steps S20 and S21 (steps S23 and S24).
[0123]
FIG. 16 shows that the image signals photoelectrically converted by the AF sensors 5ca and 5cb in the embodiment of the present invention are the reference part image signal storage area 110a, the reference part image signal storage area (during distance measurement) of the storage means 110, or the latest. It is a figure shown in order to demonstrate the form each memorize | stored in the image signal storage area (at the time of camera shake detection) 110b.
[0124]
In this image detection, as shown in FIG. 16B, one sensor 5ca of the pair of AF sensors 5c, the reference part image signal storage area 110a of the storage means 110, the latest image signal storage area (when camera shake is detected). ) 110b.
[0125]
First, in step S21, the image signal photoelectrically converted by the AF sensor 5ca is stored in the latest image signal storage area 110b of the storage unit 110.
[0126]
Next, in step S24, the image signal previously stored in the latest image signal storage area 110b in step S21 is transferred to the reference image signal storage area 110a, and the image signal photoelectrically converted by the AF sensor 5ca is the latest image. It is stored in the signal storage area 110b.
[0127]
Thereafter, the image signal stored in the latest image signal storage area 110b in the previous step S24 is transferred to the reference image signal storage area 110a, and the image signal photoelectrically converted by the AF sensor 5ca in the current step S24 is the latest image. It is stored in the signal storage area 110b.
[0128]
As described above, in step S24, a correlation calculation described later is performed using the image signal stored in the storage unit 110 to obtain the image shift amount X (n).
[0129]
If the image shift amount X (n) is larger than the predetermined level Xc, the determination is made in step S25, and the process branches to step S26 to give a warning that the holding is insufficient.
[0130]
These warnings allow the user to recognize that he / she is unintentionally shaking his camera and take countermeasures by holding the camera with his hands or placing it on something.
[0131]
If the image shift amount X (n) is larger than Xcc which is larger than Xc in step S25, it is considered that the user has taken a completely different angle or changed the composition. Return (Y of S27).
[0132]
If the image signal is stable, step S25 is branched to N, so that a release operation is possible. Thereafter, the exposure sequence in step S30 and subsequent steps is entered.
[0133]
First, focusing and distance measurement are performed.
[0134]
At this time, the measurement of the image signal for distance measurement is performed using both the sensors 5ca and 5cb of the pair of AF sensors 5c, as shown in FIG.
[0135]
The image signals photoelectrically converted by the AF sensors 5ca and 5cb are stored in the reference part image signal storage area 110a and the reference part image signal storage area 110b of the storage unit 110, respectively.
[0136]
Then, using the image signal stored in the storage unit 110, an image shift amount is obtained by correlation calculation described later, and the image shift amount is converted into data corresponding to the subject distance to perform focusing.
[0137]
Next, the exposure time is determined by the luminance information obtained by the image detection in step S3, and exposure is started.
[0138]
During this time, if the camera shakes, camera shake occurs, so acceleration is detected in step S33, and the acceleration g due to shock or the like when the release button is pressed is obtained.
[0139]
When the acceleration g is large, a camera shake photograph is obtained even if the exposure time is short.
[0140]
Even if the acceleration g is small, if the exposure time is long, a camera shake photograph is obtained in this case as well.
[0141]
In order to determine this, the exposure time is counted in step S34, and when the exposure ends (step S35), the speed is obtained from the obtained acceleration g and exposure time tEND.
[0142]
Since the moving amount can be calculated because the speed has changed by the time t and END, if this exceeds the allowable amount ΔY of the lens, the process branches from step S36 to S37 to issue a warning. .
[0143]
As described above, only the change in speed can be understood only by the acceleration, but in the present embodiment, it is first determined that the output <image signal> of the AF sensor does not change to stop at a predetermined position. Based on this, it is possible to accurately determine how much the camera has moved during the exposure.
[0144]
As described above, according to the present embodiment, since the AF sensor is effectively used, the AF sensor is used not only for distance measurement but also for holding check and stores an image signal. Since the memory area is also used for both distance measurement and holding check, no new sensor or memory is required, so the added value of the camera can be increased without incurring an increase in cost or space. .
[0145]
In addition, it can be used in combination with acceleration sensor signals to detect shaking in the X and Y directions to deal with dark scenes and low contrast scenes, and can also be used as a stationary detection sensor to move the camera from the acceleration sensor output. It is possible to accurately calculate the quantity.
[0146]
Accordingly, it is possible to accurately perform camera shake determination after shooting corresponding to the focal length and aperture of the shooting lens and the shutter speed at the time of shooting.
[0147]
Needless to say, if the position of the photographic lens is corrected based on the calculated amount of movement, it can be applied to a camera with an anti-vibration function.
[0148]
FIG. 17 is a diagram for explaining the window shift method of the correlation calculation described above.
[0149]
That is, as shown in FIGS. 17A and 17B, the AF sensors 5ca and 5cb are composed of a plurality of photoelectric conversion elements.
[0150]
Then, the image signals a1, a2,... AN, b1, b2,... BN output from the AF sensors 5ca and 5cb are stored in the areas 110a and 110b of the storage unit 110. Only a1, a2,... AN acquired with a predetermined time difference are stored.
[0151]
Data of a predetermined range (hereinafter, windows) 120a and 120b is extracted from the image signal.
[0152]
As the extraction method, the simplest method is to fix the window 120a and shift the window 120b by one sensor.
[0153]
This is an example, and the number of window data, the shift amount, the shift method, and the like may be changed during distance measurement and camera shake detection.
[0154]
Correlation amount F (n) is obtained by equation (1) using a pair of extracted window data.
[0155]
Figure 0003868264
However, n: shift amount, W: number of data in window, i: data in window No.
k: Calculation area head sensor data No.
FIG. 18 is a correlation data graph showing a correlation value for each shift value.
[0156]
As shown in FIG. 18, the degree of coincidence between the data of the pair of windows 120a and 120b is the highest when F (n) obtained by shifting the window 120b by one sensor is a minimum value (F (n) = Fmin), the shift amount n = nFmin is the relative image shift amount of the subject image.
[0157]
This image shift amount is used as a camera shake amount X (n) in the X direction at the time of camera shake determination, and is used to calculate subject distance data as AF data at the time of distance measurement.
[0158]
As described above, according to the present embodiment, if a holding check mode is set particularly in a shooting scene in which camera shake is a concern, a warning is issued during camera shake so that the photographer can recognize camera shake. As a result, it is possible to shoot without failure due to camera shake.
[0159]
In addition, according to the present embodiment, at the time of holding determination, a sensor used as a conventional distance measurement sensor is also effectively used for camera shake determination, and a memory area for storing an image signal is also used for distance measurement and holding. Since it is also used for checking, it is possible to perform highly reliable camera shake determination without increasing the cost.
[0160]
【The invention's effect】
Therefore, as described above, according to the present invention, when camera shake detection is performed using a distance measuring sensor, it can be realized with higher accuracy and a simpler configuration than before without increasing the memory capacity. A distance measuring device with a blur detection function can be provided.
[Brief description of the drawings]
FIG. 1 (a) is a perspective view showing an external appearance of a camera according to an embodiment of the present invention and an internal structure in which a part thereof is cut out, and FIG. It is a side view which shows the arrangement | positioning relationship between the hard printed circuit board 14 used for embodiment, and a flexible printed circuit board (henceforth a flexible printed circuit board) 7, (c) of FIG. 1 shows the ranging optical system of this invention. It is a figure shown in order to demonstrate.
2A is a block diagram showing a configuration of a control system including an electronic circuit of a camera according to an embodiment of the present invention, and FIG. 2B is a block diagram of FIG. FIG. 6 is a diagram for explaining directions that can be detected by the monolithic accelerometer 3 of FIG.
FIG. 3 is a diagram illustrating an example of a manufacturing process of the acceleration IC 3 in FIG. 2;
4 is a diagram showing a configuration of each part of the acceleration IC 3 manufactured by the manufacturing process of FIG. 3; FIG.
5A is a block diagram illustrating a configuration example of the processing circuit 29, and FIG. 5B is a diagram illustrating an output waveform from the processing circuit 29. FIG.
FIG. 6 is a diagram for explaining the principle of camera vibration detection according to the embodiment of the present invention;
FIGS. 7A and 7B are diagrams for explaining the difference between the output (image signal) of the AF sensor and the output of the acceleration sensor, which is a feature of the present invention.
FIG. 8 is a diagram illustrating a case where the holding check function of the camera according to the embodiment of the present invention is set to one of the shooting modes and can be set only when the user determines that it is necessary. is there.
FIG. 9 is a diagram illustrating an arrangement example of the display segments 6b and 6c in FIGS. 8B and 8C.
FIG. 10 is an external view of the camera 10 according to the first embodiment of the present invention as viewed from the back side.
FIG. 11 is an external view of the camera 10 according to the first embodiment of the present invention as viewed from the front.
FIG. 12 is a diagram showing display control performed by a CPU in a camera with a holding check mode equipped with a sensor based on two detection methods employed in the embodiment of the present invention in a sequence according to a built-in program; It is a flowchart shown in order to demonstrate.
13 is a diagram showing an example of a warning pattern displayed on the in-finder LCD 6a of FIG. 2 (a). FIG.
FIG. 14 is a diagram showing an example of a normal display pattern displayed on the in-viewfinder LCD 6a of FIG. 2 (a).
15 is a diagram showing an example of a camera shake warning display [Pattern 1] displayed on the in-viewfinder LCD 6a of FIG.
FIG. 16 is a diagram illustrating a case where the image signal photoelectrically converted by the AF sensors 5ca and 5cb in the embodiment of the present invention is a reference part image signal storage area 110a, a reference part image signal storage area, or a latest image of the storage unit 110; It is a figure shown in order to demonstrate the form each memorize | stored in the signal storage area 110b.
FIG. 17 is a diagram for explaining a window shift method of correlation calculation in the present invention.
FIG. 18 is a correlation data graph showing correlation values for each shift value in the window shift method of correlation calculation of FIG. 17;
[Explanation of symbols]
14 ... Rigid printed circuit board,
7 ... Flexible printed circuit board (flexible circuit board),
3. Monolithic accelerometer (acceleration IC),
10 ... Camera,
9 ... Photography lens,
8 ... Strobe,
15 ... Viewfinder objective lens,
1 ... One-chip microcomputer (CPU),
2 ... Interface IC (IFIC),
4 ... Memory (EEPROM),
12 ... Connector,
6 ... Display element (LCD),
5 ... Autofocus (AF) sensor,
13 ... Patterns for communication lines and switches,
11 ... warning display part,
101 ... Subject,
102: Image signal,
5d: a light receiving lens,
5c ... sensor array,
20 ... Silicon substrate (IC chip),
21 ... Oxide film,
22 ... polysilicon layer,
22c ... movable electrode,
24, 25 ... another electrode,
23a, 23b ... arms of the movable electrode 22c,
29 ... Processing circuit,
32 ... Carrier wave generator (oscillation circuit),
31 ... Y direction acceleration sensor,
34. Demodulator circuit,
36: Filter circuit,
37 ... PWM signal generation circuit,
5a: Autofocus (AF) section,
5b: Metering unit,
6a: LCD 6a in the viewfinder,
8a ... main capacitor,
11a: resistor 11a,
Switch ... 13a, 13b,
19 ... Shutter,
18 ... motor,
16 ... rotating blades,
17 ... Photo interrupter,
6b, 6c ... display segment,
61 ... finder eyepiece,
65 ... LED for self-timer display,
10a ... Barrier.

Claims (1)

被写体像を結像させるための一対の受光レンズと、
前記一対の受光レンズにより結像された被写体像を光電変換して像信号として出力する一対のラインセンサと、
前記一対のラインセンサから出力される像信号を記憶するための記憶手段とを有し、
前記一対のラインセンサから出力される一対の像信号に基づいて測距動作を行い、前記一対のラインセンサのいずれか一方から所定時間毎に出力される像信号の変化に基づいて手ブレ検出動作を行うことが可能なブレ検出機能付き測距装置において、
前記記憶手段の記憶領域を二分割し、測距動作時には、前記二分割された記憶領域に前記一対のラインセンサから出力される一対の像信号をそれぞれ格納し、手ブレ検出動作時には、前記一対のラインセンサの一方から出力される像信号の基準となる像信号と最新の像信号とを前記二分割された記憶領域にそれぞれ格納することを特徴とするブレ検出機能付き測距装置。
A pair of light receiving lenses for forming a subject image;
A pair of line sensors that photoelectrically convert a subject image formed by the pair of light-receiving lenses and output as an image signal;
Storage means for storing image signals output from the pair of line sensors,
A distance measurement operation is performed based on a pair of image signals output from the pair of line sensors , and a camera shake detection operation is performed based on a change in the image signal output from one of the pair of line sensors every predetermined time. In a distance measuring device with a blur detection function capable of performing
The storage area of the storage means is divided into two, and a pair of image signals output from the pair of line sensors are stored in the divided storage area during the distance measuring operation, and the pair of image signals are stored during the camera shake detection operation. A distance measuring apparatus with a blur detection function , wherein an image signal serving as a reference of an image signal output from one of the line sensors and a latest image signal are stored in the storage area divided into two .
JP2001331348A 2001-10-29 2001-10-29 Distance measuring device with blur detection function Expired - Fee Related JP3868264B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001331348A JP3868264B2 (en) 2001-10-29 2001-10-29 Distance measuring device with blur detection function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001331348A JP3868264B2 (en) 2001-10-29 2001-10-29 Distance measuring device with blur detection function

Publications (2)

Publication Number Publication Date
JP2003131279A JP2003131279A (en) 2003-05-08
JP3868264B2 true JP3868264B2 (en) 2007-01-17

Family

ID=19146945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001331348A Expired - Fee Related JP3868264B2 (en) 2001-10-29 2001-10-29 Distance measuring device with blur detection function

Country Status (1)

Country Link
JP (1) JP3868264B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10194083B2 (en) 2015-12-22 2019-01-29 Mitsubishi Electric Corporation Wobble detection device

Also Published As

Publication number Publication date
JP2003131279A (en) 2003-05-08

Similar Documents

Publication Publication Date Title
US7177538B2 (en) Camera
JP3868273B2 (en) Camera shake detection method
TWI412269B (en) Camera provided with camera-shake compensation functionality
US5546159A (en) Camera for preventing camera shake
JP2004012637A (en) Camera with camera-shake detecting function
JP3868268B2 (en) camera
JP3868264B2 (en) Distance measuring device with blur detection function
JP3868283B2 (en) Blur detection device
JP2003270692A (en) Camera
JP2002328408A (en) Camera
JP2003140220A (en) Camera
JP2003302690A (en) Camera
JP2003315863A (en) Camera with shake detecting function
JP2003344887A (en) Camera with camera shake detecting function
JP2003344888A (en) Camera with camera shake detecting function
JP2003315876A (en) Camera
JP2003337359A (en) Camera with camera shake detecting function
JP2003075901A (en) Camera
JP2003140251A (en) Camera
JP2003280059A (en) Camera
JP2003228093A (en) Shake detector
JP2003140217A (en) Shake detecting device
JP2003149726A (en) Camera
JP2002328407A (en) Camera
JP2002244173A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061010

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees