JP4819550B2 - 撮像装置、及び、プログラム - Google Patents

撮像装置、及び、プログラム Download PDF

Info

Publication number
JP4819550B2
JP4819550B2 JP2006098184A JP2006098184A JP4819550B2 JP 4819550 B2 JP4819550 B2 JP 4819550B2 JP 2006098184 A JP2006098184 A JP 2006098184A JP 2006098184 A JP2006098184 A JP 2006098184A JP 4819550 B2 JP4819550 B2 JP 4819550B2
Authority
JP
Japan
Prior art keywords
lens
movement
focus
movement command
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006098184A
Other languages
English (en)
Other versions
JP2007271983A (ja
Inventor
優人 大吉
裕行 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2006098184A priority Critical patent/JP4819550B2/ja
Publication of JP2007271983A publication Critical patent/JP2007271983A/ja
Application granted granted Critical
Publication of JP4819550B2 publication Critical patent/JP4819550B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)

Description

本発明は、レンズを移動する機能を備える撮像装置、及び、プログラムに関する。
近年、携帯電話に代表されるように、モバイル機器に撮像装置としてカメラを組み込んだ商品が急速に普及してきている。モバイル機器に組み込まれるカメラは、オートフォーカス機構を備えているが、モバイル機器においては小型化が必須条件であり、オートフォーカス機構の小型化も望まれている。
従来、オートフォーカスを行うために、レンズ駆動用モータとしてステッピングモータが使用されてきた。ステッピングモータを使用したオートフォーカス機構は、モータの回転力をレンズの移動に変換する必要があり、小型化が難しい。
レンズ駆動用モータとしては超音波モータもあるが、これも小型化が難しい。
小型化を可能にするレンズ移動機構の一例として、スムーズインパクト駆動機構(以下、SIDMという。)を用いたものがある。
SIDMは、圧電素子の電圧印加による伸縮を利用したものである。圧電素子にパルスを繰り返して印加すると、パルス電圧に基づき圧電素子が伸縮運動する。ここで、パルスの立ち上がり速度やパルスの立ち下がり速度を調整すると、圧電素子の伸びる速度や縮む速度を調整できる。
SIDMは、圧電素子を伸ばす速度と縮ませる速度とに差をつけることにより、レンズを所望の方向に移動させるものである。
小型電子カメラにおけるオートフォーカス(以下、AFという。)は、SIDMと、下記特許文献1に記載されているコントラストオートフォーカスと、を組み合わせることにより、原理的には、実現可能である。
コントラストオートフォーカスとは、所望のフォーカス範囲でレンズを複数ポイントに動かし、各ポイントで得られるコントラスト値から、撮像ターゲットに対する合焦位置を見つけ出し、その合焦位置にレンズを移動させることにより実現されるオートフォーカスのことである。コントラスト値が合焦位置で最大になる性質を利用している。
特開平5−122579号公報
AFにおいては、レンズ位置の制御が重要である。そのためには、レンズの位置を把握しておくのが望ましい。
レンズ位置を把握する方法として、レンズ移動手段に与えた命令を記憶装置に記憶し、命令の履歴からレンズの現在位置を推定する方法がある。
例えば命令「無限遠端側に5mm移動せよ。」「マクロ端側に2mm移動せよ」「無限遠端側に1mm移動せよ」という3つの命令がなされた後は、レンズは、無限遠端側に5−2+1=4mm移動したと推定することができる。
かかる方法を採用するに際しては、レンズの移動距離がレンズ移動命令の内容に従い一意的に定まることが前提である。
しかしながら、レンズ移動機構の中には、かかる一意性が担保されないものもある。すなわち、命令内容が同じであっても、様々な原因により、レンズの移動距離にばらつきが生じる。
かかるばらつきのために、発された命令の履歴をたどることにより推定されたレンズ位置は、実際のレンズ位置とは乖離するおそれがある。
同様の問題は、SIDMに限らず命令に対するレンズ移動量が一意的に定まらないタイプの小型アクチュエータを使用する場合にも同様に発生する。また、高精度のアクチュエータを使用する場合でも、何らかのずれにより、同様の問題が発生することがある。
本発明は、上記実情に鑑みてなされたものであり、レンズの移動後の位置がレンズ移動命令に厳密には対応していない場合でも、レンズを適切な位置に移動制御できる撮像装置を提供することを目的とする。また、本発明を、小型アクチュエータで実現することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る撮像装置は、レンズと、前記レンズを介した被写体を撮像する撮像手段と、第1移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して近づく方向あるいは遠ざかる方向の一方に所定の範囲で移動させ、また第2移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して前記第1移動命令に応答して移動する方向の他方に所定の範囲で移動させるレンズ移動手段と、前記第1又は第2移動命令を連続して前記レンズ移動手段に与えて前記レンズを走査させた複数の位置それぞれにおける前記撮像手段からの入力画像の合焦指標と、該位置のそれぞれに達するまでに要した第1又は第2移動命令を与えた数と、を関連づけて取得する第1画像情報取得手段と、前記第1画像情報取得手段により取得された複数の合焦指標に基づいて合焦指標の最大値を推定し、該最大値の合焦指標に対応する合焦位置と前記レンズ移動手段によるレンズ位置の誤差を許容する合焦指標の第1許容範囲を設定する第1許容範囲設定手段と、前記第1画像情報取得手段により取得された前記合焦指標に関連づけられた第1又は第2移動命令の数に基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させる合焦位置接近手段と、前記合焦位置接近手段による前記レンズの該移動後に前記入力画像の合焦指標が、前記第1許容範囲設定手段により設定された前記第1許容範囲内にあるか否かを判別する第1許容範囲内外判別手段と、前記第1許容範囲内外判別手段により、前記合焦指標が前記第1許容範囲外にあると判別された場合、前記合焦位置接近手段により移動された前記レンズの位置から、該レンズの位置を前記合焦位置に再調整する再調整手段と、前記第1許容範囲内外判別手段により、前記合焦指標が前記第1許容範囲内にあると判別された場合、合焦動作を正常終了させる終了手段と、を備える、ことを特徴とする。
上述の発明においては、取得された複数の合焦指標をもとに、レンズを合焦位置に移動するため、迅速なAFが可能になる。また、上記の発明においては、レンズ走査後、レンズを合焦位置に移動するべく必要なレンズ移動命令が発せられ、その後、該レンズ移動命令のとおりに合焦位置に移動したかどうかの確認が行われる。もしも、様々な要因によりレンズが命令のとおりに移動せずその結果合焦位置に達していなかった場合には、レンズ位置を再調整するので、高精度のAFが可能になる。
また、前記レンズ移動手段による前記第1及び第2移動命令の内、無効になった命令の数を記憶する記憶手段をさらに備え、前記合焦位置接近手段は、前記第1又は第2移動命令の数と前記記憶手段によって記憶された前記無効になった命令の数とに基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させてもよい。
上記の発明においては、レンズ位置の粗調をより精度よく行うことができる。
なお、前記レンズ移動手段は、前記第1又は第2移動命令とは異なる第3移動命令が与えられるごとに応答して、前記レンズを前記第1移動命令と同じ方向により短い距離移動させ、第4移動命令が与えられるごとに応答して、前記レンズを前記第2移動命令と同じ方向により短い距離移動させ、前記再調整手段は、前記第3又は第4移動命令を前記レンズ移動手段に与えて前記レンズを移動し、前記入力画像の前記合焦指標を取得する第2画像情報取得手段と、前記合焦指標について、前記第1許容範囲より狭い第2許容範囲を設定する第2許容範囲設定手段と、前記第3又は第4移動命令を前記レンズ移動手段に与えて前記レンズを移動させて、該移動後に前記入力画像の前記合焦指標が、前記第2許容範囲設定手段により設定された前記第2許容範囲内にあるか否かを判別する第2許容範囲内外判別手段と、前記第2許容範囲内外判別手段により、前記合焦指標が前記第2許容範囲外にあると判別された場合、前記レンズの位置を前記合焦位置に再調整する手段と、を備えてもよい。
上記の発明によれば、レンズ位置の粗調と微調を組み合わせることにより、AFをいっそう高精度かつ高速にすることができる。
また、前記レンズの光軸の傾きを検出し、該光軸の傾きに拘わらず前記第1移動命令に対するレンズの移動距離及び第2移動命令に対するレンズの移動距離が一定値に保持されるように、前記レンズ移動手段を制御する補償手段をさらに備えてもよい。
上記の発明によれば、レンズ移動距離の様々なばらつき要因のうち、少なくとも重力によるばらつきは回避できるので、AFの高速化に資する。
本発明の第2の観点に係るプログラムは、コンピュータに、レンズを介した被写体を撮像する撮像機能と、第1移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して近づく方向あるいは遠ざかる方向の一方に所定の範囲で移動させ、また第2移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して前記第1移動命令に応答して移動する方向の他方に所定の範囲で移動させるレンズ移動機能と、前記第1又は第2移動命令を連続して前記レンズ移動機能に与えて前記レンズを走査させた複数の位置それぞれにおける前記撮像機能からの入力画像の合焦指標と、該位置のそれぞれに達するまでに要した第1又は第2移動命令を与えた数と、を関連づけて取得する第1画像情報取得機能と、前記第1画像情報取得機能により取得された複数の合焦指標に基づいて合焦指標の最大値を推定し、該最大値の合焦指標に対応する合焦位置と前記レンズ移動機能によるレンズ位置の誤差を許容する合焦指標の第1許容範囲を設定する第1許容範囲設定機能と、前記第1画像情報取得機能により取得された前記合焦指標に関連づけられた第1又は第2移動命令の数に基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させる合焦位置接近機能と、前記合焦位置接近機能による前記レンズの該移動後に前記入力画像の合焦指標が、前記第1許容範囲設定機能により設定された前記第1許容範囲内にあるか否かを判別する第1許容範囲内外判別機能と、前記第1許容範囲内外判別機能により、前記合焦指標が前記第1許容範囲外にあると判別された場合、前記合焦位置接近機能により移動された前記レンズの位置から、該レンズの位置を前記合焦位置に再調整する再調整機能と、前記第1許容範囲内外判別機能により、前記合焦指標が前記第1許容範囲内にあると判別された場合、合焦動作を正常終了させる終了機能と、を実現させるためのプログラムであることを特徴とする。
本発明によれば、レンズ移動距離にばらつきがあるレンズ駆動装置を有する撮像装置であっても、レンズを適切な位置に移動制御することが可能になる。
(実施形態1)
以下、本発明の実施形態1に係る撮像装置を説明する。
本実施形態に係る撮像装置11の概要構成は、図1に示すように、レンズ13、CCD(Charge Coupled Device)15、撮像回路17、コントラスト値検出部19、メインコントローラ21、メモリ23、レンズ移動部25、を備える。
CCD15には、レンズ13を介した外光が導かれる。撮像回路17は、CCD15に入射した光をドットマトリクスデータに変換する。
撮像回路17は、ドットマトリクスデータをコントラスト値検出部19に伝達する。コントラスト値検出部19は、CCD15に映じた画像のコントラスト値を計算する。具体的には、例えば、撮像回路17から引き渡されたドットマトリクスデータから画素毎に輝度を求め、集計し、分散値をコントラスト値とする。
メインコントローラ21は、コントラスト値検出部19からのコントラスト値を例えば当該値に比例する電圧として受け取る。また、メインコントローラ21は、レンズ移動部25にレンズ移動命令を送る。
メインコントローラ21は、オートフォーカス(AF)の実現に必要なプログラム及び前記レンズ移動命令を格納したROMと、メモリ23とのデータのやりとりを制御するためのプロセッサと、を備える。該プログラムとは、具体的には、発したレンズ移動命令の種類や回数を、該命令後のコントラスト値と関連させてメモリ23に記憶させたり、必要に応じてメモリから命令履歴を呼び出し該命令履歴から命令の積算結果を演算させたりするものである。
レンズ移動部25は、メインコントローラ21から発せられた命令に従って、レンズを移動する。撮像装置を小型化するために、レンズの移動は、SIDMによる。該命令とは、具体的には、ソースコードでいえば例えば「レンズをマクロ側に0.5mm移動せよ。」といった命令である。該命令が発せられると、レンズ駆動部はかかる向きにかかる距離だけ移動させることが期待されるパルスを圧電素子に印加する。
ただし、圧電素子の個体差、レンズ駆動部の個体差、圧電素子の重力軸に対する傾きにより、レンズの移動距離にばらつきが生じるので、前記命令がなされたにも関わらず、例えば0.4mmしか移動しない、ということが起こり得る。
なお、図には示していないが、レンズの基準位置を定めるためのレンズストッパが、無限遠端とマクロ端に備えられている。レンズが移動を続けた結果かかるストッパの位置に達した場合、レンズ駆動部がそれ以上同じ方向にレンズを移動しようとしても、SIDMの機構上、圧電素子の伸縮による摩擦力はストッパによるレンズ保持力に及ばないために、いわば空回りの状態になり、レンズはストッパの位置で停止する。
このことを利用して、メインコントローラ21は、メモリ23に記憶されている命令履歴情報をリセットして、初期化を行うことができる。すなわち、命令をまだひとつも発していない状態と、レンズが基準位置にある状態と、を対応づけることができるので、前述の、命令履歴から計算されるレンズ位置と実際のレンズの位置とのずれを解消できる。
撮像装置11が行うAFは、基本的には、例えば特許文献1に開示されている、いわゆるコントラストオートフォーカスである。
コントラストオートフォーカスの典型的な基本動作について、本発明に係る粗動粗調についても一部言及しつつ、図2のフローチャートを参照して説明する。
ステップS203ではレンズを無限遠端のストッパまで移動させる。ここで、図1のメインコントローラ21は、メモリ23の内容をリセットした後、第1移動命令カウンタを設け、該カウンタを0にセットする。すなわち、「第1移動命令カウンタ=0」という情報が、メモリ23に記憶される。
また、メモリ23内には、メインコントローラ21により、配列C[i](iは自然数)の格納エリアも確保される。
第1移動命令は、レンズを一定距離だけマクロ端に向かって移動させる命令である。例えば、レンズが無限遠端のストッパの位置にある場合に、メインコントローラ21が第1移動命令を何回も発すると、レンズはいずれマクロ端に達する。
レンズが無限遠端のストッパにある状態で、図1のコントラスト値検出部19は、レンズを介して入力されCCD15に映じ撮像回路17によって得られた画像について、コントラスト値を検出し、それをメインコントローラ21に送る。
該コントラスト値は、C[i=0]として、メモリ23内に記憶される(ステップS205)。
メインコントローラ21は第1移動命令をひとつ発するとともに、カウンタiを1だけインクリメントする(ステップS207)。
図1のレンズ13は、前記命令により、マクロ端側に第1命令ひとつぶんだけ移動する。ステップ209においては、該移動後、コントラスト値が測定され、その値はC[i=1]としてメモリ23に記憶される。
レンズがマクロ端側のストッパまで到達したか否かを判別する(ステップS211)。
レンズがまだマクロ端側のストッパに到達していない場合(ステップS211;No)、ステップS207に戻り、さらに第1移動命令によるレンズ移動を行うとともに、カウンタiを1だけインクリメントする。
これを繰り返すと、いずれはレンズはマクロ端側のストッパに達して停止する。この時点で、カウンタは、第1移動命令が発された回数を示しており、メモリ23には、コントラスト値の配列C[0]〜C[i]が記憶されている。ここからステップS213に進む(ステップS211;Yes)。
ステップ213では、任意のk(0≦k≦i)に対し、C[j]≧C[k]となるようなjを求める。すなわち、j番目の第1移動命令が発された直後のレンズ位置が、コントラスト値の最大値をもたらすレンズ位置である。コントラストオートフォーカスにおいては、この位置を合焦位置とする。
C[j]から所定の許容値を求める。具体的には例えば、C[j]に係数0.9を乗じた値を許容値とする(ステップS215)。許容値とは、レンズがある位置にあるとき、該許容値以上のコントラスト値をもたらすならば、該位置を合焦位置であるとみなすことを許容しようという意図から導き出された概念である。
メインコントローラ21はプロセッサによりi−jを計算し、それを新たなiとして、メモリ23に記憶する(ステップS217)。
メインコントローラ21は第2移動命令をi回発する(ステップS219)。第2移動命令は、第1移動命令と同じ距離だけ、ただし向きは反対方向すなわち無限遠端側に、レンズを移動させる命令である。ステップS217における演算を考慮すると、ステップS219の後、レンズは合焦位置にあることが期待される。
ここまでが、コントラストオートフォーカスにおける動作の典型である。つまり、レンズを無限遠端からマクロ側まで一定間隔ずつ移動させそのたびにコントラスト値を取得し記憶装置に蓄積し、最大コントラスト値を生じたレンズ位置までレンズを無限遠端側に戻す。
以下では、レンズが無限遠端とマクロ端との間を走査した後、レンズを前述のように戻す動作を、「戻り粗調」という。
レンズが第1及び第2命令のとおりに移動したとすれば、戻り粗調によりレンズが合焦位置に達し、AFの目的が達せられることは明らかである。
ところが、前述のとおり、SIDMにおいては、各種ばらつき要因のために、命令内容から期待されるとおりにはレンズが移動していないおそれがある。つまり、戻り粗調後、レンズが合焦位置からずれている可能性がある。
そこで、ステップ219の戻り粗調後に、改めてコントラスト値を測定し(ステップS221)、コントラスト値がステップS215で定めた許容値より大きいかどうか判別する(ステップS223)。
コントラスト値を改めて測定した結果、コントラスト値がステップS215で定めた許容値よりも大きい場合(ステップS223;Yes)、レンズはすでに合焦位置にあるといえる。つまり、レンズは第1及び第2命令の指示通りに移動したと考えられ、結果的には、戻り粗調だけでAF動作は完了したといえる。目的が達せられたので、正常終了に至る(ステップS231)。
ステップS221でコントラスト値を改めて測定した結果、コントラスト値が許容値よりも大きくない場合(ステップ223;No)、粗動粗調(ステップS225)によりレンズの合焦位置への移動を試みる。
粗動粗調とは、戻り粗調の後に、第1及び第2移動命令だけにより合焦位置を探索する過程であり、詳細については後述する。
ステップS225では、戻り粗調の後にいったん打ち切っていたレンズ移動命令の発令を再開する。第1移動命令と第2移動命令のうち一方又は両方の命令を、1回または複数回発し、1回移動するたびにコントラスト値を取得し、許容値との比較を行う。こうして粗動粗調により最終的に許容値より大きなコントラスト値が得られたら(ステップS227;Yes)、レンズは合焦位置にあると考えられるため、AF動作は正常に終了する(ステップS231)。
時間等の都合上現実的に許される回数の第1又は第2移動命令を行っても、コントラスト値がいつまでも許容値を超えない場合(ステップS227:No)も考え得る。
例えば、戻り粗調時に第2移動命令が1回だけ指示の半分の距離しか移動せず、その結果戻り粗調後にコントラスト値が許容値より大きくならなかった場合、さらにもう1回第2移動命令を実行すると、レンズは、合焦位置すなわちコントラスト値のピークをもたらすレンズ位置を通り過ぎた位置に停止する。この位置でもコントラスト値が許容値よりも大きくならなかった場合には、第1移動命令の実行によりレンズの合焦位置への接近を試行することとなる。すると再び合焦位置を通り過ぎ、結局、戻り粗調直後の位置に戻ってしまって、コントラスト値はまたもや許容値より大きくならない。このように往復を繰り返しているうちに、たまたま指示の半分の距離しか移動しない事態が生じれば、合焦位置を探し当てることができるが、合理的な時間内にかかる事態が生じるとは限らない。そこで、ステップS225の粗動粗調には一定の時間制限又は命令回数制限を課して、最終的にコントラスト値が許容値より大きくならなければ(ステップS227;No)、エラー終了(ステップS229)として扱う。
エラー終了の場合は、その旨を表示する表示部を撮像装置11に設け、ユーザに知らせてもよい。あるいは、自動的にオートフォーカスを最初(ステップS203)からやり直すようにしてもよい。
ステップS217におけるi=i−jという演算は、レンズが命令内容から予期されるとおりに動くとすれば、レンズは完全に合焦位置に復帰すると想定していることに基づく。レンズが命令内容の移動距離より短めに動く傾向がある場合には戻り粗調の際に命令を多めに発したり、逆の傾向がある場合には命令を少なめに発したりするなど、事情に応じて戻り粗調のための命令回数を増減し、その後、粗動粗調や、後述の微動粗調及び微調の段階に入るようにしてもよい。
ステップS215では単に取得したコントラスト値のうち最大のものをコントラストのピーク値と考えたが、コントラスト値をレンズ位置の関数と捉え、取得したコントラスト値をプロットしてグラフに表し、所定の理論曲線でカーブ・フィッティングを行うなどして、コントラストのピーク値及びそれに対応するレンズ位置を推定してもよい。該レンズ位置は合焦位置と考えられる。
このように戻り粗調の後にコントラスト値再取得及び合焦位置到達判別を行い判別結果次第では粗動粗調を行うことにすれば、各種のばらつき因子を有する圧電素子を用いたSIDMを採用してもコントラストオートフォーカスの枠組みを利用することができる。
(実施形態2)
以下、本発明の実施形態2に係る撮像装置を説明する。
撮像装置の概要は図1に示すとおり、実施形態1に係る撮像装置11と同じである。ただし、メインコントローラ内部のROMに格納された合焦位置探索プログラムの内容に、実施形態1に係るものに比較して追加事項がある。
本実施形態に係る合焦位置探索過程を、図3のフローチャートを参照して説明する。
図中、戻り粗調(ステップS303)及び粗動粗調(ステップS307)は、すでに説明したものと同じである。
本実施形態においては、合焦位置探索にあたって新たに微動粗調(ステップS311)及び微調(ステップS317)が加わる。
粗動粗調の詳細は、微動粗調及び微調の詳細と合わせて説明する。この3つは、原理としては同じものである。
また、微動粗調のためには、実施形態1と同じく第1移動命令又は第2移動命令を用いるが、微調のためには、第1及び第2移動命令よりも単位命令あたりのレンズ移動距離が短い第3及び第4移動命令を用いる。移動の向きは、第1移動命令と第3移動命令が同じであり、第2移動命令と第4移動命令が同じである。
また、本実施形態においては、コントラスト値の許容範囲として、第1許容範囲と第2許容範囲の2種が存在する。第1許容範囲とは、実施形態1における許容範囲と同じものである。一方、第2許容範囲とは、第1許容範囲よりも狭いことを特徴とする。
例えば、具体的には、図2のステップS215に示したように、第1許容範囲をコントラストのピーク値の0.9倍以上と設定した場合には、第2許容範囲は該ピーク値の0.99倍以上に設定するなどする。
第2許容範囲に収まるようにレンズ位置を調整すれば、第1許容範囲内に収まることだけを目標にレンズ位置を調整した場合に比べて、より精密な合焦位置調整ができることを意味する。
ステップS303での戻り粗調の結果、コントラスト値が第1許容範囲内に収まれば(ステップS305;Yes)、第2許容範囲内に収まっているかどうかを判別するステップS315に進む。
ステップS305で第1許容範囲内に収まっていない場合(ステップS305;No)、粗動粗調(ステップS307)を行い、第1許容範囲内に収まるかどうか判別する(ステップS309)。
収まっていれば(ステップS309;Yes)、第2許容範囲内に収まっているかどうかを判別するステップS315に進む。収まっていなければ、微動粗調(ステップS311)を行う。
微動粗調の結果、第1許容範囲内に収まれば(ステップS313;Yes)、第2許容範囲内に収まるかどうか判別する(ステップS315)。
微動粗調を行っても、第1許容範囲内に収まらない場合には(ステップS313;No)、エラー終了となる(ステップS321)。この場合に備えて、装置11にユーザへの通知手段を備えたり、自動的に最初(ステップS301)に戻って合焦位置探索をやり直すようにしてもよい。
ステップS315では、コントラスト値が第2許容範囲内にあるかどうか判別する。該範囲内にあれば(ステップS315;Yes)、レンズは合焦位置に到達したといえるので、正常終了する(ステップS323)。
第2許容範囲にない場合(ステップS315;No)、ステップS317で微調を行う。その結果第2許容範囲内に収まれば(ステップS319;Yes)、正常終了(ステップS323)する。
ステップS319で第2許容範囲内に収まらなかった場合(ステップS319;No)、エラー終了(ステップS321)となる。
エラー終了(ステップS321)となる原因として、レンズ移動のための命令ひとつあたりの移動距離が長すぎたり、第1又は第2許容範囲が狭すぎたりすることが考えられる。
そこで、撮像装置11に、エラー終了になりそうか監視する機構を備えて、許容範囲を適宜拡大して正常終了に誘導するようにしてもよい。この場合ある程度は画質が犠牲になるが、エラー終了が多発してAFが事実上機能しない事態を避けることができる。
戻り粗調(ステップS303)の後に粗動粗調(ステップS307)を省略して微動粗調(ステップS311)に進んだり、そもそも戻り粗調の際に最初から微調(ステップS317)を行うことも考え得る。
しかし、長距離移動用の命令である第1及び第2移動命令と、短距離移動用の命令である第3及び第4移動命令と、を用意して、上記のように使い分けることが、AFの高精度化とそれに要する時間の短縮の両立に最も資する。
(粗動粗調、微動粗調、微調の詳細)
粗動粗調、微動粗調、微調は、レンズ位置を少しずつ移動し、該移動のつどコントラスト値を測定し、理想的にはコントラスト値のピークをもたらすレンズ位置を、ただし実際には第1又は第2許容範囲内のコントラスト値をもたらすレンズ位置を、見つけ出す動作である。
第1及び第3移動命令は、無限遠端からマクロ端の向きにレンズを移動する命令である。例えば、図1のメインコントローラ21がこの命令をひとつ発した後、取得したコントラスト値が、該命令が発される前のコントラスト値よりも小さい場合には、レンズは合焦位置から遠ざかってしまったと考えられる。
かかる場合には、レンズを逆向きに移動する第又は第移動命令により、レンズを合焦位置に近づける必要がある。同じ向きにレンズを移動し続けている間、コントラスト値が増加し続ければ、レンズは合焦位置に近づいていると考えられる。
そこで、第1又は第3移動命令と、第又は第4移動命令とを使い分けながら、コントラスト値がピークになる位置又はコントラスト値が許容範囲内に収まる位置に接近することが、合焦位置を探し当てる動作となる。
この様子を、図4のフローチャートを参照して説明する。
レンズがある位置に存在するとし、該位置におけるコントラスト値ΔCは、図2のステップS223、S227、図3のステップS305、S309、S313、S315、S319での許容範囲内外判別過程において、取得済みであるとする。図1のメモリ23には、コントラストのピーク値(図2のステップS213におけるC[j])から該位置でのコントラスト値を引いた結果を格納するための変数ΔCが確保され、ΔC=ΔCにセットされる(ステップS401)。
図1のメインコントローラ21は、粗動粗調の場合は第1移動命令を、微動粗調又は微調の場合には第3移動命令を発し、レンズを現在位置から移動する(ステップS403)。すなわち、レンズは、無限遠端からマクロ端に向けて命令1つぶんだけ移動する。
移動後のレンズ位置で、コントラスト値を取得し、メインコントローラ21は該コントラスト値をコントラストのピーク値から引いた値であるΔCを求め、テンポラリレジスタに格納する(ステップS405)。
メインコントローラ21は、粗動粗調及び微動粗調の場合はΔCが第1許容範囲内にあるか否かを判別し、微調の場合はΔCが第2許容範囲内にあるか否かを判別する(ステップS407)。
許容範囲内にある場合(ステップS407;Yes)、正常終了(ステップS425)する。ただし、微調の場合は合焦位置に達したとしてAF動作全体が完了するのに対し、粗動粗調及び微動粗調の場合はステップS425は仮の終了状態に過ぎず、続いて微動粗調又は微調の過程が開始される。
許容範囲外にある場合(ステップS407;No)、メインコントローラ21はメモリ23からΔCの値を読み込み、テンポラリレジスタ内のΔCと比較する(ステップS409)。ΔCがΔCよりも小さい場合(ステップS409;Yes)、レンズの移動後の方が合焦位置に近づいたと考えられる。そこで、次回の移動により合焦位置に近づいたかどうかの判別に役立てるため、ステップS411で、プロセッサ21はメモリ23の中のΔCをΔCに更新する。その後、同じ向きにレンズを移動する命令を発して、さらに合焦位置に近づくようにする(ステップS403)。
ΔC≧ΔCの場合(ステップS409;No)、レンズは合焦位置から遠ざかってしまったと考えられるから、これ以上第1又は第3移動命令を発してレンズをマクロ端に向けて移動すると、ますます合焦位置から遠ざかってしまう。
そこで、次回の移動により合焦位置に近づいたかどうかの判別に役立てるため、ΔCをΔC1に更新する(ステップS413)。その後、第2又は第4移動命令を発することにより、レンズを逆側、すなわちマクロ端から無限遠端に向かう向きに移動する(ステップS415)
レンズ移動後、ステップS417において、該移動後のコントラスト値をコントラスト値のピーク値から引いてΔCを求める。
粗動粗調及び微動粗調の場合はΔCが第1許容範囲内にあるかどうかを、また、微調の場合はΔCが第2許容範囲内にあるかどうかを、判別する(ステップS419)。
許容範囲内に収まれば(ステップS419;Yes)、正常終了する。
許容範囲内に収まらない場合(ステップS419;No)、ΔCがΔCよりも小さいかどうか判別するステップS421に進む。
ΔCがΔCよりも小さい場合(ステップS421;Yes)、レンズは先の移動により合焦位置に近づいたと考えられる。
そこで、次回の移動により合焦位置に近づいたかどうかの判別に役立てるため、ΔCをΔCに更新する(ステップS413)。その後、移動の向きを維持しつつ、先の命令と同じ命令を繰り返し(ステップS415)、合焦位置への接近を試みる。
前述のように、命令ひとつあたりのレンズ移動距離が長すぎたり、許容範囲が狭すぎたりすると、ステップS421において、ΔC≧ΔCとなってしまうことがあり得る(ステップS421;No)。かかる場合はエラー終了(ステップS423)とし、図1の撮像装置11にあらかじめ表示部を設けておいてユーザにその旨を通知したり、自動的にAF動作を最初からやり直すようにしたりしてもよい。
あるいは、一定レベルの画質の維持を条件に許容範囲を広げる所定の許容範囲緩和手段を設け、エラー終了になりそうな場合には該手段を起動するようにしてもよい。
(実施形態3)
以下、本発明の実施形態3に係る撮像装置を説明する。
撮像装置の概要は、実施形態1又は2に係る撮像装置11と同じである。
ただし、本実施形態に係る撮像装置は、レンズを基準位置に接近する向きに、レンズの現在位置と基準位置との間の距離よりも長い距離だけ移動するような命令を図1のメインコントローラ21が発した場合、無効となってしまう命令内容を記憶しておくことに特徴がある。
例えば、かかる特徴は、戻り粗調の際に役立つことがある。このことを、図2のフローチャートを参照しつつ、説明する。該フローチャートでは、ステップS201〜ステップS219が、戻り粗調である。
第1乃至第4移動命令の各命令は、1命令が印加電圧1パルスに対応する必要はない。例えば、あるパルス形状を10個まとめて印加するのが第1及び第3移動命令、同じパルス形状を1個ずつ印加するのが第2及び第4移動命令である場合が考えられる。
かかる場合、例えば、ステップS207の直前に、レンズが既に十分にマクロ端に近づいているときは、図1のメインコントローラ21が引き続き移動命令1を発すると、例えば、パルス2個分でレンズがストッパに達し、残りのパルス8個分はSIDMの圧電素子にとってはいわば空回りの状態となる。
この無駄になった8個分を無視すると、戻し粗調のとき、ステップS217により求めた戻し粗調に必要な第2命令の個数は、過大評価されていることになる。つまり、パルス8個分、合焦位置を通り越してしまう。
そこで、撮像装置11に、レンズがストッパに接した後に加えられたパルス数など、レンズ移動命令のうち、ストッパの存在のために無駄になってしまった内容を記憶する手段を設けておけば、その分を差し引く演算をするなどして、戻し粗調をより精度よく行うことができるようになる。
(実施形態4)
以下、本発明の実施形態4に係る撮像装置を説明する。
撮像装置の概要は、実施形態1に係る撮像装置11と同じである。
本実施形態に係る撮像装置は、重力センサを備えている。該重力センサの出力に基づいてレンズの向きを判定し、撮像装置の姿勢に適したレンズ駆動の制御を行う。
以下では、第1移動命令と第2移動命令の対を例にして説明する。第3移動命令と第4移動命令の対に関しても、同様である。そして、第1移動命令と第2移動命令は、レンズの移動の向きは逆だが、理想的には、レンズの移動距離は等しくなることが期待されているとする。
しかし、SIDMの性質上、レンズが下向きとなる場合、レンズに対して無限遠端からマクロ端の方向に重力が働き、第1移動命令により無限遠端からマクロ端の方向にレンズを移動する際には、単位命令あたりのレンズの移動距離が前述の期待よりも長くなり、第2移動命令によりマクロ端から無限遠端の方向にレンズが戻る際には、単位命令あたりのレンズの移動距離が短くなる。
一方、レンズが上向きとなる場合、レンズに対してマクロ端から無限遠端の方向に重力が働き、第1移動命令により無限遠端からマクロ端の方向にレンズが移動する際には、単位命令あたりのレンズの移動距離が短くなり、第2移動命令によりマクロ端から無限遠端の方向にレンズが戻る際には、レンズの移動距離が長くなる。
そこで、重力センサの出力をもとにレンズの向きを検出し、該検出の結果に応じて、レンズ駆動に必要なパルス数を増減させることを特徴とする。
本発明はレンズ移動距離が命令内容から予期されるものとは異なってしまう問題の解決を目指したものではあるが、それでも、できる限り、レンズ移動命令により意図された距離だけレンズが移動する方が有利であることはいうまでもない。本実施例は、重力センサの利用により、SIDMの短所を改善し、第1乃至第3実施例に係る装置のAF精度向上及び所要時間短縮に資するものである。
上述の機械的構成、動作等は、一例であり、同様の作用・効果を実現できるならば、任意であり、上記実施形態に限定されない。
AFに役立つ画像情報としてはコントラスト値が広く知られているので、上述の説明ではコントラストオートフォーカスの採用を前提にしたが、他の画像情報であっても、AFに役立つのであれば、採用してさしつかえない。
理解を容易にするために、レンズを長距離移動するための第1及び第2移動命令と、レンズを短距離移動するための第3及び第4移動命令と、を用意し、合焦位置探索のための調整方法として、粗動粗調と、微動粗調と、微調と、を説明し、許容範囲を2種類設けたが、命令の数やバリエーションは更に設けられてもよい。例えば、レンズを中距離移動するための命令を新たに設けることが考えられる。それに応じて調整方法をさらに増やしてもよいし、許容範囲をさらに何段階か増やしてもよい。
すなわち、AFにおいて、精度の高さと焦点あわせの速さを、できるだけ両立するようなものであれば、合焦点位置探索法は更に複雑なものであってもよい。
本発明に係る撮像装置の概要構成図である。 コントラストオートフォーカスと戻り粗調の様子を示すフローチャートである。 戻り粗調、粗動粗調、微動粗調、微調の処理を示すフローチャートである。 粗動粗調、微動粗調、微調の手順を示すフローチャートである。
符号の説明
11・・・撮像装置、13・・・レンズ、15・・・CCD、17・・・撮像回路、19・・・コントラスト値検出部、21・・・メインコントローラ、23・・・メモリ、25・・・レンズ移動部

Claims (5)

  1. レンズと、
    前記レンズを介した被写体を撮像する撮像手段と、
    第1移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して近づく方向あるいは遠ざかる方向の一方に所定の範囲で移動させ、また第2移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して前記第1移動命令に応答して移動する方向の他方に所定の範囲で移動させるレンズ移動手段と、
    前記第1又は第2移動命令を連続して前記レンズ移動手段に与えて前記レンズを走査させた複数の位置それぞれにおける前記撮像手段からの入力画像の合焦指標と、該位置のそれぞれに達するまでに要した第1又は第2移動命令を与えた数と、を関連づけて取得する第1画像情報取得手段と、
    前記第1画像情報取得手段により取得された複数の合焦指標に基づいて合焦指標の最大値を推定し、該最大値の合焦指標に対応する合焦位置と前記レンズ移動手段によるレンズ位置の誤差を許容する合焦指標の第1許容範囲を設定する第1許容範囲設定手段と、
    前記第1画像情報取得手段により取得された前記合焦指標に関連づけられた第1又は第2移動命令の数に基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させる合焦位置接近手段と、
    前記合焦位置接近手段による前記レンズの該移動後に前記入力画像の合焦指標が、前記第1許容範囲設定手段により設定された前記第1許容範囲内にあるか否かを判別する第1許容範囲内外判別手段と、
    前記第1許容範囲内外判別手段により、前記合焦指標が前記第1許容範囲外にあると判別された場合、前記合焦位置接近手段により移動された前記レンズの位置から、該レンズの位置を前記合焦位置に再調整する再調整手段と、
    前記第1許容範囲内外判別手段により、前記合焦指標が前記第1許容範囲内にあると判別された場合、合焦動作を正常終了させる終了手段と、
    を備える、
    ことを特徴とする撮像装置。
  2. 前記レンズ移動手段による前記第1及び第2移動命令の内、無効になった命令の数を記憶する記憶手段をさらに備え、
    前記合焦位置接近手段は、
    前記第1又は第2移動命令の数と前記記憶手段によって記憶された前記無効になった命令の数とに基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させる、
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記レンズ移動手段は、前記第1又は第2移動命令とは異なる第3移動命令が与えられるごとに応答して、前記レンズを前記第1移動命令と同じ方向により短い距離移動させ、第4移動命令が与えられるごとに応答して、前記レンズを前記第2移動命令と同じ方向により短い距離移動させ、
    前記再調整手段は、
    前記第3又は第4移動命令を前記レンズ移動手段に与えて前記レンズを移動し、前記入力画像の前記合焦指標を取得する第2画像情報取得手段と、
    前記合焦指標について、前記第1許容範囲より狭い第2許容範囲を設定する第2許容範囲設定手段と、
    前記第3又は第4移動命令を前記レンズ移動手段に与えて前記レンズを移動させて、該移動後に前記入力画像の前記合焦指標が、前記第2許容範囲設定手段により設定された前記第2許容範囲内にあるか否かを判別する第2許容範囲内外判別手段と、
    前記第2許容範囲内外判別手段により、前記合焦指標が前記第2許容範囲外にあると判別された場合、前記レンズの位置を前記合焦位置に再調整する手段と、
    を備える、
    ことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記レンズの光軸の傾きを検出し、該光軸の傾きに拘わらず前記第1移動命令に対するレンズの移動距離及び第2移動命令に対するレンズの移動距離が一定値に保持されるように、前記レンズ移動手段を制御する補償手段をさらに備える、
    ことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
  5. コンピュータに、
    レンズを介した被写体を撮像する撮像機能と、
    第1移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して近づく方向あるいは遠ざかる方向の一方に所定の範囲で移動させ、また第2移動命令が与えられるごとに応答して、前記レンズを撮像対象に対して前記第1移動命令に応答して移動する方向の他方に所定の範囲で移動させるレンズ移動機能と、
    前記第1又は第2移動命令を連続して前記レンズ移動機能に与えて前記レンズを走査させた複数の位置それぞれにおける前記撮像機能からの入力画像の合焦指標と、該位置のそれぞれに達するまでに要した第1又は第2移動命令を与えた数と、を関連づけて取得する第1画像情報取得機能と、
    前記第1画像情報取得機能により取得された複数の合焦指標に基づいて合焦指標の最大値を推定し、該最大値の合焦指標に対応する合焦位置と前記レンズ移動機能によるレンズ位置の誤差を許容する合焦指標の第1許容範囲を設定する第1許容範囲設定機能と、
    前記第1画像情報取得機能により取得された前記合焦指標に関連づけられた第1又は第2移動命令の数に基づいて、前記レンズを前記合焦指標が最大値となる合焦位置になるように移動させる合焦位置接近機能と、
    前記合焦位置接近機能による前記レンズの該移動後に前記入力画像の合焦指標が、前記第1許容範囲設定機能により設定された前記第1許容範囲内にあるか否かを判別する第1許容範囲内外判別機能と、
    前記第1許容範囲内外判別機能により、前記合焦指標が前記第1許容範囲外にあると判別された場合、前記合焦位置接近機能により移動された前記レンズの位置から、該レンズの位置を前記合焦位置に再調整する再調整機能と、
    前記第1許容範囲内外判別機能により、前記合焦指標が前記第1許容範囲内にあると判別された場合、合焦動作を正常終了させる終了機能と、
    を実現させるためのプログラム。
JP2006098184A 2006-03-31 2006-03-31 撮像装置、及び、プログラム Expired - Fee Related JP4819550B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006098184A JP4819550B2 (ja) 2006-03-31 2006-03-31 撮像装置、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006098184A JP4819550B2 (ja) 2006-03-31 2006-03-31 撮像装置、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2007271983A JP2007271983A (ja) 2007-10-18
JP4819550B2 true JP4819550B2 (ja) 2011-11-24

Family

ID=38674825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006098184A Expired - Fee Related JP4819550B2 (ja) 2006-03-31 2006-03-31 撮像装置、及び、プログラム

Country Status (1)

Country Link
JP (1) JP4819550B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445612B2 (en) 2004-07-06 2016-09-20 Gumlink A/S Compressed chewing gum tablet
CN106646694A (zh) * 2016-11-02 2017-05-10 北京信息科技大学 一种基于可见光及近红外的仿生视觉成像技术

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470987B2 (ja) 2007-10-19 2010-06-02 株式会社デンソー 還元剤の噴射制御装置
JP2009151124A (ja) * 2007-12-20 2009-07-09 Sharp Corp センサモジュール、電子情報機器、オートフォーカス制御方法、制御プログラムおよび可読記憶媒体
JP2010262223A (ja) * 2009-05-11 2010-11-18 Panasonic Corp カメラ、携帯端末装置及びレンズの位置制御方法
JP5524509B2 (ja) 2009-05-11 2014-06-18 パナソニック株式会社 カメラ、携帯端末装置及びレンズの位置制御方法
KR101080362B1 (ko) 2009-11-20 2011-11-04 삼성전기주식회사 카메라의 자동 초점 조절 방법 및 장치
JP5935233B2 (ja) * 2010-11-02 2016-06-15 ソニー株式会社 撮像装置、撮像方法およびプログラム。
JP5866493B2 (ja) 2013-11-19 2016-02-17 パナソニックIpマネジメント株式会社 撮像装置
JP6405531B2 (ja) 2013-11-19 2018-10-17 パナソニックIpマネジメント株式会社 撮像装置
WO2023272485A1 (zh) * 2021-06-29 2023-01-05 深圳市大疆创新科技有限公司 控制方法、拍摄装置和拍摄系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001004907A (ja) * 1999-06-17 2001-01-12 Canon Inc カメラ及び光学機器
JP2002318341A (ja) * 2001-04-20 2002-10-31 Fuji Photo Film Co Ltd 自動焦点調節装置及び方法
JP2003005024A (ja) * 2001-06-26 2003-01-08 Kyocera Corp コンティニュアスafにおけるスキャン方式
JP4543602B2 (ja) * 2002-04-17 2010-09-15 株式会社ニコン カメラ
JP2005266784A (ja) * 2004-02-18 2005-09-29 Canon Inc 撮像装置、その制御方法、その制御プログラムおよび記憶媒体
JP2005308769A (ja) * 2004-04-16 2005-11-04 Canon Inc 自動焦点装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445612B2 (en) 2004-07-06 2016-09-20 Gumlink A/S Compressed chewing gum tablet
CN106646694A (zh) * 2016-11-02 2017-05-10 北京信息科技大学 一种基于可见光及近红外的仿生视觉成像技术

Also Published As

Publication number Publication date
JP2007271983A (ja) 2007-10-18

Similar Documents

Publication Publication Date Title
JP4819550B2 (ja) 撮像装置、及び、プログラム
JP5247044B2 (ja) 撮像装置
CN100456073C (zh) 照相机及其控制方法
US6885819B2 (en) Camera, device for capturing object image, automatic focus adjusting system and method for adjusting automatic focus for the same
US5359382A (en) Automatic focusing device
US10244157B2 (en) Interchangeable lens apparatus and image capturing apparatus capable of acquiring in-focus state at different image heights, and storage medium storing focusing program
US20130135516A1 (en) Auto-focus controlling apparatus, electronic imaging apparatus and digital still camera
JP4181886B2 (ja) ズームレンズの制御装置および撮影システム
US7616251B2 (en) Camera having focus detection device
JPH10161013A (ja) 環境認識装置及び環境認識装置を備えたカメラ
CN106054350B (zh) 光学装置和显示控制方法
CN102045510A (zh) 摄像设备
US8000591B2 (en) Automatic focusing apparatus
JP3738795B2 (ja) 電子スチルカメラ
JP4393034B2 (ja) 自動焦点調節方法、自動焦点調節装置及び撮像装置
JP4733457B2 (ja) 駆動装置
US10979619B2 (en) Image capturing apparatus capable of highly-accurate autofocus calibration and control method thereof, and storage medium
US10367991B2 (en) Focus adjustment device and control method of focus adjustment device
US5291235A (en) Automatic focusing device
JP2013061584A (ja) 光学機器
JP2016114720A (ja) 撮像装置および撮像装置の制御方法
JPS6333720A (ja) 焦点調節装置
JP2019070738A (ja) 顕微鏡装置、自動合焦制御方法、及び、プログラム
JP5930979B2 (ja) 撮像装置
JP2007140292A (ja) 駆動制御装置及び駆動制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081003

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees