JP4207980B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents
撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4207980B2 JP4207980B2 JP2006160451A JP2006160451A JP4207980B2 JP 4207980 B2 JP4207980 B2 JP 4207980B2 JP 2006160451 A JP2006160451 A JP 2006160451A JP 2006160451 A JP2006160451 A JP 2006160451A JP 4207980 B2 JP4207980 B2 JP 4207980B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- focus
- subject
- subject distance
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
- G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
1.主要被写体に確実にピントを合わせる
2.短時間でピントを合わせる
3.複数の主要被写体候補からピントを合わせるべき被写体を確実にかつ迅速に選択する
また、もう1つの基本的な要求としてコストダウンがある。上記の機能を実現するために価格が高くなることは好ましくない。例えば、高価な測距センサーなどの外部測距装置などを用いないで確実に素早くフォーカス制御を実現させる構成が望まれる。
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部と、
前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
前記被写体距離算出部は、
顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、
前記優先順位解析部は、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
前記レンズ動作範囲算出部は、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行する構成であることを特徴とする撮像装置にある。
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップであることを特徴とする撮像装置制御方法にある。
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを実行させるものとし、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップであることを特徴とするコンピュータ・プログラムにある。
1.シャッターを押される前においては、コントラスト信号が最大となる位置にサーボをかける。この時のフォーカス制御におけるレンズ動作範囲は、Rfと限定する。
2.シャッターを押された時、コントラスト信号が最大値近傍を保っていたら、すなわちコントラストが、予め設定した閾値以上であり、かつ、コントラストの変動がフォーカスポジション変化によってほとんど変化しない領域にいる時は、そのままキャプチャーする。半押しならば、ロックする。
3.シャッターを押された時に、コントラスト信号が最大値付近にない場合、レンズ動作範囲Rfを「候補範囲サーチ法」によって、コントラストが最大になる位置を検出し、その位置にフォーカスポジションを移動させた後、キャプチャーする。半押しならば、ロックする。
4.顔の検出結果が変更するたびにレンズの動作範囲Rfを更新する。
(1)顔の認識処理
(2)顔までの距離算出およびフォーカスレンズの動作範囲(Rf)設定手法
(3)複数の顔が存在する場合のオートフォーカス処理
まず、撮像装置によって取得される画像データから人物の顔を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
以下、具体的な顔までの距離の算出手法と、フォーカスレンズの動作範囲(Rf)の設定手法について説明する。本発明が提案する顔の大きさに基づく距離算出方法においては、求めた距離(図3(b)に示す(Df))に距離誤差情報を含ませてフォーカスレンズの動作範囲(Rf)を設定する構成としている。
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
Rf=Df−σn〜Df+σf・・・(式1.2)
として設定される。すなわち、図6に示すようにフォーカスレンズ302の動作範囲(Rf)が設定される。
問題点1.人種差、性別差、年齢差、体格差による顔の大きさばらつきがある。
問題点2.テンプレートマッチングの能力限界(実画像縮小率の分解能など)。
1つ目の問題の解決策は、顔大きさ基準値:Wrefを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定することであり、このために、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出して利用する構成である。例えば、様々な人種、性別、年齢、体格に対応する基準値Wrefを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値:Wrefを求める構成である。
次に、前述の問題点2、すなわち、テンプレートマッチングの能力限界(実画像縮小率の分解能など)についての解決方法について説明する。前述したように、撮影画像から顔料粋を特定するためにテンプレートマッチングが実行される。すなわち、顔の様々な傾きに対応する顔の輝度分布情報テンプレート群を用意しておき、撮影画像に縮小処理をかけた縮小画像とのマッチングを行なう処理である。縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。
Wref=Wref+ΔWrefb、
Wr=Ws
として設定して、先に説明した被写体距離(Df)算出式、すなわち、 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式に上記、Wref=Wref+ΔWrefb、Wr=Wsを代入して得られる結果(Dff)が、最も遠方に誤差が広がるケースである。
Wref=Wref−ΔWrefs、
Wr=Wb
として設定して、被写体距離(Df)算出式、すなわち、 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式に、Wref=Wref−ΔWrefs、Wr=Wbを代入して得られる結果(Dfn)が、最も至近方向に誤差が広がるケースである。
Dfn〜Dffとして設定する。
Rf=(Dfn−σn)〜(Dff+σf)・・・(式1.3)
上記式(式1.3)によって算出される。
次に、画像中に複数の顔が存在する場合のオートフォーカス処理の詳細について説明する。画像中に顔が複数存在する時は,全ての顔について以上と同様の処理を実行して、それらの各顔に対応するフォーカスレンズの動作範囲(Rf)を求める。
(a)高速化を重視する場合、
(b)多くの顔に対する合焦判定を行なうことを重視する場合、
(c)高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
これらのどの方向とするかは、ユーザが選択できると合理的であり、具体的な実現方法は以下のとおりである。
高速化を重視する場合、最も優先度の高い[顔1]に対応してオートフォーカスにおけるレンズ動作範囲(Rf)を設定する。すなわち、最も優先度の高い[顔1]の被写体距離(Dfn〜Dff)を算出し、フォーカスレンズの動作範囲(Rf)を設定する。すなわち、先に説明したように、フォーカスレンズの動作範囲(Rf)は、最も優先度の高い[顔1]の被写体距離(Dfn〜Dff)を適用して、
Rf=(Dfn−σn)〜(Dff+σf)
として設定し、この範囲のみをAFし、結果的に他の顔2,3・・・が、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、例えば、顔1を囲む枠を合焦枠として表示する。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
多くの顔に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、各顔のAF範囲の和集合をAFの範囲としてのレンズ動作範囲(Rf)として設定し、このレンズ動作範囲(Rf)において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。
Rf=(Dfn−σn)〜(Dff+σf)
について、顔1,2,3のそれぞれについて個別に動作範囲(Rf)が設定される。
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔1,2,3,・・・について、それぞれ、被写体距離(Dfn〜Dff)を適用して、AF動作範囲(レンズ動作範囲(Rf))
Rf=(Dfn−σn)〜(Dff+σf)
を算出する。
Rf=(Dfn−σn)〜(Dff+σf)
について、顔1,2,3のそれぞれについて個別に動作範囲(Rf)が設定される。
Rf=(Dfn−σn)〜(Dff+σf)
を算出する。
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
である。上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
Wref=Wref+ΔWrefb、
Wr=Ws
として設定して、式:Df=Wref×(f/Wi)×(Ww/Wf)を計算して、最も遠方に誤差が広がる場合の結果(Dff)を算出し、
さらに、
Wref=Wref−ΔWrefs、
Wr=Wb
を設定して、式:Df=Wref×(f/Wi)×(Ww/Wf)を計算して、最も至近方向に誤差が広がる場合の結果(Dfn)を算出して、
被写体距離の範囲Dfn〜Dffを算出する。
Rf=(Dfn−σn)〜(Dff+σf)
として設定する。このフォーカスレンズの動作範囲(Rf)情報が、フォーカス制御部509に入力されて、フォーカスレンズ駆動部510に対する駆動コマンドを出力して、フォーカスレンズの動作範囲(Rf)においてフォーカスレンズが移動され、各移動ポイントにおいて、コントラスト信号制生成部511の生成するコントラスト情報からAF評価値を算出し、AF評価値の高い位置にフォーカス位置を決定する処理が実行される。このフォーカス制御によって合焦がなされた被写体には、図15を参照して説明した合焦枠を表示するように表示制御部511が処理を行なう。
(a)高速化を重視する場合、
(b)多くの顔に対する合焦判定を行なうことを重視する場合(図16)、
(c)高速かつ、できるだけ多くの顔に合焦させることを重視する場合(図17)、
これらのケースによって異なる処理が実行される。
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115記録デバイス115
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
201 フォーカスレンズ
301 被写体位置
302 フォーカスレンズ
303 撮像素子
310 顔の大きさ基準値(Wref)算出部
311 人種別基準値算出テーブル
312 性別基準値算出テーブル
313 年齢別基準値算出テーブル
314 体格別基準値算出テーブル
320 データ処理部
331 画像解析部
332 ユーザ入力部
401 フォーカスレンズ
421,422,423 顔(画像)
431,432,433 合焦枠
450 フォーカスレンズ
500 画像情報
501 ユーザ入力部
502 顔検出部
503 画像解析部
504 顔の大きさ基準値[Wref]算出部
505 顔の推定距離[Df]算出部
506 デバイス起因誤差算出部
507 AF動作範囲(レンズ動作範囲(Rf)算出部)
508 優先順位解析部
509 フォーカス制御部
510 コントラスト信号生成部
511 フォーカスレンズ駆動部
512 表示制御部
520 被写体距離算出部
Claims (7)
- 撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部と、
前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
前記被写体距離算出部は、
顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、
前記優先順位解析部は、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
前記レンズ動作範囲算出部は、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行する構成である
ことを特徴とする撮像装置。 - 前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする請求項1に記載の撮像装置。
- 前記被写体情報は、人種、性別、年齢、体格の少なくともいずれかの情報であり、該被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする請求項1に記載の撮像装置。
- 前記被写体距離算出部は、
被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。 - 前記撮像装置は、
さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有することを特徴とする請求項1に記載の撮像装置。 - 撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップである
ことを特徴とする撮像装置制御方法。 - 撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
優先順位解析部において、前記顔検出ステップで検出した複数の顔の優先順位を設定する優先順位解析ステップを実行させるものとし、
前記被写体距離算出ステップは、
顔検出ステップで検出した顔の大きさに基づく被写体距離算出処理において、被写体情報が入力されて、入力された被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであり、
前記優先順位解析ステップは、
前記入力された被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
前記レンズ動作範囲算出ステップは、
複数の顔毎にフォーカスレンズ動作範囲を設定して、該複数の顔の中で最も優先順位の高い顔に対応するフォーカスレンズ動作範囲、および前記最も優先順位の高い顔のフォーカス位置と重複する他の顔のフォーカスレンズ動作範囲を、前記複数の顔に対応するフォーカスレンズ動作範囲とする処理を実行するステップである
ことを特徴とするコンピュータ・プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006160451A JP4207980B2 (ja) | 2006-06-09 | 2006-06-09 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
TW096120144A TW200819815A (en) | 2006-06-09 | 2007-06-05 | Imaging apparatus, control method of imaging apparatus, and computer program |
US11/760,481 US7860386B2 (en) | 2006-06-09 | 2007-06-08 | Imaging apparatus, control method of imaging apparatus, and computer program |
KR1020070055980A KR20070118036A (ko) | 2006-06-09 | 2007-06-08 | 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램 |
CNB2007101102303A CN100565320C (zh) | 2006-06-09 | 2007-06-08 | 成像装置、成像装置的控制方法、和计算机程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006160451A JP4207980B2 (ja) | 2006-06-09 | 2006-06-09 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008163410A Division JP2008282031A (ja) | 2008-06-23 | 2008-06-23 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007328212A JP2007328212A (ja) | 2007-12-20 |
JP4207980B2 true JP4207980B2 (ja) | 2009-01-14 |
Family
ID=38822099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006160451A Expired - Fee Related JP4207980B2 (ja) | 2006-06-09 | 2006-06-09 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7860386B2 (ja) |
JP (1) | JP4207980B2 (ja) |
KR (1) | KR20070118036A (ja) |
CN (1) | CN100565320C (ja) |
TW (1) | TW200819815A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8467579B2 (en) | 2009-12-08 | 2013-06-18 | Electronics And Telecommunications Research Institute | Apparatus and method for estimating distance and position of object based on image of single camera |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
US8049812B2 (en) * | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
US8705808B2 (en) * | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
WO2007101276A1 (en) | 2006-03-03 | 2007-09-07 | Honeywell International, Inc. | Single lens splitter camera |
JP2009529197A (ja) * | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | モジュールバイオメトリクス収集システムアーキテクチャ |
GB2450023B (en) | 2006-03-03 | 2011-06-08 | Honeywell Int Inc | An iris image encoding method |
KR101308368B1 (ko) | 2006-03-03 | 2013-09-16 | 허니웰 인터내셔널 인코포레이티드 | 홍채 품질 측정을 갖는 홍채 인식 시스템 |
JP4933184B2 (ja) * | 2006-07-25 | 2012-05-16 | キヤノン株式会社 | 光学装置及びその制御方法 |
JP4732397B2 (ja) * | 2007-04-11 | 2011-07-27 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
US7904461B2 (en) | 2007-05-01 | 2011-03-08 | Google Inc. | Advertiser and user association |
US8055664B2 (en) | 2007-05-01 | 2011-11-08 | Google Inc. | Inferring user interests |
KR101431535B1 (ko) * | 2007-08-30 | 2014-08-19 | 삼성전자주식회사 | 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법 |
US8041082B1 (en) * | 2007-11-02 | 2011-10-18 | Google Inc. | Inferring the gender of a face in an image |
JP4483930B2 (ja) | 2007-11-05 | 2010-06-16 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
JP5374065B2 (ja) * | 2008-04-07 | 2013-12-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5206095B2 (ja) * | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
JP2009294416A (ja) * | 2008-06-05 | 2009-12-17 | Sony Corp | 撮像装置およびその制御方法 |
JP5383102B2 (ja) * | 2008-06-23 | 2014-01-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2010008836A (ja) * | 2008-06-30 | 2010-01-14 | Fujinon Corp | 電子内視鏡装置及びそのピント調節方法 |
CN101625506B (zh) * | 2008-07-07 | 2011-01-12 | 华晶科技股份有限公司 | 数字取像装置的脸部自动对焦方法 |
US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
JP5181935B2 (ja) * | 2008-09-01 | 2013-04-10 | カシオ計算機株式会社 | 画像処理装置、プログラム及び被写体検出方法 |
JP5093031B2 (ja) * | 2008-09-29 | 2012-12-05 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP5084696B2 (ja) * | 2008-10-27 | 2012-11-28 | 三洋電機株式会社 | 画像処理装置、画像処理方法及び電子機器 |
KR101511783B1 (ko) * | 2008-10-31 | 2015-04-14 | 삼성전자주식회사 | 자동초점조절 방법 및 자동초점조절 기능을 구비한 카메라 |
US8280119B2 (en) * | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
US20100157135A1 (en) * | 2008-12-18 | 2010-06-24 | Nokia Corporation | Passive distance estimation for imaging algorithms |
US8630464B2 (en) * | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
JP2011027847A (ja) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Af枠自動追尾システム |
JP5381486B2 (ja) * | 2009-08-13 | 2014-01-08 | ソニー株式会社 | 撮像装置および方法 |
JP5483953B2 (ja) * | 2009-08-18 | 2014-05-07 | キヤノン株式会社 | 焦点調節装置、焦点調節方法及びプログラム |
JP2011130169A (ja) * | 2009-12-17 | 2011-06-30 | Sanyo Electric Co Ltd | 画像処理装置及び撮影装置 |
JP2011153965A (ja) * | 2010-01-28 | 2011-08-11 | Ricoh Co Ltd | 測距装置、測距用モジュール及びこれを用いた撮像装置及び測距用モジュールの製作方法 |
JP5110098B2 (ja) * | 2010-02-08 | 2012-12-26 | カシオ計算機株式会社 | 表示処理装置、及び、プログラム |
JP5789091B2 (ja) * | 2010-08-20 | 2015-10-07 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
JP2012058838A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、プログラム及び画像処理方法 |
JP5991514B2 (ja) * | 2011-06-03 | 2016-09-14 | パナソニックIpマネジメント株式会社 | 撮像装置及び撮像システム |
CN103037173B (zh) * | 2011-09-28 | 2015-07-08 | 原相科技股份有限公司 | 影像系统 |
JP2013238991A (ja) | 2012-05-14 | 2013-11-28 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
KR101979017B1 (ko) * | 2012-11-02 | 2019-05-17 | 삼성전자 주식회사 | 근접 촬영 방법 및 이를 지원하는 단말기 |
CN103888655B (zh) * | 2012-12-21 | 2017-07-25 | 联想(北京)有限公司 | 一种拍照方法及电子设备 |
CN103908219B (zh) * | 2013-01-08 | 2016-07-06 | 荣晶生物科技股份有限公司 | 图像检测系统及获取图像的方法 |
KR101815052B1 (ko) * | 2013-02-07 | 2018-01-04 | 한화테크윈 주식회사 | 촬영 장치의 포커싱 방법, 및 이 방법을 채용한 촬영 장치 |
JP5713055B2 (ja) * | 2013-06-20 | 2015-05-07 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
JP2015084088A (ja) * | 2013-09-18 | 2015-04-30 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
KR102094506B1 (ko) | 2013-10-14 | 2020-03-27 | 삼성전자주식회사 | 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치. |
JP2015187662A (ja) * | 2014-03-27 | 2015-10-29 | 株式会社ニコン | 焦点調節装置および撮像装置 |
CN107465877B (zh) * | 2014-11-20 | 2019-07-09 | Oppo广东移动通信有限公司 | 跟踪对焦方法及装置和相关介质产品 |
CN105812652B (zh) * | 2015-07-29 | 2019-11-26 | 维沃移动通信有限公司 | 一种终端的对焦方法及终端 |
KR102460838B1 (ko) | 2015-08-28 | 2022-10-28 | 삼성전자주식회사 | 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치 |
CN105120165A (zh) * | 2015-08-31 | 2015-12-02 | 联想(北京)有限公司 | 图像采集的控制方法以及装置 |
JP6522768B2 (ja) | 2015-09-30 | 2019-05-29 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
CN105827944B (zh) * | 2015-11-25 | 2019-05-17 | 维沃移动通信有限公司 | 一种对焦方法及移动终端 |
CN106249508B (zh) * | 2016-08-15 | 2019-04-19 | Oppo广东移动通信有限公司 | 自动对焦方法和系统、拍摄装置 |
CN106375671B (zh) * | 2016-11-22 | 2020-03-06 | Oppo广东移动通信有限公司 | 控制方法、控制装置和电子装置 |
CN107172352B (zh) | 2017-06-16 | 2020-04-24 | Oppo广东移动通信有限公司 | 对焦控制方法、装置、计算机可存储介质和移动终端 |
CN108416865A (zh) * | 2018-04-03 | 2018-08-17 | 郑州云海信息技术有限公司 | 一种基于云计算的人脸识别数据自动修正方法及系统 |
CN110830709A (zh) * | 2018-08-14 | 2020-02-21 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备、计算机可读存储介质 |
CN111065111B (zh) * | 2018-10-16 | 2021-08-27 | 大唐移动通信设备有限公司 | 一种多测量事件并发上报的方法及装置 |
CN109670442A (zh) * | 2018-12-17 | 2019-04-23 | 奥克斯空调股份有限公司 | 一种基于空气净化器的人体跟踪方法与装置 |
CN110113528B (zh) | 2019-04-26 | 2021-05-07 | 维沃移动通信有限公司 | 一种参数获取方法及终端设备 |
JP2021145785A (ja) * | 2020-03-17 | 2021-09-27 | ソニーグループ株式会社 | プログラム、情報処理装置及び端末装置 |
EP3936917B1 (en) * | 2020-07-09 | 2024-05-01 | Beijing Xiaomi Mobile Software Co., Ltd. | A digital image acquisition apparatus and an autofocus method |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60254207A (ja) | 1984-05-30 | 1985-12-14 | Kuroi Electric Ind Co | タイマ機能付き負荷制御装置 |
JPH04421A (ja) | 1990-04-18 | 1992-01-06 | Sony Corp | ビデオカメラ |
JPH10213737A (ja) | 1997-01-30 | 1998-08-11 | Sony Corp | ビデオカメラのオートフォーカス装置 |
JP2002333652A (ja) | 2001-05-10 | 2002-11-22 | Oki Electric Ind Co Ltd | 撮影装置及び再生装置 |
JP2003046758A (ja) * | 2001-07-31 | 2003-02-14 | Canon Inc | 撮像装置、情報処理装置、画像処理装置およびその方法、並びに、画像処理システム |
JP5011625B2 (ja) | 2001-09-06 | 2012-08-29 | 株式会社ニコン | 撮像装置 |
JP2003107335A (ja) | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
JP3794982B2 (ja) | 2002-05-24 | 2006-07-12 | オリンパス株式会社 | 測距装置 |
JP2004133637A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 顔検出装置、顔検出方法及びプログラム、並びにロボット装置 |
JP4218348B2 (ja) | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
JP4196714B2 (ja) | 2003-04-15 | 2008-12-17 | 株式会社ニコン | デジタルカメラ |
JP2004317699A (ja) | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
JP4461747B2 (ja) | 2003-09-10 | 2010-05-12 | オムロン株式会社 | 対象決定装置 |
JP4553346B2 (ja) | 2003-10-22 | 2010-09-29 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
US7733412B2 (en) * | 2004-06-03 | 2010-06-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
JP2006018246A (ja) | 2004-06-03 | 2006-01-19 | Canon Inc | 撮像装置及び撮像方法 |
JP2006025238A (ja) * | 2004-07-08 | 2006-01-26 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2006145629A (ja) | 2004-11-16 | 2006-06-08 | Fuji Photo Film Co Ltd | 撮像装置 |
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
JP4538386B2 (ja) * | 2005-07-06 | 2010-09-08 | 富士フイルム株式会社 | 対象画像記録装置および撮像装置ならびにそれらの制御方法 |
JP2007178543A (ja) | 2005-12-27 | 2007-07-12 | Samsung Techwin Co Ltd | 撮像装置 |
JP4264660B2 (ja) * | 2006-06-09 | 2009-05-20 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
-
2006
- 2006-06-09 JP JP2006160451A patent/JP4207980B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-05 TW TW096120144A patent/TW200819815A/zh not_active IP Right Cessation
- 2007-06-08 US US11/760,481 patent/US7860386B2/en not_active Expired - Fee Related
- 2007-06-08 KR KR1020070055980A patent/KR20070118036A/ko not_active Application Discontinuation
- 2007-06-08 CN CNB2007101102303A patent/CN100565320C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8467579B2 (en) | 2009-12-08 | 2013-06-18 | Electronics And Telecommunications Research Institute | Apparatus and method for estimating distance and position of object based on image of single camera |
Also Published As
Publication number | Publication date |
---|---|
CN101086598A (zh) | 2007-12-12 |
CN100565320C (zh) | 2009-12-02 |
US20070286590A1 (en) | 2007-12-13 |
KR20070118036A (ko) | 2007-12-13 |
JP2007328212A (ja) | 2007-12-20 |
US7860386B2 (en) | 2010-12-28 |
TW200819815A (en) | 2008-05-01 |
TWI353465B (ja) | 2011-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4207980B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP4127296B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP4127297B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP4172507B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP4264660B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP4218720B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
US8831282B2 (en) | Imaging device including a face detector | |
JP4582152B2 (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP2008282031A (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP5713055B2 (ja) | 撮像装置、撮像方法及びプログラム | |
US20150003676A1 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
JP5453573B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP4730478B2 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
JP6577852B2 (ja) | 動きベクトル検出装置およびその制御方法 | |
JP2009141475A (ja) | カメラ | |
JP2010091669A (ja) | 撮像装置 | |
JP2007133301A (ja) | オートフォーカスカメラ | |
JP2009105851A (ja) | 撮像装置、その制御方法およびプログラム | |
JP4996568B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2007328213A (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP2009092747A (ja) | 撮像装置、および撮像方法 | |
JP5446660B2 (ja) | 画像認識装置、および、撮像装置 | |
JP2018042092A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
TW201024892A (en) | Automatic focusing method and image capture apparatus using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081013 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |