JP4949717B2 - In-focus position determining apparatus and method - Google Patents

In-focus position determining apparatus and method Download PDF

Info

Publication number
JP4949717B2
JP4949717B2 JP2006104830A JP2006104830A JP4949717B2 JP 4949717 B2 JP4949717 B2 JP 4949717B2 JP 2006104830 A JP2006104830 A JP 2006104830A JP 2006104830 A JP2006104830 A JP 2006104830A JP 4949717 B2 JP4949717 B2 JP 4949717B2
Authority
JP
Japan
Prior art keywords
image
image data
focus
focus position
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006104830A
Other languages
Japanese (ja)
Other versions
JP2007279333A (en
Inventor
充史 三沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006104830A priority Critical patent/JP4949717B2/en
Publication of JP2007279333A publication Critical patent/JP2007279333A/en
Application granted granted Critical
Publication of JP4949717B2 publication Critical patent/JP4949717B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自動合焦機能を備えたデジタルカメラ等の合焦位置決定装置及び方法に関するものである。   The present invention relates to an in-focus position determining apparatus and method for a digital camera or the like having an automatic focusing function.

従来、デジタルカメラやデジタルビデオカメラ等の撮影装置において、撮影レンズを所定の被写体に自動的に合焦させるオートフォーカス(以下「AF」と表記する)機構が広く用いられている。この種のAF機構としては、撮影装置から被写体に赤外線を照射し、被写体で反射して撮影装置に戻ってきた赤外線の角度を検出することによって被写体までの距離を測定して、その測定距離位置にある物体に合焦するように撮影レンズの位置を設定するようにしたもの(アクティブ方式)や、特許文献1に記載されているように、撮影装置の撮像手段が出力する画像信号を処理して合焦状態を検出し、最良の合焦状態が得られる位置に撮影レンズを設定するようにしたもの(パッシブ方式)が知られている。   2. Description of the Related Art Conventionally, in an imaging apparatus such as a digital camera or a digital video camera, an autofocus (hereinafter referred to as “AF”) mechanism that automatically focuses a photographic lens on a predetermined subject has been widely used. This type of AF mechanism measures the distance to the subject by irradiating the subject with infrared rays from the photographic device, detecting the angle of the infrared rays reflected by the subject and returning to the photographic device, and the measurement distance position In this method, the position of the photographing lens is set so as to focus on an object (active method), or the image signal output by the imaging means of the photographing device is processed as described in Patent Document 1. Thus, there is known a method (passive method) in which the in-focus state is detected and the photographing lens is set at a position where the best in-focus state is obtained.

上記パッシブ方式のAF機構として、像のコントラストから合焦状態を判別するようにしたコントラスト検出方式が広く知られている。このコントラスト検出方式のAF機構は、撮影レンズを合焦のための動作範囲内(例えば、至近側から無限遠側まで)でステップ駆動により移動させ、移動毎に撮像手段から画像データを取得し、取得された画像データの合焦評価値(コントラスト値)の極大値に対応する位置に撮像レンズを設定するようにしたものである。
平11−146405号公報
As the above-described passive AF mechanism, a contrast detection method in which the in-focus state is determined from the contrast of an image is widely known. This AF mechanism of the contrast detection method moves the photographic lens within the operating range for focusing (for example, from the closest side to the infinity side) by step driving, acquires image data from the imaging means for each movement, The imaging lens is set at a position corresponding to the maximum value of the focus evaluation value (contrast value) of the acquired image data.
Hei 11-146405

上記したコントラスト検出方式の場合、合焦評価値の極大値に加え、画像データから人物の顔や目の検出結果を用いて合焦位置を決定する方法も知られている。この場合、多くは至近側から無限遠側に向かって撮像レンズを移動させ、移動毎に合焦評価値の算出と顔の検出を行っていた。そして、検出された合焦評価値のピーク値のうち最も至近側にあり、且つピーク値に対応する位置に顔の検出がなされたなら、その位置を合焦位置としていた。つまり、最も手前にいる人物に合焦することになる。しかしながら、手前に人物がいるが、遠くにいる人物を被写体として撮影したい場合に不便であった。   In the case of the above-described contrast detection method, there is also known a method for determining a focus position using a detection result of a person's face or eyes from image data in addition to the maximum value of the focus evaluation value. In this case, in many cases, the imaging lens is moved from the closest side to the infinity side, and the focus evaluation value is calculated and the face is detected for each movement. If a face is detected at a position closest to the peak value of the detected focus evaluation value and corresponding to the peak value, that position is set as the focus position. In other words, the person in front is focused on. However, there is a person in the foreground, but it is inconvenient when it is desired to photograph a person in the distance as a subject.

本発明は、上記事情を鑑みてなされたものであり、遠方にいる被写体に対して簡単に合焦することができる合焦位置決定装置及び方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an in-focus position determining apparatus and method that can easily focus on a far object.

以上の課題を解決するために、本発明における合焦位置決定装置は、被写体像を所定の結像面上に結像させる撮像光学系と、該撮像光学系を光軸方向に沿って移動させる駆動手段と、前記結像された被写体像を画像データに変換する変換手段と、前記画像データから所定の対象物を検出する対象物検出手段と、を備え、該対象物検出手段により検出された前記所定の対象物に対する合焦位置を決定し、前記駆動手段が前記合焦位置に前記撮像光学系を移動させる合焦位置決定装置において、前記検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別する判別手段と、前記中心領域に含まれていると判別された前記対象物のうち、最も前記画像の中心に近い対象物を抽出する抽出手段と、該抽出手段によって抽出された前記対象物に対する合焦位置を決定する決定手段と、を更に備えたことを特徴としている。   In order to solve the above-described problems, an in-focus position determination apparatus according to the present invention moves an imaging optical system that forms a subject image on a predetermined imaging plane, and moves the imaging optical system along the optical axis direction. Drive means; conversion means for converting the imaged subject image into image data; and object detection means for detecting a predetermined object from the image data, the detection being performed by the object detection means. In the in-focus position determining apparatus that determines an in-focus position with respect to the predetermined object, and the driving unit moves the imaging optical system to the in-focus position, the detected predetermined object is indicated by the image data Discriminating means for discriminating whether or not the image is included in the central area of the image, and extracting means for extracting an object closest to the center of the image among the objects determined to be included in the central area And by the extraction means Is characterized, further comprising determination means for determining an in-focus position, the relative said object extracted Te.

また、前記画像データに基づいて合焦評価値を算出する合焦評価値算出手段と、前記算出された合焦評価値から所定の閾値を超える極大値を検出する極大値検出手段と、
を更に備え、前記決定手段は、前記検出された極大値のうち、前記抽出手段によって抽出された前記対象物に対応する極大値の位置に基づいて前記合焦位置を決定するものであることとしてもよい。
Further, a focus evaluation value calculation unit that calculates a focus evaluation value based on the image data, a maximum value detection unit that detects a maximum value exceeding a predetermined threshold from the calculated focus evaluation value,
The determining means determines the in-focus position based on the position of the maximum value corresponding to the object extracted by the extraction means among the detected maximum values. Also good.

更に、本発明における合焦位置決定装置は、被写体像を所定の結像面上に結像させる撮像光学系と、該撮像光学系を光軸方向に沿って移動させる駆動手段と、前記結像された被写体像を画像データに変換する変換手段と、前記画像データから所定の対象物を検出する対象物検出手段と、を備え、該対象物検出手段により検出された前記所定の対象物に対する合焦位置を決定し、前記駆動手段が前記合焦位置に前記撮像光学系を移動させる合焦位置決定装置において、前記検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別する判別手段と、該判別手段によって前記検出された所定の対象物が前記画像の中心領域に含まれていると判別された時の前記撮像光学系の位置を合焦位置とする決定手段と、を更に備え、前記駆動手段は、前記撮像光学系を無限遠側から至近側に向かって移動させるものであり、前記決定手段によって前記合焦位置の決定がなされた後、前記撮像光学系の移動を停止することを特徴としている。   Further, the in-focus position determining apparatus according to the present invention includes an imaging optical system that forms an image of a subject on a predetermined imaging plane, a driving unit that moves the imaging optical system along an optical axis direction, and the imaging Conversion means for converting the subject image into image data, and object detection means for detecting a predetermined object from the image data, and a combination of the predetermined object detected by the object detection means. In a focus position determination apparatus that determines a focus position, and the driving unit moves the imaging optical system to the focus position, the detected predetermined object is included in a central region of an image indicated by the image data. A determination unit that determines whether or not the image pickup optical system is located when the determination unit determines that the predetermined object detected by the determination unit is included in a central region of the image. And a determination means The driving means moves the imaging optical system from the infinity side to the close side, and after the determination of the in-focus position by the determination means, the driving optical system moves the imaging optical system. It is characterized by stopping.

また、前記画像データに基づいて合焦評価値を算出する合焦評価値算出手段と、前記算出された合焦評価値から所定の閾値を超える極大値を検出する極大値検出手段と、
を更に備え、前記決定手段は、前記検出された極大値に対応する位置近傍において、前記対象物検出手段が前記所定の対象物を検出して該所定の対象物が前記画像データの中心領域に含まれていると前記判別手段が判別した時の前記撮像光学系の位置に応じて前記合焦位置を決定することとしてもよい。
Further, a focus evaluation value calculation unit that calculates a focus evaluation value based on the image data, a maximum value detection unit that detects a maximum value exceeding a predetermined threshold from the calculated focus evaluation value,
And the determination means detects the predetermined object in the vicinity of the position corresponding to the detected maximum value, and the predetermined object is in the central region of the image data. The in-focus position may be determined in accordance with the position of the imaging optical system when the determination unit determines that it is included.

尚、上記では合焦位置の決定後、駆動手段によるは撮像光学系の移動を停止することとしたが、例えば具体的な方法としては、合焦評価値の極大値の検出後に合焦評価値が低下したことによって合焦位置を決定する方法の他、一定の閾値よりも合焦評価値が低下したことによって合焦位置を決定する方法、撮像光学系の移動量、合焦評価値の変化及び検出された所定の対象物が画像データの示す画像の中心領域に含まれているか否かを判別する判別手段の判別結果の組み合わせによって合焦位置を決定し、合焦位置の決定後、その時点で撮像光学系の移動を停止、又は前記合焦評価値の算出を中止するようにしても構わない。更には、撮像光学系の移動量、合焦評価値の変化及び検出された所定の対象物が画像データの示す画像の中心領域に含まれているかに応じて、実際の合焦前に合焦位置の決定を予測して、撮像光学系の移動の停止又は合焦評価値の算出を中止しても構わない。更に、合焦位置の決定がなされた後であればよく、合焦位置の決定に加えて他の条件を満たした時に撮像光学系の移動の停止、又は合焦評価値の算出を中止するようにしてもよい。   In the above description, the movement of the imaging optical system is stopped by the driving unit after the focus position is determined. For example, as a specific method, the focus evaluation value is detected after the maximum value of the focus evaluation value is detected. In addition to the method of determining the in-focus position by lowering the focus, the method of determining the in-focus position by lowering the focus evaluation value below a certain threshold, the amount of movement of the imaging optical system, and the change of the focus evaluation value And determining the in-focus position by a combination of the determination results of the determining means for determining whether or not the detected predetermined object is included in the center area of the image indicated by the image data, and after determining the in-focus position, The movement of the imaging optical system may be stopped at the time, or the calculation of the focus evaluation value may be stopped. Further, focusing before actual focusing depends on the amount of movement of the imaging optical system, the change in the focus evaluation value, and whether the detected predetermined object is included in the center area of the image indicated by the image data. The determination of the position may be predicted, and the movement of the imaging optical system may be stopped or the calculation of the focus evaluation value may be stopped. Furthermore, it may be after the in-focus position has been determined. In addition to determining the in-focus position, the movement of the imaging optical system is stopped or the calculation of the in-focus evaluation value is stopped when other conditions are satisfied. It may be.

また、前記対象物は人物の顔又は目であることとしてもよい。   The object may be a person's face or eyes.

更に、本発明における合焦位置決定方法は、被写体像を所定の結像面上に結像させる撮像光学系を光軸方向に沿って移動し、前記結像された被写体像を画像データに変換し、前記画像データから所定の対象物を検出し、該検出された前記所定の対象物に対する合焦位置を決定し、前記合焦位置に前記撮像光学系を移動させる合焦位置決定方法において、前記検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別し、前記中心領域に含まれていると判別された前記対象物のうち、最も前記画像の中心に近い対象物を抽出し、該抽出された前記対象物に対する合焦位置を決定して、前記撮像光学系を前記合焦位置に移動することを特徴としている。   Further, the in-focus position determination method according to the present invention moves an imaging optical system that forms a subject image on a predetermined imaging plane along the optical axis direction, and converts the formed subject image into image data. In the in-focus position determination method of detecting a predetermined object from the image data, determining a focus position with respect to the detected predetermined object, and moving the imaging optical system to the focus position. It is determined whether or not the detected predetermined object is included in a central area of an image indicated by the image data, and among the objects determined to be included in the central area, the image is the most An object close to the center of the object is extracted, a focus position with respect to the extracted object is determined, and the imaging optical system is moved to the focus position.

更に、本発明における合焦位置決定方法は、被写体像を所定の結像面上に結像させる撮像光学系を光軸方向に沿って移動し、前記結像された被写体像を画像データに変換し、前記画像データから所定の対象物を検出し、該検出された前記所定の対象物に対する合焦位置を決定し、前記合焦位置に前記撮像光学系を移動させる合焦位置決定方法において、前記撮像光学系を無限遠側から至近側に向かって移動し、前記検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別し、前記検出された所定の対象物が前記画像の中心領域に含まれていると判別された時の前記撮像光学系の位置を合焦位置とし、該合焦位置の決定がなされた後、前記撮像光学系の移動を停止することを特徴としている。   Further, the in-focus position determination method according to the present invention moves an imaging optical system that forms a subject image on a predetermined imaging plane along the optical axis direction, and converts the formed subject image into image data. In the in-focus position determination method of detecting a predetermined object from the image data, determining a focus position with respect to the detected predetermined object, and moving the imaging optical system to the focus position. The imaging optical system is moved from the infinity side toward the close side, and it is determined whether or not the detected predetermined object is included in a central region of an image indicated by the image data, and the detected The position of the imaging optical system when it is determined that the predetermined object is included in the center area of the image is set as the in-focus position, and after the in-focus position is determined, the movement of the imaging optical system is performed. It is characterized by stopping.

被写体像に基づいて変換された画像データから所定の対象物を検出し、画像の中心領域にある対象物のうち、最も画像の中心に近い対象物に対して合焦位置を決定することにより、画像の中心にある対象物に対して簡単にピントを合わせることができる。例えば、被写体は遠方にいるが、その手前に人物がたくさんいる場合、手前側にいる人物の顔に対してピントが合うように合焦位置の決定がなされるAF機構が主流であるが、本発明のように、被写体が遠方にいる場合は、その被写体が画像の中心にくるように撮影者が画角等を設定することにより、手前側に人物がいても遠方にいる被写体に対して簡単にピントを合わせることができる。   By detecting a predetermined object from the image data converted based on the subject image and determining the in-focus position for the object closest to the center of the image among the objects in the center area of the image, It is possible to easily focus on the object at the center of the image. For example, if the subject is far away but there are many people in front of it, the AF mechanism that determines the in-focus position to focus on the face of the person on the near side is the mainstream. When the subject is far away as in the invention, the photographer sets the angle of view etc. so that the subject is at the center of the image, so that it is easy for a subject far away even if there is a person on the near side. You can focus on.

また、撮像光学系を無限遠側から至近側に移動させて移動毎に画像データを取得し、その画像データから所定の対象物が検出され、且つその対象物が画像の中心領域にある場合はその時の撮像光学系の位置を合焦位置とし、以後の撮像光学系の移動を停止することにより、遠方にいる被写体に対して簡単に合焦させることができると共に、合焦位置の決定にかかる時間を短縮することができる。   Further, when the imaging optical system is moved from the infinity side to the close side, image data is acquired for each movement, a predetermined object is detected from the image data, and the object is in the central region of the image By taking the position of the imaging optical system at that time as the in-focus position and stopping the subsequent movement of the imaging optical system, it is possible to easily focus on a distant subject and to determine the in-focus position. Time can be shortened.

以下、図面を参照して本発明の実施の形態を説明する。尚、以下の実施の形態では、本発明における合焦位置決定装置を備えた電子機器としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、デジタルビデオカメラ、カメラ付き携帯電話、カメラ付きPDA等、電子撮像機能を備えた他の電子機器に対しても適用可能である。   Embodiments of the present invention will be described below with reference to the drawings. In the following embodiments, a digital camera will be described as an example of an electronic apparatus provided with the in-focus position determination device according to the present invention. However, the scope of the present invention is not limited to this, for example, a digital video camera, The present invention is also applicable to other electronic devices having an electronic imaging function such as a camera-equipped mobile phone and a camera-equipped PDA.

〔第1の実施の形態〕
図1及び2は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た外観図である。図1に示すように、デジタルカメラ1の本体10の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻る)ボタン15、表示切替ボタン16が設けられ、更に撮影のためのファインダ17及び撮影並びに再生のためのモニタ18が設けられている。また本体10の上面には、シャッタボタン19が設けられている。
[First Embodiment]
1 and 2 show an example of a digital camera, and are external views as seen from the back side and the front side, respectively. As shown in FIG. 1, an operation mode switch 11, a menu / OK button 12, a zoom / up / down lever 13, a left / right button 14, a back are provided on the back of the main body 10 of the digital camera 1 as an interface for operation by a photographer. A (return) button 15 and a display switching button 16 are provided, and a finder 17 for photographing and a monitor 18 for photographing and reproduction are further provided. A shutter button 19 is provided on the upper surface of the main body 10.

動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー/OKボタン12は、押下される毎に撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューをモニタ18に表示させたり、モニタ18に表示されたメニューに基づく選択・設定を決定するためのボタンである。   The operation mode switch 11 is a slide switch for switching operation modes of a still image shooting mode, a moving image shooting mode, and a playback mode. Each time the menu / OK button 12 is pressed, the monitor 18 displays various menus for setting the shooting mode, flash emission mode, number of recording pixels, sensitivity, and the like, or based on the menu displayed on the monitor 18. It is a button for determining selection / setting.

ズーム/上下レバー13は、上下方向に倒すことによって、撮影時には望遠/広角の調整が行われ、各種設定時にはモニタ18に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン14は、各種設定時にモニタ18に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。   The zoom / up / down lever 13 is tilted up and down to adjust the telephoto / wide angle during shooting, and the cursor in the menu screen displayed on the monitor 18 is moved up and down during various settings. The left / right button 14 is a button for moving and displaying the cursor in the menu screen displayed on the monitor 18 at various settings.

Back(戻る)ボタン15は、押下されることによって各種設定操作を中止し、モニタ18に1つ前の画面を表示するためのボタンである。表示切替ボタン16は、押下することによってモニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。ファインダ17は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ17から見える被写体像は、本体10の前面にあるファインダ窓23を介して映し出される。   The Back button 15 is a button for stopping various setting operations when pressed and displaying the previous screen on the monitor 18. The display switching button 16 is a button for switching ON / OFF of the display of the monitor 18, various guide displays, ON / OFF of character display, and the like when pressed. The viewfinder 17 is used for a user to look into the subject for composition and focus when photographing a subject. The subject image seen from the finder 17 is projected through the finder window 23 on the front surface of the main body 10.

以上説明した各ボタン及びレバーの操作によって設定された内容は、モニタ18中の表示や、ファインダ17内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ18には、撮影の際に被写体確認用のスルー画が表示される。これにより、モニタ18は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。   The contents set by the operation of each button and lever described above can be confirmed by the display on the monitor 18, the position of the lamp in the finder 17, the position of the slide lever, and the like. The monitor 18 displays a through image for confirming the subject when photographing. As a result, the monitor 18 functions as an electronic viewfinder, displays still images and moving images after shooting, and displays various setting menus.

更に、図2に示すように、本体10の前面には、撮影レンズ(撮像光学系)20、レンズカバー21、電源スイッチ22、ファインダ窓23、フラッシュライト24及びセルフタイマーランプ25が設けられ、側面にはメディアスロット26が設けられている。   Further, as shown in FIG. 2, a photographing lens (imaging optical system) 20, a lens cover 21, a power switch 22, a finder window 23, a flash light 24, and a self-timer lamp 25 are provided on the front surface of the main body 10. Is provided with a media slot 26.

撮影レンズ20は、被写体像を所定の結像面上(本体10内部にあるCCD等)に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー21は、デジタルカメラ1の電源がオフ状態の時、再生モードであるとき等に撮影レンズ20の表面を覆い、汚れやゴミ等から撮影レンズ20を保護するものである。電源スイッチ22は、デジタルカメラ1の電源のオン/オフを切り替えるためのスイッチである。フラッシュライト24は、シャッタボタン19が押下され、本体10の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ25は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングを被写体に知らせるためものである。メディアスロット26は、メモリカード等の外部記録メディア70が充填されるための充填口であり、外部記録メディア70が充填されると、データの読み取り/書き込みが行われる。   The photographic lens 20 is used to form a subject image on a predetermined image plane (CCD or the like inside the main body 10), and includes a focus lens, a zoom lens, and the like. The lens cover 21 covers the surface of the photographic lens 20 when the power of the digital camera 1 is turned off or in the playback mode, and protects the photographic lens 20 from dirt and dust. The power switch 22 is a switch for switching on / off the power of the digital camera 1. The flashlight 24 is used to instantaneously irradiate the subject with light necessary for photographing while the shutter button 19 is pressed and the shutter inside the main body 10 is opened. The self-timer lamp 25 is for informing the subject of the opening / closing timing of the shutter when shooting with the self-timer. The media slot 26 is a filling port for filling an external recording medium 70 such as a memory card. When the external recording medium 70 is filled, data reading / writing is performed.

図3は、デジタルカメラ1の機能構成を示すブロック図である。デジタルカメラ1の操作系として、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻り)ボタン15、表示切替ボタン16、シャッタボタン19及び電源スイッチ22と、これらのスイッチ、ボタン、レバー類の操作内容をCPU75に伝えるためのインターフェースである操作系制御部74が設けられている。   FIG. 3 is a block diagram showing a functional configuration of the digital camera 1. As an operation system of the digital camera 1, the operation mode switch 11, the menu / OK button 12, the zoom / up / down lever 13, the left / right button 14, the back (return) button 15, the display switching button 16, the shutter button 19, and the power switch 22. In addition, an operation system control unit 74 that is an interface for transmitting operation contents of these switches, buttons, and levers to the CPU 75 is provided.

また、撮影レンズ20を構成するものとして、フォーカスレンズ20a及びズームレンズ20bが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部(駆動手段)51、ズームレンズ駆動部52によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部51は、AF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aをステップ駆動する。ズームレンズ駆動部52は、ズーム/上下レバー13の操作量データに基づいてズームレンズ20bのステップ駆動を制御する。   Further, a focus lens 20a and a zoom lens 20b are provided as components of the photographing lens 20. Each of these lenses is step-driven by a focus lens driving unit (driving unit) 51 and a zoom lens driving unit 52 including a motor and a motor driver, and is configured to be movable in the optical axis direction. The focus lens driving unit 51 step-drives the focus lens 20 a based on the focus driving amount data output from the AF processing unit 62. The zoom lens driving unit 52 controls step driving of the zoom lens 20 b based on the operation amount data of the zoom / up / down lever 13.

絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE(自動露出)/AWB(オートホワイトバランス)処理部63から出力される絞り値データに基づいて絞り54の絞り径の調整を行う。   The diaphragm 54 is driven by a diaphragm driving unit 55 including a motor and a motor driver. The aperture drive unit 55 adjusts the aperture diameter of the aperture 54 based on aperture value data output from the AE (automatic exposure) / AWB (auto white balance) processing unit 63.

シャッタ56は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部57によって駆動される。シャッタ駆動部57は、シャッタボタン19の押下信号と、AE/AWB処理部63から出力されるシャッタ速度データとに応じてシャッタ56の開閉の制御を行う。   The shutter 56 is a mechanical shutter and is driven by a shutter drive unit 57 including a motor and a motor driver. The shutter drive unit 57 controls the opening / closing of the shutter 56 in accordance with the pressing signal of the shutter button 19 and the shutter speed data output from the AE / AWB processing unit 63.

上記光学系の後方には、撮影素子であるCCD(変換手段)58を有している。CCD58は、多数の受光素子が2次元状に配列されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ(不図示)と、RGB各色のフィルタが規則的に配列されてなるカラーフィルタアレイ(不図示)とが配置されている。CCD58は、CCD制御部59から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を1ラインずつシリアルのアナログ画像データとして出力する。各画素における電荷の蓄積時間(即ち露出時間)は、CCD制御部59から与えられる電子シャッタ駆動信号によって決定される。   Behind the optical system is a CCD (conversion means) 58 that is a photographing element. The CCD 58 has a photocathode in which a large number of light receiving elements are arranged two-dimensionally, and subject light that has passed through the optical system is imaged on the photocathode and subjected to photoelectric conversion. In front of the photocathode, a microlens array (not shown) for condensing light on each pixel and a color filter array (not shown) in which RGB filters are regularly arranged are arranged. Yes. The CCD 58 outputs the charges accumulated for each pixel as serial analog image data line by line in synchronization with the vertical transfer clock signal and horizontal transfer clock signal supplied from the CCD control unit 59. The charge accumulation time (that is, exposure time) in each pixel is determined by an electronic shutter drive signal given from the CCD controller 59.

CCD58が出力するアナログ画像データは、アナログ信号処理部60に入力される。このアナログ信号処理部60は、アナログ画像信号のノイズ除去を行う相関2重サンプリング回路(CDS)と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ(AGC)と、アナログ画像データをデジタル画像データに変換するA/Dコンバータ(ADC)とからなる。そしてデジタル画像データは、画素毎にRGBの濃度値を持つCCD−RAWデータである。   Analog image data output from the CCD 58 is input to the analog signal processing unit 60. The analog signal processing unit 60 includes a correlated double sampling circuit (CDS) that removes noise from the analog image signal, an auto gain controller (AGC) that adjusts the gain of the analog image signal, and converts the analog image data into digital image data. It comprises an A / D converter (ADC) for conversion. The digital image data is CCD-RAW data having RGB density values for each pixel.

タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部57、CCD制御部59、アナログ信号処理部60に入力されて、シャッタボタン19の操作と、シャッタ56の開閉、CCD58の電荷取り込み、アナログ信号処理60の処理の同期が取られる。フラッシュ制御部73は、フラッシュライト24の発光動作を制御する。   The timing generator 72 generates a timing signal. The timing signal is input to the shutter drive unit 57, the CCD control unit 59, and the analog signal processing unit 60, and the operation of the shutter button 19 and the opening / closing of the shutter 56 are performed. The charge capturing of the CCD 58 and the processing of the analog signal processing 60 are synchronized. The flash controller 73 controls the light emission operation of the flashlight 24.

画像入力コントローラ61は、上記アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ68に書き込む。このフレームメモリ68は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)から構成されている。   The image input controller 61 writes the CCD-RAW data input from the analog signal processing unit 60 in the frame memory 68. The frame memory 68 is a working memory used when various digital image processing (signal processing) to be described later is performed on the image data. For example, an SDRAM that transfers data in synchronization with a bus clock signal having a fixed period. (Synchronous Dynamic Random Access Memory).

表示制御部71は、フレームメモリ68に格納された画像データをスルー画としてモニタ18に表示させるためのものであり、例えば、輝度(Y)信号と色(C)信号を一緒にして1つの信号としたコンポジット信号に変換して、モニタ18に出力する。スルー画は、撮影モードが選択されている間、所定間隔で取得されてモニタ18に表示される。また、表示制御部71はフレームメモリ68に格納された画像データや外部記録メディア70に記憶され、メディア制御部69によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させる。   The display control unit 71 is for displaying the image data stored in the frame memory 68 on the monitor 18 as a through image. For example, the display control unit 71 combines a luminance (Y) signal and a color (C) signal into one signal. Is converted to a composite signal and output to the monitor 18. Through images are acquired at predetermined intervals and displayed on the monitor 18 while the shooting mode is selected. The display control unit 71 displays on the monitor 18 an image based on the image data stored in the frame memory 68 and the image data stored in the external recording medium 70 and read out by the media control unit 69. Let

AF処理部(決定手段、合焦評価値算出手段、極大値検出手段)62及びAE/AWB処理部63は、プレ画像に基づいて撮影条件を決定する。プレ画像とは、シャッタボタン19が半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮影を実行させた結果、フレームメモリ68に格納された画像データに基づいた画像である。   The AF processing unit (determining unit, focusing evaluation value calculating unit, maximum value detecting unit) 62 and AE / AWB processing unit 63 determine shooting conditions based on the pre-image. The pre-image is an image based on the image data stored in the frame memory 68 as a result of the CPU 75 having detected a half-press signal generated by half-pressing the shutter button 19 causing the CCD 58 to perform pre-photographing. .

AF処理部62は、上記プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する。本実施の形態においては、焦点位置の検出方法として、ピントが合った状態では画像の合焦評価値が高くなるという特徴を利用して、合焦位置を検出するパッシブ方式が適用されている。   The AF processing unit 62 detects the focal position based on the pre-image and outputs focus drive amount data. In the present embodiment, as a method for detecting the focus position, a passive method for detecting the focus position is used by utilizing the feature that the focus evaluation value of the image is high in a focused state.

AE/AWB処理部63は、上記プレ画像に基づいて被写体輝度を測定し、絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力すると共に(AE)、撮影時のホワイトバランスを調整する(AWB)。   The AE / AWB processing unit 63 measures subject luminance based on the pre-image, determines an aperture value, shutter speed, etc., outputs aperture value data and shutter speed data (AE), and white balance at the time of shooting. Is adjusted (AWB).

画像処理部64は、本画像の画像データに対してガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理を施すと共に、CCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、シャッタボタン19が全押しされることによって実行されることによってCCD58からアナログ画像データが取り込まれ、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリ68に格納された画像データに基づいた画像である。本画像の画素数の上限はCCD58の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定(ファイン、ノーマル等の設定)により、記録画素数を変更することができる。一方、スルー画やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の1/16程度の画素数で取り込まれてもよい。   The image processing unit 64 performs image quality correction processing such as gamma correction, sharpness correction, and contrast correction on the image data of the main image, and converts the CCD-RAW data into Y data which is a luminance signal and Cb which is a blue color difference signal. YC processing is performed for conversion into YC data comprising data and Cr data which is a red color difference signal. The main image is an image stored in the frame memory 68 via the analog signal processing unit 60 and the image input controller 61 when analog image data is fetched from the CCD 58 by being executed when the shutter button 19 is fully pressed. It is an image based on the data. The upper limit of the number of pixels of the main image is determined by the number of pixels of the CCD 58. For example, the number of recorded pixels can be changed by an image quality setting (setting such as fine and normal) that can be set by the user. On the other hand, the number of pixels of the through image or the pre-image may be smaller than that of the main image.

顔検出部(対象物検出手段)65は、フレームメモリ68に格納された画像データから人物の顔や目を検出するためのものである。本実施の形態では、顔を検出するものとして以下説明するが、人物の目を検出するようにしてもよい。また動物の顔や目等を検出するようにしてもよい。   The face detection unit (object detection means) 65 is for detecting a person's face and eyes from the image data stored in the frame memory 68. In the present embodiment, the following description will be made assuming that a face is detected. However, a human eye may be detected. Moreover, you may make it detect an animal's face, eyes, etc.

圧縮/伸長処理部67は、画像処理部64によって画質補正等の処理が行われた画像データに対して、例えばJPEG等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮/伸長処理部67は、再生モードにおいては外部記録メディア70から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部71に出力され、表示制御部71は画像データに基づいた画像をモニタ18に表示する。   The compression / decompression processing unit 67 performs compression processing on the image data that has been subjected to processing such as image quality correction by the image processing unit 64 in a compression format such as JPEG, and generates an image file. Additional information is added to the image file based on various data formats. The compression / decompression processing unit 67 reads a compressed image file from the external recording medium 70 in the reproduction mode, and performs decompression processing. The decompressed image data is output to the display control unit 71, and the display control unit 71 displays an image based on the image data on the monitor 18.

メディア制御部69は、図2におけるメディアスロット26に相当し、外部記録メディア70に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。   The media control unit 69 corresponds to the media slot 26 in FIG. 2, and reads an image file or the like stored in the external recording medium 70 or writes an image file.

CPU(判別手段、抽出手段)75は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ1の本体各部を制御する。またデータバス76は、画像入力コントローラ61、各種処理部62〜67、フレームメモリ68、各種制御部69、71、及びCPU75に接続されており、このデータバス76を介して各種信号、データの送受信が行われる。   A CPU (discriminating means, extracting means) 75 controls each part of the main body of the digital camera 1 in accordance with operations of various buttons, levers, switches, and signals from the respective functional blocks. The data bus 76 is connected to the image input controller 61, various processing units 62 to 67, the frame memory 68, various control units 69 and 71, and the CPU 75, and transmission and reception of various signals and data via the data bus 76. Is done.

次に、デジタルカメラ1の簡単な一連の流れを図4のフローチャートを用いて説明する。まずCPU75は、動作モードスイッチ11の設定に従って、動作モードが撮影モードであるか再生モードであるか判別する(ステップS1)。再生モードの場合(ステップS1;再生)、再生処理が行われる(ステップS11)。この再生処理は、メディア制御部69が外部記録メディア70に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させるための処理である。再生処理が終了したら、CPU75はデジタルカメラ1の電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS10)、オフ操作がなされていたら(ステップS10;YES)、デジタルカメラ1の電源をオフし、処理を終了する。   Next, a simple series of flows of the digital camera 1 will be described with reference to the flowchart of FIG. First, the CPU 75 determines whether the operation mode is the shooting mode or the reproduction mode according to the setting of the operation mode switch 11 (step S1). In the reproduction mode (step S1; reproduction), reproduction processing is performed (step S11). This reproduction process is a process for the media control unit 69 to read an image file stored in the external recording medium 70 and display an image based on the image data included in the image file on the monitor 18. When the reproduction process is completed, the CPU 75 determines whether or not the power switch 22 of the digital camera 1 is turned off (step S10). If the power is turned off (step S10; YES), the power of the digital camera 1 is turned on. Turn off and end processing.

一方、ステップS1において動作モードが撮影モードであると判別された場合(ステップS1;撮影)、CPU75はスルー画の表示制御を行う(ステップS2)。スルー画の表示とは、前述のプレ画像をモニタ18に表示する処理である。次に、CPU75はシャッタボタン19が半押しされたか否かを判別する(ステップS3)。半押しがされていない場合(ステップS3;NO)、CPU75はステップS2の処理を繰り返す。半押しされた場合(ステップS3;YES)、AE/AWB処理部63が露出の決定を行う(ステップS4)。   On the other hand, when it is determined in step S1 that the operation mode is the shooting mode (step S1; shooting), the CPU 75 performs display control of the through image (step S2). The through image display is a process of displaying the above pre-image on the monitor 18. Next, the CPU 75 determines whether or not the shutter button 19 has been half-pressed (step S3). When half-pressed is not performed (step S3; NO), the CPU 75 repeats the process of step S2. When half-pressed (step S3; YES), the AE / AWB processing unit 63 determines the exposure (step S4).

続いて、合焦位置決定処理が行われる(ステップS5)。この合焦位置決定処理については、後に詳しく説明する。合焦位置決定処理が行われると、シャッタボタン19の半押しが解除されたか否かが判別される(ステップS6)。半押しが解除された場合は(ステップS6;YES)、CPU75はステップS2へ処理を移行する。半押しが解除されていない場合は(ステップS6;NO)、CPU75はシャッタボタン19が全押しされたか否かを判別する(ステップS7)。全押しされていない場合は(ステップS7;NO)ステップS6へ処理を移行する。全押しされた場合は(ステップS7;YES)CPU75は撮影処理を行う(ステップS8)。撮影処理とは、CCD58の光電面に結像された被写体像に基づいたアナログ画像データがA/D変換されて画像処理部64によって各種信号処理が施されるまでの処理を言う。また、撮影処理として、更に信号処理が施された画像データに対して圧縮/伸長処理部67によって圧縮処理が施されて画像ファイルが生成されてもよい。   Subsequently, an in-focus position determination process is performed (step S5). This in-focus position determination process will be described in detail later. When the in-focus position determination process is performed, it is determined whether or not the half-press of the shutter button 19 has been released (step S6). When the half-press is released (step S6; YES), the CPU 75 shifts the process to step S2. If the half-press is not released (step S6; NO), the CPU 75 determines whether or not the shutter button 19 is fully pressed (step S7). If it is not fully pressed (step S7; NO), the process proceeds to step S6. If it is fully pressed (step S7; YES), the CPU 75 performs a photographing process (step S8). The photographing process refers to a process from analog image data based on the subject image formed on the photoelectric surface of the CCD 58 to A / D conversion and various signal processings performed by the image processing unit 64. In addition, as the image capturing process, the image data that has been subjected to the signal processing may be compressed by the compression / decompression processing unit 67 to generate an image file.

撮影処理が終了すると、CPU75は撮影画像をモニタ18に表示する処理を行い、またその撮影画像を外部記録メディア70に記録する(ステップS9)。そしてCPU75は電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS10)、オフ操作がなされていたら(ステップS10;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS10;NO)、ステップS1へ処理を移行する。   When the photographing process is completed, the CPU 75 performs a process of displaying the photographed image on the monitor 18, and records the photographed image on the external recording medium 70 (step S9). Then, the CPU 75 determines whether or not an off operation has been performed by the power switch 22 (step S10). If the off operation has been performed (step S10; YES), the power of the digital camera 1 is turned off, and the process ends. If an off operation has not been performed (step S10; NO), the process proceeds to step S1.

図5は合焦位置決定処理の流れを示したフローチャートであり、図6はラフサーチ処理の流れを示したフローチャートである。各処理について説明する前に、本実施の形態における顔検出及び合焦位置の決定方法について、図7を用いて詳しく説明する。図7は例えば学校等の運動会において、遠方にいる被写体(子供91a)を撮影する際のモニタ18に表示されるスルー画の一例である。図7に示すように、撮影したい子供91aの手前に人物91dがいる場合、一般的なAF機構では至近側において検出された顔に対して合焦が行われるため、合焦位置が例えば人物91dの何れかに設定されてしまっていた。   FIG. 5 is a flowchart showing the flow of the in-focus position determination process, and FIG. 6 is a flowchart showing the flow of the rough search process. Before describing each process, the face detection and in-focus position determination method in the present embodiment will be described in detail with reference to FIG. FIG. 7 is an example of a through image displayed on the monitor 18 when photographing a subject (child 91a) at a distance in an athletic meet such as a school. As shown in FIG. 7, when the person 91d is in front of the child 91a to be photographed, the general AF mechanism focuses on the face detected on the close side, so the in-focus position is, for example, the person 91d. It was set to either.

そこで、ユーザは撮影した被写体(子供91a)がモニタ18内に表示される枠900内の中心に位置するように画角等を調整する。そしてシャッタボタン19が半押しされることによってフォーカスレンズ20aが移動し、移動毎に顔検出が行われるが、顔が検出されたら、その顔が枠900の中にある場合のみ顔の位置及びフォーカスレンズ20aの位置を記憶する。図7の場合、子供91aの他に、子供91b及び91cの顔が枠900の中にあるため、この3つの顔のそれぞれの位置とその顔を検出したときのフォーカスレンズ20aの位置が記憶される。ここで、記憶される顔の位置とは、画像のX−Y平面上の位置(例えば、XY座標値)のことである。更に、検出された顔のうち、枠900の中心に最も近い顔を抽出する。図7の場合、枠900の中心に最も近い顔は子供91aである。従って、子供91aを被写体と認識し、その顔の合焦位置を設定する。つまり、検出された顔が画像の中心領域にあるか否かを判別し、画像の中心領域にある顔のうち最も画像の中心に近い顔を抽出して、その顔にピントを合わせる。こうすることにより、遠方に撮影したい被写体がいる場合でも、その被写体を枠900の中心に合わせることで、その被写体に対して簡単に合焦させることができる。   Therefore, the user adjusts the angle of view and the like so that the photographed subject (child 91a) is positioned at the center in the frame 900 displayed in the monitor 18. When the shutter button 19 is half-pressed, the focus lens 20a is moved, and face detection is performed every time the movement is performed. When a face is detected, the position and focus of the face are detected only when the face is in the frame 900. The position of the lens 20a is stored. In the case of FIG. 7, since the faces of the children 91b and 91c are in the frame 900 in addition to the child 91a, the positions of the three faces and the position of the focus lens 20a when the faces are detected are stored. The Here, the stored face position is a position on the XY plane of the image (for example, an XY coordinate value). Furthermore, the face closest to the center of the frame 900 is extracted from the detected faces. In the case of FIG. 7, the face closest to the center of the frame 900 is the child 91a. Therefore, the child 91a is recognized as a subject and the focus position of the face is set. That is, it is determined whether or not the detected face is in the center area of the image, and the face closest to the center of the image is extracted from the faces in the center area of the image, and the face is focused. In this way, even when there is a subject to be photographed in the distance, the subject can be easily focused on by aligning the subject with the center of the frame 900.

続いて、図5の合焦位置決定方法について説明する。まずCPU75はラフサーチ処理を実行する(ステップS21)。図6はラフサーチ処理の流れを示したフローチャートである。CPU75はフォーカスレンズ20aを初期位置に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力する(ステップS31)。そしてCCD58が結像された被写体像を画像データに変換して出力し(ステップS32)、顔検出部65が出力された画像データから人物の顔を検出する(ステップS33)。顔が検出され、且つその顔が画像データの示す画像の中心領域にある場合(ステップS34;YES)、CPU75は検出された顔の位置と現在のフォーカスレンズ20aの位置を記憶する(ステップS35)。ここで、画像の中心領域とは、上記枠900のように予め設定された領域であってもよいし、例えば、ユーザが枠900の位置や大きさを任意に設定可能なようにしてもよい。更に、例えば、枠900から顔が検出されなかった場合、枠900の位置を移動したり、領域面積を大きくする等して、検出結果に応じて枠900の位置や大きさを変化させた後、枠900内における顔検出を再度行うようにしてもよい。   Next, the in-focus position determination method in FIG. 5 will be described. First, the CPU 75 executes a rough search process (step S21). FIG. 6 is a flowchart showing the flow of rough search processing. The CPU 75 outputs an instruction signal to the focus lens driving unit 51 in order to move the focus lens 20a to the initial position (step S31). The subject image formed by the CCD 58 is converted into image data and output (step S32), and the face detection unit 65 detects a human face from the output image data (step S33). When a face is detected and the face is in the center area of the image indicated by the image data (step S34; YES), the CPU 75 stores the detected position of the face and the current position of the focus lens 20a (step S35). . Here, the center area of the image may be a preset area such as the frame 900, or may allow the user to arbitrarily set the position and size of the frame 900, for example. . Further, for example, when a face is not detected from the frame 900, the position or size of the frame 900 is changed according to the detection result by moving the position of the frame 900 or increasing the area of the area. The face detection within the frame 900 may be performed again.

そしてCPU75はフォーカスレンズ20aが最後の位置にあるか否かを判別し(ステップS36)、最後の位置でなければ(ステップS36;NO)、フォーカスレンズ20aを次の位置に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力する(ステップS39)。最後の位置であり(ステップS36;YES)、ステップS35において顔の位置が記憶されている場合は(ステップS37;YES)、CPU75は記憶された顔のうち最も画像の中心に近い顔を抽出し(ステップS38)、抽出された顔に対応して記憶されたフォーカスレンズ20aの位置を仮合焦位置に設定する(ステップS39)。そしてラフサーチ処理を終了する。一方、記憶された顔の位置がない場合(ステップS37;NO)、CPU75はAFエラーとしてラフサーチ処理を終了する。   Then, the CPU 75 determines whether or not the focus lens 20a is at the last position (step S36). If it is not the last position (step S36; NO), the focus lens 20a is moved to the next position to move the focus lens 20a to the next position. An instruction signal is output to the drive unit 51 (step S39). If it is the last position (step S36; YES) and the face position is stored in step S35 (step S37; YES), the CPU 75 extracts the face closest to the center of the image from the stored faces. (Step S38) The position of the focus lens 20a stored corresponding to the extracted face is set as a temporary in-focus position (Step S39). Then, the rough search process ends. On the other hand, when there is no stored face position (step S37; NO), the CPU 75 ends the rough search process as an AF error.

そして図5に戻り、ラフサーチ処理においてAFエラーとされていない場合(ステップS22;NO)、CPU75は記憶されたフォーカスレンズ20aの仮合焦位置を含む所定の範囲について本サーチ処理を行う(ステップS23)。本サーチ処理とは、フォーカスレンズ20aを設定された範囲において移動させ、移動毎に合焦評価値を算出して極大値を検出し、合焦位置を決定する処理である。そして、CPU75は検出された極大値に対応する位置にフォーカスレンズ20aを移動させ(ステップS24)、合焦位置決定処理を終了する。   Returning to FIG. 5, when the AF error is not determined in the rough search process (step S22; NO), the CPU 75 performs the main search process for a predetermined range including the stored temporary focusing position of the focus lens 20a (step S23). ). The search process is a process of moving the focus lens 20a within a set range, calculating a focus evaluation value for each movement, detecting a local maximum value, and determining a focus position. Then, the CPU 75 moves the focus lens 20a to a position corresponding to the detected maximum value (step S24), and ends the focus position determination process.

以上説明したように、CCD58より出力された画像データから顔を検出し、このうち画像の中心領域にある顔の位置とその顔を検出したときのフォーカスレンズ20aの位置を記憶し、その後画像の中心領域にある顔のうち最も画像の中心に近い顔を抽出して、その顔にピントを合わせることにより、遠方に撮影したい被写体がいる場合でも、その被写体に対して簡単に合焦させることができる。つまり、スルー画表示の段階において、遠方にいる被写体がモニタ18の中心にくるように画角等を調整することにより、その被写体に対して簡単に合焦させることができる。   As described above, a face is detected from the image data output from the CCD 58, and the position of the face in the central area of the image and the position of the focus lens 20a when the face is detected are stored, and then the image By extracting the face closest to the center of the image from the faces in the center area, and focusing on that face, even if there is a subject that you want to shoot far away, you can easily focus on that subject it can. That is, in the through image display stage, the subject can be easily focused by adjusting the angle of view and the like so that the subject in the distance is at the center of the monitor 18.

尚、本実施の形態における合焦位置決定方法は、遠方にいる被写体を撮影する際に効果を発揮する。しかし、近くにいる被写体を撮影したい場合も多いことから、図1〜3において説明した操作系を用いて、被写体が遠方にいるか、近くにいるか(通常モード)をユーザが設定可能なようにし、被写体が遠方にいると設定された場合は、本実施の形態において説明した合焦位置決定方法を用いて合焦位置の決定が行われるようにし、被写体が近くにいる(通常モード)と設定された場合は、公知の技術を用いて、最も至近側にある顔に対してピントが合うように合焦位置の決定が行なわれるようにしてもよい。   Note that the in-focus position determination method according to the present embodiment is effective when photographing a subject located far away. However, since there are many cases where it is desired to photograph a subject that is close, the user can set whether the subject is far away or close (normal mode) using the operation system described in FIGS. When the subject is set to be far away, the focus position is determined using the focus position determination method described in the present embodiment, and the subject is set to be close (normal mode). In this case, the focus position may be determined using a known technique so that the closest face is in focus.

〔第2の実施の形態〕
第1の実施の形態では、所定の初期位置から動作範囲内についてフォーカスレンズ20aを移動させ、移動毎に画像データから顔検出を行い、合焦位置の決定を行っていた。第2の実施の形態では、フォーカスレンズ20aを無限遠側から至近側に移動させ、画像の中心領域において顔が検出された時のフォーカスレンズ20aの位置に基づいて合焦位置を決定し、以降のフォーカスレンズ20aの移動を停止する場合について説明する。尚、第2の実施の形態におけるデジタルカメラ1の全体図、機能構成図、主な処理の流れ及び合焦位置決定処理については、第1の実施の形態において説明したものと同一であるため説明を省略し、第1の実施の形態と異なるラフサーチ処理についてのみ説明する。
[Second Embodiment]
In the first embodiment, the focus lens 20a is moved within the operating range from a predetermined initial position, and the face is detected from the image data for each movement to determine the in-focus position. In the second embodiment, the focus lens 20a is moved from the infinity side to the close side, and the focus position is determined based on the position of the focus lens 20a when the face is detected in the center area of the image. A case where the movement of the focus lens 20a is stopped will be described. The overall view, functional configuration diagram, main process flow, and in-focus position determination process of the digital camera 1 in the second embodiment are the same as those described in the first embodiment. Only the rough search process different from that of the first embodiment will be described.

図8は、第2の実施の形態におけるラフサーチ処理の流れを示したフローチャートである。まずCPU75はフォーカスレンズ20aを無限遠側に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力する(ステップS41)。そしてCCD58が結像された被写体像を画像データに変換して出力し(ステップS42)、顔検出部65が出力された画像データから人物の顔を検出する(ステップS43)。顔が検出され、且つその顔が画像データの示す画像の中心領域(例えば、図7に示した枠900)にある場合(ステップS44;YES)、CPU75は現在のフォーカスレンズ20aの位置を仮合焦位置とし(ステップS45)、ラフサーチ処理を終了する。そして合焦位置決定処理において、仮合焦位置に基づいて本サーチ処理が行われる。   FIG. 8 is a flowchart showing a flow of rough search processing in the second embodiment. First, the CPU 75 outputs an instruction signal to the focus lens driving unit 51 in order to move the focus lens 20a to the infinity side (step S41). The subject image formed by the CCD 58 is converted into image data and output (step S42), and the face detection unit 65 detects a human face from the output image data (step S43). When a face is detected and the face is in the center area of the image indicated by the image data (for example, the frame 900 shown in FIG. 7) (step S44; YES), the CPU 75 temporarily sets the current position of the focus lens 20a. The focus position is set (step S45), and the rough search process is terminated. In the in-focus position determination process, the main search process is performed based on the temporary in-focus position.

一方、検出された顔が画像の中心領域にない場合(ステップS44;NO)、CPU75はフォーカスレンズ20aが最後の位置にあるか否かを判別し(ステップS46)、最後の位置でなければ(ステップS46;NO)、フォーカスレンズ20aを次の位置に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力する(ステップS47)。最後の位置である場合(ステップS48;YES)、CPU75はAFエラーとして(ステップS48)、ラフサーチ処理を終了する。   On the other hand, when the detected face is not in the center area of the image (step S44; NO), the CPU 75 determines whether or not the focus lens 20a is at the last position (step S46). Step S46; NO), in order to move the focus lens 20a to the next position, an instruction signal is output to the focus lens driving unit 51 (Step S47). If it is the last position (step S48; YES), the CPU 75 sets an AF error (step S48), and ends the rough search process.

このように、フォーカスレンズ20aを無限遠側から至近側に向かって移動させ、画像の中心領域に顔が検出されたときのフォーカスレンズ20aの位置を仮合焦位置に決定した後はラフサーチ処理を行わないこととすることにより、遠方にいる被写体に対して簡単に合焦させることができると共に、遠方にいる被写体を撮影する際にかかる合焦位置の決定時間を短縮させることができる。その他、第1の実施の形態において説明した効果と同様の効果を奏する。   As described above, after the focus lens 20a is moved from the infinity side to the close side and the position of the focus lens 20a when the face is detected in the center area of the image is determined as the provisional focus position, the rough search process is performed. By not performing it, it is possible to easily focus on a subject located far away, and it is possible to shorten the time for determining a focus position when photographing a subject far away. In addition, the same effects as those described in the first embodiment can be obtained.

〔第3の実施の形態〕
第1及び第2の実施の形態では、顔の検出結果を用いて仮合焦位置を決定し、その仮合焦位置に基づいて本サーチを行って合焦位置を決定する方法について説明した。第3の実施の形態では、顔の検出結果と合焦評価値のピーク値に基づいて合焦位置を決定する方法について説明する。尚、第3の実施の形態におけるデジタルカメラ1の全体図、機能構成図、主な処理の流れ及び合焦位置決定処理については、第1の実施の形態において説明したものと同一であるため、説明を省略し、第1の実施の形態と異なるラフサーチ処理についてのみ説明する。
[Third Embodiment]
In the first and second embodiments, the method has been described in which the temporary in-focus position is determined using the face detection result, and the in-focus position is determined by performing the main search based on the temporary in-focus position. In the third embodiment, a method for determining the focus position based on the face detection result and the peak value of the focus evaluation value will be described. The overall view, functional configuration diagram, main process flow and focus position determination process of the digital camera 1 in the third embodiment are the same as those described in the first embodiment. Description will be omitted, and only rough search processing different from that of the first embodiment will be described.

図9は、第3の実施の形態におけるラフサーチ処理の流れを示したフローチャートである。まずCPU75はフォーカスレンズ20aを無限遠側に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力する(ステップS51)。そしてCCD58が結像された被写体像を画像データに変換して出力し(ステップS52)、顔検出部65が出力された画像データから人物の顔を検出する(ステップS53)。顔が検出され、且つその顔が画像データの示す画像の中心領域(例えば、図7に示した枠900)にある場合(ステップS54;YES)、AF処理部62はAF領域を中心領域又は顔の位置に設定し、合焦評価値を算出する(ステップS55)。そしてAF処理部62は算出された合焦評価値からピーク値を検出する。ピーク値が検出され(ステップS56;YES)、そのピーク値が所定の閾値以上であれば(ステップS57;YES)、CPU75は現在のフォーカスレンズ20aの位置を仮合焦位置として設定し(ステップS58)、ラフサーチ処理を終了する。そして合焦位置決定処理において、仮合焦位置に基づいて本サーチ処理が行われる。   FIG. 9 is a flowchart showing the flow of rough search processing in the third embodiment. First, the CPU 75 outputs an instruction signal to the focus lens driving unit 51 in order to move the focus lens 20a to the infinity side (step S51). The subject image formed by the CCD 58 is converted into image data and output (step S52), and the face detection unit 65 detects a human face from the output image data (step S53). When a face is detected and the face is in the center area of the image indicated by the image data (for example, the frame 900 shown in FIG. 7) (step S54; YES), the AF processing unit 62 uses the AF area as the center area or the face. And the focus evaluation value is calculated (step S55). Then, the AF processing unit 62 detects a peak value from the calculated focus evaluation value. If a peak value is detected (step S56; YES) and the peak value is equal to or greater than a predetermined threshold value (step S57; YES), the CPU 75 sets the current position of the focus lens 20a as a temporary in-focus position (step S58). ), The rough search process is terminated. In the in-focus position determination process, the main search process is performed based on the temporary in-focus position.

一方、検出された顔が画像の中心領域にない場合(ステップS54;NO)、AF処理部62はAF領域を多点AFに設定して合焦評価値を算出し(ステップS59)、ステップS60へ処理を移行する。更に、合焦評価値のピーク値が検出されない(ステップS56;NO)、又は検出されたピーク値が所定の閾値より小さい(ステップS57;NO)場合もステップS60へ処理が移行される。ステップS60においてCPU75はフォーカスレンズ20aが最後の位置にあるか否かを判別し、最後の位置でなければ(ステップS60;NO)、フォーカスレンズ20aを次の位置に移動させるためにフォーカスレンズ駆動部51に対して指示信号を出力し(ステップS61)、ステップS52へ処理を移行する。最後の位置である場合(ステップS60;YES)、CPU75はAFエラーとして(ステップS62)、ラフサーチ処理を終了する。   On the other hand, when the detected face is not in the center area of the image (step S54; NO), the AF processing unit 62 sets the AF area to multipoint AF and calculates a focus evaluation value (step S59), and step S60. Transfer processing to. Furthermore, also when the peak value of the focus evaluation value is not detected (step S56; NO), or when the detected peak value is smaller than a predetermined threshold value (step S57; NO), the process proceeds to step S60. In step S60, the CPU 75 determines whether or not the focus lens 20a is at the last position. If the focus lens 20a is not at the last position (step S60; NO), the focus lens drive unit moves the focus lens 20a to the next position. An instruction signal is output to 51 (step S61), and the process proceeds to step S52. If it is the last position (step S60; YES), the CPU 75 sets the AF error (step S62) and ends the rough search process.

このように、画像の中心領域に顔が検出されると共に、所定の閾値を超えた合焦評価値のピーク値が検出されたときのフォーカスレンズ20aの位置に基づいて合焦位置の決定を行うことにより、合焦位置をより精度良く決定することができる。また、フォーカスレンズ20aを無限遠側より移動させ、更に仮合焦位置が決定したらラフサーチ処理を終了することにより、遠方にいる被写体を撮影する際にかかる合焦位置の決定時間を短縮させることができる。その他、第1の実施の形態において説明した効果と同様の効果を奏する。   As described above, the focus position is determined based on the position of the focus lens 20a when the face is detected in the center region of the image and the peak value of the focus evaluation value exceeding the predetermined threshold is detected. Thus, the in-focus position can be determined with higher accuracy. In addition, when the focus lens 20a is moved from the infinity side and the temporary in-focus position is determined, the rough search process is ended, thereby shortening the determination time of the in-focus position when photographing a subject at a distance. it can. In addition, the same effects as those described in the first embodiment can be obtained.

尚、本実施の形態では、画像の中心領域に顔が検出されると共に、所定の閾値を超えた合焦評価値が検出されたときのフォーカスレンズ20aの位置を仮合焦位置とすることとし、以降のフォーカスレンズ20aの移動を行わないこととして説明したが、フォーカスレンズ20aを動作範囲内に渡って移動させ、移動毎に顔検出及び合焦評価値の算出を行い、フォーカスレンズ20aが限界位置に達したら、合焦評価値のピーク値のうち、顔に相当するピーク値を抽出し、抽出されたピーク値のうち、最も無限遠側にあるピーク値に対応する位置を仮合焦位置とするようにしてもよい。或いは、所定の位置より無限遠側にある顔に相当するピーク値のうち、最もピークの高いピーク値に対応する位置を仮合焦位置としてもよい。或いは、顔に相当するピーク値のうち、枠900の中心に最も近い顔に相当するピーク値に対応する位置を仮合焦位置としてもよい。   In the present embodiment, the face is detected in the center area of the image, and the position of the focus lens 20a when the focus evaluation value exceeding a predetermined threshold is detected is set as the temporary focus position. In the following description, the focus lens 20a is not moved. However, the focus lens 20a is moved within the operation range, and the face detection and the focus evaluation value are calculated for each movement. When the position is reached, the peak value corresponding to the face is extracted from the peak values of the focus evaluation value, and the position corresponding to the peak value on the most infinite side among the extracted peak values is the temporary focus position. You may make it. Alternatively, a position corresponding to the peak value having the highest peak among the peak values corresponding to the face on the infinity side from the predetermined position may be set as the temporary in-focus position. Alternatively, the position corresponding to the peak value corresponding to the face closest to the center of the frame 900 among the peak values corresponding to the face may be set as the temporary in-focus position.

デジタルカメラの背面図Rear view of digital camera デジタルカメラの前面図Front view of digital camera デジタルカメラの機能ブロック図Functional block diagram of digital camera デジタルカメラの一連の動作を説明するためのフローチャートFlow chart for explaining a series of operations of the digital camera 合焦位置決定処理の流れを説明するためのフローチャートFlow chart for explaining the flow of the in-focus position determination process 第1の実施の形態におけるラフサーチ処理の流れを説明するためのフローチャートFlowchart for explaining the flow of rough search processing in the first embodiment モニタ画面の表示例Example of monitor screen display 第2の実施の形態におけるラフサーチ処理の流れを説明するためのフローチャートFlowchart for explaining the flow of rough search processing in the second embodiment 第3の実施の形態におけるラフサーチ処理の流れを説明するためのフローチャートFlowchart for explaining the flow of rough search processing in the third embodiment

符号の説明Explanation of symbols

1 デジタルカメラ
11 動作モードスイッチ
12 メニューボタン
13 ズーム/上下レバー
14 左右ボタン
15 BACK(戻り)ボタン
16 表示切替ボタン
17 ファインダ
18 モニタ
19 シャッタボタン
20 撮像レンズ
21 レンズカバー
22 電源スイッチ
23 ファインダ窓
24 フラッシュライト
25 セルフタイマーランプ
26 メディアスロット
1 Digital Camera 11 Operation Mode Switch 12 Menu Button 13 Zoom / Up / Down Lever 14 Left / Right Button 15 BACK (Return) Button 16 Display Switch Button 17 Viewfinder 18 Monitor 19 Shutter Button 20 Imaging Lens 21 Lens Cover 22 Power Switch 23 Viewfinder Window 24 Flashlight 25 Self-timer lamp 26 Media slot

Claims (4)

被写体像を所定の結像面上に結像させる撮像光学系と、
該撮像光学系を無限遠側から至近側に向かって光軸方向に沿って移動させる駆動手段と、
前記結像された被写体像を画像データに変換する変換手段と、
前記画像データから所定の対象物を検出する対象物検出手段と、
前記対象物検出手段により前記画像データから前記所定の対象物が検出されたとき、該検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別する判別手段とを備え、
前記変換手段および前記対象物検出手段が、前記駆動手段による移動時に、前記結像面上に結像された被写体像を画像データに変換する変換処理および該画像データから前記所定の対象物を検出する検出処理を繰り返し行うものであり、
前記駆動手段が、前記判別手段によって前記検出された所定の対象物が前記画像の中心領域に含まれていると最初に判別されたとき、そのときの前記撮像光学系の位置を合焦位置としての該撮像光学系の移動を停止するものであることを特徴とする合焦位置決定装置。
An imaging optical system that forms an image of a subject on a predetermined imaging plane;
Drive means for moving the imaging optical system from the infinity side toward the close side along the optical axis direction;
Conversion means for converting the imaged subject image into image data;
Object detection means for detecting a predetermined object from the image data;
When said predetermined target object from the image data is detected by the object detecting unit, determination for determining whether a predetermined object is the detection is contained in the central region of the image represented by the image data and means,
The conversion means and the object detection means convert a subject image formed on the imaging surface into image data when the drive means moves, and detect the predetermined object from the image data. It repeats the detection process to
Said drive means, when a predetermined object is the detection by said determination means has determined the first when contained in the central region of the image, a position of the imaging optical system at that time as the focus position An in-focus position determining apparatus for stopping the movement of the imaging optical system .
前記対象物人物の顔又は目であることを特徴する請求項記載の合焦位置決定装置。 Focus position determination apparatus according to claim 1, characterized in that said object is a face or eye of the person. 被写体像を所定の結像面上に結像させる撮像光学系を無限遠側から至近側に向かって光軸方向に沿って移動し、
該移動時に、前記結像された被写体像を繰り返し画像データに変換するとともに、前記画像データから所定の対象物を検出し、
記検出された所定の対象物が前記画像データの示す画像の中心領域に含まれているか否かを判別し、
前記検出された所定の対象物が前記画像の中心領域に含まれていると最初に判別されたとき、そのときの前記撮像光学系の位置を合焦位置として、前記撮像光学系の移動を停止することを特徴とする合焦位置決定方法。
Move the imaging optical system that forms a subject image on a predetermined imaging plane along the optical axis direction from the infinity side to the close side ,
During the movement, the formed subject image is repeatedly converted into image data, and a predetermined object is detected from the image data,
Determine whether a predetermined object is pre-Symbol detection is included in the central region of the image represented by the image data,
First, when it is judged the predetermined object that the detected is included in the central region of the image, a position of the imaging optical system at that time as an in-focus position, the movement of the pre-Symbol imaging optical system A focusing position determination method characterized by stopping.
前記対象物人物の顔又は目であることを特徴する請求項記載の合焦位置決定方法。 The in-focus position determination method according to claim 3, wherein the object is a human face or eye.
JP2006104830A 2006-04-06 2006-04-06 In-focus position determining apparatus and method Expired - Fee Related JP4949717B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006104830A JP4949717B2 (en) 2006-04-06 2006-04-06 In-focus position determining apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006104830A JP4949717B2 (en) 2006-04-06 2006-04-06 In-focus position determining apparatus and method

Publications (2)

Publication Number Publication Date
JP2007279333A JP2007279333A (en) 2007-10-25
JP4949717B2 true JP4949717B2 (en) 2012-06-13

Family

ID=38680854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006104830A Expired - Fee Related JP4949717B2 (en) 2006-04-06 2006-04-06 In-focus position determining apparatus and method

Country Status (1)

Country Link
JP (1) JP4949717B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008711A (en) * 2008-06-26 2010-01-14 Canon Inc Imaging apparatus, imaging method, and program
US8300136B2 (en) 2008-06-26 2012-10-30 Canon Kabushiki Kaisha Imaging apparatus for detecting a face image and imaging method
JP2010015024A (en) 2008-07-04 2010-01-21 Canon Inc Image pickup apparatus, control method thereof, program and storage medium
JP5420034B2 (en) * 2012-08-23 2014-02-19 キヤノン株式会社 Imaging apparatus, control method therefor, program, and storage medium
CN108696634A (en) * 2018-04-24 2018-10-23 Oppo广东移动通信有限公司 Camera control method, device and mobile terminal

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (en) * 2001-09-28 2003-04-09 Ricoh Co Ltd Image pickup device, automatic focusing method, and program for making computer execute the method
JP2004317699A (en) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk Digital camera
JP4549083B2 (en) * 2004-03-19 2010-09-22 キヤノン株式会社 Optical equipment

Also Published As

Publication number Publication date
JP2007279333A (en) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4444927B2 (en) Ranging apparatus and method
US7706674B2 (en) Device and method for controlling flash
JP4644883B2 (en) Imaging device
JP4291408B2 (en) Imaging device
US7668451B2 (en) System for and method of taking image
JP4727534B2 (en) Imaging device
JP4657960B2 (en) Imaging method and apparatus
JP4516035B2 (en) In-focus position determination method and apparatus
JP2007233113A (en) Distance measuring device and method
JP4949717B2 (en) In-focus position determining apparatus and method
JP2007235640A (en) Photographing device and method
JP2007225897A (en) Focusing position determination device and method
JP2007212723A (en) Focusing position determination method and device
JP4925168B2 (en) Imaging method and apparatus
JP4767904B2 (en) Imaging apparatus and imaging method
JP4750063B2 (en) Imaging apparatus and imaging method
JP2008187590A (en) Photographing apparatus, and photographing method
JP4908321B2 (en) Imaging device
JP2007226141A (en) Photographing device and method
JP2008219367A (en) Imaging apparatus and imaging method
JP2008028956A (en) Imaging apparatus and method for generating image signal for detecting target therein
JP4823964B2 (en) Imaging apparatus and imaging method
JP4905797B2 (en) Imaging apparatus and imaging method
JP4756005B2 (en) Imaging apparatus and imaging method
JP2007266692A (en) Imaging method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4949717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees