JP4254467B2 - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP4254467B2
JP4254467B2 JP2003351777A JP2003351777A JP4254467B2 JP 4254467 B2 JP4254467 B2 JP 4254467B2 JP 2003351777 A JP2003351777 A JP 2003351777A JP 2003351777 A JP2003351777 A JP 2003351777A JP 4254467 B2 JP4254467 B2 JP 4254467B2
Authority
JP
Japan
Prior art keywords
subject
calculation
distance
face recognition
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003351777A
Other languages
Japanese (ja)
Other versions
JP2005117530A (en
Inventor
弘剛 野崎
康之 元木
秀臣 日比野
雅 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2003351777A priority Critical patent/JP4254467B2/en
Priority to US10/954,613 priority patent/US8159561B2/en
Priority to EP04256236.3A priority patent/EP1522952B1/en
Priority to CNB2004100850500A priority patent/CN100499747C/en
Publication of JP2005117530A publication Critical patent/JP2005117530A/en
Application granted granted Critical
Publication of JP4254467B2 publication Critical patent/JP4254467B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、人物の特徴点を識別し、その識別結果に応じて合焦や露出動作をするデジタルカメラに関する。   The present invention relates to a digital camera that identifies feature points of a person and performs focusing or exposure according to the identification result.

従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平9−251534号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平10−232934号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。   2. Description of the Related Art Conventionally, many techniques for identifying a person from image data have been known, including a system that authenticates a person by registering a fingerprint or iris feature point in advance and collating it with the feature point. Japanese Patent Application Laid-Open No. 9-251534 describes in detail how to identify eyes as a person by extracting eyes, nose, mouth, etc., registering them as feature points, and comparing them with feature points extracted from the input image. Japanese Patent Laid-Open No. 10-232934 discloses a method for increasing the accuracy of a dictionary image when registering feature points extracted in this way. Examples of applying these technologies to cameras are given below.

特開2001−201779号公報には予めカメラの使用者を参照情報として登録しておき、カメラ使用者がカメラを自分の顔に向けて撮影することで入力した識別情報と一致した場合にのみカメラ動作を可能とするカメラが開示されている。特開2001−309225号公報には顔認識アルゴリズムにより認識された顔の座標、寸法、目の位置、頭のポーズ等のデータが画像メモリに画像データとともに記録されるカメラが開示されている。特開2001−326841号公報には予め正規の使用者を識別するための識別情報(顔、指紋、掌紋)を記憶しておく画像撮像装置(デジタルカメラ)が開示されている。特開2002−232761号公報には撮影した画像に予め読み込んでおいた被写体の識別情報を関連付けて記録する画像記録装置が開示されている。特開2002−333652号公報には予め記憶された容貌情報と撮影顔情報を比較し記録信号を発生する撮影装置が開示されている。この容貌情報は優先度とともに記録される。   Japanese Patent Application Laid-Open No. 2001-201779 registers a camera user as reference information in advance, and only when the camera user matches the identification information input by photographing the camera toward his / her face. A camera that enables operation is disclosed. Japanese Patent Application Laid-Open No. 2001-309225 discloses a camera in which data such as face coordinates, dimensions, eye positions, head poses, and the like recognized by a face recognition algorithm are recorded together with image data in an image memory. Japanese Patent Application Laid-Open No. 2001-326841 discloses an image pickup apparatus (digital camera) that stores identification information (face, fingerprint, palm print) for identifying a regular user in advance. Japanese Patent Laid-Open No. 2002-232761 discloses an image recording apparatus that records in association with identification information of a subject that has been read in advance on a captured image. Japanese Patent Application Laid-Open No. 2002-333651 discloses a photographing apparatus that generates a recording signal by comparing preliminarily stored appearance information and photographing face information. This appearance information is recorded together with the priority.

上述した被写体を識別するという技術をカメラに応用するという発明は、従来から大規模なコンピュータシステムで行われていた技術を単にカメラ単独でも行えるようにしたというものであって、実際にカメラで被写体の識別技術を使用して撮影を行おうとすると従来にないカメラとしての動作シーケンスが必要となってくる。   The invention of applying the above-described technology for identifying a subject to a camera is that the technology conventionally performed in a large-scale computer system can be performed simply by a camera alone. If an attempt is made to shoot using this identification technology, an unprecedented camera operation sequence is required.

本発明においては上述した新たな動作シーケンスを取り入れることによりこれまでの被写体識別機能を持ったカメラにおいては達成されていなかった、従来からのカメラの動作に近い使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。  In the present invention, by incorporating the above-described new operation sequence, a digital camera having a subject identification function that is easy to use and is similar to the operation of a conventional camera, which has not been achieved in a conventional camera having a subject identification function. The purpose is to provide a camera.

上記問題点の解決のために、請求項1の発明は、所定の時間間隔で画像データの中から被写体の特徴部位を抽出する抽出手段と、前記抽出手段を動作させるための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、被写体までの距離を測定する測距手段と、前記設定手段が前記抽出動作モードに設定された場合と前記それ以外の動作モードの場合とで前記測距手段が動作するタイミングを変えるよう指示する指示手段とを備えたことを特徴としている。すなわち、抽出動作モード時にはそれ以外の動作モードにおける測距手段の動作タイミングを変えることで良好な使い勝手のデジタルカメラを提供することができる。請求項2の発明は、前記設定手段が動作モードを前記抽出動作モード以外の動作モードに設定したとき、前記指示手段は前記測距手段にたいして一定の時間間隔で測距するよう指示することを特徴としていて、定期的に被写体に対して測距動作をする。    In order to solve the above problems, the invention of claim 1 is characterized in that an extraction means for extracting a characteristic part of a subject from image data at a predetermined time interval, an extraction operation mode for operating the extraction means, and A setting means for setting to any one of the operation modes other than the above, a distance measurement means for measuring the distance to the subject, and a case where the setting means is set to the extraction operation mode and a case of the other operation modes. Instructing means for instructing to change the timing at which the distance measuring means operates is provided. That is, in the extraction operation mode, it is possible to provide a digital camera that is easy to use by changing the operation timing of the distance measuring means in other operation modes. The invention according to claim 2 is characterized in that, when the setting means sets the operation mode to an operation mode other than the extraction operation mode, the instruction means instructs the distance measurement means to perform distance measurement at a constant time interval. The distance measurement operation is periodically performed on the subject.

請求項3の発明は、更に、前記抽出手段による前記被写体の特徴部位の抽出が可能かどうかを判別する判別手段を備え、前記設定手段が動作モードを前記抽出動作モードに設定したとき、前記判別手段が前記被写体の特徴部位の抽出が不可と判別した場合にのみ前記指示手段は前記測距手段に対して測距するよう指示することを特徴としている。すなわち、抽出動作モードの時は、大きく被写体のピントが外れていて抽出が不可能な場合にのみ測距動作することで複数の被写体が前後に動いたりしているような場合であっても撮影レンズが頻繁に移動することないので使用者が不快感を覚えることがない。請求項4の発明は、前記抽出手段が複数回連続して前記被写体の特徴部位の抽出ができなかった場合に前記判別手段は前記被写体の特徴部位の抽出が不可と判別することを特徴としている。請求項5の発明は、更に、前記抽出手段による前記被写体の特徴部位の抽出が可能かどうかを判別する判別手段を備え、前記判別手段が前記被写体の特徴部位の抽出が可と判別した場合には前記指示手段は前記測距手段に対して測距しないよう指示することを特徴としているのでこの場合にも撮影レンズの頻繁な移動を防止する事ができる。  The invention according to claim 3 further includes a determination unit that determines whether or not the extraction unit can extract the characteristic portion of the subject, and the determination unit sets the determination when the operation mode is set to the extraction operation mode. The instruction means instructs the distance measuring means to measure the distance only when the means determines that the feature part of the subject cannot be extracted. That is, in the extraction operation mode, shooting is performed even when multiple subjects move back and forth by performing ranging operation only when the subject is largely out of focus and cannot be extracted. Since the lens does not move frequently, the user does not feel uncomfortable. The invention according to claim 4 is characterized in that, when the extraction unit cannot extract the feature portion of the subject consecutively a plurality of times, the determination unit determines that the feature portion of the subject cannot be extracted. . The invention according to claim 5 further includes a determination unit that determines whether or not the extraction of the characteristic part of the subject is possible by the extraction unit, and when the determination unit determines that the characteristic part of the subject can be extracted. Since the instruction means instructs the distance measurement means not to perform distance measurement, frequent movement of the photographing lens can be prevented also in this case.

請求項6の発明は、被写体を撮影する撮影レンズを駆動する駆動手段と、所定の時間間隔で画像データの中から被写体の特徴部位を抽出する抽出手段と、撮影する被写体に関する情報をあらかじめ設定する設定手段と、前記抽出手段による前記被写体の特徴部位の抽出が可能かどうかを判別する判別手段と、前記判別手段が前記被写体の特徴部位の抽出が不可と判別した場合に、前記設定手段の設定結果に応じて前記駆動手段での前記撮影レンズの駆動方法を変えるように指示する指示手段とを備えたことを特徴としている。すなわち、抽出手段による抽出の可否により撮影レンズの駆動方法を変えることにより撮影者の撮影意図に適合した被写体の撮影が可能となる。  The invention according to claim 6 sets in advance information relating to a subject to be photographed, a driving means for driving a photographing lens for photographing the subject, an extracting means for extracting a characteristic part of the subject from the image data at predetermined time intervals. A setting unit; a determination unit configured to determine whether or not the feature part of the subject can be extracted by the extraction unit; and a setting of the setting unit when the determination unit determines that the feature part of the subject cannot be extracted. Instructing means for instructing to change the driving method of the photographing lens by the driving means according to the result is provided. That is, by changing the driving method of the photographing lens depending on whether or not the extraction means can extract, it is possible to photograph a subject that suits the photographer's photographing intention.

請求項7の発明は、前記撮影する被写体に関する情報とは人物重視の撮影であるかあるいは風景重視の撮影であるかという情報であることを特徴としている。請求項8の発明は、前記設定手段により人物重視の撮影に設定されている場合には前記指示手段は前記撮影レンズをあらかじめ設定された所定位置に駆動するよう指示することを特徴としている。これによりもしも撮影レンズが至近あるいは無限に近い位置に停止していた場合であっても人物重視の撮影をしたい場合には撮影レンズをあらかじめ設定した人物撮影に適した所定位置に移動させて撮影することができる。請求項9の発明により、前記所定位置とは前記撮影レンズの過焦点距離の位置すなわち無限遠が前記撮影レンズの被写界深度に入る一番近い前記撮影レンズ位置であることを特徴としている。すなわち、過焦点距離の位置に撮影レンズをおくことによって人物がどの場所にいてもほぼピントを合わせることができ、その結果人物の抽出が迅速且つ確実に行われる。  The invention according to claim 7 is characterized in that the information relating to the subject to be photographed is information indicating whether the photographing is focused on the person or the photographing based on the scenery. The invention according to claim 8 is characterized in that, when the setting means is set to photographing with emphasis on a person, the instruction means instructs to drive the photographing lens to a predetermined position set in advance. Even if the photographic lens is stopped at a position close to or close to infinity, the photographic lens is moved to a predetermined position suitable for photographing a person in order to shoot with an emphasis on people. be able to. According to a ninth aspect of the present invention, the predetermined position is a position of the hyperfocal distance of the photographing lens, that is, the closest photographing lens position where the infinite distance falls within the depth of field of the photographing lens. That is, by placing the photographic lens at the position of the hyperfocal distance, the person can be focused almost anywhere, and as a result, the person can be extracted quickly and reliably.

請求項10の発明は、更に、被写体までの距離を測定する測距手段を備え、前記設定手段により風景重視の撮影に設定されている場合には前記指示手段は前記撮影レンズを前記測距手段の測距結果に応じた位置に駆動するよう指示することを特徴としている。すなわち、人物の抽出ができず且つ風景重視の撮影をするよう設定されていた場合には測距手段が測距した被写体位置を撮影することで風景にピントのあった撮影をすることができる。請求項11の発明は、前記抽出手段が複数回連続して前記被写体の特徴部位の抽出ができなかった場合に前記判別手段は前記被写体の特徴部位の抽出が不可と判別することを特徴とする。
請求項12の発明は、撮影レンズを駆動する駆動手段と、画像データの中から被写体の特徴部位を抽出する抽出手段と、前記抽出手段により前記被写体の特徴部位の抽出が可能かどうかを判別する判別手段と、前記判別手段の判別結果に応じて前記駆動手段による前記撮影レンズの駆動範囲を設定する設定手段とを備えたことを特徴としている。すなわち、抽出の可否に応じて撮影レンズの駆動範囲を変えることで撮影者が快適な使用感でもってカメラを操作することができる。請求項13の発明は、前記判別手段が前記被写体の特徴部位の抽出が可能であると判別した場合には前記設定手段は前記駆動手段による前記撮影レンズの駆動範囲を所定の範囲に設定することを特徴としているので撮影距離が前後に大きくずれることがない。請求項14の発明では、更に、被写体までの距離を測定する測距手段を備え、前記所定の範囲とは前記測距手段が最初に測距した前記被写体までの距離を含んだ前後の近傍の所定範囲であることを特徴としている。する請求項13に記載のデジタルカメラ。請求項15の発明は、前記判別手段が前記被写体の特徴部位の抽出が不可能であると判別した場合には前記設定手段は前記駆動手段による前記撮影レンズの駆動範囲を前記撮影レンズが移動可能な全ての範囲に設定することを特徴としている。
The invention of claim 10 further comprises distance measuring means for measuring the distance to the subject, and when the setting means is set to photographing with importance on landscape, the instruction means places the photographing lens into the distance measuring means. It is characterized by instructing to drive to a position corresponding to the distance measurement result. That is, if the person cannot be extracted and the setting is made so that the scenery is emphasized, the object position measured by the distance measuring means can be taken to take a picture in focus on the landscape. The invention according to claim 11 is characterized in that, when the extraction unit cannot extract the feature portion of the subject consecutively a plurality of times, the determination unit determines that the feature portion of the subject cannot be extracted. .
According to a twelfth aspect of the present invention, a driving unit that drives the photographing lens, an extracting unit that extracts a characteristic part of the subject from the image data, and whether or not the characteristic part of the subject can be extracted by the extracting unit are determined. And a setting unit that sets a driving range of the photographing lens by the driving unit in accordance with a determination result of the determining unit. That is, the photographer can operate the camera with a comfortable feeling of use by changing the driving range of the photographing lens according to whether or not extraction is possible. In a thirteenth aspect of the present invention, when the determining unit determines that the feature portion of the subject can be extracted, the setting unit sets the driving range of the photographing lens by the driving unit to a predetermined range. The shooting distance is not greatly shifted back and forth. In the fourteenth aspect of the invention, there is further provided distance measuring means for measuring the distance to the subject, and the predetermined range is a vicinity of the front and rear including the distance to the subject first measured by the distance measuring means. It is characterized by a predetermined range. The digital camera according to claim 13. According to a fifteenth aspect of the present invention, when the determination unit determines that the feature part of the subject cannot be extracted, the setting unit can move the photographing lens within a driving range of the photographing lens by the driving unit. It is characterized by setting to all the ranges.

請求項16の発明は、画像データの中から複数の被写体の特徴部位を抽出する抽出手段と、所定の判別基準に基づいて前記抽出手段が抽出した複数の特徴部位を互いに識別する識別手段と、前記識別手段の識別結果に基づいて前記抽出手段が抽出した複数の特徴部位に対応した被写体を識別表示する表示手段と、前記表示手段に識別表示されている複数の識別表示された被写体の中から所定の被写体を選択する選択手段と、前記選択手段が前記所定の被写体を選択したならばそれ以降は前記表示手段に対して前記識別手段の識別結果に応じた識別表示をしないように指示する指示手段とを備えたことを特徴としている。すなわち、一旦所望の被写体を選択して識別表示したならばその被写体がロックされるのでそれ以降は選択した被写体の追尾が容易になる。請求項17の発明は、前記選択手段によって選択された被写体近傍を所定のエリアに設定する設定手段を備えたことを特徴としていて、請求項18の発明で、前記所定のエリアとは被写体までの距離を測定するための測距エリアであり、請求項19の発明では、前記所定のエリアとは被写体輝度を測定する測光エリアであることを特徴としている。  According to a sixteenth aspect of the present invention, there is provided an extracting means for extracting feature parts of a plurality of subjects from image data, an identification means for identifying the plurality of feature parts extracted by the extracting means based on a predetermined discrimination criterion, Display means for identifying and displaying subjects corresponding to a plurality of characteristic parts extracted by the extraction means based on the identification result of the identification means, and a plurality of identified and displayed subjects identified and displayed on the display means A selection unit for selecting a predetermined subject, and an instruction for instructing the display unit not to perform identification display according to the identification result of the identification unit after the selection unit selects the predetermined subject. And a means. That is, once a desired subject is selected and identified and displayed, the subject is locked, and thereafter the selected subject can be easily tracked. The invention according to claim 17 is characterized by comprising setting means for setting the vicinity of the subject selected by the selection means as a predetermined area, wherein the predetermined area is the distance to the subject. A distance measuring area for measuring a distance, wherein the predetermined area is a light measuring area for measuring subject luminance.

請求項20の発明は、更に、特徴部位の大きさを検出する検出手段を備え、前記検出手段の検出結果に応じて前記識別手段は前記抽出手段が抽出した複数の被写体のうちで最大の大きさの被写体を識別することを特徴としている。請求項21の発明は、更に、特徴部位までの距離を検出する検出手段を備え、前記検出手段の検出結果の応じて前記識別手段は前記抽出手段が抽出した複数の被写体のうちで最短距離にある被写体を識別することを特徴としている。  The invention of claim 20 further comprises a detecting means for detecting the size of the characteristic part, and the identifying means is the largest of the plurality of subjects extracted by the extracting means according to the detection result of the detecting means. It is characterized by identifying the subject. The invention of claim 21 further comprises a detecting means for detecting a distance to the characteristic part, and the identifying means is set to a shortest distance among a plurality of subjects extracted by the extracting means in accordance with a detection result of the detecting means. It is characterized by identifying a certain subject.

以下、図面を参照して本発明の実施の形態を説明する。図1は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。撮影レンズ101はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカスレンズから構成されている。これらのレンズはドライバ113により駆動される。ここでドライバ113はズームレンズのズーム駆動機構及びその駆動回路と、フォーカスレンズのフォーカス駆動機構及びその駆動回路とを備えていて、それぞれCPU112により制御される。撮影レンズ101は撮像素子103の撮像面上に被写体像を結像する。撮像素子103は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、CCD型やMOS型の固体撮像素子が用いられる。撮像素子103は信号取り出しのタイミングをコントロールするドライバ115により駆動される。撮影レンズ101と撮像素子103との間には絞り102が設けられている。絞り102は、絞り機構とその駆動回路を備えたドライバ114により駆動される。固体撮像素子103からの撮像信号はアナログ信号処理回路104に入力され、アナログ信号処理回路104において相関二重サンプリング処理(CDS)等の処理が行われる。アナログ信号処理回路104で処理された撮像信号は、A/D変換器135によりアナログ信号からデジタル信号に変換される。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating the main functions of the digital camera of the present invention. The photographic lens 101 includes a zoom lens for continuously changing the focal length and a focus lens for adjusting the focus. These lenses are driven by a driver 113. Here, the driver 113 includes a zoom driving mechanism and its driving circuit for the zoom lens, and a focus driving mechanism and its driving circuit for the focus lens, which are controlled by the CPU 112, respectively. The photographing lens 101 forms a subject image on the imaging surface of the image sensor 103. The image sensor 103 is a photoelectric conversion image sensor that outputs an electrical signal corresponding to the light intensity of the subject image formed on the image pickup surface, and a CCD type or MOS type solid state image sensor is used. The image sensor 103 is driven by a driver 115 that controls the timing of signal extraction. A diaphragm 102 is provided between the photographing lens 101 and the image sensor 103. The diaphragm 102 is driven by a driver 114 equipped with a diaphragm mechanism and its drive circuit. An imaging signal from the solid-state imaging device 103 is input to the analog signal processing circuit 104, and the analog signal processing circuit 104 performs processing such as correlated double sampling processing (CDS). The imaging signal processed by the analog signal processing circuit 104 is converted from an analog signal to a digital signal by the A / D converter 135.

A/D変換された信号はデジタル信号処理回路106において輪郭強調、ガンマ補正、ホワイトバランス補正などの種々の画像処理が施される。バッファメモリ105は撮像素子103で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、A/D変換された信号は一旦このバッファメモリ105に記憶される。デジタル信号処理回路106ではバッファメモリ105に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ105に記憶される。CPU112はデジタル信号処理回路106およびドライバ113〜115等と接続され、カメラが動作する際のシーケンス制御を行う。CPU112のAE演算部1121では撮像素子からの画像信号に基づいて露出演算を行い、AWB演算部1122ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部1123では所定のアルゴリズムに則って画像データの中から被写体の形状、位置、サイズ等の特徴点を記憶部1127に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器121によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部1125に記憶する。ここで、図7を用いてこの距離演算方法を説明する。図7は抽出した眼幅を基に人物までの距離を演算する場合を示している。Aは一般成人の実際の眼幅の平均値、aは抽出された撮像素子上に結像した眼幅、Lは撮像レンズから人物までの距離、fはレンズの焦点距離である。この図から次の比例式が容易に導かれる。   The A / D converted signal is subjected to various image processing such as edge enhancement, gamma correction, and white balance correction in the digital signal processing circuit 106. The buffer memory 105 is a frame memory that can store data for a plurality of frames imaged by the image sensor 103, and the A / D converted signal is temporarily stored in the buffer memory 105. The digital signal processing circuit 106 reads the data stored in the buffer memory 105 and performs each process described above, and the processed data is stored in the buffer memory 105 again. The CPU 112 is connected to the digital signal processing circuit 106 and drivers 113 to 115 and performs sequence control when the camera operates. An AE calculation unit 1121 of the CPU 112 performs an exposure calculation based on an image signal from the image sensor, and an AWB calculation unit 1122 performs a calculation for setting a white balance parameter. The feature point extraction calculation unit 1123 stores the feature points such as the shape, position, and size of the subject from the image data in the storage unit 1127 according to a predetermined algorithm, and detects the detected size of the face, eye width, and the like at that time. The approximate distance to each person extracted from the focal length of the zoom lens detected by the detector 121 is also calculated and stored in the storage unit 1125 together with the extraction date and time. Here, the distance calculation method will be described with reference to FIG. FIG. 7 shows a case where the distance to the person is calculated based on the extracted eye width. A is the average value of the actual eye width of a general adult, a is the eye width imaged on the extracted image sensor, L is the distance from the imaging lens to the person, and f is the focal length of the lens. From this figure, the following proportional expression can be easily derived.

A/L=a/f
ここから、人物までの距離Lは、L=(A/a)・fとなる。記憶部1125にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録することができる。
A / L = a / f
From here, the distance L to the person is L = (A / a) · f. The storage unit 1125 temporarily stores the feature points extracted in this way and the distance to the feature point calculated based on the feature points. From the stored feature points, the user can select and register the feature points that the user wants to keep.

本実施例におけるデジタルカメラのAF方式はコントラスト法を採用している。このコントラスト方式AFについてここで説明する。この方式において、撮像素子103上の像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストが最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、AF演算部1124は不図示のBPF(バンドパスフィルタ)により撮像信号の高周波成分を抽出し、この絶対値を積分した値を焦点評価値としてこの焦点評価値に基づいてAF演算を行う。CPU112はAF演算部1124の演算結果を用いて撮影レンズ101のフォーカスレンズ位置を調整し、合焦動作を行わせる。   The AF method of the digital camera in this embodiment employs a contrast method. This contrast AF will be described here. In this method, there is a correlation between the degree of blurring of the image on the image sensor 103 and the contrast, and focusing is performed using the fact that the contrast of the image is maximized when there is a focus. The magnitude of the contrast can be evaluated by the magnitude of the high-frequency component of the imaging signal. That is, the AF calculation unit 1124 extracts a high-frequency component of the imaging signal by a BPF (bandpass filter) (not shown), and performs AF calculation based on the focus evaluation value using a value obtained by integrating the absolute value as a focus evaluation value. The CPU 112 adjusts the focus lens position of the photographing lens 101 using the calculation result of the AF calculation unit 1124, and performs a focusing operation.

CPU112に接続された操作部材116には、カメラの電源をオンオフする電源スイッチ1161、レリーズ釦に連動してオンオフする半押しスイッチ1162及び全押しスイッチ1163、モニタ109に表示されるカメラを撮影する際の各種メニュー内容を選択するための設定釦1164、再生画像等を更新するアップダウン(U/D)釦1165等が設けられている。設定釦1164では抽出した特徴点に対して名称を付けるためにU/D釦1165を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。U/D釦1165はそれ以外に、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動したりするためにも使用される。   The operation member 116 connected to the CPU 112 includes a power switch 1161 for turning on / off the camera, a half-press switch 1162 and a full-press switch 1163 that are turned on / off in conjunction with the release button, and a camera displayed on the monitor 109. A setting button 1164 for selecting various menu contents, an up / down (U / D) button 1165 for updating a reproduced image, and the like are provided. The setting button 1164 can select and set alphabets, hiragana, katakana, simple kanji, etc. in combination with the U / D button 1165 in order to name the extracted feature points. In addition, the U / D button 1165 is used to select a desired person from a plurality of extracted persons, or to manually drive the zoom lens to the telephoto or wide side during photographing.

被写体輝度が低い場合にはストロボ117を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。記憶部1125には前述した特徴点情報以外にAF演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路106で各種処理が施された画像データは、一旦バッファメモリ105に記憶された後に、記録・再生信号処理回路110を介してメモリカード等の外部記憶媒体111に記録される。画像データを記憶媒体111に記録する際には、一般的に所定の圧縮形式、例えば、JPEG方式でデータ圧縮が行われる。記録・再生信号処理回路110では、画像データを外部記憶媒体111に記録する際のデータ圧縮及び外部記憶媒体111から再生した圧縮された画像データの伸長処理を行う。   When the subject brightness is low, the flash 117 is caused to emit light. This strobe is a pre-flash that emits auxiliary light in advance before shooting to prevent red-eye to prevent or reduce the redness of the person's eyes when using the strobe and to measure subject brightness in advance at low brightness It also has functions. In addition to the feature point information described above, the storage unit 1125 also stores the peak value of the evaluation value detected from the AF calculation result, the corresponding lens position, and the like. The image data that has been subjected to various processes by the digital signal processing circuit 106 is temporarily stored in the buffer memory 105 and then recorded on an external storage medium 111 such as a memory card via the recording / reproducing signal processing circuit 110. When recording image data in the storage medium 111, data compression is generally performed in a predetermined compression format, for example, the JPEG method. The recording / reproduction signal processing circuit 110 performs data compression when image data is recorded on the external storage medium 111 and decompression processing of the compressed image data reproduced from the external storage medium 111.

モニタ109は撮像された被写体画像を表示したり撮影や再生させる際の各種の設定メニューを表示したりするための液晶(LCD)表示装置である。ここでは記憶媒体111に記録されている画像データを再生表示する際にも用いられる。モニタ109に画像を表示する場合には、バッファメモリ105の一部であるVRAM107に記憶された画像データを読み出し、D/A変換器108によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ109に画像を表示する。   The monitor 109 is a liquid crystal (LCD) display device for displaying a captured subject image and displaying various setting menus for shooting and reproduction. Here, it is also used when image data recorded in the storage medium 111 is reproduced and displayed. When displaying an image on the monitor 109, the image data stored in the VRAM 107 which is a part of the buffer memory 105 is read out, and the digital image data is converted into an analog video signal by the D / A converter 108. Then, an image is displayed on the monitor 109 using the analog video signal.

ここで、特徴点を抽出する際のバッファメモリ105とVRAM107との関係について説明する。モニタ109で表示用の画像データを再生する場合には撮像素子からは静止画用の画像データから表示用の画像データに間引いたデータが一定の周期(例えば30フレーム/秒)で連続して出力される。この画像データに所定の処理を施し、モニタ109の縦横画素数に対応した画素数となるように更にデータを間引いてVRAM107に連続して記録する。このVRAM107のデータはD/A変換器108を通してモニタ109に表示画像として再生される。このVRAM107の画像データは特徴点を抽出するためのデータとしても使用する。特徴点を抽出する場合には、まずVRAM107の画像データをバッファメモリ105に所定のタイミングで再度記録する。ここでバッファメモリ105にはVRAM107に記録されているデータのうち中心部の所定の範囲(たとえば縦、横ともに80%)のみ記録する。図6にこの画面内での範囲の一例を示す。図6において、表示画面内の3名の人物を含んだ一点鎖線で示されるエリアがバッファメモリ105に記録される範囲である。この範囲からはみ出た外周部の被写体は主要被写体でない可能性が高く特徴点を抽出しても無意味であり、抽出処理時間を短縮するためにも最初から外周部の被写体を除いた画像データに対してのみ特徴点抽出演算部1123で特徴点を抽出する。また、前述した設定釦1164を使用して特徴点を抽出動作させるための抽出モードにカメラを設定した場合にはこの様に抽出可能エリアを表示するようにするとユーザが抽出モードに設定されているということを確認できるので好ましい。   Here, the relationship between the buffer memory 105 and the VRAM 107 when extracting feature points will be described. When image data for display is reproduced on the monitor 109, data obtained by thinning image data for display from image data for still images from the image sensor is continuously output at a constant cycle (for example, 30 frames / second). Is done. The image data is subjected to a predetermined process, and the data is further thinned out so as to have the number of pixels corresponding to the number of vertical and horizontal pixels of the monitor 109 and continuously recorded in the VRAM 107. The data in the VRAM 107 is reproduced as a display image on the monitor 109 through the D / A converter 108. The image data in the VRAM 107 is also used as data for extracting feature points. When extracting feature points, first, image data in the VRAM 107 is recorded again in the buffer memory 105 at a predetermined timing. Here, only a predetermined range (for example, 80% in both the vertical and horizontal directions) of the central portion of the data recorded in the VRAM 107 is recorded in the buffer memory 105. FIG. 6 shows an example of the range in this screen. In FIG. 6, an area indicated by an alternate long and short dash line including three persons on the display screen is a range recorded in the buffer memory 105. It is highly possible that the outer peripheral subject outside this range is not the main subject, and it is meaningless to extract the feature points.To reduce the extraction processing time, the image data excluding the outer subject from the beginning is used. Only for that, the feature point extraction calculation unit 1123 extracts the feature points. Further, when the camera is set to the extraction mode for performing the feature point extraction operation using the setting button 1164 described above, the user is set to the extraction mode by displaying the extractable area in this way. This is preferable because it can be confirmed.

また、このようにVRAM107から再度バッファメモリ105に画像データを記録するのは次の理由による。CPU112の演算処理能力が十分高かったならば前述した30フレーム/秒のレートで特徴点を抽出することができるがデジタルカメラに採用されているCPU112の演算能力はそこまで高くないことが多い。それ故、CPU112の演算能力に応じて特徴点抽出演算にあったレートでVRAM107からバッファメモリ105に画像データを再度記録することで特徴点を抽出する事が可能となる。なお、その場合であってももちろんVRAM105からは通常のレートでモニタ109の表示用画像データが出力されているので表示更新のレートが遅くなることはない。なお、AE演算、AF演算するための画像データは上述した撮像素子103から出力されVRAM107に間引く前のデータを使用する。  The reason why the image data is recorded again from the VRAM 107 to the buffer memory 105 in this way is as follows. If the arithmetic processing capability of the CPU 112 is sufficiently high, feature points can be extracted at the rate of 30 frames / second as described above, but the arithmetic capability of the CPU 112 employed in the digital camera is often not so high. Therefore, the feature points can be extracted by re-recording the image data from the VRAM 107 to the buffer memory 105 at a rate suitable for the feature point extraction calculation according to the calculation capability of the CPU 112. In this case, of course, the display update image data is output from the VRAM 105 at a normal rate, so the display update rate does not slow down. Note that the image data for AE calculation and AF calculation is data output from the above-described image sensor 103 and before thinning out to the VRAM 107.

次に図8、図9を使用して特徴点抽出(図では特徴点として顔認識をする場合を示している)、AE、AF、AWBのタイミングについて説明する。図8はカメラ動作開始時から顔認識が可能な場合で、図9は顔認識不可能な場合のタイミングである。両図において横軸目盛りは撮像素子103から読み出される周期(たとえば30フレーム/秒)を基準とした時間軸であり、顔認識処理はここでは2サイクル内で完了するものとしている。AF演算とAE演算、AF演算とAWB演算とは一つのサイクル内でそれぞれシリーズに行われる。     Next, the timing of feature point extraction (in the figure, a case where face recognition is performed as a feature point), AE, AF, and AWB will be described with reference to FIGS. FIG. 8 shows the case where face recognition is possible from the start of camera operation, and FIG. 9 shows the timing when face recognition is impossible. In both figures, the horizontal axis scale is a time axis based on a cycle (for example, 30 frames / second) read from the image sensor 103, and the face recognition processing is completed within two cycles here. AF calculation and AE calculation, and AF calculation and AWB calculation are performed in series in one cycle.

図8においてカメラ動作が開始されるとまず絞りを最小の口径となるように絞り込むとともに、フォーカスレンズをその絞り値に対応した過焦点距離の位置に移動させる。過焦点距離の位置とは無限遠が撮影レンズ101の被写界深度に入る一番近い撮影距離のことである。この位置で撮影すると、過焦点距離の1/2の距離から無限遠までのすべてが被写界深度に入る。この初期設定の詳細な内容については図4で後述する。初期設定終了後に撮像素子103で露光したデータを使用して時刻t1から顔認識演算を行う。   In FIG. 8, when the camera operation is started, the aperture is first narrowed down to the minimum aperture, and the focus lens is moved to the position of the hyperfocal distance corresponding to the aperture value. The position of the hyperfocal distance is the closest shooting distance where infinity is within the depth of field of the shooting lens 101. When shooting at this position, everything from 1/2 the hyperfocal distance to infinity enters the depth of field. Details of the initial setting will be described later with reference to FIG. After the initial setting is completed, face recognition calculation is performed from time t1 using data exposed by the image sensor 103.

顔認識が可能であった場合には時刻t2で撮像素子103からの動画用に間引いた出力データを使用して認識した顔を含む所定エリアに対してAF演算及びAE演算を行う。このAF演算結果に基づいてフォーカスレンズを駆動するが、一旦合焦したならそれ以降フォーカスレンズの駆動範囲はその合焦位置の前後の所定の範囲に制限される。これにより仮に被写体が動いてAFエリアからはずれたとしても急に背景にピントがあったりするのを防ぐことができる。さらに、画面内に複数の被写体がいて、それらが移動している場合などでは抽出した各被写体の大きさや距離が変わることによりAF演算をするための主要被写体が次々に変わってフォーカスレンズが頻繁に動いて煩わしい場合もある。この様な状態を防ぐために顔認識可能である場合には定期的にAF演算をせずに顔認識が不可能になったときにAF演算するようにしてもよい。図8でAF演算の箇所がカッコでくくられているのはこのようにAF演算しない場合もあるということを示している。AF演算に引き続いてAE演算を行い、AE演算終了後の時刻t3における撮像素子103からの出力を使用して今度はAF演算とAWB演算を行う。AF演算は前のサイクルと同様必要に応じて行う。時刻t4からは顔認識演算を行いそれ以降はt1からのサイクルと同様の繰り返しとなる。  When face recognition is possible, AF calculation and AE calculation are performed on a predetermined area including a face recognized using output data thinned out for moving images from the image sensor 103 at time t2. The focus lens is driven based on the AF calculation result. Once focused, the focus lens drive range is limited to a predetermined range before and after the focus position. As a result, even if the subject moves and deviates from the AF area, it is possible to prevent the background from being suddenly in focus. In addition, when there are multiple subjects in the screen and they are moving, the main subject for AF calculation changes one after another as the size and distance of each extracted subject changes, and the focus lens frequently It can be troublesome to move. In order to prevent such a situation, when face recognition is possible, AF calculation may be performed when face recognition becomes impossible without regularly performing AF calculation. In FIG. 8, the AF calculation is shown in parentheses, which indicates that the AF calculation may not be performed in this way. Subsequent to the AF calculation, the AE calculation is performed, and this time, the AF calculation and the AWB calculation are performed using the output from the image sensor 103 at time t3 after the AE calculation ends. The AF calculation is performed as necessary as in the previous cycle. The face recognition calculation is performed from time t4, and thereafter, the same cycle as the cycle from t1 is repeated.

次に、顔認識不可能の場合を図9に基づいて説明する。初期設定から顔認識終了時刻t2までの内容は図8と同様である。顔認識が不可能であった場合には時刻t2から開始されるAF演算の結果に対してはフォーカスレンズの移動範囲の制限はない。AF演算に引き続いてAE演算を行う。時刻t3から時刻t5のサイクルは時刻t1から時刻t3までのサイクルと同一である。この様に同一動作を繰り返す理由は、時刻t2と時刻t3の間で行ったAF演算の結果に基づいてフォーカスレンズを移動させ、移動終了後の時刻t4から時刻t5の間で撮像素子103で露光した画像データを時刻t5からの顔認識処理に使用するためである。このようにしてフォーカスレンズを移動した後の画像データにおいてもなお顔認識が不可であった場合には時刻t6においてカメラで設定されている撮影モードを判別する。この撮影モードの詳細は後述する。   Next, the case where face recognition is impossible will be described with reference to FIG. The contents from the initial setting to the face recognition end time t2 are the same as those in FIG. When face recognition is impossible, there is no restriction on the movement range of the focus lens with respect to the result of AF calculation started from time t2. Subsequent to the AF calculation, AE calculation is performed. The cycle from time t3 to time t5 is the same as the cycle from time t1 to time t3. The reason why the same operation is repeated in this manner is that the focus lens is moved based on the result of the AF calculation performed between time t2 and time t3, and exposure is performed by the image sensor 103 between time t4 and time t5 after the movement is completed. This is because the processed image data is used for face recognition processing from time t5. If face recognition is still impossible even in the image data after moving the focus lens in this way, the shooting mode set by the camera is determined at time t6. Details of this shooting mode will be described later.

もし人物に重点を置いた撮影モードに設定されていた場合にはフォーカスレンズを前述した過焦点距離の位置に移動させる。一方、風景に重点を置いた撮影モードに設定されていた場合にはt2あるいはt4で行ったAF演算と同様にAF演算を行いその結果に基づいた合焦位置にフォーカスレンズを移動させる。AE演算が終了した時刻t7からのサイクルでは、人物に重点を置いた撮影モードの場合はフォーカスレンズ位置はそのままの所定位置に固定しておき、一方風景に重点を置いた撮影モードの場合には新たにAF演算を行う。その後AWB演算が終了したら時刻t8で顔認識演算を行いそれ以降は時刻t5からの処理を繰り返す。途中で被写体が移動するなどして顔認識が可能になった場合には図8の時刻t2以降の処理を繰り返す。逆に抽出の途中で被写体が移動するなどして顔認識が不可能になった場合には図9の時刻t2以降の処理を繰り返す。なお、ここまでの図9の説明でAWB演算については時刻t7からのサイクルで開始していたがこれはもちろん図8の場合と同様にAE演算が終了した後の時刻t3及び時刻t5からのサイクルにも行うようにしてもよい。  If the shooting mode is set with emphasis on the person, the focus lens is moved to the above-described position of the hyperfocal distance. On the other hand, when the shooting mode is set with an emphasis on landscape, AF calculation is performed in the same manner as the AF calculation performed at t2 or t4, and the focus lens is moved to the in-focus position based on the result. In the cycle from the time t7 when the AE calculation is completed, the focus lens position is fixed at a predetermined position as it is in the shooting mode with emphasis on the person, while in the shooting mode with emphasis on the landscape. A new AF operation is performed. After that, when the AWB calculation is completed, face recognition calculation is performed at time t8, and thereafter the processing from time t5 is repeated. When face recognition becomes possible due to the movement of the subject on the way, the processing after time t2 in FIG. 8 is repeated. Conversely, when face recognition becomes impossible due to the movement of the subject during extraction, the processing after time t2 in FIG. 9 is repeated. In the description of FIG. 9 so far, the AWB calculation started in the cycle from the time t7. Of course, this is the cycle from the time t3 and the time t5 after the end of the AE calculation as in the case of FIG. May also be performed.

図2〜図5は図8、図9で説明した一連の動作シーケンスをフローチャートにまとめたものである。図2においてまずステップS101で電源SW1161をオンすることによりデジタルカメラの電源が入れられたことを検出するとステップS102でデジタルカメラの動作モードが顔認識モードに設定されているかどうか判別する。顔認識モードは例えば設定釦S1164を使用して設定することができる。前述したように、顔認識モードに設定されている場合には図6に示すごとくLCDモニタ109に一点鎖線で示す認識可能エリアが表示される。もし顔認識モードに設定されていなかった場合にはステップS103に進んで通常の撮影動作をするため所定のシーケンスに従ってAF、AE、AWB動作を行う。ステップS102で顔認識モードに設定されていた場合にはステップS104に進んで顔認識処理をするに当たっての初期設定を行う。この初期設定の具体例は図4で後述する。   2 to 5 summarize the series of operation sequences described in FIGS. 8 and 9 in flowcharts. In FIG. 2, first, when it is detected in step S101 that the power of the digital camera is turned on by turning on the power SW 1161, it is determined whether or not the operation mode of the digital camera is set to the face recognition mode in step S102. The face recognition mode can be set using, for example, the setting button S1164. As described above, when the face recognition mode is set, the recognizable area indicated by the alternate long and short dash line is displayed on the LCD monitor 109 as shown in FIG. If the face recognition mode is not set, the process proceeds to step S103, and AF, AE, and AWB operations are performed according to a predetermined sequence in order to perform a normal photographing operation. If the face recognition mode has been set in step S102, the process proceeds to step S104 to perform initial setting for performing face recognition processing. A specific example of this initial setting will be described later with reference to FIG.

初期設定が終了したらステップS105で初期設定終了後に露光した画像データを使用して特徴点抽出演算部1123によって被写体の特徴点を抽出する。ステップS106ではCPU112は抽出した特徴点の中から人物の顔が認識できるかどうか判別する。もし顔認識が不可能であった場合にはステップS107に進み、顔認識が可能の場合にはステップS108に進む。ステップS108では撮影者が一旦設定した主要被写体に対して被写体ロックの設定をする。これはそれ以降も被写体を追従して撮影することが容易にできるようにするためである。この被写体ロック設定については図5で詳細に説明する。   When the initial setting is completed, the feature point extraction calculation unit 1123 extracts the feature point of the subject using the image data exposed after the initial setting is completed in step S105. In step S106, the CPU 112 determines whether or not a person's face can be recognized from the extracted feature points. If face recognition is impossible, the process proceeds to step S107. If face recognition is possible, the process proceeds to step S108. In step S108, subject lock is set for the main subject once set by the photographer. This is to make it easier to follow and shoot the subject after that. The subject lock setting will be described in detail with reference to FIG.

ステップS109ではロックした被写体に対してAFする必要があるかどうか判別する。顔認識しない通常の場合はAE演算やAWB演算の前にAF演算しているが、図8においても説明したように、顔認識されているということはフォーカスレンズが合焦位置あるいは合焦に近い位置にあるということであるのでAEやAWBの前に常にAF演算する必要はなく、2ないし3回のAE演算、AWB演算を行うサイクルに1回程度AF演算するようにすれば十分である。あるいはサイクル数とは関係なく前述した焦点評価値が所定値以下だったならば合焦からのずれが大きいとしてAF演算を行うようにしてもよい。このような理由によりもしAFの必要がなかったならばステップS111に進み、AFの必要があったならばステップS110に進んでフォーカスレンズの移動範囲を限定してAFを行う。これは主要被写体が仮に動いたとしても現在の位置から大きくは動いていないであろうという仮定に基づいている。このようにフォーカスレンズの移動範囲を限定することによりもしも主要被写体が移動してAFエリアからはずれた場合に、AF演算結果によって背景に合焦させようとしてフォーカスレンズが極端に大きく移動することを防ぐことができる。AF演算が終了したなら次に、ステップS111でAE演算を行い、続いてステップS112でオートホワイトバランス演算を行い、図3ステップS118へ進む。なお、図8においても説明したようにステップS112のAWB演算の前にAF演算するようにしてもよい
ステップS106で顔認識が不可能と判別された場合にはステップS107に進む。ここでは顔認識不可能と判別された後にフォーカスレンズを移動したかどうか判別する。すなわち、フォーカスレンズ移動後も引き続いてステップS106で顔認識不可能と判断されたのかどうか判別する。もしまだフォーカスレンズを移動する前であったならばステップS113に進んでAF演算を行い、その後ステップS114でAE演算し、図3ステップ118に進む。もしフォーカスレンズ移動後に再度顔認識不可と判断されたのであったならばステップS115に進んでここでデジタルカメラに設定されている撮影モードを判別する。ここでいう撮影モードとはポートレートモード、記念写真モード等の人物を重視した撮影モードかあるいは風景モード、夜景モード等の風景を重視した撮影モードのことをいい、これらのいずれの撮影モードに設定されているかを判別する。この設定はモニタ109に表示されるメニューを見ながら撮影者が設定ボタン1164を操作することで設定される。
In step S109, it is determined whether it is necessary to perform AF on the locked subject. In a normal case where face recognition is not performed, AF calculation is performed before AE calculation or AWB calculation. However, as described with reference to FIG. 8, the fact that face recognition is being performed means that the focus lens is close to the in-focus position or in-focus. Since it is in the position, it is not always necessary to perform AF calculation before AE or AWB, and it is sufficient to perform AF calculation about once every two to three AE calculation and AWB calculation cycles. Alternatively, if the above-described focus evaluation value is less than or equal to a predetermined value regardless of the number of cycles, AF calculation may be performed assuming that the deviation from the focus is large. For this reason, if AF is not necessary, the process proceeds to step S111. If AF is necessary, the process proceeds to step S110, and the focus lens moving range is limited and AF is performed. This is based on the assumption that even if the main subject moves, it will not move significantly from the current position. By limiting the movement range of the focus lens in this way, if the main subject moves and deviates from the AF area, the focus lens is prevented from moving excessively in an attempt to focus on the background according to the AF calculation result. be able to. When the AF calculation is completed, next, AE calculation is performed in step S111, then auto white balance calculation is performed in step S112, and the process proceeds to step S118 in FIG. As described with reference to FIG. 8, AF calculation may be performed before the AWB calculation in step S112. If it is determined in step S106 that face recognition is impossible, the process proceeds to step S107. Here, it is determined whether or not the focus lens has been moved after it is determined that face recognition is impossible. That is, it is determined whether or not it is determined in step S106 that face recognition is impossible after the focus lens is moved. If the focus lens has not yet been moved, the process proceeds to step S113 to perform AF calculation, and then performs AE calculation in step S114 and proceeds to step 118 in FIG. If it is determined that the face cannot be recognized again after moving the focus lens, the process proceeds to step S115, where the shooting mode set in the digital camera is determined. The shooting mode here refers to a shooting mode that emphasizes people such as portrait mode and commemorative photo mode, or a shooting mode that emphasizes landscape such as landscape mode and night view mode, and any of these shooting modes can be set. It is determined whether it is done. This setting is set by the photographer operating the setting button 1164 while looking at the menu displayed on the monitor 109.

もし人物を重視した撮影モードに設定されていた場合にはステップS116に進み、風景を重視した撮影モードに設定されていた場合にはステップS111に進む。人物を重視した撮影モードに設定されているにもかかわらずこの様に顔認識が不能となる原因としては、人物がたまたま横や下を向いていたと考えられるので、ステップS116ではフォーカスレンズの現在位置を判別して、もしフォーカスレンズが過焦点距離の位置にあったならそのままステップS111に進み、それ以外の位置にあったならばステップS116で過焦点距離の位置に移動させたのちにステップS111に進む。なお、過焦点距離の位置は絞り102の絞り値や撮影レンズ101の焦点距離によって変わってくるため、このステップS117では過焦点距離の位置の代わりに絞り値によらない固定の位置(例えば撮影距離2m程度)にフォーカスレンズを移動するようにしても良い。また、ステップS106で顔認識が不可能と判別された場合にここまでの説明では直ちにステップS107に進むようにしていたがこれのかわりにステップS105に戻るようにしても良い。すなわち、たまたま被写体が横を向いたりして1回だけの判定では不十分であることも考えられる。それゆえ、顔認識が不可能と判別されたらステップS105に戻り再度認識の可否の判定を行って、所定回連続して認識不可だったときに最終的に認識不可と判別するようにしても良い。これにより被写体認識の精度を向上させることができる。  If the shooting mode is set to emphasize the person, the process proceeds to step S116. If the shooting mode is set to focus on the landscape, the process proceeds to step S111. The reason why face recognition is not possible in this way despite the fact that the person-oriented shooting mode is set is that the person happens to be facing sideways or down, so in step S116 the current position of the focus lens If the focus lens is at the hyperfocal distance position, the process proceeds to step S111. If the focus lens is at the other position, the process proceeds to step S111. move on. Since the position of the hyperfocal distance varies depending on the aperture value of the diaphragm 102 and the focal length of the photographing lens 101, in this step S117, instead of the position of the hyperfocal distance, a fixed position that does not depend on the aperture value (eg, the photographing distance) The focus lens may be moved about 2 m). Also, when it is determined in step S106 that face recognition is impossible, in the above description, the process immediately proceeds to step S107. Instead, the process may return to step S105. That is, it can be considered that it is not sufficient to make a single determination because the subject happens to turn sideways. Therefore, if it is determined that face recognition is impossible, the process returns to step S105 to determine again whether or not recognition is possible, and finally when it is impossible to recognize a predetermined number of times, it is finally determined that recognition is impossible. . Thereby, the accuracy of subject recognition can be improved.

ステップS115で風景撮影モードに設定されていると判別されたならばそのままのフォーカスレンズ位置でステップS111に進んでAE演算を行い、その後ステップS112でAWB演算し、その後図3ステップS1118に進む。ステップS118では全押しスイッチ1163が押されたかどうか判別する。もし押されていなかったならば図2ステップS105に戻り、押されたならばステップS119に進んで被写体を撮影する。その後はステップS120でカメラの電源がオフされたかどうか判別し、もしオフされていなかったならば、ステップS121に進んで顔認識モードが変更されていないかどうか判別する。もし顔認識モードに設定されたままであったならば図2ステップS105に戻り、顔認識モードが変更されていたならば図2ステップ103に戻る。ステップS120でカメラの電源がオフされていたら顔認識モードにおける一連の撮影動作を終了する。   If it is determined in step S115 that the landscape shooting mode is set, the process proceeds to step S111 with the focus lens position as it is, and AE calculation is performed. Thereafter, AWB calculation is performed in step S112, and then the process proceeds to step S1118 in FIG. In step S118, it is determined whether or not the full press switch 1163 has been pressed. If it has not been pressed, the process returns to step S105 in FIG. 2, and if it has been pressed, the process proceeds to step S119 to photograph the subject. Thereafter, in step S120, it is determined whether the camera is turned off. If not, the process proceeds to step S121, where it is determined whether the face recognition mode has been changed. If the face recognition mode remains set, the process returns to step S105 in FIG. 2, and if the face recognition mode has been changed, the process returns to step 103 in FIG. If the camera is turned off in step S120, the series of shooting operations in the face recognition mode is terminated.

次に図4に基づいて初期設定の具体的内容を説明する。この初期設定においてはフォーカスレンズ位置と絞り位置を設定する。まずステップS151において絞り102をあらかじめ設定されている絞り値に設定する。通常、カメラの動作開始時には絞り102は開放または開放に近い位置に設定されている。これは、被写界深度を浅くして特定の被写体に対して合焦動作しやすいようにするためである。それに対して顔認識モードの場合には逆に被写界深度を深くしてできるだけ広い範囲の被写体に対して認識できるようにしてやる必要がある。そのために最小絞り径あるいは最小絞り径近傍に絞り値を設定してやる。次にステップS152でフォーカスレンズを前述した過焦点距離の位置に移動させる。通常コントラスト法のAF動作においては電源投入時はフォーカスレンズを所定の範囲スキャンして評価値のピークを検出する。これに対して顔認識モードの場合にはAF動作より顔認識動作を優先する。それゆえ、何らかの原因で至近や無限位置にフォーカスレンズが停止してしまっていた場合には人物のピントが大きく外れてしまい顔認識できなくなってしまう恐れがあるからである。この様に過焦点距離の位置にフォーカスレンズを移動させることでカメラ動作の最初から被写体に合焦した画像データを得ることが可能となり顔認識を迅速に行うことが可能となる。この過焦点距離の位置はレンズの焦点距離あるいは絞り値に基づいて演算する必要があり、これが煩わしい場合にはレンズによらないあらかじめ決められた位置に撮影レンズを移動させるようにしても良い。具体的には、0.3〜3m内の固定の位置である。  Next, specific contents of the initial setting will be described with reference to FIG. In this initial setting, the focus lens position and the aperture position are set. First, in step S151, the aperture 102 is set to a preset aperture value. Normally, at the start of camera operation, the aperture 102 is set to the open position or close to the open position. This is to reduce the depth of field so that a specific subject can be easily focused. On the other hand, in the face recognition mode, it is necessary to increase the depth of field so that a wide range of subjects can be recognized. Therefore, the aperture value is set near the minimum aperture diameter or near the minimum aperture diameter. Next, in step S152, the focus lens is moved to the position of the hyperfocal distance described above. In the normal contrast AF operation, when the power is turned on, the focus lens is scanned within a predetermined range to detect the peak of the evaluation value. In contrast, in the face recognition mode, the face recognition operation has priority over the AF operation. For this reason, if the focus lens stops at a close or infinite position for some reason, the person's focus may be greatly out of focus and the face may not be recognized. By moving the focus lens to the position of the hyperfocal distance in this way, it is possible to obtain image data focused on the subject from the beginning of the camera operation, and face recognition can be performed quickly. The position of the hyperfocal distance needs to be calculated based on the focal length or aperture value of the lens. If this is troublesome, the photographing lens may be moved to a predetermined position that does not depend on the lens. Specifically, it is a fixed position within 0.3 to 3 m.

これで初期設定は終了するがこれらの設定に加えて更にAE演算をするようにしても良い。これは、被写体輝度が明るすぎて撮影データが飛んでいたり、逆に暗すぎて撮影データがつぶれたりした場合には顔認識が不可能となってしまうからである。それゆえ、顔認識動作の前にまずAE演算部1121によって被写体輝度を測定して被写体をある程度の明るさになるように絞りあるいはシャッタスピードを調整する。もちろん、この初期設定においてはここに述べた3通りをすべて行う必要はなくこれらのうちから1通りあるいはいくつかの方法を適宜組み合わせて選択するようにしても良い。  This completes the initial setting, but in addition to these settings, an AE calculation may be further performed. This is because face recognition becomes impossible if the subject brightness is too bright and the shooting data is skipped, or conversely if the shooting data is crushed because it is too dark. Therefore, before the face recognition operation, the subject brightness is first measured by the AE calculation unit 1121, and the aperture or shutter speed is adjusted so that the subject has a certain level of brightness. Of course, in this initial setting, it is not necessary to perform all the three methods described here, and one of these methods or a combination of several methods may be selected as appropriate.

次に図5を用いて図2ステップS108の被写体ロックの詳細について説明する。ステップS201では認識した被写体を所定の表示方法で識別表示する。図6にこの表示形態の一例を示す。図6において顔内部の細い実線や波線の四角表示が認識された顔であることを示している。ここでは四角の表示のうち波線で示した顔が最大の顔であることを示している。これ以外にも前述した眼幅から被写体までの概略距離を求め、その結果から最短距離にある顔を識別表示するようにしても良い。このように最大の顔を識別表示するか、あるいは最も近い顔を識別表示するかという設定は設定釦1164によって行う。   Next, details of subject locking in step S108 in FIG. 2 will be described with reference to FIG. In step S201, the recognized subject is identified and displayed by a predetermined display method. FIG. 6 shows an example of this display form. FIG. 6 shows that the face is recognized as a thin solid line or a square display of wavy lines inside the face. Here, the face indicated by the wavy line in the square display indicates that it is the largest face. In addition to this, the approximate distance from the aforementioned eye width to the subject may be obtained, and the face at the shortest distance may be identified and displayed from the result. The setting button 1164 is used to set whether to identify and display the largest face or the nearest face.

ステップS202では撮影者が所望する被写体を選択したかどうか判別する。この選択についてはU/D釦1165を使用する。もし選択していなかったならばステップS201に戻り、選択したならばステップS203で選択した被写体の顔の細い実線表示が波線表示になる。ステップS204では選択した被写体がロックされたかどうか判別する。具体的には撮影者が被写体を選択後、設定釦1164を押すことで選択した被写体がロック状態に設定さる。これにより選択した被写体がAFエリアあるいはAEエリアとして常に設定され、仮にロックした被写体が移動して他の被写体がより近くあるいはより大きくなったとしてもロックした被写体以外の他の被写体にAFエリアあるいはAEエリアが移ってしまうことが防止される。  In step S202, it is determined whether the photographer has selected a desired subject. For this selection, the U / D button 1165 is used. If not selected, the process returns to step S201, and if selected, the thin solid line display of the face of the subject selected in step S203 becomes a wavy line display. In step S204, it is determined whether or not the selected subject is locked. Specifically, after the photographer selects a subject, the selected subject is set to a locked state by pressing a setting button 1164. As a result, the selected subject is always set as the AF area or AE area, and even if the locked subject moves and another subject becomes closer or larger, the subject other than the locked subject is moved to the AF area or AE. The area is prevented from moving.

もしロックされていなかった場合にはステップS202に戻って被写体選択を繰り返す。ロックが終了したならばステップS205でロックした被写体の四角の波線表示を太い実線表示にすることでロックされていることを識別表示する。ステップS206ではいったん設定されたロックが解除されたかどうか判別する。ロック解除は設定ボタン1164をもう一度押すことで解除される。これにより太い実線表示が波線表示に変わりロックが解除されたことを示す。もしロックが解除されたならばステップS202に戻り、解除されなかったならこの被写体ロックの処理を終了する。なお、ここでは被写体識別記号を四角い実線、波線、太い実線で表示するようにしたがこれを赤や青等の色を変えて表示したり、四角、三角、丸といったように形状を変えたりあるいはロック被写体を矢印で示すことで区別してもよい。  If not locked, the process returns to step S202 to repeat subject selection. When the locking is completed, the fact that the object is locked in step S205 is displayed in a bold solid line to identify that it is locked. In step S206, it is determined whether or not the set lock has been released. The lock release is released by pressing the setting button 1164 again. As a result, the thick solid line display is changed to a wavy line display to indicate that the lock is released. If the lock is released, the process returns to step S202. If the lock is not released, the subject locking process is terminated. In this example, the object identification symbol is displayed as a square solid line, a wavy line, or a thick solid line. However, this may be displayed in a different color such as red or blue, or the shape may be changed such as a square, triangle, or circle. You may distinguish a lock | rock subject by showing with an arrow.

本発明によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by this invention. 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。5 is a flowchart illustrating an operation sequence of the digital camera according to the present invention. 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。5 is a flowchart illustrating an operation sequence of the digital camera according to the present invention. 初期設定のシーケンスを説明するフローチャートである。It is a flowchart explaining the sequence of initial setting. 被写体ロックのシーケンスを説明するフローチャートである。It is a flowchart explaining a subject locking sequence. 撮影条件を設定する時のシーケンスを説明するフローチャートである。It is a flowchart explaining the sequence at the time of setting imaging conditions. レンズの焦点距離と眼幅から人物までの距離を求める説明図である。It is explanatory drawing which calculates | requires the distance from the focal distance of a lens, and an eye width to a person. 顔認識可能な場合のAF、AE、AWBの動作を説明する図である。It is a figure explaining operation of AF, AE, and AWB when face recognition is possible. 顔認識不可能な場合のAF、AE、AWBの動作を説明する図である。It is a figure explaining operation of AF, AE, and AWB when face recognition is impossible.

符号の説明Explanation of symbols

101 撮影レンズ
102 絞り
103 撮像素子
104 アナログ信号処理部
105 バッファメモリ
106 デジタル信号処理部
108 D/Aコンバータ
109 LCDモニタ
110 記録・再生信号処理部
111 外部記憶媒体
112 CPU
113 レンズ駆動部
114 絞り駆動部
115 撮像素子駆動部
116 操作部材
117 ストロボ
121 レンズ位置検出部
135 A/Dコンバータ
1121 AE演算部
1122 AWB演算部
1123 特徴点抽出演算部
1124 AF演算部
1125 記憶部
1161 電源スイッチ
1162 半押しスイッチ
1163 全押しスイッチ
1164 設定釦
1165 アップ/ダウン釦




DESCRIPTION OF SYMBOLS 101 Shooting lens 102 Diaphragm 103 Image pick-up element 104 Analog signal processing part 105 Buffer memory 106 Digital signal processing part 108 D / A converter 109 LCD monitor 110 Recording / reproduction | regeneration signal processing part 111 External storage medium 112 CPU
DESCRIPTION OF SYMBOLS 113 Lens drive part 114 Aperture drive part 115 Image pick-up element drive part 116 Operation member 117 Strobe 121 Lens position detection part 135 A / D converter 1121 AE calculation part 1122 AWB calculation part 1123 Feature point extraction calculation part 1124 AF calculation part 1125 Storage part 1161 Power switch 1162 Half-press switch 1163 Full-press switch 1164 Setting button 1165 Up / down button




Claims (1)

所定の時間間隔で画像データの中から被写体の特徴部位を抽出する抽出手段と、
前記抽出手段を動作させるための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、
被写体までの距離を測定演算する測距手段と、
被写体の輝度を測定演算する測光手段と、
被写体のホワイトバランスを測定演算するホワイトバランス手段と、
前記設定手段が前記抽出動作モードに設定された場合と前記それ以外の動作モードの場合とで前記測距手段が動作する回数およびタイミングを変えるよう指示し、前記抽出動作モードが設定された場合には数回の前記測光演算およびホワイトバランス演算を実行するサイクルに少なくとも1回の前記測距演算を実行するが、前記抽出動作モードに設定されていない場合には前記測光演算およびホワイトバランス演算の前に常時前記測距演算を実行する指示手段とを備えたことを特徴とするデジタルカメラ。
Extraction means for extracting a feature part of the subject from the image data at a predetermined time interval;
A setting means for setting the extraction operation mode for operating the extraction means and any other operation mode;
Distance measuring means for measuring and calculating the distance to the subject;
Photometric means for measuring and calculating the brightness of the subject;
A white balance means for measuring and calculating the white balance of the subject;
When the setting means is set to the extraction operation mode and the other operation modes are instructed to change the number and timing of operation of the distance measuring means, and the extraction operation mode is set. Performs at least one distance measurement calculation in a cycle in which the photometry calculation and white balance calculation are performed several times, but before the photometry calculation and white balance calculation are performed when the extraction operation mode is not set. A digital camera comprising an instruction means for constantly executing the distance measurement calculation .
JP2003351777A 2003-10-10 2003-10-10 Digital camera Expired - Fee Related JP4254467B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003351777A JP4254467B2 (en) 2003-10-10 2003-10-10 Digital camera
US10/954,613 US8159561B2 (en) 2003-10-10 2004-10-01 Digital camera with feature extraction device
EP04256236.3A EP1522952B1 (en) 2003-10-10 2004-10-08 Digital camera
CNB2004100850500A CN100499747C (en) 2003-10-10 2004-10-10 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003351777A JP4254467B2 (en) 2003-10-10 2003-10-10 Digital camera

Publications (2)

Publication Number Publication Date
JP2005117530A JP2005117530A (en) 2005-04-28
JP4254467B2 true JP4254467B2 (en) 2009-04-15

Family

ID=34542918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003351777A Expired - Fee Related JP4254467B2 (en) 2003-10-10 2003-10-10 Digital camera

Country Status (1)

Country Link
JP (1) JP4254467B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747003B2 (en) 2005-06-22 2011-08-10 富士フイルム株式会社 Automatic focusing control device and control method thereof
JP4839908B2 (en) * 2006-03-20 2011-12-21 カシオ計算機株式会社 Imaging apparatus, automatic focus adjustment method, and program
JP4286292B2 (en) 2007-01-30 2009-06-24 三洋電機株式会社 Electronic camera
US8830374B2 (en) 2008-12-26 2014-09-09 Panasonic Intellectual Property Corporation Of America Image capture device with first and second detecting sections for detecting features
JP2011234015A (en) * 2010-04-26 2011-11-17 Kyocera Corp Terminal device
JP5375846B2 (en) * 2011-02-04 2013-12-25 カシオ計算機株式会社 Imaging apparatus, automatic focus adjustment method, and program

Also Published As

Publication number Publication date
JP2005117530A (en) 2005-04-28

Similar Documents

Publication Publication Date Title
EP1522952B1 (en) Digital camera
US8830343B2 (en) Digital camera
JP4196714B2 (en) Digital camera
US8111321B2 (en) Imaging device and method for its image processing, with face region and focus degree information
JP5029137B2 (en) Imaging apparatus and program
JP4900014B2 (en) Imaging apparatus and program thereof
US8077216B2 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
TWI411970B (en) Image capturing apparatus, face area detecting method and program recording medium
JP2004317699A (en) Digital camera
JP2006254229A (en) Imaging apparatus, imaging method and imaging program
JP2004320286A (en) Digital camera
JP2008054295A (en) System for and method of photographing, and computer program
US20080100721A1 (en) Method of detecting specific object region and digital camera
JP4127521B2 (en) Digital camera and control method thereof
JP5027580B2 (en) Imaging apparatus, method, and program
JP2004320285A (en) Digital camera
JP4328606B2 (en) Digital camera
JP2005323015A (en) Digital camera
JP4254467B2 (en) Digital camera
JP2005223658A (en) Digital camera
JP4306399B2 (en) Digital camera
JP2006163496A (en) Apparatus, method and program for image recording
JP2008054031A (en) Digital camera and display control method
JP4305119B2 (en) Digital camera
JP2008172732A (en) Imaging apparatus, control method thereof, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060929

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080528

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4254467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150206

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150206

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150206

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees