JP4839908B2 - Imaging apparatus, automatic focus adjustment method, and program - Google Patents

Imaging apparatus, automatic focus adjustment method, and program Download PDF

Info

Publication number
JP4839908B2
JP4839908B2 JP2006076382A JP2006076382A JP4839908B2 JP 4839908 B2 JP4839908 B2 JP 4839908B2 JP 2006076382 A JP2006076382 A JP 2006076382A JP 2006076382 A JP2006076382 A JP 2006076382A JP 4839908 B2 JP4839908 B2 JP 4839908B2
Authority
JP
Japan
Prior art keywords
subject
distance
size
moving image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006076382A
Other languages
Japanese (ja)
Other versions
JP2007249132A (en
Inventor
圭一 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006076382A priority Critical patent/JP4839908B2/en
Publication of JP2007249132A publication Critical patent/JP2007249132A/en
Application granted granted Critical
Publication of JP4839908B2 publication Critical patent/JP4839908B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置の視野内の被写体を認識し被写体の動きに追従して合焦する自動合焦技術に関する。   The present invention relates to an automatic focusing technique for recognizing a subject in a field of view of an imaging apparatus and focusing in accordance with the movement of the subject.

デジタルカメラなどの電子カメラでは、被写体のコントラストのピークを検出して自動的にピントを合わせるコントラスト方式AF機能(コントラスト方式オートフォーカス(自動合焦)機能)を備えるものがある。このようなAF機能として、撮像時に構図の真ん中に焦点をあわせ、その際、画面中央にAF枠(スポットAFエリア)を表示して、ピントを合わせた部分をユーザに知らせる方法(例えば、特許文献1参照)や、複数の焦点検出ゾーン(マルチAFエリア)の中でコントラストが所定値よりも高いコントラストゾーンのなかから最も近距離の焦点情報を選択して自動的に対象物に焦点を合わせる、いわゆるマルチフォーカス方式(例えば、特許文献2)がある。   Some electronic cameras such as digital cameras have a contrast AF function (contrast autofocus (autofocus) function) that automatically adjusts focus by detecting a contrast peak of a subject. As such an AF function, a method of focusing on the center of the composition at the time of imaging, displaying an AF frame (spot AF area) at the center of the screen, and notifying the user of the focused portion (for example, Patent Documents) 1) and the focus information at the shortest distance from the plurality of focus detection zones (multi-AF areas) where the contrast is higher than a predetermined value is selected, and the object is automatically focused. There is a so-called multi-focus method (for example, Patent Document 2).

動画像を撮像する際、被写体は必ずしも中央部にあるとは限らないので、上記特許文献1に記載の技術のように中央でピントを合わせようとすると被写体が中央になるようにカメラを移動させる必要が生じるが、動いている被写体を追いかけるのは容易ではない。また、上記特許文献2に記載の技術のようにマルチAFエリアのなかから最も近距離の焦点情報を選択して自動的に対象物に焦点を合わせるとしても動いている被写体が必ずしもマルチAFエリアに入るとは限らない。これに対し、動画像を撮像する際、被写体は必ずしも中央部にある必要はなく、被写体が移動した場合にも常に一定の大きさの被写体像を得るために、認識した顔画像の大きさによってズーム動作を行なうようにしたものがある(例えば、特許文献3参照)。   When capturing a moving image, the subject is not necessarily in the center, so that if the camera is focused at the center as in the technique described in Patent Document 1, the camera is moved so that the subject is in the center. There is a need, but it is not easy to follow a moving subject. Further, even if the closest focus information is selected from the multi-AF area as in the technique described in Patent Document 2 above and the object is automatically focused, the moving subject is not necessarily in the multi-AF area. Not necessarily. On the other hand, when capturing a moving image, the subject does not necessarily have to be in the center, and in order to always obtain a subject image having a constant size even when the subject moves, the subject image depends on the size of the recognized face image. Some zooming operations are performed (see, for example, Patent Document 3).

特開2000−92354号JP 2000-92354 A 特開平10−153735号公報JP-A-10-153735 特開平6−2117187号公報JP-A-6-2217187

仮に、特許文献3に記載の技術とコントラスト方式AF技術を組み合わせて、動画フレーム中で図15に示すように顔エリア151を検出し、動画撮像中にそのエリアをサンプル領域としてコントラストAFを継続したとする(コントラスト方式コンティニュアスAF)。
コントラスト方式AFでは、録画中にある程度はフォーカスレンズを動かして走査(スキャン)しなければコントラストピークを検出することができない(つまり、フォーカスレンズを「遠い方」と「近い方」の間を行き来するように常に動かしていないとコントラストピークを検出できないため常にピントが変化する)ので、この合焦方式により撮像した動画を録画し、再生すると、図16に示すように再生画像は、ピントが合う(人物161−1)→ピントがぼける(人物161−2)→ピントが合う(人物161−3)→ピントがぼける(人物1681−4)→、・・・を繰り返す映像となる。
多くのビデオカメラやデジタルカメラではコントラスト方式AFを採用しているため、上述したような映像になるといった課題があった。
If the technique described in Patent Document 3 and the contrast AF technique are combined, a face area 151 is detected as shown in FIG. 15 in a moving image frame, and contrast AF is continued using the area as a sample area during moving image capturing. (Contrast type continuous AF).
In contrast AF, it is not possible to detect a contrast peak unless the focus lens is moved and scanned to some extent during recording (that is, the focus lens moves back and forth between “far” and “close”). Therefore, if the moving image is captured and recorded by this focusing method, the reproduced image is in focus as shown in FIG. Person 161-1) → out of focus (person 161-2) → focus (person 161-3) → out of focus (person 1681-4) →...
Since many video cameras and digital cameras employ contrast AF, there is a problem that the above-described image is obtained.

本発明は上記課題を解決するためになされたものであり、撮像装置の視野内の被写体を認識し、コントラスト方式AFとは異なるAF方式によりフォーカスレンズを移動することによりカメラを被写体の動きに追従して合焦させることのできる撮像装置、被写体認識による自動焦点調整方法、およびプログラム記録媒体の提供を目的とする。   The present invention has been made to solve the above problems, and recognizes a subject in the field of view of an imaging apparatus and moves the focus lens by an AF method different from the contrast method AF so that the camera follows the movement of the subject. It is an object of the present invention to provide an imaging device that can be focused on, an automatic focus adjustment method based on subject recognition, and a program recording medium.

上記課題を解決するために、請求項1に記載の発明では、動画を撮像する動画撮像手段と、前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、前記動画撮像手段によって撮像される動画を表示する動画表示制御手段と、被写体の指標を表示する指標表示手段と、前記動画表示制御手段によって表示される動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整するサイズ調整手段と、前記動画撮像手段によって動画を撮像する際に動画表示制御手段によって表示される画像の中から前記サイズ調整手段によってサイズが調整された指標像を検出する指標像検出手段と、前記動画撮像手段によって動画を撮像する際に被写体までの距離を測定する距離測定手段と、前記動画撮像手段によって動画を撮像する際に被写体の特徴データを取得する特徴データ取得手段と、前記動画撮像手段によって動画を撮像する際に該動画撮像手段の撮像範囲における前記指標像のサイズを取得する撮像サイズ取得手段と、前記距離測定手段によって測定された前記被写体までの距離及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に前記被写体の実サイズを推計する被写体サイズ推計手段と、前記特徴データ取得手段によって取得された特徴データ及び前記被写体サイズ推計手段によって推計された被写体の実サイズデータを対応付けて記憶する記憶手段と、前記動画撮像手段によって動画を撮像する際に前記特徴データ取得手段によって被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離測定手段による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に被写体距離を推計する被写体距離推計手段と、前記被写体距離推計手段によって推計された被写体距離及び前記距離測定手段により測定された被写体距離に対応する位置にフォーカスレンズを移動する合焦位置調整制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、ユーザは動画撮像撮影時に1回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズを調整するだけでその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。
In order to solve the above-described problem, in the invention described in claim 1, a moving image capturing unit that captures a moving image, a moving image recording unit that records and stores the moving image captured by the moving image capturing unit, and an image captured by the moving image capturing unit The moving image display control means for displaying the moving image, the index display means for displaying the index of the subject, and the size of the desired subject image in the moving image displayed by the moving image display control means is approximately the same size. A size adjusting unit that adjusts the size of the index, and an index image whose size is adjusted by the size adjusting unit is detected from images displayed by the moving image display control unit when the moving image is captured by the moving image capturing unit. and the index image detector for the distance measuring means for measuring a distance to a subject when capturing a moving by the moving image pickup unit, said video image pickup means A feature data acquisition means for acquiring characteristic data of the object when capturing a moving I, imaging size to get the size of the index image in the imaging range of said video image pickup means when capturing a moving by the moving image pickup unit Acquisition means; subject size estimation means for estimating the actual size of the subject based on the distance to the subject measured by the distance measurement means and the size of the index image acquired by the imaging size acquisition means; and Storage means for associating and storing the feature data acquired by the feature data acquisition means and the actual size data of the subject estimated by the subject size estimation means, and acquiring the feature data when capturing a moving image by the moving image imaging means The feature data of the subject is acquired by the means, and the matching feature data is recorded by the storage means. If it is, instead of the distance measurement by the distance measuring means, the object distance based on the size of the index image acquired by the actual size and the imaging size acquisition means is stored in association with the feature data Subject distance estimation means for estimating the subject distance, and subject position estimated by the subject distance estimation means and focus position adjustment control means for moving the focus lens to a position corresponding to the subject distance measured by the distance measurement means , Provided is an imaging apparatus characterized by comprising the above.
This allows the user to follow the movement of the subject simply by adjusting the size of the index so that it is the same size as the image of the desired subject in the image that is displayed once through when shooting a moving image. its estimated the distance between the subject and the camera, Runode to move the focus lens to a position corresponding to the estimated distance, lens for converging the focus position of the lens position as in the case of autofocus of the contrast system Te There is no need for scanning, and there will be no occurrence of wobbling during movie shooting.

また、請求項2に記載の発明では、被写体距離推計手段によって推計された被写体距離を含む被写界深度の範囲を示すレンズアドレスが複数存在するときに、該被写体距離が増加したか減少したかを判定する距離増減判定手段を備え、合焦位置調整制御手段は、被写体距離が増加した場合には複数のレンズアドレスに対応する被写界深度の後側被写界深度から被写体距離を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動し、被写体距離が減少した場合には、被写体距離から複数のレンズアドレスに対応する被写界深度の前側被写界深度を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動することを特徴とする請求項1に記載の撮像装置を提供する。
これにより、前側被写界深度と後側被写界深度が少し重複した被写界深度テーブルを用いることにより、ピントの急激な変化が生じないので不自然感がなく、コントラスト方式のオートフォーカスにより動画を撮像する際に生じる「ピントがふらふらする」感じをより低減することができる。
According to the second aspect of the present invention, when there are a plurality of lens addresses indicating the range of the depth of field including the subject distance estimated by the subject distance estimating means, the subject distance is increased or decreased. The focus position adjustment control means subtracts the subject distance from the rear depth of field corresponding to the plurality of lens addresses when the subject distance increases. When the focus lens is moved to the lens address corresponding to the maximum depth of field and the subject distance decreases, the depth of field in front of the depth of field corresponding to multiple lens addresses is reduced from the subject distance. The imaging apparatus according to claim 1, wherein the focus lens is moved to a lens address corresponding to a maximum depth of field obtained by subtraction.
By using a depth-of-field table in which the front-side depth of field and the rear-side depth of field are slightly overlapped, there is no unnatural feeling because there is no sudden change in focus. It is possible to further reduce the “smooth out” feeling that occurs when capturing a moving image.

また、請求項に記載の発明では、動画撮像時に撮像される動画を表示する工程と、被写体の指標を表示する工程と、表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する工程と、動画を撮像する際に表示される動画像の中から、前記サイズ調整済みの指標を検出する工程と、動画を撮像する際に被写体までの距離を測定する工程と、動画を撮像する際に被写体の特徴データを取得する工程と、動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する工程と、測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する工程と、取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する工程と、動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する工程による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する工程と、前記被写体距離推計する工程によって推計された被写体距離及び前記距離を測定する工程によって測定された被写体距離に対応する位置にフォーカスレンズを移動する工程と、を備えたことを特徴とする自動焦点調整方法を提供する。
これにより、動画撮像撮影時に1回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズが調整されるとその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。
According to the third aspect of the present invention, the step of displaying a moving image captured at the time of moving image capturing, the step of displaying an index of a subject, and the size of a desired subject image in the displayed moving image are abbreviated. Adjusting the size of the index so as to be the same size, detecting the size-adjusted index from moving images displayed when capturing a moving image, and subject when capturing a moving image measuring a distance to, a step of acquiring a step of acquiring the characteristic data of the object when capturing a moving, the size of the index image in the imaging range of the imaging device when imaging the moving picture, is measured The step of estimating the actual size of the subject based on the distance to the subject and the size of the acquired index image is associated with the acquired feature data and the estimated actual size data of the subject. And when the moving image is captured, the feature data of the subject is acquired, and when the matching feature data is stored in the storage means, the distance measurement is performed instead of the distance measurement in the step of measuring the distance. the step of measuring a step of estimating the actual size and the subject distance based on the size of the index image stored in association with the feature data, the estimated subject distance and the distance by the step of estimating the object distance And a step of moving the focus lens to a position corresponding to the measured subject distance .
Thus, when the size of the index is adjusted so as to be the same size as the image of the desired subject in the image that is displayed once through when shooting a moving image, the movement of the subject is followed. Since the distance between the subject and the camera is estimated and the focus lens is moved to a position corresponding to the estimated distance, lens scanning is required to converge the lens position to the in-focus position, as in contrast autofocus. Otherwise, the camera will not be out of focus during movie recording.

また、請求項に記載の発明では、コンピュータに、動画を撮像する機能と、撮像された動画を記録保存する機能と、撮像される動画を表示する機能と、被写体の指標を表示する機能と、表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する機能と、動画を撮像する際に表示される動画の中から、前記サイズ調整済みの指標像を検出する機能と、動画を撮像する際に被写体までの距離を測定する機能と、動画を撮像する際に被写体の特徴データを取得する機能と、動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する機能と、測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する機能と、取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する機能と、動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する機能による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する機能と、前記被写体距離推計する機能によって推計された被写体距離及び前記距離を測定する機能によって測定された被写体距離に対応する位置にフォーカスレンズを移動る機能と、を実行させるプログラムを提供する。
これにより、動画撮像撮影時に1回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズが調整し、その被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。
In the invention according to claim 4 , a function of capturing a moving image, a function of recording and storing the captured moving image, a function of displaying the captured moving image, and a function of displaying a subject index , a function of adjusting the size of the index as approximately the same size as the size of the desired object image in the moving image displayed, from among the moving image displayed at the time of capturing a moving, wherein the size A function for detecting an adjusted index image, a function for measuring a distance to a subject when capturing a moving image , a function for acquiring feature data of a subject when capturing a moving image , and an image capturing when capturing a moving image A function of acquiring the size of the index image in the imaging range of the element, a function of estimating the actual size of the subject based on the measured distance to the subject and the size of the acquired index image, and Special A function for associating data and estimated actual size data of a subject to be stored in a storage unit, and acquiring feature data of a subject when capturing a moving image, and matching feature data being stored in the storage unit is, instead of the distance measurement by the ability to measure the distance estimate, the function of estimating the size the object distance based on the actual size and the target image is stored in association with the feature data, the object distance , features and you move the focus lens to a position corresponding to the measured subject distance by the ability to measure the estimated subject distance and the distance by the ability to provide a program to be executed.
As a result, the size of the index is adjusted so as to be the same as the size of the image of the desired subject in the image that is displayed once through when shooting a moving image, and the subject follows the movement of the subject. The distance between the camera and the camera is estimated, and the focus lens is moved to a position corresponding to the estimated distance, so that it is necessary to scan the lens to converge the lens position to the in-focus position as in the case of contrast autofocus. In addition, the camera does not fluctuate during movie shooting.

本発明によれば、動画撮像時に被写体の動きに追従したシャープな映像の撮像ができる。   According to the present invention, it is possible to capture a sharp image that follows the movement of a subject when capturing a moving image.

本発明の自動焦点調整方法は、被写体の顔や身長等のサイズを検出し、撮像素子の撮像範囲における被写体のサイズとレンズ焦点距離から推算される「被写体距離」を算定し、この被写体距離に対応する位置にフォーカスレンズを移動させることにより動画撮像時に被写体の動きに追従したシャープな映像の撮像を可能とする。   The automatic focus adjustment method of the present invention detects the size of the subject's face, height, etc., calculates the “subject distance” estimated from the subject size and the lens focal length in the imaging range of the imaging device, and determines the subject distance. By moving the focus lens to the corresponding position, it is possible to capture a sharp image that follows the movement of the subject during moving image capturing.

(実施形態1)
図1は、本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面(図1(a))及び背面(図1(b))の外観を示す。デジタルカメラ100は、図1(a)に示すように正面側に撮像レンズ(レンズ群)2を有している。また、デジタルカメラ100の背面には図1(b)に示すように、モードダイアル3、液晶モニタ画面4、カーソルキー5、SETキー6、ズームボタン7(Wボタン7−1、Tボタン7−2)、メニューキー10等が設けられている。また、上面にはシャッターキー8、電源ボタン9が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ(以下、パソコン)やモデム等の外部装置とUSBケーブルに接続する場合に用いるUSB端子接続部が設けられている。
(Embodiment 1)
FIG. 1 is a diagram showing an appearance of a digital camera as an embodiment of an imaging apparatus according to the present invention. Here, the appearance of mainly a front surface (FIG. 1A) and a rear surface (FIG. 1B) is shown. . The digital camera 100 has an imaging lens (lens group) 2 on the front side as shown in FIG. Further, as shown in FIG. 1B, the back of the digital camera 100 has a mode dial 3, a liquid crystal monitor screen 4, a cursor key 5, a SET key 6, a zoom button 7 (W button 7-1, T button 7- 2) A menu key 10 or the like is provided. A shutter key 8 and a power button 9 are provided on the upper surface. Although not shown in the figure, a USB terminal connection portion used when connecting to an external device such as a personal computer (hereinafter referred to as a personal computer) or a modem and a USB cable is provided on the side portion.

図2は、図1に示したデジタルカメラの電子回路構成の一実施例を示すブロック図である。図2(a)で、デジタルカメラ100は、基本モードである撮像モードにおいて、ズームレンズ12−1を移動させて光学ズーム動作を行わせるズーム駆動部11−1、フォーカスレンズ12−2を移動させて合焦動作を行わせるAF駆動部11−2、ズームレンズ12−1及びフォーカスレンズ12−2を含む撮像レンズ2を構成するレンズ光学系12、撮像素子であるCCD13、タイミングジェネレータ(TG)14、垂直ドライバ15、サンプルホールド回路(S/H)16、A/D変換器17、カラープロセス回路18、DMA(Direct Memory Access)コントローラ19、DRAMインターフェイス(I/F)20、DRAM21、制御部22、VRAMコントローラ23、VRAM24、デジタルビデオエンコーダ25、LCD26、データ圧縮・伸張回路27、メディアコントローラ28、キー入力部30、音声処理部31、認識部32、人物識データベース33、および輪郭抽出部34を備えている。   FIG. 2 is a block diagram showing an embodiment of the electronic circuit configuration of the digital camera shown in FIG. In FIG. 2A, the digital camera 100 moves the zoom lens 11-1 and the focus lens 12-2 that move the zoom lens 12-1 and perform the optical zoom operation in the imaging mode that is the basic mode. An AF driving unit 11-2 that performs focusing operation, a lens optical system 12 that constitutes the imaging lens 2 including the zoom lens 12-1 and the focus lens 12-2, a CCD 13 that is an imaging element, and a timing generator (TG) 14 , Vertical driver 15, sample hold circuit (S / H) 16, A / D converter 17, color process circuit 18, DMA (Direct Memory Access) controller 19, DRAM interface (I / F) 20, DRAM 21, control unit 22 , VRAM controller 23, VRAM 24, digital video encoder 25, LCD 26 Data compression and expansion circuit 27, the media controller 28, a key input unit 30, a voice processing unit 31, recognition unit 32, the person identification database 33, and the contour extraction unit 34.

撮像モードでのモニタリング状態においては、ズーム駆動部11−1は、光学ズーム指示があると制御部22からの制御信号に基づいて図示しないズームレンズ駆動モータを駆動してズームレンズ12−1を光軸に沿って前後に移動させることによりCCD13に結像させる画像の倍率そのものを変化させる。
また、AF駆動部11−2は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ12−2を移動させる。
そして、上記撮像レンズ2を構成する光学系12の撮像光軸後方に配置された撮像素子であるCCD13が、タイミングジェネレータ(TG)14、垂直ドライバ15によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1フレーム分出力する。
In the monitoring state in the imaging mode, when there is an optical zoom instruction, the zoom drive unit 11-1 drives a zoom lens drive motor (not shown) based on a control signal from the control unit 22 to light the zoom lens 12-1. By moving back and forth along the axis, the magnification itself of the image formed on the CCD 13 is changed.
The AF drive unit 11-2 drives a focus lens drive motor (not shown) to move the focus lens 12-2.
Then, a CCD 13 which is an image pickup element disposed behind the image pickup optical axis of the optical system 12 constituting the image pickup lens 2 is scanned and driven by a timing generator (TG) 14 and a vertical driver 15 to form an image at regular intervals. A photoelectric conversion output corresponding to the optical image is output for one frame.

CCD13は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はCCDに限定されずCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像デバイスでもよい。   The CCD 13 is a solid-state imaging device that captures a two-dimensional image of a subject, and typically captures an image of several tens of frames per second. The imaging element is not limited to a CCD, and may be a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor).

この光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路(S/H)16でサンプルホールドされ、A/D変換器17でデジタルデータ(画素)に変換され、カラープロセス回路18で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の度信号Y及び色差信号Cb、Crが生成され、DMA(Direct Memory Access)コントローラ19に出力される。   The photoelectric conversion output is appropriately gain-adjusted for each primary color component of RGB in the state of an analog value signal, sampled and held by a sample hold circuit (S / H) 16, and digital data by an A / D converter 17. The color process circuit 18 is subjected to color process processing including image interpolation processing and γ correction processing to generate a digital value signal Y and color difference signals Cb, Cr, and DMA (Direct Memory Access). ) Is output to the controller 19.

DMAコントローラ19は、カラープロセス回路18の出力する輝度信号Y及び色差信号Cb、Cr(以下、YUVデータ)を、同じくカラープロセス回路18からの複合(composite)同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてDRAMインターフェイス(I/F)20を介してで予め設定された画像サイズに変換された後、1フレーム分のデータが順次バッファメモリとして使用されるDRAM21にDMA転送され。なお、DMAコントローラ19ではオートアイリス(AE)、ホワイトバランス(WB)、輪郭強調などの画像の品質向上のための処理も行われる。   The DMA controller 19 uses the luminance signal Y and the color difference signals Cb and Cr (hereinafter referred to as YUV data) output from the color process circuit 18 as a composite synchronization signal, a memory write enable signal, and a clock from the color process circuit 18. After being converted to a preset image size via a DRAM interface (I / F) 20 using a signal, data for one frame is DMA-transferred sequentially to a DRAM 21 used as a buffer memory. The DMA controller 19 also performs processing for improving image quality, such as auto iris (AE), white balance (WB), and edge enhancement.

静止画モードでの撮像時にDRAM21に格納された1フレーム分のYUVデータはVRAMコントローラ23に送られ、そこでビデオ信号に変換された後、LCD(液晶表示部)26によりスルー画像として表示される。   One frame of YUV data stored in the DRAM 21 during imaging in the still image mode is sent to the VRAM controller 23, where it is converted into a video signal, and then displayed as a through image on the LCD (liquid crystal display unit) 26.

静止画モードでの撮像時にDRAM21に格納された1フレーム分のYUVデータはデータ圧縮・伸張回路27でJPEG方式等によってデータ圧縮後コード化され、DRAM内でファイル化された後、メディアコントローラ28を介して記録メディア29に静止画データ(静止画ファイル)として記録される。   One frame of YUV data stored in the DRAM 21 during imaging in the still image mode is encoded by the data compression / expansion circuit 27 after data compression by the JPEG method, etc., and filed in the DRAM. Through the recording medium 29 as still image data (still image file).

動画モードでの撮像時にはDRAM21に格納されたYUVデータは順次データ圧縮・伸張回路27に送られ、所定の動画記録方式(例えば、Motion−JPEGやMPEG)のコーデックによりデータ圧縮した後にコード化され、DRAM21内でファイル化された後、メディアコントローラ28を介して動画ファイルとして記録メディア29に記録される。なお、動画撮像のフレームレートはタイミングジェネレータ14で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張回路27内の電子化テーブル値によって決定される。   At the time of imaging in the moving image mode, the YUV data stored in the DRAM 21 is sequentially sent to the data compression / decompression circuit 27 and is encoded after data compression by a codec of a predetermined moving image recording method (for example, Motion-JPEG or MPEG). After being filed in the DRAM 21, it is recorded on the recording medium 29 as a moving image file via the media controller 28. The frame rate of moving image capturing is determined by the timing signal generated by the timing generator 14, and the compression rate of the encoded data is determined by the digitization table value in the data compression / decompression circuit 27.

制御部22は、このデジタルカメラ100全体の制御動作を司るものであり、CPU若しくはMPU(以下、CPU)と、後述するような被写体認識による自動焦点調整プログラムを含む該CPUで実行される動作プログラムや被写界深度対応テーブル50(図4)を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるRAM等により構成され、上記YUVデータのDRAM21へのDMA転送終了後に、このYUVデータをDRAMインターフェイス20を介してDRAM21から読出し、VRAMコントローラ23を介してVRAM24に書込む。   The control unit 22 controls the overall operation of the digital camera 100, and is an operation program executed by the CPU or MPU (hereinafter referred to as CPU) and the CPU including an automatic focus adjustment program based on subject recognition as described later. And a program storage memory such as a flash memory storing the depth of field correspondence table 50 (FIG. 4), a RAM used as a work memory, and the like. After the DMA transfer of the YUV data to the DRAM 21 is completed, the YUV Data is read from the DRAM 21 via the DRAM interface 20 and written to the VRAM 24 via the VRAM controller 23.

制御部22は、また、キー入力部30からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ100の各機能の実行制御、例えば、動画撮像モード時に自動焦点調整機能がオンの場合に行う被写体認識による自動焦点調動作制御や、光学ズーム時のズームレンズの動作制御や、電子ズームや、スルー表示、自動合焦、撮像、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。   The control unit 22 also extracts a processing program and menu data corresponding to each mode stored in a program storage memory such as a flash memory in response to the status signal from the key input unit 30, and Execution control of each function, for example, auto focus control by subject recognition performed when the auto focus adjustment function is turned on in movie shooting mode, zoom lens operation control during optical zoom, electronic zoom, through display, Execution control such as automatic focusing, imaging, recording, and reproduction / display of recorded images, display control of a function selection menu when selecting a function, display control of a setting screen, and the like are performed.

制御部22は合焦指示に応じてその時点でCCD13から取込んでいる1フレーム分のYUVデータのDRAM21へのDMA転送の終了後、直ちにCCD13からのDRAM21への経路を停止し、記録保存の状態に遷移する。   In response to the focus instruction, the control unit 22 immediately stops the path from the CCD 13 to the DRAM 21 after the DMA transfer of the YUV data for one frame captured from the CCD 13 to the DRAM 21 at that time, and performs recording and storage. Transition to the state.

この保存記録の状態では、制御部22がDRAM21に書込まれている1フレーム分のYUVデータをDRAMインターフェイス20を介してY、Cb、Crの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読み出してJPEG(Joint Photograph cording Experts Group)回路27に書込み、このデータ圧縮・伸張回路27でADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを1画像のデータファイルとしてデータ圧縮・伸張回路27から読出し、メディアコントローラ28に記録保存する。また、1フレーム分のYUVデータの圧縮処理及びメディアコントローラ28を介しての記録メディア29への全圧縮データの書込み終了に伴って、制御部22はCCD13からDRAM21への経路を再び起動する。   In this stored recording state, the control unit 22 transmits the YUV data for one frame written in the DRAM 21 through the DRAM interface 20 to a basic of 8 pixels × 8 pixels for each of Y, Cb, and Cr components. A unit called a block is read out and written into a JPEG (Joint Photograph Cording Experts Group) circuit 27. The data compression / decompression circuit 27 uses ADCT (Adaptive Discrete Cosine Transform) and Huffman, which is an entropy coding method. Data compression is performed by processing such as encoding. The obtained code data is read out from the data compression / decompression circuit 27 as a data file of one image and recorded and stored in the media controller 28. Further, the controller 22 activates the path from the CCD 13 to the DRAM 21 again with the compression processing of one frame of YUV data and the completion of writing all the compressed data to the recording medium 29 via the media controller 28.

また、基本モードである再生モード時には、制御部22が記録メディ30に記録されている画像データをメディアコントローラ28を介してを選択的に読出し、データ圧縮・伸張回路27で画像撮像モード時にデータ圧縮した手順とまったく逆の手順で圧縮されている画像データを伸張し、伸張した画像データをVRAMコントローラ23を介してVRAM24に展開して記憶させた上で、このVRAM24から定期的に読出し、これらの画像データを元にビデオ信号を生成してLCD26で再生出力させる。   In the playback mode which is the basic mode, the control unit 22 selectively reads out the image data recorded on the recording medium 30 via the media controller 28, and the data compression / decompression circuit 27 performs data compression in the image capturing mode. The compressed image data is decompressed by a procedure opposite to the procedure described above, and the decompressed image data is expanded and stored in the VRAM 24 via the VRAM controller 23, and then periodically read from the VRAM 24. A video signal is generated based on the image data and reproduced and output on the LCD 26.

デジタルビデオエンコーダ25は、上記YUVデータをVRAMコントローラ23を介してVRAM24から定期的に読み出し、これらのデータを基にビデオ信号を生成して上記LCD26に出力する。   The digital video encoder 25 periodically reads the YUV data from the VRAM 24 via the VRAM controller 23, generates a video signal based on these data, and outputs the video signal to the LCD 26.

LCD26は、上述したように撮像モード時にはモニタ表示部(電子ファインダ)として機能するもので、デジタルビデオエンコーダ25からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ23から取込んでいる画像情報に基づく画像をリアルタイムにLCD26に表示することになる。また、LCD26には画像だけでなく、必要に応じてデジタルカメラ100における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。   As described above, the LCD 26 functions as a monitor display unit (electronic finder) in the image pickup mode. By performing display based on the video signal from the digital video encoder 25, the LCD 26 captures from the VRAM controller 23 at that time. An image based on the existing image information is displayed on the LCD 26 in real time. The LCD 26 displays not only images but also menu screens and setting screens for selecting and setting various functions in the digital camera 100 as necessary.

データ圧縮・伸張回路27は、静止画または動画の再生時には記録メディア29から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとしてDRAM21に展開する。展開された画像は表示コントローラ21に送られ、そこでビデオ信号に変換された後、LCD26により再生画像として表示される。   The data compression / decompression circuit 27 decompresses the still image or moving image data read from the recording medium 29 when reproducing a still image or moving image, and expands it in the DRAM 21 as still image data or moving image frame data. The developed image is sent to the display controller 21, where it is converted into a video signal and then displayed on the LCD 26 as a reproduced image.

上記データ圧縮・伸張回路27は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度(一般に、高精細、ファイン、ノーマルなどと呼ばれる)に対応するモードと圧縮率の高い低解像度(一般にエコノミーなどと呼ばれる)モードがある。
また、高画素数から低画素数にも対応している。例えば、SXGA(1600×1200)、XGA(1024×786)、SVGA(800×600)、VGA(640×480)、QVGA(320×240)等と呼ばれる画素サイズがある。
The data compression / decompression circuit 27 supports a plurality of compression ratios, and a mode for storing data corresponding to the compression ratios corresponds to a high resolution (generally called high definition, fine, normal, etc.) with a low compression ratio. Mode with high compression ratio and low resolution (commonly called economy) mode.
It also supports high to low pixel counts. For example, there are pixel sizes called SXGA (1600 × 1200), XGA (1024 × 786), SVGA (800 × 600), VGA (640 × 480), QVGA (320 × 240) and the like.

メディアコントローラ28は画像記録制御手段に相当し、記録メディア29に画像データや撮像情報等の書き込み制御および記録メディア29からの画像データや撮像情報等の読み出し制御を行う。   The media controller 28 corresponds to an image recording control unit, and performs writing control of image data and imaging information on the recording medium 29 and reading control of image data and imaging information from the recording medium 29.

記録メディア29は本発明の動画記録手段に相当し、DRAM(フラッシュメモリ)やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり、画像データや撮像情報等を保存記録する。   The recording medium 29 corresponds to the moving image recording means of the present invention, and includes a recording medium such as a DRAM (flash memory), a hard disk, or a removable memory card, and stores and records image data, imaging information, and the like.

キー入力部30は、上述したモードダイアル3、カーソルキー5、SETキー6、ズームボタン7(Wボタン7−1、Tボタン7−2)、シャッターキー8、電源ボタン9、およびメニューキー10と、キーが操作されると操作されたキーの操作信号を生成してCPU23に送出するキー処理部(図示せず)等から構成されている。   The key input unit 30 includes the mode dial 3, the cursor key 5, the SET key 6, the zoom button 7 (W button 7-1, T button 7-2), the shutter key 8, the power button 9, and the menu key 10 described above. , A key processing unit (not shown) that generates an operation signal of the operated key and sends it to the CPU 23 when the key is operated.

モードダイアル3は撮像モードや再生モードの選択を行うものである。ユーザはモードダイアル3を操作して、(静止画)通常撮像モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード、・・・等の撮像モードを選択することができる。   The mode dial 3 is used to select an imaging mode and a playback mode. The user can operate the mode dial 3 to select an imaging mode such as (still image) normal imaging mode, macro imaging mode, continuous shooting mode, rapid shooting mode,..., Moving image imaging mode,.

カーソルキー5はモード設定やメニュー選択等に際して液晶モニタ画面4に表示されるメニューやアイコン等をカーソルでポイント(指定)する際に操作するキーであり、カーソルキー5の操作によりカーソルを上下又は左右に移動させることができる。また、SETキー6はカーソルキー5によってカーソル表示されている項目を選択設定する際にも押されるキーである。またSETキー6を確認キーとして用いることもできる。   The cursor key 5 is a key operated when pointing (designating) a menu or icon displayed on the liquid crystal monitor screen 4 with the cursor when setting a mode or selecting a menu. Can be moved to. The SET key 6 is also a key that is pressed when the item displayed by the cursor key 5 is selected and set. The SET key 6 can also be used as a confirmation key.

ズームボタン7は、ズーム操作に用いられ、光学ズームの場合はズームボタン7(Wボタン7−1またはTボタン7−2)の操作に対応してズームレンズ(可変焦点距離レンズ)12−1がワイド側またテレ側に移動されズームボタン7の操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面4にはワイド(広角)画像又はテレ(望遠)画像が表示される。   The zoom button 7 is used for a zoom operation. In the case of optical zoom, the zoom lens (variable focal length lens) 12-1 corresponds to the operation of the zoom button 7 (W button 7-1 or T button 7-2). The zoom value is determined in response to the operation of the zoom button 7 by moving to the wide side or the tele side, the angle of view actually changes following the change of the zoom value, and a wide (wide angle) image is displayed on the LCD monitor screen 4. Alternatively, a tele (telephoto) image is displayed.

シャッターキー8は、撮像時にレリーズ操作を行うもので、2段階のストロークを有しており、1段目の操作(半押し状態)でオートフォーカス(AF)と自動露出(AE)を行わせるための合焦指示信号を発生し、2段目の操作(全押し状態)で撮像処理を行うための撮像指示信号を発生する。   The shutter key 8 performs a release operation at the time of imaging, has a stroke of two steps, and performs auto focus (AF) and automatic exposure (AE) by the first step operation (half-pressed state). And an imaging instruction signal for performing imaging processing by the second stage operation (fully pressed state).

音声処理部31は、動画撮像時においてカメラ本体に内蔵されたマイク(図示せず)に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとしてDRAM21に送る。DRAM21に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア29に順次書き込まれる。また、音声処理部31は、動画撮像時には、DRAM21から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体に内蔵された内蔵スピーカ(図示せず)から音声出力させる。   The audio processing unit 31 converts audio input to a microphone (not shown) built in the camera body at the time of moving image capturing into a digital signal, and sends it to the DRAM 21 as audio data after data compression. The audio data sent to the DRAM 21 is sequentially written to the recording medium 29 as stream data together with the frame data. In addition, the audio processing unit 31 decodes the audio data sent from the DRAM 21 and converts it into an analog audio signal at the time of moving image capturing, and then outputs the audio from an internal speaker (not shown) built in the camera body.

認識部32は、動画の各フレームの画像信号から人物の顔を認識し、認識データベースに登録したり、登録済みの顔との比較を行ない、同一人物の顔を検出する。また、顔は顔画像を区画する矩形領域として取得するようにしてもよい。また、認識部32を図2(b)に示すように各コマの人物像の顔の特徴データを抽出する特徴抽出部32−1と、人物データベース33に登録されている人物の顔の特徴データと認識部32で認識した顔から抽出した特徴部分を比較する特徴比較部32−2と、認識部32で認識した顔が人物データベース33に登録されていない場合にその顔の特徴データおよび顔のサイズを登録する登録部32−3とを含むように構成し、登録済みの人物の顔と認識した顔の比較を特徴比較部32−2で行なうようにしてもよい。なお、上記した顔の検出方法は考え方の一例であってその他公知の方法を用いることもできる。例えば、前述した特許文献3(特開平6−217187号公報)に記載の顔の認識方法を適宜採用することができる。また、動画中の指定されたコマから顔画像を検出して動画中の指定されたコマから抽出された個人の顔データと比較して人物を特定する方法は、公知の方法、例えば、前述した特許文献1(特開2004−145563号公報)を適宜採用することができる。この認識処理のために専用の回路を設けてもよいし、CPU23でこの認識処理用のプログラムを実行させるようにしてもよい。   The recognition unit 32 recognizes a person's face from the image signal of each frame of the moving image and registers it in the recognition database or compares it with a registered face to detect the face of the same person. The face may be acquired as a rectangular area that divides the face image. Further, as shown in FIG. 2 (b), the recognition unit 32 extracts a facial feature data of a person image of each frame, and a facial feature data of a person registered in the person database 33. And a feature comparison unit 32-2 that compares feature parts extracted from the face recognized by the recognition unit 32, and the face feature data and face information when the face recognized by the recognition unit 32 is not registered in the person database 33. It may be configured to include a registration unit 32-3 for registering the size, and the feature comparison unit 32-2 may compare the face recognized with the registered person's face. The face detection method described above is an example of a concept, and other known methods can be used. For example, the face recognition method described in Patent Document 3 (Japanese Patent Laid-Open No. 6-217187) described above can be appropriately employed. A method for identifying a person by detecting a face image from a designated frame in a video and comparing it with individual face data extracted from the designated frame in the video is a known method, for example, as described above. Patent Document 1 (Japanese Patent Laid-Open No. 2004-145563) can be adopted as appropriate. A dedicated circuit may be provided for the recognition process, or the CPU 23 may execute a program for the recognition process.

認識データベース33は、動画の各フレームの画像信号から抽出した顔の特徴データおよび身長を含む認識データ40(図3参照)からなる。認識データ40は例えば図3(a)に示すように、顔の特徴データを記憶する特徴データ欄41と個人の身長(pixels)を記憶した身長欄43(pixels)を含んでなる。このようにすることにより、後述するように認識された身長がCCD13の撮像範囲内に占める高さと、登録済みの身長とCCD13のサイズ係数から被写体とカメラとの距離を得ることができる。なお、認識データ40に身長欄43に代えて顔の縦サイズを記憶する顔サイズ欄を設けるようにしてもよい。この場合は、認識された顔の縦サイズがCCD13の撮像範囲内に占める高さと、登録済みの顔の縦サイズから被写体とカメラとの距離を得ることができる。また、図3(b)に示すように顔の縦サイズ(pixels)を記憶する顔サイズ欄42を含むようにしてもよい。認識データベース33は記録メディア29の所定領域を記録領域として用いるようにしてもよいし、専用のメモリを用いるようにしてもよい。特徴データ欄41に記憶する特徴データとして、例えば、顔の各部位(目、鼻、口、耳、額顎、・・・等)の位置や、各部位のサイズや、各部位の角度や、顔の各部位間の相対関係等を用いることができる。   The recognition database 33 includes recognition data 40 (see FIG. 3) including facial feature data and height extracted from the image signal of each frame of the moving image. For example, as shown in FIG. 3A, the recognition data 40 includes a feature data column 41 for storing facial feature data and a height column 43 (pixels) for storing individual heights (pixels). By doing so, the distance between the subject and the camera can be obtained from the height that the recognized height occupies in the imaging range of the CCD 13 and the registered height and the size coefficient of the CCD 13 as described later. The recognition data 40 may be provided with a face size column for storing the vertical size of the face instead of the height column 43. In this case, the distance between the subject and the camera can be obtained from the height that the vertical size of the recognized face occupies in the imaging range of the CCD 13 and the vertical size of the registered face. Further, as shown in FIG. 3B, a face size column 42 for storing the vertical size (pixels) of the face may be included. The recognition database 33 may use a predetermined area of the recording medium 29 as a recording area, or may use a dedicated memory. As the feature data stored in the feature data column 41, for example, the position of each part of the face (eyes, nose, mouth, ear, forehead,...), The size of each part, the angle of each part, The relative relationship between each part of the face can be used.

輪郭抽出部34は、認識部32で認識した顔を基にその人物全体の輪郭を抽出し、輪郭のサイズ情報(高さ、幅)を出力する。人物の輪郭抽出方法は公知の方法(例えば、特開平07−274067号公報や特開2004−297274号公報に記載の輪郭抽出方法)を適宜採用することができる。   The contour extraction unit 34 extracts the contour of the entire person based on the face recognized by the recognition unit 32 and outputs contour size information (height and width). A well-known method (for example, the contour extracting method described in Japanese Patent Application Laid-Open No. 07-274067 and Japanese Patent Application Laid-Open No. 2004-297274) can be appropriately employed as the method for extracting a person's contour.

図4はレンズアドレスと被写界深度を対応付けた被写界深度対応テーブルの一実施例を示す図である。被写界深度は被写体にピントを合わせたときにピントの合ったところだけでなくその前後でシャープに写る範囲であり、レンズの焦点距離、絞り、撮像距離によって変化する。被写界深度対応テーブル50はレンズアドレス51に前側被写界深度52と後側被写界深度53を対応付けてなり、レンズアドレス51はフォーカスレンズ12−2の位置を表す指標であり、前側被写界深度52と後側被写界深度53は図示の例ではメートル単位で表されている。図示の例で、フォーカスレンズ12−2のアドレスが「5」のときは「1.5m」〜「2.00m」の間でピントが合うことを意味し、「6」のときは「1.00m」〜「1.5m」の間でピントが合うことを意味し、・・・、フォーカスレンズ12−2のアドレスが「10」のときは「0.05m」〜「0.15m」の間でピントが合うことを意味する。本実施例では被写界深度対応テーブル50をROM等のプログラム格納メモリに予め格納しておくようにしたが、被写体認識による自動焦点調整プログラムムの定数として自動焦点調整プログラムに含めておくようにしてもよい。   FIG. 4 is a diagram showing an embodiment of a depth-of-field correspondence table in which lens addresses are associated with depth of field. The depth of field is a range in which a subject is sharply captured before and after focusing on the subject, and varies depending on the focal length of the lens, the aperture, and the imaging distance. The depth-of-field correspondence table 50 is formed by associating the front-side depth-of-field 52 and the rear-side depth-of-field 53 with the lens address 51, and the lens address 51 is an index representing the position of the focus lens 12-2. In the illustrated example, the depth of field 52 and the rear depth of field 53 are expressed in units of meters. In the illustrated example, when the address of the focus lens 12-2 is “5”, it means that the focus is between “1.5 m” and “2.00 m”, and when the address is “6”, “1. "00m" to "1.5m" means that the subject is in focus .... When the address of the focus lens 12-2 is "10", between "0.05m" and "0.15m" Means that it is in focus. In this embodiment, the depth-of-field correspondence table 50 is stored in advance in a program storage memory such as a ROM, but is included in the automatic focus adjustment program as a constant of the automatic focus adjustment program based on subject recognition. May be.

図5は本実施形態に係わる被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、デジタルカメラ100に被写体認識による自動焦点調整機能(ステップS4〜ステップS20に相当)を実現させるためのプログラムを説明するためのものである。以下に示す処理は基本的にCPUが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図1〜図5に基いて説明する。なお、以下の各フローチャートでは動画撮像モードを例として説明するが、本発明の適用範囲は動画撮像モードに限定されず、例えば、前述した高速連写モードでの連続撮像画像(高速連写画像)の撮像時にも適用できる。   FIG. 5 is a flowchart showing a control operation at the time of automatic focus adjustment by subject recognition according to the present embodiment, and a program for causing the digital camera 100 to realize an automatic focus adjustment function by subject recognition (corresponding to steps S4 to S20). It is for explaining. The following processing is basically explained by an example in which the CPU executes in accordance with a program stored in a program memory such as a flash memory in advance, but it is not necessary to store all functions in the program memory. You may make it implement | achieve by receiving a part or all through a network. Hereinafter, a description will be given with reference to FIGS. In the following flowcharts, the moving image capturing mode will be described as an example. However, the scope of application of the present invention is not limited to the moving image capturing mode. For example, the continuously captured images (high-speed continuous shooting images) in the high-speed continuous shooting mode described above. It can also be applied during imaging.

図5で、動画撮像モードが選択されると、制御部22はその時点のズーム値に対応した焦点距離でAE処理を実行し、光学系12からの被写体像を基にCCD13から画像データを得ると共に自動ホワイトバランス(AWB)処理により光源の色に対応したホワイトバランスになるようにカラープロセス回路18で調整を施した上で、DMAコントローラ19及びDRAMインターフェイス(I/F)20を介してDRAM21にDMA転送し、DRAM21に取り込んだ画像データから画素数を間引いた映像データ(ビデオスルー画像デー)でVRAM27を書き換えてLCD26にスルー表示する。また、この際、制御部22は距離推計による自動焦点調整機能選択用のメニューをLCD26の画面4の所定領域に表示してユーザに選択を促し、ユーザが距離推計による自動焦点調整機能を選択すると自動焦点調整機能をオンにする(ステップS1)。 In FIG. 5, when the moving image capturing mode is selected, the control unit 22 executes AE processing at a focal length corresponding to the zoom value at that time, and obtains image data from the CCD 13 based on the subject image from the optical system 12. At the same time, the color process circuit 18 adjusts the white balance corresponding to the color of the light source by automatic white balance (AWB) processing, and then the DRAM 21 is connected to the DRAM 21 via the DMA controller 19 and the DRAM interface (I / F) 20. and DMA transfer to the through display on the LCD26 rewrites VRAM27 the video data obtained by thinning the number of pixels from the image data taken in DRAM 21 (video through image data). At this time, the control unit 22 displays a menu for selecting an automatic focus adjustment function by distance estimation in a predetermined area of the screen 26 of the LCD 26 to prompt the user to select, and when the user selects an automatic focus adjustment function by distance estimation. The automatic focus adjustment function is turned on (step S1).

ユーザがシャッターキー8を全押しすると動画撮像を開始すると共に(ステップS2)、自動焦点調整機能がオンか否かを調べ、オンの場合はステップS4に進み、そうでない場合は他の処理(例えば、通常の動画撮像処理)に進む(ステップS3)。   When the user fully presses the shutter key 8, the moving image capturing is started (step S 2), and it is checked whether or not the automatic focus adjustment function is on. If it is on, the process proceeds to step S 4. Then, the process proceeds to a normal moving image capturing process (step S3).

自動焦点調整機能がオンの場合は、制御部22は被写体までの距離Lの計算用パラメータである、焦点距離f、CCD13のサイズ係数n(つまり、1/nインチCCDとして表す場合のn)、およびCCD13の撮像範囲の高さY1(pixels)をセットする。   When the automatic focus adjustment function is on, the controller 22 is a parameter for calculating the distance L to the subject, the focal length f, the size coefficient n of the CCD 13 (that is, n when expressed as 1 / n inch CCD), And the height Y1 (pixels) of the imaging range of the CCD 13 is set.

制御部22は、認識部32を制御して現在スルー表示されている画像(つまり、現在DRAM21に取り込まれている画像データ)中の人物の顔を検出し(ステップS5)、検出した顔の特徴データを抽出する(ステップS6)。なお、図示していないがステップS5で1フレーム分の画像データから顔が検出できない場合(つまり、人物がそのスルー画像のフレームに写っていない場合)は顔が検出されるまで次のフレーム分の画像を取り込んでスルー表示する動作を続けるものとする。また、ステップS5は本発明の被写体検出手段に相当する。   The control unit 22 controls the recognition unit 32 to detect the face of a person in the currently displayed image (that is, the image data currently captured in the DRAM 21) (step S5), and the detected facial features. Data is extracted (step S6). Although not shown, if a face cannot be detected from the image data for one frame in step S5 (that is, if a person is not shown in the frame of the through image), the next frame is detected until the face is detected. It is assumed that the operation of capturing an image and displaying it through is continued. Step S5 corresponds to subject detection means of the present invention.

次に、制御部22は認識データベース33を参照し(ステップS7)、上記ステップS6で検出した顔の特徴データと認識データベース33に登録されている認識データの顔の特徴データ41とを比較し、特徴量の差が所定の閾値以内のとき認識データ登録済みとしてステップS13に進み、そうでない場合はステップS9に進む(ステップS8)。   Next, the control unit 22 refers to the recognition database 33 (step S7), compares the facial feature data detected in step S6 with the facial feature data 41 of the recognition data registered in the recognition database 33, and When the difference between the feature amounts is within a predetermined threshold, the recognition data is registered, and the process proceeds to step S13. Otherwise, the process proceeds to step S9 (step S8).

認識データが登録されていないときは、制御部22は輪郭抽出部34を制御して上記ステップS5で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がCCD中で占める高さY2(pixels)を求め(ステップS9)、1回だけコントラスト式オートフォーカスを行ってその被写体人物までの距離X0を取得し(ステップS10)、上記ステップS4で設定したCCD13のサイズ係数n、CCD13の撮像範囲の高さY1、上記ステップS9で取得した高さY2、上記ステップS10で取得した距離X0を基に人物の身長LをL=X0×(Y2/Y1)×nとして算出し(ステップS11)、上記ステップS6で取得した顔の特徴データと共に認識データを生成して認識データベース33に登録し、ステップS16に進む(ステップS12)。ここで、ステップS9は本発明の撮像サイズ検出手段に相当する。なお、Y1=480ピクセル(pixels)、Y2=400ピクセルとし、身長=180cmと算出された場合のCCD13の撮像範囲での画像イメージを図6に示す。   When the recognition data is not registered, the control unit 22 controls the contour extraction unit 34 to extract the contour of the subject person including the face detected in step S5, and the height occupied by the person's height in the CCD. Y2 (pixels) is obtained (step S9), the contrast autofocus is performed only once to obtain the distance X0 to the subject person (step S10), the size coefficient n of the CCD 13 set in step S4, the CCD 13 The height L of the person is calculated as L = X0 × (Y2 / Y1) × n based on the height Y1 of the imaging range, the height Y2 acquired in step S9, and the distance X0 acquired in step S10 (step S11). ), Recognition data is generated together with the facial feature data acquired in step S6 and registered in the recognition database 33, and the process proceeds to step S16 (step S16) S12). Here, step S9 corresponds to the imaging size detection means of the present invention. FIG. 6 shows an image image in the imaging range of the CCD 13 when Y1 = 480 pixels (pixels), Y2 = 400 pixels, and height = 180 cm.

認識データが登録済みのときは、制御部22は認識データベース33に登録されている身長H(身長データ42)を読み出し(ステップS13)、輪郭抽出部34を制御して上記ステップS5で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がCCD中で占める高さY2を求め(ステップS14)、被写体人物との推計距離Lを算定する(ステップS15)。推計距離Lは、例えば、CCD13の撮像範囲の高さサイズを480ピクセルとしたとき、L={(H×n×f)/11.8}×(Y2/Y1)として算出できる。ここで、Hは実際の身長(=認識データベースに登録されている身長)、fは焦点距離である。ここで、ステップS14、S15は本発明の第1の被写体距離推計手段に相当する。   When the recognition data is already registered, the control unit 22 reads the height H (height data 42) registered in the recognition database 33 (step S13), controls the contour extraction unit 34, and detects the face detected in step S5. The height of Y2 that the person's height occupies in the CCD is obtained (step S14), and the estimated distance L from the subject person is calculated (step S15). The estimated distance L can be calculated as L = {(H × n × f) /11.8} × (Y2 / Y1), for example, when the height size of the imaging range of the CCD 13 is 480 pixels. Here, H is the actual height (= height registered in the recognition database), and f is the focal length. Here, steps S14 and S15 correspond to the first subject distance estimating means of the present invention.

次に、制御部22はAF駆動部11−2を制御して算出された推計距離に該当するレンズステップ位置(=レンズアドレス(図4参照))までフォーカスレンズ12−2を移動させてステップS21に進む(ステップS16)。ステップS16は本発明の第1の合焦位置調整制御手段に相当する。   Next, the control unit 22 controls the AF driving unit 11-2 to move the focus lens 12-2 to the lens step position (= lens address (see FIG. 4)) corresponding to the estimated distance calculated by step S21. (Step S16). Step S16 corresponds to the first focus position adjustment control means of the present invention.

制御部22は、認識部32を制御してCCD13を介してDRAM21に取り込まれる1フレーム分の画像データ中の人物の顔を検出し、ステップS18に進む(ステップS17)。なお、図示していないがステップS18で1フレーム分の画像データから顔が検出できない場合(つまり、人物がそのスルー画像のフレームに写っていない場合)は顔が検出されるまで次のフレーム分の画像を取り込んでスルー表示する動作を続けるものとする。   The control unit 22 controls the recognition unit 32 to detect the face of a person in one frame of image data taken into the DRAM 21 via the CCD 13, and proceeds to step S18 (step S17). Although not shown, if a face cannot be detected from the image data for one frame in step S18 (that is, if a person is not shown in the frame of the through image), the next frame is detected until the face is detected. It is assumed that the operation of capturing an image and displaying it through is continued.

制御部22は、輪郭抽出部34を制御して上記ステップS17で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がCCD中で占める高さY2を求め(ステップS18)、被写体人物との推計距離Lを算出する(ステップS19)。推計距離Lは上記ステップS15の説明で述べたと同様にして算出できる。ここで、ステップS18、S19は本発明の第2の被写体距離推計手段に相当する。   The control unit 22 controls the contour extracting unit 34 to extract the contour of the subject person including the face detected in step S17, and obtains the height Y2 occupied by the person's height in the CCD (step S18). The estimated distance L with the person is calculated (step S19). The estimated distance L can be calculated in the same manner as described in the description of step S15. Here, steps S18 and S19 correspond to the second object distance estimating means of the present invention.

次に、制御部22はAF駆動部11−2を制御して算出された推計距離Lに該当するレンズステップ位置(=レンズアドレス(図4参照))までフォーカスレンズ12−2を移動させて(ステップS20)、CCD13を介してDRAM21に取り込んだ画像データから1フレーム分の動画像データを生成し(ステップ21)、画像バッファに記憶する(ステップS22)。画像バッファとしてDRAM21の所定領域を用いるようにしてもよいし、専用の画像バッファを設けるようにしてもよい。ここで、ステップS20は本発明の第2の合焦位置調整制御手段に相当する。   Next, the control unit 22 moves the focus lens 12-2 to the lens step position (= lens address (see FIG. 4)) corresponding to the estimated distance L calculated by controlling the AF driving unit 11-2 ( In step S20), one frame of moving image data is generated from the image data taken into the DRAM 21 via the CCD 13 (step 21) and stored in the image buffer (step S22). A predetermined area of the DRAM 21 may be used as the image buffer, or a dedicated image buffer may be provided. Here, step S20 corresponds to the second focus position adjustment control means of the present invention.

制御部22は画像バッファが一杯になったか否かを調べ、一杯になった場合はステップS24に進み、そうでない場合はステップS17に戻る(ステップS23)。   The control unit 22 checks whether or not the image buffer is full. If the image buffer is full, the process proceeds to step S24; otherwise, the process returns to step S17 (step S23).

画像バッファが一杯になった場合は、制御部22はデータ圧縮・伸張回路27を制御して動画像データの圧縮処理を行うと共に、メディアコントローラ20を制御して圧縮動画像データを記録メディア29に記録する(ステップS24)。   When the image buffer becomes full, the control unit 22 controls the data compression / decompression circuit 27 to perform the compression processing of the moving image data, and also controls the media controller 20 to transfer the compressed moving image data to the recording medium 29. Recording is performed (step S24).

制御部22はキー入力30からの信号を調べ、ユーザが動画撮像終了操作(例えば、シャッターキー8の全押し)を行った場合は動画撮像を終了し、そうでない場合はステップS17に戻って動画撮像を続行する(ステップS25)。   The control unit 22 examines the signal from the key input 30, and if the user performs a moving image capturing end operation (for example, full-pressing the shutter key 8), the moving image capturing ends, otherwise returns to step S17 to return the moving image. Imaging is continued (step S25).

上記図5のフローチャートに示した動作により、デジタルカメラ100は人物の顔を認識し、その人物像のCCD13の撮像範囲における高さを検出してカメラと被写体人物との推計距離を得てフォーカスレンズを移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮像中に図16に示すようにピントがふらつくようなことが生じない。   Through the operation shown in the flowchart of FIG. 5, the digital camera 100 recognizes the face of a person, detects the height of the person image in the imaging range of the CCD 13, obtains the estimated distance between the camera and the subject person, and obtains the focus lens. Therefore, it is not necessary to scan the lens for converging the lens position to the in-focus position as in the case of the contrast type autofocus, and the focus may fluctuate as shown in FIG. Does not occur.

(変形例1)
上記図5のフローチャートに示した例では、ステップS14若しくはステップS18で抽出した人物の輪郭61が図7に示すようにフレーム内に収まらない場合は身長を基にした被写体人物との距離Lを推計できないこととなる。このような場合には顔62の縦サイズを基に距離Lを推計することができる。この場合、認識データベース33は図3(b)に示すように、顔の特徴データ41、顔の縦サイズ42、および身長43を含む認識データからなるものとする。
(Modification 1)
In the example shown in the flowchart of FIG. 5, if the contour 61 of the person extracted in step S14 or S18 does not fit within the frame as shown in FIG. 7, the distance L to the subject person based on the height is estimated. It will not be possible. In such a case, the distance L can be estimated based on the vertical size of the face 62. In this case, as shown in FIG. 3B, the recognition database 33 is composed of recognition data including face feature data 41, a face vertical size 42, and a height 43.

図8は変形例1に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図8のフローチャートのステップS1〜S14、S16〜S18、S20〜S25の動作は、ステップS11を「・・人物の身長および顔の縦サイズを算出し、」ステップS12で「認識データベースに特徴データと共にステップS11で取得した物の身長および顔の縦サイズを含む認識データを生成して認識データベース33に登録し、ステップS17に進む」と変更する以外は、図5に示したフローチャートのステップS1〜S13、S16〜S18、S20〜S25の動作と同様である。   FIG. 8 is a flowchart showing a control operation at the time of automatic focus adjustment by subject recognition according to the modification 1. The operations of steps S1 to S14, S16 to S18, and S20 to S25 of the flowchart of FIG.・ Calculate the height of the person and the vertical size of the face. ”In step S12,“ Recognition data including the height of the object and the vertical size of the face acquired in step S11 is generated in the recognition database and registered in the recognition database 33. The process is the same as that in steps S1 to S13, S16 to S18, and S20 to S25 in the flowchart shown in FIG.

図8において、ステップS14(若しくはステップS18)で顔を含む被写体人物の輪郭を抽出してその人物の身長がCCD中で占める高さY2を求めたあと(図5参照)、制御部22は高さY2とフレームの縦サイズを比較し、高さY2がフレームの縦サイズを超える場合、つまり、被写体人物の全身像がフレーム内に収まらない場合はステップS15−2に進み、高さY2がフレームの縦サイズ以内の場合はステップS15−5に進む(ステップS15−1)。   In FIG. 8, after extracting the contour of the subject person including the face in step S14 (or step S18) and obtaining the height Y2 that the person's height occupies in the CCD (see FIG. 5), the control unit 22 increases the height. The height Y2 is compared with the vertical size of the frame, and if the height Y2 exceeds the vertical size of the frame, that is, if the whole body image of the subject person does not fit within the frame, the process proceeds to step S15-2. If it is within the vertical size, the process proceeds to step S15-5 (step S15-1).

身長がフレームの縦サイズを超える場合は、制御部22は認識データ40から顔の縦サイズhを読み出し(ステップS15−2)、更に、CCD中で顔の縦サイズが占める高さY3を検出し(ステップS15−3)、高さY3つまり顔サイズを基にして被写体人物との推計距離Lを算出し、ステップS16(若しくはステップS20)に進む(ステップS15−4)。推計距離Lは、例えば、CCD13の撮像範囲の高さサイズを480ピクセルとしたとき、L={(h×n×f)/11.8}×(Y2/Y1)として算出できる。ここで、hは実際の顔の縦サイズ(=認識データベース33に登録されている顔の縦サイズ)、fは焦点距離である。   If the height exceeds the vertical size of the frame, the control unit 22 reads the vertical size h of the face from the recognition data 40 (step S15-2), and further detects the height Y3 occupied by the vertical size of the face in the CCD. (Step S15-3) The estimated distance L to the subject person is calculated based on the height Y3, that is, the face size, and the process proceeds to Step S16 (or Step S20) (Step S15-4). The estimated distance L can be calculated as L = {(h × n × f) /11.8} × (Y2 / Y1), for example, when the height size of the imaging range of the CCD 13 is 480 pixels. Here, h is the actual vertical size of the face (= the vertical size of the face registered in the recognition database 33), and f is the focal length.

身長がフレームの縦サイズ内の場合は、高さY2つまり身長を基にして被写体人物との推計距離Lを算出し、ステップS16(若しくはステップS20)に進む(ステップS15−5)。この場合の推計距離Lは、例えば、CCD13の撮像範囲の高さサイズを480ピクセルとしたとき、L={(H×n×f)/11.8}×(Y2/Y1)として算出できる。ここで、Hは実際の身長(=認識データベース33に登録されている身長)、fは焦点距離である。ここで、ステップS14、S15−1〜S15−5は本発明の第1の被写体距離推計手段に相当し、ステップS18、S19−1〜S19−5の動作はステップS14、S15−1〜S15−5の動作と同様であり、本発明の第2の被写体距離推計手段に相当する。   If the height is within the vertical size of the frame, the estimated distance L from the subject person is calculated based on the height Y2, that is, the height, and the process proceeds to step S16 (or step S20) (step S15-5). The estimated distance L in this case can be calculated as L = {(H × n × f) /11.8} × (Y2 / Y1), for example, when the height size of the imaging range of the CCD 13 is 480 pixels. Here, H is the actual height (= the height registered in the recognition database 33), and f is the focal length. Here, steps S14, S15-1 to S15-5 correspond to the first subject distance estimating means of the present invention, and the operations of steps S18, S19-1 to S19-5 are steps S14, S15-1 to S15-. 5 and corresponds to the second subject distance estimating means of the present invention.

上記図8に示したフローチャートの動作により、動画撮像中に被写体人物が近づきすぎてその全身像がフレーム内に収まらなくなったような場合にも被写体人物との距離Lを推計できるので、近距離の場合も被写体に追従して合焦させることができる。   The operation of the flowchart shown in FIG. 8 allows the distance L to the subject person to be estimated even when the subject person approaches too much during video shooting and the whole body image does not fit in the frame. Even in this case, the subject can be focused and focused.

上記変形例1では被写体人物が近づきすぎてその全身像がフレーム内に収まらなくなったような場合に認識データ40に記憶されている顔のサイズを検出するようにしたが、認識データ40に顔のサイズが登録されていなくても身長が登録されていれば、登録されている身長を基に顔のサイズを得ることができるので、認識された顔のサイズのCCD13の撮影範囲内での高さと身長から取得した顔のサイズから被写体人物とカメラとの距離を算出できる。顔のサイズPは、例えば、登録されている身長をQとすれば、P=Q/Rとして得ることができる。ここで、Rは係数であり、性別や年齢層、若しくは人種によって異なる値にしてもよい。   In the first modification, the face size stored in the recognition data 40 is detected when the subject person is too close to fit the whole body image in the frame. Even if the size is not registered, if the height is registered, the face size can be obtained based on the registered height, so that the height of the recognized face size within the photographing range of the CCD 13 can be obtained. The distance between the subject person and the camera can be calculated from the face size acquired from the height. The face size P can be obtained as, for example, P = Q / R, where Q is the registered height. Here, R is a coefficient, and may be a value that varies depending on gender, age group, or race.

(変形例2)
上記図5のフローチャートに示した例では、被写体人物が1人の場合を例としたが、本発明の被写体認識による自動焦点調整方法は被写体人物が複数の場合にも適用することができる。
図9は被写体人物が複数の場合の自動焦点調整方法の説明図であり、複数の人物のうち最もカメラに近い人に選択的に焦点を合わせる例を示す。図9の例で、人物91、92、93のうちカメラとの距離が2mで最も近い人物92に自動的に焦点を合わせるようにする。具体的には図5のフローチャートのステップS4で複数の顔を抽出した場合は抽出した人数分ステップS5〜S15の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップS16で算出された最も短い推計距離lに該当するレンズステップ位置(=レンズアドレス(図4参照))までフォーカスレンズ12−2を移動させてステップS21に進むようにし、ステップS17では上記ステップS16で合焦したカメラに最も近い人物(つまり、モット裳大写しになっている人物)を抽出するようにする。
(Modification 2)
In the example shown in the flowchart of FIG. 5 above, the case where there is one subject person is taken as an example, but the automatic focus adjustment method by subject recognition of the present invention can also be applied to a case where there are a plurality of subject persons.
FIG. 9 is an explanatory diagram of an automatic focus adjustment method when there are a plurality of subject persons, and shows an example of selectively focusing on a person closest to the camera among a plurality of persons. In the example of FIG. 9, the closest person 92 with a distance of 2 m from the camera among the persons 91, 92, and 93 is automatically focused. Specifically, when a plurality of faces are extracted in step S4 in the flowchart of FIG. 5, the processes of steps S5 to S15 are repeated for the number of people extracted to obtain the distance between each person and the camera, and calculated in step S16. The focus lens 12-2 is moved to the lens step position (= lens address (see FIG. 4)) corresponding to the shortest estimated distance l, and the process proceeds to step S21. In step S17, the camera focused in step S16 is selected. The closest person (that is, the person who is a close-up copy of the Mott) is extracted.

(変形例3)
上記図9に示した例では複数の人物のうち最もカメラに近い人に選択的に焦点を合わせるようにしたが、複数の人物とカメラとの平均的距離に選択的に焦点を合わせるようにしてもよい。例えば、図10に示す人物91、92、93の3人とカメラとの距離をそれぞれ2m、3.3m、4.1mとするとき、カメラとの距離範囲2m〜4.1mができるだけ被写界深度に収まるような位置(=2.7m)に自動的に焦点を合わせるようにする。具体的には、図5のフローチャートのステップS4で複数の顔を抽出した場合は抽出した人数分ステップS5〜S15の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップS15でそれらの距離のうちから更にカメラとの距離範囲(最遠距離と最近距離)を取得し、図4に示したような被写界深度対応テーブル(図4の例では被写界深度対応テーブル50)を参照して、カメラとの距離範囲が被写界深度に収まるようなレンズアドレスを求め、ステップS16でそのレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させてステップS21に進むようにし、ステップS17〜S25でも同様の動作を繰り返すようにする。このようにすることにより、複数の人物のシャープな映像を撮像することができる。
(Modification 3)
In the example shown in FIG. 9, the focus is selectively on the person closest to the camera among the plurality of persons. However, the focus is selectively focused on the average distance between the plurality of persons and the camera. Also good. For example, when the distance between the three persons 91, 92, and 93 shown in FIG. 10 and the camera is 2 m, 3.3 m, and 4.1 m, respectively, the distance range from the camera to 2 m to 4.1 m is as much as possible. The focus is automatically adjusted to a position (= 2.7 m) within the depth. Specifically, when a plurality of faces are extracted in step S4 in the flowchart of FIG. 5, the processes of steps S5 to S15 are repeated for the number of persons extracted to determine the distance between each person and the camera, and in step S15, those distances are determined. A distance range (farthest distance and closest distance) from the camera is further acquired from the distance, and a depth-of-field correspondence table (depth-of-field correspondence table 50 in the example of FIG. 4) as shown in FIG. Referring to the lens address so that the distance range from the camera is within the depth of field, the focus lens 12-2 is moved to the lens step position (= lens address) in step S16, and the process proceeds to step S21. The same operation is repeated in steps S17 to S25. In this way, it is possible to capture sharp images of a plurality of persons.

(変形例4)
上記図5のフローチャートでは、CCD13中で被写体人物の大きさが変化するとそれに基づいて推計距離Lを算出し、直ちにステップS20で、算出された推計距離Lに該当するレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させるようにしたが、直ちにはフォーカスレンズ12−2の移動を行わず、被写界深度から外れそうになった場合に低速でフォーカスレンズの移動を行うようにしてもよい。また、その制御にある程度のヒステリシス特性を持たせるようにしてもよい。
(Modification 4)
In the flowchart of FIG. 5, when the size of the subject person changes in the CCD 13, the estimated distance L is calculated based on the change, and immediately at step S 20, the lens step position (= lens address) corresponding to the calculated estimated distance L. The focus lens 12-2 is moved until the focus lens 12-2 is moved, but the focus lens 12-2 is not moved immediately, and the focus lens is moved at a low speed when the focus lens 12-2 is likely to deviate from the depth of field. Also good. Further, the control may have a certain hysteresis characteristic.

図11は被写体人物の大きさの変化に伴う被写界深度の変化の説明図であり、図11(a)〜図11(c)は被写体人物131の大きさの変化の例、図11(d)〜図11(f)は被写体人物131の変化に応じて変化する被写界深度の例を示す。
図11(a)に示すように被写体人物111とカメラとの距離Lが1.8mとすると距離Lは図11(d)に示すように被写界深度2m〜3m内にある。次に、図11(b)に示すようにカメラ視野内の被写体人物111の大きさが変化して距離L=2.8mになると、距離Lは図11(e)に示すように被写界深度2m〜3mの範囲内にあるが被写体人物131の大きさがこのまま変化すると被写界深度をはみ出しそうである。そこで、図11(c)に示すように距離L=2.8mの時点で距離Lを含む次の被写界深度(図11(f)の被写界深度2.5m〜4.4mのレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させるようにする。
FIG. 11 is an explanatory diagram of changes in the depth of field accompanying changes in the size of the subject person, and FIGS. 11A to 11C are examples of changes in the size of the subject person 131. FIG. 11D shows an example of the depth of field that changes according to the change of the subject person 131.
If the distance L between the subject person 111 and the camera is 1.8 m as shown in FIG. 11A, the distance L is within the depth of field of 2 m to 3 m as shown in FIG. Next, when the size of the subject person 111 in the camera field of view changes as shown in FIG. 11B and the distance L becomes 2.8 m, the distance L becomes the object field as shown in FIG. Although the depth is within a range of 2 m to 3 m, if the size of the subject person 131 changes as it is, the depth of field is likely to protrude. Therefore, as shown in FIG. 11C, the next depth of field including the distance L at the time when the distance L = 2.8 m (lens with depth of field of 2.5 m to 4.4 m in FIG. 11F). The focus lens 12-2 is moved to the step position (= lens address).

図12は変形例4に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図5のステップS20に代えて下記ステップS20−1〜S20−5を設けた例である。   FIG. 12 is a flowchart showing a control operation at the time of automatic focus adjustment by subject recognition according to the modification 4, and is an example in which the following steps S20-1 to S20-5 are provided in place of step S20 in FIG.

図12において、ステップS19で被写体人物とカメラとの推計距離Lが算定されると、制御部22は被写界深度対応テーブル(例えば、図4の被写界深度対応テーブル50)を距離Lでサーチして、距離Lが被写界深度の範囲内(図4の例では前側被写界深度52と後側被写界深度53)の間にあるレンズアドレスを取り出す(ステップS20−1)。   In FIG. 12, when the estimated distance L between the subject person and the camera is calculated in step S19, the control unit 22 refers to the depth of field correspondence table (for example, the depth of field correspondence table 50 of FIG. A search is performed to extract a lens address whose distance L is within the depth of field range (the front depth of field 52 and the rear depth of field 53 in the example of FIG. 4) (step S20-1).

制御部22は被写界深度対応テーブルから取り出したレンズアドレスが複数あるか否かを調べ、複数ある場合はステップS20−6)に進み、1つの場合はステップS20−4に進む(ステップS20−2)。   The control unit 22 checks whether or not there are a plurality of lens addresses extracted from the depth-of-field correspondence table. If there are a plurality of lens addresses, the process proceeds to step S20-6), and in the case of one, the process proceeds to step S20-4 (step S20-). 2).

距離Lが複数組の被写界深度の範囲内の間にある場合は、制御部22は距離Lが前回の距離より増加したか減少したかを調べ、増加した場合(つまり、被写体人物との距離が長くなった場合)はステップS20−4に進み、減少した場合(被写体人物との距離が短くなった場合)はステップS20−5に進む(ステップS20−3)。   If the distance L is within the range of multiple sets of depth of field, the control unit 22 checks whether the distance L has increased or decreased from the previous distance, and if it has increased (that is, When the distance becomes longer, the process proceeds to step S20-4. When the distance decreases (when the distance to the subject person becomes shorter), the process proceeds to step S20-5 (step S20-3).

距離Lが前回の距離より増加した場合は、距離Lが被写界深度の後側被写界深度(図4参照)と最も離れている被写界深度のレンズアドレスを取り出すものとする(ステップS20−4)。例えば、図11(b)に示したように距離L=2.8の場合、図4の被写界深度対応テーブル50をサーチすると被写界深度2m〜3m(レンズアドレス=3)と被写界深度2.5m〜4.4m(レンズアドレス2)の範囲内に距離L=2.8が収まる。このような場合、後側被写界深度と距離Lの差はレンズアドレス3の場合は△D3=3m−2.8m=0.2mとなり、レンズアドレス2の場合は△D2=4.4m−2.8m=1.4mとなる。したがって△D3<△D2となり、図11(c)に示す被写界深度2.5m〜4.4mに対応するレンズアドレス2が取得されることなる。   When the distance L increases from the previous distance, the lens address of the depth of field that is farthest from the rear depth of field (see FIG. 4) is extracted. S20-4). For example, when the distance L = 2.8 as shown in FIG. 11B, searching the depth-of-field correspondence table 50 in FIG. 4 results in a depth of field of 2 m to 3 m (lens address = 3). The distance L = 2.8 falls within the range of the depth of field 2.5 m to 4.4 m (lens address 2). In such a case, the difference between the rear depth of field and the distance L is ΔD3 = 3 m−2.8 m = 0.2 m for the lens address 3, and ΔD2 = 4.4 m− for the lens address 2. 2.8 m = 1.4 m. Therefore, ΔD3 <ΔD2, and the lens address 2 corresponding to the depth of field of 2.5 m to 4.4 m shown in FIG. 11C is acquired.

距離Lが前回の距離より減少した場合は、距離Lが被写界深度の前側被写界深度(図4参照)と最も離れている被写界深度のレンズアドレスを取り出すものとする(ステップS20−5)。例えば、距離L=2.8の場合、図4の被写界深度対応テーブル50をサーチすると被写界深度2m〜3m(レンズアドレス=3)と被写界深度2.5m〜4.4m(レンズアドレス2)の範囲内に距離L=2.8が収まる。このような場合、距離Lと前側被写界深度の差はレンズアドレス3の場合は△D3=2.8m−2m=0.8mとなり、レンズアドレス2の場合は△D2=(2.8−2.5m=0.3mとなる。したがって△D3>△D2となり、被写界深度2.5m〜3mに対応するレンズアドレス3が取得されることなる。   If the distance L has decreased from the previous distance, the lens address of the depth of field that is farthest from the front depth of field (see FIG. 4) of the depth of field is extracted (step S20). -5). For example, when the distance L = 2.8, searching the depth-of-field correspondence table 50 in FIG. 4 searches the depth of field 2 m to 3 m (lens address = 3) and the depth of field 2.5 m to 4.4 m ( The distance L = 2.8 falls within the range of the lens address 2). In such a case, the difference between the distance L and the front side depth of field is ΔD3 = 2.8 m−2 m = 0.8 m in the case of the lens address 3, and ΔD2 = (2.8− in the case of the lens address 2. Therefore, ΔD3> ΔD2, and the lens address 3 corresponding to the depth of field of 2.5 m to 3 m is acquired.

制御部22は、AF駆動部11−2を制御して上記ステップS20−1、S20−4若しくはステップ20−5で取得したレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させてステップS21に進む(ステップS20−6)。   The control unit 22 controls the AF driving unit 11-2 to move the focus lens 12-2 to the lens step position (= lens address) acquired in step S20-1, S20-4, or step 20-5. The process proceeds to step S21 (step S20-6).

上記図12のフローチャートに示すように、被写界深度が少し重複した被写界深度テーブルを用いることにより、ピントの急激な変化が生じないので不自然感がなく、コントラスト方式のオートフォーカスにより動画を撮像する際に生じる「ピントがふらふらする」感じ(図16参照)を低減することができる。   As shown in the flowchart of FIG. 12 above, by using a depth-of-field table in which the depth of field is slightly overlapped, there is no unnatural feeling because there is no sudden change in focus. It is possible to reduce the “smoothness” feeling (see FIG. 16) that occurs when an image is captured.

(実施形態2)
上記実施形態1およびその各変形例では人物のみを被写体とし、顔や身体を自動認識してその縦方向のサイズを基にCCD13中の被写体人物の縦サイズを求め、それを基に被写体との推計距離Lを算出し、算出された推計距離Lに該当するレンズステップ位置にフォーカスレンズ12−2を移動させるようにしたが、本発明はその一部を変更することにより被写体が人物以外の場合にも適用することができる。
(Embodiment 2)
In the first embodiment and the modifications thereof, only a person is a subject, the face and body are automatically recognized, the vertical size of the subject person in the CCD 13 is obtained based on the vertical size, and the subject The estimated distance L is calculated, and the focus lens 12-2 is moved to the lens step position corresponding to the calculated estimated distance L. However, in the present invention, by changing a part of the focus lens 12-2, the subject is other than a person. It can also be applied to.

図13は本実施形態による被写体認識方法の説明図である。本実施形態では動画撮像準備時(図5のステップS1〜S16に相当)にスルー表示される画像中に図示のような枠131(被写体サイズ検出用の指標)を表示し、その大きさを変化させて合焦対象とする被写体132を枠内収めるようにしたあと被写体132までの距離を1回だけ測定し、枠131の像の高さを検出する。また、このとき取得した枠131の縦サイズHを被写体152の縦サイズとして認識データベース33に登録し、撮像時の推計距離算出時に用いるようにする。 FIG. 13 is an explanatory diagram of a subject recognition method according to this embodiment. In this embodiment, a frame 131 (indicator for subject size detection) as shown in the figure is displayed in the through-displayed image at the time of moving image imaging preparation (corresponding to steps S1 to S16 in FIG. 5), and its size is changed. Then, after the subject 132 to be focused is placed within the frame, the distance to the subject 132 is measured only once, and the height of the image of the frame 131 is detected. Also, the vertical size H of the frame 131 acquired at this time is registered in the recognition database 33 as the vertical size of the subject 152, and is used when calculating the estimated distance at the time of imaging.

図14は本実施形態に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図5(および図12)のステップS9、S10〜S12に代えて下記ステップS9−1〜S9−4、およびステップS10〜S12を設けた例である。なお、本実施形態では図5(および図12)のフローチャートのステップS1〜S8、ステップS13〜S25とそれら各ステップの説明において「身長」を「枠の縦サイズ」、「被写体人物」を「被写体」、「顔」を「被写体の特定部分」と読み替えるものとする。また、認識データ40の説明においても「身長」を「枠の縦サイズ」、「被写体人物」を「被写体」、「顔」を「被写体の特定部分」と読み替えるものとする。   FIG. 14 is a flowchart showing a control operation at the time of automatic focus adjustment by subject recognition according to the present embodiment. Steps S9-1 to S9-4 shown below are substituted for steps S9 and S10 to S12 in FIG. 5 (and FIG. 12). , And steps S10 to S12. In this embodiment, in the steps S1 to S8 and steps S13 to S25 in the flowchart of FIG. 5 (and FIG. 12) and the description of each step, “height” is “vertical frame size” and “subject person” is “subject”. ”And“ face ”are read as“ specific part of the subject ”. Also in the description of the recognition data 40, “height” is read as “vertical size of frame”, “subject person” is read as “subject”, and “face” is read as “specific part of subject”.

図14において、ステップS8で認識データが登録されていないと判定されたときは、制御部22は枠131をLD26に表示してユーザに大きさを変化させ、所望の被写体を囲むように促す(ステップS9−1)。   In FIG. 14, when it is determined in step S8 that the recognition data is not registered, the control unit 22 displays the frame 131 on the LD 26 to change the size of the user and prompt the user to surround the desired subject ( Step S9-1).

ユーザはカーソルキー5を用いて枠131の大きさを変化させると共にカメラを移動させて枠131内に所望被写体132が収まるようにするので、制御部22はキー入力部30からの信号を調べ、カーソルキー5の操作に応じてLCD26に表示される枠131の大きさを変化させ(ステップS9−2)、確認操作(この例ではSETキー6の押し下げ)があると(ステップS9−3)、制御部22はその枠の縦サイズがCCD中で占める高さY2(pixels)を求め、ステップS10に進む(ステップS9−4)。ステップS9−2での枠131の拡大/縮小操作は、例えばカーソルキー5を右(>)操作すると所定分枠131を拡大し、カーソルキー5を右(>)操作すると所定分枠131を縮小するようにできる。また、枠131が被写体132に外接する程度まで拡大/縮小操作することが望ましい。   Since the user changes the size of the frame 131 using the cursor key 5 and moves the camera so that the desired subject 132 fits in the frame 131, the control unit 22 examines the signal from the key input unit 30, When the size of the frame 131 displayed on the LCD 26 is changed in accordance with the operation of the cursor key 5 (step S9-2) and there is a confirmation operation (in this example, the SET key 6 is depressed) (step S9-3), The control unit 22 determines the height Y2 (pixels) occupied by the vertical size of the frame in the CCD, and proceeds to step S10 (step S9-4). As for the enlargement / reduction operation of the frame 131 in step S9-2, for example, when the cursor key 5 is operated to the right (>), the predetermined frame 131 is enlarged, and when the cursor key 5 is operated to the right (>), the predetermined frame 131 is reduced. You can do that. Further, it is desirable to perform the enlargement / reduction operation to the extent that the frame 131 circumscribes the subject 132.

次に、制御部22は枠131内に存在する被写体に対し1回だけコントラスト式オートフォーカスを行ってその被写体132までの距離X0を取得し、ステップS11に進み(ステップS10)、上記ステップS4で設定したCCD13のサイズ係数n、CCD13の撮像範囲の高さY1、上記ステップS9−4で取得したCCD13中の被写体像132の高さY2、上記ステップS10で取得した距離X0を基に被写体の縦サイズをL=X0×(Y2/Y1)×nとして算出し(ステップS11)、上記ステップS6で取得した被写体の特徴データと共に認識データを生成して認識データベース33に登録し、ステップS16に進む(ステップS12)。これにより、以降のオートフォーカス(つまり、ステップS17〜S20のオートフォーカス動作)では被写体132の像がCCD13中に占める高さY2のみが推計距離Lの変数となる。   Next, the control unit 22 performs the contrast autofocus only once on the subject existing in the frame 131 to obtain the distance X0 to the subject 132, and proceeds to step S11 (step S10). Based on the set size coefficient n of the CCD 13, the height Y1 of the imaging range of the CCD 13, the height Y2 of the subject image 132 in the CCD 13 acquired in step S9-4, and the distance X0 acquired in step S10, The size is calculated as L = X0 × (Y2 / Y1) × n (step S11), recognition data is generated together with the feature data of the subject acquired in step S6, is registered in the recognition database 33, and the process proceeds to step S16 (step S16). Step S12). Thereby, in the subsequent autofocus (that is, the autofocus operation in steps S17 to S20), only the height Y2 that the image of the subject 132 occupies in the CCD 13 becomes the variable of the estimated distance L.

上記図16のフローチャートに示した動作により、ユーザは動画撮像開始時にスルー表示される画像中所望の被写体の画像を枠で囲むだけでその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させてピントを合わせることができる。   By the operation shown in the flowchart of FIG. 16, the user simply surrounds the image of the desired subject in the through-displayed image at the start of moving image capturing with a frame and follows the movement of the subject to determine the distance between the subject and the camera. Then, the focus lens can be focused by moving the focus lens to a position corresponding to the estimated distance.

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、撮像装置という用語は、デジタルカメラ等の電子カメラのほかやカメラ付き携帯電話機や撮像機能を有する情報機器、映像機器などにも適用し得るものである。   As mentioned above, although several Example of this invention was described, it cannot be overemphasized that this invention is not limited to said each Example, A various deformation | transformation implementation is possible. For example, the term imaging device can be applied to an electronic camera such as a digital camera, a mobile phone with a camera, an information device having an imaging function, a video device, and the like.

本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図である。1 is a diagram illustrating an external appearance of a digital camera as an embodiment of an imaging apparatus according to the present invention. 図1に示したデジタルカメラの電子回路構成の一実施例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of an electronic circuit configuration of the digital camera illustrated in FIG. 1. 認識データベースを構成する認識データの一実施例を示す図である。It is a figure which shows one Example of the recognition data which comprises a recognition database. レンズアドレスと被写界深度を対応付けた被写界深度対応テーブルの一実施例を示す図である。It is a figure which shows one Example of the depth-of-field correspondence table which matched the lens address and the depth of field. 実施形態1に係わる被写体認識による自動焦点調整時の制御動作を示すフローチャートである。6 is a flowchart showing a control operation during automatic focus adjustment by subject recognition according to the first embodiment. CCDの撮像範囲での画像イメージを示す図である。It is a figure which shows the image image in the imaging range of CCD. 人物の大きさがフレーム内に収まらない例を示す図である。It is a figure which shows the example which the magnitude | size of a person does not fit in a flame | frame. 変形例1に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。10 is a flowchart showing a control operation during automatic focus adjustment by subject recognition according to Modification 1. 変形例2に係わる自動焦点調整方法の説明図である。It is explanatory drawing of the automatic focus adjustment method concerning the modification 2. 変形例3に係わる自動焦点調整方法の説明図である。It is explanatory drawing of the automatic focus adjustment method concerning the modification 3. 被写体人物の大きさの変化に伴う被写界深度の変化の説明図である。It is explanatory drawing of the change of the depth of field accompanying the change of the magnitude | size of a to-be-photographed person. 変形例4に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。10 is a flowchart showing a control operation during automatic focus adjustment by subject recognition according to Modification 4. 実施形態2に係わる被写体認識方法の説明図であるFIG. 10 is an explanatory diagram of a subject recognition method according to a second embodiment. 実施形態2に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。10 is a flowchart showing a control operation during automatic focus adjustment by subject recognition according to the second embodiment. 顔エリアをサンプル領域としてコントラストAFを行う場合の説明図である。It is explanatory drawing in the case of performing contrast AF by using a face area as a sample area. コントラスト方式AFで撮像した画像のピント状態の説明図である。It is explanatory drawing of the focus state of the image imaged by contrast method AF.

符号の説明Explanation of symbols

11−2 AF駆動部
12−1 ズームレンズ
12−2 フォーカスレンズ
13 CCD
21 DRAM
22 制御部
26 LCD
27 データ圧縮・伸張部
29 メディアコントローラ
30 記録メディア
32 認識部
33 認識データベース
34 輪郭抽出部
61 被写体人物
62 顔
100 デジタルカメラ
131 被写体
151 枠
11-2 AF Drive Unit 12-1 Zoom Lens 12-2 Focus Lens 13 CCD
21 DRAM
22 Control unit 26 LCD
27 Data compression / decompression unit 29 Media controller 30 Recording medium 32 Recognition unit 33 Recognition database 34 Outline extraction unit 61 Subject person 62 Face 100 Digital camera 131 Subject 151 Frame

Claims (4)

動画を撮像する動画撮像手段と、
前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
前記動画撮像手段によって撮像される動画を表示する動画表示制御手段と、
被写体の指標を表示する指標表示手段と、
前記動画表示制御手段によって表示される動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整するサイズ調整手段と、
前記動画撮像手段によって動画を撮像する際に動画表示制御手段によって表示される画像の中から前記サイズ調整手段によってサイズが調整された指標像を検出する指標像検出手段と、
前記動画撮像手段によって動画を撮像する際に被写体までの距離を測定する距離測定手段と、
前記動画撮像手段によって動画を撮像する際に被写体の特徴データを取得する特徴データ取得手段と、
前記動画撮像手段によって動画を撮像する際に該動画撮像手段の撮像範囲における前記指標像のサイズを取得する撮像サイズ取得手段と、
前記距離測定手段によって測定された前記被写体までの距離及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に前記被写体の実サイズを推計する被写体サイズ推計手段と、
前記特徴データ取得手段によって取得された特徴データ及び前記被写体サイズ推計手段によって推計された被写体の実サイズデータを対応付けて記憶する記憶手段と、
前記動画撮像手段によって動画を撮像する際に前記特徴データ取得手段によって被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離測定手段による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に被写体距離を推計する被写体距離推計手段と、
前記被写体距離推計手段によって推計された被写体距離及び前記距離測定手段により測定された被写体距離に対応する位置にフォーカスレンズを移動する合焦位置調整制御手段と、
を備えたことを特徴とする撮像装置。
A moving image capturing means for capturing a moving image;
Moving image recording means for recording and storing the moving image captured by the moving image capturing means;
Moving image display control means for displaying a moving image captured by the moving image capturing means;
Index display means for displaying the index of the subject;
Size adjusting means for adjusting the size of the index so as to be substantially the same size as the size of a desired subject image in the moving image displayed by the moving image display control means;
Index image detecting means for detecting an index image whose size is adjusted by the size adjusting means from images displayed by the moving picture display control means when capturing a moving image by the moving image capturing means;
Distance measuring means for measuring a distance to a subject when the moving image is picked up by the moving image pickup means;
Feature data acquisition means for acquiring feature data of a subject when the moving image is picked up by the moving image pickup means;
An imaging size acquisition unit that acquires a size of the index image in an imaging range of the video imaging unit when capturing a video by the video imaging unit;
Subject size estimation means for estimating the actual size of the subject based on the distance to the subject measured by the distance measurement means and the size of the index image acquired by the imaging size acquisition means;
Storage means for storing the characteristic data acquired by the characteristic data acquisition means and the actual size data of the subject estimated by the subject size estimation means in association with each other;
When the moving image is picked up by the moving image pickup means, the characteristic data of the subject is acquired by the characteristic data acquisition means, and when the matching characteristic data is stored in the storage means, the distance measurement by the distance measurement means is replaced. Subject distance estimation means for estimating the subject distance based on the actual size stored in association with the feature data and the size of the index image acquired by the imaging size acquisition means ;
Focusing position adjustment control means for moving the focus lens to a position corresponding to the subject distance estimated by the subject distance estimation means and the subject distance measured by the distance measurement means ;
An imaging apparatus comprising:
前記被写体距離推計手段によって推計された被写体距離を含む被写界深度の範囲を示すレンズアドレスが複数存在するときに、該被写体距離が増加したか減少したかを判定する距離増減判定手段を備え、
前記合焦位置調整制御手段は、被写体距離が増加した場合には前記複数のレンズアドレスに対応する被写界深度の後側被写界深度から被写体距離を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動し、被写体距離が減少した場合には、前記被写体距離から前記複数のレンズアドレスに対応する被写界深度の前側被写界深度を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動することを特徴とする請求項1に記載の撮像装置。
A distance increase / decrease determination unit that determines whether the subject distance has increased or decreased when there are a plurality of lens addresses indicating a range of depth of field including the subject distance estimated by the subject distance estimation unit;
When the subject distance increases, the focus position adjustment control unit has a maximum depth of field that is obtained by subtracting the subject distance from the rear depth of field corresponding to the plurality of lens addresses. When the focus lens is moved to the lens address corresponding to, and the subject distance decreases, the value obtained by subtracting the front depth of field of the depth of field corresponding to the plurality of lens addresses from the subject distance is the maximum. The imaging apparatus according to claim 1, wherein the focus lens is moved to a lens address corresponding to a depth of field.
動画撮像時に撮像される動画を表示する工程と、
被写体の指標を表示する工程と、
表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する工程と、
動画を撮像する際に表示される動画像の中から、前記サイズ調整済みの指標を検出する工程と、
動画を撮像する際に被写体までの距離を測定する工程と、
動画を撮像する際に被写体の特徴データを取得する工程と、
動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する工程と、
測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する工程と、
取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する工程と、
動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する工程による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する工程と、
前記被写体距離推計する工程によって推計された被写体距離及び前記距離を測定する工程によって測定された被写体距離に対応する位置にフォーカスレンズを移動する工程と、
を備えたことを特徴とする自動焦点調整方法。
Displaying a moving image captured during moving image capturing;
A process of displaying an index of a subject;
Adjusting the size of the indicator so as to be approximately the same size as the size of a desired subject image in the displayed moving image;
A step of detecting the size-adjusted index from a moving image displayed when capturing a moving image;
Measuring the distance to the subject when capturing a video;
Acquiring feature data of a subject when capturing a video;
Obtaining a size of the index image in an imaging range of the imaging device when capturing a moving image;
Estimating the actual size of the subject based on the measured distance to the subject and the size of the acquired index image;
Storing the acquired feature data and the estimated actual size data of the subject in a storage unit in association with each other;
When the feature data of the subject is acquired when the moving image is captured and the matching feature data is stored in the storage unit, the feature data is associated with the feature data instead of the distance measurement in the step of measuring the distance. Estimating the subject distance based on the stored actual size and the size of the index image;
A step of moving the focus lens to a position corresponding to the subject distance measured by measuring the estimated subject distance and the distance by the step of estimating the object distance,
An automatic focus adjustment method characterized by comprising:
コンピュータに、
動画を撮像する機能と、撮像された動画を記録保存する機能と、撮像される動画を表示する機能と、
被写体の指標を表示する機能と、
表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する機能と、
動画を撮像する際に表示される動画の中から、前記サイズ調整済みの指標像を検出する機能と、
動画を撮像する際に被写体までの距離を測定する機能と、
動画を撮像する際に被写体の特徴データを取得する機能と、
動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する機能と、
測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する機能と、
取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する機能と、
動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する機能による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する機能と、
前記被写体距離推計する機能によって推計された被写体距離及び前記距離を測定する機能によって測定された被写体距離に対応する位置にフォーカスレンズを移動る機能と、
を実行させるプログラム。
On the computer,
A function of capturing a moving image, a function of recording and saving the captured moving image, a function of displaying a captured moving image,
A function to display the index of the subject,
A function of adjusting the size of the indicator so as to be approximately the same size as the size of a desired subject image in the displayed moving image;
From the moving image displayed at the time of capturing a moving, a function of detecting the size adjusted target images,
The ability to measure the distance to the subject when capturing a video;
A function to acquire subject characteristic data when capturing a video;
A function of acquiring the size of the index image in the imaging range of the image sensor when capturing a moving image;
A function of estimating the actual size of the subject based on the measured distance to the subject and the size of the acquired index image;
A function of storing the acquired feature data and the estimated actual size data of the subject in a storage unit in association with each other;
When feature data of a subject is acquired when capturing a moving image and matching feature data is stored in the storage unit, the feature data is associated with the feature data instead of the distance measurement by the function of measuring the distance. A function for estimating the subject distance based on the stored actual size and the size of the index image;
And ability to move the focus lens to a position corresponding to the subject distance measured by the ability to measure the estimated subject distance and the distance by the ability to estimate the object distance,
A program that executes
JP2006076382A 2006-03-20 2006-03-20 Imaging apparatus, automatic focus adjustment method, and program Expired - Fee Related JP4839908B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006076382A JP4839908B2 (en) 2006-03-20 2006-03-20 Imaging apparatus, automatic focus adjustment method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006076382A JP4839908B2 (en) 2006-03-20 2006-03-20 Imaging apparatus, automatic focus adjustment method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011022225A Division JP5375846B2 (en) 2011-02-04 2011-02-04 Imaging apparatus, automatic focus adjustment method, and program

Publications (2)

Publication Number Publication Date
JP2007249132A JP2007249132A (en) 2007-09-27
JP4839908B2 true JP4839908B2 (en) 2011-12-21

Family

ID=38593449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006076382A Expired - Fee Related JP4839908B2 (en) 2006-03-20 2006-03-20 Imaging apparatus, automatic focus adjustment method, and program

Country Status (1)

Country Link
JP (1) JP4839908B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP2009271161A (en) * 2008-05-01 2009-11-19 Seiko Epson Corp Image projection device and image projection method
JP2010219597A (en) * 2009-03-13 2010-09-30 Omron Corp Solid-state image pickup device
JP2010243843A (en) * 2009-04-07 2010-10-28 Fujifilm Corp Autofocus system
WO2012099175A1 (en) * 2011-01-18 2012-07-26 富士フイルム株式会社 Auto focus system
JP5440532B2 (en) * 2011-03-24 2014-03-12 カシオ計算機株式会社 Image capturing apparatus and program
JP5865120B2 (en) * 2012-02-27 2016-02-17 株式会社ザクティ Electronic camera
CN107766834B (en) * 2017-11-01 2023-09-26 北京蓝海华业工程技术有限公司 Face recognition method and system
CN114764180B (en) * 2020-12-31 2023-10-27 深圳中科飞测科技股份有限公司 Focusing method and focusing system for object to be measured, device and storage medium
CN117950544A (en) * 2024-02-02 2024-04-30 广东保伦电子股份有限公司 Screen size adjusting method adaptive to user height and display screen

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274067A (en) * 1994-03-31 1995-10-20 Toshiba Corp Human body picture background synthesis device
JP3939828B2 (en) * 1996-09-26 2007-07-04 ペンタックス株式会社 Multi-point automatic focus detection device
FI103001B (en) * 1997-06-13 1999-03-31 Nokia Corp A method for generating an image to be transmitted at a terminal and a terminal
JP2000092354A (en) * 1998-09-09 2000-03-31 Casio Comput Co Ltd Focusing notice method and image pickup device
JP2000165734A (en) * 1998-09-24 2000-06-16 Ricoh Co Ltd Automatic focus controller and method for automatically controlling focus
JP2001215403A (en) * 2000-02-01 2001-08-10 Canon Inc Image pickup device and automatic focus detection method
JP5011625B2 (en) * 2001-09-06 2012-08-29 株式会社ニコン Imaging device
JP2003107335A (en) * 2001-09-28 2003-04-09 Ricoh Co Ltd Image pickup device, automatic focusing method, and program for making computer execute the method
JP4183536B2 (en) * 2003-03-26 2008-11-19 富士フイルム株式会社 Person image processing method, apparatus and system
JP4196714B2 (en) * 2003-04-15 2008-12-17 株式会社ニコン Digital camera
JP4254467B2 (en) * 2003-10-10 2009-04-15 株式会社ニコン Digital camera
JP2005323015A (en) * 2004-05-07 2005-11-17 Nikon Gijutsu Kobo:Kk Digital camera
JP2006018246A (en) * 2004-06-03 2006-01-19 Canon Inc Imaging apparatus and imaging method
JP4644883B2 (en) * 2006-02-27 2011-03-09 富士フイルム株式会社 Imaging device

Also Published As

Publication number Publication date
JP2007249132A (en) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4839908B2 (en) Imaging apparatus, automatic focus adjustment method, and program
JP4645685B2 (en) Camera, camera control program, and photographing method
JP4577252B2 (en) Camera, best shot shooting method, program
US8089527B2 (en) Image capturing apparatus, image capturing method and storage medium
TWI399082B (en) Display control device, display control method and program
JP4973098B2 (en) Image processing apparatus, image processing method, and program
JP5050465B2 (en) Imaging apparatus, imaging control method, and program
US20120200760A1 (en) Imaging apparatus and method for controlling the imaging apparatus
JP5375846B2 (en) Imaging apparatus, automatic focus adjustment method, and program
JP2007215091A (en) Imaging apparatus and program therefor
JP4802884B2 (en) Imaging apparatus, captured image recording method, and program
JP4640198B2 (en) Electronic camera, multi-point simultaneous focusing frame display method, and program
JP5266701B2 (en) Imaging apparatus, subject separation method, and program
JP4992215B2 (en) Imaging apparatus and program
JP2009124644A (en) Image processing device, imaging device, and image reproduction device
JP2009290819A (en) Photographing device, photography control program, and image reproducing device and image reproducing program
JP5168320B2 (en) Camera, best shot shooting method, program
JP2007228453A (en) Imaging apparatus, reproduction device, program, and storage medium
JP4609315B2 (en) Imaging device, method of displaying angle frame at zoom, and program
JP2008172395A (en) Imaging apparatus and image processing apparatus, method, and program
JP4157003B2 (en) Image processing device
JP5267645B2 (en) Imaging apparatus, imaging control method, and program
JP2013081136A (en) Image processing apparatus, and control program
JP5170217B2 (en) Camera, camera control program, and photographing method
JP2010262326A (en) Photographed image processing apparatus, photographed image processing program, and photographed image processing method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110919

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees