JP5407373B2 - Imaging apparatus and program - Google Patents

Imaging apparatus and program Download PDF

Info

Publication number
JP5407373B2
JP5407373B2 JP2009021254A JP2009021254A JP5407373B2 JP 5407373 B2 JP5407373 B2 JP 5407373B2 JP 2009021254 A JP2009021254 A JP 2009021254A JP 2009021254 A JP2009021254 A JP 2009021254A JP 5407373 B2 JP5407373 B2 JP 5407373B2
Authority
JP
Japan
Prior art keywords
image
focusing
subject
unit
latest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009021254A
Other languages
Japanese (ja)
Other versions
JP2010176061A (en
Inventor
加奈子 中野
健 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009021254A priority Critical patent/JP5407373B2/en
Publication of JP2010176061A publication Critical patent/JP2010176061A/en
Application granted granted Critical
Publication of JP5407373B2 publication Critical patent/JP5407373B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮影装置に関し、特に、焦点を合わせる撮影装置に関する。   The present invention relates to a photographing apparatus, and more particularly, to a photographing apparatus for focusing.

従来、デジタルカメラは、一般的に、焦点を自動的に合わせるオートフォーカス(以下、AFと略記する)機能を有している。そのオートフォーカスの方法としては、従来から、コントラスト検出方式が広く用いられている。このコントラスト検出方式では、AF評価値を合焦位置(焦点が合うときのフォーカスレンズの位置)の判断に用いている。このAF評価値とは、焦点が合っている度合いを示す評価値である。デジタルカメラは、撮像素子から得られる画像の高周波成分または画像上の近接画素の輝度差の成分をAF評価値としている。   Conventionally, a digital camera generally has an autofocus (hereinafter abbreviated as AF) function for automatically focusing. Conventionally, a contrast detection method has been widely used as an autofocus method. In this contrast detection method, the AF evaluation value is used to determine the in-focus position (the position of the focus lens when focused). This AF evaluation value is an evaluation value indicating the degree of focus. In a digital camera, an AF evaluation value is a high-frequency component of an image obtained from an image sensor or a luminance difference component of adjacent pixels on the image.

デジタルカメラは、フォーカスレンズを光軸方向に進退させながら、フォーカスレンズが各レンズ位置にあるとき撮影した被写体の各画像データのAF評価値を順次取得する。そして、AF評価値が最も大きくなったときのフォーカスレンズのレンズ位置に、フォーカスレンズを停止させて合焦動作を完了させている。   The digital camera sequentially acquires AF evaluation values of each image data of a subject photographed when the focus lens is at each lens position while moving the focus lens forward and backward in the optical axis direction. Then, the focus lens is stopped at the lens position of the focus lens when the AF evaluation value becomes the largest, and the focusing operation is completed.

しかしながら、合焦動作によってデジタルカメラが被写体に焦点を合わせても、その後に被写体が移動して被写体までの距離が変化してしまうと、移動後の被写体に焦点が合わなくなる。   However, even when the digital camera focuses on the subject by the focusing operation, if the subject moves and the distance to the subject changes after that, the subject after the movement cannot be focused.

そこで、合焦動作を連続的に再起動させることにより、被写体に常時焦点を合わせておくコンティニュアスオートフォーカス(以下、「コンティニュアスAF」と略記する)モードを設定可能なデジタルカメラがある。コンティニュアスAFによれば、被写体が移動しても合焦動作を再起動するので、動く被写体にも常時焦点を合わせることができる。   Therefore, there is a digital camera capable of setting a continuous autofocus (hereinafter abbreviated as “continuous AF”) mode in which the subject is always focused by continuously restarting the focusing operation. . According to the continuous AF, since the focusing operation is restarted even when the subject moves, it is possible to always focus on the moving subject.

このコンティニュアスAFモードにおいてコントラスト検出方式で合焦動作を再起動させる方式としては、フォーカスレンズを移動させる合焦動作を一旦終えてから、一定の時間間隔(例えば5秒)で、無条件に合焦動作を再起動させてフォーカスレンズを再び移動させる方式がある。   In this continuous AF mode, as a method of restarting the focusing operation by the contrast detection method, the focusing operation for moving the focus lens is temporarily ended and then unconditionally at a fixed time interval (for example, 5 seconds). There is a method of restarting the focusing operation and moving the focus lens again.

しかしながら、コンティニュアスAF方式により合焦動作を再起動させる従来の方式には、以下の問題がある。一定の時間間隔で合焦動作を再起動させる従来の方式では、前回の合焦動作における合焦状態(焦点が合っている状態)が維持されているか否かに関わらず、無条件で合焦動作が再起動される。このため、前回の合焦動作における合焦状態が維持されている場合に合焦動作が再起動されると、無駄なフォーカスレンズの移動が行われることになる。さらには、合焦動作中にモータなどの駆動手段により無駄なフォーカスレンズの移動が行われると、消費電流が増加して電池の寿命が短くなってしまう。   However, the conventional method of restarting the focusing operation by the continuous AF method has the following problems. In the conventional method in which the focusing operation is restarted at regular time intervals, focusing is performed unconditionally regardless of whether or not the focusing state (in-focus state) in the previous focusing operation is maintained. The operation is restarted. For this reason, if the focusing operation is restarted when the in-focus state in the previous focusing operation is maintained, useless movement of the focus lens is performed. Furthermore, if the focus lens is moved unnecessarily by driving means such as a motor during the focusing operation, the current consumption increases and the battery life is shortened.

そこで、特許文献1に記載の技術は、コンティニュアスAFモードの設定時には、ライブビュー表示のために所定時間ごとに得られる最新画像と、その直前の画像である前回画像との相関値に基づいて、フレーミングの変化と主被写体の移動とを検出する(図7等参照)。そして、特許文献1に記載の技術は、シャッタボタンが半押し状態であると判断されたときに合焦動作を実行しておき、そこからフレーミングの変化や主被写体の移動が検知されない限り、合焦動作を再起動しないようにしている。   Therefore, the technique described in Patent Document 1 is based on the correlation value between the latest image obtained every predetermined time for live view display and the previous image that is the immediately preceding image when the continuous AF mode is set. Thus, a change in framing and a movement of the main subject are detected (see FIG. 7 and the like). The technique described in Patent Document 1 performs a focusing operation when it is determined that the shutter button is in a half-pressed state, and unless a change in framing or movement of the main subject is detected therefrom, the focusing operation is performed. The focus is not restarted.

特許文献1に記載の技術では、フレーミングの変化や主被写体の移動が検知された場合に限って合焦動作を再起動させるため、コンティニュアスAF方式における無駄な合焦動作を防止できる。   In the technique described in Patent Document 1, since the focusing operation is restarted only when a change in framing or a movement of the main subject is detected, it is possible to prevent useless focusing operation in the continuous AF method.

特開2003−244520号公報JP 2003-244520 A

ところで、合焦動作が実行されて被写体が一旦合焦されれば、その後にフレーミングが変化しても、フレーミングの変化の前後で被写体までの距離が同じままであれば、合焦動作を再起動せずとも合焦状態が維持される。   By the way, once the focusing operation is performed and the subject is focused once, if the distance to the subject remains the same before and after the framing change even if the framing changes after that, the focusing operation is restarted Even if not, the in-focus state is maintained.

しかしながら、特許文献1に記載の技術では、フレーミングが変化した場合には常に合焦動作を再起動するため、無駄な合焦動作をいまだ十分に防止できないという問題がった。   However, the technique described in Patent Document 1 has a problem in that a wasteful focus operation cannot be sufficiently prevented because the focus operation is always restarted whenever framing changes.

そこで、本発明の目的は、無駄な合焦動作を防止することにある。   Therefore, an object of the present invention is to prevent useless focusing operation.

上記目的を達成するために、本発明は、撮影装置であって、被写体の画像を撮影する撮影手段と、被写体に焦点を合わせる合焦動作を行う合焦手段と、前記撮影手段により撮影された画像の周辺領域の最新画像と過去画像の輝度の差と、前記画像の中央領域の最新画像と過去画像の輝度の差とを算出する類似度算出手段と、前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断された場合に、前記合焦手段を再起動させず、その他の場合は前記合焦手段を再起動させる合焦制御手段と、を備え、前記合焦制御手段は、前記撮影装置を動かしながら前記撮影手段により連続的に撮影されている場合に、前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断されることを特徴とする撮影装置とした。 In order to achieve the above object, the present invention is a photographing apparatus, which is photographed by a photographing means for photographing an image of a subject, a focusing means for performing a focusing operation for focusing on the subject, and the photographing means. Similarity calculation means for calculating the difference in brightness between the latest image in the peripheral area of the image and the past image, and the difference in brightness between the latest image in the center area of the image and the brightness of the past image, and the focusing means focuses on the subject. The difference between the brightness of the latest image of the peripheral area and the past image calculated by the similarity calculation unit after being matched is equal to or greater than a first threshold, and the similarity is determined after the focusing unit focuses on the subject. When it is determined that the difference in brightness between the latest image of the central area calculated by the calculation unit and the past image is smaller than a second threshold value, the focusing unit is not restarted . In other cases, the focusing is not performed . Focusing system to restart the means And means, wherein the focusing control means, wherein when it is continuously shot by the imaging means while moving the imaging device, the difference in luminance of the latest image and the past image of the peripheral region is first The photographing apparatus is characterized in that it is determined that the difference in luminance between the latest image and the past image in the central area is smaller than a second threshold value, which is equal to or greater than a threshold value.

本発明によれば、被写体に焦点を合わせた後に算出された周辺領域の第1の類似度が第1の閾値以上であり、かつ前記合焦手段が被写体に焦点を合わせた後に算出された中央領域の第2の類似度が第2の閾値より小さい場合には、合焦手段に合焦動作を行わせないようにした。これにより、中央領域の被写体に一旦焦点を合わせた後には、撮影範囲が変化した場合であっても、中央領域の第2の類似度が第2の閾値より小さいために中央領域の被写体までの距離が変化していないと判断される場合には、合焦動作が再起動されない。そのため、本発明によれば、無駄な合焦動作を防止するができる。   According to the present invention, the first similarity of the peripheral area calculated after focusing on the subject is equal to or greater than the first threshold, and the center calculated after the focusing means focuses on the subject. When the second similarity of the area is smaller than the second threshold, the focusing means is not allowed to perform the focusing operation. As a result, even after the focus is once adjusted on the subject in the central area, the second similarity in the central area is smaller than the second threshold value even if the shooting range is changed. If it is determined that the distance has not changed, the focusing operation is not restarted. Therefore, according to the present invention, useless focusing operation can be prevented.

本実施形態に係る撮影装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on this embodiment. 周辺領域と中央領域の一例を示す図である。It is a figure which shows an example of a peripheral area | region and a center area | region. 本実施形態に係る撮影処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the imaging | photography process which concerns on this embodiment. 本実施形態において撮影される被写体像を示す図である。It is a figure which shows the to-be-photographed object image image | photographed in this embodiment.

以下、図面に基づき、本発明の一実施形態に係る撮影装置100について説明する。   Hereinafter, based on the drawings, a photographing apparatus 100 according to an embodiment of the present invention will be described.

<撮影装置の構成>
図1は、本実施形態に係る撮影装置100の機能的構成を示すブロック図である。図1を用いて、本実施形態に係る撮影装置100の構成を説明する。撮影装置100は、デジタルカメラなどにより構成することができる。
<Configuration of photographing apparatus>
FIG. 1 is a block diagram illustrating a functional configuration of the imaging apparatus 100 according to the present embodiment. The configuration of the photographing apparatus 100 according to the present embodiment will be described with reference to FIG. The photographing apparatus 100 can be configured by a digital camera or the like.

撮影装置100においては、フォーカスレンズ11と、レンズ制御部12と、レンズ駆動部13と、絞り兼シャッタ14と、絞り兼シャッタ制御部15と、絞り兼シャッタ駆動部16と、撮像素子17と、前処理部18と、画像処理部19と、制御部20と、ROM22と、操作部23と、表示部24と、記録媒体25と、が電気的に接続されている。   In the photographing apparatus 100, the focus lens 11, the lens control unit 12, the lens driving unit 13, the diaphragm / shutter 14, the diaphragm / shutter control unit 15, the diaphragm / shutter driving unit 16, the image sensor 17, The preprocessing unit 18, the image processing unit 19, the control unit 20, the ROM 22, the operation unit 23, the display unit 24, and the recording medium 25 are electrically connected.

フォーカスレンズ11は、被写体像を撮像素子17の受光面に結像させるための光学レンズである。フォーカスレンズ11が光軸方向に移動させられることによって、撮像素子17の受光面に結像される被写体像の焦点の調整がなされる。   The focus lens 11 is an optical lens for forming a subject image on the light receiving surface of the image sensor 17. By moving the focus lens 11 in the optical axis direction, the focus of the subject image formed on the light receiving surface of the image sensor 17 is adjusted.

レンズ制御部12は、制御部20による制御に従って、レンズ駆動部13を制御する。具体的には、レンズ制御部12は、レンズ駆動部13を制御することにより、レンズ駆動部13にフォーカスレンズ11を光軸方向に進退させる。これにより、フォーカスレンズ11の位置が変化するので焦点が調節される。レンズ駆動部13は、ステッピングモータなどで構成される。レンズ制御部12は、レンズ駆動部13を制御する制御回路などで構成される。   The lens control unit 12 controls the lens driving unit 13 according to control by the control unit 20. Specifically, the lens control unit 12 controls the lens driving unit 13 to cause the lens driving unit 13 to advance and retract the focus lens 11 in the optical axis direction. Thereby, since the position of the focus lens 11 changes, the focus is adjusted. The lens driving unit 13 is configured by a stepping motor or the like. The lens control unit 12 includes a control circuit that controls the lens driving unit 13.

絞り兼シャッタ14は、機械式のシャッタとして機能するとともに、撮像素子17へ入射する被写体像の光量を調節する絞りとしても機能する機構である。   The aperture / shutter 14 is a mechanism that functions as a mechanical shutter and also functions as an aperture that adjusts the amount of light of the subject image incident on the image sensor 17.

絞り兼シャッタ制御部15は、制御部20による制御に従って、絞り兼シャッタ駆動部16を駆動させる。具体的には、絞り兼シャッタ制御部15は、制御部20による制御に従って絞り兼シャッタ駆動部16を制御することにより、絞り兼シャッタ駆動部16に絞り兼シャッタ14を開閉させる。また、絞り兼シャッタ制御部15は、制御部20による制御に従って絞り兼シャッタ駆動部16を制御することにより、絞り兼シャッタ駆動部16に絞り兼シャッタ14の絞りを調節させる。   The aperture / shutter controller 15 drives the aperture / shutter driver 16 in accordance with control by the controller 20. Specifically, the aperture / shutter controller 15 controls the aperture / shutter driver 16 according to the control of the controller 20 to cause the aperture / shutter driver 16 to open and close the aperture / shutter 14. Further, the diaphragm / shutter controller 15 controls the diaphragm / shutter driver 16 according to the control of the controller 20, thereby causing the diaphragm / shutter driver 16 to adjust the diaphragm of the diaphragm / shutter 14.

撮像素子17は、フォーカスレンズ11から入射されて受光面に結像した被写体像を光電変換(撮影)する素子である。撮像素子17の受光面には、光電変換素子であるフォトダイオードが行列状に配置されており、これらフォトダイオードが撮像素子17の各画素を構成している。撮像素子17は、制御部20による制御に従って、所定時間毎に被写体像を光電変換して蓄積し、蓄積した電気信号をアナログ信号として順次出力する。撮像素子17は、CCD(Charge Coupled Device)などから構成される。   The image sensor 17 is an element that photoelectrically converts (photographs) a subject image that is incident from the focus lens 11 and formed on the light receiving surface. Photodiodes as photoelectric conversion elements are arranged in a matrix on the light receiving surface of the image sensor 17, and these photodiodes constitute each pixel of the image sensor 17. The image sensor 17 photoelectrically converts and accumulates subject images at predetermined time intervals under the control of the control unit 20, and sequentially outputs the accumulated electrical signals as analog signals. The image sensor 17 is composed of a CCD (Charge Coupled Device) or the like.

前処理部18は、撮像素子から供給されたアナログ信号に対し、相関二重サンプリング処理、利得制御処理、A/D(Analog/Digital)変換処理などの各種前処理を施して、8ビットのディジタル信号を生成して出力する。ディジタル信号は、0〜255の範囲の輝度(階調値)を示す。   The preprocessing unit 18 performs various preprocessing such as correlated double sampling processing, gain control processing, A / D (Analog / Digital) conversion processing, etc., on the analog signal supplied from the image pickup device, thereby performing 8-bit digital processing. Generate and output a signal. The digital signal shows luminance (gradation value) in the range of 0 to 255.

画像処理部19は、前処理部18から供給されたディジタル信号に対し、ホワイトバランス制御処理、γ補正処理、輝度信号処理、色分離処理などの画像処理を施して、輝度信号と色差信号とが重畳した画像データを生成する。この画像データにより被写体像が表現される。また、画像処理部19は、シャッタボタンが全押し操作されたときは、比較的高画質の画像を示す大容量の画像データを生成する。一方、画像処理部20は、ライブビュー画像を表示するときは、比較的低画質の画像を示す小容量の画像データを生成する。画像処理部19は、例えば、DSP(Digital Signal Processor)、ROM及びRAMなどから構成される。   The image processing unit 19 performs image processing such as white balance control processing, γ correction processing, luminance signal processing, and color separation processing on the digital signal supplied from the preprocessing unit 18 to generate a luminance signal and a color difference signal. Generate superimposed image data. A subject image is represented by this image data. In addition, when the shutter button is fully pressed, the image processing unit 19 generates a large amount of image data indicating a relatively high quality image. On the other hand, when displaying the live view image, the image processing unit 20 generates small-capacity image data indicating a relatively low-quality image. The image processing unit 19 includes, for example, a DSP (Digital Signal Processor), a ROM, and a RAM.

制御部20は、撮影装置100全体の動作を制御する。制御部20は、例えば、CPU(Central Processing Unit)などから構成される。また、制御部20は、画像メモリ20a、類似度算出部20b、AF評価部20cとしての機能を有する。   The control unit 20 controls the operation of the entire photographing apparatus 100. The control unit 20 includes, for example, a CPU (Central Processing Unit). The control unit 20 also functions as an image memory 20a, a similarity calculation unit 20b, and an AF evaluation unit 20c.

画像メモリ20aは、画像処理部19から順次供給された画像データを、最新の60フレーム分だけ循環的に記憶するバッファメモリである。   The image memory 20a is a buffer memory that cyclically stores image data sequentially supplied from the image processing unit 19 for the latest 60 frames.

類似度算出部20bは、画像メモリ20aに記憶されている画像データにより表現されるライブビュー画像から、当該画像データにより表現される画像における周辺領域Cの類似度E1(第1の類似度)と、中央領域Sの類似度E2(第2の類似度)とを算出する。 The similarity calculation unit 20b calculates the similarity E1 (first similarity) of the peripheral area C in the image expressed by the image data from the live view image expressed by the image data stored in the image memory 20a. Then, the similarity E2 (second similarity) of the central region S is calculated.

図2は、周辺領域Cと中央領域Sの一例を説明するための図である。図2には、本実施形態において生成されたライブビュー画像の一例である画像30が示されている。理解を容易にするため、画像30には、主要な被写体は何も写っていないものとする。   FIG. 2 is a diagram for explaining an example of the peripheral region C and the central region S. FIG. 2 shows an image 30 that is an example of a live view image generated in the present embodiment. In order to facilitate understanding, it is assumed that the main subject is not shown in the image 30.

制御部20は、図2に示されるように、ライブビュー画像(画像30)における周辺領域Cとして、左上領域C1、右上領域C2、左下領域C3、右下領域C4を設定する。つまり、本実施形態においては、こ左上領域C1、右上領域C2、左下領域C3、右下領域C4が周辺領域Cを構成する。そして、左上領域C1の左上の頂点は、ライブビュー画像の撮影範囲を規定する外枠(以下、単に「外枠」という)の左上の頂点に一致する。また、右上領域C2の右上の頂点は、ライブビュー画像の外枠の右上の頂点に一致する。また、左下領域C3の左下の頂点は、ライブビュー画像の外枠の左下の頂点に一致する。また、右下領域C4の右下の頂点は、ライブビュー画像の外枠の右下の頂点に一致する。   As shown in FIG. 2, the control unit 20 sets an upper left region C1, an upper right region C2, a lower left region C3, and a lower right region C4 as the peripheral region C in the live view image (image 30). That is, in the present embodiment, the upper left region C1, the upper right region C2, the lower left region C3, and the lower right region C4 constitute the peripheral region C. The upper left vertex of the upper left area C1 coincides with the upper left vertex of an outer frame (hereinafter simply referred to as “outer frame”) that defines the shooting range of the live view image. Also, the upper right vertex of the upper right region C2 matches the upper right vertex of the outer frame of the live view image. In addition, the lower left vertex of the lower left region C3 matches the lower left vertex of the outer frame of the live view image. Also, the lower right vertex of the lower right region C4 matches the lower right vertex of the outer frame of the live view image.

また、制御部20は、図2に示されるように、ライブビュー画像(画像30)において中央領域S1を設定する。中央領域Sの中心は、ライブビュー画像の中心と一致する。   In addition, as illustrated in FIG. 2, the control unit 20 sets a central region S1 in the live view image (image 30). The center of the central area S coincides with the center of the live view image.

以下、本実施形態におけるライブビュー画像(画像30)の大きさは、横640画素×縦480ラインであるものとして説明する。画像30においては、左上領域C1、右上領域C2、左下領域C3、右下領域C4、中央領域S1のそれぞれの大きさは、213画素×160ラインで等しい。しかし、これらの各領域の大きさは互いに異なるものであってもよい。また、各領域の大きさは、213画素×160ラインに限らない。   In the following description, it is assumed that the size of the live view image (image 30) in the present embodiment is 640 pixels wide × 480 lines vertical. In the image 30, the sizes of the upper left area C1, the upper right area C2, the lower left area C3, the lower right area C4, and the central area S1 are equal to 213 pixels × 160 lines. However, the sizes of these regions may be different from each other. The size of each area is not limited to 213 pixels × 160 lines.

類似度算出部20bは、最新画像と過去画像との間において、周辺領域C1〜C4の類似度E1、中央領域S1の類似度E2を求める。ここで、最新画像とは、画像処理部19により生成された最も新しい画像データ(時間的に最も最後に生成された画像データ)により表現される画像である。過去画像とは、最新画像を表現する画像データよりも過去(例えば5フレーム分前)に、画像処理部19により生成された画像データにより表現される画像である。つまり、過去画像とは、最新画像よりも過去に撮影された画像である。   The similarity calculation unit 20b obtains the similarity E1 of the peripheral areas C1 to C4 and the similarity E2 of the central area S1 between the latest image and the past image. Here, the latest image is an image represented by the newest image data generated by the image processing unit 19 (image data generated last in time). The past image is an image expressed by image data generated by the image processing unit 19 in the past (for example, five frames before) the image data expressing the latest image. That is, the past image is an image taken in the past than the latest image.

類似度算出部20bは、左上領域C1の類似度Ec1を、例えば下記式(1)によって算出することができる。

Figure 0005407373
ただし、上記式において、A(i,j)(1≦i≦213,1≦j≦160)は、最新画像における左上領域C1を構成する各画素の輝度である。B(i,j)(1≦i≦213,1≦j≦160)は、過去画像における左上領域C1を構成する各画素の輝度である。なお、ライブビュー画像の左上の頂点に位置する画素の座標を(1,1)とし、ライブビュー画像の右下の頂点に位置する画素の座標を(640,480)とした。変数iと変数jとの組合せが、ライブビュー画像上の画素の座標を定める。 The similarity calculation unit 20b can calculate the similarity Ec1 of the upper left region C1 by, for example, the following formula (1).
Figure 0005407373
In the above equation, A (i, j) (1 ≦ i ≦ 213, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the upper left region C1 in the latest image. B (i, j) (1 ≦ i ≦ 213, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the upper left region C1 in the past image. The coordinates of the pixel located at the upper left vertex of the live view image are (1, 1), and the coordinates of the pixel located at the lower right vertex of the live view image are (640, 480). The combination of the variable i and the variable j determines the coordinates of the pixel on the live view image.

類似度算出部は20bは、右上領域C2の類似度Ec2を、例えば下記式(2)によって算出することができる。

Figure 0005407373
ただし、上記式において、A(i,j)(427≦i≦640,1≦j≦160)は、最新画像における右上領域C2を構成する各画素の輝度である。B(i,j)(427≦i≦640,1≦j≦160)は、過去画像における右上領域C2を構成する各画素の輝度である。 The similarity calculation unit 20b can calculate the similarity Ec2 of the upper right region C2 by, for example, the following equation (2).
Figure 0005407373
In the above expression, A (i, j) (427 ≦ i ≦ 640, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the upper right region C2 in the latest image. B (i, j) (427 ≦ i ≦ 640, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the upper right region C2 in the past image.

類似度算出部20bは、左下領域C3の類似度Ec3を、例えば下記式(3)によって算出することができる。

Figure 0005407373
ただし、上記式において、A(i,j)(1≦i≦213,321≦j≦480)は、最新画像における左下領域C3を構成する各画素の輝度である。B(i,j)(1≦i≦213,321≦j≦480)は、過去画像における左下領域C3を構成する各画素の輝度である。 The similarity calculation unit 20b can calculate the similarity Ec3 of the lower left region C3 by, for example, the following formula (3).
Figure 0005407373
In the above expression, A (i, j) (1 ≦ i ≦ 213, 321 ≦ j ≦ 480) is the luminance of each pixel constituting the lower left region C3 in the latest image. B (i, j) (1 ≦ i ≦ 213, 321 ≦ j ≦ 480) is the luminance of each pixel constituting the lower left region C3 in the past image.

類似度算出部20bは、右下領域C4の類似度Ec4を、例えば下記式(4)によって算出することができる。

Figure 0005407373
ただし、上記式において、A(i,j)(1≦i≦213,1≦j≦160)は、最新画像における右下領域C4を構成する各画素の輝度である。B(i,j)(1≦i≦213,1≦j≦160)は、過去画像における右下領域C4を構成する各画素の輝度である。 The similarity calculation unit 20b can calculate the similarity Ec4 of the lower right region C4 by, for example, the following formula (4).
Figure 0005407373
In the above expression, A (i, j) (1 ≦ i ≦ 213, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the lower right region C4 in the latest image. B (i, j) (1 ≦ i ≦ 213, 1 ≦ j ≦ 160) is the luminance of each pixel constituting the lower right region C4 in the past image.

類似度算出部20bは、各領域C1〜C4の類似度の平均値を、周辺領域Cの類似度E1として算出する。類似度算出部20bは、周辺領域Cの類似度E1を、例えば下記式(5)によって算出することができる。
E1=(Ec1+Ec2+Ec3+Ec4)/4 (5)
The similarity calculation unit 20b calculates the average value of the similarities of the regions C1 to C4 as the similarity E1 of the peripheral region C. The similarity calculation unit 20b can calculate the similarity E1 of the peripheral region C by, for example, the following formula (5).
E1 = (Ec1 + Ec2 + Ec3 + Ec4) / 4 (5)

類似度算出部20bは、中央領域Sの類似度E2を、例えば下記式(6)によって算出することができる。

Figure 0005407373
ただし、上記式において、A(i,j)(214≦i≦426,161≦j≦320)は、最新画像における中央領域Sを構成する各画像の輝度である。B(i,j)(214≦i≦426,161≦j≦320)は、過去画像における中央領域Sを構成する各画素の輝度である。 The similarity calculation unit 20b can calculate the similarity E2 of the central region S by, for example, the following formula (6).
Figure 0005407373
In the above expression, A (i, j) (214 ≦ i ≦ 426, 161 ≦ j ≦ 320) is the luminance of each image constituting the central region S in the latest image. B (i, j) (214 ≦ i ≦ 426, 161 ≦ j ≦ 320) is the luminance of each pixel constituting the central region S in the past image.

また、類似度算出部20bは、各領域の類似度E(第1の類似度、並びに第2の類似度)を、下記式(7)によっても算出することができる。

Figure 0005407373

各領域の類似度E(第1の類似度、並びに第2の類似度)は、A(i,j)とB(i,j)の差分に相当する値の総和であれば何でもよい。 Further, the similarity calculation unit 20b can also calculate the similarity E 1 (first similarity and second similarity) of each region by the following equation (7).

Figure 0005407373

The similarity E (first similarity and second similarity) of each region may be anything as long as it is the sum of values corresponding to the difference between A (i, j) and B (i, j).

ここで、A(i,j)とB(i,j)の差が小さい、つまり最新画像と過去画像とで同じ位置にある各画素の輝度の差が小さいということは、両者が類似しているということを示している。即ち、上記算出方法では、類似度E(第1の類似度、並びに第2の類似度)の値が小さいほど、最新画像と過去画像とにおいて、各領域の類似度がそれぞれ大きくなる。一方、A(i,j)とB(i,j)の差が大きいということは、両者が類似していないということを示している。即ち、上記算出方法では、類似度E(第1の類似度、並びに第2の類似度)の値が大きいほど、最新画像と過去画像とにおいて、各領域の類似度がそれぞれ小さくなる。 Here, the difference between A (i, j) and B (i, j) is small, that is, the difference in luminance between the pixels at the same position in the latest image and the past image is small. It shows that there is. That is, in the above calculation method, the smaller the value of the similarity E 1 (the first similarity and the second similarity) , the greater the similarity between the regions in the latest image and the past image. On the other hand, a large difference between A (i, j) and B (i, j) indicates that they are not similar. That is, in the above calculation method, as the similarity E 1 (the first similarity and the second similarity) increases, the similarity between the regions in the latest image and the past image decreases.

周辺領域Cの類似度E1が所定の閾値Eth1以上の場合には、最新画像の周辺領域Cには、過去画像の周辺領域Cに写っていた被写体とは異なる被写体が写っていると考えられる。この場合、制御部20は、過去画像の撮影時点から最新画像の撮影時点までの間に、フレーミングである撮影範囲が変化したと判断する。一方、周辺領域Cの類似度E1が所定の閾値Eth1より小さい場合には、最新画像の周辺領域Cには、過去画像の周辺領域Cに写っていた被写体と同じ被写体が写っていると考えられる。この場合、制御部20は、過去画像の撮影時点から最新画像の撮影時点までの間に撮影範囲が変化していないと判断する。なお、所定の閾値Eth1は、周辺領域Cの被写体が変化したと良好に判断できる値(実験値など)とする。   When the similarity E1 of the peripheral area C is equal to or greater than the predetermined threshold Eth1, it is considered that a subject different from the subject that was captured in the peripheral area C of the past image is captured in the peripheral area C of the latest image. In this case, the control unit 20 determines that the shooting range that is framing has changed between the shooting time of the past image and the shooting time of the latest image. On the other hand, when the similarity E1 of the peripheral region C is smaller than the predetermined threshold Eth1, it is considered that the same subject as the subject shown in the peripheral region C of the past image is captured in the peripheral region C of the latest image. . In this case, the control unit 20 determines that the shooting range has not changed between the shooting time of the past image and the shooting time of the latest image. Note that the predetermined threshold Eth1 is a value (such as an experimental value) that can be satisfactorily determined that the subject in the peripheral area C has changed.

また、中央領域Sの類似度E2が所定の閾値Eth2以上の場合には、過去画像の中央領域Sに写っていた被写体が最新画像の撮影時点では中央領域Sの外に移動しているか、または、過去画像の撮影時点から最新画像の撮影時点までの間に、過去画像の中央領域Sに写っていた被写体の大きさが変化していないと考えられる。この場合、制御部20は、過去画像の中央領域Sに存在した被写体までの距離が、過去画像の撮影時点から最新画像の撮影時点までの間に変化したと判断する。一方、中央領域Sの類似度E2が所定の閾値Eth2より小さい場合には、過去画像の中央領域Sと最新画像の中央領域Sとには、同じ被写体が同程度の大きさで写っていると考えられる。この場合、制御部20は、過去画像の中央領域Sに存在した被写体までの距離が、過去画像の撮影時点から最新画像の撮影時点までの間に変化していないと判断する。なお、所定の閾値Eth2は、実際に合焦動作の再起動が良好に作用する値(実験値など)とする。   When the similarity E2 of the central region S is equal to or greater than the predetermined threshold Eth2, the subject that was captured in the central region S of the past image has moved out of the central region S at the time of shooting the latest image, or It is considered that the size of the subject shown in the central area S of the past image has not changed between the time of shooting the past image and the time of shooting the latest image. In this case, the control unit 20 determines that the distance to the subject existing in the central region S of the past image has changed between the time when the past image was taken and the time when the latest image was taken. On the other hand, when the similarity E2 of the central region S is smaller than the predetermined threshold Eth2, the same subject is shown in the same size in the central region S of the past image and the central region S of the latest image. Conceivable. In this case, the control unit 20 determines that the distance to the subject existing in the central region S of the past image has not changed from the time when the past image was taken to the time when the latest image was taken. The predetermined threshold Eth2 is a value (such as an experimental value) at which the reactivation of the focusing operation actually works well.

ここで、合焦動作が実行されて合焦状態が一旦確保されれば、その後に撮影範囲が変化した場合であっても、一旦合焦された被写体までの距離が変化していない場合には、合焦動作を再起動する必要はない。そして、コンティニュアスAFモードも含めて多くの場合、最初に一旦合焦される被写体は撮影範囲の中央に写る被写体である。そこで、本実施形態においては、制御部20は、合焦動作が実行されて中央領域Sに写る被写体が合焦されると、その後に撮影範囲が変化したと判断した場合であっても、中央領域Sに写る被写体までの距離が変化していないと判断した場合には、合焦動作を再起動しないようにしている。これにより、撮影範囲が変化した場合においても、無駄な合焦動作を防止できる。また、無駄な合焦動作を防止できるので、合焦動作に要する電力を低減して電池寿命を長くすることができる。   Here, if the in-focus state is executed and the in-focus state is once secured, even if the shooting range is changed after that, the distance to the subject once in focus has not changed. There is no need to restart the focusing operation. In many cases including the continuous AF mode, the subject that is first focused is the subject that appears in the center of the shooting range. Therefore, in the present embodiment, when the focus operation is performed and the subject in the central area S is focused, the control unit 20 can determine whether the shooting range has changed afterwards. When it is determined that the distance to the subject in the region S has not changed, the focusing operation is not restarted. Thereby, even when the shooting range changes, it is possible to prevent useless focusing operation. Moreover, since useless focusing operation can be prevented, the power required for the focusing operation can be reduced and the battery life can be extended.

図1に戻り、AF評価部20cは、コントラスト検出方式による合焦動作を行う。この合焦動作に際して、AF評価部20cは、画像メモリ20aに記憶された画像データの輝度信号から高周波成分であるAF評価値を算出する。そして、AF評価部20cは、レンズ制御部12を介してレンズ駆動部13を制御することにより、レンズ駆動部13にフォーカスレンズ11を光軸方向に進退させて、算出されるAF評価値が最も高くなるレンズ位置でフォーカスレンズ11を停止させる。   Returning to FIG. 1, the AF evaluation unit 20c performs a focusing operation by a contrast detection method. In this focusing operation, the AF evaluation unit 20c calculates an AF evaluation value that is a high-frequency component from the luminance signal of the image data stored in the image memory 20a. Then, the AF evaluation unit 20c controls the lens driving unit 13 via the lens control unit 12 to cause the lens driving unit 13 to advance and retract the focus lens 11 in the optical axis direction, and the calculated AF evaluation value is the highest. The focus lens 11 is stopped at the higher lens position.

RAM21は、CPU20が各処理を実行する際にワーキングエリアとして機能する。RAM21は、DRAM(Dynamic Random Access Memory)などから構成される。   The RAM 21 functions as a working area when the CPU 20 executes each process. The RAM 21 is composed of a DRAM (Dynamic Random Access Memory) or the like.

ROM22は、撮影装置100が図3に示される各処理やAF処理を実行するのに必要なプログラムやデータを記憶する。ROM22は、フラッシュメモリなどから構成される。制御部20は、RAM21をワーキングエリアとして、ROM22に記憶されているプログラムとの協働により各処理を実行する。   The ROM 22 stores programs and data necessary for the photographing apparatus 100 to execute each process and AF process shown in FIG. The ROM 22 is composed of a flash memory or the like. The control unit 20 executes each process in cooperation with a program stored in the ROM 22 using the RAM 21 as a working area.

操作部23は、ユーザから各種のキー操作を受け付ける。操作部23は、電源ボタン、シャッタボタン、ズームボタン、カーソルキー、決定ボタン、メニューボタンなどを備える。操作部23は、ユーザから受け付けた各種のキー操作を示す信号を制御部20に供給する。シャッタボタンは、合焦動作を指示するための半押し操作と、撮影(画像データの記録)を指示するための全押し操作とをユーザから受け付けることが可能な構成である。制御部20は、操作部23からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。   The operation unit 23 receives various key operations from the user. The operation unit 23 includes a power button, a shutter button, a zoom button, a cursor key, a determination button, a menu button, and the like. The operation unit 23 supplies signals indicating various key operations received from the user to the control unit 20. The shutter button has a configuration capable of receiving from the user a half-press operation for instructing a focusing operation and a full-press operation for instructing shooting (recording of image data). When the control unit 20 receives these signals from the operation unit 23, the control unit 20 executes processing based on the received signals.

表示部24は、画像処理部19により生成された画像データにより表現される画像などを表示する。表示部24は、液晶ディスプレイやその駆動回路などから構成される。   The display unit 24 displays an image represented by the image data generated by the image processing unit 19. The display unit 24 includes a liquid crystal display and a drive circuit thereof.

記録媒体25は、画像処理部19により生成された画像データを記録する。記録媒体24は、撮影装置100に着脱可能な半導体メモリカードなどから構成される。   The recording medium 25 records the image data generated by the image processing unit 19. The recording medium 24 includes a semiconductor memory card that can be attached to and detached from the photographing apparatus 100.

<撮影装置の動作>
図3は、本実施形態に係る撮影装置100の撮影処理における動作を示すフローチャートである。図3を用いて、撮影装置100が実行する撮影処理を説明する。
<Operation of the photographing device>
FIG. 3 is a flowchart showing an operation in the photographing process of the photographing apparatus 100 according to the present embodiment. A photographing process executed by the photographing apparatus 100 will be described with reference to FIG.

図4は、本実施形態において撮影装置100の撮影範囲に写る被写体像40の様子の一例を示す図である。本実施形態においては、ユーザが撮影装置100を自身の手によって構えて撮影を行うものとする。そして、ユーザが撮影を望む被写体M(以下、主要被写体Mという)は移動する場合があるものとする。このため、例えば、ユーザが主要被写体Mの動きに追従するように撮影装置100を動かすと、撮影範囲に写る被写体像40の様子が変化する。   FIG. 4 is a diagram illustrating an example of a state of the subject image 40 that appears in the shooting range of the shooting apparatus 100 in the present embodiment. In the present embodiment, it is assumed that the user performs photographing while holding the photographing apparatus 100 with his / her hand. Then, it is assumed that the subject M that the user desires to shoot (hereinafter referred to as the main subject M) may move. For this reason, for example, when the user moves the photographing apparatus 100 so as to follow the movement of the main subject M, the state of the subject image 40 in the photographing range changes.

図3に戻り、ユーザの電源ボタンの操作により撮影装置100に電源が投入されると、撮影装置100は、ROM22に記憶されているプログラムをRAM21に読み出して、このプログラムとの協働により図3のフローチャートにより示される撮像処理を開始する。   Returning to FIG. 3, when the photographing apparatus 100 is turned on by the user operating the power button, the photographing apparatus 100 reads the program stored in the ROM 22 into the RAM 21 and cooperates with this program in FIG. 3. The imaging process shown by the flowchart of FIG.

まずステップS1において、制御部20は、ライブビュー表示を開始する。具体的には、制御部20は、撮像素子14を制御して撮影範囲に写る被写体像40を撮影させる。そして、制御部20は、画像処理部19を制御してライブビュー画像を生成させ、生成したライブビュー画像を表示部24に表示させる処理を開始する。以降、制御部20は、画像処理部19から順次供給される画像データを表示部24に順次供給することによりライブビュー画像を表示させる。上述の通り、画像処理部19が生成するライブビュー画像の大きさは、640画素×480ラインである。   First, in step S1, the control unit 20 starts live view display. Specifically, the control unit 20 controls the image sensor 14 to capture the subject image 40 that appears in the imaging range. Then, the control unit 20 controls the image processing unit 19 to generate a live view image, and starts processing to display the generated live view image on the display unit 24. Thereafter, the control unit 20 displays the live view image by sequentially supplying the image data sequentially supplied from the image processing unit 19 to the display unit 24. As described above, the size of the live view image generated by the image processing unit 19 is 640 pixels × 480 lines.

次にステップS2において、制御部20は、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。具体的には、制御部20は、操作部23からのシャッタボタン半押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。制御部20は、シャッタボタンが半押し操作されていないと判断した場合(ステップS2:NO)、ステップSA2に処理を戻してライブビュー表示を継続する。一方、制御部20は、シャッタボタンが半押し操作されていると判断した場合(ステップS2:YES)、ステップSA3に処理を進める。   Next, in step S2, the control unit 20 determines whether or not the shutter button is half-pressed by the user. Specifically, the control unit 20 determines whether the shutter button is half-pressed by the user by monitoring a signal corresponding to the half-press operation of the shutter button from the operation unit 23. When it is determined that the shutter button has not been pressed halfway (step S2: NO), the control unit 20 returns the process to step SA2 and continues the live view display. On the other hand, when it is determined that the shutter button is half-pressed (step S2: YES), the control unit 20 advances the process to step SA3.

次にステップS3において、制御部20は、コントラスト検出方式の合焦動作(AF動作)を行う。本実施形態においては、1回目のステップS3の処理の時点では、AF枠Fの領域内に主要被写体Mが存在しているものとする。合焦動作に際して、制御部20におけるAF評価部20cは、画像メモリ20aに記憶された画像データにおけるAF枠F内の領域からAF評価値を算出する。そして、AF評価部20cは、レンズ制御部12を介してレンズ駆動部13を制御することにより、レンズ駆動部13にフォーカスレンズ11を光軸方向に進退させて、算出されるAF評価値が最も高くなるレンズ位置でフォーカスレンズ11を停止させる。これにより、1回目の合焦動作によって主要被写体Mにピントが合った状態となる。なお、本実施形態においては、図4に示されるように、AF枠Fの位置とその領域の大きさは、中央領域Sの位置と大きさと同じものとする。   Next, in step S3, the control unit 20 performs a focusing operation (AF operation) of a contrast detection method. In the present embodiment, it is assumed that the main subject M exists in the area of the AF frame F at the time of the first processing in step S3. During the focusing operation, the AF evaluation unit 20c in the control unit 20 calculates an AF evaluation value from an area in the AF frame F in the image data stored in the image memory 20a. Then, the AF evaluation unit 20c controls the lens driving unit 13 via the lens control unit 12 to cause the lens driving unit 13 to advance and retract the focus lens 11 in the optical axis direction, and the calculated AF evaluation value is the highest. The focus lens 11 is stopped at the higher lens position. Thus, the main subject M is brought into focus by the first focusing operation. In the present embodiment, as shown in FIG. 4, the position of the AF frame F and the size of the area are the same as the position and size of the central area S.

次にステップS4において、制御部20は、最新画像と過去画像とを取得する。具体的には、制御部20が、画像メモリ20aに記憶されている最新画像と過去画像を取得し、取得した最新画像と過去画像とを類似度算出部21bに供給する。   Next, in step S4, the control unit 20 acquires the latest image and the past image. Specifically, the control unit 20 acquires the latest image and the past image stored in the image memory 20a, and supplies the acquired latest image and the past image to the similarity calculation unit 21b.

次にステップS5において、制御部20は、周辺領域Cの類似度E1と中央領域Sの類似度E2とを算出する。具体的に、制御部20における類似度算出部20bが、直前のステップS4で取得された最新画像と過去画像を用いて、上記式(1)〜(6)に従って、周辺領域Cの類似度E1と中央領域Sの類似度E2とを算出する。なお、図4に示される被写体像40を表現するライブビュー画像においても、周辺領域C1〜C4と中央領域Sの大きさは、それぞれ画像30上のものと大きさと同じ213画素×160ラインである。   Next, in step S5, the control unit 20 calculates the similarity E1 of the peripheral region C and the similarity E2 of the central region S. Specifically, the similarity calculation unit 20b in the control unit 20 uses the latest image and the past image acquired in the immediately preceding step S4, and the similarity E1 of the peripheral region C according to the above formulas (1) to (6). And the similarity E2 of the central region S are calculated. In the live view image representing the subject image 40 shown in FIG. 4, the sizes of the peripheral areas C1 to C4 and the central area S are 213 pixels × 160 lines, which are the same as those on the image 30, respectively. .

次にステップS6において、制御部20は、撮影範囲が変化したか否かを判断する。具体的に、制御部20が、直前のステップS5の処理により算出された周辺領域Cの類似度E1と閾値Eth1との大小関係を判断することにより、撮影範囲が変化したか否かを判断する。制御部20は、直前のステップS5の処理により算出された周辺領域Cの類似度E1が閾値Eth1より小さい場合、撮影範囲が変化していないと判断して(ステップS6:NO)、ステップS7に処理を進める。一方、制御部20は、直前のステップS5の処理により算出された周辺領域Cの類似度E1が閾値Eth1以上である場合、撮影範囲が変化したと判断して(ステップS6:YES)、ステップS8に処理を進める。   Next, in step S6, the control unit 20 determines whether or not the shooting range has changed. Specifically, the control unit 20 determines whether or not the shooting range has changed by determining the magnitude relationship between the similarity E1 of the surrounding area C calculated by the process of the immediately preceding step S5 and the threshold Eth1. . When the similarity E1 of the peripheral area C calculated by the process of immediately preceding step S5 is smaller than the threshold Eth1, the control unit 20 determines that the shooting range has not changed (step S6: NO), and proceeds to step S7. Proceed with the process. On the other hand, when the similarity E1 of the peripheral area C calculated by the process of immediately preceding step S5 is equal to or greater than the threshold Eth1, the control unit 20 determines that the shooting range has changed (step S6: YES), and step S8. Proceed with the process.

ステップS7において、制御部20は、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したか否かを判断する。具体的に、制御部20が、直前のステップS5の処理により算出された中央領域Sの類似度E2と閾値Eth2との大小関係を判断することにより、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したか否かを判断する。制御部20は、直前のステップS5の処理により算出された中央領域Sの類似度E2が閾値Eth2より小さい場合、撮像装置100から主要被写体Mまでの光軸方向の距離が変化していないと判断して(ステップS7:NO)、合焦動作を再び行うことなくステップS9に処理を進める。一方、制御部20は、直前のステップS5の処理により算出された中央領域Sの類似度E2が閾値Eth2以上である場合、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したと判断して(ステップS7:YES)、ステップS2に処理を戻す。   In step S <b> 7, the control unit 20 determines whether or not the distance in the optical axis direction from the imaging device 100 to the main subject M has changed. Specifically, the control unit 20 determines the magnitude relationship between the similarity E2 of the central region S calculated by the process of the immediately preceding step S5 and the threshold Eth2, and thereby the optical axis from the imaging device 100 to the main subject M is determined. It is determined whether the direction distance has changed. The control unit 20 determines that the distance in the optical axis direction from the imaging device 100 to the main subject M has not changed when the similarity E2 of the central region S calculated by the processing in the previous step S5 is smaller than the threshold Eth2. (Step S7: NO), the process proceeds to Step S9 without performing the focusing operation again. On the other hand, when the similarity E2 of the central region S calculated by the process of immediately preceding step S5 is equal to or greater than the threshold Eth2, the control unit 20 determines that the distance in the optical axis direction from the imaging device 100 to the main subject M has changed. Judgment is made (step S7: YES), and the process returns to step S2.

ステップS8において、制御部20は、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したか否かを判断する。具体的に、制御部20が、直前のステップS5の処理により算出された中央領域Sの類似度E2と閾値Eth2との大小関係を判断することにより、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したか否かを判断する。制御部20は、直前のステップS5の処理により算出された中央領域Sの類似度E2が閾値Eth2より小さい場合、撮像装置100から主要被写体Mまでの光軸方向の距離が変化していないと判断して(ステップS8:NO)、合焦動作を再び行うことなくステップS9に処理を進める。一方、制御部20は、直前のステップS5の処理により算出された中央領域Sの類似度E2が閾値Eth2以上である場合、撮像装置100から主要被写体Mまでの光軸方向の距離が変化したと判断して(ステップS8:YES)、ステップS2に処理を戻す。   In step S8, the control unit 20 determines whether or not the distance in the optical axis direction from the imaging device 100 to the main subject M has changed. Specifically, the control unit 20 determines the magnitude relationship between the similarity E2 of the central region S calculated by the process of the immediately preceding step S5 and the threshold Eth2, and thereby the optical axis from the imaging device 100 to the main subject M is determined. It is determined whether the direction distance has changed. The control unit 20 determines that the distance in the optical axis direction from the imaging device 100 to the main subject M has not changed when the similarity E2 of the central region S calculated by the processing in the previous step S5 is smaller than the threshold Eth2. (Step S8: NO), the process proceeds to Step S9 without performing the focusing operation again. On the other hand, when the similarity E2 of the central region S calculated by the process of immediately preceding step S5 is equal to or greater than the threshold Eth2, the control unit 20 determines that the distance in the optical axis direction from the imaging device 100 to the main subject M has changed. Judgment is made (step S8: YES), and the process is returned to step S2.

ステップS7またはステップS8からステップS2に処理が戻ると、ユーザがシャッタボタンの半押し操作を継続している限り(ステップS2:YES)、再度のステップS3の処理により制御部20が合焦動作を再び実行して、AF枠F内の被写体領域に再び焦点を合わせる。   When the process returns from step S7 or step S8 to step S2, as long as the user continues to press the shutter button halfway (step S2: YES), the control unit 20 performs the focusing operation again by the process of step S3. Execute again to focus on the subject area within the AF frame F again.

一方、ステップS9において、制御部20は、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。具体的には、制御部20は、操作部23からのシャッタボタン全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。制御部20は、シャッタボタンが全押し操作されていないと判断した場合(ステップS9:NO)、ステップS4に処理を戻す。一方、制御部20は、シャッタボタンが全押し操作されていると判断した場合(ステップS9:YES)、ステップS10に処理を進める。   On the other hand, in step S9, the control unit 20 determines whether or not the shutter button is fully pressed by the user. Specifically, the control unit 20 determines whether or not the shutter button is fully pressed by the user by monitoring a signal corresponding to the shutter button full press operation from the operation unit 23. When it is determined that the shutter button has not been fully pressed (step S9: NO), the control unit 20 returns the process to step S4. On the other hand, when it is determined that the shutter button has been fully pressed (step S9: YES), the control unit 20 advances the process to step S10.

次にステップS10において、制御部20は、撮影を実行する。具体的には、制御部20は、絞り兼シャッタ制御部15を制御することにより、絞り兼シャッタ駆動部16に絞り兼シャッタ14を開閉させる。これにより、撮像素子17が被写体像を撮影して電気信号を蓄積し、前処理部18がこの電気信号からディジタル信号を生成する。そして、制御部20は、画像処理部19に、ディジタル信号から画像データを生成させて、生成した画像データをJPEG方式で圧縮させる。そして、制御部20は、圧縮された画像データを記録媒体25に記録させる。   Next, in step S10, the control unit 20 executes photographing. Specifically, the control unit 20 controls the aperture / shutter control unit 15 to cause the aperture / shutter drive unit 16 to open and close the aperture / shutter 14. As a result, the image sensor 17 captures a subject image and accumulates an electrical signal, and the preprocessing unit 18 generates a digital signal from the electrical signal. Then, the control unit 20 causes the image processing unit 19 to generate image data from the digital signal, and compresses the generated image data using the JPEG method. Then, the control unit 20 records the compressed image data on the recording medium 25.

制御部20は、ステップS10の処理の後、図3のフローチャートに示される処理を終了させる。   After the process of step S10, the control unit 20 ends the process shown in the flowchart of FIG.

以上説明したように、本実施形態に係る撮像装置100は、合焦動作が実行されて中央領域S(AF枠F)にいた主要被写体Mが一旦合焦されれば、その後に撮影範囲が変化したと判断された場合であっても、中央領域S(AF枠F)にいた主要被写体Mまでの距離が変化していないと判断される場合には、合焦動作を再起動しないようにしている。これにより、撮影範囲が変化した場合においても、無駄な合焦動作を防止できる。また、無駄な合焦動作を防止できるので、合焦動作に要する電力を低減して電池寿命を長くすることができる。   As described above, in the imaging apparatus 100 according to the present embodiment, once the main subject M in the central area S (AF frame F) is focused once the focusing operation is performed, the imaging range changes thereafter. If it is determined that the distance to the main subject M in the central area S (AF frame F) has not changed even if it is determined that the focus operation has been performed, the focusing operation is not restarted. Yes. Thereby, even when the shooting range changes, it is possible to prevent useless focusing operation. Moreover, since useless focusing operation can be prevented, the power required for the focusing operation can be reduced and the battery life can be extended.

本実施形態においては、最新画像と過去画像との間における輝度の変化を類似度として算出した。しかし、最新画像と過去画像との間における被写体の動きを動きベクトルとして検出し、この検出された動きベクトルを類似度として算出してもよい。この場合、動きベクトルの検出方法としては公知の検出方法を用いればよい。   In the present embodiment, the change in luminance between the latest image and the past image is calculated as the similarity. However, the motion of the subject between the latest image and the past image may be detected as a motion vector, and the detected motion vector may be calculated as the similarity. In this case, a known detection method may be used as the motion vector detection method.

本実施形態においては、撮影された画像の4隅の領域(C1〜C4)を周辺領域とした。しかし、例えば、撮影された画像において、中央領域Sを除いた残りの領域を周辺領域としてもよい。また、撮影された画像の4隅の領域(C1〜C4)のうち1つの領域(例えば周辺領域C1)のみを周辺領域としてもよい。また、撮影された画像の4隅の領域(C1〜C4)のうち2つまたは3つの領域のみを周辺領域としてもよい。
In this embodiment, the four corner areas (C1 to C4) of the captured image are defined as the peripheral area C. However, for example, in the captured image, the remaining area excluding the central area S may be set as the peripheral area C. Further, only one area (for example, the peripheral area C1) of the four corner areas (C1 to C4) of the captured image may be set as the peripheral area C. Further, only two or three of the four corner regions (C1 to C4) of the captured image may be used as the peripheral region C.

本実施形態においては、最新画像と過去画像との間における各領域(C1〜C4,S)を構成する画素毎の輝度差の総和を、各領域の類似度として算出した。しかし、最新画像における各領域(C1〜C4,S)を構成する各画素の輝度の平均値と、過去画像における各領域(C1〜C4,S)を構成する各画素の輝度の平均値との差分を、各領域の類似度として算出してもよい。   In the present embodiment, the sum of the luminance differences for each pixel constituting each region (C1 to C4, S) between the latest image and the past image is calculated as the similarity of each region. However, the average value of the luminance of each pixel constituting each region (C1 to C4, S) in the latest image and the average value of the luminance of each pixel constituting each region (C1 to C4, S) in the past image The difference may be calculated as the similarity of each region.

本実施形態においては、AF枠F内の領域の大きさは、中央領域Sの大きさと同じでとした。しかし、AF枠F内の領域の大きさは、中央領域Sの大きさと異なるものであってもよい。   In the present embodiment, the size of the area in the AF frame F is the same as the size of the central area S. However, the size of the area in the AF frame F may be different from the size of the central area S.

上記の各実施形態は本発明の単なる例に過ぎず、本発明を限定する趣旨のものではない。したがって、本実施形態に対してなされ得る変形はすべて本発明に含まれるものである。   Each of the above embodiments is merely an example of the present invention, and is not intended to limit the present invention. Accordingly, all modifications that can be made to the present embodiment are included in the present invention.

100 撮影装置
11 フォーカスレンズ
12 レンズ制御部
13 レンズ駆動部
14 絞り兼シャッタ
15 絞り兼シャッタ制御部
16 絞り兼シャッタ駆動部
17 撮像素子
18 前処理部
19 画像処理部
20 制御部
20a 画像メモリ
20b 類似度算出部
20c AF評価部
21 RAM
22 ROM
23 操作部
24 表示部
25 記録媒体
DESCRIPTION OF SYMBOLS 100 Image pick-up device 11 Focus lens 12 Lens control part 13 Lens drive part 14 Aperture and shutter 15 Aperture and shutter control part 16 Aperture and shutter drive part 17 Image sensor 18 Preprocessing part 19 Image processing part 20 Control part 20a Image memory 20b Similarity Calculation unit 20c AF evaluation unit 21 RAM
22 ROM
23 Operation unit 24 Display unit 25 Recording medium

Claims (4)

撮影装置であって、
被写体の画像を撮影する撮影手段と、
被写体に焦点を合わせる合焦動作を行う合焦手段と、
前記撮影手段により撮影された画像の周辺領域の最新画像と過去画像の輝度の差と、前記画像の中央領域の最新画像と過去画像の輝度の差とを算出する類似度算出手段と、
前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断された場合に、前記合焦手段を再起動させず、その他の場合は前記合焦手段を再起動させる合焦制御手段と、
を備え、
前記合焦制御手段は、前記撮影装置を動かしながら前記撮影手段により連続的に撮影されている場合に、前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断されることを特徴とする撮影装置。
A photographing device,
Photographing means for photographing an image of a subject;
A focusing means for performing a focusing operation to focus on the subject;
Similarity calculation means for calculating the difference between the brightness of the latest image and the past image in the peripheral area of the image taken by the shooting means, and the brightness difference between the latest image and the past image in the center area of the image ;
The difference in luminance between the latest image of the peripheral area and the past image calculated by the similarity calculation unit after the focusing unit focuses on the subject is equal to or more than a first threshold, and the focusing unit is the subject. When it is determined that the brightness difference between the latest image of the central area and the past image calculated by the similarity calculation unit after focusing on is smaller than a second threshold value, the focusing unit is restarted. In other cases, focusing control means for restarting the focusing means, and
With
The focus control means has a brightness difference between the latest image and the past image in the peripheral area equal to or greater than a first threshold when the photographing means is continuously photographed while moving the photographing apparatus; and The photographing apparatus according to claim 1, wherein the difference in luminance between the latest image in the central region and the past image is determined to be smaller than a second threshold value.
前記周辺領域は、それぞれが前記撮影手段により撮影された画像の外枠のいずれか1つの頂点を含む1以上の領域で構成される
ことを特徴とする請求項1記載の撮影装置。
The imaging apparatus according to claim 1, wherein each of the peripheral areas includes at least one area including any one vertex of an outer frame of an image captured by the imaging unit.
前記中央領域の中心は、前記撮影手段により撮影された画像の中心と一致する
ことを特徴とする請求項1又は2に記載の撮影装置。
The imaging apparatus according to claim 1, wherein a center of the central area coincides with a center of an image captured by the imaging unit.
被写体の画像を撮影する撮影手段と、被写体に焦点を合わせる合焦動作を行う合焦手段と、を備えるコンピュータを、
前記撮影手段により撮影された画像の周辺領域の最新画像と過去画像の輝度の差と、前記画像の中央領域の最新画像と過去画像の輝度の差とを算出する類似度算出手段、
前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記合焦手段が被写体に焦点を合わせた後に前記類似度算出手段により算出された前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断された場合に、前記合焦手段を再起動させず、その他の場合は前記合焦手段を再起動させる合焦制御手段、
として機能させ、
前記合焦制御手段は、前記撮影装置を動かしながら前記撮影手段により連続的に撮影されている場合に、前記周辺領域の最新画像と過去画像の輝度の差が第1の閾値以上であり、かつ前記中央領域の最新画像と過去画像の輝度の差が第2の閾値より小さいと判断されることを特徴とするプログラム。
A computer comprising photographing means for photographing an image of a subject and focusing means for performing a focusing operation for focusing on the subject;
Similarity calculation means for calculating the difference in brightness between the latest image and the past image in the peripheral area of the image captured by the imaging means, and the difference in brightness between the latest image and the past image in the center area of the image ;
The difference in luminance between the latest image of the peripheral area and the past image calculated by the similarity calculation unit after the focusing unit focuses on the subject is equal to or more than a first threshold, and the focusing unit is the subject. When it is determined that the brightness difference between the latest image of the central area and the past image calculated by the similarity calculation unit after focusing on is smaller than a second threshold value, the focusing unit is restarted. In other cases, focusing control means for restarting the focusing means,
Function as
The focus control means has a brightness difference between the latest image and the past image in the peripheral area equal to or greater than a first threshold when the photographing means is continuously photographed while moving the photographing apparatus; and The program characterized in that it is determined that the difference in luminance between the latest image and the past image in the central area is smaller than a second threshold value.
JP2009021254A 2009-02-02 2009-02-02 Imaging apparatus and program Expired - Fee Related JP5407373B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009021254A JP5407373B2 (en) 2009-02-02 2009-02-02 Imaging apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009021254A JP5407373B2 (en) 2009-02-02 2009-02-02 Imaging apparatus and program

Publications (2)

Publication Number Publication Date
JP2010176061A JP2010176061A (en) 2010-08-12
JP5407373B2 true JP5407373B2 (en) 2014-02-05

Family

ID=42707064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009021254A Expired - Fee Related JP5407373B2 (en) 2009-02-02 2009-02-02 Imaging apparatus and program

Country Status (1)

Country Link
JP (1) JP5407373B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103261939A (en) * 2010-12-09 2013-08-21 富士胶片株式会社 Image capture device and primary photographic subject recognition method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130104437A (en) * 2012-03-14 2013-09-25 삼성전자주식회사 Device and method for capturing image in wireless terminal
JP6249769B2 (en) 2013-12-27 2017-12-20 オリンパス株式会社 Endoscope apparatus, operation method and program for endoscope apparatus
JP6453543B2 (en) 2014-01-22 2019-01-16 オリンパス株式会社 Endoscope apparatus and method for operating endoscope apparatus
US9686463B2 (en) * 2015-03-10 2017-06-20 Qualcomm Incorporated Systems and methods for continuous auto focus (CAF)
JP2017142318A (en) * 2016-02-09 2017-08-17 キヤノン株式会社 Image processing apparatus, imaging device, image processing method, program, and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2760100B2 (en) * 1989-11-20 1998-05-28 ミノルタ株式会社 Auto focus camera
JP2007052061A (en) * 2005-08-15 2007-03-01 Sharp Corp Imaging device, focusing operation control method, and electronic information apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103261939A (en) * 2010-12-09 2013-08-21 富士胶片株式会社 Image capture device and primary photographic subject recognition method
CN103261939B (en) * 2010-12-09 2015-08-26 富士胶片株式会社 Imaging device and main photography target recognition methods

Also Published As

Publication number Publication date
JP2010176061A (en) 2010-08-12

Similar Documents

Publication Publication Date Title
EP2171685B1 (en) Image processor, image processing method, digital camera, and imaging apparatus
JP5036599B2 (en) Imaging device
US8149290B2 (en) Image processor, imaging apparatus including the same, and image processing method, with blurring processing of background image
TWI393434B (en) Image capture device and program storage medium
JP2008076902A (en) Digital camera and control method therefor
JP2007124398A (en) Photographing device
US8593545B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode
KR101728042B1 (en) Digital photographing apparatus and control method thereof
JP2007074394A (en) Image pickup device and control method of same
JP5051812B2 (en) Imaging apparatus, focusing method thereof, and recording medium
JP5407373B2 (en) Imaging apparatus and program
KR20150078275A (en) Digital Photographing Apparatus And Method For Capturing a Moving Subject
JP4614143B2 (en) Imaging apparatus and program thereof
JP2007052061A (en) Imaging device, focusing operation control method, and electronic information apparatus
JP2003244520A (en) Photographing device
JP2013031010A (en) Imaging apparatus, imaging method, and program
JP2009175442A (en) Imaging apparatus
JP6758950B2 (en) Imaging device, its control method and program
KR101630307B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2009017427A (en) Imaging device
JP6024135B2 (en) Subject tracking display control device, subject tracking display control method and program
JP5326613B2 (en) Imaging apparatus and program
JP2010134309A (en) Autofocus device, autofocus method and imaging apparatus
JP2019080261A (en) Imaging apparatus
JP4989243B2 (en) Imaging device and subject detection method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Ref document number: 5407373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees