JP4946152B2 - Imaging device and its focus adjustment device - Google Patents

Imaging device and its focus adjustment device Download PDF

Info

Publication number
JP4946152B2
JP4946152B2 JP2006122944A JP2006122944A JP4946152B2 JP 4946152 B2 JP4946152 B2 JP 4946152B2 JP 2006122944 A JP2006122944 A JP 2006122944A JP 2006122944 A JP2006122944 A JP 2006122944A JP 4946152 B2 JP4946152 B2 JP 4946152B2
Authority
JP
Japan
Prior art keywords
focus
evaluation value
area
subject
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006122944A
Other languages
Japanese (ja)
Other versions
JP2007293146A (en
Inventor
義人 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006122944A priority Critical patent/JP4946152B2/en
Publication of JP2007293146A publication Critical patent/JP2007293146A/en
Application granted granted Critical
Publication of JP4946152B2 publication Critical patent/JP4946152B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置に関し、特に被写体に対するフォーカス調整機能を有する撮像装置とそのフォーカス調整装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。   The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus having a focus adjustment function for a subject, a focus adjustment apparatus thereof, a processing method therefor, and a program for causing a computer to execute the method.

近年の撮像装置では、撮像画像の複数のエリア(領域)の中から最適なエリアを選び出して、そのエリアに対してピントが合うようにレンズを駆動する機能が「マルチポイントオートフォーカス」(または「多点測距オートフォーカス」)といった呼称により広く用いられている。これにより、主要な被写体が必ずしも画角内の中央に存在しない場合でも、撮影者が特別な操作をすることなく適切なピント合わせが可能となる。   In recent imaging apparatuses, the function of selecting an optimal area from a plurality of areas (areas) of a captured image and driving the lens so that the area is in focus is “multi-point autofocus” (or “ It is widely used under the designation of “multi-point ranging autofocus”). Thereby, even when the main subject does not necessarily exist at the center in the angle of view, the photographer can perform appropriate focusing without performing a special operation.

一方、シャッターチャンスを逃さないようにするために、オートフォーカスに要する時間を短くすることは非常に重要である。そのため、シャッターボタンが押下される以前からオートフォーカスを行う機能が「モニタリングオートフォーカス」(または「動画オートフォーカス」)といった呼称により用いられている。予め被写体の合焦位置付近にレンズを駆動させておけば、静止画撮影用のオートフォーカスの動作範囲を狭い範囲に限定できるため、シャッターボタン押下時の静止画オートフォーカスに要する時間を短くすることができるというものである。   On the other hand, in order not to miss a photo opportunity, it is very important to shorten the time required for autofocus. For this reason, the function of performing autofocus before the shutter button is pressed is used by the name “monitoring autofocus” (or “moving image autofocus”). If the lens is driven in the vicinity of the in-focus position of the subject in advance, the autofocus operation range for still image shooting can be limited to a narrow range, so the time required for still image autofocus when the shutter button is pressed can be shortened. It can be done.

しかしながら、「マルチポイントオートフォーカス」に「モニタリングオートフォーカス」を組み合わせるためには、変化する被写体を捕らえて複数のエリアの中から正しいエリアを選び続けた上で、正しい合焦位置を探し続ける必要があり、対象となるエリアが増えるに従って距離の測定や演算に要する時間が増加してしまうという問題がある。   However, in order to combine “multipoint autofocus” with “monitoring autofocus”, it is necessary to continue to search for the correct in-focus position after capturing the changing subject and selecting the correct area from multiple areas. There is a problem that the time required for distance measurement and calculation increases as the target area increases.

これに対し、オートフォーカスのエリアを絞り込むために、人物を優先する技術が提案されている。例えば、人物の頭部の状態を検出することによって正面を向いている人物を選択し、この人物を主要被写体と判定して、この人物が存在する測距ポイントに対して測距し、ピントを合わせる技術が提案されている(例えば、特許文献1参照。)。また、輝度情報や荒い距離分布情報によってエリアに優先順位をつけて撮影者に提示し、撮影者がその限られたエリアから適切なエリアを選択することにより、エリアを絞り込む技術が提案されている(例えば、特許文献2参照。)。
特開2001−255455号公報(図2) 特開2001−108886号公報(図5)
On the other hand, in order to narrow down the autofocus area, a technique for giving priority to a person has been proposed. For example, by selecting the person facing the front by detecting the state of the person's head, the person is determined as the main subject, the distance is measured with respect to the distance measurement point where the person exists, and the focus is adjusted. Techniques for matching are proposed (see, for example, Patent Document 1). In addition, a technique has been proposed in which areas are prioritized according to luminance information and rough distance distribution information and presented to the photographer, and the photographer selects an appropriate area from the limited areas to narrow down the area. (For example, refer to Patent Document 2).
JP 2001-255455 A (FIG. 2) JP 2001-108886 A (FIG. 5)

しかしながら、従来技術において主要被写体の特徴を認識するためには撮像装置との間の距離を測定する測距センサーが必要になるが、この測距センサーは機構上誤差を生じ易く、また、撮像装置の小型化を阻害する要因となるおそれがある。一方、従来技術のように撮影者にエリアを選択させることは、その操作が煩雑になるおそれがある。   However, in order to recognize the characteristics of the main subject in the prior art, a distance measuring sensor that measures the distance to the imaging device is required. However, this distance measuring sensor is likely to cause an error in the mechanism, and the imaging device This may be a factor that hinders downsizing. On the other hand, if the photographer selects an area as in the prior art, the operation may be complicated.

そこで、本発明は、測距センサーを用いることなく、複数のエリアの中から最適なエリア選び出してピントを合わせ続ける機能を実現することを目的とする。   Therefore, an object of the present invention is to realize a function of selecting an optimum area from a plurality of areas and continuously focusing without using a distance measuring sensor.

本発明は、上記課題を解決するためになされたものであり、その第1の側面は、所定のフォーカス位置において被写体を撮像画像として撮像する撮像手段と、前記撮像画像の予め定められた複数の領域について画像情報の評価値を生成する評価値生成手段と、上記複数の領域のうち上記評価値の極大値が最も至近になると推定される領域を選択する領域選択手段と、上記領域選択手段によって選択された領域において上記被写体に対してフォーカスを合わせるよう指示するフォーカス動作指示手段とを具備し、上記フォーカス動作指示手段がフォーカスを合わせるとそのフォーカス位置を新たな上記所定のフォーカス位置として動作を繰り返すことを特徴とする撮像装置である。これにより、撮像された画像情報の評価値の極大値が最も至近になると推定される領域にフォーカスを合わせる動作が繰り返されて、最終的に最も至近の被写体を含む領域にフォーカスを合焦させるという作用をもたらす。   The present invention has been made to solve the above problems, and a first aspect of the present invention is that imaging means for imaging a subject as a captured image at a predetermined focus position, and a plurality of predetermined multiples of the captured image. An evaluation value generating means for generating an evaluation value of image information for the area; an area selecting means for selecting an area where the maximum value of the evaluation value is estimated to be closest among the plurality of areas; and the area selecting means. A focus operation instructing unit that instructs the subject to focus on the selected area, and when the focus operation instructing unit focuses, the operation is repeated with the focus position as the new predetermined focus position. This is an imaging apparatus. Thereby, the operation of focusing on the area where the maximum value of the evaluation value of the captured image information is estimated to be the closest is repeated, and the focus is finally focused on the area including the closest subject. Bring about an effect.

また、この第1の側面において、上記フォーカス動作指示手段はフォーカスの合ったフォーカス位置においてウォブリング動作を行うよう指示し、上記領域選択手段は上記ウォブリング動作に基づいて上記評価値の極大値を推定するようにしてもよい。これにより、ウォブリング動作に基づいた被写体の検出が行われる。   In the first aspect, the focus operation instructing unit instructs to perform a wobbling operation at a focused position where focus is achieved, and the region selecting unit estimates a maximum value of the evaluation value based on the wobbling operation. You may do it. Thereby, the detection of the subject based on the wobbling operation is performed.

また、この第1の側面において、上記評価値は上記画像情報の高周波成分を利用することができる。画像情報の高周波成分を積分したデータはコントラストの大小を示すことから、被写体に対して焦点が合っているか否かを判断する基礎データとなり得るからである。   In the first aspect, the evaluation value can use a high frequency component of the image information. This is because the data obtained by integrating the high-frequency components of the image information indicates the magnitude of the contrast, and can be basic data for determining whether or not the subject is in focus.

また、この第1の側面において、上記画像情報の変化を検出する画像情報変化検出手段をさらに具備し、上記画像情報変化検出手段が上記画像情報の変化を検出すると上記領域選択手段は新たに上記評価値の極大値が最も至近になると推定される領域を選択するようにしてもよい。これにより、一旦最も至近の被写体にフォーカスが合った後に、画像情報に変化が生じた場合、新たに領域を選択させるという作用をもたらす。   Further, in the first aspect, the image processing apparatus further comprises image information change detection means for detecting a change in the image information, and when the image information change detection means detects the change in the image information, the region selection means newly adds the above information. You may make it select the area | region estimated that the local maximum of an evaluation value becomes the nearest. As a result, once the closest subject is brought into focus, when a change occurs in the image information, a new region is selected.

また、この第1の側面において、上記被写体を拡大して上記撮像手段に供給するズーム手段と、上記ズーム手段による拡大率の変動を検知するズーム変動検知手段とをさらに具備し、上記ズーム変動検知手段が上記拡大率の変動を検出すると上記領域選択手段は新たに上記評価値の極大値が最も至近になると推定される領域を選択するようにしてもよい。これにより、一旦最も至近の被写体にフォーカスが合った後に、画角に変動を生じた場合、新たに領域を選択させるという作用をもたらす。   Further, in the first aspect, the zoom means further includes zoom means for enlarging the subject and supplying the subject to the image pickup means, and zoom fluctuation detecting means for detecting a fluctuation of an enlargement ratio by the zoom means. When the means detects the change in the enlargement ratio, the area selecting means may newly select an area where the maximum value of the evaluation value is estimated to be closest. As a result, once the closest subject is brought into focus, when the angle of view changes, the region is newly selected.

また、本発明の第2の側面は、被写体に対する所定のフォーカス位置における撮像画像の予め定められた複数の領域について画像情報の評価値を生成する評価値生成手段と、上記複数の領域のうち上記評価値の極大値が最も至近になると推定される領域を選択する領域選択手段と、上記領域選択手段によって選択された領域において上記被写体に対してフォーカスを合わせるよう指示するフォーカス動作指示手段とを具備し、上記フォーカス動作指示手段がフォーカスを合わせるとそのフォーカス位置を新たな上記所定のフォーカス位置として動作を繰り返すことを特徴とするフォーカス調整装置である。これにより、画像情報の評価値の極大値が最も至近になると推定される領域にフォーカスを合わせる動作が繰り返されて、最終的に最も至近の被写体を含む領域にフォーカスを合焦させるという作用をもたらす。   According to a second aspect of the present invention, there is provided an evaluation value generating means for generating an evaluation value of image information for a plurality of predetermined regions of a captured image at a predetermined focus position with respect to a subject, and among the plurality of regions, A region selecting unit that selects a region in which the maximum value of the evaluation value is estimated to be closest, and a focus operation instruction unit that instructs the subject to be focused in the region selected by the region selecting unit. When the focus operation instructing means adjusts the focus, the focus adjustment device repeats the operation with the focus position as the new predetermined focus position. As a result, the operation of focusing on the region where the maximum value of the evaluation value of the image information is estimated to be closest is repeated, and finally the focus is brought to the region including the closest subject. .

また、本発明の第3の側面は、被写体に対する所定のフォーカス位置における撮像画像の予め定められた複数の領域について画像情報の評価値を生成する手順と、上記複数の領域のうち上記評価値の極大値が最も至近になると推定される領域を選択する手順と、上記選択された領域において上記被写体に対してフォーカスを合焦させるよう指示する手順と、上記フォーカスが合焦するとそのフォーカス位置を新たな上記所定のフォーカス位置として上記各手順を繰り返す手順とを具備することを特徴とするフォーカス調整方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、画像情報の評価値の極大値が最も至近になると推定される領域にフォーカスを合わせる動作が繰り返されて、最終的に最も至近の被写体を含む領域にフォーカスを合焦させるという作用をもたらす。   According to a third aspect of the present invention, there is provided a procedure for generating an evaluation value of image information for a plurality of predetermined regions of a captured image at a predetermined focus position with respect to a subject, and the evaluation value of the plurality of regions. A procedure for selecting an area where the local maximum is estimated to be closest, a procedure for instructing the subject to focus on the selected area, and a new focus position when the focus is in focus. And a program for causing a computer to execute a procedure for adjusting the focus, or a procedure for repeating the above steps as the predetermined focus position. As a result, the operation of focusing on the region where the maximum value of the evaluation value of the image information is estimated to be closest is repeated, and finally the focus is brought to the region including the closest subject. .

本発明によれば、測距センサーを用いることなく、複数のエリアの中から最適なエリア選び出してピントを合わせ続けることができるという優れた効果を奏し得る。   According to the present invention, it is possible to obtain an excellent effect that an optimum area can be selected from a plurality of areas and kept in focus without using a distance measuring sensor.

次に本発明の実施の形態について図面を参照して詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の実施の形態における撮像装置の一構成例を示す図である。この撮像装置は、光学系として、表面レンズ111、フォーカスレンズ112およびズームレンズ113からなるレンズ群を備えている。表面レンズ111は撮像画像を取り込むためのレンズである。フォーカスレンズ112は撮像画像における被写体に焦点を合わせるためのレンズである。ズームレンズ113は撮像画像の画角を変化させるためのレンズである。フォーカスレンズ112およびズームレンズ113は、それぞれモータ122および123によりその位置が変動するようになっている。これらモータ122および123を駆動するのがドライバ132および133である。   FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus includes a lens group including a surface lens 111, a focus lens 112, and a zoom lens 113 as an optical system. The front lens 111 is a lens for capturing a captured image. The focus lens 112 is a lens for focusing on a subject in the captured image. The zoom lens 113 is a lens for changing the angle of view of the captured image. The positions of the focus lens 112 and the zoom lens 113 are changed by motors 122 and 123, respectively. Drivers 132 and 133 drive these motors 122 and 123.

また、撮像装置は、フォーカス制御部142と、ズーム制御部143と、シャッターボタン152と、ズームボタン153とを備えている。フォーカス制御部142はフォーカスレンズ112のドライバ132を制御するものである。ズーム制御部143はズームレンズ113のドライバ133を制御するものである。シャッターボタン152は撮像画像を記録するためのボタンである。ズームボタン153はズーム制御部143による画角の変化を調整するためのボタンである。   The imaging apparatus also includes a focus control unit 142, a zoom control unit 143, a shutter button 152, and a zoom button 153. The focus control unit 142 controls the driver 132 of the focus lens 112. The zoom control unit 143 controls the driver 133 of the zoom lens 113. The shutter button 152 is a button for recording a captured image. The zoom button 153 is a button for adjusting the change in the angle of view by the zoom control unit 143.

また、撮像装置は、撮像素子160と、撮像信号取得部170と、画像表示部180と、評価値生成部190と、フォーカス調整部200とを備えている。撮像素子160は、表面レンズ111、フォーカスレンズ112およびズームレンズ113を介して受けた撮像画像を光電変換して撮像信号として供給するものであり、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)センサー等により実現される。撮像信号取得部170は、撮像素子160から供給された撮像信号を取得するものであり、A/D変換、ホワイトバランス、ガンマ変換等の信号処理を行う。画像表示部180は、撮像信号取得部170によって取得された撮像信号を撮像画像として表示するものであり、例えばLCD(Liquid Crystal Display)等により実現される。   In addition, the imaging apparatus includes an imaging element 160, an imaging signal acquisition unit 170, an image display unit 180, an evaluation value generation unit 190, and a focus adjustment unit 200. The image sensor 160 photoelectrically converts a captured image received via the surface lens 111, the focus lens 112, and the zoom lens 113 and supplies it as an image signal. For example, a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide) is provided. Semiconductor) sensor. The imaging signal acquisition unit 170 acquires the imaging signal supplied from the imaging element 160, and performs signal processing such as A / D conversion, white balance, and gamma conversion. The image display unit 180 displays the imaging signal acquired by the imaging signal acquisition unit 170 as a captured image, and is realized by, for example, an LCD (Liquid Crystal Display).

評価値生成部190は、撮像信号取得部170によって取得された画像信号から撮像画像の所定のエリア(以下、測距エリアという。)の高周波成分に関する画像情報を抽出してその評価値を生成するものである。フォーカス調整部200は、評価値生成部190によって生成された評価値に基づいて撮像画像の複数の測距エリアの中から1つを選択して、その測距エリアに焦点を合わせるようフォーカス制御部142に指示を与えるものである。   The evaluation value generation unit 190 extracts image information related to high frequency components in a predetermined area (hereinafter referred to as a distance measurement area) of the captured image from the image signal acquired by the imaging signal acquisition unit 170 and generates an evaluation value thereof. Is. The focus adjustment unit 200 selects one of a plurality of distance measurement areas of the captured image based on the evaluation value generated by the evaluation value generation unit 190 and focuses on the distance measurement area. An instruction is given to 142.

ここで、測距センサーを用いることなく撮像信号に基づいてオートフォーカスを実現するためには、撮像信号のコントラストを利用する技術が知られている(例えば、特開平10−213737号公報参照。)。すなわち、コントラストが高いと焦点が合っており、コントラストが低いと焦点がずれているということになる。評価値生成部190は、撮像画像の予め定められた測距エリアにおいて撮像信号の高周波成分を取り出して、この高周波成分を積分したデータを画像情報の評価値として生成することによってコントラストの大小を判断する。フォーカス調整部200は、この評価値が最大となるようにフォーカスレンズ112を駆動することによってオートフォーカスを実現する。   Here, in order to realize autofocus based on an imaging signal without using a distance measuring sensor, a technique using the contrast of the imaging signal is known (see, for example, JP-A-10-213737). . That is, when the contrast is high, the image is in focus, and when the contrast is low, the image is out of focus. The evaluation value generation unit 190 extracts the high frequency component of the imaging signal in a predetermined distance measurement area of the captured image, and determines the magnitude of the contrast by generating data obtained by integrating the high frequency component as an evaluation value of the image information. To do. The focus adjustment unit 200 realizes autofocus by driving the focus lens 112 so that the evaluation value is maximized.

図2は、本発明の実施の形態におけるフォーカス調整部200の一構成例を示す図である。このフォーカス調整部200は、エリア選択部220と、選択エリア保持部230と、フォーカス動作指示部240と、選択エリアリセット部250と、画像情報記憶部260と、画像情報変化検出部270と、フォーカス制御監視部280と、ズーム位置監視部290とを備えている。なお、このフォーカス調整部200は、コンピュータ上で動作するソフトウェアプログラムとして実現してもよい。   FIG. 2 is a diagram illustrating a configuration example of the focus adjustment unit 200 according to the embodiment of the present invention. The focus adjustment unit 200 includes an area selection unit 220, a selection area holding unit 230, a focus operation instruction unit 240, a selection area reset unit 250, an image information storage unit 260, an image information change detection unit 270, a focus A control monitoring unit 280 and a zoom position monitoring unit 290 are provided. The focus adjustment unit 200 may be realized as a software program that runs on a computer.

エリア選択部220は、信号線199を介して供給された画像情報の評価値に基づいて、撮像画像の予め定められた複数の測距エリアの中から1つの測距エリアを選択するものである。より具体的には、エリア選択部220は、フォーカスレンズ112の現在の位置(フォーカス位置)において、複数の測距エリアのうち評価値の極大値が最も至近になると推定される領域を選択する。この領域選択を行うために、いわゆるウォブリング動作が行われる。このウォブリング動作とは、現在のフォーカス位置を中心としてフォーカスレンズ112を光軸方向の前後に微小振動させて撮像画像の変化を取得するものである。このウォブリング動作により、エリア選択部220は、画像情報の評価値の変化する方向を取得して極大値を有する領域を推定する。   The area selection unit 220 selects one ranging area from a plurality of predetermined ranging areas of the captured image based on the evaluation value of the image information supplied via the signal line 199. . More specifically, the area selection unit 220 selects an area where the maximum value of the evaluation value is estimated to be closest among a plurality of distance measurement areas at the current position (focus position) of the focus lens 112. In order to perform this region selection, a so-called wobbling operation is performed. In this wobbling operation, the focus lens 112 is slightly vibrated back and forth in the optical axis direction around the current focus position to acquire a change in the captured image. By this wobbling operation, the area selection unit 220 acquires the direction in which the evaluation value of the image information changes, and estimates a region having a maximum value.

なお、エリア選択部220は、信号線159を介してシャッターボタン152の状態を検知する。これにより、例えば半押し状態となった際には測距エリアの選択の変更を中止するようにしてもよい。   Note that the area selection unit 220 detects the state of the shutter button 152 via the signal line 159. Thereby, for example, when the half-pressed state is obtained, the change of the selection of the distance measurement area may be stopped.

選択エリア保持部230は、エリア選択部220によって選択された測距エリアを識別するための情報を保持するものである。選択エリアリセット部250は、この選択エリア保持部230に保持された情報をリセットして、エリア選択部220に測距エリアの選択し直しを指示するものである。   The selection area holding unit 230 holds information for identifying the distance measurement area selected by the area selection unit 220. The selection area reset unit 250 resets the information held in the selection area holding unit 230 and instructs the area selection unit 220 to reselect the distance measurement area.

フォーカス動作指示部240は、信号線209を介してフォーカス制御部142にフォーカスレンズ112の駆動制御の動作を指示するものである。より具体的には、フォーカス動作指示部240は、信号線199を介して供給された画像情報の評価値に基づいて、選択エリア保持部230に保持された測距エリアにおいて被写体に焦点が合うようにフォーカスレンズ112の移動を指示する。また、フォーカス動作指示部240は、上述のエリア選択部220による測距エリア選択を行うためのウォブリング動作の指示を行う。   The focus operation instruction unit 240 instructs the focus control unit 142 to drive the focus lens 112 via the signal line 209. More specifically, the focus operation instruction unit 240 focuses on the subject in the distance measurement area held in the selection area holding unit 230 based on the evaluation value of the image information supplied via the signal line 199. Is instructed to move the focus lens 112. In addition, the focus operation instruction unit 240 instructs a wobbling operation for performing a distance measurement area selection by the area selection unit 220 described above.

画像情報記憶部260は、信号線179を介して供給された画像情報を記憶するものである。この画像情報には、撮像信号における輝度情報や色情報が含まれる。   The image information storage unit 260 stores image information supplied via the signal line 179. This image information includes luminance information and color information in the imaging signal.

画像情報変化検出部270は、画像情報記憶部260に記憶された過去の画像情報と信号線179を介して供給される最新の画像情報とを比較して、画像情報の変化を検出するものである。この画像情報変化検出部270は、画像情報の変化を検出すると、選択エリアリセット部250に対して選択エリア保持部230に保持された情報をリセットするよう指示する。   The image information change detection unit 270 compares the past image information stored in the image information storage unit 260 with the latest image information supplied via the signal line 179 and detects a change in the image information. is there. When detecting a change in image information, the image information change detection unit 270 instructs the selection area reset unit 250 to reset the information held in the selection area holding unit 230.

フォーカス制御監視部280は、信号線149を介してフォーカスレンズ112の駆動制御を監視するものである。このフォーカス制御監視部280は、フォーカスレンズ112の動作が停止したことを検知すると、画像情報記憶部260に対して信号線179を介して供給される最新の画像情報を記憶するよう指示する。   The focus control monitoring unit 280 monitors the drive control of the focus lens 112 via the signal line 149. When the focus control monitoring unit 280 detects that the operation of the focus lens 112 has stopped, the focus control monitoring unit 280 instructs the image information storage unit 260 to store the latest image information supplied via the signal line 179.

ズーム位置監視部290は、信号線148を介してズームレンズ113の位置を監視するものである。このズーム位置監視部290は、ズームレンズ113の位置が変動したことを検知すると、選択エリアリセット部250に対して選択エリア保持部230に保持された情報をリセットするよう指示する。   The zoom position monitoring unit 290 monitors the position of the zoom lens 113 via the signal line 148. When the zoom position monitoring unit 290 detects that the position of the zoom lens 113 has changed, the zoom position monitoring unit 290 instructs the selection area reset unit 250 to reset the information held in the selection area holding unit 230.

図3は、本発明の実施の形態における撮像画像上の複数の測距エリアの一例を示す図である。この例では、撮像画像上に2つの測距エリア611および612が定められている。この場合、エリア選択部220は、測距エリア611および612の何れか一方を選択して、その選択された測距エリアを識別するための情報を選択エリア保持部230に保持する。   FIG. 3 is a diagram showing an example of a plurality of distance measuring areas on the captured image in the embodiment of the present invention. In this example, two ranging areas 611 and 612 are defined on the captured image. In this case, the area selection unit 220 selects any one of the ranging areas 611 and 612 and holds information for identifying the selected ranging area in the selection area holding unit 230.

ここで、測距エリア611には図のように人物の顔が被写体として収まっており、測距エリア612には当該人物よりも後方に木が被写体として収まっているものと想定すると、測距エリア611および612では例えば図4のような評価値の分布を示すことになる。   Here, assuming that a person's face is contained in the distance measurement area 611 as shown in the figure and a tree is contained in the distance measurement area 612 behind the person, the distance measurement area 611 In 611 and 612, for example, the distribution of evaluation values as shown in FIG. 4 is shown.

エリア選択部220は、ウォブリング動作によって、「至近側にフォーカスレンズを移動した時に、評価値が増加する」全ての測距エリアを最終的に合焦させるべき測距エリアの候補とする。そして、その候補が1つしかない場合には、その候補となった測距エリアを選択する。また、候補となる測距エリアが複数ある場合には、例えば、(1)中央により近い測距エリアを選択する、(2)ウォブリングの評価値の変動量が大きいものを選択する、(3)色情報で優先順位をつけて特定の色を多く含む測距エリア(被写体として人物を多く含む場合)もしくは特定の色を多く含まない測距エリア(被写体として空を多く含む場合)を選択する、または、(4)ランダムに選択するといった基準により1つの測距エリアを選択する、等の方法をとることができる。また、色情報を用いる場合、「至近側にフォーカスレンズを移動した時に、評価値が増加する」測距エリアの中から、特定の色情報を含むもののみを選択する方法もある。このような方法によって、特定の被写体のうち最至近の被写体に合わせることが可能となる。   The area selection unit 220 sets all the ranging areas that “the evaluation value increases when the focus lens is moved to the closest side” as a candidate for the ranging area to be finally focused by the wobbling operation. If there is only one candidate, the distance measuring area that is the candidate is selected. Further, when there are a plurality of candidate ranging areas, for example, (1) a distance measuring area closer to the center is selected, (2) an area having a large fluctuation amount of the wobbling evaluation value is selected, (3) Prioritize color information and select a ranging area that contains a lot of specific colors (when many people are included as subjects) or a ranging area that does not contain a lot of specific colors (when subjects contain lots of sky), Alternatively, it is possible to adopt a method such as (4) selecting one distance measurement area based on a criterion of selecting at random. In addition, when using color information, there is a method of selecting only one including specific color information from a distance measuring area “an evaluation value increases when the focus lens is moved to the closest side”. By such a method, it becomes possible to match the closest subject among the specific subjects.

但し、ウォブリング動作による評価値の差分にノイズ成分が含まれるおそれがあるため、一定レベルの閾値を設けてその閾値を超えた場合に限り、ウォブリングの方向判定結果を信頼するようにする必要がある。また、ウォブリングによる評価値変動が極めて大きい場合には、手振れなどの外乱、もしくは、パンニングやティルティングによる被写体の一時的な進入などが生じている可能性があるため、そのような情報は使用しないようにする必要がある。同様の理由で、同一位置にウォブリングの中心があるにも関わらず評価値の方向判定が一定回数以上同じ方向を指し示さない時は、その評価値を使用するべきではない。   However, there is a possibility that a noise component may be included in the difference between the evaluation values due to the wobbling operation. Therefore, it is necessary to set a certain level threshold value and to trust the result of the wobbling direction determination only when the threshold value is exceeded. . Also, when the evaluation value fluctuation due to wobbling is extremely large, there is a possibility of disturbance such as camera shake or temporary entry of the subject due to panning or tilting, so such information is not used. It is necessary to do so. For the same reason, when the evaluation value direction determination does not indicate the same direction more than a certain number of times even though the wobbling center is located at the same position, the evaluation value should not be used.

なお、仮にコントラストの低さや、外乱などの理由によって何れの評価値も信頼できないと判断された場合には、その直前に選択されていた測距エリアを使用してオートフォーカスを実行する。さらに、何れの評価値も信頼できず、しかもそれまでに選択された測距エリアが存在しない場合には、例えば最も中央部分に近い測距エリアにおいてオートフォーカスを実行する。   Note that if it is determined that any evaluation value is unreliable due to low contrast, disturbance, or the like, autofocus is executed using the distance measurement area selected immediately before. Furthermore, if any of the evaluation values is not reliable and there is no distance measurement area selected so far, for example, auto focus is executed in the distance measurement area closest to the center.

図4は、本発明の実施の形態における撮像画像上の複数の測距エリアによる評価値分布の一例を示す図である。図4(a)および(b)は、ともに縦方向に画像情報の評価値を示しており、横方向にフォーカスレンズ112のフォーカス位置を示している。フォーカス位置は右側が至近側で、左側が無限側になっている。この例では、測距エリア611の被写体の方が測距エリア612の被写体よりも至近側に存在する分布になっている。   FIG. 4 is a diagram illustrating an example of an evaluation value distribution by a plurality of distance measurement areas on a captured image according to the embodiment of the present invention. 4A and 4B both show the evaluation value of the image information in the vertical direction and the focus position of the focus lens 112 in the horizontal direction. As for the focus position, the right side is the closest side and the left side is the infinite side. In this example, the distribution is such that the subject in the distance measurement area 611 is closer to the subject than the subject in the distance measurement area 612.

フォーカス位置が図4(a)の現在位置にある場合、測距エリア612の評価値の傾き712が至近側に登りを示している一方で、測距エリア611の評価値の傾き711はほぼ平坦になっている。したがって、エリア選択部220は、測距エリア612の評価値の方が図4(a)の現在位置の至近側に極大値を有するものと推定して、測距エリア612を選択する。その結果、フォーカス動作指示部240による指示の下、測距エリア612を基準としたオートフォーカスが行われて、フォーカス位置が図4(b)の現在位置に移動する。   When the focus position is at the current position in FIG. 4A, the evaluation value gradient 712 of the distance measurement area 612 indicates that the evaluation value gradient 712 is climbing to the closest side, while the evaluation value gradient 711 of the distance measurement area 611 is substantially flat. It has become. Accordingly, the area selection unit 220 selects the distance measurement area 612 by estimating that the evaluation value of the distance measurement area 612 has a maximum value on the near side of the current position in FIG. As a result, under the instruction from the focus operation instruction unit 240, autofocus is performed with reference to the distance measuring area 612, and the focus position is moved to the current position in FIG.

フォーカス位置が図4(b)の現在位置にある場合、測距エリア611の評価値の傾き713が至近側に登りを示している一方で、測距エリア612の評価値の傾き714は極大値を示している。したがって、エリア選択部220は、今度は測距エリア611の評価値の方が図4(b)の現在位置の至近側に極大値を有するものと推定して、測距エリア611を選択する。その結果、フォーカス動作指示部240による指示の下、測距エリア611を基準としたオートフォーカスが行われる。すなわち、図4(a)の現在位置では見つけることができなかった測距エリア611の傾きが、図4(b)の現在位置で見つかることになる。   When the focus position is at the current position in FIG. 4B, the evaluation value slope 713 of the distance measurement area 611 indicates climbing to the closest side, while the evaluation value inclination 714 of the distance measurement area 612 is a local maximum value. Is shown. Therefore, the area selection unit 220 selects the distance measurement area 611 by estimating that the evaluation value of the distance measurement area 611 has a maximum value on the closest side of the current position in FIG. As a result, under the instruction from the focus operation instruction unit 240, autofocus is performed based on the distance measurement area 611. That is, the inclination of the ranging area 611 that could not be found at the current position in FIG. 4A is found at the current position in FIG.

このようにして、至近側にある被写体に焦点が合うようにフォーカス位置の調整が行われる。ここでは、測距エリアを撮像画像の中央部に2つ設けた例について説明したが、これに限定されるものではなく、次に示すように任意の位置に任意の数の測距エリアを設けることができる。   In this way, the focus position is adjusted so that the subject on the closest side is in focus. Here, an example in which two distance measurement areas are provided in the center of the captured image has been described. However, the present invention is not limited to this, and an arbitrary number of distance measurement areas are provided at arbitrary positions as shown below. be able to.

図5は、本発明の実施の形態における撮像画像上の複数の測距エリアの他の例を示す図である。図5(a)は、撮像画像の中央部に3つの測距エリアを配した例である。この例の場合、左右何れかの測距エリアが至近にあるものとして選択されることになる。もし、中央に1つの測距エリアしか設けられていなければ、後方の背景に焦点が合ってしまい、両側の人物はぼやけてしまう、いわゆる中抜けの状態が生じる。この点、図5(a)のように3つの測距エリアを設けることにより、そのような中抜けを防止することができる。   FIG. 5 is a diagram showing another example of a plurality of distance measuring areas on a captured image in the embodiment of the present invention. FIG. 5A shows an example in which three distance measuring areas are arranged at the center of the captured image. In the case of this example, either one of the left and right ranging areas is selected as being close. If only one distance measuring area is provided at the center, the background behind is in focus, and people on both sides are blurred. In this regard, by providing three distance measuring areas as shown in FIG. 5A, such a void can be prevented.

図5(b)は、撮像画像全体を覆うように測距エリアを敷き詰めた例である。この例によれば、至近の被写体を精度高く検出することができる。但し、評価値を生成するコストは測距エリアの数に応じて増加することになる。そこで、例えば撮像画像の周辺部分には測距エリアを設けないようにして測距エリアの数を減らすようにしてもよい。   FIG. 5B is an example in which the ranging area is spread so as to cover the entire captured image. According to this example, a close subject can be detected with high accuracy. However, the cost for generating the evaluation value increases according to the number of ranging areas. Therefore, for example, the number of distance measurement areas may be reduced by not providing distance measurement areas in the peripheral portion of the captured image.

いずれにしても、撮像画像に設けられる測距エリアは、静止画のオートフォーカスの測距エリアと一致している必要がある。   In any case, the distance measurement area provided in the captured image needs to match the distance measurement area of the autofocus of the still image.

図6は、本発明の実施の形態における撮像画像上の測距エリアの一つに複数のコントラストが含まれる例を示す図である。図6(a)は、図3の場合と同様に撮像画像の中央部に2つの測距エリアを設けた例であるが、測距エリア621における被写体が人物と背景の両者である場合を想定する。   FIG. 6 is a diagram illustrating an example in which a plurality of contrasts are included in one of the distance measurement areas on the captured image according to the embodiment of the present invention. FIG. 6A is an example in which two distance measuring areas are provided in the center of the captured image as in the case of FIG. 3, but it is assumed that the subject in the distance measuring area 621 is both a person and a background. To do.

この場合、測距エリア621の評価値分布は図6(b)のように2つの山を有することになる。したがって、図6(b)の現在位置では、測距エリア621の傾き621は山の降りを示し、測距エリア622の傾き622は山の登りを示すことから、測距エリア622の方が至近側にあるものと推定される。   In this case, the evaluation value distribution in the distance measuring area 621 has two peaks as shown in FIG. Therefore, at the current position in FIG. 6B, since the slope 621 of the distance measuring area 621 indicates mountain climbing and the slope 622 of the distance measuring area 622 indicates mountain climbing, the distance measuring area 622 is closer. Presumed to be on the side.

この点、本発明の実施の形態では、測距エリア622が極大となるフォーカス位置においてエリア選択部220が再度測距エリア選択の判断を行うため、最終的には測距エリア621の至近側の山が検出されることになる。   In this regard, in the embodiment of the present invention, since the area selection unit 220 determines the selection of the distance measurement area again at the focus position at which the distance measurement area 622 is maximized, the distance measurement area 621 is finally at the closest side. Mountains will be detected.

このように、本発明の実施の形態によれば、現在の測距エリアよりもより至近側に評価値の山が存在する測距エリアが他に存在しないという段階になるまで、ウォブリングにより測距エリアが検出され、その測距エリアの評価値の山の頂点にまで移動するという動作を繰り返す。これにより、フォーカスレンズ112は1度目よりも2度目、2度目よりも3度目と、より撮像装置に近い位置に存在する被写体に焦点が合うように移動することになるため、候補となる測距エリアの数は次第に減少していき最後には最至近の被写体が存在する測距エリアが選択されることになる。   As described above, according to the embodiment of the present invention, ranging is performed by wobbling until there is no other ranging area where there is a mountain of evaluation values closer to the closer side than the current ranging area. The area is detected, and the operation of moving to the peak of the evaluation value of the distance measurement area is repeated. As a result, the focus lens 112 moves the second time from the first time, the third time from the second time, and the third time from the second time so as to focus on a subject that is closer to the imaging device. The number of areas gradually decreases, and finally, a distance measuring area in which the closest subject exists is selected.

このようにして最終的に選択された測距エリアでオートフォーカスを実施して待機しておけば、シャッターボタン152が押下された際に最終的にフォーカスレンズ112を移動させるべき位置に既にフォーカスレンズ112が存在することになるため、シャッターボタン152の押下後に極めて狭いフォーカス範囲でオートフォーカスを実行し、もしくは、新たにオートフォーカスを実行することなくキャプチャーすることが可能となるため、オートフォーカスは非常に短時間で実現される。   In this way, if autofocus is performed in the finally selected distance measuring area and the camera is on standby, the focus lens 112 has already been moved to a position where the focus lens 112 should be finally moved when the shutter button 152 is pressed. 112 is present, so autofocus can be executed in a very narrow focus range after the shutter button 152 is pressed, or capture can be performed without newly executing autofocus. Realized in a short time.

なお、どの測距エリアも一度も選択されないままにフォーカスレンズ112の無限側と至近側のリミット間が駆動されてしまった場合には、コントラストがないローコントラスト被写体で撮像領域が占められているか、暗すぎてオートフォーカスが不可能な状態であると考えられる。したがって、その場合には、所定の位置(例えば、撮像装置から2メートル程度、もしくは、無限側)で待機するか、フォーカスレンズ112の移動速度を落として被写体の出現を待つか、コントラスト信号が最も高い点に移動して待機する。   In addition, when the range between the infinity side and the near side limit of the focus lens 112 is driven without selecting any ranging area, whether the imaging area is occupied by a low-contrast subject without contrast, It is considered too dark to autofocus. Therefore, in such a case, it is necessary to wait at a predetermined position (for example, about 2 meters from the imaging device or the infinity side), or to reduce the moving speed of the focus lens 112 and wait for the appearance of the subject, or the contrast signal is the highest. Move to a higher point and wait.

次に、被写体が変化した場合の対応について説明する。オートフォーカスが実行され、これ以上至近側には被写体がないという段階になった場合には、フォーカスレンズ112の動作を止めるのが消費電力の観点からは有利である。しかし、フォーカスレンズ112を停止している間に、被写体の移動、撮像装置の画角の外側からの被写体侵入、撮像装置の移動などによって、選択された測距エリアに最も近い被写体が存在しない状況に陥った場合、それを感知できないという問題を生じる   Next, a response when the subject changes will be described. When autofocus is executed and there is no subject on the near side, it is advantageous from the viewpoint of power consumption to stop the operation of the focus lens 112. However, there is no subject closest to the selected ranging area due to movement of the subject, intrusion of the subject from outside the angle of view of the imaging device, movement of the imaging device, etc. while the focus lens 112 is stopped. If you fall into a problem, you will not be able to detect it

そのような問題を回避するために、フォーカスレンズ112が停止した際の画像情報を画像情報記憶部260に記憶しておき、画像情報変化検出部270において画像情報の変化を検出する。そして、画像情報が所定以上変化した場合に選択エリアリセット部250を介してエリア選択部220に対して測距エリアの選択を促す。ここで、画像情報は輝度情報や色情報を含むものである。したがって、例えば、輝度レベルが所定の割合以上減少もしくは増加した場合、もしくは、所定の割合以上の色温度の変化があった場合、測距エリア選択が行われる。   In order to avoid such a problem, image information when the focus lens 112 is stopped is stored in the image information storage unit 260, and the image information change detection unit 270 detects a change in the image information. When the image information changes by a predetermined value or more, the area selection unit 220 is prompted to select a distance measurement area via the selection area reset unit 250. Here, the image information includes luminance information and color information. Accordingly, for example, when the luminance level is decreased or increased by a predetermined ratio or more, or when the color temperature has changed by a predetermined ratio or more, the ranging area selection is performed.

これらの画像情報は複数に分割された画面全体から取得することが望ましいが、中央に近いほど変化の判定閾値を下げて、中央の再検出判定を敏感にするようにしてもよい。   It is desirable to acquire these pieces of image information from the entire screen divided into a plurality of screens. However, the closer to the center, the lower the change determination threshold value may make the center redetection determination more sensitive.

また、被写体が画角を通過しただけというケースもあるため、画像情報の変化を察知してから一定時間経過後に元の画像情報に戻っていた場合には、それは被写体が通過しただけにすぎないと判断して、至近側に移動しないことにする。但し、ノイズ成分を考慮して、一定時間経過後に元の画像情報から一定の閾値に収まっていれば元の画像情報に戻っていたと判定する。   In some cases, the subject has just passed the angle of view, so if the image information changes and the original image information is restored after a certain period of time, it is just the subject that has passed. Therefore, it will not move to the closest side. However, in consideration of the noise component, it is determined that the original image information has been restored if the original image information falls within a certain threshold value after a certain period of time.

また、ズームレンズ113の位置が移動した場合も、画角が変動することによってそれまで選択していた測距エリアに被写体が存在しなくなる可能性があるため、測距エリアの選択を再び行う必要がある。そのため、ズーム位置監視部290がズームレンズ113の移動を監視して、移動が検出された場合には選択エリアリセット部250を介してエリア選択部220に対して測距エリアの選択を促す。   Even when the position of the zoom lens 113 is moved, there is a possibility that the subject does not exist in the distance measuring area that has been selected so far due to the change in the angle of view, so it is necessary to select the distance measuring area again. There is. Therefore, the zoom position monitoring unit 290 monitors the movement of the zoom lens 113, and when the movement is detected, prompts the area selection unit 220 to select a distance measurement area via the selection area reset unit 250.

なお、フォーカスレンズ112を停止せずにウォブリングを継続する場合には、上述の問題は生じないため、これらの対策は不要となる。   Note that when the wobbling is continued without stopping the focus lens 112, the above-described problem does not occur, and thus these measures are unnecessary.

次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。   Next, the operation of the imaging apparatus according to the embodiment of the present invention will be described with reference to the drawings.

図7は、本発明の実施の形態における撮像装置の処理手順を示す図である。まず、フォーカス調整部200において、エリア選択部220は測距エリアの候補を選択する(ステップS911)。その結果、測距エリアの候補が選択された場合には(ステップS912)、その選択された測距エリアにおいてフォーカス動作指示部240による指示の下でオートフォーカスが行われる(ステップS913)。   FIG. 7 is a diagram illustrating a processing procedure of the imaging apparatus according to the embodiment of the present invention. First, in the focus adjustment unit 200, the area selection unit 220 selects a distance measurement area candidate (step S911). As a result, when a distance measurement area candidate is selected (step S912), autofocus is performed in the selected distance measurement area under an instruction from the focus operation instruction unit 240 (step S913).

ステップS913においてオートフォーカスが行われた後、そのフォーカス位置においてエリア選択部220が測距エリアの候補を選択する(ステップS914)。その結果、測距エリアの候補が他に選択された場合には(ステップS915)、その新たに選択された測距エリアにおいてフォーカス動作指示部240による指示の下でオートフォーカスが行われる(ステップS913)。このように、測距エリアの候補が他に選択される限り、この動作が繰り返される。   After autofocus is performed in step S913, the area selection unit 220 selects a distance measurement area candidate at the focus position (step S914). As a result, when another candidate for the distance measurement area is selected (step S915), autofocus is performed in the newly selected distance measurement area under an instruction from the focus operation instruction unit 240 (step S913). ). As described above, this operation is repeated as long as another candidate for the distance measurement area is selected.

一方、ステップS912において測距エリアの候補が選択されなかった場合には、後述のステップS936で暫定的に選択された暫定エリアにおいてフォーカス動作指示部240による指示の下でオートフォーカスが行われる(ステップS916)。その結果、オートフォーカスが可能な状態であれば(ステップS917)、そのフォーカス位置においてエリア選択部220が測距エリアの候補を選択する(ステップS914)。オートフォーカスが不可能な状態であれば(ステップS917)、所定の位置(例えば、撮像装置から2メートル程度、もしくは、無限側)で待機するか、フォーカスレンズ112の移動速度を落として被写体の出現を待つか、コントラスト信号が最も高い点に移動して待機する(ステップS918)。   On the other hand, if no ranging area candidate is selected in step S912, autofocus is performed under the instruction from the focus operation instruction unit 240 in the provisional area provisionally selected in step S936 described later (step S912). S916). As a result, if autofocus is possible (step S917), the area selection unit 220 selects a distance measurement area candidate at the focus position (step S914). If autofocus is not possible (step S917), the subject appears at a predetermined position (for example, about 2 meters from the imaging device or on the infinity side) or the moving speed of the focus lens 112 is decreased. Or move to a point with the highest contrast signal and wait (step S918).

ステップS918で待機状態になった後、もしくは、ステップS915において測距エリアの候補が他に選択されなかった後は、被写体の変化を監視する状態に移行する(ステップS919)。   After entering the standby state in step S918, or after no other ranging area candidate is selected in step S915, the process proceeds to a state in which the change of the subject is monitored (step S919).

図8は、本発明の実施の形態における被写体変化監視(ステップS919)の処理手順を示す図である。ウォブリング動作を停止する場合には、フォーカス制御監視部280の指示によって画像情報記憶部260が画像情報を記憶する(ステップS942)。そして、画像情報変化検出部270が画像情報のその後の変化を検知する(ステップS943)。すなわち、画像情報変化検出部270は、画像情報記憶部260に記憶された画像情報と最新の画像情報とを比較することにより、その差分から変化を検知する。このとき、上述のように被写体が画角を通過しただけの場合もあり得るため、一定時間後に(ステップS944)一定レベルの変化が生じていればウォブリング動作に基づいてエリア選択部220が測距エリアの候補を選択する(ステップS946)。その結果、被写体の変化に伴って測距エリアの候補が他に選択された場合には(ステップS947)、図7の流れ図に戻って、その選択された測距エリアにおいてフォーカス動作指示部240による指示の下でオートフォーカスが行われる(ステップS913)。一方、被写体に変化がなく、測距エリアの候補が他に選択されない場合には(ステップS947)、そのままウォブリング動作を継続して被写体の変化を監視する。   FIG. 8 is a diagram showing a processing procedure for subject change monitoring (step S919) in the embodiment of the present invention. When stopping the wobbling operation, the image information storage unit 260 stores the image information according to an instruction from the focus control monitoring unit 280 (step S942). Then, the image information change detection unit 270 detects a subsequent change in the image information (step S943). That is, the image information change detection unit 270 detects the change from the difference by comparing the image information stored in the image information storage unit 260 with the latest image information. At this time, as described above, since the subject may have just passed the angle of view, if a certain level of change occurs after a certain time (step S944), the area selection unit 220 performs distance measurement based on the wobbling operation. An area candidate is selected (step S946). As a result, when another candidate for the distance measurement area is selected in accordance with the change of the subject (step S947), the flow returns to the flowchart of FIG. 7 and the focus operation instruction unit 240 performs the operation in the selected distance measurement area. Under the instruction, autofocus is performed (step S913). On the other hand, if there is no change in the subject and no other ranging area candidate is selected (step S947), the wobbling operation is continued and the change in the subject is monitored.

一方、ウォブリング動作を継続するのであれば(ステップS941)、画像情報の変化を検知することなく、ウォブリング動作に基づいてエリア選択部220が測距エリアの候補の選択を継続する(ステップS946)。   On the other hand, if the wobbling operation is to be continued (step S941), the area selection unit 220 continues to select a distance measurement area candidate based on the wobbling operation without detecting a change in the image information (step S946).

図9は、本発明の実施の形態における測距エリア候補選択(ステップS911、S914、S942)の処理手順を示す図である。フォーカス動作指示部240は、ウォブリング動作の開始を指示する(ステップS921)。そして、測距エリアの各々について候補になり得るか否かを以下のように判断する。   FIG. 9 is a diagram showing a processing procedure for distance measurement area candidate selection (steps S911, S914, and S942) in the embodiment of the present invention. The focus operation instruction unit 240 instructs the start of the wobbling operation (step S921). Then, whether or not each of the ranging areas can be a candidate is determined as follows.

エリア選択部220は、ウォブリング動作の際の測距エリアの評価値を取得して(ステップS922)、至近側にフォーカスレンズを移動した時に評価値が増加するか否か、すなわち至近側に被写体が存在するか否かを判断する(ステップS923)。そして、被写体が存在する旨判断された場合、評価値が信頼できるものであれば(ステップS924)、その測距エリアを候補とする(ステップS925)。ここで、信頼できるか否かの判断基準は上述の通りであり、変動が極めて大きいものではなく、かつ、一定レベルの閾値を超えている場合に信頼できるものと判断できる。一方、至近側に被写体が存在せず(ステップS923)、または、評価値が信頼できるものでなければ(ステップS924)、その測距エリアを候補から外す(ステップS926)。これらの判断が全ての測距エリアについて行われると(ステップS927)、フォーカス動作指示部240はウォブリング動作の終了を指示する(ステップS928)。   The area selection unit 220 acquires the evaluation value of the ranging area during the wobbling operation (step S922), and whether or not the evaluation value increases when the focus lens is moved to the close side, that is, the subject is on the close side. It is determined whether or not it exists (step S923). When it is determined that the subject exists, if the evaluation value is reliable (step S924), the distance measurement area is set as a candidate (step S925). Here, the criterion for determining whether or not it is reliable is as described above, and it can be determined that it is reliable when the fluctuation is not extremely large and exceeds a certain level threshold. On the other hand, if there is no subject on the close side (step S923) or the evaluation value is not reliable (step S924), the distance measurement area is excluded from the candidates (step S926). When these determinations are made for all the ranging areas (step S927), the focus operation instruction unit 240 instructs the end of the wobbling operation (step S928).

その結果、複数の測距エリアが候補となった場合には(ステップS931)、そのうち最も優先順位の高い1つが選択される(ステップS932)。その際の優先順位としては、上述のように、例えば評価値の変動量が大きいものが優先される。一方、測距エリアの候補が一つだけの場合には(ステップS933)、その候補が選択される(ステップS934)。また、測距エリアの候補が見つからず、過去にも測距エリアが選択されていない場合には(ステップS935)、中央に近い測距エリアなどの特定の測距エリアが暫定エリアとして選択される(ステップS936)。   As a result, when a plurality of ranging areas are candidates (step S931), one of the highest priority is selected (step S932). As a priority order in that case, as described above, for example, the one having a large variation in the evaluation value is given priority. On the other hand, when there is only one candidate for the distance measurement area (step S933), the candidate is selected (step S934). If no distance measurement area candidate is found and no distance measurement area has been selected in the past (step S935), a specific distance measurement area such as a distance measurement area close to the center is selected as a temporary area. (Step S936).

このように、本発明の実施の形態によれば、エリア選択部220によって選択された測距エリアにおいて、フォーカス動作指示部240の指示によりオートフォーカスが行われ、そのフォーカス位置においてさらにエリア選択部220による測距エリアの選択が繰り返されていくことにより、最終的に至近側の被写体に焦点を合わせることができる。   As described above, according to the embodiment of the present invention, auto-focusing is performed according to an instruction from the focus operation instruction unit 240 in the distance measurement area selected by the area selection unit 220, and the area selection unit 220 is further at the focus position. By repeatedly selecting the distance measurement area according to the above, it is possible to finally focus on the closest subject.

なお、本発明の実施の形態では、エリア選択部220において候補となる測距エリアの数が多い程、より確実に至近の被写体に焦点を合わせることが可能になる。そのための一つの方法として、絞りをできるだけ絞る方向に設定することが考えられる。これにより、被写界深度が深くなり、被写体の焦点から離れた位置にフォーカスレンズ112があったとしても、被写体の存在を感知することができ、至近の被写体を見つけ易くなる。   In the embodiment of the present invention, as the number of distance measurement areas as candidates in the area selection unit 220 increases, it becomes possible to focus on a close subject more reliably. As one method for that purpose, it is conceivable to set the aperture in the direction of aperture as much as possible. As a result, the depth of field is deepened, and even when the focus lens 112 is located away from the focus of the subject, the presence of the subject can be sensed and it is easy to find the closest subject.

また、他の方法としては、ある測距エリアにおいて評価値の極大点に到達した際に、ウォブリング量を大きくして他の測距エリアの評価値を感知し易いようにすることが考えられる。ウォブリングは大きくし過ぎると、フォーカスが合わない様子や、画角の変動が目立ってしまう。しかし、動画が記録されていないモニタリング状態であれば、画像が視認されるのはLCDなどの比較的小さな画面を通してのみであり、この場合にはウォブリングを大きくしても目立たない。そこで、評価値の極大点に到達した際に、動画を記録している状態でなければ、ウォブリングの大きさを大きくするようにフォーカス動作指示部240において制御することにより、ユーザに影響を及ぼすことなく至近の被写体を見つけ易くすることができる。このウォブリング大きさの切り替えは、ズーム位置によって変更されてもよく、また、被写界深度に応じて変更されてもよい。   As another method, it is conceivable to increase the wobbling amount so that evaluation values of other distance measurement areas can be easily detected when the maximum value of the evaluation value is reached in a certain distance measurement area. If wobbling is too large, focus will not be achieved and the angle of view will be noticeable. However, in the monitoring state in which no moving image is recorded, the image is visually recognized only through a relatively small screen such as an LCD. In this case, even if wobbling is increased, it is not noticeable. Therefore, when the maximum point of the evaluation value is reached, if the moving image is not being recorded, the focus operation instruction unit 240 controls to increase the size of the wobbling, thereby affecting the user. This makes it easier to find nearby subjects. The switching of the wobbling size may be changed according to the zoom position, or may be changed according to the depth of field.

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。   The embodiment of the present invention is an example for embodying the present invention and has a corresponding relationship with the invention-specific matters in the claims as shown below, but is not limited thereto. However, various modifications can be made without departing from the scope of the present invention.

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。   The processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program May be taken as

本発明の実施の形態における撮像装置の一構成例を示す図である。It is a figure which shows the example of 1 structure of the imaging device in embodiment of this invention. 本発明の実施の形態におけるフォーカス調整部200の一構成例を示す図である。It is a figure which shows the example of 1 structure of the focus adjustment part 200 in embodiment of this invention. 本発明の実施の形態における撮像画像上の複数の測距エリアの一例を示す図である。It is a figure which shows an example of the several ranging area on the captured image in embodiment of this invention. 本発明の実施の形態における撮像画像上の複数の測距エリアによる評価値分布の一例を示す図である。It is a figure which shows an example of the evaluation value distribution by the some ranging area on the captured image in embodiment of this invention. 本発明の実施の形態における撮像画像上の複数の測距エリアの他の例を示す図である。It is a figure which shows the other example of several ranging area on the captured image in embodiment of this invention. 本発明の実施の形態における撮像画像上の測距エリアの一つに複数のコントラストが含まれる例を示す図である。It is a figure which shows the example in which several contrast is contained in one of the ranging areas on the captured image in embodiment of this invention. 本発明の実施の形態における撮像装置の処理手順を示す図である。It is a figure which shows the process sequence of the imaging device in embodiment of this invention. 本発明の実施の形態における被写体変化監視の処理手順を示す図である。It is a figure which shows the process sequence of object change monitoring in embodiment of this invention. 本発明の実施の形態における測距エリア候補選択の処理手順を示す図である。It is a figure which shows the process sequence of ranging area candidate selection in embodiment of this invention.

符号の説明Explanation of symbols

111 表面レンズ
112 フォーカスレンズ
113 ズームレンズ
122、123 モータ
132、133 ドライバ
142 フォーカス制御部
143 ズーム制御部
152 シャッターボタン
153 ズームボタン
160 撮像素子
170 撮像信号取得部
180 画像表示部
190 評価値生成部
200 フォーカス調整部
220 エリア選択部
230 選択エリア保持部
240 フォーカス動作指示部
250 選択エリアリセット部
260 画像情報記憶部
270 画像情報変化検出部
280 フォーカス制御監視部
290 ズーム位置監視部
DESCRIPTION OF SYMBOLS 111 Surface lens 112 Focus lens 113 Zoom lens 122, 123 Motor 132, 133 Driver 142 Focus control part 143 Zoom control part 152 Shutter button 153 Zoom button 160 Imaging element 170 Imaging signal acquisition part 180 Image display part 190 Evaluation value generation part 200 Focus Adjustment unit 220 Area selection unit 230 Selection area holding unit 240 Focus operation instruction unit 250 Selection area reset unit 260 Image information storage unit 270 Image information change detection unit 280 Focus control monitoring unit 290 Zoom position monitoring unit

Claims (8)

所定のフォーカス位置において被写体を撮像画像として撮像する撮像手段と、
前記被写体を拡大して前記撮像手段に供給するズーム手段と、
前記ズーム手段による拡大率の変動を検知するズーム変動検知手段と、
前記撮像画像の予め定められた複数の領域について画像情報の評価値を生成する評価値生成手段と、
前記所定のフォーカス位置を中心としてフォーカスレンズを光軸方向の前後に微小振動させた際の前記複数の領域のうちそれぞれの領域内における前記微小振動による前記評価値の差分の何れかが所定の閾値を超えた場合に限り前記複数の領域のうち前記評価値の極大値が最も至近になると推定される領域を選択する領域選択手段と、
前記領域選択手段によって選択された領域において前記被写体に対してフォーカスを合わせるよう指示するフォーカス動作指示手段とを具備し、
前記ズーム変動検知手段が前記拡大率の変動を検出すると前記領域選択手段は新たに前記評価値の極大値が最も至近になると推定される領域を選択し、
前記フォーカス動作指示手段がフォーカスを合わせるとそのフォーカス位置を新たな前記所定のフォーカス位置として動作を繰り返す撮像装置。
Imaging means for imaging a subject as a captured image at a predetermined focus position;
Zoom means for enlarging the subject and supplying the image to the imaging means;
Zoom fluctuation detecting means for detecting fluctuations in the enlargement ratio by the zoom means;
Evaluation value generating means for generating evaluation values of image information for a plurality of predetermined regions of the captured image;
Wherein when allowed to minute vibration back and forth in the optical axis direction of the focus lens around a predetermined focus position, one of the difference component of the evaluation value by the minute vibration in the respective area of the plurality of regions of a predetermined A region selection means for selecting a region where the maximum value of the evaluation value is estimated to be the closest among the plurality of regions only when the threshold value is exceeded,
Focusing operation instruction means for instructing the subject to focus in the area selected by the area selection means,
When the zoom variation detecting unit detects the variation of the enlargement ratio, the region selecting unit newly selects a region where the maximum value of the evaluation value is estimated to be closest,
An imaging apparatus that repeats the operation with the focus position set as the new predetermined focus position when the focus operation instruction means adjusts the focus.
前記フォーカス動作指示手段はフォーカスの合ったフォーカス位置においてウォブリング動作を行うよう指示し、
前記領域選択手段は前記ウォブリング動作に基づいて前記評価値の極大値を推定する
請求項1記載の撮像装置。
The focus operation instruction means instructs to perform a wobbling operation at a focused position in focus,
The imaging apparatus according to claim 1, wherein the region selection unit estimates a maximum value of the evaluation value based on the wobbling operation.
前記評価値は前記画像情報の高周波成分を含む請求項1記載の撮像装置。   The imaging apparatus according to claim 1, wherein the evaluation value includes a high frequency component of the image information. 前記画像情報の変化を検出する画像情報変化検出手段をさらに具備し、
前記画像情報変化検出手段が前記画像情報の変化を検出すると前記領域選択手段は新たに前記評価値の極大値が最も至近になると推定される領域を選択する
請求項1記載の撮像装置。
Further comprising image information change detecting means for detecting a change in the image information,
The imaging apparatus according to claim 1, wherein when the image information change detection unit detects a change in the image information, the region selection unit newly selects a region where the maximum value of the evaluation value is estimated to be closest.
所定のフォーカス位置において被写体を撮像することにより得られる撮像画像を入力する入力手段と、
前記被写体を拡大して撮像手段に供給するズーム手段における拡大率の変動を検知するズーム変動検知手段と、
前記撮像画像の予め定められた複数の領域について画像情報の評価値を生成する評価値生成手段と、
前記所定のフォーカス位置を中心としてフォーカスレンズを光軸方向の前後に微小振動させた際の前記複数の領域のうちそれぞれの領域内における前記微小振動による前記評価値の差分の何れかが所定の閾値を超えた場合に限り前記複数の領域のうち前記評価値の極大値が最も至近になると推定される領域を選択する領域選択手段と、
前記領域選択手段によって選択された領域において前記被写体に対してフォーカスを合わせるよう指示するフォーカス動作指示手段とを具備し、
前記ズーム変動検知手段が前記拡大率の変動を検出すると前記領域選択手段は新たに前記評価値の極大値が最も至近になると推定される領域を選択し、
前記フォーカス動作指示手段がフォーカスを合わせるとそのフォーカス位置を新たな前記所定のフォーカス位置として動作を繰り返す画像処理装置。
Input means for inputting a captured image obtained by imaging a subject at a predetermined focus position;
Zoom fluctuation detecting means for detecting a fluctuation of an enlargement ratio in the zoom means for enlarging the subject and supplying it to the imaging means;
Evaluation value generating means for generating evaluation values of image information for a plurality of predetermined regions of the captured image;
Wherein when allowed to minute vibration back and forth in the optical axis direction of the focus lens around a predetermined focus position, one of the difference component of the evaluation value by the minute vibration in the respective area of the plurality of regions of a predetermined A region selection means for selecting a region where the maximum value of the evaluation value is estimated to be the closest among the plurality of regions only when the threshold value is exceeded,
Focusing operation instruction means for instructing the subject to focus in the area selected by the area selection means,
When the zoom variation detecting unit detects the variation of the enlargement ratio, the region selecting unit newly selects a region where the maximum value of the evaluation value is estimated to be closest,
An image processing apparatus that repeats an operation when the focus operation instruction means adjusts the focus, with the focus position as a new predetermined focus position.
被写体に対する所定のフォーカス位置における撮像画像の予め定められた複数の領域について画像情報の評価値を生成する評価値生成手段と、
前記被写体を拡大して撮像手段に供給するズーム手段における拡大率の変動を検知するズーム変動検知手段と、
前記所定のフォーカス位置を中心としてフォーカスレンズを光軸方向の前後に微小振動させた際の前記複数の領域のうちそれぞれの領域内における前記微小振動による前記評価値の差分の何れかが所定の閾値を超えた場合に限り前記複数の領域のうち前記評価値の極大値が最も至近になると推定される領域を選択する領域選択手段と、
前記領域選択手段によって選択された領域において前記被写体に対してフォーカスを合わせるよう指示するフォーカス動作指示手段とを具備し、
前記ズーム変動検知手段が前記拡大率の変動を検出すると前記領域選択手段は新たに前記評価値の極大値が最も至近になると推定される領域を選択し、
前記フォーカス動作指示手段がフォーカスを合わせるとそのフォーカス位置を新たな前記所定のフォーカス位置として動作を繰り返すフォーカス調整装置。
Evaluation value generation means for generating evaluation values of image information for a plurality of predetermined regions of a captured image at a predetermined focus position with respect to a subject;
Zoom fluctuation detecting means for detecting a fluctuation of an enlargement ratio in the zoom means for enlarging the subject and supplying it to the imaging means;
Wherein when allowed to minute vibration back and forth in the optical axis direction of the focus lens around a predetermined focus position, one of the difference component of the evaluation value by the minute vibration in the respective area of the plurality of regions of a predetermined A region selection means for selecting a region where the maximum value of the evaluation value is estimated to be the closest among the plurality of regions only when the threshold value is exceeded,
Focusing operation instruction means for instructing the subject to focus in the area selected by the area selection means,
When the zoom variation detecting unit detects the variation of the enlargement ratio, the region selecting unit newly selects a region where the maximum value of the evaluation value is estimated to be closest,
A focus adjustment device that repeats the operation when the focus operation instruction means adjusts the focus, using the focus position as a new predetermined focus position.
被写体に対する所定のフォーカス位置における撮像画像の予め定められた複数の領域について画像情報の評価値を生成する手順と、
前記所定のフォーカス位置を中心としてフォーカスレンズを光軸方向の前後に微小振動させた際の前記複数の領域のうちそれぞれの領域内における前記微小振動による前記評価値の差分の何れかが所定の閾値を超えた場合に限り前記複数の領域のうち前記評価値の極大値が最も至近になると推定される領域を選択する手順と、
前記被写体を拡大して撮像手段に供給するズーム手段における拡大率の変動を検知する手順と、
前記拡大率の変動が検出されると新たに前記評価値の極大値が最も至近になると推定される領域を選択する手順と、
前記選択された領域において前記被写体に対してフォーカスを合焦させるよう指示する手順と、
前記フォーカスが合焦するとそのフォーカス位置を新たな前記所定のフォーカス位置として前記各手順を繰り返す手順と
を具備するフォーカス調整方法。
A procedure for generating an evaluation value of image information for a plurality of predetermined regions of a captured image at a predetermined focus position with respect to a subject;
Wherein when allowed to minute vibration back and forth in the optical axis direction of the focus lens around a predetermined focus position, one of the difference component of the evaluation value by the minute vibration in the respective area of the plurality of regions of a predetermined A procedure for selecting a region where the maximum value of the evaluation value is estimated to be the closest among the plurality of regions only when the threshold value is exceeded,
A procedure for detecting a change in an enlargement ratio in zoom means for enlarging the subject and supplying the image to the imaging means;
A procedure for selecting a region where the maximum value of the evaluation value is estimated to be closest when a change in the enlargement ratio is detected;
Instructing the subject to focus on the selected area; and
A focus adjustment method comprising: a step of repeating each of the steps with the focus position set as a new predetermined focus position when the focus is achieved.
被写体に対する所定のフォーカス位置における撮像画像の予め定められた複数の領域について画像情報の評価値を生成する手順と、
前記所定のフォーカス位置を中心としてフォーカスレンズを光軸方向の前後に微小振動させた際の前記複数の領域のうちそれぞれの領域内における前記微小振動による前記評価値の差分の何れかが所定の閾値を超えた場合に限り前記複数の領域のうち前記評価値の極大値が最も至近になると推定される領域を選択する手順と、
前記被写体を拡大して撮像手段に供給するズーム手段における拡大率の変動を検知する手順と、
前記拡大率の変動が検出されると新たに前記評価値の極大値が最も至近になると推定される領域を選択する手順と、
前記選択された領域において前記被写体に対してフォーカスを合焦させるよう指示する手順と、
前記フォーカスが合焦するとそのフォーカス位置を新たな前記所定のフォーカス位置として前記各手順を繰り返す手順と
をコンピュータに実行させるためのプログラム。
A procedure for generating an evaluation value of image information for a plurality of predetermined regions of a captured image at a predetermined focus position with respect to a subject;
Wherein when allowed to minute vibration back and forth in the optical axis direction of the focus lens around a predetermined focus position, one of the difference component of the evaluation value by the minute vibration in the respective area of the plurality of regions of a predetermined A procedure for selecting a region where the maximum value of the evaluation value is estimated to be the closest among the plurality of regions only when the threshold value is exceeded,
A procedure for detecting a change in an enlargement ratio in zoom means for enlarging the subject and supplying the image to the imaging means;
A procedure for selecting a region where the maximum value of the evaluation value is estimated to be closest when a change in the enlargement ratio is detected;
Instructing the subject to focus on the selected area; and
A program for causing a computer to execute a procedure for repeating each of the steps with the focus position as a new predetermined focus position when the focus is in focus.
JP2006122944A 2006-04-27 2006-04-27 Imaging device and its focus adjustment device Expired - Fee Related JP4946152B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006122944A JP4946152B2 (en) 2006-04-27 2006-04-27 Imaging device and its focus adjustment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006122944A JP4946152B2 (en) 2006-04-27 2006-04-27 Imaging device and its focus adjustment device

Publications (2)

Publication Number Publication Date
JP2007293146A JP2007293146A (en) 2007-11-08
JP4946152B2 true JP4946152B2 (en) 2012-06-06

Family

ID=38763821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006122944A Expired - Fee Related JP4946152B2 (en) 2006-04-27 2006-04-27 Imaging device and its focus adjustment device

Country Status (1)

Country Link
JP (1) JP4946152B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294647B2 (en) * 2008-02-19 2013-09-18 キヤノン株式会社 Focus adjustment apparatus and control method thereof
JP5613277B2 (en) 2013-03-05 2014-10-22 オリンパスイメージング株式会社 Zoom lens and image pickup apparatus including the same
JP6127730B2 (en) * 2013-05-31 2017-05-17 株式会社ニコン Imaging device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0754971B2 (en) * 1993-10-08 1995-06-07 三洋電機株式会社 Autofocus video camera
JPH09197252A (en) * 1996-01-24 1997-07-31 Fuji Photo Optical Co Ltd Automatic focusing method

Also Published As

Publication number Publication date
JP2007293146A (en) 2007-11-08

Similar Documents

Publication Publication Date Title
US10462374B2 (en) Zooming control apparatus, image capturing apparatus and control methods thereof
RU2456654C2 (en) Image capturing device, control method thereof and data medium
US7801431B2 (en) Image capturing device and auto-focus method thereof
JP4843002B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
CN107850753B (en) Detection apparatus, detection method, detection program, and imaging apparatus
JP2009133903A (en) Imaging apparatus and imaging method
JP4907740B2 (en) Imaging device
JP5427024B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
US20120154667A1 (en) Focus detecting apparatus and control method thereof
US8648960B2 (en) Digital photographing apparatus and control method thereof
EP2896980B1 (en) Imaging apparatus and method for controlling an imaging apparatus
US10051174B2 (en) Focus adjustment device and focus adjustment method
JP2012027229A (en) Imaging device and imaging method
JP6774233B2 (en) Focus detector, control method and program
JP4946152B2 (en) Imaging device and its focus adjustment device
JP2011191617A (en) Imaging device
JP6234016B2 (en) Focus adjustment device, imaging device, and control method thereof
JP6501536B2 (en) Imaging device, control method therefor, program, storage medium
JP6007687B2 (en) Imaging control apparatus, imaging apparatus, and imaging control method
US20130242159A1 (en) Imaging device and display process method
JP2013210572A (en) Imaging device and control program of the same
JP6164978B2 (en) FOCUS ADJUSTMENT DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE
JP7204622B2 (en) Zoom control device and its control method
JP4960730B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
KR20120128986A (en) Camera module and method for driving the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees