JP4819930B2 - Autofocus device for taking lens - Google Patents

Autofocus device for taking lens Download PDF

Info

Publication number
JP4819930B2
JP4819930B2 JP2009175763A JP2009175763A JP4819930B2 JP 4819930 B2 JP4819930 B2 JP 4819930B2 JP 2009175763 A JP2009175763 A JP 2009175763A JP 2009175763 A JP2009175763 A JP 2009175763A JP 4819930 B2 JP4819930 B2 JP 4819930B2
Authority
JP
Japan
Prior art keywords
focus
luminance signal
evaluation value
focus position
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009175763A
Other languages
Japanese (ja)
Other versions
JP2009247020A (en
Inventor
正 佐々木
正夫 和田
哲二 井上
良次 熊木
忍 中村
治男 富永
弘幸 堀口
英克 杉浦
正幸 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Japan Broadcasting Corp
Original Assignee
Fujifilm Corp
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp, Japan Broadcasting Corp filed Critical Fujifilm Corp
Priority to JP2009175763A priority Critical patent/JP4819930B2/en
Publication of JP2009247020A publication Critical patent/JP2009247020A/en
Application granted granted Critical
Publication of JP4819930B2 publication Critical patent/JP4819930B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は撮影レンズのオートフォーカス装置に係り、特に撮影レンズのオートフォーカス制御における合焦検出を行う撮影レンズのオートフォーカス装置に関する。 The present invention relates to autofocus device of the photographing lens to perform focus detection in autofocus control of the autofocus device relates to, in particular taking lens of the taking lens.

ビデオカメラなどのオートフォーカスは、コントラスト方式によるものが一般的である。このコントラスト方式は、撮像素子から得られた映像信号(輝度信号)のうちある範囲(フォーカスエリア)内の映像信号の高域周波数成分を積算して焦点評価値とする。そして、その焦点評価値が最大となるようにピント調整を自動で行う。これによって、撮像素子で撮像された画像の鮮鋭度(画像のコントラスト)が最大となる最良ピント(合焦)が得られる。   In general, autofocus for a video camera or the like is based on a contrast method. In this contrast method, a high frequency component of a video signal within a certain range (focus area) of video signals (luminance signals) obtained from an image sensor is integrated to obtain a focus evaluation value. Then, the focus adjustment is automatically performed so that the focus evaluation value is maximized. Thus, it is possible to obtain the best focus (focusing) that maximizes the sharpness (image contrast) of the image captured by the image sensor.

また、従来、光路長の異なる複数の撮像素子を用いて撮影レンズのピント状態(前ピン、後ピン、合焦)を検出する方法が提案されている(特開昭55−76312号公報、特公平7−60211号公報)。例えば、映像用の画像を撮像する撮像素子(映像用撮像素子)に対して同一撮影範囲の画像を撮像する2つのピント状態検出用撮像素子を、それぞれ映像用撮像素子よりも光路長が長くなる位置と短くなる位置に配置する。そして、これらのピント状態検出用撮像素子から得られた映像信号の高域周波数成分に基づいて各ピント状態検出用撮像素子の各撮像面に対する焦点評価値を上述と同様にして求め、比較する。これによって、焦点評価値の大小関係から映像用撮像素子の撮像面におけるピント状態、即ち、前ピン、後ピン、合焦のどの状態にあるかが検出される。このようなピント状態の検出方法は、オートフォーカスのための合焦検出等に適用することができる。   Conventionally, a method for detecting the focus state (front pin, rear pin, in-focus) of a photographic lens using a plurality of image sensors having different optical path lengths has been proposed (Japanese Patent Laid-Open No. 55-76312). No. 7-60211). For example, two focus state detection image sensors that capture an image in the same shooting range with respect to an image sensor that captures an image for video (video image sensor) each have an optical path length longer than that of the image sensor for video. Place it at a position that is shorter than the position. Based on the high frequency components of the video signal obtained from these focus state detection image sensors, the focus evaluation values for the respective imaging surfaces of the focus state detection image elements are obtained and compared in the same manner as described above. As a result, the focus state on the image pickup surface of the image pickup device for the image, that is, the front pin, the rear pin, or the in-focus state is detected from the magnitude relationship between the focus evaluation values. Such a focus state detection method can be applied to focus detection for autofocusing.

特開昭55−76312号公報JP-A-55-76312 特公平7−60211号公報Japanese Patent Publication No. 7-60211

ところで、上述のようなコントラスト方式におけるピント状態検出においては、高輝度被写体を撮影した際に輝度信号が飽和すると、正確な焦点評価値を得ることができないため、ピント状態を誤検出することになり、オートフォーカスの誤作動を招くことが知られている。特に、上述のように映像用撮像素子以外の撮像素子を用いて撮影レンズのピント状態を検出する場合には、映像用撮像素子のみにNDフィルターを使用することが可能となるため、その利点の代わりにピント状態検出用撮像素子から得られる輝度信号が飽和する可能性が更に大きくなる。このため、ピント状態検出用撮像素子の映像信号に飽和が生じないような飽和防止手段を設けることが必要となる。   By the way, in the focus state detection in the contrast method as described above, if the luminance signal is saturated when a high-luminance subject is photographed, an accurate focus evaluation value cannot be obtained, and thus the focus state is erroneously detected. It is known to cause an autofocus malfunction. In particular, when the focus state of the photographic lens is detected using an image pickup device other than the image pickup device as described above, the ND filter can be used only for the image pickup device. Instead, the possibility that the luminance signal obtained from the focus state detection image sensor is saturated further increases. For this reason, it is necessary to provide a saturation prevention means that does not cause saturation in the video signal of the focus state detection imaging device.

本発明はこのような事情に鑑みてなされたもので、映像用撮像素子と異なる複数のピント状態検出用撮像素子を用いてピント状態を検出する装置において、高輝度被写体の撮影時におけるピント状態の誤検出を防止することができる撮影レンズのオートフォーカス装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and in an apparatus for detecting a focus state using a plurality of focus state detection image sensors different from an image sensor for video, the focus state at the time of shooting a high-luminance subject is detected. An object of the present invention is to provide an autofocus device for a photographing lens that can prevent erroneous detection.

前記目的を達成するために、請求項1に記載の発明は、撮影レンズに入射した被写体光を分割する光分割手段と、前記光分割手段により分割された光のうち、映像用の画像を撮像する映像用撮像素子に入射する光とは別の光により、ピント状態検出用の画像を撮像する3つの撮像素子であって、互いに光路長が異なる位置に配置された3つのピント状態検出用撮像素子と、前記各ピント状態検出用撮像素子から得られる1画面分の輝度信号の高域周波数成分に基づいて画像の鮮鋭度の高低を示す焦点評価値を検出する焦点評価値検出手段と、前記焦点評価値検出手段により前記各ピント状態検出用撮像素子に対応して検出された3つの焦点評価値を、前記撮影レンズのフォーカス位置に関する異なる3点での焦点評価値とし、該3点での焦点評価値に基づいて、前記撮影レンズのフォーカス位置と焦点評価値との関係を示す曲線を所定関数を用いて求め、該曲線により焦点評価値が最大となるフォーカス位置を合焦位置として検出する合焦位置検出手段と、前記撮影レンズのフォーカス位置が前記合焦位置検出手段により検出された合焦位置となるように前記撮影レンズのフォーカスレンズを制御するフォーカス制御手段と、前記各ピント状態検出用撮像素子から1画面分の輝度信号を取得し、該取得した3つの輝度信号の中から最も大きな値を有する輝度信号を最大レベルの輝度信号として検出する最大レベル輝度信号検出手段と、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号に基づいて該輝度信号が飽和しない適切なレベルとなるゲインを決定し、該決定したゲインを前記各ピント状態検出用撮像素子から出力される輝度信号を生成する際のゲインとして設定するゲイン設定手段と、を備えたことを特徴としている。 In order to achieve the object, the invention according to claim 1, a light dividing unit that divides subject light incident on a photographing lens, and an image for video out of the light divided by the light dividing unit. Three image pickup devices for picking up an image for focus state detection with light different from the light incident on the image pickup device to be detected, and three focus state detections arranged at different optical path lengths from each other and use the image pickup device, a focus evaluation value detection means for detecting a focus evaluation value indicating the degree of the sharpness of the image based on the high frequency component of one screen of the luminance signal obtained from each focus state detecting device The three focus evaluation values detected by the focus evaluation value detection unit corresponding to each of the focus state detection imaging elements are set as focus evaluation values at three different points related to the focus position of the photographing lens. Focus on Based on the value, a curve indicating the relationship between the focus position of the photographing lens and the focus evaluation value is obtained using a predetermined function, and the focus position where the focus evaluation value is maximized by the curve is detected as the focus position. Position detection means, focus control means for controlling the focus lens of the photographic lens so that the focus position of the photographic lens is the focus position detected by the focus position detection means, and each focus state detection imaging A maximum level luminance signal detecting means for acquiring a luminance signal for one screen from the element and detecting a luminance signal having the largest value among the acquired three luminance signals as a maximum level luminance signal; Based on the luminance signal at the maximum level detected by the signal detection means, determine a gain at an appropriate level that does not saturate the luminance signal, The determined gain is characterized by comprising a gain setting means for setting a gain in generating the luminance signal output from each focus state detecting device.

また、請求項2に記載の発明は、撮影レンズに入射した被写体光を分割する光分割手段と、前記光分割手段により分割された光のうち、映像用の画像を撮像する映像用撮像素子に入射する光とは別の光により、ピント状態検出用の画像を撮像する3つの撮像素子であって、互いに光路長が異なる位置に配置された3つのピント状態検出用撮像素子と、前記各ピント状態検出用撮像素子から得られる1画面分の輝度信号の高域周波数成分に基づいて画像の鮮鋭度の高低を示す焦点評価値を検出する焦点評価値検出手段と、前記焦点評価値検出手段により前記各ピント状態検出用撮像素子に対応して検出された3つの焦点評価値を、前記撮影レンズのフォーカス位置に関する異なる3点での焦点評価値とし、該3点での焦点評価値に基づいて、前記撮影レンズのフォーカス位置と焦点評価値との関係を示す曲線を所定関数を用いて求め、該曲線により焦点評価値が最大となるフォーカス位置を合焦位置として検出する合焦位置検出手段と、前記撮影レンズのフォーカス位置が前記合焦位置検出手段により検出された合焦位置となるように前記撮影レンズのフォーカスレンズを制御するフォーカス制御手段と、前記各ピント状態検出用撮像素子から1画面分の輝度信号を取得し、該取得した3つの輝度信号の中から最も大きな値を有する輝度信号を最大レベルの輝度信号として検出する最大レベル輝度信号検出手段と、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号に基づいて該輝度信号が飽和しない適切なレベルとなる電荷蓄積時間を決定し、該決定した電荷蓄積時間を前記各ピント状態検出用撮像素子における電荷蓄積時間として設定する電荷蓄積時間設定手段と、を備えたことを特徴としている。 The invention described in Claim 2, a light dividing means which divides the subject light incident on the taking lens, of the divided light by the light splitting means, the image pickup device for capturing an image of the video Three image pickup devices for picking up an image for focus state detection with light different from incident light , the three image pickup devices for focus state detection arranged at positions having different optical path lengths ; Focus evaluation value detection means for detecting a focus evaluation value indicating the level of sharpness of an image based on a high frequency component of a luminance signal for one screen obtained from each focus state detection imaging device, and the focus evaluation value detection The three focus evaluation values detected by the means corresponding to the respective focus state detection image pickup elements are set as focus evaluation values at three different points related to the focus position of the photographing lens, and the focus evaluation values at the three points are obtained. Based on before A focus position detection unit that obtains a curve indicating a relationship between a focus position of the photographing lens and a focus evaluation value using a predetermined function, and detects a focus position at which the focus evaluation value is maximized by the curve as a focus position; Focus control means for controlling the focus lens of the photographic lens so that the focus position of the photographic lens is the in-focus position detected by the focus position detection means, and each focus state detection image sensor for one screen. A luminance signal is acquired, and a maximum level luminance signal detecting unit that detects a luminance signal having the largest value among the acquired three luminance signals as a maximum level luminance signal, and detected by the maximum level luminance signal detecting unit And determining the charge accumulation time at which the luminance signal is at an appropriate level that does not saturate based on the maximum luminance signal It is characterized in that the product time and a charge accumulation time setting means for setting a charge accumulation time in each focus state detecting device.

また、請求項3に記載の発明は、請求項1に記載の発明において、前記ゲイン設定手段は、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の最大値が所定のしきい値を超えない範囲となる最大のゲインを、前記輝度信号が飽和しない適切なレベルとなるゲインとして決定することを特徴としている。 According to a third aspect of the present invention, in the first aspect of the present invention, the gain setting means has a maximum threshold value of the maximum level luminance signal detected by the maximum level luminance signal detection means. A maximum gain that falls within a range that does not exceed the value is determined as a gain that provides an appropriate level that does not saturate the luminance signal .

また、請求項4に記載の発明は、請求項に記載の発明において、前記ゲイン設定手段は、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の最大値が所定のしきい値を超えない範囲となる最長の電荷蓄積時間を、前記輝度信号が飽和しない適切なレベルとなる電荷蓄積時間として決定することを特徴としている。
また、請求項5に記載の発明は、請求項1又は2に記載の発明において、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の瞬時値が飽和レベルに達したか否かを検出する飽和検出手段を備え、前記焦点評価値検出手段は、前記飽和検出手段により飽和レベルに達した瞬時値に対応する画素を除く範囲の輝度信号の高域周波数成分に基づいて焦点評価値を検出することを特徴としている。
According to a fourth aspect of the present invention, in the second aspect of the present invention, the gain setting means has a maximum threshold value of the maximum level luminance signal detected by the maximum level luminance signal detection means. The longest charge accumulation time that does not exceed the value is determined as the charge accumulation time at which the luminance signal is at an appropriate level that does not saturate .
Further, in the invention described in claim 5, in the invention described in claim 1 or 2, whether or not the instantaneous value of the maximum level luminance signal detected by the maximum level luminance signal detecting means has reached a saturation level. The focus evaluation value detection means includes a focus evaluation value based on a high frequency component of a luminance signal in a range excluding pixels corresponding to an instantaneous value that has reached a saturation level by the saturation detection means. It is characterized by detecting.

本発明によれば、各ピント状態検出用撮像素子から得られた輝度信号のゲイン、又は、各ピント状態検出用撮像素子の電荷蓄積時間を、映像用撮像素子とは無関係に調整し、輝度信号が飽和することを防止するようにしたため、高輝度被写体を撮影した場合でもピント状態の誤検出を防止することができ、また、本発明におけるピント状態検出をオートフォーカスの制御に使用した場合のオートフォーカスの誤動作を防止することができる。   According to the present invention, the luminance signal gain obtained from each focus state detection image sensor or the charge accumulation time of each focus state detection image sensor is adjusted independently of the video image sensor to obtain the luminance signal. Is prevented from being saturated, so that erroneous detection of the focus state can be prevented even when a high-luminance subject is photographed. Also, when the focus state detection according to the present invention is used for autofocus control, It is possible to prevent a focus malfunction.

以上説明したように本発明に係る撮影レンズのオートフォーカス装置によれば、各ピント状態検出用撮像素子から得られた輝度信号のゲイン、又は、各ピント状態検出用撮像素子の電荷蓄積時間を、映像用撮像素子とは無関係に調整し、輝度信号が飽和することを防止するようにしたため、高輝度被写体を撮影した場合でもピント状態の誤検出を防止することができ、また、オートフォーカスの誤動作を防止することができる。 As described above, according to the autofocus device for a photographing lens according to the present invention, the gain of the luminance signal obtained from each focus state detection image sensor, or the charge accumulation time of each focus state detection image sensor, adjusted independently of the video imaging device, since the luminance signal is to be prevented from being saturated, it is possible to prevent erroneous detection of the focus state even when photographing a high-luminance subject, also malfunction Oh over autofocus Can be prevented.

図1は、テレビカメラシステムに使用される撮影レンズに適用された本発明に係るピント状態検出装置の構成を示した構成図である。FIG. 1 is a configuration diagram showing a configuration of a focus state detection device according to the present invention applied to a photographing lens used in a television camera system. 図2は、ピント状態検出用の撮像部の構成を示した構成図である。FIG. 2 is a configuration diagram illustrating a configuration of an imaging unit for focus state detection. 図3は、ピント状態検出用の撮像素子A、B、Cを同一光軸上で示した図である。FIG. 3 is a diagram showing the image pickup devices A, B, and C for focus state detection on the same optical axis. 図4は、ピント状態検出の処理を行う信号処理部の構成を示したブロック図である。FIG. 4 is a block diagram illustrating a configuration of a signal processing unit that performs focus state detection processing. 図5は、輝度信号が飽和しないような被写体を撮影しているときの合焦状態での輝度信号及びその高域周波数成分の状態を示した図である。FIG. 5 is a diagram showing the state of the luminance signal and its high frequency component in a focused state when shooting a subject whose luminance signal is not saturated. 図6は、輝度信号が飽和しないような被写体を撮影しているときの非合焦状態での輝度信号及びその高域周波数成分の状態を示した図である。FIG. 6 is a diagram showing the state of the luminance signal and its high frequency component in the out-of-focus state when photographing a subject whose luminance signal does not saturate. 図7は、輝度信号が飽和するような高輝度被写体を撮影しているときの合焦状態での輝度信号及びその高域周波数成分の状態を示した図である。FIG. 7 is a diagram illustrating the state of the luminance signal and its high frequency components in a focused state when shooting a high-luminance subject in which the luminance signal is saturated. 図8は、輝度信号が飽和するような高輝度被写体を撮影しているときの非合焦状態での輝度信号及びその高域周波数成分の状態を示した図である。FIG. 8 is a diagram showing the state of the luminance signal and its high frequency component in the out-of-focus state when shooting a high-luminance subject in which the luminance signal is saturated. 図9は、ある被写体を撮影した際のフォーカス位置に対する各ピント状態検出用の撮像素子における焦点評価値の様子を示した図である。FIG. 9 is a diagram illustrating a state of a focus evaluation value in each focus state detection image sensor with respect to a focus position when a certain subject is photographed. 図10は、3つのピント状態検出用撮像素子によるピント状態検出の処理の説明に使用した説明図である。FIG. 10 is an explanatory diagram used for explaining processing of focus state detection by three focus state detection image sensors.

以下、添付図面に従って本発明に係る撮影レンズのオートフォーカス装置の好ましい実施の形態について詳説する。
Hereinafter, preferred embodiments of an autofocus device for a taking lens according to the present invention will be described in detail according to the accompanying drawings.

図1は、例えばテレビカメラシステムに使用される撮影レンズに適用された本発明に係るピント状態検出装置の構成を示した構成図である。同図に示すテレビカメラシステムは、カメラ本体10と交換可能な撮影レンズ12等からなり、カメラ本体10には、放映用の映像を撮影し、所定形式の映像信号を出力又は記録媒体に記録するための撮像素子(映像用撮像素子)や所要の回路等が内蔵されている。一方、撮影レンズ12は、カメラ本体10の前面側に着脱自在に装着され、撮影レンズ12の光学系には、公知のように前端側から固定フォーカスレンズF′、移動可能なフォーカスレンズF、変倍系と補正系とからなるズームレンズZ、アイリスI、前側リレーレンズR1と後側リレーレンズR2とからなるリレーレンズ(リレー光学系)等が配置される。尚、図中の各レンズの構成は簡略化しており、複数のレンズから成るレンズ群を1つのレンズで示したものもある。   FIG. 1 is a configuration diagram showing a configuration of a focus state detection apparatus according to the present invention applied to a photographic lens used in a television camera system, for example. The TV camera system shown in FIG. 1 includes a photographic lens 12 that can be exchanged with a camera body 10, and the camera body 10 shoots a video for broadcasting and outputs a video signal in a predetermined format or records it on a recording medium. For this purpose, an image pickup device (image pickup device for video) and necessary circuits are incorporated. On the other hand, the photographic lens 12 is detachably attached to the front side of the camera body 10, and the optical system of the photographic lens 12 has a fixed focus lens F ′, a movable focus lens F, a variable focus lens F from the front end side as is well known. A zoom lens Z composed of a magnification system and a correction system, an iris I, a relay lens (relay optical system) composed of a front relay lens R1 and a rear relay lens R2, and the like are disposed. Note that the configuration of each lens in the drawing is simplified, and there is a lens group including a plurality of lenses shown as one lens.

また、同図に示すようにリレー光学系の前側リレーレンズR1と後側リレーレンズR2との間の被写体光の光路上には撮影レンズ12の光軸Oに対して略45度に傾斜し、被写体光(光束)を透過光と反射光に分割するハーフミラー24が配置される。   Further, as shown in the figure, the optical path of the subject light between the front relay lens R1 and the rear relay lens R2 of the relay optical system is inclined at about 45 degrees with respect to the optical axis O of the photographing lens 12, A half mirror 24 that divides subject light (light beam) into transmitted light and reflected light is disposed.

撮影レンズ12の前端側から入射した被写体光のうちハーフミラー24を透過した透過光、即ち、映像用の被写体光は、撮影レンズ12の後端側から射出され、カメラ本体10の撮像部20に入射する。撮像部20の構成については省略するが、撮像部20に入射した被写体光は、例えば色分解光学系により、赤色光、緑色光、青色光の3色に分解され、各色ごとの撮像素子(映像用撮像素子)の撮像面に入射する。これによって放映用のカラー映像が撮影される。尚、図中のピント面22は、各映像用撮像素子の撮像面に対して光学的に等価な位置を撮影レンズ12の光軸O上に示したものである。   Of the subject light incident from the front end side of the photographing lens 12, the transmitted light that has passed through the half mirror 24, that is, the subject light for video, is emitted from the rear end side of the photographing lens 12 and is applied to the imaging unit 20 of the camera body 10. Incident. Although the configuration of the imaging unit 20 is omitted, the subject light incident on the imaging unit 20 is separated into, for example, three colors of red light, green light, and blue light by a color separation optical system, and an image sensor (video) for each color. Is incident on the imaging surface of the imaging device. As a result, a color image for broadcasting is taken. In addition, the focus surface 22 in the drawing shows the optically equivalent position on the optical axis O of the photographing lens 12 with respect to the image pickup surface of each image pickup device.

一方、ハーフミラー24で反射した反射光、即ち、ピント状態検出用の被写体光は、撮影レンズ12の光軸Oに対して略垂直な光軸O′に沿ってピント状態検出用の撮像部26に導かれる。ここで、前側リレーレンズR1と後側リレーレンズR2の間では被写体光は略平行光の状態であり、ハーフミラー24で反射した被写体光は、後側リレーレンズR2と同様の性格を有する集光のためのリレーレンズR3を通過してピント状態検出用の撮像部26に入射する。   On the other hand, the reflected light reflected by the half mirror 24, that is, the subject light for focus state detection, is an image pickup unit 26 for focus state detection along an optical axis O ′ substantially perpendicular to the optical axis O of the photographing lens 12. Led to. Here, between the front relay lens R1 and the rear relay lens R2, the subject light is in a substantially parallel light state, and the subject light reflected by the half mirror 24 is condensed with the same character as the rear relay lens R2. Is incident on the imaging unit 26 for detecting the focus state.

図2は、撮像部26の構成を示した構成図である。同図に示すように撮像部26は、光分割光学系を構成する3つのプリズムP1、P2、P3とピント状態検出用の3つの撮像素子(2次元CCD)A、B、Cから構成される。上述のようにハーフミラー24で反射し、光軸O′に沿って進行した被写体光は、まず、第1プリズムP1に入射し、第1プリズムP1のハーフミラー面40で反射光と透過光に分割される。このうち反射光は、撮像素子Cの撮像面に入射する。一方、透過光は、次いで第2プリズムP2に入射し、第2プリズムP2のハーフミラー面42で更に反射光と透過光に分割される。このうち反射光は撮像素子Bに入射される。一方、透過光は第3プリズムP3を通過して撮像素子Aに入射する。尚、撮像素子A、B、Cのそれぞれに入射する被写体光の光量が等しくなるように第1プリズムP1のハーフミラー面40及び第2プリズムP2のハーフミラー面42で被写体光が分割される。また、これらのピント状態検出用の撮像素子A、B、Cは本実施の形態では白黒画像を撮像するCCDである。   FIG. 2 is a configuration diagram illustrating the configuration of the imaging unit 26. As shown in the figure, the image pickup unit 26 includes three prisms P1, P2, and P3 constituting a light splitting optical system and three image pickup elements (two-dimensional CCDs) A, B, and C for detecting a focus state. . As described above, the subject light reflected by the half mirror 24 and traveling along the optical axis O ′ first enters the first prism P1, and is reflected and transmitted by the half mirror surface 40 of the first prism P1. Divided. Of these, the reflected light is incident on the imaging surface of the imaging device C. On the other hand, the transmitted light then enters the second prism P2, and is further divided into reflected light and transmitted light by the half mirror surface 42 of the second prism P2. Of these, the reflected light is incident on the image sensor B. On the other hand, the transmitted light passes through the third prism P3 and enters the image sensor A. The subject light is divided by the half mirror surface 40 of the first prism P1 and the half mirror surface 42 of the second prism P2 so that the amount of subject light incident on each of the image sensors A, B, and C is equal. Further, these image pickup devices A, B, and C for detecting the focus state are CCDs that pick up black and white images in the present embodiment.

撮像素子A、B、Cに入射する被写体光の光軸(各撮像素子の光軸)を同一直線上で示すと、図3に示すように、各撮像素子A、B、Cに入射するまでの被写体光に対して撮像素子Bの光路長が最も短く、撮像素子Cの光路長が最も長くなっており、撮像素子Aの光路長は撮像素子Bと撮像素子Cの光路長の中間の長さとなっている。即ち、撮像素子Aの撮像面に対して前後の等距離の位置に撮像素子Bと撮像素子Cの撮像面が平行に配置される。また、撮像素子Aの撮像面は、カメラ本体10のピント面22(図1参照)と共役の関係にあり、撮影レンズ12に入射した被写体光に対する光路長がカメラ本体10の映像用撮像素子の撮像面と一致している。尚、被写体光を撮像素子A、B、Cに分割する光分割光学系は、上述のようなプリズムP1〜P3を使用した構成に限らない。   When the optical axes of the subject light incident on the image sensors A, B, and C (optical axes of the respective image sensors) are shown on the same straight line, as shown in FIG. 3, until the light enters the image sensors A, B, and C. The optical path length of the image sensor B is the shortest, the optical path length of the image sensor C is the longest, and the optical path length of the image sensor A is an intermediate length between the optical path lengths of the image sensor B and the image sensor C. It has become. In other words, the imaging surfaces of the imaging device B and the imaging device C are arranged in parallel at positions equidistant from the imaging surface of the imaging device A. The image pickup surface of the image pickup device A has a conjugate relationship with the focus surface 22 (see FIG. 1) of the camera body 10, and the optical path length with respect to the subject light incident on the photographing lens 12 is that of the image pickup device for the image of the camera body 10. It matches the imaging surface. The light splitting optical system that splits the subject light into the image sensors A, B, and C is not limited to the configuration using the prisms P1 to P3 as described above.

以上のように構成された光学系により、撮影レンズ12に入射した被写体光が、カメラ本体10のピント面22と共役の位置の近傍に配置された光路長の異なる3つのピント状態検出用の撮像素子A、B、Cにより撮像される。   With the optical system configured as described above, the subject light incident on the photographic lens 12 is arranged in the vicinity of the position conjugate with the focus surface 22 of the camera body 10 and is used for imaging for detecting three focus states having different optical path lengths. Images are taken by the elements A, B, and C.

次に、ピント状態検出に基づくオートフォーカスの制御について概略を説明すると、図1に示すようにピント状態検出用の撮像部26の3つの撮像素子A、B、Cにより撮像された画像は、信号処理部28に取り込まれる。信号処理部28は、後述のように各撮像素子A、B、Cから取得した画像の高域周波数成分に基づいてカメラ本体10のピント面22に対して撮影レンズ12のピント状態が合焦となるフォーカスレンズFの位置(フォーカス位置)を求める。そして、そのフォーカス位置へのフォーカスレンズFの移動を指令する制御信号をフォーカスモータ駆動回路30に出力する。フォーカスモータ駆動回路30は、図示しないフォーカスモータを駆動し、ギア等からなる動力伝達機構32を介してフォーカスレンズFを移動させ、フォーカスレンズFを信号処理部28によって指示されたフォーカス位置に設定する。このような処理が連続的に行われることによってオートフォーカスの制御が行われる。   Next, the outline of the auto focus control based on the focus state detection will be described. As shown in FIG. 1, the images captured by the three image sensors A, B, and C of the image capturing unit 26 for the focus state detection are signals. The data is taken into the processing unit 28. As will be described later, the signal processing unit 28 determines that the focus state of the photographic lens 12 is in focus with respect to the focus surface 22 of the camera body 10 based on the high frequency components of the images acquired from the image sensors A, B, and C. The position (focus position) of the focus lens F is obtained. Then, a control signal for instructing movement of the focus lens F to the focus position is output to the focus motor drive circuit 30. The focus motor drive circuit 30 drives a focus motor (not shown), moves the focus lens F via a power transmission mechanism 32 such as a gear, and sets the focus lens F to a focus position instructed by the signal processing unit 28. . By performing such processing continuously, autofocus control is performed.

続いて、信号処理部28の構成及びピント状態検出の処理について説明する。図4は、信号処理部28の構成を示したブロック図である。同図に示すようにピント状態検出用の各撮像素子A、B、Cで撮像された被写体の画像は所定形式のビデオ信号として出力され、各撮像素子A、B、Cに対して同様に構成されたハイパスフィルタ50、60、70、A/D変換器52、62、72、ゲート回路54、64、74、及び、加算器56、66、76によって画像の鮮鋭度(画像のコントラスト)を示す焦点評価値の信号に変換されてCPU86に入力される。焦点評価値を求めるまでの処理を撮像素子Aに対して設けられた回路で説明すると、本実施の形態における撮像素子Aは白黒画像を撮影するCCDであることから撮像素子Aから出力されるビデオ信号は画面を構成する各画素の輝度を示す輝度信号として出力される。撮像素子Aから出力された輝度信号は、まず、ハイパスフィルタ(HPF)50に入力され、その輝度信号の高域周波数成分が抽出される。HPF50で抽出された高域周波数成分の信号はA/D変換器52によってデジタル信号に変換される。そして、撮像素子Aにより撮像された画像の1画面分(1フィールド分)のデジタル信号のうち所定のフォーカスエリア内(例えば、画面中央部分)の画素に対応するデジタル信号のみがゲート回路54によって抽出された後、その抽出された範囲のデジタル信号の値が加算器56によって加算される。これにより、フォーカスエリア内における輝度信号の高域周波数成分の値の総和が求められる。加算器56によって得られた値は、フォーカスエリア内における画像の鮮鋭度の高低を示す焦点評価値である。   Next, the configuration of the signal processing unit 28 and the focus state detection process will be described. FIG. 4 is a block diagram showing the configuration of the signal processing unit 28. As shown in the figure, the image of the subject imaged by each of the image pickup devices A, B, and C for focus state detection is output as a video signal of a predetermined format, and the image pickup devices A, B, and C are similarly configured. High-pass filters 50, 60, 70, A / D converters 52, 62, 72, gate circuits 54, 64, 74, and adders 56, 66, 76 indicate image sharpness (image contrast). It is converted into a focus evaluation value signal and input to the CPU 86. The processing up to obtaining the focus evaluation value will be described with a circuit provided for the image sensor A. Since the image sensor A in the present embodiment is a CCD that captures a black and white image, the video output from the image sensor A is displayed. The signal is output as a luminance signal indicating the luminance of each pixel constituting the screen. The luminance signal output from the image sensor A is first input to a high pass filter (HPF) 50, and a high frequency component of the luminance signal is extracted. The high frequency component signal extracted by the HPF 50 is converted into a digital signal by the A / D converter 52. The gate circuit 54 extracts only the digital signal corresponding to the pixels in a predetermined focus area (for example, the central portion of the screen) from the digital signals for one screen (one field) of the image captured by the image sensor A. After that, the value of the digital signal in the extracted range is added by the adder 56. Thereby, the sum total of the values of the high frequency components of the luminance signal in the focus area is obtained. The value obtained by the adder 56 is a focus evaluation value indicating the level of image sharpness in the focus area.

また、信号処理部28には、同図のように各撮像素子A、B、Cからの輝度信号が飽和するのを防止等するための最大レベル検出回路80、オートゲインコントロール(AGC)回路82、飽和検出回路84が設置される。ここで、輝度信号が飽和する場合の不具合について説明すると、図5及び図6は、輝度信号が飽和しないような被写体を撮影しているときの輝度信号及びその高域周波数成分の状態を示した図であり、図7及び図8は、輝度信号が飽和するような高輝度被写体を撮影しているときの輝度信号及びその高域周波数成分の状態を示した図である。図5(A)、図6(A)に示すように画面内にピント状態検出対象の被写体がある場合、その被写体がある撮像素子(例えば撮像素子A)に対して合焦状態となっているときには、その撮像素子から出力される輝度信号は、図5(B)のように被写体の輪郭部分において鋭く変化する。そして、その高域周波数成分 (の絶対値)は、図5(C)のように高い値を示す。これに対して非合焦状態となっているときには、輝度信号は、図6(B)のように被写体の輪郭部分において合焦状態のときよりも緩やかに変化し、その高域周波数成分は、図6(C)のように低い値を示す。従って、この場合に得られる焦点評価値は合焦状態において最大値を示すため適切である。   Further, the signal processing unit 28 includes a maximum level detection circuit 80 and an auto gain control (AGC) circuit 82 for preventing saturation of luminance signals from the image sensors A, B, and C as shown in FIG. A saturation detection circuit 84 is installed. Here, the problem in the case where the luminance signal is saturated will be described. FIGS. 5 and 6 show the state of the luminance signal and the high-frequency component when photographing a subject whose luminance signal does not saturate. FIG. 7 and FIG. 8 are diagrams showing the state of the luminance signal and its high frequency components when shooting a high luminance subject in which the luminance signal is saturated. As shown in FIGS. 5A and 6A, when there is a subject whose focus state is to be detected in the screen, the subject is in focus with respect to the image sensor (eg, image sensor A). Sometimes, the luminance signal output from the image sensor sharply changes in the contour portion of the subject as shown in FIG. And the high frequency component (absolute value) shows a high value as shown in FIG. On the other hand, when in the out-of-focus state, the luminance signal changes more slowly than in the in-focus state at the contour portion of the subject as shown in FIG. A low value is shown as in FIG. Therefore, the focus evaluation value obtained in this case is appropriate because it shows the maximum value in the focused state.

一方、図7(A)、図8(A)に示すように、画面内にピント状態検出対象の高輝度被写体がある場合、その被写体の輪郭部分における輝度信号は、図7(B)、図8(B)のように合焦状態のときと非合焦状態のときとでその変化の様子がほとんど変わらず、図7(C)、図8(C)のように輝度信号の高域周波数成分の大きさもほとんど差異がない。むしろ非合焦状態のときの方が像の面積が大きくなるため高域周波数成分が大きくなる場合がある。このような場合、合焦状態のときに焦点評価値が最大とならないため適切ではない。   On the other hand, as shown in FIGS. 7 (A) and 8 (A), when there is a high-intensity subject to be detected in focus on the screen, the luminance signal at the contour of the subject is shown in FIGS. The state of the change hardly changes between the in-focus state and the out-of-focus state as shown in FIG. 8B, and the high frequency of the luminance signal as shown in FIGS. 7C and 8C. There is almost no difference in the size of the components. Rather, in the out-of-focus state, the area of the image becomes larger, so the high frequency component may become larger. In such a case, the focus evaluation value is not maximized in the focused state, which is not appropriate.

そこで、本発明では、上記最大レベル検出回路80、オートゲインコントロール(AGC)回路82、飽和検出回路84により次のような処理を行う。まず、最大レベル検出回路80は、各撮像素子A、B、Cから出力された輝度信号を取得し、どの撮像素子から出力された輝度信号が最大レベルかを検出する。例えば、各撮像素子から出力された1画面分の輝度信号を取得し、各輝度信号ごとに最大値を検出する。そして、その各輝度信号ごとの最大値のなかで最も大きな最大値を示した輝度信号を最大レベルの輝度信号とする。この最大レベル検出回路80によって検出された最大レベルの輝度信号は次いでAGC回路82に入力される。AGC回路82は、入力された輝度信号に基づいて、輝度信号の適切なゲインを求め、そのゲインとなるように各撮像素子A、B、Cにおいて輝度信号を生成する際のゲインを設定する。ここで適切なゲインとして、例えば、最大レベル検出回路80から入力された1画面分の輝度信号のうちの最大値が所定のしきい値を超えない(例えば飽和とならない)範囲で、最大のゲインを設定する。これによって、各撮像素子A、B、Cから出力される輝度信号の飽和が防止される。   Therefore, in the present invention, the following processing is performed by the maximum level detection circuit 80, the auto gain control (AGC) circuit 82, and the saturation detection circuit 84. First, the maximum level detection circuit 80 acquires the luminance signal output from each of the image sensors A, B, and C, and detects which image sensor output the luminance signal is the maximum level. For example, the luminance signal for one screen output from each image sensor is acquired, and the maximum value is detected for each luminance signal. Then, the luminance signal showing the largest maximum value among the maximum values for each luminance signal is set as the luminance signal of the maximum level. The maximum level luminance signal detected by the maximum level detection circuit 80 is then input to the AGC circuit 82. The AGC circuit 82 obtains an appropriate gain of the luminance signal based on the input luminance signal, and sets a gain for generating the luminance signal in each of the image sensors A, B, and C so as to obtain the gain. Here, as an appropriate gain, for example, the maximum gain within a range in which the maximum value of the luminance signal for one screen input from the maximum level detection circuit 80 does not exceed a predetermined threshold (for example, does not become saturated). Set. This prevents saturation of luminance signals output from the image sensors A, B, and C.

また、このようなオートゲインコントール機能を用いても輝度信号の飽和が検出される場合があり得るため、飽和検出回路84は、最大レベル検出回路80からAGC回路82に出力される輝度信号の瞬時値レベルを監視し、ある瞬時値において飽和レベルに達した場合には、その瞬時値を示す画素については、焦点評価値の算出対象から除外する。即ち、飽和検出回路84は、輝度信号の瞬時値が飽和レベルに達した画素の範囲を各ゲート回路54、64、74に指定し、各ゲート回路54、64、74でその範囲内の信号を抽出しないようにする。これによって、輝度信号の瞬時値が飽和レベルに達した画素の範囲に対しては、輝度信号の高域周波数成分の値が加算器56、66、76において加算されることなく、焦点評価値が求められることになる。   Further, since the saturation of the luminance signal may be detected even if such an auto gain control function is used, the saturation detection circuit 84 instantaneously outputs the luminance signal output from the maximum level detection circuit 80 to the AGC circuit 82. The value level is monitored, and when the saturation level is reached at a certain instantaneous value, the pixel indicating the instantaneous value is excluded from the focus evaluation value calculation target. That is, the saturation detection circuit 84 designates the range of pixels in which the instantaneous value of the luminance signal has reached the saturation level to each gate circuit 54, 64, 74, and the gate circuit 54, 64, 74 outputs a signal within that range. Do not extract. As a result, the focus evaluation value is not added to the pixel range in which the instantaneous value of the luminance signal reaches the saturation level without adding the values of the high frequency components of the luminance signal in the adders 56, 66, and 76. It will be required.

尚、上記構成では、輝度信号が飽和するのを防止するために輝度信号のゲインを調整するようにしたが、これに限らず、各撮像素子A、B、Cの電荷蓄積時間の調整、いわゆる電子シャッターの機能により、輝度信号のレベルを適切に調整することもできる。例えば、図4において、AGC回路82の代わりに電子シャッター制御回路を設置する。そして、上述と同様に最大レベル検出回路80から出力された輝度信号に基づいて、各撮像素子A、B、Cの適切な電荷蓄積時間を求め、その電荷蓄積時間となるように各撮像素子A、B、Cの電荷蓄積時間を設定する。適切な電荷蓄積時間は、上記ゲインの調整の場合と同様に、例えば、最大レベル検出回路80から入力された1画面分の輝度信号のうちの最大値が所定のしきい値を超えない(例えば飽和とならない)範囲で、最長の蓄積時間を設定する。これによって、各撮像素子A、B、Cから出力される輝度信号の飽和が防止される。   In the above configuration, the gain of the luminance signal is adjusted in order to prevent the luminance signal from being saturated. However, the present invention is not limited to this, and adjustment of the charge accumulation time of each of the image sensors A, B, and C, so-called The level of the luminance signal can be appropriately adjusted by the function of the electronic shutter. For example, in FIG. 4, an electronic shutter control circuit is installed instead of the AGC circuit 82. Similarly to the above, based on the luminance signal output from the maximum level detection circuit 80, an appropriate charge accumulation time for each of the image sensors A, B, and C is obtained, and each image sensor A is set to have the charge accumulation time. , B, and C are set. As in the case of the above gain adjustment, for example, the appropriate charge accumulation time is such that the maximum value of the luminance signals for one screen input from the maximum level detection circuit 80 does not exceed a predetermined threshold value (for example, Set the longest accumulation time within a range that does not become saturated. This prevents saturation of luminance signals output from the image sensors A, B, and C.

また、上述のオートゲインコントロールの機能や電子シャッターの機能等は、映像用の撮像素子に対するオートゲインコントロールの機能や電子シャッターの機能等の処理とは全く無関係に実行されるもので、ピント状態検出用の撮像素子A、B、Cに対する輝度信号のゲインや電荷蓄積時間が、映像用の撮像素子に対する輝度信号のゲインや電荷蓄積時間と異なるという状況は当然あり得る。   The above-described auto gain control function and electronic shutter function are executed regardless of the processing such as the auto gain control function and electronic shutter function for the image pickup device for video. Naturally, there may be a situation in which the luminance signal gain and charge accumulation time for the image pickup devices A, B, and C differ from the luminance signal gain and charge accumulation time for the image pickup device.

上述のようにして各撮像素子A、B、Cから得られた焦点評価値に基づいて、CPU86は、カメラ本体10のピント面22に対する撮影レンズ12の現在のピント状態を検出する。図9は、横軸に撮影レンズ12のフォーカス位置、縦軸に焦点評価値をとり、ある被写体を撮影した際のフォーカス位置に対する焦点評価値の様子を示した図である。図中実線で示す曲線aは、カメラ本体10のピント面22と共役の位置にある撮像素子Aから得られる焦点評価値をフォーカス位置に対して示したものであり、図中点線で示す曲線b、cは、それぞれ撮像素子B、Cから得られる焦点評価値をフォーカス位置に対して示したものである。   Based on the focus evaluation values obtained from the image sensors A, B, and C as described above, the CPU 86 detects the current focus state of the photographic lens 12 with respect to the focus surface 22 of the camera body 10. FIG. 9 is a diagram showing the state of the focus evaluation value with respect to the focus position when a certain subject is imaged, with the focus position of the taking lens 12 on the horizontal axis and the focus evaluation value on the vertical axis. A curve a indicated by a solid line in the figure indicates a focus evaluation value obtained from the image sensor A at a position conjugate with the focus surface 22 of the camera body 10 with respect to the focus position, and a curve b indicated by a dotted line in the figure. , C show the focus evaluation values obtained from the image sensors B and C, respectively, with respect to the focus position.

同図において、曲線aの焦点評価値が最大(極大)となるフォーカス位置F3が合焦位置であるが、今、撮影レンズ12のフォーカス位置が図中F1の位置に設定されているとする。このとき、撮像素子A、B、Cのそれぞれから得られる焦点評価値は、曲線a、b、cによりフォーカス位置F1に対応する値である。このとき、少なくとも撮像素子Bから得られる焦点評価値の方が撮像素子Cから得られる焦点評価値よりも大きいことから、合焦位置であるフォーカス位置F3よりフォーカス位置が至近側に設定された状態、即ち、前ピンの状態であることが分かる。   In the figure, the focus position F3 at which the focus evaluation value of the curve a is maximum (maximum) is the in-focus position, but it is assumed that the focus position of the taking lens 12 is now set to the position F1 in the figure. At this time, the focus evaluation values obtained from the image sensors A, B, and C are values corresponding to the focus position F1 by the curves a, b, and c. At this time, since the focus evaluation value obtained from at least the image sensor B is larger than the focus evaluation value obtained from the image sensor C, the focus position is set closer to the focus position F3, which is the focus position. That is, it can be seen that this is the state of the front pin.

一方、撮影レンズ12のフォーカス位置が図中F2の位置に設定されているとすると、撮像素子A、B、Cのそれぞれから得られる焦点評価値は、曲線a、b、cによりフォーカス位置F2に対応する値である。このとき、少なくとも撮像素子Cから得られる焦点評価値の方が撮像素子Bから得られる焦点評価値よりも大きいことから、合焦位置であるフォーカス位置F3よりフォーカス位置が無限遠側に設定された状態、即ち、後ピンの状態であることが分かる。   On the other hand, if the focus position of the photographic lens 12 is set to the position F2 in the figure, the focus evaluation values obtained from the image sensors A, B, and C are respectively set to the focus position F2 by the curves a, b, and c. Corresponding value. At this time, since at least the focus evaluation value obtained from the image sensor C is larger than the focus evaluation value obtained from the image sensor B, the focus position is set to infinity from the focus position F3 which is the focus position. It can be seen that the state is the state of the rear pin.

撮影レンズ12のフォーカス位置が図中F3の合焦位置に設定されているとすると、撮像素子A、B、Cのそれぞれから得られる焦点評価値は、曲線a、b、cによりフォーカス位置F3に対応する値である。このとき、撮像素子Bから得られる焦点評価値と撮像素子Cから得られる焦点評価値とが等しいことから、フォーカス位置がフォーカス位置F3に設定された状態、即ち、合焦の状態であることが分かる。   Assuming that the focus position of the photographic lens 12 is set to the in-focus position F3 in the figure, the focus evaluation values obtained from the image sensors A, B, and C are respectively set to the focus position F3 by the curves a, b, and c. Corresponding value. At this time, since the focus evaluation value obtained from the image sensor B and the focus evaluation value obtained from the image sensor C are equal, the focus position may be set to the focus position F3, that is, the focus state. I understand.

このように、撮像素子A、B、Cのそれぞれから得られる焦点評価値に基づいて、撮影レンズ12の現在のフォーカス位置におけるピント状態が前ピン、後ピン、合焦のいずれかを検出することができる。一方、このようなピント状態の判定方法においては、撮像素子B、Cから得られる焦点評価値のみで足り、撮像素子Aから得られる焦点評価値は不要である。そこで、3つの撮像素子A、B、Cから得られる焦点評価値を有効に利用し、合焦となるフォーカス位置を以下のように直接的に検出することも可能である。   In this way, based on the focus evaluation values obtained from the image sensors A, B, and C, the focus state at the current focus position of the photographic lens 12 is detected as either the front pin, the rear pin, or the in-focus state. Can do. On the other hand, in such a focus state determination method, only the focus evaluation value obtained from the image sensors B and C is sufficient, and the focus evaluation value obtained from the image sensor A is unnecessary. Therefore, it is possible to directly detect the focus position at which the in-focus state is obtained by effectively using the focus evaluation values obtained from the three image sensors A, B, and C as follows.

上記図9において、各撮像素子A、B、Cから得られる焦点評価値についての曲線a、b、cは、略同一形状となることから、あるフォーカス位置において撮像素子B、Cから得られる焦点評価値は、そのフォーカス位置から所定のシフト量分だけ変位させたフォーカス位置における撮像素子Aの焦点評価値とみなすことができる。例えば、図10に示す撮像素子Aの焦点評価値の曲線aにおいて、フォーカス位置が図中F4に設定されているものとする。このとき、撮像素子Aから得られる焦点評価値は、曲線a上の点PA の値を示す。一方、撮像素子Bから得られる焦点評価値は、フォーカス位置F4よりも無限遠側に所定シフト量分だけ変位させたフォーカス位置F5における曲線a上の点PB の値を示し、撮像素子Cから得られる焦点評価値は、フォーカス位置F4よりも至近側に所定シフト量分だけ変位させたフォーカス位置F6における曲線a上の点PC の値を示す。尚、フォーカス位置F4とフォーカス位置F5との差、即ち、撮像素子Bから得られた焦点評価値についてのシフト量は、例えば、図9において、曲線bの最大点のフォーカス位置と曲線aと最大点のフォーカス位置の差に等しく、また、フォーカス位置F4とフォーカス位置F6との差、即ち、撮像素子Cから得られた焦点評価値についてのシフト量は、図9において、曲線cの最大点のフォーカス位置と曲線aと最大点のフォーカス位置の差に等しい。 In FIG. 9 above, the curves a, b, and c for the focus evaluation values obtained from the image sensors A, B, and C have substantially the same shape. Therefore, the focus obtained from the image sensors B and C at a certain focus position. The evaluation value can be regarded as a focus evaluation value of the image sensor A at a focus position displaced by a predetermined shift amount from the focus position. For example, it is assumed that the focus position is set to F4 in the drawing in the curve a of the focus evaluation value of the image sensor A shown in FIG. In this case, the focus evaluation value obtained from the imaging element A, shows the values of the points P A on the curve a. On the other hand, the focus evaluation value obtained from the image sensor B indicates the value of the point P B on the curve a at the focus position F5 displaced by a predetermined shift amount to the infinity side from the focus position F4. obtained focus evaluation value indicates a value of a point P C on the curve a in the focus position F6 which is displaced by a predetermined shift amount to the near side than the focus position F4. Note that the difference between the focus position F4 and the focus position F5, that is, the shift amount for the focus evaluation value obtained from the image sensor B is, for example, in FIG. The difference between the focus positions F4 and F6, that is, the shift amount for the focus evaluation value obtained from the image sensor C is equal to the maximum point of the curve c in FIG. It is equal to the difference between the focus position, the curve a and the focus position of the maximum point.

一方、曲線aは所定関数(例えば2次曲線)で近似することができる。従って、各撮像素子A、B、Cから得られた3点PA 、PB 、PC における焦点評価値から曲線aを具体的に特定することができ、その曲線aにおいて焦点評価値が最大となる合焦位置F3を求めることができる。 On the other hand, the curve a can be approximated by a predetermined function (for example, a quadratic curve). Therefore, the curve a can be specifically identified from the focus evaluation values at the three points P A , P B , and P C obtained from the image sensors A, B, and C, and the focus evaluation value is the maximum in the curve a. An in-focus position F3 can be obtained.

このようにして図4のCPU86は、各撮像素子A、B、Cから得られた焦点評価値に基づいて合焦となるフォーカス位置を検出すると、そのフォーカス位置となるように、フォーカスモータ駆動回路30に制御信号を送信し、フォーカスレンズFを移動させる。これにより、オートフォーカスの制御が行われる。   In this way, when the CPU 86 in FIG. 4 detects the focus position that is in focus based on the focus evaluation values obtained from the image sensors A, B, and C, the focus motor drive circuit is configured so that the focus position is obtained. A control signal is transmitted to 30 and the focus lens F is moved. Thereby, autofocus control is performed.

以上、上記実施の形態では、カメラ本体10のピント面22に共役の位置に配置されたピント状態検出用の撮像素子Aに対して撮像面が光学的に等距離となる前後の位置に撮像素子Bと撮像素子Cを配置したが、光路長が異なるように各撮像素子A、B、Cが配置され、かつ、カメラ本体10のピント面22に共役な位置に対して光路長が長くなる位置と短くなる位置のそれぞれに少なくとも1つのいずれかの撮像素子A、B、Cが配置されていれば十分である。即ち、上述のように、あるフォーカス位置において撮像素子B、Cから得られる焦点評価値を、そのフォーカス位置から所定シフト量分だけ変位させたフォーカス位置における撮像素子Aの焦点評価値とみなす場合に、そのシフト量を各撮像素子B、Cの撮像素子Aに対する距離に基づいて設定すればよい。また、そのシフト量を求める方法として、例えば、固定された被写体を撮影しながらフォーカス位置を変化させ、各撮像素子A、B、Cから得られる焦点評価値が最大となるフォーカス位置を検出する。そして、撮像素子Aから得られた焦点評価値が最大となったフォーカス位置に対して、各撮像素子B、Cから得られた焦点評価値が最大となった各フォーカス位置の変位量を検出し、その変位量を上記シフト量とする。   As described above, in the above-described embodiment, the image pickup device is positioned at a position before and after the image pickup surface is optically equidistant with respect to the image pickup device A for detecting the focus state arranged at a position conjugate to the focus surface 22 of the camera body 10. B and the image sensor C are arranged, but the image sensors A, B, and C are arranged so that the optical path lengths are different, and the optical path length is longer than the position conjugate to the focus surface 22 of the camera body 10. It is sufficient that at least one of the image pickup devices A, B, and C is arranged at each of the positions where the distance becomes shorter. That is, as described above, when the focus evaluation value obtained from the image sensors B and C at a certain focus position is regarded as the focus evaluation value of the image sensor A at the focus position displaced by a predetermined shift amount from the focus position. The shift amount may be set based on the distance between the image sensors B and C with respect to the image sensor A. As a method for obtaining the shift amount, for example, the focus position is changed while photographing a fixed subject, and the focus position at which the focus evaluation value obtained from each of the image sensors A, B, and C is maximized is detected. Then, with respect to the focus position where the focus evaluation value obtained from the image sensor A is maximized, the displacement amount of each focus position where the focus evaluation value obtained from each image sensor B, C is maximized is detected. The displacement amount is set as the shift amount.

また、上記実施の形態では、カメラ本体10のピント面22に共役の位置にピント状態検出用の撮像素子Aの撮像面を配置するようにしたが、必ずしもそのようにする必要はない。即ち、撮像素子Aから得られる焦点評価値が最大となるフォーカス位置に対して、各撮像素子B、Cから得られる焦点評価値が最大となる各フォーカス位置の変位量を検出する上述の方法と同様にして、カメラ本体10のピント面22において合焦が得られるフォーカス位置に対して、撮像素子Aから得られる焦点評価値が最大となるフォーカス位置の変位量を検出し、その変位量を撮像素子Aから得られた焦点評価値についてのシフト量とする。即ち、撮像素子Aから得られる焦点評価値を、そのシフト量分だけ実際のフォーカス位置から変位させたフォーカス位置での焦点評価値とみなす。尚、撮像素子B、Cから得られる焦点評価値のシフト量についても同様に検出する。これによって、あるフォーカス位置において得られた各撮像素子A、B、Cの焦点評価値に基づいてカメラ本体10のピント面22に対する焦点評価値の曲線を求めることができ、その曲線によって合焦となるフォーカス位置を求めることができる。   In the above-described embodiment, the imaging surface of the imaging device A for detecting the focus state is arranged at a conjugate position with the focusing surface 22 of the camera body 10, but it is not always necessary to do so. That is, the above-described method for detecting the displacement amount of each focus position at which the focus evaluation value obtained from each of the image sensors B and C is maximum with respect to the focus position at which the focus evaluation value obtained from the image sensor A is maximum. Similarly, the amount of displacement of the focus position at which the focus evaluation value obtained from the image sensor A is maximum is detected with respect to the focus position at which focusing is obtained on the focus surface 22 of the camera body 10, and the amount of displacement is imaged. The shift amount for the focus evaluation value obtained from the element A is used. That is, the focus evaluation value obtained from the image sensor A is regarded as the focus evaluation value at the focus position displaced from the actual focus position by the shift amount. Note that the shift amount of the focus evaluation value obtained from the image sensors B and C is similarly detected. Thus, a focus evaluation value curve for the focusing surface 22 of the camera body 10 can be obtained based on the focus evaluation values of the image pickup devices A, B, and C obtained at a certain focus position. The focus position can be obtained.

また、上記実施の形態では、撮像部26においてピント状態検出用の3つの撮像素子A、B、Cを配置するようにしたが、2つのピント状態検出用の撮像素子B、Cのみをカメラ本体10のピント面22に共役な位置の前後に配置することによって、ピント状態が前ピン、後ピン、又は、合焦のいずれの状態かを検出し、その検出結果に基づいてオートフォーカスの制御を行うようにしてもよい。逆に光路長の異なる4つ以上のピント状態検出用の撮像素子を用い、カメラ本体10のピント面22に共役な位置に対して光路長が長くなる位置と短くなる位置のそれぞれに少なくとも1つの撮像素子を配置するようにして合焦位置をより精度良く検出できるようにしてもよい。   In the above embodiment, the image pickup unit 26 includes the three image pickup devices A, B, and C for focus state detection. However, only the two image pickup devices B and C for focus state detection are arranged in the camera body. By placing the lens 10 before and after the position conjugate to the ten focus surfaces 22, it is detected whether the focus state is the front pin, the rear pin, or the in-focus state, and the autofocus control is performed based on the detection result. You may make it perform. Conversely, using four or more imaging devices for detecting the focus state with different optical path lengths, at least one of the positions where the optical path length becomes longer and shorter than the position conjugate to the focus surface 22 of the camera body 10. An in-focus position may be detected with higher accuracy by arranging an image sensor.

また、上記実施の形態では、本発明に係るピント状態検出装置によるピント状態の検出をオートフォーカスに適用した場合について説明したが、これに限らず他の用途、例えば、ピント状態の表示等に使用することもできる。   In the above embodiment, the case where the focus state detection by the focus state detection device according to the present invention is applied to autofocus has been described. However, the present invention is not limited to this, and is used for other purposes, for example, the display of the focus state. You can also

10…カメラ本体、12…撮影レンズ、F…フォーカスレンズ、R1…前側リレーレンズ、R2…後側リレーレンズ、R3…リレーレンズ、24…ハーフミラー、26…撮像部、A、B、C…撮像素子、28…信号処理部、30…フォーカスモータ駆動回路、50、60、70…ハイパスフィルタ、54、64、74…ゲート回路、56、66、76…加算器、80…最大レベル検出回路、82…オートゲインコントロール回路、84…飽和検出回路、86…CPU   DESCRIPTION OF SYMBOLS 10 ... Camera body, 12 ... Shooting lens, F ... Focus lens, R1 ... Front side relay lens, R2 ... Rear side relay lens, R3 ... Relay lens, 24 ... Half mirror, 26 ... Imaging part, A, B, C ... Imaging Elements 28... Signal processor 30. Focus motor drive circuit 50 60 60 70 High pass filter 54 64 64 74 Gate circuit 56 66 76 Adder 80 Maximum level detection circuit 82 ... Auto gain control circuit, 84 ... Saturation detection circuit, 86 ... CPU

Claims (5)

撮影レンズに入射した被写体光を分割する光分割手段と、
前記光分割手段により分割された光のうち、映像用の画像を撮像する映像用撮像素子に入射する光とは別の光により、ピント状態検出用の画像を撮像する3つの撮像素子であって、互いに光路長が異なる位置に配置された3つのピント状態検出用撮像素子と、
前記各ピント状態検出用撮像素子から得られる1画面分の輝度信号の高域周波数成分に基づいて画像の鮮鋭度の高低を示す焦点評価値を検出する焦点評価値検出手段と、
前記焦点評価値検出手段により前記各ピント状態検出用撮像素子に対応して検出された3つの焦点評価値を、前記撮影レンズのフォーカス位置に関する異なる3点での焦点評価値とし、該3点での焦点評価値に基づいて、前記撮影レンズのフォーカス位置と焦点評価値との関係を示す曲線を所定関数を用いて求め、該曲線により焦点評価値が最大となるフォーカス位置を合焦位置として検出する合焦位置検出手段と、
前記撮影レンズのフォーカス位置が前記合焦位置検出手段により検出された合焦位置となるように前記撮影レンズのフォーカスレンズを制御するフォーカス制御手段と、
前記各ピント状態検出用撮像素子から1画面分の輝度信号を取得し、該取得した3つの輝度信号の中から最も大きな値を有する輝度信号を最大レベルの輝度信号として検出する最大レベル輝度信号検出手段と、
前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号に基づいて該輝度信号が飽和しない適切なレベルとなるゲインを決定し、該決定したゲインを前記各ピント状態検出用撮像素子から出力される輝度信号を生成する際のゲインとして設定するゲイン設定手段と、
を備えたことを特徴とする撮影レンズのオートフォーカス装置
A light splitting means for splitting the subject light incident on the taking lens ;
Of the light split by the light splitting means, there are three image pickup devices that pick up an image for focus state detection using light different from the light incident on the image pickup device for picking up images for video. Three focus state detecting image sensors arranged at positions where the optical path lengths are different from each other ;
A focus evaluation value detection means for detecting a focus evaluation value indicating the degree of the sharpness of the image based on the high frequency component of one screen of the luminance signal obtained from each focus state detecting device,
The three focus evaluation values detected by the focus evaluation value detection unit corresponding to each of the focus state detection imaging elements are set as focus evaluation values at three different points related to the focus position of the photographing lens. Based on the focus evaluation value, a curve indicating the relationship between the focus position of the photographing lens and the focus evaluation value is obtained using a predetermined function, and the focus position at which the focus evaluation value is maximum is detected as the in-focus position by the curve. In-focus position detecting means,
Focus control means for controlling the focus lens of the photographic lens so that the focus position of the photographic lens becomes the focus position detected by the focus position detection means;
A maximum level luminance signal detection that acquires a luminance signal for one screen from each of the focus state detection imaging devices, and detects a luminance signal having the largest value among the acquired three luminance signals as a maximum level luminance signal. Means,
Based on the luminance signal at the maximum level detected by the maximum level luminance signal detecting means, a gain is set to an appropriate level that does not saturate the luminance signal, and the determined gain is output from each of the focus state detection imaging devices. Gain setting means for setting as a gain when generating a luminance signal to be generated,
An autofocus device for a taking lens, comprising:
撮影レンズに入射した被写体光を分割する光分割手段と、
前記光分割手段により分割された光のうち、映像用の画像を撮像する映像用撮像素子に入射する光とは別の光により、ピント状態検出用の画像を撮像する3つの撮像素子であって、互いに光路長が異なる位置に配置された3つのピント状態検出用撮像素子と、
前記各ピント状態検出用撮像素子から得られる1画面分の輝度信号の高域周波数成分に基づいて画像の鮮鋭度の高低を示す焦点評価値を検出する焦点評価値検出手段と、
前記焦点評価値検出手段により前記各ピント状態検出用撮像素子に対応して検出された3つの焦点評価値を、前記撮影レンズのフォーカス位置に関する異なる3点での焦点評価値とし、該3点での焦点評価値に基づいて、前記撮影レンズのフォーカス位置と焦点評価値との関係を示す曲線を所定関数を用いて求め、該曲線により焦点評価値が最大となるフォーカス位置を合焦位置として検出する合焦位置検出手段と、
前記撮影レンズのフォーカス位置が前記合焦位置検出手段により検出された合焦位置となるように前記撮影レンズのフォーカスレンズを制御するフォーカス制御手段と、
前記各ピント状態検出用撮像素子から1画面分の輝度信号を取得し、該取得した3つの輝度信号の中から最も大きな値を有する輝度信号を最大レベルの輝度信号として検出する最大レベル輝度信号検出手段と、
前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号に基づいて該輝度信号が飽和しない適切なレベルとなる電荷蓄積時間を決定し、該決定した電荷蓄積時間を前記各ピント状態検出用撮像素子における電荷蓄積時間として設定する電荷蓄積時間設定手段と、
を備えたことを特徴とする撮影レンズのオートフォーカス装置
A light splitting means for splitting the subject light incident on the taking lens ;
Of the light split by the light splitting means, there are three image pickup devices that pick up an image for focus state detection using light different from the light incident on the image pickup device for picking up images for video. Three focus state detecting image sensors arranged at positions where the optical path lengths are different from each other ;
A focus evaluation value detection means for detecting a focus evaluation value indicating the degree of the sharpness of the image based on the high frequency component of one screen of the luminance signal obtained from each focus state detecting device,
The three focus evaluation values detected by the focus evaluation value detection unit corresponding to each of the focus state detection imaging elements are set as focus evaluation values at three different points related to the focus position of the photographing lens. Based on the focus evaluation value, a curve indicating the relationship between the focus position of the photographing lens and the focus evaluation value is obtained using a predetermined function, and the focus position at which the focus evaluation value is maximum is detected as the in-focus position by the curve. In-focus position detecting means,
Focus control means for controlling the focus lens of the photographic lens so that the focus position of the photographic lens becomes the focus position detected by the focus position detection means;
A maximum level luminance signal detection that acquires a luminance signal for one screen from each of the focus state detection imaging devices, and detects a luminance signal having the largest value among the acquired three luminance signals as a maximum level luminance signal. Means,
Based on the luminance signal at the maximum level detected by the maximum level luminance signal detection means, a charge accumulation time at which the luminance signal becomes an appropriate level that does not saturate is determined, and the determined charge accumulation time is used for detecting each focus state Charge storage time setting means for setting the charge storage time in the image sensor;
An autofocus device for a taking lens, comprising:
前記ゲイン設定手段は、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の最大値が所定のしきい値を超えない範囲となる最大のゲインを、前記輝度信号が飽和しない適切なレベルとなるゲインとして決定することを特徴とする請求項1の撮影レンズのオートフォーカス装置。The gain setting means has a maximum gain within a range in which the maximum value of the maximum level luminance signal detected by the maximum level luminance signal detection means does not exceed a predetermined threshold value. 2. The photographing lens autofocus device according to claim 1, wherein the gain is determined as a level gain. 前記ゲイン設定手段は、前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の最大値が所定のしきい値を超えない範囲となる最長の電荷蓄積時間を、前記輝度信号が飽和しない適切なレベルとなる電荷蓄積時間として決定することを特徴とする請求項2の撮影レンズのオートフォーカス装置。The gain setting means does not saturate the luminance signal for the longest charge accumulation time in which the maximum value of the luminance signal at the maximum level detected by the maximum level luminance signal detection means does not exceed a predetermined threshold. 3. The photographic lens autofocus device according to claim 2, wherein the charge accumulation time is set to an appropriate level. 前記最大レベル輝度信号検出手段により検出された最大レベルの輝度信号の瞬時値が飽和レベルに達したか否かを検出する飽和検出手段を備え、前記焦点評価値検出手段は、前記飽和検出手段により飽和レベルに達した瞬時値に対応する画素を除く範囲の輝度信号の高域周波数成分に基づいて焦点評価値を検出することを特徴とする請求項1、又は、2の撮影レンズのオートフォーカス装置。Saturation detection means for detecting whether or not the instantaneous value of the maximum level luminance signal detected by the maximum level luminance signal detection means has reached a saturation level, and the focus evaluation value detection means is provided by the saturation detection means. 3. The autofocus device for a photographing lens according to claim 1, wherein the focus evaluation value is detected based on a high frequency component of a luminance signal in a range excluding a pixel corresponding to an instantaneous value reaching a saturation level. .
JP2009175763A 2009-07-28 2009-07-28 Autofocus device for taking lens Expired - Lifetime JP4819930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009175763A JP4819930B2 (en) 2009-07-28 2009-07-28 Autofocus device for taking lens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009175763A JP4819930B2 (en) 2009-07-28 2009-07-28 Autofocus device for taking lens

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001168247A Division JP2002365518A (en) 2001-06-04 2001-06-04 Device for detecting focusing state of photographic lens

Publications (2)

Publication Number Publication Date
JP2009247020A JP2009247020A (en) 2009-10-22
JP4819930B2 true JP4819930B2 (en) 2011-11-24

Family

ID=41308355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009175763A Expired - Lifetime JP4819930B2 (en) 2009-07-28 2009-07-28 Autofocus device for taking lens

Country Status (1)

Country Link
JP (1) JP4819930B2 (en)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56128622U (en) * 1980-02-28 1981-09-30
JPS58217908A (en) * 1982-06-14 1983-12-19 Olympus Optical Co Ltd Detector of focus information
JPS63101811A (en) * 1986-10-18 1988-05-06 Fuji Photo Film Co Ltd Automatic focusing device for electronic camera
JPH03243072A (en) * 1990-02-21 1991-10-30 Sony Corp Automatic focusing circuit
JP3222155B2 (en) * 1991-07-25 2001-10-22 オリンパス光学工業株式会社 Automatic focus adjustment device
JP3213443B2 (en) * 1993-06-24 2001-10-02 三洋電機株式会社 Auto focus camera
JP3203904B2 (en) * 1993-09-10 2001-09-04 キヤノン株式会社 Imaging device
JPH07162740A (en) * 1993-12-06 1995-06-23 Sony Corp Back-light correcting device
JPH08107560A (en) * 1994-10-05 1996-04-23 Ricoh Co Ltd Image input device
JPH1155579A (en) * 1997-07-29 1999-02-26 Nikon Corp Automatic sensitivity controller and camera
JPH11352393A (en) * 1998-06-05 1999-12-24 Olympus Optical Co Ltd Focus detector
JP3980799B2 (en) * 1999-08-19 2007-09-26 株式会社リコー Automatic focusing device and focusing method thereof
JP2002296493A (en) * 2001-03-30 2002-10-09 Fuji Photo Optical Co Ltd Focus state detector

Also Published As

Publication number Publication date
JP2009247020A (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP3975395B2 (en) Camera system
JP5388544B2 (en) Imaging apparatus and focus control method thereof
JP4894661B2 (en) Imaging device
US9247122B2 (en) Focus adjustment apparatus and control method therefor
JP2002287017A (en) Focusing state detecting device for photographic lens
WO2002099496A1 (en) Focused state sensor
WO2002099498A1 (en) Device for determining focused state of taking lens
JP2007286474A (en) Focus detector and photographing device
JP2013037101A (en) Focus detector and imaging apparatus
JP2008298943A (en) Focal point control device and imaging device
JP4997043B2 (en) Imaging apparatus, method and program
WO2002099497A1 (en) Device for determining focused state of taking lens
JP2013050691A (en) Imaging apparatus
JP4692273B2 (en) Focus detection device and camera
JP2011090143A (en) Focal point detecting device and camera
JP2009042555A (en) Electronic camera
JP6482247B2 (en) FOCUS ADJUSTMENT DEVICE, IMAGING DEVICE, FOCUS ADJUSTMENT DEVICE CONTROL METHOD, AND PROGRAM
JP2007256463A (en) Automatic focusing device and camera
JP4819930B2 (en) Autofocus device for taking lens
JP5320937B2 (en) Focus detection apparatus and imaging apparatus
JP2014211589A (en) Focus adjustment device and imaging device
JP2003287673A (en) Focusing state detecting device for photographic lens
JP2011090196A (en) Focus detecting device, and imaging apparatus
JP2008225239A (en) Autofocus system
JP2003279847A (en) Focus state detector for photographing lens

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090826

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4819930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term