JP5523194B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP5523194B2 JP5523194B2 JP2010107112A JP2010107112A JP5523194B2 JP 5523194 B2 JP5523194 B2 JP 5523194B2 JP 2010107112 A JP2010107112 A JP 2010107112A JP 2010107112 A JP2010107112 A JP 2010107112A JP 5523194 B2 JP5523194 B2 JP 5523194B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light beam
- optical element
- lens
- half mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Cameras In General (AREA)
Description
本発明は、撮影レンズが交換可能な小型で安価な撮像装置に関する。 The present invention relates to a small and inexpensive image pickup apparatus in which a photographing lens can be replaced.
従来の一眼レフカメラでは、撮影準備状態ではハーフミラーを配置して撮影レンズより入射した光束を光学ファインダへ向かう光束と撮像面へ向かう光束とに分割し、撮影時にはクイックリターン機構により撮影光束外へ退避させるのが一般的であった。このような一眼レフカメラにおいて、光学ファインダを使用して動画を撮影しようとすると、撮影レンズからの入射光束を光学ファインダへの光束と撮像面への光束とに分割した状態を維持するため、ハーフミラーを介在させて動画撮影を行なう必要がある。しかしこの場合、ハーフミラーの内面反射による2重像が発生し、画質が低下するおそれがある。 In a conventional single-lens reflex camera, a half mirror is placed in the preparation state to divide the light beam incident from the photographic lens into a light beam that goes to the optical viewfinder and a light beam that goes to the imaging surface. It was common to evacuate. In such a single-lens reflex camera, when an image is taken using an optical viewfinder, the incident light flux from the taking lens is divided into a light flux to the optical viewfinder and a light flux to the imaging surface. It is necessary to shoot a movie through a mirror. However, in this case, a double image is generated due to the internal reflection of the half mirror, and the image quality may be deteriorated.
そこで特許文献1には、ハーフミラーを薄膜ミラーまたは0.2mm以下のガラスミラーで構成することで、ハーフミラーの内面反射による像劣化の影響を軽減する技術が開示されている。 Therefore, Patent Document 1 discloses a technique for reducing the influence of image deterioration due to internal reflection of the half mirror by configuring the half mirror with a thin film mirror or a glass mirror of 0.2 mm or less.
しかしながら、特許文献1では、繊細な光学部品である薄膜ミラーまたは0.2mm以下のガラスミラーが用いられるために取り扱いが難しい。また、薄膜ミラー自体が高価であり、面精度を維持しながら薄膜ミラーまたは0.2mm以下のガラスミラーを保持する機構を構成しようとすると、小型で安価なカメラを提供することは困難である。 However, in patent document 1, since the thin film mirror which is a delicate optical component, or a glass mirror of 0.2 mm or less is used, handling is difficult. Further, the thin film mirror itself is expensive, and it is difficult to provide a small and inexpensive camera if a mechanism for holding the thin film mirror or the glass mirror of 0.2 mm or less is maintained while maintaining the surface accuracy.
そこで本発明は、ハーフミラーの内面反射により発生する像劣化を抑制しながら小型で安価な撮像装置を提供する。 Therefore, the present invention provides a small and inexpensive imaging apparatus while suppressing image deterioration caused by internal reflection of a half mirror.
本発明の一側面としての撮像装置は、交換レンズの光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させる光学素子と、前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、前記撮像手段から出力された前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正する画像処理手段とを有し、
前記交換レンズが撮像装置に取り付けられた状態において、該交換レンズの光軸に平行な平面上に、該交換レンズおよび前記光学素子を投影した場合、該交換レンズおよび該光学素子の少なくとも一部が重なっていることを特徴とする。
An imaging apparatus according to an aspect of the present invention is fixedly disposed obliquely with respect to an optical axis of an interchangeable lens, reflects an optical element that reflects a part of an incident light beam and transmits another part, and reflects the reflected light by the optical element A finder means configured to be able to observe a subject using a first light beam, an image pickup means for receiving a second light beam transmitted through the optical element and outputting image data, and the output from the image pickup means the image data, the incident light beam to have a image processing means for correcting the degradation caused by internal reflection in the optical element,
When the interchangeable lens and the optical element are projected on a plane parallel to the optical axis of the interchangeable lens in a state where the interchangeable lens is attached to the imaging device, at least a part of the interchangeable lens and the optical element is It is characterized by overlapping.
本発明の他の側面としての画像処理方法は、交換レンズの光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させる光学素子と、前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、を有し、前記交換レンズが撮像装置に取り付けられた状態において、該交換レンズの光軸に平行な平面上に、該交換レンズおよび前記光学素子を投影した場合、該交換レンズおよび該光学素子の少なくとも一部が重なっている撮像装置の画像処理方法であって、前記撮像手段から画像データを取得するステップと、取得した前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正するステップと、を有することを特徴とする。
An image processing method according to another aspect of the present invention includes an optical element that is fixedly disposed obliquely with respect to the optical axis of an interchangeable lens, reflects a part of an incident light beam, and transmits another part. A finder unit configured to be able to observe a subject using the reflected first light beam, and an imaging unit which receives the second light beam transmitted through the optical element and outputs image data; When the interchangeable lens and the optical element are projected onto a plane parallel to the optical axis of the interchangeable lens in a state where the lens is attached to the imaging device, at least a part of the interchangeable lens and the optical element overlap. An image processing method for an imaging apparatus, comprising: acquiring image data from the imaging means; and generating the incident light beam by internally reflecting the acquired image data with the optical element. And correcting the degradation that is characterized by having a.
本発明の他の目的及び特徴は、以下の実施例において説明される。 Other objects and features of the present invention are illustrated in the following examples.
本発明によれば、ハーフミラーの内面反射により発生する像劣化を抑制しながら小型で安価な撮像装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, a small and cheap imaging device can be provided, suppressing the image degradation which generate | occur | produces by the internal reflection of a half mirror.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
まず、本発明の実施例1における撮像装置について説明する。本実施例は、交換レンズを着脱可能な一眼レフタイプのデジタルカメラ(撮像装置)に適用した例である。図1は、一眼レフカメラの光学系を示す中央断面図である。図1において、100はカメラ200に交換可能に装着された撮影レンズ(交換レンズ)、101はフォーカスレンズ群やズームレンズ群からなるレンズ部、Lは撮影レンズ100の光軸である。 First, the image pickup apparatus according to Embodiment 1 of the present invention will be described. In this embodiment, the present invention is applied to a single-lens reflex digital camera (imaging device) to which an interchangeable lens can be attached and detached. FIG. 1 is a central sectional view showing an optical system of a single-lens reflex camera. In FIG. 1, reference numeral 100 denotes a photographing lens (interchangeable lens) mounted on the camera 200 so as to be replaceable, 101 denotes a lens unit including a focus lens group and a zoom lens group, and L denotes an optical axis of the photographing lens 100.
200はカメラ(カメラ本体)で、撮影レンズ100の予定結像面付近には、光学ローパスフィルタや赤外カットフィルタ、さらにはCMOSセンサなどからなる光電変換素子を含む撮像素子201(撮像手段)が配置される。撮影レンズ100と撮像素子201の間には、平行平板のガラス板などで形成されたハーフミラー202(光学素子)が撮影レンズ100の光軸Lに対して斜めに固定配置される。ハーフミラー202は全面半透過性を有するミラーであり、入射光束の一部を反射させ他の一部を透過させる。このため、撮影レンズ100を通過した入射光束は、上方の光学ファインダ(ファインダ手段)に導かれる反射光(第一の光束)と撮像素子201に入射する透過光(第二の光束)に分離される。 Reference numeral 200 denotes a camera (camera body). An imaging element 201 (imaging means) including a photoelectric conversion element including an optical low-pass filter, an infrared cut filter, a CMOS sensor, and the like is disposed in the vicinity of a planned imaging surface of the photographing lens 100. Be placed. A half mirror 202 (optical element) formed of a parallel flat glass plate or the like is fixedly disposed obliquely with respect to the optical axis L of the photographing lens 100 between the photographing lens 100 and the imaging element 201. The half mirror 202 is a semi-transparent mirror that reflects part of the incident light beam and transmits the other part. Therefore, the incident light beam that has passed through the photographing lens 100 is separated into reflected light (first light beam) guided to the upper optical finder (finder means) and transmitted light (second light beam) incident on the image sensor 201. The
図1に示される203〜205は光学ファインダである。光学ファインダは、ハーフミラー202で反射した反射光を用いて被写体を観察可能に構成される。具体的には、ハーフミラー202の反射光は、マット面とフレネル面を備えるピント板203のマット面上に結像し、ペンタプリズム204、接眼光学系205を介して撮影者の目に導かれる。一方、透過光は撮像素子201で受光され、受光された光の強度信号はAD変換、画像処理部などを介して電子画像となる。このように、撮像素子201は、ハーフミラー202を透過した透過光を受光して画像データを出力する。なお、ハーフミラー202を通過した光軸Lは、ハーフミラー202での屈折により紙面下方向にオフセットした光軸L’となる。そこで、撮像素子201の中心は、光軸L’に対して一致するように配置されている。 Reference numerals 203 to 205 shown in FIG. The optical viewfinder is configured so that the subject can be observed using the reflected light reflected by the half mirror 202. Specifically, the reflected light of the half mirror 202 forms an image on the mat surface of the focus plate 203 having a mat surface and a Fresnel surface, and is guided to the photographer's eyes through the pentaprism 204 and the eyepiece optical system 205. . On the other hand, the transmitted light is received by the image sensor 201, and the intensity signal of the received light becomes an electronic image through AD conversion, an image processing unit, and the like. Thus, the image sensor 201 receives the transmitted light that has passed through the half mirror 202 and outputs image data. Note that the optical axis L that has passed through the half mirror 202 becomes an optical axis L ′ that is offset downward in the drawing by refraction at the half mirror 202. Therefore, the center of the image sensor 201 is arranged so as to coincide with the optical axis L ′.
一般的に、撮影レンズ100と撮像素子201の間にガラス板など平板光学素子(ハーフミラー202)を斜めに配置した場合、撮像素子201で得られる画像には大きな収差が発生する。これは、レンズを通過した各光線において、光学素子を通過する光路長方向の位置が異なるためであり、収差もその位置に応じて異なる。したがって、従来の一眼レフカメラにおいては、撮影時に、ハーフミラー202をクイックリターン機構で撮影光束外へ退避させるのが一般的であった。 In general, when a flat optical element (half mirror 202) such as a glass plate is disposed obliquely between the photographing lens 100 and the image sensor 201, a large aberration occurs in an image obtained by the image sensor 201. This is because each light beam that has passed through the lens has a different position in the optical path length direction that passes through the optical element, and the aberration also varies depending on the position. Therefore, in a conventional single-lens reflex camera, it is general that the half mirror 202 is retracted out of the photographing light beam by a quick return mechanism during photographing.
一方、本実施例では、図1に示されるようにハーフミラー202を傾けて配置しており、撮影時にはハーフミラー202を透過した光束を用いる。撮像素子201で得られる画像には収差及び内面反射ゴーストが発生するが、これは撮影レンズ100の光学収差とは異なり、軸対称性のない画像劣化となる。内面反射ゴーストを軽減するため、ハーフミラー202に反射防止用の多層膜を蒸着することも考えられる。しかしながら、多層膜の蒸着は非常に高価であり、高コストとなる。そこで本実施例では、非対称な収差及び内面反射ゴーストを画像処理回路413で補正することにより、低コストで良好な電子画像を形成する。この画像処理方法の詳細については後述する。 On the other hand, in the present embodiment, as shown in FIG. 1, the half mirror 202 is arranged to be inclined, and a light beam transmitted through the half mirror 202 is used at the time of photographing. Although aberration and internal reflection ghost are generated in the image obtained by the image sensor 201, this is image degradation without axial symmetry unlike the optical aberration of the photographing lens 100. In order to reduce the internal reflection ghost, it is conceivable to deposit a multilayer film for preventing reflection on the half mirror 202. However, the deposition of the multilayer film is very expensive and expensive. Therefore, in this embodiment, an asymmetric aberration and an internal reflection ghost are corrected by the image processing circuit 413 to form a good electronic image at low cost. Details of this image processing method will be described later.
従来、一眼レフカメラにおいて動画撮影を行なう場合には、撮像素子201に撮影光束を導くため、かつ、ハーフミラー202を透過することにより発生する収差を防ぐために、ハーフミラー202を撮影光束外へ退避させるのが一般的であった。このため、撮影光束は光学ファインダに導かれず、電子ファインダを使用していた。電子ファインダでは、撮像素子201での蓄積・読み出し動作や電子画像を作り出すために画像処理動作に時間がかかるため、表示される画像には時間遅れが生じる。このため、動きの速い動体に対して追従することが困難であった。 Conventionally, when shooting a moving picture with a single-lens reflex camera, the half mirror 202 is retracted out of the photographing light flux in order to guide the photographing light flux to the image sensor 201 and to prevent aberration caused by transmission through the half mirror 202. It was common to do. For this reason, the photographing light flux is not guided to the optical viewfinder, and an electronic viewfinder is used. In the electronic viewfinder, the image processing operation takes time in order to create an accumulation / read-out operation or an electronic image in the image sensor 201, so that a time delay occurs in the displayed image. For this reason, it is difficult to follow a fast moving body.
一方、本実施例の構成では、撮像素子201で電子画像を撮影しながら光学ファインダでの被写体観察を行うことが可能である。このため、動画を撮影する場合においても光学ファインダの利用ができ、従来のカメラの電子ファインダなどでは不可能であった、より動きの速い動体に対しても追従することが可能である。また、ハーフミラー202は固定されて配置されている。このため、従来の一眼レフカメラのように、撮影時にはハーフミラー202を撮影光束外へ退避させるクイックリターン機構を用いる必要がない。したがって、クイックリターン機構に用いる複雑なメカ構成が不要であり、低コスト化とコンパクト化が可能となる。さらに、本実施例の構成によれば、動画撮影時の静音化を達成される。 On the other hand, in the configuration of this embodiment, it is possible to observe the subject with the optical viewfinder while taking an electronic image with the image sensor 201. For this reason, the optical viewfinder can be used even when shooting a moving image, and it is possible to follow a moving body that moves faster than the conventional electronic viewfinder of a camera. Further, the half mirror 202 is fixedly arranged. For this reason, unlike the conventional single-lens reflex camera, it is not necessary to use a quick return mechanism for retracting the half mirror 202 out of the photographing light beam during photographing. Therefore, a complicated mechanical configuration used for the quick return mechanism is not necessary, and it is possible to reduce the cost and the size. Furthermore, according to the configuration of the present embodiment, it is possible to achieve noise reduction during moving image shooting.
図2(a)は、ハーフミラー202で生じる収差の説明図であり、図1から必要な部分のみを抽出している。図2(a)において、光線110a、110bは、物体側の光軸L上の1点を発し、レンズ部101を通過して撮像素子201の中心像高付近に結像する光束のうち最外部のみの光線を示している。なお、レンズ部101を挟んで物体側の光線は省略している。光線110a、110bは、ハーフミラー202の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー202中を直進する。その後、ハーフミラー202の射出面で再度スネルの法則に従い所定角度だけ屈折し射出する。このとき、ハーフミラー202に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の屈折の原理原則である。なお、光軸Lについても同様である。すなわち、ハーフミラー202を通過した光線は、角度は変化せず、平行シフトのみが生じることとなる。 FIG. 2A is an explanatory diagram of aberrations generated in the half mirror 202, and only necessary portions are extracted from FIG. In FIG. 2A, light rays 110 a and 110 b emit one point on the optical axis L on the object side, pass through the lens unit 101, and form the outermost light flux that forms an image near the center image height of the image sensor 201. Only the rays are shown. Note that light rays on the object side across the lens unit 101 are omitted. The light beams 110 a and 110 b are refracted by a predetermined angle on the incident surface of the half mirror 202 according to the well-known Snell's law, and travel straight through the half mirror 202. Thereafter, the light is refracted by a predetermined angle again on the exit surface of the half mirror 202 in accordance with Snell's law. At this time, the angle of the light ray incident on the half mirror 202 is equal to the angle of the light ray emitted. As is well known, this is the principle of refraction of light on a parallel plate. The same applies to the optical axis L. That is, the light beam that has passed through the half mirror 202 does not change its angle, and only a parallel shift occurs.
図3は、上記光線の屈折の詳細な説明図であり、空気中における平行平板の光の屈折を示す図である。図3において、210は平行平板であり、120は平行平板210に入射する光線を示し、その進行方向が矢印で示される。光線120は、入射角度φで平行平板210の入射面210aに入射し、スネルの法則に基づき光線120は屈折する。そして屈折後は、角度φ’で平行平板210中を直進する。その後、光線120は平行平板210の射出面210bで再度屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してdだけ平行シフトする。ここで、平行平板の板厚をt、空気の屈折率をn、平行平板210の屈折率をn’とすると、平行シフト量dは以下の式(1)で表される。 FIG. 3 is a detailed explanatory view of the refraction of the light beam, and shows the refraction of the light of the parallel plate in the air. In FIG. 3, reference numeral 210 denotes a parallel plate, 120 denotes a light beam incident on the parallel plate 210, and its traveling direction is indicated by an arrow. The light beam 120 enters the incident surface 210a of the parallel plate 210 at an incident angle φ, and the light beam 120 is refracted based on Snell's law. After refraction, the light travels straight through the parallel plate 210 at an angle φ ′. Thereafter, the light beam 120 is refracted again by the exit surface 210b of the parallel plate 210 and exits at the same angle φ as the incident angle φ. The emitted light is shifted in parallel by d with respect to the incident light. Here, assuming that the thickness of the parallel plate is t, the refractive index of air is n, and the refractive index of the parallel plate 210 is n ′, the parallel shift amount d is expressed by the following equation (1).
上記式(1)より入射角度φが大きいほど、平行シフト量dも大きくなる。 From the above equation (1), the parallel shift amount d increases as the incident angle φ increases.
そこで、図2(a)において光線110a、光軸L、光線110bの平行シフト量をそれぞれda、dl、dbとすると、daよりdlが大きく、dlよりdbが大きくなるという関係(da<dl<db)が得られる。これは、光線110a、光軸L、光線110bがそれぞれハーフミラー202に入射する角度が異なるためである。入射角度は、光線110aより光軸Lの方が大きく、光軸Lより光線110bの方が大きいという関係になっている。このとき、光線110aが光軸L’と交わる位置と光線110bが光軸L’と交わる位置とは、上述の平行シフトの影響で一致せず、光線110bの方が光線110aより図中右側で光軸Lと交わる。これが、ハーフミラー202による収差の原因である。 Therefore, in FIG. 2A, when the parallel shift amounts of the light beam 110a, the optical axis L, and the light beam 110b are da, dl, and db, respectively, the relationship that dl is larger than da and db is larger than dl (da <dl < db) is obtained. This is because the angles at which the light beam 110a, the optical axis L, and the light beam 110b are incident on the half mirror 202 are different. The incident angle is such that the optical axis L is larger than the light beam 110 a and the light beam 110 b is larger than the optical axis L. At this time, the position where the light beam 110a intersects the optical axis L ′ and the position where the light beam 110b intersects the optical axis L ′ do not coincide with each other due to the above-described parallel shift, and the light beam 110b is closer to the right side in the figure than the light beam 110a. Crosses the optical axis L. This is the cause of the aberration caused by the half mirror 202.
図2では、2本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸L’上で交わる位置は、図2の断面においては全て一致しない。図2(b)は、図1の撮像素子201の中央像高付近Cを拡大した図であり、結像する光線を示している。図2(b)において、201aは撮像素子201の受光面近傍、すなわち撮影レンズ100の予定結像面であり、予定決像面201aには多数の光線が集まっている。しかしながら、図2(b)で説明したハーフミラー202による平行シフトの影響により、全ての光線について光軸L’上で交わる位置が異なっており、1点に収斂する結像となっていない。 In FIG. 2, the description is made using only two light beams. However, in practice, an image is formed by a large number of light beams, and the positions where the light beams intersect on the optical axis L ′ are not all coincident in the cross section of FIG. 2. . FIG. 2B is an enlarged view of the vicinity of the central image height C of the image sensor 201 of FIG. 1, and shows the light rays that form an image. In FIG. 2B, 201a is the vicinity of the light receiving surface of the image sensor 201, that is, the planned image formation surface of the photographic lens 100, and a large number of light beams are gathered on the planned image determination surface 201a. However, due to the influence of the parallel shift by the half mirror 202 described in FIG. 2B, the positions where all the light beams intersect on the optical axis L ′ are different, and the image does not converge at one point.
なお、実際の光線は紙面奥行き方向にも存在するため、より複雑な収差が発生している。しかし、ハーフミラー202は光軸Lに対して図1の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差となっている。また、上記収差は式(1)から、平行平板210、すなわちハーフミラー202の屈折率によっても収差の状況は異なる。したがって、波長によっても収差の状況は異なる。さらに、式(1)より、像高によって入射する光線の角度が異なるため、像高によっても収差の状況は異なる。 Since actual light rays are also present in the depth direction of the paper, more complicated aberration occurs. However, the half mirror 202 is arranged to be inclined with respect to the optical axis L only in the cross section of FIG. For this reason, the aberration has symmetry in the depth direction of the drawing. Further, the aberration situation varies depending on the refractive index of the parallel plate 210, that is, the half mirror 202, from the equation (1). Therefore, the situation of aberration varies depending on the wavelength. Further, from the equation (1), since the angle of the incident light beam varies depending on the image height, the situation of aberration also varies depending on the image height.
図4は、周辺像高に到達する光線の収差の説明図である。図4において、光線111a、111bは撮像素子201の上側像高に結像する光線を示し、光線112a、112bは撮像素子201の下側像高に結像する光線をそれぞれ示す。そして、それぞれの光線はハーフミラー202に入射する角度が異なるため、図3にて説明した原理原則から平行シフト量も異なり、光線111aと111b、光線112aと112bでは異なる収差が発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図2で説明した撮像素子201の中央像高付近に結像する光線とも異なるため、図4における撮像素子201の上下方向においては非対称な収差が生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差となっている。また、周辺像高においても、波長によって収差の状況は異なる。なお、実際の収差の状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやMTFなどを計算することにより、詳細に観察可能である。 FIG. 4 is an explanatory diagram of the aberration of light rays reaching the peripheral image height. In FIG. 4, light rays 111 a and 111 b indicate light rays that are imaged at the upper image height of the image sensor 201, and light rays 112 a and 112 b indicate light rays that are imaged at the lower image height of the image sensor 201. Since each light beam is incident on the half mirror 202 at different angles, the amount of parallel shift is also different from the principle described with reference to FIG. 3, and the light beams 111a and 111b and the light beams 112a and 112b have different aberrations. Further, since the parallel shift amount of the light beam formed at the upper image height and the lower image height is different from the light beam formed near the central image height of the image sensor 201 described with reference to FIG. Asymmetrical aberrations occur in the vertical direction. In the depth direction of the paper, the aberration has symmetry even in the peripheral image height for the reason described above. Also in the peripheral image height, the aberration situation varies depending on the wavelength. The actual state of aberration can be observed in detail by calculating a spot diagram, MTF, etc. using well-known optical simulation software.
図5(a)は、ハーフミラー202の内面反射によって生じるゴースト光線の説明図であり、図1から必要な部分のみを抽出している。また、光線の経路を見やすくするため、ハーフミラー202を厚くして描かれている。図5(a)において、光線113a、113bは、物体側光軸L上の1点を発し、レンズ部101を通過して撮像素子201の中心像高付近に結像する光束のうち最外部のみの光線を示す。なお、レンズ部101を挟んで物体側の光線は省略している。光線113a、113bは、ハーフミラー202の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー202中を直進する。ハーフミラー202の射出面において、大部分の光束はそのまま透過し、スネルの法則にしたがって所定角度だけ屈折して射出する。これが図2(a)で説明した内面反射せずに射出する光線の経路である。 FIG. 5A is an explanatory diagram of ghost rays generated by internal reflection of the half mirror 202, and only necessary portions are extracted from FIG. In addition, the half mirror 202 is drawn thick to make it easier to see the path of the light beam. In FIG. 5A, light rays 113a and 113b emit one point on the object-side optical axis L, pass only through the lens unit 101, and form only near the center image height of the image sensor 201. The rays of light are shown. Note that light rays on the object side across the lens unit 101 are omitted. The light beams 113 a and 113 b are refracted by a predetermined angle on the incident surface of the half mirror 202 according to the well-known Snell's law and travel straight through the half mirror 202. On the exit surface of the half mirror 202, most of the light beam is transmitted as it is, and refracted by a predetermined angle according to Snell's law. This is the path of the light beam that is emitted without internal reflection as described in FIG.
一方、ハーフミラー202の射出面において、反射する光束も存在する。このハーフミラー202の射出面で反射した光束は、ハーフミラー202中を直進し、ハーフミラー202の入射面において、また反射する成分と透過する成分に分離する。ハーフミラー202の入射面で反射した光束は、ハーフミラー202中を直進し、再びハーフミラー202の射出面に到達する。ハーフミラー202の射出面に到達した光束のうち、透過する成分はハーフミラー202の射出面で再度スネルの法則に従い所定角度屈折し射出する。このように、ハーフミラー202の射出面で反射した後にハーフミラー202の入射面で反射し、再び到達したハーフミラー202の射出面を透過して撮像素子201に到達するのが、ハーフミラー202の内面反射によるゴースト光線である。このとき、ハーフミラー202に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の内面反射によるゴースト光線の経路である。なお、光軸Lについても同様である。すなわち、ハーフミラー202を通過した光線は、角度は変化せず、平行シフトのみが生じる。 On the other hand, there is a reflected light beam on the exit surface of the half mirror 202. The light beam reflected by the exit surface of the half mirror 202 travels straight through the half mirror 202 and is separated into a reflected component and a transmitted component on the incident surface of the half mirror 202. The light beam reflected by the incident surface of the half mirror 202 travels straight through the half mirror 202 and reaches the exit surface of the half mirror 202 again. Of the light beam that has reached the exit surface of the half mirror 202, the transmitted component is refracted by a predetermined angle on the exit surface of the half mirror 202 again and exits according to Snell's law. In this way, it is reflected on the incident surface of the half mirror 202 after being reflected on the exit surface of the half mirror 202, passes through the exit surface of the half mirror 202 that has reached again, and reaches the image sensor 201. It is a ghost beam by internal reflection. At this time, the angle of the light ray incident on the half mirror 202 is equal to the angle of the light ray emitted. As is well known, this is a path of a ghost ray due to internal reflection of light on a parallel plate. The same applies to the optical axis L. That is, the light beam that has passed through the half mirror 202 does not change its angle, and only a parallel shift occurs.
図6は、ハーフミラー202の内面反射によるゴースト光線の屈折及び反射の詳細な説明図である。図6において、210は平行平板であり、120は平行平板210に入射する光線で、その進行方向が矢印で示されている。光線120は、入射角度φで平行平板210の入射面210aに入射し、スネルの法則に基づき光線120は屈折する。そして屈折後は、角度φ’で平行平板210中を直進する。その後、光線120は平行平板210の射出面210bに角度φ’で入射し、角度φ’で反射する。反射した光線120は、平行平板210の入射面210aに角度φ’で入射し、角度φ’で反射する。再び、平行平板210の射出面210bに到達した光線120は屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してgだけ平行シフトする。ここで、平行平板の板厚をt、空気の屈折率をn、平行平板210の屈折率をn’、平行平板を透過したときの平行シフト量をdとしたとき、内面反射せずに射出したときと内面反射して射出したときの平行シフト量の差eは、以下の式(2)で表される。 FIG. 6 is a detailed explanatory view of refraction and reflection of a ghost ray by internal reflection of the half mirror 202. In FIG. 6, reference numeral 210 denotes a parallel plate, 120 denotes a light beam incident on the parallel plate 210, and its traveling direction is indicated by an arrow. The light beam 120 enters the incident surface 210a of the parallel plate 210 at an incident angle φ, and the light beam 120 is refracted based on Snell's law. After refraction, the light travels straight through the parallel plate 210 at an angle φ ′. Thereafter, the light beam 120 is incident on the exit surface 210b of the parallel plate 210 at an angle φ ′ and is reflected at the angle φ ′. The reflected light beam 120 is incident on the incident surface 210a of the parallel plate 210 at an angle φ ′ and reflected at an angle φ ′. Again, the light beam 120 reaching the exit surface 210b of the parallel plate 210 is refracted and exits at the same angle φ as the incident angle φ. The emitted light is shifted in parallel by g with respect to the incident light. Here, when the plate thickness of the parallel plate is t, the refractive index of air is n, the refractive index of the parallel plate 210 is n ′, and the parallel shift amount when transmitted through the parallel plate is d, the light is emitted without being reflected internally. The difference e in the parallel shift amount between when the light is emitted and when it is reflected from the inner surface is expressed by the following equation (2).
また、平行平板で内面反射したときの平行シフト量gは、式(1)、(2)より、以下の式(3)で表される。 Further, the parallel shift amount g when the inner surface is reflected by the parallel plate is expressed by the following formula (3) from the formulas (1) and (2).
上記の式(3)より、入射角度φによって平行シフト量gが変わることがわかる。 From the above equation (3), it can be seen that the parallel shift amount g varies depending on the incident angle φ.
そこで、図5(a)において光線113a、光軸L、光線113bの平行シフト量をそれぞれga、gl、gbとすると、式(3)より、gaよりglが小さく、glよりgbが小さくなるという関係(ga>gl>gb)が得られる。これは、光線113a、光軸L、光線113bがそれぞれハーフミラー202に入射する角度が異なるためであり、入射角度は光線113aより光軸Lの方が大きく、光軸Lより光線113bの方が大きいという関係になる。このとき、光線113aが光軸L’’と交わる位置と光線113bが光軸L’’と交わる位置とは、上記平行シフトの影響で一致せず、光線113aの方が光線113bより図中右側で光軸Lと交わる。 Therefore, in FIG. 5A, assuming that the parallel shift amounts of the light beam 113a, the optical axis L, and the light beam 113b are ga, gl, and gb, respectively, gl is smaller than ga and gb is smaller than gl from Equation (3). The relationship (ga> gl> gb) is obtained. This is because the angles at which the light beam 113a, the optical axis L, and the light beam 113b are incident on the half mirror 202 are different. The incident angle is greater on the optical axis L than on the light beam 113a, and on the light beam 113b. It becomes a big relationship. At this time, the position at which the light beam 113a intersects with the optical axis L ″ and the position at which the light beam 113b intersects with the optical axis L ″ do not coincide with each other due to the effect of the parallel shift. Intersects with the optical axis L.
ハーフミラー202で内面反射せずに射出した光線は、図2(a)で説明したように、入射した光線に対して図中下方向にシフトする。一方、ハーフミラー202で内面反射して射出した光線は、図5(a)で説明したように、入射した光線に対して図中上方向にシフトする。すなわち、ハーフミラー202を透過した光線は、内面反射せずに下方向にシフトした光線と内面反射して上方向にシフトした光線の2本の光線に分離する。これが、ハーフミラー202の内面反射による2重像の原因である。 The light beam emitted without being internally reflected by the half mirror 202 is shifted downward in the drawing with respect to the incident light beam as described with reference to FIG. On the other hand, the light beam emitted after being internally reflected by the half mirror 202 is shifted upward in the figure with respect to the incident light beam as described with reference to FIG. That is, the light beam that has passed through the half mirror 202 is separated into two light beams: a light beam that is shifted downward without being internally reflected and a light beam that is internally reflected and shifted upward. This is the cause of the double image due to the internal reflection of the half mirror 202.
図5では、2本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸L’’上で交わる位置は、図5の断面においては全て一致しない。図5(b)は、図1の撮像素子201の中央像高付近Cを拡大した図であり、結像する光線を示している。図5(b)において、201aは撮像素子201の受光面近傍、すなわち、撮影レンズ100の予定結像面を示し、予定決像面201aには多数の光線が集まっている。しかしながら、図5(a)で説明したハーフミラー202による平行シフトの影響により、全ての光線は光軸L’’上で交わる位置が異なり、完全な結像となっていない。 In FIG. 5, the description is made using only two light beams. However, in practice, an image is formed by a large number of light beams, and the positions where the light beams intersect on the optical axis L ″ are all coincident in the cross section of FIG. do not do. FIG. 5B is an enlarged view of the vicinity of the central image height C of the image sensor 201 of FIG. 1, and shows the light rays that form an image. In FIG. 5B, 201a indicates the vicinity of the light receiving surface of the image sensor 201, that is, the planned image formation surface of the photographic lens 100, and a large number of light rays are collected on the planned image determination surface 201a. However, due to the influence of the parallel shift by the half mirror 202 described with reference to FIG. 5A, the positions where all the light beams intersect on the optical axis L ″ are different and complete imaging is not performed.
なお、実際の光線は紙面奥行き方向にも存在するためより複雑な収差及び内面反射ゴーストが発生しているが、ハーフミラー202は光軸Lに対して、図1の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差及び内面反射ゴーストとなっている。また、上記収差及び内面反射ゴーストは、式(3)から、平行平板210、すなわちハーフミラー202の屈折率によっても収差の状況は異なる。したがって、波長によっても収差及び内面反射ゴーストの状況は異なる。さらに、式(3)より、像高によって入射する光線の角度が異なるため、像高によっても収差及び内面反射ゴーストの状況は異なる。 In addition, since actual light rays are also present in the depth direction of the paper, more complicated aberrations and internal reflection ghosts are generated, but the half mirror 202 is arranged with an inclination with respect to the optical axis L only in the cross section of FIG. Has been. For this reason, there are symmetrical aberrations and internal reflection ghosts in the depth direction of the drawing. Further, the aberration and the internal reflection ghost have different aberrations depending on the refractive index of the parallel flat plate 210, that is, the half mirror 202, from the equation (3). Therefore, the situation of aberration and internal reflection ghost also differs depending on the wavelength. Furthermore, from the equation (3), since the angle of the incident light beam varies depending on the image height, the situation of the aberration and the internal reflection ghost also varies depending on the image height.
図7は、周辺像高に到達する光線の内面反射ゴースト光線の説明図である。図7において、光線114a、114bは撮像素子201の上側像高に結像する光線を示し、光線115a、115bは撮像素子201の下側像高に結像する光線を示す。それぞれの光線はハーフミラー202に入射する角度が異なるため、図6にて説明したように平行シフト量も異なり、光線114a、114b、および、光線115a、115bの間では異なる収差及び内面反射ゴーストが発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図5で説明した撮像素子201の中央像高付近に結像する光線とも異なる。このため、図7における撮像素子201の上下方向においては、非対称な収差及び内面反射ゴーストが生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差及び内面反射ゴーストとなっている。また、周辺像高においても、波長によって収差及び内面反射ゴーストの状況が異なる。なお、実際の収差及び内面反射ゴーストの状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやMTFなどを計算することにより、詳細に観察可能である。 FIG. 7 is an explanatory diagram of an internally reflected ghost ray of a ray that reaches the peripheral image height. In FIG. 7, light beams 114 a and 114 b indicate light beams that are formed at the upper image height of the image sensor 201, and light beams 115 a and 115 b indicate light beams that are formed at the lower image height of the image sensor 201. Since each light beam is incident on the half mirror 202 at a different angle, the parallel shift amount is also different as described with reference to FIG. 6, and different aberrations and internal reflection ghosts are generated between the light beams 114a and 114b and the light beams 115a and 115b. It has occurred. Further, the parallel shift amount of the light beam formed at the upper image height and the lower image height is different from the light beam formed near the central image height of the image sensor 201 described with reference to FIG. For this reason, asymmetrical aberrations and internal reflection ghosts occur in the vertical direction of the image sensor 201 in FIG. In the depth direction of the paper, for the reasons described above, the aberration and the internal reflection ghost have symmetry even in the peripheral image height. Also, in the peripheral image height, the situation of the aberration and the internal reflection ghost varies depending on the wavelength. The actual aberration and internal reflection ghost situation can be observed in detail by calculating a spot diagram, MTF, etc. using well-known optical simulation software.
以上のことから、本実施例のようにハーフミラー202を通過した光束で得られる画像には、以下の(1)〜(3)のような収差と内面反射ゴーストが発生していることとなる。(1)内面反射せずに射出した光線と内面反射して射出した光線の2重像が発生している。(2)どちらの光線も、紙面奥行方向に対称で上下方向には非対称な収差が発生している。(3)収差は像高、波長により異なる。 From the above, in the image obtained by the light beam that has passed through the half mirror 202 as in the present embodiment, the following aberrations (1) to (3) and the internal reflection ghost are generated. . (1) A double image of a light beam emitted without internal reflection and a light beam emitted with internal reflection is generated. (2) Both light beams are symmetrical in the depth direction of the paper and have asymmetrical aberrations in the vertical direction. (3) The aberration varies depending on the image height and wavelength.
そこで本実施例では、上記収差と内面反射ゴーストを画像処理回路413によって復元処理を行い、収差による劣化のない画像を生成する。以下、収差復元の基本的な考え方について説明する。図8は、撮像素子201による撮影範囲を示す図である。図8において、220は撮影範囲であり、撮影範囲の中央を原点として、図のようにXY座標を定義する。そして、撮影範囲220内の任意の座標点(x,y)における撮影レンズ100およびハーフミラー202の収差及び内面反射ゴーストによる劣化前の画像の光量分布をo(x,y)とする。また、それに対応した撮影レンズ100およびハーフミラー202の収差による劣化後の画像の光量分布をi(x,y)とすると、i(x,y)は以下の式(4)で表される。 Therefore, in this embodiment, the aberration and the internal reflection ghost are restored by the image processing circuit 413 to generate an image without deterioration due to the aberration. Hereinafter, the basic concept of aberration restoration will be described. FIG. 8 is a diagram illustrating a shooting range by the image sensor 201. In FIG. 8, reference numeral 220 denotes a shooting range, and the XY coordinates are defined as shown in the figure with the center of the shooting range as the origin. Then, the light amount distribution of the image before deterioration due to the aberration of the photographing lens 100 and the half mirror 202 and the internal reflection ghost at an arbitrary coordinate point (x, y) in the photographing range 220 is defined as o (x, y). Further, if the light quantity distribution of the image after degradation due to the aberration of the photographing lens 100 and the half mirror 202 corresponding thereto is i (x, y), i (x, y) is expressed by the following equation (4).
ここで、h(x,y)は、撮影レンズ100およびハーフミラー202により画像が劣化する状態を表す伝達関数である。また式(4)は、ハーフミラー202による収差及び内面反射ゴーストのみならず、撮影レンズ100の収差までを含む劣化像モデル式として表されている。また式(4)は、o(x,y)とh(x,y)の畳み込み積分であるため、フーリエ変換を行えば、以下の式(5)のように、よりシンプルな積の形で表すことができる。 Here, h (x, y) is a transfer function representing a state in which an image is deteriorated by the photographing lens 100 and the half mirror 202. Expression (4) is expressed as a deteriorated image model expression including not only the aberration by the half mirror 202 and the internal reflection ghost but also the aberration of the photographing lens 100. Also, since Equation (4) is a convolution integral of o (x, y) and h (x, y), if Fourier transformation is performed, a simpler product form is obtained as in Equation (5) below. Can be represented.
ここで、I(u,v)はi(x,y)、O(u,v)はo(x,y)、H(u,v)はh(x,y)のそれぞれ2次元フーリエ変換であり、u、vは空間周波数変数である。したがって、式(5)から劣化前の画像O(u,v)は、以下の式(6)で表される。 Here, I (u, v) is i (x, y), O (u, v) is o (x, y), and H (u, v) is h (x, y). U and v are spatial frequency variables. Therefore, the image O (u, v) before the deterioration from the equation (5) is represented by the following equation (6).
ここで、1/H(u,v)は一般的にインバースフィルターと呼ばれる。インバースフィルターをカメラ200の不揮発性メモリ431などに予め記憶しておくことで、ハーフミラー202の収差及び内面反射ゴーストによる劣化前の画像を復元することができる。なお、実際の画像復元処理は、ノイズなどの影響を大きく受けるため、インバースフィルターに限定されず、周知のウィナーフィルターや線形反復修正法、非線形反復修正法などを用いてもよい。また、ハーフミラー202による収差及び内面反射ゴーストは、図8においてY軸対称である。このため、復元用のフィルターとしては撮影範囲220の半分のみを用意することで、全画像を復元処理することができる。さらに、上記フィルターは、ハーフミラー202の収差及び内面反射ゴーストのみならず、撮影レンズ100の収差までも考慮しているため、撮影レンズの収差による劣化も復元することが可能である。 Here, 1 / H (u, v) is generally called an inverse filter. By storing the inverse filter in advance in the nonvolatile memory 431 of the camera 200, it is possible to restore the image before the deterioration due to the aberration of the half mirror 202 and the internal reflection ghost. Note that actual image restoration processing is greatly affected by noise and the like, and thus is not limited to an inverse filter, and a known Wiener filter, a linear iterative correction method, a non-linear iterative correction method, or the like may be used. Further, the aberration and the internal reflection ghost caused by the half mirror 202 are Y-axis symmetric in FIG. Therefore, by preparing only half of the shooting range 220 as a restoration filter, it is possible to restore the entire image. Furthermore, since the filter takes into consideration not only the aberration of the half mirror 202 and the internal reflection ghost but also the aberration of the photographing lens 100, it is possible to restore the deterioration due to the aberration of the photographing lens.
以上のように、ハーフミラー202に収差による劣化前の画像を復元する。なお、ハーフミラー202による収差及び内面反射ゴーストは波長により異なるため、実際の画像処理回路413による復元はRGBの色別に取得された画像データを用いて行う。詳細は後述する。 As described above, the image before deterioration due to aberration is restored on the half mirror 202. Since the aberration and the internal reflection ghost due to the half mirror 202 differ depending on the wavelength, the actual restoration by the image processing circuit 413 is performed using image data acquired for each RGB color. Details will be described later.
図9は、本実施例における撮像装置の構成図である。図9は、カメラ200とカメラ200に交換可能に装着される撮影レンズ100で構成されたカメラシステムを示す。本実施例は、カメラ200、撮影レンズ100、または、カメラ200と撮影レンズ100で構成されたカメラシステムのいずれをも撮像装置として適用可能である。また本実施例はこれに限定されるものではなく、カメラと撮影レンズが一体に構成された撮像装置にも適用可能である。 FIG. 9 is a configuration diagram of the imaging apparatus in the present embodiment. FIG. 9 shows a camera system including a camera 200 and a photographing lens 100 that is interchangeably attached to the camera 200. In this embodiment, any of the camera 200, the photographing lens 100, or the camera system configured by the camera 200 and the photographing lens 100 can be applied as the imaging device. The present embodiment is not limited to this, and can also be applied to an image pickup apparatus in which a camera and a taking lens are configured integrally.
図9を参照して、まずカメラ200側について詳述する。401は露光量を制御するためのシャッター、201は光学像を電気信号に変換する撮像素子、412は撮像素子201のアナログ信号をデジタル信号(画像データ)に変換するA/D変換器である。403は撮像素子201、A/D変換器412、D/A変換器404にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路407およびシステム制御回路440により制御される。 With reference to FIG. 9, the camera 200 side will be described in detail first. Reference numeral 401 denotes a shutter for controlling the exposure amount, 201 denotes an image sensor that converts an optical image into an electric signal, and 412 denotes an A / D converter that converts an analog signal of the image sensor 201 into a digital signal (image data). A timing generation circuit 403 supplies a clock signal and a control signal to the image sensor 201, the A / D converter 412, and the D / A converter 404, and is controlled by the memory control circuit 407 and the system control circuit 440.
413は画像処理回路(画像処理手段)であり、A/D変換器412からの画像データあるいはメモリ制御回路407からの画像データに対して所定の画素補間処理や色変換処理を行う。本実施例における収差の補正(画像処理方法)は、例えば画像処理回路413で実施される。また画像処理回路413は、画像データを用いて所定の演算処理を行うことも可能である。得られた演算結果に基づいてシステム制御回路440が、後述する撮影レンズ100側のフォーカス制御部454および絞り制御部455に対して、AF(オートフォーカス)処理、AE(自動露出)処理などの処理を行う。さらに、画像処理回路413は、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。 Reference numeral 413 denotes an image processing circuit (image processing means) that performs predetermined pixel interpolation processing and color conversion processing on the image data from the A / D converter 412 or the image data from the memory control circuit 407. The aberration correction (image processing method) in this embodiment is performed by, for example, the image processing circuit 413. The image processing circuit 413 can also perform predetermined arithmetic processing using image data. Based on the obtained calculation result, the system control circuit 440 performs processing such as AF (autofocus) processing and AE (automatic exposure) processing on a focus control unit 454 and an aperture control unit 455 on the photographing lens 100 side described later. I do. Further, the image processing circuit 413 also performs TTL AWB (auto white balance) processing based on the obtained calculation result.
409は顔検出部で、検出する対象画像としては人物の顔が対応している。画像処理回路413からの画像データあるいはメモリ制御回路407からの画像データに対して所定の顔検出動作を行う。メモリ制御回路407は、A/D変換器412、タイミング発生回路403、画像処理回路413、画像表示メモリ408、D/A変換器404、顔検出部409、メモリ410、圧縮伸長回路411を制御する。A/D変換器412のデータが画像処理回路413、メモリ制御回路407を介して、あるいはA/D変換器412のデータが直接メモリ制御回路407を介して、画像表示メモリ408あるいはメモリ410に書き込まれる。 A face detection unit 409 corresponds to a human face as a target image to be detected. A predetermined face detection operation is performed on the image data from the image processing circuit 413 or the image data from the memory control circuit 407. The memory control circuit 407 controls the A / D converter 412, the timing generation circuit 403, the image processing circuit 413, the image display memory 408, the D / A converter 404, the face detection unit 409, the memory 410, and the compression / decompression circuit 411. . Data from the A / D converter 412 is written into the image display memory 408 or the memory 410 via the image processing circuit 413 and the memory control circuit 407, or data from the A / D converter 412 is directly written through the memory control circuit 407. It is.
405は液晶モニタ等からなる画像表示部で、画像表示メモリ408に書き込まれた画像データを、D/A変換器404を介して表示する。画像表示部405を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部405は、システム制御回路440の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には、カメラ200の電力消費を大幅に低減することができる。 Reference numeral 405 denotes an image display unit composed of a liquid crystal monitor or the like, which displays image data written in the image display memory 408 via the D / A converter 404. If the image data captured using the image display unit 405 is sequentially displayed, an electronic viewfinder function can be realized. Further, the image display unit 405 can arbitrarily turn on / off the display according to an instruction from the system control circuit 440. When the display is turned off, the power consumption of the camera 200 can be significantly reduced. it can.
410は撮影した静止画像や動画像を記憶するためのメモリであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大容量の画像書き込みをメモリ410に対して行うことが可能となる。また、メモリ410はシステム制御回路440の作業領域としても使用することが可能である。 Reference numeral 410 denotes a memory for storing captured still images and moving images, and has a sufficient storage capacity for storing a predetermined number of still images and a moving image for a predetermined time. Thus, even in continuous shooting or panoramic shooting in which a plurality of still images are continuously shot, high-speed and large-capacity image writing can be performed on the memory 410. The memory 410 can also be used as a work area for the system control circuit 440.
411は適用離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮伸長回路であり、メモリ410に記憶された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えた画像データをメモリ410に書き込む。420は測光部422からの測光情報に基づいて、撮影レンズ100側の絞り452を制御する絞り制御部455と連携しながら、シャッター401を制御するシャッター制御部である。423はカメラ200と撮影レンズ100とを電気的に接続するためのインターフェース(I/F)であり、443はカメラ200を撮影レンズ100と電気的に接続するコネクタである。 A compression / decompression circuit 411 compresses / decompresses image data by applied discrete cosine transform (ADCT) or the like, reads an image stored in the memory 410 and performs compression processing or decompression processing, and stores the processed image data in the memory 410. Write to. A shutter control unit 420 controls the shutter 401 in cooperation with a diaphragm control unit 455 that controls the diaphragm 452 on the photographing lens 100 side based on photometric information from the photometric unit 422. Reference numeral 423 denotes an interface (I / F) for electrically connecting the camera 200 and the photographing lens 100, and reference numeral 443 denotes a connector for electrically connecting the camera 200 to the photographing lens 100.
421はAF処理を行うためのAF部である。撮像素子201で得られる画像データのコントラスト成分を評価しながら、撮影レンズ100のフォーカス制御を行う周知のコントラスト方式AFを用いることで、撮像素子201上における撮影レンズ100の合焦状態を測定している。422はAE処理を行うための測光部である。撮影レンズ100を通過した光束を、カメラマウント442、ハーフミラー202、そして不図示の測光用レンズを介して、測光部422に入射させることにより、画像の露出状態を測定することができる。また、測光部422は、フラッシュ部424と連携することによりEF処理機能も有するものである。なお、AF部421と同様に、画像処理回路413による撮像素子201の画像データを演算した演算結果に基づき、システム制御回路440が、シャッター制御部420と撮影レンズ100の絞り制御部455に対してAE制御を行うことも可能である。424はフラッシュ部であり、AF補助光の投光機能、フラッシュ調光機能も有する。 Reference numeral 421 denotes an AF unit for performing AF processing. By using the well-known contrast method AF that performs focus control of the photographic lens 100 while evaluating the contrast component of the image data obtained by the image sensor 201, the focus state of the photographic lens 100 on the image sensor 201 is measured. Yes. A photometric unit 422 performs AE processing. The exposure state of the image can be measured by causing the light beam that has passed through the photographing lens 100 to enter the photometric unit 422 via the camera mount 442, the half mirror 202, and a photometric lens (not shown). The photometry unit 422 also has an EF processing function in cooperation with the flash unit 424. Similar to the AF unit 421, the system control circuit 440 controls the shutter control unit 420 and the aperture control unit 455 of the photographing lens 100 based on the calculation result obtained by calculating the image data of the image sensor 201 by the image processing circuit 413. It is also possible to perform AE control. A flash unit 424 has an AF auxiliary light projecting function and a flash light control function.
440はカメラ200の全体を制御するシステム制御回路、429はシステム制御回路440の動作用の定数、変数、プログラム等を記憶するメモリである。430はシステム制御回路440でのプログラム実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。カメラ200の操作部近辺に視認し易い位置に単数あるいは複数箇所設置され、例えばLCDやLED、発音素子等の組合せにより構成されている。また、表示部430は、その一部の機能が光学ファインダ445内に設置されている。光学ファインダ445の詳細については、後述する。表示部430の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付や時刻等も表示される。光学ファインダ445内に表示するものとしては、合焦状態、手ぶれ警告、フラッシュ充電状態、シャッタースピード、絞り値、露出補正等の情報がある。 A system control circuit 440 controls the entire camera 200, and a memory 429 stores constants, variables, programs, and the like for operating the system control circuit 440. Reference numeral 430 denotes a display unit such as a liquid crystal display device and a speaker that displays an operation state, a message, and the like using characters, images, sounds, and the like according to program execution in the system control circuit 440. One or a plurality of locations are provided near the operation unit of the camera 200 so as to be easily visible, and are configured by a combination of, for example, an LCD, an LED, a sound generation element, and the like. In addition, the display unit 430 is partially installed in the optical viewfinder 445. Details of the optical viewfinder 445 will be described later. Among the display contents of the display unit 430, what is displayed on the LCD or the like includes information on the number of shots such as the number of recorded images and the number of remaining shots, information on shooting conditions such as shutter speed, aperture value, exposure correction, and flash. There is. In addition, the remaining battery level, date and time are also displayed. Information displayed in the optical viewfinder 445 includes information such as an in-focus state, a camera shake warning, a flash charging state, a shutter speed, an aperture value, and exposure correction.
431は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。433、434、435、436、437および438は、システム制御回路440の各種の動作指示を入力するための操作部で、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせで構成される。433はダイアルモードスイッチで、電源オフ、オート撮影モード、マニュアル撮影モード、パノラマ撮影モード、マクロ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各種モードを切り替えて設定することができる。434はシャッタースイッチSW1で、不図示のシャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。 Reference numeral 431 denotes an electrically erasable / recordable nonvolatile memory such as an EEPROM. Reference numerals 433, 434, 435, 436, 437, and 438 denote operation units for inputting various operation instructions of the system control circuit 440. One or a plurality of switches, dials, touch panels, pointing by line-of-sight detection, voice recognition devices, and the like. Consists of A dial mode switch 433 can be set by switching various modes such as power off, auto shooting mode, manual shooting mode, panoramic shooting mode, macro shooting mode, playback mode, multi-screen playback / erase mode, and PC connection mode. it can. Reference numeral 434 denotes a shutter switch SW1, which is turned on when a shutter button (not shown) is half-pressed and instructs to start operations such as AF processing, AE processing, AWB processing, and EF processing.
435はシャッタースイッチSW2で、不図示のシャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理および記憶処理等のことである。露光処理では、撮像素子201から読み出した信号をA/D変換器412、メモリ制御回路407を介してメモリ410に画像データを書き込む。現像処理では、画像処理回路413やメモリ制御回路407での演算を用いた現像を行う。記録処理では、メモリ410から画像データを読み出し、圧縮伸長回路411で圧縮を行い、記録媒体485または491に画像データを書き込む。436は画像表示ON/OFFスイッチで、画像表示部405のON/OFFを設定することができる。この機能により、光学ファインダ445を用いて撮影を行う際に、液晶モニタ等から成る画像表示部405への電流供給を遮断することにより、省電力を図ることが可能となる。437はクイックレビューON/OFFスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のON/OFFを設定することができる。438は各種ボタンやタッチパネル等からなる操作部である。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、選択移動ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。さらに、操作部438は、顔検出部409での顔検出を行うか否かを設定する顔検出モード設定ボタンも備える。 Reference numeral 435 denotes a shutter switch SW2, which is turned on when a shutter button (not shown) is fully pressed, and instructs the start of a series of processing related to photographing. The process related to photographing is an exposure process, a development process, a storage process, and the like. In the exposure process, image data is written into the memory 410 via the A / D converter 412 and the memory control circuit 407 from the signal read from the image sensor 201. In the development processing, development is performed using calculation in the image processing circuit 413 and the memory control circuit 407. In the recording process, image data is read from the memory 410, compressed by the compression / decompression circuit 411, and written to the recording medium 485 or 491. An image display ON / OFF switch 436 can set ON / OFF of the image display unit 405. With this function, when photographing is performed using the optical finder 445, it is possible to save power by cutting off the current supply to the image display unit 405 including a liquid crystal monitor or the like. Reference numeral 437 denotes a quick review ON / OFF switch, which can set ON / OFF of a quick review function for automatically reproducing image data taken immediately after photographing. An operation unit 438 includes various buttons and a touch panel. The various buttons include a menu button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, a selection moving button, a shooting image quality selection button, an exposure correction button, a date / time setting button, and the like. Further, the operation unit 438 includes a face detection mode setting button for setting whether or not to perform face detection by the face detection unit 409.
425は電源制御部で、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部425は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路440の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。426および427はコネクタであり、428はアルカリ電池やリチウム電池等の一次電池やNiCD電池やNiMH電池、Li−Ion電池等の二次電池、ACアダプタ等からなる電源部である。 Reference numeral 425 denotes a power supply control unit, which includes a battery detection circuit, a DC / DC converter, a switch circuit that switches a block to be energized, and the like. The power supply control unit 425 detects the presence / absence of a battery, the type of battery, and the remaining battery level, controls the DC / DC converter based on the detection result and an instruction from the system control circuit 440, and requires a necessary voltage. It is supplied to each part including the recording medium for a period. Reference numerals 426 and 427 denote connectors, and reference numeral 428 denotes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCD battery, NiMH battery or Li-Ion battery, an AC adapter, or the like.
480および486はメモリカードやハードディスク等の記録媒体とのインターフェースであり、481および487はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。439はコネクタ481または487に記録媒体が装着されているかどうかを検知する記録媒体着脱検知部である。 Reference numerals 480 and 486 denote interfaces with recording media such as a memory card and a hard disk, and reference numerals 481 and 487 denote connectors for connecting with recording media such as a memory card and a hard disk. Reference numeral 439 denotes a recording medium attachment / detachment detection unit that detects whether a recording medium is attached to the connector 481 or 487.
なお、本実施例では、記録媒体を取り付けるインターフェースおよびコネクタを2系統持つものとして説明している。ただし本実施例はこれに限定されず、記録媒体を取り付けるインターフェースおよびコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としてもよい。また、インターフェースおよびコネクタとしては、PCMCIAカード等の規格に準拠したものを用いて構成しても構わない。さらに、インターフェースおよびコネクタにLANカードやモデムカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。 In the present embodiment, the description is given assuming that there are two systems of interfaces and connectors for attaching the recording medium. However, the present embodiment is not limited to this, and the interface and connector to which the recording medium is attached may have a single or plural number of systems. Moreover, it is good also as a structure provided with combining the interface and connector of a different standard. Further, the interface and the connector may be configured using a PCMCIA card or the like that conforms to the standard. In addition, by connecting various communication cards such as LAN cards and modem cards to the interface and connector, image data and management information attached to the image data can be transferred to and from other peripheral devices such as computers and printers. Can do.
445はファインダ手段としての光学ファインダであり、主にピント板203、ペンタプリズム204、接眼光学系205を備えて構成されている。撮影レンズ100を通過した光束を、カメラマウント442、ハーフミラー202を介して導き、光学像として観察することができる。これにより、画像表示部405による電子ファインダ機能を使用することなく、光学ファインダ445のみを用いて撮影を行うことができる。 Reference numeral 445 denotes an optical viewfinder as a viewfinder means, which mainly includes a focus plate 203, a pentaprism 204, and an eyepiece optical system 205. The light beam that has passed through the photographing lens 100 can be guided through the camera mount 442 and the half mirror 202 and observed as an optical image. As a result, it is possible to perform shooting using only the optical viewfinder 445 without using the electronic viewfinder function of the image display unit 405.
432は通信部で、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信等の各種通信機能を有する。446は通信部432によりカメラ200を他の機器と接続するコネクタあるいは無線通信の場合はアンテナである。コネクタ443は、カメラ200と撮影レンズ100との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ443は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。 A communication unit 432 has various communication functions such as RS232C, USB, IEEE1394, P1284, SCSI, modem, LAN, and wireless communication. Reference numeral 446 denotes a connector for connecting the camera 200 to another device by the communication unit 432 or an antenna in the case of wireless communication. The connector 443 has a function of supplying control signals, status signals, data signals, and the like between the camera 200 and the photographing lens 100 and supplying currents of various voltages. Further, the connector 443 may be configured to transmit not only electrical communication but also optical communication, voice communication, and the like.
202は全面ハーフミラーで、撮影レンズ100を通過した光速を、光学ファインダ445に反射すると共に、ハーフミラー202を透過した光束は撮像素子201へ導かれる。また、ハーフミラー202を透過した光速の一部は不図示のAF用サブミラーを介してAF部421へ導く構成としてもよい。なお本実施例では、ハーフミラー202は、可動機構なしの全面ハーフミラーとしているが、クイックリターンミラーとすることも可能である。 Reference numeral 202 denotes an entire surface half mirror that reflects the speed of light passing through the photographing lens 100 to the optical finder 445 and guides the light beam that has passed through the half mirror 202 to the image sensor 201. Further, a part of the speed of light transmitted through the half mirror 202 may be guided to the AF unit 421 via an AF sub mirror (not shown). In this embodiment, the half mirror 202 is a full-surface half mirror without a movable mechanism, but may be a quick return mirror.
485および491はメモリカードやハードディスク等の記録媒体である。記録媒体485および491は、半導体メモリや磁気ディスク等から構成される記録部484および490、カメラ200とのインターフェース483および489、カメラ200との接続を行うコネクタ482および488を備えている。 Reference numerals 485 and 491 denote recording media such as a memory card and a hard disk. The recording media 485 and 491 are provided with recording units 484 and 490 constituted by a semiconductor memory, a magnetic disk, and the like, interfaces 483 and 489 with the camera 200, and connectors 482 and 488 for connecting with the camera 200.
次に、撮影レンズ100について詳細に説明する。458は撮影レンズ100をカメラ200に機械的に結合するレンズマウントで、カメラマウント442を介してカメラ200に交換可能に取り付けられる。カメラマウント442およびレンズマウント458内には、撮影レンズ100をカメラ200と電気的に接続する各種機能が含まれている。101はレンズ部、452は絞りである。なお、レンズ部101には、被写体の焦点調節を行うフォーカスレンズが含まれている。 Next, the photographing lens 100 will be described in detail. Reference numeral 458 denotes a lens mount that mechanically couples the photographing lens 100 to the camera 200 and is attached to the camera 200 via the camera mount 442 so as to be replaceable. The camera mount 442 and the lens mount 458 include various functions for electrically connecting the photographing lens 100 to the camera 200. Reference numeral 101 denotes a lens unit, and 452 denotes an aperture. The lens unit 101 includes a focus lens that adjusts the focus of the subject.
459は撮影レンズ100をカメラ200と電気的に接続するコネクタであり、457はカメラ200のコネクタ443と接続するためのインターフェース(I/F)である。コネクタ459は、カメラ200と撮影レンズ100との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能を備えている。なお、コネクタ459は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。 Reference numeral 459 denotes a connector for electrically connecting the photographing lens 100 to the camera 200, and reference numeral 457 denotes an interface (I / F) for connecting to the connector 443 of the camera 200. The connector 459 has a function of transmitting and supplying a control signal, a status signal, a data signal, and the like between the camera 200 and the photographing lens 100, and supplying or supplying currents of various voltages. Note that the connector 459 may be configured to transmit not only electrical communication but also optical communication, voice communication, and the like.
453はレンズ部101のズーミングを制御するズーム制御部であり、454はレンズ部101のフォーカスレンズ動作を制御するフォーカス制御部である。なお、撮影レンズ100がズーム機能のない単焦点レンズタイプであればズーム制御部453はなくてもよい。455は測光部422からの測光情報に基づいて、シャッター401を制御するシャッター制御部420と連携しながら、絞り452を制御する絞り制御部である。 Reference numeral 453 denotes a zoom control unit that controls zooming of the lens unit 101, and reference numeral 454 denotes a focus control unit that controls the focus lens operation of the lens unit 101. Note that if the photographing lens 100 is a single focus lens type without a zoom function, the zoom control unit 453 may be omitted. Reference numeral 455 denotes an aperture control unit that controls the aperture 452 in cooperation with the shutter control unit 420 that controls the shutter 401 based on photometry information from the photometry unit 422.
456は撮影レンズ100全体を制御するレンズ制御部である。レンズ制御部456は、撮影レンズ動作用の定数、変数、プログラム等を記憶するメモリ機能を備えている。その他、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する不揮発メモリの機能も備えている。以上が、本実施例における撮像装置の構成である。 A lens control unit 456 controls the entire photographing lens 100. The lens control unit 456 has a memory function for storing constants, variables, programs, and the like for taking lens operations. In addition, it also has a non-volatile memory function for storing identification information such as a number unique to the photographing lens, management information, function information such as an open aperture value, minimum aperture value, and focal length, and current and past set values. The above is the configuration of the imaging apparatus in the present embodiment.
図10〜図14は、本実施例における撮像装置の動作のフローチャートおよびその説明図である。図10は本実施例における撮像装置のメインフローである。図10に示されるメインフロー動作は、システム制御回路440により実施される。撮影者がカメラの操作部438に設けられた電源スイッチをオン操作すると(ステップS600)、システム制御回路440はカメラ内の各アクチュエータや撮像素子201の動作確認を行なう。またシステム制御回路440は、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する(ステップS601)。 10 to 14 are a flowchart of the operation of the image pickup apparatus in the present embodiment and an explanatory diagram thereof. FIG. 10 is a main flow of the image pickup apparatus in the present embodiment. The main flow operation shown in FIG. 10 is performed by the system control circuit 440. When the photographer turns on a power switch provided on the operation unit 438 of the camera (step S600), the system control circuit 440 confirms the operation of each actuator and the image sensor 201 in the camera. Further, the system control circuit 440 initializes the memory contents and the execution program, and executes the shooting preparation operation (step S601).
ステップS602では、動画撮影を行なうための準備処理を実行する。動画撮影準備処理には、レンズ通信処理、シャッター開処理、プレビュー画像表示開始処理、焦点調節処理、露出制御処理などが含まれる。レンズ通信処理では、コネクタ443、459を介して撮影レンズ100内のレンズ制御部456とレンズ通信を行なう。レンズ通信により撮影レンズ100の動作確認を行い、撮影レンズ100のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要な撮影レンズ100の諸特性データを取得し、メモリ429に保存する。 In step S602, preparation processing for performing moving image shooting is executed. The moving image shooting preparation processing includes lens communication processing, shutter opening processing, preview image display start processing, focus adjustment processing, exposure control processing, and the like. In the lens communication process, lens communication is performed with the lens control unit 456 in the photographing lens 100 via the connectors 443 and 459. The operation of the photographic lens 100 is confirmed by lens communication, the memory contents of the photographic lens 100 and the execution program are initialized, and a preparatory operation is executed. Further, various characteristic data of the photographing lens 100 necessary for focus detection and imaging are acquired and stored in the memory 429.
シャッター開処理では、システム制御回路440は、シャッター制御部420を介してシャッター140を駆動し、シャッター開放状態にする。この動作により、撮影レンズ100を透過した開放Fナンバーの撮影光束が撮像素子201上に到達することになる。プレビュー画像表示開始処理では、プレビュー用として画像表示メモリ408に書き込まれた画像データを、D/A変換器404を介して表示する。カメラ背面に設けられた画像表示部405に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なう。 In the shutter opening process, the system control circuit 440 drives the shutter 140 via the shutter control unit 420 to make the shutter open. With this operation, an open F number photographing light beam that has passed through the photographing lens 100 reaches the image sensor 201. In the preview image display start process, the image data written in the image display memory 408 for preview is displayed via the D / A converter 404. The image is displayed on an image display unit 405 provided on the back of the camera. The photographer looks at the electronic image to determine the composition at the time of photographing.
焦点調節処理では、フォーカス制御部454を介してレンズ部101のフォーカスレンズ動作を制御し、撮影レンズ100の焦点状態が合焦となるように焦点の調節を行なう。レンズ部101のフォーカスレンズを光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、AF評価値の取得を行なう。フォーカスレンズの往復運動によるAF評価値の変動の大きさが所定量に収まっている場合には、撮影レンズ100は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。AF評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。ここでAF評価値とは、画像データのコントラスト情報のことである。コントラスト情報とは、画像データの隣接画素出力の差分の絶対和などを用いることが多い。 In the focus adjustment process, the focus lens operation of the lens unit 101 is controlled via the focus control unit 454, and the focus is adjusted so that the focus state of the photographing lens 100 is in focus. The AF evaluation value is acquired while performing a so-called wobbling drive that reciprocates the focus lens of the lens unit 101 in the optical axis direction. If the magnitude of the change in the AF evaluation value due to the reciprocating movement of the focus lens is within a predetermined amount, it is determined that the photographing lens 100 is in focus, and the reciprocating movement is performed at the focus lens position as it is. When the fluctuation of the AF evaluation value is larger than a predetermined amount, it is determined that the focus is not in focus, and the focus lens position is moved in the direction of the focus position while being driven by wobbling. Here, the AF evaluation value is contrast information of image data. As contrast information, the absolute sum of differences between adjacent pixel outputs of image data is often used.
露出制御処理では、撮像素子201から得られる画素出力値に基づき、露出条件の設定を行なう。露出制御は、撮像素子201の感度、撮像素子201の蓄積時間、撮影レンズ100のFナンバーの組み合わせで行なう。この動作により、撮像素子201は、所定Fナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。 In the exposure control process, an exposure condition is set based on the pixel output value obtained from the image sensor 201. The exposure control is performed by a combination of the sensitivity of the image sensor 201, the accumulation time of the image sensor 201, and the F number of the photographing lens 100. By this operation, the image sensor 201 can obtain an appropriate pixel output by performing a photoelectric conversion process on the subject image by the photographing light flux having a predetermined F number with a predetermined sensitivity and a predetermined accumulation time.
ステップS603では、操作部438から動画撮影開始操作が行われたか否かを判断する。動画撮影開始操作が行われていなかった場合には、ステップS607に進み、電源スイッチのオフ操作が行われた否かを判断する。動画撮影開始操作が行われていた場合には、ステップS604に進む。ステップS604では、1フレーム処理サブルーチンを実行し、動画撮影における1フレーム分の撮影動作を行なう。ステップS605では、操作部438から動画撮影終了操作が行われたか否かを判断する。動画撮影終了操作が行なわれなかった場合には、ステップS604に戻り、動画撮影を継続させる。動画撮影終了操作が行なわれた場合には、ステップS606に進み、動画撮影終了処理を実行する。ステップS606では、動画撮影を終了させる処理を行なう。動画撮影終了処理には、プレビュー画像表示終了処理、シャッター閉処理、レンズ通信処理が含まれる。 In step S603, it is determined whether a moving image shooting start operation has been performed from the operation unit 438. If the moving image shooting start operation has not been performed, the process proceeds to step S607, and it is determined whether or not the power switch has been turned off. If a moving image shooting start operation has been performed, the process proceeds to step S604. In step S604, a one-frame processing subroutine is executed to perform a shooting operation for one frame in moving image shooting. In step S605, it is determined whether or not a moving image shooting end operation has been performed from the operation unit 438. If the moving image shooting end operation has not been performed, the process returns to step S604 to continue moving image shooting. When the moving image shooting end operation is performed, the process proceeds to step S606, and the moving image shooting end process is executed. In step S606, processing for ending moving image shooting is performed. The moving image shooting end process includes a preview image display end process, a shutter closing process, and a lens communication process.
プレビュー画像表示終了処理では、プレビュー用として画像データを画像表示部405に表示する動作を終了する。シャッター閉処理では、シャッター制御部420を介してシャッター140を駆動し、シャッターを閉じた状態にする。この動作により、撮影レンズ100を透過した撮影光束が撮像素子201上に到達しなくなる。レンズ通信処理では、コネクタ443、459を介して、撮影レンズ100内のレンズ制御部456とレンズ通信を行なう。レンズ通信により撮影レンズ100に動画撮影終了を動作指示し、撮影レンズ100のメモリ内容や実行プログラムを動画撮影準備状態へ移行させる。ステップS607では、電源スイッチのオフ操作が行われたか否かを判断する。オフ操作が行われなかった場合には、ステップS602に戻る。オフ操作が行われた場合には、一連の動作を終了させる。 In the preview image display end process, the operation of displaying the image data on the image display unit 405 for preview is ended. In the shutter closing process, the shutter 140 is driven via the shutter control unit 420 to close the shutter. By this operation, the photographing light flux that has passed through the photographing lens 100 does not reach the image sensor 201. In the lens communication process, lens communication is performed with the lens control unit 456 in the photographing lens 100 via the connectors 443 and 459. An operation instruction is given to the photographing lens 100 to end moving image shooting through lens communication, and the memory contents and the execution program of the photographing lens 100 are shifted to the moving image shooting preparation state. In step S607, it is determined whether or not the power switch is turned off. If the off operation has not been performed, the process returns to step S602. When an off operation is performed, a series of operations are terminated.
図11は、1フレーム処理サブルーチン(ステップS604)の動作フローである。1フレーム処理サブルーチンの制御は、システム制御回路440が行なう。メインルーチンのステップS604が実行されると、1フレーム処理サブルーチンS604が呼び出され、ステップS650では、撮影レンズ100の焦点状態が合焦となるように焦点の調節を行なう。レンズ部101のフォーカスレンズ位置を光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、AF評価値の取得を行なう。フォーカスレンズ位置の往復運動によるAF評価値の変動の大きさ所定量に収まっている場合には、撮影レンズ100は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。AF評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。 FIG. 11 is an operation flow of the one-frame processing subroutine (step S604). The system control circuit 440 controls the one-frame processing subroutine. When step S604 of the main routine is executed, a one-frame processing subroutine S604 is called, and in step S650, the focus is adjusted so that the focus state of the photographic lens 100 is in focus. The AF evaluation value is acquired while performing a so-called wobbling drive that reciprocates the focus lens position of the lens unit 101 in the optical axis direction. When the magnitude of the fluctuation of the AF evaluation value due to the reciprocating movement of the focus lens position is within a predetermined amount, it is determined that the photographing lens 100 is in an in-focus state, and the reciprocating movement is performed with the focus lens position as it is. When the fluctuation of the AF evaluation value is larger than a predetermined amount, it is determined that the focus is not in focus, and the focus lens position is moved in the direction of the focus position while being driven by wobbling.
ステップS651では、撮像素子201から得られる画素出力値に基づき、露出制御を行なう。露出制御は、撮像素子201の感度、撮像素子201の蓄積時間、撮影レンズ100のFナンバーの組み合わせで行なう。この動作により、撮像素子201は、所定Fナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。ステップS652では、撮像素子201の蓄積動作を行う。ステップS651における露出制御で設定した蓄積時間に基づいて、電荷蓄積を行なう。 In step S651, exposure control is performed based on the pixel output value obtained from the image sensor 201. The exposure control is performed by a combination of the sensitivity of the image sensor 201, the accumulation time of the image sensor 201, and the F number of the photographing lens 100. By this operation, the image sensor 201 can obtain an appropriate pixel output by performing a photoelectric conversion process on the subject image by the photographing light flux having a predetermined F number with a predetermined sensitivity and a predetermined accumulation time. In step S652, the accumulation operation of the image sensor 201 is performed. Charge accumulation is performed based on the accumulation time set in the exposure control in step S651.
ステップS653では、電荷蓄積して得られた画像データの読み出しを行なう。動画撮影時には毎秒30フレームもしくは毎秒60フレームなどの高速フレームレートで画像データの読み出しを行なう必要があるため、画素数には制限が生じる。そこで、ステップS653の画像データ読み出し時には、動画用のフレームレートでの読み出しが可能な画素数に収まるように、間引き読み出しや加算読み出しを行なう。ステップS654では、画像処理回路413にて、画像のγ補正、色変換、エッジ強調等の画像処理を行なう。 In step S653, image data obtained by accumulating charges is read. Since it is necessary to read out image data at a high frame rate such as 30 frames per second or 60 frames per second during moving image shooting, the number of pixels is limited. Therefore, at the time of reading the image data in step S653, thinning-out reading and addition reading are performed so that the number of pixels that can be read at the frame rate for the moving image is accommodated. In step S654, the image processing circuit 413 performs image processing such as image γ correction, color conversion, and edge enhancement.
ステップS655では、ステップS658で記録する画像データに対応させて、カメラ200(カメラ本体)の特性情報をメモリ429に記録する。ここでカメラ200の特性情報とは、ハーフミラー202の位置と厚みの情報、ハーフミラー202の屈折率とアッベ数情報、撮像素子201の受光感度分布情報、カメラ200内での撮影光束のケラレ情報が含まれる。更に、特性情報には、カメラ200と撮影レンズ100との取り付け面から撮像素子201までの距離情報や製造誤差情報などが含まれる。撮像素子201の撮像用画素の受光感度分布情報は、オンチップマイクロレンズと光電変換部によって決まるため、これらの情報を記録しても良い。 In step S655, the characteristic information of the camera 200 (camera body) is recorded in the memory 429 in correspondence with the image data recorded in step S658. Here, the characteristic information of the camera 200 includes the position and thickness information of the half mirror 202, the refractive index and Abbe number information of the half mirror 202, the light receiving sensitivity distribution information of the image sensor 201, and the vignetting information of the photographing light beam in the camera 200. Is included. Further, the characteristic information includes distance information from the mounting surface of the camera 200 and the photographing lens 100 to the image sensor 201, manufacturing error information, and the like. Since the light reception sensitivity distribution information of the imaging pixels of the imaging element 201 is determined by the on-chip microlens and the photoelectric conversion unit, these pieces of information may be recorded.
ステップS656では、ステップS658で記録する画像データに対応させて、撮影レンズ100の特性情報をメモリ429に記録する。ここで撮影レンズ100の特性情報とは、射出瞳の情報、枠情報、撮影時のFナンバー情報、収差情報、製造誤差情報などが含まれる。ステップS657では、収差及び内面反射ゴーストの補正サブルーチンを実行する。ハーフミラー202を透過することにより生じる収差と、ハーフミラー202の内面反射により生じる2重像、両方に起因する像劣化を補正する。補正処理は、画像処理回路413にて行なう。ステップS658では、画像処理回路413で収差補正を行った画像データを、記録媒体485または記録媒体491に順次像を記録する。すなわち、記録媒体485または記録媒体491に保存される画像データは、収差補正済みのものが保存されていくことになる。 In step S656, the characteristic information of the photographing lens 100 is recorded in the memory 429 in correspondence with the image data recorded in step S658. Here, the characteristic information of the photographing lens 100 includes exit pupil information, frame information, F number information at the time of photographing, aberration information, manufacturing error information, and the like. In step S657, an aberration and internal reflection ghost correction subroutine is executed. It corrects image degradation caused by both the aberration caused by transmission through the half mirror 202 and the double image caused by internal reflection of the half mirror 202. The correction process is performed by the image processing circuit 413. In step S658, images are sequentially recorded on the recording medium 485 or the recording medium 491 with respect to the image data subjected to aberration correction by the image processing circuit 413. That is, the image data stored in the recording medium 485 or the recording medium 491 is stored with the aberration corrected.
本実施例の撮像装置では、ハーフミラー202によって収差と内面反射ゴーストが生じてしまった画像データに対して、撮影レンズ特性情報とカメラ本体特性情報に基づいて伝達関数を推定し、その逆変換による収差補正処理を画像処理回路413にて行なう。そのためステップS658で記録される画像データは、ハーフミラー202による収差と内面反射ゴーストが補正された画像となる。これにより、光学ファインダ445を見ながら高品位な動画撮影画可能な撮像装置を安価な構成で実現することができる。 In the image pickup apparatus of the present embodiment, the transfer function is estimated based on the photographing lens characteristic information and the camera body characteristic information for the image data in which the aberration and the internal reflection ghost are generated by the half mirror 202, and the inverse transformation is performed. Aberration correction processing is performed by the image processing circuit 413. Therefore, the image data recorded in step S658 is an image in which the aberration by the half mirror 202 and the internal reflection ghost are corrected. As a result, an imaging apparatus capable of capturing high-quality moving images while looking at the optical viewfinder 445 can be realized with an inexpensive configuration.
ステップS659では、記録した画像をカメラ背面に設けられた画像表示部405に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なうとともに、記録した画像の確認を行なうことができる。
ステップS659が終わると、ステップS604 1フレーム処理サブルーチンを終了し、メインルーチンに戻る。
In step S659, the recorded image is displayed on the image display unit 405 provided on the back of the camera. The photographer can visually confirm the electronic image and determine the composition at the time of photographing, and can confirm the recorded image.
When step S659 ends, step S604 ends the one-frame processing subroutine and returns to the main routine.
図12は、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)において、分割した撮影範囲に対して順次伝達関数生成と補正処理を行う様子を示したものである。紙面右方向を+X方向,紙面上方向が+Y方向とする。220は、撮像素子201から得られる撮影範囲である。Area(m,n)(m=1〜5−1,n=1〜5)は、撮影範囲220を5×5=25分割した分割領域である。左下端領域がArea(1,1)、一つ右(+X方向)の領域がArea(2,1)、一つ上(+Y方向)の領域がArea(1,2)であるなど、右(+X方向)に行くに従ってmが一つ増え、上(+Y方向)に行くに従ってnが一つ増える。中心領域がArea(3,3)、右上端領域はArea(5,5)となる。(座標系の定義)
撮影光路中にハーフミラー202が45°傾いた角度で介在することにより生じる収差は、画像データにおけるXY方向の位置によって異なる。そこで、図12に示されるように、撮影範囲220を5×5=25分割し、各領域毎に伝達関数を定義し、その伝達関数に基づいて収差補正を行う。ここで定義される伝達関数は、図2乃至図7にて説明したように、紙面奥行き方向に対称で上下方向には非対称な形状となる。これにより、画像データ内の位置に適した収差補正を行なうことができる。
FIG. 12 shows a state in which transfer function generation and correction processing are sequentially performed on the divided imaging ranges in the aberration and internal reflection ghost correction subroutine (step S657). The right direction on the paper surface is the + X direction, and the upward direction on the paper surface is the + Y direction. Reference numeral 220 denotes an imaging range obtained from the image sensor 201. Area (m, n) (m = 1 to 5-1, n = 1 to 5) is a divided region obtained by dividing the imaging range 220 by 5 × 5 = 25. The lower left area is Area (1,1), the right area (+ X direction) is Area (2,1), the upper area (+ Y direction) is Area (1,2), etc. M increases by one as it goes in the (+ X direction), and n increases by one as it goes up (in the + Y direction). The central area is Area (3, 3), and the upper right end area is Area (5, 5). (Definition of coordinate system)
The aberration caused by the half mirror 202 being inclined at an angle of 45 ° in the photographing optical path differs depending on the position in the XY direction in the image data. Therefore, as shown in FIG. 12, the imaging range 220 is divided into 5 × 5 = 25, a transfer function is defined for each region, and aberration correction is performed based on the transfer function. As described with reference to FIGS. 2 to 7, the transfer function defined here has a shape that is symmetric in the depth direction of the paper and asymmetric in the vertical direction. Thereby, aberration correction suitable for the position in the image data can be performed.
分割された領域であるArea(1,1)〜Area(5,5)のうち、まずArea(1,1)について、伝達関数定義と収差及び内面反射ゴーストの補正を行う。Area(1,1)が完了した場合には、次に領域を一つ右(+X方向)に移動し、Area(1,2)について伝達関数定義と収差及び内面反射ゴーストの補正を行う。右端まで到達した場合には、領域を一つ上の左端であるところのArea(2,1)に移動し、伝達関数定義と収差及び内面反射ゴーストの補正を行う。このように、領域をXY方向に走査するように一つずつ移動させて収差及び内面反射ゴーストの補正処理を行ない、撮影範囲220の全領域に対して収差及び内面反射ゴーストの補正を行なう。 Of the divided areas, Area (1, 1) to Area (5, 5), first, for Area (1, 1), the transfer function definition, the aberration, and the internal reflection ghost are corrected. When Area (1, 1) is completed, the area is then moved to the right (+ X direction), and transfer function definition, aberration, and internal reflection ghost correction are performed for Area (1, 2). When reaching the right end, the area is moved to Area (2, 1) which is the upper left one, and the transfer function definition, aberration, and internal reflection ghost are corrected. In this way, the region and the internal reflection ghost are corrected by moving the region one by one so as to scan in the X and Y directions, and the aberration and the internal reflection ghost are corrected for the entire region of the imaging range 220.
収差及び内面反射ゴーストの補正サブルーチン(ステップS657)にて補正する収差及び内面反射ゴーストは、上下非対称だが左右には対称である。そこで、分割された領域毎に定義する伝達関数も、左右方向対称な位置における伝達関数は同じ形状を左右反転されたものを用いることができる。例えば、Area(1,5)とArea(5,5)は、同形状を左右反転されたもので代用可能である。これにより、定義する伝達関数のデータ数の削減が可能となる。本実施例では、処理速度を考慮して5×5の25分割で説明したが、より多数に分割し、高精度な収差及び内面反射ゴーストの補正を行なうようにしてもよい。 The aberration and the internal reflection ghost corrected in the aberration and internal reflection ghost correction subroutine (step S657) are asymmetrical in the vertical direction but symmetrical in the horizontal direction. Therefore, as the transfer function defined for each divided region, the transfer function at a symmetrical position in the left-right direction can be the same shape reversed left and right. For example, Area (1, 5) and Area (5, 5) can be substituted with the same shape reversed left and right. As a result, the number of transfer function data to be defined can be reduced. In this embodiment, 5 × 5 25 divisions have been described in consideration of the processing speed. However, it may be divided into a larger number so as to correct aberrations and internal reflection ghosts with high accuracy.
図13は、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)のフローである。収差及び内面反射ゴーストの補正サブルーチンの一連の動作も、画像処理回路413が行なう。ステップS700では、画像データ取り込み時にステップS654の変換処理で行われる変換処理の内容を示す変換情報を取得する。 FIG. 13 is a flowchart of the aberration and internal reflection ghost correction subroutine (step S657). The image processing circuit 413 also performs a series of operations of a correction subroutine for aberration and internal reflection ghost. In step S700, conversion information indicating the content of the conversion process performed in the conversion process in step S654 at the time of image data capture is acquired.
ステップS701では、補正処理を行なう前に画像データに対して施す変換方法を決定する。画像復元処理アルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像データを変換する方法を決定する。例えば、画像データ取り込み時にステップS654の変換処理で画像処理回路413がガンマ補正を実行する場合には、ステップS701ではガンマ補正による変換の逆変換を設定する。これにより、変換前の画像データを再生することができ、線形性を有する画像データを取得することが可能となる。同様に、画像データ取り込み時にステップS654の変換処理で画像処理回路413が色補正を実行する場合には、ステップS701では色変換による変換の逆変換を設定する。これにより、線形性を有する画像データを取得することが可能となる。以上のように、ステップ701では、画像データ取り込み時にステップS654の変換処理で画像処理回路413が行なう変換処理の逆変換に相当する変換方法を決定する。 In step S701, a conversion method to be applied to the image data is determined before performing the correction process. In order to ensure linearity, which is a precondition for the image restoration processing algorithm, a method of converting image data is determined so that the exposure value and the pixel value are in a proportional relationship. For example, when the image processing circuit 413 performs gamma correction in the conversion process of step S654 when capturing image data, in step S701, inverse conversion of conversion by gamma correction is set. As a result, it is possible to reproduce the image data before conversion, and to acquire image data having linearity. Similarly, when the image processing circuit 413 performs color correction in the conversion process of step S654 at the time of image data capture, in step S701, reverse conversion of conversion by color conversion is set. Thereby, it is possible to acquire image data having linearity. As described above, in step 701, a conversion method corresponding to the inverse conversion of the conversion process performed by the image processing circuit 413 in the conversion process in step S654 at the time of capturing image data is determined.
本実施例は、線形性が保たれないような変換処理が施された画像データに対して収差補正を行う前提で説明しているため、このような補正前変換を行っている。しかし線形性が保たれた画像データが取得できる場合には、このような補正前変換は行わずに、そのまま収差補正を行ってもよい。 Since the present embodiment is described on the assumption that aberration correction is performed on image data that has been subjected to conversion processing that does not maintain linearity, such pre-correction conversion is performed. However, when image data with linearity can be acquired, aberration correction may be performed without performing such pre-correction conversion.
ステップS702では、画像データを取得する。ステップS703では、ステップS701で決定した変換方法に従って、取得した画像データを変換する。ステップS704では、収差及び内面反射ゴーストの補正を行う撮影範囲(補正対象の領域)を、初期位置であるArea(1,1)に設定する。ステップS705では、伝達関数生成サブルーチンを実行し、設定された領域における伝達関数を生成する。ここでは、RGB毎の伝達関数が生成される。また、ここで生成される伝達関数は、図2乃至図7で説明したように上下非対称な形状となる。 In step S702, image data is acquired. In step S703, the acquired image data is converted according to the conversion method determined in step S701. In step S704, an imaging range (correction target area) for correcting the aberration and the internal reflection ghost is set to Area (1, 1) that is the initial position. In step S705, a transfer function generation subroutine is executed to generate a transfer function in the set area. Here, a transfer function for each RGB is generated. Further, the transfer function generated here has a vertically asymmetric shape as described with reference to FIGS.
ステップS706では、式(6)で説明したようにステップS705で生成した伝達関数に基づいて、ステップS703で変換処理した画像データに対して収差及び内面反射ゴーストの補正処理を行なう。RGB毎に伝達関数が異なるため、RGB信号それぞれに対して、逆変換処理による収差及び内面反射ゴースト補正を行う。ここでは、式(6)で説明した画像復元処理によって収差及び内面反射ゴーストの補正処理を行なう。これにより、所定被写体の収差及び内面反射ゴーストが補正された画像を得ることができる。伝達関数の逆変換処理を行なうことによる画像回復の方法は、例えば特開2000−20691号公報に開示されているため、説明は省略する。 In step S706, the aberration and internal reflection ghost correction processing is performed on the image data converted in step S703 based on the transfer function generated in step S705 as described in equation (6). Since the transfer function differs for each RGB, the aberration and the internal reflection ghost correction by the inverse transformation process are performed for each RGB signal. Here, the correction processing of the aberration and the internal reflection ghost is performed by the image restoration processing described in Expression (6). Thereby, an image in which the aberration of the predetermined subject and the internal reflection ghost are corrected can be obtained. An image restoration method by performing the inverse transformation process of the transfer function is disclosed in, for example, Japanese Patent Application Laid-Open No. 2000-20691, and the description thereof is omitted.
ステップS707では、収差及び内面反射ゴーストの補正を行なう撮影範囲が、Area(5,5)にまで到達したか否かの判定を行なう。Area(5,5)まで到達した場合には、全領域の補正が完了したと判断し、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)を終了し、ステップS604の1フレーム処理サブルーチンに戻る。Area(5,5)まで到達していない場合にはステップS708に進み、補正対象の領域を、次の領域に移動させる。 In step S707, it is determined whether or not the shooting range for correcting the aberration and the internal reflection ghost has reached Area (5, 5). When reaching Area (5, 5), it is determined that the correction of all areas has been completed, the aberration and internal reflection ghost correction subroutine (step S657) is terminated, and the process returns to the one-frame processing subroutine of step S604. If the area has not reached Area (5, 5), the process proceeds to step S708 to move the correction target area to the next area.
ステップS708では、領域を一つ右(+X方向)に移動させる。右端まで到達した場合には、領域を一つ上の左端に移動させる。このように、領域をXY方向に走査するように一つずつ移動させて補正処理を行なっていくことで、撮影範囲220の全領域に対して収差及び内面反射ゴーストの補正を順次行なう。ステップS708が完了した場合には、ステップS705に戻り、移動した領域での伝達関数の生成を行なう。 In step S708, the region is moved to the right (+ X direction). When reaching the right end, the region is moved to the left end one level up. As described above, correction is performed by moving the regions one by one so as to scan in the X and Y directions, thereby sequentially correcting the aberration and the internal reflection ghost for the entire region of the imaging range 220. When step S708 is completed, the process returns to step S705 to generate a transfer function in the moved area.
図14は、伝達関数生成サブルーチン(ステップS705)のフローである。撮影範囲220を5×5=25分割した分割領域Area(m,n)(m=1〜5−1,n=1〜5)における伝達関数が生成される。伝達関数生成サブルーチンの一連の動作は、システム制御回路440が行なう。ステップS750では、ステップS655でメモリ429に記録されたカメラ200(カメラ本体)の特性情報を取得する。ステップS751では、ステップS656でメモリ429に記録された撮影レンズ100の特性情報を取得する。ステップS752では、伝達関数を定義する際に用いるパラメータを取得する。伝達関数は、撮影レンズ100と撮像素子201との間の光伝達特性によって決まる。光伝達特性は、RGBの色毎に異なる。また、カメラ200の特性情報、撮影レンズ100の特性情報、画像データにおけるXY方向の位置、被写体距離などの要因によっても変わる。そこで、これらの要因と伝達関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、予め不揮発性メモリ431に記憶しておく。そしてステップS752が実行されると、システム制御回路440は、これらの要因に基づいて、不揮発性メモリ431からRGB色毎の伝達関数定義の際に用いるパラメータを取得する。 FIG. 14 is a flow of the transfer function generation subroutine (step S705). A transfer function is generated in the divided area Area (m, n) (m = 1 to 5-1, n = 1 to 5) obtained by dividing the imaging range 220 by 5 × 5 = 25. The system control circuit 440 performs a series of operations of the transfer function generation subroutine. In step S750, the characteristic information of the camera 200 (camera body) recorded in the memory 429 in step S655 is acquired. In step S751, the characteristic information of the photographing lens 100 recorded in the memory 429 in step S656 is acquired. In step S752, a parameter used when defining a transfer function is acquired. The transfer function is determined by the light transfer characteristic between the photographing lens 100 and the image sensor 201. The light transfer characteristics are different for each RGB color. Further, it varies depending on factors such as the characteristic information of the camera 200, the characteristic information of the photographing lens 100, the position in the XY direction in the image data, and the subject distance. Therefore, table data in which these factors are associated with parameters used when defining the transfer function is stored in the nonvolatile memory 431 in advance. When step S752 is executed, the system control circuit 440 acquires parameters used when defining the transfer function for each RGB color from the nonvolatile memory 431 based on these factors.
ステップS753では、ステップS752で取得したパラメータに基づいて、R信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのR波長における光伝達関数特性と考えられる。ステップS754では、ステップS752で取得したパラメータに基づいて、G信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのG波長における光伝達関数特性と考えられる。 In step S753, a transfer function for the R signal is defined based on the parameter acquired in step S752. This transfer function is considered to be an optical transfer function characteristic at the R wavelength from the photographing lens 100 to the image sensor 201. In step S754, a transfer function for the G signal is defined based on the parameter acquired in step S752. This transfer function is considered to be an optical transfer function characteristic at the G wavelength from the photographing lens 100 to the image sensor 201.
ステップS755では、ステップS752で取得したパラメータに基づいて、B信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのB波長における光伝達関数特性と考えられる。ステップS755が終わったら、ステップS705伝達関数生成サブルーチンを終了し、収差補正サブルーチン(ステップS657)に戻る。 In step S755, a transfer function for the B signal is defined based on the parameter acquired in step S752. This transfer function is considered to be an optical transfer function characteristic at the B wavelength from the photographing lens 100 to the image sensor 201. When step S755 ends, the step S705 transfer function generation subroutine ends, and the process returns to the aberration correction subroutine (step S657).
本実施例によれば、小型で安価な構成で、光学ファインダを備えた動画撮影可能なデジタル一眼レフカメラ(撮像装置)が実現できる。また、光学素子により発生した収差及び内面反射ゴーストが補正されているため、高画質な動画を得ることが可能である。 According to the present embodiment, it is possible to realize a digital single-lens reflex camera (imaging device) capable of shooting a moving image with an optical viewfinder with a small and inexpensive configuration. In addition, since the aberration and the internal reflection ghost generated by the optical element are corrected, a high-quality moving image can be obtained.
なお本実施例の画像処理回路413は、ステップS657で、撮像素子201から出力された画像データに対して、入射光束がハーフミラー202を透過することにより生じる収差と、ハーフミラー202で内面反射することにより生じる劣化の両方を補正する。ただし本実施例はこれに限定されるものではなく、画像処理回路413は、このような収差と劣化のいずれか一方のみを補正するように構成してもよい。 In step S657, the image processing circuit 413 according to the present exemplary embodiment reflects the aberration caused by the incident light beam passing through the half mirror 202 and the internal reflection by the half mirror 202 with respect to the image data output from the image sensor 201. Both of the deterioration caused by this are corrected. However, the present embodiment is not limited to this, and the image processing circuit 413 may be configured to correct only one of such aberration and deterioration.
次に、本発明の実施例2における撮像装置について説明する。本実施例は、実施例1の変形例であり、ショートフランジバックの撮影レンズをカメラに装着してカメラシステムを構成している。図15は、本実施例における一眼レフカメラの光学系を示す中央断面図である。図15において、図1と同様の部材には同記号を付し、それらの説明は省略する。300は、カメラ200に交換可能に装着された撮影レンズである。301はフォーカスレンズ群やズームレンズ群からなるレンズ部を示し、Lは撮影レンズ100の光軸である。FBは撮影レンズ300の後端から撮像素子201までの距離、所謂フランジバックであり、実施例1の場合に比べて短い。 Next, an image pickup apparatus in Embodiment 2 of the present invention will be described. The present embodiment is a modification of the first embodiment, and a camera system is configured by attaching a short flange back photographing lens to a camera. FIG. 15 is a central cross-sectional view showing an optical system of a single-lens reflex camera in the present embodiment. In FIG. 15, members similar to those in FIG. 1 are denoted by the same symbols, and description thereof is omitted. Reference numeral 300 denotes a photographing lens that is attached to the camera 200 in an exchangeable manner. Reference numeral 301 denotes a lens unit including a focus lens group and a zoom lens group, and L denotes an optical axis of the photographing lens 100. FB is the distance from the rear end of the photographic lens 300 to the image sensor 201, so-called flange back, which is shorter than that in the first embodiment.
また、撮影レンズ300がカメラ200に取り付けられた状態において、撮影レンズ300の後側とハーフミラー202の先端は、光軸Lに平行な方向において図中Dで示される量だけ重なっている。すなわち、撮影レンズ300の光軸Lに平行な平面上に、撮影レンズ300とハーフミラー202を投影した場合、撮影レンズ300とハーフミラー202の少なくとも一部が重なっている。このように、カメラ200のハーフミラー202が回転移動せずに固定されて配置されているため、撮影レンズ300をよりカメラ200の内部側に配置することが可能である。したがって、本実施例によれば、撮影レンズ300とカメラ200を含めた全体の大きさの小型化が可能である。 Further, in a state where the photographic lens 300 is attached to the camera 200, the rear side of the photographic lens 300 and the tip of the half mirror 202 overlap each other by an amount indicated by D in the direction parallel to the optical axis L. That is, when the photographing lens 300 and the half mirror 202 are projected on a plane parallel to the optical axis L of the photographing lens 300, at least a part of the photographing lens 300 and the half mirror 202 overlap each other. Thus, since the half mirror 202 of the camera 200 is fixed and arranged without rotating, the photographing lens 300 can be arranged more inside the camera 200. Therefore, according to the present embodiment, the entire size including the photographing lens 300 and the camera 200 can be reduced.
なお本実施例では、撮影レンズ300とハーフミラー202の一部が重なる場合について説明したが、これらが重ならない場合においても実施例1に比較して小型化が可能である。一方、ショートフランジバックの場合には、撮影レンズ300の射出瞳の位置がハーフミラー202に近くなる。そのため、ハーフミラー202による収差や内面反射ゴーストの像高による変化は、より大きく発生する。そこで、本実施例では、分割した撮影範囲に対して順次伝達関数生成と補正処理を行なう際に、撮影範囲をより細かく分割する。 In the present embodiment, the case where the photographing lens 300 and the half mirror 202 partially overlap each other has been described. However, even when they do not overlap, the size can be reduced as compared with the first embodiment. On the other hand, in the case of the short flange back, the position of the exit pupil of the photographic lens 300 is close to the half mirror 202. Therefore, the aberration caused by the half mirror 202 and the change due to the image height of the internal reflection ghost more greatly occur. Therefore, in this embodiment, when the transfer function generation and correction processing are sequentially performed on the divided photographing ranges, the photographing ranges are divided more finely.
図16は、本実施例の収差及び内面反射ゴーストの補正サブルーチン(ステップS657)において、分割した撮影範囲に対して順次伝達関数生成と補正処理を行っていく様子を示した図である。図12と同等の部材には同記号を付し、その説明は省略する。実施例1では、撮影範囲220を5×5=25分割していた。一方、本実施例では7×7=49分割している。これにより、ショートフランジバックになることで、ハーフミラー202による収差や内面反射ゴーストの像高による変化が大きい場合でも、良好な補正が可能となる。 FIG. 16 is a diagram showing a state in which transfer function generation and correction processing are sequentially performed on the divided imaging ranges in the aberration and internal reflection ghost correction subroutine (step S657) of the present embodiment. Components equivalent to those in FIG. 12 are denoted by the same reference numerals, and description thereof is omitted. In the first embodiment, the photographing range 220 is divided into 5 × 5 = 25. On the other hand, in this embodiment, 7 × 7 = 49 divisions are made. As a result, the short flange back enables good correction even when the aberration caused by the half mirror 202 and the change in the image height of the internal reflection ghost are large.
次に、本発明の実施例3について説明する。本実施例は、実施例1の変形例であり、収差及び内面反射ゴーストの補正の手順を一部変更した例である。図17は、本実施例において、劣化関数の割り当てを表す図である。実施例1では、撮影レンズ100とハーフミラー202のそれぞれで発生する収差補正を区別することなく、伝達関数として表現している。一方、本実施例では、撮影レンズ100とハーフミラー202それぞれの伝達関数を用いることで、発生する収差を個別に補正することが可能である。以下、実施例1と異なる部分についてのみ説明する。 Next, Embodiment 3 of the present invention will be described. The present embodiment is a modification of the first embodiment, and is an example in which the correction procedure for aberration and internal reflection ghost is partially changed. FIG. 17 is a diagram illustrating assignment of deterioration functions in the present embodiment. In the first embodiment, aberration correction occurring in each of the photographing lens 100 and the half mirror 202 is expressed as a transfer function without being distinguished. On the other hand, in this embodiment, it is possible to individually correct the generated aberration by using the transfer functions of the photographing lens 100 and the half mirror 202, respectively. Only the parts different from the first embodiment will be described below.
本実施例において、撮影レンズ100による劣化後の光量分布Il(u,v)は、以下の式(7)で表される。 In the present embodiment, the light amount distribution I l (u, v) after being deteriorated by the photographing lens 100 is expressed by the following equation (7).
ここで、Hl(u,v)は、撮影レンズ100により画像が劣化する状態を表す伝達関数である。また、ハーフミラー202を透過することによる劣化後の光量分布Im(u,v)は、以下の式(8)で表される。 Here, H l (u, v) is a transfer function representing a state in which an image is deteriorated by the photographing lens 100. Further, the light amount distribution I m (u, v) after deterioration due to transmission through the half mirror 202 is expressed by the following equation (8).
ここで、Hm(u,v)は、ハーフミラー202により画像が劣化する状態を表す伝達関数である。式(7)、(8)より、撮影レンズ100とハーフミラー202による劣化の両方を考慮した光量分布Im(u,v)は、以下の式(9)のように表すことができる。 Here, H m (u, v) is a transfer function representing a state in which the image is degraded by the half mirror 202. From Expressions (7) and (8), the light quantity distribution I m (u, v) considering both the photographic lens 100 and the degradation caused by the half mirror 202 can be expressed as the following Expression (9).
ここで、Hm(u,v)はカメラ200にとって固有の関数である。一方、Hl(u,v)は撮影レンズ100により決定される関数である。このため、交換可能な撮影レンズを用いたカメラシステム(撮像装置)では、光量分布Im(u,v)は、撮影レンズが変わるごとに変化する。不揮発性メモリ431などに予め記憶されているインバースフィルター1/Hm(u,v)を読み出し、I/F423を介して撮影レンズ100からインバースフィルター1/Hl(u,v)を読み出すことで、収差の補正が可能となる。 Here, H m (u, v) is a function unique to the camera 200. On the other hand, H l (u, v) is a function determined by the taking lens 100. For this reason, in a camera system (imaging device) using an interchangeable photographic lens, the light amount distribution I m (u, v) changes every time the photographic lens changes. By reading the inverse filter 1 / H m (u, v) stored in advance in the nonvolatile memory 431 and the like, and reading the inverse filter 1 / H l (u, v) from the photographing lens 100 via the I / F 423. The aberration can be corrected.
本実施例の画像処理回路413は、撮像素子201から出力された画像データに対して、入射光束が撮影レンズ100を通過することにより生じる収差を独立に補正する。このため本実施例によれば、交換可能な撮影レンズに応じて劣化関数を変化させることができ、高画質な動画を得ることが可能となる。 The image processing circuit 413 according to the present exemplary embodiment independently corrects aberrations caused by the incident light flux passing through the photographing lens 100 with respect to the image data output from the image sensor 201. For this reason, according to the present embodiment, the deterioration function can be changed according to the interchangeable photographic lens, and a high-quality moving image can be obtained.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
100 撮影レンズ
200 カメラ
201 撮像素子
202 ハーフミラー
413 画像処理回路
445 光学ファインダ
DESCRIPTION OF SYMBOLS 100 Shooting lens 200 Camera 201 Image pick-up element 202 Half mirror 413 Image processing circuit 445 Optical finder
Claims (5)
前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、
前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正する画像処理手段と、を有し、
前記交換レンズが撮像装置に取り付けられた状態において、該交換レンズの光軸に平行な平面上に、該交換レンズおよび前記光学素子を投影した場合、該交換レンズおよび該光学素子の少なくとも一部が重なっていることを特徴とする撮像装置。 An optical element that is fixedly disposed obliquely with respect to the optical axis of the interchangeable lens, reflects a part of the incident light beam, and transmits the other part;
Finder means configured to be able to observe a subject using the first light beam reflected by the optical element;
Imaging means for receiving the second light flux transmitted through the optical element and outputting image data;
On the image data output from the imaging means, the incident light beam is closed and an image processing means for correcting the degradation caused by internal reflection in the optical element,
When the interchangeable lens and the optical element are projected on a plane parallel to the optical axis of the interchangeable lens in a state where the interchangeable lens is attached to the imaging device, at least a part of the interchangeable lens and the optical element is An imaging device characterized by overlapping .
前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、Finder means configured to be able to observe a subject using the first light beam reflected by the optical element;
前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、を有し、Image pickup means for receiving the second light flux transmitted through the optical element and outputting image data;
前記交換レンズが撮像装置に取り付けられた状態において、該交換レンズの光軸に平行な平面上に、該交換レンズおよび前記光学素子を投影した場合、該交換レンズおよび該光学素子の少なくとも一部が重なっている撮像装置の画像処理方法であって、When the interchangeable lens and the optical element are projected on a plane parallel to the optical axis of the interchangeable lens in a state where the interchangeable lens is attached to the imaging device, at least a part of the interchangeable lens and the optical element is An image processing method for overlapping imaging devices,
前記撮像手段から画像データを取得するステップと、Obtaining image data from the imaging means;
取得した前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正するステップと、を有することを特徴とする画像処理方法。Correcting the deterioration caused by the internal reflection of the incident light beam by the optical element with respect to the acquired image data.
前記補正対象の領域における伝達関数を生成するステップと、を有し、
前記補正するステップは、前記補正対象の領域に対して、前記伝達関数の基づき、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正することを特徴とする請求項4に記載の画像処理方法。 Setting a region to be corrected out of the pre-Symbol image data,
Generating a transfer function in the area to be corrected ,
Wherein the step of correcting, based on the correction target region, based of the transfer function, to claim 4 wherein the incident light beam is characterized by a Turkey to correct the degradation caused by internal reflection in the optical element The image processing method as described .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010107112A JP5523194B2 (en) | 2010-05-07 | 2010-05-07 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010107112A JP5523194B2 (en) | 2010-05-07 | 2010-05-07 | Imaging apparatus and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014075854A Division JP5865417B2 (en) | 2014-04-02 | 2014-04-02 | Imaging apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011239063A JP2011239063A (en) | 2011-11-24 |
JP5523194B2 true JP5523194B2 (en) | 2014-06-18 |
Family
ID=45326590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010107112A Active JP5523194B2 (en) | 2010-05-07 | 2010-05-07 | Imaging apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5523194B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7175872B2 (en) * | 2019-11-14 | 2022-11-21 | 株式会社日立エルジーデータストレージ | rangefinder |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007322982A (en) * | 2006-06-05 | 2007-12-13 | Olympus Imaging Corp | Camera |
JP5034117B2 (en) * | 2007-05-30 | 2012-09-26 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and program |
JP2009104068A (en) * | 2007-10-25 | 2009-05-14 | Olympus Corp | Digital photographic apparatus |
-
2010
- 2010-05-07 JP JP2010107112A patent/JP5523194B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011239063A (en) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
EP2340455B1 (en) | Camera and camera system | |
JP5448715B2 (en) | Imaging apparatus and control method thereof | |
JP5676988B2 (en) | Focus adjustment device | |
US8670064B2 (en) | Image capturing apparatus and control method therefor | |
JP6289017B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
CN101534396A (en) | Digital imaging apparatus enabled to control flash light intensity and method of controlling the digital imaging apparatus | |
JP2010049134A (en) | Image pickup device | |
CN105391934B (en) | Focus detection, its control method and photographic device | |
JP5020800B2 (en) | Imaging apparatus and control method thereof | |
JP6529387B2 (en) | Imaging device, control method therefor, program, storage medium | |
JP5548490B2 (en) | Imaging device | |
JP5523194B2 (en) | Imaging apparatus and image processing method | |
JP2006267381A (en) | Finder optical system and single lens reflex camera | |
JP5865417B2 (en) | Imaging apparatus and image processing method | |
JP2016066015A (en) | Focus detector, control method thereof, program, and memory medium | |
JP2016099432A (en) | Focus detection device, and method, program and storage medium | |
JP5911530B2 (en) | Imaging device | |
JP7066458B2 (en) | Imaging device and its control method, program | |
JP2006267380A (en) | Finder optical system and single lens reflex camera | |
JP2013172304A (en) | Imaging device | |
JP2016122950A (en) | Imaging apparatus | |
JP2012150224A (en) | Imaging apparatus and control method | |
JP2007074395A (en) | Camera | |
JP2016099416A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140408 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5523194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |