JP5832353B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5832353B2
JP5832353B2 JP2012077625A JP2012077625A JP5832353B2 JP 5832353 B2 JP5832353 B2 JP 5832353B2 JP 2012077625 A JP2012077625 A JP 2012077625A JP 2012077625 A JP2012077625 A JP 2012077625A JP 5832353 B2 JP5832353 B2 JP 5832353B2
Authority
JP
Japan
Prior art keywords
regions
image
distance
images
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012077625A
Other languages
Japanese (ja)
Other versions
JP2013205781A5 (en
JP2013205781A (en
Inventor
小野 修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012077625A priority Critical patent/JP5832353B2/en
Publication of JP2013205781A publication Critical patent/JP2013205781A/en
Publication of JP2013205781A5 publication Critical patent/JP2013205781A5/ja
Application granted granted Critical
Publication of JP5832353B2 publication Critical patent/JP5832353B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は撮像装置に関し、特に符号化開口を用いた撮影が可能な撮像装置に関する。   The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus capable of shooting using a coded aperture.

撮像装置の技術分野では、複数のPSF(Point Spread Function;点像分布関数)で画像を取得し、取得した画像からボケの修復や被写体の距離推定等の処理を行う技術が知られているが、その際復元・推定処理のロバスト性を向上させるべく、符号化された開口(符号化瞳)を用いることが行われている(このように符号化された開口を用いて撮影を行うことを、以下「符号化開口撮影」という)。例えば異なるパターンの符号化開口を組み込んだレンズを交換してPSFを変化させ、1台の撮像装置で複数の画像を取得する技術が知られている。また例えば特許文献1では、ピンホール状の符号化開口を用いると共に撮影レンズに入射した被写体光をプリズムで複数の光束に分離し、それら光束に対する光路長(合焦状態)がそれぞれ異なるように配置した複数の撮像素子を用いて撮像することにより、3種類の符号化開口画像を取得することが記載されている。   In the technical field of imaging devices, a technique is known in which an image is acquired using a plurality of point spread functions (PSFs), and processing such as blur correction and subject distance estimation is performed from the acquired image. In this case, an encoded aperture (encoded pupil) is used in order to improve the robustness of the restoration / estimation process (photographing using such an encoded aperture is performed). Hereafter referred to as “encoded aperture photography”). For example, a technique is known in which a lens incorporating a coded aperture of a different pattern is changed to change the PSF, and a plurality of images are acquired with a single imaging device. For example, in Patent Document 1, a pinhole-shaped coded aperture is used, and subject light incident on a photographing lens is separated into a plurality of light beams by a prism, and the optical path lengths (focused states) for the light beams are arranged differently. It describes that three types of encoded aperture images are acquired by imaging using a plurality of imaging elements.

特開平11−337313号公報Japanese Patent Laid-Open No. 11-337313

しかしながらこのような従来の技術は、符号化開口撮影において複数のPSFでの撮影やボケ具合(合焦状態)が異なる複数の画像取得が容易に行えるものではなかった。例えば上述したように異なるパターンの符号化開口を組み込んだレンズを交換して複数回の撮影を行う場合、画像間で撮影タイミングにずれが生じるため静止物体しか撮影することができず、またレンズ交換を行うため撮影が手間と時間を要するものとなっていた。また上記特許文献1のようにプリズムで光路を分離すると、撮像装置が大型で複雑な構成になってしまいコストが上昇するという問題があった。   However, such a conventional technique cannot easily perform imaging with a plurality of PSFs and acquisition of a plurality of images with different degrees of blurring (focused state) in coded aperture imaging. For example, as described above, when a lens incorporating a coded aperture with a different pattern is exchanged and shooting is performed a plurality of times, only a stationary object can be shot because the shooting timing varies between images. Because of this, shooting was time consuming and time consuming. Further, when the optical path is separated by the prism as in Patent Document 1, there is a problem that the imaging apparatus becomes large and complicated, and the cost increases.

本発明はこのような事情に鑑みてなされたもので、符号化開口撮影を迅速かつ容易に行うことができる撮像装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of performing coded aperture imaging quickly and easily.

上記目的を達成するために本発明の第1の態様に係る撮像装置は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口と、複数の領域のそれぞれに対応して設けられた複数の受光センサであって、複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、複数の受光センサの撮像信号から複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方である。   In order to achieve the above object, an imaging apparatus according to a first aspect of the present invention is a photographic lens having a plurality of regions, wherein the plurality of regions have independent characteristics, and a plurality of regions. An encoding opening provided corresponding to each of the plurality of light receiving sensors provided corresponding to each of the plurality of areas, the encoding opening corresponding to any of the plurality of areas and the corresponding one of the areas And an image generation means for generating a plurality of images corresponding to each of a plurality of regions from image pickup signals of the plurality of light receiving sensors. And the characteristic is at least one of a focal length and a focusing distance.

第1の態様に係る撮像装置では、複数の領域がそれぞれ独立した特性(焦点距離と合焦距離との内少なくとも一方)を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口とから、複数の画像が生成される。即ち撮影レンズの各領域に対応した複数の画像を同時に生成できるので撮影に手間や時間を要さず、静止画・動画のいずれも撮影することができる。また第1の態様では複数の画像の生成を、撮影レンズの複数の領域が独立した特性を有することで実現しているので、上述した従来技術のように開口パターンを変更するためにレンズを交換したり合焦状態の異なる画像を得るためにプリズムで光路を分離したりする必要がなく、構成が簡単で小型化でき、コスト低減が可能となる。   In the imaging device according to the first aspect, a plurality of areas have independent characteristics (at least one of a focal length and a focusing distance), and a code provided corresponding to each of the plurality of areas. A plurality of images are generated from the aperture. That is, since a plurality of images corresponding to each area of the photographic lens can be generated at the same time, it is possible to shoot both still images and moving images without taking time and effort for shooting. In the first aspect, the generation of a plurality of images is realized by the fact that the plurality of areas of the photographing lens have independent characteristics, so that the lenses are exchanged to change the aperture pattern as in the prior art described above. Therefore, it is not necessary to separate the optical path with a prism in order to obtain images with different in-focus states, and the configuration is simple, the size can be reduced, and cost can be reduced.

なお第1の態様において各領域の特性(焦点距離と合焦距離とのうちの少なくとも一方)が「独立した」とは一の領域の特性が他の領域の特性に依存しないことをいい、具体的な焦点距離や合焦距離は等しくてもよいし異なっていてもよい。また第1の態様において撮影レンズは1枚でもよいし、複数枚のレンズを組合せて構成し全体として複数の領域を有するようにしてもよい。また各領域の特性は固定されていてもよいし、変更できるようにしてもよい。さらに、符号化開口のパターンは各領域で同じでもよいし違っていてもよい。符号化開口のパターンが各領域で同じであっても撮影レンズの特性(例えば合焦距離)が異なれば合焦状態が異なる複数の画像が得られるし、符号化開口のパターンが各領域で違えば開口パターンに応じてPSFが異なり、その結果ボケ具合(合焦状態)の異なる複数の画像が得られる。複数の領域のうち一部で開口パターンが違うようにしてもよい。   In the first aspect, the characteristic of each area (at least one of the focal length and the focusing distance) is “independent” means that the characteristic of one area does not depend on the characteristics of other areas. The focal length and the in-focus distance may be the same or different. In the first aspect, the number of photographing lenses may be one, or a plurality of lenses may be combined to have a plurality of regions as a whole. The characteristics of each region may be fixed or may be changed. Furthermore, the pattern of the coded aperture may be the same or different in each region. Even if the coded aperture pattern is the same in each region, a plurality of images with different in-focus states can be obtained if the characteristics of the photographic lens (for example, in-focus distance) are different, and the coded aperture pattern is different in each region. For example, the PSF differs depending on the opening pattern, and as a result, a plurality of images with different blur conditions (focused states) are obtained. The opening pattern may be different in some of the plurality of regions.

第1の態様において「合焦距離」とは、以下の式で表される距離FD、即ち受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいう。   In the first aspect, the “focusing distance” refers to a distance FD represented by the following expression, that is, a distance from the light receiving surface of the light receiving sensor to a subject in focus with the light receiving sensor.

(数1)
FD=a+b ・・・(1)
FD:合焦距離
a :レンズと受光センサの受光面との距離
b :レンズと合焦位置との距離
焦点距離をfとすると1/f=(1/a)+(1/b)であり、焦点距離fが同じでも距離a,bの組み合わせ方により合焦距離FDは異なる。逆に焦点距離fが異なっていても、距離a,bの組み合わせ方で合焦距離FDを同じにすることもできる。
(Equation 1)
FD = a + b (1)
FD: In-focus distance a: Distance between lens and light-receiving surface of light-receiving sensor b: Distance between lens and in-focus position If the focal length is f, 1 / f = (1 / a) + (1 / b) Even if the focal length f is the same, the focusing distance FD differs depending on the combination of the distances a and b. Conversely, even if the focal length f is different, the in-focus distance FD can be made the same by combining the distances a and b.

第1の態様のような、複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、撮影レンズの各領域が受光センサ上に形成する被写体像が異なると、異なる被写体像が重なることで生じる被写体像間の特性のずれが画質の低下として感じられる。被写体像が異なる要因は主として(1)被写体像間のサイズ差、(2)被写体像間のボケ量の差、(3)被写体像間の視差ズレ、であり、各領域の特性(焦点距離,合焦距離)との関係は以下の通りである。   When a photographic lens in which a plurality of areas have independent characteristics as in the first aspect is used, if the subject images formed on the light receiving sensor by the areas of the photographic lens are different, the different subject images are overlapped. A difference in characteristics between subject images is perceived as a reduction in image quality. Factors that cause differences in subject images are mainly (1) size difference between subject images, (2) difference in blur amount between subject images, and (3) parallax shift between subject images. The characteristics of each region (focal length, The relationship with the (focus distance) is as follows.

(i)領域間で焦点距離・合焦距離のいずれもが異なる場合、それら領域に対応する画像間でサイズ差、ボケ量の差、及び視差ズレが生じる。   (I) When both the focal length and the in-focus distance are different between regions, a size difference, a blur amount difference, and a parallax shift occur between images corresponding to the regions.

(ii)領域間で焦点距離は等しいが合焦距離が異なる場合、それら領域に対応する画像間でボケ量の差及び視差ズレが生じる。   (Ii) When the focal lengths are the same in the regions but the in-focus distances are different, a blur amount difference and a parallax shift occur between images corresponding to the regions.

(iii)領域間で焦点距離が異なり合焦距離が等しい場合、それら領域に対応する画像間で被写体像のサイズ差及び視差ズレが生じる。   (Iii) When the focal length is different between the regions and the in-focus distance is the same, a size difference and a parallax shift of the subject image occur between images corresponding to the regions.

(iv)領域間で焦点距離・合焦距離のいずれもが等しい場合、それら領域に対応する画像間で視差ズレが生じる。   (Iv) When both the focal length and the in-focus distance are equal between regions, a parallax shift occurs between images corresponding to those regions.

そして複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、通常のセンサでは上記(i)〜(iv)のように各領域の特性に応じて生じる被写体像の相違、即ち一の領域に対応する画像における他の領域を通過した光束の影響(領域間のクロストーク)により画質が低下してしまう。   When a photographic lens in which a plurality of areas have independent characteristics is used, the difference between the subject images generated according to the characteristics of each area as described in (i) to (iv) above in a normal sensor, that is, in one area. The image quality deteriorates due to the influence of light beams that have passed through other areas in the corresponding image (crosstalk between areas).

そこで本発明の第1の態様に係る撮像装置では、上述した撮影レンズの複数の領域のいずれかと当該領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する受光センサ(瞳指向センサ)を有する撮像素子を用いて領域間のクロストークの影響を除去し、撮影レンズの各領域に対応した複数の画像をそれぞれ独立して取得できるようにしている。なお受光センサによる光束の瞳分割及び選択的な受光は、受光面あるいはその前方に設けた遮光部材、液晶シャッタ、液晶プリズム等の光学要素により実現することができる。   Therefore, in the imaging apparatus according to the first aspect of the present invention, a light receiving sensor that selectively receives light by splitting a light beam that has passed through any of the plurality of regions of the photographing lens described above and the coded aperture corresponding to the region. The influence of crosstalk between regions is removed using an image sensor having a (pupil directivity sensor), and a plurality of images corresponding to each region of the photographing lens can be acquired independently. The pupil division and selective light reception of the light beam by the light receiving sensor can be realized by an optical element such as a light shielding surface, a light shielding member, a liquid crystal shutter, or a liquid crystal prism provided in front of the light receiving surface.

このようにして第1の態様に係る撮像装置では、符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で得ることができる。   In this manner, the imaging apparatus according to the first aspect can perform coded aperture shooting quickly and easily and obtain a plurality of images with good image quality.

本発明の第2の態様に係る撮像装置は第1の態様において、複数の領域はそれぞれ異なる符号化開口のパターンを有する。符号化開口撮影を行う場合の開口パターンは静物、人物、風景等被写体の種類や距離等の条件によって異なるため、第2の態様に係る撮像装置では複数の領域がそれぞれ異なる符号化開口のパターンを有するようにすることで被写体に合わせた複数の開口パターンを設定してPSFを変化させることができ、ボケ具合(合焦状態)が異なる複数の画像を迅速かつ容易に取得することができる。   In the imaging device according to the second aspect of the present invention, in the first aspect, each of the plurality of regions has a different coded aperture pattern. Since the aperture pattern when performing coded aperture shooting varies depending on conditions such as the type and distance of the subject such as a still life, a person, and a landscape, the image pickup apparatus according to the second aspect has different coded aperture patterns for each of the plurality of regions. By having it, it is possible to change the PSF by setting a plurality of opening patterns according to the subject, and it is possible to quickly and easily acquire a plurality of images with different blur conditions (focused states).

本発明の第3の態様に係る撮像装置は第1または第2の態様において、符号化開口のパターンを変更する開口パターン変更手段を備える。第3の態様は上述のように符号化開口撮影を行う場合の好ましい開口パターンが被写体によって異なる点を考慮し、所望の開口パターンで画像を取得できるようにしたものである。なお第3の態様において開口パターンの変更は、開口パターンに対応した光学部材を撮影レンズの光路中に挿抜したり、開口パターンを電気的に変更可能な液晶シャッタを用いたりすることで実現できる。   The imaging device according to a third aspect of the present invention includes, in the first or second aspect, an opening pattern changing unit that changes a pattern of the coded opening. In the third aspect, an image can be acquired with a desired aperture pattern in consideration of the fact that the preferred aperture pattern when performing coded aperture imaging as described above varies depending on the subject. In the third mode, the opening pattern can be changed by inserting or removing an optical member corresponding to the opening pattern in the optical path of the photographing lens or using a liquid crystal shutter that can electrically change the opening pattern.

本発明の第4の態様に係る撮像装置は第1から第3の態様のいずれかにおいて、生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える。このようにして取得した距離情報は、被写体の3次元形状の測定等に利用できる。なお第4の態様において、取得した距離情報に基づき距離画像を生成するようにしてもよい。   In any one of the first to third aspects, an imaging apparatus according to a fourth aspect of the present invention includes distance information acquisition means for acquiring subject distance information based on a plurality of generated images. The distance information acquired in this way can be used for measuring the three-dimensional shape of the subject. In the fourth aspect, a distance image may be generated based on the acquired distance information.

本発明の第5の態様に係る撮像装置は第4の態様において、画像生成手段は取得した距離情報と取得した複数の画像とから全焦点画像を生成する。このようにして生成(復元)した全焦点画像は上述した距離情報と同様に、被写体の3次元形状の測定等、測量・計測分野や画像処理の分野で広く利用することができる。   In the image pickup apparatus according to the fifth aspect of the present invention, in the fourth aspect, the image generation means generates an omnifocal image from the acquired distance information and the acquired plurality of images. The omnifocal image generated (restored) in this way can be widely used in the field of surveying / measurement and the field of image processing, such as measurement of the three-dimensional shape of the subject, like the distance information described above.

本発明の第6の態様に係る撮像装置は第1から第5の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える。第6の態様では焦点距離の変更により被写体に合わせて所望の焦点距離の画像を取得することができる。なお第6の態様において焦点距離の変更は、焦点距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする等、種々の手法により実現することができる。   In any one of the first to fifth aspects, an imaging apparatus according to a sixth aspect of the present invention includes a focal length changing unit that changes the focal length of at least one of the plurality of areas. In the sixth aspect, an image having a desired focal length can be acquired in accordance with the subject by changing the focal length. In the sixth aspect, the change of the focal length can be realized by various methods such as moving the focal length changing lens in the optical axis direction or inserting / removing it in the optical path of the photographing lens.

本発明の第7の態様に係る撮像装置は第1から第6の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える。第7の態様では合焦距離の変更により、被写体に合わせて所望の合焦距離の画像を取得することができる。なお第7の態様において合焦距離の変更は、焦点距離変更の場合と同様に合焦距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする他、撮影レンズ全体を光軸方向に移動する等、種々の手法により実現することができる。   In any one of the first to sixth aspects, an imaging apparatus according to a seventh aspect of the present invention includes a focusing distance changing unit that changes a focusing distance of at least one of the plurality of areas. In the seventh aspect, by changing the focus distance, an image having a desired focus distance can be acquired in accordance with the subject. In addition, in the seventh aspect, the focus distance can be changed by moving the focus distance changing lens in the optical axis direction or inserting / removing the lens in the optical path of the photographic lens as in the case of changing the focal length. Can be realized by various methods such as moving the lens in the direction of the optical axis.

本発明の第8の態様に係る撮像装置は第1から第7の態様のいずれかにおいて、撮影レンズは物理的に分離した2枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、2枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する。上述のように本発明に係る撮像装置において撮影レンズは複数枚のレンズで構成されていてもよく、第8の態様はそのような複数枚のレンズからなる撮影レンズの一態様を示すものである。第8の態様における撮影レンズとしては例えば、複数の領域にそれぞれ対応する複数枚のレンズを光軸方向位置を離間させて配置し、当該複数枚のレンズがそれぞれ独立した焦点距離を有するようなレンズが挙げられる。   An imaging device according to an eighth aspect of the present invention is the imaging device according to any one of the first to seventh aspects, wherein the photographing lens is a photographing lens composed of two or more physically separated lenses, and a plurality of the photographing lenses. These regions have independent characteristics corresponding to combinations of two or more lenses. As described above, in the imaging apparatus according to the present invention, the photographing lens may be composed of a plurality of lenses, and the eighth aspect shows one aspect of the photographing lens composed of such a plurality of lenses. . As the photographing lens in the eighth aspect, for example, a plurality of lenses each corresponding to a plurality of regions are arranged with their optical axis direction positions separated from each other, and each of the plurality of lenses has an independent focal length. Is mentioned.

以上説明したように本発明に係る撮像装置によれば、符号化開口撮影を迅速かつ容易に行うことができる。   As described above, according to the imaging apparatus according to the present invention, coded aperture imaging can be performed quickly and easily.

図1は、撮像装置10の要部構成を示すブロック図である。FIG. 1 is a block diagram illustrating a main configuration of the imaging apparatus 10. 図2は、符号化開口11の例を示す図である。FIG. 2 is a diagram illustrating an example of the encoding aperture 11. 図3は、撮影レンズ12の正面図である。FIG. 3 is a front view of the photographic lens 12. 図4は、撮像素子16における光束の選択的な受光の様子を示す図である。FIG. 4 is a diagram illustrating a state of selective light reception of a light beam in the image sensor 16. 図5は、撮像素子16における受光セルの配置の例を示す図である。FIG. 5 is a diagram illustrating an example of the arrangement of the light receiving cells in the image sensor 16. 図6は、CPU40の機能構成を示す図である。FIG. 6 is a diagram illustrating a functional configuration of the CPU 40. 図7は、撮像装置10における画像取得の様子を示す図である。FIG. 7 is a diagram illustrating a state of image acquisition in the imaging apparatus 10. 図8は、撮像装置10で取得した画像の例を示す図である。FIG. 8 is a diagram illustrating an example of an image acquired by the imaging apparatus 10. 図9は、撮像装置10における全焦点画像の例を示す図である。FIG. 9 is a diagram illustrating an example of an omnifocal image in the imaging apparatus 10. 図10は、撮影レンズが2枚以上のレンズから構成される場合の例を示す図である。FIG. 10 is a diagram illustrating an example in the case where the photographing lens includes two or more lenses.

以下、添付図面に従って本発明に係る撮像装置を実施するための形態について詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for implementing an imaging apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

<撮像装置の構成>
図1は撮像装置10の要部構成を示すブロック図である。撮像装置10の装置全体の動作は中央処理装置(CPU)40によって統括制御され、CPU40の動作に必要なプログラム(後述する撮像処理や画像生成・合成処理、合焦距離の変更等に用いるプログラムを含む)やパラメータは、EEPROM(Electronically Erasable and Programmable Read Only Memory)46に記憶されている。
<Configuration of imaging device>
FIG. 1 is a block diagram showing a main configuration of the imaging apparatus 10. The overall operation of the image pickup apparatus 10 is controlled in an integrated manner by a central processing unit (CPU) 40, and programs necessary for the operation of the CPU 40 (programs used for image pickup processing, image generation / compositing processing, focusing distance change, etc., which will be described later). And parameters are stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) 46.

撮像装置10には、レリーズボタンの他モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等を含む操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて、後述するように撮像装置10の各回路を制御する。   The imaging apparatus 10 is provided with an operation unit 38 including a release button, a mode dial, a playback button, a MENU / OK key, a cross key, a BACK key, and the like. A signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal as described later.

レリーズボタンは撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画/動画撮影モード、マニュアル/オート撮影モード、及び撮影シーン等を選択する手段である。   The release button is an operation button for inputting an instruction to start shooting, and is composed of a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. The mode dial is a means for selecting a still image / moving image shooting mode, a manual / auto shooting mode, a shooting scene, and the like.

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像抽出や合成処理の際に必要な操作にも用いることができる。   The playback button is a button for switching to a playback mode in which a still image or a moving image of a photographed and recorded image is displayed on the liquid crystal monitor 30. The MENU / OK key is an operation key that has both a function for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function for instructing confirmation and execution of selection contents. The cross key is an operation unit that inputs instructions in four directions, up, down, left, and right, and functions as a cursor moving operation means, a zoom switch, a frame advance button in the playback mode, and the like. The BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state. These buttons and keys can also be used for operations necessary for image extraction and composition processing.

撮影モード時において、被写体を示す画像光は、撮影レンズ12(撮影レンズ)、符号化開口11を介して固体撮像素子(撮像素子:以下「CCD」という)16の受光面に結像される。図2は、符号化開口11の例を示す図である。符号化開口は液晶シャッタ11−1において光束を透過させる部分と遮光する部分(図2の斜線部分)のパターンとして設定され、本実施形態ではユーザが操作部38を操作するとCPU40の開口パターン変更機能f2(後述)が液晶シャッタ11−1を制御し、これにより開口パターン(およびこれに応じたPSF)を変更できるようになっている。符号化開口11のパターンは被写体の種類や距離等の条件、復元処理の容易さ・正確さ等を考慮して設定/変更してよく、また撮影レンズ12の領域によらず同じパターンにしてもよいし、領域ごとに異なるパターンにしてもよい。図2は、撮影レンズ12の領域に対応して符号化開口11が異なるパターンの符号化開口11a(図2の下半分),11b(図2の上半分)から構成される場合(従って各領域のPSFが異なる場合)の例である。   In the photographing mode, image light indicating a subject is imaged on a light receiving surface of a solid-state imaging device (imaging device: hereinafter referred to as “CCD”) 16 through a photographing lens 12 (photographing lens) and an encoding aperture 11. FIG. 2 is a diagram illustrating an example of the encoding aperture 11. The encoded aperture is set as a pattern of a portion that transmits the light beam and a portion that shields light (the hatched portion in FIG. 2) in the liquid crystal shutter 11-1. In this embodiment, when the user operates the operation unit 38, the aperture pattern changing function of the CPU 40 is set. f2 (described later) controls the liquid crystal shutter 11-1, thereby changing the opening pattern (and the PSF corresponding thereto). The pattern of the encoding aperture 11 may be set / changed in consideration of conditions such as the type and distance of the subject, the ease and accuracy of the restoration process, and the same pattern regardless of the area of the photographing lens 12. It may be a different pattern for each region. FIG. 2 shows a case where the encoding aperture 11 is composed of different patterns of encoding apertures 11a (lower half of FIG. 2) and 11b (upper half of FIG. 2) corresponding to the area of the taking lens 12 (accordingly, each area). In the case of different PSFs).

なお本実施の形態では液晶シャッタ11−1により開口パターンを変更するようにしているが、異なるパターンの符号化開口が複数配列された光学部材を適宜移動・回転して撮影レンズ12の光軸上に配置することでパターンを変更するようにしてもよい。開口パターンの変更を行わない場合は、開口パターン変更機能f2及び液晶シャッタ11−1に代えて特定の開口パターンを有する光学部材を固定的に設けてもよい。   In the present embodiment, the aperture pattern is changed by the liquid crystal shutter 11-1, but an optical member in which a plurality of encoded apertures having different patterns are arranged is appropriately moved and rotated to be on the optical axis of the photographing lens 12. You may make it change a pattern by arrange | positioning. When the aperture pattern is not changed, an optical member having a specific aperture pattern may be fixedly provided in place of the aperture pattern changing function f2 and the liquid crystal shutter 11-1.

本実施の形態において、符号化開口11を撮影レンズ12の前焦点面に配置し、符号化開口11と撮影レンズ12とCCD16とでテレセントリック光学系を構成するようにしてもよい。ただし本発明において符号化開口11と撮影レンズ12とCCD16との配置はそのような態様に限られるものでなく、符号化開口11を前焦点面以外の位置(撮影レンズ12の後方を含む)に配置してもよい。   In the present embodiment, the encoding aperture 11 may be disposed on the front focal plane of the photographic lens 12, and the encoding aperture 11, the photographic lens 12, and the CCD 16 may constitute a telecentric optical system. However, in the present invention, the arrangement of the encoding aperture 11, the photographic lens 12, and the CCD 16 is not limited to such a mode, and the encoding aperture 11 is located at a position other than the front focal plane (including the rear of the photographic lens 12). You may arrange.

図3は、撮影レンズ12の外観図である。撮影レンズ12は、合焦距離が長い領域(以下、遠合焦領域という)12aと、遠合焦領域12aより短い合焦距離を有する領域(以下、近合焦領域という)12bと、を有し、図3に示すように正面から見て半月型の領域がレンズ中心O1の上下に設けられており、下部から順に遠合焦領域12a、近合焦領域12b、となっている。遠合焦領域12a、近合焦領域12bの領域の合焦距離は、他の領域の合焦距離から独立である。このような領域により特性が独立した撮影レンズは、領域ごとに素材や形状を変えることで実現できる。   FIG. 3 is an external view of the photographic lens 12. The photographic lens 12 includes a region 12a having a long focusing distance (hereinafter referred to as a far focusing region) 12a and a region 12b (hereinafter referred to as a near focusing region) having a focusing distance shorter than the far focusing region 12a. As shown in FIG. 3, half-moon shaped regions are provided above and below the lens center O1, as viewed from the front, and form a far focusing region 12a and a near focusing region 12b in this order from the bottom. The focus distances of the far focus area 12a and the near focus area 12b are independent of the focus distances of the other areas. A photographic lens whose characteristics are independent of each other can be realized by changing the material and shape of each region.

なお撮影レンズ12において各領域の焦点距離は等しいものとするが、本発明の撮像装置において撮影レンズの各領域の特性はこのような条件に限定されるものではなく、各領域間で合焦距離と焦点距離との内少なくとも一方が独立していれば、具体的な値は同じであっても異なっていてもよい。またこれらの領域において、合焦距離や焦点距離の具体的な値は撮影目的等に合わせて設定してよい。   Although the focal lengths of the respective areas in the photographing lens 12 are equal, the characteristics of the respective areas of the photographing lens in the imaging apparatus of the present invention are not limited to such conditions, and the focal distances between the respective areas. And at least one of the focal lengths is independent, the specific values may be the same or different. Further, in these areas, specific values of the focus distance and the focal distance may be set according to the purpose of photographing.

なお図3の例では各領域を半月型に形成しているが、レンズ中心に配置した円形の領域とその周辺の円環状の領域(いずれかが遠合焦領域、他方が近合焦領域)とを形成するようにしてもよい。また図3の例では遠合焦領域12a、近合焦領域12bの面積を等しくしているが、これら領域の面積比は光学系の特性や撮影目的・撮影条件等に応じて上記と異なる比率に設定してもよい。また領域数は2に限らず3以上でもよい。   In the example of FIG. 3, each region is formed in a half-moon shape, but a circular region arranged at the center of the lens and an annular region around it (one is a far focusing region, the other is a near focusing region) And may be formed. In the example of FIG. 3, the areas of the far focus area 12a and the near focus area 12b are made equal, but the area ratio of these areas is different from the above depending on the characteristics of the optical system, the shooting purpose, shooting conditions, etc. May be set. Further, the number of regions is not limited to 2, but may be 3 or more.

撮影レンズ12の遠合焦領域12a、近合焦領域12bを通過した光束は、CCD16の各フォトセンサに入射する。図4に示すようにCCD16は、撮影レンズ12の遠合焦領域12aを通過した光束を受光する遠画像用受光セル16aと、近合焦領域12bを通過した光束を受光する近画像用受光セル16bとを有する。受光セル16a,16bは、マイクロレンズML、及び受光部17の前面に設けられた遮光膜18a,18bにより遠合焦領域12a、近合焦領域12bを通過した光束をそれぞれ選択的に受光するようになっており、そのため遮光膜18a,18bはそれぞれ異なる形状をしている。なお受光部17の前面に遮光膜を設ける代わりに、マイクロレンズMLの前面に遮光部材や液晶シャッタを設けるようにしてもよい。   The light beam that has passed through the far focusing area 12a and the near focusing area 12b of the photographing lens 12 is incident on each photosensor of the CCD 16. As shown in FIG. 4, the CCD 16 includes a far-image light-receiving cell 16a that receives the light beam that has passed through the far-focus area 12a of the photographing lens 12, and a near-image light-receiving cell that receives the light beam that has passed through the near-focus area 12b. 16b. The light receiving cells 16a and 16b selectively receive light beams that have passed through the far focus region 12a and the near focus region 12b by the microlens ML and the light shielding films 18a and 18b provided on the front surface of the light receiving unit 17, respectively. Therefore, the light shielding films 18a and 18b have different shapes. Instead of providing a light shielding film on the front surface of the light receiving unit 17, a light shielding member or a liquid crystal shutter may be provided on the front surface of the microlens ML.

受光セル16a,16bの数の比は、受光セル16a,16bに対応する合焦領域12a,12bの面積比と略等しくなるようにすることが好ましい。図5は撮像素子16における受光セルの配置例であり、本実施形態では遠合焦領域12aと近合焦領域12bの面積が等しいので、受光セル16a,16bの数も等しくなっている。受光セル16a,16bは生成された画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。   It is preferable that the ratio of the number of the light receiving cells 16a and 16b is substantially equal to the area ratio of the focusing regions 12a and 12b corresponding to the light receiving cells 16a and 16b. FIG. 5 shows an example of the arrangement of the light receiving cells in the image sensor 16. In this embodiment, since the areas of the far focusing area 12a and the near focusing area 12b are equal, the numbers of the light receiving cells 16a and 16b are also equal. The light receiving cells 16a and 16b are preferably arranged so that the image quality does not deteriorate in a specific region or direction in the generated image, and interpolation of pixel data loss due to a mixture of cells corresponding to each of a plurality of regions is performed. It is preferable to appropriately compensate by such as.

CPU40は、図示せぬCCD制御部を介してCCD16での電荷蓄積時間(シャッタスピード)や、CCD16からの画像信号の読み出し制御等を行う。CCD16に蓄積された信号電荷は、CCD制御部から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部20に加えられる。 The CPU 40 performs charge accumulation time (shutter speed) in the CCD 16, image signal readout control from the CCD 16, and the like via a CCD control unit (not shown ). The signal charge accumulated in the CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit and added to the analog signal processing unit 20.

アナログ信号処理部20は、CCD16から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのR、G、B信号をサンプリングホールドし、増幅した後A/D変換器21に加える。A/D変換器21は、順次入力するアナログのR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。なおCCD16に代えてMOS型撮像素子を用いることができるが、その場合A/D変換器21は撮像素子内に内蔵されていることが多く、また上記相関二重サンプリングは必要としない。   The analog signal processing unit 20 samples and holds the R, G, and B signals for each pixel by the correlated double sampling process on the voltage signal output from the CCD 16, amplifies it, and adds the amplified signal to the A / D converter 21. The A / D converter 21 converts analog R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22. A MOS type image pickup device can be used in place of the CCD 16, but in this case, the A / D converter 21 is often built in the image pickup device, and the correlated double sampling is not required.

デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。   The digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.

デジタル信号処理部24で処理された画像データは、VRAM50に入力される。VRAM50には、それぞれが1コマ分の画像を表す画像データを記憶するA領域とB領域とが含まれており、1コマ分の画像を表す画像データがA領域とB領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされて液晶モニタ30に出力され、これにより被写体像が液晶モニタ30に表示される。液晶モニタ30はタッチパネルを採用しており、取得した画像を表示すると共に、画面を介したユーザの操作が可能になっている。   The image data processed by the digital signal processing unit 24 is input to the VRAM 50. The VRAM 50 includes an A area and a B area each storing image data representing an image of one frame, and image data representing an image of one frame is rewritten alternately between the A area and the B area. Thus, the written image data is read from an area other than the area where the image data is rewritten. The image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30, whereby the subject image is displayed on the liquid crystal monitor 30. The liquid crystal monitor 30 employs a touch panel, displays an acquired image, and allows a user operation via the screen.

また、操作部38のレリーズボタンの第1段階の押下(半押し)があると、CPU40はAE動作を開始する。また、レリーズボタンの半押し時にA/D変換器21から出力される画像データは、AE検出部44に取り込まれる。   When the first release button (half-press) of the release button of the operation unit 38 is pressed, the CPU 40 starts an AE operation. The image data output from the A / D converter 21 when the release button is half-pressed is taken into the AE detection unit 44.

CPU40は、AE検出部44から入力するG信号の積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいてCCD16の電子シャッタ(シャッタスピード)を決定し、その結果に基づいてCCD16での電荷蓄積時間を制御する。   The CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value of the G signal input from the AE detection unit 44, determines the electronic shutter (shutter speed) of the CCD 16 based on this shooting Ev value, and the result Based on the above, the charge accumulation time in the CCD 16 is controlled.

AE動作が終了し、レリーズボタンの第2段階の押下(全押し)があると、その押下に応答して遠合焦領域12a,近合焦領域12bに対応した画像データがA/D変換器21から出力されて画像入力コントローラ22からメモリ(SDRAM)48に入力され、一時的に記憶される。   When the AE operation ends and the release button is pressed in the second stage (full press), the image data corresponding to the far-focus area 12a and the near-focus area 12b is sent to the A / D converter in response to the press. 21 is input from the image input controller 22 to the memory (SDRAM) 48 and temporarily stored.

メモリ48への一時記憶後、デジタル信号処理部24におけるYC処理等の信号処理や圧縮伸張処理部26でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、それらの画像ファイルは、メディア・コントローラ52により読み出されてメモリカード54に記録される。メモリカード54に記録された画像は、操作部38の再生ボタンを操作することにより液晶モニタ30で再生表示することができる。   After temporary storage in the memory 48, image files are generated through signal processing such as YC processing in the digital signal processing unit 24 and compression processing to a JPEG (joint photographic experts group) format in the compression / decompression processing unit 26. Are read out by the media controller 52 and recorded in the memory card 54. The image recorded on the memory card 54 can be reproduced and displayed on the liquid crystal monitor 30 by operating the reproduction button of the operation unit 38.

<CPUの機能構成>
撮像装置10では後述するように撮影レンズ12の合焦距離制御や画像の生成・合成を行うが、このような処理は主としてCPU40の制御により行われる。図6はそのような処理を行うためのCPU40の機能を示す機能ブロック図であり、CPU40は画像生成機能f1(画像生成手段)、開口パターン変更機能f2(開口パターン変更手段)、及び距離情報取得機能f3(距離情報取得手段)を有している。以下、各機能の概略を説明する。
<Functional configuration of CPU>
As will be described later, the imaging apparatus 10 performs focus distance control of the photographing lens 12 and image generation / combination. Such processing is mainly performed by control of the CPU 40. FIG. 6 is a functional block diagram showing functions of the CPU 40 for performing such processing. The CPU 40 has an image generation function f1 (image generation means), an opening pattern change function f2 (opening pattern change means), and distance information acquisition. It has a function f3 (distance information acquisition means). Hereinafter, an outline of each function will be described.

画像生成機能f1は、CCD16から出力される撮像信号を用いて撮影レンズ12の各領域に対応した画像を生成するとともに、それらの画像から全焦点画像を生成する機能である。画像生成機能f1はまた、距離情報取得機能f3により取得された距離情報から距離画像を生成する。   The image generation function f1 is a function for generating an image corresponding to each region of the photographing lens 12 using an imaging signal output from the CCD 16 and generating an omnifocal image from these images. The image generation function f1 also generates a distance image from the distance information acquired by the distance information acquisition function f3.

開口パターン変更機能f2は上述のように、液晶シャッタ11−1を制御して符号化開口11の開口パターンを変更する機能である。   As described above, the opening pattern changing function f2 is a function for changing the opening pattern of the encoded opening 11 by controlling the liquid crystal shutter 11-1.

距離情報取得機能f3は、画像生成機能f1により取得された画像から被写体の距離情報を取得する機能である。   The distance information acquisition function f3 is a function for acquiring distance information of the subject from the image acquired by the image generation function f1.

<画像取得>
次に、撮像装置10での多合焦画像取得について説明する。図7は、撮影レンズ12の遠合焦領域12a,近合焦領域12bに対応する画像i1,i2(符号化開口画像)の取得の様子を示す図であり、各参照符号の示す内容は以下の通りである。
<Image acquisition>
Next, multifocus image acquisition by the imaging apparatus 10 will be described. FIG. 7 is a diagram showing how images i1 and i2 (encoded aperture images) corresponding to the far focus area 12a and the near focus area 12b of the photographic lens 12 are acquired. It is as follows.

a1,a2 :遠合焦領域12a,近合焦領域12bのレンズ−受光面間距離
b1,b2 :遠合焦領域12a,近合焦領域12bのレンズ−被写体間距離
FD1,FD2:遠合焦領域12a,近合焦領域12bの合焦距離
Q1,Q2 :被写体
従って図7の状況において、距離b1にある被写体Q1は遠合焦領域12aで合焦し、距離b2にある被写体Q2は近合焦領域12bで合焦する。図8は図7の状況において各合焦領域で取得した画像i1,i2の例である。図8(a)に示す画像i1は遠合焦領域12aで取得した画像を示し、距離b1にある被写体Q1が合焦し、距離b1と異なる距離b2にある被写体Q2は距離b1,b2の差に応じてボケている。一方図8(b)に示す画像i2は近合焦領域12bで取得した画像を示し、距離b2にある被写体が合焦し、距離b2と異なる距離b1にある被写体Q1は距離b2,b1の差に応じてボケている。
a1, a2: Distance between the lens and the light receiving surface in the far focus area 12a and the near focus area 12b b1, b2: Distance between the lens and the subject in the far focus area 12a, the near focus area 12b FD1, FD2: Far focus In-focus distance Q1, Q2 of subject 12a and near-focus region 12b: subject Therefore, in the situation of FIG. 7, subject Q1 at distance b1 is in-focus at far-focus region 12a, and subject Q2 at distance b2 is close-in Focusing is performed in the focal region 12b. FIG. 8 is an example of images i1 and i2 acquired in each focus area in the situation of FIG. An image i1 shown in FIG. 8A shows an image acquired in the far focus area 12a. A subject Q1 at a distance b1 is in focus, and a subject Q2 at a distance b2 different from the distance b1 is a difference between the distances b1 and b2. It is blurred according to. On the other hand, an image i2 shown in FIG. 8B shows an image acquired in the near focus area 12b. A subject at a distance b2 is in focus, and a subject Q1 at a distance b1 different from the distance b2 is a difference between the distances b2 and b1. It is blurred according to.

このように本実施の形態に係る撮像装置10では、符号化開口11と、撮影レンズ12と、選択的受光が可能な受光セル16a,16bを備えたCCD16とにより複数のPSFで符号化開口撮影を行い、ボケ具合(合焦状態)が異なる複数の画像i1,i2を同時に取得できる。複数の画像を同時に取得できるので撮影に手間や時間を要さず、また画像間で撮影タイミングにずれが生じることもない。また上述のように開口パターン変更機能f2及び液晶シャッタ11−1により開口パターンを変更することで、被写体の種類や撮影目的に合わせた所望の開口パターン(およびこれに応じたPSF)で画像を取得できる。なお以上の説明では画像が静止画・動画のいずれであるかは特に限定していないが、静止画・動画のいずれも撮影することができる。動画を撮影する場合でも領域間で撮影タイミングがずれることがなく良好な画質の画像が得られ、その後の画像処理にも有利である。   As described above, in the imaging apparatus 10 according to the present embodiment, the coded aperture photographing with a plurality of PSFs is performed by the coded aperture 11, the photographing lens 12, and the CCD 16 including the light receiving cells 16a and 16b capable of selective light reception. And a plurality of images i1 and i2 having different degrees of blurring (focused state) can be acquired simultaneously. Since a plurality of images can be acquired at the same time, it does not take time and effort to shoot, and there is no deviation in shooting timing between images. Further, by changing the opening pattern by the opening pattern changing function f2 and the liquid crystal shutter 11-1 as described above, an image is acquired with a desired opening pattern (and a PSF corresponding to the subject) and the photographing purpose. it can. In the above description, it is not particularly limited whether the image is a still image or a moving image, but either a still image or a moving image can be taken. Even when a moving image is shot, the shooting timing is not shifted between areas, and an image with good image quality is obtained, which is advantageous for subsequent image processing.

以上説明したように、撮像装置10では符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で取得することができる。   As described above, the imaging apparatus 10 can quickly and easily perform coded aperture shooting and acquire a plurality of images with good image quality.

さらに撮像装置10ではCPU40の距離情報取得機能f3により画像i1,i2から被写体の距離情報を取得し、画像生成機能f1により画像i1,i2と距離情報とから両被写体Q1,Q2が合焦した画像(全焦点画像)や距離画像を得ることができる。図9はそのようにして生成した全焦点画像i3の例である。画像i1〜i3及び距離情報(距離画像)は、被写体の3次元形状測定や他の画像との合成等様々な分野で利用可能である。   Further, in the imaging device 10, the distance information acquisition function f3 of the CPU 40 acquires subject distance information from the images i1 and i2, and the image generation function f1 acquires both the subjects Q1 and Q2 from the images i1 and i2 and the distance information. (Omnifocal image) and distance image can be obtained. FIG. 9 is an example of the omnifocal image i3 generated in this way. The images i1 to i3 and the distance information (distance image) can be used in various fields such as measurement of the three-dimensional shape of the subject and synthesis with other images.

なお撮像装置10において、被写体の距離情報は種々の方法で算出することができる。特開2011−124712号に記載されているように受光センサの位相差情報を利用して算出するようにしてもよいし、異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出するようにしてもよく、種々の方式を用いることができる。同様に、全焦点画像も種々の方法で取得することができる。距離情報や全焦点画像の取得方法が記載された文献としては、例えば“Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring (Changyin Zhou, Stephen Lin, and Shree Nayar; International Journal of Computer Vision (IJCV), Volume 93, Number 1, Pages 53-72, 2011)”,”Programmable Aperture Camera Using LCoS (Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, and Shree Nayar; ECCV 2010)”,“Coded Aperture Pairs for Depth from Defocus (Changyin Zhou, Stephen Lin, and Shree Nayar); ICCV 2009”等の論文が挙げられる。   In the imaging apparatus 10, the distance information of the subject can be calculated by various methods. As described in Japanese Patent Application Laid-Open No. 2011-124712, it may be calculated using the phase difference information of the light receiving sensor, or by comparing the contrast of a plurality of imaging signals acquired at different lens positions. The calculation may be performed, and various methods can be used. Similarly, an omnifocal image can also be acquired by various methods. References that describe how to acquire distance information and omnifocal images include, for example, “Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring (Changyin Zhou, Stephen Lin, and Shree Nayar; International Journal of Computer Vision (IJCV), Volume 93, Number 1, Pages 53-72, 2011) ”,“ Programmable Aperture Camera Using LCoS (Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, and Shree Nayar; ECCV 2010) ”,“ Coded Aperture Pairs for Depth from Defocus (Changyin Zhou, Stephen Lin, and Shree Nayar); ICCV 2009 ”.

<撮像装置の変形例>
上述した実施形態では撮影レンズが図3に示すようなレンズである場合について説明したが、本発明に係る撮像装置において撮影レンズはこのような態様に限定されるものではない。図10は撮影レンズの他の態様を示す図である。図10に示す撮影レンズ12’は物理的に分離した2枚以上のレンズからなる撮影レンズであって、撮影レンズの複数の領域が、2枚以上のレンズの組合せに対応してそれぞれ独立した特性(合焦距離と焦点距離との内少なくとも一方;以下、合焦距離の場合について説明する)を有するレンズである。図10中L1は撮影レンズ12’の光軸を示す。撮影レンズ12’では図10(a)に示すように、正面から見て半月型の領域がレンズ中心O1’の上下に設けられており、下部から順に遠合焦領域12a’、近合焦領域12b’、となっている。そしてこれら2つの合焦領域が物理的に分離した2枚のレンズとして作用し、全体として撮影レンズ12’を構成する。これらの領域において、合焦距離の具体的な値は撮影目的等に合わせて設定してよい。なお図10(b)に示すように、遠合焦領域12a’,近合焦領域12b’は光軸方向の異なる位置に配置してよい。
<Modification of imaging device>
In the above-described embodiment, the case where the photographing lens is a lens as illustrated in FIG. 3 has been described. However, the photographing lens in the imaging apparatus according to the present invention is not limited to such a mode. FIG. 10 is a diagram showing another aspect of the photographing lens. The photographic lens 12 ′ shown in FIG. 10 is a photographic lens composed of two or more physically separated lenses, and a plurality of areas of the photographic lens have independent characteristics corresponding to combinations of two or more lenses. (At least one of the focal distance and the focal distance ; hereinafter, the case of the focal distance will be described ). In FIG. 10, L1 indicates the optical axis of the photographing lens 12 ′. In the photographing lens 12 ′, as shown in FIG. 10A, half-moon shaped regions are provided above and below the lens center O1 ′ when viewed from the front, and the far focusing region 12a ′ and the near focusing region are sequentially arranged from the bottom. 12b ′. These two in- focus areas function as two lenses that are physically separated, and constitute a photographic lens 12 'as a whole. In these areas, a specific value of the in- focus distance may be set according to the purpose of photographing. As shown in FIG. 10B, the far focusing area 12a ′ and the near focusing area 12b ′ may be arranged at different positions in the optical axis direction.

また本発明に係る撮像装置において、撮影レンズの特性(合焦距離と焦点距離との内少なくとも一方)を変更できるようにしてもよい。特性の変更は例えば、撮影レンズ全体の移動や、複数のレンズで構成した撮影レンズの内一部のレンズを移動する等、種々の手法で実現できる。また図10に示すような2枚以上のレンズからなる撮影レンズの内いずれかのレンズを回転・移動させるようにしてもよい。このようなレンズの移動や回転は撮影者によるレンズ鏡筒の回転に応じて行われるようにしてもよいし、CPU40がモータやPZT(ピエゾ素子)を制御して行われるようにしてもよい。このように撮影レンズの特性を変更することで、所望の特性及びその組み合わせで、複数の画像を同時に取得することができる。なおこのように撮影レンズ(またはその一部)を移動・回転させて合焦距離や焦点距離を変更する場合は、CPU40が焦点距離/合焦距離変更機能f4を有し、また撮像装置がモータ・ドライバ等により構成されるレンズ駆動部を備えるようにする。   In the imaging apparatus according to the present invention, the characteristics of the photographing lens (at least one of the in-focus distance and the focal distance) may be changed. The change of the characteristics can be realized by various methods such as moving the entire photographing lens or moving a part of the photographing lens composed of a plurality of lenses. Further, any one of the photographing lenses including two or more lenses as shown in FIG. 10 may be rotated and moved. Such movement and rotation of the lens may be performed in accordance with the rotation of the lens barrel by the photographer, or may be performed by the CPU 40 controlling the motor and PZT (piezo element). In this way, by changing the characteristics of the photographing lens, a plurality of images can be acquired simultaneously with desired characteristics and combinations thereof. When the photographing lens (or a part thereof) is moved and rotated in this way to change the focal distance or focal distance, the CPU 40 has a focal distance / focus distance changing function f4, and the imaging apparatus is a motor. -Provide a lens driving unit composed of a driver or the like.

以上本発明の一の実施形態により説明したが、本発明の実施の態様は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。   Although one embodiment of the present invention has been described above, the embodiment of the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.

10…撮像装置、11…符号化開口、11−1…液晶シャッタ、12,12’ …撮影レンズ、12a,12a’ …遠合焦領域、12b,12b’ …近合焦領域、16…固体撮像素子(CCD)、16a…遠画像用受光セル、16b…近画像用受光セル、18a,18b…遮光膜、30…液晶モニタ、38…操作部、40…CPU、46…EEPROM、48…メモリ、54…メモリカード、a1,a2…レンズ−受光面間距離、b1,b2…レンズ−被写体間距離、FD1,FD2…合焦距離、Q1,Q2…被写体、i1〜i3…画像   DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11 ... Encoding aperture, 11-1 ... Liquid crystal shutter, 12, 12 '... Shooting lens, 12a, 12a' ... Far focus area | region, 12b, 12b '... Near focus area | region, 16 ... Solid imaging Element (CCD), 16a ... far light receiving cell, 16b ... near light receiving cell, 18a, 18b ... light shielding film, 30 ... liquid crystal monitor, 38 ... operation unit, 40 ... CPU, 46 ... EEPROM, 48 ... memory, 54 ... Memory card, a1, a2 ... Lens-light receiving surface distance, b1, b2 ... Lens-subject distance, FD1, FD2 ... In-focus distance, Q1, Q2 ... Subject, i1-i3 ... Image

Claims (7)

複数の領域を有する撮影レンズを備える単一の光学系であって、前記複数の領域がそれぞれ独立した特性を有する光学系と、
前記複数の領域のそれぞれに対応して設けられた符号化開口であって、前記複数の領域のそれぞれに対応して異なるパターンを有する符号化開口と、
前記複数の領域のそれぞれに対応して設けられた複数の受光センサであって、前記複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
前記複数の受光センサの撮像信号から前記複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、
を備え、
前記特性は焦点距離と合焦距離とのうち少なくとも一方であり、
前記複数の受光センサのそれぞれは、受光面上に設けられた遮光膜であって前記複数の領域のいずれかの形状に対応した形状の遮光膜を備え、前記撮像素子は前記遮光膜が前記複数の領域のいずれかを通過した光束を受光し他の領域を通過した光束を遮光することで前記選択的な受光を行う、
撮像装置。
A single optical system including an imaging lens having a plurality of regions, and an optical system having a characteristic of said plurality of regions are each independently
A coded opening provided corresponding to each of the plurality of regions, the coded opening having a different pattern corresponding to each of the plurality of regions ;
A plurality of light receiving sensors provided corresponding to each of the plurality of regions, wherein a light beam that has passed through any one of the plurality of regions and a coded aperture corresponding to any one of the regions is selected by pupil division. An image sensor having a plurality of light receiving sensors for receiving light automatically,
Image generating means for generating a plurality of images corresponding to each of the plurality of regions from imaging signals of the plurality of light receiving sensors;
With
Said properties Ri least one der of the focal length and focus distance,
Each of the plurality of light receiving sensors includes a light shielding film provided on a light receiving surface and having a shape corresponding to any shape of the plurality of regions, and the imaging element includes the plurality of light shielding films. The selective light reception is performed by receiving a light beam that has passed through one of the regions and shielding a light beam that has passed through another region,
Imaging device.
前記符号化開口のパターンを変更する開口パターン変更手段を備える、請求項1に記載の撮像装置。The imaging apparatus according to claim 1, further comprising an opening pattern changing unit that changes a pattern of the encoded opening. 前記生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える、請求項1または2に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a distance information acquisition unit that acquires distance information of a subject based on the plurality of generated images. 前記画像生成手段は前記取得した距離情報と前記生成した複数の画像とから全焦点画像を生成する、請求項3に記載の撮像装置。The imaging apparatus according to claim 3, wherein the image generation unit generates an omnifocal image from the acquired distance information and the generated plurality of images. 前記複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える、請求項1から4のいずれか1項に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a focal length changing unit that changes a focal length of at least one of the plurality of areas. 前記複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える、請求項1から5のいずれか1項に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a focus distance changing unit that changes a focus distance of at least one of the plurality of areas. 前記撮影レンズは物理的に分離した2枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、前記2枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する、請求項1から6のいずれか1項に記載の撮像装置。The photographing lens is a photographing lens composed of two or more physically separated lenses, and a plurality of regions of the photographing lens have independent characteristics corresponding to the combination of the two or more lenses, The imaging device according to any one of claims 1 to 6.
JP2012077625A 2012-03-29 2012-03-29 Imaging device Active JP5832353B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012077625A JP5832353B2 (en) 2012-03-29 2012-03-29 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012077625A JP5832353B2 (en) 2012-03-29 2012-03-29 Imaging device

Publications (3)

Publication Number Publication Date
JP2013205781A JP2013205781A (en) 2013-10-07
JP2013205781A5 JP2013205781A5 (en) 2014-08-28
JP5832353B2 true JP5832353B2 (en) 2015-12-16

Family

ID=49524886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012077625A Active JP5832353B2 (en) 2012-03-29 2012-03-29 Imaging device

Country Status (1)

Country Link
JP (1) JP5832353B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014046184A1 (en) * 2012-09-24 2014-03-27 富士フイルム株式会社 Device and method for measuring distances of multiple subjects
JP6214481B2 (en) 2014-06-27 2017-10-18 富士フイルム株式会社 Imaging device
JP6165680B2 (en) 2014-06-27 2017-07-19 富士フイルム株式会社 Imaging device
JP6536877B2 (en) 2014-07-31 2019-07-03 パナソニックIpマネジメント株式会社 Imaging device and imaging system
JP6443982B2 (en) * 2015-02-26 2018-12-26 国立大学法人 鹿児島大学 Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223874A (en) * 2000-02-04 2001-08-17 Kiyoharu Aizawa Arbitrary focused image composite device and camera for simultaneously picking up a plurality of images, which is used for the same
JP2006184844A (en) * 2004-12-03 2006-07-13 Tochigi Nikon Corp Image forming optical system and imaging apparatus using the same
JP5173665B2 (en) * 2008-08-08 2013-04-03 キヤノン株式会社 Image capturing apparatus, distance calculation method thereof, and focused image acquisition method
KR20100090961A (en) * 2009-02-09 2010-08-18 삼성전자주식회사 Imaging method with variable coded aperture device and apparatus using the method
JP2011166255A (en) * 2010-02-05 2011-08-25 Panasonic Corp Image pickup device
EP2602586A4 (en) * 2010-08-06 2016-11-23 Panasonic Ip Man Co Ltd Imaging device and imaging method

Also Published As

Publication number Publication date
JP2013205781A (en) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5647751B2 (en) Imaging apparatus and imaging method
JP5421829B2 (en) Imaging device
JP5385462B2 (en) Monocular stereoscopic imaging apparatus, shading correction method for monocular stereoscopic imaging apparatus, and program for monocular stereoscopic imaging apparatus
JP5647739B2 (en) Imaging method
JP2009036986A (en) Photographing device and control method for photographing device
JP5667726B2 (en) Interchangeable lens camera and viewfinder display method
US9413970B2 (en) Camera and method of controlling operation of same
JP5832353B2 (en) Imaging device
WO2013141007A1 (en) Image capture device
JP5203657B2 (en) Camera with enlarged display function
JP2014171236A (en) Imaging device, imaging method and program
JP2009069170A (en) Photographing device and control method of photographing device
JP2009036985A (en) Photographing device and control method for photographing device
JP6706167B2 (en) Imaging device, image synthesizing method, and program
JP2007225897A (en) Focusing position determination device and method
JP4957435B2 (en) Imaging device
JP5457240B2 (en) Stereo imaging device
JP2007248698A (en) Method and apparatus for imaging
JP5027029B2 (en) Camera with enlargement display function and camera control method
JP2009036987A (en) Photographing device and control method for photographing device
JP2009048123A (en) Photographing equipment and method of controlling same
JP2009086036A (en) Imaging device and control method for imaging device
JP5644488B2 (en) Imaging device
JP2011075841A (en) Imaging apparatus
JP2009048126A (en) Photographing equipment and method of controlling same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151027

R150 Certificate of patent or registration of utility model

Ref document number: 5832353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250