JP5490514B2

JP5490514B2 - Imaging apparatus and imaging method

Info

Publication number: JP5490514B2
Application number: JP2009290773A
Authority: JP
Inventors: 康裕森本
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2014-05-14
Anticipated expiration: 2029-12-22
Also published as: JP2011135170A; KR101691551B1; KR20110073159A

Description

本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.

従来の一般的なデジタルスチルカメラは、フォーカスレンズで集光した光をＣＣＤイメージセンサやＣＭＯＳイメージセンサその他の撮像素子に照射することでカラー画像信号を生成している。しかし最近では、レンズと撮像素子の間に単一平面上に配列されたマイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置が提案されている（例えば非特許文献１参照）。かかる撮像装置はプレノプティック（Ｐｌｅｎｏｐｔｉｃ）型の撮像装置と称されている。 A conventional general digital still camera generates a color image signal by irradiating light collected by a focus lens to a CCD image sensor, a CMOS image sensor, or other imaging devices. Recently, however, an imaging apparatus having an optical system including a lens array including a group of microlenses arranged on a single plane between a lens and an imaging element has been proposed (for example, see Non-Patent Document 1). Such an imaging apparatus is called a plenoptic type imaging apparatus.

非特許文献１には、かかる光学系により得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されており、視差を利用した測距や、３Ｄ画像への応用、解像度の向上等の展開が考えられている。また、かかる光学系を用いた技術としては、例えば特許文献１〜３が挙げられる。 Non-Patent Document 1 introduces an example of freely determining the depth of field by reconstructing an image obtained by such an optical system. Developments such as application and resolution improvement are considered. Moreover, as a technique using such an optical system, for example, Patent Documents 1 to 3 are cited.

特開２００３−１６３９３８号公報JP 2003-163938 A 特開２００４−１４６６１９号公報JP 2004-146619 A 特開２００７−３１７９５１号公報JP 2007-317951 A

(Ren Ng)、他5名 “LightField Photograph with a Hand-held Plenoptic Camera”、StanfordTech Report CTSR 2005-02、p.1-11(Ren Ng) and 5 others “LightField Photograph with a Hand-held Plenoptic Camera”, StanfordTech Report CTSR 2005-02, p.1-11

このようなマイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置では、通常、撮像素子の出力を全てメモリに一時的に格納し、必要な画像データを選択的に処理することにより画像を再構成している。しかし、実際にレンズアレイを備える光学系を備える撮像装置の使用環境を考えると、光学系で結像された画像をリアルタイムで確認するためのライブビュー画像を生成する必要がある。従って、撮像素子の出力を全てメモリに一時的に格納すると、ライブビュー画像の作成処理に時間がかかってしまい、ライブビュー画像がコマ落ちしたものになってしまうという問題がある。 In an image pickup apparatus having an optical system including a lens array composed of such a microlens group, usually, all the outputs of the image pickup element are temporarily stored in a memory, and an image is obtained by selectively processing necessary image data. It has been reconfigured. However, considering the use environment of an imaging apparatus that actually includes an optical system including a lens array, it is necessary to generate a live view image for confirming an image formed by the optical system in real time. Therefore, if all the outputs of the image sensor are temporarily stored in the memory, there is a problem that it takes time to create a live view image and the live view image is dropped.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成するために撮像素子からデータを読み出すことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a live view image without impairing the advantages of having an optical system including a lens array composed of microlens groups. It is an object of the present invention to provide a new and improved image pickup apparatus and image pickup method capable of reading data from an image pickup element in order to efficiently generate the image.

上記課題を解決するために、本発明のある観点によれば、単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、を備え、前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードと、を備える、撮像装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, a lens array in which a plurality of lenses provided on a single plane are regularly arranged, and irradiation of transmitted light from each lens of the lens array A photoelectric conversion unit including a plurality of photoelectric conversion regions including a plurality of pixels provided on a single plane corresponding to a range, and the photoelectric conversion unit receives data from all the pixels included in the photoelectric conversion region. The first mode to be read continuously and a part of pixels that are relatively aligned with each lens are selected from each photoelectric conversion region, and the pixel array after the selection is capable of generating a color image. And an one or more second modes for continuously reading data from the selected pixels.

かかる構成によれば、レンズアレイは単一平面上に設けられる複数のレンズが規則的に配列されており、光電変換部はレンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備えている。そして、光電変換部は複数のモードによって画素からデータを読み出すことが可能であり、その内の一つ以上の第２モードにおいては、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出すことができる。その結果、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成することができる。 According to such a configuration, the lens array has a plurality of lenses arranged on a single plane regularly arranged, and the photoelectric conversion unit has a single corresponding to the irradiation range of the transmitted light from each lens of the lens array. A plurality of photoelectric conversion regions including a plurality of pixels provided on a plane are provided. The photoelectric conversion unit can read data from the pixel in a plurality of modes, and in one or more of the second modes, the position of each photoelectric conversion region is relatively matched to each lens. A part of the pixels is selected, and the pixel array after the selection can generate a color image, and data can be continuously read from the selected pixels. As a result, it is possible to efficiently generate a live view image without impairing the advantages of having an optical system including a lens array made up of microlens groups.

前記第２モードにおける選択後の画素配列はベイヤー配列であってもよい。その結果、第２モードで選択された画素からカラー画像を生成することができる。 The pixel array after selection in the second mode may be a Bayer array. As a result, a color image can be generated from the pixels selected in the second mode.

前記光電変換領域を構成する画素の一辺あたりの数が奇数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない奇数の数の画素からなる領域からデータを読み出してもよい。その結果、カラー画像の生成が可能となるように画素を各光電変換領域から選択することができる。 When reading out in the second mode from the photoelectric conversion unit when the number of pixels constituting the photoelectric conversion region is an odd number, the number of one side is an odd number of pixels smaller than the number per side. Data may be read from the area. As a result, a pixel can be selected from each photoelectric conversion region so that a color image can be generated.

前記光電変換領域を構成する画素の一辺あたりの数が偶数である場合に、前記光電変換部から前記第２モードで読み出すときには、一辺の数が前記一辺あたりの数より少ない偶数の数の画素からなる領域からデータを読み出してもよい。その結果、カラー画像の生成が可能となるように画素を各光電変換領域から選択することができる。 When the number of pixels per side constituting the photoelectric conversion region is an even number, when reading from the photoelectric conversion unit in the second mode, the number of sides is an even number of pixels smaller than the number per side. Data may be read from the area. As a result, a pixel can be selected from each photoelectric conversion region so that a color image can be generated.

前記第２モードによって前記光電変換部から読み出したデータを用いて生成された画像を所定の周期で切り替えて連続して表示する表示部をさらに備えてもよい。その結果、第２モードによって光電変換部から読み出したデータを用いて生成された画像を表示することができる。 You may further provide the display part which switches the image produced | generated using the data read from the said photoelectric conversion part by the said 2nd mode with a predetermined period, and displays it continuously. As a result, an image generated using data read from the photoelectric conversion unit in the second mode can be displayed.

前記光電変換部の各画素からはデータをそのまま読み出して、前記表示部に表示する画像の生成に用いてもよい。また、前記光電変換部の各画素における赤、緑、青の代表値を用いて前記表示部に表示する画像を生成するようにしてもよい。代表値を用いることで、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。 Data may be read from each pixel of the photoelectric conversion unit as it is and used to generate an image to be displayed on the display unit. Moreover, you may make it produce | generate the image displayed on the said display part using the representative value of red, green, and blue in each pixel of the said photoelectric conversion part. By using the representative value, it is possible to reduce the amount of calculation when generating a color image using the read data.

前記光電変換部の内部で予め各前記代表値を演算してもよい。また、前記光電変換部からデータを読み出してから各前記代表値を演算する演算部をさらに備えていてもよい。その結果、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。 The representative values may be calculated in advance inside the photoelectric conversion unit. In addition, a calculation unit that calculates each representative value after reading data from the photoelectric conversion unit may be further provided. As a result, it is possible to reduce the amount of calculation when generating a color image using the read data.

前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの全てのレンズに対応する前記光電変換領域を対象としてもよい。また、前記第２モードによって前記光電変換部からデータを読み出す際には、前記レンズアレイの一部のレンズに対応する前記光電変換領域を対象としてもよい。その結果、読み出したデータを用いたカラー画像の生成の際の演算量を削減することができる。 When reading data from the photoelectric conversion unit in the second mode, the photoelectric conversion regions corresponding to all the lenses of the lens array may be targeted. Further, when reading data from the photoelectric conversion unit in the second mode, the photoelectric conversion region corresponding to a part of the lenses of the lens array may be targeted. As a result, it is possible to reduce the amount of calculation when generating a color image using the read data.

上記撮像装置は、前記光電変換部の周辺部に行くに従って、前記光電変換部に対して垂直に光を照射する方向へ前記レンズアレイの光軸をシフトさせてもよい。光電変換部に対して垂直に光が照射される方向へレンズアレイの光軸をシフトすることで光量を確保し、周辺部の画質を向上させることができる。 The imaging apparatus may shift the optical axis of the lens array in a direction in which light is irradiated perpendicularly to the photoelectric conversion unit as it goes to the periphery of the photoelectric conversion unit. By shifting the optical axis of the lens array in a direction in which light is irradiated perpendicularly to the photoelectric conversion unit, the amount of light can be secured and the image quality of the peripheral part can be improved.

また、上記課題を解決するために、本発明の別の観点によれば、単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、を備える撮像装置に対して、前記光電変換部は、前記光電変換領域に含まれる全ての画素からデータを連続して読み出す第１モードと、各光電変換領域から各レンズに対し相対的に位置が一致する一部の画素を選択し、該選択後の画素配列はカラー画像の生成が可能なものであり、該選択した画素からデータを連続して読み出す一つ以上の第２モードと、を有するデータ読み出しステップを備える、撮像方法が提供される。 In order to solve the above problems, according to another aspect of the present invention, a lens array in which a plurality of lenses provided on a single plane are regularly arranged, and transmission from each lens of the lens array are provided. A photoelectric conversion unit including a plurality of photoelectric conversion regions including a plurality of pixels provided on a single plane corresponding to an irradiation range of light, and the photoelectric conversion unit is provided in the photoelectric conversion region. A first mode in which data is continuously read from all of the included pixels, and a part of pixels that are relatively in position relative to each lens are selected from each photoelectric conversion region, and the pixel array after the selection is a color image There is provided an imaging method including a data reading step including one or more second modes in which data is continuously read out from the selected pixel.

以上説明したように本発明によれば、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成するために撮像素子からデータを読み出すことが可能な、新規かつ改良された撮像装置及び撮像方法を提供することができる。 As described above, according to the present invention, data is read from the image sensor in order to efficiently generate a live view image without impairing the advantages of having an optical system including a lens array including a microlens group. Therefore, it is possible to provide a new and improved imaging apparatus and imaging method capable of performing

マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。It is explanatory drawing explaining an optical system provided with the lens array which consists of a micro lens group. マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。It is explanatory drawing explaining an optical system provided with the lens array which consists of a micro lens group. 本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。It is explanatory drawing shown about the structure of the imaging device 100 concerning one Embodiment of this invention. 本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示す流れ図である。5 is a flowchart showing a readout mode switching process in the imaging apparatus 100 according to the embodiment of the present invention. 間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the read-out process of the pixel data of the image sensor 106 by thinning mode. 間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the read-out process of the pixel data of the image sensor 106 by thinning mode. ＣＭＯＳセンサからの画素の読出し順序について示す説明図である。It is explanatory drawing shown about the reading order of the pixel from a CMOS sensor.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

まず、本発明の好適な実施の形態について詳細に説明する前に、マイクロレンズ群からなるレンズアレイを備える光学系の構成について説明し、その後に、かかるレンズアレイを備える撮像装置の構成について説明することにする。 First, before describing the preferred embodiment of the present invention in detail, the configuration of an optical system including a lens array composed of microlens groups will be described, and then the configuration of an imaging apparatus including such a lens array will be described. I will decide.

図１及び図２は、マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。図１は、被写体からの光を集光するレンズと撮像素子との間にレンズアレイを備えたものを側面方向から見た場合について示す説明図であり、図２は、レンズアレイの配置状態を概念的に示す説明図である。 1 and 2 are explanatory diagrams for explaining an optical system including a lens array including a microlens group. FIG. 1 is an explanatory diagram showing a case where a lens array is provided between a lens for condensing light from a subject and an image pickup device when viewed from the side, and FIG. 2 shows an arrangement state of the lens array. It is explanatory drawing shown notionally.

図１に示したように、マイクロレンズ群からなるレンズアレイを備える光学系においては、主レンズ１１を通過した被写体からの光がレンズアレイ１２の各マイクロレンズ１２ａに合焦するように投影される。そして、撮像センサ１３には、マイクロレンズ１２ａを透過した光が照射される。 As shown in FIG. 1, in an optical system including a lens array composed of microlens groups, light from a subject passing through the main lens 11 is projected so as to be focused on each microlens 12 a of the lens array 12. . The image sensor 13 is irradiated with light transmitted through the microlens 12a.

撮像センサ１３には、隣接するマイクロレンズ１２ａからの光が重ならないように、主レンズ１１の絞り１４を設定することが上記非特許文献１に記載されている。そして、上記非特許文献１には、図１に示したような光学系で得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されている。従って、このようなマイクロレンズ群からなるレンズアレイを備える光学系は、視差を利用した測距や三次元画像への応用、解像度の向上処理への展開が考えられている。 Non-Patent Document 1 discloses that the imaging sensor 13 is set with a diaphragm 14 of the main lens 11 so that light from adjacent microlenses 12a does not overlap. Non-Patent Document 1 introduces an example in which the depth of field is freely determined by reconstructing an image obtained by the optical system as shown in FIG. Accordingly, an optical system including a lens array including such a microlens group is considered to be developed for distance measurement using parallax, application to a three-dimensional image, and resolution improvement processing.

しかし、上述したように、図１および図２に示したようなマイクロレンズ１２ａからなるレンズアレイ１２を備える光学系を有する撮像装置の使用環境を考えると、光学系で結像された画像をリアルタイムで確認するためのライブビュー画像を生成する必要がある。従って、撮像素子の出力を全てメモリに一時的に格納すると、ライブビュー画像の作成処理に時間がかかってしまい、ライブビュー画像がコマ落ちしたものになってしまうという問題がある。そこで本実施形態では、マイクロレンズ群からなるレンズアレイを備える光学系を有することの利点を損なうことなく、ライブビュー画像を効率的に生成することができる撮像装置について説明する。 However, as described above, in consideration of the use environment of the imaging apparatus having the optical system including the lens array 12 including the microlenses 12a as shown in FIGS. 1 and 2, an image formed by the optical system is real-time. It is necessary to generate a live view image for confirmation in. Therefore, if all the outputs of the image sensor are temporarily stored in the memory, there is a problem that it takes time to create a live view image and the live view image is dropped. Therefore, in the present embodiment, an imaging apparatus that can efficiently generate a live view image without impairing the advantages of having an optical system including a lens array including a microlens group will be described.

以上、図１及び図２を用いて、マイクロレンズ群からなるレンズアレイを備える光学系の構成について説明した。次に、かかる光学系を有する撮像装置の構成について説明する。 The configuration of the optical system including the lens array including the micro lens group has been described above with reference to FIGS. 1 and 2. Next, the configuration of an imaging apparatus having such an optical system will be described.

図３は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図３を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。 FIG. 3 is an explanatory diagram showing the configuration of the imaging apparatus 100 according to the embodiment of the present invention. Hereinafter, the configuration of the imaging apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

図３に示したように、本発明の一実施形態にかかる撮像装置１００は、主レンズ１０２と、マイクロレンズアレイ１０４と、撮像センサ１０６と、ＣＰＵ１０８と、メモリ１１０と、アナログフロントエンド（ＡＦＥ）部及びＡ／Ｄ変換部１１２と、画像入力部１１４と、カラー画素生成部１１６と、画像再構成部１１８と、デジタルバックエンド（ＤＢＥ）部１２０と、画像圧縮部１２２と、メモリカードドライバ１２４と、表示画像生成部１２６と、表示ドライバ１２８と、タイミングジェネレータ（ＴＧ）１３０と、モータドライバ１３２と、フォーカスレンズモータ１３４と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）１３６と、を含んで構成される。 As shown in FIG. 3, the imaging apparatus 100 according to the embodiment of the present invention includes a main lens 102, a microlens array 104, an imaging sensor 106, a CPU 108, a memory 110, and an analog front end (AFE). And A / D converter 112, image input unit 114, color pixel generation unit 116, image reconstruction unit 118, digital back end (DBE) unit 120, image compression unit 122, and memory card driver 124. A display image generation unit 126, a display driver 128, a timing generator (TG) 130, a motor driver 132, a focus lens motor 134, and an LCD (Liquid Crystal Display) 136.

主レンズ１０２は、被写体へ焦点を合わせるためのレンズであるフォーカスレンズや、焦点距離を変化させるズームレンズ等を含んで構成される。フォーカスレンズモータ１３４の駆動により主レンズ１０２に含まれるフォーカスレンズの位置を移動させることで、撮像装置１００は被写体に焦点を合わせることができる。 The main lens 102 includes a focus lens that is a lens for focusing on a subject, a zoom lens that changes a focal length, and the like. By moving the position of the focus lens included in the main lens 102 by driving the focus lens motor 134, the imaging apparatus 100 can focus on the subject.

マイクロレンズアレイ１０４は、複数のマイクロレンズ群から構成されるレンズアレイである。マイクロレンズアレイ１０４は、マイクロレンズ１０４ａが単一平面上に規則的に配列することで構成される。主レンズ１０２を通過した光はマイクロレンズアレイ１０４の各マイクロレンズを通過して撮像センサ１０６へ照射されることになる。 The microlens array 104 is a lens array composed of a plurality of microlens groups. The microlens array 104 is configured by regularly arranging microlenses 104a on a single plane. The light that has passed through the main lens 102 passes through each microlens of the microlens array 104 and is irradiated to the image sensor 106.

撮像センサ１０６は、マイクロレンズアレイ１０４を構成する各マイクロレンズ１０４ａを通過した光から画像信号を生成するものである。 The imaging sensor 106 generates an image signal from the light that has passed through each microlens 104 a that constitutes the microlens array 104.

ＣＰＵ１０８は、撮像装置１００の各部の動作を制御するものである。ＣＰＵ１０８は、撮像装置１００の内部に格納されたコンピュータプログラムを順次実行することで、撮像装置１００の各部の動作を制御することができる。またメモリ１１０は、撮像装置１００の動作の際に必要となる情報やデータが格納されるものである。 The CPU 108 controls the operation of each unit of the imaging device 100. The CPU 108 can control the operation of each unit of the imaging apparatus 100 by sequentially executing computer programs stored in the imaging apparatus 100. The memory 110 stores information and data necessary for the operation of the imaging apparatus 100.

アナログフロントエンド部及びＡ／Ｄ変換部１１２は、撮像センサ１０６で光電変換されたアナログの信号を受け取り、デジタル信号に変換して出力するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２でデジタル信号に変換された信号は画像入力部１１４に送られる。 The analog front end unit and A / D conversion unit 112 receives an analog signal photoelectrically converted by the image sensor 106, converts it into a digital signal, and outputs it. The signal converted into a digital signal by the analog front end unit and A / D conversion unit 112 is sent to the image input unit 114.

画像入力部１１４は、アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号を受け取って、メモリ１１０に格納するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号がメモリ１１０に格納されることで、撮像装置１００はデジタル信号に対する各種信号処理を実行することができる。 The image input unit 114 receives the digital signal generated by the analog front end unit and the A / D conversion unit 112 and stores the digital signal in the memory 110. By storing the digital signal generated by the analog front end unit and the A / D conversion unit 112 in the memory 110, the imaging apparatus 100 can execute various signal processes on the digital signal.

カラー画素生成部１１６は、撮像センサ１０６が受光した光から生成された画像信号に対して色データを生成する信号処理を実行するものである。 The color pixel generation unit 116 performs signal processing for generating color data for an image signal generated from light received by the image sensor 106.

画像再構成部１１８は、マイクロレンズアレイ１０４を通して撮像された画像を再構成するものである。画像再構成部１１８は、例えばマイクロレンズアレイ１０４を通して撮像された画像の再構成により被写界深度を変更して、合焦させる被写体を変化させることができる。また画像再構成部１１８は、ノイズの除去や色の補正等による解像度向上処理を実行してもよい。 The image reconstruction unit 118 reconstructs an image captured through the microlens array 104. The image reconstruction unit 118 can change the subject to be focused by changing the depth of field by, for example, reconstruction of an image captured through the microlens array 104. In addition, the image reconstruction unit 118 may perform resolution improvement processing such as noise removal or color correction.

デジタルバックエンド部１２０は、マイクロレンズアレイ１０４を通して撮像され、カラー画素生成部１１６でカラー化された画像に対する画像処理を実行するものであり、例えば彩度を強調する処理を実行したり、画像サイズを変換する処理を実行したりするものである。 The digital back-end unit 120 performs image processing on an image captured through the microlens array 104 and colorized by the color pixel generation unit 116. For example, the digital back-end unit 120 executes processing for enhancing saturation or image size. The process which converts is performed.

画像圧縮部１２２は、画像データを適切な形式に圧縮するものである。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。メモリカードドライバ１２４は、画像圧縮部１２２で圧縮された後の画像データの、メモリカード（図示せず）への記録、及びメモリカードに記録された画像データのメモリカードからの読み出しを実行するものである。 The image compression unit 122 compresses image data into an appropriate format. The image compression format may be a reversible format or an irreversible format. As an example of a suitable format, you may convert into a JPEG (Joint Photographic Experts Group) format and a JPEG2000 format. The memory card driver 124 executes recording of the image data compressed by the image compression unit 122 to a memory card (not shown) and reading of the image data recorded on the memory card from the memory card. It is.

表示画像生成部１２６は、撮影画像や、撮像装置１００の各種設定画面を表示するＬＣＤ１３６に表示する画像（表示画像）を生成するものである。例えば、撮影画像を表示部に表示させる場合には、表示画像生成部１２６は、表示部の解像度や画面サイズに合わせて画像データを変換して、表示画像を生成する。表示ドライバ１２８は、表示画像生成部１２６が生成した表示画像をＬＣＤ１３６に表示させる処理を実行するものである。 The display image generation unit 126 generates a captured image and an image (display image) to be displayed on the LCD 136 that displays various setting screens of the imaging apparatus 100. For example, when a captured image is displayed on the display unit, the display image generation unit 126 converts the image data in accordance with the resolution and screen size of the display unit and generates a display image. The display driver 128 executes processing for causing the LCD 136 to display the display image generated by the display image generation unit 126.

タイミングジェネレータ１３０は、撮像センサ１０６にタイミング信号を入力する。タイミングジェネレータ１３０からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１３０からのタイミング信号により撮像センサ１０６の駆動が制御され、シャッタに同期して被写体からの光を露光し、その後読みだし駆動を行うことで、画像データの基となる電気信号が生成される。 The timing generator 130 inputs a timing signal to the image sensor 106. The shutter speed is determined by the timing signal from the timing generator 130. In other words, the drive of the image sensor 106 is controlled by the timing signal from the timing generator 130, the light from the subject is exposed in synchronization with the shutter, and then the readout signal is driven, so that the electrical signal that is the basis of the image data is obtained. Generated.

モータドライバ１３２は、ＣＰＵ１０８の制御に基づいて、フォーカスレンズモータ１３４を駆動させるものである。フォーカスレンズモータ１３４は、モータによって主レンズ１０２の位置を制御するものである。モータドライバ１３２及びフォーカスレンズモータ１３４を介して主レンズ１０２の位置を制御することで、被写体のピントを調節することができる。 The motor driver 132 drives the focus lens motor 134 based on the control of the CPU 108. The focus lens motor 134 controls the position of the main lens 102 by the motor. By controlling the position of the main lens 102 via the motor driver 132 and the focus lens motor 134, the focus of the subject can be adjusted.

ＬＣＤ１３６は、例えばＬＣＤパネルからなり、いわゆるライブビュー画像の表示や、撮影画像の表示、メモリカード（図示せず）に記録された画像等が表示される。 The LCD 136 includes, for example, an LCD panel, and displays a so-called live view image, a captured image, an image recorded on a memory card (not shown), and the like.

なお、図３には図示していないが、撮像装置１００には、絞り、当該絞りを調節するためのモータ、及び当該モータを駆動させるためのモータドライバを備えていても良い。さらに、図３には図示していないが、撮像装置１００には、撮影動作を開始するためのシャッタボタン、絞りやシャッタ速度、感度等の撮影情報を設定するための操作ボタン等を備えていてもよい。 Although not shown in FIG. 3, the imaging apparatus 100 may include an aperture, a motor for adjusting the aperture, and a motor driver for driving the motor. Further, although not shown in FIG. 3, the imaging apparatus 100 includes a shutter button for starting a shooting operation, an operation button for setting shooting information such as an aperture, a shutter speed, and sensitivity. Also good.

以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。このような構成を有する撮像装置１００では、ライブビュー画像をＬＣＤ１３６に表示させることによるファインダー機能の搭載が必須である。その際、装置のサイズやコスト面を考慮すると、マイクロレンズアレイ１０４を通して撮像センサ１０６で光電変換された画素データを用いたファインダー機能を搭載することが望ましい。 The configuration of the imaging device 100 according to the embodiment of the present invention has been described above. In the imaging apparatus 100 having such a configuration, it is essential to mount a finder function by displaying a live view image on the LCD 136. At that time, in view of the size and cost of the apparatus, it is desirable to mount a finder function using pixel data photoelectrically converted by the image sensor 106 through the microlens array 104.

撮像センサ１０６を用いてライブビュー画像を生成するには、処理時間の短縮や処理負荷の軽減を図るため、撮像センサ１０６に、ライブビュー画像を生成するための読み出しモードを持たせることが望ましい。具体的には、全ての画素からデータを読み出すのではなく、画素を間引いて画素データを読み出す読み出しモードを撮像センサ１０６に備えていることが望ましい。また、撮像センサ１０６を用いてライブビュー画像を生成するには、ライブビュー画像を生成するための読み出しモードで画素データを読み出した場合であっても、カラー画像を生成できるフィルタ配置が撮像センサ１０６になされていることが望ましい。 In order to generate a live view image using the image sensor 106, it is desirable that the image sensor 106 has a read mode for generating a live view image in order to reduce processing time and processing load. Specifically, it is desirable that the image sensor 106 has a read mode in which pixel data is read out by thinning out pixels instead of reading out data from all pixels. Further, in order to generate a live view image using the image sensor 106, the filter arrangement that can generate a color image is used even when the pixel data is read in the read mode for generating the live view image. It is desirable that

そこで本実施形態においては、ライブビュー画像の効率的な生成のために画素を間引いて画素データを読み出す読み出しモードを備えつつ、間引いて読み出された画素データを用いてカラー画像を生成することができる撮像センサ１０６を備える撮像装置１００について説明する。なお、以下においては、画素を間引いて画素データを読み出す読み出しモードのことを説明の便宜上「間引きモード」とも称する。これに対して、以下においては、全ての画素から画素データを読み出す読み出しモードのことを説明の便宜上「全画素モード」とも称する。 Therefore, in the present embodiment, for efficient generation of the live view image, a color image is generated using the pixel data read out by thinning out the pixel data while the pixel data is read out by thinning out the pixels. An imaging apparatus 100 including an imaging sensor 106 that can be used will be described. In the following, a read mode in which pixel data is read out by thinning out pixels is also referred to as a “thinning mode” for convenience of explanation. On the other hand, in the following, a read mode in which pixel data is read from all pixels is also referred to as an “all pixel mode” for convenience of explanation.

以下の説明では、まず本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示し、当該切り替え処理によって選択される間引きモードによる画素データの読み出し処理について説明する。 In the following description, first, read mode switching processing in the imaging apparatus 100 according to an embodiment of the present invention will be described, and pixel data read processing in the thinning mode selected by the switching processing will be described.

図４は、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について示す流れ図である。以下、図４を用いて本発明の一実施形態にかかる撮像装置１００における、撮像センサ１０６の読み出しモードの切り替え処理について説明する。 FIG. 4 is a flowchart showing the readout mode switching process in the imaging apparatus 100 according to the embodiment of the present invention. Hereinafter, the reading mode switching process of the imaging sensor 106 in the imaging apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

まず、撮像センサ１０６からどのモードで画素データを読み出すかがＣＰＵ１０８で判断される（ステップＳ１０１）。ここでは、撮像センサ１０６から全画素モードと間引きモードのどちらで画素データを読み出すべきかがＣＰＵ１０８で判断される。 First, the CPU 108 determines in which mode the pixel data is read from the image sensor 106 (step S101). Here, the CPU 108 determines whether the pixel data should be read from the image sensor 106 in the all pixel mode or the thinning mode.

全画素モードと間引きモードのどちらで画素データを読み出すべきかについては、撮像装置１００の動作状態によって判断してもよい。例えば、撮像装置１００がライブビュー画像をＬＣＤ１３６に表示している状態では、ＣＰＵ１０８は、撮像センサ１０６からは間引きモードで画素データを読み出すべきと判断することができる。また、撮像装置１００のシャッタボタンがユーザによって押下され、撮像装置１００が撮影動作を実行する状態では、ＣＰＵ１０８は、撮像センサ１０６からは全画素モードで画素データを読み出すべきと判断することができる。 Whether the pixel data should be read out in the all-pixel mode or the thinning-out mode may be determined according to the operation state of the imaging apparatus 100. For example, in a state where the imaging apparatus 100 displays a live view image on the LCD 136, the CPU 108 can determine that pixel data should be read from the imaging sensor 106 in the thinning mode. Further, in a state where the shutter button of the image capturing apparatus 100 is pressed by the user and the image capturing apparatus 100 executes a photographing operation, the CPU 108 can determine that pixel data should be read from the image sensor 106 in the all pixel mode.

上記ステップＳ１０１における判断の結果、撮像センサ１０６から全画素モードで画素データを読み出すべきであるとＣＰＵ１０８が判断すると、ＣＰＵ１０８は、タイミングジェネレータ１３０に対して撮像センサ１０６の全ての画素から画素データを読み出すためのタイミング信号の生成を要求する。そして、タイミングジェネレータ１３０が生成したタイミング信号に基づいて、撮像センサ１０６の全ての画素から画素データが読み出される（ステップＳ１０２）。 If the CPU 108 determines that the pixel data should be read from the image sensor 106 in the all pixel mode as a result of the determination in step S101, the CPU 108 reads the pixel data from all the pixels of the image sensor 106 to the timing generator 130. The generation of a timing signal is required. Then, based on the timing signal generated by the timing generator 130, pixel data is read from all the pixels of the image sensor 106 (step S102).

一方、上記ステップＳ１０１における判断の結果、撮像センサ１０６から間引きモードで画素データを読み出すべきであるとＣＰＵ１０８が判断すると、ＣＰＵ１０８は、タイミングジェネレータ１３０に対して撮像センサ１０６の一部の画素から画素データを読み出すためのタイミング信号の生成を要求する。そして、タイミングジェネレータ１３０が生成したタイミング信号に基づいて、撮像センサ１０６の一部の画素から画素データが読み出される（ステップＳ１０３）。 On the other hand, if the CPU 108 determines that the pixel data should be read out from the image sensor 106 in the thinning mode as a result of the determination in step S101, the CPU 108 determines pixel data from some pixels of the image sensor 106 to the timing generator 130. Is requested to generate a timing signal for reading out. Then, based on the timing signal generated by the timing generator 130, pixel data is read from some pixels of the image sensor 106 (step S103).

上記ステップＳ１０２またはステップＳ１０３で、撮像センサ１０６の全部または一部から画素データを読み出すると、撮像センサ１０６から読み出した画素データをメモリ１１０に記憶する（ステップＳ１０４）。このように撮像センサから読み出した画素データをメモリ１１０に記憶することで、記憶した画素データを用いて、画像データやライブビュー画像を生成することができる。 When pixel data is read from all or part of the image sensor 106 in step S102 or step S103, the pixel data read from the image sensor 106 is stored in the memory 110 (step S104). By storing the pixel data read from the image sensor in the memory 110 in this manner, it is possible to generate image data and a live view image using the stored pixel data.

以上、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理について説明した。次に、本発明の一実施形態にかかる撮像装置１００における読み出しモードの切り替え処理によって選択される間引きモードによる、撮像センサ１０６における画素データの読み出し処理について説明する。 The reading mode switching processing in the imaging apparatus 100 according to the embodiment of the present invention has been described above. Next, pixel data reading processing in the imaging sensor 106 in the thinning mode selected by the reading mode switching processing in the imaging apparatus 100 according to the embodiment of the present invention will be described.

まず、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が奇数である場合について説明する。図５は、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が５個である場合における、間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。以下、図５を用いて、撮像センサ１０６における間引きモードによる画素データの読み出し処理の概要について説明する。 First, a case where the number of sides of a pixel associated with one microlens 104a is an odd number will be described. FIG. 5 is an explanatory diagram showing an overview of the pixel data reading process of the image sensor 106 in the thinning mode when the number of sides of a pixel associated with one microlens 104a is five. Hereinafter, an outline of pixel data reading processing in the thinning mode in the image sensor 106 will be described with reference to FIG.

図５に示したそれぞれの円は、マイクロレンズ１０４ａによって投影される領域を示している。図５に示したそれぞれの円で囲まれている領域が、マイクロレンズ１０４ａからの光が投影される領域に相当する。また、図５に示したように、撮像センサ１０６はＲ，Ｇ，Ｂの各画素からなるＢａｙｅｒ配列を有している。 Each circle shown in FIG. 5 indicates an area projected by the microlens 104a. The regions surrounded by the respective circles shown in FIG. 5 correspond to regions where light from the microlens 104a is projected. As shown in FIG. 5, the image sensor 106 has a Bayer array composed of R, G, and B pixels.

本実施形態においては、間引きモードによって撮像センサ１０６から画素データを読み出す際には、一つのマイクロレンズ１０４ａに割り当てられている２５個の画素の中から一つの画素を選択し、当該選択した画素の画素データを読み出す。また、画素データを読み出す画素の位置が、各マイクロレンズに対応する画素領域で全て相対的に一致するように、撮像センサ１０６から画素データを読み出す。このように画素データを読み出す画素を選択し、画素データを当該画素から読み出すことで、画素データが読み出された画素も、撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。そして、間引いて選択された画素がＢａｙｅｒ配列を有することで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。 In this embodiment, when reading out pixel data from the image sensor 106 in the thinning mode, one pixel is selected from 25 pixels assigned to one microlens 104a, and the selected pixel is selected. Read pixel data. In addition, the pixel data is read from the image sensor 106 so that the positions of the pixels from which the pixel data is read are all relatively matched in the pixel region corresponding to each microlens. Thus, by selecting a pixel from which pixel data is to be read and reading the pixel data from the pixel, the pixel from which the pixel data has been read can also have a Bayer array similar to the image sensor 106. Since the pixels selected by thinning out have a Bayer array, a full color image can be generated using the pixel data of the selected pixels.

図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素が、画素データを読み出す画素として選択されている。この２５画素からなる領域の中央の画素を並べると、これらの画素も撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。従って、図５のように１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素からなる２５画素の中から１つの画素を選択し、また当該画素は、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように選択されることで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。 In the example shown in FIG. 5, the central pixel in a region composed of 25 pixels of 5 vertical pixels and 5 horizontal pixels allocated to one microlens 104 a is selected as a pixel from which pixel data is read. When the pixels in the center of the 25-pixel region are arranged, these pixels can also have a Bayer array like the image sensor 106. Therefore, as shown in FIG. 5, one pixel is selected from 25 pixels consisting of 5 vertical pixels and 5 horizontal pixels allocated to one micro lens 104a, and the pixel corresponds to each micro lens 104a. By selecting the regions so that their positions are relatively coincident with each other, it is possible to generate a full-color image using the pixel data of the selected pixels.

なお、図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素を、画素データを読み出す画素として選択しているが、本発明はかかる例に限定されないことは言うまでも無い。当該領域の間であり、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するものであれば、間引きモードにおいて図５に示した位置と異なる位置の画素を選択することができる。また、本実施形態では、撮像センサ１０６の画素配列はＢａｙｅｒ配列であるが、本発明はかかる例に限定されるものではない。従って、選択後の画素配列についても、Ｂａｙｅｒ配列に限定されるものではない。 In the example shown in FIG. 5, the central pixel of the area composed of 25 pixels of 5 pixels in the vertical direction and 5 pixels in the horizontal direction assigned to one microlens 104 a is selected as a pixel for reading out the pixel data. It goes without saying that the present invention is not limited to such examples. A pixel at a position different from the position shown in FIG. 5 can be selected in the thinning mode as long as the position is relatively the same in each area corresponding to each microlens 104a. . In this embodiment, the pixel array of the image sensor 106 is a Bayer array, but the present invention is not limited to such an example. Accordingly, the pixel arrangement after selection is not limited to the Bayer arrangement.

例えば、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域の中央の画素の集まりを第（０，０）フィールドと定義し、当該中央画素から右にｍ画素、下にｎ画素シフトした画素の集まりを第（ｍ，ｎ）フィールドと定義すると、図５に示した例では、ｍは−２から２の間の任意の整数値をとることができ、ｎも−２から２の間の任意の整数の値をとることができる。なお、間引きモードにおけるフルカラー画像の生成のためには、ｍ及びｎの値はマイクロレンズ１０４ａによって投影される領域に含まれるように決定することが望ましい。 For example, a group of pixels at the center of an area composed of 25 pixels of 5 pixels in the vertical direction and 5 pixels in the horizontal direction assigned to one microlens 104a is defined as the (0, 0) field, and m pixels to the right from the center pixel , If a group of pixels shifted n pixels downward is defined as the (m, n) field, in the example shown in FIG. Can take any integer value between -2 and 2. In order to generate a full color image in the thinning mode, it is desirable to determine the values of m and n so as to be included in the region projected by the microlens 104a.

また、図５に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦５画素、横５画素の２５画素からなる領域から選択する画素の数は１つであったが、本発明はかかる例に限定されない。例えば、撮像センサ１０６において間引きモードで画素データを読み出す際には、当該２５画素からなる領域から、縦３画素、横３画素の、計９画素を選択して、選択した画素から画素データを読み出すようにしてもよい。 Further, in the example shown in FIG. 5, the number of pixels to be selected from the area composed of 25 pixels of 5 vertical pixels and 5 horizontal pixels allocated to one microlens 104a is one, but the present invention is applied. It is not limited to examples. For example, when reading out pixel data in the thinning mode in the image sensor 106, a total of 9 pixels of 3 pixels in the vertical direction and 3 pixels in the horizontal direction are selected from the region of 25 pixels, and the pixel data is read out from the selected pixels. You may do it.

以上、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が奇数である場合について説明した。続いて、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が偶数である場合について説明する。図６は、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が６個である場合における、間引きモードによる撮像センサ１０６の画素データの読み出し処理の概要を示す説明図である。以下、図６を用いて、撮像センサ１０６における間引きモードによる画素データの読み出し処理の概要について説明する。 The case where the number of one side of the pixel associated with one microlens 104a is an odd number has been described above. Next, a case where the number of sides of a pixel associated with one microlens 104a is an even number will be described. FIG. 6 is an explanatory diagram showing an outline of the pixel data reading process of the image sensor 106 in the thinning mode when the number of sides of the pixel associated with one microlens 104a is six. Hereinafter, an outline of pixel data reading processing in the thinning mode in the image sensor 106 will be described with reference to FIG.

図６に示したそれぞれの円は、マイクロレンズ１０４ａによって投影される領域を示している。図６に示したそれぞれの円で囲まれている領域が、マイクロレンズ１０４ａからの光が投影される領域に相当する。また、図６に示したように、撮像センサ１０６はＲ，Ｇ，Ｂの各画素からなるＢａｙｅｒ配列を有している。 Each circle shown in FIG. 6 indicates a region projected by the microlens 104a. Regions surrounded by the respective circles shown in FIG. 6 correspond to regions where light from the microlens 104a is projected. Further, as shown in FIG. 6, the image sensor 106 has a Bayer array composed of R, G, and B pixels.

本実施形態においては、間引きモードによって撮像センサ１０６から画素データを読み出す際には、一つのマイクロレンズ１０４ａに割り当てられている３６個の画素の中から、縦２画素、横２画素からなる計４つの画素を選択し、当該選択した４つの画素の画素データを読み出す。また、画素データを読み出す画素の位置が、各マイクロレンズに対応する画素領域で全て相対的に一致するように、撮像センサ１０６から画素データを読み出す。このように画素データを読み出す画素を選択し、画素データを当該画素から読み出すことで、画素データが読み出された画素も、撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。そして、間引いて選択された画素がＢａｙｅｒ配列を有することで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。 In the present embodiment, when reading out pixel data from the image sensor 106 in the thinning mode, a total of 4 pixels composed of 2 pixels in the vertical direction and 2 pixels in the horizontal direction are selected from the 36 pixels assigned to one microlens 104a. One pixel is selected, and pixel data of the four selected pixels are read out. In addition, the pixel data is read from the image sensor 106 so that the positions of the pixels from which the pixel data is read are all relatively matched in the pixel region corresponding to each microlens. Thus, by selecting a pixel from which pixel data is to be read and reading the pixel data from the pixel, the pixel from which the pixel data has been read can also have a Bayer array similar to the image sensor 106. Since the pixels selected by thinning out have a Bayer array, a full color image can be generated using the pixel data of the selected pixels.

図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素が、画素データを読み出す画素として選択されている。この３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素を並べると、これらの画素も撮像センサ１０６と同様にＢａｙｅｒ配列を有することができる。従って、図６のように１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素からなる３６画素の中から４つの画素を選択し、また当該画素は、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように選択されることで、選択された画素の画素データを用いてフルカラー画像を生成することが可能となる。 In the example shown in FIG. 6, a total of four pixels, that is, two vertical pixels and two horizontal pixels in the central portion of the area consisting of 36 pixels of 6 pixels vertically and 6 pixels horizontally assigned to one microlens 104 a are pixel data. Is selected as a pixel to read out. When a total of four pixels of 2 pixels in the center and 2 pixels in the center of this 36-pixel region are arranged, these pixels can also have a Bayer array like the image sensor 106. Accordingly, as shown in FIG. 6, four pixels are selected from 36 pixels each consisting of 6 pixels in the vertical direction and 6 pixels in the horizontal direction assigned to one micro lens 104a, and the pixel corresponds to each micro lens 104a. By selecting the regions so that their positions are relatively coincident with each other, it is possible to generate a full-color image using the pixel data of the selected pixels.

なお、図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素を、画素データを読み出す画素として選択しているが、本発明はかかる例に限定されないことは言うまでも無い。当該領域の間であり、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するものであれば、間引きモードにおいて図６に示した位置と異なる位置の画素を選択することができる。 In the example shown in FIG. 6, a total of four pixels of 2 pixels in the center and 2 pixels in the center of the area consisting of 36 pixels of 6 pixels vertically and 6 pixels horizontally assigned to one microlens 104 a Needless to say, the present invention is not limited to such an example although pixel data is selected as a pixel from which pixel data is read. A pixel at a position different from the position shown in FIG. 6 can be selected in the thinning mode as long as the position is relatively the same in each area corresponding to each microlens 104a. .

例えば、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域の中央部分の縦２画素、横２画素の合計４つの画素の集まりを第（０，０）フィールドと定義し、当該中央部分から右にｍ画素、下にｎ画素シフトした画素の集まりを第（ｍ，ｎ）フィールドと定義すると、図６に示した例では、ｍは−２から２の間の任意の整数値をとることができ、ｎも−２から２の間の任意の整数の値をとることができる。なお、間引きモードにおけるフルカラー画像の生成のためには、ｍ及びｎの値はマイクロレンズ１０４ａによって投影される領域に含まれるように決定することが望ましい。 For example, a (0, 0) field is a collection of a total of four pixels of 2 pixels in the center and 2 pixels in the center of a region consisting of 36 pixels of 6 pixels vertically and 6 pixels horizontally assigned to one microlens 104a. In the example shown in FIG. 6, m is between −2 and 2 and a group of pixels shifted by m pixels to the right and n pixels down from the central portion is defined as the (m, n) field. Can be any integer value, and n can be any integer value between -2 and 2. In order to generate a full color image in the thinning mode, it is desirable to determine the values of m and n so as to be included in the region projected by the microlens 104a.

また、図６に示した例では、１つのマイクロレンズ１０４ａに割り当てられた縦６画素、横６画素の３６画素からなる領域から選択する画素の数は４つであったが、本発明はかかる例に限定されない。例えば、撮像センサ１０６において間引きモードで画素データを読み出す際には、当該３６画素からなる領域から、縦４画素、横４画素の、計１６画素を選択して、選択した画素から画素データを読み出すようにしてもよい。 In the example shown in FIG. 6, the number of pixels selected from the area consisting of 36 pixels of 6 pixels in the vertical direction and 6 pixels in the horizontal direction allocated to one microlens 104 a is four. It is not limited to examples. For example, when the image sensor 106 reads out pixel data in the thinning mode, a total of 16 pixels of 4 pixels in the vertical direction and 4 pixels in the horizontal direction are selected from the region of the 36 pixels, and the pixel data is read out from the selected pixels. You may do it.

以上、一つのマイクロレンズ１０４ａに対応付けられている画素の一辺の数が偶数である場合について説明した。続いて、撮像センサ１０６として４チャンネル読出しのＣＭＯＳセンサを例に挙げて、ＣＭＯＳセンサからの画素の読出し順序について説明する。 The case where the number of one side of the pixel associated with one microlens 104a is an even number has been described above. Next, taking a 4-channel readout CMOS sensor as an example of the image sensor 106, the readout order of pixels from the CMOS sensor will be described.

図７は、撮像センサ１０６として４チャンネルの出力を持つＣＭＯＳセンサを用い、マイクロレンズの配置が図６に示したものと同じ場合における、ＣＭＯＳセンサからの画素の読出し順序について示す説明図である。４つの出力チャンネルからは隣合う４画素（Ｇｒ、Ｇｂ、Ｒ、Ｂ）が同時に出力される。図７に示した構成では、最初のクロックでＢ１１、Ｒ２２、Ｇｂ１２、Ｇｒ２１の４画素が出力され、次のクロックでＢ１５、Ｒ２６、Ｇｂ１６、Ｇｒ２５の４画素が同時に出力され、順次最初の１ラインが出力され、その後２ライン、３ラインと出力される。 FIG. 7 is an explanatory diagram showing the order of reading pixels from the CMOS sensor when a CMOS sensor having 4-channel output is used as the image sensor 106 and the arrangement of the microlenses is the same as that shown in FIG. Four adjacent pixels (Gr, Gb, R, B) are simultaneously output from the four output channels. In the configuration shown in FIG. 7, four pixels B11, R22, Gb12, and Gr21 are output at the first clock, and four pixels B15, R26, Gb16, and Gr25 are simultaneously output at the next clock, and the first one line in sequence. Is output, and then 2 lines and 3 lines are output.

ここでは４チャンネル出力のＣＭＯＳセンサで説明を行ったが、１チャンネル出力や２チャンネル出力のＣＭＯＳセンサでも対応可能である。例えば２チャンネル出力のＣＭＯＳセンサを用いた場合は、最初のクロックでＢ１１、Ｇｒ２１が出力され、次のクロックでＧｂ１２、Ｒ２２が出力され、順次出力が続いていくことになる。 Although the description has been made here with a 4-channel output CMOS sensor, a 1-channel output or 2-channel output CMOS sensor is also applicable. For example, when a 2-channel output CMOS sensor is used, B11 and Gr21 are output at the first clock, Gb12 and R22 are output at the next clock, and the output continues sequentially.

以上説明したように本発明の一実施形態によれば、マイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置１００において、撮像センサ１０６は、全ての画素から画素データを読み出す全画素モードと、一部の画素から画素データを読み出す間引きモードとを有する。そして、間引きモードで撮像センサ１０６から画素データを読み出す際には、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように、画素データを読み出す画素を選択する。このように画素データを読み出す画素を選択することで、間引きモードの場合であっても、カラーフィルタの配列が、撮像センサ１０６における元の配列状態を維持した状態を保つことができる。 As described above, according to the embodiment of the present invention, in the imaging apparatus 100 having the optical system including the lens array including the microlens group, the imaging sensor 106 has the all-pixel mode in which pixel data is read from all the pixels. And a thinning mode for reading out pixel data from some pixels. When reading out pixel data from the image sensor 106 in the thinning mode, a pixel from which the pixel data is read is selected so that the positions of the respective regions corresponding to the microlenses 104a are relatively matched. By selecting the pixels from which the pixel data is read in this way, the color filter arrangement can maintain the original arrangement state in the image sensor 106 even in the thinning mode.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、上記実施形態では、各マイクロレンズ１０４ａに対応する各領域においてそれぞれ相対的に位置が一致するように、画素データを読み出す画素を選択していたが、本発明はかかる例に限定されない。例えば、各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を求めてもよく、このように求めたＲ、Ｇ、Ｂのそれぞれの画素の代表値を用いて、ライブビュー画像を生成してもよい。この代表値は、例えば各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂの各画素値の加算平均値であってもよい。そして、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を撮像センサ１０６で予め演算して求めた後に撮像センサ１０６から読み出すようにしてもよく、撮像センサ１０６から画素データを読み出してから、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を演算するようにしてもよい。 For example, in the above embodiment, the pixel from which the pixel data is read out is selected so that the position is relatively matched in each region corresponding to each microlens 104a, but the present invention is not limited to this example. For example, in each region corresponding to each microlens 104a, the representative value of each pixel of R, G, B may be obtained, and the representative value of each pixel of R, G, B thus obtained is used. A live view image may be generated. For example, the representative value may be an average value of the R, G, and B pixel values in each region corresponding to each microlens 104a. Then, the representative value of each pixel of R, G, and B may be read from the image sensor 106 after being calculated in advance by the image sensor 106, and after the pixel data is read from the image sensor 106, R, You may make it calculate the representative value of each pixel of G and B. FIG.

例えば、上記実施形態では、全てのマイクロレンズを対象としてとしたが、本発明はかかる例に限定されない。例えば、対象となるマイクロレンズを間引いて選択して、選択されたマイクロレンズの照射範囲から画素を選択し、当該画素から画素データを読み出すようにしてもよい。マイクロレンズを間引いて選択する場合であっても、各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を求めてもよく、このように求めたＲ、Ｇ、Ｂのそれぞれの画素の代表値を用いて、ライブビュー画像を生成してもよい。この代表値は、例えば各マイクロレンズ１０４ａに対応する各領域において、Ｒ、Ｇ、Ｂの各画素値の加算平均値であってもよい。そして、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を撮像センサ１０６で予め演算して求めた後に撮像センサ１０６から読み出すようにしてもよく、撮像センサ１０６から画素データを読み出してから、Ｒ、Ｇ、Ｂのそれぞれの画素の代表値を演算するようにしてもよい。 For example, in the above embodiment, all microlenses are targeted, but the present invention is not limited to such an example. For example, the target microlens may be thinned out and selected, a pixel may be selected from the irradiation range of the selected microlens, and pixel data may be read from the pixel. Even in the case of selecting by thinning out the microlenses, the representative values of the R, G, and B pixels may be obtained in each region corresponding to each microlens 104a. , B may be used to generate a live view image using the representative value of each pixel. For example, the representative value may be an average value of the R, G, and B pixel values in each region corresponding to each microlens 104a. Then, the representative value of each pixel of R, G, and B may be read from the image sensor 106 after being calculated in advance by the image sensor 106, and after the pixel data is read from the image sensor 106, R, You may make it calculate the representative value of each pixel of G and B. FIG.

また、上述の実施形態の説明では、マイクロレンズの概略中心の画素を選択するとしてきたが、実際の撮像センサでは周辺部に行くほど光が斜めに入射する。そのため、入射に対する補正をするために、撮像センサの周辺部に行くに従って、撮像センサに対して光を垂直に照射する方向へマイクロレンズをシフトするようにしてもよい。このようにマイクロレンズをシフトして光量を確保することで、撮像センサの周辺部の画質も向上させることが可能となる。 In the above description of the embodiment, the pixel at the approximate center of the microlens has been selected. However, in an actual image sensor, light is incident obliquely toward the periphery. Therefore, in order to correct the incidence, the microlens may be shifted in a direction in which the image sensor is irradiated with light vertically as it goes to the periphery of the image sensor. Thus, by shifting the microlens to secure the light amount, it is possible to improve the image quality of the peripheral part of the image sensor.

１００撮像装置
１０２主レンズ
１０４マイクロレンズアレイ
１０４ａマイクロレンズ
１０６撮像センサ
１０８ＣＰＵ
１１０メモリ
１１２アナログフロントエンド部及びＡ／Ｄ変換部
１１４画像入力部
１１６カラー画素生成部
１１８画像再構成部
１２０デジタルバックエンド部
１２２画像圧縮部
１２４メモリカードドライバ
１２６表示画像生成部
１２８表示ドライバ
１３０タイミングジェネレータ
１３２モータドライバ
１３４フォーカスレンズモータ
１３６ＬＣＤ
DESCRIPTION OF SYMBOLS 100 Imaging device 102 Main lens 104 Micro lens array 104a Micro lens 106 Imaging sensor 108 CPU
DESCRIPTION OF SYMBOLS 110 Memory 112 Analog front end part and A / D conversion part 114 Image input part 116 Color pixel generation part 118 Image reconstruction part 120 Digital back end part 122 Image compression part 124 Memory card driver 126 Display image generation part 128 Display driver 130 Timing Generator 132 Motor driver 134 Focus lens motor 136 LCD

Claims

A lens array in which a plurality of lenses provided on a single plane are regularly arranged;
A photoelectric conversion unit including a plurality of photoelectric conversion regions including a plurality of pixels provided on a single plane corresponding to an irradiation range of transmitted light from each lens of the lens array;
With
The photoelectric conversion unit includes a first mode in which data is continuously read from all pixels included in the photoelectric conversion region, and a part of pixels whose positions are relatively matched to the lenses from each photoelectric conversion region. The selected pixel array is capable of generating a color image, and includes one or more second modes for continuously reading data from the selected pixels ,
Pixel array after selection in the second mode Ru Bayer array der imaging apparatus.

When reading out in the second mode from the photoelectric conversion unit when the number of pixels constituting the photoelectric conversion region is an odd number, the number of one side is an odd number of pixels smaller than the number per side. The imaging device according to claim 1, wherein data is read from a region to be formed.

When the number of pixels per side constituting the photoelectric conversion region is an even number, when reading from the photoelectric conversion unit in the second mode, the number of sides is an even number of pixels smaller than the number per side. The imaging device according to claim 1, wherein data is read from a region to be formed.

The imaging apparatus according to claim 1, further comprising: a display unit configured to continuously display an image generated using data read from the photoelectric conversion unit in the second mode by switching at a predetermined cycle.

The imaging apparatus according to claim 4 , wherein data is read from each pixel of the photoelectric conversion unit as it is and used to generate an image to be displayed on the display unit.

The imaging device according to claim 4 , wherein an image to be displayed on the display unit is generated using representative values of red, green, and blue in each pixel of the photoelectric conversion unit.

The imaging apparatus according to claim 6 , wherein each representative value is calculated in advance inside the photoelectric conversion unit.

The imaging apparatus according to claim 6 , further comprising a calculation unit that calculates each representative value after reading data from the photoelectric conversion unit.

The imaging apparatus according to claim 1, wherein when reading data from the photoelectric conversion unit in the second mode, the photoelectric conversion regions corresponding to all the lenses of the lens array are targeted.

The imaging device according to claim 1, wherein when reading data from the photoelectric conversion unit in the second mode, the photoelectric conversion region corresponding to a part of the lenses of the lens array is targeted.

The imaging apparatus according to claim 1, wherein an optical axis of the lens array is shifted in a direction in which light is irradiated perpendicularly to the photoelectric conversion unit as it goes to a peripheral part of the photoelectric conversion unit.

A lens array in which a plurality of lenses provided on a single plane are regularly arranged;
A photoelectric conversion unit including a plurality of photoelectric conversion regions including a plurality of pixels provided on a single plane corresponding to an irradiation range of transmitted light from each lens of the lens array;
For an imaging device comprising
The photoelectric conversion unit includes a first mode in which data is continuously read from all pixels included in the photoelectric conversion region, and a part of pixels whose positions are relatively matched to the lenses from each photoelectric conversion region. Selecting, and the pixel array after the selection is capable of generating a color image, comprising a data reading step having one or more second modes for continuously reading data from the selected pixels ,
The pixel array after selection in the second mode Ru Bayer array der, imaging method.