WO2015132831A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2015132831A1
WO2015132831A1 PCT/JP2014/006065 JP2014006065W WO2015132831A1 WO 2015132831 A1 WO2015132831 A1 WO 2015132831A1 JP 2014006065 W JP2014006065 W JP 2014006065W WO 2015132831 A1 WO2015132831 A1 WO 2015132831A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image sensor
respect
microlens array
rotation angle
Prior art date
Application number
PCT/JP2014/006065
Other languages
English (en)
French (fr)
Inventor
智英 石上
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2016505945A priority Critical patent/JPWO2015132831A1/ja
Priority to EP14884769.2A priority patent/EP3116216A4/en
Publication of WO2015132831A1 publication Critical patent/WO2015132831A1/ja
Priority to US15/194,694 priority patent/US20160309074A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present disclosure relates to a light field camera that records the light beam direction separated by a microlens.
  • Non-Patent Document 1 A light field camera (Light-field camera) has emerged that integrates an optical system and an image sensor, can focus on a desired position after shooting, and can perform refocus processing to generate an image at an arbitrary focal position.
  • a light field camera is disclosed in Non-Patent Document 1, for example.
  • the light field camera is composed of a main lens, a microlens array, and an image sensor.
  • the light incident from the subject passes through the main lens, then passes through the microlens array and enters the image sensor. Since the image sensor is recorded separately for each light direction, unlike a general camera, the light receiving surface of the image sensor includes information on the light traveling direction in addition to the light intensity.
  • a refocus image can be generated when the imaging device is placed on the virtual imaging surface by projecting light received by the imaging device from each pixel into an electrical signal according to the direction of the light beam.
  • This disclosure provides an imaging apparatus that improves the resolution of an image when the image is reconstructed with a light field camera and a refocused image adjusted to an arbitrary focal position is generated.
  • An imaging apparatus is an imaging apparatus capable of recording light ray information including a traveling direction of light and an intensity with respect to the traveling direction, and is disposed between a main lens, an imaging element, and the main lens and the imaging element.
  • a microlens array having a predetermined rotation angle in a direction perpendicular to the imaging device, and a signal processing unit that generates a refocused image using light ray information on a virtual imaging surface at an arbitrary focal position.
  • the imaging apparatus can improve the resolution of an image when reconstructing the image with a light field camera to generate a refocused image.
  • FIG. 1 is a block diagram illustrating a configuration of a light field camera according to the first embodiment.
  • FIG. 2 is a diagram illustrating a distribution of light centers on the virtual imaging surface.
  • FIG. 3 is a diagram illustrating a method for calculating the position of the center of the light beam on the virtual imaging surface in the first embodiment.
  • FIG. 4 is a flowchart showing a procedure for calculating a cost value using a cost function for an arbitrary rotation angle in the vertical direction with respect to the imaging device of the microlens array in the first embodiment.
  • FIG. 5 is a diagram for explaining an example of the cost function in the first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a light field camera according to the first embodiment.
  • FIG. 2 is a diagram illustrating a distribution of light centers on the virtual imaging surface.
  • FIG. 3 is a diagram illustrating a method for calculating the position of the center of the light beam on the virtual imaging surface in the first embodiment.
  • FIG. 4 is
  • FIG. 6 is a diagram showing an average value of the cost function with respect to the rotation angle in the vertical direction with respect to the imaging device of the microlens array in the first embodiment.
  • FIG. 7 is a diagram illustrating an average value of the cost function with respect to the refocus distance when the rotation angles in the vertical direction with respect to the image sensor of the microlens array in the first embodiment are 0 degrees and 6.6 degrees.
  • FIG. 8 is a diagram showing a distribution of light centers when the refocus distance in the first embodiment is around +4.5.
  • FIG. 9 is a diagram showing the distribution of light centers when the refocus distance is around +2.5 in the first embodiment.
  • FIG. 10 is a diagram showing the distribution of light centers when the refocus distance is around ⁇ 3.5 in the first embodiment.
  • FIG. 11 is a diagram illustrating an average value of cost functions with respect to a rotation angle in a vertical direction with respect to an image sensor of another microlens array according to the first embodiment.
  • FIG. 12 is a diagram illustrating an average value of the cost function with respect to the rotation angle in the vertical direction with respect to the imaging element of still another microlens array according to the first embodiment.
  • the light ray center is a point where light rays projected from the image sensor to the virtual image pickup surface according to the light ray direction intersect with a virtual image pickup surface that reconstructs an image in accordance with an arbitrary focal position.
  • each pixel of the image to be reconstructed uses a light ray center close to each pixel in the reconstructed image among light ray centers on the virtual imaging surface projected onto the virtual imaging surface according to the light ray direction from the imaging device.
  • the number of light ray centers is fixed by the number of pixels of the image sensor, when the light ray center on the virtual imaging surface is fixed in one place, the density indicating the degree of congestion of the light ray centers on the virtual imaging surface is low. In the area, the resolution of the image at the time of reconstruction is lowered.
  • FIG. 1 is a configuration diagram of a light field camera according to the first embodiment.
  • a light field camera 100 captures an object 101.
  • the light field camera 100 includes an imaging unit 310 and a signal processing unit 320.
  • the imaging unit 310 includes a main lens 102, a microlens array 103, and an imaging element 104.
  • the signal processing unit 320 is realized by using a processor such as an LSI (Large Scale Integration).
  • each pixel of the image sensor 104 records not only the light intensity but also the light traveling direction at the same time.
  • Each pixel obtained by converting the light received by the image sensor 104 into an electrical signal is sent to the signal processing unit 320.
  • the signal processing unit 320 performs imaging.
  • the position of the light ray center 106 projected from each pixel of the element 104 according to the light ray direction to the virtual imaging surface 105 is calculated. Thereafter, a refocus image on the virtual imaging surface 105 is generated by reconstructing the image using the light beam center 106.
  • FIG. 2 is a diagram showing a distribution of light centers on the virtual imaging surface.
  • the microlens array 103 has a diameter of about 18 pixels and is arranged in a honeycomb structure (honeycomb structure), and the image sensor 104 is arranged in a Bayer structure (Bayer structure).
  • the light center distribution 210 is a light center distribution of the light field camera 100 of the present embodiment.
  • the distribution 210 of the ray centers indicates that the line AA connecting the centers of three adjacent microlenses 201 among the microlenses 201 constituting the microlens array 103 and the horizontal direction BB of the image sensor 104.
  • the microlens array 103 has a predetermined rotation angle in the vertical direction with respect to the image sensor 104.
  • a light center distribution 220 is a light center distribution of a conventional light field camera.
  • the light center distribution 220 indicates that the line CC connecting the centers of three adjacent microlenses 201 among the microlenses 201 constituting the microlens array 103 and the horizontal direction BB of the image sensor 104 are mutually connected. Parallel and not tilted. That is, the microlens array is not rotated in the direction perpendicular to the image sensor.
  • the light center distribution 210 has less overlap between the light centers and the density of the light centers is higher than that of the virtual imaging surface 105.
  • the density of the light ray center is high with respect to the virtual imaging surface 105, the resolution of the image is higher when the image is reconstructed to generate the focus image. That is, since the microlens array 103 has a rotation angle in a direction perpendicular to the image sensor 104, the density of the light centers projected on the virtual image pickup surface 105 becomes higher.
  • the optimum rotation angle of the microlens array 103 with respect to the image sensor 104 is calculated.
  • FIG. 3 is a diagram for explaining a method of calculating the position of the light beam center on the virtual imaging surface in the first embodiment.
  • the distance between the microlens array 103 and the imaging element 104 is b
  • the distance between the microlens array 103 and the virtual imaging surface 105 is bb.
  • An arbitrary pixel on the image sensor 104 is a pixel 403, and a direction vector 404 from the center position 402 to the pixel 403 is
  • the diameter of the i-th microlens 401 is d.
  • FIG. 4 is a flowchart showing a procedure for calculating a cost value using a cost function for an arbitrary vertical rotation angle of the microlens array 103 with respect to the image sensor 104.
  • the cost value of an arbitrary rotation angle in the vertical direction with respect to the image sensor 104 of the microlens array 103 is calculated for all assumed virtual imaging planes.
  • All assumed virtual imaging planes 105 are all virtual imaging planes 105 having refocus distances determined at predetermined intervals within a predetermined focal length from the imaging element 104.
  • step S502 it is determined whether or not the processing has been completed for all assumed virtual imaging surfaces. When all the processes are performed (in the case of Yes), the cost value and the rotation angle at which the cost value has been calculated are output and the process ends. If all assumed virtual imaging surfaces have not been processed (No), the process proceeds to step S503.
  • step S504 it is determined whether or not cost values have been calculated for all the pixels within the specified range within the specified range on the set virtual imaging surface.
  • the process returns to step S502. If the cost value has not been calculated for all the pixels within the specified range (No), the process proceeds to step S505.
  • step S505 the light ray center closest to the pixel position acquired in step S505 is searched for the position of the light ray center projected on the virtual imaging surface 105 calculated in advance from each pixel on the image sensor 104. Identify the center of the ray.
  • step S507 the distance between the position of the light beam center obtained in step S506 and the position of the pixel obtained in step S505 is added to the cost value, and the process returns to step S504.
  • FIG. 5 is a diagram for explaining an example of the cost function in the first embodiment.
  • the designated range for specifying the range for calculating the cost function on the virtual imaging surface 105 is R
  • the position of the r-th pixel of interest P (r) existing in the designated range R is
  • the distance Dist (P (r), Ray (f, n)) between the position P (r) of the target pixel and the position Ray (f, n) of the light ray center is, for example, the square error of the minimum distance. If defined as
  • the cost function defined in (Equation 7) is the specified range R, that is, the range of the image to be reconstructed, and the position of each reconstructed pixel and the center of the light ray used for reconstruction in all assumed virtual imaging planes 105. It is equivalent to evaluating the distance of the position of.
  • the equation is based on the fact that the closer the distance between the pixel at the time of reconstruction and the center of the light beam is, the higher the density of the light beam center with respect to the virtual imaging surface 105 and the higher the resolution.
  • FIG. 6 is a diagram showing an average value of the cost function with respect to the rotation angle in the vertical direction with respect to the image sensor 104 of the microlens array 103.
  • the horizontal axis represents the rotation angle in the vertical direction with respect to the image sensor 104 of the microlens array 103
  • the vertical axis represents the average value of the cost function.
  • the average value of the cost function is a value obtained by dividing the calculated cost value by the number of pixels on the virtual imaging surface 105 used for the calculation. As the average value of the cost function is lower, the image can be reconstructed with higher resolution.
  • the average value of the cost function is plotted in increments of 0.1 degrees when the rotation angle in the vertical direction of the microlens array 103 with respect to the image sensor 104 is 0 degrees to 30 degrees.
  • the average value of the cost function is the highest when the rotation angle in the vertical direction with respect to the element 104 is 0 degrees, and the average value of the cost function is the highest when the rotation angle in the vertical direction with respect to the imaging element 104 of the microlens array 103 is 6.6 degrees.
  • the average value of the cost function is the highest when the rotation angle in the vertical direction with respect to the imaging element 104 of the microlens array 103 is 6.6 degrees.
  • the rotation angle in the vertical direction of the microlens array 103 with respect to the image sensor 104 is between about 1.7 degrees and about 28.3 degrees, the rotation angle in the vertical direction of the microlens array 103 with respect to the image sensor 104 is 0 degrees. Since the average value of the cost function is lower than in the case of the above, the image can be reconstructed with a high resolution, and the rotation angle of the microlens array 103 in the vertical direction with respect to the image sensor 104 is about 1.7 degrees or about 6.6 degrees. The average value of the cost function becomes a minimum value at about 12.4 degrees, about 17.6 degrees, and about 23.4 degrees, and an image can be reconstructed with a higher resolution.
  • the average value of the cost function with respect to the refocus distance which is the distance from the image sensor 104 to the virtual imaging surface 105, when the rotation angle of the microlens array 103 in the vertical direction with respect to the image sensor 104 is 0 degree and 6.6 degrees. The relationship will be described.
  • FIG. 7 is a diagram showing the average value of the cost function with respect to the refocus distance when the rotation angles in the vertical direction with respect to the image sensor 104 of the microlens array 103 are 0 degrees and 6.6 degrees.
  • the refocus distance on the horizontal axis indicates the relative distance when the distance between the microlens array 103 and the image sensor 104 is 1.
  • the average value of the cost function when the refocus distance is changed from ⁇ 5 to +5 is graphed. Note that the section where the refocus distance is ⁇ 1 to +1 is not evaluated.
  • the distribution of the light ray center on the virtual imaging surface 105 when the refocus distance in FIG. 7 is near +4.5, +2.5, and ⁇ 3.5 will be described.
  • FIG. 8 is a diagram showing the distribution of light centers when the refocus distance is near +4.5.
  • the left side shows the distribution of light centers when the rotation angle in the vertical direction of the microlens array 103 with respect to the image sensor 104 is 6.6 degrees
  • the right side shows the vertical direction with respect to the image sensor 104 of the microlens array 103.
  • the distribution of the light centers when the rotation angle is 0 degrees is shown.
  • the average value of the cost function when the vertical rotation angle of the microlens array 103 with respect to the imaging device 104 is 6.6 degrees is 1.4
  • the vertical rotation angle of the microlens array 103 with respect to the imaging device 104 is 0.
  • the average value of the cost function in the case of degrees is 4.8.
  • FIG. 9 is a diagram showing the distribution of light centers when the refocus distance is near +2.5.
  • the left side shows the distribution of light centers when the vertical rotation angle of the microlens array 103 with respect to the image sensor 104 is 6.6 degrees
  • the right side shows the vertical direction with respect to the image sensor 104 of the microlens array 103.
  • the distribution of the light centers when the rotation angle is 0 degrees is shown.
  • the average value of the cost function when the vertical rotation angle of the microlens array 103 with respect to the imaging device 104 is 6.6 degrees is 1.5
  • the vertical rotation angle of the microlens array 103 with respect to the imaging device 104 is 0.
  • the average value of the cost function in the case of degree is 1.1.
  • FIG. 10 is a diagram showing the distribution of the light centers when the refocus distance is about ⁇ 3.5.
  • the left side shows the distribution of light centers with the vertical rotation angle of the microlens array 103 with respect to the image sensor 104 being 6.6 degrees
  • the right side is with the vertical rotation angle of the microlens array 103 with respect to the image sensor 104 being 0 degrees.
  • the distribution of the light centers is shown.
  • the average value of the cost function when the rotation angle of the microlens array 103 is 6.6 degrees is 1.4
  • the average value of the cost function when the rotation angle in the vertical direction of the microlens array 103 with respect to the imaging element 104 is 0 degree is 3 .9.
  • the average value of the cost function is 1.4. It can be seen that the distribution of the light centers does not overlap with the distribution of the light centers with the average value 3.9 of the cost function, and the virtual imaging surface 105 is arranged with a higher density. Similarly, the distribution of the light centers with the average value of the cost function of 1.1 and 1.5 is arranged with a high density with respect to the virtual imaging surface 105, and the distribution of the light centers with the average value of the cost function of 4.8. Has overlapping ray centers.
  • the distribution of the light ray centers has a higher density with respect to the virtual imaging surface 105 as the average value of the cost functions in FIGS.
  • the lower the average value of the cost function the higher the resolution of the refocused image because the center of the light ray exists near the pixel to be obtained by reconstruction when the image is reconstructed.
  • the resolution of the refocused image is improved at the time of image reconstruction.
  • the rotation angle of the microlens array 103 in the vertical direction with respect to the image sensor 104 is 0 degree, in reality, the rotation angle may be 0.2 degrees or less due to accuracy restrictions during manufacturing. .
  • the fact that the microlens array 103 has a rotation angle in the vertical direction with respect to the image sensor 104 means that the rotation angle is about 1 degree or more that exceeds the restrictions of the manufacturing system. Intended.
  • FIG. 11 is a diagram showing an average value of the cost function with respect to the rotation angle with respect to the image sensor of another microlens array in the first embodiment
  • FIG. 12 shows an image sensor of still another microlens array in the first embodiment. It is a figure which shows the average value of the cost function with respect to the rotation angle with respect to.
  • the microlens array 103 has a diameter of about 17 pixels and is arranged in a honeycomb structure, and the pixels of the image sensor 104 are arranged in a vertical direction with respect to the image sensor 104 in the microlens array 103 in a configuration in which the pixels are arranged in a Bayer structure.
  • FIG. 12 shows that the microlens array 103 has a diameter of about 16 pixels and is arranged in a honeycomb structure, and the pixels of the image sensor 104 are arranged with respect to the image sensor 104 of the microlens array 103 in a configuration in which the pixels are arranged in a Bayer structure. It is a figure which shows the average value of the cost function with respect to the rotation angle of a perpendicular direction.
  • the rotation angle of the micro lens array 103 in the vertical direction with respect to the image sensor 104 is about 3.9 degrees, about 13.8 degrees, about 16.2 degrees, and about 26.1 degrees, the average value of the cost function becomes a minimum value, It has been found that the resolution of the refocus image is improved.
  • the imaging device is an imaging device capable of recording light beam information including a traveling direction of light and an intensity with respect to the traveling direction, and includes a main lens, an imaging element, a main lens, and an imaging element.
  • a microlens array having a predetermined rotation angle in a direction perpendicular to the imaging element, and a signal processing unit that generates a refocused image using light ray information on a virtual imaging surface at an arbitrary focal position .
  • the imaging device of the present disclosure can be applied to a light field camera.
  • the present invention can be applied to a light field camera used for an in-vehicle camera, a surveillance camera, a digital camera, a movie, a wearable camera, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本開示は、再構成時の解像度が高い撮像装置を提供することを目的とする。本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。

Description

撮像装置
　本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
　近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ－ｆｉｅｌｄ　ｃａｍｅｒａ）が登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
　ライトフィールドカメラは、メインレンズとマイクロレンズアレイと撮像素子で構成される。被写体から入射した光はメインレンズを通過した後、マイクロレンズアレイを通過し撮像素子に入射する。撮像素子では光の方向毎に区別され記録されるため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含む。
　そのため、撮影後に任意の焦点位置の画像を生成するリフォーカス処理が可能である。例えば、撮像素子の受光した光を電気信号に変換した各画素から、仮想撮像面へ光線方向にしたがって投影することで、仮想撮像面に撮像素子を置いた場合のリフォーカス画像を生成できる。
Ｒｅｎ．　Ｎｇ，　ｅｔ　ａｌ，　"Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ　ｗｉｔｈ　ａ　Ｈａｎｄ－Ｈｅｌｄ　Ｐｌｅｎｏｐｔｉｃ　Ｃａｍｅｒａ"，　Ｓｔａｎｆｏｒｄ　Ｔｅｃｈ　Ｒｅｐｏｒｔ　ＣＴＳＲ　２００５－２
　本開示は、ライトフィールドカメラで画像を再構成して任意の焦点位置に合わせたリフォーカス画像を生成する際、画像の解像度を向上する撮像装置を提供する。
　本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
　本開示の撮像装置は、ライトフィールドカメラで画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上することができる。
図１は、実施の形態１におけるライトフィールドカメラの構成を示すブロック図である。 図２は、仮想撮像面上の光線中心の分布を示す図である。 図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。 図４は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。 図５は、実施の形態１におけるコスト関数の一例を説明する図である。 図６は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図７は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。 図８は、実施の形態１におけるリフォーカス距離が＋４．５付近における光線中心の分布を示す図である。 図９は、実施の形態１におけるリフォーカス距離が＋２．５付近における光線中心の分布を示す図である。 図１０は、実施の形態１におけるリフォーカス距離が－３．５付近における光線中心の分布を示す図である。 図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図１～１２を用いて、実施の形態１を説明する。
　［１－１．光線中心と画像の解像度の関係］
　まず、光線中心と画像の解像度の関係について説明する。ライトフィールドカメラでは、撮像素子で受光した光を電気信号に変換した画素を処理して画像を再構成してリフォーカス画像を生成する場合、光線中心が重要な役割を果たす。光線中心とは、任意の焦点位置に合わせて画像を再構成する仮想撮像面へ、撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である。従って、再構成する画像の各画素は、撮像素子から光線方向に従って、仮想撮像面に投影した仮想撮像面上の光線中心のうち、再構成する画像内のそれぞれの画素に近い光線中心を用いて補完する。この時、光線中心の数は、撮像素子の画素数で固定されるため、仮想撮像面上の光線中心が一箇所に固まると、仮想撮像面上の光線中心の混みあいの程度を示す密度が低い領域では再構成時の画像の解像度が低くなってしまう。
　［１－２．ライトフィールドカメラの構成］
　実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図１は、実施の形態１にかかるライトフィールドカメラの構成図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、撮像部３１０と、信号処理部３２０で構成される。撮像部３１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部３２０は、ＬＳＩ（ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
　被写体１０１を通過する光は、メインレンズ１０２、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
　撮像素子１０４で受光した光を電気信号に変換した各画素は、信号処理部３２０に送られる。信号処理部３２０は、任意の焦点位置で撮影した時の画像を再構成するために、撮像素子１０４を任意の空間上の平面へ仮想的に配置した仮想撮像面１０５が設定されると、撮像素子１０４の各画素から、仮想撮像面１０５へ光線方向に従って投影した光線中心１０６の位置を計算する。その後、光線中心１０６を用いて画像を再構成することで、仮想撮像面１０５におけるリフォーカス画像を生成する。
　図２は、仮想撮像面上の光線中心の分布を示す図である。マイクロレンズアレイ１０３は、直径が約１８画素で、ハニカム構造（ｈｏｎｅｙｃｏｍｂ　ｓｔｒｕｃｔｕｒｅ）で配置されており、撮像素子１０４は、ベイヤ構造（Ｂａｙｅｒ　ｓｔｒｕｃｔｕｒｅ）で配置されている。光線中心の分布２１０は、本実施の形態のライトフィールドカメラ１００の光線中心の分布である。
　図２において、光線中心の分布２１０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ－Ａと、撮像素子１０４の水平方向Ｂ－Ｂとが、互いに平行でなく所定の角度を有し、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ－Ａは撮像素子１０４の水平方向Ｂ－Ｂに対して傾いている。すなわち、マイクロレンズアレイ１０３は撮像素子１０４に対して垂直方向に所定の回転角を有している。
　図２において、光線中心の分布２２０は、従来のライトフィールドカメラの光線中心の分布である。光線中心の分布２２０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ｃ－Ｃと、撮像素子１０４の水平方向Ｂ－Ｂとが、互いに平行であり、傾いていない。すなわち、マイクロレンズアレイが撮像素子に対して垂直方向に回転していない。
　図２において、光線中心の分布２１０と光線中心の分布２２０を比較すると、光線中心の分布２１０のほうが、光線中心の重なりが少なく、仮想撮像面１０５に対して光線中心の密度が高い。仮想撮像面１０５に対して光線中心の密度が高いと、画像を再構成してフォーカス画像を生成する際、画像の解像度がより高くなる。すなわち、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有することで、仮想撮像面１０５に投影した光線中心の密度は、より高くなる。
　以上のように構成されたライトフィールドカメラ１００において、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な回転角を算出したので、以下説明する。
　［１－３．最適な回転角］
　［１－３－１．光線中心の位置］
　まず、仮想撮像面１０５上の光線中心の位置の計算方法について説明する。
　図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。図３において、マイクロレンズアレイ１０３と撮像素子１０４の距離をｂ、マイクロレンズアレイ１０３と仮想撮像面１０５の距離をｂｂとする。
　マイクロレンズアレイ１０３のｉ番目のマイクロレンズ４０１の中心位置を撮像素子１０４の方向に水平に伸ばして撮像素子１０４と交差する位置である中心位置４０２の座標を、
Figure JPOXMLDOC01-appb-M000001
とする。
　撮像素子１０４上の任意の画素を画素４０３、中心位置４０２から画素４０３までの方向ベクトル４０４を、
Figure JPOXMLDOC01-appb-M000002
とする。また、ｉ番目のマイクロレンズ４０１の直径をｄとする。
　ここで、撮像素子１０４上の画素４０３の仮想撮像面１０５上に投影した際の光線中心の座標４０５は、ｉ番目のマイクロレンズ４０１の中心を通過して直線に光が進むと仮定すると、
Figure JPOXMLDOC01-appb-M000003
となる。
　また仮想撮像面１０５における光線の幅をｄｄとすると、ｉ番目のマイクロレンズ４０１の直径ｄで捉えた光線が撮像素子１０４の画素４０３へ集光されると考えると、ｄｄ＝ｄとなる。これにより、撮像素子１０４上の各画素から、仮想撮像面１０５に投影した光線中心の位置および、光線の幅を計算できる。
　［１－３－２．コスト値の算出］
　マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を算出するため、コスト関数を用いて評価を行った。具体的には、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角を、０度から３０度までの間で０．１度刻みに変化させ、それぞれの回転角に対してコスト関数を用いてコスト値を算出する。算出したコスト値を用いて評価を行い、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。
　ここで、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順について説明する。図４は、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
　マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角のコスト値は、想定される全ての仮想撮像面に対して算出する。想定される全ての仮想撮像面１０５は、撮像素子１０４から所定の焦点距離内で予め設定された間隔で決定されるリフォーカス距離の仮想撮像面１０５の全てである。
　（Ｓ５０１）まず、コスト関数のコスト値や変数等をゼロに初期化する。
　（Ｓ５０２）次に、想定される仮想撮像面を全てに対して処理が完了したか否かを判定する。全て処理した場合（Ｙｅｓの場合）は、コスト値とコスト値の算出を実施した回転角を出力して終了する。想定される仮想撮像面を全て処理してない場合（Ｎｏの場合）、ステップＳ５０３へ処理を進める。
　（Ｓ５０３）予め設定された間隔に従って、対象とするリフォーカス距離の仮想撮像面を設定する。
　（Ｓ５０４）次に、設定された仮想撮像面上の指定範囲内において、指定範囲内のすべての画素に対しコスト値を計算したか否かを判定する。全ての画素に対してコスト値を計算した場合（Ｙｅｓの場合）は、ステップＳ５０２に戻る。指定範囲内の全ての画素に対してコスト値を計算してない場合（Ｎｏの場合）、ステップＳ５０５へ処理を進める。
　（Ｓ５０５）仮想撮像面上の指定範囲内の計算してない画素の位置を取得する。
　（Ｓ５０６）次に、撮像素子１０４上の各画素から予め計算しておいた仮想撮像面１０５へ投影した光線中心の位置に対し、ステップＳ５０５で取得した画素の位置から最も近い光線中心を探索し、光線中心の位置を特定する。
　（Ｓ５０７）次に、ステップＳ５０６で求めた光線中心の位置と、ステップＳ５０５で取得した画素の位置の距離を、コスト値に追加し、ステップＳ５０４へ戻る。
　［１－３－３．コスト関数の一例］
　次に、コスト値を算出するコスト関数の詳細について説明する。図５は、実施の形態１におけるコスト関数の一例を説明する図である。図５において、仮想撮像面１０５上に、コスト関数を計算する範囲を特定するための指定範囲をＲとし、指定範囲Ｒ内に存在するｒ番目の注目画素Ｐ（ｒ）の位置を、
Figure JPOXMLDOC01-appb-M000004
と定義する。
　次に仮想撮像面１０５の位置をｆとし、撮像素子１０４上のｎ番目の画素を、位置fにある仮想撮像面１０５へ投影した場合の光線中心の位置Ｒａｙ（ｆ，ｎ）を、
Figure JPOXMLDOC01-appb-M000005
と定義する。
　この時、注目画素の位置Ｐ（ｒ）と、光線中心の位置Ｒａｙ（ｆ，ｎ）との距離Ｄｉｓｔ（Ｐ（ｒ），Ｒａｙ（ｆ、ｎ））は、例えば、最小距離の２乗誤差として定義すれば、
Figure JPOXMLDOC01-appb-M000006
となる。
　想定される仮想撮像面全ての集合をｆｏｃｕｓ、指定範囲をＲ、撮像素子１０４上の画素全体の集合をＮとした場合、コスト関数Ｃｏｓｔ（ｆｏｃｕｓ，Ｒ，Ｎ）は、
Figure JPOXMLDOC01-appb-M000007
と定義できる。
　（数７）で定義したコスト関数は、想定される仮想撮像面１０５全てにおいて、指定範囲Ｒ、つまり、再構成する画像の範囲で、それぞれの再構成する画素の位置と再構成時に用いる光線中心の位置の距離を評価することと等価である。そして、再構成時の画素と光線中心の距離が全体的に近いほど、仮想撮像面１０５に対して光線中心の密度が高く、高い解像度を得られることに基づく式となっている。
　［１－３－４．最適な回転角の算出］
　（数７）のコスト関数を用いて、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。図６から図１０を用いて説明する。
　図６は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。図６において、横軸をマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角、縦軸をコスト関数の平均値とする。
　コスト関数の平均値は、算出したコスト値を、計算に用いた仮想撮像面１０５上の画素数で割った値である。コスト関数の平均値は、値が低いほど高い解像度で画像の再構成ができる。
　図６において、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度から３０度の範囲で０．１度刻みにコスト関数の平均値をプロットしており、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時に最もコスト関数の平均値が高く、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の時が最もコスト関数の平均値が低い結果となった。また、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度から約２８．３度の間であればマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時よりもコスト関数の平均値が低いので、高い解像度で画像の再構成ができ、さらにマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度、約６．６度、約１２．４度、約１７．６度、及び約２３．４度でコスト関数の平均値が極小値となり、より高い解像度で画像の再構成ができる。
　次に、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度における、撮像素子１０４から仮想撮像面１０５までの距離であるリフォーカス距離に対するコスト関数の平均値の関係について説明する。
　図７は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。横軸のリフォーカス距離は、マイクロレンズアレイ１０３と撮像素子１０４の距離を１としたときの相対距離を示している。図７において、リフォーカス距離を－５から＋５まで変化させた時の、コスト関数の平均値をグラフ化している。なお、リフォーカス距離が－１～＋１の区間は評価しない。図７におけるリフォーカス距離が＋４．５付近、＋２．５付近、－３．５付近に対する仮想撮像面１０５上の光線中心の分布について説明する。
　図８は、リフォーカス距離が＋４．５付近の光線中心の分布を示す図である。図８において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は４．８である。
　図９は、リフォーカス距離が＋２．５付近の光線中心の分布を示す図である。図９において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．５であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は１．１である。
　図１０は、リフォーカス距離が－３．５付近の光線中心の分布を示す図である。左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の光線中心の分布を示している。マイクロレンズアレイ１０３の回転角が６．６度におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度におけるコスト関数の平均値は３．９である。
　図８、９、１０より、コスト関数の平均値が１．４の光線中心の分布とコスト関数の平均値が３．９の光線中心の分布を比較すると、コスト関数の平均値が１．４の光線中心の分布のほうがコスト関数の平均値３．９の光線中心の分布よりも光線中心が重ならず、仮想撮像面１０５に対して密度が高く配置されていることが分かる。同様に、コスト関数の平均値が１．１、１．５の光線中心の分布は、仮想撮像面１０５に対して密度が高く配置され、コスト関数の平均値が４．８の光線中心の分布は光線中心が重なっている。
　従って、図８、９、１０コスト関数の平均値が低いほど、光線中心の分布が、仮想撮像面１０５に対して密度が高いことが視覚的に確認できる。すなわち、コスト関数の平均値が低いほど、画像を再構成する際、再構成して求めたい画素付近に光線中心が存在するので、リフォーカス画像の解像度が高くなる。
　また、図７から、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合に比べ、リフォーカス距離が－５から＋５までの全般にわたって、概ねコスト関数の平均値が低いことがわかる。
　これにより、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有していると、画像の再構成時において、リフォーカス画像の解像度が向上する。
　なお、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度であるとしたが、実際には製造時の精度の制約等により０．２度以下の回転角となることがあり得る。しかしながら、本実施の形態では、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有するとは、製造時の制度の制約を超えた、約１度以上の回転角であることを意図している。
　さらに、マイクロレンズアレイ１０３の構造が別の構成である場合についても最適な回転角を見出した。図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図であり、図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図である。
　図１１は、マイクロレンズアレイ１０３は直径が約１７画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角約６．６度及び約２３．４度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
　さらに、図１２は、マイクロレンズアレイ１０３は直径が約１６画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約３．９度、約１３．８度、約１６．２度、及び約２６．１度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
　［１－４．効果等］
　以上のように、本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
　これにより、画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上できる。
　本開示の撮像装置は、ライトフィールドカメラに適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラなどに用いるライトフィールドカメラに適用可能である。
　１００　ライトフィールドカメラ
　１０１　被写体
　１０２　メインレンズ
　１０３　マイクロレンズアレイ
　１０４　撮像素子
　１０５　仮想撮像面
　１０６　光線中心
　２０１　マイクロレンズ
　２１０，２２０　光線中心の分布
　３１０　撮像部
　３２０　信号処理部
　４０１　ｉ番目のマイクロレンズ
　４０２　中心位置
　４０３　画素
　４０４　方向ベクトル
　４０５　光線中心の座標

Claims (4)

  1. 　光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
    　メインレンズと、
    　撮像素子と、
    　前記メインレンズと前記撮像素子の間に配置され、前記撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、
    　任意の焦点位置の仮想撮像面に、前記光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える、
    撮像装置。
  2. 　前記回転角は、略１．０度以上である、
    請求項１記載の撮像装置。
  3. 　前記回転角は、前記仮想撮像面へ前記撮像素子から光線方向に従って前記仮想撮像面に投影した光線の交わる点である光線中心の位置と、前記リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である、
    請求項１記載の撮像装置。
  4. 　前記任意の焦点位置は、前記マイクロレンズアレイと前記撮像素子の距離に対して±５の範囲である、
    請求項３記載の撮像装置。
PCT/JP2014/006065 2014-03-03 2014-12-04 撮像装置 WO2015132831A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016505945A JPWO2015132831A1 (ja) 2014-03-03 2014-12-04 撮像装置
EP14884769.2A EP3116216A4 (en) 2014-03-03 2014-12-04 Image pickup apparatus
US15/194,694 US20160309074A1 (en) 2014-03-03 2016-06-28 Image capture device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014040455 2014-03-03
JP2014-040455 2014-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/194,694 Continuation US20160309074A1 (en) 2014-03-03 2016-06-28 Image capture device

Publications (1)

Publication Number Publication Date
WO2015132831A1 true WO2015132831A1 (ja) 2015-09-11

Family

ID=54054676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/006065 WO2015132831A1 (ja) 2014-03-03 2014-12-04 撮像装置

Country Status (4)

Country Link
US (1) US20160309074A1 (ja)
EP (1) EP3116216A4 (ja)
JP (1) JPWO2015132831A1 (ja)
WO (1) WO2015132831A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432230A (zh) * 2015-12-21 2018-08-21 高通股份有限公司 用于计算Scheimpflug相机的方法和设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6385241B2 (ja) * 2014-10-27 2018-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
EP3193305B1 (en) * 2016-01-12 2018-09-12 Continental Automotive GmbH Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
CN108093237A (zh) * 2017-12-05 2018-05-29 西北工业大学 高空间分辨率光场采集装置与图像生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
WO2013069292A1 (ja) * 2011-11-10 2013-05-16 パナソニック株式会社 画ブレ補正装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US9300932B2 (en) * 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
WO2013069292A1 (ja) * 2011-11-10 2013-05-16 パナソニック株式会社 画ブレ補正装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3116216A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432230A (zh) * 2015-12-21 2018-08-21 高通股份有限公司 用于计算Scheimpflug相机的方法和设备
CN108432230B (zh) * 2015-12-21 2021-02-26 高通股份有限公司 一种成像设备和一种用于显示场景的图像的方法

Also Published As

Publication number Publication date
EP3116216A4 (en) 2017-02-15
EP3116216A1 (en) 2017-01-11
JPWO2015132831A1 (ja) 2017-03-30
US20160309074A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
RU2570349C1 (ru) Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений
WO2015132831A1 (ja) 撮像装置
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP7264624B2 (ja) 映像復元装置及び方法
US20180213217A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
JP6716218B2 (ja) 複数ピクセルピッチ超解像技術
US20110267508A1 (en) Digital camera with coded aperture rangefinder
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
CN104469183B (zh) 一种x射线闪烁体成像系统的光场捕捉和后处理方法
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
RU2020112458A (ru) Устройство и способ формирования изображения и устройство и способ обработки изображения
CN110462679B (zh) 快速多光谱光场成像方法和系统
US20140009659A1 (en) Image processing apparatus, control method for same, and program
US9791599B2 (en) Image processing method and imaging device
JP6847097B2 (ja) 光学取得系によりキャプチャされた画像を符号化するための装置及び方法
US20160307303A1 (en) Image capture device
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
JP2014155071A5 (ja)
US9596402B2 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
WO2018139250A1 (ja) 全天球撮像装置
JP2019056759A5 (ja)
WO2018030135A1 (ja) 撮像装置および画像処理方法
JP6294751B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6261085B2 (ja) 画像解析装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884769

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014884769

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014884769

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016505945

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE