JP5970816B2 - Image processing apparatus, imaging device, and imaging apparatus - Google Patents
Image processing apparatus, imaging device, and imaging apparatus Download PDFInfo
- Publication number
- JP5970816B2 JP5970816B2 JP2011547718A JP2011547718A JP5970816B2 JP 5970816 B2 JP5970816 B2 JP 5970816B2 JP 2011547718 A JP2011547718 A JP 2011547718A JP 2011547718 A JP2011547718 A JP 2011547718A JP 5970816 B2 JP5970816 B2 JP 5970816B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photoelectric conversion
- unit
- microlens
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 112
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003491 array Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 239000002131 composite material Substances 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000004907 flux Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- VYQRBKCKQCRYEE-UHFFFAOYSA-N ctk1a7239 Chemical compound C12=CC=CC=C2N2CC=CC3=NC=CC1=C32 VYQRBKCKQCRYEE-UHFFFAOYSA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/02—Details
- H01L31/0232—Optical elements or arrangements associated with the device
- H01L31/02327—Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、画像処理装置、撮像素子、および、撮像装置に関する。
本願は、2009年12月28日に、日本に出願された特願2009−298364号に基づき優先権を主張し、その内容をここに援用する。
The present invention relates to an image processing device, an imaging device, and an imaging device.
This application claims priority on December 28, 2009 based on Japanese Patent Application No. 2009-298364 for which it applied to Japan, and uses the content here.
撮影レンズからの光束をマイクロレンズアレイの各マイクロレンズを介して複数の受光素子で受光して得られる受光信号を用いて、撮影レンズの任意の像面に焦点のあった画像を合成する画像合成装置を備える撮像装置が知られている(例えば、特許文献1参照)。 Image composition that synthesizes an image focused on an arbitrary image plane of the photographic lens by using the received light signal obtained by receiving the light flux from the photographic lens with multiple light receiving elements via each microlens of the microlens array An imaging apparatus including the apparatus is known (for example, see Patent Document 1).
ところで、上述のような撮像装置において、複数の受光素子で得られる受光信号を間引いて用いる場合には、用いる信号を出力する受光素子の位置が各マイクロレンズ間で対応したものでなければ、正しい画像を合成することができない。 By the way, in the imaging apparatus as described above, when the received light signals obtained by a plurality of light receiving elements are thinned and used, it is correct if the positions of the light receiving elements that output the signals to be used do not correspond between the microlenses. The image cannot be synthesized.
本発明に係る態様は、このような事情に鑑みてなされたもので、その目的は、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる撮像素子、および、撮像装置を提供することにある。 The aspect according to the present invention has been made in view of such circumstances, and the purpose thereof is to obtain a correct image even when a light reception signal obtained by receiving light with a plurality of light receiving elements via a microlens is thinned out and used. It is an object of the present invention to provide an imaging device and an imaging apparatus that can synthesize the above.
本発明に係る一態様における画像処理装置は、複数のマイクロレンズ毎に設けられた、行方向と列方向にそれぞれ配置された複数の受光部の内の一部の行に配置された前記受光部から読み出した出力データから任意の焦点面の画像を生成する画像生成部を備え、前記一部の行に配置された前記受光部の前記マイクロレンズに対する位置が、前記複数の前記マイクロレンズ毎に同じである。
本発明に係る一態様における撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を有する素子群が前記マイクロレンズ毎に設けられた光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記素子群が含む1つの方向における前記光電変換素子の配列数は第1所定数であり、前記複数のマイクロレンズは、前記方向における前記複数の素子群の間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択された複数の素子の間隔の整数倍となるように定められた配列ピッチを有する。
An image processing apparatus according to an aspect of the present invention is provided with the light receiving unit disposed in a part of a plurality of light receiving units disposed in a row direction and a column direction, provided for each of a plurality of microlenses. An image generation unit that generates an image of an arbitrary focal plane from the output data read out from the position, and the position of the light receiving unit arranged in the partial row with respect to the microlens is the same for each of the plurality of microlenses It is.
An imaging device according to an aspect of the present invention includes a microlens array including a plurality of microlenses, a photoelectric conversion element array in which an element group including a plurality of photoelectric conversion elements is provided for each microlens, and the plurality of photoelectric elements. An output unit that outputs a plurality of selected signals from a plurality of selected elements of the conversion elements, and the number of arrangement of the photoelectric conversion elements in one direction included in the element group is a first predetermined number The plurality of microlenses is a sum of the second predetermined number, which is the number of the photoelectric conversion elements located between the plurality of element groups in the direction, and the first predetermined number. The arrangement pitch is determined to be an integral multiple of the interval between the plurality of elements.
本発明に係る一態様における撮像装置は、上記態様による撮像素子と、前記撮像素子に対して対象の像を結像する光学系とを備える。 An imaging device according to an aspect of the present invention includes the imaging element according to the above aspect and an optical system that forms an image of a target on the imaging element .
本発明に係る態様によれば、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。 According to the aspect of the present invention, a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out and used.
図1は、本発明に係る一実施形態における、焦点検出装置100を備えたデジタル一眼レフカメラ(以下、カメラという)の構成を示す断面図である。なお、本発明の焦点検出装置100、撮像装置に関わる機器、装置以外のカメラの一般的な機器および装置については図示と説明を省略する。本実施形態のカメラはカメラボディ1にレンズ鏡筒20が装着され、レンズ鏡筒20は各種の撮影レンズに交換可能である。なお、本実施形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。
FIG. 1 is a cross-sectional view illustrating a configuration of a digital single-lens reflex camera (hereinafter referred to as a camera) including a
レンズ鏡筒20は、ズーミングレンズ21、フォーカシングレンズ22、絞り24、レンズおよび絞り駆動用アクチュエーター25、レンズメモリ26などを備えている。なお、図1ではズーミングレンズ21とフォーカシングレンズ22を一つの撮影レンズ23で代表して表す。ズーミングレンズ21はアクチュエーター25により光軸方向に駆動され、撮影レンズ23の焦点距離を変えるレンズである。
The
また、フォーカシングレンズ22はアクチュエーター25により光軸方向に駆動され、撮影レンズ23の焦点調節を行うレンズである。絞り24はアクチュエーター25に駆動されて絞り開口径を変化させる。レンズメモリ26には、撮影レンズ23の開放F値、焦点距離などのレンズ鏡筒20および撮影レンズ23に関する情報が記憶されている。
The focusing
カメラボディ1は、撮像用撮像素子2、シャッター3、撮像素子部50(撮像素子)、画像合成部62、表示制御部63、焦点検出演算部64、レンズ駆動量演算部65、制御回路7、駆動回路8、クイックリターンミラー9、サブミラー10、焦点板11、透過型液晶表示器12、ペンタプリズム13、測光レンズ14、測光センサ15、接眼レンズ16、操作部材17、および、表示部18を備えている。
The
この撮像素子部50は、たとえば、マイクロレンズアレイ4と、光電変換素子アレイ5と、出力部61とを備えている。
The
撮像用撮像素子2はCCDやCMOSなどから構成され、レンズ鏡筒20内の撮影レンズ(撮像レンズ)23により結像した被写体像を電気信号に変換して出力する。シャッター3は、レリーズボタン(不図示)の全押し時(シャッターレリーズ時)に露出演算結果によって、または撮影者が手動で設定したシャッター秒時だけ開放され、撮像用撮像素子2を露光する。
The
撮像素子部50と焦点検出演算部64とは、焦点検出装置100を構成し、撮影レンズ23の焦点状態を示すデフォーカス量を検出する。
The
レンズ駆動量演算部65は、焦点検出装置100の焦点検出演算部64が検出したデフォーカス量に基づいて、フォーカスレンズ(フォーカシングレンズ)の駆動量を算出する。
The lens drive
制御回路7はマイクロコンピューターとメモリなどの周辺部品から構成され、測光、焦点検出、撮影などのシーケンス制御や、露出演算などの演算制御を行う。また、制御回路7は、レンズ駆動量演算部65が算出したレンズ駆動量に基づいて、駆動回路8を介してアクチュエーター25を駆動して、フォーカシングレンズ22を合焦駆動する。
The control circuit 7 is composed of peripheral components such as a microcomputer and a memory, and performs sequence control such as photometry, focus detection and photographing, and calculation control such as exposure calculation. Further, the control circuit 7 drives the
駆動回路8は、レンズ鏡筒20内に設けられるレンズおよび絞り駆動用アクチュエーター25を駆動制御する。測光センサ15は、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を出力する。
The drive circuit 8 controls driving of a lens and an
また、カメラボディ1には、撮影者が操作する操作部材17が配置される。操作部材17には、レリーズボタンの第1ストロークの操作(半押し)時にオンするレリーズ半押しスイッチ、レリーズボタンの第2ストロークの操作(全押し)時にオンするレリーズ全押しスイッチなどが含まれる。レリーズ半押しスイッチが押されると、AF(オートフォーカシング)の開始を示す信号が制御回路7に入力される。レリーズ全押しスイッチが押されると、撮像の開始を示す信号が制御回路7に入力される。
An
撮像用撮像素子2を露光しない状態では、クイックリターンミラー9とサブミラー10が図1に示すように撮影光路中に位置する。このとき、撮影レンズ23を透過した被写体からの光の一部は、クイックリターンミラー9に反射されて焦点板(スクリーン)11へ導かれ、焦点板11上に被写体像を結像する。透過型液晶表示器12は、焦点板11上の被写体像に焦点検出位置を示す情報を重畳して表示するとともに、被写体像外にシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。
In a state where the
焦点板11上の被写体像は、ペンタプリズム13と接眼レンズ16を介して撮影者により観測可能とされるとともに、ペンタプリズム13と測光レンズ14を介して測光センサ15へ導かれる。制御回路7は、測光センサ15から出力される測光領域ごとの測光信号に基づいて露出演算を行い、被写体の輝度に応じたシャッター速度と絞り値を算出する。なお、手動露出撮影モード設定時には、撮影者が操作部材17を操作して設定したシャッター速度と絞り値を用いる。
The subject image on the focusing
一方、撮影レンズ23を通過した被写体からの光の他の一部は、クイックリターンミラー9を透過してサブミラー10により反射され、焦点検出装置100を構成する撮像素子部50へ導かれる。上述した焦点検出装置100の焦点検出演算部64は、この被写体からの光の他の一部に基づいて、撮影レンズ23の焦点状態を示すデフォーカス量を検出する。
On the other hand, another part of the light from the subject that has passed through the photographing
また、撮像素子部50は、被写体からの光の他の一部に基づいた画素信号を、予め定められている間引きパターンで間引いて、画像合成部62に出力する。画像合成部62は、撮像素子部50から出力された画素信号に基づいて、画像を合成する。表示制御部63は、画像合成部62により合成された画像を、表示部18に連続的に表示する。これにより、ライブビュー(現時点での被写体の像)表示が可能となる。
Further, the
なお、上述した焦点検出装置100の焦点検出演算部64は、予め定められている間引きパターンで間引かれて撮像素子部50から出力される画素信号に基づいて、撮影レンズ23の焦点状態を示すデフォーカス量を検出してもよい。
The focus
撮影時は、クイックリターンミラー9とサブミラー10が撮影光路から退避(ミラーアップ)され、シャッター3が開放されて撮影レンズ23を透過した被写体からの光束が撮像用撮像素子2へ導かれ、撮像用撮像素子2の撮像面に結像された被写体像が撮像される。
At the time of shooting, the quick return mirror 9 and the
次に、撮像素子部50の詳細について説明する。ここでは、図2から図4を用いて、撮像素子部50の構成のうち、マイクロレンズアレイ4と光電変換素子アレイ5との構成の一例について説明する。また出力部61が、光電変換素子アレイ5から画素信号を間引いて読み出す方法について説明する。
Next, details of the
光電変換素子アレイ5は、複数の光電変換素子が連続的に配列されている。たとえば、光電変換素子アレイ5は、行方向に連続的に配列されている複数の光電変換素子(1行の光電変換素子)が、列方向に連続的に複数配列されている。すなわち、光電変換素子アレイ5は、複数の光電変換素子が、行方向と列方向とに二次元状に配列されている。
In the photoelectric
光電変換素子アレイ5は、たとえば図1の場合、図1の紙面に対して垂直となる軸と、図1の紙面に対して横になる(紙面上を水平に横断する)軸とで構成される平面において、上述したように、複数の光電変換素子が、行方向(例えば、上記紙面に対して横になる)と列方向(例えば、上記紙面に対して垂直となる軸)とに二次元状に配列されている。
For example, in the case of FIG. 1, the photoelectric
マイクロレンズアレイ4は、光電変換素子アレイ5の一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有する。さらに、このマイクロレンズアレイ4は、後述するように、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列されている。
The
図2は、マイクロレンズアレイ4と光電変換素子アレイ5とを、図1の紙面において上から下の方向に見た場合の平面図である。この図2において、光電変換素子アレイ5の画素の面において、マイクロレンズアレイ4が備える1つのマイクロレンズに対応する領域を円で示して説明する。また、光電変換素子アレイ5の格子状に配列されている画素において、このマイクロレンズに対応する領域内の画素を示して説明する。また、ここでは、1つのマイクロレンズに対して光電変換素子アレイ5の5×5画素が対応する場合について説明する。光電変換素子アレイ5において、複数の光電変換素子は、複数のマイクロレンズにそれぞれ対応する複数の光電変換素子群(素子群)を含む。
FIG. 2 is a plan view of the
図2の場合、複数のマイクロレンズは、行方向に順に行番号m1、m2、m3、m4、m5・・・とし、かつ、列方向に順に列番号n1、n2、n3、n4、n5・・・として格子状に配置されている。そして、それぞれのマイクロレンズに対応して光電変換素子群が設定されている。各々の光電変換素子群において、行方向に順に行番号o1、o2、o3、o4、o5とし、かつ、列方向に順に列番号p1、p2、p3、p4、p5として、25個の画素(光電変換素子)が格子状に配置されている。各々の光電変換素子群において、行方向における光電変換素子の実質的な配列数(第1所定数)が5であり、列方向における光電変換素子の実質的な配列数(第1所定数)が5である。 In the case of FIG. 2, the plurality of microlenses have row numbers m1, m2, m3, m4, m5... In the row direction and column numbers n1, n2, n3, n4, n5.・ As a grid pattern. A photoelectric conversion element group is set corresponding to each microlens. In each photoelectric conversion element group, 25 pixels (photoelectrical elements) are sequentially assigned row numbers o1, o2, o3, o4, and o5 in the row direction and column numbers p1, p2, p3, p4, and p5 in the column direction. Conversion elements) are arranged in a grid pattern. In each photoelectric conversion element group, the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the row direction is 5, and the substantial arrangement number (first predetermined number) of the photoelectric conversion elements in the column direction is 5. 5.
なお、図2においては、光電変換素子アレイ5が備える画素のうち、マイクロレンズに対応する画素(光電変換素子)のみを示している。しかし、マイクロレンズに対応する画素と画素との間にも画素(光電変換素子)があってもよい(後述する図5、図6Aおよび図6Bを参照)。
In FIG. 2, only pixels (photoelectric conversion elements) corresponding to the microlens among the pixels included in the photoelectric
この図2に示すように、光電変換素子アレイ5は、たとえば、行方向に一次元状に配置されている複数の光電変換素子が、列方向に連続的に配列されて、画素が二次元状に配置されている。
As shown in FIG. 2, the photoelectric
出力部61は、マイクロレンズを介した光束を光電変換素子アレイ5が備える光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から一定間隔で選択した光電変換素子に対応する受光信号を出力する。すなわち、出力部61は、光電変換素子アレイ5が備える光電変換素子を、予め定められている間引きパターンで間引いて読み出して出力する。換言すると、出力部61は、選択素子及び非選択素子の配列を示すパターンに基づいて選択される光電変換素子の信号(選択された信号)を出力する。
The
なお、このマイクロレンズアレイ4と光電変換素子アレイ5とは、位相差方式の焦点検出センサとしても用いることが可能である。
The
図3は、間引きパターンの第1例であり、1ライン間引きした場合の例であり、マイクロレンズに対応する光電変換素子の画素の奇数行目を読み出すパターンである。この図3では、読み出す画素(選択素子)を灰色(ドットパターン)で示し、読み出さない画素(非選択素子)を白色(空白パターン)で示している。なお、1ライン間引きとは、1行ごとに画素を間引くパターンのことである。各光電変換素子群における画素(光電変換素子)において、行方向に沿って、選択素子と非選択素子とが1つずつ交互に繰り返される。 FIG. 3 is a first example of a thinning pattern, which is an example in the case where one line is thinned, and is a pattern for reading out odd-numbered rows of pixels of photoelectric conversion elements corresponding to microlenses. In FIG. 3, pixels (selected elements) to be read are shown in gray (dot pattern), and pixels (non-selected elements) that are not read out are shown in white (blank pattern). One line thinning is a pattern in which pixels are thinned out for each row. In the pixels (photoelectric conversion elements) in each photoelectric conversion element group, the selection elements and the non-selection elements are alternately repeated one by one along the row direction.
ここで、間引きパターンの理想的な条件は、マイクロレンズに対応する画素の中央部が間引かれていないこと、および、各マイクロレンズに対応する複数の画素において、間引きパターンがすべて同じ構成になっていることである。 Here, the ideal condition for the thinning pattern is that the central portion of the pixel corresponding to the microlens is not thinned, and the thinning pattern has the same configuration in a plurality of pixels corresponding to each microlens. It is that.
このマイクロレンズに対応する画素の中央部が間引かれていないことが条件となるのは、例えば画像合成する際には、マイクロレンズの中心に対応する画素が合成の基準となり、マイクロレンズの中心に対応する画素を読み出すことが必要であるためである。 The condition that the center portion of the pixel corresponding to the microlens is not thinned is that, for example, when compositing an image, the pixel corresponding to the center of the microlens is a reference for synthesis, and the center of the microlens This is because it is necessary to read out the pixels corresponding to.
また、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっていることが条件となるのは、例えば画像合成する際、各マイクロレンズに対応する複数の画素毎に画素の間引きパターンが異なってしまうと、画像合成の為の演算が複雑になってしまうためである。 In addition, it is necessary that the thinning patterns have the same configuration in a plurality of pixels corresponding to each microlens. For example, when synthesizing an image, pixel thinning is performed for each of the plurality of pixels corresponding to each microlens. This is because if the patterns are different, the calculation for image synthesis becomes complicated.
従って、図3のようであれば、中央の画素列が間引かれておらず、かつ、全てのマイクロレンズに対応する複数の画素において間引きパターンが同じであるので、理想的な間引きパターンである。図3の間引きパターンは、適切な(上記条件を満たす)間引き方の1つである。 Therefore, in the case of FIG. 3, the center pixel row is not thinned out, and the thinning pattern is the same among a plurality of pixels corresponding to all the microlenses. . The thinning pattern in FIG. 3 is one of appropriate thinning methods (satisfying the above conditions).
また、図4は、間引きパターンの第2例である。この図4の第2例において、1ライン間引きした場合の例である点は図3の間引きパターンの第1例と同様である。しかし、この図4の第2例においては、マイクロレンズに対応する光電変換素子の画素の偶数行目を読み出すパターンである点が、図3の間引きパターンの第1例とは異なる。 FIG. 4 is a second example of the thinning pattern. The second example of FIG. 4 is the same as the first example of the thinning pattern in FIG. However, the second example of FIG. 4 is different from the first example of the thinning pattern in FIG. 3 in that the pattern is a pattern for reading even-numbered rows of pixels of the photoelectric conversion element corresponding to the microlens.
この場合、中央の画素列が間引かれており、例えば画像合成する際に基準となるマイクロレンズ中心に相当する画素が間引かれている。図4の間引きパターンは、上記条件を満たしていないため、不適切な間引き方の1つとなる。 In this case, the center pixel row is thinned out, and for example, the pixel corresponding to the center of the microlens serving as a reference when combining images is thinned out. Since the thinning pattern in FIG. 4 does not satisfy the above condition, it is one of inappropriate thinning patterns.
このように、同じマイクロレンズアレイ4と光電変換素子アレイ5との組み合わせであるにも関わらず、図3の場合と図4の場合とのように間引き方が適切であるか否かという違いが生じる。この違いは、図3の場合と図4の場合とでは、1ライン間引きという間引きパターンは同様であっても、その読み出し開始位置が異なる。
Thus, despite the combination of the
上述した図3と図4との場合は、出力部61は、図3の場合のような間引きパターンで間引いて読み出せばいい。しかし、必ずしも図3の場合が適切とは限らない。マイクロレンズアレイ4と光電変換素子アレイ5との位置関係によっては、図4の場合が適切な場合がありうる。たとえば、図3または図4において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係が、1画素分だけ上方向または下方向にシフトした場合には、図4の場合が適切となる。
In the case of FIG. 3 and FIG. 4 described above, the
そこで、出力部61は、複数の光電変換素子から第1の間隔(パターン)で選択した光電変換素子に対応する受光信号と、第1の間隔(パターン)とは異なる第2の間隔(パターン)で選択した光電変換素子に対応する受光信号とを選択的に出力する。たとえば、出力部61は、図3に示したような第1の間引きパターンと、図4に示したような第2の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ5から受光信号を間引いて読み出す。
Therefore, the
このことを、一般化して説明する。ここでは、撮像素子の横列を行Y(Yは0でない自然数)で識別して説明する。また、ライン間引きのパターンを、1ライン間引きというパターンの場合について説明する。 This will be explained in general terms. Here, the row of the image sensor is identified by a row Y (Y is a natural number other than 0). Further, a case where the line thinning pattern is a pattern of one line thinning will be described.
この場合、出力部61は、ライン間引きのパターンは同じとして、間引く行を行Y=2,4,・・・・2nにする場合と、間引く行を行Y=1,3,5,・・・2n−1にする場合とを選択する。このnは0でない自然数である。
In this case, the
そして、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係に基づいて、出力部61は、この2つの間引きパターンから適切な間引きパターンを選択する。これにより、適切に間引きパターンを選択することができる。そのため、出力部61は、常に図3のように、光電変換素子アレイ5から受光信号を適切に間引いて読み出すことができる。
Then, based on the positional relationship between the
なお、1ライン間引き以外の別のパターンでも、ある程度短い周期でパターン化されているものは、間引く先頭画素をパターンの1周期分設けてやることで、上記のように画像合成時に最適な間引きパターンにすることが出来る。 It should be noted that another pattern other than one line thinning, which is patterned with a somewhat short cycle, provides an optimum thinning pattern at the time of image synthesis as described above by providing the thinned first pixel for one cycle of the pattern. Can be.
なお、上記に図3と図4とを用いて説明したような問題は、製造工程において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係を精密に調整することで回避することも可能である。
The problems described above with reference to FIGS. 3 and 4 can be avoided by precisely adjusting the positional relationship between the
これに対して本実施形態においては、上述したように、出力部61が、図3に示したような第1の間引きパターンと、図4に示したような第2の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ5から受光信号を間引いて読み出す。これにより、製造工程において、マイクロレンズアレイ4と光電変換素子アレイ5との位置関係を精密に調整しなくても、光電変換素子アレイ5から受光信号を適切に間引いて読み出すことが出来る。
On the other hand, in the present embodiment, as described above, the
ところで、図3のような理想的な間引きパターンにするもう1つの課題として、マイクロレンズアレイ4のピッチ(配列ピッチ、配列間隔、配置パターン)と光電変換素子アレイ5のピッチとの関係がある。次に、このピッチについて、図5と図6Aおよび図6Bとを用いて説明する。ここでは、マイクロレンズに対応する画素と画素(マイクロレンズに対応する光電変換素子群と、別の隣り合うマイクロレンズに対応する光電変換素子群)との間の画素も示して説明する。
By the way, as another problem to obtain an ideal thinning pattern as shown in FIG. 3, there is a relationship between the pitch of the microlens array 4 (arrangement pitch, arrangement interval, arrangement pattern) and the pitch of the photoelectric
この図5と図6Aおよび図6Bとでは、このマイクロレンズに対応する画素と画素との間の画素の数(中間画素数、第2所定数)が異なる。図5の場合には中間画素数L1が4行であるのに対して、図6Aおよび図6Bの場合には中間画素数L2が3行である。 FIG. 5 differs from FIG. 6A and FIG. 6B in the number of pixels (number of intermediate pixels, second predetermined number) between the pixels corresponding to the microlens. In the case of FIG. 5, the intermediate pixel number L1 is 4 rows, while in the case of FIGS. 6A and 6B, the intermediate pixel number L2 is 3 rows.
図5のようなマイクロレンズアレイ4と光電変換素子アレイ5との位置関係の場合、上側のマイクロレンズA1に含まれる画素の間引きパターンと、下側のマイクロレンズA2に含まれる画素の間引きパターンとが異なる。
In the case of the positional relationship between the
すなわち、上側のマイクロレンズA1に含まれる画素の間引きパターンが偶数行を読み出すパターンであるのに対して、下側のマイクロレンズA2に含まれる画素の間引きパターンが奇数行を読み出すパターンである。 That is, the pixel thinning pattern included in the upper microlens A1 is a pattern for reading even rows, whereas the pixel thinning pattern included in the lower microlens A2 is a pattern for reading odd rows.
ここで、上側のマイクロレンズA1と下側のマイクロレンズA2とは、たとえば図2において、同じ列であり、かつ、行が連続している2つのマイクロレンズのうち、行が上側となるマイクロレンズと下側となる(行番号がより大きい)マイクロレンズのことである。 Here, the upper microlens A1 and the lower microlens A2 are, for example, the same microlens in FIG. 2 and the microlens in which the row is the upper of the two microlenses in which the row is continuous. And the lower microlens (the row number is larger).
たとえば、上側のマイクロレンズA1は、図2において、列番号がn1であり、かつ、行番号がm1であるマイクロレンズのことである。また、下側のマイクロレンズA2は、図2において、列番号がn1であり、かつ、行番号がm2であるマイクロレンズのことである。 For example, the upper microlens A1 is a microlens whose column number is n1 and whose row number is m1 in FIG. The lower microlens A2 is a microlens whose column number is n1 and whose row number is m2 in FIG.
この図5の場合、上述した条件のうち、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっているという条件が満たされていない。また、上側のマイクロレンズA1においては、上述した条件のうち、マイクロレンズに対応する画素の中央部が間引かれていないという条件も満たされていない。よって、不適切な間引き方である。 In the case of FIG. 5, among the above-mentioned conditions, the condition that the thinning patterns are all the same in the plurality of pixels corresponding to each microlens is not satisfied. In the upper microlens A1, among the above-described conditions, the condition that the center portion of the pixel corresponding to the microlens is not thinned is not satisfied. Therefore, it is an inappropriate thinning method.
これに対して、マイクロレンズのピッチが図6Aおよび図6Bに示すような場合、上側のマイクロレンズA1と下側のマイクロレンズA2とにおいて、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンが同じである。よって、図6Aおよび図6Bの場合は、図3および図4の場合と同様に、適切な間引き方である。 On the other hand, when the pitch of the microlenses is as shown in FIG. 6A and FIG. 6B, the central pixel row is not thinned out in the upper microlens A1 and the lower microlens A2, and The thinning pattern is the same in a plurality of pixels corresponding to both microlenses. Therefore, in the case of FIG. 6A and FIG. 6B, as in the case of FIG. 3 and FIG.
次に、この図5と図6Aおよび図6Bとの間引き方の違いについて説明する。 Next, the difference in the thinning method between FIG. 5 and FIGS. 6A and 6B will be described.
図5の間引きの例では、隣り合うマイクロレンズ(A1、A2)間で画像合成に使用しない画素の列(上述した中間画素数)Lが、L(L1) = p×2m(p:画素ピッチ、m:0でない自然数)となっている。この場合は、適切な間引き方ではない。そのため、理想的な間引きパターンでの画像合成が難しいことになる。実際には、中途半端な位置関係となる場合もあり得るのでL≠p×(2m-1)である場合は、全て隣り合うマイクロレンズに含まれる画素の構成にズレが生じる。 In the example of thinning out in FIG. 5, a pixel row (number of intermediate pixels described above) L that is not used for image synthesis between adjacent microlenses (A1, A2) is L (L1) = p × 2m (p: pixel pitch). , M: natural number other than 0). In this case, it is not an appropriate thinning method. For this reason, it is difficult to compose an image with an ideal thinning pattern. Actually, there may be a halfway positional relationship. Therefore, when L ≠ p × (2m−1), there is a deviation in the configuration of pixels included in all adjacent microlenses.
なお、画像合成を行う際、例えば撮像素子の左上端の画素と右下端の画素を積算するケースは低く、基準となるマイクロレンズに対して近接しているマイクロレンズに含まれる画素が積算対象となるケースが多いので、p×2mに対しある程度の範囲までは大きな影響とはなりにくい可能性もある。 In addition, when performing image composition, for example, the case of integrating the upper left pixel and the lower right pixel of the image sensor is low, and pixels included in a microlens close to the reference microlens are subject to integration. Since there are many cases, there is a possibility that it is difficult to have a large effect up to a certain range for p × 2m.
これに対して、マイクロレンズのピッチが図6Aおよび図6Bに示すような場合、隣り合うマイクロレンズ(A1、A2)間で画像合成に使用しない画素の列がL(L2) = p×(2m-1) (p:画素ピッチ、m:0でない自然数)となっている。この場合は、適切な間引き方である。 On the other hand, when the pitch of the microlenses is as shown in FIGS. 6A and 6B, the column of pixels that are not used for image synthesis between the adjacent microlenses (A1, A2) is L (L2) = p × (2m -1) (p: pixel pitch, m: non-zero natural number). In this case, it is an appropriate thinning method.
このように、マイクロレンズのピッチは、選択された光電変換素子の間隔と光電変換素子群に含まれる光電変換素子の数とに応じて決める。 As described above, the pitch of the microlenses is determined according to the interval between the selected photoelectric conversion elements and the number of photoelectric conversion elements included in the photoelectric conversion element group.
なお、本実施形態では、間引きパターンとして1ライン間引きの場合(所定の方向に沿って、選択素子と非選択素子とが1つずつ交互に繰り返される場合)について説明しているが、他の実施形態において、他の間引きパターンを採用できる。例えば、他の実施形態において、所定の方向に沿って、選択素子と非選択素子とが2又は3ずつ交互に繰り返すようにできる。あるいは、所定の方向に沿って、1つの選択素子と2つの非選択素子とが連続するパターンが交互に繰り返すようにできる。あるいは、所定の方向に沿って、2つの選択素子と1つの非選択素子とが連続するパターンが交互に繰り返すようにできる。他の実施形態においても、例えば、各マイクロレンズ内に含まれる画素の構成が同じになるように、間引きパターンに応じて、マイクロレンズと画素との位置関係(ピッチの関係)を決めてやればよい。 In the present embodiment, a case of thinning out one line as a thinning pattern (a case where a selection element and a non-selection element are alternately repeated one by one along a predetermined direction) has been described. In the form, other thinning patterns can be employed. For example, in another embodiment, two or three selection elements and non-selection elements may be alternately repeated along a predetermined direction. Alternatively, a pattern in which one selection element and two non-selection elements are continuous can be alternately repeated along a predetermined direction. Alternatively, a pattern in which two selection elements and one non-selection element are continuous can be alternately repeated along a predetermined direction. Also in other embodiments, for example, if the positional relationship (pitch relationship) between the microlens and the pixel is determined according to the thinning pattern so that the configuration of the pixels included in each microlens is the same. Good.
間引きパターンが任意の場合、マイクロレンズのピッチは、マイクロレンズアレイ4のうち互いに隣接する複数のマイクロレンズに対応する複数の光電変換素子群の間に位置する光電変換素子の数(第2所定数、所定の方向における複数の素子群の各間に実質的に位置する光電変換素子の数)と、光電変換素子群に含まれる光電変換素子の数(第1所定数、各光電変換素子群の所定の方向における光電変換素子の実質的な配列数)との和が、出力部61によって選択された光電変換素子の間隔(選択間隔)の整数倍となるように決定される。
When the thinning pattern is arbitrary, the pitch of the micro lenses is the number of photoelectric conversion elements (second predetermined number) positioned between the plurality of photoelectric conversion element groups corresponding to the plurality of micro lenses adjacent to each other in the
このようになっていれば、1ライン間引きの場合と同様に、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンとすることができる。よって、適切に間引くことができる。 If this is the case, as in the case of thinning out one line, the central pixel row is not thinned out, and a thinning pattern can be formed in a plurality of pixels corresponding to both microlenses. Therefore, it can thin out appropriately.
なお、出力部61の回路構成として、光電変換素子アレイ5が備える格子状に配置されている画素の各行に対応してセンスアンプを設けておき、このセンスアンプを介して、画素から画素情報を読み出すことがある。このセンスアンプは、全ての行に1対1に設けられているのではなく、複数の行で共有されている場合がある。たとえば、列方向に連続している2つの行で、1つのセンスアンプが共有されている場合がある。これは、センスアンプの個数を減ずるためである。
In addition, as a circuit configuration of the
このような場合、図3および図4を用いて説明したように、間引きパターンとして1ライン間引きとすることは好適である。これは、それぞれのセンスアンプにおいて、共有対象である2つの行のうち、いずれか一方のみを読み出すことでよく、間引いて読み出す場合の制御が簡易であるからである。 In such a case, as described with reference to FIGS. 3 and 4, it is preferable to use one line thinning as the thinning pattern. This is because, in each sense amplifier, only one of the two rows to be shared may be read out, and the control when thinning out and reading out is simple.
次に、図7を用いて、本実施形態による撮像装置1の動作の一例について説明する。ここでは、撮像素子部50から画像情報を間引いて読み出し、画像合成してスルー画として表示部18に表示する場合の動作の一例について説明する。すなわち、スルー画表示(ライブビュー表示)する場合の撮像装置1の動作の一例について説明する。
Next, an example of the operation of the
まず、ステップS901において、出力部61は、光電変換素子アレイ61の撮像素子から画素信号を間引いて読み出し、読み出した画素信号を焦点検出装置64および画像合成部(画像処理部)62に出力する。この間引いて読み出す場合の間引きパターンは、上記説明した2つの条件を満たしている。
First, in step S <b> 901, the
次にステップS902において、制御回路7には、レンズ鏡筒20が備える撮影レンズ23のレンズ情報を、レンズ鏡筒20から入力される。このレンズ情報とは、フォーカスレンズの現在位置、焦点距離、開放F値などの画像合成に用いられる情報である。
In step S <b> 902, lens information of the photographing
たとえば、フォーカスレンズの現在位置は、レンズ鏡筒20が備えるエンコーダ(不図示)により検出される。そして、制御回路7は、検出されたフォーカスレンズの現在位置を、このエンコーダから読み出す。また、制御回路7は、焦点距離および開放F値などの情報を、レンズ鏡筒20が備えるレンズメモリ26から読み出す。
For example, the current position of the focus lens is detected by an encoder (not shown) provided in the
次にステップS903において、制御回路7には、合成情報が入力される。この合成情報とは、どのような絞りで初期画像を表示させるかの設定を示す情報である。たとえば、ユーザが操作部材17を操作することにより、この合成情報を設定する。ユーザは、たとえば、動画像をパンフォーカス像で表示したい場合は、最小絞りに設定することを示す合成情報を、制御回路7に操作部材17を介して入力する。これにより、最小絞りでの合成画像でスルー画表示可能である。(この合成情報に基づき、スルー画表示の際に、最小絞りでの合成画像を表示する制御を行なうことができる。)このように、設定された合成情報が、操作部材17を介して、制御回路7に入力される。
In step S <b> 903, the synthesis information is input to the control circuit 7. The composite information is information indicating a setting for which aperture to display the initial image. For example, the composite information is set when the user operates the
次にステップS904において、画像合成部62は、制御回路7に入力されたレンズ情報および合成情報に基づいて、現在のレンズ位置の像面にピントが合焦した画像を生成できるように、出力部61から出力された画素信号を画像合成する。
In step S <b> 904, the
次にステップS905において、表示制御部63は、画像合成部62により合成された画像(合成画面)を、表示部18に表示する。既に表示部18に合成画像が表示されている場合には、表示制御部63は、表示部18に表示されている合成画像を、画像合成部62により合成された合成画面に変更する。
In step S <b> 905, the
次にステップS906において、制御回路7は、ユーザがエリア位置の選択をしたか否かを判定する。たとえば、操作部材17がタッチパネルなどを備えており、このタッチパネルをユーザは操作する。そして、ユーザは、タッチパネル上の所定の位置を選択することにより、エリア位置を選択する。制御回路7は、タッチパネルである操作部材17により、ユーザが所定の位置を選択したか否かを判定することにより、ユーザがエリア位置の選択をしたか否かを判定する。
In step S906, the control circuit 7 determines whether or not the user has selected an area position. For example, the
このステップS906において、ユーザがエリア位置の選択をしたと判定されない場合には、制御回路7は、ステップS901からの処理を繰り返す。一方、このステップS906において、ユーザがエリア位置の選択をしたと判定された場合には、制御回路7は、処理をステップS907に進める。 If it is not determined in step S906 that the user has selected an area position, the control circuit 7 repeats the processing from step S901. On the other hand, if it is determined in step S906 that the user has selected an area position, the control circuit 7 advances the process to step S907.
次にステップS907からステップS909において、上述したステップS901からステップS906と同様の処理が実行される。 Next, in steps S907 to S909, processing similar to that in steps S901 to S906 described above is executed.
次にステップS910において、焦点検出演算部64は、出力部61から出力された画素信号に基づいて、選択被写体の像面位置を算出する。この算出方法としては、たとえば、瞳分割式の位相差AFの原理を用いて、焦点位置を検出する。または、合成可能範囲から選択したエリア範囲のコントラスト値を算出し、ピークが検出されればその位置(選択したエリア範囲)を選択被写体の像面位置とする。
Next, in step S <b> 910, the focus
次にステップS911において、制御回路7は、ステップS910で算出した像面位置が、現在のレンズ位置から合成可能な合成範囲内にあるか否かを判定する。 Next, in step S911, the control circuit 7 determines whether or not the image plane position calculated in step S910 is within a synthesis range that can be synthesized from the current lens position.
例えば、ステップS910で瞳分割式の位相差AFの原理を用いた場合には、制御回路7は、デフォーカス量と、現在のレンズ位置から決められる合成可能範囲とを比較することにより、合成可能な合成範囲内にあるか否かを判定する。 For example, when the principle of pupil-dividing phase difference AF is used in step S910, the control circuit 7 can synthesize by comparing the defocus amount with a synthesizable range determined from the current lens position. It is determined whether or not it is within a proper synthesis range.
このステップS911において、合成可能な合成範囲内にないと判定された場合、ステップS912において、制御回路7は、合成可能範囲内となるように、駆動回路8を介してアクチュエーター25を駆動して、フォーカシングレンズ22を合焦駆動する。すなわち、選択被写体が合成範囲にない場合には、制御回路7は、選択被写体の合成可能範囲内へフォーカシングレンズ22を駆動させる。
If it is determined in step S911 that it is not within the compositible synthesis range, in step S912, the control circuit 7 drives the
たとえば、瞳分割式の位相差AFの場合、デフォーカス量が算出されているため、制御回路7は、合成範囲内ではなく焦点面まで、フォーカシングレンズ22を直接駆動してもよい。また、コントラストを算出する場合は、制御回路7は、コントラストのピーク位置を検出し、この検出したピーク位置へフォーカシングレンズ22を駆動する。
For example, in the case of pupil division type phase difference AF, since the defocus amount is calculated, the control circuit 7 may directly drive the focusing
上述したステップS911またはステップ912に続いて、次にステップS913からステップS915において、上述したステップS901からステップS906と同様の処理が実行される。 Subsequent to step S911 or step 912 described above, in steps S913 to S915, the same processing as in steps S901 to S906 described above is executed.
次にステップS916において、画像合成部62は、出力部61から出力された画素信号に基づいて、主要被写体の像面位置でピントが合ったとされる画像合成を行う。
In step S <b> 916, the
次にステップS917において、表示制御部63は、ステップS905の場合と同様に、画像合成部62により合成された画像(合成画面)を表示部18に表示する。その後、たとえば、ステップS901からの処理が繰り返される。
Next, in step S917, the
このように、上述したステップS911において、合成可能な合成範囲内にあると判定された場合は、現在のレンズ位置で合成処理を行っても、主要被写体にピントの合った画像を合成可能である。そのため、制御回路7は、フォーカシングレンズ22を駆動させずに画像合成を行う。
As described above, when it is determined in step S911 described above that the image is within the compositing range that can be combined, an image focused on the main subject can be combined even if the combining process is performed at the current lens position. . Therefore, the control circuit 7 performs image composition without driving the focusing
一方、上述したステップS911において、合成可能な合成範囲内にないと判定された場合は、制御回路7は、ステップS911の処理によりフォーカシングレンズ22を駆動した後、画像合成を行う。
On the other hand, if it is determined in step S911 described above that it is not within the compositing range that can be combined, the control circuit 7 drives the focusing
これにより、合成可能な合成範囲内にある場合であっても、ない場合であっても、撮像装置は、適切に画像を合成することができる。 As a result, the imaging apparatus can appropriately synthesize an image regardless of whether or not it is within a synthesizable synthesis range.
なお、この図7の説明においては、画像合成部62により合成された画像(合成画面)を表示部18に表示する場合について説明したが、この合成画像は、記録媒体に静止画または動画として記録されてもよい。
In the description of FIG. 7, the case where the image synthesized by the image synthesizer 62 (synthesized screen) is displayed on the
ところで、光電変換素子アレイ5が備える撮像素子の画素を全画素読出しながら、この読み出した画像を合成する場合、画像合成部62などの演算装置の処理速度にもよるが、一般的に処理時間は長くかかる。そして、ライブビューなどの動画を表示する場合のように、リアルタイムで画像合成する必要がある場合には、画像合成部62などの演算装置の処理速度の関係から、適切に合成できなくなる可能性がある。
By the way, when this read image is synthesized while all the pixels of the image sensor provided in the photoelectric
本実施形態のようにマイクロレンズアレイ4を用いない通常のカメラに用いられる撮像素子においては、演算を高速にするための撮像素子の間引きモードは各種あるが、同じパターンで、異なる列を間引くようなモードはないのが常である。
In an image sensor used in a normal camera that does not use the
このような通常のカメラとは異なり、本実施形態のようにマイクロレンズアレイ4を用いる撮像装置においては、上述したように光電変換素子アレイ5が備える画素とマイクロレンズアレイ4が備えるマイクロレンズとの位置関係が重要である。また、画素を間引く場合、マイクロレンズのピッチと間引きパターンを適切に構成する。これは、マイクロレンズアレイを通過し受光素子に入射した光の情報を適切に間引いて出力するためである。
Unlike such a normal camera, in the imaging apparatus using the
また、図7を用いて説明したようにリアルタイムで画像合成を行う場合には、間引く処理が特に必要となってくる。本実施形態によれば、光電変換素子アレイ5が備える撮像素子の画素から、適切に間引いて画素信号を読み出すことができる。これにより、画素信号のデータ量を減じることができる。よって、画像合成部62などの演算装置の処理速度が高くない場合であっても、データ量が減じられているために、画像合成部62は画素信号を適切に合成できる。なお、静止画撮影での画像合成の場合は、出力部61は、画素を間引かなくてもよい。
Further, as described with reference to FIG. 7, when performing image synthesis in real time, a thinning process is particularly necessary. According to the present embodiment, pixel signals can be read out appropriately from the pixels of the image sensor provided in the photoelectric
以上説明したように、本実施形態によれば、マイクロレンズアレイを通過し受光素子に入射した光の情報を、適切に間引いて出力することができる。そのため、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
また、本実施形態によれば、マイクロレンズの中心に位置する画素を間引かないようにすることが可能になる。また、同じ間引きパターンでも、対象となる画素列を異ならせることで、各マイクロレンズに含まれる画素の間引きパターンを同じにすることが可能になり、かつ、合成する際の演算が簡単になる。また、間引くことで、処理時間が短縮され、動画撮影時にリアルタイムでの画像合成が行いやすくなる。As described above, according to the present embodiment, it is possible to appropriately thin out and output information on light that has passed through the microlens array and entered the light receiving element. Therefore, a correct image can be synthesized even when light reception signals obtained by receiving light with a plurality of light receiving elements via a microlens are thinned out.
Further, according to the present embodiment, it is possible to prevent the pixel located at the center of the microlens from being thinned out. In addition, even if the thinning pattern is the same, it is possible to make the thinning pattern of pixels included in each microlens the same by changing the target pixel column, and the calculation at the time of combining is simplified. Also, by thinning out, the processing time is shortened, and real-time image composition is facilitated during moving image shooting.
一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、前記複数のマイクロレンズは、前記方向において、少なくとも前記第1所定数に基づいて定められた配列ピッチを有する。 In one embodiment, the imaging element includes a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and a plurality of selected elements among the plurality of photoelectric conversion elements. An output unit that outputs a plurality of selected signals, wherein the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and the photoelectric conversion in each one direction The plurality of element groups including a substantially predetermined number of elements arranged in a first predetermined number, and the plurality of microlenses have an arrangement pitch determined based on at least the first predetermined number in the direction.
この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第1所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定めることができる。 In this embodiment, the arrangement pitch of the plurality of microlenses can be determined based on at least the first predetermined number and a selection interval that is an interval between the plurality of selected elements.
また、この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択間隔の整数倍となるように定めることができる。 Further, in this embodiment, the arrangement pitch of the plurality of microlenses is a second predetermined number that is the number of the photoelectric conversion elements positioned between the plurality of element groups in the direction, and the first predetermined number. The sum with the number can be determined to be an integral multiple of the selection interval.
また、この実施形態において、前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択できる。 In this embodiment, the plurality of selected elements can be selected based on the positional relationship between the microlens array and the photoelectric conversion element array.
一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの、第1条件で選択された複数の素子からの第1の複数の信号と、第2条件で選択された複数の素子からの第2の複数の信号とのいずれかを選択的に出力する出力部と、を備える。 In one embodiment, the imaging element is selected under a first condition among a microlens array including a plurality of microlenses, a photoelectric conversion element array including a plurality of photoelectric conversion elements, and the plurality of photoelectric conversion elements. And an output unit that selectively outputs one of a first plurality of signals from the plurality of elements and a second plurality of signals from the plurality of elements selected under the second condition.
この実施形態において、前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づくことができる。 In this embodiment, the selective output in the output unit can be based on a positional relationship between the microlens array and the photoelectric conversion element array.
また、この実施形態において、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の1つの方向における前記光電変換素子の実質的な配列数が第1所定数である前記複数の素子群を含み、前記第1条件及び前記第2条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、ことができる。 Further, in this embodiment, the plurality of photoelectric conversion elements are a plurality of element groups respectively corresponding to the plurality of microlenses, and a substantial number of the photoelectric conversion elements in each one direction is first. A plurality of element groups that are a predetermined number, and each of the first condition and the second condition is a pattern indicating an array of selected elements and non-selected elements along the direction in each of the plurality of element groups; , And a pattern start position of the pattern.
また、この実施形態において、前記第2条件の前記パターンが、前記第1条件のそれと同じであり、前記第2条件の前記パターン開始位置が、前記第1条件のそれと異なるようにできる。 In this embodiment, the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition is different from that of the first condition.
また、この実施形態において、前記第2条件の前記パターンが、前記第1条件のそれと同じであり、前記第2条件の前記パターン開始位置が、前記第1条件のそれから前記方向に1画素分シフトするようにできる。 In this embodiment, the pattern of the second condition is the same as that of the first condition, and the pattern start position of the second condition is shifted by one pixel in the direction from that of the first condition. You can do that.
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a design and the like within the scope not departing from the gist of the present invention.
4…マイクロレンズアレイ、5…光電変換素子アレイ、61…出力部、62…画像合成部、63…表示制御部、64…焦点検出演算部、65…レンズ駆動量演算部、7…制御回路、8…駆動回路、18…表示部、100…焦点検出装置、50…撮像素子部
DESCRIPTION OF
Claims (10)
前記一部の行に配置された前記受光部の前記マイクロレンズに対する位置が、前記複数の前記マイクロレンズ毎に同じである画像処理装置。 An image of an arbitrary focal plane from output data read from the light receiving units arranged in a part of the plurality of light receiving units arranged in the row direction and the column direction provided for each of the plurality of microlenses. An image generation unit for generating
An image processing apparatus in which a position of the light receiving unit arranged in the partial row with respect to the microlens is the same for each of the plurality of microlenses.
前記一部の行に配置された前記受光部が、前記マイクロレンズの中央に対する位置の前記受光部を含む画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the light receiving units arranged in the partial rows include the light receiving unit at a position relative to a center of the microlens.
前記一部の行に配置された前記受光部は、前記複数の前記受光部の内の選択された前記受光部である画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image processing apparatus, wherein the light receiving units arranged in the some rows are the selected light receiving units among the plurality of the light receiving units.
前記受光部から繰り返し出力される出力データに基づいて前記画像生成部によって生成された画像を動画として表示する表示部をさらに備えた画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
An image processing apparatus further comprising: a display unit that displays an image generated by the image generation unit as a moving image based on output data repeatedly output from the light receiving unit.
複数の光電変換素子を有する素子群が前記マイクロレンズ毎に設けられた光電変換素子アレイと、
前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、
前記素子群が含む1つの方向における前記光電変換素子の配列数は第1所定数であり、
前記複数のマイクロレンズは、前記方向における前記複数の素子群の間に位置する前記光電変換素子の数である第2所定数と、前記第1所定数との和が、前記選択された複数の素子の間隔の整数倍となるように定められた配列ピッチを有する、撮像素子。 A microlens array including a plurality of microlenses;
A photoelectric conversion element array in which an element group having a plurality of photoelectric conversion elements is provided for each microlens;
An output unit that outputs a plurality of selected signals from a plurality of selected elements of the plurality of photoelectric conversion elements; and
The number of arrays of the photoelectric conversion elements in one direction included in the element group is a first predetermined number,
In the plurality of microlenses, the sum of the second predetermined number that is the number of the photoelectric conversion elements positioned between the plurality of element groups in the direction and the first predetermined number is the selected plurality of microlenses. An imaging device having an array pitch determined to be an integral multiple of the element spacing.
前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択される、撮像素子。 The imaging device according to claim 5,
The imaging device, wherein the plurality of selected elements are selected based on a positional relationship between the microlens array and the photoelectric conversion element array.
前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。 The image sensor according to claim 5 or 6,
And an optical system that forms an image of a target on the image sensor.
前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。 The imaging apparatus according to claim 7,
An image pickup apparatus, further comprising: an image composition unit configured to compose an image based on a signal selected corresponding to a position of a specific image plane of the optical system among signals output from the output unit.
前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。 The imaging device according to claim 8,
An imaging apparatus, further comprising: a display unit that displays an image synthesized by the image synthesis unit based on a signal repeatedly output from the output unit as a moving image.
前記画像合成部によって前記光学系の第1の像面に対応する第1の動画を前記表示部に表示するとともに、前記第1の像面とは異なる第2の像面に対応する第2の動画を、前記第1の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。 The imaging device according to claim 9,
A first moving image corresponding to the first image plane of the optical system is displayed on the display unit by the image combining unit, and a second image plane corresponding to a second image plane different from the first image plane is displayed. An imaging apparatus comprising: a control unit that displays a moving image instead of the first moving image.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298364 | 2009-12-28 | ||
JP2009298364 | 2009-12-28 | ||
PCT/JP2010/073731 WO2011081187A1 (en) | 2009-12-28 | 2010-12-28 | Image capture element, and image capture device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011081187A1 JPWO2011081187A1 (en) | 2013-05-13 |
JP5970816B2 true JP5970816B2 (en) | 2016-08-17 |
Family
ID=44226589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011547718A Active JP5970816B2 (en) | 2009-12-28 | 2010-12-28 | Image processing apparatus, imaging device, and imaging apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5970816B2 (en) |
WO (1) | WO2011081187A1 (en) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
JP5871625B2 (en) | 2012-01-13 | 2016-03-01 | キヤノン株式会社 | IMAGING DEVICE, ITS CONTROL METHOD, AND IMAGING SYSTEM |
JP5783929B2 (en) * | 2012-02-20 | 2015-09-24 | キヤノン株式会社 | Imaging device |
WO2013169671A1 (en) * | 2012-05-09 | 2013-11-14 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
JP6046922B2 (en) * | 2012-06-07 | 2016-12-21 | キヤノン株式会社 | FOCUS DETECTION DEVICE, IMAGING DEVICE, CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
JP2014081519A (en) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | Imaging device and display device |
JP6274901B2 (en) * | 2013-03-25 | 2018-02-07 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
JP6780537B2 (en) * | 2017-02-22 | 2020-11-04 | オムロン株式会社 | Optical sensors, learning devices, and image processing systems |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2008294741A (en) * | 2007-05-24 | 2008-12-04 | Olympus Corp | Imaging system |
JP2009130580A (en) * | 2007-11-22 | 2009-06-11 | Nikon Corp | Imaging element and imaging apparatus |
JP2010263501A (en) * | 2009-05-08 | 2010-11-18 | Sony Corp | Imaging device |
JP2011135170A (en) * | 2009-12-22 | 2011-07-07 | Samsung Electronics Co Ltd | Imaging apparatus and imaging method |
-
2010
- 2010-12-28 WO PCT/JP2010/073731 patent/WO2011081187A1/en active Application Filing
- 2010-12-28 JP JP2011547718A patent/JP5970816B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (en) * | 2005-06-23 | 2007-01-11 | Nikon Corp | Image synthesis method and image pickup apparatus |
JP2008294741A (en) * | 2007-05-24 | 2008-12-04 | Olympus Corp | Imaging system |
JP2009130580A (en) * | 2007-11-22 | 2009-06-11 | Nikon Corp | Imaging element and imaging apparatus |
JP2010263501A (en) * | 2009-05-08 | 2010-11-18 | Sony Corp | Imaging device |
JP2011135170A (en) * | 2009-12-22 | 2011-07-07 | Samsung Electronics Co Ltd | Imaging apparatus and imaging method |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011081187A1 (en) | 2013-05-13 |
WO2011081187A1 (en) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5970816B2 (en) | Image processing apparatus, imaging device, and imaging apparatus | |
JP5043626B2 (en) | Imaging device | |
JP5388544B2 (en) | Imaging apparatus and focus control method thereof | |
JP5034556B2 (en) | Focus detection apparatus and imaging apparatus | |
EP2181349B1 (en) | Image sensing apparatus | |
JP5662667B2 (en) | Imaging device | |
JP5563283B2 (en) | Image processing device | |
JP5191168B2 (en) | Focus detection apparatus and imaging apparatus | |
WO2011004686A1 (en) | Focus detection apparatus | |
JP2010191883A (en) | Image-capturing device and image processing program | |
JP2013254076A (en) | Image pickup element and imaging device | |
JP4995002B2 (en) | Imaging device, focusing device, imaging method, and focusing method | |
JP6465704B2 (en) | Imaging apparatus and control method thereof | |
JP2013255188A (en) | Imaging element, imaging apparatus, imaging method and program | |
JP5169541B2 (en) | Imaging device | |
JP2008310072A (en) | Digital camera | |
JP2013113857A (en) | Imaging device, and control method therefor | |
JP6561437B2 (en) | Focus adjustment device and imaging device | |
JP2012083584A (en) | Imaging device | |
JP6234094B2 (en) | Focus detection apparatus and imaging apparatus | |
JP6609910B2 (en) | Imaging device | |
JP2018005008A (en) | Camera body and interchangeable lens | |
JP6315032B2 (en) | Imaging device and imaging apparatus | |
JP2016018034A (en) | Imaging device, control method of the same, program and recording medium | |
JP2019074634A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5970816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |