JP7235068B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP7235068B2 JP7235068B2 JP2021089424A JP2021089424A JP7235068B2 JP 7235068 B2 JP7235068 B2 JP 7235068B2 JP 2021089424 A JP2021089424 A JP 2021089424A JP 2021089424 A JP2021089424 A JP 2021089424A JP 7235068 B2 JP7235068 B2 JP 7235068B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- photoelectric conversion
- image signal
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging device.
像面位相差方式による焦点検出が可能な撮像素子が知られている(特許文献1参照)。非合焦領域に対応する画素では、画像がボケてしまうため、用途によっては適さない場合があった。 2. Description of the Related Art An imaging device capable of focus detection by an image plane phase difference method is known (see Patent Document 1). Pixels corresponding to out-of-focus areas are not suitable for some applications because the image is blurred.
請求項1に記載の撮像装置は、光学系の第1領域を通過した光を光電変換して電荷を生成する第1光電変換部および前記光学系の第2領域を通過した光を光電変換して電荷を生成する第2光電変換部をそれぞれ有する複数の画素と、前記第1光電変換部で生成された電荷に基づく第1信号および前記第2光電変換部で生成された電荷に基づく第2信号とを出力する出力部と、を有する撮像素子と、前記第1信号および前記第2信号に基づいて、前記撮像素子の撮像面において合焦領域と非合焦領域とを区分または前記合焦領域と前記非合焦領域との少なくとも1方を抽出する区分部と、前記非合焦領域に含まれる画素から出力される前記第1信号および前記第2信号のいずれか1方を選択して画像データを生成する第1生成部と、を備える。
The image pickup apparatus according to
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本実施形態の撮像装置の一例であるレンズ交換式のデジタルカメラの構成を示す図である。デジタルカメラ201は、交換レンズ202とカメラボディ203から構成される。種々の交換レンズ202がマウント部204を介してカメラボディ203に装着される。
EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated with reference to drawings. FIG. 1 is a diagram showing the configuration of a lens-interchangeable digital camera, which is an example of an imaging apparatus according to this embodiment. A
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備える。レンズ駆動制御装置206は、不図示のマイクロコンピュータ、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、レンズ駆動制御装置206は、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
The
カメラボディ203は、撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217などを備える。また、カメラボディ203には、メモリカード219が装着される。
The
ボディ駆動制御装置214は、マイクロコンピュータ、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置214は、撮像素子212の駆動制御と撮像素子212からの出力信号の読み出しと、該出力信号に基づく焦点検出演算と交換レンズ202の焦点調節を繰り返し行うとともに、該出力信号に基づく画像処理演算と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置214は、電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報(デフォーカス量や絞り値など)の送信を行う。
The body
液晶表示素子216は電子ビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は、撮像素子212によるスルー画像を液晶表示素子216に表示する。撮影者は、接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像を記憶する画像ストレージである。
The liquid
交換レンズ202を通過した光束により、撮像素子212の受光面上に被写体像が形成される。この被写体像は撮像素子212の各画素で光電変換され、各画素の出力信号がボディ駆動制御装置214へ送られる。
A subject image is formed on the light receiving surface of the
ボディ駆動制御装置214は、撮像素子212の出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の出力信号を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212からのスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
The body
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
The lens
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
The lens
図2は、ボディ駆動制御装置214の構成を示すブロック図である。ボディ駆動制御装置214は、焦点検出部230、区分部231、第1の画像信号生成部232、第2の画像信号生成部233、画像解析部234、表示制御部235、記録制御部236、およびケラレ判定部237を機能的に備える。
FIG. 2 is a block diagram showing the configuration of the body
焦点検出部230は、撮像素子212の出力信号に基づいて後述する処理を行って、焦点検出を行う。区分部231は、撮影画面を略合焦領域と非合焦領域に区分し、或いは略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。第1の画像信号生成部232は、撮像素子212の出力信号に基づいて後述する処理を行って、画像解析用の画像信号を生成する。なお、画像解析用の画像信号は、画像として出力されることを目的として生成される複数の画素信号に限られない。画像解析用の画像信号は、撮像素子212の複数の画素における複数の光電変換部が出力する複数の出力信号の生データとして得られる複数の画素信号や、それらの生データをもとに、画像として出力されることなく画像解析用データとして生成される複数の画素信号であってもよい。第2の画像信号生成部233は、撮像素子212の出力信号に基づいて後述する処理を行って、表示用画像(スルー画像)や記録用画像を構成する複数の画素信号からなる画像信号を生成する。画像解析部234は、第1の画像信号生成部232により生成された画像信号に基づき、被写体画像の解析処理を行う。表示制御部235は、第2の画像信号生成部233により生成された画像信号に基づき、液晶表示素子216にスルー画像を表示する。記録制御部236は、第2の画像信号生成部233により生成された画像信号に基づき、メモリカード219に画像データを記録する。ケラレ判定部237は、交換レンズ202のレンズ情報(射出瞳位置の情報)に基づいて、ケラレの状況を判定する。なお、これらの各部について詳しくは後述する。
The
図3および図4は、撮像素子212の詳細な構成を示す正面図であり、撮像素子212の一部を拡大して示した図である。図3は、画素311のレイアウトを示す図である。複数の画素311は、行方向(水平方向)および列方向(垂直方向)において二次元状に配列されている。各画素311は、マイクロレンズ(不図示)と一対の光電変換部13、14とを有する。図3において、一対の光電変換部13、14は水平方向に並んで配置されている。図4は、図3に示す画素311の配列における色フィルタの配列を示した図である。画素311には、ベイヤー配列の規則に従って色フィルタ(R:赤色フィルタ、G:緑色フィルタ、B:青色フィルタ)が配置されている。すなわち、画素311として、赤色成分に関する分光感度特性を有する(すなわち赤色フィルタが配置された)R画素と緑色成分に関する分光感度特性を有する(すなわち緑色フィルタが配置された)G画素と青色成分に関する分光感度特性を有する(すなわち青色フィルタが配置された)B画素とが設けられている。画素311は、撮影用画素と焦点検出用画素とを兼ねており、画素311が撮像素子212の全面に配置されている。したがって、撮影画面上の任意の位置で焦点検出を行うことが可能である。
3 and 4 are front views showing the detailed configuration of the
図5は、画素311の構成を示す断面図である。画素311において、一対の光電変換部13、14の前方にマイクロレンズ10が配置される。一対の光電変換部13、14は半導体回路基板29上に形成される。また、色フィルタ(不図示)はマイクロレンズ10と一対の光電変換部13、14の中間に配置される。このような構成により一対の光電変換部13,14は、交換レンズ202の射出瞳の一対の測距瞳を通過する一対の光束をそれぞれ受光する。
FIG. 5 is a cross-sectional view showing the configuration of the
図6は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図6において、射出瞳90は、交換レンズ202(図1参照)の予定結像面に配置されたマイクロレンズ10から前方の距離dの位置に設定されている。図6には他に、交換レンズの光軸91、マイクロレンズ10、光電変換部13、14、画素311、光束73、74が示されている。
FIG. 6 shows the configuration of a split-pupil phase difference detection type focus detection optical system using microlenses. In FIG. 6, the
測距瞳93,94は、射出瞳90のうちの互いに異なる部分領域であり、水平方向に並ぶとともに、光軸91を通る垂直線に対して線対称な形状となっている。光電変換部13は、測距瞳93を通過して画素311のマイクロレンズ10に向かう光束73によりマイクロレンズ10上に形成される像の強度に対応した信号を生成して出力する。また、光電変換部14は、測距瞳94を通過して画素311のマイクロレンズ10に向う光束74によりマイクロレンズ10上に形成される像の強度に対応した信号を生成して出力する。
The
図6では、光軸91近傍の隣接する5つの画素311を模式的に例示しているが、画面周辺に配置された画素311においても、各光電変換部13、14は、それぞれ対応した測距瞳93、94から各マイクロレンズに到来する光束を受光するように構成されている。マイクロレンズ10により、一対の光電変換部13、14と上述した互いに異なる部分領域、すなわち一対の測距瞳93、94とが互いに共役関係になる。
6 schematically illustrates five
所定の焦点検出エリアにおいて水平方向に配列した複数の画素311の光電変換部13の出力信号の列と光電変換部14の出力信号の列とによって、測距瞳93と測距瞳94をそれぞれ通過する光束73、74が画素311の配列上に形成する一対の像の強度分布に関する情報が得られる。焦点検出部230は、光電変換部13の出力信号の列と光電変換部14の出力信号の列とのズレ量を公知の像ズレ検出演算処理(相関演算処理、位相差検出処理)によって検出することによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量を検出する。焦点検出部230は、この像ズレ量に基づいて、予定結像面に対する現在の結像面の偏差(デフォーカス量)を算出する。
A row of output signals from the
図7は、被写体にピントが合っている状態、すなわち合焦状態における模式的な光路図である。図7では、光軸91近傍の隣接する5つの画素3111~3115を模式的に例示している。図7において被写体上の点Pから出射して、射出瞳90上の点95を通過した光75は、画素3113の光電変換部13に入射する。一方、被写体上の点Pから出射して、射出瞳90上の点96を通過した光76は、画素3113の光電変換部14に入射する。このように、合焦状態では、同じ点Pから出射され、射出瞳90上で異なる箇所を通過した光75、76がそれぞれ同じ画素3113の光電変換部13、14に入射する。
FIG. 7 is a schematic optical path diagram in a state in which the subject is in focus, that is, in a focused state. FIG. 7 schematically illustrates five
図8は、被写体にピントが合っていない状態、すなわち非合焦状態における模式的な光路図である。図8は、被写体より前側にピントが合っている、いわゆる前ピンの状態を示している。また、図8では、光軸91近傍の隣接する5つの画素3111~3115を模式的に例示している。図8において被写体上の点Pから出射して、射出瞳90上の点95を通過した光75は、画素3112の光電変換部13に入射する。一方、被写体上の点Pから出射して、射出瞳90上の点96を通過した光76は、画素3114の光電変換部14に入射する。このように、非合焦状態では、同じ点Pから出射され、射出瞳90上で異なる箇所を通過した光75、76がそれぞれ異なる画素3112、3114の光電変換部13,14に入射される。この点をふまえると、非合焦状態では、同じ画素311内の光電変換部13、14に、それぞれ被写体上の異なる点から出射された光が入射されることとなる。なお、被写体より後側にピントが合っている、いわゆる後ピンの状態でも同様である。
FIG. 8 is a schematic optical path diagram in a state in which the object is out of focus, that is, in an out-of-focus state. FIG. 8 shows a so-called front focus state in which the front side of the subject is in focus. Also, FIG. 8 schematically illustrates five
各画素311において光電変換部13の出力信号と光電変換部14の出力信号とを加算して画像信号を生成する場合、非合焦領域に対応する画素では、被写体上の異なる点から出射された出力信号が加算されることになるのでボケた画像となる。画像の解析処理を行う際にはできるだけボケの少ない画像の方が好ましい。そこで、本実施形態では、解析用の画像を生成する際、略合焦領域に対応する画素311では光電変換部13、14の出力信号を加算して画像信号を生成し、非合焦領域に対応する画素311では光電変換部13、14の出力信号のいずれか一方を用いて画像信号を生成する。なお、スルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、撮影画面全体に対応する画素311について、光電変換部13、14の出力信号を加算して画像信号を生成する。このような画像信号の生成処理について、以下、詳細に説明する。
When an image signal is generated by adding the output signal of the
(解析用の画像信号の生成)
解析用の画像信号の生成処理について説明する。まず、焦点検出部230は、撮影画面を多数の領域に分割し、これらの領域に対応するデフォーカス量を上述した処理によって検出することで、撮影画面上の種々の位置におけるデフォーカス量を検出し、合焦状態の分布を示すデフォーカス量のマップを作成する。そして、区分部231は、このデフォーカス量のマップに基づき、撮影画面を略合焦領域と非合焦領域とに区分するか、または略合焦領域および非合焦領域のうちの少なくとも一方を抽出する。なお、略合焦領域はデフォーカス量が所定閾値よりも小さい領域(小デフォーカス領域)であり、非合焦領域はデフォーカス量が所定閾値よりも大きい領域(大デフォーカス領域)である。
(Generation of image signals for analysis)
A process of generating an image signal for analysis will be described. First, the
<略合焦領域の画像信号の生成>
第1の画像信号生成部232は、区分部231により区分または抽出された略合焦領域に対応する画素311については、光電変換部13の出力信号aと光電変換部14の出力信号bとを加算して平均した、(a+b)/2を画像信号として生成する。図9は、このようにして生成された略合焦領域に対応する画素311の画像信号の並びを例示する図である。画素311の画像信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってR、G、Bのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の画像信号が不足する。第1の画像信号生成部232は、光電変換部13、14の出力信号を加算して生成した画像信号について、周辺の画素位置の画像信号を用いて不足する色成分の画像信号を生成する色補間処理(デモザイク)を行う。この色補間処理の際には、画像構造、例えばエッジや線状構造等のテクスチャの方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
<Generation of Image Signal in Substantially Focused Area>
The first image
図9において、補間対象とする画素位置(以下注目位置と呼ぶ)(I,J)を斜線で示す。第1の画像信号生成部232は、注目位置(I,J)において、不足する色成分であるG成分に関して画像構造の方向判定を行う。第1の画像信号生成部232は、注目位置(I,J)に上下左右に隣接する4つの画素位置、(I-1,J)、(I+1,J)、(I,J-1)、(I,J+1)の画像信号(G信号)を用いて次式(1)~(4)により方向判定を行う。なお、図9では上記4つの位置を丸印で示す。
In FIG. 9, a pixel position to be interpolated (hereinafter referred to as a position of interest) (I, J) is indicated by oblique lines. The first
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・(1)
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・(2)
|G(I-1,J)-G(I+1,J)|>th_1且つ|G(I,J-1)-G(I,J+1)|>th_2 ・・・(3)
|G(I-1,J)-G(I+1,J)|<th_1且つ|G(I,J-1)-G(I,J+1)|<th_2 ・・・(4)
ただし、閾値th_1およびth_2は、所定値である。
|G(I-1,J)-G(I+1,J)|>th_1 and |G(I,J-1)-G(I,J+1)|<th_2 (1)
|G(I-1,J)-G(I+1,J)|<th_1 and |G(I,J-1)-G(I,J+1)|>th_2 (2)
|G(I-1,J)-G(I+1,J)|>th_1 and |G(I,J-1)-G(I,J+1)|>th_2 (3)
|G(I-1,J)-G(I+1,J)|<th_1 and |G(I,J-1)-G(I,J+1)|<th_2 (4)
However, the thresholds th_1 and th_2 are predetermined values.
第1の画像信号生成部232は、上記式(1)が成立する場合は、注目位置(I,J)に対して横(行)方向にエッジがあると判定する。第1の画像信号生成部232は、上記式(2)が成立する場合は、注目位置(I,J)に対して縦(列)方向にエッジがあると判定する。第1の画像信号生成部232は、上記式(3)が成立する場合は、注目位置(I,J)に対してエッジの角があると判定する。第1の画像信号生成部232は、上記式(4)が成立する場合は、注目位置(I,J)がエッジ上にないと判定する。
The first
図10は、G成分の補間処理を説明する図である。第1の画像信号生成部232は、上記方向判定において横(行)方向にエッジがあると判定した場合は、図10(a)に示すように、注目位置(I,J)に縦方向に隣接する2つの画素位置(I,J-1)、(I,J+1)の画像信号(G信号)に基づき、次式(5)を用いて、注目位置(I,J)のG信号を求める。
G(I,J)={G(I,J-1)+G(I,J+1)}/2 ・・・(5)
FIG. 10 is a diagram for explaining interpolation processing for the G component. When the first image
G(I,J)={G(I,J-1)+G(I,J+1)}/2 (5)
また、第1の画像信号生成部232は、上記方向判定において縦(列)方向にエッジがあると判定した場合は、図10(b)に示すように、太枠で示す注目位置(I,J)に横方向に隣接する2つの画素位置(I-1,J)、(I+1,J)の画像信号(G成分の信号)に基づき、次式(6)を用いて、注目位置(I,J)のG成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)}/2 ・・・(6)
Further, when the first image
G(I,J)={G(I-1,J)+G(I+1,J)}/2 (6)
また、第1の画像信号生成部232は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合は、図10(c)に示すように、注目位置(I,J)に縦横方向に隣接する4つの画素位置(I-1,J)、(I+1,J)、(I,J-1)、(I,J+1)の画像信号(G成分の信号)に基づき、次式(7)を用いて、注目位置(I,J)のG成分の信号を求める。
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・(7)
Further, when the first image
G(I,J)={G(I-1,J)+G(I+1,J)+G(I,J-1)+G(I,J+1)}/4 ・・・( 7)
第1の画像信号生成部232は、B成分の位置およびR成分の位置においてそれぞれ上述したようにG成分の信号を補間する処理を行うことで、略合焦領域に対応する各画素311の位置においてG成分の信号を得ることができる。
The first image
図11は、R成分の補間処理を説明する図である。図11(a)は、図9からR成分の信号を抽出した図である。第1の画像信号生成部232は、図9におけるB色成分およびG色成分の位置を順番に注目位置として、注目位置の周囲に位置する4つのR成分の信号を用いて注目位置におけるR成分の信号を補間処理によって生成する。R成分の信号の補間処理において、まず、第1の画像信号生成部232は、G成分の信号とR色成分の信号とに基づいて、図11(b)に示すように色差成分Crの信号を算出する。
FIG. 11 is a diagram for explaining interpolation processing for the R component. FIG. 11(a) is a diagram obtained by extracting the R component signal from FIG. The first image
そして、第1の画像信号生成部232は、図11(b)の太枠で示す注目位置(I+1,J+1)において、斜め方向に隣接して位置する4つの画素位置(I,J)、(I+2,J)、(I,J+2)、(I+2,J+2)の色差成分Crの信号に基づき、次式(8)により、注目位置(I+1,J+1)における色差成分Crの信号を算出する。
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J+2)+Cr(I+2,J+2)}/4 ・・・(8)
Then, the first image
Cr(I+1,J+1)={Cr(I,J)+Cr(I+2,J)+Cr(I,J+2)+Cr(I+2,J+2)}/4 ・・・・(8)
また、第1の画像信号生成部232は、図11(c)の太枠で示す注目位置(I+1,J+2)において、上下左右に隣接して位置する4つの画素位置(I+1,J+1)、(I,J+2)、(I+1,J+3)、(I+2,J+2)の色差成分Crの信号に基づき、次式(9)により、注目位置(I+1,J+2)における色差成分Crの信号を算出する。
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J+3)+Cr(I+2,J+2)}/4 ・・・(9)
In addition, the first image
Cr(I+1,J+2)={Cr(I+1,J+1)+Cr(I,J+2)+Cr(I+1,J+3)+Cr(I+2,J+2 )}/4 (9)
第1の画像信号生成部232は、このようにして各画素311の位置において色差成分Crの信号を得たのち、各画素311の位置に対応させてG成分の信号を加算することにより、各画素311の位置においてR成分の信号を得ることができる。
After obtaining the signal of the color difference component Cr at the position of each
また、第1の画像信号生成部232は、図9におけるR色成分およびG色成分の位置を順番に注目位置として、注目位置の周囲に位置する4つのB成分の信号を用いて注目位置におけるB成分の信号を補間処理によって生成する。B成分の信号の補間処理は、各画素311の位置において、色差Cbの信号を得たのち、G成分の信号を加算することにより行う。これは、R成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
Further, the first image
このようにして、第1の画像信号生成部232は、略合焦領域に対応する画素311について、RGB成分の画像信号を得ることができる。
In this way, the first
<非合焦領域の画像信号の生成>
第1の画像信号生成部232は、区分部231により区分または抽出された非合焦領域に対応する画素311については、光電変換部13の出力信号および光電変換部14の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。なお、画像信号の生成に用いる光電変換部として、光電変換部13、14のどちらを選択してもよいが、連続する非合焦領域内において、選択する光電変換部は統一する。以下では、光電変換部13の出力信号に基づき画像信号を生成する例を説明するが、光電変換部14の出力信号に基づき画像信号を生成する場合も同様である。
<Generation of image signal in out-of-focus area>
The first image
図12は、非合焦領域に対応する画素311において、光電変換部13、14の出力信号の並びを例示する図である。光電変換部13、14の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってR、G、Bのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。ここでは、第1の画像信号生成部232は、非合焦領域に対応する画素311について、光電変換部13の出力信号を画像信号とする。そのため第1の画像信号生成部232は、周辺の画素311の光電変換部13の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。この色補間処理の際にも、画像構造の方向判定を実施し、縦方向、横方向のどちらに構造を持っているかによって補間方法を変える。
FIG. 12 is a diagram illustrating the arrangement of the output signals of the
図12において、補間対象とする画素位置における光電変換部13に対応する位置(以下注目位置と呼ぶ)(i,j)を斜線で示す。第1の画像信号生成部232は、注目位置(i,j)において、不足する色成分であるG成分に関して画像構造の方向判定を行う。第1の画像信号生成部232は、補間対象とする画素位置に上下左右に隣接する画素における光電変換部13に対応する4つの位置、(i-2,j)、(i+2,j)、(i,j-1)、(i,j+1)の光電変換信号(G信号)を用いて次式(10)~(13)により方向判定を行う。なお、図12では上記4つの位置を丸印で示す。
In FIG. 12, a position (i, j) corresponding to the
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・(10)
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・(11)
|G(i-2,j)-G(i+2,j)|>th_1且つ|G(i,j-1)-G(i,j+1)|>th_2 ・・・(12)
|G(i-2,j)-G(i+2,j)|<th_1且つ|G(i,j-1)-G(i,j+1)|<th_2 ・・・(13)
ただし、閾値th_1およびth_2は、所定値である。
|G(i-2,j)-G(i+2,j)|>th_1 and |G(i,j-1)-G(i,j+1)|<th_2 (10)
|G(i-2,j)-G(i+2,j)|<th_1 and |G(i,j-1)-G(i,j+1)|>th_2 (11)
|G(i-2,j)-G(i+2,j)|>th_1 and |G(i,j-1)-G(i,j+1)|>th_2 (12)
|G(i-2,j)-G(i+2,j)|<th_1 and |G(i,j-1)-G(i,j+1)|<th_2 (13)
However, the thresholds th_1 and th_2 are predetermined values.
第1の画像信号生成部232は、上記式(10)が成立する場合は、注目位置(i,j)に対して横(行)方向にエッジがあると判定する。第1の画像信号生成部232は、上記式(11)が成立する場合は、注目位置(i,j)に対して縦(列)方向にエッジがあると判定する。第1の画像信号生成部232は、上記式(12)が成立する場合は、注目位置(i,j)に対してエッジの角があると判定する。第1の画像信号生成部232は、上記式(13)が成立する場合は、注目位置(i,j)がエッジ上にないと判定する。
The first
図13は、G成分の補間処理を説明する図である。図13(a)は、上記方向判定において横(行)方向にエッジがあると判定された場合を説明する図である。この場合、第1の画像信号生成部232は、図13(a)において太枠で示す注目位置(i,j)に対応する画素に縦方向に隣接する画素の光電変換部13に対応する2つの位置(i,j-1)、(i,j+1)の出力信号(G成分の信号)を次式(14)のように単純平均することにより、注目位置(i,j)のG成分の信号を求める。
G(i,j)={G(i,j-1)+G(i,j+1)}/2 ・・・(14)
FIG. 13 is a diagram for explaining interpolation processing for the G component. FIG. 13A is a diagram for explaining a case where it is determined that there is an edge in the horizontal (row) direction in the direction determination. In this case, the first image
G(i,j)={G(i,j-1)+G(i,j+1)}/2 (14)
図13(b)は、上記方向判定において縦(列)方向にエッジがあると判定した場合を説明する図である。この場合、第1の画像信号生成部232は、図13(b)において太枠で示す注目位置(i,j)に対応する画素に横方向に隣接する画素の光電変換部13に対応する2つの位置(i-2,j)、(i+2,j)の出力信号(G成分の信号)を次式(15)のように単純平均することにより、注目位置(i,j)のG成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)}/2 ・・・(15)
FIG. 13B is a diagram for explaining a case where it is determined that there is an edge in the vertical (column) direction in the direction determination. In this case, the first image
G(i,j)={G(i-2,j)+G(i+2,j)}/2 (15)
図13(c)は、上記方向判定においてエッジの角があるまたはエッジがないと判定した場合を説明する図である。この場合、第1の画像信号生成部232は、図13(c)において太枠で示す注目位置(i,j)に対応する画素に縦横方向に隣接する画素の光電変換部13に対応する4つの位置(i-2,j)、(i+2,j)、(i,j-1)、(i,j+1)の出力信号(G成分の信号)を、次式(16)に示すように加重平均することにより、注目位置(i,j)のG成分の信号を求める。
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 ・・・(16)
FIG. 13(c) is a diagram for explaining a case where it is determined that there is a corner of the edge or that there is no edge in the direction determination. In this case, the first image
G(i,j)={G(i-2,j)+G(i+2,j)+2*G(i,j-1)+2*G(i,j+1)}/6 (16)
式(16)では、注目位置と上記4つの位置との間の距離に応じて重み付け係数を変えている。横方向に隣接する画素の光電変換部13に対応する位置(i-2,j)、(i+2,j)よりも、縦方向に隣接する画素の光電変換部13に対応する位置(i,j-1)、(i,j+1)の方が注目位置(i,j)との距離が近いので、G(i-2,j)、G(i+2,j)よりもG(i,j-1)、(i,j+1)に乗算する重み付け係数を大きくしている。 In equation (16), the weighting coefficients are changed according to the distances between the position of interest and the four positions. Position (i, j −1) and (i, j+1) are closer to the position of interest (i, j), so G(i, j−1) is closer than G(i−2, j) and G(i+2, j). ) and (i, j+1) are increased.
第1の画像信号生成部232は、B成分の位置およびR成分の位置においてそれぞれ上述したようにG成分の信号を補間する処理を行うことで、非合焦領域に対応する各画素311の位置においてG成分の信号を得ることができる。
The first image
図14は、R成分の補間処理を説明する図である。図14(a)は、図12からR成分の信号を抽出した図である。第1の画像信号生成部232は、図12におけるB色成分およびG色成分の位置を順番に注目位置として、注目位置の周囲に位置する4つのR成分の信号を用いて注目位置におけるR成分の信号を補間処理によって生成する。R成分の信号の補間処理において、まず、第1の画像信号生成部232は、G成分の信号とR色成分の信号とに基づいて、図14(b)に示すように色差成分Crの信号を算出する。
FIG. 14 is a diagram for explaining interpolation processing for the R component. FIG. 14(a) is a diagram obtained by extracting the R component signal from FIG. The first image
そして、第1の画像信号生成部232は、図14(b)の太枠で示す注目位置(i+2,j+1)に対応する画素に斜め方向に隣接する画素の光電変換部13に対応する4つの位置(i,j)、(i,j+2)、(i+4,j)、(i+4,j+2)の色差成分Crの信号に基づき、次式(17)により、注目位置(i+2,j+1)における色差成分Crの信号を算出する。
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 ・・・(17)
Then, the first image
Cr(i+2,j+1)={Cr(i,j)+Cr(i,j+2)+Cr(i+4,j)+Cr(i+4,j+2)}/4 (17)
また、第1の画像信号生成部232は、図14(c)の太枠で示す注目位置(i+2,j+2)に対応する画素に縦横方向に隣接する画素の光電変換部13に対応する4つの位置(i+2,j+1)、(i,j+2)、(i+2,j+3)、(i+4,j+2)の色差成分Crの信号に基づき、次式(18)により、注目位置(i+2,j+2)における色差成分Crの信号を算出する。
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j+3)+Cr(i+4,J+2)}/4 ・・・(18)
Also, the first image
Cr(i+2,j+2)={Cr(i+2,j+1)+Cr(i,j+2)+Cr(i+2,j+3)+Cr(i+4,J+2 )}/4 (18)
第1の画像信号生成部232は、このようにして各画素311の位置において色差成分Crの信号を得たのち、各画素311の位置に対応させてG成分の信号を加算することにより、各画素311の位置においてR成分の信号を得ることができる。
After obtaining the signal of the color difference component Cr at the position of each
また、第1の画像信号生成部232は、図12におけるR色成分およびG色成分の位置を順番に注目位置として、注目位置の周囲に位置する4つのB成分の信号を用いて注目位置におけるB成分の信号を補間処理によって生成する。B成分の信号の補間処理は、各画素311の位置において、色差Cbの信号を得たのち、G成分の信号を加算することにより行う。これは、R成分の信号の補間処理と同様に行えばよいので、詳細な説明は省略する。
Further, the first image
このようにして、第1の画像信号生成部232は、非合焦領域に対応する画素311についても、RGB成分の画像信号を得ることができる。
In this manner, the first
以上のように、第1の画像信号生成部232は、略合焦領域に対応する画素311については、光電変換部13、14の出力信号を加算した加算信号に基づき画像信号を生成し、非合焦領域に対応する画素311については、光電変換部13、14のいずれか一方の出力信号に基づき画像信号を生成する。
As described above, the first image
<ケラレの判定>
上述では、非合焦領域に対応する画素311において、光電変換部13の出力信号を用いて画像信号を生成する場合について説明したが、ケラレの状況に基づいて光電変換部13、14のいずれか一方を選択して画像信号を生成するようにしてもよい。
<Determination of vignetting>
In the above description, the case where an image signal is generated using the output signal of the
図15は、交換レンズ202の射出瞳の位置とケラレとの関係を説明する図である。撮像素子212上の画素エリア101、102には一対の測距瞳93、94を通過する光束により一対の像が形成され、当該一対の像に対応する信号を各画素エリア101、102に配置された画素311が出力することになる。一対の測距瞳93、94は、交換レンズ202の射出瞳90の測距瞳面に位置し、その測距瞳面は、交換レンズ202の予定結像面に配置されたマイクロレンズ10の前方の距離dの位置に設定されている。距離dは、標準として設定した交換レンズ202における射出瞳90からマイクロレンズ10までの距離であり、以下、標準距離と呼ぶ。なお、カメラボディ203には種々の交換レンズ202が装着可能であり、装着する交換レンズ202によっては射出瞳90がマイクロレンズ10から標準距離d以外の位置にある場合も想定される。
FIG. 15 is a diagram for explaining the relationship between the position of the exit pupil of the
測距瞳93を通る光束272と測距瞳94を通る光束273が、画素エリア101に一対の像を形成する。測距瞳93を通る光束282と測距瞳94を通る光束283が、画素エリア102に一対の像を形成する。交換レンズ202の射出瞳の位置が標準距離dの位置にある場合は、画素エリア101の光電変換部13、14が受光する光束272、273および画素エリア102の光電変換部13、14が受光する光束282、283は制限されない(すなわちケラレが生じない)。
A
光軸91上にある画素エリア101に属する画素311については交換レンズ202の射出瞳の位置が標準距離d以外の位置にあっても、光電変換部13、14が受光する光束272、273は光軸91に対して対称に制限されるので、画像信号を生成する際、光電変換部13、14のどちらを選択してもよい。
For the
一方、光軸91から離れた(撮影画面の周辺に位置する)画素エリア102に属する画素311については、交換レンズ202の射出瞳の位置によって光電変換部13、14が受光する光束282、283の制限のされ方が異なるので、より光束が制限されていない(ケラレが少ない、すなわち一様輝度における出力が大きい)方の光電変換部を選択して、画像信号を生成する。
On the other hand, for a
例えば交換レンズ202の射出瞳が標準距離dより短い距離d1の瞳面105にあった場合、光束283より光束282の方がケラレが少ないので、光束282を受光する光電変換部13を選択して画像信号を生成する。
For example, if the exit pupil of the
また交換レンズ202の射出瞳が標準距離dより長い距離d2の瞳面110にあった場合、光束282より光束283の方がケラレが少ないので、光束283を受光する光電変換部14を選択して画像信号を生成する。
If the exit pupil of the
なお、画素エリア102と光軸91に対して反対側にある画素エリアに関しては、画素エリア102と一対の光束のケラレ方が逆になる。すなわち交換レンズ202の射出瞳が標準距離dより短い距離d1の瞳面105にあった場合は光電変換部14を選択し、交換レンズ202の射出瞳が標準距離dより長い距離d2の瞳面110にあった場合、光電変換部13を選択する。
Regarding the pixel area on the opposite side of the
このようにケラレ判定部237は、交換レンズ202の射出瞳の位置情報に基づき、非合焦領域に対応する画素311の位置において、ケラレの状況、すなわちケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部13、14のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第1の画像信号生成部232は、非合焦領域に対応する画素311の位置において、ケラレ判定部237によって選択された光電変換部の出力信号に基づき画像信号を生成する。なお、光電変換部13、14が受光する一対の光束において、ケラレが同程度である場合、もしくは両方ともケラレが生じない場合には、光電変換部13、14のどちらを選択するようにしてもよい。
In this way, the
また、交換レンズ202の射出瞳の位置情報は、交換レンズ202のレンズ駆動制御装置206から電気接点213を介して通信により取得すればよい。また、ケラレ判定部237は、交換レンズ202の射出瞳の位置情報に加え、交換レンズ202の絞り値(F値)の情報を用いて、上記ケラレの状況を判定してもよい。
Also, the positional information of the exit pupil of the
<画像の解析>
画像解析部234は、第1の画像信号生成部232により生成された画像信号に基づき、被写体画像の解析処理を行う。上述したように当該画像信号は、非合焦領域について光電変換部13、14のいずれか一方の出力信号を用いていることにより、非合焦領域についてもボケの少ない画像となるので、被写体画像の解析処理を精度よく行うことができる。
<Image analysis>
The
画像解析部234は、被写体画像の解析処理として、たとえば、被写体画像からエッジを検出するエッジ検出処理、および被写体画像内の顔を認識する顔認識処理の少なくとも一方を行う。顔認識処理としては、たとえば、被写体画像内の顔を検出し、その顔が所定人物の顔であるか否かを識別する顔認証処理などを行う。顔認証処理では、被写体画像に含まれる顔の特徴量と、あらかじめカメラボディ203内の不図示の記憶部に登録されている登録ユーザーの顔の特徴量とを比較し、被写体画像に含まれる顔が登録ユーザーの顔であるか否かを識別する。エッジ検出処理および顔認識処理は、公知の技術であるため、詳細な説明は省略する。
The
(スルー画像および記録用の画像信号の生成)
第2の画像信号生成部233は、撮影画面全体に対応する画素311について、光電変換部13の出力信号aと光電変換部14の出力信号bとを加算して平均した、(a+b)/2を、スルー画像または記録用の画像信号として生成する。この画像信号の生成処理は、上述した第1の画像信号生成部232において、略合焦領域に対応する画素の画像信号の生成処理と同様に行うため、詳細な説明を省略する。
(Generation of through image and image signal for recording)
The second image
表示制御部235は、第2の画像信号生成部233により生成された画像信号に基づき、液晶表示素子216にスルー画像を表示させる。また、不図示のシャッターボタンが全押し操作された場合は、記録制御部236は、第2の画像信号生成部233により生成された画像信号に基づき、メモリカード219に画像を記録する。
The
このようにスルー画像または記録用の画像を生成する際には、ボケを生かした画像とするため、解析用の画像と異なり、非合焦領域においても光電変換部13、14の出力信号を加算して画像信号を生成する。
When generating a through image or an image for recording in this way, the output signals of the
上述した実施の形態によれば、次の作用効果が得られる。
(1)デジタルカメラ201において、撮像素子212には、マイクロレンズ10と交換レンズ202の瞳の一対の領域を通過した一対の光束をマイクロレンズ10を介してそれぞれ受光して一対の出力信号をそれぞれ生成する一対の光電変換部13、14を有する画素311が二次元状に配置される。焦点検出部230は、横方向に配置された複数の画素311から出力される一対の出力信号の列のズレ量を検出して、撮影画面上の種々の位置におけるデフォーカス量を検出する。区分部231は、デフォーカス量に基づき、前記撮影画面を略合焦領域と非合焦領域とに区分する。第1の画像信号生成部232は、略合焦領域の画素311については、光電変換部13の出力信号と光電変換部14の出力信号とを加算した加算信号によって画像信号を生成し、非合焦領域の画素311については、光電変換部13の出力信号と光電変換部14の出力信号とのいずれか一方の出力信号によって画像信号を生成する。このような構成により、非合焦領域においてもボケの少ない画像、すなわち撮影画面全体が鮮明な画像を取得することができる。
According to the embodiment described above, the following effects are obtained.
(1) In the
(2)デジタルカメラ201において、第2の画像信号生成部233は、撮影画面全体の画素311について、光電変換部13の出力信号と光電変換部14の出力信号とを加算した加算信号によって画像信号を生成する。このような構成により、非合焦領域のボケを生かした画像を取得することができる。
(2) In the
(3)デジタルカメラ201において、画像解析部234は、第1の画像信号生成部232により生成された画像信号に基づき、被写体画像の解析処理を行い、表示制御部235は、第2の画像信号生成部233により生成された画像信号に基づき、スルー画像を液晶表示素子216に表示させる。このような構成により、非合焦領域においてボケの少ない画像を用いて被写体画像の解析処理を行うので当該解析処理を精度よく行うことができ、スルー画像としては非合焦領域のボケを生かした画像を表示することができる。
(3) In the
(4)デジタルカメラ201において、ケラレ判定部237は、交換レンズ202の瞳位置の情報に基づきケラレが一対の光束のどちらに多く生じるかを判定し、光電変換部13、14のうち、ケラレの少ない方の光束を受光する光電変換部を選択する。第1の画像信号生成部232は、非合焦領域の画素311について、ケラレ判定部237によって選択された光電変換部の出力信号によって画像信号を生成する。このような構成により、ケラレが少ない、すなわち一様輝度における出力が大きい方の光電変換部を用いて画像信号を生成することができる。
(4) In the
(5)デジタルカメラ201において、第1の画像信号生成部232は、非合焦領域の画素311について、光電変換部13の出力信号によって画像信号を生成する場合には、周辺の画素311における光電変換部13の出力信号に基づき色補間処理を行い、光電変換部14の出力信号によって画像信号を生成する場合には、周辺の画素311における光電変換部14の出力信号に基づき色補間処理を行う。このような構成により、色補間処理を精度よく行うことができる。
(5) In the
(6)デジタルカメラ201は、撮像素子212と、第1の画像信号生成部232とを有する。撮像素子212には、交換レンズ202の射出瞳90の一対の測距瞳93および94を通過した一対の光束である第1および第2の光束73、74をそれぞれ受光して第1の出力信号を生成する第1の光電変換部13と第2の出力信号を生成する第2の光電変換部14とを有する画素が複数配置される。第1の画像信号生成部232は、第1の出力信号により、画像信号生成に用いられる画素311の信号を生成する。このような構成により、ボケの少ない鮮明な画像を取得することができる。
(6) The
(7)デジタルカメラ201は、撮像素子212と、第1の画像信号生成部232とを有する。撮像素子212は、第1の画素311とその周辺の第2の画素311とをそれぞれ複数有する。第1の画素311は、交換レンズ202の射出瞳90の一対の測距瞳93および94を通過した一対の光束である第1および第2の光束をそれぞれ受光して第1の色成分の第1の信号及び第2の信号をそれぞれ生成する第1の光電変換部13及び第2の光電変換部14を有する。第2の画素311は、交換レンズ202の射出瞳90の一対の測距瞳93および94を通過した一対の光束である第1および第2の光束をそれぞれ受光して第2の色成分の第3の信号及び第4の信号をそれぞれ生成する第3の光電変換部13及び第4の光電変換部14を有する。第1の画像信号生成部232は、略合焦領域では、第3の信号と第4の信号とを加算して生成した画像信号により、第1の画素311の位置における第2の色成分の信号を補間する。第1の画像信号生成部232は、非合焦領域では、第3の信号により、第1の画素311の位置における第2の色成分の信号を補間する。このような構成により、色補間処理を使い分けることができる。また、ボケを生かした画像とボケの少ない画像とを適宜作成することができる。
(7) The
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
ボディ駆動制御装置214は、第1の画像信号生成部232を、スルー画像または記録用画像生成のための画像信号の生成部としても用いることができる。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
The following modifications are also within the scope of the present invention, and it is also possible to combine one or more of the modifications with the above-described embodiments.
(Modification 1)
The body
その場合、ボディ駆動制御装置214は、第1の画像信号生成部232により画像を生成するモードと第2の画像信号生成部233により画像を生成するモードとをたとえばユーザー操作に応じて切り替えることによって、好適なスルー画像または記録用の画像を生成してもよい。これにより、非合焦領域においてもボケの少ない画像を撮影するか、ボケを生かした画像を撮影するかをユーザーの所望に応じて選択することができる。
In this case, body
また、ボディ駆動制御装置214は、第1の画像信号生成部232により生成された画像信号により生成された画像信号を用いたスルー画像または記録用の画像を生成するとともに、第2の画像信号生成部233により生成された画像信号を用いたスルー画像または記録用の画像を生成することにより、2種類の画像を生成してもよい。これにより、1回の撮影において、2種類の画像、すなわち非合焦領域においてもボケの少ない画像とボケを生かした画像との両方を取得することができる。ユーザーは、これら2種類の画像を、所望に応じて適宜利用することができる。
In addition, the body
(変形例2)
第1の画像信号生成部232は、略合焦領域に対応する画素311及び非合焦領域に対応する画素311の両方について、光電変換部13の出力信号および光電変換部14の出力信号のいずれか一方の出力信号に基づき画像信号を生成することとしてもよい。光電変換部13、14の出力信号は、各画素位置に対応して、ベイヤー配列の規則にしたがってR、G、Bのいずれかの色成分を有し、配置された色フィルタの色成分と異なる色成分の信号が不足する。そのため、第1の画像信号生成部232は、光電変換部13の出力信号を画像信号とするときは、周辺の画素311の光電変換部13の出力信号を用いて不足する色成分の信号を生成し、光電変換部14の出力信号を画像信号とするときは、周辺の画素311の光電変換部14の出力信号を用いて不足する色成分の信号を生成する色補間処理を行う。
(Modification 2)
The first image
こうした第1の画像信号生成部232による画像信号生成処理と色補間処理とに基づき、解析用の画像信号が生成される。さらに、こうした第1の画像信号生成部232による画像信号生成処理と色補間処理とに基づき、スルー画像および記録用の画像信号が生成されることとしてもよい。この場合、スルー画像または記録用の画像は、非合焦領域においてもボケの少ない画像となる。
Based on the image signal generation processing and the color interpolation processing by the first image
(変形例3)
撮影画面を略合焦領域と非合焦領域とに区分する区分部231を設けないこととしてもよい。この場合において、第1の画像信号生成部232は、撮影画面内の領域に対応する画素311の光電変換部13、14の出力信号を加算して画像信号を生成する。その際、第1の画像信号生成部232は、周辺の画素311の光電変換部13、14の出力信号を加算して不足する色成分の信号を生成する第1の補間処理を行う。こうして第1の画像信号生成部232により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
(Modification 3)
The
第2の画像信号生成部233は、撮影画面内の領域に対応する画素311の光電変換部13の出力信号および光電変換部14の出力信号のいずれか一方の出力信号に基づき画像信号を生成する。その際、第2の画像信号生成部233は、光電変換部13の出力信号を画像信号とするときは、周辺の画素311の光電変換部13の出力信号を用いて不足する色成分の信号を生成し、光電変換部14の出力信号を画像信号とするときは、周辺の画素311の光電変換部14の出力信号を用いて不足する色成分の信号を生成する第2の補間処理を行う。こうして第2の画像信号生成部233により生成された画像信号は、解析用の画像信号として用いてもよいし、スルー画像および記録用の画像信号として用いてもよい。
The second image
(変形例4)
色補間処理の方法は、上述した例に限らない。たとえば、図13(c)に示したG成分の補間処理において、注目位置に対応する画素に縦横方向に隣接する画素の光電変換部13に対応する4つの位置の出力信号(G成分の信号)を単純平均することで、注目位置におけるG成分の信号を求めるようにしてもよい。
(Modification 4)
The method of color interpolation processing is not limited to the example described above. For example, in the G component interpolation processing shown in FIG. 13C, output signals (G component signals) of four positions corresponding to the
また、たとえば、G成分の補間処理において、横方向または縦方向にエッジがあると判定された場合も、注目位置に対応する画素に縦横方向に隣接する4つの画素の出力信号を加重平均することにより、注目位置のG成分の信号を求めるようにしてもよい。この場合、横方向にエッジがあると判定された場合は、縦方向に隣接する2つの画素の出力信号に乗算する重みづけ係数を大きくし、横方向に隣接する2つの画素の出力信号に乗算する重みづけ係数を小さくする。一方、縦方向にエッジがあると判定された場合は、横方向に隣接する2つの画素の出力信号に乗算する重みづけ係数を大きくし、縦方向に隣接する2つの画素の出力信号に乗算する重みづけ係数を小さくする。 Further, for example, even when it is determined that there is an edge in the horizontal direction or the vertical direction in the interpolation processing of the G component, the weighted average of the output signals of the four pixels vertically and horizontally adjacent to the pixel corresponding to the position of interest can be obtained. may be used to obtain the G component signal at the position of interest. In this case, if it is determined that there is an edge in the horizontal direction, the weighting factor to be multiplied by the output signals of the two pixels adjacent in the vertical direction is increased, and the output signals of the two pixels adjacent in the horizontal direction are multiplied. Decrease the weighting factor for On the other hand, when it is determined that there is an edge in the vertical direction, the output signals of the two pixels adjacent in the horizontal direction are multiplied by a large weighting coefficient, and the output signals of the two pixels adjacent in the vertical direction are multiplied. Decrease the weighting factor.
(変形例5)
上述した実施の形態では、画素311の例として、1画素当たり2つの光電変換部を有する2PD構成を例に説明したが、複数の光電変換部の数は2つに限らず、4PDでも16PDでも構わない。
(Modification 5)
In the above-described embodiment, as an example of the
(変形例6)
上述した実施の形態では、撮像素子212の例として、撮像面の全域に焦点検出用の画素(一対の光電変換部を有する画素)が設けられる例について説明した。しかしながら、撮像素子212において、焦点検出エリアに対応する位置にのみ焦点検出用の画素が配置され、その他の位置には通常の画素(1つの光電変換部を有する画素)が配置されていてもよい。
(Modification 6)
In the above-described embodiment, as an example of the
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
10…マイクロレンズ、13、14…光電変換部、201…デジタルカメラ、202…交換レンズ、203…カメラボディ、212…撮像素子、214…ボディ駆動制御装置、216…液晶表示素子、219…メモリカード、230…焦点検出部、231…区分部、232…第1の画像信号生成部、233…第2の画像信号生成部、234…画像解析部、235…表示制御部、236…記録制御部、237…ケラレ判定部、311…画素
DESCRIPTION OF
Claims (8)
前記第1信号および前記第2信号に基づいて、前記撮像素子の撮像面において合焦領域と非合焦領域とを区分または前記合焦領域と前記非合焦領域との少なくとも1方を抽出する区分部と、
前記非合焦領域に含まれる画素から出力される前記第1信号および前記第2信号のいずれか1方を選択して画像データを生成する第1生成部と、
を備える撮像装置。 A first photoelectric conversion unit that photoelectrically converts light that has passed through a first region of the optical system to generate charges, and a second photoelectric conversion unit that photoelectrically converts light that has passed through the second region of the optical system to generate charges. and an output unit that outputs a first signal based on the charges generated by the first photoelectric conversion unit and a second signal based on the charges generated by the second photoelectric conversion unit; an imaging device having
Based on the first signal and the second signal , the imaging surface of the imaging element is divided into a focused area and an out-of-focus area, or at least one of the in-focus area and the out-of-focus area is extracted. and
a first generating unit that selects one of the first signal and the second signal output from pixels included in the out-of-focus area to generate image data;
An imaging device comprising:
前記区分部は、前記第1信号および前記第2信号に基づくデフォーカス量に基づいて、前記合焦領域と前記非合焦領域とを区分または前記合焦領域と前記非合焦領域との少なくとも1方を抽出する撮像装置。 The imaging device according to claim 1,
The division unit divides the focused area and the out-of-focus area, or at least divides the in-focus area and the out-of-focus area, based on a defocus amount based on the first signal and the second signal. An imaging device that extracts one side.
前記合焦領域に含まれる画素から出力される前記第1信号および前記第2信号に基づいて画像データを生成する第2生成部を備える撮像装置。 The imaging device according to claim 1 or 2 ,
An imaging device comprising a second generator that generates image data based on the first signal and the second signal output from pixels included in the focus area.
前記第1生成部で生成された画像データを解析する解析部を備える撮像装置。An imaging device comprising an analysis unit that analyzes the image data generated by the first generation unit.
前記解析部は、前記合焦領域の画像データの解析を前記第1信号および前記第2信号に基づいて解析する撮像装置。 In the imaging device according to claim 4 ,
The image pickup device, wherein the analysis unit analyzes the image data of the focus area based on the first signal and the second signal.
前記合焦領域および前記非合焦領域に含まれる画素から出力された前記第1信号および前記第2信号に基づく画像を表示する表示部を備える撮像装置。 In the imaging device according to any one of claims 1 to 5,
An imaging device comprising a display unit that displays an image based on the first signal and the second signal output from pixels included in the in-focus area and the out-of-focus area.
前記合焦領域および前記非合焦領域に含まれる画素から出力された前記第1信号および前記第2信号に基づく画像データを記録する記録部を備える撮像装置。An imaging device comprising a recording unit that records image data based on the first signal and the second signal output from pixels included in the focused area and the non-focused area.
前記第1生成部は、前記非合焦領域に含まれる画素から出力される前記第1信号および前記第2信号のいずれか1方を、前記光学系の情報に基づいて選択する撮像装置。The imaging device, wherein the first generation unit selects one of the first signal and the second signal output from the pixels included in the out-of-focus area based on the information of the optical system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023025815A JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237632 | 2015-12-04 | ||
JP2015237632 | 2015-12-04 | ||
JP2016236096A JP6891470B2 (en) | 2015-12-04 | 2016-12-05 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236096A Division JP6891470B2 (en) | 2015-12-04 | 2016-12-05 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023025815A Division JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021145368A JP2021145368A (en) | 2021-09-24 |
JP2021145368A5 JP2021145368A5 (en) | 2022-03-22 |
JP7235068B2 true JP7235068B2 (en) | 2023-03-08 |
Family
ID=59060965
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236096A Active JP6891470B2 (en) | 2015-12-04 | 2016-12-05 | Imaging device |
JP2021089424A Active JP7235068B2 (en) | 2015-12-04 | 2021-05-27 | Imaging device |
JP2023025815A Active JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236096A Active JP6891470B2 (en) | 2015-12-04 | 2016-12-05 | Imaging device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023025815A Active JP7501696B2 (en) | 2015-12-04 | 2023-02-22 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6891470B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015754A (en) | 2006-07-05 | 2008-01-24 | Nikon Corp | Image pickup device, image processor and image processing method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001330769A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Image pickup device and its control method |
JP4812541B2 (en) | 2006-02-21 | 2011-11-09 | 京セラ株式会社 | Imaging device |
JP5289105B2 (en) | 2009-03-05 | 2013-09-11 | キヤノン株式会社 | Image processing apparatus, control method therefor, and imaging apparatus |
JP5421829B2 (en) | 2010-03-18 | 2014-02-19 | 富士フイルム株式会社 | Imaging device |
CN104221365B (en) * | 2012-03-30 | 2018-11-06 | 株式会社尼康 | Capturing element, method for imaging and filming apparatus |
-
2016
- 2016-12-05 JP JP2016236096A patent/JP6891470B2/en active Active
-
2021
- 2021-05-27 JP JP2021089424A patent/JP7235068B2/en active Active
-
2023
- 2023-02-22 JP JP2023025815A patent/JP7501696B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015754A (en) | 2006-07-05 | 2008-01-24 | Nikon Corp | Image pickup device, image processor and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2023075146A (en) | 2023-05-30 |
JP6891470B2 (en) | 2021-06-18 |
JP7501696B2 (en) | 2024-06-18 |
JP2021145368A (en) | 2021-09-24 |
JP2017108404A (en) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4973273B2 (en) | Digital camera | |
JP5066851B2 (en) | Imaging device | |
JP5012495B2 (en) | IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE | |
JP5458475B2 (en) | Focus detection apparatus and imaging apparatus | |
JP5454223B2 (en) | camera | |
US8902349B2 (en) | Image pickup apparatus | |
JP2008052009A (en) | Focus detection device, focus detection method and imaging apparatus | |
JP7264192B2 (en) | Imaging element and imaging device | |
JP5423111B2 (en) | Focus detection apparatus and imaging apparatus | |
JP5348258B2 (en) | Imaging device | |
JP5381472B2 (en) | Imaging device | |
JP5866760B2 (en) | Imaging device | |
JP5338112B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP7235068B2 (en) | Imaging device | |
JP5338113B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP5440585B2 (en) | Digital camera | |
JP5338119B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP2009162845A (en) | Imaging device, focus detecting device and imaging apparatus | |
JP5332384B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP5399627B2 (en) | Focus detection device, focus adjustment device, and imaging device | |
JP5949893B2 (en) | Imaging device | |
JP5338118B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP4968009B2 (en) | Correlation calculation method, correlation calculation device, focus detection device, and imaging device | |
JP4968010B2 (en) | Correlation calculation method, correlation calculation device, focus detection device, and imaging device | |
JP6041062B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7235068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |