JP7363953B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7363953B2 JP7363953B2 JP2022054180A JP2022054180A JP7363953B2 JP 7363953 B2 JP7363953 B2 JP 7363953B2 JP 2022054180 A JP2022054180 A JP 2022054180A JP 2022054180 A JP2022054180 A JP 2022054180A JP 7363953 B2 JP7363953 B2 JP 7363953B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image data
- image
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 1278
- 238000001514 detection method Methods 0.000 claims description 314
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 description 586
- 238000004364 calculation method Methods 0.000 description 111
- 238000000034 method Methods 0.000 description 108
- 230000008569 process Effects 0.000 description 102
- 230000000875 corresponding effect Effects 0.000 description 76
- 238000010586 diagram Methods 0.000 description 56
- 238000006243 chemical reaction Methods 0.000 description 51
- 230000004048 modification Effects 0.000 description 46
- 238000012986 modification Methods 0.000 description 46
- 230000007547 defect Effects 0.000 description 26
- 238000012937 correction Methods 0.000 description 25
- 238000005375 photometry Methods 0.000 description 23
- 230000035945 sensitivity Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 238000007781 pre-processing Methods 0.000 description 21
- 230000009467 reduction Effects 0.000 description 21
- 230000035508 accumulation Effects 0.000 description 19
- 238000009825 accumulation Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 101150062705 Wipf3 gene Proteins 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14634—Assemblies, i.e. Hybrid structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/51—Control of the gain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Description
前記第2撮像領域に含まれる画素と前記第3撮像領域に含まれる画素とのうちから、前記第1撮像領域に含まれる画素からの信号のノイズの低減に用いるための画素を選択する選択部と、を有し、前記第2撮像領域は、前記第1撮像領域と隣接している領域であり、前記第3撮像領域は、前記第1撮像領域と異なる領域であり、且つ、前記第1撮像領域と前記第2撮像領域との少なくとも一方と隣接している領域である。
(第1の実施の形態)
図1は、第1の実施の形態によるカメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37とを有する。
上述した撮像素子32aの一例として積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプや電極である。撮像チップ111は、被写体からの光像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。
本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34(撮像制御部34c)は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。
制御部34は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部34aによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図5の例では、物体検出部34aが、人物61aと、自動車62aと、バッグ63aと、山64aと、雲65aと、雲66aとを被写体要素として検出する。
制御部34は、設定部34bによって画面を複数の領域に分割すると、図6に例示するような設定画面を表示部35に表示させる。図6において、ライブビュー画像60aが表示され、ライブビュー画像60aの右側に撮像条件の設定画面70が表示される。
以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。
強調表示されていない領域(領域61以外の他の領域)については、設定されている撮像条件が維持される。
上述したように、本実施の形態では、設定部34bにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部34が判断した領域に対して撮像条件を設定(変更)することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部34は、必要に応じて以下のデータ選択処理を行わせる。
画像処理部33(選択部33b)は、分割した領域間で異なる撮像条件を適用して取得された画像データに対する画像処理が所定の画像処理である場合において、領域の境界付近に位置する画像データに対し、画像処理の前処理としてデータ選択処理を行う。所定の画像処理は、画像において処理対象とする注目位置の画像データを、注目位置の周囲の複数の参照位置の画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で、第2撮像条件のISO感度が800の場合、参照画素の画像データから画像処理に用いる第1撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第2撮像条件のシャッター速度が1/100秒の場合、参照画素の画像データから画像処理に用いる第1撮像条件の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。
画像処理部33(選択部33b)は、例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第2撮像条件のフレームレートが60fpsの場合、参照画素の画像データのうちの第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。
なお、上述したように、撮像条件に多少の差違(例えばアペックス値で0.3段以下)があっても同一の撮像条件とみなすこととしてもよい。
データ選択処理を伴う画像処理について例示する。
(1)画素欠陥補正処理
本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の1つである。一般に、固体撮像素子である撮像素子100は、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部33(生成部33c)は、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。
本実施の形態において、色補間処理は、撮像時に行う画像処理の1つである。図3に例示したように、撮像素子100の撮像チップ111は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rがベイヤー配列されている。画像処理部33(生成部33c)は、各画素位置において配置されたカラーフィルタFの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。
<G色補間>
まず、一般的なG色補間について説明する。G色補間を行う画像処理部33(生成部33c)は、R色成分およびB色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の4つのG色成分の画像データを参照して注目位置におけるG色成分の画像データを生成する。例えば、図8(b)の太枠(左上位置から数えて2行目2列目。以降も同様に、左上位置から数えて注目位置を表すものとする)で示す注目位置においてG色成分の画像データを生成する場合、注目位置(2行目2列目)の近傍に位置する4つのG色成分の画像データG1~G4を参照する。画像処理部33(生成部33c)は、例えば(aG1+bG2+cG3+dG4)/4を、注目位置(2行目2列目)におけるG色成分の画像データとする。なお、a~dは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
図9(a)は、図8(a)からR色成分の画像データを抽出した図である。画像処理部33(生成部33c)は、図8(c)に示すG色成分の画像データと図9(a)に示すR色成分の画像データとに基づいて図9(b)に示す色差成分Crの画像データを算出する。
図10(a)は、図8(a)からB色成分の画像データを抽出した図である。画像処理部33(生成部33c)は、図8(c)に示すG色成分の画像データと図10(a)に示すB色成分の画像データとに基づいて図10(b)に示す色差成分Cbの画像データを算出する。
図10(c)において、太枠(3行目4列目)で示す位置が色差成分Cbの注目位置である。また、図10(c)中の色差成分の画像データCb2、Cb4~Cb6が注目位置(3行目4列目)の画素を画像処理するための参照位置である。図10(c)において、注目位置(3行目4列目)には第2撮像条件が適用されている。また、全ての参照位置の画像データCb2、Cb4~Cb6に第2撮像条件が適用されている。そのため、画像処理部33(生成部33c)は、注目位置(3行目4列目)の近傍に位置する4つの色差成分の画像データCb2、Cb4~Cb6を参照して注目位置(3行目4列目)における色差成分Cbの画像データを算出する。
輪郭強調処理の一例を説明する。画像処理部33(生成部33c)は、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2-1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。
ノイズ低減処理の一例を説明する。画像処理部33(生成部33c)は、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N2-1)個の参照画素の位置が参照位置である。
なお、カーネルサイズはN×M画素であってもよい。
上記のように画像処理部33(選択部33b)は、注目画素Pに適用された第1撮像条件と異なる第2撮像条件が適用された画素が上記参照画素に含まれる場合に、参照画素における画像データから第1撮像条件が適用された画像データを選択する。そして、その後、画像処理部33(生成部33c)が、選択された画像データを参照して画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理等の画像処理を行う。画像処理部33(選択部33b)は、撮像素子から出力された他の画素からの画像データ(第2撮像条件が適用された画像データも含む)に対しても同様の処理をして画像を生成する。生成された画像は、表示装置などの表示部に表示される。
制御部34(AF演算部34d)は、撮像画面の所定の位置(焦点検出位置)に対応する画像データを用いて焦点検出処理を行う。制御部34(AF演算部34d)は、分割した領域間で異なる撮像条件が設定されており、AF動作の焦点検出位置が分割された領域の境界部分に位置する場合、領域の境界付近に位置する焦点検出用の画像データに対し、焦点検出処理の前処理としてデータ選択処理を行う。
データ選択処理を伴う焦点検出処理について例示する。本実施の形態のAF動作は、例えば、複数の焦点検出位置の中からユーザーが選んだ焦点検出位置に対応する被写体にフォーカスを合わせる。制御部34(AF演算部34d)は、撮像光学系31の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を算出する。制御部34(AF演算部34d)は、デフォーカス量をゼロ(許容値以下)にする位置、すなわち合焦位置へ、撮像光学系31のフォーカスレンズを移動させる。
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100で、第2撮像条件のISO感度が800の場合、枠170で囲む画像データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒で、第2撮像条件のシャッター速度が1/100秒の場合、枠170で囲む焦点検出用の信号データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
制御部34(AF演算部34d)は、例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsで、第2撮像条件のフレームレートが60fpsの場合、枠170で囲む焦点検出用の信号データから焦点検出処理に用いる第1撮像条件の焦点検出用の信号データを選択する。つまり、枠170で囲む焦点検出用の信号データのうちの、第1撮像条件の画像データと異なるタイミングで取得された第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
また、上記の例では、枠170で囲む焦点検出用の信号データから第1撮像条件の焦点検出用の信号データを選択する例を説明したが、枠170で囲む焦点検出用の信号データのうちの第2撮像条件の焦点検出用の信号データを選択するようにしてもよい。
上記の例では、第1撮像条件が設定されたエリアを指定して焦点検出を行う例のため、第1撮像条件の焦点検出用の光電変換信号を選択する例を説明した。焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合の一例を説明する。焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、枠170で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第1撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部34(AF演算部34d)は、選択した焦点検出用の光電変換信号から第1デフォーカス量を算出する。さらに、制御部34(AF演算部34d)は、枠170で囲む焦点検出用の光電変換信号から焦点検出処理に用いる第2撮像条件の焦点検出用の光電変換信号を選択する。そして、制御部34(AF演算部34d)は、選択した焦点検出用の光電変換信号から第2デフォーカス量を算出する。そして、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量を用いて、焦点検出処理を行う。具体的には、例えば、制御部34(AF演算部34d)は、第1のデフォーカス量と、第2のデフォーカス量の平均値を算出し、レンズの移動距離を算出する。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量のうち、よりレンズの移動距離が小さい方の値を選択することとしてもよい。また、制御部34(AF演算部34d)は、第1のデフォーカス量と第2のデフォーカス量から、被写体がより至近側であることを示す値を選択することとしてもよい。
また、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第1撮像条件が設定された領域に70%あり、第2領域に30パーセントの場合には、制御部34(AF演算部34d)は、第1撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率(パーセント)に関しては例示であり、これに限定されない。
図14(a)は、検出しようとする対象物を表すテンプレート画像180を例示する図であり、図14(b)は、ライブビュー画像60(a)および探索範囲190を例示する図である。制御部34(物体検出部34a)は、ライブビュー画像から対象物(例えば、図5の被写体要素の一つであるバッグ63a)を検出する。制御部34(物体検出部34a)は、対象物を検出する範囲をライブビュー画像60aの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像60aの一部を探索範囲190としてもよい。
制御部34(設定部34b)は、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、領域の境界付近に位置する画像データに対し、露出条件を設定する前処理としてデータ選択処理を行う。
また、測光範囲が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(設定部34b)は、上述した焦点検出や被写体検出の場合と同様に、面積が大きい方の領域を選択するようにしてもよい。
図15は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ1のメインスイッチがオン操作されると、制御部34は、図15に示す処理を実行するプログラムを起動させる。ステップS10において、制御部34は、表示部35にライブビュー表示を開始させて、ステップS20へ進む。
なお、ライブビュー表示中にAF動作を行う設定がなされている場合、制御部34(AF演算部34d)は、焦点検出処理を行うことにより、所定の焦点検出位置に対応する被写体要素にフォーカスを合わせるAF動作を制御する。AF演算部34dは、必要に応じて、上記データ選択処理を行ってから焦点検出処理を行う。
また、ライブビュー表示中にAF動作を行う設定がなされていない場合、制御部34(AF演算部34d)は、後にAF動作が指示された時点でAF動作を行う。
なお、制御部34は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。
なお、画像処理部33(選択部33b)は、必要に応じて、領域の境界付近に位置する画像データに対してデータ選択処理を行ってから画像処理を行う。
(1)画像処理装置を備えるカメラ1は、撮像部32の第1領域に入射した被写体像を第1撮像条件で撮像することにより生成された第1画像データと、撮像部32の第2領域に入射した被写体像を第1撮像条件とは異なる第2撮像条件で撮像することにより生成された第2画像データと、を入力する画像処理部33(入力部33a)と、入力部33aに入力された第1画像データおよび第2画像データのうちの一方の画像データを選択する選択部33bと、選択された選択画像データにより生成された画像を表示部35に表示させる画像処理部(生成部33)と、を備える。これにより、撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データによる画像を適切に生成することができる。例えば、領域ごとの撮像条件の違いによって、生成される画像に現れる違和感を抑制できる。
第1の実施の形態における画像処理を行う場合の画像データ選択処理は、注目画素Pにおいて適用された撮像条件(第1撮像条件とする)と、注目画素Pの周囲の参照画素において適用された撮像条件(第2撮像条件とする)とが異なる場合に、画像処理部33(選択部33b)が、所定範囲90の内側に位置する画素の画像データから、注目画素と共通する第1撮像条件が適用された画像データを選択し、画像処理部33(生成部33c)が、選択された画像データを参照するようにした。
第2の実施の形態における画像処理について例示する。
(1)画素欠陥補正処理
画像処理部33(選択部33b)は、注目画素Pと、注目画素Pを中心とする所定範囲90に含まれる画素の全てに同じ撮像条件が適用されている場合、所定範囲90の内側に位置する画素の画像データを全て選択する。その後、選択された画像データを参照して画像処理部33(生成部33c)がMax,Minフィルタ処理を行う。なお、選択した画像データの平均をとって画素欠陥補正処理を行うこととしてもよい。
<G色補間>
第2の実施の形態のG色補間について説明する。第1の実施の形態の場合と同様に、図8(a)~図8(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。
なお、データG6の位置においても第2撮像条件が適用されていた場合には、データG6の近隣の位置の画像データから第1撮像条件が適用されているデータを選択してもよい。
第2の実施の形態のR色補間について説明する。第1の実施の形態の場合と同様に、図9(a)~図9(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。
なお、データCr15またはCr16の位置においても第2撮像条件が適用されていた場合は、データCr15またはCr16の近隣の位置の画像データから第1撮像条件が適用されているデータを選択してもよい。
なお、仮に、データCr8、Cr7の位置においても第1撮像条件が適用されていた場合には、データCr8およびCr7の近隣の位置の画像データから第2撮像条件が適用されているデータを選択してもよい。
第2の実施の形態のB色補間について説明する。第1の実施の形態の場合と同様に、図10(a)~図10(c)において、例えば、太線に対して左および上の領域に第1撮像条件が適用されており、太線に対して右および下の領域に第2撮像条件が適用されているものとする。
なお、図10(c)の例では、注目位置(3行目4列目)の近傍に位置する4つの色差成分の画像データCb2、Cb4~Cb6に対応する参照位置には、注目位置(3行目4列目)と同じ第2撮像条件が適用されている。画像処理部33(生成部33c)は、注目位置の近傍に位置する4つの色差成分の画像データCb2、Cb4~Cb6を参照して注目位置における色差成分Cbの画像データを算出する。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
図16(a)~図16(c)は、撮像素子32aの撮像面における第1領域および第2領域の配置を例示する図である。図16(a)の例によれば、第1領域は偶数列によって構成され、第2領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部34は、第2領域に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、1フレーム目の第2撮像条件を焦点検出処理に適した条件とし、2フレーム目の第2撮像条件を被写体検出処理に適した条件とし、3フレーム目の第2撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第2撮像条件は撮像画面の第2領域の全体で同一にする。
上記実施の形態では、制御部34(設定部34b)がライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例2において、制御部34は、撮像素子32aと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。
変形例3では、画像処理部33(生成部33c)が、第1撮像条件と第2撮像条件との差異に基づく画像の不連続性を緩和するように、コントラスト調整処理を行う。すなわち、生成部33cは、階調カーブ(ガンマカーブ)を異ならせることにより、第1撮像条件と第2撮像条件との間の差異に基づく画像の不連続性を緩和する。
変形例4においては、画像処理部33(生成部33c)が、上述した画像処理(例えば、ノイズ低減処理)において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。
変形例5においては、画像処理部33(生成部33c)が、第1撮像条件と第2撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。
画像処理部33を複数備え、画像処理を並列処理してもよい。例えば、撮像部32の領域Aで撮像された画像データに対して画像処理をしながら、撮像部32の領域Bで撮像された画像データに対して画像処理を行う。複数の画像処理部33は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Aおよび領域Bの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Aおよび領域Bの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。
上述した説明では、カメラ1を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機250(図14)や、タブレット端末などのモバイル機器によって構成してもよい。
上述した実施の形態では、撮像部32と制御部34とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部34とを分離して設け、制御部34から通信を介して撮像部32を制御する撮像システム1Bを構成してもよい。
以下、図17を参照して撮像部32を備えた撮像装置1001を、制御部34を備えた制御装置1002から制御する例を説明する。
なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向の画像データ通信を行う構成にしてもよい。
表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型の撮像素子100を備える電子機器によって構成することができる。
なお、表示装置1002の制御部34に物体検出部34aと、設定部34bと、撮像制御部34cと、AF演算部34dとを設ける例を説明したが、物体検出部34a、設定部34b、撮像制御部34c、およびAF演算部34dの一部について、撮像装置1001に設けるようにしてもよい。
上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図18に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
図19~25を参照して、第3の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第1または第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1または第2の実施の形態と同じである。本実施の形態では、主に、第1の実施の形態の画像処理部33を設ける代わりに、撮像部32Aが第1の実施の形態の画像処理部33と同様の機能を有する画像処理部32cをさらに含む点で、第1の実施の形態と異なる。
これにより、画像データの前処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
なお、以下の説明では、あるブロック111aと、当該ブロック111aに含まれる画素との関係について説明する際に、当該ブロック111aのことを、当該画素が属するブロック111aと呼ぶことがある。また、ブロック111aを単位区分と呼ぶことがあり、ブロック111aが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。
これら撮像チップ111、信号処理チップ112、メモリチップ113および画像処理チップ114は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
第1の実施の形態と同様に、第2の実施の形態では、設定部34bにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部34が判断した領域に対して撮像条件を設定(変更)することが可能に構成されている。分割した領域において異なる撮像条件を設定した場合、制御部34は、必要に応じて選択部322に以下のデータ選択処理を行わせる。
1-1.注目画素Pの撮像条件と注目画素Pの周囲の複数の参照画素の撮像条件とが同一である場合
この場合、選択部322は、複数の参照画素の画像データをすべて選択して生成部323へ出力する。生成部323は、複数の参照画素の画像データを利用して画像処理を行う。
注目画素Pにおいて適用された撮像条件を第1撮像条件とし、複数の参照画素の一部に適用された撮像条件が第1撮像条件であり、残りの参照画素に適用された撮像条件が第2撮像条件であるとする。
この場合には、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322、および第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、参照画素の画像データに対して以下の(例1)~(例3)のようにデータ選択処理を行う。そして、生成部323は、データ選択処理後の参照画素の画像データを参照して注目画素Pの画像データを算出する画像処理を行う。
例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100であり、第2撮像条件のISO感度が800であるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画像データを選択する。しかし、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第2撮像条件の画像データを選択しない。つまり、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。
例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒であり、第2撮像条件のシャッター速度が1/100秒であるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画像データを選択する。しかし、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第2撮像条件の画像データを選択しない。つまり、第1撮像条件と異なる第2撮像条件の画像データを画像処理に用いない。
例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsであり、第2撮像条件のフレームレートが60fpsであるとする。この場合、第1撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、第1撮像条件の画素の画像データを選択する。また、第2撮像条件が適用された参照画素が属するブロック111aに対応する選択部322は、参照画素の画像データのうちの第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データを選択する。つまり、参照画素の画像データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが近いフレーム画像の画像データを画像処理に用い、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の画像データを画像処理に用いない。
同様に、第2画像データは、処理チップ114に設けられた複数の選択部322のうち、第2画像データを生成した各画素が属するブロック111aに対応する選択部322に出力される。以下の説明では、それぞれの第2画像データを生成した画素が属する複数のブロック111aにそれぞれ対応する複数の選択部322を第2選択部152と呼ぶ。
同様に、たとえば、注目画素Pが第2領域に含まれる場合、第2選択部152は、注目画素Pの画像データおよび第2撮像条件で撮像された参照画素の画像データを選択して生成部323へ出力する。一方、第1選択部151は、第1撮像条件で撮像された参照画素の画像データを選択せず、第1撮像条件で撮像された参照画素の画像データを生成部323へ出力しない。なお、第1選択部151は、データ選択処理に必要な第2撮像条件についての情報を、たとえば、第2選択部152から受信する。
第1の実施形態と同様に、制御部34(AF演算部34d)は、撮像画面の所定の位置(焦点検出位置)に対応する画像データを用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、AF動作の焦点検出位置が分割された領域の境界部分に位置する場合、すなわち焦点検出位置が第1領域と第2領域とで2分されている場合、本実施の形態では、以下の2-2.で説明するように、制御部34(AF演算部34d)は、選択部322に対してデータ選択処理を行わせる。
この場合、選択部322は、枠170内の画素からの焦点検出用の信号データをすべて選択して生成部323へ出力する。制御部34(AF演算部34d)は、枠170で示す焦点検出用画素による焦点検出用の信号データを利用して焦点検出処理を行う。
この場合には、制御部34(AF演算部34d)は、枠170内の画素が属するブロック111aに対応する選択部322に対して以下の(例1)~(例3)のようにデータ選択処理を行わせる。そして、制御部34(AF演算部34d)は、データ選択処理後の焦点検出用の信号データを用いて焦点検出処理を行う。
例えば、第1撮像条件と第2撮像条件との間でISO感度のみが異なり、第1撮像条件のISO感度が100であり、第2撮像条件のISO感度が800であるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の焦点検出用の信号データを選択する。そして、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件の焦点検出用の信号データを選択しない。つまり、枠170内の画素からの焦点検出用の信号データのうち、第1撮像条件の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件と異なる第2撮像条件の画像データを焦点検出処理に用いない。
例えば、第1撮像条件と第2撮像条件との間でシャッター速度のみが異なり、第1撮像条件のシャッター速度が1/1000秒であり、第2撮像条件のシャッター速度が1/100秒であるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の焦点検出用の信号データを選択する。そして、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件の焦点検出用の信号データを選択しない。つまり、枠170内の画素からの焦点検出用の信号データのうち、第1撮像条件の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件と異なる第2撮像条件の焦点検出用の信号データを焦点検出処理に用いない。
例えば、第1撮像条件と第2撮像条件との間でフレームレートのみが異なり(電荷蓄積時間は同じ)、第1撮像条件のフレームレートが30fpsであり、第2撮像条件のフレームレートが60fpsであるとする。この場合、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第1撮像条件の画素の焦点検出用の信号データを選択する。また、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322は、第2撮像条件(60fps)の画像データについて、第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを選択する。つまり、第2撮像条件(60fps)の焦点検出用の信号データのうちの、第1撮像条件(30fps)のフレーム画像と取得タイミングが近いフレーム画像の焦点検出用の信号データを焦点検出処理に用い、第1撮像条件(30fps)のフレーム画像と取得タイミングが異なるフレーム画像の焦点検出用の信号データを焦点検出処理に用いない。
また、上記の(例1)および(例2)では、枠170で囲む焦点検出用の信号データから第1撮像条件の焦点検出用の信号データを選択する例を説明したが、枠170で囲む焦点検出用の信号データのうちの第2撮像条件の焦点検出用の信号データを選択するようにしてもよい。
なお、焦点検出位置が第1および第2領域に2分され、第1領域の面積が第2領域の面積よりも大きい場合には、第1撮像条件の画像データを選択し、逆に、第2領域の面積が第1領域の面積よりも大きい場合には、第2撮像条件の画像データを選択することが望ましい。
第1領域141に含まれる各画素からは、第1撮像条件で撮像された焦点検出用の第1信号データが出力され、第2領域142に含まれる各画素からは、第2撮像条件で撮像された焦点検出用の第2信号データが出力される。第1領域141からの第1信号データは、第1選択部151に出力される。同様に、第2領域142からの第2信号データは、第2選択部152に出力される。
第1処理部151は、第1撮像条件の第1信号データを選択してAF演算部34dへ出力する。第2処理部152は、第2撮像条件の第2信号データを選択してAF演算部34dへ出力する。
上述した前処理の後、AF演算部34dは、第1処理部151からの第1信号データから第1デフォーカス量を算出する。さらに、AF演算部34dは、第1処理部151からの第2信号データから第2デフォーカス量を算出する。そして、AF演算部34dは、第1のデフォーカス量と第2のデフォーカス量を用いて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
また、焦点を合わせるべき被写体が、第1撮像条件が設定された領域と第2撮像条件が設定された領域にまたがって位置する場合は、制御部34(AF演算部34d)は、被写体領域の面積が大きい方の領域を選択し、焦点検出用の光電変換信号を選択することとしてもよい。たとえば、焦点を合わせる被写体の顔の面積が、第1撮像条件が設定された領域に70%あり、第2領域に30パーセントの場合には、制御部34(AF演算部34d)は、第1撮像条件の焦点検出用の光電変換信号を選択する。なお、上述した面積に比率(パーセント)に関しては例示であり、これに限定されない。
分割した領域間で異なる撮像条件が設定されており、探索範囲190が分割された領域の境界を含む場合について説明する。
この場合、選択部322は、探索範囲190の画素からの画像データをすべて選択して生成部323へ出力する。制御部34(AF演算部34d)は、探索範囲190の画素からの画像データを利用して被写体検出処理を行う。
この場合、図24に示すように、制御部34(物体検出部34a)は、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322(第1選択部151)に対して、探索範囲190の画像データから被写体検出処理に用いる第1撮像条件の画像データを選択させる。なお、図24は、被写体検出処理に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
そして、制御部34(物体検出部34a)は、データ選択処理後の画像データを用いて被写体検出処理を行う。
また、制御部34(物体検出部34a)は、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322(第2選択部152)に対して、探索範囲190の画像データから被写体検出処理に用いる第2撮像条件の画像データを選択させる。そして、制御部34(物体検出部34a)は、データ選択処理後の画像データを用いて被写体検出処理を行う。そして、制御部34(物体検出部34a)は、第1撮像条件の画像データから検出された被写体領域と、第2撮像条件の画像データから検出された被写体領域との境界を合わせることにより、探索範囲190内の被写体検出を検出することができる。
この場合、制御部34(物体検出部34a)は、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322(第1選択部151)に対して、探索範囲190の画像データから被写体検出処理に用いる第1撮像条件の画像データを選択させる。そして、制御部34(物体検出部34a)は、データ選択処理後の画像データを用いて被写体検出処理を行う。また、制御部34(物体検出部34a)は、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322(第2選択部152)に対して、探索範囲190の画像データから、被写体検出処理に用いる第2撮像条件(60fps)の画像データとして第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データだけを選択させる。そして、制御部34(物体検出部34a)は、データ選択処理後の画像データを用いて被写体検出処理を行う。そして、制御部34は、第1撮像条件の画像データから検出された被写体領域と、第2撮像条件の画像データから検出された被写体領域との境界を合わせることにより、探索範囲190内の被写体検出を検出することができる。
撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合について説明する。
この場合、選択部322は、測光範囲の画素からの画像データをすべて選択して生成部323へ出力する。制御部34(設定部34b)は、測光範囲を構成する画素からの画像データを利用して露出演算処理を行う。
この場合、図25に示すように、制御部34(物体検出部34a)は、上述した被写体検出処理を行う場合の(a)と同様に、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322に対して、測光範囲の画像データから露出演算処理に用いる第1撮像条件の画像データを選択させる。また、制御部34(物体検出部34a)は、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322に対して、測光範囲の画像データから露出演算処理に用いる第2撮像条件の画像データを選択させる。なお、図25は、露出演算処理等の撮像条件の設定に係る、第1画像データと第2画像データとの処理について模式的に表した図である。
そして、制御部34(設定部34b)は、データ選択処理後の画像データを用いて第1撮像条件が設定された領域および第2撮像条件が設定された領域のそれぞれについて、露出演算処理を行う。このように、制御部34(設定部34b)は、測光範囲に撮像条件の異なる複数の領域が存在する場合には、それぞれの領域を測光するためのデータ選択処理を行って、データ選択処理の画像データを用いて露出演算処理を行う。
この場合、制御部34(物体検出部34a)は、被写体検出処理を行う場合の(b)と同様に、第1撮像条件が適用された画素が属するブロック111aに対応する選択部322に対して、測光範囲の画像データから露出演算処理に用いる第1撮像条件の画像データを選択させる。また、制御部34(物体検出部34a)は、上述した焦点検出処理を行う場合の(例3)と同様に、第2撮像条件が適用された画素が属するブロック111aに対応する選択部322に対して、測光範囲の画像データから、露出演算処理に用いる第2撮像条件(60fps)の画像データとして第1撮像条件(30fps)で取得されたフレーム画像と取得タイミングが近いフレーム画像の画像データだけを選択させる。
そして、制御部34(設定部34b)は、上述した(a)の場合と同様に、データ選択処理後の画像データを用いて露出演算処理を行う。
(1)カメラ1Cは、撮像面の単位区分毎に撮像条件を変更して撮像可能であり、第1撮像条件で撮像した少なくとも一つの単位区分からなる第1領域からの第1画像データと、第1撮像条件とは異なる第2撮像条件で撮像した少なくとも一つの単位区分からなる第2領域からの第2画像データとを生成する撮像素子32aを備える。カメラ1Cは、単位区分毎または単位区分を複数有する複合区分毎に対応して設けられ、対応する単位区分または対応する複合区分内の単位区分からの画像データを選択するかまたは選択しない複数の選択部322を備える。撮像素子32aは、裏面照射型撮像チップ111に設けられている。複数の選択部322は、画像処理チップ114に設けられている。
これにより、画像データのデータ選択処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減できる。
これにより、画像データのデータ選択処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減できるとともに、複数の選択部322による前処理が並列処理によって短時間に行われるので、AF演算部34dでの焦点検出処理の開始までの時間を短縮化でき、焦点検出処理の高速化に資する。
これにより、画像データのデータ選択処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減できるとともに、複数の選択部322による前処理が並列処理によって短時間に行われるので、物体検出部34aでの被写体検出処理の開始までの時間を短縮化でき、被写体検出処理の高速化に資する。
これにより、画像データのデータ選択処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減できるとともに、複数の選択部322による前処理が並列処理によって短時間に行われるので、設定部34bでの撮像条件の設定処理の開始までの時間を短縮化でき、撮像条件の設定処理の高速化に資する。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例10)
第1および第2の実施の形態の変形例1における図16(a)~図16(c)に示すように、撮像素子32aの撮像面において第1領域および第2領域を配置した場合の第1画像データと第2画像データとの処理について説明する。
本変形例においても、変形例1と同様に、図16(a)~図16(c)のいずれの場合も、1フレームの撮像を行った撮像素子32aから読み出した画素信号によって、第1領域から読み出した画像信号に基づく第1画像および第2領域から読み出した画像信号に基づく第2画像がそれぞれ生成される。本変形例においても、変形例1と同様に、制御部34は、第1画像を表示用として用いるとともに、第2画像を検出用として用いる。
第1画像を撮像する第1領域には第1撮像条件が設定され、第2画像を撮像する第2領域には第1撮像条件とは異なる第2撮像条件が設定されているものとする。
また、第2選択部152は、第1撮像条件についての情報181を、たとえば、第1選択部151から受信する。
物体検出部34aは、第2選択部152からの第2画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部34bは、第2選択部152からの第2画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部32による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
AF演算部34dは、第2選択部152からの第2信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
また、第2選択部152は、第1撮像条件についての情報181を、たとえば、第1選択部151から受信する。
物体検出部34aは、第2選択部152からの第2画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部34bは、第2選択部152からの第2画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部32による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
AF演算部34dは、第2選択部152からの第2信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
また、第2選択部152は、第1撮像条件についての情報181を、たとえば、第1選択部151から受信する。
物体検出部34aは、第2選択部152で選択された一部の第2画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部34bは、第2選択部152で選択された一部の第2画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部32による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
AF演算部34dは、第2選択部152で選択された一部の第2信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
また、第2選択部152は、第1撮像条件についての情報181を、たとえば、第1選択部151から受信する。
物体検出部34aは、第2選択部152で選択された一部の第2画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部34bは、第2選択部152で選択された一部の第2画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部32による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
AF演算部34dは、第2選択部152で選択された一部の第2信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
上述した第3の実施の形態では、選択部322の1つとブロック111a(単位区分)の1つとが対応している。しかし、選択部322の1つと、複数のブロック111a(単位区分)を有する複合ブロック(複合区分)の1つとが対応するようにしてもよい。この場合、選択部322は、当該複合ブロックに含まれる複数のブロック111aに属する画素からの画像データに対して順次データ選択処理を行う。複数の選択部322が、複数のブロック111aを有する複合ブロック毎に対応して設けられていても、画像データのデータ選択処理を複数の選択部322で並列処理できるので、選択部322における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
上述した第3の実施の形態では、生成部323は撮像部32Aの内部に設けられている。しかし、生成部323を撮像部32Aの外部に設けてもよい。生成部323を撮像部32Aの外部に設けても上述した作用効果と同様の作用効果を奏する。
上述した第3の実施の形態では、積層型撮像素子100Aは、裏面照射型撮像チップ111と、信号処理チップ112と、メモリチップ113とに加えて、上述した前処理および画像処理を行う画像処理チップ114をさらに備える。しかし、積層型撮像素子100Aに画像処理チップ114を設けず、信号処理チップ112に画像処理部32cが設けられていてもよい。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
(1)被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、補間に用いるための画素を上記撮像領域に含まれる画素から選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記選択部は、上記設定部により設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる撮像装置。
(2)(1)のような撮像装置において、上記撮像素子は、被写体を撮像する第1撮像領域と、被写体を撮像する第2撮像領域と、を有し、上記設定部は、上記第1撮像領域の撮像条件と、上記第2撮像領域の撮像条件と、を設定し、上記選択部は、上記第1撮像領域に含まれる画素と上記第2撮像領域に含まれる画素とのうちから、上記設定部により設定された上記第2撮像領域の撮像条件により、上記第1撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせ、上記生成部は、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する。
(3)(2)のような撮像装置において、上記選択部は、上記設定部により設定された上記第1撮像領域の撮像条件と上記第2撮像領域の撮像条件とにより、上記第1撮像領域に含まれる画素の補間に用いるために選択する画素の少なくとも一部の画素を異ならせる。
(4)(2)または(3)のような撮像装置において、上記選択部は、上記第1撮像領域と上記第2撮像領域との少なくとも一方の撮像領域から上記補間に用いる画素を選択する。
(5)(4)のような撮像装置において、上記選択部は、上記設定部により設定された上記第2撮像領域の撮像条件により、上記補間に用いる画素として、上記第2撮像領域の画素を選択する。
(6)(2)~(5)のような撮像装置において、上記選択部は、上記設定部により上記第1撮像領域と上記第2撮像領域に第1撮像条件が設定されると、上記第2撮像領域に含まれる画素を選択する。
(7)(6)のような撮像装置において、上記選択部は、上記設定部により設定された上記第2撮像領域の撮像条件による露出に関する値に基づいて、上記補間に用いる画素として、上記第2撮像領域の画素を選択する。
(8)(7)のような撮像装置において、上記選択部は、上記設定部により設定された第1撮像領域の撮像条件による露出に関する値と、上記第2撮像領域の撮像条件による露出に関する値に基づいて、上記補間に用いる画素として、上記第2撮像領域の画素を選択する。
(9)(8)のような撮像装置において、上記選択部は、上記設定部により設定された第1撮像領域の撮像条件による露出の段数と、上記第2撮像領域の撮像条件による露出の段数との差が0.3段以下の場合に上記補間に用いる画素として、上記第2撮像領域の画素を選択する。
(10)(2)~(9)のような撮像装置において、上記選択部は、上記設定部により上記第1撮像領域に第1撮像条件が設定され、上記第2撮像領域に第2撮像条件が設定されると、上記第1撮像領域に含まれる画素を選択する。
(11)(10)のような撮像装置において、上記選択部は、上記設定部により上記第1撮像領域に第1撮像条件が設定され、上記第2撮像領域に第2撮像条件が設定されると、上記第2撮像領域の画素を選択せずに、上記第1撮像領域に含まれる画素を選択する。
(12)(2)~(11)のような撮像装置において、上記選択部は、上記第1撮像領域の第1画素を補間するための画素として、上記第1画素と上記第2撮像領域の第2画素との距離よりも上記第1画素との距離が長い上記第1撮像領域の第3画素を選択する。
(13)(2)~(12)のような撮像装置において、上記選択部は、上記設定部によって上記第2撮像領域に設定された撮像条件により、選択する画素の数が異なる。
(14)(13)のような撮像装置において、上記選択部は、上記設定部によって上記第1撮像領域に第1撮像条件が設定されるとともに上記第2撮像領域に第2撮像条件が設定されると、上記第1撮像領域と上記第2撮像領域とに上記第1撮像条件が設定されたときよりも少ない画素を選択する。
(15)第1撮像条件で被写体を撮像するように設定された第1撮像領域と、上記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、上記第2撮像条件と異なる上記第3撮像条件で被写体を撮像するように設定された第3撮像領域と、を有する撮像素子と、上記第2撮像領域に含まれる画素と上記第3撮像領域に含まれる画素とのうちから、上記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(16)第1撮像条件で被写体を撮像するように設定された第1撮像領域と、上記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、を有する撮像素子と、上記第1撮像領域に含まれる画素と上記第2撮像領域に含まれる画素とのうちから、上記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(17)被写体を撮像する第1撮像領域と、被写体を撮像する第2撮像領域と、被写体を撮像する第3撮像領域と、を有する撮像素子と、上記第1撮像領域の撮像条件を第1撮像条件に設定し、上記第2撮像領域の撮像条件を上記第1撮像条件と異なる第2撮像条件に設定し、上記第3撮像領域の撮像条件を、上記第1撮像条件と上記第2撮像条件との差よりも上記第1撮像条件との差が小さい第3撮像条件に設定する設定部と、上記第1撮像領域に含まれる画素と、上記第2撮像領域に含まれる画素と、上記第3撮像領域に含まれる画素と、のうちから上記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(18)被写体を撮像する第1撮像領域と、被写体を撮像する第2撮像領域と、上記第1撮像領域と上記第2撮像領域との距離よりも上記第1撮像領域との距離が長い、被写体を撮像する第3撮像領域と、を有する撮像素子と、上記第2撮像領域の撮像条件を上記第1撮像領域の撮像条件とは異なる撮像条件に設定する設定部と、上記第1撮像領域に含まれる画素と、上記第2撮像領域に含まれる画素と、上記第3撮像領域に含まれる画素と、のうちから上記第1撮像領域に含まれる画素の補間に用いるための画素を選択する選択する選択部と、上記選択部により選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(19)被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、補間に用いる画素として選択された、上記撮像領域に含まれる画素から出力された信号により補間された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
(20)第1撮像条件で被写体を撮像するように設定された第1撮像領域と、上記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、を有する撮像素子と、上記第1撮像領域に含まれる画素と上記第2撮像領域に含まれる画素とのうちから、上記第1撮像領域に含まれる画素の補間に用いるための画素として選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(21)被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、上記撮像領域に含まれる画素から選択された、ノイズを低減するための信号を出力する画素から出力された信号によりノイズが低減された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
(22)第1撮像条件で被写体を撮像するように設定された第1撮像領域と、上記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、上記第2撮像条件と異なる上記第3撮像条件で被写体を撮像するように設定された第3撮像領域と、を有する撮像素子と、上記第2撮像領域に含まれる画素と上記第3撮像領域に含まれる画素とのうちから、上記第1撮像領域に含まれる画素をノイズの低減に用いるために選択する選択部と、上記第1撮像領域に含まれる画素の信号のノイズの低減に用いるための信号を出力する画素として、上記第2撮像領域に含まれる画素と上記第3撮像領域に含まれる画素とのうちから選択された画素から出力された信号によりノイズが低減された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(23)第1撮像条件で被写体を撮像するように設定された第1撮像領域と、上記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、を有する撮像素子と、上記第1撮像領域に含まれる画素のノイズを低減するために用いる信号を出力する画素として、上記第1撮像領域に含まれる画素と上記第2撮像領域に含まれる画素とのうちから選択された画素から出力された信号により補間された信号を用いて上記第1撮像領域で撮像された被写体の画像を生成する生成部と、を備える撮像装置。
(24)被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域の撮像条件を設定する設定部と、画像処理をするための画素をとして選択された画素から出力された信号により画像処理された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記設定部により設定された撮像条件により、上記選択する画素の少なくとも一部の画素が異なる撮像装置。
(25)撮像素子の撮像領域に含まれる画素から出力された信号から補間に用いるための信号を選択する選択部と、上記選択部により選択された信号により補間された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる画像処理装置。
(26)撮像素子の撮像領域に含まれる画素から出力された信号からノイズを低減するための信号を選択する選択部と、上記選択部により選択された信号によりノイズが低減された信号を用いて上記撮像領域で撮像された被写体の画像を生成する生成部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる画像処理装置。
(27)撮像素子の撮像領域に含まれる画素から出力された信号から補間に用いるための信号を選択する選択部と、上記選択部により選択された信号により補間された信号を用いて生成された上記撮像領域で撮像された被写体の画像を表示する表示部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる画像処理装置。
(28)撮像素子の撮像領域に含まれる画素から出力された信号からノイズを低減するための信号を選択する選択部と、選択部により選択された信号によりノイズが低減された信号を用いて生成された上記撮像領域で撮像された被写体の画像を表示する表示部と、を備え、上記選択部は、上記撮像領域に設定された撮像条件により上記選択する画素の少なくとも一部の画素が異なる画像処理装置。
(1)入射した光を第1撮像条件で撮像して第1画像データを出力する第1領域と、入射した光を上記第1撮像条件と異なる第2撮像条件で撮像して第2画像データを出力する第2領域と、入射した光を上記第1撮像条件で撮像して第3画像データを出力する第3領域と、を有する撮像素子と、上記第1画像データと上記第3画像データとの少なくとも一方を用いて画像処理した第1画像データと、上記第2画像データとに基づいて画像を生成する画像処理部と、を備える撮像装置。
(2)(1)のような撮像装置において、上記画像処理部は、第1画像データを、上記第2画像データを用いずに、上記第3画像データを用いて画像処理する。
(3)(2)のような撮像装置において、上記第1画像データは上記第1領域の第1位置の画素から出力され、上記第2画像データは上記第2領域の第2位置の画素から出力され、上記第3画像データは上記第1領域の第3位置の画素から出力され、上記第1位置から第3位置までの距離は、上記第1位置から上記第2位置までの距離よりも長い。
(4)(1)~(3)のような撮像装置において、上記撮像素子は、入射した光を上記第2撮像条件で撮像して第4画像データを出力する第4領域を有し、上記画像処理部は、上記第2画像データと上記第4画像データとの少なくとも一方を用いて画像処理した第2画像データと上記画像処理した第1画像データと、により画像を生成する。
(5)入射した光を第1撮像条件で撮像して第1画像データを出力する第1領域と、入射した光を上記第1撮像条件と異なる第2撮像条件で撮像して第2画像データを出力する第2領域と、を有する撮像素子と、上記第1画像データを用いて画像処理した上記第1画像データと、上記第2画像データとに基づいて画像を生成する画像処理部と、を備える撮像装置。
(6)(5)のような撮像装置において、上記画像処理部は、第1画像データを、上記第2画像データを用いずに、上記第1画像データを用いて画像処理する。
(7)(6)のような撮像装置において、上記画像処理部は、上記第2画像データを用いて画像処理した第2画像データと上記画像処理した第1画像データと、により画像を生成する。
(8)(1)~(7)のような撮像装置において、上記第1領域は、複数の上記第1画像データを出力し、上記画像処理部は、上記複数の第1画像データのうちの処理対象となる第1画像データを、上記複数の第1画像データのうちの他の第1画像データを用いて画像処理する。
(9)(8)のような撮像装置において、上記第1画像データは上記第1領域の第1位置の画素から出力され、上記第2画像データは上記第2領域の第2位置の画素から出力され、上記他の第1画像データは上記第1領域の第3位置の画素から出力され、上記第1位置から第3位置までの距離は、上記第1位置から上記第2位置までの距離よりも長い。
(10)(1)~(9)のような撮像装置において、上記第1撮像条件および上記第2撮像条件は、少なくとも蓄積時間またはISO感度を含む。
(11)(1)~(10)のような撮像装置において、上記画像処理部は、少なくとも画素欠陥補正処理、色補間処理、輪郭強調処理、またはノイズ低減処理を施して上記第1画像データを処理する。
(12)(1)~(11)のような撮像装置において、上記画像処理部は、上記第1画像データを画像処理する画像データを選択する選択部を備えた。
(13)(12)のような撮像装置において、上記撮像素子は、撮像面の単位領域毎に撮像条件を変更して撮像可能であり、上記選択部は、上記単位領域毎または上記単位領域を複数有する複合領域毎に対応して設けられ、対応する上記単位領域または対応する上記複合領域内の上記単位領域からの画像データを選択する。
(14)(13)のような撮像装置において、上記撮像素子は、第1半導体基板に設けられ、上記選択部は、第2半導体基板に設けられている。
(15)(14)のような撮像装置において、上記第1半導体基板と上記第2半導体基板とは積層されている。
(16)撮像部の第1領域に入射した光を第1撮像条件で撮像して出力された第1画像データと、上記撮像部の第2領域に入射した光を、上記第1撮像条件と異なる第2撮像条件で撮像して出力された第2画像データと、上記撮像部の第3領域に入射した光を第1撮像条件で撮像して出力された第3画像データと、に基づいて生成された画像を表示する表示部を有する表示装置であって、上記第1画像データと上記第3画像データとの少なくとも一方を用いて画像処理した第1画像データと、上記第2画像データとに基づいて画像を生成する画像処理部を備え、上記表示部は、上記画像処理部により生成された画像を表示する表示装置。
(17)撮像部の第1領域に入射した光を第1撮像条件で撮像して出力された第1画像データを用いて画像処理した上記第1画像データと、上記撮像部の第2領域に入射した光を、上記第1撮像条件と異なる第2撮像条件で撮像して出力された第2画像データと、に基づいて画像を生成する画像処理部と、上記画像処理部により生成された画像を表示する表示部と、を備えた表示装置。
(18)撮像部の第1領域に入射した光を第1撮像条件で撮像して出力された第1画像データと、上記撮像部の第2領域に入射した光を、上記第1撮像条件と異なる第2撮像条件で撮像して出力された第2画像データと、上記撮像部の第3領域に入射した光を第1撮像条件で撮像して出力された第3画像データと、に基づいて、画像を生成する画像処理部を備えた画像処理装置であって、上記画像処理部は、上記第1画像データと上記第3画像データとの少なくとも一方を用いて画像処理した第1画像データと、上記第2画像データとに基づいて画像を生成する画像処理装置。
(19)撮像部の第1領域に入射した光を第1撮像条件で撮像して出力された第1画像データを用いて画像処理した上記第1画像データと、上記撮像部の第2領域に入射した光を、上記第1撮像条件と異なる第2撮像条件で撮像して出力された第2画像データと、に基づいて画像を生成する画像処理部を備えた画像処理装置。
日本国特許出願2015年第195288号(2015年9月30日出願)
1B…撮像システム
32…撮像部
32a、100…撮像素子
33…画像処理部
33a,321…入力部
33b,322…選択部
33c,323…生成部
34…制御部
34a…物体検出部
34b…領域分割部
34d…撮像制御部
35…表示部
90…所定範囲
1001…撮像装置
1002…表示装置
P…注目画素
Claims (6)
- 第1撮像条件で被写体を撮像するように設定された第1撮像領域と、前記第1撮像条件と異なる第2撮像条件で被写体を撮像するように設定された第2撮像領域と、前記第1撮像条件で被写体を撮像するように設定された第3撮像領域と、を有する撮像素子と、
前記第2撮像領域に含まれる画素と前記第3撮像領域に含まれる画素とのうちから、前記第1撮像領域に含まれる画素からの信号のノイズの低減に用いるための画素を選択する選択部と、
を有し、
前記第2撮像領域は、前記第1撮像領域と隣接している領域であり、
前記第3撮像領域は、前記第1撮像領域と異なる領域であり、且つ、前記第1撮像領域と前記第2撮像領域との少なくとも一方と隣接している領域である、
撮像装置。 - 請求項1に記載の撮像装置において、
前記第3撮像領域は、前記第1撮像領域と前記第2撮像領域との距離よりも前記第1撮像領域との距離が長い撮像装置。 - 請求項1または2に記載の撮像装置において、
前記選択部により選択された画素から出力された信号によりノイズが低減された信号を用いて前記第1撮像領域で撮像された被写体の画像を生成する生成部を有する撮像装置。 - 請求項1または2に記載の撮像装置において、
前記選択部により選択された画素から出力された信号によりノイズが低減された信号を用いて前記第1撮像領域で撮像された被写体を検出する検出部を有する撮像装置。 - 請求項1または2に記載の撮像装置において、
撮像条件の設定を制御する制御部であって、前記選択部により選択された画素から出力された信号によりノイズが低減された信号を用いて前記第1撮像領域に設定されている撮像条件の設定を制御する制御部を有する撮像装置。 - 請求項1または2に記載の撮像装置において、
前記撮像素子の撮像領域を光学系の合焦位置を調整するレンズを介して被写体を撮像し、
前記選択部により選択された画素から出力された信号によりノイズが低減された信号を用いて検出された前記光学系の合焦点状態により前記レンズの駆動を制御する制御部を有する撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023173696A JP2023181213A (ja) | 2015-09-30 | 2023-10-05 | 撮像装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015195288 | 2015-09-30 | ||
JP2015195288 | 2015-09-30 | ||
JP2020184458A JP7052850B2 (ja) | 2015-09-30 | 2020-11-04 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020184458A Division JP7052850B2 (ja) | 2015-09-30 | 2020-11-04 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023173696A Division JP2023181213A (ja) | 2015-09-30 | 2023-10-05 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022093341A JP2022093341A (ja) | 2022-06-23 |
JP7363953B2 true JP7363953B2 (ja) | 2023-10-18 |
Family
ID=58423443
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017543270A Active JP6604384B2 (ja) | 2015-09-30 | 2016-09-26 | 撮像装置 |
JP2019190531A Active JP6791336B2 (ja) | 2015-09-30 | 2019-10-17 | 撮像装置 |
JP2020184458A Active JP7052850B2 (ja) | 2015-09-30 | 2020-11-04 | 撮像装置 |
JP2022054180A Active JP7363953B2 (ja) | 2015-09-30 | 2022-03-29 | 撮像装置 |
JP2023173696A Pending JP2023181213A (ja) | 2015-09-30 | 2023-10-05 | 撮像装置 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017543270A Active JP6604384B2 (ja) | 2015-09-30 | 2016-09-26 | 撮像装置 |
JP2019190531A Active JP6791336B2 (ja) | 2015-09-30 | 2019-10-17 | 撮像装置 |
JP2020184458A Active JP7052850B2 (ja) | 2015-09-30 | 2020-11-04 | 撮像装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023173696A Pending JP2023181213A (ja) | 2015-09-30 | 2023-10-05 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (5) | US10638037B2 (ja) |
EP (1) | EP3358821B1 (ja) |
JP (5) | JP6604384B2 (ja) |
CN (2) | CN108141532B (ja) |
WO (1) | WO2017057292A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3585048B1 (en) * | 2017-02-20 | 2023-07-19 | Sony Group Corporation | Photometry device, photometry method, program, and imaging device |
JP2018157371A (ja) * | 2017-03-17 | 2018-10-04 | キヤノン株式会社 | 撮像装置及び欠陥画素の補正方法 |
CN110679140B (zh) * | 2017-06-08 | 2021-04-13 | 富士胶片株式会社 | 摄像装置、摄像装置的控制方法及存储介质 |
WO2019082232A1 (ja) * | 2017-10-23 | 2019-05-02 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
KR102499033B1 (ko) * | 2018-01-31 | 2023-02-13 | 삼성전자주식회사 | 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치 |
JP7175712B2 (ja) * | 2018-10-25 | 2022-11-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR102640871B1 (ko) * | 2018-10-30 | 2024-02-27 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법 |
KR102662032B1 (ko) * | 2019-06-19 | 2024-05-03 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 장치 |
CN111835971B (zh) * | 2020-07-20 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理系统、电子设备及可读存储介质 |
CN115474007A (zh) * | 2022-08-12 | 2022-12-13 | 北京城市网邻信息技术有限公司 | 一种拍摄方法、装置、终端设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001238126A (ja) | 2000-02-22 | 2001-08-31 | Minolta Co Ltd | 撮像装置及び画像処理方法 |
JP2013219744A (ja) | 2012-03-16 | 2013-10-24 | Fujitsu Ltd | 画像合成装置及び画像合成用コンピュータプログラム |
WO2014192152A1 (ja) | 2013-05-31 | 2014-12-04 | 株式会社ニコン | 電子機器及び制御プログラム |
JP2015133633A (ja) | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 固体撮像装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08172640A (ja) * | 1994-12-19 | 1996-07-02 | Matsushita Electric Ind Co Ltd | 色補正装置 |
JP3965555B2 (ja) * | 2002-02-01 | 2007-08-29 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
US7446812B2 (en) * | 2004-01-13 | 2008-11-04 | Micron Technology, Inc. | Wide dynamic range operations for imaging |
CN100565556C (zh) * | 2004-05-14 | 2009-12-02 | 欧姆龙株式会社 | 特定被摄体检测装置 |
JP4349232B2 (ja) | 2004-07-30 | 2009-10-21 | ソニー株式会社 | 半導体モジュール及びmos型固体撮像装置 |
JP4277216B2 (ja) | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
JP2007041119A (ja) * | 2005-08-01 | 2007-02-15 | Olympus Imaging Corp | 撮像装置及び撮像方法 |
CN100527792C (zh) * | 2006-02-07 | 2009-08-12 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
JP5111023B2 (ja) * | 2007-08-31 | 2012-12-26 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
JP5272551B2 (ja) * | 2008-07-15 | 2013-08-28 | 株式会社リコー | 撮像装置及び方法 |
US8274583B2 (en) | 2009-06-05 | 2012-09-25 | Apple Inc. | Radially-based chroma noise reduction for cameras |
JP2012003576A (ja) * | 2010-06-18 | 2012-01-05 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2012105225A (ja) * | 2010-11-12 | 2012-05-31 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP5655626B2 (ja) * | 2011-02-24 | 2015-01-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012256964A (ja) * | 2011-06-07 | 2012-12-27 | Nikon Corp | 撮像装置 |
JP5991749B2 (ja) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | 画像処理装置及び方法 |
JP5898466B2 (ja) * | 2011-11-11 | 2016-04-06 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
EP2793470A1 (en) * | 2011-12-16 | 2014-10-22 | Sony Corporation | Image pickup device |
JP2014179911A (ja) * | 2013-03-15 | 2014-09-25 | Nikon Corp | 撮像装置 |
JP6248468B2 (ja) * | 2013-08-23 | 2017-12-20 | 株式会社ニコン | 撮像装置および電子機器 |
JP2015056710A (ja) * | 2013-09-11 | 2015-03-23 | キヤノン株式会社 | 撮像装置、およびその制御方法、プログラム、記憶媒体 |
JP6320053B2 (ja) | 2014-01-22 | 2018-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP6446790B2 (ja) * | 2014-02-21 | 2019-01-09 | 株式会社リコー | 画像処理装置、撮像装置、画像補正方法およびプログラム |
-
2016
- 2016-09-26 CN CN201680057213.5A patent/CN108141532B/zh active Active
- 2016-09-26 EP EP16851463.6A patent/EP3358821B1/en active Active
- 2016-09-26 WO PCT/JP2016/078313 patent/WO2017057292A1/ja active Application Filing
- 2016-09-26 CN CN202010795797.4A patent/CN111953901B/zh active Active
- 2016-09-26 US US15/764,917 patent/US10638037B2/en active Active
- 2016-09-26 JP JP2017543270A patent/JP6604384B2/ja active Active
-
2019
- 2019-10-17 JP JP2019190531A patent/JP6791336B2/ja active Active
-
2020
- 2020-03-23 US US16/827,254 patent/US11095830B2/en active Active
- 2020-11-04 JP JP2020184458A patent/JP7052850B2/ja active Active
-
2021
- 2021-06-23 US US17/355,991 patent/US11641522B2/en active Active
-
2022
- 2022-03-29 JP JP2022054180A patent/JP7363953B2/ja active Active
-
2023
- 2023-03-20 US US18/123,543 patent/US20230283910A1/en not_active Abandoned
- 2023-10-05 JP JP2023173696A patent/JP2023181213A/ja active Pending
-
2024
- 2024-03-11 US US18/601,492 patent/US20240214689A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001238126A (ja) | 2000-02-22 | 2001-08-31 | Minolta Co Ltd | 撮像装置及び画像処理方法 |
JP2013219744A (ja) | 2012-03-16 | 2013-10-24 | Fujitsu Ltd | 画像合成装置及び画像合成用コンピュータプログラム |
WO2014192152A1 (ja) | 2013-05-31 | 2014-12-04 | 株式会社ニコン | 電子機器及び制御プログラム |
JP2015133633A (ja) | 2014-01-14 | 2015-07-23 | 株式会社東芝 | 固体撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017057292A1 (ja) | 2017-04-06 |
US20230283910A1 (en) | 2023-09-07 |
JP6604384B2 (ja) | 2019-11-13 |
JPWO2017057292A1 (ja) | 2018-07-12 |
JP2021016191A (ja) | 2021-02-12 |
JP2023181213A (ja) | 2023-12-21 |
JP6791336B2 (ja) | 2020-11-25 |
US20180288316A1 (en) | 2018-10-04 |
JP7052850B2 (ja) | 2022-04-12 |
EP3358821A4 (en) | 2019-04-24 |
US10638037B2 (en) | 2020-04-28 |
US20210321031A1 (en) | 2021-10-14 |
US20240214689A1 (en) | 2024-06-27 |
US11641522B2 (en) | 2023-05-02 |
US11095830B2 (en) | 2021-08-17 |
CN111953901B (zh) | 2022-06-17 |
EP3358821A1 (en) | 2018-08-08 |
CN111953901A (zh) | 2020-11-17 |
US20200228705A1 (en) | 2020-07-16 |
CN108141532B (zh) | 2020-09-08 |
JP2020039130A (ja) | 2020-03-12 |
JP2022093341A (ja) | 2022-06-23 |
CN108141532A (zh) | 2018-06-08 |
EP3358821B1 (en) | 2021-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7363953B2 (ja) | 撮像装置 | |
JP7372034B2 (ja) | 撮像装置、および画像処理装置 | |
CN112714252B (zh) | 摄像装置 | |
WO2017170716A1 (ja) | 撮像装置、画像処理装置、および電子機器 | |
JP7439856B2 (ja) | 撮像装置 | |
WO2017170717A1 (ja) | 撮像装置、焦点調節装置、および電子機器 | |
JP6604385B2 (ja) | 撮像装置 | |
JP6589988B2 (ja) | 撮像装置 | |
JP6589989B2 (ja) | 撮像装置 | |
JP6521085B2 (ja) | 撮像装置、および制御装置 | |
WO2017057267A1 (ja) | 撮像装置、および焦点検出装置 | |
WO2017057280A1 (ja) | 撮像装置、および被写体検出装置 | |
WO2017170719A1 (ja) | 撮像装置、および電子機器 | |
WO2017170718A1 (ja) | 撮像装置、被写体検出装置、および電子機器 | |
WO2017170724A1 (ja) | 撮像装置、レンズ調節装置、および電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |