JP6781140B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6781140B2 JP6781140B2 JP2017233418A JP2017233418A JP6781140B2 JP 6781140 B2 JP6781140 B2 JP 6781140B2 JP 2017233418 A JP2017233418 A JP 2017233418A JP 2017233418 A JP2017233418 A JP 2017233418A JP 6781140 B2 JP6781140 B2 JP 6781140B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- image
- imaging
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 84
- 238000001514 detection method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 14
- 239000004065 semiconductor Substances 0.000 claims 8
- 230000002093 peripheral effect Effects 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000007792 addition Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004397 blinking Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 235000002673 Dioscorea communis Nutrition 0.000 description 3
- 241000544230 Dioscorea communis Species 0.000 description 3
- 208000035753 Periorbital contusion Diseases 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000002161 passivation Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 239000007790 solid phase Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
図面を参照して本発明の第1の実施形態について説明する。
(1)カメラ100は、複数の単位グループ231(撮像領域)を有し、単位グループ231に入射した光像に応じた画像信号を生成する撮像チップ213を有する。またカメラ100は、撮像チップ213から出力された画像信号に基づいて当該画像信号の示す画像の特徴領域510を検出する特徴領域検出部112と、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231を特徴領域用フレームレートで撮像を行うように制御し、複数の単位グループ231のうち特徴領域510に対応する光像が入射した単位グループ231以外の単位グループ231を特徴領域用フレームレートとは異なるフレームレートで撮像を行うように制御する制御部101と、を含む信号処理チップ211を有する。これにより、撮像素子200の全体の撮像領域から画像信号を読み出しても、撮像素子200の特定の撮像領域(特徴領域510に対応する光像が入射した単位グループ231)から画素信号を高速に読み出すことができ、特徴領域510の認識精度を向上することができる。また、特徴領域510以外の他の領域についてはフレームレートを低くして画像信号を取得しているので、全画素からの高速読み出しに比べて、撮像素子200の駆動や画像処理の負荷を減らし、消費電力や発熱を抑えることができる。
次に、本発明の第2の実施形態について説明する。第2の実施形態のカメラ100及び撮像素子200の構成は、第1の実施形態と同様であるため、説明を省略する。
(1)カメラ100は、主要被写体領域のデフォーカス量が大きいほど、主要被写体領域に対応する光像が入射した撮像領域(単位グループ231)を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、撮像画像の画素数を増やしても主要被写体の状態を精度よく認識できない状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。
上述した実施形態において、画像処理部103は、複数の主要被写体(顔)を検出した場合には、その複数の主要被写体の中から優先する被写体(優先被写体)を1つ選択するようにしてもよい。
上述した第1の実施形態において、特徴領域に対応する特徴領域単位グループ群については、主要被写体及び周辺領域よりも高いフレームレートで撮像を行うので、その分電荷の蓄積時間が短くなり、画像信号の出力が小さくなる場合がある。そこで、画像処理部103は、特徴領域単位グループ群については、被写体単位グループ群及び周辺単位グループ群よりも、単位グループ231に含まれる画素から読み出す画素信号のゲインを大きく設定するようにしてもよい。
上述した第1の実施形態において、画像処理部103は、特徴領域単位グループ群に特徴領域用フレームレートを設定する際、撮像面における主要被写体の占める割合に応じて設定する値を変化させるようにしてもよい。撮像面における主要被写体の占める割合が大きいほど特徴領域用フレームレートの設定値を低くし、撮像面における主要被写体の占める割合が小さいほど特徴領域用フレームレートの設定値を高くする。撮像面における主要被写体の占める割合が大きい場合には、撮像画像上で主要被写体に関する情報量が多く、特徴領域の変化も検出しやすいので、特徴領域用フレームレートを下げることで消費電力を低減できる。一方、撮像面における主要被写体の占める割合が小さい場合には、撮像画像上で主要被写体に関する情報量が少なく、特徴領域の変化も検出しにくいので、特徴領域用フレームレートを上げることで、主要被写体の状態の認識精度を高くできる。
主要被写体として複数の人物の顔を検出した際、顔の数が所定値よりも多い場合には、撮像画像において一つ一つの顔に関する情報量が少なく、顔の状態を認識しにくいことが予測される。そこで、画像処理部103は、このような場合には、特徴領域についての画素の間引き率または加算数を小さい値に設定して、顔の状態の認識精度を高くするようにしてもよい。
特徴領域、主要被写体領域及び周辺領域について、上述した第1の実施形態ではフレームレートを設定し、上述した第2の実施形態では、画素の間引き率または加算数を設定する例について説明した。しかしながら、設定する撮像条件は、上述した実施形態で説明した例に限定しなくてもよい。例えば、特徴領域、主要被写体領域及び周辺領域について、画素の間引き率と加算数の両方を設定するようにしてもよい。この場合は、画素が間引かれた後、残った画素の画素信号を加算することで、さらに画素数を少なくする。また、フレームレートと画素の間引き率または加算数との両方を設定するようにしてもよい。
上述した実施形態では、静止画の自動撮影を行う自動撮影モードに本発明を適用する例について説明したが、通常の撮影モード(すなわちユーザのレリーズボタン押下により静止画を記録するモード)に本発明を適用するようにしてもよい。この場合、カメラ100は、例えば、ユーザがレリーズボタンを半押しした場合に上述した図6の処理を開始し、上述した実施形態と同様にステップS101〜S108の処理を行う。そして、カメラ100は、ユーザによりレリーズボタンが全押しされると、静止画を記録する。
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。これにより、動物の状態等の認識精度や認識速度を向上させることができる。
上述した実施形態では、複数の画素から構成される単位グループ231ごとに撮像条件を設定可能な撮像素子200を用いる例について説明したが、1つの画素ごとに個別に撮像条件を設定可能な撮像素子を用いるようにしてもよい。この場合、上述したステップS103,S203では、特徴領域、主要被写体領域及び周辺領域のそれぞれに対応する画素群を設定し、各画素群に対してフレームレートや画素の間引き率または加算数を設定すればよい。
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも2つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。
Claims (15)
- 被写体を撮像する複数の撮像領域を有する撮像素子と、
前記撮像素子で撮像された被写体の信号に基づいて特定被写体を検出する検出部と、
前記複数の撮像領域のうち、前記検出部により検出された特定被写体の少なくとも一部を撮像した第1撮像領域と、前記複数の撮像領域のうち、前記第1撮像領域とは異なる第2撮像領域と、が異なる撮像条件で被写体を撮像するように前記撮像素子を制御する制御部と、を備え、
前記撮像素子は、
前記第1撮像領域において第1方向と前記第1方向と交差する第2方向とに配置され、光を電荷に変換する第1光電変換部を含む複数の第1画素と、
前記第2撮像領域において前記第1方向と前記第2方向とに配置され、光を電荷に変換する第2光電変換部を含む複数の第2画素と、
前記複数の第1画素に接続され、前記第1画素を制御するための第1制御信号が出力される第1制御線と、
前記複数の第2画素に接続され、前記第2画素を制御するための第2制御信号が出力される第2制御線と、を有する撮像装置。 - 請求項1に記載の撮像装置において、
前記制御部は、前記第1制御線に前記第1制御信号を出力するタイミングとは異なるタイミングで前記第2制御線に前記第2制御信号を出力する撮像装置。 - 請求項1又は請求項2に記載の撮像装置において、
前記撮像素子は、
前記第1画素に接続され、前記第1光電変換部で変換された電荷により生成される第1信号が出力される第1信号線と、
前記第2画素に接続され、前記第2光電変換部で変換された電荷により生成される第2信号が出力される第2信号線と、を有する撮像装置。 - 請求項3に記載の撮像装置において、
前記第1画素は、前記第1制御線に接続され、前記第1光電変換部で変換された電荷に基づく信号を前記第1信号線に読み出す第1読出回路を含み、
前記第2画素は、前記第2制御線に接続され、前記第2光電変換部で変換された電荷に基づく信号を前記第2信号線に読み出す第2読出回路を含む撮像装置。 - 請求項4に記載の撮像装置において、
前記第1読出回路は、前記第1制御線に接続され、前記第1光電変換部で変換された電荷を転送する第1転送部を含み、
前記第2読出回路は、前記第2制御線に接続され、前記第2光電変換部で変換された電荷を転送する第2転送部を含む撮像装置。 - 請求項4に記載の撮像装置において、
前記第1読出回路は、前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、前記第1制御線に接続され、前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、を含み、
前記第2読出回路は、前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、前記第2制御線に接続され、前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、を含む撮像装置。 - 請求項1から請求項6のいずれか一項に記載の撮像装置において、
前記検出部は、前記信号を用いて、前記撮像領域で撮像された被写体から人物と推定される被写体を前記特定被写体として検出する撮像装置。 - 請求項7に記載の撮像装置において、
前記検出部は、前記信号を用いて、前記撮像領域で撮像された被写体から人物の目又は人物の口と推定される被写体を前記特定被写体として検出する撮像装置。 - 請求項1から請求項8のいずれか一項に記載の撮像装置において、
前記撮像素子は、前記撮像領域が複数配置された第1半導体チップと、前記信号の信号処理を行う信号処理部を含む前記第1半導体チップとは異なる第2半導体チップと、を有する撮像装置。 - 請求項9に記載の撮像装置において、
前記第1半導体チップは、前記第2半導体チップに積層されている撮像装置。 - 請求項9又は請求項10に記載の撮像装置において、
前記信号処理部は、前記信号をデジタル信号に変換する変換部の少なくとも一部の回路を有する撮像装置。 - 請求項11に記載の撮像装置において、
前記撮像素子は、前記変換部によりデジタル信号に変換された前記信号を記憶する記憶部を含む第3半導体チップを有する撮像装置。 - 請求項12に記載の撮像装置において、
前記第2半導体チップは、前記第3半導体チップにより積層されている撮像装置。 - 請求項1から請求項13のいずれか一項に記載の撮像装置において、
前記制御部は、前記第1撮像領域と前記第2撮像領域とが異なるフレームレートで被写体を撮像するように制御する撮像装置。 - 請求項14に記載の撮像装置において、
前記制御部は、前記第1撮像領域を、前記第2撮像領域のフレームレートよりも高いフレームレートで被写体を撮像するように制御する撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233418A JP6781140B2 (ja) | 2017-12-05 | 2017-12-05 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233418A JP6781140B2 (ja) | 2017-12-05 | 2017-12-05 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053760A Division JP2014179892A (ja) | 2013-03-15 | 2013-03-15 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009351A Division JP2020074596A (ja) | 2020-01-23 | 2020-01-23 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018033192A JP2018033192A (ja) | 2018-03-01 |
JP6781140B2 true JP6781140B2 (ja) | 2020-11-04 |
Family
ID=61303755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017233418A Active JP6781140B2 (ja) | 2017-12-05 | 2017-12-05 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6781140B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020074596A (ja) * | 2020-01-23 | 2020-05-14 | 株式会社ニコン | 撮像装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010616A (ja) * | 2007-06-27 | 2009-01-15 | Fujifilm Corp | 撮像装置および画像出力制御方法 |
JP5655291B2 (ja) * | 2009-11-05 | 2015-01-21 | 株式会社ニコン | 電子カメラ |
JP2011204797A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 固体撮像装置とその製造方法、及び電子機器 |
JP5567922B2 (ja) * | 2010-07-21 | 2014-08-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5696513B2 (ja) * | 2011-02-08 | 2015-04-08 | ソニー株式会社 | 固体撮像装置とその製造方法、及び電子機器 |
-
2017
- 2017-12-05 JP JP2017233418A patent/JP6781140B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020074596A (ja) * | 2020-01-23 | 2020-05-14 | 株式会社ニコン | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018033192A (ja) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11595604B2 (en) | Image sensor and imaging device including a plurality of semiconductor substrates | |
US10735650B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
CN110086980B (zh) | 电子设备 | |
JP2014179892A (ja) | 撮像装置 | |
JP2014178603A (ja) | 撮像装置 | |
JP6561428B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
WO2015080163A1 (ja) | 電子機器、撮像装置、および、撮像素子 | |
JP2014179778A (ja) | 信号処理装置、撮像素子、撮像装置および電子機器 | |
JP6520036B2 (ja) | 電子機器 | |
JP6781140B2 (ja) | 撮像装置 | |
JP7176591B2 (ja) | 電子機器 | |
JP7572926B2 (ja) | 撮像素子、及び撮像装置 | |
JP2021193811A (ja) | 撮像素子、及び撮像装置 | |
JP6349659B2 (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP6601465B2 (ja) | 撮像装置 | |
JP6852712B2 (ja) | 撮像素子および撮像装置 | |
JP6885374B2 (ja) | 電子機器 | |
JP2018174543A (ja) | 電子機器 | |
JP2019092219A (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2019092220A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190116 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191023 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200123 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200421 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200908 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201013 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6781140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |