JPWO2017126377A1 - 受光装置、制御方法、及び、電子機器 - Google Patents

受光装置、制御方法、及び、電子機器 Download PDF

Info

Publication number
JPWO2017126377A1
JPWO2017126377A1 JP2017562525A JP2017562525A JPWO2017126377A1 JP WO2017126377 A1 JPWO2017126377 A1 JP WO2017126377A1 JP 2017562525 A JP2017562525 A JP 2017562525A JP 2017562525 A JP2017562525 A JP 2017562525A JP WO2017126377 A1 JPWO2017126377 A1 JP WO2017126377A1
Authority
JP
Japan
Prior art keywords
light
pixel
sensor
photometric
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017562525A
Other languages
English (en)
Other versions
JP6780662B2 (ja
Inventor
元成 岡田
元成 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017126377A1 publication Critical patent/JPWO2017126377A1/ja
Application granted granted Critical
Publication of JP6780662B2 publication Critical patent/JP6780662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本技術は、光を受光するセンサの飽和を抑制することができるようにする受光装置、制御方法、及び、電子機器に関する。
制御部は、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、ブロックごとに行う。本技術は、例えば、ディジタルカメラ等の光を受光する電子機器等に適用することができる。

Description

本技術は、受光装置、制御方法、及び、電子機器に関し、特に、例えば、光を受光するセンサの飽和を抑制することができるようにする受光装置、制御方法、及び、電子機器に関する。
光を受光するセンサとしては、例えば、光を受光することにより、画像の撮像を行うイメージセンサ（撮像センサ）や、測距を行う測距センサ等がある。
測距センタとしては、例えば、ToF(Time of Flight)方式のToFセンサがある（例えば、非特許文献１を参照）。
ToFセンサは、光を受光して光電変換を行う画素を有する。ToFセンサでは、光が発光され、被写体に照射される。さらに、ToFセンサでは、被写体で反射されて戻ってくる反射光が画素で受光され、光の発光から反射光の受光までに要した時間により、被写体までの距離が求められる（測距が行われる）。
ToFセンサが、被写体からの反射光を受光するとき、ToFセンサの画素が受光する光には、被写体からの反射光の他、環境光が含まれる。ToFセンサでは、被写体からの反射光（環境光を含む）の光電変換結果としての電気信号と、環境光のみの光電変換結果としての電気信号との差分（以下、環境光除去差分ともいう）を求めることで、環境光に対応する電気信号を除去することができる。
Shoji Kawahito, Izhal Abdul Halin, Takeo Ushinaga, Tomonari Sawada, Mitsuru Homma and Yasunari Maeda, "A COMS Time-of-Flight Range Image Sensor With Gates-on-Field-Oxide Structure", IEEE SENSORS JOURNAL, VOL. 7, NO. 12, DECEMBER 2007
ToFセンサで受光される環境光が、例えば、太陽光（直射日光）のような強い光である場合には、ToFセンサの画素が飽和し、環境光除去差分を求めることができず、ひいては、正確な測距を行うことが困難となる。
環境光が強い光である場合、イメージセンサでも、画素が飽和し、画像の画質が劣化することがある。
本技術は、このような状況に鑑みてなされたものであり、光を受光するセンサの飽和を抑制することができるようにするものである。
本技術の受光装置は、光を受光することにより、測光を行う測光センサと、光を受光する受光面が複数のブロックに区分された他のセンサと、前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部とを備える受光装置である。
本技術の制御方法は、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行うステップを含む制御方法である。
本技術の電子機器は、光を集光する光学系と、光を受光する受光装置とを備え、前記受光装置は、前記光学系を通過した光を受光することにより、測光を行う測光センサと、前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部とを有する電子機器である。
本技術の受光装置、制御方法、及び、電子機器においては、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御が、前記ブロックごとに行われる。
なお、受光装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術によれば、光を受光するセンサの飽和を抑制することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した受光装置の第１実施の形態の構成例を示すブロック図である。 本技術を適用した受光装置の第２実施の形態の構成例を示すブロック図である。 本技術を適用した受光装置の第３実施の形態の構成例を示すブロック図である。 測距センサ２０による測距の例を説明する図である。 測光センサ１０を兼ねる測距センサ２０の構成例の概略を示す平面図である。 測光センサ１０を兼ねる測距センサ２０の他の構成例の概略を示す側面図である。 測光画素１１の構成例を示す図である。 測距画素２１及び撮像画素３１の飽和を抑制する第１の画素飽和抑制法を説明する図である。 測距センサ２０を用いた測距処理、及び、イメージセンサ３０を用いた撮像処理の例を説明するフローチャートである。 第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和が抑制される露光制御の処理の例を説明するフローチャートである。 第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和が抑制される露光制御の処理の他の例を説明するフローチャートである。 測距画素２１及び撮像画素３１の飽和を抑制する第２の画素飽和抑制法を説明する図である。 第２の画素飽和抑制法により受光画素（測距画素２１／撮像画素３１）の飽和が抑制される露光制御の処理の例を説明するフローチャートである。 第２の画素飽和抑制法により受光画素の飽和が抑制される露光制御の処理の他の例を説明するフローチャートである。 本技術を適用したディジタルカメラの第１の構成例の概略を示す断面図である。 本技術を適用したディジタルカメラの第２の構成例の概略を示す断面図である。 本技術を適用したディジタルカメラの第３の構成例の概略を示す断面図である。 本技術を適用したディジタルカメラの第４の構成例の概略を示す断面図である。 本技術を適用したディジタルカメラの第５の構成例の概略を示す平面図である。 位置合わせキャリブレーションを説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した受光装置の実施の形態＞
図１は、本技術を適用した受光装置の第１実施の形態の構成例を示すブロック図である。
図１において、受光装置は、測光センサ１０、測距センサ２０、イメージセンサ３０、制御部４１、及び、処理部４２を有し、光を受光することにより、測光を行うとともに、測距や撮像を行う。
測光センサ１０は、光を受光することにより、測光を行う。
すなわち、測光センサ１０は、複数の測光画素１１を有する。測光画素１１は、例えば、PD(Photo Diode)等で構成される。測光画素１１は、光を受光して光電変換を行い、その光の受光量（露光量）に対応した電気信号（例えば、電荷等）を、処理部４２に出力する。
測距センサ２０は、光を受光することにより、測距を行う。
すなわち、測距センサ２０は、複数の測距画素２１と、発光部２２とを有する。測距画素２１は、例えば、PD等で構成される。測距画素２１は、発光部２２で発光され、被写体で反射されて戻ってくる光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。発光部２２は、測距に用いる電磁波として、例えば、赤外線等の光を発光する。
イメージセンサ３０は、光を受光することにより、撮像を行う。
すなわち、イメージセンサ３０は、複数の撮像画素３１を有する。撮像画素３１は、例えば、PD等で構成される。撮像画素３１は、光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。
制御部４１は、例えば、処理部４２での処理の結果等に応じて、測光センサ１０や、測距センサ２０、イメージセンサ３０、処理部４２を制御する。
処理部４２は、測光センサ１０や、測距センサ２０、イメージセンサ３０から出力される電気信号に所定の処理を施し、その処理の結果を、必要に応じて、外部や制御部４１に出力する。
以上のように構成される受光装置では、測光センサ１０の測光画素１１が、光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。
処理部４２は、測光センサ１０から出力される電気信号から、測光センサ１０、ひいては、測距センサ２０やイメージセンサ３０に入射する光（環境光）の測光を行い、その測光の結果（測光結果）を、制御部４１に出力する。
制御部４１は、処理部４２からの測光結果に応じて、測距センサ２０やイメージセンサ３０の露光を制御する露光制御を行う。
ここで、後述するように、測距センサ２０の測距画素２１が配置された受光面や、イメージセンサ３０の撮像画素３１が配置された受光面は、複数の画素ブロックに分割されている。制御部４１による露光制御は、画素ブロック（の測距画素２１や撮像画素３１）ごとに行われる。
なお、図１の受光装置は、測光センサ１０以外の他のセンサとして、測距センサ２０とイメージセンサ３０とを有する。但し、他のセンサとしては、測距センサ２０だけや、イメージセンサ３０だけを設けることができる。また、他のセンサとしては、測距センサ２０及びイメージセンサ３０以外の、光を受光する任意のセンサを設けることができる。
図２は、本技術を適用した受光装置の第２実施の形態の構成例を示すブロック図である。
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２において、受光装置は、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２を有する。
したがって、図２の受光装置は、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２を有する点で、図１の場合と共通し、イメージセンサ３０を有しない点で、図１の場合と相違する。
以上のように構成される図２の受光装置では、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２において、図１の場合と同様の処理が行われる。
図３は、本技術を適用した受光装置の第３実施の形態の構成例を示すブロック図である。
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３において、受光装置は、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２を有する。
したがって、図３の受光装置は、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２を有する点で、図１の場合と共通し、測距センサ２０を有しない点で、図１の場合と相違する。
以上のように構成される図３の受光装置では、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２において、図１の場合と同様の処理が行われる。
＜測距センサ２０＞
図４は、測距センサ２０による測距の例を説明する図である。
測距センサ２０は、例えば、ToFセンサであり、発光部２２から、パルス状の照射光を繰り返し発光する。さらに、測距センサ２０は、照射光が被写体で反射されて戻ってくる反射光を、測距画素２１で受光することで、被写体までの距離を算出する（測距を行う）。
ここで、照射光としてのパルスの周期を、サイクル(cycle)ともいう。
また、照射光としてのパルスがオン（H(High)レベル）の間（図４のパルスPLS1がHレベルの間）を露光時間として、測距画素２１が受光する反射光の光電変換により得られる電気信号としての受光信号（電荷量）をN1と表す。
さらに、照射光としてのパルスがオフ（L(Low)レベル）の間（図４のパルスPLS2がHレベルの間）を露光時間として、測距画素２１が受光する反射光の光電変換により得られる電気信号としての受光信号（電荷量）をN2と表す。
受光信号N1及びN2の全体に対する受光信号N1や受光信号N2の割合が、照射光が被写体で反射され、被写体で反射された照射光である反射光が戻ってくるまでの時間、ひいては、被写体までの距離に対応する。
そこで、ToFセンサである測距センサ２０（が出力する電気信号を処理する処理部４２）では、受光信号N1及びN2を用いて、被写体までの距離が算出される。
なお、ToFセンサである測距センサ２０の測距誤差σLは、次式で表される。
σL＝cT0／(4√N12)√(1＋(NB＋NO＋4NR 2)／N12)
・・・（１）
但し、T0は、照射光としてのパルスのパルス幅を表し、cは光速を表す。また、N12は、受光信号N1及びN2の加算値N1+N2を表し、NRはリードノイズ(read noise)を表す。NBは、バックグランドショットノイズ(background shot noise)を表し、NOは、オフセットチャージ(offset charge)を表す。
式（１）によれば、測距誤差σLは、照射光のパルス幅T0に比例するので、測距の精度は、照射光のパルス幅T0が小であるほど向上する。
1サイクルより長い所定の時間を、1フレーム(1F)として、1フレームが、所定の複数サイクルであるNサイクルで構成されることとする。
ToFセンサである測距センサ２０では、例えば、1サイクルごとの測距画素２１の露光の露光結果が、最大で、1フレームを構成するNサイクル分だけ加算され、その結果得られる加算値から、被写体までの距離が求められる。
測距の精度は、加算の対象となるサイクル数が多いほど、すなわち、測距画素２１の露光時間の、1フレームの積算値が大であるほど向上する。
なお、測距センサ２０としては、ToFセンサ以外の測距センサを採用することができる。
ところで、測距画素２１の露光時、つまり、測距画素２１が、被写体からの反射光を受光するときには、測距画素２１が受光する光には、被写体からの反射光（信号成分）の他、環境光（雑音成分）が含まれる。
測距の精度を向上させるために、測距画素２１の露光時間の、1フレームの積算値を大にした場合、環境光が、太陽光（直射日光）のような強い光であるときには、測距画素２１が飽和し、正確な測距を行うことが困難となる。
＜測光センサ１０を兼ねる測距センサ２０及びイメージセンサ３０の構成例＞
図５は、測光センサ１０を兼ねる測距センサ２０の構成例の概略を示す平面図である。
測距センサ２０は、測光センサ１０を兼ねることができる。
図５において、測距センサ２０は、例えば、矩形状の受光面を有し、受光面は、行列状に、矩形状の画素ブロックに区分されている。
画素ブロックには、複数の画素が、例えば、行列状に配置されている。
測距センサ２０が、測光センサ１０を兼ねない場合、画素ブロックは、１画素以上の測距画素２１のみが（行列状に）配置されて構成される。
測距センサ２０が、測光センサ１０を兼ねる場合、画素ブロックには、測距画素２１の他に、測光画素１１が含まれる。
測光センサ１０を兼ねる測距センサ２０において、画素ブロックには、複数の測光画素１１をランダム（一様）に配置することができる。
以上のように、画素ブロックに、測距画素２１の他に、測光を行う測光画素１１を配置することで、受光面の光エネルギー量の分布を計測し、露光を、画素ブロックごとに制御することができる。
すなわち、各画素ブロックに対応する測光画素１１、つまり、各画素ブロックに含まれる測光画素１１が出力する電気信号（測光結果）から、受光面に入射する光の光量に対する測距画素２１の（電荷の）飽和の有無を、画素ブロックごとに判定し、その判定の結果に応じて、測距画素２１の露光を、画素ブロックごとに制御することができる。
ここで、測距センサ２０が、測光センサ１０を兼ねない場合であっても、測光センサ１０が出力する電気信号に応じて、測距センサ２０の測距画素２１の飽和の有無を、画素ブロックごとに判定することができる。
すなわち、測光センサ１０及び測距センサ２０が受光する光が、（ほぼ）一致していれば、測距センサ２０のある画素ブロックBに入射する光の光量は、測光センサ１０の、画素ブロックBに対応する測光画素１１、すなわち、画素ブロックBに対応するエリアに配置された測光画素１１が出力する電気信号から把握することができる。したがって、測距センサ２０の画素ブロックBの測距画素２１の飽和の有無は、その画素ブロックBに対応する測光画素１１が出力する電気信号から判定することができる。
なお、イメージセンサ３０も、測距センサ２０と同様に、測距センサ１０を兼ねることができる。すなわち、上述の図５の説明は、「測距センサ２０」及び「測距画素２１」を、それぞれ、「イメージセンサ３０」及び「撮像画素３１」に読み替えることができる。
また、測光センサ１０を兼ねる測距センサ２０では、その測距センサ２０を構成する１の（半導体）基板上に、図５に示したように、測光画素１１と測距画素２１を配置すること、すなわち、測光画素１１と測距画素２１とを同一基板上に配置することができる。
さらに、測光センサ１０を兼ねる測距センサ２０では、測距センサ２０を積層構造に構成し、測距センサ２０を構成する１の基板上に、測光画素１１を配置し、測距センサ２０を構成する他の基板上に、測距画素２１を配置することができる。
すなわち、測光センサ１０を兼ねる測距センサ２０は、測光画素１１が配置された基板と、測距画素２１が配置された基板とを積層して構成することができる。
以上の点、測光センサ１０を兼ねるイメージセンサ３０についても、同様である。
図６は、測光センサ１０を兼ねる測距センサ２０の他の構成例の概略を示す側面図である。
図６では、測距センサ２０は、測光画素１１が配置された基板６１と、測距画素２１が配置された基板６２とが積層された積層構造になっている。
図６の測距センサ２０においては、例えば、上面側から見たときに、測光画素１１及び測距画素２１を、図５の同様のパターンで、基板６１及び６２にそれぞれ配置することができる。
図６では、測光画素１１が配置された基板６１が、上側（光が入射する側）に配置され、測距画素２１が配置された基板６２が、下側に配置されている。
下側の基板６２に配置された測距画素２１に対向する、上側の基板６１の部分は、例えば、下側の基板６２に光が透過するように、透明な材料で構成することができる。
なお、測光センサ１０を兼ねるイメージセンサ３０も、図６の測光センサ１０を兼ねる測距センサ２０と同様に、積層構造に構成することができる。
図７は、測光画素１１の構成例を示す図である。
測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねる場合、測距センサ２０又はイメージセンサ３０の各画素ブロックは、測光画素１１として、例えば、画素タイプpa，pb，pc，pd，pe，pf，pg等の複数の画素タイプの画素を有する。
測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねない場合、測光センサ１０は、測距センサ２０又はイメージセンサ３０の各画素ブロックに対応する、受光面の各エリアに、例えば、画素タイプpa，pb，pc，pd，pe，pf，pg等の複数の画素タイプの画素を有する。
画素タイプpaないしpgの画素は、その開口部が、適宜、遮光膜で遮光されており、開口率が異なっている。
画素タイプpaの画素については、開口部が遮光されておらず、開口率が1(100%)になっている。画素タイプpbないしpgの画素については、開口部の一部が遮光され、それぞれ、開口率が、例えば、0.75，0.66，0.5，0.33，0.25，0.1になっている。
ここで、測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねる場合の、測距センサ２０又はイメージセンサ３０の画素ブロックが有する測光画素１１、及び、測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねない場合の、測距センサ２０又はイメージセンサ３０の画素ブロックに対応する、測光センサ１０の受光面のエリアの測光画素１１を、いずれも、画素ブロックに対応する測光画素１１ともいう。
1個の画素ブロックに対応する測光画素１１としては、少なくも、画素タイプpaないしpgの画素を1画素ずつ採用することができる。
さらに、1個の画素ブロックに対応する測光画素１１としての画素タイプpaないしpgの画素それぞれの数は、同一の数であっても良いし、異なる数であっても良い。
また、1個の画素ブロックに対応する測光画素１１には、画素タイプpaないしpgの画素の他、開口部が完全に遮光された遮光画素（開口率が0の画素）を採用することができる。
＜画素飽和抑制法＞
図８は、測距画素２１及び撮像画素３１の飽和を抑制する第１の画素飽和抑制法を説明する図である。
画素ブロックに対応する測光画素１１によれば、各フレームにおいて、測距センサ２０又はイメージセンサ３０に入射する光の光量を測定し、複雑な演算をすることなく、画素ブロックの測距画素２１又は撮像画素３１の露光制御（駆動制御）を行って、その画素ブロックの測距画素２１又は撮像画素３１を抑制することができる。
ここで、測距センサ２０の測距の精度を向上させる方法としては、例えば、発光部２２が発光する電磁波（赤外線等）の強度を大にする方法がある。さらに、測距の精度を向上させる方法としては、発光部２２が発光する電磁波が正弦波である場合には、その正弦波の周波数を高める方法があり、発光部２２が発光する電磁波がパルスである場合には、そのパルスのパルス幅を短くする方法がある。
以上のように、発光部２２が発行する電磁波としての正弦波の周波数を高めることや、電磁波としてのパルスのパルス幅を短くすることができるように、測距センサ２０は、測距画素２１の露光として、ナノ秒レベルの短時間の露光を行う高速動作が可能な構成になっている。
測距センサ２０（の測距画素２１）や、イメージセンサ３０（の撮像画素３１）において、ナノ秒レベルの短時間の露光を行うことができる場合、以下のような第１の画素飽和抑制法や第２の画素飽和抑制法により、測距画素２１や撮像画素３１の飽和を抑制することができる。
第１の画素飽和抑制法では、測距画素２１又は撮像画素３１の画素ブロックごとに、その画素ブロックに対応する測光画素１１が出力する電気信号（測光結果）に応じて、露光時間を適切に設定する露光制御を行うことで、１フレームにおける測距画素２１及び撮像画素３１の飽和を抑制する。
第１の画素飽和抑制法によれば、測距画素２１及び撮像画素３１の飽和として、測距画素２１及び撮像画素３１で光電変換により得られる電気信号としての電荷が溢れることを抑制することができる。
第２の画素飽和抑制法は、測距画素２１又は撮像画素３１に対して、短い露光時間での露光を１フレーム内で繰り返し、各露光での測距画素２１又は撮像画素３１から出力される電気信号（露光結果）を、メモリ等の記憶手段を用いて加算して、その加算値を、測距画素２１及び撮像画素３１の画素値とすることを前提とする。
第２の画素飽和抑制法では、測距画素２１又は撮像画素３１の画素ブロックごとに、その画素ブロックに対応する測光画素１１が出力する電気信号（測光結果）に応じて、測距画素２１又は撮像画素３１の露光結果を加算する加算数（例えば、加算の対象の露光結果の数）を適切に設定する露光制御を行うことで、１フレームにおける測距画素２１及び撮像画素３１の飽和を抑制する。
第２の画素飽和抑制法によれば、測距画素２１及び撮像画素３１の飽和として、測距画素２１及び撮像画素３１の画素値が最大値（測距画素２１及び撮像画素３１で蓄積することができる最大の電荷量に対応する画素値）を超えることを抑制することができる。
以上のように、画素ブロックごとに露光制御を行って、測距画素２１及び撮像画素３１の飽和を抑制することにより、測距画素２１の画素値（距離を表す）で構成される画像や、撮像画素３１の画素値で構成される画像のダイナミックレンジを大にすることができる。
ここで、以下、測距画像２１及び撮像画素３１の両方、又は、一方を、受光画素ともいう。
図８において、画素タイプは、図７で説明した画素タイプpaないしpgを表す。開口率比は、各画素タイプの開口率と、100%の開口率との比の値（比がa:bであるときのa/bで、ここでは、各画素タイプの開口率に等しい）を表す。露光時間比は、測光画素１１の露光時間である測光露光時間と、受光画素の露光時間である受光露光時間との比の値を表す。露光時間比は、開口率比に一致する。
第１の画素飽和抑制法では、まず、ある時間を測光露光時間として、その測光露光時間の露光が行われる。そして、測光露光時間の露光によって、画素タイプpaないしpgの測光画素１１それぞれが、飽和状態であるか、又は、不飽和状態であるかが判定される。
いま、図８の飽和パターン１に示すように、画素タイプpaないしpgのすべての測光画素１１が不飽和状態である場合、例えば、その不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpaの測光画素１１の露光時間比を用いて、受光露光時間が設定される。
すなわち、測光露光時間に、画素タイプpaの測光画素１１の露光時間比を乗算して得られる乗算値が、受光露光時間に設定される。画素タイプpaの測光画素１１の露光時間比は、1であるため、画素タイプpaの測光画素１１の露光時間比を用いて、受光露光時間が設定される場合、受光露光時間は、測光露光時間と同一の時間に設定される。
図８の飽和パターン２に示すように、画素タイプpaないしpgのうちの、画素タイプpaないしpcそれぞれの測光画素１１が飽和状態で、残りの画素タイプpdないしpgの測光画素１１が不飽和状態である場合、例えば、不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpdの測光画素１１の露光時間比を用いて、受光露光時間が設定される。
すなわち、測光露光時間に、画素タイプpdの測光画素１１の露光時間比を乗算して得られる乗算値が、受光露光時間に設定される。画素タイプpdの測光画素１１の露光時間比は、0.5であるため、画素タイプpdの測光画素１１の露光時間比を用いて、受光露光時間が設定される場合、受光露光時間は、測光露光時間の0.5倍の時間に設定される。
図９は、測距センサ２０を用いた測距処理、及び、イメージセンサ３０を用いた撮像処理の例を説明するフローチャートである。
ステップＳ１１において、制御部４１は、所定のデフォルトの時間を、測光露光時間に設定し、処理は、ステップＳ１２に進む。
ステップＳ１２では、制御部４１は、測光センサ１０を制御することにより、測光露光時間の露光を行わせることにより、測光画素１１に、測光露光時間だけ光を受光させて、測光を行う。
測光画素１１の測光結果は、処理部４２を介して、制御部４１に供給され、処理は、ステップＳ１２からステップＳ１３に進む。
ステップＳ１３では、制御部４１は、測光画素１１の測光結果に応じて、画素ブロックごとの測距画素２１／撮像画素３１の露光制御を行い、処理は、ステップＳ１４に進む。
ここで、ステップＳ１３の露光制御では、第１又は第２の画素飽和抑制法により、測距画素２１／撮像画素３１の飽和が抑制される。
ステップＳ１４では、測距センサ２１／イメージセンサ３０は、ステップＳ１３での制御部４１による画素ブロックごとの露光制御に従って露光を行うことにより、測距画素２１／撮像画素３１で光を受光して測距／撮像を行い、処理は終了する。
図１０は、図９のステップＳ１３で行われる、第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和を抑制する露光制御の処理の例を説明するフローチャートである。
図１０のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
ステップＳ２１において、制御部４１は、注目ブロックに対応する画素タイプpaの測光画素１１が飽和しているかどうかを判定する。
ステップＳ２１において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２２に進む。
ステップＳ２２では、制御部４１は、画素タイプpaの測光画素１１の露光時間比(図８）を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpaの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ２１において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２３に進み、制御部４１は、注目ブロックに対応する画素タイプpbの測光画素１１が飽和しているかどうかを判定する。
ステップＳ２３において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２４に進む。
ステップＳ２４では、制御部４１は、画素タイプpbの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpbの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ２３において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２５に進み、制御部４１は、注目ブロックに対応する画素タイプpcの測光画素１１が飽和しているかどうかを判定する。
ステップＳ２５において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２６に進む。
ステップＳ２６では、制御部４１は、画素タイプpcの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpcの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ２５において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２７に進み、制御部４１は、注目ブロックに対応する画素タイプpdの測光画素１１が飽和しているかどうかを判定する。
ステップＳ２７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２８に進む。
ステップＳ２８では、制御部４１は、画素タイプpdの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpdの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ２７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２９に進み、制御部４１は、注目ブロックに対応する画素タイプpeの測光画素１１が飽和しているかどうかを判定する。
ステップＳ２９において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３０に進む。
ステップＳ３０では、制御部４１は、画素タイプpeの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpeの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ２９において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３１に進み、制御部４１は、注目ブロックに対応する画素タイプpfの測光画素１１が飽和しているかどうかを判定する。
ステップＳ３１において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３２に進む。
ステップＳ３２では、制御部４１は、画素タイプpfの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpfの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ３１において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３３に進み、制御部４１は、注目ブロックに対応する画素タイプpgの測光画素１１が飽和しているかどうかを判定する。
ステップＳ３３において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３４に進む。
ステップＳ３４では、制御部４１は、画素タイプpgの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpgの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
ステップＳ３３において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３５に進む。
ステップＳ３５では、制御部４１は、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ３５からステップＳ２１に戻り、以下、同様の処理が繰り返される。
図１０の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、図１０の露光制御の処理で設定された受光露光時間の露光が行われる。
ここで、図７で説明したように、測光画素１１には、画素タイプpaないしpgの画素の他、遮光画素を含めることができる。測光画素１１に遮光画素が含まれる場合、遮光画素の画素値（測光結果）が所定の閾値以上であるときには、環境光が強すぎるために、受光画素の飽和を抑制することが困難であるとして、制御部４１は、エラーメッセージを出力することができる。あるいは、制御部４１は、例えば、図示せぬ絞りを絞る等の、受光画素に入射する光の光量を低下させる光量低下制御が可能である場合には、そのような光量低下制御を行うことができる。
図１１は、図９のステップＳ１３で行われる、第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和を抑制する露光制御の処理の他の例を説明するフローチャートである。
図１１のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
ステップＳ５１において、制御部４１は、注目ブロックに対応する画素タイプpgの測光画素１１が飽和しているかどうかを判定する。
ステップＳ５１において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５２に進む。
ステップＳ５２では、制御部４１は、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ５２からステップＳ５１に戻り、以下、同様の処理が繰り返される。
そして、ステップＳ５１において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５３に進み、制御部４１は、注目ブロックに対応する画素タイプpfの測光画素１１が飽和しているかどうかを判定する。
ステップＳ５３において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５４に進み、制御部４１は、画素タイプpgの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ５３において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５５に進み、制御部４１は、注目ブロックに対応する画素タイプpeの測光画素１１が飽和しているかどうかを判定する。
ステップＳ５５において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５６に進み、制御部４１は、画素タイプpfの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ５５において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５７に進み、制御部４１は、注目ブロックに対応する画素タイプpdの測光画素１１が飽和しているかどうかを判定する。
ステップＳ５７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５８に進み、制御部４１は、画素タイプpeの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ５７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５９に進み、制御部４１は、注目ブロックに対応する画素タイプpcの測光画素１１が飽和しているかどうかを判定する。
ステップＳ５９において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６０に進み、制御部４１は、画素タイプpdの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ５９において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６１に進み、制御部４１は、注目ブロックに対応する画素タイプpbの測光画素１１が飽和しているかどうかを判定する。
ステップＳ６１において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６２に進み、制御部４１は、画素タイプpcの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ６１において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６３に進み、制御部４１は、注目ブロックに対応する画素タイプpaの測光画素１１が飽和しているかどうかを判定する。
ステップＳ６３において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６４に進み、制御部４１は、画素タイプpbの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
ステップＳ６３において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６５に進む。
ステップＳ６５では、制御部４１は、現在の測光露光時間よりも長い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ６５からステップＳ５１に戻り、以下、同様の処理が繰り返される。
図１１の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、図１１の露光制御の処理で設定された受光露光時間の露光が行われる。
図１２は、測距画素２１及び撮像画素３１の飽和を抑制する第２の画素飽和抑制法を説明する図である。
第２の画素飽和抑制法は、図８で説明したように、受光画素に対して、短い露光時間での露光を１フレーム内で繰り返し、各露光での受光画素の露光結果を加算して、その加算値を、受光画素の画素値とすることを前提とする。そして、第２の画素飽和抑制法では、受光画素の露光結果を加算する加算数（例えば、加算の対象の露光結果の数）が適切な値、すなわち、測距画素２１及び撮像画素３１の飽和を抑制する値に設定される。
図１２は、図８の露光時間比に代えて、加算数が記載されていることを除いて、図８と同様の図になっている。
上述のように、第２の画素飽和抑制法では、短い露光時間での露光を１フレーム内で繰り返し、各露光での受光画素の露光結果を加算するが、図１２において、加算数は、その加算の対象の露光結果の数を表す。
いま、１フレームでの露光の回数をN回とすると、図１２では、そのN回を、基準となる基準加算数として、各画素タイプに、その画素タイプの測光画素１１の開口比率と基準加算数Nとの乗算値が、加算数として対応付けられている。
第２の画素飽和抑制法では、第１の画素飽和抑制法と同様に、まず、測光露光時間の露光が行われ、その露光によって、画素タイプpaないしpgの測光画素１１それぞれが、飽和状態であるか、又は、不飽和状態であるかが判定される。
いま、図１２の飽和パターン１に示すように、画素タイプpaないしpgのすべての測光画素１１が不飽和状態である場合、例えば、その不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpaに対応付けられている加算数Nが、加算の対象の受光画素の露光結果の数に設定される。
図１２の飽和パターン２に示すように、画素タイプpaないしpgのうちの、画素タイプpaないしpcそれぞれの測光画素１１が飽和状態で、残りの画素タイプpdないしpgの測光画素１１が不飽和状態である場合、例えば、不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpdに対応付けられている加算数0.5Nが、加算の対象の受光画素の露光結果の数に設定される。
図１３は、図９のステップＳ１３で行われる、第２の画素飽和抑制法により受光画素（測距画素２１／撮像画素３１）の飽和を抑制する露光制御の処理の例を説明するフローチャートである。
図１３のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
ステップＳ７０において、制御部４１は、現在の測光露光時間に応じて、例えば、その現在の測光露光時間に比例する時間を、1フレーム内で繰り返し行う受光画素の各露光の受光露光時間に設定し、処理は、ステップＳ７１に進む。
ステップＳ７１，Ｓ７３，Ｓ７５，Ｓ７７，Ｓ７９，Ｓ８１，Ｓ８３では、図１０のステップＳ２１，Ｓ２３，Ｓ２５，Ｓ２７，Ｓ２９，Ｓ３１，Ｓ３３と同様の判定の処理がそれぞれ行われる。
そして、ステップＳ７１において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７２に進む。
ステップＳ７２では、制御部４１は、画素タイプpaに対応付けられている加算数(図１２）を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ７３において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７４に進む。
ステップＳ７４では、制御部４１は、画素タイプpbに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ７５において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７６に進む。
ステップＳ７６では、制御部４１は、画素タイプpcに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ７７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７８に進む。
ステップＳ７８では、制御部４１は、画素タイプpdに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ７９において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８０に進む。
ステップＳ８０では、制御部４１は、画素タイプpeに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ８１において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８２に進む。
ステップＳ８２では、制御部４１は、画素タイプpfに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
ステップＳ８３において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８４に進む。
ステップＳ８４では、制御部４１は、画素タイプpgに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
また、ステップＳ８３において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ８５に進む。
ステップＳ８５では、制御部４１は、図１０のステップＳ３５と同様に、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ８５からステップＳ７０に戻り、以下、同様の処理が繰り返される。
図１３の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、受光露光時間の露光が１フレーム内で繰り返し行われる。そして、各露光での受光画素の露光結果のうちの加算数だけの露光結果が加算され、その結果得られる加算値が、受光画素の画素値として求められる。
図１４は、図９のステップＳ１３で行われる、第２の画素飽和抑制法により受光画素の飽和を抑制する露光制御の処理の他の例を説明するフローチャートである。
図１４のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
ステップＳ９０において、図１３のステップＳ７０と同様の処理が行われ、処理は、ステップＳ９１に進む。
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ９７，Ｓ９９，Ｓ１０１，Ｓ１０３では、図１１のステップＳ５１，Ｓ５３，Ｓ５５，Ｓ５７，Ｓ５９，Ｓ６１，Ｓ６３と同様の判定の処理がそれぞれ行われる。
そして、ステップＳ９１において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９２に進む。
ステップＳ９２では、制御部４１は、図１１のステップＳ５２と同様に、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ９２からステップＳ９０に戻り、以下、同様の処理が繰り返される。
ステップＳ９３において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９４に進み、制御部４１は、画素タイプpgに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ９５において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９６に進み、制御部４１は、画素タイプpfに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ９７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９８に進み、制御部４１は、画素タイプpeに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ９９において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１００に進み、制御部４１は、画素タイプpdに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ１０１において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１０２に進み、制御部４１は、画素タイプpcに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ１０３において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１０４に進み、制御部４１は、画素タイプpbに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
ステップＳ１０３において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ１０５に進む。
ステップＳ１０５では、制御部４１は、図１１のステップＳ６５と同様に、現在の測光露光時間よりも長い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ１０５からステップＳ９０に戻り、以下、同様の処理が繰り返される。
図１４の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、受光露光時間の露光が１フレーム内で繰り返し行われる。そして、各露光での受光画素の露光結果のうちの加算数だけの露光結果が加算され、その結果得られる加算値が、受光画素の画素値として求められる。
＜本技術を適用した電子機器としてのディジタルカメラ＞
図１５は、本技術を適用したディジタルカメラの第１の構成例の概略を示す側面の断面図である。
ここで、ToFセンサである測距センサ２０は、ナノ秒レベルの短時間の露光が可能な高速動作を行うことができるので、測距センサ２０の受光面が一括露光されても（受光面の全体が露光されても）、画素ブロックごとに露光時間を制御することができる。
ところで、イメージセンサ３０としては、例えば、CMOS(Complemental Metal Oxide Semiconductor)イメージセンサを採用することができる。
CMOSイメージセンサとしては、画素で構成される受光面と、画素を駆動するドライバ回路（及びその他の周辺回路）とが同一基板上に形成された第１のイメージセンサがある。
第１のイメージセンサでは、例えば、受光面の水平方向に、１行に並ぶ画素を駆動する駆動信号線が各行（の画素）に配線されるとともに、受光面が形成された基板上の、例えば、受光面の左又は右に隣接する位置に、ドライバ回路が配置される。
そして、第１のイメージセンサでは、ドライバ回路から、駆動信号線を介して、１行に並ぶ画素を駆動することにより、１行ごとに、その１行に並ぶ各列の画素から信号が並列に読み出される。
第１のイメージセンサの時定数は、受光面（画素が配置されているエリア）のサイズに支配される。そのため、第１のイメージセンサを、ToFセンサである測距センサ２０のように高速動作させ、画素ブロックごとに露光時間を制御することは、困難である。
第１のイメージセンサを高速動作させる方法としては、例えば、各行に配線された駆動信号線を短く分割し、時定数を小にする方法がある。
しかしながら、受光面に隣接する位置にドライバ回路が配置される第１のイメージセンサでは、各行に配線された駆動信号線を短く分割する場合には、受光面内の、駆動信号線が分割された位置に、分割後の駆動信号線に接続された画素を駆動するドライバ回路（又はバッファ）を設ける必要がある。その結果、受光面、ひいては、イメージセンサのサイズが大になる。
そこで、イメージセンサ３０としては、第１のイメージセンサではなく、第２の(CMOS)イメージセンサを採用することができる。
第２のイメージセンサは、画素で構成される受光面を有する基板である画素基板と、受光面上の画素を駆動するドライバ回路が形成された基板である回路基板との少なくとも２の基板が積層され、各基板が電気的に接続された積層構造を有する。
第２のイメージセンサは、以上のように積層構造を有するので、画素基板の、分割後の駆動信号線と、回路基板のドライバ回路との接続を、駆動信号線が分割された位置で、受光面と直交する方向の短い配線によって行うことができる。
したがって、第２のイメージセンサによれば、第１のイメージセンサのように、受光面内の、駆動信号線が分割された位置に、分割後の駆動信号線に接続された画素を駆動するドライバ回路を設けることなく、時定数を小にし、高速動作を行うことが可能となる。
その結果、第２のイメージセンサによれば、ToFセンサである測距センサ２０と同様に、短時間の露光が可能となり、画素ブロックごとに露光時間を制御することが可能となる。
イメージセンサ３０としては、例えば、以上のような第２のイメージセンサを採用することができる。
イメージセンサ３０として、第２のイメージセンサを採用することにより、１フレームの画素ブロックごとに露光時間を制御することが可能となり、図８で説明したように、イメージセンサ３０の撮像画素３１の画素値で構成される画像のダイナミックレンジを大にすることができる。
図１５において、ディジタルカメラは、例えば、図３の受光装置を適用したディジタルカメラであり、イメージセンサ３０、及び、光学系１０１を有する。
光学系１０１は、レンズや絞り等で構成され、被写体からの光を、イメージセンサ３０の受光面上に集光する。
図１５において、イメージセンサ３０は、例えば、図５で説明したように、測光センサ１０を兼ねるイメージセンサであり、光学系１０１からの光を受光することにより、測光及び撮像を行う。
図１５のディジタルカメラにおいて、制御部４１（図１５では図示せず）は、イメージセンサ３０の各画素ブロック（図５）の測光画素１１を制御することにより、測光露光時間の露光を行わせる。測光画素１１は、制御部４１の制御に従い、測光露光時間だけ光を受光して、測光を行う。
制御部４１は、測光画素１１が測光を行うことにより得られる測光結果を取得し、各画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行うには（測距画素２１の露光制御についても同様）、測光センサ１０の測光結果から、各画素ブロックの測光結果を特定することが必要である。画素ブロックの撮像画素３１の露光制御は、その画素ブロックの測光結果に応じて行われるからである。
画素ブロックの測光結果を特定する方法としては、イメージセンサ３０で受光される光と同一の光を、測光センサ１０で受光する方法、すなわち、測光センサ１０及びイメージセンサ３０で同一の光を受光する方法がある。
また、画素ブロックの測光結果を特定する方法としては、測光センサ１０が、イメージセンサ３０で受光される光と（僅かに）異なる光を受光する場合に、後述する位置合わせキャリブレーションを行う方法がある。
図１５のディジタルカメラでは、イメージセンサ３０は、測光センサ１０を兼ねるため、測光センサ１０も、イメージセンサ３０も、光学系１０１を通過した同一の光を受光する。
いま、イメージセンサ３０の撮像画素３１の撮像結果を画素値とする画像を撮像画像ともいい、測光センサ１０の測光画素１１の測光結果を画素値とする画像を測光画像ともいうこととする。また、説明の便宜上、撮像画像に、図５で説明した画素ブロックを導入する。
測光センサ１０及びイメージセンサ３０が、光学系１０１を通過した同一の光を受光する場合には、撮像画像の画素ブロックのうちの、注目する注目ブロックの測光結果として、測光画像の、注目ブロックと対応するエリア（撮像画像と測光画像とが同一サイズである場合には、注目ブロックと一致するエリア）内の画素値となっている測光結果を特定することができる。
測光センサ１０及びイメージセンサ３０で同一の光を受光するケースには、測光センサ１０及びイメージセンサ３０が、光学系１０１のような同一の光学系を通過した同一の光を受光するケースの他、例えば、入射する光について、ミラーやプリズム等の光学部品による反射や、屈折、分割が行われた後の光を受光するケース、測光センサ１０及びイメージセンサ３０で受光される光のうちの一方が固有の光学部品を経由するケース等が含まれる。
図１６は、本技術を適用したディジタルカメラの第２の構成例の概略を示す断面図である。
図１６において、ディジタルカメラは、例えば、図３の受光装置を適用した１眼レフのディジタルカメラであり、イメージセンサ３０、光学系１１１、可動ミラー１１２、及び、EVF(Electric View Finder)用センサ１１３を有する。
光学系１１１は、図示せぬレンズや絞り等で構成され、被写体からの光Lを集光する。
可動ミラー１１２は、平板形状のミラーであり、イメージセンサ３０での撮像を行っていないときには、図１６のＡに示すように、右上がりの姿勢になって、光学系１１１を通過した光を、ディジタルカメラの上部に反射する。
また、可動ミラー１１２は、イメージセンサ３０での撮像を行うときには、図１６のＢに示すように、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
可動ミラー１１２は、図示せぬレリーズボタンが操作されたときに、図１６のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１６のＡに示すように、右上がりの姿勢になる。
EVF用センサ１１３は、可動ミラー１１２で反射された光を受光することにより、図示せぬEVFで表示するEVF用画像を撮像する。
EVF用センサ１１３は、測光センサ１０を兼ねるイメージセンサであり、可動ミラー１１２で反射された光を受光することにより、EVF用画像の撮像を行う他、測光も行う。
図１６において、イメージセンサ３０は、測光センサ１０を兼ねないイメージセンサであり、レリーズボタンが操作された場合に、光学系１１１からの光を受光することにより、撮像を行う。
図１６のディジタルカメラでは、レリーズボタンが操作されていないときには、図１６のＡに示すように、可動ミラー１１２が右上がりの姿勢になり、光学系１１１を通過した光が、可動ミラー１１２で反射され、測光センサ１０を兼ねるEVF用センサ１１３に入射する。
制御部４１（図１６では図示せず）は、測光センサ１０を兼ねるEVF用センサ１１３を制御することにより、測光露光時間の露光を行わせ（可動ミラー１１２で反射された光を受光させ）、その露光により行われる測光の測光結果を取得する。
その後、レリーズボタンが操作されると、制御部４１は、各画素ブロックの最新の測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
レリーズボタンが操作されると、図１６のＢに示すように、可動ミラー１１２が水平の姿勢になり、光学系１１１を通過した光は、イメージセンサ３０に入射する。
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光学系１１１を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
図１７は、本技術を適用したディジタルカメラの第３の構成例の概略を示す断面図である。
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１７において、ディジタルカメラは、イメージセンサ３０、光学系１１１、可動ミラー１１２、EVF用センサ１１３、及び、EVF用光学系１２１を有する。
したがって、図１７のディジタルカメラは、イメージセンサ３０、光学系１１１、可動ミラー１１２、及び、EVF用センサ１１３を有する点で、図１６の場合と共通し、EVF用光学系１２１が新たに設けられている点で、図１６の場合と相違する。
EVF用光学系１２１は、例えば、光学フィルタやレンズ等の、EVF用センサ１１３に固有の光学部品であり、EVF用センサ１１３の、光が入射する側に設けられている。
したがって、EVF用センサ１１３では、EVF用光学系１２１を通過（経由）した光が受光される。
図１７のディジタルカメラのその他の動作は、図１６の場合と同様であり、その説明は、省略する。
図１８は、本技術を適用したディジタルカメラの第４の構成例の概略を示す断面図である。
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１８において、ディジタルカメラは、測光センサ１０、イメージセンサ３０、光学系１１１、可動ハーフミラー１３１、可動ミラー１３２、ペンタプリズム１３３、及び、ビューファインダ１３４を有する。
したがって、図１８のディジタルカメラは、イメージセンサ３０及び光学系１１１を有する点で、図１６の場合と共通する。
但し、図１８のディジタルカメラは、可動ミラー１１２及びEVF用センサ１１３を有しない点、並びに、可動ハーフミラー１３１、可動ミラー１３２、ペンタプリズム１３３、及び、ビューファインダ１３４を有する点で、図１６の場合と相違する。
可動ハーフミラー１３１は、平板形状のハーフミラーであり、イメージセンサ３０での撮像を行っていないときには、図１８のＡに示すように、右上がりの姿勢になって、光学系１１１を通過した光の一部を、ディジタルカメラの上部に反射するとともに、残りの光を通過させる。
また、可動ハーフミラー１３１は、イメージセンサ３０での撮像を行うときには、図１８のＢに示すように、可動ミラー１３２とともに、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
可動ハーフミラー１３１は、図示せぬレリーズボタンが操作されたときに、図１８のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１８のＡに示すように、右上がりの姿勢になる。
可動ミラー１３２は、平板形状のミラーであり、イメージセンサ３０での撮像を行っていないときには、図１８のＡに示すように、左上がりの姿勢になって、可動ハーフミラー１３１を通過した光を、ディジタルカメラの下部に反射し、測光センサ１０に入射させる。
また、可動ミラー１３２は、イメージセンサ３０での撮像を行うときには、図１８のＢに示すように、可動ハーフミラー１３１とともに、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
可動ミラー１３２は、図示せぬレリーズボタンが操作されたときに、図１８のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１８のＡに示すように、左上がりの姿勢になる。
ペンタプリズム１３３は、可動ハーフミラー１３１で反射された光を適切に反射して、ビューファインダ１３４に出射する。
ビューファインダ１３４には、ペンタプリズム１３３からの光が入射する。これにより、ユーザは、ビューファインダ１３４を覗くことで、イメージセンサ３０で撮像される像（画像）を確認することができる。
ここで、図１８において、イメージセンサ３０は、図１６で説明したように、測光センサ１０を兼ねないイメージセンサである。
図１８のディジタルカメラでは、レリーズボタンが操作されていないときには、図１８のＡに示すように、可動ハーフミラー１３１は、右上がりの姿勢になり、可動ミラー１３２は、左上がりの姿勢になる。
その結果、光学系１１１を通過した光の一部は、可動ハーフミラー１３１を通過し、残りの光は、可動ハーフミラー１３１で反射される。
可動ハーフミラー１３１で反射された光は、さらに、ペンタプリズム１３３で反射され、ビューファインダ１３４に入射する。
一方、可動ハーフミラー１３１を通過した光は、可動ミラー１３２で反射され、測光センサ１０に入射する。
制御部４１（図１８では図示せず）は、測光センサ１０を兼ねるEVF用センサ１１３を制御することにより、測光露光時間の露光を行わせ（可動ミラー１３２で反射された光を受光させ）、その露光により行われる測光の測光結果を取得する。
その後、レリーズボタンが操作されると、制御部４１は、各画素ブロックの最新の測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
レリーズボタンが操作されると、図１８のＢに示すように、可動ハーフミラー１３１及び可動ミラー１３２は、水平の姿勢になり、光学系１１１を通過した光は、イメージセンサ３０に入射する。
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光学系１１１を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
測光センサ１０（を兼ねるEVF用センサ１１３）及びイメージセンサ３０が同一の光を受光するケースには、例えば、図１５のディジタルカメラのように、イメージセンサ３０が測光センサ１０を兼ねるケースの他、例えば、図１６ないし図１８のディジタルカメラのように、光学系１１１に入射する光Lについて、測光センサ１０（を兼ねるEVF用センサ１１３）が、可動ミラー１１２で反射された光を受光するケースや、可動ハーフミラー１３１を通過し、可動ミーら１３２で反射された光を受光するケース、測光センサ１０（を兼ねるEVF用センサ１１３）が受光する光が、固有の光学部品としてのEVF用光学系１２１を経由するケース等が含まれる。
また、イメージセンサ３０に、測光センサ１０を兼ねさせる他、EVF用センサ１１３に、測光センサ１０を兼ねさせることができる。すなわち、EVF用センサ１１３を、測光センサ１０として兼用することができる。
図１９は、本技術を適用したディジタルカメラの第５の構成例の概略を示す平面図である。
図１９において、ディジタルカメラは、例えば、図３の受光装置を適用したディジタルカメラであり、測光センサ１０、イメージセンサ３０、測光光学系１５１、及び、撮像光学系１５２を有する。
測光光学系１５１は、図示せぬレンズや絞り等で構成され、被写体からの光を、測光センサ１０上に集光する。
撮像光学系１５２は、図示せぬレンズや絞り等で構成され、被写体からの光を、イメージセンサ３０上に集光する。
測光光学系１５１と撮像光学系１５２とは、物理的に異なる光学系である。
図１９のディジタルカメラでは、測光センサ１０は、測光光学系１５１を通過した光を受光して測光を行い、イメージセンサ３０は、撮像光学系１５２を通過した光を受光して撮像を行う。
制御部４１（図１９では図示せず）は、測光センサ１０を制御することにより、測光露光時間の露光を行わせ（測光光学系１５１を通過した光を受光させ）、その露光により行われる測光の測光結果を取得する。
そして、制御部４１は、各画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、撮像光学系１５２を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
ここで、図１９のディジタルカメラでは、測光センサ１０が、測光光学系１５１を通過した光を受光し、イメージセンサ３０が、測光光学系１５１とは物理的に異なる撮像光学系１５２を通過した光を受光する。
測光光学系１５１と撮像光学系１５２とは、物理的に異なるため、同一位置に配置することはできず、ずれた位置に配置されている。
したがって、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とは、（僅かに）異なり、そのため、測光センサ１０から得られる測光画像の、注目ブロック（注目する画素ブロック）と対応するエリア内の画素値となっている測光結果が、注目ブロックの測光結果にはならない。
そのため、図１９のディジタルカメラについては、測光センサ１０で得られる測光画像と、イメージセンサ３０で得られる撮像画像とについて、同一の被写体が映る位置を対応させる位置合わせキャリブレーションを行うことができる。
図２０は、位置合わせキャリブレーションを説明する図である。
すなわち、図２０は、測光センサ１０で得られる測光画像と、イメージセンサ３０で得られる撮像画像との例を示している。
図１９のディジタルカメラでは、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが異なるため、その異なる分に応じて、測光画像の、注目ブロックと対応するエリアからずれたエリアの画素値となっている測光結果が、注目ブロックの測光結果になる。
すなわち、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが一致している場合、ある被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとは、対応する（同一位置になる）。
しかしながら、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが異なる場合、被写体Xが映る測光画像の位置Pは、その被写体Xが映る撮像画像の位置Qに対応する、測光画像の位置Q'に一致せずにずれる。
すなわち、測光センサ１０及びイメージセンサ３０のそれぞれが受光する光が異なることに起因して、測光画像と撮像画像との間に、H画素だけの水平方向のずれが生じる場合、被写体Xが映る撮像画像の位置Qに対応する、測光画像の位置（以下、対応位置ともいう）Q'には、被写体Xが映っておらず、測光画像において、被写体Xは、対応位置Q'からH画素だけ水平方向にずれた位置Pに映る。
そのため、位置合わせキャリブレーションでは、被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとを対応させる（同一位置にする）キャリブレーションが行われる。
位置合わせキャリブレーションには、ソフトウエア的なキャリブレーションと、機械的なキャリブレーションとがある。
ソフトウエア的なキャリブレーションでは、同一の被写体が映る測光画像及び撮像画像それぞれの位置が一致するように、撮像画像及び測光画像の一方、又は、両方の画像処理が、測光光学系１５１や撮像光学系１５２の情報（レンズ情報等）を必要に応じて用いて行われる。
機械的なキャリブレーションでは、測光光学系１５１と測光センサ１０との位置関係や、撮像光学系１５２とイメージセンサ３０との位置関係、測光センサ１０、イメージセンサ３０、測光光学系１５１、撮像光学系１５２の姿勢等が、同一の被写体が映る測光画像及び撮像画像それぞれの位置が一致するように調整される。
位置合わせキャリブレーションとしては、ソフトウエア的なキャリブレーション、及び、機械的なキャリブレーションのうちの一方、又は、両方を行うことができる。
位置合わせキャリブレーションを行うことによって、被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとを対応させることにより、各画素ブロックの測光結果を特定することが可能となり、 画素ブロックの撮像画素３１の露光制御を、その画素ブロックの測光結果に応じて行うことが可能となる。
その結果、撮像画素３１の飽和を抑制し、ひいては、図８で説明したように、イメージセンサ３０の撮像画素３１の画素値で構成される撮像画像のダイナミックレンジを大にすることができる。
なお、図１ないし図３の受光装置は、ディジタルカメラの他、撮像の機能を有する任意の電子機器や、測距の機能を有する任意の電子機器、その他の光を受光して処理を行う任意の電子機器に適用することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した制御部４１の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等のコンピュータにインストールされる。
図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、測距センサ２０において、発光部２２が発光する電磁波としては、パルスの他、正弦波や、三角波等を採用することができる。
さらに、測光画素１１としては、開口率が異なる複数の画素を採用する他、例えば、カラーフィルタの透過率が異なる複数の画素等の、入射する光の光量が異なる複数の画素を採用することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
＜１＞
光を受光することにより、測光を行う測光センサと、
光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を備える受光装置。
＜２＞
前記他のセンサとして、
光を受光することにより、測距を行う測距センサ、
及び、光を受光することにより、撮像を行うイメージセンサ
のうちの一方、又は、両方を備える
＜１＞に記載の受光装置。
＜３＞
前記他のセンサは、前記測光センサを兼ねる
＜１＞又は＜２＞に記載の受光装置。
＜４＞
前記他のセンサの、光を受光する画素と、前記測光センサの、光を受光する測光画素とが、１の基板上に配置されている
＜３＞に記載の受光装置。
＜５＞
前記他のセンサは、前記他のセンサの、光を受光する画素が配置されている基板と、前記測光センサの、光を受光する測光画素が配置されている基板とが積層されて構成される
＜３＞に記載の受光装置。
＜６＞
前記測光センサは、光を受光する測光画素として、開口率が異なる複数の画素を有する
＜１＞ないし＜５＞のいずれかに記載の受光装置。
＜７＞
前記制御部は、露光時間、又は、所定時間の露光の露光結果を加算する加算数の設定を、前記露光制御として行う
＜１＞ないし＜６＞のいずれかに記載の受光装置。
＜８＞
前記測光センサ及び他のセンサは、所定の光学系を通過した光を受光する
＜１＞ないし＜７＞のいずれかに記載の受光装置。
＜９＞
前記測光センサが、所定の光学系を通過した光を受光し、前記他のセンサが、前記所定の光学系とは異なる光学系を通過した光を受光する場合に、前記測光センサでの光の受光により得られる測光画像と、前記他のセンサでの光の受光により得られる画像とについて、同一の被写体が映る位置を対応させるキャリブレーションを行う
＜１＞に記載の受光装置。
＜１０＞
前記他のセンサとして、光を受光することにより、測距を行う測距センサを備え、
前記測距センサが受光する光となる電磁波を発する発光部をさらに備える
＜１＞に記載の受光装置。
＜１１＞
光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行う
ステップを含む制御方法。
＜１２＞
光を集光する光学系と、
光を受光する受光装置と
を備え、
前記受光装置は、
前記光学系を通過した光を受光することにより、測光を行う測光センサと、
前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を有する
電子機器。
１０ 測光センサ， １１ 測光画素， ２０ 測距センサ， ２１ 測距画素， ２２ 発光部， ３０ イメージセンサ， ３１ 撮像画素， ４１ 制御部， ４２ 処理部， ６１，６２ 基板， １０１，１１１ 光学系， １１２ 可動ミラー， １１３ EVF用センサ， １２１ EVF用光学系， １３１ 可動ハーフミラー， １３２ 可動ミラー， １３３ ペンタプリズム， １３４ ビューファインダ， １５１ 測光光学系， １５２ 撮像光学系， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (12)

  1. 光を受光することにより、測光を行う測光センサと、
    光を受光する受光面が複数のブロックに区分された他のセンサと、
    前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
    を備える受光装置。
  2. 前記他のセンサとして、
    光を受光することにより、測距を行う測距センサ、
    及び、光を受光することにより、撮像を行うイメージセンサ
    のうちの一方、又は、両方を備える
    請求項１に記載の受光装置。
  3. 前記他のセンサは、前記測光センサを兼ねる
    請求項１に記載の受光装置。
  4. 前記他のセンサの、光を受光する画素と、前記測光センサの、光を受光する測光画素とが、１の基板上に配置されている
    請求項３に記載の受光装置。
  5. 前記他のセンサは、前記他のセンサの、光を受光する画素が配置されている基板と、前記測光センサの、光を受光する測光画素が配置されている基板とが積層されて構成される
    請求項３に記載の受光装置。
  6. 前記測光センサは、光を受光する測光画素として、開口率が異なる複数の画素を有する
    請求項１に記載の受光装置。
  7. 前記制御部は、露光時間、又は、所定時間の露光の露光結果を加算する加算数の設定を、前記露光制御として行う
    請求項１に記載の受光装置。
  8. 前記測光センサ及び他のセンサは、所定の光学系を通過した光を受光する
    請求項１に記載の受光装置。
  9. 前記測光センサが、所定の光学系を通過した光を受光し、前記他のセンサが、前記所定の光学系とは異なる光学系を通過した光を受光する場合に、前記測光センサでの光の受光により得られる測光画像と、前記他のセンサでの光の受光により得られる画像とについて、同一の被写体が映る位置を対応させるキャリブレーションを行う
    請求項１に記載の受光装置。
  10. 前記他のセンサとして、光を受光することにより、測距を行う測距センサを備え、
    前記測距センサが受光する光となる電磁波を発する発光部をさらに備える
    請求項１に記載の受光装置。
  11. 光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行う
    ステップを含む制御方法。
  12. 光を集光する光学系と、
    光を受光する受光装置と
    を備え、
    前記受光装置は、
    前記光学系を通過した光を受光することにより、測光を行う測光センサと、
    前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、
    前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
    を有する
    電子機器。
JP2017562525A 2016-01-22 2017-01-11 受光装置、制御方法、及び、電子機器 Active JP6780662B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016010577 2016-01-22
JP2016010577 2016-01-22
PCT/JP2017/000568 WO2017126377A1 (ja) 2016-01-22 2017-01-11 受光装置、制御方法、及び、電子機器

Publications (2)

Publication Number Publication Date
JPWO2017126377A1 true JPWO2017126377A1 (ja) 2018-11-15
JP6780662B2 JP6780662B2 (ja) 2020-11-04

Family

ID=59361645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562525A Active JP6780662B2 (ja) 2016-01-22 2017-01-11 受光装置、制御方法、及び、電子機器

Country Status (4)

Country Link
US (1) US11134209B2 (ja)
JP (1) JP6780662B2 (ja)
CN (1) CN107615010B (ja)
WO (1) WO2017126377A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3614174B1 (en) 2018-08-21 2021-06-23 Omron Corporation Distance measuring device and distance measuring method
JP7114132B2 (ja) * 2019-03-08 2022-08-08 株式会社ブルックマンテクノロジ 距離画像撮像装置
US10957729B2 (en) * 2019-04-15 2021-03-23 Mediatek Inc. Image sensor with embedded light-measuring pixels and method of automatic exposure control using the same
WO2022051055A1 (en) * 2020-09-04 2022-03-10 Qualcomm Incorporated Sensitivity-biased pixels
JP2022141316A (ja) * 2021-03-15 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048561A (ja) * 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd 撮像装置及び測光装置
JP2005173257A (ja) * 2003-12-11 2005-06-30 Canon Inc 測距測光装置及び測距リモコン受信装置
JP2010154192A (ja) * 2008-12-25 2010-07-08 Sony Corp 撮像装置
JP2015128131A (ja) * 2013-11-27 2015-07-09 ソニー株式会社 固体撮像素子および電子機器
JP2016012101A (ja) * 2014-06-30 2016-01-21 リコーイメージング株式会社 コントラストａｆ機能を備えたカメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551771B2 (en) * 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
WO2008090607A1 (ja) * 2007-01-24 2008-07-31 Pioneer Corporation エラー検出装置及び方法、並びにコンピュータプログラム
CN101690243B (zh) 2008-05-14 2012-08-22 松下电器产业株式会社 摄像装置以及摄像方法
JP5211008B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
DE102013208802A1 (de) * 2012-05-30 2013-12-05 Pmdtechnologies Gmbh Lichtlaufzeitsensor mit spektralen Filtern
JP2014025967A (ja) 2012-07-24 2014-02-06 Canon Inc 撮像装置及びカメラシステム
WO2014171051A1 (ja) 2013-04-15 2014-10-23 パナソニック株式会社 距離測定装置、及び、距離測定方法
KR102105284B1 (ko) * 2013-06-21 2020-04-28 삼성전자 주식회사 이미지 센서, 이의 제조 방법, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
CN104427254B (zh) * 2013-09-10 2019-01-15 联想(北京)有限公司 感光控制方法及感光控制装置
JP6277675B2 (ja) 2013-10-31 2018-02-14 リコーイメージング株式会社 撮像装置および撮像方法
US10136079B2 (en) 2013-10-31 2018-11-20 Ricoh Imaging Company, Ltd. Method and apparatus for imaging an object
JPWO2017057277A1 (ja) * 2015-09-30 2018-07-26 株式会社ニコン 撮像素子および撮像装置
DE102015225797B3 (de) * 2015-12-17 2017-05-04 Robert Bosch Gmbh Optischer Detektor
JP6900227B2 (ja) * 2017-04-10 2021-07-07 キヤノン株式会社 撮像装置及び撮像装置の駆動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048561A (ja) * 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd 撮像装置及び測光装置
JP2005173257A (ja) * 2003-12-11 2005-06-30 Canon Inc 測距測光装置及び測距リモコン受信装置
JP2010154192A (ja) * 2008-12-25 2010-07-08 Sony Corp 撮像装置
JP2015128131A (ja) * 2013-11-27 2015-07-09 ソニー株式会社 固体撮像素子および電子機器
JP2016012101A (ja) * 2014-06-30 2016-01-21 リコーイメージング株式会社 コントラストａｆ機能を備えたカメラ

Also Published As

Publication number Publication date
CN107615010A (zh) 2018-01-19
US20180313938A1 (en) 2018-11-01
CN107615010B (zh) 2021-11-16
JP6780662B2 (ja) 2020-11-04
WO2017126377A1 (ja) 2017-07-27
US11134209B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6780662B2 (ja) 受光装置、制御方法、及び、電子機器
JP6741680B2 (ja) 撮像装置、およびそれに用いられる固体撮像素子
TW201916396A (zh) 具有堆疊結構的像素單元
US10652513B2 (en) Display device, display system and three-dimension display method
US10419664B2 (en) Image sensors with phase detection pixels and a variable aperture
CN104125394B (zh) 摄像装置及其控制方法
JP2011158834A (ja) 測距・測光装置及び撮像装置
TWI793334B (zh) 影像感測器後處理
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
CN109714539B (zh) 基于姿态识别的图像采集方法、装置及电子设备
US7583890B2 (en) Anti-shake apparatus
CN106101567A (zh) 拍摄光线调整方法、装置和移动终端
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JPWO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
WO2022124059A1 (ja) 測距装置
EP3163369B1 (en) Auto-focus control in a camera to prevent oscillation
JP5434816B2 (ja) 測距装置及び撮像装置
JP4172216B2 (ja) 撮像装置
US11140333B2 (en) Image pickup apparatus capable of controlling flash exposure and control method therefor
US10237469B2 (en) Information processing apparatus, information processing method, and storage medium
US20210385390A1 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and memory medium
US20100245654A1 (en) Image pickup device, image reproducing device, and image pickup method
JP2013044997A (ja) 撮像装置
JPWO2019049458A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
WO2022123974A1 (ja) 測距装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R151 Written notification of patent or utility model registration

Ref document number: 6780662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151