JP6340477B2 - 距離画像取得装置及び距離画像取得方法 - Google Patents

距離画像取得装置及び距離画像取得方法 Download PDF

Info

Publication number
JP6340477B2
JP6340477B2 JP2017507320A JP2017507320A JP6340477B2 JP 6340477 B2 JP6340477 B2 JP 6340477B2 JP 2017507320 A JP2017507320 A JP 2017507320A JP 2017507320 A JP2017507320 A JP 2017507320A JP 6340477 B2 JP6340477 B2 JP 6340477B2
Authority
JP
Japan
Prior art keywords
exposure control
data
distance image
exposure
drive mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017507320A
Other languages
English (en)
Other versions
JPWO2016151918A1 (ja
Inventor
智紀 増田
智紀 増田
智行 河合
智行 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016151918A1 publication Critical patent/JPWO2016151918A1/ja
Application granted granted Critical
Publication of JP6340477B2 publication Critical patent/JP6340477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/081—Analogue circuits
    • G03B7/083—Analogue circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は距離画像取得装置及び距離画像取得方法に係り、特にＴＯＦ（Time Of Flight)方式により距離画像を取得する技術に関する。
ＴＯＦ方式は、被写体に光を照射し、その反射光をセンサで受光するまでの時間を測定することにより被写体までの距離を求める方式であり、パルス光を被写体に照射し、その反射光を複数の画素を有する距離画像センサにより受光し、距離画像センサの画素毎の受光量（受光強度）から被写体の距離画像を取得する方式（以下、「パルス光検出方式」という）と、高周波で変調した光を被写体に照射し、照射時点から反射光を受光するまでの位相ずれ（反射光の到達時間）を検出することにより距離画像を取得する方式とが知られている。
ところで、パルス光検出方式は、被写体までの距離と、距離画像センサの各画素にて受光したパルス光の受光量との間に相関があることを利用し、画素毎の受光量から被写体の距離を測定する方式であるため、パルス光以外の外光（環境光）を受光すると、被写体の距離を正確に測定することができず、また、被写体の反射率によっても受光量が変化するため、被写体の距離を正確に測距することができないという問題がある。
上記問題を解決するために特許文献１に記載の距離画像取得装置は、波長λ１の赤外光を中心とする第１のバンドパスフィルタを有する第１の画素群と、波長λ２の赤外光を中心とする第２のバンドパスフィルタであって、第１のバンドパスフィルタとは光透過帯域が重複しない第２のバンドパスフィルタを有する第２の画素群とが所定の配置で配列された距離画像センサと、波長λ２の赤外光のパルス光を発光する発光部とを備え、発光部から波長λ２の赤外光のパルス光を発光し、距離画像センサの第１の画素群及び第２の画素群からそれぞれ出力データを取得し、第２の画素群の出力データから第１の画素群の出力データを減算することにより、環境光の影響が除去された出力データを取得するようにしている。
また、特許文献１には、測距範囲内の最も遠い被写体からの反射光を全て受光するように露光時間を設定し、この露光時間にて撮像された距離画像センサの出力データ（被写体の反射率の情報を示すデータ）を取得し、この出力データで別途撮像された距離画像センサの出力データ（被写体の距離及び反射率の情報を含むデータ）を除算することにより、被写体の反射率の影響が除去された出力データを取得する技術が記載されている。
特開２００８−１４５３８６号公報
特許文献１に記載の距離画像取得装置は、パルス光検出方式により距離画像を取得する際に、測距用のパルス光以外の外光（環境光）の影響を除去するようにしたため、精度良く測距することができるが、環境光の影響を除去するために、波長λ１の赤外光を中心とする第１のバンドパスフィルタを有する第１の画素群と、波長λ２の赤外光を中心とする第２のバンドパスフィルタを有する第２の画素群とが所定の配置で配列された距離画像センサを使用する必要があり、かつ第２の画素群の出力データから第１の画素群の出力データを減算する必要がある。
即ち、特許文献１に記載の距離画像取得装置は、距離画像センサの第２の画素群の出力データから第１の画素群の出力データを減算するため、減算されたデータに減算処理に伴うショットノイズが重畳し、例えば、環境光が露光されない撮像環境の場合には、環境光の影響を除去する処理により却って距離の測定精度が悪化するという問題がある。
また、特殊な距離画像センサを使用する必要があり、距離画像センサの第１の画素群と第２の画素群とは、それぞれ感度を有する周波数帯域が異なるため、第１の画素群により検出される環境光の受光量と第２の画素群により検出される環境光の受光量とは必ずしも一致せず、この場合には、環境光の影響を完全に除去することはできない。
尚、特許文献１に記載の特殊な距離画像センサを使用する代わりに、赤外光に感度を有する一般的な距離画像センサを使用し、赤外光のパルス光を発光させた撮像と、パルス光を発光させない撮像とを行い、これらの２回の撮像により取得した画像間の差分画像に基づいて環境光の影響が除去された距離画像を取得する方法があるが、この場合、２回の撮像毎のノイズが差分画像に重畳され、距離の測定精度が悪化するという問題がある。
更に、特許文献１には、パルス光検出方式により距離画像を取得する際に、被写体の反射率の影響を除去する技術が記載されているが、この場合には、被写体の反射率の影響を除去するために別の撮像を行う必要があり、かつ被写体の反射率の影響を除去するための除算演算も行う必要があり、反射率が一定の被写体を撮像する撮像環境の場合には、反射率の影響を除去する処理により却って距離の測定精度が悪化するという問題がある。
本発明はこのような事情に鑑みてなされたもので、距離の測定精度が高く、かつ無駄な撮像や演算を省略することができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、複数の受光素子が２次元状に配列された距離画像センサと、測距領域内の被写体に対してパルス光を照射するパルス光発光部と、少なくともパルス光発光部から照射され、被写体にて反射するパルス光の反射光を距離画像センサに結像させる結像レンズと、パルス光発光部からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサの対応する受光素子での露光量に差が生じる第１の露光制御、パルス光発光部からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる第２の露光制御、及びパルス光発光部からパルス光を発光させずに被写体からの反射光を露光する第３の露光制御のうちの第１の露光制御と第２の露光制御と第３の露光制御とを行う第１の駆動モード、第１の露光制御と第２の露光制御とを行う第２の駆動モード、第１の露光制御と第３の露光制御とを行う第３の駆動モード、及び第１の露光制御を行う第４の駆動モードのうちの２以上の駆動モードを有し、２以上の駆動モードのうちのいずれかの駆動モードを設定する駆動モード設定部と、駆動モード設定部により設定された駆動モードに応じて距離画像センサでの露光を制御する露光制御部と、露光制御部により露光が制御された距離画像センサの出力に基づいて測距領域内の被写体の距離に対応する距離画像を生成する距離画像生成部と、を備えている。
本発明者は、環境光の影響がない撮像環境や反射率の影響がない被写体を撮像する撮像環境において、環境光や反射率の影響を除去するために複数回の撮像を行い、複数の撮像によりそれぞれ取得したデータに基づいて環境光や反射率の影響を除去するための演算処理を行うと、却って距離の測定精度が悪化することを見いだした。
そこで、本発明の一の態様によれば、露光回数や露光内容が異なる複数の駆動モードを有し、撮像環境に応じた最適な駆動モードを設定し、設定した駆動モードにしたがって露光制御を行い、露光制御により取得したデータから距離画像を生成することで、測定精度の高い距離画像を取得できるようにしている。
本発明の他の態様に係る距離画像取得装置において、第２の露光制御は、パルス光発光部からパルス光を発光させ、パルス光の発光と同時に露光を開始し、距離画像センサの全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御であり、距離画像生成部は、駆動モード設定部により第１の駆動モードが設定されると、第１の露光制御、第２の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データを算出し、第２のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第２の減算データを算出し、第１の減算データを第２の減算データで除算した除算データに基づいて距離画像を生成する。
第１の駆動モードは、環境光及び被写体の反射率の影響がある撮像環境の場合に設定されるモードであり、第１の駆動モードでは、環境光及び反射率の影響を除去するために第１の露光制御、第２の露光制御、及び第３の露光制御が行われ、それぞれ第１のデータ、第２のデータ及び第３のデータが取得される。
第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データは、環境光の影響が除去された被写体の距離と反射率とに応じたデータであり、第２のデータから第２の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第２の減算データは、環境光の影響が除去された被写体の反射率に応じたデータである。そして、第１の減算データを第２の減算データで除算した除算データは、環境光及び被写体の反射率の影響が除去された被写体の距離のみに対応するデータになる。従って、上記のようにして演算して得た除算データに基づいて環境光及び被写体の反射率の影響が除去された距離画像を生成することができる。
本発明の更に他の態様に係る距離画像取得装置において、第２の露光制御は、パルス光発光部からパルス光を発光させ、第１の露光制御とは露光期間が重複せず、かつ第１の露光制御による露光時間と露光時間が連続し、第１の露光制御により距離画像センサから得られる出力と第２の露光制御により距離画像センサから得られる出力とを合計すると、被写体にて反射したパルス光を全て露光した出力が得られる露光制御であり、距離画像生成部は、駆動モード設定部により第１の駆動モードが設定されると、第１の露光制御、第２の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、第１のデータから第１の露光制御の露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データを算出し、第１のデータと第２のデータとを加算した加算データから第１の露光制御による露光時間と第２の露光制御による露光時間とを合計した露光時間に対応する第３のデータを減算した第２の減算データを算出し、第１の減算データを第２の減算データで除算した除算データに基づいて距離画像を生成することが好ましい。
第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データは、環境光の影響が除去された被写体の距離と反射率とに応じたデータであり、第１のデータと第２のデータとを加算した加算データから第１の露光制御による露光時間と第２の露光制御による露光時間とを合計した露光時間に対応する第３のデータを減算した第２の減算データは、環境光の影響が除去された被写体の反射率に応じたデータである。そして、第１の減算データを第２の減算データで除算した除算データは、環境光及び被写体の反射率の影響が除去された被写体の距離のみに対応するデータになる。従って、上記のようにして演算して得た除算データに基づいて環境光及び被写体の反射率の影響が除去された距離画像を生成することができる。
本発明の更に他の態様に係る距離画像取得装置において、第２の露光制御は、パルス光発光部からパルス光を発光させ、パルス光の発光と同時に露光を開始し、距離画像センサの全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御であり、距離画像生成部は、駆動モード設定部により第２の駆動モードが設定されると、第１の露光制御及び第２の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第２のデータを使用し、第１のデータを第２のデータで除算した除算データに基づいて距離画像を生成することが好ましい。
第２の駆動モードは、環境光の影響がない撮像環境の場合に設定されるモードであり、第２の駆動モードでは、反射率の影響を除去するために第１の露光制御及び第２の露光制御が行われ、それぞれ第１のデータ及び第２のデータが取得される。そして、第１のデータを第２のデータで除算した除算データは、被写体の反射率の影響が除去された被写体の距離のみに対応するデータになる。従って、上記のようにして演算して得た除算データに基づいて被写体の反射率の影響が除去された距離画像を生成することができ、特に環境光の影響を除去するための露光制御や演算が行われないため、距離の測定精度を高くすることができ、かつ無駄な撮像及び演算を省略することができる。
本発明の更に他の態様に係る距離画像取得装置において、第２の露光制御は、パルス光発光部からパルス光を発光させ、第１の露光制御とは露光期間が重複せず、かつ第１の露光制御による露光時間と露光時間が連続し、第１の露光制御により距離画像センサから得られる出力と第２の露光制御により距離画像センサから得られる出力とを合計すると、被写体にて反射したパルス光を全て露光した出力が得られる露光制御であり、距離画像生成部は、駆動モード設定部により第２の駆動モードが設定されると、第１の露光制御及び第２の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第２のデータを使用し、第１のデータを第１のデータと第２のデータとを加算した加算データで除算した除算データに基づいて距離画像を生成することが好ましい。
第１のデータと第２のデータとを加算した加算データは、環境光の影響がない被写体の反射率に応じたデータである。環境光の影響がない被写体の距離と反射率とに応じた第１のデータを、環境光の影響がない被写体の反射率に応じた第１のデータと第２のデータとを加算した加算データで除算した除算データは、被写体の反射率の影響が除去された被写体の距離のみに対応するデータになる。従って、上記のようにして演算して得た除算データに基づいて被写体の反射率の影響が除去された距離画像を生成することができ、特に環境光の影響を除去するための露光制御や演算が行われないため、距離の測定精度を高くすることができ、かつ無駄な撮像及び演算を省略することができる。
本発明の更に他の態様に係る距離画像取得装置において、距離画像生成部は、駆動モード設定部により第３の駆動モードが設定されると、第１の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第３のデータを使用し、第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した減算データに基づいて距離画像を生成することが好ましい。
第３の駆動モードは、被写体の反射率の影響がない撮像環境の場合に設定されるモードであり、第３の駆動モードでは、環境光の影響を除去するために第１の露光制御及び第３の露光制御が行われ、それぞれ第１のデータ及び第３のデータが取得される。そして、第１のデータから第３のデータで減算した減算データは、環境光の影響が除去された被写体の距離のみに対応するデータになる。従って、上記のようにして演算して得た減算データに基づいて環境光の影響が除去された距離画像を生成することができ、特に被写体の反射率の影響を除去するための露光制御や演算が行われないため、距離の測定精度を高くすることができ、かつ無駄な撮像及び演算を省略することができる。
本発明の更に他の態様に係る距離画像取得装置において、距離画像生成部は、駆動モード設定部により第４の駆動モードが設定されると、第１の露光制御により距離画像センサから取得した第１のデータに基づいて距離画像を生成することが好ましい。
第４の駆動モードは、環境光及び被写体の反射率の影響がない撮像環境の場合に設定されるモードであり、第４の駆動モードでは、第１の露光制御が行われ、第１のデータが取得される。第１のデータは、被写体の距離のみに対応するデータである。従って、第１のデータに基づいて距離画像を生成することができ、特に環境光及び被写体の反射率の影響を除去するための露光制御や演算が行われないため、距離の測定精度を高くすることができ、かつ無駄な撮像及び演算を省略することができる。
本発明の更に他の態様に係る距離画像取得装置において、被写体の環境光の明るさを検出する明るさ検出部を備え、駆動モード設定部は、明るさ検出部により検出される環境光の明るさが測定精度に対応して設定された閾値以下のとき、第２の駆動モード及び第４の駆動モードのうちの一方の駆動モードを設定することが好ましい。測定精度に対応して設定された閾値としては、例えば、夜間の環境光に対応する明るさか否かを判別するための閾値を設定することが可能であり、環境光の明るさがこのように設定された閾値以下の場合、環境光の明るさは、距離の測定精度に影響しない。
本発明の更に他の態様に係る距離画像取得装置において、測距する被写体の反射率が一定か否かを判別する判別部を備え、駆動モード設定部は、判別部により測距する被写体の反射率が一定であると判別されると、第３の駆動モード及び第４の駆動モードのうちの一方の駆動モードを設定することが好ましい。
本発明の更に他の態様に係る距離画像取得装置において、判別部は、測距する被写体を追尾する場合、測距する被写体の反射率が一定であると判別することが好ましい。例えば、人物の顔を追尾している場合、人物の顔の反射率は一定であると判別することができる。
本発明の更に他の態様に係る距離画像取得装置において、被写体の環境光の明るさを検出する明るさ検出部と、測距する被写体の反射率が一定か否かを判別する判別部と、を備え、駆動モード設定部は、明るさ検出部により検出される環境光の明るさが測定精度に対応して設定された閾値以下であり、かつ判別部により測距する被写体の反射率が一定であると判別されると、第４の駆動モードを設定することが好ましい。
本発明の更に他の態様に係る距離画像取得装置において、２以上の駆動モードのうちのいずれかの駆動モードを手動により選択する駆動モード選択部を有し、駆動モード設定部は、駆動モード選択部により選択された駆動モードを設定することが好ましい。環境光の影響がある撮像環境か否か、及び／又は被写体の反射率の影響がある撮像環境か否かは、使用者が判断することができる。従って、２以上の駆動モードのうちのいずれかの駆動モードに設定するかは、使用者が駆動モード選択部により手動で選択することが好ましい。
本発明の更に他の態様に係る距離画像取得方法は、複数の受光素子が２次元状に配列された距離画像センサと、測距領域内の被写体に対してパルス光を照射するパルス光発光部と、少なくともパルス光発光部から照射され、被写体にて反射するパルス光の反射光を距離画像センサに結像させる結像レンズと、を備えた距離画像取得装置において、パルス光発光部からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサの対応する受光素子での露光量に差が生じる第１の露光制御、パルス光発光部からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる第２の露光制御、及びパルス光発光部からパルス光を発光させずに被写体からの反射光を露光する第３の露光制御のうちの第１の露光制御と第２の露光制御と第３の露光制御とを行う第１の駆動モード、第１の露光制御と第２の露光制御とを行う第２の駆動モード、第１の露光制御と第３の露光制御とを行う第３の駆動モード、及び第１の露光制御を行う第４の駆動モードのうちの２以上の駆動モードを有し、２以上の駆動モードのうちのいずれかの駆動モードを設定する駆動モード設定ステップと、駆動モード設定ステップにより設定された駆動モードに応じて距離画像センサでの露光を制御する露光制御ステップと、露光制御ステップにより露光が制御された距離画像センサの出力に基づいて測距領域内の被写体の距離に対応する距離画像を生成する距離画像生成ステップと、を含んでいる。
本発明の更に他の態様に係る距離画像取得方法において、第２の露光制御は、パルス光発光部からパルス光を発光させ、パルス光の発光と同時に露光を開始し、距離画像センサの全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御であり、駆動モード設定ステップにより第１の駆動モードが設定されると、露光制御ステップは第１の露光制御、第２の露光制御及び第３の露光制御を行い、距離画像生成ステップは、第１の露光制御、第２の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データを算出し、第２のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した第２の減算データを算出し、第１の減算データを第２の減算データで除算した除算データに基づいて距離画像を生成することが好ましい。
本発明の更に他の態様に係る距離画像取得方法において、第２の露光制御は、パルス光発光部からパルス光を発光させ、第１の露光制御とは露光期間が重複せず、かつ第１の露光制御による露光時間と露光時間が連続し、第１の露光制御により距離画像センサから得られる出力と第２の露光制御により距離画像センサから得られる出力とを合計すると、被写体にて反射したパルス光を全て露光した出力が得られる露光制御であり、駆動モード設定ステップにより第１の駆動モードが設定されると、露光制御ステップは第１の露光制御、第２の露光制御及び第３の露光制御を行い、距離画像生成ステップは、第１の露光制御、第２の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、第１のデータから第１の露光制御の露光時間と同じ露光時間に対応する第３のデータを減算した第１の減算データを算出し、第１のデータと第２のデータとを加算した加算データから第１の露光制御による露光時間と第２の露光制御による露光時間とを合計した露光時間に対応する第３のデータを減算した第２の減算データを算出し、第１の減算データを第２の減算データで除算した除算データに基づいて距離画像を生成することが好ましい。
本発明の更に他の態様に係る距離画像取得方法において、第２の露光制御は、パルス光発光部からパルス光を発光させ、パルス光の発光と同時に露光を開始し、距離画像センサの全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御であり、駆動モード設定ステップにより第２の駆動モードが設定されると、露光制御ステップは第１の露光制御及び第２の露光制御を行い、距離画像生成ステップは、第１の露光制御及び第２の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第２のデータを使用し、第１のデータを第２のデータで除算した除算データに基づいて距離画像を生成することが好ましい。
本発明の更に他の態様に係る距離画像取得方法において、第２の露光制御は、パルス光発光部からパルス光を発光させ、第１の露光制御とは露光期間が重複せず、かつ第１の露光制御による露光時間と露光時間が連続し、第１の露光制御により距離画像センサから得られる出力と第２の露光制御により距離画像センサから得られる出力とを合計すると、被写体にて反射したパルス光を全て露光した出力が得られる露光制御であり、駆動モード設定ステップにより第２の駆動モードが設定されると、露光制御ステップは第１の露光制御及び第２の露光制御を行い、距離画像生成ステップは、第１の露光制御及び第２の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第２のデータを使用し、第１のデータを第１のデータと第２のデータとを加算した加算データで除算した除算データに基づいて距離画像を生成することが好ましい。
本発明の更に他の態様に係る距離画像取得方法において、駆動モード設定ステップにより第３の駆動モードが設定されると、露光制御ステップは第１の露光制御及び第３の露光制御を行い、距離画像生成ステップは、第１の露光制御及び第３の露光制御によりそれぞれ距離画像センサから取得した第１のデータ及び第３のデータを使用し、第１のデータから第１の露光制御による露光時間と同じ露光時間に対応する第３のデータを減算した減算データに基づいて距離画像を生成することが好ましい。
本発明の更に他の態様に係る距離画像取得方法において、駆動モード設定ステップにより第４の駆動モードが設定されると、露光制御ステップは第１の露光制御を行い、距離画像生成ステップは、第１の露光制御により距離画像センサから取得した第１のデータに基づいて距離画像を生成することが好ましい。
本発明によれば、撮像回数や露光内容が異なる複数の駆動モードのうちから環境光の影響の有無及び／又は被写体の反射率の影響の有無に応じて設定された駆動モードにて露光制御及び演算処理を行うようにしたため、距離の測定精度が高く、かつ無駄な撮像や演算を省略することができる。
本発明に係る距離画像取得装置の機能構成例を示すブロック図である。 パルス光検出方式の基本原理を説明するために用いた図である。 パルス光検出方式の場合、１回の撮像では被写体の反射率の影響により距離画像を測定できないことを説明するために用いた図である。 第１の実施形態のパルス光検出方式における第１の駆動モードの露光制御及び演算処理を示す図である。 第１の実施形態のパルス光検出方式における第２の駆動モードの露光制御及び演算処理を示す図である。 第１の実施形態のパルス光検出方式における第３の駆動モードの露光制御及び演算処理を示す図である。 第１の実施形態のパルス光検出方式における第４の駆動モードの露光制御及び演算処理の実施形態を示す図である。 第２の実施形態のパルス光検出方式における第１の駆動モードの露光制御及び演算処理を示す図である。 第２の実施形態のパルス光検出方式における第２の駆動モードの露光制御及び演算処理を示す図である。 駆動モード設定ステップを説明するために用いたフローチャートである。 第１の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。 第２の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。 第３の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。 第４の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。 距離画像取得装置の実施形態であるスマートフォンの外観図である。 スマートフォンの構成を示すブロック図である。
以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施形態について説明する。
［距離画像取得装置］
図１は、本発明に係る距離画像取得装置１０の機能構成例を示すブロック図である。
図１に示す距離画像取得装置１０は、パルス光検出方式の距離画像取得装置であり、主として結像レンズ１２、距離画像センサ１４、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、パルス光発光部２２、露光制御部２４及び駆動モード選択部２６から構成されている。
パルス光発光部２２は、近赤外光発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））を備え、露光制御部２４からの発光タイミング信号に同期して一定のパルス幅のパルス光を発光する。尚、パルス光発光部２２の近赤外ＬＥＤから発光されるパルス光は、近赤外光である。
結像レンズ１２は、被写体からの反射光（パルス光発光部２２から照射され、被写体にて反射するパルス光の反射光を含む）を距離画像センサ１４に結像させる。
距離画像センサ１４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、距離画像センサ１４は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
距離画像センサ１４は、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、パルス光発光部２２から発光される近赤外のパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、距離画像センサ１４の複数の受光素子は、近赤外光に対して感度をもった画素として機能する。
距離画像センサ１４は、露光制御部２４から加えられるシャッタ制御信号により露光期間（露光時間及び露光タイミング）が制御され、距離画像センサ１４の各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、距離画像センサ１４からは、被写体からの近赤外光の入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。
ここで、露光制御部２４は、詳細については後述するが、パルス光発光部２２からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサ１４の対応する受光素子での露光量（パルス光の受光時間）に差が生じる第１の露光制御、パルス光発光部２２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる第２の露光制御距離画像センサ１４の全ての受光素子が被写体にて反射したパルス光を全て露光する第２の露光制御、及びパルス光発光部２２を発光させずに被写体からの反射光を露光する第３の露光制御のうちのいずれかの露光制御を順次、又は選択的に行う。
露光制御部２４による露光制御後に距離画像センサ１４から読み出されたアナログ信号は、ＡＤ変換器１６によりデジタル信号に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。
ＣＰＵ２０は、詳細については後述するが、距離画像取得装置１０の露光制御部２４等の各部を統括的に制御するデバイス制御部としての機能と、駆動モード設定部２０Ａ、距離画像生成部２０Ｂ、明るさ検出部２０Ｃ、及び判別部２０Ｄとしての機能を有する。
＜パルス光検出方式の基本原理＞
次に、本発明に適用されるパルス光検出方式の基本原理について説明する。
距離画像取得装置１０のパルス光発光部２２から照射されたパルス光は、測距領域内の被写体に入射し、被写体にて反射しパルス光は、結像レンズ１２を介して距離画像センサ１４により結像（受光）される。
図２の（Ａ）部分に示すように、測距領域内に遠い被写体Ｔ１と近い被写体Ｔ２とが存在すると、矢印で示したパルス光は、近い被写体Ｔ２ほど、早く戻ってきて距離画像センサ１４により受光される。
図２の（Ｂ）部分は、遠い被写体Ｔ１及び近い被写体Ｔ２により反射して距離画像センサ１４により受光されるパルス光と露光期間との関係を示す図であり、特に遠い被写体Ｔ１と近い被写体Ｔ２との反射率が同一の場合に関して示している。
この場合、図２の（Ａ）部分に示すようにパルス光の発光タイミングに同期して露光を開始し、遠い被写体Ｔ１及び近い被写体Ｔ２から反射光を同時に受光する適宜の時間経過後に露光を終了する露光制御を行うと、近い被写体Ｔ２ほど露光量が多くなる。
従って、被写体の反射率が同一の場合、露光量の大きさに応じて相対距離を測定することができる。
図３の（Ａ）部分に示す近い被写体Ｔ２は、遠い被写体Ｔ１よりも反射率が低く、近い被写体Ｔ２で反射して戻ってくるパルス光の光量は、遠い被写体Ｔ１で反射しても戻ってくるパルス光の光量よりも少ない。尚、図３の（Ａ）部分では、矢印の太さがパルス光の光量を表している。
この場合、図３の（Ｂ）部分に示すように、図２の（Ｂ）部分と同様に露光制御しても露光制御により得られる露光量からは、被写体の相対距離を測定することはできない。
従って、被写体の反射率が一定でない場合には、反射率の影響を除去するために複数回の露光制御を行う必要がある。
また、近赤外のパルス光以外の近赤外の環境光が存在する場合（例えば、日中屋外の撮像環境の場合）、環境光の影響により距離の測定精度が悪化するため、環境光の影響を除去することが好ましい。この場合、パルス光を照射させる露光制御とパルス光を照射させない露光制御とにより取得された各露光量の差分をとることにより、環境光の影響を除去することができる。
［駆動モード］
以下、第１の実施形態のパルス光検出方式における駆動モードについて説明する。
＜第１の駆動モード＞
図４は、第１の実施形態のパルス光検出方式における第１の駆動モードの露光制御及び演算処理を示す図である。
第１の駆動モードは、環境光及び被写体の反射率の影響がある撮像環境の場合に設定されるモードである。
第１の駆動モードでは、図４の（Ａ）部分、（Ｂ）部分及び（Ｃ）部分に示すように第１の露光制御、第２の露光制御、及び第３の露光制御の３回の露光制御が行われる。
図４の（Ａ）部分に示す第１の露光制御は、パルス光発光部２２からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサ１４の対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、パルス光発光部２２からパルス光を発光させた後、一定時間（測距可能な最も遠い被写体からパルス光が戻ってくるまでの時間）経過後に露光を開始し、少なくとも最も遠い被写体にて反射したパルス光の全てが戻ってくる時間（所定の露光時間）経過後に露光を終了させる。
上記の第１の露光制御によれば、被写体の反射率が一定の場合、遠い被写体Ｔ１と近い被写体Ｔ２とを比較すると、遠い被写体Ｔ１ほど露光量が多くなる。
図４ の（Ｂ）部分に示す第２の露光制御は、パルス光発光部２２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、被写体の反射率の相違による距離画像センサ１４での露光量の変化を除去するための露光制御である。本例では、距離画像センサ１４の全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御である。具体的にはパルス光発光部２２から発光するパルス光の発光タイミングに同期して露光を開始し、一定時間（少なくとも測距可能な最も遠い被写体からパルス光が全て戻ってくるまでの所定の露光時間）経過後に露光を終了させる。尚、第１の露光制御における「所定の露光時間」と、第２の露光制御における「所定の露光時間」とは同じ時間であるが、上記のようにパルス光に対する露光開始の位相が異なる。
上記の第２の露光制御によれば、被写体の遠近にかかわらず、被写体の反射率に応じて露光量が異なり、第１の露光制御により得られる露光量により被写体の反射率に対応する情報を取得することができる。
図４の（Ｃ）部分に示す第３の露光制御は、パルス光発光部２２からパルス光を発光させずに被写体からの反射光を露光する露光制御であり、第２の露光制御と比較すると、第２の露光制御ではパルス光を発光（照射）させて露光制御しているのに対し、第３の露光制御はパルス光を発光させずに（非照射で）露光制御する点で相違する。
上記の第３の露光制御によれば、環境光のみの露光量を取得することができる。
図４の（Ｄ）部分に示すように第１の露光制御、第２の露光制御及び第３の露光制御により距離画像センサ１４から取得される各露光量に対応する出力データを、それぞれ第１のデータＬ１、第２のデータＬ２、及び第３のデータＬ３とすると、被写体の相対距離に対応する情報（以下、「距離情報」という）Ｄは、次式、
［数１］
Ｄ＝（Ｌ１−Ｌ３）÷（Ｌ２−Ｌ３）
により算出することができる。
即ち、［数１］式によれば、第１のデータＬ１から第３のデータＬ３を減算した第１の減算データ（Ｌ１−Ｌ３）を算出し、また、第２のデータＬ２から第３のデータＬ３を減算した第２の減算データ（Ｌ２−Ｌ３）を算出する。第１の減算データは、環境光の影響が除去された被写体の距離と反射率とを含むデータであり、第２の減算データは、環境光の影響が除去された被写体の反射率を示すデータである。そして、第１の減算データを第２の減算データで除算した除算データを算出する。この除算データは、環境光の影響及び被写体の反射率の影響が除去された被写体の距離（相対距離）に対応するデータ（距離情報Ｄ）となる。
上記のようにして距離画像センサ１４の受光素子毎に算出される相対距離は、極座標系であるため、これを直交座標系に変換することで、測距領域内の被写体の距離（相対距離）に対応する距離画像を生成することができる。
このようにして算出された被写体の相対距離に対応する距離情報Ｄは、環境光の影響及び被写体の反射率の影響が除去されたものとなる。
尚、「距離画像」とは、通常の２次元画像の色や濃淡の値の代わりに、撮像部から被写体までの距離をもった画像のことをいうが、上記［数１］式に基づいて算出される被写体の相対距離（距離情報Ｄ）をもった画像も本発明における「距離画像」の一態様である。
また、上記［数１］式によれば、環境光の影響及び被写体の反射率の影響が除去された被写体の相対距離に対応する距離情報Ｄが算出されるが、これに限らず、第１の駆動モードにより取得される第１のデータＬ１、第２のデータＬ２、及び第３のデータＬ３に基づいて、環境光の影響及び被写体の反射率の影響が除去された被写体の絶対距離を、公知の方法により算出することが可能であり、被写体の絶対距離を求めることも本発明は「距離画像」を生成する一態様である。
＜第２の駆動モード＞
図５は、第１の実施形態のパルス光検出方式における第２の駆動モードの露光制御及び演算処理を示す図である。
第２の駆動モードは、環境光の影響がなく、被写体の反射率の影響がある撮像環境の場合に設定されるモードである。
第２の駆動モードでは、図５の（Ａ）部分及び（Ｂ）部分に示すように第１の露光制御及び第２の露光制御の２回の露光制御が行われる。尚、図５の（Ａ）部分及び（Ｂ）部分に示す第１の露光制御及び第２の露光制御は、図４の（Ａ）部分及び（Ｂ）部分に示した第１の駆動モードにおける第１の露光制御及び第２の露光制御と同様のため、その詳細な説明は省略する。
図５の（Ｃ）部分に示すように第１の露光制御及び第２の露光制御により距離画像センサ１４から取得される各露光量に対応する出力データを、それぞれ第１のデータＬ１及び第２のデータＬ２とすると、被写体の相対距離に対応する距離情報Ｄは、次式、
［数２］
Ｄ＝Ｌ１÷Ｌ２
により算出することができる。
即ち、［数２］式によれば、第１のデータＬ１を第２のデータＬ２で除算した除算データを算出する。この除算データは、被写体の反射率の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。尚、環境光の影響がない被写体の距離及び反射率に対応する第１のデータＬ１と、環境光の影響がない被写体の反射率に対応する第２のデータＬ２とに基づいて被写体の絶対距離を求めることも可能である。
＜第３の駆動モード＞
図６は、第１の実施形態のパルス光検出方式における第３の駆動モードの露光制御及び演算処理を示す図である。
第３の駆動モードは、被写体の反射率が一定であり（反射率の影響がなく）、環境光の影響がある撮像環境の場合に設定されるモードである。ここで、「反射率が一定」とは、例えば、撮像される測距領域内の被写体間（図２の（Ａ）部分に示したように遠い被写体Ｔ１、近い被写体Ｔ２）の反射率が一定の場合、測距対象（特定の被写体を追尾して撮像する場合の追尾対象を含む）の反射率が時間的に一定の場合等をいう。
第３の駆動モードでは、図６の（Ａ）部分及び（Ｂ）部分に示すように第１の露光制御及び第３の露光制御の２回の露光制御が行われる。尚、図６の（Ａ）部分及び（Ｂ）部分に示す第１の露光制御及び第３の露光制御は、図４の（Ａ）部分及び（Ｃ）部分に示した第１の駆動モードにおける第１の露光制御及び第３の露光制御と同様のため、その詳細な説明は省略する。
図６の（Ｃ）部分に示すように第１の露光制御及び第３の露光制御により距離画像センサ１４から取得される各露光量に対応する出力データを、それぞれ第１のデータＬ１及び第３のデータＬ３とすると、被写体の相対距離に対応する距離情報Ｄは、次式、
［数３］
Ｄ＝Ｌ１−Ｌ３
により算出することができる。
即ち、［数３］式によれば、第１のデータＬ１から第３のデータＬ３を減算した減算データを算出する。この減算データは、環境光の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。尚、反射率一定の被写体の反射率の情報があれば、第１のデータＬ１及び第３のデータＬ３に基づいて被写体の絶対距離も求めることが可能である。
＜第４の駆動モード＞
図７は、第１の実施形態のパルス光検出方式における第４の駆動モードの露光制御及び演算処理の実施形態を示す図である。
第４の駆動モードは、環境光の影響がなく、かつ被写体の反射率が一定である（反射率の影響がない）撮像環境の場合に設定されるモードである。
第４の駆動モードでは、図７の（Ａ）部分に示すように第１の露光制御の１回の露光制御のみが行われる。尚、図７の（Ａ）部分に示す第１の露光制御は、図４の（Ａ）部分に示した第１の駆動モードにおける第１の露光制御と同様のため、その詳細な説明は省略する。
図７の（Ｂ）部分に示すように第１の露光制御により距離画像センサ１４から取得される露光量に対応する出力データを、第１のデータＬ１とすると、この第１のデータＬ１は、被写体の相対距離に対応する距離情報Ｄ（＝Ｌ１）となる。
このようにして求めた被写体の相対距離に対応する距離情報Ｄは、第４の駆動モードが適用される撮像条件からも明らかなように、環境光及び被写体の反射率の影響がないものとなる。尚、反射率一定の被写体の反射率の情報があれば、被写体の絶対距離も求めることが可能である。
次に、第２の実施形態のパルス光検出方式における駆動モードについて説明する。
第２の実施形態のパルス光検出方式は、第１の実施形態のパルス光検出方式とは、以下に詳述するように第１の駆動モード及び第２の駆動モードにおける露光制御及び演算処理が相違する。
＜第１の駆動モード＞
図８は、第２の実施形態のパルス光検出方式における第１の駆動モードの露光制御及び演算処理を示す図である。
第１の駆動モードは、環境光及び被写体の反射率の影響がある撮像環境の場合に設定されるモードである。
第１の駆動モードでは、図８の（Ａ）部分、（Ｂ）部分及び（Ｃ）部分に示すように第１の露光制御、第２の露光制御、及び第３の露光制御が行われる。
図８の（Ａ）部分に示す第１の露光制御は、パルス光発光部２２からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサ１４の対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、図４の（Ａ）部分に示した第１の実施形態のパルス光検出方式における第１の駆動モードの第１の露光制御に相当する。
図８の（Ｂ）部分に示す第２の露光制御は、パルス光発光部２２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、本例ではパルス光発光部２２から発光するパルス光の発光タイミングに同期して露光を開始し、第１の露光制御による露光時間と同じ時間だけ露光制御する。換言すると、第２の露光制御は、図８の（Ａ）部分に示した第１の露光制御とは露光期間が重複せず、かつ第１の露光制御による露光時間と露光時間が連続し、更に第１の露光制御により距離画像センサ１４から得られる出力と第２の露光制御により距離画像センサ１４から得られる出力とを合計すると、被写体にて反射したパルス光を全て露光した出力が得られる露光制御である。
具体的には、第２の露光制御は、パルス光発光部２２から発光するパルス光の発光タイミングに同期して露光を開始し、パルス光の発光時間の半幅の時間経過時に同期して露光を終了させる露光制御である。
また、距離画像センサ１４の２次元配列された複数の受光素子を、第１の露光制御用の第１の受光素子群と、第２の露光制御用の第２の受光素子群とに分け、第１の受光素子群に対する露光制御を第１の露光制御にて行い、第２の受光素子群に対する露光制御を第２の露光制御にて行うことが好ましい。また、第１の受光素子群と第２の受光素子群とは、チェッカーフラグパターン状に配置されていることが好ましい。
図８の（Ｃ）部分に示す第３の露光制御は、パルス光発光部２２からパルス光を発光させずに被写体からの反射光を露光する露光制御であり、本例では、第１の露光制御による露光時間と第２の露光制御による露光時間とを合計した露光時間（第１の露光制御による露光時間、又は第２の露光制御による露光時間の２倍の露光時間）だけ露光制御する。
図８の（Ｄ）部分に示すように第１の露光制御、第２の露光制御及び第３の露光制御により距離画像センサ１４から取得される各露光量に対応する出力データを、それぞれ第１のデータＬ１、第２のデータＬ２、及び第３のデータＬ３とすると、被写体の相対距離に対応する距離情報Ｄは、次式、
［数４］
Ｄ＝（Ｌ１−Ｌ３／２）÷（Ｌ１＋Ｌ２−Ｌ３）
により算出する。
即ち、［数４］式によれば、第１のデータＬ１から第３のデータＬ３の２分の１（露光時間が２倍のため）を減算した第１の減算データ（Ｌ１−Ｌ３／２）を算出し、また、第１のデータＬ１と第２のデータＬ２とを加算し、この加算データから第３のデータＬ３を減算した第２の減算データ（Ｌ１＋Ｌ２−Ｌ３）を算出する。第１の減算データは、環境光の影響が除去された被写体の距離と反射率とを含むデータであり、第２の減算データは、環境光の影響が除去された被写体の反射率を示すデータである。そして、第１の減算データを第２の減算データで除算した除算データを算出する。この除算データは、環境光の影響及び被写体の反射率の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。
尚、図８の（Ｃ）部分に示した第３の露光制御による露光時間を、２分の１の露光時間（第１の露光制御による露光時間、又は第２の露光制御による露光時間と同じ露光時間）にすることができ、この場合、上記［数４］式の代わりに、次式を使用する。
［数５］
Ｄ＝（Ｌ１−Ｌ３）÷（Ｌ１＋Ｌ２−２Ｌ３）
＜第２の駆動モード＞
図９は、第２の実施形態のパルス光検出方式における第２の駆動モードの露光制御及び演算処理を示す図である。
第２の駆動モードは、環境光の影響がなく、被写体の反射率の影響がある撮像環境の場合に設定されるモードである。
第２の駆動モードでは、図９の（Ａ）部分及び（Ｂ）部分に示すように第１の露光制御及び第２の露光制御が行われる。尚、図９の（Ａ）部分及び（Ｂ）部分に示す第１の露光制御及び第２の露光制御は、図８の（Ａ）部分及び（Ｂ）部分に示した第１の駆動モードにおける第１の露光制御及び第２の露光制御と同様のため、その詳細な説明は省略する。
図９の（Ｃ）部分に示すように第１の露光制御及び第２の露光制御により距離画像センサ１４から取得される各露光量に対応する出力データを、それぞれ第１のデータＬ１及び第２のデータＬ２とすると、被写体の相対距離に対応する距離情報Ｄは、次式、
［数６］
Ｄ＝Ｌ１÷（Ｌ１＋Ｌ２）
により算出する。
即ち、［数６］式によれば、環境光の影響がない第１のデータＬ１を、第１のデータＬ１と第２のデータＬ２とを加算した加算データ（Ｌ１＋Ｌ２）（環境光の影響がない被写体の反射率を示すデータ）で除算した除算データを算出する。この除算データは、被写体の反射率の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。
図１に戻って、ＣＰＵ２０内の駆動モード設定部２０Ａは、上述した第１の駆動モードから第４の駆動モードのうちのいずれかの駆動モードを設定する部分であり、撮像環境に応じて自動的に駆動モードを設定し、又は使用者が駆動モード選択部２６を手動操作して選択した駆動モードに設定する。
明るさ検出部２０Ｃは、環境光の明るさを検出する部分であり、パルス光発光部２２からパルス光を発光させずに露光制御（図４の（Ｃ）部分に示した第３の露光制御に相当する露光制御）したときの距離画像センサ１４からのセンサ出力の積算平均値を、環境光の明るさを示す情報として駆動モード設定部２０Ａに出力する。例えば、夜間の撮像環境の場合、明るさ検出部２０Ｃにより検出される環境光の明るさは、測定精度に対応して設定された閾値以下になる。また、人工光源のみの屋内の撮像環境の場合、人工光源には通常近赤外光が含まれていないため、明るさ検出部２０Ｃにより検出される環境光の明るさは、測定精度に対応して設定された閾値以下になる。尚、第１の露光制御及び第２の露光制御において、パルス光以外に環境光を露光すると、距離の測定精度が低下する。上記閾値は、必要とする測定精度に対応して設定される値であり、測定精度を高くする程、０に近い閾値に設定する必要がある。
判別部２０Ｄは、測距する被写体の反射率が一定か否かを判別する部分であり、例えば、距離画像取得装置１０が特定の被写体（工作機械の一部、人物の顔等）を追尾し、追尾する被写体の距離を測定する用途で使用される場合、被写体の反射率は一定であると判別する。判別部２０Ｄにより判別された判別結果は、駆動モード設定部２０Ａに出力される。
駆動モード設定部２０Ａは、駆動モード選択部２６により自動モードが選択され、自動的に駆動モードを設定する場合には、明るさ検出部２０Ｃから入力する環境光の明るさを示す情報及び判別部２０Ｄから入力する被写体の反射率が一定か否かを示す判別情報に基づいて第１の駆動モードから第４の駆動モードのうちの最適な駆動モードを設定する。
即ち、駆動モード設定部２０Ａは、明るさ検出部２０Ｃから入力する環境光の明るさを示す情報及び判別部２０Ｄから入力する判別情報に基づいて、環境光の明るさが閾値よりも大きい（環境光の影響がある）と判別し、かつ被写体の反射率が一定でないと判別すると、図４又は図８に示した第１の駆動モードを設定する。
同様に駆動モード設定部２０Ａは、環境光の明るさが閾値以下である（環境光の影響がない）と判別し、かつ被写体の反射率が一定であると判別すると、図５又は図９に示した第２の駆動モードを設定し、環境光の明るさが閾値よりも大きいと判別し、かつ被写体の反射率が一定であると判別すると、図６に示した第３の駆動モードを設定し、環境光の明るさが閾値以下であると判別し、かつ被写体の反射率が一定であると判別すると、図７に示した第４の駆動モードを設定する。
また、駆動モード設定部２０Ａは、駆動モード選択部２６により手動モードが選択され、第１の駆動モードから第４の駆動モードのうちのいずれか１つの駆動モードが手動操作により選択されていると、手動で選択された駆動モードに設定する。
駆動モード設定部２０Ａにより第１の駆動モードから第４の駆動モードのうちのいずれか１つの駆動モードが設定されると、設定された駆動モードを示す情報は、露光制御部２４に加えられる。
露光制御部２４は、入力する駆動モードに応じて、図４から図９を用いて説明したようにパルス光発光部２２のパルス光の発光制御、及び距離画像センサ１４の露光制御（第１の露光制御、第２の露光制御及び第３の露光制御のうちの第１の露光制御を含む露光制御）を行う。
距離画像生成部２０Ｂは、露光制御部２４による露光制御に応じて距離画像センサ１４からのセンサ出力（第１の露光制御、第２の露光制御又は第３の露光制御により距離画像センサ１４が露光する露光量に対応する第１のデータＬ１、第２のデータＬ２又は第３のデータＬ３）をインターフェース回路１８を介して取得する。そして、第１の駆動モードが設定されている場合には、第１の露光制御、第２の露光制御及び第３の露光制御による露光量に対応する第１のデータＬ１、第２のデータＬ２及び第３のデータＬ３に基づいて、前述した［数１］式又は［数４］式により距離画像センサ１４の受光素子毎に被写体の距離（相対距離）を算出し、全ての受光素子に対応する被写体の距離を算出することで、測距領域内の被写体の相対距離に対応する距離画像を生成する。
同様に、距離画像生成部２０Ｂは、第２の駆動モードが設定されている場合には、第１の露光制御及び第２の露光制御による露光量に対応する第１のデータＬ１及び第２のデータＬ２に基づいて、前述した［数２］式又は［数６］式により距離画像センサ１４の受光素子毎に被写体の距離を算出し、全ての受光素子に対応する被写体の距離を算出することで、測距領域内の被写体の相対距離に対応する距離画像を生成し、第３の駆動モードが設定されている場合には、第１の露光制御及び第３の露光制御による露光量に対応する第１のデータＬ１及び第３のデータＬ３に基づいて、前述した［数３］式により距離画像センサ１４の受光素子毎に被写体の距離を算出し、全ての受光素子に対応する被写体の距離を算出することで、測距領域内の被写体の相対距離に対応する距離画像を生成し、第４の駆動モードが設定されている場合には、第１の露光制御による露光量に対応する第１のデータＬ１に基づいて距離画像センサ１４の受光素子毎に被写体の距離を算出し、全ての受光素子に対応する被写体の距離を算出することで、測距領域内の被写体の相対距離に対応する距離画像を生成する。
［距離画像取得方法］
本発明に係る画像処理方法の実施形態は、第１の駆動モードから第４の駆動モードを有し、これらの４つの駆動モードのうちのいずれか１つの駆動モードを設定し、設定した駆動モードにて露光制御及び演算処理を行う。
駆動モードの設定は、図１０のフローチャートに示す判断に基づいて行う（駆動モード設定ステップ）。
即ち、被写体の反射率が一定か否かを判断し（ステップＳ１０）、一定でない場合（「No」の場合）には、ステップＳ１２に遷移し、一定の場合（「Yes」の場合）には、ステップＳ１４に遷移する。
ステップＳ１２及びＳ１４では、それぞれ環境光の明るさが、閾値（環境光の明るさが測定精度に影響を与えるか否かを判別するための閾値であって、測定精度に対応して設定された閾値）以下か否かを判別し、ステップＳ１２及びＳ１４において、閾値以下と判別されると（「Yes」の場合）、それぞれ第２の駆動モード及び第４の駆動モードを設定する。
一方、ステップＳ１２及びＳ１４において、閾値よりも大きいと判別されると（「No」の場合）、それぞれ第１の駆動モード及び第３の駆動モードを設定する。
これにより、第１の駆動モードは、環境光及び被写体の反射率の影響がある撮像環境の場合に設定され、第２の駆動モードは、環境光の影響がなく、被写体の反射率の影響がある撮像環境の場合に設定され、第３の駆動モードは、被写体の反射率が一定であり（反射率の影響がなく）、環境光の影響がある撮像環境の場合に設定され、第４の駆動モードは、環境光の影響がなく、かつ被写体の反射率が一定である（反射率の影響がない）撮像環境の場合に設定されることになる。
尚、上記駆動モードの設定は、図１に示した駆動モード設定部２０Ａが、明るさ検出部２０Ｃから入力する環境光の明るさを示す情報及び判別部２０Ｄから入力する被写体の反射率が一定か否かを示す判別情報に基づいて自動的に行うようにしてもよいし、駆動モード選択部２６での使用者による駆動モードの選択操作に基づいて行うようにしてもよい。
次に、第１の駆動モードから第４の駆動モードの各駆動モードにおける距離画像取得方法について説明する。以下、第１の実施形態のパルス光検出方式における駆動モードの場合について説明するが、第２の実施形態のパルス光検出方式における駆動モードも同様に行うことができる。
図１１は、第１の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。
図１１において、まず、パルス光発光部２２からパルス光を発光させ（ステップＳ１００）、図４の（Ａ）部分に示した第１の露光制御を行う（ステップＳ１１０）。この第１の露光制御により距離画像センサ１４の各受光素子がそれぞれ露光する露光量に対応する第１のデータＬ１を距離画像センサ１４から取得する。
続いて、パルス光発光部２２から２発目のパルス光を発光させ（ステップＳ１２０）、図４の（Ｂ）部分に示した第２の露光制御を行う（ステップＳ１３０）。この第２の露光制御により距離画像センサ１４の各受光素子がそれぞれ露光する露光量に対応する第２のデータＬ２を距離画像センサ１４から取得する。
次に、パルス光発光部２２からパルス光を発光させずに、図４の（Ｃ）部分に示した第３の露光制御を行う（ステップＳ１４０、Ｓ１５０）。この第３の露光制御により距離画像センサ１４の各受光素子がそれぞれ露光する露光量に対応する第３のデータＬ３を距離画像センサ１４から取得する。尚、上記ステップＳ１００からステップＳ１５０は、第１の駆動モードにおける露光制御ステップに対応する。
次に、ステップＳ１１０、Ｓ１３０及びＳ１５０で取得した第１の露光制御、第２の露光制御及び第３の露光制御による各露光量に対応する第１のデータＬ１、第２のデータＬ２及び第３のデータＬ３に基づいて、前述した［数１］式に示す演算を実行し、被写体の相対距離に対応する距離情報Ｄを距離画像センサ１４の受光素子毎に算出する（ステップＳ１６０）。
ステップＳ１６０により算出された距離画像センサ１４の受光素子毎の距離情報Ｄに基づいて距離画像を生成する（ステップＳ１７０）。尚、ステップＳ１６０及びＳ１７０は、距離画像生成ステップに対応する。
上記ステップＳ１００からステップＳ１７０の処理は、一定のインターバルで繰り返し実行してもよく、これによれば、一定のインターバルで連続する動画の距離画像を得ることができる。
図１２は、第２の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。尚、図１１に示した第１の駆動モードと共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
第２の駆動モードが設定された場合の露光制御ステップは、第１の駆動モードにおけるステップＳ１００からステップＳ１３０に対応し、ステップＳ１４０及びステップＳ１５０の処理が省略される。
次に、ステップＳ１１０及びＳ１３０で取得した第１の露光制御及び第２の露光制御による各露光量に対応する第１のデータＬ１及び第２のデータＬ２に基づいて、前述した［数２］式に示す演算を実行し、被写体の相対距離に対応する距離情報Ｄを距離画像センサ１４の受光素子毎に算出する（ステップＳ２００）。
ステップＳ２００により算出された距離画像センサ１４の受光素子毎の距離情報Ｄに基づいて距離画像を生成する（ステップＳ２１０）。
環境光の影響がなく、被写体の反射率の影響がある撮像環境の場合に設定される第２の駆動モードは、第１の駆動モードに比べて撮像回数が少なく、かつ距離情報Ｄを算出するための演算が少ないため、ショットノイズも少なく、距離の測定精度が高くなる。
図１３は、第３の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。尚、図１１に示した第１の駆動モードと共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
第３の駆動モードが設定された場合の露光制御ステップは、第１の駆動モードにおけるステップＳ１００、Ｓ１１０、Ｓ１４０及びＳ１５０に対応し、ステップＳ１２０及びステップＳ１３０の処理が省略される。
次に、ステップＳ１１０及びＳ１５０で取得した第１の露光制御及び第３の露光制御による各露光量に対応する第１のデータＬ１及び第３のデータＬ３に基づいて、前述した［数３］式に示す演算を実行し、被写体の相対距離に対応する距離情報Ｄを距離画像センサ１４の受光素子毎に算出する（ステップＳ３００）。
ステップＳ３００により算出された距離画像センサ１４の受光素子毎の距離情報Ｄに基づいて距離画像を生成する（ステップＳ３１０）。
被写体の反射率の影響がなく、環境光の影響がある撮像環境の場合に設定される第３の駆動モードは、第１の駆動モードに比べて撮像回数が少なく、かつ距離情報Ｄを算出するための演算が少ないため、ショットノイズも少なく、距離の測定精度が高くなる。
図１４は、第４の駆動モードが設定された場合の距離画像取得方法を示すフローチャートである。尚、図１１に示した第１の駆動モードと共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
第４の駆動モードが設定された場合の露光制御ステップは、第１の駆動モードにおけるステップＳ１００及びＳ１１０に対応し、ステップＳ１２０からステップＳ１５０の処理が省略される。
次に、ステップＳ１１０で取得した第１の露光制御による露光量に対応する第１のデータＬ１（即ち、距離画像センサ１４の受光素子毎の距離情報Ｄ）に基づいて距離画像を生成する（ステップＳ４００）。
被写体の反射率の影響がなく、かつ環境光の影響がない撮像環境の場合に設定される第１の駆動モードは、被写体の反射率の影響及び環境光の影響を除去するために使用する露光量の取得が不要であり、複数の露光量間での演算も不要であるため、第１の駆動モードから第４の駆動モードのうちで最もショットノイズが少なく、距離の測定精度が高くなる。
本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の取得が可能なデジタルカメラ、ビデオカメラが本距離画像取得機能を搭載しているものでもよく、また、距離画像取得を主たる機能とするカメラ類の他に、本距離画像取得機能に加えて他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
＜スマートフォンの構成＞
図１５は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示すものである。
図１５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、ＬＥＤ発光部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
図１６は、図１５に示したスマートフォン５００の構成を示すブロック図である。図１６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
図１５に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１５に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮像する撮像装置である。このカメラ部５４１に前述した距離画像取得装置１０を適用することができる。
この場合、距離画像取得装置１０は、１つの撮像素子内にカラー撮像用の受光素子（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長帯域の光を透過させるＲＧＢの受光素子）と、距離画像用の近赤外光を透過させる受光素子とが混在したものが好ましい。即ち、カメラ部５４１の撮像素子としては、ＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、可視光カットフィルタが設けられた画素（赤外光のみに感度を有する画素）とが混在するものを使用することが好ましい。
ＬＥＤ発光部５４２は、白色ＬＥＤ及び近赤外ＬＥＤを有し、カラー画像の撮像モード時に被写体の光量が不足する場合には、白色ＬＥＤを点灯し、距離画像の撮像モード時には、駆動モードに応じて近赤外ＬＥＤからパルス光を発光する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に距離画像を示す距離画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１５に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
［その他］
本実施形態では、第１の駆動モードから第４の駆動モードを有し、これらの４つの駆動モードから一つの駆動モードを設定し、設定した駆動モードに対応する露光制御及び演算処理を行うようにしたが、これに限らず、本発明は、第１の駆動モードから第４の駆動モード（４つの駆動モード）のうちの２以上の複数の駆動モードを有し、複数の駆動モードから一つの駆動モードを設定し、設定した駆動モードに対応する露光制御及び演算処理を行うようにしてもよい。
また、本実施形態では、パルス光発光部から発光するパルス光を近赤外光としたが、これに限らず、例えば、近赤外光以外の波長帯域の光又は白色等の広帯域の白色光等でもよい。
１０…距離画像取得装置、１２…結像レンズ、１４…距離画像センサ、２０…中央処理装置（ＣＰＵ）、２０Ａ…駆動モード設定部、２０Ｂ…距離画像生成部、２０Ｃ…明るさ検出部、２０Ｄ…判別部、２２…パルス光発光部、２４…露光制御部、２６…駆動モード選択部、５００…スマートフォン、５４１…カメラ部、５４２…ＬＥＤ発光部

Claims (19)

  1. 複数の受光素子が２次元状に配列された距離画像センサと、
    測距領域内の被写体に対してパルス光を照射するパルス光発光部と、
    少なくとも前記パルス光発光部から照射され、前記被写体にて反射する前記パルス光の反射光を前記距離画像センサに結像させる結像レンズと、
    前記パルス光発光部からパルス光を発光させ、少なくとも被写体の距離に応じて前記距離画像センサの対応する受光素子での露光量に差が生じる第１の露光制御、前記パルス光発光部からパルス光を発光させ、前記パルス光に対する露光開始の位相が前記第１の露光制御の前記パルス光に対する露光開始の位相と異なる第２の露光制御、及び前記パルス光発光部からパルス光を発光させずに前記被写体からの反射光を露光する第３の露光制御のうちの前記第１の露光制御と前記第２の露光制御と前記第３の露光制御とを行う第１の駆動モード、前記第１の露光制御と前記第２の露光制御とを行う第２の駆動モード、前記第１の露光制御と前記第３の露光制御とを行う第３の駆動モード、及び前記第１の露光制御を行う第４の駆動モードのうちの２以上の駆動モードを有し、前記２以上の駆動モードのうちのいずれかの駆動モードを設定する駆動モード設定部と、
    前記駆動モード設定部により設定された駆動モードに応じて前記距離画像センサでの露光を制御する露光制御部と、
    前記露光制御部により露光が制御された前記距離画像センサの出力に基づいて前記測距領域内の被写体の距離に対応する距離画像を生成する距離画像生成部と、
    を備えた距離画像取得装置。
  2. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記パルス光の発光と同時に露光を開始し、前記距離画像センサの全ての受光素子が被写体にて反射した前記パルス光を全て露光する露光制御であり、
    前記距離画像生成部は、前記駆動モード設定部により前記第１の駆動モードが設定されると、前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した第１の減算データを算出し、前記第２のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した第２の減算データを算出し、前記第１の減算データを前記第２の減算データで除算した除算データに基づいて前記距離画像を生成する請求項１に記載の距離画像取得装置。
  3. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記第１の露光制御とは露光期間が重複せず、かつ前記第１の露光制御による露光時間と露光時間が連続し、前記第１の露光制御により前記距離画像センサから得られる出力と前記第２の露光制御により前記距離画像センサから得られる出力とを合計すると、被写体にて反射した前記パルス光を全て露光した出力が得られる露光制御であり、
    前記距離画像生成部は、前記駆動モード設定部により前記第１の駆動モードが設定されると、前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御の露光時間と同じ露光時間に対応する前記第３のデータを減算した第１の減算データを算出し、前記第１のデータと前記第２のデータとを加算した加算データから前記第１の露光制御による露光時間と前記第２の露光制御による露光時間とを合計した露光時間に対応する前記第３のデータを減算した第２の減算データを算出し、前記第１の減算データを前記第２の減算データで除算した除算データに基づいて前記距離画像を生成する請求項１に記載の距離画像取得装置。
  4. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記パルス光の
    発光と同時に露光を開始し、前記距離画像センサの全ての受光素子が被写体にて反射した前記パルス光を全て露光する露光制御であり、
    前記距離画像生成部は、前記駆動モード設定部により前記第２の駆動モードが設定されると、前記第１の露光制御及び前記第２の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第２のデータを使用し、前記第１のデータを前記第２のデータで除算した除算データに基づいて前記距離画像を生成する請求項１又は２に記載の距離画像取得装置。
  5. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記第１の露光制御とは露光期間が重複せず、かつ前記第１の露光制御による露光時間と露光時間が連続し、前記第１の露光制御により前記距離画像センサから得られる出力と前記第２の露光制御により前記距離画像センサから得られる出力とを合計すると、被写体にて反射した前記パルス光を全て露光した出力が得られる露光制御であり、
    前記距離画像生成部は、前記駆動モード設定部により前記第２の駆動モードが設定されると、前記第１の露光制御及び前記第２の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第２のデータを使用し、前記第１のデータを前記第１のデータと前記第２のデータとを加算した加算データで除算した除算データに基づいて前記距離画像を生成する請求項１又は３に記載の距離画像取得装置。
  6. 前記距離画像生成部は、前記駆動モード設定部により前記第３の駆動モードが設定されると、前記第１の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した減算データに基づいて前記距離画像を生成する請求項１から５のいずれか１項に記載の距離画像取得装置。
  7. 前記距離画像生成部は、前記駆動モード設定部により前記第４の駆動モードが設定されると、前記第１の露光制御により前記距離画像センサから取得した第１のデータに基づいて前記距離画像を生成する請求項１から６のいずれか１項に記載の距離画像取得装置。
  8. 前記被写体の環境光の明るさを検出する明るさ検出部を備え、
    前記駆動モード設定部は、前記明るさ検出部により検出される環境光の明るさが、測定精度に対応して設定された閾値以下のとき、前記第２の駆動モード及び前記第４の駆動モードのうちの一方の駆動モードを設定する請求項１に記載の距離画像取得装置。
  9. 測距する被写体の反射率が一定か否かを判別する判別部を備え、
    前記駆動モード設定部は、前記判別部により前記測距する被写体の反射率が一定であると判別されると、前記第３の駆動モード及び前記第４の駆動モードのうちの一方の駆動モードを設定する請求項１又は８に記載の距離画像取得装置。
  10. 前記判別部は、前記測距する被写体を追尾する場合、前記測距する被写体の反射率が一定であると判別する請求項９に記載の距離画像取得装置。
  11. 前記被写体の環境光の明るさを検出する明るさ検出部と、
    測距する被写体の反射率が一定か否かを判別する判別部と、を備え、
    前記駆動モード設定部は、前記明るさ検出部により検出される環境光の明るさが測定精度に対応して設定された閾値以下であり、かつ前記判別部により前記測距する被写体の反射率が一定であると判別されると、前記第４の駆動モードを設定する請求項１、８から１０のいずれか１項に記載の距離画像取得装置。
  12. 前記２以上の駆動モードのうちのいずれかの駆動モードを手動により選択する駆動モード選択部を有し、
    前記駆動モード設定部は、前記駆動モード選択部により選択された駆動モードを設定する請求項１から７のいずれか１項に記載の距離画像取得装置。
  13. 複数の受光素子が２次元状に配列された距離画像センサと、測距領域内の被写体に対してパルス光を照射するパルス光発光部と、少なくとも前記パルス光発光部から照射され、前記被写体にて反射する前記パルス光の反射光を前記距離画像センサに結像させる結像レンズと、を備えた距離画像取得装置において、
    前記パルス光発光部からパルス光を発光させ、少なくとも被写体の距離に応じて前記距離画像センサの対応する受光素子での露光量に差が生じる第１の露光制御、前記パルス光発光部からパルス光を発光させ、前記パルス光に対する露光開始の位相が前記第１の露光制御の前記パルス光に対する露光開始の位相と異なる第２の露光制御、及び前記パルス光発光部からパルス光を発光させずに前記被写体からの反射光を露光する第３の露光制御のうちの前記第１の露光制御と前記第２の露光制御と前記第３の露光制御とを行う第１の駆動モード、前記第１の露光制御と前記第２の露光制御とを行う第２の駆動モード、前記第１の露光制御と前記第３の露光制御とを行う第３の駆動モード、及び前記第１の露光制御を行う第４の駆動モードのうちの２以上の駆動モードを有し、前記２以上の駆動モードのうちのいずれかの駆動モードを設定する駆動モード設定ステップと、
    前記駆動モード設定ステップにより設定された駆動モードに応じて前記距離画像センサでの露光を制御する露光制御ステップと、
    前記露光制御ステップにより露光が制御された前記距離画像センサの出力に基づいて前記測距領域内の被写体の距離に対応する距離画像を生成する距離画像生成ステップと、
    を含む距離画像取得方法。
  14. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記パルス光の発光と同時に露光を開始し、前記距離画像センサの全ての受光素子が被写体にて反射した前記パルス光を全て露光する露光制御であり、
    前記駆動モード設定ステップにより前記第１の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した第１の減算データを算出し、前記第２のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した第２の減算データを算出し、前記第１の減算データを前記第２の減算データで除算した除算データに基づいて前記距離画像を生成する請求項１３に記載の距離画像取得方法。
  15. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記第１の露光制御とは露光期間が重複せず、かつ前記第１の露光制御による露光時間と露光時間が連続し、前記第１の露光制御により前記距離画像センサから得られる出力と前記第２の露光制御により前記距離画像センサから得られる出力とを合計すると、被写体にて反射した前記パルス光を全て露光した出力が得られる露光制御であり、
    前記駆動モード設定ステップにより前記第１の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御、前記第２の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ、第２のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御の露光時間と同じ露光時間に対応する前記第３のデータを減算した第１の減算データを算出し、前記第１のデータと前記第２のデータとを加算した加算データから前記第１の露光制御による露光時間と前記第２の露光制御による露光時間とを合計した露光時間に対応する前記第３のデータを減算した第２の減算データを算出し、前記第１の減算データを前記第２の減算データで除算した除算データに基づいて前記距離画像を生成する請求項１３に記載の距離画像取得方法。
  16. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記パルス光の発光と同時に露光を開始し、前記距離画像センサの全ての受光素子が被写体にて反射した前記パルス光を全て露光する露光制御であり、
    前記駆動モード設定ステップにより前記第２の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御及び前記第２の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御及び前記第２の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第２のデータを使用し、前記第１のデータを前記第２のデータで除算した除算データに基づいて前記距離画像を生成する請求項１３又は１４に記載の距離画像取得方法。
  17. 前記第２の露光制御は、前記パルス光発光部からパルス光を発光させ、前記第１の露光制御とは露光期間が重複せず、かつ前記第１の露光制御による露光時間と露光時間が連続し、前記第１の露光制御により前記距離画像センサから得られる出力と前記第２の露光制御により前記距離画像センサから得られる出力とを合計すると、被写体にて反射した前記パルス光を全て露光した出力が得られる露光制御であり、
    前記駆動モード設定ステップにより前記第２の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御及び前記第２の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御及び前記第２の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第２のデータを使用し、前記第１のデータを前記第１のデータと前記第２のデータとを加算した加算データで除算した除算データに基づいて前記距離画像を生成する請求項１３又は１５に記載の距離画像取得方法。
  18. 前記駆動モード設定ステップにより前記第３の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御及び前記第３の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御及び前記第３の露光制御によりそれぞれ前記距離画像センサから取得した第１のデータ及び第３のデータを使用し、前記第１のデータから前記第１の露光制御による露光時間と同じ露光時間に対応する前記第３のデータを減算した減算データに基づいて前記距離画像を生成する請求項１３から１７のいずれか１項に記載の距離画像取得方法。
  19. 前記駆動モード設定ステップにより前記第４の駆動モードが設定されると、前記露光制御ステップは前記第１の露光制御を行い、前記距離画像生成ステップは、前記第１の露光制御により前記距離画像センサから取得した第１のデータに基づいて前記距離画像を生成する請求項１３から１８のいずれか１項に記載の距離画像取得方法。
JP2017507320A 2015-03-26 2015-10-29 距離画像取得装置及び距離画像取得方法 Active JP6340477B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015064773 2015-03-26
JP2015064773 2015-03-26
PCT/JP2015/080579 WO2016151918A1 (ja) 2015-03-26 2015-10-29 距離画像取得装置及び距離画像取得方法

Publications (2)

Publication Number Publication Date
JPWO2016151918A1 JPWO2016151918A1 (ja) 2018-01-11
JP6340477B2 true JP6340477B2 (ja) 2018-06-06

Family

ID=56978780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017507320A Active JP6340477B2 (ja) 2015-03-26 2015-10-29 距離画像取得装置及び距離画像取得方法

Country Status (4)

Country Link
US (2) US10908288B2 (ja)
JP (1) JP6340477B2 (ja)
CN (1) CN107407728B (ja)
WO (1) WO2016151918A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6290512B2 (ja) * 2015-06-09 2018-03-07 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2018106671A2 (en) 2016-12-07 2018-06-14 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
DE102017205631A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Ermitteln eines Systemzustands eines LiDAR-Systems
WO2019070806A1 (en) 2017-10-08 2019-04-11 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP6950862B2 (ja) * 2017-10-31 2021-10-13 オムロン株式会社 光学式センサ及び検出方法
CN109975826A (zh) * 2017-12-28 2019-07-05 周秦娜 一种tof传感器获取深度数据的控制方法及装置
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
JP7354133B2 (ja) * 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
US11796679B2 (en) 2018-05-29 2023-10-24 Sony Semiconductor Solutions Corporation Time of flight sensor and method
EP3803266A4 (en) * 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
CN110943778B (zh) * 2018-09-25 2021-12-07 北京外号信息技术有限公司 光通信装置以及用于传输和接收信息的方法
WO2020066236A1 (ja) 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020196378A1 (ja) * 2019-03-26 2020-10-01 パナソニックＩｐマネジメント株式会社 距離画像の取得方法、及び、距離検出装置
JP2020173128A (ja) * 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
JP6805448B2 (ja) * 2019-04-23 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像システム、移動体、制御方法、及びプログラム
CN114073075B (zh) 2019-05-12 2024-06-18 魔眼公司 将三维深度图数据映射到二维图像上
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
CN110736610B (zh) * 2019-10-22 2021-08-20 歌尔光学科技有限公司 测量光学中心偏移的方法、装置、存储介质及深度相机
EP4065929A4 (en) 2019-12-01 2023-12-06 Magik Eye Inc. IMPROVEMENT OF TRIANGULATION-BASED THREE-DIMENSIONAL DISTANCE MEASUREMENTS WITH TIME OF FLIGHT INFORMATION
EP4081830A1 (en) * 2019-12-23 2022-11-02 Sony Semiconductor Solutions Corporation Time-of-flight object detection circuitry and time-of-flight object detection method
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
JP2022189184A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996022509A1 (en) 1995-01-19 1996-07-25 Laser Technology, Inc. Laser range finder
JPH11183163A (ja) * 1997-12-25 1999-07-09 Canon Inc 測距装置及びコンピュータ読み取り可能な記憶媒体
US6173122B1 (en) 1997-12-16 2001-01-09 Canon Kabushiki Kaisha Distance measuring apparatus and method
KR100508277B1 (ko) * 1997-12-23 2005-08-17 지멘스 악티엔게젤샤프트 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치
JP4369575B2 (ja) * 1999-11-19 2009-11-25 Ｈｏｙａ株式会社 ３次元画像検出装置
CN1208654C (zh) * 2000-12-07 2005-06-29 索尼公司 图像投影装置、投影镜像图形、激光驱动装置、摄影装置
JP4424088B2 (ja) * 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
JP5466808B2 (ja) * 2006-09-29 2014-04-09 株式会社トプコン 光波距離測定方法、距離測定プログラム及び距離測定システム
JP5073273B2 (ja) * 2006-11-21 2012-11-14 スタンレー電気株式会社 遠近判定方法およびその装置
JP5201825B2 (ja) 2006-12-13 2013-06-05 富士フイルム株式会社 距離画像取得装置及び方法
US7956988B1 (en) * 2007-02-06 2011-06-07 Alpha Technology, LLC Light detection and ranging systems and related methods
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子
EP2260325B1 (en) * 2008-02-29 2015-08-05 Leddartech Inc. Light-integrating rangefinding device and method
US7940377B1 (en) * 2008-12-05 2011-05-10 Sandia Corporation Passive background correction method for spatially resolved detection
JP2014021100A (ja) * 2012-07-24 2014-02-03 Toshiba Corp ３次元情報検出装置および３次元情報検出方法
JP2013173529A (ja) * 2013-04-11 2013-09-05 Mitsubishi Motors Corp ハイブリッド自動車の差動制限制御装置

Also Published As

Publication number Publication date
JPWO2016151918A1 (ja) 2018-01-11
US10908288B2 (en) 2021-02-02
WO2016151918A1 (ja) 2016-09-29
CN107407728B (zh) 2020-05-22
US20210116565A1 (en) 2021-04-22
CN107407728A (zh) 2017-11-28
US20180011194A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP6340477B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6360621B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6247793B2 (ja) 距離画像取得装置
JP6290512B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6244061B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6462183B2 (ja) 撮像装置及びフォーカス制御方法
US9721346B2 (en) Image assessment device, method, and computer readable medium for 3-dimensional measuring and capturing of image pair range
KR102085766B1 (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
JP5802846B2 (ja) 撮像装置
JP6175585B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
US20160381284A1 (en) Imaging device and focusing control method
US11494945B2 (en) Image analysis device, image analysis method, and program
US11816873B2 (en) Image analysis device, image analysis method, and program
JP2016036411A (ja) 生体情報測定装置および生体情報測定方法
JP2013179521A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180514

R150 Certificate of patent or registration of utility model

Ref document number: 6340477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250