WO2015075926A1 - 測距撮像システム - Google Patents

測距撮像システム Download PDF

Info

Publication number
WO2015075926A1
WO2015075926A1 PCT/JP2014/005821 JP2014005821W WO2015075926A1 WO 2015075926 A1 WO2015075926 A1 WO 2015075926A1 JP 2014005821 W JP2014005821 W JP 2014005821W WO 2015075926 A1 WO2015075926 A1 WO 2015075926A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
imaging system
signal
ranging
subject
Prior art date
Application number
PCT/JP2014/005821
Other languages
English (en)
French (fr)
Inventor
伊藤　順治
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201480061442.5A priority Critical patent/CN105723239B/zh
Priority to CN201811080224.2A priority patent/CN108919294B/zh
Priority to JP2015548991A priority patent/JP6489320B2/ja
Publication of WO2015075926A1 publication Critical patent/WO2015075926A1/ja
Priority to US15/156,002 priority patent/US10302766B2/en
Priority to US16/136,004 priority patent/US11175406B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters

Abstract

　測距撮像システム（１０）は、光照射を指示する発光信号と露光を指示する露光信号とを発生する制御部（６０）と、発光信号に従ってパルス光を照射するパルス光源部（２０）と、固体撮像素子（４０）を備え露光信号に従って露光および撮像をする撮像部（３０）と、距離情報を算出する演算部（５０）とを備え、固体撮像素子（４０）は、被写体からの放射光を受光する第１の画素とパルス光の反射光を受光する第２の画素を有し、演算部（５０）は、第１の画素からの画像撮像信号と、第２の画素からの撮像信号とを用いて距離情報を算出する。

Description

測距撮像システム
　本開示は、測距撮像システムに関する。
　これまで様々な測距システムが提案されている。そのなかで、特許文献１に開示された従来技術の測距システムは、各部を統括的に制御する制御部と、撮影対象空間に向けて赤外（ＩＲ）光を発するＩＲ発光部と、撮影対象空間からの可視光およびＩＲ光を集光するレンズと、レンズによって集光された光を光電変換して画素信号を出力する固体撮像装置とを備え、可視光画像と距離画像を形成する。
　また、図３２は、従来技術の測距システムの概略構成を示す機能ブロック図である。図３２に示すように、測距システムに備わる固体撮像装置は、青色（Ｂ）光を受光してＢ信号電荷を蓄積するＢ受光部と、緑色（Ｇ）光を受光してＧ信号電荷を蓄積するＧ受光部と、赤色（Ｒ）光を受光してＲ信号電荷を蓄積するＲ受光部と、赤外（ＩＲ）光を受光してＩＲ信号電荷を蓄積するＩＲ受光部を有している。
特開２００８－８７００号公報
　しかしながら、特許文献１に開示された従来技術では、Ｂ、Ｇ、Ｒ各受光部の信号により可視光画像を形成し、ＩＲ受光部の信号により距離画像（なお、距離画像から算出できる距離は、被写体像までの距離に限定される）を形成する。さらに、可視光画像と距離画像を独立して読み出すことを目的とし、被写体画像と距離画像を用いた画像処理は、画像から人物を抽出して背景を入れ替える画像合成のみである。
　つまり、特許文献１では測距に使用する信号は、ＩＲ受光部の信号による距離画像のみであるため、測距性能が低いという課題を有していた。
　前記課題に鑑み、高い測距性能を備えた測距撮像システムを提供する。
　上記課題を解決するために、本開示の一態様に係る測距撮像システムは、光照射を指示する発光信号と、露光を指示する露光信号とを発生する信号発生部と、前記発光信号に従ってパルス光を照射するパルス光源部と、固体撮像素子を備え前記露光信号に従って露光および撮像をする撮像部と、距離情報を算出する演算部とを備え、前記固体撮像素子は、被写体からの放射光を受光する第１の画素と前記パルス光の反射光を受光する第２の画素を有し、前記演算部は、前記第１の画素からの画像撮像信号と、前記第２の画素からの撮像信号を用いて距離情報を算出する。
　また、本開示の一態様に係る前記演算部は、前記画像撮像信号と前記撮像信号により算出した前記被写体までの距離を用いて、前記被写体の寸法を算出してもよい。
　また、本開示の一態様に係る測距撮像システムは、前記画像撮像信号により被写全体から少なくとも一つの前記被写体を検知する検知部を備え、前記パルス光源部は、検知した前記被写体に対して前記光照射を行い、前記演算部は、前記撮像信号を用いて、前記距離情報として前記被写体までの距離を算出してもよい。
　また、本開示の一態様に係る測距撮像システムは、前記画像撮像信号により被写全体から少なくとも一つの前記被写体を検知する検知部を備え、前記パルス光源部は、検知した前記被写体に対して前記光照射を行い、前記演算部は、前記撮像信号により前記被写体までの距離を算出し、更に、前記撮像信号と前記被写体までの距離を用いて、前記被写体の寸法を算出してもよい。
　また、本開示の一態様に係るパルス光源部は、前記被写体の一部の領域に前記パルス光を照射し、前記演算部は、前記被写体の前記一部の領域に基づいて前記被写体までの距離と前記被写体の寸法とを算出してもよい。
　また、本開示の一態様に係る測距撮像システムは、輸送機器に搭載され、前記被写体は他の輸送機器であり、前記測距撮像システムは、前記他の輸送機器までの距離を用いて、前記測距撮像システムを搭載した前記輸送機器の運転制御の少なくとも一部行ってもよい。
　また、本開示の一態様に係る測距撮像システムは、携帯機器に搭載され、前記携帯機器の表示部に表示した前記被写体の寸法を算出してもよい。
　また、本開示の一態様に係る前記パルス光源部は、ラインレンズを備えてもよい。
　また、本開示の一態様に係る測距撮像システムは、前記被写体上の前記パルス光と連動する光を照射する第２の光源を備えてもよい。
　また、本開示の一態様に係る測距撮像システムは、前記画像撮像信号により測距環境の状態を検知する検知部を備え、前記演算部は、前記測距環境の状態に応じて前記画像撮像信号もしくは前記撮像信号を選択して前記距離情報を算出する、又は、前記測距環境の状態に応じて前記画像撮像信号および前記撮像信号の一方を前記画像撮像信号および前記撮像信号の他方により補正して前記距離情報を算出してもよい。
　また、本開示の一態様に係る前記演算部は、前記測距撮像システムの記憶情報に基づき、前記画像撮像信号もしくは前記撮像信号を選択して前記距離情報を算出する、又は、前記画像撮像信号および前記撮像信号の一方を前記画像撮像信号および前記撮像信号の他方により補正して前記距離情報を算出してもよい。
　また、本開示の一態様に係る前記演算部は、前記画像撮像信号を用いて現在のフレームと前のフレームを比較することにより距離を算出してもよい。
　また、本開示の一態様に係る測距撮像システムは、撮像倍率、昼夜、天候、前記被写体までの距離、又は、前記被写体もしくは前記測距撮像システムの動き速度により、前記距離情報を算出するための前記画像撮像信号または前記撮像信号を選択してもよい。
　また、本開示の一態様に係る測距撮像システムは、輸送機器に搭載されてもよい。
　また、本開示の一態様に係る前記演算部は、前記撮像信号を用いた前記距離情報は、タイムオブフライト方式で距離を算出してもよい。
　また、本開示の一態様に係る前記パルス光源部はレーザー光を照射してもよい。
　また、本開示の一態様に係る前記パルス光源部は、単色の発光素子、又は複数色の発光素子を搭載してもよい。
　また、本開示の一態様に係る前記第１の画素は可視光を受光し、前記第２の画素は可視光以外の光を受光してもよい。
　また、本開示の一態様に係る前記可視光以外の光は、赤外光であってもよい。
　また、本開示の一態様に係る前記第１の画素は、さらに前記パルス光の反射光を受光し、前記第２のさらに被写体からの放射光を受光してもよい。
　また、本開示の一態様に係る前記パルス光源部は、光源と光源可動部を備え、前記光源可動部は、前記光源からの光源光を分割し複数の前記パルス光を照射してもよい。
　また、本開示の一態様に係る前記光源可動部は、回折格子であってもよい。
　また、本開示の一態様に係る前記測距撮像システムは、前記画像撮像信号により、前記複数のパルス光の照射方向、前記被写体への照射ポイントの配置、または、前記複数のパルス光の形状を決定してもよい。
　また、本開示の一態様に係る前記複数のパルス光は、非一定周期タイミングまたは当該複数のパルス光ぞれぞれの固有タイミングで照射してもよい。
　また、本開示の一態様に係る前記複数のパルス光の分散度を用いて前記距離情報を算出してもよい。
　本開示に係る測距撮像システムによれば、高い測距精度を実現することが出来る。
図１は、実施の形態の基本構成に係る測距撮像システムの基本構成例の概略を示す機能ブロック図である。 図２Ａは、実施の形態の基本構成に係る測距撮像システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 図２Ｂは、図２Ａの固体撮像装置の具体的な一例を示す平面構造図である。 図２Ｃは、図２Ａの固体撮像装置の変形例を示す平面構造図である。 図３は、実施の形態の基本構成に係る発光信号及び露光信号による動作例を示すタイミングチャートである。 図４は、実施の形態１に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図５は、実施の形態１に係る発光信号及び露光信号による動作例を示すタイミングチャートである。 図６は、実施の形態１に係る測距撮像システムの第１の搭載例を示す概略搭載図である。 図７は、実施の形態１に係る測距撮像システムの第２の搭載例を示す概略搭載図である。 図８は、実施の形態１に係る測距撮像システムの第２の搭載例における動作の一例を示す図である。 図９は、実施の形態１に係る測距撮像システムの第３の搭載例を示す概略搭載図である。 図１０は、実施の形態２に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図１１は、実施の形態２に係る測距撮像システムを輸送機器（自動車）に搭載した場合の表示部の表示画像例を示す図である。 図１２は、実施の形態２に係る測距撮像システムを自動車への搭載例および表示部の表示画像例を示す図である。 図１３Ａは、実施の形態２に係る表示部の表示画像例を示す説明図である。 図１３Ｂは、実施の形態２に係る表示部の他の表示画像例を示す説明図である。 図１４は、実施の形態３に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図１５は、実施の形態３に係る測距撮像システムを自動車に搭載した搭載例および表示部の表示画像例を示す図である。 図１６は、実施の形態４に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図１７Ａは、実施の形態４に係る測距撮像システムを自動車に搭載した場合に通常撮影された画像例を示す図である。 図１７Ｂは、実施の形態４に係る測距撮像システムを自動車に搭載した場合に広角撮影された画像例を示す図である。 図１８Ａは、実施の形態４に係る測距撮像システムを自動車に搭載した場合に、昼間に撮像された画像例を示す図である。 図１８Ｂは、実施の形態４に係る測距撮像システムを自動車に搭載した場合に、夕方または夜間に撮像された画像例を示す図である。 図１９は、実施の形態５に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図２０は、実施の形態６に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図２１は、実施の形態６に係る回折格子を有するパルス光源部を図１０で示した測距撮像システムに適用した例を示す詳細構造図である。 図２２は、実施の形態６に係る図２０または図２１の測距撮像システムを自動車（輸送機器）に搭載した場合例を示す概要図である。 図２３は、実施の形態６に係る表示部の画面表示例を示す図である。 図２４Ａは、実施の形態６に係る複数の照射アクティブ光の照射領域の配置例を示す図である。 図２４Ｂは、実施の形態６に係る複数の照射アクティブ光の照射領域の配置例および対象物を示す図である。 図２５Ａは、実施の形態６に係る複数の照射アクティブ光の線状照射領域の他の配置例を示す図である。 図２５Ｂは、実施の形態６に係る複数の照射アクティブ光の線状照射領域の他の配置例および対象物を示す図である。 図２６Ａは、実施の形態６に係る照射ポイントの配置の変更、あるいは、レーザー光の形状を変更するパルス光源部の例を示す図である。 図２６Ｂは、実施の形態６に係る照射ポイントの配置の変更、あるいは、レーザー光の形状を変更するパルス光源部の他の例を示す図である。 図２７は、実施の形態６に係る測距撮像システムの概略構成例を示す機能ブロック図である。 図２８は、一般的なシステムにおける発光信号、および複数の照射アクティブ光のタイミングチャートである。 図２９は、実施の形態６に係る非一定周期タイミングでの発光信号、および複数の照射アクティブ光のタイミングチャートである。 図３０は、実施の形態６に係る固有タイミングでの発光信号、および複数の照射アクティブ光のタイミングチャートである。 図３１は、実施の形態６に係る光源光を、回折格子により複数の照射アクティブ光に分割した例を示す説明図である。 図３２は、従来技術の測距システムの概略構成を示す機能ブロック図である。
　以下、本開示の実施の形態に係る測距撮像システムについて、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。
　また、以下の実施形態１～５に係る測距撮像システムは、組み合わせて用いることも可能である。
　（実施の形態の基本構成）
　図１は、実施の形態の基本構成に係る測距撮像システム１０の基本構成例の概略を示す機能ブロック図である。
　図１に示すように、測距撮像システム１０は、撮像部３０と、パルス光源部２０と、制御部６０と、演算部５０とを備える。
　パルス光源部２０は、制御部６０で発生する発光信号を受信するタイミングに従って被写体に対する測距のための光照射を行う。また、パルス光源部２０は、駆動回路、コンデンサ及び発光素子等を有し、コンデンサに保持した電荷を発光素子へ供給することでパルス光（以下、照射アクティブ光と呼ぶ）を発する。照射アクティブ光は、一例として、近赤外光を含む赤外光（ＩＲ光）である。また、発光素子としてはレーザーダイオードや発光ダイオード（ＬＥＤ）等の様々な発光素子を用いることが出来る。
　また、発光素子は、単色の発光素子でなくてもよい。例えば、可視光を発振する発光素子から選択的に光（例えば、近赤外光）を照射してもよい。つまり、赤色の発光素子、青色の発光素子、黄色の発光素子等による複数種類色の発光素子を組み合わせることにより、発振される光の波長領域の中から、選択的な光（例えば、近赤外光）を照射することも出来る。
　また、照射アクティブ光は、様々な方向に分散する光（いわゆる、一般的な光）の他に、指向性や収束性に優れ、また、発生する電磁波の波長を一定に保つことができるレーザー光を照射アクティブ光として照射することも出来る。
　また、制御部６０は、パルス光源部２０に対して照射アクティブ光の照射を指示する発光信号を発生する。さらに、制御部６０は、撮像部３０に対して照射アクティブ光の反射光（以下、反射アクティブ光）の露光を指示する露光信号と、太陽光、室内照明光などの外光による通常の被写体光であり、言い換えると、照射アクティブ光に起因せず被写体から発せられる放射光（以下、パッシブ光と呼ぶ）の露光を指示する露光信号を発生する。このように、制御部６０は、光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部としての機能を有する。
　また、撮像部３０は、カメラレンズ、固体撮像素子４０（イメージセンサ）等を備え、露光信号に従って露光および撮像をする。
　固体撮像素子４０は、露光信号により、被写体からのパッシブ光を受光して画像撮像信号を出力する。
　また、固体撮像素子４０は、露光信号により、パルス光源部２０からの照射アクティブ光が被写体で反射した反射アクティブ光を受光して撮像信号を出力する。
　また、演算部５０は、撮像部３０からの画像撮像信号、撮像信号の両方の信号から被写体に関する距離情報を出力する。この詳細は、後述する実施の形態を用いて説明する。
　なお、本実施の形態は、画像撮像信号、撮像信号をデジタル化して出力するＡ／Ｄコンバータ等の回路は固体撮像素子４０に搭載されている場合も含む。
　なお、本実施の形態では、制御部６０、撮像部３０及び演算部５０は、その一部又はすべてが、半導体基板にワンチップで搭載される場合も含む。
　また、本実施の形態に係る測距画像システムでは、距離計測できる情報は、被写体までの距離に限定されるものではなく、例えば、被写体の寸法（高さ、幅）などの、様々な距離（寸法）を出力することができる。この詳細は、後述する実施の形態を用いて説明する。
　図２Ａは、実施の形態の基本構成に係る固体撮像素子４０の構成例の平面構造図である。
　図２Ａより、固体撮像素子４０は、パッシブ光を受光する画素（以下、第１の画素あるいはパッシブ光用画素と呼ぶ）と反射アクティブ光を受光する画素（以下、第２の画素あるいはアクティブ光用画素と呼ぶ）をそれぞれ備える。
　図２Ｂは、図２Ａの固体撮像装置の具体的な一例を示す平面構造図である。図２Ｂの例は、パッシブ光用画素としてＲ、Ｇ、Ｂを透過する各フィルタを設置した画素と、アクティブ光用画素としてＩＲを透過するフィルタを設置した画素を備えている。つまり、図２Ｂの固体撮像素子４０を測距撮像システム１０に搭載した場合は、パルス光源部２０から可視光以外の光であるＩＲ光を照射し、アクティブ光用画素は可視光以外の光であるＩＲ光を受光する。
　なお、図２Ｃは、図２Ａの固体撮像装置の変形例を示す平面構造図である。本実施の形態では、固体撮像素子４０は、図２Ａ、図２Ｂの構成に変えて、図２Ｃに示すようにパッシブ光用画素とアクティブ画素が兼用画素であっても良い。すなわち、パッシブ光用画素（第１の画素）はさらにパルス光（照射アクティブ光）の反射光（反射アクティブ光）を受光してもよい。アクティブ光用画素（第２の画素）は、さらに被写体からの放射光（パッシブ光）を受光してもよい。この場合は、パッシブ光および反射アクティブ光を受光できる固体撮像素子４０内の受光面積（画素面積）が大きくなり、高感度撮像（高感度撮影）が出来る等の利点を有する。
　また、パッシブ光用画素は、Ｒ、Ｇ、Ｂの各々の画素にはフィルタ透過により、パッシブ光を受光する。つまり、Ｒ、Ｇ、Ｂの各々の画素にＲ成分、Ｇ成分、Ｂ成分として画像撮像信号を出力する。一方、ＩＲ画素は反射アクティブ光を受光し、撮像信号を出力する。
　なお、パッシブ光用画素は、Ｒ、Ｇ、Ｂの各フィルタには赤外線カットフィルタを搭載してもよい。
　なお、パッシブ光用画素のＲ、Ｇ、Ｂ各フィルタは、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタであってもよい。この場合は、パッシブ光に含まれる赤外光も受光し、言い換えると、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各々の画素にＲ成分と前記一部の赤外成分、Ｇ成分と前記一部の赤外成分、Ｂ成分と前記一部の赤外成分を受光し、画像撮像信号を出力する。
　つまり、この場合は、パッシブ光をパッシブ光用画素で受光することで、可視光画像を撮像できると共に、例えば、暗闇の中でも画像撮像可能な赤外光画像を撮像することも出来る。
　なお、パッシブ光用画素は、ＩＲ光によって画像撮像信号を出力する画素であってもよい。
　なお、パッシブ光用画素は、Ｒ、Ｇ、Ｂの各フィルタがなくてもよい。つまり、この場合は、モノクローム画像を撮像することが出来る。または、各フィルタを形成せずにカラー画像が出来る画素構造（例えば、画素（フォトダイオード）を構成する不純物領域深さの変更、又は、不純物の種類あるいは濃度の変更、等）としてもよい。
　なお、アクティブ光用画素は、フィルタを形成せずに反射パッシブ光が露光出来る画素構造（例えば、画素（フォトダイオード）を構成する不純物領域の深さの変更、又は、不純物の種類あるいは濃度の変更、等）としてもよい。
　次に、図３は、実施の形態の基本構成に係る発光信号及び露光信号による動作例を示すタイミングチャートである。同図は、本実施の形態に係る測距撮像システムの動作を示し、特に、制御部６０からパルス光源部２０、撮像部３０（固体撮像素子４０）に与える制御信号（発光信号、露光信号）および反射アクティブ光のタイミングを示す図である。
　まず、撮像部３０（固体撮像素子４０）は、図３の露光期間Ａに、露光信号に基づきパッシブ光の露光を行う。次に、図３の露光期間Ｂに、パルス光源部２０は発光信号により照射アクティブ光を照射すると共に、撮像部３０（固体撮像素子４０）は、露光信号に基づき反射アクティブ光の露光を行う。
　なお、パッシブ光、反射アクティブ光の露光順序は、図３の場合に限定されるものではなく、例えば、パッシブ光、反射アクティブ光の露光を繰り返し行うことも可能である。
　更に、図３では、露光期間Ａが終了後に一定期間を空けて露光期間Ｂが開始する例を示したが、この場合に限定されるものではなく、例えば、露光期間Ａの間に露光期間Ｂが開始する（つまり、露光期間Ａと露光期間Ｂが重なる）場合、又は、露光期間Ａが終了と同時に露光期間Ｂが開始する場合、等の様々な動作方法を用いることが出来る。
　（実施の形態１）
　以下、図面を参照しながら、実施の形態１に係る測距撮像システム１０の構成及び動作について、これまでに説明した基本構成から異なる点を中心に詳細を説明する。
　図４は、実施の形態１に係る測距撮像システム１０の概略構成例を示す機能ブロック図である。また、図５は、実施の形態１に係る発光信号及び露光信号による動作例を示すタイミングチャートである。同図は、本実施の形態に係る測距撮像システムの動作を示し、特に、制御部６０からパルス光源部２０、撮像部３０（固体撮像素子４０）へ与える制御信号および反射アクティブ光のタイミングを示す図である。
　図１、図２Ａ～図２Ｃ、図３の基本構成から異なる点を中心に説明する。制御部６０は、撮像部３０（撮像制御部３５）と演算部５０に撮像制御信号を出力する。この撮像制御信号は、後述する被写体寸法を測定するために、パッシブ光により被写体の寸法測定を行う箇所が画像として表示部７０に表示されるように、例えば、撮像部３０内の撮像制御部３５等を介して光学倍率または電子倍率の制御を行う（つまり、撮像制御部３５の動作は、一例として、カメラのズームレンズなどの光学部品の制御を含む）。
　そして、撮像部３０は、図５の露光期間Ａに被写体を撮像した画像撮像信号を出力する。
　さらに、撮像部３０は、図５の露光期間Ｂに撮像信号として、対象物体（被写体）を含む領域に対して、制御部６０（信号発生部）で発生する露光信号が示すタイミングに従って複数回の露光（受光）を行い、撮像信号として複数回の露光量の総和に対応した距離信号であるＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ、タイムオブフライト）信号を出力する。
　次に、本実施の形態に係る測距演算システムの測距撮像システムの動作方法および測距演算の詳細を説明する。本測距撮像システム１０では、被写体までの距離と共に、被写体の高さ、幅等の被写体寸法を測定することが出来る。
　まず、被写体までの距離の計測及び演算の詳細について、図５を用いながら説明すると、投射した光が対象物まで往復するのにかかる時間から距離を計測するＴＯＦ方式を基本原理とし、発光信号に対して、測定対象物からの反射アクティブ光を、露光信号として第一の露光信号と第二の露光信号の異なるタイミングの２パターンで固体撮像素子４０内のアクティブ光用画素で露光したそれぞれの光量の比に基づいて測定対象物（被写体）までの距離を算出する。言い換えると、被写体に対して、制御部６０で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応した撮像信号を出力する。
　例えば、第一の露光信号によって、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。
　そして、第一の露光信号による露光量の総和Ｓ１、第二の露光信号による露光量の総和Ｓ０、背景光の露光量の総和ＢＧ、照射する直接光の発光信号の時間幅Ｔ０、光速度ｃの各値から被写体までの距離Ｌを、式１を用いて算出する（以下、この測距演算を、ＴＯＦ測距演算と呼ぶ）。
Figure JPOXMLDOC01-appb-M000001
　また、１画面における発光信号、第一の露光信号、第二の露光信号のタイミングでは、発光信号と第一の露光信号とを複数回繰り返し出力し、その後発光信号と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光量を出力して被写体までの距離を（式１）により算出するようにしてもよい。
　なお、本実施に形態に係る測距撮像システム１０では、上述したＴＯＦ方式以外の方式（一例として、照射アクティブ光を被写体に当てて、反射アクティブ光のひずみで、測距演算を行うパターン照射方式、等）を用いることも可能である。
　次に、被写体寸法の計測及び演算の詳細を説明する。
　まず、パッシブ光が入射した固体撮像素子４０は、制御部６０からの露光信号により、被写体を撮像して、画像信号（画像撮像信号）を演算部５０へ出力する。
　演算部５０では、寸法測定を行う被写体を検知し、表示部７０の表示寸法と測距撮像システム１０に記憶（または記録）している初期値等から、第１の被写体寸法を割り出す。
　次に、割り出した第１の被写体寸法と、上述したＴＯＦ測距演算により算出された被写体までの距離を用いて（場合によっては上述した画像倍率係数（撮像制御信号）で演算補正をしながら）被写体の高さ、幅等の被写体寸法を算出する。
　これにより、本実施の形態に係る測距撮像システム１０は、被写体までの距離と共に、被写体寸法（被写体の高さ、幅等）など様々な距離（寸法）を計測することが出来る。
　また、本実施の形態の測距撮像システム１０は、画像信号（画像撮像信号）とＴＯＦ信号（撮像信号）を出力する固体撮像素子４０が同じ素子であり、つまり単板の固体撮像素子４０を用いており、各撮像信号の撮像中心（光学中心、光軸中心）等が同じであるため、撮像信号間の位相差が少なく、撮像信号の同期などの精度が上がり、被写体寸法を精度良く計測することが出来る。
　但し、本実施の形態に係る測距撮像システム１０に複数の固体撮像素子を搭載した場合（いわゆる、撮像部３０がステレオカメラ）でも、被写体までの距離と共に、被写体の高さ、幅等の被写体寸法を測定することが出来る。
　次に、本実施の形態に係る測距撮像システム１０を搭載した例を説明する。
　図６は、図４の測距撮像システム１０の第１の搭載例を示す概略搭載図である。図６では、携帯機器の一例として、スマートフォン（携帯通信端末）に搭載した例を示す。
　図６の場合、スマートフォンの表示部７０に、動物（被写体）を表示部７０に表示できるように携帯機器を被写体に向けることで、被写体寸法（高さ、幅、等）を測定（測距）することが出来る。つまり、パッシブ光を受光した固体撮像素子４０（パッシブ光用画素）から出力された画像信号（画像撮像信号）と、パルス光源部２０からの照射アクティブ光の反射アクティブ光を受光した固体撮像素子４０（アクティブ光用画素）から出力されたＴＯＦ信号（撮像信号）を用いて、演算部５０で上述した演算を行うことにより、被写体の寸法（高さ、幅、等）を測定（測距）することが出来る。
　なお、被写体の寸法（高さ、幅、等）に関する距離情報の保存は、被写体をパッシブ光により撮像したパッシブ信号（つまり、画像）を関連付けて保存することが更に好ましい。この場合は、保存画像を表示部に再度表示した場合に、情報として知りたい被写体の寸法箇所を指定することにより、再度、様々な被写体の寸法を確認することが出来る。
　なお、図６で示した搭載例を含め、例えば、測距撮像システム１０の小型化、測定時間の短縮、低消費電力等を更に重視する場合は、パルス光源部２０は照射する照射アクティブ光はレーザー光であることがより好ましい。
　つまり、レーザー光を用いて被写体に対して照射アクティブ光をピンポイントに照射し、被写体内の一点（一部の領域）からの反射アクティブ光により被写体までの距離を計測し、その距離情報を用いて、被写体寸法（高さ、幅、等）を測定するができる。
　これにより、固体撮像素子４０の撮像速度が短くなり、また信号量が少なくなるため、システムの小型化や測定時間の短縮、低消費電力等を実現することが出来る。さらに、撮像信号は、すべて被写体からの信号情報であるため、撮像信号内のノイズ成分を減らすことができ、高精度な被写体寸法を計測することが可能となる。
　また、パルス光源部２０から照射がレーザー光の場合は、照射アクティブ光（レーザー光）が被写体の何処に照射されているかを、表示部７０上に表示できるようにしてもよい。図６の画面表示例では、被写体への照射アクティブ光の照射ポイントを示すマークを表示している。また、図６のように、被写体寸法（高さ、幅、等）を表示部７０上に表示してもよい。
　また、パルス光源部２０から照射がレーザー光の場合は、被写体の何処にパルス光が照射されているかを目視等で容易に行うために、パルス光源部２０と同期、光軸調整された可視レーザー光源を搭載して、照射アクティブ光（レーザー光）と共に可視レーザー光を被写体に照射しても良い。言い換えると、測距撮像システム１０は、パルス光と連動する光（一例として可視レーザー光）を照射する別の光源を備えていてもよい。
　図７は、図４の測距撮像システム１０の第２搭載例を示す概略搭載図である。図７では、携帯機器の一例として、スマートフォン（携帯通信端末）に搭載した別の例を示す。
　図６の搭載例との違いは、図７ではパルス光源部２０にラインレンズを搭載して、照射アクティブ光を直線状の光として被写体へ照射できることである。つまり、ラインレンズによる照射領域は、直線状あるいは細長い帯状になる。図７の表示画面例では、照射領域を示す一点鎖線が画面上に表示されている。
　この直線光を照射しながら、被写体全体を一周するように撮像を行えば、被写体の３次元寸法を、高精度及び高速に測定（測距）することが出来る。そして、この３次元寸法を用いて、３次元プリンタ（３Ｄプリンタ）を用いて、高精度及び高速にデータ出力をすることが出来る。
　なお一般的に、３Ｄプリンタによりデータ出力するには、膨大のデータ量が必要であり、長時間となる演算時間や出力時間が必要である。しかし、本実施の形態に係る測距撮像システム１０を用いれば、上述したように高精度でありながら演算時間や出力時間を短縮できるため、高速かつ手軽に３Ｄプリンタからのデータ出力を行うことが可能となる。
　なお、図８は、第２の搭載例における動作の一例を示す図である。図８に示すように、被写体全体を一周するように撮像（スキャン）する場合、携帯機器内の表示部で、スキャンした箇所が、表示部上の画像の変化（例えば、色が付く）が表示されるようにすれば、スキャンの確認が容易となると共に、スキャン精度を向上させることが可能となる。図８の表示画面例では、照射領域を示す一点鎖線と、スキャン済の領域を示す網掛けを画面上に表示している。
　図９は、図４の測距撮像システム１０の第３搭載例を示す概略搭載図である。図９では、自動車（輸送機器）に搭載した例を示す。
　図９では、フロントグリル内にパルス光源部２０を設置し、撮像部３０を車室内上部（バックミラー周辺）に設置している。
　なお、測距撮像システム１０の設置はそれらに限定されるものではなく、パルス光源部２０をヘッドライト内、フォグランプ内に設置することや、撮像部３０を、例えば、フロントグリル内、フロントバンパー内、等に設置することも可能である。
　図９の被写体は、障害物となる高架下通路又はトンネル（以下、まとめてトンネルと呼ぶ）等であり、自動車はこのトンネル内を通過することを想定している。
　この場合、本実施の形態に係る測距撮像システム１０を搭載することにより、パッシブ光を受光した固体撮像素子４０（パッシブ光用画素）から出力した画像信号（画像撮像信号）、及び、反射アクティブ光を受光した固体撮像素子４０（アクティブ光用画素）から出力したＴＯＦ信号（撮像信号）を用いて、トンネルまでの距離と共に、トンネル寸法（高さ、幅、等）を測定する。
　これにより、自動車の運転者は、障害物の可能性があるトンネルまでの距離が判ると共に、その障害物内を運転する自動車がトンネル（被写体）を通過することが可能であるか等を判断出来る。
　また、予め運転する自動車の車両寸法等を初期値（初期情報、記憶情報、記録情報）としてシステムに記憶（又は記録）させておけば、障害物（被写体）まで距離が近づいた場合に加えて、車両通過が困難とシステムが認識した場合、アラーム等の発信や、自動速度制御、自動停止等ができるようになり、より容易に危険回避をすることが可能となる。
　なお、図９では、自動車車両の前方の測定を行うことを目的として、本実施の形態に係る測距撮像システム１０を設置したが、それに限定されるものではなく、例えば、車両の後方を測定するため測距撮像システム１０を後方ナンバープレート周辺に設置する場合や、車両の側方を測定するために、例えば、測距撮像システム１０をサイドミラー部等に設置することも可能である。
　また、図７、図８、図９を用いて、本実施の形態に係る測距撮像システム１０の搭載例を説明したが、携帯機器、自動車に搭載した例に限定されるものではなく、例えば、その他の輸送機器（オートバイ、鉄道車両、飛行機、宇宙機等）、その他の携帯機器（ノートＰＣ、タブレットＰＣ、携帯情報機器、携帯通信端末）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器など、あらゆる機器や設備に搭載することが可能である。
　（実施の形態２）
　以下、図面を参照しながら、実施の形態２に係る測距撮像システム１０の構成及び動作について、基本構成から異なる点、及び、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図１０は、実施の形態２に係る測距撮像システム１０の概略構成例を示す機能ブロック図である。
　図１、図２Ａ～図２Ｃ、図３の基本構成から異なる点、及び、図４との構成との違いを中心に説明すると、測距撮像システム１０に検知部８０を備え、検知部８０は、パッシブ画像信号の被写全体から測距対象物となる特定体を検知する。そして、検知部８０の検知結果に基づき、制御部６０に対し、パルス光源部２０へ発光指示を行う。
　つまり、検知部８０は、照射アクティブ光を被写体に狙って照射する信号を発信し、制御部６０は、この信号を受けて、パルス光源部２０内の光源可動部２５に特定体に照射するように、照射アクティブ光の照射方向を変える。なお、照射アクティブ光の照射方向を変えるには、検知部８０から直接パルス光源部２０が直接信号入力できるようすることも出来る。
　なお、本実施の形態では、制御部６０、撮像部３０、検知部８０及び演算部５０は、その一部又はすべてが、半導体基板にワンチップで搭載される場合も含む。
　次に、本実施の形態に係る測距演算システムの測距演算の詳細を説明する。
　まず、検知部８０は、パッシブ光を受光する固体撮像素子４０（パッシブ光用画素）から出力されたパッシブ画像信号により、撮像された被写全体の中から測距を必要とする被写体を検知する。なお、被写体は一つに絞り込む必要はなく、複数でも構わない。
　次に、検知部８０は、被写体の位置に関する検知情報から、パルス光源部２０から照射するパルス光の方向を特定するための信号（光源可動指示信号）を、制御部６０を介して、パルス光源部２０（パルス光源部２０内の光源可動部２５）に出力する。なお、この光源可動指示信号は、制御部６０を介さず、検知部８０から直接、パルス光源部２０（パルス光源部２０内の光源可動部２５）に出力することも出来る。
　パルス光源部２０は、被写体に向けて照射アクティブ光を照射し、その反射アクティブ光を固体撮像素子４０（アクティブ光用画素）で受光（露光）し、ＴＯＦ信号を演算部５０に出力する。
　演算部５０では、ＴＯＦ信号を用いて、実施の形態１で上述したＴＯＦ測距演算により、被写体までの距離を測定（測距）する。
　以上説明したように本実施に形態に係る測距撮像システム１０を用いると、測距を行う被写体を検知してＴＯＦ信号を出力するため、ノイズ成分を減らすことができ、これにより、被写体までの距離を、精度良く、かつ、高速に測定することが出来る。
　図１１は、図１０の測距撮像システム１０を自動車（輸送機器）に搭載した場合の表示部７０の表示画像例を示す図である。図１１では、自動車の前方風景を表示している。
　図１１では、被写全体として、複数種類の街路樹と共に、車線内の道路（車道）を横断しようとする人物、動物が映し出されている。なお、街路樹の一部は、人物、動物よりも近い位置となっている。
　本実施の形態に係る測距撮像システム１０では、測距を優先させる被写体つまり特定体に関する初期情報を記憶（又は記録）させておき、特に、人物、動物、または、道路内で検知された物体等を特定体として優先的に測距するように検知する。つまり、被写全体から特定体を検知する。
　これにより、反射アクティブ光に対する固体撮像素子４０の撮像時間が短くなり、また信号量も少なくなり、システムの小型化や測定時間の短縮、低消費電力等を実現することが出来る。さらに、撮像信号は、被写体（特定体）からの信号情報であるため、撮像信号内のノイズ成分を減らすことができ、高精度な被写体（特定体）寸法を計測することが可能となる。
　図１２は、図１０の測距撮像システム１０を自動車（輸送機器）への搭載例および表示部７０の表示画像例を示す図である。図１２の表示部７０は、自動車の前方風景を表示している。
　被写体として、街路樹と共に、先方車両が映し出されている。本実施の形態に係る測距撮像システム１０では、測距を優先させる被写体に関する初期情報を記憶（又は記録）させておき、前方車両を優先的に検知する。つまり、被写全体から被写体（特定体）を検知する。
　そして、前方車両（被写体）までの距離を計測すると共に、その距離を一定に保つように自動車の運転制御（アラーム等の発信、自動速度制御、自動停止等）を行えば、より安全に運転することが可能となる。
　なお、本実施の形態に係る固体撮像素子４０のパッシブ光用画素は、Ｒ、Ｇ、Ｂの各々の画素にＲ成分、Ｇ成分、Ｂ成分として画像撮像信号を出力し、つまり、カラー画像を出力する。したがって、被写全体からの被写体の検知は、その形状のみではなく、それ以外の検知基準でも判断できる。
　図１３Ａ、図１３Ｂは、表示部７０の表示画像例を示す説明図である。図１３Ａ、図１３Ｂに示すように、その検知基準の一例は色彩であり、図１３Ａ中の信号機は、青点灯（進め表示）の場合は被写体としては未検知（または、複数の被写体の中から優先順位を下げる）とし、図１３Ｂ中の赤点灯（止まれ表示）または黄点灯（注意表示）の信号機は、被写体として検知する等、高度な検知を行うことが出来る。
　なお、図１２で示した搭載例を含め、例えば、測距撮像システム１０の小型化、測定時間の短縮、低消費電力等を重視する場合は、パルス光源部２０は照射する照射アクティブ光はレーザー光であることがより好ましい。
　なお、図１２では、自動車車両の前方の測定を行うことを目的として、本実施の形態に係る測距撮像システム１０を設置したが、それに限定されるものではなく、例えば、車両の後方を測定するため測距撮像システム１０を後方ナンバープレート周辺に設置する場合や、車両の側方を測定するために、例えば、測距撮像システム１０をサイドミラー部等に設置することも可能である。
　また、図１２は、自動車（搭載機器）の外側前方の測定を行うことを目的として測距撮像システム１０を設置したが、それに限定されるものではなく、例えば、自動車の車両内に本実施の形態に係る測距撮像システム１０を設置してもよい。例えば、人の頭部を被写体として、距離情報として頭部の動き（ふらつき）に計測することにより、運転者の居眠り等を検知するように用いることも出来る。
　なお、図１２を用いて、本実施の形態に係る測距撮像システム１０の搭載例を説明したが、自動車に搭載した例に限定されるものではなく、例えば、その他の輸送機器（オートバイ、鉄道車両、飛行機、宇宙機等）、携帯機器（スマートフォン、ノートＰＣ、タブレットＰＣ、携帯情報機器、携帯通信端末）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器など、あらゆる機器や設備に搭載することが可能である。
　（実施の形態３）
　以下、図面を参照しながら、実施の形態３に係る測距撮像システム１０の構成及び動作について、基本構成から異なる点、及び、これまで実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図１４は、本実施の形態に係る測距撮像システム１０の概略構成例を示す機能ブロック図である。この測距撮像システム１０は、実施の形態１および実施の形態２の両機能を合わせ持つ。つまり、被写体の寸法を、より精度良く、高速に測定できると共に、被写体までの距離も測定することが出来る。
　図１５は、図１４の測距撮像システム１０を自動車に搭載した搭載例および表示部７０の表示画像例を示す図である。図１５の表示画像例は、自動車の前方風景を示している。図１５の被写体は、トンネル及びトンネルの近傍に街路樹等である。自動車はトンネル内を通過することを想定している。
　以下、図１４、図１５を用いて、本実施の形態に係る測距演算システムの測距演算の詳細を説明する。
　まず、検知部８０は、パッシブ光を受光する固体撮像素子４０（パッシブ光用画素）から出力されたパッシブ画像信号により、撮像された被写全体の中から測距を必要とする被写体を特定する。言い換えると、トンネル、街路樹を含めた被写全体を画像撮影（撮像）するため、被写体としてからのパッシブ光を受光した固体撮像素子４０（パッシブ光用画素）から画像撮像信号を出力し、画像撮像信号を受け取った検知部８０は、被写体を検知する。
　本実施の形態に係る測距撮像システム１０では、測距を優先させる被写体の種類等の初期情報を記憶（又は記録）させており、自動車用途として本実施の形態の測距撮像システム１０を用いる場合は、特に、前方車両（自動車、自動二輪、電動サイクル自転車、自転車、等）、人物、動物、または、道路内で検知された物体等を優先する。つまり、被写全体から被写体を検知する。
　図１５では、自動車が通過する道路の外側にある街路樹よりもトンネルの測距を優先させる検知（判断）を行う。但し、被写体の検知は、このような場合に限定されるものではなく、また、システムに様々な初期情報を記憶（又は記録）させておけば、より高度であり、有効に被写体を検知することが出来る。
　次に、検知部８０は、被写体の位置等の情報を有し、パルス光源部２０から照射するパルス光の方向を特定するための信号（光源可動指示信号）を、制御部６０を介して、パルス光源部２０（パルス光源部２０内の光源可動部２５）に出力する。なお、この光源可動指示信号は、制御部６０を介さず、検知部８０から直接、パルス光源部２０（パルス光源部２０内の光源可動部２５）に出力することも出来る。
　パルス光源部２０は、被写体に向けてパルス光を照射し、その反射アクティブ光を固体撮像素子４０（パッシブ光用画素）で露光し、ＴＯＦ信号を演算部５０に出力する。
　演算部５０では、ＴＯＦ信号を用いて、実施の形態１で上述したＴＯＦ測距演算により、被写体までの距離を測定（測距）する。
　更に、演算部５０では、寸法測定を行う被写体を検知し、表示部７０等の表示寸法と測距撮像システム１０を記憶（又は記録）している初期値等から、第１の被写体寸法を割り出し、その割り出した第１の被写体寸法と、上述したＴＯＦ測距演算により算出された被写体までの距離を用いて、場合によっては上述した画像倍率係数（撮像制御信号）で演算補正をしながら、演算を行い、被写体の高さ、幅等の寸法を算出する。
　以上の演算により、本実施の形態に係る測距撮像システム１０は、被写体までの距離と共に、被写体の高さ、幅等の被写体寸法を測定することが出来る。
　本実施の形態では、優先順位の低い被写体は測距をしないため、測定する時間を短縮できると共に、被写体の測距にはノイズ成分となりうる信号（図１５の街路樹に対する撮像、距離情報）を減らすことにより、被写体に対し、より正確に複数の距離（寸法）を計測することが出来る。
　なお、図１５では、自動車車両の前方の測定を行うことを目的として、本実施の形態に係る測距撮像システム１０を設置したが、それに限定されるものではなく、例えば、車両の後方を測定するため測距撮像システム１０を後方ナンバープレート周辺に設置する場合や、車両の側方を測定するために、例えば、測距撮像システム１０をサイドミラー部等に設置することも可能である。
　また、図１５は、自動車（搭載機器）の外側前方の測定を行うことを目的として測距撮像システム１０を設置したが、それに限定されるものではなく、例えば、自動車の車両内に本実施の形態に係る測距撮像システム１０を設置してもよい。例えば、被写体として人の頭部を被写体として、距離情報として頭部の動き（ふらつき）に計測することにより、運転者の居眠り等を検知するように用いることも出来る。
　なお、図１５を用いて、本実施の形態に係る測距撮像システム１０の搭載例を説明したが、自動車の搭載した例に限定されるものではなく、例えば、その他の輸送機器（オートバイ、鉄道車両、飛行機、宇宙機等）、携帯機器（スマートフォン、ノートＰＣ、タブレットＰＣ、携帯情報機器、携帯通信端末）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器など、あらゆる機器や設備に搭載することが可能である。
　（実施の形態４）
　以下、図面を参照しながら、実施の形態４に係る測距撮像システム１０の構成及び動作について、基本構成から異なる点、及び、これまで実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図１６は、実施の形態４に係る測距撮像システム１０の概略構成例を示す機能ブロック図である。
　まず、実施の形態４に係る測距撮像システム１０は、画像撮像信号を直接用いた演算により測距演算（以下、画像測距演算と呼ぶ）を行う。
　その画像測距演算の一例として、撮像部３０の固体撮像素子４０（パッシブ光用画素）により連続画像を撮影して、その連続画像の信号（画像撮像信号）を演算部５０に出力し、演算部５０では、現在のフレーム（画像）と前のフレーム（画像）を比較し、演算により距離を算出する。
　この画像演算方法は、例えば、自動車用途（輸送機器用途）では、一定条件の測距環境が整っている場合は、前方車両までの車間距離を刻一刻と測定し、動画で記憶（又は記録）される各フレーム間で、距離の変化率が大きいと急接近という判断を、比較的、簡便に測定できるという利点がある。つまり、計算量が少なく前方車両までの距離が計測できる長所を有する。
　しかしその一方、この画像測距演算は、測距環境の条件が整わない場合は、測距精度が著しく低下（あるいは、全く測距が出来ない）という欠点を有しているため、本実施の形態の測距撮像システム１０はその欠点を解決させるものである。
　以下、図１６を用いて、本実施の形態に係る測距撮像システムの詳細を説明する。
　まず、検知部８０は、固体撮像素子４０から出力されたパッシブ画像信号により、測距環境の状態を検知し、画像測距演算を行う測距環境として条件を満たしているかを判断する（その判断の詳細は後述する）。
　検知部８０は、画像測距演算を行う測距環境の条件外であり、画像撮像演算による測距が困難と判断した場合は、ＴＯＦ測距演算を行うための指示を制御部６０に行う。
　パルス光源部２０は、制御部６０からのその指示信号を受けて、被写体に向けてパルス光を照射し、その反射アクティブ光を固体撮像素子４０（パッシブ光用画素）で露光し、ＴＯＦ信号を演算部５０に出力する。
　さらに、検知部８０は演算部５０に画像制御信号出力する。演算部５０は、その指示によりＴＯＦ測距演算を行い、被写体までの距離を計測（測距）する。
　次に、本実施の形態に係る測距撮像システムにおいて、画像撮像演算による測距が困難と判断し、測距演算を切り替える条件の一例について説明する。
　図１７Ａ、１７Ｂは、本実施形態に係る測距撮像システム１０を自動車に搭載した場合に固体撮像素子４０（パッシブ光用画素）からのパッシブ信号による撮像画像の例であり、図１７Ａは通常撮影された画像例、図１７Ｂは広角撮影された画像例を示す。
　図１７Ｂから明らかなように、広角撮影は、被写体までの距離が短い場合でも、より広い領域を撮像することが出来る。しかしその一方、広角撮影は撮像画像の周辺領域（図１７ＢのＡ領域）では被写体歪みが発生することとなる。
　つまり、図１７Ａのおける被写体（障害物）が画像歪みなく撮影されているのに対し、図１７Ｂでは障害物の存在は確認できるものの、大きく歪みがあるため、このデータを用いて正確な距離を測定することが困難である。
　特に、上述した連続撮影（連続画像）を用いる画像測距演算の場合は、その画像間の歪みは、より過大に描画されるため、画像測距演算は誤差が大きくなり困難である。
　そこで、図１７ＢのＡ領域内の被写体を対象に測距を行う場合は、ＴＯＦ測距演算を用いる。本実施の形態の測距撮像システムは、画像信号（画像撮像信号）とＴＯＦ信号（撮像信号）を出力する固体撮像素子４０が同じであり、つまり単板の固体撮像素子４０を用いているため、各撮像信号の撮像中心（光学中心、光軸中心）等が同じであり、撮像信号間の位相差が少なく、撮像信号の同期などの精度が高いため、画像撮像演算の測距演算結果（距離情報）とＴＯＦ演算による演算結果（距離情報）との互換性、相関性が高く、より精度の高い測距を行うことが出来る。
　但し、本実施の形態に係る測距撮像システム１０に複数の固体撮像素子を搭載した場合（いわゆる、撮像部３０がステレオカメラ）でも、画像撮像演算とＴＯＦ演算を切り替えることが可能である。
　また、画像測距演算とＴＯＦ測距演算の選択（つまり、画像測距演算とＴＯＦ測距演算の選択）は、画像歪みに限定されるものではく、その他条件により選択を行うことが出来る。
　第１の使い方は、昼夜により、画像撮像信号または撮像信号を選択する方法である。図１８Ａ、１８Ｂは、本実施形態に係る測距撮像システム１０を自動車用途に用いた場合の撮像画像の例であり、図１８Ａは昼間に撮像された画像例、図１８Ｂは夕方、夜間に撮像された画像例を示す。
　例えば、図１８Ａのように昼間などの場合、本実施の形態では画像測距演算で測距を行う。一方、図１８Ｂのように、夜間などで明瞭な画像撮像が出来ない場合は、ＴＯＦ測距演算で測距を行う。これにより、昼夜を問わずに正確に測距することが出来る。
　第２の使い方は、扱われる天候や環境条件などにより、画像撮像信号または撮像信号を選択する方法である。例えば、夕方等の強い日差しを受けている場合、雨が降っている場合など（つまり、画像認識が難しい場合は）はＴＯＦ測距演算を用い、それ以外の環境では、画像測距演算を用いる。これによって、どのような天候、状況でも高い精度で測距することが出来る。
　第３の使い方は、被写体までの距離により、画像撮像信号または撮像信号を選択する方法である。すなわち、広角画像となりやすい近距離ではＴＯＦ測距演算を用い、中遠距離では主として画像測距演算を用いる。これにより、どのような被写体までの距離の場合でも高い精度で測距することが出来る。
　第４の使い方は、本システムが搭載された輸送機器（例えば、自動車）、又は被写体の動き速度によって、画像撮像信号または撮像信号を選択する方法である。例えば輸送機器の速度が、例えば１００ｋｍ／ｈ以上の高速度ではＴＯＦ測距演算を用いるのが、より好ましい。
　なお、本実施の形態では、前記測距環境の状態に応じて画像撮像信号または撮像信号を選択したが、それに限定されず、例えば、一方の信号による演算結果（測距結果）を正確にするため、前記測距環境の状態に応じてもう片方の信号を補正に用いることも可能である。
　例えば、上述した第４の使い方において、輸送機器の速度が、例えば３０ｋｍ／ｈまでの低速度ではＴＯＦ測距演算の結果と画像測距演算の結果のいずれかの結果を補間情報として用い最終的な距離を算出し、例えば３０～１００ｋｍ／ｈまでの中速度ではＴＯＦ測距演算と画像測距演算をフレームごとに使い分け、例えば１００ｋｍ／ｈ以上の高速度ではＴＯＦ測距演算をそれぞれ用いる。これにより、どのような被写体までの距離でも高い精度で測距することが出来る。
　（実施の形態５）
　以下、図面を参照しながら、実施の形態５に係る測距撮像システム１０の構成及び動作について、基本構成から異なる点、及び、これまで実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図１９は、本実施の形態に係る測距撮像システムの概略構成例を示すブロック図である。実施の形態４（図１６）との違いを中心に説明すると、本実施形態では、検知部８０を設けず、ＴＯＦ測距演算と画像測距演算との切り替え条件（選択条件）となる初期値を予め測距撮像システム１０に記憶（又は記録）させておき、撮像条件と初期値に基づき、測距演算を使い分ける方法である。
　図１９では、その初期値として、倍率制御を軸に判断を行う例であり、広角撮影となった場合は、パッシブ信号を検知することなく、画像選択信号により、測距演算の切り替えを行う。
　この場合、画像撮像信号を検知する時間を必要としないため、実施の形態４より撮像情報を出力するための時間が短縮でき、つまり、短時間で測距ができるという利点を有している。
　なお、画像測距とＴＯＦ測距との使い分けは、画像歪みに限定されるものではく、その他条件により使い分けを行うことが出来る。
　例えば、時間を初期値として、周囲が暗くなる時間（例えば、夜間設定として午後８時から午前３時までとする。但し、この時間は、夏、冬など季節により、また、地域によって、更に細かく初期値を設定することがより好ましい）は、ＴＯＦ測距演算で測距するように設定してもよい。
　（実施の形態６）
　以下、図面を参照しながら、実施の形態６に係る測距撮像システム１０の構成及び動作について、上述した基本構成から異なる点、及び、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図２０は、実施の形態６に係る測距撮像システム１０の概略構成例を示す機能ブロック図である。
　図１の基本構成から異なる点を中心に説明すると、測距撮像システム１０のパルス光源部２０は、光源光（一例として、レーザー光）を発振する光源２１と、この光源光を複数の照射アクティブ光（図２０では照射アクティブ光ａ、照射アクティブ光ｂ）に分割する回折格子２５ａ（光源可動部）とを備えている。
　なお、図２０における光源可動部の光源可動とは、光源２１またはパルス光源部２０自体を可動させて光源光または照射アクティブ光の照射方向を変える場合や、パルス光源部２０に含まれる複数の光源２１（図２６Ｂにおける光源２１ａ、２１ｂ）を選択し照射アクティブ光の照射方向を変える場合と共に、回折格子２５ａにより光源光が分割されながら照射アクティブ光の照射方向を変える場合、回折格子２５ａとガルバノメータを用いて照射アクティブ光の照射方向を変える場合、回折格子２５ａより分割された光が反射板（または、ガルバノメータの回転軸に取り付けた反射板）等により照射アクティブ光の照射方向を変える場合、パルス光源部２０に含まれる複数の光源２１ａ、２１ｂ（図２６Ｂ）または／および複数の回折格子２５ａ、２５ｂ（図２６Ａ、図２６Ｂ）を選択し照射アクティブ光の照射方向を変える場合、更に、これらを組み合わせた場合を含むものである（但し、光源可動は上述したものに限定されるものではない）。
　なお、図２０では、本発明の理解を容易とするため、２つの照射アクティブ光を示したが、これに限定されるものではなく、更に数多くの照射アクティブ光に分割することも可能である。
　また、固体撮像素子４０は、露光信号により、パルス光源部２０からの複数の照射アクティブ光が被写体で反射した複数の反射アクティブ光（図２０では反射アクティブ光ａ、反射アクティブ光ｂ）を受光して撮像信号を出力する。
　なお、図２０において、光源光がレーザー光であれば光の直進性に優れるため、回折格子２５ａによって効率的に分割することが出来る。
　次に、図２１は、回折格子２５ａを有するパルス光源部２０を図１０で示した測距撮像システムに適用した例を示す詳細構造図である。但し、本実施の形態は、図４、図１４、図１６、図１９で示した測距撮像システムに適用することも可能である。
　図２１より、まず、検知部８０は、パッシブ光を受光する固体撮像素子４０（パッシブ光用画素）から出力されたパッシブ画像信号により、撮像された被写全体の中から測距を必要とする被写体を検知（特定）する。
　次に、検知部８０は、被写体の位置に関する検知情報から、パルス光源部２０から照射アクティブ光の照射方向、照射ポイントの配置、または照射アクティブ光の形状などを決めるための信号（光源可動指示信号）を、制御部６０を介して、パルス光源部２０に可動制御信号として出力する。なお、この光源可動指示信号は、制御部６０を介さずに、図２１内の可動制御信号、発光信号の代わりとして検知部８０から直接、パルス光源部２０へ信号を送ることも出来る。
　パルス光源部２０は、回折格子２５ａ（光源可動部）により光源光を分割させながら、照射アクティブ光の照射方向、照射ポイントの配置、あるいは照射アクティブ光の形状などを変え、複数の照射アクティブ光を被写体に照射し、その反射アクティブ光（複数の反射アクティブ光）を固体撮像素子４０（アクティブ光用画素）で受光（露光）し、ＴＯＦ信号（撮像信号）を演算部５０に出力する。
　演算部５０は、ＴＯＦ信号を用いて、実施の形態１で上述したＴＯＦ測距演算により、被写体までの距離を測定（測距）する。
　なお、本実施の形態では、上述した実施の形態と同様に、上述したＴＯＦ方式以外の方式（一例として、照射アクティブ光を被写体に当てて、反射アクティブ光のひずみで、測距演算を行うパターン照射方式、等）を用いることも可能である。特に、本実施の形態は、複数の照射ポイントへ照射アクティブ光を照射するため、ＴＯＦ方式と共に、パターン照射方式も特に好適である。
　以上説明した本実施に形態に係る測距撮像システム１０を用いると、以下の利点を得ることができる。
　第１の利点は、光源光（レーザー）の全体出力を減衰することなく、遠くの位置にある被写体まで照射アクティブ光を到達させることが出来る。つまり、同じ光出力を持つ光源２１を用いて光を分割させない場合と比べて、測距撮像システムの大型化、電力消費量の増大させることなく、測距可能距離（照射アクティブ光の到達距離）を大幅に広げることが可能となる。
　第２の利点は、被写体の一部分からの反射光（反射アクティブ光）を用いることにより、被写体までの測距を行うための信号量を十分に確保できる一方、個々の反射アクティブ光の信号量自体を減らすことが可能となり、高速な距離演算（演算時間の短縮）をすることが出来る。
　第３の利点は、被写体までの測距を行うための信号量を十分に確保できる一方、ノイズ成分となる信号を減らすことができ、距離計測の精度を向上させることが出来る。
　最後に、第４の利点として、複数の照射アクティブ光を照射することから、特に図２１で示した測距撮像システムの場合では被写体を特定させる精度（画像認識精度）は、極端に高度とする必要がなく、測距撮像システムの小型化、低コスト等を容易に実現することが出来る。
　次に、図２２は、図２０または図２１の測距撮像システム１０を自動車（輸送機器）に搭載した例を示す概要図である。なお、本実施の形態の理解を容易とするため、図２２中の照射ポイント（図２２中では９点）のうち、照射アクティブ光ａ、ｂのみが照射されて照射ポイントａ、ｂに到達し、反射アクティブ光ａ、ｂが撮像部３０（固体撮像素子４０）に到達することを図示したが、実際には、全ての照射ポイントに照射アクティブ光が照射されて反射アクティブ光が撮像部３０（固体撮像素子４０）に到達する。
　また、図２２に示すように、パルス光源部２０には、光源２１と光源可動部（回折格子２５ａ）の間にコリメートレンズ２２を備えても良く、さらに撮像部３０には、固体撮像素子４０の前に結像レンズ４１を備えていても良い。
　図２２より、本実施の形態は、被写体として、自動車と共に、その後方の建物に対して、分割された複数の照射アクティブ光を照射することで、自動車及び建物までの各距離を測定すること出来る。
　つまり、被写全体から被写体（特定体）を検知し、その被写体（特定体）を含む領域を中心領域としながら、複数の照射アクティブ光を照射し、特定体およびその周辺までを含めた距離を測定することが出来る。
　なお、本実施の形態では、表示部７０の画面表示例を示した図２３のように、パルス光源部２０からの複数の照射アクティブ光が被写体の何処に照射されているかを、表示部７０上に表示してもよい。図２３の画面表示例では、被写体への照射アクティブ光の照射ポイントを示すマークを表示している。
　更に、図２３のように、各照射ポイント（図中の丸印）までの距離を表示部７０上に表示してもよい。また、距離が短くなった場合は、その距離表示を変化（一例として、表示の色が変わる、点滅する、または、表示と共にアラーム音等を発信するなど）させるようにしてもよい。これにより、測距撮像システム１０を搭載する自動車（輸送機器）を運転（操作）する運転手（操作者）が、視覚で危険に対する注意喚起を行うことが可能となる。
　次に、図２４Ａ、図２４Ｂ、図２５Ａ、図２５Ｂを用いて、複数の照射ポイントの配置例の詳細について説明する。
　図２４Ａは、複数の照射アクティブ光の照射領域において、中心領域は測定ポイントが少なく、周辺領域では測定ポイント数を増やした配置例を示す図である。これは、本実施の形態の測距撮像システム１０を自動車（輸送機器）が走行中であって、前方の物体（被写体、例えば、前方車両）とその周辺の物体を重視して、その各物体までの距離を測定する場合に特に好ましい配置例である。つまり、前方を走る被写体である他の自動車（図２４Ｂでは前方車両）は比較的遠くにあり、その一方、道路周辺の対象物（図２５Ｂでは、信号機）までの距離を効率的に測距することが可能となる。
　図２５Ｂは、分割された照射アクティブ光は、点状ではなく、線状として照射を行う照射領域の配置例を示す図である。なお、照射アクティブ光（レーザー光）の形状を変える場合は、一例として、上述したラインレンズを組み合わせることで実現可能である。このような場合は、被写体の形状（寸法）が比較的、縦または横に長い被写体（図２５Ｂでは、信号機または街路樹）場合は、特に被写体までの距離を精度良く測定することが可能となる。
　なお、本実施の形態では、照射アクティブ光の形状は、図２４Ａおよび図２４Ｂで示した点状と図２５Ａおよび図２５Ｂで示した線状を組み合わせる場合、その他形状の場合などを用いることも出来る。
　また、図２１で示した測距撮像システム１０では、検知部８０はパッシブ光を受光する固体撮像素子４０（パッシブ光用画素）から出力されたパッシブ画像信号から被写体を検知し、その情報から、照射アクティブ光の照射方向、照射ポイントの配置の変更、あるいは、複数の照射アクティブ光の形状変更を決定（選択）するような信号（可動制御信号）をパルス光源部２０に送ることができる。
　なお、照射ポイントの配置の変更、あるいは、レーザー光の形状変更は、単独の回折格子で実現させることが出来る。更に、その他の方法として、図２６Ａに示すように、複数の回折格子（図２６Ａの回折格子２５ａ、２５ｂ）を設置し、それを適宜選択するようにしても良い。この場合は、一例として、光源２１、回折格子２５ａまたは回折格子２５ｂを物理的に可動させることにより実現できる。
　一方、図２６Ｂに示すように、複数の回折格子（図２６Ｂの回折格子２５ａ、２５ｂ）と、それに対応する複数の光源（図２６Ｂの光源２１ａ、２１ｂ）を設置して、発光させる光源と回折格子を選択するようにしてもよい。この場合は、光源または回折格子を物理的に可動させる必要がないという利点を有する。
　また、図２６Ａ、図２６Ｂでは、上述した選択にはパッシブ光を受光する固体撮像素子４０（パッシブ光用画素）から出力されたパッシブ画像信号から被写体を検知し、可動制御信号として、その情報を受け取り、照射ポイントの配置の変更、あるいは、複数の照射アクティブ光の形状変更を決定（選択）することが出来る。
　なお、以上図面を用いて説明した本実施の形態の測距撮像システムは、図２７に示すように、撮像部３０（固体撮像素子４０）から撮像信号のみを出力する構成とすることも出来る。
　（実施の形態６の変形例１）
　まず、本実施の形態の理解を容易とするため、図２８を用いて、一般的な回折格子を用いた例を説明する。図２８は、一般的なシステムにおける発光信号と、発光信号により光源２１から発振したパルス光を回折格子２５ａにより分割した場合の複数の照射アクティブ光のタイミングチャートである。
　なお、図２８では、理解を容易とするため、発光信号から光が照射されるまでの時間遅延、照射から被写体までの到達までの時間（時間遅延）などは考慮しないものとする。同様に理解を容易とするため、図２８では複数の照射アクティブ光として２つの照射アクティブ光（照射アクティブ光ａ、ｂは、図２２、図２４Ａまたは図２４Ｂにおける照射ポイントａ、ｂに到達する）のみを示す。
　図２８より、発光信号は一定周期タイミングであるため、回折格子により分割された複数の光は、互いに干渉を起こし照射ポイントへの到達にずれが生じる（図２８では、複数の照射ポイント（照射ポイントａ、ｂ）に対して到達した光は、照射ポイントｂで干渉が発生し、発光信号のタイミングとずれが生じていることを示している）。
　つまり、照射アクティブ光ａと照射アクティブ光ｂで同じ時間で発光している状態が干渉となり、一方が他方の妨害光となり、同一パルス間隔の場合、この干渉はパルス発光ごとに生じる。このずれは、被写体までの距離測定精度を大きく劣化させるという問題を起こす。
　一方、本実施の形態は、この問題を解決することができ、その詳細について図面（図２９、図３０）を用いて説明する。なお、図２９、図３０では、図２８と同様に本実施の形態の理解を容易とするため、発光信号から光が照射されるまでの時間遅延、照射から被写体までの到達までの時間（時間遅延）などは考慮しないものとする。同様に、本実施の形態の理解を容易とするため、図２９、図３０では複数の照射アクティブ光として２つの照射アクティブ光（照射アクティブ光ａ。ｂは、図２２又は図２４Ｂにおける照射ポイントａ、ｂに到達する）のみを示す。
　第１の方法は、図２９に示すように、発光信号は非一定周期タイミングとし、照射アクティブ光の照射タイミングを非一定周期とする。これにより、照射アクティブ光ａと照射アクティブ光ｂで同じ時間で発光している状態を有していても、干渉を低減することが出来る。
　別の方法（第２の方法）は、図３０に示すように、分割される複数の照射アクティブ光に合わせて発光信号をブロック化し、個々の照射アクティブ光を固有タイミングで発振する方法であり、図２８よりも更に干渉の発生を低減させることが出来る。つまり、固有タイミングで発光させることにより、照射アクティブ光ａと照射アクティブ光ｂで同じ時間で発光している状態を防ぐことができ、干渉を更に低減することができる。
　以上、図２９、図３０に示すように、回折格子を用いて、複数の照射アクティブ光を照射する測距撮像システムにおいて、複数の照射アクティブ光同士の干渉による測距精度の劣化を防ぐことが出来る。
　（実施の形態６の変形例２）
　図３１は、パルス光源部２０からの光源光を、回折格子２５ａにより、複数の照射アクティブ光に分割した例を示す説明図である。
　図３１より、分割光（照射アクティブ光ａ、ｂ）の広がりを用いた距離データを用いて、図６～図８と同様の原理で、被写体までの距離を算出することが出来る（図３１では、回折格子による照射アクティブ光の広がりは、到達距離１ｍに対し５ｃｍの広がり（分散度）であることを示している）。
　つまり照射ポイント間の距離をｄ、光の分散度（広がり角度）をθとすると、被写体までの距離Ｌは、式２を用いて算出する。
Figure JPOXMLDOC01-appb-M000002
　または、測定ポイント間の距離等を用いたデータ（被写体までの距離）をＴＯＦ測距演算あるいは画像測距演算（実施の形態４、５）の補正値に用いることにより、本実施の形態に係る測距撮像システムは、測距精度を更に向上させることが可能である。
　本開示に係る測距撮像システムは、測定対象物の高精度な距離測定が実現できるため、例えば、人物、建物などの距離測定に有用である。
１０　測距撮像システム
２０　パルス光源部
２１、２１ａ、２１ｂ　光源
２２　コリメートレンズ
２５　光源可動部
２５ａ、２５ｂ　回折格子
３０　撮像部
３５　撮像制御部
４０　固体撮像素子
４１　結像レンズ
５０　演算部
６０　制御部
７０　表示部
８０　検知部

Claims (25)

  1. 　光照射を指示する発光信号と、露光を指示する露光信号とを発生する信号発生部と、
    　前記発光信号に従ってパルス光を照射するパルス光源部と、
    　固体撮像素子を備え前記露光信号に従って露光および撮像をする撮像部と、
    　距離情報を算出する演算部とを備え、
    　前記固体撮像素子は、被写体からの放射光を受光する第１の画素と前記パルス光の反射光を受光する第２の画素を有し、
    　前記演算部は、前記第１の画素からの画像撮像信号と、前記第２の画素からの撮像信号とを用いて距離情報を算出する
    測距撮像システム。
  2. 　前記演算部は、さらに前記画像撮像信号と前記撮像信号により算出した前記被写体までの距離を用いて、前記被写体の寸法を算出する
    請求項１に記載の測距撮像システム。
  3. 　前記測距撮像システムは、前記画像撮像信号により被写全体から少なくとも一つの前記被写体を検知する検知部を備え、
    　前記パルス光源部は、検知した前記被写体に対して前記光照射を行い、
    　前記演算部は、前記撮像信号を用いて、前記距離情報として前記被写体までの距離を算出する
    請求項１に記載の測距撮像システム。
  4. 　前記測距撮像システムは、前記画像撮像信号により被写全体から少なくとも一つの前記被写体を検知する検知部を備え、
    　前記パルス光源部は、検知した前記被写体に対して前記光照射を行い、
    　前記演算部は、前記撮像信号により前記被写体までの距離を算出し、更に、前記撮像信号と前記被写体までの距離を用いて、前記被写体の寸法を算出する
    請求項１に記載の測距撮像システム。
  5. 　前記パルス光源部は、前記被写体の一部の領域に前記パルス光を照射し、
    　前記演算部は、前記被写体の前記一部の領域に基づいて前記被写体までの距離と前記被写体の寸法とを算出する
    請求項２～４のいずれか１項に記載の測距撮像システム。
  6. 　前記測距撮像システムは輸送機器に搭載され、
    　前記被写体は他の輸送機器であり、
    　前記測距撮像システムは、前記他の輸送機器までの距離を用いて、前記測距撮像システムを搭載した前記輸送機器の運転制御の少なくとも一部を行う
    請求項２～５のいずれか１項に記載の測距撮像システム。
  7. 　前記測距撮像システムは携帯機器に搭載され、
    　前記演算部は、前記携帯機器の表示部に表示した前記被写体の寸法を算出する
    請求項２、４、５のいずれか１項に記載の測距撮像システム。
  8. 　前記パルス光源部は、ラインレンズを備える
    請求項７に記載の測距撮像システム。
  9. 　前記測距撮像システムは、前記被写体上の前記パルス光と連動する光を照射する第２の光源を備える
    請求項５、７、８のいずれか１項に記載の測距撮像システム。
  10. 　前記測距撮像システムは、前記画像撮像信号により測距環境の状態を検知する検知部を備え、
    　前記演算部は、前記測距環境の状態に応じて前記画像撮像信号もしくは前記撮像信号を選択して前記距離情報を算出する、又は、前記測距環境の状態に応じて前記画像撮像信号および前記撮像信号の一方を前記画像撮像信号および前記撮像信号の他方により補正して前記距離情報を算出する
    請求項１に記載の測距撮像システム。
  11. 　前記演算部は、前記測距撮像システムの記憶情報に基づき、前記画像撮像信号もしくは前記撮像信号を選択して前記距離情報を算出する、又は、前記画像撮像信号および前記撮像信号の一方を前記画像撮像信号および前記撮像信号の他方により補正して前記距離情報を算出する
    請求項１に記載の測距撮像システム。
  12. 　前記演算部は、前記画像撮像信号を用いて現在のフレームと前のフレームを比較することにより距離を算出する
    請求項１０または１１に記載の測距撮像システム。
  13. 　前記測距撮像システムは、撮像倍率、昼夜、天候、前記被写体までの距離、又は、前記被写体もしくは前記測距撮像システムの動き速度により、前記距離情報を算出するための前記画像撮像信号または前記撮像信号を選択する
    請求項１０～１２のいずれか１項に記載の測距撮像システム。
  14. 　前記測距撮像システムは、輸送機器に搭載される
    請求項２～５、１０～１３のいずれか１項に記載の測距撮像システム。
  15. 　前記演算部は、タイムオブフライト方式で距離を算出する
    請求項１～１４のいずれか１項に記載の測距撮像システム。
  16. 　前記パルス光源部はレーザー光を照射する
    請求項１～１５のいずれか１項に記載の測距撮像システム。
  17. 　前記パルス光源部は、単色の発光素子、又は複数色の発光素子を搭載する
    請求項１～１６のいずれか１項に記載の測距撮像システム。
  18. 　前記第１の画素は可視光を受光し、前記第２の画素は可視光以外の光を受光する　
    請求項１～１７のいずれか１項に記載の測距撮像システム。
  19. 　前記可視光以外の光は、赤外光である
    請求項１８に記載の測距撮像システム。
  20. 　前記第１の画素は、さらに前記パルス光の反射光を受光し、前記第２の画素は、さらに被写体からの放射光を受光する
    請求項１～１９のいずれか１項に記載の測距撮像システム。
  21. 　前記パルス光源部は、光源と光源可動部を備え、
    　前記光源可動部は、前記光源からの光源光を分割し複数の前記パルス光を照射する
    請求項１～２０のいずれか１項に記載の測距撮像システム。
  22. 　前記光源可動部は、回折格子である
    請求項２１に記載の測距撮像システム。
  23. 　前記測距撮像システムは、前記画像撮像信号により、複数の前記パルス光の照射方向、前記被写体への照射ポイントの配置、または、複数の前記パルス光の形状を決定する
    請求項２０～２２のいずれか１項に記載の測距撮像システム。
  24. 　複数の前記パルス光は、非一定周期タイミングまたは複数の前記パルス光ぞれぞれの固有タイミングで照射する
    請求項２０～２３のいずれか１項に記載の測距撮像システム。
  25. 　複数の前記パルス光の分散度を用いて前記距離情報を算出する
    請求項２０～２４のいずれか１項に記載の測距撮像システム。
PCT/JP2014/005821 2013-11-20 2014-11-19 測距撮像システム WO2015075926A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480061442.5A CN105723239B (zh) 2013-11-20 2014-11-19 测距摄像系统以及固体摄像元件
CN201811080224.2A CN108919294B (zh) 2013-11-20 2014-11-19 测距摄像系统以及固体摄像元件
JP2015548991A JP6489320B2 (ja) 2013-11-20 2014-11-19 測距撮像システム
US15/156,002 US10302766B2 (en) 2013-11-20 2016-05-16 Range imaging system and solid-state imaging device
US16/136,004 US11175406B2 (en) 2013-11-20 2018-09-19 Range imaging system and solid-state imaging device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-240310 2013-11-20
JP2013240310 2013-11-20
JP2014009860 2014-01-22
JP2014-009860 2014-01-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/156,002 Continuation US10302766B2 (en) 2013-11-20 2016-05-16 Range imaging system and solid-state imaging device

Publications (1)

Publication Number Publication Date
WO2015075926A1 true WO2015075926A1 (ja) 2015-05-28

Family

ID=53179211

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005821 WO2015075926A1 (ja) 2013-11-20 2014-11-19 測距撮像システム

Country Status (4)

Country Link
US (2) US10302766B2 (ja)
JP (2) JP6489320B2 (ja)
CN (2) CN108919294B (ja)
WO (1) WO2015075926A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックＩｐマネジメント株式会社 センシングシステム及び運転支援システム
JP2016052054A (ja) * 2014-09-01 2016-04-11 キヤノン株式会社 撮像装置
JP2017026700A (ja) * 2015-07-17 2017-02-02 朝日航洋株式会社 架空線撮影装置および架空線撮影方法
WO2017022220A1 (ja) * 2015-08-04 2017-02-09 パナソニックＩｐマネジメント株式会社 固体撮像装置
JP2017505907A (ja) * 2014-01-29 2017-02-23 エルジー イノテック カンパニー リミテッド 深さ情報抽出装置および方法
JP2017078606A (ja) * 2015-10-19 2017-04-27 医療法人社団皓有会 監視センサ装置
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2018011040A (ja) * 2016-07-01 2018-01-18 キヤノン株式会社 撮像装置
JP2018531374A (ja) * 2015-10-23 2018-10-25 ゼノマティクス・ナムローゼ・フエンノートシャップＸｅｎｏｍａｔｉｘ Ｎｖ 物体までの距離を測定するためのシステムおよび方法
JP2019529957A (ja) * 2016-10-03 2019-10-17 ゼノマティクス ナムローゼ フェンノートシャップ 物体までの距離を測定するためのシステム
WO2019225224A1 (ja) * 2018-05-24 2019-11-28 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
JP2020504295A (ja) * 2016-12-07 2020-02-06 ジョイソン セイフティ システムズ アクイジション エルエルシー ３ｄタイムオブフライト能動反射検知システム及び方法
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
CN111198382A (zh) * 2018-11-16 2020-05-26 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
CN111273310A (zh) * 2017-12-07 2020-06-12 奥斯特公司 旋转紧凑型光测距系统
JPWO2020174765A1 (ja) * 2019-02-28 2020-09-03
JPWO2020195046A1 (ja) * 2019-03-27 2020-10-01
JP2021525368A (ja) * 2018-05-29 2021-09-24 維沃移動通信有限公司Ｖｉｖｏ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏ．， Ｌｔｄ． モバイル端末
WO2021199888A1 (ja) * 2020-04-03 2021-10-07 パナソニックＩｐマネジメント株式会社 測距装置を制御する方法および装置
JP6966011B1 (ja) * 2021-03-23 2021-11-10 株式会社リコー 撮像装置、撮像方法および情報処理装置
JP7031771B1 (ja) 2021-03-23 2022-03-08 株式会社リコー 撮像装置、撮像方法および情報処理装置
JPWO2022176061A1 (ja) * 2021-02-17 2022-08-25
US11874374B2 (en) 2016-12-30 2024-01-16 Xenomatix Nv System for characterizing surroundings of a vehicle

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
JP2017146155A (ja) * 2016-02-16 2017-08-24 ソニー株式会社 撮像装置及び撮像制御方法
CN109154497A (zh) * 2016-02-23 2019-01-04 富士胶片株式会社 距离信息获取装置以及距离信息获取方法
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
CN107633630B (zh) * 2016-07-19 2019-12-27 合盈光电科技股份有限公司 互动与安全警示系统
JP6673084B2 (ja) * 2016-08-01 2020-03-25 株式会社デンソー 光飛行型測距装置
US10764505B2 (en) * 2016-08-10 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
CN107770415A (zh) * 2016-08-19 2018-03-06 光宝电子(广州)有限公司 摄像设备以及摄像方法
JP6972011B2 (ja) 2016-11-30 2021-11-24 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
WO2018105476A1 (ja) * 2016-12-05 2018-06-14 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
CN108209867B (zh) * 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
CN106969713B (zh) * 2017-03-30 2019-04-26 西安邮电大学 一种图像测距嵌入式系统及其测距方法
JP6690660B2 (ja) * 2017-04-10 2020-04-28 株式会社デンソー 光計測装置
WO2018193609A1 (ja) * 2017-04-21 2018-10-25 パナソニックＩｐマネジメント株式会社 距離計測装置及び移動体
DE112018002395T5 (de) * 2017-05-11 2020-01-23 Sony Corporation Optischer sensor und elektronische vorrichtung
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
RU2662907C1 (ru) * 2017-08-24 2018-07-31 Владимир Эльич Пашковский Способ борьбы с засветкой астрономических приборов светом уличных осветительных приборов
CN111034177B (zh) * 2017-09-14 2022-06-28 新唐科技日本株式会社 固体摄像装置以及具备该固体摄像装置的摄像装置
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
WO2019113368A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Rotating compact light ranging system
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US11543525B2 (en) * 2017-12-22 2023-01-03 Sony Semiconductor Solutions Corporation Signal generation apparatus
US11333763B2 (en) * 2017-12-22 2022-05-17 Sony Semiconductor Solutions Corporation Signal generation apparatus
CN108270970B (zh) * 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
JP7117646B2 (ja) * 2018-09-03 2022-08-15 パナソニックＩｐマネジメント株式会社 距離測定装置
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
WO2020059448A1 (ja) * 2018-09-18 2020-03-26 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN113366340A (zh) * 2019-01-17 2021-09-07 株式会社小糸制作所 车载用成像装置、车辆用灯具、汽车
JP2020122774A (ja) * 2019-01-29 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
JP7293697B2 (ja) * 2019-02-06 2023-06-20 富士フイルムビジネスイノベーション株式会社 発光装置、光学装置および情報処理装置
CN113330328A (zh) 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
WO2020194615A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
WO2020218283A1 (ja) * 2019-04-22 2020-10-29 株式会社小糸製作所 ＴｏＦカメラ、車両用灯具、自動車
DE102019206370A1 (de) * 2019-05-03 2020-11-05 Audi Ag Außenleuchteinrichtung für ein Kraftfahrzeug
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11846731B2 (en) * 2019-07-31 2023-12-19 Canon Kabushiki Kaisha Distance detection device and imaging apparatus
CN114341672A (zh) 2019-10-01 2022-04-12 松下知识产权经营株式会社 测距装置及控制方法
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11070790B1 (en) 2020-01-10 2021-07-20 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on spatial filtering
JPWO2021181841A1 (ja) 2020-03-11 2021-09-16
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
US11582436B2 (en) 2020-07-17 2023-02-14 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation
CN112924980A (zh) * 2021-01-23 2021-06-08 行云智能(深圳)技术有限公司 一种双目景深摄像头测距方法
CN113075673B (zh) * 2021-03-22 2024-05-03 深圳市德明新微电子有限公司 一种测距传感器及测距方法
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07332966A (ja) * 1994-06-09 1995-12-22 Hitachi Ltd 車両用距離計測装置
JP2001084485A (ja) * 1999-09-13 2001-03-30 Mitsubishi Electric Corp 車両検出装置
JP2002174683A (ja) * 2000-09-26 2002-06-21 Fuji Photo Film Co Ltd 距離情報取得装置、および距離情報取得方法
JP2004205222A (ja) * 2002-12-20 2004-07-22 Matsushita Electric Works Ltd 測距装置
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2010271306A (ja) * 2009-04-24 2010-12-02 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2012021971A (ja) * 2010-07-15 2012-02-02 Samsung Electro-Mechanics Co Ltd 距離測定モジュール及びこれを含む電子装置
JP2012047830A (ja) * 2010-08-24 2012-03-08 Casio Comput Co Ltd 回折光学素子、並びに測距装置及び測距方法
WO2012172870A1 (ja) * 2011-06-14 2012-12-20 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181260A (ja) * 1993-12-24 1995-07-21 Mitsubishi Electric Corp 光波探知装置
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
JPH11148806A (ja) * 1997-11-18 1999-06-02 Fuji Xerox Co Ltd 三次元物体及びその表面画像の読取装置
EP1968012A3 (en) 1999-11-16 2008-12-03 FUJIFILM Corporation Image processing apparatus, image processing method and recording medium
US8412377B2 (en) * 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
EP1126412B1 (en) 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
JP2002031516A (ja) * 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
EP1191306B1 (en) 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
GB2374743A (en) * 2001-04-04 2002-10-23 Instro Prec Ltd Surface profile measurement
JP3772700B2 (ja) * 2001-07-12 2006-05-10 日産自動車株式会社 障害物検出装置
US7064810B2 (en) * 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP2005295442A (ja) * 2004-04-05 2005-10-20 Hitachi Kokusai Electric Inc 撮像装置及び撮像方法
JP4259418B2 (ja) * 2004-07-30 2009-04-30 パナソニック電工株式会社 画像処理装置
JP2006329971A (ja) * 2005-04-27 2006-12-07 Sanyo Electric Co Ltd 検出装置
JP2006323651A (ja) * 2005-05-19 2006-11-30 Atsumi Electric Co Ltd 防犯センサ
US8493445B2 (en) * 2006-05-31 2013-07-23 Sigma Space Corp Scanner/optical system for three-dimensional lidar imaging and polarimetry
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP5224319B2 (ja) * 2007-07-23 2013-07-03 富士フイルム株式会社 立体撮像装置および立体撮像装置の制御方法並びにプログラム
KR101141874B1 (ko) * 2008-06-04 2012-05-08 주식회사 만도 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
US8497981B2 (en) * 2009-09-15 2013-07-30 Qualcomm Incorporated Small form-factor size sensor
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US9377885B2 (en) * 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
JP5609270B2 (ja) * 2010-05-28 2014-10-22 ソニー株式会社 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP5521854B2 (ja) 2010-07-26 2014-06-18 コニカミノルタ株式会社 撮像装置及び画像入力装置
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
JP5858688B2 (ja) * 2011-08-30 2016-02-10 スタンレー電気株式会社 距離画像生成装置
JP5576851B2 (ja) * 2011-12-27 2014-08-20 本田技研工業株式会社 測距システム及び測距方法
EP2856207B1 (en) * 2012-05-29 2020-11-11 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
JP6041604B2 (ja) * 2012-09-27 2016-12-14 京セラ株式会社 表示装置、制御システムおよび制御プログラム
EP2808700B1 (en) * 2013-05-30 2019-10-02 Ricoh Company, Ltd. Drive assist device, and vehicle using drive assist device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07332966A (ja) * 1994-06-09 1995-12-22 Hitachi Ltd 車両用距離計測装置
JP2001084485A (ja) * 1999-09-13 2001-03-30 Mitsubishi Electric Corp 車両検出装置
JP2002174683A (ja) * 2000-09-26 2002-06-21 Fuji Photo Film Co Ltd 距離情報取得装置、および距離情報取得方法
JP2004205222A (ja) * 2002-12-20 2004-07-22 Matsushita Electric Works Ltd 測距装置
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
JP2010271306A (ja) * 2009-04-24 2010-12-02 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2012021971A (ja) * 2010-07-15 2012-02-02 Samsung Electro-Mechanics Co Ltd 距離測定モジュール及びこれを含む電子装置
JP2012047830A (ja) * 2010-08-24 2012-03-08 Casio Comput Co Ltd 回折光学素子、並びに測距装置及び測距方法
WO2012172870A1 (ja) * 2011-06-14 2012-12-20 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505907A (ja) * 2014-01-29 2017-02-23 エルジー イノテック カンパニー リミテッド 深さ情報抽出装置および方法
US11397248B2 (en) 2014-05-30 2022-07-26 Nuvoton Technology Corporation Japan Sensing system and driving support system
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックＩｐマネジメント株式会社 センシングシステム及び運転支援システム
JP2016052054A (ja) * 2014-09-01 2016-04-11 キヤノン株式会社 撮像装置
JP2017026700A (ja) * 2015-07-17 2017-02-02 朝日航洋株式会社 架空線撮影装置および架空線撮影方法
US10690755B2 (en) 2015-08-04 2020-06-23 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range
WO2017022220A1 (ja) * 2015-08-04 2017-02-09 パナソニックＩｐマネジメント株式会社 固体撮像装置
JPWO2017022220A1 (ja) * 2015-08-04 2018-05-31 パナソニックＩｐマネジメント株式会社 固体撮像装置
JP2017078606A (ja) * 2015-10-19 2017-04-27 医療法人社団皓有会 監視センサ装置
JP2018531374A (ja) * 2015-10-23 2018-10-25 ゼノマティクス・ナムローゼ・フエンノートシャップＸｅｎｏｍａｔｉｘ Ｎｖ 物体までの距離を測定するためのシステムおよび方法
US10921454B2 (en) 2015-10-23 2021-02-16 Xenomatix Nv System and method for determining a distance to an object
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2018011040A (ja) * 2016-07-01 2018-01-18 キヤノン株式会社 撮像装置
JP2019529957A (ja) * 2016-10-03 2019-10-17 ゼノマティクス ナムローゼ フェンノートシャップ 物体までの距離を測定するためのシステム
JP7028878B2 (ja) 2016-10-03 2022-03-02 ゼノマティクス ナムローゼ フェンノートシャップ 物体までの距離を測定するためのシステム
JP2020504295A (ja) * 2016-12-07 2020-02-06 ジョイソン セイフティ システムズ アクイジション エルエルシー ３ｄタイムオブフライト能動反射検知システム及び方法
US11447085B2 (en) 2016-12-07 2022-09-20 Joyson Safety Systems Acquisition Llc 3D time of flight active reflecting sensing systems and methods
US11874374B2 (en) 2016-12-30 2024-01-16 Xenomatix Nv System for characterizing surroundings of a vehicle
CN111273310A (zh) * 2017-12-07 2020-06-12 奥斯特公司 旋转紧凑型光测距系统
US11353556B2 (en) 2017-12-07 2022-06-07 Ouster, Inc. Light ranging device with a multi-element bulk lens system
US11340336B2 (en) 2017-12-07 2022-05-24 Ouster, Inc. Rotating light ranging system with optical communication uplink and downlink channels
US11300665B2 (en) 2017-12-07 2022-04-12 Ouster, Inc. Rotating compact light ranging system
CN111273310B (zh) * 2017-12-07 2021-03-12 奥斯特公司 旋转紧凑型光测距系统
US10969490B2 (en) 2017-12-07 2021-04-06 Ouster, Inc. Light ranging system with opposing circuit boards
US11287515B2 (en) 2017-12-07 2022-03-29 Ouster, Inc. Rotating compact light ranging system comprising a stator driver circuit imparting an electromagnetic force on a rotor assembly
WO2019225224A1 (ja) * 2018-05-24 2019-11-28 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
JP2021525368A (ja) * 2018-05-29 2021-09-24 維沃移動通信有限公司Ｖｉｖｏ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏ．， Ｌｔｄ． モバイル端末
JP7176007B2 (ja) 2018-05-29 2022-11-21 維沃移動通信有限公司 モバイル端末
CN113039456A (zh) * 2018-11-07 2021-06-25 索尼半导体解决方案公司 投光控制设备及投光控制方法
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
CN111198382A (zh) * 2018-11-16 2020-05-26 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
JPWO2020174765A1 (ja) * 2019-02-28 2020-09-03
JP7199016B2 (ja) 2019-03-27 2023-01-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
JPWO2020195046A1 (ja) * 2019-03-27 2020-10-01
WO2021199888A1 (ja) * 2020-04-03 2021-10-07 パナソニックＩｐマネジメント株式会社 測距装置を制御する方法および装置
WO2022176061A1 (ja) * 2021-02-17 2022-08-25 三菱電機ビルテクノサービス株式会社 測定装置及びエレベーター装置
JPWO2022176061A1 (ja) * 2021-02-17 2022-08-25
JP7276635B2 (ja) 2021-02-17 2023-05-18 三菱電機ビルソリューションズ株式会社 測定装置及びエレベーター装置
JP2022146976A (ja) * 2021-03-23 2022-10-06 株式会社リコー 撮像装置、撮像方法および情報処理装置
JP2022147087A (ja) * 2021-03-23 2022-10-06 株式会社リコー 撮像装置、撮像方法および情報処理装置
JP7031771B1 (ja) 2021-03-23 2022-03-08 株式会社リコー 撮像装置、撮像方法および情報処理装置
JP6966011B1 (ja) * 2021-03-23 2021-11-10 株式会社リコー 撮像装置、撮像方法および情報処理装置

Also Published As

Publication number Publication date
JP2018185342A (ja) 2018-11-22
US11175406B2 (en) 2021-11-16
CN105723239A (zh) 2016-06-29
JP6536984B2 (ja) 2019-07-03
CN108919294A (zh) 2018-11-30
CN105723239B (zh) 2020-12-18
US10302766B2 (en) 2019-05-28
JPWO2015075926A1 (ja) 2017-03-16
CN108919294B (zh) 2022-06-14
US20190033452A1 (en) 2019-01-31
US20160259057A1 (en) 2016-09-08
JP6489320B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6489320B2 (ja) 測距撮像システム
US20200217960A1 (en) Camera-gated lidar system
EP3423865B1 (en) Gated imaging apparatus, system and method
US20220276384A1 (en) Time-of-Flight Sensor with Structured Light Illuminator
US9626570B2 (en) Vehicle control system and image sensor
US9810785B2 (en) Gated imaging using an adaptive depth of field
US20170234976A1 (en) High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
JP6740756B2 (ja) 撮像装置および自動車
JP2019078748A (ja) デプス画像取得装置、制御方法、およびデプス画像取得システム
KR20150038032A (ko) 스테레오 게이트된 영상 시스템 및 방법
JP6731135B2 (ja) センシングシステム及び運転支援システム
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
US11772545B2 (en) Apparatus, system and method for controlling lighting using gated imaging
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14863835

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015548991

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14863835

Country of ref document: EP

Kind code of ref document: A1