JP6541119B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6541119B2
JP6541119B2 JP2018554957A JP2018554957A JP6541119B2 JP 6541119 B2 JP6541119 B2 JP 6541119B2 JP 2018554957 A JP2018554957 A JP 2018554957A JP 2018554957 A JP2018554957 A JP 2018554957A JP 6541119 B2 JP6541119 B2 JP 6541119B2
Authority
JP
Japan
Prior art keywords
area
imaging device
imaging
subject
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018554957A
Other languages
English (en)
Other versions
JPWO2018105476A1 (ja
Inventor
賢二 岩橋
賢二 岩橋
弘紀 新出
弘紀 新出
智宏 本多
智宏 本多
清水　規貴
規貴 清水
岩井　浩
岩井　　浩
柴田　修
修 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018105476A1 publication Critical patent/JPWO2018105476A1/ja
Application granted granted Critical
Publication of JP6541119B2 publication Critical patent/JP6541119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G01C2009/066—Electric or photoelectric indication or reading means optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、被写体を撮像する撮像装置に関する。
従来、被写体を撮像する撮像装置が知られている（例えば、特許文献１参照）。
特開２０１１−６４４９８号公報
撮像装置において、被写体の測距精度、及び／又は被写体の検知精度の向上が望まれる。
そこで、本発明は、従来よりも、被写体の測距精度、及び／又は被写体の検知精度を向上し得る撮像装置、及びそれに用いられる固体撮像素子を提供することを目的とする。
本発明の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
本発明の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
上記構成の撮像装置、及び固体撮像素子によると、従来よりも、被写体の測距精度、及び／又は被写体の検知精度を向上し得る。
図１は、実施の形態に係る撮像装置の構成を示すブロック図である。 図２は、実施の形態に係る固体撮像素子が有する画素アレイを示す模式図である。 図３は、ＴＯＦ測距方式による測距時における、発光タイミングと露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態に係る撮像装置が、車両に搭載されて利用される一例を示すブロック図である。 図５Ａは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図５Ｂは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図６は、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図７Ａは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図７Ｂは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図７Ｃは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図８は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。 図９Ａは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。 図９Ｂは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。 図１０は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。 図１１は、ＩＲ撮像画像の出力順と、Ｗ撮像画像の出力順との関係の一例を示す模式図である。 図１２Ａは、ＩＲ撮像画像の出力順と、ＩＲ補間撮像画像の出力順との関係の一例を示す模式図である。 図１２Ｂは、Ｗ撮像画像の出力順と、Ｗ補間撮像画像の出力順との関係の一例を示す模式図である。
本開示の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なるとしてもよい。
また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きいとしてもよい。
また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第１時刻に前記第１領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第２領域が撮像される場合に、前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体までの距離に係る情報を用いるとしてもよい。
また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第１時刻に前記第２領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第１領域が撮像される場合に、前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体の外観に係る情報を用いるとしてもよい。
また、上記撮像装置において、前記固体撮像素子は、前記撮像を逐次行い、前記演算部が行う前記演算は、第１時刻における前記第１領域又は前記第２領域からの情報と、前記第１時刻とは異なる第２時刻における前記他方となる前記第２領域又は前記第１領域からの情報とを関連付ける処理を含むとしてもよい。
また、上記撮像装置において、前記第１領域からの情報は、前記被写体までの距離に係る情報であり、前記第２領域からの情報は、前記被写体の外観に係る情報であり、前記演算部が行う前記演算は、前記第２領域における前記被写体までの距離を推定する処理を含み、前記被写体情報は、前記第２領域における前記被写体までの、推定される距離を示す情報を含むとしてもよい。
また、上記撮像装置において、前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、前記第２領域における前記被写体情報の演算に、前記第１領域の演算結果を関連付けるとしてもよい。
また、上記撮像装置において、前記第１領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第１ａ領域と、前記反射光が前記固体撮像素子に到達しない第１ｂ領域を有するとしてもよい。
また、上記撮像装置において、前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、前記第１ａ領域以外の領域における前記被写体情報の演算に、前記第１ａ領域の演算結果を関連付けるとしてもよい。
また、上記撮像装置において、前記輸送機器は路面を走行する車両であって、前記第１領域からの情報は、前記路面の傾きに係る情報であり、前記第２領域からの情報は、前記路面の外観に係る情報であり、前記演算部が行う前記演算は、前記第２領域における前記路面の傾きを推定する処理を含み、前記被写体情報は、前記第２領域における前記路面の、推定される傾きを示す情報を含むとしてもよい。
また、上記撮像装置において、前記照射光は、赤外光であり、前記第１画素は、赤外光を受光し前記第２画素は、可視光を受光するとしてもよい。
また、上記撮像装置において、前記照射角度を調整する拡散板を備えるとしてもよい。
本開示の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
以下、本開示の一態様に係る撮像装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態）
図１は、実施の形態に係る撮像装置１の構成を示すブロック図である。
図１に示されるように、撮像装置１は、光源１０と、固体撮像素子２０と、演算部３０と、制御部４０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。
光源１０は、照射光を照射する。より具体的には、光源１０は、制御部４０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、近赤外線光を発光する発光ダイオード等であって、光源１０が照射する照射光は、近赤外線光であるとして説明する。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外線光であっても構わない。
固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、制御部４０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。
以下では、照射光と同様に、反射光は、近赤外線光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、近赤外線光に限定される必要はない。
図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。
図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（Ｗ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。
第１画素２１は、例えば、反射光である近赤外線光に感度を有する近赤外線光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。
近赤外線光画素は、例えば、近赤外線光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で変換された電荷を蓄積する蓄積部等含んで構成される。なお、可視光画素の光学フィルタは、可視光と近赤外線光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。
再び図１に戻って、撮像装置１の説明を続ける。
演算部３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
演算部３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、演算部３０は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
演算部３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴＯＦ測距方式により、被写体までの距離を算出する。
以下、図面を参照しながら、演算部３０が行うＴＯＦ測距方式による被写体までの距離の算出について説明する。
図３は、演算部３０が、ＴＯＦ測距方式を用いて行う被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。
図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。
図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。
光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、次式（式１）で表すことができる。
ｄ＝ｃ×Ｔｐ／２×ｑ１／（ｑ１＋ｑ２） …式１
このため、演算部３０は、式１を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。
再び図１に戻って、撮像装置１の説明を続ける。
演算部３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行う。
すなわち、演算部３０は、第１の時刻において、固体撮像素子２０の複数の第２画素２２によって撮像された第１可視光画像と、第２の時刻において、固体撮像素子２０の複数の第２画素２２によって撮像された第２可視光画像とを比較し、これら可視光画像間の差分に基づいて、被写体の検知、及び被写体までの距離の算出を行う。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよい。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。
演算部３０が行う他の演算例については、後述する。
制御部４０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、制御部４０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。
制御部４０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、撮像装置１に、所定のフレームレートによる連続撮像を実現させてもよい。
制御部４０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、制御部４０は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されても構わない。
拡散板５０は、照射光の角度を調整する。
レンズ６０は、撮像装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。
バンドパスフィルタ７０は、反射光である近赤外線光と、可視光とを透過させる光学フィルタである。
上記構成の撮像装置１は、輸送機器に搭載されて利用される。以下では、撮像装置１は、路面を走行する車両に搭載されて利用されるとして説明するが、撮像装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。撮像装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
なお、演算部３０は、上述したＴＯＦ測距方式により算出する被写体までの距離と比べて、その精度は低下してしまうものの、固体撮像素子２０の第１画素２１からの撮像信号を用いずに、被写体までの距離を算出することも可能である。
図４は、撮像装置１が、車両１００に搭載されて利用される一例を示すブロック図である。
図４に示されるように、撮像装置１は、例えば、車両１００に搭載されるＡＤＡＳ（Advanced Driver Assistance System）／ＡＤ−ＥＣＵ（Automated Driving - Engine Control Unit）１１０に接続されて利用される。
ＡＤＡＳ／ＡＤ−ＥＣＵ１１０は、車両１００に搭載される、撮像装置１、及びセンサ１２Ａ〜１２Ｃからの信号を利用して、車両１００の自動運転を制御するシステムであって、車両の位置を特定するロケイタ部１１１、及び、ブレーキ、ハンドル、エンジン等を制御するコントロール部１１２等を含む。
撮像装置１は、車両１００の様々な位置に搭載され得る。例えば、撮像装置１は、車両１００の前面中央部、すなわち、両ヘッドライト間の中央部に搭載され、車両１００の前方をその撮像領域とすることができる。
図５Ａは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置１の撮像領域の一例を模式的に示す側面図である。
図５Ａにおいて、第１領域１１０は、少なくとも第１画素２１で撮像する領域である。すなわち、第１領域１１０は、光源１０から照射された照射光が被写体により反射し、反射した反射光が、固体撮像素子２０に到達し得る領域である。
図５Ａにおいて、第２領域１２０は、第２画素２２で撮像する領域である。すなわち、第２領域１２０は、可視光である環境光が、固体撮像素子２０に到達し得る領域である。
図５Ａに示される例では、車両１００の垂直方向における照射光の照射角度は、拡散板５０により適切に調整されることで、車両１００の垂直方向における撮像領域の画角よりも狭くなっている。例えば、車両１００の垂直方向における照射光の照射角度は２０度程度であってよく、車両１００の垂直方向における撮像領域の画角は３０度程度であってよい。
このように、照射光の照射範囲を、撮像領域の画角よりも狭く調整することで、光源１０の発する有限エネルギーの照射光を、特に着目したい範囲内に絞って照射することができる。これにより、その着目したい範囲内における、反射光の到達距離を、照射光を絞らない場合にくらべて、より長くすることができる。
図５Ａに示されるように、可視光による撮像距離の方が、反射光による撮像距離よりも長くなる外部環境の場合には、第１領域１１０よりも遠方側に第２領域１２０が存在する。すなわち、このような外部環境の場合には、第２領域１２０は、他方となる第１領域１１０の周囲に備わる。
また、第１領域１１０は、図５Ａに示されるように、第１ａ領域１１０ａと、第１ｂ領域１１０ｂとからなる。
第１ａ領域１１０ａは、第１領域１１０のうち、路面１３０（基準面）からの反射光、及び路面１３０よりも仰角方向上方の被写体からの反射光が、固体撮像素子２０に到達し得る領域である。
第１ｂ領域１１０ｂは、第１領域１１０のうち、路面１３０よりも仰角方向上方の被写体からの反射光が、固体撮像素子２０に到達し得るが、路面からの反射光が、固体撮像素子２０に到達しない領域である。
また、第２領域１２０は、図５Ａに示されるように、第２ａ領域１２０ａと、第２ｂ領域１２０ｂとからなる。
第２ａ領域１２０ａは、第２領域１２０のうち、第１ａ領域１１０ａと第１ｂ領域１１０ｂとの境界面よりも仰角方向上方側の領域である。
第２ｂ領域１２０ｂは、第２領域１２０のうち、第１ａ領域１１０ａと第１ｂ領域１１０ｂとの境界面よりも仰角方向下方側の領域である。
図５Ｂは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、反射光による撮像距離の方が、可視光による撮像距離よりも長い場合（一例として、外部環境が、夜間、雨天、濃霧時等の場合）における、撮像装置１の撮像領域の一例を模式的に示す側面図である。
図５Ｂに示されるように、反射光による撮像距離の方が、可視光による撮像距離よりも長くなる外部環境の場合には、第２領域１２０よりも遠方側に第１領域１１０が存在する。すなわち、このような外部環境の場合には、第１領域１１０は、他方となる第２領域１２０の周囲に備わる。
図５Ａ、図５Ｂで説明したように、第２領域１２０は外部要因（一例として外部環境）により、その範囲が変化し得る。また、同様に、第１領域１１０は、外部要因（一例として外部環境）により、その範囲が変化し得る。
撮像装置１は、図５Ａ、図５Ｂで示されるように、車両１００の前方監視用に利用される場合に限定されない。例えば、車両１００の後方監視用にも利用されても構わない。すなわち、撮像装置１は、例えば、車両の背面中央部、すなわち、両テールライト間の中央部に搭載され、車両１００の後方をその撮像領域とすることもできる。
図６は、撮像装置１が、車両１００の後方監視用に、車両１００の背面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置１の撮像領域の一例を模式的に示す側面図である。
図７Ａは、撮像装置１が、車両１００の前方監視用に、車両１００の前面中央部に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
図７Ａで示される例では、車両の水平方向における第１領域１１０の角度は、車両の水平方向における第２領域１２０の角度と略等しくなっている。すなわち、車両１００の水平方向における照射光の照射角度は、拡散板５０により適切に調整されることで、車両１００の水平方向における撮像領域の画角と略等しくなっている。例えば、車両１００の水平方向における照射光の照射角度は９０度程度であってよく、車両１００の水平方向における撮像領域の範囲は９０度程度であってよい。
このように、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角と略等しくすることで、車両の水平方向における画角一杯までの範囲の被写体を、第１画素２１で撮像することができる。
なお、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角と異ならせても良い。一例として、車両の水平方向における画角一杯までの範囲の被写体を、より確実に第１画素２１で撮像することができるように、車両１００の水平方向における照射光の照射角度を、車両１００の水平方向における撮像領域の画角よりも広くしても構わない。例えば、車両１００の水平方向における撮像領域の範囲は９０度程度である場合に、車両１００の水平方向における照射光の照射角度は９２度程度であってよい。
さらに、撮像装置１は、車両１００の斜方監視用にも利用されても構わないし、車両１００の側方監視用として利用されても構わない。
なお、図７Ａは、車両１００の緊急ブレーキ制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
さらに、図７Ａは、後述する図７Ｂ及び図７Ｃの場合よりも、遠距離を測定するセンシング装置として用いられることがより好ましい。
図７Ｂは、撮像装置１が、車両１００の斜方監視用に、車両１００のヘッドライト付近に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
図７Ｃは、撮像装置１が、車両１００の側方監視用に、車両１００のドアミラー側面に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合（一例として、外部環境が、晴れの日の昼間等の場合）における、撮像装置１の撮像領域の一例を模式的に示す平面図である。
なお、図７Ｂ及び図７Ｃは、車両１００の自動運転制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
さらに、図７Ｂ及び図７Ｃは、図７Ａの場合よりも、短距離から中距離を測定するセンシング装置として用いられることがより好ましい。
特に、撮像装置１を、車両１００の斜方監視用、又は側方監視用に利用する場合には、車両１００の水平方向における照射光の照射角度と、車両１００の水平方向における撮像領域の画角と略等しくすることが好ましい。
図８は、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、路面１３０を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。
図８に示されるように、車両１００の垂直方向において、第２領域１２０は、撮像画像の画角上端から画角下端まで存在しているが、第１領域１１０は、撮像画像の画角上端よりも下方から画角下端よりも上方に限って存在している。
一方で、図８に示されるように、車両１００の水平方向において、第１領域１１０と第２領域１２０との双方は、撮像画像の左端から右端まで存在している。
図８において、第２ｃ領域１２０ｃは、第２ａ領域１２０ａ内でかつ第１ａ領域１１０ａ外の領域のうち、反射光が固体撮像素子２０に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部３０は、第２ｃ領域１２０ｃに該当する第１画素２１からの撮像信号を、演算部３０が行う演算において利用しない。
また、図８において、第２ｄ領域１２０ｄは、第２ｂ領域１２０ｂ内でかつ第１ｂ領域１１０ｂ外の領域のうち、反射光が固体撮像素子２０に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部３０は、第２ｃ領域１２０ｃと同様に、第２ｄ領域１２０ｄに該当する第１画素２１からの撮像信号を、演算部３０が行う演算において利用しない。
図９Ａ、図９Ｂは、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、第１時刻と、第１時刻よりも後の第２時刻とにおいて、路面１３０を走行中の他の車両２００を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。
図９Ａ、図９Ｂにおいて、車両２００ａ、車両２００ｃは、第１時刻において撮像される他の車両２００であり、車両２００ｂ、車両２００ｄは、第１時刻よりも後の時刻である第２時刻において撮像される他の車両２００である。
図９Ａ、図９Ｂで示される例は、第１時刻から時間が経過して第２時刻になる間に、車両１００と他の車両２００との距離が接近するシーンに対応する例となっている。但し、他の車両２００までの距離は、図９Ａで示される例と、図９Ｂで示される例とで異なっている。
図９Ａに示される例において、他の車両２００ａは、第１領域１１０内でかつ第２領域１２０内に存在している。
このため、演算部３０は、第２領域１２０からの情報、すなわち、第１時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ａの検知を行い、かつ、第１領域１１０からの情報、すなわち、第１時刻における第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、被写体である他の車両２００ａまでの距離を、比較的精度良く算出する。
一方、図９Ａに示される例において、他の車両２００ｂは、第１領域１１０外でかつ第２領域１２０内に存在している。
このため、演算部３０は、第２領域１２０からの情報、すなわち、第２時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｂの検知を行う一方で、第１領域１１０からの情報、すなわち、第１画素２１からの撮像信号に基づく、ＴＯＦ測距方式による、被写体である他の車両２００ｂまでの距離を算出しない。替わりに、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、ＴＯＦ測距方式によらず、被写体である他の車両２００ｂまでの距離を算出する。
そして、演算部３０は、第１時刻における第１領域１１０からの情報と、第２時刻における第２領域１２０からの情報とを関連付ける。より具体的には、演算部３０は、第１時刻における車両２００ａの検知結果と、第２時刻における車両２００ｂの検知結果を比較して、車両２００ａと車両２００ｂとが同一の車両２００であると判定する場合に、第１時刻における、ＴＯＦ測距方式により算出された他の車両２００ａまで距離を示す情報と、第２時刻における、車両２００ｂの検知結果とを関連付ける（紐付けする）。
そして、演算部３０は、第２領域における被写体までの距離を推定する。より具体的には、演算部３０は、第１時刻における、ＴＯＦ測距方式により算出された他の車両２００ａまで距離を示す情報と、第２時刻における、他の車両２００ｂの検知結果と、第２時刻における、ＴＯＦ測距方式によらず算出された他の車両２００ｂまでの距離を示す情報とに基づいて、第２時刻における車両２００ｂまでの距離を推定する。
これにより、演算部３０は、第２時刻による車両２００ｂまでの距離を、第２時刻における第２画素２２からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
図９Ｂに示される例において、他の車両２００ｃは、第１領域１１０外でかつ第２領域１２０内に存在している。
このため、演算部３０は、第２領域１２０からの情報、すなわち、第１時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｃの検知と、ＴＯＦ測距方式によらない、被写体である他の車両２００ｃまでの距離の算出とを行う。
つまり、図９Ａで示される例において、被写体は、輸送機器が走行する路面上に存在する物体（車両２００ａまたは車両２００ｂ）であり、固体撮像素子２０は、撮像を逐次行い、上述の物体が、第１時刻に第１領域１１０で撮像され、第１時刻から一定期間経過後となる第２時刻に第２領域１２０が撮像される場合に、第２時刻における被写体（車両２００ｂ）情報の演算に、第１時刻における上述の物体（車両２００ａ）までの距離に係る情報を用いる。
一方、図９Ｂに示される例において、他の車両２００ｄは、第１領域１１０内でかつ第２領域１２０内に存在している。
このため、演算部３０は、第２領域１２０からの情報、すなわち、第２時刻における第２画素２２からの撮像信号に基づいて、被写体である他の車両２００ｄの検知を行い、かつ、第１領域１１０からの情報、すなわち、第２時刻における第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、被写体である他の車両２００ｄまでの距離を、比較的精度良く算出する。但し、演算部３０は、上記検知と上記算出とを、第１時刻における他の車両２００ｃの検知結果にも基づいて行う。
すなわち、演算部３０は、例えば、第１時刻における他の車両２００ｃの検知結果に基づいて、上記検知と上記算出とを、その探索範囲を一部の領域に限定して行う。
これにより、演算部３０は、上記検知と上記算出とを、車両２００ｃの検知結果に基づくことなく行う場合よりも、より短時間で実現し得る。
また、演算部３０は、例えば、第１時刻における他の車両２００ｃの検出結果と、第２時刻における第２画素２２からの撮像信号とに基づいて、第２時刻における他の車両２００ｄの検知を行う。
これにより、演算部３０は、第２時刻における他の車両２００ｄの検知を、第１時刻における他の車両２００ｃの検知結果に基づくことなく行う場合よりも、より精度良く実現し得る。
つまり、図９Ｂで示される例において、被写体は、輸送機器が走行する路面上に存在する物体（車両２００ｃまたは車両２００ｄ）であり、固体撮像素子２０は、撮像を逐次行い、上述の物体が、第１時刻に第２領域１２０で撮像され、第１時刻から一定期間経過後となる第２時刻に第１領域１１０が撮像される場合に、第２時刻における被写体（車両２００ｄ）情報の演算に、第１時刻における前記物体（車両２００ｃ）の外観に係る情報を用いる。
以上、図９Ａ、図９Ｂを用いて説明したように、第１時刻から第２時刻の経過において、被写体（車両２００ａ〜２００ｄ）の位置が（１）第１領域１１０から第２領域１２０に変わる場合、（２）第２領域１２０から第１領域１１０に変わる場合、のいずれの場合においても、第１時刻における第１領域１１０又は第２領域１２０からの情報と、第１時刻とは異なる第２時刻における他方となる前記第２領域１２０又は第１領域１１０からの情報とを関連付けを行うことにより、第２時刻時における被写体のセンシング（測距、検知、等）を、短時間に、かつ／または、精度良く行うことが出来る。
図１０は、第１領域１１０と第２領域１２０との関係が、図５Ａ、図７Ａで示される関係である場合において、撮像装置１が、路面１３０を撮像する様子の一例を示す模式図であって、撮像装置１の撮像視点による模式図である。すなわち、図１０に示す例は、図８に示す例と同様のシーンに対応する図面になっている。しかしながら、図１０は、演算部３０の動作をより分かりやすく説明するために、その図示内容の一部を、図８において図示する内容とは一部異なる方法で図示している。
図１０で示される例において、路面１３０の路肩を示す路肩境界線１４０は、第１ａ領域１１０ａに含まれる路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂと、第１ａ領域１１０ａに含まれない路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆとを含んでいる。
上述したように、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂは、第１ａ領域１１０ａに含まれる。このため、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）の検知を行い、かつ、第１ａ領域１１０ａからの情報、すなわち、第１画素２１からの撮像信号に基づいて、ＴＯＦ測距方式により、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）までの距離を、比較的精度良く算出する。
これにより、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）についての、外観、及び傾きを算出することができる。
一方、上述したように、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆは、第１ａ領域１１０ａに含まれない。このため、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知を行う一方で、第１ａ領域１１０ａからの情報、すなわち、第１画素２１からの撮像信号に基づく、ＴＯＦ測距方式による、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）までの距離を算出しない。替わりに、演算部３０は、第２領域１２０からの情報、すなわち、第２画素２２からの撮像信号に基づいて、ＴＯＦ測距方式によらず、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）までの距離を算出する。
そして、演算部３０は、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）についての外観を算出する一方で、第１ａ領域１１０ａからの情報と、第２領域１２０からの情報とを関連付ける。より具体的には、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）の検知結果と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知結果とを比較して、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）とが、同一の路肩境界線１４０における路面１３０（すなわち、路肩領域）の一部であると判定する場合に、ＴＯＦ測距方式により算出された、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）までの距離を示す情報と、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の検知結果とを関連付ける（紐付ける）。
そして、演算部３０は、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の傾きを推定する。より具体的には、演算部３０は、路肩境界線領域１４０ａ、及び路肩境界線領域１４０ｂにおける路面１３０（すなわち、路肩領域）についての、外観、及び傾きと、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の外観とから、路肩形状の連続性を推定し、推定した路肩形状の連続性に基づいて、路肩境界線領域１４０ｃ〜路肩境界線領域１４０ｆにおける路面１３０（すなわち、路肩領域）の傾きを推定する。
これにより、演算部３０は、第１ａ領域１１０ａ以外の領域における路面１３０の傾きを、第２画素２２からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
つまり、被写体が、第１領域１１０と第２領域１２０に連続して備わる物体（路肩境界線１４０）である場合、第２領域１２０における被写体情報の演算に、第１領域１１０の演算結果を関連付ける。
または、被写体が、第１領域１１０と第２領域１２０に連続して備わる物体（路肩境界線１４０）である場合、第１ａ領域１１０ａ以外の領域（第２領域１２０、第１ｂ領域１１０ｂ）における被写体情報の演算に、第１ａ領域１１０ａの演算結果を関連付ける。
また、撮像装置１は、例えば、第１画素２１による撮像と第２画素２２による撮像とを、所定のフレームレートにおける互いにずれたタイミングで行い、第１画素２１による撮像信号（以下、「ＩＲ撮像信号」とも呼ぶ。）の出力と第２画素２２による撮像信号（以下、「Ｗ撮像信号とも呼ぶ」）の出力とを、上記所定のフレームレートにおける互いにずれたタイミングで行う構成であっても構わない。
図１１は、撮像装置１が上記構成である場合における、ＩＲ撮像信号の出力順と、Ｗ撮像信号の出力順との関係の一例を示す模式図である。
さらに、撮像装置１は、例えば、ＩＲ撮像信号を、Ｗ撮像信号で補間する構成であっても構わない。
図１２Ａは、撮像装置１が上記構成である場合における、ＩＲ撮像信号の出力順と、Ｗ撮像信号でＩＲ撮像信号を補完することで得られる撮像信号（以下、「ＩＲ補間撮像信号」とも呼ぶ。）の出力順との関係の一例を示す模式図である。
図１２Ａにおいて、ＩＲ補間撮像信号ａ５００ａは、Ｗ撮像信号ａ４００ａに基づいて生成される、ＩＲ撮像信号ａ３００ａとＩＲ撮像信号ｂ３００ｂとの間を補完するＩＲ補間撮像信号である。ＩＲ補間撮像信号ｂ５００ｂは、Ｗ撮像信号ｂ４００ｂに基づいて生成される、ＩＲ撮像信号ｂ３００ｂとＩＲ撮像信号ｃ３００ｃとの間を補完するＩＲ補間撮像信号である。ＩＲ補間撮像信号ｃ５００ｃは、Ｗ撮像信号ｃ４００ｃに基づいて生成される、ＩＲ撮像信号ｃ３００ｃとＩＲ撮像信号ｄ（図示されず）との間を補完するＩＲ補間撮像信号である。
図１２Ａに示されるように、上記構成の撮像装置１は、実質的に、ＩＲ撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置１は、被写体の測距精度、及び／又は被写体の検知精度を、さらに向上し得る。
また、撮像装置１は、例えば、ＩＲ補間撮像信号（例えば、ＩＲ補間撮像信号ａ５００ａ）を生成する際に、対応するＷ撮像信号（例えば、Ｗ撮像信号ａ４００ａ）に加えて、その前後のＩＲ撮像信号（例えば、ＩＲ撮像信号ａ３００ａとＩＲ撮像信号ｂ３００ｂと）にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置１は、より精度良くＩＲ補間撮像信号を生成することができるようになる。
さらに、撮像装置１は、例えば、Ｗ撮像信号を、ＩＲ撮像信号で補間する構成であっても構わない。
図１２Ｂは、撮像装置１が上記構成である場合における、Ｗ撮像信号の出力順と、ＩＲ撮像信号でＷ撮像信号を補完することで得られる撮像信号（以下、「Ｗ補間撮像信号」とも呼ぶ。）の出力順との関係の一例を示す模式図である。
図１２Ｂにおいて、Ｗ補間撮像信号ｂ６００ｂは、ＩＲ撮像信号ｂ３００ｂに基づいて生成される、Ｗ撮像信号ａ４００ａとＷ撮像信号ｂ４００ｂとの間を補完するＷ補間撮像信号である。Ｗ補間撮像信号ｃ６００ｃは、ＩＲ撮像信号ｃ３００ｃに基づいて生成される、Ｗ撮像信号ｃ４００ｂとＷ撮像信号ｃ４００ｃとの間を補完するＷ補間撮像信号である。
図１２Ｂに示されるように、上記構成の撮像装置１は、実質的に、Ｗ撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置１は、被写体の測距精度、及び／又は被写体の検知精度を、さらに向上し得る。
また、撮像装置１は、例えば、Ｗ補間撮像信号（例えば、Ｗ補間撮像信号ｂ６００ｂ）を生成する際に、対応するＩＲ撮像信号（例えば、ＩＲ撮像信号ｂ３００ｂ）に加えて、その前後のＷ撮像信号（例えば、Ｗ撮像信号ａ４００ａとＷ撮像信号ｂ４００ｂと）にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置１は、より精度良くＷ補間撮像信号を生成することができるようになる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
（１）本開示において、演算部３０、及び制御部４０は、マイクロプロセッサ等の演算処理装置によって実現される構成の例であるとして説明した。しかしながら、演算部３０、及び制御部４０は、上記実現例と同等の機能を有していれば、必ずしも上記実現例通りに実現される構成の例に限定される必要はない。例えば、演算部３０、及び制御部４０は、演算部３０、及び制御部４０を構成する構成要素の一部又は全部が、専用回路によって実現される構成の例であっても構わない。
（２）撮像装置１における各構成要素は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
（３）上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
本発明は、被写体を撮像する撮像装置に広く利用可能である。
１ 撮像装置
１０ 光源
２０ 固体撮像素子
２１ 第１画素
２２ 第２画素
３０ 演算部
４０ 制御部
５０ 拡散板
１１０ 第１領域
１１０ａ 第１ａ領域
１１０ｂ 第１ｂ領域
１２０ 第２領域
１２０ａ 第２ａ領域
１２０ｂ 第２ｂ領域

Claims (12)

  1. 輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、
    前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第１画素と、前記被写体を撮像する第２画素とを有し、
    前記固体撮像素子が撮像する撮像領域は、少なくとも前記第１画素で撮像する第１領域と、前記第２画素で撮像する第２領域とからなり、
    前記第１領域又は前記第２領域は、他方となる前記第２領域又は前記第１領域の周囲に備わり、
    前記演算部は、前記第１領域からの情報と前記第２領域からの情報とに基づいて、前記被写体情報の演算を行い、
    前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭く、
    前記輸送機器は路面を走行する車両であって、
    前記第１領域からの情報は、前記路面の傾きに係る情報であり、
    前記第２領域からの情報は、前記路面の外観に係る情報であり、
    前記演算部が行う前記演算は、前記第２領域における前記路面の傾きを推定する処理を含み、
    前記被写体情報は、前記第２領域における前記路面の、推定される傾きを示す情報を含む
    撮像装置。
  2. 前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なる
    請求項１に記載の撮像装置。
  3. 前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きい
    請求項１又は２に記載の撮像装置。
  4. 前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
    前記固体撮像素子は、前記撮像を逐次行い、
    前記物体が、第１時刻に前記第１領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第２領域が撮像される場合に、
    前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体までの距離に係る情報を用いる
    請求項１〜３のいずれか１項に記載の撮像装置。
  5. 前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
    前記固体撮像素子は、前記撮像を逐次行い、
    前記物体が、第１時刻に前記第２領域で撮像され、前記第１時刻から一定期間経過後となる第２時刻に前記第１領域が撮像される場合に、
    前記第２時刻における前記被写体情報の演算に、前記第１時刻における前記物体の外観に係る情報を用いる
    請求項１〜４のいずれか１項に記載の撮像装置。
  6. 前記固体撮像素子は、前記撮像を逐次行い、
    前記演算部が行う前記演算は、第１時刻における前記第１領域又は前記第２領域からの情報と、前記第１時刻とは異なる第２時刻における前記他方となる前記第２領域又は前記第１領域からの情報とを関連付ける処理を含む
    請求項１〜３のいずれか１項に記載の撮像装置。
  7. 前記第１領域からの情報は、前記被写体までの距離に係る情報であり、
    前記第２領域からの情報は、前記被写体の外観に係る情報であり、
    前記演算部が行う前記演算は、前記第２領域における前記被写体までの距離を推定する処理を含み、
    前記被写体情報は、前記第２領域における前記被写体までの、推定される距離を示す情報を含む
    請求項６に記載の撮像装置。
  8. 前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、
    前記第２領域における前記被写体情報の演算に、前記第１領域の演算結果を関連付ける
    請求項１〜７のいずれか１項に記載の撮像装置。
  9. 前記第１領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第１ａ領域と、前記反射光が前記固体撮像素子に到達しない第１ｂ領域を有する
    請求項１〜８のいずれか１項に記載の撮像装置。
  10. 前記被写体が、前記第１領域と前記第２領域に連続して備わる物体である場合、
    前記第１ａ領域以外の領域における前記被写体情報の演算に、前記第１ａ領域の演算結果を関連付ける
    請求項９に記載の撮像装置。
  11. 前記照射光は、赤外光であり、
    前記第１画素は、赤外光を受光し
    前記第２画素は、可視光を受光する
    請求項１〜１０のいずれか１項に記載の撮像装置。
  12. 更に、
    前記照射角度を調整する拡散板を備える
    請求項１〜１１のいずれか１項に記載の撮像装置。
JP2018554957A 2016-12-05 2017-11-30 撮像装置 Active JP6541119B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430035P 2016-12-05 2016-12-05
US62/430,035 2016-12-05
PCT/JP2017/042990 WO2018105476A1 (ja) 2016-12-05 2017-11-30 撮像装置、及びそれに用いられる固体撮像素子

Publications (2)

Publication Number Publication Date
JPWO2018105476A1 JPWO2018105476A1 (ja) 2019-06-24
JP6541119B2 true JP6541119B2 (ja) 2019-07-10

Family

ID=62491916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018554957A Active JP6541119B2 (ja) 2016-12-05 2017-11-30 撮像装置

Country Status (5)

Country Link
US (1) US11200688B2 (ja)
EP (1) EP3550261A4 (ja)
JP (1) JP6541119B2 (ja)
CN (1) CN110050171B (ja)
WO (1) WO2018105476A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257814B2 (ja) * 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
US20200344405A1 (en) * 2019-04-25 2020-10-29 Canon Kabushiki Kaisha Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067110A (en) * 1995-07-10 2000-05-23 Honda Giken Kogyo Kabushiki Kaisha Object recognizing device
JP3995846B2 (ja) * 1999-09-24 2007-10-24 本田技研工業株式会社 物体認識装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
JP2007263563A (ja) * 2004-06-03 2007-10-11 Matsushita Electric Ind Co Ltd カメラモジュール
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP4244964B2 (ja) * 2005-06-06 2009-03-25 オムロン株式会社 車両用測距装置
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
JPWO2012067028A1 (ja) * 2010-11-16 2014-05-12 コニカミノルタ株式会社 画像入力装置および画像処理装置
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN108919294B (zh) * 2013-11-20 2022-06-14 新唐科技日本株式会社 测距摄像系统以及固体摄像元件
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
JP6364916B2 (ja) * 2014-04-21 2018-08-01 株式会社リコー 光源装置、および画像表示装置
WO2015182135A1 (ja) 2014-05-30 2015-12-03 パナソニックＩｐマネジメント株式会社 センシングシステム及び運転支援システム
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
JP6464673B2 (ja) * 2014-10-31 2019-02-06 株式会社Ihi 支障物検知システムおよび鉄道車両
JP6600945B2 (ja) 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
JP6291144B2 (ja) * 2015-09-11 2018-03-14 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JP2017112169A (ja) * 2015-12-15 2017-06-22 ソニー株式会社 イメージセンサ、撮像システム及びイメージセンサの製造方法
US10491879B2 (en) * 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
WO2017149370A1 (en) * 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method
EP3217191B1 (en) * 2016-03-08 2021-05-12 Continental Automotive GmbH Distance measuring apparatus and method for measuring a distance
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
US10868981B2 (en) * 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
CN107438148B (zh) * 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
JP7018022B2 (ja) * 2016-11-29 2022-02-09 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置及び測距撮像装置
US10397497B1 (en) * 2017-08-14 2019-08-27 Apple Inc. Solar invariant imaging system for object detection

Also Published As

Publication number Publication date
WO2018105476A1 (ja) 2018-06-14
US11200688B2 (en) 2021-12-14
EP3550261A1 (en) 2019-10-09
CN110050171B (zh) 2022-03-01
CN110050171A (zh) 2019-07-23
JPWO2018105476A1 (ja) 2019-06-24
EP3550261A4 (en) 2019-12-25
US20190287256A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN105723239B (zh) 测距摄像系统以及固体摄像元件
US9519841B2 (en) Attached matter detector and vehicle equipment control apparatus
JP6541119B2 (ja) 撮像装置
KR102059244B1 (ko) 라이다 장치
JP7044107B2 (ja) 光センサ、及び、電子機器
CN110998367A (zh) 深度图像获取设备、控制方法及深度图像获取系统
CN110293973B (zh) 驾驶支援系统
KR20190098242A (ko) 차량 주변 환경을 특성화하기 위한 시스템
JP2021507205A (ja) プロジェクタとカメラモジュールを用いた３ｄ−周辺把握
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
JP7135081B2 (ja) 装置および方法
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
KR101868293B1 (ko) 차량용 라이다 장치
CN111971527B (zh) 摄像装置
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
WO2022239459A1 (ja) 測距装置及び測距システム
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
JP7474759B2 (ja) 車両用灯具
US20230142762A1 (en) Sensing system
US20230062562A1 (en) Sensing system and distance measuring system
WO2023286542A1 (ja) 物体検知装置および物体検知方法
US20220404499A1 (en) Distance measurement apparatus
JP2024064554A (ja) データ処理装置、光学センサ、データ処理方法、データ処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R151 Written notification of patent or utility model registration

Ref document number: 6541119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250