JP6723079B2 - 物体距離検出装置 - Google Patents

物体距離検出装置 Download PDF

Info

Publication number
JP6723079B2
JP6723079B2 JP2016113995A JP2016113995A JP6723079B2 JP 6723079 B2 JP6723079 B2 JP 6723079B2 JP 2016113995 A JP2016113995 A JP 2016113995A JP 2016113995 A JP2016113995 A JP 2016113995A JP 6723079 B2 JP6723079 B2 JP 6723079B2
Authority
JP
Japan
Prior art keywords
unit
search
distance
image
setting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016113995A
Other languages
English (en)
Other versions
JP2017219427A (ja
Inventor
佐々本 学
学 佐々本
野中 進一
進一 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2016113995A priority Critical patent/JP6723079B2/ja
Priority to PCT/JP2017/020197 priority patent/WO2017212992A1/ja
Priority to US16/097,366 priority patent/US11029150B2/en
Priority to EP17810171.3A priority patent/EP3470780A4/en
Priority to CN201780017942.2A priority patent/CN109196304B/zh
Publication of JP2017219427A publication Critical patent/JP2017219427A/ja
Application granted granted Critical
Publication of JP6723079B2 publication Critical patent/JP6723079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Description

本発明は、物体距離検出装置に関する。
本技術分野の背景技術として、例えば特許文献1には、ステレオカメラによる距離検出における演算時間の低減、および回路規模の増大を抑える手法が提案されている。
具体的には、特許文献1では、画面下方領域での視差探索範囲に対し、上方領域の探索範囲を、下方に近傍物体がない場合は狭くすることが述べられている。
特開2013−174494号公報
特許文献1に記載の技術は、画面下方領域に検知対象となる物体がない場合には演算負荷を低減することができる。しかし、通常、検知対象となる物体は、近傍に存在し、画面上方領域の探索範囲を狭くできない場合が多く生じ、演算負荷を効率的に低減することができないおそれがある。
そこで、本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる物体距離検出装置を提供することを目的とする。
本発明は、複数の撮像部と、物体の距離情報を含む物体情報を取得する物体情報取得部と、前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する。
本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる撮像装置を提供することができる。
本発明の実施例における撮像装置の構成を示す図である。 本発明の実施例で撮像される撮像画像の一例を示す図である。 本発明の実施例で撮像される撮像画像と領域制御の一例を示す図である。 本発明の実施例で指定される探索範囲の指定方法の一例を示す図である。 本発明の実施例における撮像装置の処理タイミングを示す図である。 本発明の実施例における撮像装置の処理フローを示す図である。 本発明の実施例における撮影画像と認識結果の一例を示す図である。 本発明の実施例における領域制御の他の例を示す図である。 本発明の実施例における撮影画像と認識結果の一例を示す図である。 本発明の別の実施例における撮像装置の構成を示す図である。 本発明のさらに別の実施例における撮像装置の構成を示す図である。
以下、図面を用いて本発明の実施形態を説明する。
図1は、本発明の撮像装置の一実施例の構成を示す図である。1は本実施例の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。
101、102は撮像部であり、画像センサに光学レンズが装着されている。これらの撮像部は、所定のタイミングで1枚の画像の撮像を繰り返し、撮像した画像を出力する。
撮像部101と撮像部102は、所定の距離で左右に離れて設置され、撮像部101と撮像部102で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。
なお、図1では撮像装置1の構成要素が同一の筐体に収められる例を示したが、例えば撮像部101、102を、他の構成要素とは別の筐体にまとめて収めてもよいし(同図点線枠11)、撮像部101、102をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、LVDS(Low Voltage Differential Signaling)方式の差動伝送路を用いた伝送方法などがある。
また、撮像部101と撮像部102の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。
103は画像補正部であり、撮像部101、102からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部101、102の画像の水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。
104は物体情報取得部であり、物体の距離情報を含む物体情報を取得する。本実施形態では、物体情報取得部104は、前記複数の撮像部の少なくとも一つで取得した画像から物体を検出し、前記物体の距離を検出する。即ち、物体情報取得部104は、単眼処理により物体を検出することから、単眼距離検出部と呼ぶことができる。また、物体情報取得部104は、後述するステレオ距離検出部との関係から、第1の距離検出部と特定することもできる。
物体情報取得部104は、撮像部101または撮像部102のどちらの画像を入力して物体の領域と距離を検出する。物体を検出する方法としては、例えば次のような方法がある。物体情報取得部104は、撮像部101または撮像部102のどちらかの画像を取り込み、取り込んだ画像の中で、想定している交通信号や道路標識などを検出する。この検出方法としては、例えば、画像の中で輝度分布やエッジの形状情報と、参照データとして保持しているパタンデータとの類似量から交通信号や道路標識などの物体を検出する方法などがある。これにより、画像中の物体とその画面上の位置が把握できる。さらに、物体情報取得部104は、例えば検出した物体の画面上の高さと大きさにより、その距離を大まかに検出することができる。物体情報取得部104は、この検出結果を後述の処理領域設定部106、および探索範囲設定部107に出力する。
105はもう一つの距離検出部(即ち、第2の距離検出部)としてのステレオ距離検出部であり、画像補正部103からの画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部105は、画像補正部103からの画像を取り込み、視差の算出を行う。前述のように、撮像部101と撮像部102は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。視差の算出手法としては、例えば、ブロックマッチング方式がある。ステレオ距離検出部105は、例えば画像補正選択部103からの画像のうち、後述の処理領域設定部106により指定された画像の領域について距離検知を行う。具体的には、まず、撮像部101の指定された画像領域上から小さく切出した所定のサイズのブロック領域に対応する、撮像部102の画像上の同じ被写体が映っている領域を水平方向に1画素ずつずらしていき探索する。その際、水平方向への探索範囲として、後述の探索範囲設定部107により指定された画素数分の探索範囲について探索を行う。そして撮像部101と撮像部102における一致したブロック領域の位置の差が視差となる。この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。なお、検出される距離は、撮像部101、撮像部102のレンズ焦点距離、撮像部101と撮像部102の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。
110は、探索条件設定部であり、ステレオ距離検出部105により、前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する。具体的には、探索条件設定部110は、後述する処理領域設定部106と探索範囲設定部107とを備える。
106は、処理領域設定部であり、物体情報取得部104の結果に基づいて、後述のステレオ距離検出部105において距離を検出する画像の領域を指定し、また、後述の認識部108において物体を認識する画像の位置を指定する。
107は、探索範囲設定部であり、物体情報取得部104の結果に基づいて、ステレオ距離検出部105において距離を検出するための探索範囲を設定する。
ステレオ距離検出部105は、補正部103からの画像の内、指定された領域について、前述の距離検出を行い、その結果を後述の認識部108に出力する。これにより、距離ステレオ距離検出部105による距離検出の領域および探索範囲を限定することが可能となり、処理負荷の増大を回避できる。
108は認識部であり、ステレオ距離検出部105からの検出結果と処理領域設定部106からの領域指定を受け取り、画像上物体の認識を行い、認識結果の情報を撮像装置1の外部へ出力する。ステレオ距離検出部105で求めた、処理領域設定部106で指定された領域の距離情報に基づいて物体を認識する。物体を認識する方法は、例えば、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そして、検出したグループの大きさと形状に基づき、例えば車両や歩行者であることを検出する。物体の大きさや形状は、参照データとしてあらかじめ保持しているパタンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体たとえば歩行者や車両の距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。
なお、撮像装置1は、例えば点線枠12内の撮像部101、102、画像補正部103、ステレオ距離検出部105は電子回路で構成され、それ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。
図2は、本発明の撮像装置の一実施例で撮像される撮像画像の一例を示す図である。同図中、1001は撮像部101で撮像され、補正部103で補正された撮像画像を、1002は、撮像部102で撮像され、補正部103で補正された撮像画像を示す。202、203、204は被写体である。
また、201、208は、撮像画像1001および撮像画像1002のうち共通して撮像されている領域である共通撮像領域を示す。前述のように撮像画像1001と撮像画像1002の間には、共通して撮像されている領域のずれがあり、このずれ量すなわち視差により、被写体の距離を算出する。
図3は、本発明の撮像装置の一実施例で撮像される撮像画像と領域制御の一例を示す図である。同図中201は、例えば撮像部101で撮像され、補正部103で補正された撮像画像のうち、前述のように撮像部102で撮像された画像と共通して撮像されている領域を示す。
205、206および207は撮像画像201のうち、処理領域設定部106で指定された処理領域であり、処理領域205、206、207は、ステレオ距離検出部105にて距離検出処理が行われる処理領域である。即ち、処理領域205、206、207は、それぞれ物体情報取得部104において歩行者202、対向車203、交通信号204の検出とその粗い距離検出処理が行われた後、その結果から処理領域設定部106によって領域を指定した、共通撮像領域のうちの一部分の領域であり、この領域では、ステレオ距離検出部105において該領域内で該一部領域内の画像要素についての距離が前記複数の撮影画像間の視差に基づいて算出される。
図4は、本発明の撮像装置の一実施例の距離と視差の関係、および探索範囲設定部107による探索範囲の設定方法の一例を示す図である。視差は画素の単位で表され、前述の撮像部101で撮影された画像から撮像部102で撮影された画像のずれ量を示す。例えば前述の歩行者202が、物体情報取得部104において約5mと検出された場合、その際の視差としては、同図から60画素となる。従って、探索範囲設定部107は、歩行者202の距離の探索範囲として、60画素を中心に50画素から70画素の範囲を処理領域205に対して設定する。同様に、交通信号204、対向車203の領域である処理領域207、206に対し、それぞれ約20m、約50mと距離が検出された場合、探索範囲として、25画素から40画素、1画素から10画素をそれぞれ設定する。これにより、各処理領域において、物体情報取得部104で検出した距離を中心に、限られた画素数の範囲の視差を探索すればよく、処理負荷が軽減される。また、設定した探索範囲では、距離が検出できなかった場合は、設定した探索範囲を広げて、広げた範囲の探索処理をすることで処理負荷を最小限に抑えることができる。例えば、沿道の人物ポスターなどを人物として誤って検出し、物体情報取得部104が実際の距離とは異なる距離と検出してしまう場合などが想定される。
図5は、本発明の撮像装置の一実施例の処理タイミングを示す図である。同図中、(5−1)は物体情報取得部104の処理タイミングを、(5−2)はステレオ距離検出部105の処理タイミングを示す。
(5−1)では、撮像画像201について、物体情報取得部104にて物体検出と前述のように物体の粗い距離検出処理が行われる。また、(5−2)では、処理領域設定部106の指定するそれぞれの処理領域205,206,207について、探索範囲設定部107の指定する各処理領域の探索範囲についてステレオ距離検出部105において距離検出が行われる。処理の順番として、自車両から近い物体を含む領域から処理をすることで、後続の認識部108でより早く認識が可能となり、安全性を確保することができる。
このように、ステレオ距離検出部105における距離検出処理は、指定された必要な処理領域についてのみ、それぞれの処理領域において必要最小限の探索範囲で距離検出処理が行われるので、撮像した画像の全領域について全範囲の距離探索をする必要はなく、処理の負荷が低減できる。
図6は、本発明の撮像装置の一実施例の処理フローを示す図である。まず、撮像部101および102により画像を撮影する(S601:Sはステップを表す)。撮影したそれぞれの画像は、画像補正部103により前述した通り輝度補正、レンズ歪補正や水平位置合わせが行われる(S602)。次に、物体情報取得部104により、物体の検出とそのおおよその距離が検出される(S603)。その検出結果のうち、処理領域設定部106において、検出した物体の位置情報から、処理すべき領域情報をステレオ距離検出部105に出力し(S604)、また、探索範囲設定部107において、検出した物体の距離情報から、その物体を含む領域での探索すべき探索範囲を決定しステレオ距離検出部105に出力する(S605)。
次に、得られた検出結果に基づいてステレオ距離検出部105により、指定された各領域において、それぞれの探索範囲で詳細な距離を検出する(S406)。
最後に認識部108により、各処理領域の物体の距離検出結果に基づいて、物体の認識処理を行い、認識結果を出力する(S607)。これらの処理を例えば1フレーム毎に繰り返し行う。
図7は、本発明の撮像装置の一実施例における撮影画像と認識結果の一例を示す図である。701はある時点で撮像部101により撮像された画像であり、撮像部102もほぼ同様の画像を撮影し取得している。また、702、703、704は物体の認識結果であり、画像内の枠と距離表示は撮像した画像にはなく、画像上に重ねて明示的に示したものである。
前述の処理領域205から検出した歩行者202が距離5.2mと、処理領域206から検出した対向車203が距離53.1m、処理領域207の交通信号204が距離19.7mの位置にあることを検出している。このように撮影した画像全体に亘って精度の高い物体の距離検出を実現できる。
本実施例によれば、撮影画像から物体とその距離を粗く検出し、その結果に基づいて物体を含む領域に対し、距離の探索範囲を限定して正確な距離検出処理を行うので、撮像画像全体についての物体認識が、処理負荷の増大なく可能になる。
図8は、本発明の撮像装置の別の実施例の構成を示す図である。撮像装置1は、自動車などの車両に搭載されており、同図中801は車両制御部である。認識部108の出力が車両制御部801に入力されている。また、認識部108には、撮影画像中の距離情報から、路面部分を他の物体と分離して路面領域として検出し、その領域を物体情報取得部104に出力する路面検出部1081を備え、さらに認識部108は、図示しないが車両速度や操舵角などの車両情報を入力して、自車両の走行経路を予測し、物体情報取得部104に出力する走行経路予測部1082を備える。
物体情報取得部104は、路面検出部1081により検出された路面情報を入力し、路面上の物体を優先的に処理し、処理領域設定部106、探索範囲設定部107、およびステレオ距離検出部105で正確な距離を検出し認識部108にて認識することで、自車両の障害物をいち早く認識でき、安全な走行を維持できる。また、物体情報取得部104は、走行経路予測部1082から、これから走行していく経路上の物体を優先的に処理し、上記のように自車両の走行経路上の障害物を認識して、安全な走行を実現できる。
また、探索範囲設定部107は自車両の車両速度を入力して、例えば速度が早い場合は探索範囲を広く設定し、遅い場合は狭く設定することで、最小限の処理量で距離検出処理を確実に行うことができる。
さらに、図9に示すように、例えば処理領域設定部106は画像全体である処理領域901を処理領域とし、その際、探索制御部は、前述のように60画素を中心に50画素から70画素の範囲を探索範囲に設定し、自車両の例えば2mから10mまでといった近傍距離を検出するようにすることで、自車両の近傍については、全画面を距離検出の対象とすることができ、安全性を高めることできる。
また、物体情報取得部104は、近接する複数の物体を例えばまとめて処理し、処理領域設定部106はそれを一つの領域とし、また探索範囲設定部107は物体情報取得部104で検出しまとめた一つの領域内の物体の距離を包括して探索範囲を設定することで、多数の物体が存在する場合にも対応できる。
図8の車両制御部801は、認識部108による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、歩行者の接近や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や車線維持のための舵角制御などである。これらの車両制御情報は撮像装置1から図示しない他の装置に対して、車内ネットワークを介して出力する。
なお、図8では車両制御部801は撮像装置1とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部101、102を別筐体としてもよい。
図10は、本発明の撮像装置のさらに別の実施例の構成を示す図である。901はネットワーク撮像部、903はLAN(LocalAreaNetwork)であり、904は制御部である。ネットワーク撮像部901は、LAN903を介して制御部904と接続されている。また、902は画像圧縮・インタフェース部、905はネットワークインタフェース部、906は画像伸張部である。
撮像部101、撮像部102で撮影した画像は、画像補正部103において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部902は、画像補正部103からの画像を圧縮してLAN903に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。
画像圧縮・インタフェース部902は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部103は、画像圧縮・インタフェース部902の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれるが、制御部904の画像伸張部906の後段に設けてもよい。
制御部904においては、ネットワークインタフェース部905において、圧縮画像データの受信を、LAN903を介して行う。制御部904のネットワークインタフェース部905で受信した圧縮画像データは、画像伸張部906において元の画像に伸張され、物体情報取得部104により検出された物体について、処理領域設定部106、および探索範囲設定部107が前述の処理を行う。これ以降の処理は前述の通りである。
本実施例によれば、LAN906を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。
図11は、本発明の別の実施例の構成を示す図である。この実施例では、物体情報取得部104の入力情報を撮像部101、102以外で構成された、距離情報が得られるセンサから得るものである。例えば入力情報としては、図示しないがレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離を求めることができる。それ以降の動作は前述の通りである。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…撮像装置、101〜102…撮像部、103…画像補正部、104…物体情報取得部、105…ステレオ距離検出部、106…処理領域設定部、107…探索範囲設定部、108…認識部、201…共通撮像領域、202〜204…被写体、205〜207…処理領域、702〜704…認識結果、801…車両制御部、901…ネットワーク撮像部、902…画像圧縮・インタフェース部、903…LAN、904…制御部、905…ネットワークインタフェース部、906…画像伸張部。

Claims (4)

  1. 複数の撮像部と、
    物体の距離情報を含む物体情報を取得する物体情報取得部と、
    前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、
    前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、
    前記物体情報取得部は、前記撮像部で取得した画像から単眼処理により物体を検出し、
    前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する、物体距離検出装置。
  2. 複数の撮像部と、
    物体の距離情報を含む物体情報を取得する物体情報取得部と、
    前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、
    前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、
    走行経路を予測する走行経路予測手段と、を備え、
    前記物体情報取得部は、前記走行経路予測手段で予測した経路上の物体の距離を取得し、
    前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する、物体距離検出装置。
  3. 複数の撮像部と、
    物体の距離情報を含む物体情報を取得する物体情報取得部と、
    前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、
    前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、
    前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定し、
    前記探索条件設定部は、
    前記物体情報取得部で得られた物体を含む処理領域を前記参照画像内で設定する処理領域設定部と、
    前記探索を行う探索範囲を前記物体情報取得部で検出された物体の距離情報に基づいて設定する探索範囲設定部と、を備え、
    前記探索範囲設定部は、車速に応じて探索範囲を変化させ設定する、物体距離検出装置。
  4. 複数の撮像部と、
    物体の距離情報を含む物体情報を取得する物体情報取得部と、
    前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、
    前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、
    前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定し、
    前記探索条件設定部は、
    前記物体情報取得部で得られた物体を含む処理領域を前記参照画像内で設定する処理領域設定部と、
    前記探索を行う探索範囲を前記物体情報取得部で検出された物体の距離情報に基づいて設定する探索範囲設定部と、を備え
    前記探索範囲設定部は、前記ステレオ距離検出部で前記物体の距離が検出できなかった場合、前記探索範囲を拡大し、
    前記ステレオ距離検出部において、前記拡大した探索範囲について距離を検出する、物体距離検出装置。
JP2016113995A 2016-06-08 2016-06-08 物体距離検出装置 Active JP6723079B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016113995A JP6723079B2 (ja) 2016-06-08 2016-06-08 物体距離検出装置
PCT/JP2017/020197 WO2017212992A1 (ja) 2016-06-08 2017-05-31 物体距離検出装置
US16/097,366 US11029150B2 (en) 2016-06-08 2017-05-31 Object distance detection device
EP17810171.3A EP3470780A4 (en) 2016-06-08 2017-05-31 DEVICE FOR DETECTING AN OBJECT DISTANCE
CN201780017942.2A CN109196304B (zh) 2016-06-08 2017-05-31 物体距离检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016113995A JP6723079B2 (ja) 2016-06-08 2016-06-08 物体距離検出装置

Publications (2)

Publication Number Publication Date
JP2017219427A JP2017219427A (ja) 2017-12-14
JP6723079B2 true JP6723079B2 (ja) 2020-07-15

Family

ID=60578699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016113995A Active JP6723079B2 (ja) 2016-06-08 2016-06-08 物体距離検出装置

Country Status (5)

Country Link
US (1) US11029150B2 (ja)
EP (1) EP3470780A4 (ja)
JP (1) JP6723079B2 (ja)
CN (1) CN109196304B (ja)
WO (1) WO2017212992A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
EP3492338A1 (en) * 2017-11-30 2019-06-05 Mitsubishi Electric R & D Centre Europe B.V. Method for automatic remote control of a moving conveyance
TWI647427B (zh) * 2018-01-10 2019-01-11 緯創資通股份有限公司 物體距離估算方法與電子裝置
JPWO2019215979A1 (ja) * 2018-05-10 2021-05-27 ソニーグループ株式会社 画像処理装置、車載装置、画像処理方法及びプログラム
DE102021206879A1 (de) * 2021-06-30 2023-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren zur optischen Überwachung und/oder Bestimmung von Eigenschaften an Proben

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US7221777B2 (en) 2002-07-02 2007-05-22 Honda Giken Kogyo Kabushiki Kaisha Image analysis device
JP3936313B2 (ja) * 2002-07-02 2007-06-27 本田技研工業株式会社 画像認識装置
JP2005331389A (ja) * 2004-05-20 2005-12-02 Toyota Motor Corp 車間距離制御装置
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009092551A (ja) * 2007-10-10 2009-04-30 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2012002683A (ja) 2010-06-17 2012-01-05 Fuji Electric Co Ltd ステレオ画像処理方法およびステレオ画像処理装置
CN101999972B (zh) * 2010-11-24 2013-07-03 上海理工大学 一种基于立体视觉的盲人辅助行走装置及其辅助方法
CN102069770A (zh) * 2010-12-16 2011-05-25 福州名品电子科技有限公司 基于双目立体视觉的汽车主动安全控制系统及其控制方法
JP5591730B2 (ja) 2011-02-10 2014-09-17 富士重工業株式会社 環境認識装置
CN103918016B (zh) * 2011-11-10 2016-07-27 三菱电机株式会社 车辆侧系统
JP6035774B2 (ja) 2012-02-24 2016-11-30 株式会社リコー 画像処理装置、画像処理方法、及び車両
JP5977047B2 (ja) * 2012-02-29 2016-08-24 株式会社日本自動車部品総合研究所 車両走行制御装置
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP5829980B2 (ja) 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP5982298B2 (ja) 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
JP2015230703A (ja) * 2014-06-06 2015-12-21 日本電産エレシス株式会社 物体検出装置及び物体検出方法
KR101882931B1 (ko) * 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
JP6356586B2 (ja) * 2014-11-28 2018-07-11 株式会社デンソー 車両の走行制御装置
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP6623044B2 (ja) * 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
WO2017212992A1 (ja) 2017-12-14
CN109196304B (zh) 2021-07-30
CN109196304A (zh) 2019-01-11
US11029150B2 (en) 2021-06-08
EP3470780A1 (en) 2019-04-17
JP2017219427A (ja) 2017-12-14
US20190145768A1 (en) 2019-05-16
EP3470780A4 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6660751B2 (ja) 撮像装置
JP6723079B2 (ja) 物体距離検出装置
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
US10595003B2 (en) Stereo camera apparatus and vehicle comprising the same
US8160300B2 (en) Pedestrian detecting apparatus
JP6899673B2 (ja) 物体距離検出装置
US20180321030A1 (en) Image processing device
WO2020213386A1 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP2015230703A (ja) 物体検出装置及び物体検出方法
JP6891082B2 (ja) 物体距離検出装置
JP4797441B2 (ja) 車両用画像処理装置
JP7227112B2 (ja) 物体検出装置、走行制御システム、および走行制御方法
WO2020039837A1 (ja) 画像処理装置
JP2013161187A (ja) 物体認識装置
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템
JP2006127058A (ja) 対象物認識システム及び画像処理装置
JP2013161188A (ja) 物体認識装置
JP2013205924A (ja) 車外環境認識装置および車外環境認識方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6723079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350