JP7250211B2 - 処理装置 - Google Patents

処理装置 Download PDF

Info

Publication number
JP7250211B2
JP7250211B2 JP2022504989A JP2022504989A JP7250211B2 JP 7250211 B2 JP7250211 B2 JP 7250211B2 JP 2022504989 A JP2022504989 A JP 2022504989A JP 2022504989 A JP2022504989 A JP 2022504989A JP 7250211 B2 JP7250211 B2 JP 7250211B2
Authority
JP
Japan
Prior art keywords
parallax
image
value
candidate
control object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504989A
Other languages
English (en)
Other versions
JPWO2021176819A1 (ja
Inventor
真穂 堀永
直也 多田
裕史 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2021176819A1 publication Critical patent/JPWO2021176819A1/ja
Application granted granted Critical
Publication of JP7250211B2 publication Critical patent/JP7250211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、例えば車両に搭載されたステレオカメラで撮像された撮像画像を処理する処理装置に関する。
従来から、自車の移動に伴って撮像された複数の画像から路面標示の何処の部位が撮像されているかを推定する技術が知られている(特許文献1)。
特開2010-107435号公報
ステレオカメラは、左カメラの光軸と右カメラの光軸との間に相対的な縦方向ずれが発生している状態で、導流帯(ゼブラゾーン)のような奥行き方向に向かって繰り返し斜め線がペイントされた路面を撮像した場合、路面ペイントが記載された領域を立体物として誤検知するおそれがある。路面ペイントが記載された領域を立体物として誤検知した場合、AEBやACCといったステレオカメラが提供する安全システムが作動し、不要な警報やブレーキがかかるなどして乗員に違和感を与える可能性がある。
前述した従来の手法は、左右カメラ間の縦方向ずれを補正するためのものであり、補正処理のための時間が発生する。縦方向ずれの補正が完了するまでの間に導流帯のある路面を走行した場合、導流帯を立体物として誤検知する可能性がある。したがって、縦方向ずれの補正処理中は、ステレオカメラが提供するシステムを停止状態にするなどの仕組みが必要となる。
しかしながら、ステレオカメラが提供するシステム自体を完全に停止状態にしてしまうと、実際に必要な状況において安全システムが作動しない可能性もあり、安全性能の低下を招くおそれがある。
本発明の目的は、ステレオカメラの左右カメラ間に縦方向の光軸ずれが発生しているか否かにかかわらず、立体物と非立体物を差別化し、ステレオカメラが立体物として認識したものに対して、制御対象とするか否かを判断する処理装置を提供することである。
上記課題を解決する本発明の処理装置は、一対のカメラで撮像された一対の撮像画像を処理する処理装置であって、前記一対の撮像画像から第一視差画像を生成する第一視差画像生成部と、前記第一視差画像から制御対象候補を認識する制御対象候補認識部と、前記第一視差画像において前記制御対象候補が存在する候補領域内の第一視差値を取得する第一視差値取得部と、前記一対の撮像画像の相対的な縦方向の位置をずらして第二視差画像を生成する第二視差画像生成部と、前記第一視差画像の候補領域と対応する前記第二視差画像の対応領域内の第二視差値を取得する第二視差値取得部と、前記第一視差値と前記第二視差値とを用いて前記制御対象候補を制御対象として認定するか否かを判断する制御対象判断部と、を有することを特徴とする。
本発明によれば、ステレオカメラが立体物として認識したものに対して、制御対象とするか否かを判断することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第1実施形態における撮像装置の全体構成を示すブロック図。 第1実施形態における撮像装置の制御対象判断処理を説明するフローチャート。 左右の撮像画像と視差画像を模式的に示す図。 制御対象の認識領域の一例を示す図。 左右の撮像画像における遠方の視差と近傍の視差との差を示す図。 画像に撮像される線の傾斜角度に応じて視差の誤差が異なる理由を説明する図。 左右のカメラの光軸が相対的に縦方向にずれているステレオカメラで導流帯を撮像したときの視差を説明する図。 ずらし量と視差平均値との関係を示す図。 制御対象の要否判断を統計結果に基づいて行う例を説明する図。 第2実施形態における撮像装置の制御対象判断処理を説明するフローチャート。
まず、ステレオカメラが導流帯を立体物として誤検知する理由について説明する。
図3は、左右の撮像画像と視差画像を模式的に示す図である。図3(a)は、左カメラにより車両前方を撮像した撮像画像の模式図であり、図3(b)は、右カメラにより左カメラと同時に車両前方を撮像した撮像画像の模式図を示す。そして、図3(c)は、図3(a)の撮像画像と図3(b)の撮像画像を用いて作成した視差画像であり、自車両に近い領域321、自車両から遠い領域323、中間の領域322を示す。
図3(a)および図3(b)に示すように、左右のカメラにより撮像された画像には、自車両の前方を先行車両311が走行している状態が撮像されている。自車両は、走行車線312を走行しており、走行車線312の両側には、導流帯313が設けられている。
ステレオカメラでは、図3(c)に示すような視差画像から立体物を検知し、制御対象候補として認識する。視差は、立体物がない場合は近傍から遠方に向かって移行するにしたがって漸次減少し、視差画像においても縦方向下方から上方に移行するにしたがって漸次減少するように示される。一方、立体物がある場合は、近傍と遠方で視差が同じとなり、視差画像においても縦方向に沿って同じ値となるように示される。したがって、視差画像において縦方向に沿って同じ視差となる領域に立体物があると判断している。図3(c)に示す視差画像では、実際にも立体物である先行車両311が立体物331として検知されているが、実際には立体物ではない導流帯313の一部も立体物332として検知されている。
図4は、制御対象候補の認識領域の一例を示す図である。
図4に示す例では、制御対象候補と認識された候補領域を矩形枠402として示している。候補領域を示す矩形枠402の位置は、視差画像401のx-y座標により規定される。
図5は、左右の撮像画像における遠方の視差と近傍の視差との差を示す図である。
左カメラによる撮像画像501と右カメラによる撮像画像502の両方に、2台の先行車両511、521が撮像されている。ステレオカメラの特性上、図5に示すように、遠方の先行車両521に対する視差は小さく、近傍の先行車両511に対する視差は大きい。
図6は、画像に撮像される線の傾斜角度に応じて視差の誤差が異なる理由を説明する図である。図6(a)は、自車両の進行方向に沿って真っ直ぐ延びる線を撮像したものであり、画像の縦方向に沿って真っ直ぐに伸びる縦線611が撮像されている。図6(b)および図6(c)は、自車両の進行方向に対して斜めに延びる線を撮像したものであり、図6(b)の画像には、画像の横方向に対して傾斜が大きい斜め線612が撮像され、図6(c)の画像には、画像の横方向に対して傾斜が小さい斜め線613が撮像されている。
例えば左カメラLの光軸の方が右カメラRの光軸よりも上方にずれている状態で図6(a)~図6(c)に示す線を撮像した場合、図6(a)に示す画像601の縦線611は、左カメラで撮像したときと右カメラで撮像したときの位置P1、P2は左右に同じ位置であり、視差の誤差は0である。これに対し、図6(b)に示す画像602の斜め線612は、左カメラで撮像したときの位置P3と右カメラで撮像したときの位置P4との間には左右方向に誤差δ1が生じる。そして、図6(c)に示す画像603の斜め線613のときは、左カメラLで撮像したときの位置P5と右カメラRで撮像したときの位置P6との間には左右方向に誤差δ2が生じる。
誤差δ1と誤差δ2とを比較すると、図6(c)に示す画像603の斜め線613の方が、図6(b)に示す画像602の斜め線612よりも傾斜が大きいので、誤差δ1よりも誤差δ2の方が大きくなる(δ1<δ2)。つまり、左カメラLの光軸と右カメラRの光軸が互いに縦方向に上下にずれている場合、撮像される線の傾斜が大きくなるに応じて誤差も大きくなる。
なお、左カメラLの光軸と右カメラRの光軸とが完全に平行であり、相対的に縦方向にずれていない場合には、左カメラで撮像したときと右カメラで撮像したときの左右方向の位置は同じであり、視差誤差は発生しない。左右のカメラの光軸が相対的に縦方向にずれていた場合にのみ、図6(b)、図6(c)に示すような視差誤差が発生する。
図7は、左右のカメラの光軸が相対的に縦方向にずれているステレオカメラで導流帯を撮像したときの視差を説明する図である。ステレオカメラ701から導流帯702を撮像すると、導流帯702の白線は、近傍の方が傾斜は大きく、遠方に移行するにしたがって漸次傾斜は小さくなるように撮像される。したがって、左右のカメラの光軸が相対的に縦方向にずれていた場合に、白線の左右方向の視差誤差721~723は、図6を用いて説明したように、近傍から遠方に移行するにしたがって漸次大きくなる。一方、白線の視差711~713は、光軸のずれにかかわらず、図5を用いて説明したように、近傍から遠方に移行するにしたがって漸次小さくなる。
したがって、左右のカメラの光軸が相対的に縦方向にずれていた場合に、近傍の測定視差は、比較的大きな正しい視差711と比較的小さな視差誤差721とを加算したものとなり、遠方の測定視差は、比較的小さな正しい視差713と比較的大きな視差誤差723とを加算したものとなり、近傍と遠方の中間の測定視差は、中間の大きさの正しい視差712と中間の大きさの視差誤差722とを加算したものとなる。したがって、近傍と遠方とその中間のいずれも互いに等しい測定視差703となり、視差画像において縦方向に沿って同じ視差となる領域が存在しており、立体物があると誤検知するおそれがある。
このような課題に対して、本実施形態の撮像装置は、ステレオカメラの左右カメラ間に縦方向の光軸ずれが発生しているか否かにかかわらず、立体物と非立体物を差別化し、ステレオカメラが立体物として認識したものに対して、制御対象とするか否かを判断する処理を行う。
以下、本発明の実施形態について図面を用いて説明する。
本実施形態の撮像装置は、一対の撮像部で撮像した一対の撮像画像を縦方向にずらさないときの視差平均値と、縦方向に相対的にずらしたときの視差平均値を算出し、ずらし量と視差平均値の分布形状から制御対象の制御要否判断を実施する構成を有する。
<第1実施形態>
図1は、第1実施形態における撮像装置の全体構成を示すブロック図である。
撮像装置100は、例えば自動車等の車両に搭載されるものであり、左右一対のカメラによって車両から前方を撮像し、視差に基づいて立体物の有無を判定し、あるいは立体物の種類を認定する処理を行うステレオカメラである。
撮像装置100は、一対のカメラである第一撮像部11および第二撮像部12と、第一撮像部11および第二撮像部12により撮像された二枚の撮像画像を処理する処理装置1とを備えている。本実施形態では、ステレオカメラである撮像装置100の内部に処理装置1が構成される場合を例に説明するが、処理装置1が構成される場所は撮像装置100の内部に限定されるものではなく、撮像装置100とは別体に設けられたECUなどにおいて構成されるものであってもよい。
第一撮像部11と第二撮像部12は、自動車の車室内において互いに車幅方向に離間した位置に配置されており、フロントガラスを透過して車両前方の重複した領域を撮像する。第一撮像部11と第二撮像部12は、例えばレンズなどの光学系部品とCCDやCMOS等の撮像素子を組み合わせた組み立て品によって構成されている。第一撮像部11と第二撮像部12は、互いの光軸が平行でかつ同じ高さになるように調整されている。第一撮像部11と第二撮像部12によって撮像された撮像画像は、処理装置1に入力される。
処理装置1は、例えばCPUやメモリなどを有するハードウエアと、ハードウエアにインストールされて実行されるソフトウエアとにより構成されている。処理装置1は、内部機能として、第一画像取得部13と、第二画像取得部14と、第一視差画像生成部15と、制御対象候補認識部16と、第一視差値取得部17と、第二視差画像生成部18と、第二視差値取得部19と、制御対象判断部20とを備える。
第一画像取得部13と第二画像取得部14は、第一撮像部11と第二撮像部12において同時でかつ定期的に撮像される撮像画像を取得する。第一画像取得部13と第二画像取得部14は、第一撮像部11および第二撮像部12によって同時に撮像される一対の撮像画像から互いに重複する所定領域の画像をそれぞれ切り出して第一画像および第二画像として取得する。
第一視差画像生成部15は、第一画像取得部13と第二画像取得部14で取得した一対の撮像画像を用いて第一視差画像を生成する。第一視差画像を生成する方法は、従来から一般的に知られている方法を用いることができる。例えば、第一画像を基準として、第二画像において第一画像と縦方向に同じ高さ位置の画素列を横方向に走査して第一画像との一致点を探し出し、第一画像と第二画像との間の横方向のずれ量を視差として算出する、いわゆるステレオマッチングを行う。
制御対象候補認識部16は、第一視差画像生成部15で生成した第一視差画像から立体物を検知し、その立体物を制御対象候補として認識する。例えば立体物が存在せず平坦な面が続いている状態が撮像された画像の縦方向における視差の変化量と比較して、画像の縦方向に視差の変化量が少ない領域に立体物が存在していると判断する。制御対象候補認識部16は、第一視差画像から複数の立体物が検知された場合には、それぞれを制御対象候補として認識する。制御対象候補認識部16は、第一視差画像において制御対象候補を認識した候補領域の座標情報を取得する(例えば図3の領域331、332、および図4の領域402)。
第一視差値取得部17は、第一視差画像において制御対象候補が存在する候補領域内の視差演算値である第一視差値を取得する。第一視差値取得部17は、制御対象候補認識部16によって制御対象候補が認識された場合にのみ第一視差値を取得する処理を実行する。第一視差値取得部17は、制御対象候補認識部16によって制御対象候補が一つも認識されなかった場合には第一視差値を取得する処理は行わない。視差演算値である第一視差値には、例えば候補領域内における視差平均値を用いることができる。候補領域内の視差平均値は、候補領域内の視差値と視差数から算出される。なお、視差演算値は、視差平均値に限定されるものではなく、視差の分散値、視差の最大値、視差の最小値、視差の最大値と最小値との差分、視差の最大値と最小値の比、視差の最大値の平均値、あるいは、視差の最小値の平均値を用いることができる。
第二視差画像生成部18は、第一視差画像を生成したときに使用した一対の撮像画像を用いて複数の第二視差画像を生成する。第二視差画像生成部18は、第一画像と第二画像の相対的な上下の位置を縦方向の座標毎または等分割した区分毎にずらして切り出された一対のずらし画像を用いて第二視差画像を生成する。第二視差画像生成部18は、第一画像と第二画像の少なくとも一方の位置を、上方向のみ、または下方向のみ、または上下両方向にずらして一対のずらし画像を切り出す。
第二視差画像生成部18は、縦方向のずらし量を変更して一対のずらし画像を複数生成し、これらを用いて複数の第二視差画像を生成する。つまり、第二視差画像生成部18は、第一画像と第二画像の少なくとも一方の位置を複数回ずらして一対のずらし画像を複数生成し、複数の一対のずらし画像からそれぞれ第二視差画像を生成する。
第二視差値取得部19は、第二視差画像の対応領域から対応領域内の視差演算値である第二視差値を取得する。第二視差画像の対応領域は、第一視差画像の候補領域と同じ位置に設定される。第二視差画像は複数生成されるので、それぞれの第二視差画像ごとに第一視差画像の候補領域と同じ位置に対応領域が設定され、各対応領域から第二視差値が求められる。また、第一視差画像の候補領域が複数ある場合には、それぞれに対応して第二視差画像の対応領域が設定され、各対応領域の第二視差値が求められる。
第二視差値は、第一視差値と同様に、例えば対応領域内における視差平均値を用いることができる。対応領域内の視差平均値は、対応領域内の視差値と視差数から算出される。
また、第一視差値と同じ演算値として比較できるように、視差の分散値、視差の最大値、視差の最小値、視差の最大値と最小値との差分、視差の最大値と最小値の比、視差の最大値の平均値、あるいは、視差の最小値の平均値を用いることができる。第二視差値は、複数の第二視差画像においてそれぞれ演算される。
制御対象判断部20は、第一視差画像生成部15で生成した第一視差画像と、第二視差画像生成部18で生成した複数の第二視差画像を用いて、制御対象の要否、つまり、立体物として検知された制御対象候補を制御対象として認定するか否かを判断する。制御対象判断部20では、第一視差画像と複数の第二視差画像においてそれぞれ算出された視差演算値に基づいて、制御対象の要否判断を実施する。
図2は、第1実施形態における撮像装置の制御対象判断処理を説明するフローチャートである。
ステップS201では、画像取得が行われる。ここでは、第一撮像部11および第二撮像部12により同時に撮像された一対の撮像画像が第一画像取得部13および第二画像取得部14により取得される。そして、ステップS202では、第一視差画像が生成される。第一視差画像は、第一画像取得部13および第二画像取得部14により取得された一対の撮像画像を用いて第一視差画像生成部15により生成される。
ステップS203では、制御対象候補が存在するか否かの判断が行われる。制御対象候補が存在するか否かは、第一視差画像から立体物が検知されるか否かに応じて判断される。ここで、少なくとも一つ以上の立体物が検知された場合には自車両の前方に制御対象候補が存在する(ステップS203でYES)と判断して、ステップS204に移行する。
一方、立体物を一つも検知しなかった場合には、自車両の前方に制御対象候補が存在しない(ステップS203でNO)と判断してステップS201に戻る。つまり、ステップS203では、立体物と非立体物との差別化を行い、立体物として認識したものに対してのみ、ステップS204以降で制御対象とするか否かを判断する処理を行う。
ステップS204では、縦方向に画像をずらす処理が行われる。ここでは、第一視差画像を生成したときに使用した一対の撮像画像から、第一画像と第二画像を相対的に縦方向の座標毎または等分割した区分毎にずらして一対のずらし画像を取得する処理が行われる。
ステップS205では、一対のずらし画像を用いてステレオマッチングにより視差を算出し、第二視差画像を生成する。ステップS206では、複数の視差画像があるか否かが判断される。そして、第二視差画像の数が予め設定された2以上の規定数よりも少ない場合には、複数の視差画像がない(ステップS206でNO)と判断され、ステップS204に戻る。そして、ステップS204およびステップS205において一対の画像の縦方向のずらし量を変更して、ずらし量が異なる別の一対のずらし画像を生成し、更に別の第二視差画像を生成する。そして、ステップS206において規定数以上の第二視差画像がある(ステップS206でYES)と判断されるまで、ずらし量を変更した一対の画像から第二視差画像を生成する処理が行われる。
ずらし量は、例えば一画素分、あるいは複数画素分だけずらした量とすることができる。また、ずらす方向は、例えば第一画像に対して第二画像を上方と下方の少なくとも一方であればよく、本実施形態では、第一画像に対して第二画像を上方と下方の両方にずらしてそれぞれ一対のずらし画像を生成し、これら複数の一対のずらし画像から第二視差画像を各々生成している。
ステップS207では、視差平均値の分布を作成する。ここでは、第一視差画像における候補領域の第一視差値と、複数の第二視差画像における対応領域の第二視差値を算出し、これらの視差値の分布から近似直線を求める。
図8は、ずらし量と視差平均値との関係を示す図である。図8(a)は、ずらし量にかかわらず、視差平均値がほぼ一定であり、分布の近似直線の傾きがゼロとなっている状態を示す図、図8(b)は、ずらし量に応じて視差平均値が変化し、分布の近似直線の傾きが閾値以上の状態を示す図である。
ステップS208において、ステップS207で求めた分布の近似直線の傾きをあらかじめ設定した閾値と比較する。制御対象候補が正しく認識された立体物である場合、制御対象候補の認識領域内の視差値は縦ずれによって変化しないため、分布は傾きゼロの近似直線となる。一方、分布の近似直線の傾きが閾値よりも大きいとき、第一画像と複数の第二画像との間の縦ずれによって対応領域の視差値が変化したと判断する。
制御対象候補認識部16によって第一視差画像において立体物として認識している制御対象候補が、先行車や自転車や歩行者等の真の立体物であれば、縦ずれ発生の有無に影響を受けることなく、制御対象の候補領域と対応領域との間で視差値は変化しない。一方、制御対象候補認識部16によって第一視差画像において立体物として認識している制御対象候補が、路面の導流帯(ゼブラゾーン)等の非立体物であれば、候補領域の視差値と対応領域の視差値は、縦ずれ発生有無で比較して変化する特徴を持つ。
ステップS209において、ステップS208での比較結果において分布の近似直線の傾きが閾値より大きいと判断された制御対象候補は、制御不要対象であるとし、制御対象から除外する処理を実行する。そして、制御対象候補の中から除外されずに残った制御対象候補を、制御が必要な制御対象であると判断して、制御対象の情報を出力する。
例えば、図8(a)に示すように、視差平均値がほぼ一定の値の場合、つまり第一画像と第二画像の相対的な縦方向のずらし量に関わらず、候補領域の視差演算値と複数の対応領域の視差演算値とがほぼ同じである場合は、制御対象候補は制御対象として認定する。
一方、図8(b)に示すように、視差平均値が互いに異なる場合、つまり第一画像と第二画像の相対的な縦方向のずらし量に応じて、候補領域の視差平均値に対する対応領域の視差平均値が増大または減少する場合は、制御対象候補は立体物ではなく、導流帯を立体物と誤検知したものであると判定し、制御対象から除く処理を行う。
なお、ステップS207において視差平均値の分布を作成し、ステップS208において分布の近似直線の傾きに基づいて制御対象候補を制御対象から除くか否かを判断する例について説明したが、これに限定されるものではない。例えば、他の変形例として、分布の近似直線の傾きの代わりに、視差の分散値、視差の最大値、視差の最小値、視差の最大値と最小値との差分、視差の最大値と最小値の比、視差の最大値の平均値、あるいは、視差の最小値の平均値を用いることができる。
図9は、制御対象の要否判断を統計結果に基づいて行う例を説明する図である。
図9に示す例では、正検知と誤検知の場合における、6種類のずらし画像であるずらし1~6の視差平均値と、これらの視差平均値の平均値(ave)、分散値(sigma)、最小値(min)、最大値(max)、最大値と最小値との差分(max-min)、最小値の平均値(min/ave)、および、最大値の平均値(max/ave)が示されており、これらの値を閾値と比較して制御対象の要否判断を行うこともできる。
本実施形態の撮像装置100は、一対の撮像画像から第一画像と第二画像を取得し、第一画像と第二画像を用いて第一視差画像を生成し、第一視差画像から立体物を検知して制御対象候補として認識し、制御対象候補が存在する候補領域内の視差値を第一視差値として取得する。そして、第一画像と第二画像を取得した一対の撮像画像から、第一画像と第二画像に対して相対的な縦方向の位置関係をずらした一対のずらし画像を取得し、これら一対のずらし画像から第二視差画像を生成し、第二視差画像において第一視差画像の候補領域に対応する対応領域を設定し、対応領域内の視差値を第二視差値として取得する。
そして、第一画像と第二画像を取得した一対の撮像画像から、ずらし量を変更した一対のずらし画像を取得し、第二視差画像の生成、対応領域の設定、対応領域内の第二視差値の取得を行い、ずらし量が異なる複数の第二視差値を取得する。そして、第一視差値と複数の第二視差値の分布状況から制御対象候補が導流帯を立体物として誤検知したものであるか否かを判断し、誤検知であると判定された場合には、制御対象から除く処理を行う。例えば、第一視差値と複数の第二視差値がほぼ同じ値である場合には正検知であると判断し、第一視差値に対して複数の第二視差値がずらし量に応じて変化する場合には誤検知であると判断する。
本実施形態の撮像装置100によれば、左右のカメラに光軸ずれが発生している状態でも制御対象の制御要否を判断することができる。したがって、導流帯を立体物として誤検知したものであるとして制御対象から除くことができ、AEBやACCなどの安全システムが作動して不要な警報やブレーキがかかるのを防ぐことができ、運転者に違和感を与えるのを防止できる。
<第2実施形態>
本実施形態において特徴的なことは、フェンスや柵といった繰り返しパターンの特徴を持つ立体物については、制御対象として認識する構成としたことである。例えば、フェンスや柵といった繰り返しパターンの特徴を持つ立体物に対しても、ステップS205で求める第二視差画像の対応領域内の視差値は、一対のカメラの縦ずれの発生に伴って変化する特徴をもつ。
しかし、フェンスや柵については、安全システムによる制御が必要な制御対象であるため、フェンスや柵を制御対象から除外しないための処理が発生する。以下、図10のフローチャートに基づいて、フェンスや柵を制御対象から除外しないための処理の流れを説明する。ステップS210以外は、図2に示すフローチャートと同じ処理である。
ステップS203にて制御対象候補が存在すると判定された場合に、ステップS210で自車速が閾値よりも大きいか否かの判定が行われる。フェンスや柵が制御対象と認識されるのは、自車の進行路上にフェンスや柵が位置するときであると判断することができ、自車が低速走行していると推測することができる。よって、自車速があらかじめ設定した車速閾値より大きいとき(ステップS210でYES)にのみ、ステップS204の処理へ移行し、撮像装置100が搭載されている自車速が車速閾値以下のとき(ステップS210でNO)は第二視差画像の生成は行わない。
本発明によれば、左右カメラ間で発生した光軸の縦方向ずれにより、導流帯を立体物として誤検知した場合に、立体物ではないことを判別し、安全システムが作動しないようにすることが可能である。
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100 撮像装置
11 第一撮像部
12 第二撮像部
13 第一画像取得部
14 第二画像取得部
15 第一視差画像生成部
16 制御対象候補認識部
17 第一視差値取得部
18 第二視差画像生成部
19 第二視差値取得部
20 制御対象判断部

Claims (7)

  1. 一対のカメラで撮像された一対の撮像画像を処理する処理装置であって、
    前記一対の撮像画像から第一視差画像を生成する第一視差画像生成部と、
    前記第一視差画像から制御対象候補を認識する制御対象候補認識部と、
    前記第一視差画像において前記制御対象候補が存在する候補領域内の第一視差値を取得する第一視差値取得部と、
    前記一対の撮像画像の相対的な縦方向の位置をずらして第二視差画像を生成する第二視差画像生成部と、
    前記第一視差画像の候補領域と対応する前記第二視差画像の対応領域内の第二視差値を取得する第二視差値取得部と、
    前記第一視差値と前記第二視差値とを用いて前記制御対象候補を制御対象として認定するか否かを判断する制御対象判断部と、
    を有することを特徴とする処理装置。
  2. 前記第一視差画像生成部は、前記一対の撮像画像から第一画像と第二画像を切り出し、前記第一画像と前記第二画像を用いて前記第一視差画像を生成し、
    前記第二視差画像生成部は、前記一対の撮像画像から前記第一画像と前記第二画像の相対的な上下の位置を縦方向の座標毎または等分割した区分毎にずらして切り出された一対のずらし画像を用いて前記第二視差画像を生成することを特徴とする請求項1に記載の処理装置。
  3. 前記第二視差画像生成部は、前記第一画像と前記第二画像の少なくとも一方の位置を、上方向のみ、または下方向のみ、または上下両方向にずらして前記一対のずらし画像を切り出すことを特徴とする請求項2に記載の処理装置。
  4. 前記第二視差画像生成部は、前記第一画像と前記第二画像の少なくとも一方の位置を複数回ずらして一対のずらし画像を複数生成し、該複数の一対のずらし画像からそれぞれ前記第二視差画像を生成することを特徴とする請求項2に記載の処理装置。
  5. 前記制御対象判断部は、前記第一視差画像の前記候補領域内の視差値と視差数から前記候補領域内の視差平均値を求め、前記第二視差画像の前記対応領域内の視差値と視差数から前記対応領域内の視差平均値を求め、前記第一視差画像の前記候補領域内の視差平均値と前記第二視差画像の前記対応領域内の視差平均値との分布の傾きが閾値よりも大きい場合に、前記制御対象候補認識部で認識していた前記制御対象候補を制御対象から除外することを特徴とする請求項2に記載の処理装置。
  6. 前記制御対象判断部は、前記第一視差画像の前記候補領域内の視差値と視差数から前記候補領域内の視差平均値を求め、前記第二視差画像の前記対応領域内の視差値と視差数から前記対応領域内の視差平均値を求め、前記視差平均値の分布の分散値が閾値よりも大きい場合に、前記制御対象候補認識部で認識していた前記制御対象候補を制御対象から除外することを特徴とする請求項2に記載の処理装置。
  7. 前記第二視差画像生成部は、前記処理装置が搭載されている車両の走行速度が閾値以下のときは第二視差画像の生成を行わないことを特徴とする請求項2に記載の処理装置。
JP2022504989A 2020-03-06 2020-12-25 処理装置 Active JP7250211B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020038552 2020-03-06
JP2020038552 2020-03-06
PCT/JP2020/048694 WO2021176819A1 (ja) 2020-03-06 2020-12-25 処理装置

Publications (2)

Publication Number Publication Date
JPWO2021176819A1 JPWO2021176819A1 (ja) 2021-09-10
JP7250211B2 true JP7250211B2 (ja) 2023-03-31

Family

ID=77613225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504989A Active JP7250211B2 (ja) 2020-03-06 2020-12-25 処理装置

Country Status (3)

Country Link
JP (1) JP7250211B2 (ja)
DE (1) DE112020005059T5 (ja)
WO (1) WO2021176819A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017650A1 (ja) 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
WO2013062087A1 (ja) 2011-10-28 2013-05-02 富士フイルム株式会社 3次元測定用撮像装置及び3次元測定装置、測定プログラム
JP2015190921A (ja) 2014-03-28 2015-11-02 富士重工業株式会社 車両用ステレオ画像処理装置
WO2019003771A1 (ja) 2017-06-26 2019-01-03 日立オートモティブシステムズ株式会社 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5097681B2 (ja) 2008-10-31 2012-12-12 日立オートモティブシステムズ株式会社 地物位置認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017650A1 (ja) 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
WO2013062087A1 (ja) 2011-10-28 2013-05-02 富士フイルム株式会社 3次元測定用撮像装置及び3次元測定装置、測定プログラム
JP2015190921A (ja) 2014-03-28 2015-11-02 富士重工業株式会社 車両用ステレオ画像処理装置
WO2019003771A1 (ja) 2017-06-26 2019-01-03 日立オートモティブシステムズ株式会社 撮像装置

Also Published As

Publication number Publication date
DE112020005059T5 (de) 2022-07-21
WO2021176819A1 (ja) 2021-09-10
JPWO2021176819A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
EP2422320B1 (en) Object detection device
JP6013884B2 (ja) 物体検出装置及び物体検出方法
JP3630100B2 (ja) 車線検出装置
CN110023951B (zh) 信息处理设备、成像设备、装置控制系统、信息处理方法和计算机可读记录介质
WO2016002405A1 (ja) 駐車枠認識装置
EP2767927A2 (en) Face information detection apparatus, vehicle device control system employing face information detection apparatus, and carrier medium of face information detection program
JP6592991B2 (ja) 物体検出装置、物体検出方法及びプログラム
JP6722084B2 (ja) 物体検出装置
JP2008039491A (ja) ステレオ画像処理装置
US20170227634A1 (en) Object recognition apparatus using a plurality of object detecting means
JP2011128756A (ja) 物体検出装置
US8160300B2 (en) Pedestrian detecting apparatus
CN109522779B (zh) 图像处理装置
US20090201370A1 (en) Traveling Lane Detector
CN110949254A (zh) 车辆的行驶环境检测装置及行驶控制系统
JP2008309519A (ja) 画像処理を用いた物体検出装置
WO2011016257A1 (ja) 車両用距離算出装置
WO2020213386A1 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP7250211B2 (ja) 処理装置
WO2017154305A1 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
CN112513573B (zh) 立体摄像机装置
JP7227112B2 (ja) 物体検出装置、走行制御システム、および走行制御方法
WO2023053477A1 (ja) 画像処理装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
WO2024150471A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7250211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150