JP6299651B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6299651B2
JP6299651B2 JP2015075829A JP2015075829A JP6299651B2 JP 6299651 B2 JP6299651 B2 JP 6299651B2 JP 2015075829 A JP2015075829 A JP 2015075829A JP 2015075829 A JP2015075829 A JP 2015075829A JP 6299651 B2 JP6299651 B2 JP 6299651B2
Authority
JP
Japan
Prior art keywords
target
image
parameter
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015075829A
Other languages
English (en)
Other versions
JP2016197280A5 (ja
JP2016197280A (ja
Inventor
陽介 服部
陽介 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015075829A priority Critical patent/JP6299651B2/ja
Priority to US15/562,868 priority patent/US10380435B2/en
Priority to DE112016001568.2T priority patent/DE112016001568T5/de
Priority to CN201680020080.4A priority patent/CN107430821B/zh
Priority to PCT/JP2016/057281 priority patent/WO2016158261A1/ja
Publication of JP2016197280A publication Critical patent/JP2016197280A/ja
Publication of JP2016197280A5 publication Critical patent/JP2016197280A5/ja
Application granted granted Critical
Publication of JP6299651B2 publication Critical patent/JP6299651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Regulating Braking Force (AREA)

Description

本発明は画像処理装置に関する。
従来、車載カメラを用いて取得した画像において物標を認識し、認識した物標との衝突を回避するための処理を行う技術が知られている(特許文献1参照)。
特開2008−308024号公報
物標の認識精度を向上させるために、複数のフレームにおいて同一の物標を連続して認識できたときに、物標を認識したと最終的に判断する処理方法が考えられる。この場合、自車両や周囲の状況等によっては、物標を適切に認識できないおそれがある。本発明は、こうした問題にかんがみてなされたものであり、物標を適切に認識することができる画像処理装置を提供することを目的としている。
本発明の第1の画像処理装置は、自車両に搭載されたカメラを用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、画像において物標候補を認識する物標候補認識ユニットと、連続するNフレームの画像において同一の物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、物標が画像において見かけ上移動するときの移動速度と相関するパラメータXを取得するパラメータX取得ユニットと、パラメータXの値が、移動速度を大きくするものであるほど、Nを小さく設定するN設定ユニットとを備える。
本発明の第1の画像処理装置は、物標が画像において見かけ上移動するときの移動速度が大きいほど、Nを小さく設定する。そのことにより、急に現れる物標の認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
本発明の第2の画像処理装置は、自車両に搭載されたカメラを用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニットと、連続するNフレームの画像において同一の物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニットと、自車両から物標までの距離と相関するパラメータYを取得するパラメータY取得ユニットと、パラメータYの値と対応する前記距離が小さいほど、Nを小さく設定するN設定ユニットと、を備える。
本発明の第2の画像処理装置は、自車両から物標までの距離が小さいほど、Nを小さく設定する。そのことにより、緊急性の高い対応が必要と想定される自車に近い物標の認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
画像処理装置1の構成を表すブロック図である。 画像処理装置1が実行する物標認識処理を表すフローチャートである。 画像処理装置1が実行するN設定処理を表すフローチャートである。 関連物標候補を表す説明図である。 座標yを表す説明図である。 座標yとNとの関係を表すグラフである。 大きさSを表す説明図である。 大きさSとNとの関係を表すグラフである。 ステアリング角度とNとの関係を表すグラフである。 加速度GとNとの関係を表すグラフである。 車速とNとの関係を表すグラフである。 図12Aは座標yとNとの関係を表すグラフであり、図12Bは大きさSとNとの関係を表すグラフであり、図12Cはステアリング角度とNとの関係を表すグラフであり、図12Dは加速度GとNとの関係を表すグラフであり、図12Eは車速とNとの関係を表すグラフである。
本発明の実施形態を図面に基づき説明する。
<第1の実施形態>
1.画像処理装置1とそれに関連する構成の説明
画像処理装置1は、車両に搭載される車載装置である。以下では、画像処理装置1を搭載する車両を自車両とする。画像処理装置1は、CPU、RAM、ROM等を備える公知のコンピュータである。画像処理装置1は、ROMに記憶したプログラムにより、後述する処理を実行する。
画像処理装置1は、機能的に、画像取得ユニット3、物標候補認識ユニット5、物標判定ユニット7、パラメータX取得ユニット9、パラメータY取得ユニット11、N設定ユニット13、及び情報出力ユニット14を備える。各ユニットの機能は後述する。
自車両は、画像処理装置1に加えて、車載カメラ15、車速センサ17、ヨーセンサ19、Gセンサ21、舵角センサ23、方向指示スイッチ25、GPS27、地図情報記憶部29、及び車両制御装置31を備える。
車載カメラ15は、自車両に搭載されたカメラである。車載カメラ15は、所定時間ごとに繰り返し、自車両の外部を撮影し、画像を生成する。車載カメラ15の光軸は、自車両に対し固定されている。なお、以下では、1回の撮影で得られる画像を1フレームと呼ぶ。
車速センサ17は自車両の車速を検出する。ヨーセンサ19は自車両のヨーレートを検出する。Gセンサ21は自車両の前後方向における加速度Gを検出する。なお、加速度Gは、自車両のピッチングの大きさと相関があり、加速度Gが大きいほど、ピッチングが大きくなる。舵角センサ23は自車両のステアリング角度を検出する。方向指示スイッチ25は、自車両のドライバの操作を受け付け、その操作に応じて方向指示を行う。また、方向指示スイッチ25は、方向指示の内容を表す信号を画像処理装置1に出力する。
GPS27は自車両の位置情報を取得する。地図情報記憶部29は地図情報を記憶している。車両制御装置31は、画像処理装置1から後述する物標情報を受け取り、その物標情報に応じて、衝突回避支援処理(例えば、自動ブレーキ、ブレーキアシスト、警報出力、自動操舵等)を実行する。車両制御装置31は、CPU、RAM、ROM等を備える公知のコンピュータである。車両制御装置31は、ROMに記憶したプログラムにより、上記の処理を実行する。
2.画像処理装置1が実行する物標認識処理
画像処理装置1が所定時間ごとに繰り返し実行する物標認識処理を、図2、図4に基づき説明する。図2のステップ1では、画像取得ユニット3が、車載カメラ15を用いて1フレームの画像を取得する。
ステップ2では、物標候補認識ユニット5が、前記ステップ1で取得した1フレームの画像に対し、周知の画像認識処理を実行する。
ステップ3では、前記ステップ2において物標候補を認識できたか否かを、物標候補認識ユニット5が判断する。物標候補とは、1フレームの画像に対し画像認識処理を行った結果、物標であると推定されるが、最終的に物標であるという判定はなされていないものを意味する。物標候補を認識できたと判断した場合はステップ4に進み、物標候補を認識できなかったと判断した場合はステップ13に進む。
ステップ4では、物標判定ユニット7がトラッキングを行う。トラッキングとは、前記ステップ2において認識した物標候補と関連付けることができる物標候補(以下、関連物標候補とする)を、前回のフレームにおいて探す処理である。関連物標候補は、前記ステップ2において認識した物標候補と同一の物標候補であると推定できる物標候補である。
関連物標候補であることの条件は、前記ステップ2において認識した物標候補と対比して、物標候補の位置変化と、物標候補の大きさの変化とが、それぞれ、所定の閾値以下であることである。
例えば、図4に示すように、前回のフレームにおいて、画像39中に大きさSの物標候補35が認識され、最新のフレームにおいて、大きさSの物標候補37が認識されたとする。物標候補35と物標候補37との位置変化の大きさdが閾値以下であり、且つ、大きさSと大きさSとの変化量が閾値以下であるならば、物標候補35と物標候補37とは、関連物標候補の関係にある。
図2に戻り、ステップ5では、前記ステップ4におけるトラッキングの結果、前記ステップ2において認識した物標候補の関連物標候補が、前回のフレームに存在したか否かを物標判定ユニット7が判断する。関連物標候補が前回のフレームに存在した場合はステップ6に進み、関連物標候補が前回のフレームに存在しなかった場合はステップ7に進む。
ステップ6では、物標判定ユニット7が、その時点での認識回数Iに1を加算し、認識回数Iの値を更新する。認識回数Iとは、その時点までに、関連物標候補が連続して発見されてきたフレームの累積数を表す。よって、認識回数がIであれば、最新のフレームまでの連続するIフレームの画像において、関連物標候補が発見され続けてきたことになる。
ステップ7では、物標判定ユニット7が、認識回数Iの値を1にする。
ステップ8では、N設定ユニット13がNの値を設定する。このNは次のステップ9での判定に使用される自然数である。Nの設定方法は後述する。
ステップ9では、前記ステップ6又は7で設定された認識回数Iが、前記ステップ8で設定されたN以上であるか否かを、物標判定ユニット9が判定する。認識回数IがN以上である場合はステップ10に進み、N未満である場合はステップ12に進む。
ステップ10では、物標判定ユニット9が、前記ステップ2において認識した物標候補を物標と判定する。
ステップ11では、前記ステップ10で物標と判定した物標に関する物標情報を情報出力ユニット14が出力する。その物標情報には、画像における物標の位置、画像における物標の大きさ、物標の形状等が含まれる。なお、車両制御装置31は物標情報を受信し、その物標情報を使用して、物標の位置、物標の方位、物標の種類等を判断する。そして、その判断結果に基づき、衝突回避支援処理を実行する。
ステップ12では、最新のIの値を物標判定ユニット7が記憶する。
一方、前記ステップ3で否定判断された場合はステップ13に進み、認識回数Iの値を0に更新し、本処理を終了する。
3.画像処理装置1が実行するN設定処理
前記ステップ8のN設定処理を、図3、図5〜図12Eに基づき説明する。図3のステップ21では、パラメータY取得ユニット11が、前記ステップ1で取得した画像において、前記ステップ2で認識した物標候補の上下方向における位置を取得する。上下方向における位置とは、図5に示すように、画像39において縦軸41を想定したとき、その縦軸41での物標候補37の座標yである。座標yは正の値であり、物標候補37の上下方向における位置が高いほど、座標yの値は大きい。なお、座標yは、自車両から物標までの距離と相関するパラメータYの一例である。自車両から物標までの距離が大きいほど、座標yは大きくなる。
ステップ22では、N設定ユニット13が、前記ステップ21で取得した座標yから、Nを算出する。Nは自然数である。N設定ユニット13は、予め、座標yを入力するとNを出力するマップを備えており、そのマップに座標yを入力することで、Nを算出する。座標yとNとの関係は、図6に示すように、座標yの値が大きいほど、Nが大きいという関係である。
ステップ23では、パラメータY取得ユニット11が、前記ステップ1で取得した画像において、前記ステップ2で認識した物標候補の大きさを取得する。物標候補の大きさとは、図7に示すように、画像39における物標候補37の大きさSである。なお、大きさSは、自車両から物標までの距離と相関するパラメータYの一例である。自車両から物標までの距離が大きいほど、大きさSは小さくなる。
ステップ24では、N設定ユニット13が、前記ステップ23で取得した大きさSから、Nを算出する。Nは自然数である。N設定ユニット13は、予め、大きさSを入力するとNを出力するマップを備えており、そのマップに大きさSを入力することで、Nを算出する。上記のマップは、物標候補の種類(例えば、歩行者、車両等)ごとに使い分けられる。大きさSとNとの関係は、図8に示すように、大きさSの値が大きいほど、Nが小さいという関係である。
ステップ25では、パラメータX取得ユニット9が、舵角センサ23を用いて、自車両のステアリング角度を取得する。なお、ステアリング角度は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータXの一例であり、ヨーイングの大きさと相関を有するパラメータXの一例である。ステアリング角度が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度は大きくなる。なお、静止している物標とは、地球に対し静止している物標を意味する。
ステップ26では、N設定ユニット13が、前記ステップ25で取得したステアリング角度から、Nを算出する。Nは自然数である。N設定ユニット13は、予め、ステアリング角度を入力するとNを出力するマップを備えており、そのマップにステアリング角度を入力することで、Nを算出する。ステアリング角度とNとの関係は、図9に示すように、ステアリング角度が大きいほど、Nが小さいという関係である。
ステップ27では、パラメータX取得ユニット9が、Gセンサ21を用いて、加速度Gを取得する。なお、加速度Gは、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータXの一例であり、ピッチングの大きさと相関するパラメータの一例である。加速度Gが大きいほど、ピッチングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。
ステップ28では、N設定ユニット13が、前記ステップ27で取得した加速度Gから、Nを算出する。Nは自然数である。N設定ユニット13は、予め、加速度Gを入力するとNを出力するマップを備えており、そのマップに加速度Gを入力することで、Nを算出する。加速度GとNとの関係は、図10に示すように、加速度Gが大きいほど、Nが小さいという関係である。
ステップ29では、パラメータX取得ユニット9が、車速センサ17を用いて、自車両の車速を取得する。なお、車速は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータXの一例である。車速が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度は大きくなる。
ステップ30では、N設定ユニット13が、前記ステップ29で取得した車速から、Nを算出する。Nは自然数である。N設定ユニット13は、予め、車速を入力するとNを出力するマップを備えており、そのマップに車速を入力することで、Nを算出する。車速とNとの関係は、図11に示すように、車速が大きいほど、Nが小さいという関係である。
ステップ31では、前記ステップ22で算出したN、前記ステップ24で算出したN、前記ステップ26で算出したN、前記ステップ28で算出したN、及び前記ステップ30で算出したNを用いて、N設定ユニット13がNを設定する。N設定ユニット13は、予め、N、N、N、N、及びNを入力するとNを出力するマップを備えており、そのマップにN、N、N、N、及びNを入力することで、Nを算出する。
Nと、座標y、大きさS、ステアリング角度、加速度G、及び車速との関係は以下のようになる。大きさS、ステアリング角度、加速度G、及び車速が一定であるとき、図12Aに示すように、座標yが大きいほど、Nは大きくなる。
また、座標y、ステアリング角度、加速度G、及び車速が一定であるとき、図12Bに示すように、大きさSが大きいほど、Nは小さくなる。
また、座標y、大きさS、加速度G、及び車速が一定であるとき、図12Cに示すように、ステアリング角度が大きいほど、Nは小さくなる。
また、座標y、大きさS、ステアリング角度、及び車速が一定であるとき、図12Dに示すように、加速度Gが大きいほど、Nは小さくなる。
また、座標y、大きさS、ステアリング角度、及び加速度Gが一定であるとき、図12Eに示すように、車速が大きいほど、Nは小さくなる。
4.画像処理装置1が奏する効果
(1A)ステアリング角度、加速度G、及び車速は、静止している物標が画像において見かけ上移動するときの移動速度と相関するパラメータである。例えば、ステアリング角度が大きいほど、自車両のヨーイングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。また、加速度Gが大きいほど、自車両のピッチングが大きくなり、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。また、車速が大きいほど、静止している物標が画像において見かけ上移動するときの移動速度が大きくなる。
仮に、静止している物標が画像において見かけ上移動するときの移動速度が大きい状況においてもNが固定されていると、連続するNフレームの画像において物標候補から認識決定までに時間を要し、車両制御の応答性の遅れが発生する。
画像処理装置1は、ステアリング角度、加速度G、及び車速が大きいほど(物標が画像において見かけ上移動するときの移動速度が大きいほど)、Nを小さく設定する。そのことにより、認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
また、画像処理装置1は、ステアリング角度、加速度G、及び車速が小さいときは、Nを大きくし、物標の認識精度を向上させることができる。
(1B)画像処理装置1は、Nの設定に用いるパラメータとして、ステアリング角度、加速度G、及び車速を用いる。そのことにより、パラメータを容易に取得し、Nの算出を容易に行うことができる。
(1C)画像処理装置1は、Nの設定に用いるパラメータとして、ヨーイングの大きさと相関を有するステアリング角度と、ピッチングの大きさと相関を有する加速度Gとを用いる。そのことにより、Nの算出を一層適切に行うことができる。
(1D)座標y、及び大きさSは、自車両から物標までの距離と相関するパラメータである。例えば、座標yが小さいほど、自車両から物標までの距離は小さい。また、大きさSが大きいほど、自車両から物標までの距離が小さい。
自車両から物標までの距離が小さいときは、迅速に物標を認識すること(物標の認識における応答性を向上させること)が求められるが、仮に、Nが固定されていると、応答性を向上させることは困難である。
画像処理装置1は、座標yが小さく、大きさSが大きいほど(自車両から物標までの距離が小さいほど)、Nを小さく設定する。そのことにより、自車両に近い物標に対する応答性が向上する。
また、画像処理装置1は、自車両から物標までの距離が大きいときは、Nを大きくし、物標の認識精度を向上させることができる。
<その他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(1)前記ステップ25において、ステアリング角度に代えて、ステアリング角速度、ヨーレート、及びヨーレート変化率のいずれかのパラメータを取得し、前記ステップ26では、そのパラメータに応じてNを算出してもよい。ステアリング角速度等とNとの関係は以下のようになる。ステアリング角速度が大きいほど、Nは小さい。ヨーレートが大きいほど、Nは小さい。ヨーレート変化率が大きいほど、Nは小さい。
(2)前記ステップ27において、加速度Gに代えて、ピッチ角、又はピッチ角変化率を取得し、前記ステップ28では、ピッチ角、又はピッチ角変化率に応じてNを算出してもよい。ピッチ角、ピッチ角変化率とNとの関係は以下のようになる。ピッチ角が大きいほど、Nは小さい。ピッチ角変化率が大きいほど、Nは小さい。
(3)画像処理装置1は、座標y、大きさS、ステアリング角度、加速度G、及び車速を入力すると、Nを出力するマップを備えていてもよい。そして、そのマップに、前記ステップ21、23、25、27、29で取得した座標y、大きさS、ステアリング角度、加速度G、及び車速を入力して、Nを算出してもよい。
(4)画像処理装置1は、N、N、N、N、及びNのうちの一部を用いて、Nを算出してもよい。例えば、NとNとから、Nを算出してもよい。この場合も、座標y、大きさSとNとの関係は、図12A、図12Bに示すものとすることができる。
また、N、N、Nから、Nを算出してもよい。この場合も、ステアリング角度、加速度G、車速と、Nとの関係は、図12C、図12D、図12Eに示すものとすることができる。
(5)画像処理装置1は、自車両の右左折(ヨーイングと相関する条件)を、車載カメラ15で取得した画像を用いた道路形状認識、方向指示スイッチ25からの信号、GPS27及び地図情報記憶部29を用いた道路形状認識により判断してもよい。そして、右左折中の場合は、その他の場合に比べて、Nを小さく設定することができる。そのことにより認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
また、画像処理装置1は、道路の起伏(ピッチングを相関する条件)を、車載カメラ15で取得した画像を用いた道路形状認識、GPS27及び地図情報記憶部29を用いた道路形状認識により判断してもよい。そして、道路の起伏が激しいほど、Nを小さく設定することができる。そのことにより認識時間が短縮され、車両制御装置の制御応答性を向上させることが可能である。
(6)画像処理装置1は、天候や時刻を取得する手段を備えていてもよい。そして、天候や時刻が、画像認識を困難にする条件(例えば、雨天、夜間等)である場合は、Nを大きくすることができる。こうすることにより、物標の認識精度が向上する。
(7)画像処理装置1は、前記ステップ21において、画像の左右方向における物標の位置xを取得し、その位置xから、Nを算出してもよい。位置xは、自車両から物標までの距離と相関するパラメータYの一例である。画像の左右方向における中心から位置xが離れるほど、自車両から物標までの距離は大きくなる。位置xとNとの関係は、画像の左右方向における中心から位置xが離れるほど、Nが大きくなるという関係である。
(8)車載カメラ15のレンズが広角レンズで歪み補正前の場合、静止している物標が画像において見かけ上移動するときの移動速度は、画像の中央では速く、画像の周辺部では遅い。画像処理装置1は、撮影画像の歪みに応じて、Nを設定することができる。車載カメラ15のレンズが広角レンズであり、物標候補が画像の周辺部にある場合は、中央にある場合に比べて、Nを大きく設定することができる。そのことにより、画像の周辺部にある物標候補の認識精度が向上する。
(9)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(10)上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像処理方法等、種々の形態で本発明を実現することもできる。
1…画像処理装置、3…画像取得ユニット、5…物標候補認識ユニット、7…物標判定ユニット、9…パラメータX取得ユニット、9…物標判定ユニット、11…パラメータY取得ユニット、13…N設定ユニット、14…情報出力ユニット、15…車載カメラ、17…車速センサ、19…ヨーセンサ、21…Gセンサ、23…舵角センサ、25…方向指示スイッチ、27…GPS、29…地図情報記憶部、31…車両制御装置、35、37…物標候補、39…画像、41…縦軸

Claims (6)

  1. 自車両に搭載されたカメラ(15)を用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニット(3)と、
    前記画像において物標候補を認識する物標候補認識ユニット(5)と、
    連続するNフレームの前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニット(7)と、
    静止している物標が前記画像において見かけ上移動するときの移動速度と相関するパラメータXを取得するパラメータX取得ユニット(9)と、
    前記パラメータXの値が、前記移動速度を大きくするものであるほど、前記Nを小さく設定するN設定ユニット(13)と、
    を備え
    前記パラメータXは、ステアリング角度、ステアリング角速度、ヨーレート、ヨーレート変化率、ピッチ角、ピッチ角変化率、自車両の車速、及び自車両の前後方向における加速度から成る群から選択される1以上であることを特徴とする画像処理装置(1)。
  2. 請求項1記載の画像処理装置であって、
    前記パラメータXは、自車両のヨーイング又はピッチングの大きさと相関を有するパラメータであり、
    前記N設定ユニットは、前記パラメータXの値が、前記ヨーイング又はピッチングを大きくするものであるほど、前記Nを小さく設定することを特徴とする画像処理装置。
  3. 請求項1又は2に記載の画像処理装置であって、
    自車両から物標までの距離と相関するパラメータYを取得するパラメータY取得ユニット(11)を備え、
    前記N設定ユニットは、前記パラメータYの値と対応する前記距離が小さいほど、前記Nを小さく設定することを特徴とする画像処理装置。
  4. 請求項に記載の画像処理装置であって、
    前記パラメータYは、前記画像における前記物標候補の大きさ、前記画像の上下方向における前記物標候補の位置、及び前記画像の左右方向における前記物標の位置から成る群から選択される1以上であることを特徴とする画像処理装置。
  5. 自車両に搭載されたカメラ(15)を用いて自車両の外部を撮影した画像を所定時間ごとに取得する画像取得ユニット(3)と、
    連続するNフレームの前記画像において同一の前記物標候補が認識されることを条件として、その物標候補を物標と判定する物標判定ユニット(7)と、
    自車両から物標までの距離と相関するパラメータYを取得するパラメータY取得ユニット(11)と、
    前記パラメータYの値と対応する前記距離が小さいほど、前記Nを小さく設定するN設定ユニット(13)と、
    を備えることを特徴とする画像処理装置(1)。
  6. 請求項に記載の画像処理装置であって、
    前記パラメータYは、前記画像における前記物標候補の大きさ、前記画像の上下方向における前記物標候補の位置、及び前記画像の左右方向における前記物標の位置から成る群から選択される1以上であることを特徴とする画像処理装置。
JP2015075829A 2015-04-02 2015-04-02 画像処理装置 Active JP6299651B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015075829A JP6299651B2 (ja) 2015-04-02 2015-04-02 画像処理装置
US15/562,868 US10380435B2 (en) 2015-04-02 2016-03-09 Image processing apparatus
DE112016001568.2T DE112016001568T5 (de) 2015-04-02 2016-03-09 Bildverarbeitungsapparat
CN201680020080.4A CN107430821B (zh) 2015-04-02 2016-03-09 图像处理装置
PCT/JP2016/057281 WO2016158261A1 (ja) 2015-04-02 2016-03-09 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015075829A JP6299651B2 (ja) 2015-04-02 2015-04-02 画像処理装置

Publications (3)

Publication Number Publication Date
JP2016197280A JP2016197280A (ja) 2016-11-24
JP2016197280A5 JP2016197280A5 (ja) 2017-05-25
JP6299651B2 true JP6299651B2 (ja) 2018-03-28

Family

ID=57007066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015075829A Active JP6299651B2 (ja) 2015-04-02 2015-04-02 画像処理装置

Country Status (5)

Country Link
US (1) US10380435B2 (ja)
JP (1) JP6299651B2 (ja)
CN (1) CN107430821B (ja)
DE (1) DE112016001568T5 (ja)
WO (1) WO2016158261A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7292065B2 (ja) 2019-03-11 2023-06-16 フクビ化学工業株式会社 壁面収納パネル

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903308B (zh) * 2017-12-08 2021-02-26 百度在线网络技术(北京)有限公司 用于获取信息的方法及装置
JP2020201583A (ja) * 2019-06-06 2020-12-17 ルネサスエレクトロニクス株式会社 半導体装置、移動体装置および移動体装置の制御方法
JP7238821B2 (ja) * 2020-02-06 2023-03-14 トヨタ自動車株式会社 地図生成システム及び地図生成プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313467B2 (en) * 2000-09-08 2007-12-25 Automotive Technologies International Inc. System and method for in-vehicle communications
US5835008A (en) * 1995-11-28 1998-11-10 Colemere, Jr.; Dale M. Driver, vehicle and traffic information system
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
US8331621B1 (en) * 2001-10-17 2012-12-11 United Toll Systems, Inc. Vehicle image capture system
US8384538B2 (en) * 2002-06-11 2013-02-26 Intelligent Technologies International, Inc. Remote monitoring of fixed structures
US20040167861A1 (en) * 2003-02-21 2004-08-26 Hedley Jay E. Electronic toll management
US7970644B2 (en) * 2003-02-21 2011-06-28 Accenture Global Services Limited Electronic toll management and vehicle identification
US7620202B2 (en) * 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7089099B2 (en) * 2004-07-30 2006-08-08 Automotive Technologies International, Inc. Sensor assemblies
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
JP4506463B2 (ja) * 2004-12-28 2010-07-21 トヨタ自動車株式会社 車高調整装置
ES2385049T3 (es) * 2005-06-10 2012-07-17 Accenture Global Services Limited Identificación electrónica de vehículos
JP4603970B2 (ja) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP4967840B2 (ja) 2007-06-14 2012-07-04 トヨタ自動車株式会社 衝突軽減装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP5263401B2 (ja) * 2009-08-18 2013-08-14 トヨタ自動車株式会社 車両の制御装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP5427202B2 (ja) * 2011-03-29 2014-02-26 富士重工業株式会社 車両用運転支援装置
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
WO2013065120A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
JP6138655B2 (ja) * 2013-10-10 2017-05-31 日立オートモティブシステムズ株式会社 車両の運動制御装置
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US10572744B2 (en) * 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7292065B2 (ja) 2019-03-11 2023-06-16 フクビ化学工業株式会社 壁面収納パネル

Also Published As

Publication number Publication date
US10380435B2 (en) 2019-08-13
CN107430821A (zh) 2017-12-01
WO2016158261A1 (ja) 2016-10-06
JP2016197280A (ja) 2016-11-24
CN107430821B (zh) 2020-10-13
DE112016001568T5 (de) 2017-12-28
US20180114075A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
JP6313646B2 (ja) 外界認識装置
JP4985142B2 (ja) 画像認識装置および画像認識装置の画像認識処理方法
JP5594246B2 (ja) 車線認識装置
JP6453192B2 (ja) 画像認識処理装置、及びプログラム
JP6272204B2 (ja) 道路区画線情報取得装置
WO2017009923A1 (ja) 自己位置推定装置及び自己位置推定方法
JP2018036067A (ja) 自車位置認識装置
JP2015165381A (ja) 画像処理装置、機器制御システム、および画像処理プログラム
JP6299651B2 (ja) 画像処理装置
JP2006338272A (ja) 車両挙動検出装置、および車両挙動検出方法
JP6756101B2 (ja) 物体認識装置
KR20190030344A (ko) 객체 인식 방법 및 장치
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2017010078A (ja) 路面標示検出装置及び路面標示検出方法
US11619495B2 (en) Position estimating apparatus and position estimating method
EP2056235A1 (en) Driving path identification via online adaptation of the driving path model
CN111989541A (zh) 立体摄像机装置
JP5345999B2 (ja) レーンマーク認識装置
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
JP7429246B2 (ja) 対象を識別する方法とシステム
JP2019029986A (ja) 撮像制御装置および撮像制御方法
JP2018124641A (ja) 運転支援装置
JP6500844B2 (ja) 車両位置姿勢算出装置及び車両位置姿勢算出プログラム
JP2011055342A (ja) 車両用撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180212

R151 Written notification of patent or utility model registration

Ref document number: 6299651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250