JP6337811B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6337811B2
JP6337811B2 JP2015053277A JP2015053277A JP6337811B2 JP 6337811 B2 JP6337811 B2 JP 6337811B2 JP 2015053277 A JP2015053277 A JP 2015053277A JP 2015053277 A JP2015053277 A JP 2015053277A JP 6337811 B2 JP6337811 B2 JP 6337811B2
Authority
JP
Japan
Prior art keywords
change amount
line segment
feature point
threshold value
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015053277A
Other languages
English (en)
Other versions
JP2016173723A (ja
Inventor
瑠衣子 宮野
瑠衣子 宮野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015053277A priority Critical patent/JP6337811B2/ja
Priority to US15/062,677 priority patent/US9744968B2/en
Priority to EP16160289.1A priority patent/EP3070642A1/en
Priority to CN201610151179.XA priority patent/CN105984470B/zh
Publication of JP2016173723A publication Critical patent/JP2016173723A/ja
Application granted granted Critical
Publication of JP6337811B2 publication Critical patent/JP6337811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明の一側面及び他の側面は、画像処理装置及び画像処理方法に関する。
カメラによる撮像画像に基づいて物体を認識する技術が提案されている。例えば、特許文献１には、物体をそれぞれ異なる視点から撮影した２つの撮像画像それぞれから物体の輪郭線等の直線を抽出する装置が開示されている。特許文献１の装置は、２つの撮像画像それぞれから抽出された直線同士の交点（角点）等の特徴点を抽出する。特許文献１の装置は、２つの撮像画像それぞれから抽出された特徴点同士を対応付けることにより物体を認識する。
特開２０１４−１０２８０５号公報
ところで、上記特許文献１のような装置においては、認識の対象となる物体の輪郭線による特徴点と、認識の対象とはならない遠景の輪郭線による特徴点とが一緒に抽出される。物体がカメラに対して相対的に移動している場合には、物体の輪郭線は撮像画像内で移動するのに対して、遠景の輪郭線は撮像画像内で移動しない。この場合、例えば、物体の輪郭線と遠景の輪郭線との交点が物体の輪郭線による特徴点とされると、当該特徴点が物体の輪郭線上で移動してしまうために、実際には物体上の同一位置ではない位置を同一位置として誤認識する場合や、物体の位置や移動量を正確に認識できない場合がある。そのため、物体を認識する精度が低下する場合があり、改善が望まれている。
そこで本発明は、カメラによる撮像画像に基づいた物体の認識において、物体を認識する精度を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
本発明の一側面は、カメラによる撮像画像に基づいて物体を認識する画像処理装置であって、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出部と、第１線分それぞれの第１特徴点を抽出するとともに、第２線分それぞれの第２特徴点を抽出する特徴点抽出部と、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する変化量算出部と、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する物体認識部とを備えた画像処理装置である。
この構成によれば、物体認識部により、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点及び第２特徴点と、認識の対象とはならない遠景による第１特徴点及び第２特徴点とが区別され、認識の対象となる物体のみによる第１特徴点と第２特徴点とが対応付けられるため、物体を認識する精度を向上させることができる。
この場合、物体認識部は、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点を抽出することにより物体を認識してもよい。
この構成によれば、物体認識部により、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点が抽出されることにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点と、認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点とが区別されるため、誤認識を低減することができる。
また、この場合、物体認識部は、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点を決定してもよい。
この構成によれば、物体認識部により、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点が決定される。これにより、認識の対象となる物体のみによる第１特徴点及び第２特徴点に基づいて、第１撮像画像内での認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点の第２撮像画像内での対応点が決定されるため、物体を認識する精度をさらに向上させることができる。
また、本発明の他の側面は、カメラによる撮像画像に基づいて物体を認識する画像処理装置を用いた画像処理方法であって、画像処理装置の線分抽出部により、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出工程と、画像処理装置の特徴点抽出部により、第１線分それぞれの第１特徴点を抽出するとともに、第２線分それぞれの第２特徴点を抽出する特徴点抽出工程と、画像処理装置の変化量算出部により、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する変化量算出工程と、画像処理装置の物体認識部により、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する物体認識工程とを備えた画像処理方法である。
この場合、物体認識工程では、変化量が変化量閾値未満である第１線分の第１特徴点として、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点を抽出することにより物体を認識してもよい。
また、この場合、物体認識工程では、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点と、変化量が変化量閾値以上である第１線分の第１特徴点との第１撮像画像内での位置関係に基づいて、変化量が変化量閾値未満である第１線分の端点と変化量が変化量閾値以上である第１線分との交点である第１特徴点の第２撮像画像内での対応点を決定してもよい。
本発明の一側面及び他の側面によれば、カメラによる撮像画像に基づいた物体の認識において、物体を認識する精度を向上させることができる。
実施形態の画像処理装置を示すブロック図である。 図１の画像処理装置の動作を示すフローチャートである。 （ａ）は第１時点の第１撮像画像を示す図であり、（ｂ）は第１時点より後の第２時点の第２撮像画像を示す図である。 （ａ）は第１撮像画像について複数の第１線分を抽出した状態を示す図であり、（ｂ）は第２撮像画像について第１線分それぞれに対応する複数の第２線分を抽出した状態を示す図である。 （ａ）は第１線分それぞれの第１特徴点を抽出した状態を示す図であり、（ｂ）は第２線分それぞれの第２特徴点を抽出した状態を示す図である。 （ａ）は変化量が変化量閾値以上である第１線分の第１特徴点を抽出した状態を示す図であり、（ｂ）は変化量が変化量閾値以上である第２線分の第２特徴点を抽出した状態を示す図である。 第２撮像画像において変化量が変化量閾値未満である第２線分を抽出した状態を示す図である。 （ａ）は変化量が変化量閾値未満である第１線分の第１特徴点を抽出した状態を示す図であり、（ｂ）は変化量が変化量閾値未満である第２線分の第２特徴点を抽出した状態を示す図である。 （ａ）は第１線分において変化量が変化量閾値以上である第１特徴点に対する変化量が変化量閾値未満である第１特徴点の位置関係を算出する状態を示す図であり、（ｂ）は（ａ）の位置関係に基づいて第２撮像画像での変化量が変化量閾値未満である第１特徴点に対応する位置を算出した状態を示す図である。
以下、図面を参照して、本発明の実施形態に係る画像処理装置及び画像処理方法について説明する。
図１に示すように、第１実施形態に係る画像処理装置１は、カメラ１１、車速センサ１２、ジャイロセンサ１３、ＥＣＵ２０、ディスプレイ３１、スピーカ３２及びアクチュエータ３３を備えている。画像処理装置１は、自動車等の車両に搭載され、車両の走行中に、カメラ１１による撮像画像に基づいて物体を認識する装置である。
カメラ１１は、例えば、車両のフロントガラスの裏面に設けられた一つの撮像部を有する単眼カメラである。カメラ１１は、車両前方の撮像画像に関する情報をＥＣＵ２０へ送信する。カメラ１１は、モノクロカメラ及びカラーカメラのいずれでもよい。また、カメラ１１は、ステレオカメラでもよい。
車速センサ１２は、車両の速度を検出するためのセンサである。車速センサ１２としては、例えば、車両の車輪又は車輪と一体に回転する車軸等に対して設けられ、車輪の回転速度を信号として検出する車輪速センサが用いられる。車速センサ１２は、車輪の回転速度に応じた信号をＥＣＵ２０に送信する。
ジャイロセンサ１３は、方位角センサ又はヨーレートセンサを含む。方位角センサは、車両の進行方向を検出するためのセンサである。方位角センサは、車両の進行方向に応じた信号をＥＣＵ２０に送信する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出することにより、車両の向きを検出するためのセンサである。ヨーレートセンサは、検出した車両のヨーレートに応じた信号をＥＣＵ２０へ出力する。
ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、ＥＣＵ２０のハードウェアが線分抽出部２１、特徴点抽出部２２、変化量算出部２３、物体認識部２４及び車両制御部２５として機能する。ＥＣＵ２０は、複数のＥＣＵから構成されていてもよい。
線分抽出部２１は、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、第１時点より後の第２時点の第２撮像画像について複数の第２線分それぞれを抽出する。第１時点と第２時点との間隔は、例えば、５０〜１００ｍｓｅｃとすることができる。線分抽出部２１は、例えば、ハフ変換により、第１撮像画像について第１線分を抽出し、第２撮像画像について第２線分を抽出する。また、線分抽出部２１は、他の手法により第１線分及び第２線分を抽出してもよい。
特徴点抽出部２２は、第１線分それぞれの第１特徴点を抽出し、第１線分それぞれに当該第１特徴点を関連付けて登録するとともに、第２線分それぞれの第２特徴点を抽出し、第２線分それぞれに当該第２特徴点を関連付けて登録する。第１線分の第１特徴点とは、例えば、第１特徴点から予め設定された距離以内の位置に存在する予め設定された輝度以上の点を意味する。また、第１線分の第１特徴点とは、例えば、第１線分の端点を意味する。第１線分の端点には、一つの第１線分の端点であって、他の第１線分との交点（角点）をとなる端点を含む。第１線分の端点には、第１撮影画像の外周との交点となる端点を含む。特徴点抽出部２２は、例えばHarris、ＦＡＳＴ（Features from Accelerated SegmentTest）、ＳＵＲＦ（Speeded Up Robust Features）又はＳＩＦＴ（Scale-Invariant Feature Transform）の手法により、第１線分それぞれの第１特徴点を抽出する。複数の第１線分それぞれに重複して一つの第１特徴点が抽出され、複数の第１線分それぞれに重複して一つの第１特徴点が関連付けられて登録されてもよい。第２線分の第２特徴点も、上述した第１線分の第１特徴点と同様にして抽出される。また、特徴点抽出部２２は、他の手法により第１特徴点及び第２特徴点を抽出してもよい。
変化量算出部２３は、第１線分それぞれの第１撮像画像内での位置に対して、第１線分それぞれに対応する第２線分それぞれの第２撮像画像内での位置の変化量を算出する。第１線分と第２線分とが対応しているか否かは、例えば、第１線分に含まれる第１特徴点の画素と第２線分に含まれる第２特徴点の画素とを比較することにより、判定することができる。変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での端点の座標と、第２線分それぞれの第２撮像画像内での端点の座標との差から変化量を算出する。変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での傾きと、第２線分それぞれの第２撮像画像内での傾きとの差から変化量を算出してもよい。また、変化量算出部２３は、例えば、第１線分それぞれの第１撮像画像内での中点の座標と、第２線分それぞれの第２撮像画像内での中点の座標との差から変化量を算出してもよい。
物体認識部２４は、後述するように、変化量が変化量閾値以上である第１線分及び第２線分の第１特徴点及び第２特徴点と、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点とを分けて抽出し、変化量が変化量閾値以上である第１線分の第１特徴点の第２撮像画像内での対応点を、変化量が変化量閾値以上である第１線分に対応する第２線分の第２特徴点に決定することにより物体を認識する。変化量閾値は、第１線分及び第２線分が認識の対象である物体の輪郭線等によるものか否かを判定するための変化量の閾値である。変化量閾値は、例えば、車速センサ１２で検出された車速や、ジャイロセンサ１３で検出されたヨーレートが大きいほど、大きな値に設定されてもよい。
車両制御部２５は、物体認識部２４で認識された物体をディスプレイ３１に表示する車両制御を行う。また、車両制御部２５は、認識された物体との距離が予め設定された閾値未満になったときに、ディスプレイ３１又はスピーカ３２から車両のドライバーに必要な警報を報知する車両制御を行う。また、車両制御部２５は、認識された物体との距離が予め設定された閾値未満になったときに、アクチュエータ３３により、車両の加速、制動及び操舵のいずれかの動作を制御する車両制御を行う。
ディスプレイ３１は、例えば、コンビネーションメータのＭＩＤ（MultiInformation Display）、インストルメントパネルのセンターディスプレイ、ＨＵＤ(Head-upDisplay)等のうち少なくとも一つを含んでいる。ディスプレイ３１は、複数の種類のディスプレイから構成されていてもよい。ディスプレイ３１は、ＥＣＵ２０の車両制御部２５からの制御信号に応じて表示を行う。
スピーカ３２は、車両のインストルメントパネル裏に設けられたスピーカ、車両の運転席のドア内側に設けられたスピーカ、ＥＣＵ２０の内蔵スピーカ等のうち少なくとも一つを含んでいる。スピーカ３２は、ＥＣＵ２０の車両制御部２５からの制御信号に応じて音声の出力及び警報の報知を行う。
アクチュエータ３３は、車両の加速、制動及び操舵のいずれかの動作を制御する装置である。アクチュエータ３３は、スロットルアクチュエータ、ブレーキアクチュエータ及びステアリングアクチュエータを少なくとも含む。スロットルアクチュエータは、ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、車両の駆動力を制御する。なお、車両がハイブリッド車又は電気自動車である場合には、スロットルアクチュエータを含まず、動力源としてのモータにＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。
ブレーキアクチュエータは、ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。ステアリングアクチュエータは、電動パワーステアリングシステムのうちステアリングトルクを制御するアシストモータの駆動を、ＥＣＵ２０からの制御信号に応じて制御する。これにより、ステアリングアクチュエータは、車両のステアリングトルクを制御する。
以下、本実施形態の画像処理装置１の動作について説明する。図２に示すように、画像取得工程として、車両の走行中に、カメラ１１による車両前方の撮像画像がＥＣＵ２０の線分抽出部２１により取得される（Ｓ１）。線分抽出部２１は、例えば、図３（ａ）に示すような第１時点の第１撮像画像Ｆ１と、図３（ｂ）に示すような第２時点の第２撮像画像Ｆ２とを取得する。第１時点の第１撮像画像Ｆ１に写った建物、樹木及び路面の白線等は、第１時点よりも後の第２時点の第２撮像画像Ｆ２では、車両のより手前側に写っている。一方、第１撮像画像Ｆ１に写った遠景の山等は、第２撮像画像Ｆ２でも位置が変化していない。
図２に示すように、線分抽出工程として、線分抽出部２１により、第１時点の第１撮像画像Ｆ１について複数の第１線分が抽出されるとともに、第２時点の第２撮像画像Ｆ２について複数の第２線分が抽出される（Ｓ２）。図４（ａ）に示すように、第１時点ｔ１の第１撮像画像Ｆ１について、樹木の輪郭線である第１線分Ｌ１（ｔ１）が抽出される。また、遠景の山の輪郭線である第１線分Ｌ２（ｔ１）が抽出される。同様にして、図４（ｂ）に示すように、第２時点ｔ２の第２撮像画像Ｆ２について、樹木の輪郭線である第２線分Ｌ１（ｔ２）等が抽出される。また、遠景の山の輪郭線である第２線分Ｌ２（ｔ２）が抽出される。
図２に示すように、特徴点抽出工程として、ＥＣＵ２０の特徴点抽出部２２により、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれの第１特徴点が抽出され、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれと関連付けられて登録されるとともに、第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれの第２特徴点が抽出され、第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれと関連付けられて登録される（Ｓ３）。図５（ａ）に示すように、第１線分Ｌ１（ｔ１）の端点である第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）が抽出される。また、第１線分Ｌ２（ｔ１）の端点と第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出される。同様にして、図５（ｂ）に示すように、第２線分Ｌ１（ｔ２）の端点である第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）が抽出される。また、第２線分Ｌ２（ｔ２）の端点と第２線分Ｌ１（ｔ２）との交点である第２特徴点Ｐ２（ｔ２）が抽出される。なお、上述したように、複数の第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）それぞれに重複して一つの第１特徴点Ｐ２（ｔ１）が抽出され、複数の第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）それぞれに重複して関連付けられて登録されてもよく、複数の第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）それぞれに重複して一つの第２特徴点Ｐ２（ｔ２）が抽出され、複数の第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）それぞれに重複して関連付けられて登録されてもよい。
図２に示すように、変化量算出工程として、ＥＣＵ２０の変化量算出部２３により、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれの第１撮像画像Ｆ１内での位置に対して、第１線分Ｌ１（ｔ１），Ｌ２（ｔ１）等それぞれに対応する第２線分Ｌ１（ｔ２），Ｌ２（ｔ２）等それぞれの第２撮像画像Ｆ２内での位置の変化量が算出される（Ｓ４）。図５（ａ）（ｂ）に示すように、樹木の輪郭線である第１線分Ｌ１（ｔ１）に対する第２線分Ｌ１（ｔ２）の変化量は大きい。一方、遠景の山の輪郭線である第１線分Ｌ２（ｔ１）に対する第２線分Ｌ２（ｔ２）の変化量は０である。
図２に示すように、物体認識工程として、ＥＣＵ２０の物体認識部２４により、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）等と、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）の第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）等とを分けて抽出し、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の第２撮像画像Ｆ２内での対応点を、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に対応する第２線分Ｌ１（ｔ２）の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に決定することにより物体が認識される（Ｓ５）。
図６（ａ）に示すように、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）等の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）等が物体のみによる特徴点として抽出される。同様に、図６（ｂ）に示すように、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）等の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）等が物体のみによる特徴点として抽出される。物体認識部２４は、物体上の同一位置である第１特徴点Ｐ１ａ（ｔ１）と第２特徴点Ｐ１ａ（ｔ２）とを対応付け、物体上の同一位置である第１特徴点Ｐ１ｂ（ｔ１）と第２特徴点Ｐ１ｂ（ｔ２）とを対応付ける。物体認識部２４は、第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の画素の輝度と第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）の画素の輝度とを比較することにより、互いの対応付けを行うことができる。物体認識部２４は、上記対応付けを例えばＫＬＴ trackerの手法やエピポーラ線上の探索等の手法で行うことができる。
図７に示すように、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等が遠景の山等の輪郭線として抽出される。図７に示すように、物体認識部２４は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等において、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）等により遮断された部位が存在すると考えられる部位を補間することにより、遠景のみを示す撮像画像を形成してもよい。上記補間は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等それぞれの第２撮像画像Ｆ２内での傾き、端点の座標及び画素の輝度等を比較することにより行うことができる。
図８（ａ）に示すように、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）等の第１特徴点Ｐ２（ｔ１）等が遠景による特徴点として抽出される。同様に、図８（ｂ）に示すように、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）等の第２特徴点Ｐ２（ｔ２）等が遠景による特徴点として抽出される。
なお、第１特徴点Ｐ２（ｔ１）が、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に関連付けられて登録されている場合であっても、第１特徴点Ｐ２（ｔ１）が、変化量が変化量未満である第１線分Ｌ２（ｔ１）にも重複して関連付けられて登録されている場合は、第１特徴点Ｐ２（ｔ１）は、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の特徴点として取り扱われる。同様に、第２特徴点Ｐ２（ｔ２）が、変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）に関連付けられて登録されている場合であっても、第２特徴点Ｐ２（ｔ２）が、変化量が変化量未満である第２線分Ｌ２（ｔ２）にも重複して関連付けられて登録されている場合は、第２特徴点Ｐ２（ｔ２）は、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）の特徴点として取り扱われる。
しかし、変化量が変化量閾値以上である第１線分と変化量未満である第１線分とに重複して関連付けられて登録されている第１特徴点であって、変化量が変化量閾値以上である第１線分が鉛直方向に伸びる線分であり、当該第１特徴点が、変化量が変化量閾値以上である第１線分の下端点である場合は、当該第１特徴点は路面との接地点である可能性が高く、特徴点が物体の輪郭線上で移動する問題が生じないため、例外的に、変化量が変化量閾値以上である第１線分の特徴点として取り扱ってもよい。変化量が変化量閾値以上である第２線分と変化量未満である第２線分とに重複して関連付けられて登録されている第２特徴点についても同様である。
本実施形態では、図９（ａ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出される。また、図９（ｂ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第２線分Ｌ２（ｔ２）の端点と変化量が変化量閾値以上である第２線分Ｌ１（ｔ２）との交点である第２特徴点Ｐ２（ｔ２）が抽出される。
図９（ａ）に示すように、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）との第１撮像画像Ｆ１内での位置関係が算出される。具体的には、例えば、同一の第１線分Ｌ１（ｔ１）上の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）について、第１特徴点Ｐ１ｂ（ｔ１）と第１特徴点Ｐ２（ｔ１）と間の距離に対する第１特徴点Ｐ２（ｔ１）と第１特徴点Ｐ１ａ（ｔ１）との間の距離の比が算出される。
図９（ｂ）に示すように、上記の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）の位置関係に基づいて、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）の第２撮像画像Ｆ２内での対応する位置の点である対応点Ｐが決定される。具体的には、例えば、同一の第２線分Ｌ１（ｔ２）上において、第１特徴点Ｐ１ｂ（ｔ１）と第１特徴点Ｐ２（ｔ１）と間の距離に対する第１特徴点Ｐ２（ｔ１）と第１特徴点Ｐ１ａ（ｔ１）との間の距離の比と、第２特徴点Ｐ１ｂ（ｔ２）と対応点Ｐと間の距離に対する対応点Ｐと第２特徴点Ｐ１ａ（ｔ２）との間の距離の比とが等しくなるような対応点Ｐが決定される。物体認識部２４により、第１特徴点Ｐ２（ｔ１）に対応する第２特徴点として、第２特徴点Ｐ２（ｔ２）ではなく対応点Ｐが対応付けられる。
上記のようにして対応付けられた第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、第１特徴点Ｐ２（ｔ１）及び対応点Ｐとに基づいて、物体認識部２４により物体が認識される。
図２に示すように、自車運動推定工程として、車両制御部２５により、物体認識部２４により認識された物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）、第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）及び対応点Ｐに関する情報と、車速センサ１２により検出された車速とに基づいて、車両の速度、加速度、方向等の運動状態が推定される（Ｓ６）。車両の運動状態の推定は、例えば、第１特徴点Ｐ１ａ（ｔ１）等に関する情報に基づいて８点アルゴリズムでＦ行列を推定し、特異値分解で回転及び並進成分を算出し、車速センサ１２により検出された車速によりスケールを合せる手法により行うことができる。これにより、車速センサ１２やジャイロセンサ１３の検出結果のみに基づいて車両の運動状態を検出する場合よりも、高い精度で車両の運動状態を推定することができる。
三次元位置推定工程として、物体認識部２４により、物体認識工程による認識結果と自車運動推定工程による車両の運動状態とに基づいて、例えば、三角測量等の原理により、物体の三次元空間での位置が算出される（Ｓ７）。物体の三次元空間での位置に応じて、ＥＣＵ２０の車両制御部２５は、ディスプレイ３１、スピーカ３２又はアクチュエータ３３により、必要な車両制御を行う。
本実施形態によれば、画像処理装置１の物体認識部２４により、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）の第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）とを分けて抽出し、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）の第２撮像画像Ｆ２内での対応点を、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）に対応する第２線分Ｌ１（ｔ２）の第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に決定することにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）と、認識の対象とはならない遠景による第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）とが区別され、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）と第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）とが対応付けられるため、物体を認識する精度を向上させることができる。
また、本実施形態によれば、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の第１特徴点Ｐ２（ｔ１）として、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出されることにより物体が認識される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）と、認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点とが区別されるため、誤認識を低減することができる。
また、本実施形態によれば、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）の第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）との第１撮像画像Ｆ１内での位置関係に基づいて、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）の第２撮像画像Ｆ２内での対応点Ｐが決定される。これにより、認識の対象となる物体のみによる第１特徴点Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１）及び第２特徴点Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２）に基づいて、第１撮像画像Ｆ１内での認識の対象となる物体の輪郭線と認識の対象とならない遠景の輪郭線との交点の第２撮像画像Ｆ２内での対応点Ｐが決定されるため、物体を認識する精度をさらに向上させることができる。
すなわち、単に特徴点同士の輝度等に基づいて特徴点同士を対応付けた場合は、図９（ａ）（ｂ）に示すように、第１撮像画像Ｆ１における変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）と、第２撮像画像Ｆ２における変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）とが対応付けられる恐れがある。
この場合、物体の輪郭線である第１線分Ｌ１（ｔ１）及び第２線分Ｌ１（ｔ２）は第１撮像画像Ｆ１及び第２撮像画像Ｆ２で移動するのに対して、遠景の輪郭線である第１線分Ｌ２（ｔ１）及び第２線分Ｌ２（ｔ２）は第１撮像画像Ｆ１及び第２撮像画像Ｆ２で移動しないために、第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２が物体の輪郭線上で移動する。このため、実際には物体上の同一位置ではない位置を同一位置として誤認識する場合や、物体の位置や移動量を正確に認識できない場合がある。一方、本実施形態では、第１撮像画像Ｆ１における第１特徴点Ｐ２（ｔ１）に対して、第２撮像画像Ｆ２における実際の物体上の同一位置の点である対応点Ｐが対応付けられるため、物体を認識する精度を向上させることができる。
尚、本発明の実施形態の画像処理装置及び画像処理方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば、物体認識部２４により、変化量が変化量閾値未満である第１線分及び第２線分の第１特徴点及び第２特徴点として、変化量が変化量閾値未満である第１線分同士の交点である第１特徴点、及び変化量が変化量閾値未満である第２線分同士の交点である第２特徴点が抽出されることにより物体が認識されてもよい。この場合、遠景による特徴点を抽出し、第１撮像画像Ｆ１及び第２撮像画像Ｆ２から遠景を除去することにより、物体を認識してもよい。
また、物体認識部２４により、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の第１特徴点Ｐ２（ｔ１）として、変化量が変化量閾値未満である第１線分Ｌ２（ｔ１）の端点と変化量が変化量閾値以上である第１線分Ｌ１（ｔ１）との交点である第１特徴点Ｐ２（ｔ１）が抽出されることにより物体が認識される場合においても、第１特徴点Ｐ２（ｔ１）の対応点Ｐを算出せずに、第１特徴点Ｐ２（ｔ１）及び第２特徴点Ｐ２（ｔ２）を対応付けの対象から除くことにより物体を認識し、演算負荷を軽減してもよい。
また、本実施形態の画像処理装置１は必ずしも車両に搭載されている必要は無く、画像処理装置は固定されており、移動する物体を認識するために適用されてもよい。
１…画像処理装置、１１…カメラ、１２…車速センサ、１３…ジャイロセンサ、２０…ＥＣＵ、２１…線分抽出部、２２…特徴点抽出部、２３…変化量算出部、２４…物体認識部、２５…車両制御部、３１…ディスプレイ、３２…スピーカ、３３…アクチュエータ、Ｆ１…第１撮像画像、Ｆ２…第２撮像画像、Ｌ１（ｔ１），Ｌ２（ｔ１）…第１線分、Ｌ１（ｔ２），Ｌ２（ｔ２）…第２線分、Ｐ１ａ（ｔ１），Ｐ１ｂ（ｔ１），Ｐ２（ｔ１）…第１特徴点、Ｐ１ａ（ｔ２），Ｐ１ｂ（ｔ２），Ｐ２（ｔ２）…第２特徴点、Ｐ…対応点。

Claims (4)

  1. カメラによる撮像画像に基づいて物体を認識する画像処理装置であって、
    第１時点の第１撮像画像について複数の第１線分を抽出するとともに、前記第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出部と、
    前記第１線分それぞれの第１特徴点を抽出するとともに、前記第２線分それぞれの第２特徴点を抽出する特徴点抽出部と、
    前記第１線分それぞれの前記第１撮像画像内での位置に対して、前記第１線分それぞれに対応する前記第２線分それぞれの前記第２撮像画像内での位置の変化量を算出する変化量算出部と、
    前記変化量が変化量閾値以上である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点と、前記変化量が前記変化量閾値未満である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点とを分けて抽出し、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点の前記第２撮像画像内での対応点を、前記変化量が前記変化量閾値以上である前記第１線分に対応する前記第２線分の前記第２特徴点に決定することにより前記物体を認識する物体認識部と、を備え、
    前記物体認識部は、
    前記変化量が前記変化量閾値未満である前記第１線分の前記第１特徴点として、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点を抽出することにより前記物体を認識する、画像処理装置。
  2. 前記物体認識部は、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点と、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点との前記第１撮像画像内での位置関係に基づいて、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点の前記第２撮像画像内での前記対応点を決定する、請求項１に記載の画像処理装置。
  3. カメラによる撮像画像に基づいて物体を認識する画像処理装置を用いた画像処理方法であって、
    画像処理装置の線分抽出部により、第１時点の第１撮像画像について複数の第１線分を抽出するとともに、前記第１時点より後の第２時点の第２撮像画像について複数の第２線分を抽出する線分抽出工程と、
    画像処理装置の特徴点抽出部により、前記第１線分それぞれの第１特徴点を抽出するとともに、前記第２線分それぞれの第２特徴点を抽出する特徴点抽出工程と、
    画像処理装置の変化量算出部により、前記第１線分それぞれの前記第１撮像画像内での位置に対して、前記第１線分それぞれに対応する前記第２線分それぞれの前記第２撮像画像内での位置の変化量を算出する変化量算出工程と、
    画像処理装置の物体認識部により、前記変化量が変化量閾値以上である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点と、前記変化量が前記変化量閾値未満である前記第１線分及び前記第２線分の前記第１特徴点及び前記第２特徴点とを分けて抽出し、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点の前記第２撮像画像内での対応点を、前記変化量が前記変化量閾値以上である前記第１線分に対応する前記第２線分の前記第２特徴点に決定することにより前記物体を認識する物体認識工程と、を備え、
    前記物体認識工程では、
    前記変化量が前記変化量閾値未満である前記第１線分の前記第１特徴点として、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点を抽出することにより前記物体を認識する、画像処理方法。
  4. 前記物体認識工程では、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点と、前記変化量が前記変化量閾値以上である前記第１線分の前記第１特徴点との前記第１撮像画像内での位置関係に基づいて、
    前記変化量が前記変化量閾値未満である前記第１線分の端点と前記変化量が前記変化量閾値以上である前記第１線分との交点である前記第１特徴点の前記第２撮像画像内での前記対応点を決定する、請求項３に記載の画像処理方法。
JP2015053277A 2015-03-17 2015-03-17 画像処理装置及び画像処理方法 Active JP6337811B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015053277A JP6337811B2 (ja) 2015-03-17 2015-03-17 画像処理装置及び画像処理方法
US15/062,677 US9744968B2 (en) 2015-03-17 2016-03-07 Image processing apparatus and image processing method
EP16160289.1A EP3070642A1 (en) 2015-03-17 2016-03-15 Image processing apparatus and image processing method
CN201610151179.XA CN105984470B (zh) 2015-03-17 2016-03-16 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015053277A JP6337811B2 (ja) 2015-03-17 2015-03-17 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2016173723A JP2016173723A (ja) 2016-09-29
JP6337811B2 true JP6337811B2 (ja) 2018-06-06

Family

ID=55586168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015053277A Active JP6337811B2 (ja) 2015-03-17 2015-03-17 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US9744968B2 (ja)
EP (1) EP3070642A1 (ja)
JP (1) JP6337811B2 (ja)
CN (1) CN105984470B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014152254A2 (en) 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
CN107697104B (zh) * 2017-08-02 2019-08-20 同济大学 基于图像的铁路车辆运行方向识别与轴速测量装置及方法
CN109697441B (zh) * 2017-10-23 2021-02-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及计算机设备
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
FR3073655B1 (fr) * 2017-11-16 2019-10-18 Thales Procede de determination d'un vecteur vitesse visuel d'un engin mobile, produit programme d'ordinateur et systeme de determination associes
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN117197422B (zh) * 2023-11-07 2024-03-26 深圳优艾智合机器人科技有限公司 识别码的定位方法、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5645976A (en) * 1979-09-20 1981-04-25 Seiko Epson Corp Liquid crystal composition
JP2994170B2 (ja) * 1993-04-30 1999-12-27 三菱電機株式会社 車両周辺監視装置
JPH09212643A (ja) * 1996-02-05 1997-08-15 Meidensha Corp 三次元物体認識方法及びその装置
JP4341705B2 (ja) * 2007-07-17 2009-10-07 トヨタ自動車株式会社 車載画像処理装置
US8090204B2 (en) * 2008-03-24 2012-01-03 Verint Systems, Ltd. Method and system for line segment extraction
US8406532B2 (en) * 2009-06-17 2013-03-26 Chevron U.S.A., Inc. Image matching using line signature
JP5538868B2 (ja) * 2009-12-22 2014-07-02 キヤノン株式会社 画像処理装置、その画像処理方法及びプログラム
US8989483B2 (en) * 2011-06-10 2015-03-24 Sri International Method and apparatus for inferring the geographic location of captured scene depictions
JP6031819B2 (ja) * 2012-05-17 2016-11-24 富士通株式会社 画像処理装置、画像処理方法
US9633436B2 (en) * 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
EP2704096A1 (de) * 2012-08-29 2014-03-05 Delphi Technologies, Inc. Verfahren zum kalibrieren einer Bilderfassungseinrichtung
JP2014102805A (ja) 2012-11-22 2014-06-05 Canon Inc 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20160272206A1 (en) 2016-09-22
JP2016173723A (ja) 2016-09-29
US9744968B2 (en) 2017-08-29
CN105984470A (zh) 2016-10-05
CN105984470B (zh) 2019-05-03
EP3070642A1 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
JP6337811B2 (ja) 画像処理装置及び画像処理方法
JP6785620B2 (ja) ステレオカメラセンサを用いた車両用の予測的サスペンション制御
CN108137096B (zh) 用于停放车辆的系统
US9235767B2 (en) Detection region modification for driving assistance apparatus and driving assistance method
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
US10179608B2 (en) Parking assist device
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
WO2014083830A1 (ja) 車両用加速抑制装置及び車両用加速抑制方法
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP7263734B2 (ja) 視認対象判定装置
KR100766596B1 (ko) 차량의 차선유지 조향제어방법
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP5695000B2 (ja) 車両周辺監視装置
JP2015067030A (ja) 運転支援装置
JP2012517055A (ja) ビデオに基く車両の運転者援助システムの作動方法及び装置
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
CN112349091A (zh) 特定区域检测装置
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2021056717A (ja) 物体検知装置
JP4768499B2 (ja) 車載周辺他車検出装置
JP7065585B2 (ja) 車両の走行制御装置
KR20200140979A (ko) 차량 제어 방법, 차량 제어 장치, 이를 포함하는 차량 제어 시스템
JP7436331B2 (ja) 画像処理装置
US20220366587A1 (en) Method and Device for Camera-Based Determination of a Distance of a Moving Object in the Surroundings of a Motor Vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180423

R151 Written notification of patent or utility model registration

Ref document number: 6337811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151