JP5145599B2 - 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 - Google Patents

車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 Download PDF

Info

Publication number
JP5145599B2
JP5145599B2 JP2009513874A JP2009513874A JP5145599B2 JP 5145599 B2 JP5145599 B2 JP 5145599B2 JP 2009513874 A JP2009513874 A JP 2009513874A JP 2009513874 A JP2009513874 A JP 2009513874A JP 5145599 B2 JP5145599 B2 JP 5145599B2
Authority
JP
Japan
Prior art keywords
contour
image
contour line
vehicle
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009513874A
Other languages
English (en)
Other versions
JPWO2008139530A1 (ja
Inventor
バゼル ファルディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2008139530A1 publication Critical patent/JPWO2008139530A1/ja
Application granted granted Critical
Publication of JP5145599B2 publication Critical patent/JP5145599B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両に搭載され撮像手段による撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲に所在する監視対象物を検出する車両周辺監視装置が知られている（例えば、特許第３５１５９２６号公報参照）。また、映像中の画像部分の輪郭線を抽出する手法として、例えばスネークスアルゴリズム（例えば、M.Kass, A.Witkin, D.Terzopoulos “Snakes: Active Contour Modeles” International Journal of Computer Vision, Vol.2 No.3, 1988.参照）が知られている。
そこで、車両に搭載されたカメラの撮像画像に含まれる画像部分の輪郭線を抽出し、該輪郭線の特徴に基づいて該画像部分に対応する実空間上の監視対象物の種別を判別することにより、監視対象物の種別を判別する精度を向上させることが考えられる。
しかし、輪郭線を抽出する際の収束演算の演算量は膨大となるため、処理能力が高いコンピュータを用いて行う必要がある。そのため、車両に搭載された一般的な性能のコンピュータによって輪郭線の抽出処理を行った場合は処理に時間がかかり、リアルタイム性が要求される車両周辺監視装置において、輪郭線抽出による種別判別を採用することは困難であった。
本発明は、上記背景を鑑みてなされものであり、撮像画像に含まれる監視対象物の画像部分の輪郭線抽出処理の処理量を減少させて、輪郭線の抽出に要する時間を短縮することができる車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて車両周辺を撮像する撮像手段を有し、該撮像手段による撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。
そして、本発明の車両周辺監視装置の第１の態様は、
前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段と、
前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出手段と、
該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。
かかる本発明によれば、前記画像処理対象領域設定手段により、前記物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域を設定する。そして、前記輪郭線抽出手段は、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する。このように、輪郭線を抽出する画像部分を、前記画像処理対象領域に含まれるものに限定することにより、該限定をせずに前記撮像画像全体について輪郭線を抽出する場合に比べて、輪郭線抽出の処理量を減少させて輪郭線抽出に要する時間を短縮することができる。
さらに、本発明によれば、前記画像処理対象領域に対して前記方向性抽出処理を実行することにより、方向性を有する画素と方向性を有しない画素とを輝度の違いにより区別して、前記画像処理対象領域内の画像部分の輪郭が強調された画像を得ることができる。そして、前記輪郭線抽出手段により、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出することによって、輪郭線抽出の精度を高めることができる。
また、前記対象物種別判別手段は、前記輪郭線抽出手段により抽出された輪郭線の周波数成分を、所定種別の監視対象物に応じて設定された周波数成分の比較用パターンと比較することによって、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が、該所定種別であるか否かを判別することを特徴とする。
かかる本発明によれば、輪郭線の周波数成分を所定種別の監視対象物の特徴の指標値として、輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が該所定種別であるか否かを判別することができる。
また、前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出することを特徴とする。
かかる本発明によれば、前記初期輪郭楕円を、前記方向性抽出処理により輪郭部が強調された画像部分の輪郭部近傍まで縮小させて、該画像部分の輪郭線を抽出することができる。
また、前記輪郭線抽出手段は、前記画像処理領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネースエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギーの変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。
また、本発明の車両周辺監視装置の第２の態様は、
前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
前記画像処理対象領域に含まれる画像部分について、該画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、
該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて前記輪郭線収束処理を実行する輪郭線抽出手段と、
該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。
かかる本発明によれば、前記輪郭線抽出手段は、離散系のスネークスモデルの輪郭線収束時のスネースエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギーの変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行する。そして、これにより、詳細は後述するが、スネークスアルゴリズムによる輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮することができる。
また、前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出し、該抽出した輪郭線に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって、該輪郭線をさらに収束させ、該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする。
かかる本発明によれば、前記輪郭線抽出手段により、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定して輪郭線を抽出し、該輪郭線に対して、更に前記スネークスアルゴリズムによる輪郭線収束処理を実行することによって、輪郭線収束処理に要する時間を短縮させて輪郭線抽出の精度をさらに向上させることができる。
また、前記輪郭線抽出手段は、前記算出式として、以下の式（６），式（７）を用いることを特徴とする。
但し、（ｘt，ｙt）：ｔ時点における輪郭点の座標、（ｘt-1，ｙt-1）：ｔ−１時点における輪郭線のモデル式、Ｉ：単位行列、Ａ：内部エネルギーの変換行列、γ：イタレーションステップ（輪郭線を内側に収束させる際の１ステップあたりの移動量）、ｆx：ｘ成分の外部エネルギーの算出式、ｆy：ｙ成分の外部エネルギーの算出式。
かかる本発明によれば、前記輪郭線抽出手段は、上記式（６），式（７）を用いることにより、スネークスアルゴリズムによる輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮することができる。
また、前記式（６），式（７）におけるイタレーションステップγは、輪郭線の離散モデルを以下の式（８）により定義したときのスネークスの式である以下の式（９）に対して、以下の（１０）の条件を満たして設定されていることを特徴とする。
但し、Ｋi：輪郭線の離散モデル。
但し、Ｅ：スネークスの式、Ｅint(Ki)：内部エネルギー、Ｅext(Ki)：外部エネルギー、α，β：演算計数。
かかる本発明によれば、詳細は後述するが、上記式（１０）の条件を満たすイタレーションステップγを設定することによって、前記輪郭線抽出手段は、上記式（６），式（７）による輪郭線収束処理を、安定して実行することができる。
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータに、該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムに関する。
そして、本発明の車両周辺監視用プログラムは、前記コンピュータを、
前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
該物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段と、
前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出手段と、
該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする。
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置における前記物体検知手段と、前記画像処理対象領域設定手段と、前記輪郭線抽出手段と、前記対象物種別判別手段とを構成することができる。
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータにより、該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法に関する。
そして、本発明の車両周辺監視方法は、
前記コンピュータが、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知ステップと、
前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定ステップと、
前記コンピュータが、前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出ステップと、
前記コンピュータが、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出ステップと、
前記コンピュータが、前記輪郭線抽出ステップにより抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする。
かかる本発明によれば、前記画像処理対象領域設定ステップにより、前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域を設定する。そして、前記コンピュータは、前記輪郭線抽出ステップにより、前記画像処理対象領域に含まれる画像部分の輪郭線を抽出する。このように、輪郭線を抽出する画像部分を、前記画像処理対象領域に含まれるものに限定することにより、該限定をせずに前記撮像画像全体について輪郭線を抽出する場合に比べて、輪郭線抽出の処理量を減少させて輪郭線抽出に要する時間を短縮することができる。
本発明の車両周囲監視装置の構成図。 図１に示した車両周囲監視装置の車両への取り付け態様の説明図。 歩行者判別処理の処理手順を示したフローチャート。 レーダーによる監視対象物の測距データに基づいて、画像処理対象領域を設定する処理の説明図。 画像部分のテクスチャの態様の説明図。 オリエンテーション画像の説明図。 輪郭線抽出処理の説明図。 輪郭線抽出処理の説明図。 スネークスアルゴリズムによる内部エネルギーと外部エネルギーの説明図。 輪郭線データに対するフーリエ変換の説明図。 輪郭線のフーリエパターンに基づく歩行者判別の説明図。
本発明の実施の形態の一例について、図１〜図１１を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明の撮像手段に相当する）と、レーザー光線を物体に照射して物体と車両間の距離を検出するレーザーレーダー８と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。
画像処理ユニット１は、赤外線カメラ２により得られる画像から車両前方の監視対象物の種別（歩行者、動物等）を判別し、監視対象物と車両が接触する可能性が高い場合に警報を出力する。そして、車両周囲監視装置は、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
次に、図２を参照して、車両周囲監視装置の車両への取付け態様を説明する。レーザーレーダー８は２次元スキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダーは、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。
また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路（本発明の撮像手段の撮像画像にアクセスする手段に相当する）と、レーザーレーダー８による距離の検出信号を入力するためのインターフェース回路を有している。
画像処理ユニット１は、該画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。
また、前記コンピュータに、本発明の車両監視用プログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による距離検出信号に基づいて第１監視範囲内に所在する物体を検知する物体検知手段２０、物体検知手段２０の検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２１、画像処理対象領域に対して各画素の方向性を抽出する方向性抽出処理を実行する方向性抽出手段２２、及び該方向性抽出処理が実行された後の画像処理対象領域の範囲を補正する画像処理対象領域補正手段２３、画像処理対象領域に含まれる画像部分の輪郭線を抽出する輪郭線抽出手段２４、及び、輪郭線抽出手段２４により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段２５として機能する。なお、本実施の形態では、対象物種別判別手段２５は、監視対象物の種別が歩行者であるか否かを判別する。
そして、これらの手段により、本発明の車両周囲監視方法における物体検知ステップ、画像処理対象領域設定ステップ、輪郭線抽出ステップ、及び対象物種別判別ステップが実行される。
次に、本実施の形態における画像処理ユニット１による監視対象物の種別の判別方法について、図３に示したフローチャートに従って説明する。
画像処理ユニット１は、先ず、ＳＴＥＰ１とＳＴＥＰ２０とＳＴＥＰ３０の処理を並列して実行する。ＳＴＥＰ１で、画像処理ユニット１は、車速センサ４とヨーレートセンサ３の出力を読み込んで車両１０の回頭角を算出する。また、ＳＴＥＰ２０は物体検知手段２０による処理であり、物体検知手段２０はレーザーレーダー８による第１監視領域の測距データを入力して、第１監視範囲内に所在する物体を検知する。
また、ＳＴＥＰ３０で、画像処理ユニット１は赤外線カメラ２による赤外線画像を入力する。なお、ＳＴＥＰ２０で、第１監視範囲内に所在する物体を検知する工程が、本発明の物体検知ステップに相当する。
続くＳＴＥＰ２で、画像処理ユニット１は、レーザーレーダー８による測距データに基づいて、回頭角補正を行いつつ第１監視領域内に所在する監視対象物のトラッキングを行う。次のＳＴＥＰ３，ＳＴＥＰ４は、画像処理対象領域設定手段２０による処理である。画像処理対象設定手段２０は、ＳＴＥＰ３で監視対象物と路面との交点を推定し、ＳＴＥＰ４で該交点を基準として画像処理対象領域を設定する。なお、ＳＴＥＰ４により画像処理対象領域を設定する工程が、本発明の画像処理対象領域設定ステップに相当する。
図４は、レーザーレーダー８による測距データと歩行者の体格データに基づいて、カメラ２により撮像された赤外線画像上に画像処理対象領域を設定する処理の説明図である。図４の左側は、車両１０の進行方向をＶz、鉛直方向をＶy、車幅方向をＶxとして、実空間における時点ｔkでの車両１０の前方の監視対象物（本実施形態では歩行者）５２ａ，５４ａの測距状況を示したものである。また、図４の右側は、時点ｔkにおける赤外線カメラ２の撮像画像Ｉm1を示したものである。
図４では、歩行者５２ａと車両１０との距離Ｖz1(tk)と、歩行者５４ａと車両１０との距離Ｖz2(tk)が測定されている。そして、画像処理対象領域設定手段２０は、監視対象物５２ａについて、監視対象物５２ａと路面との交点を基準として、歩行者の体格データ（一般的な歩行者よりも大きめに設定されて、図示しないメモリに予め保持されている）に応じて設定した範囲５１ａ（Ｖb1(tk)×Ｖh1(tk)）を、監視対象物５２ａと車両１０との距離Ｖz1(tk)に基づいて縮小した画像処理対象領域５１ｂを撮像画像Ｉm1上に設定する。
同様に、画像処理対象領域設定手段２０は、監視対象物５４ａについて、監視対象物５４ａと路面との交点を基準として、歩行者の体格データに応じて設定した範囲５３ａ（Ｖb2(tk)×Ｖh2(tk)）を、監視対象物５４ａと車両１０との距離Ｖz2(tk)に基づいて縮小した画像処理対象領域５３ｂを設定する。
このように、路面との交点を基準として、歩行者の体格データに基づいて、監視対象物５２ａについての画像処理対象領域５１ｂと監視対象物５４ａについての画像処理対象領域５１ｂ，５３ｂを設定することで、監視対象物５２ａの画像部分５２ｂの全体が含まれるように画像処理対象領域５１ｂが設定され、監視対象物５４ａの画像部分５４ｂの全体が含まれるように画像処理対象領域５３ｂが設定される。
続くＳＴＥＰ５は、方向性抽出手段２２による処理である。方向性抽出手段２２は、画像処理対象領域の各画素に対して、以下の式（１１）による微分フィルター処理を施すことによって、行列Ｊpq(X)を算出する。
次に、ＪPq(X)の固有値λは、以下の式（１６）の関係から、以下の式（１７）〜式（２３）により算出することができる。
但し、ν→：固有ベクトル、λ：固有値。
また、上記式（２２），式（２３）により、以下の式（２４）の関係が得られる。
ここで、画像のテクスチャー（輝度変化による模様）によって、固有値Ｊ11'，Ｊ22'は変化する。即ち、図５に示したように、撮像画像Ｉm2が等方性（不規則な変化パターン）を有する部分６０ａと、方向性（ある方向にパターンが繰り返されている）を有する部分６０ｂと、均質性（模様がない）を有する部分６０ｃを含む場合、固有値Ｊ11'，Ｊ22'は、以下のように変化する。
(1) 等方性を有する部分。
(2) 方向性を有する部分。
(3) 均質性を有する部分。
そこで、方向性抽出手段２２は、図６に示したように、画像処理対象領域設定手段２１により設定された画像処理対象領域Ｉm3に対して、上記式（１１）による微分フィルター処理を施し、上記(1)〜(3)の条件の成否を判断する。そして、方向性抽出手段２２は、均質性を有する部分の画素の輝度を０（本発明の第１輝度に相当する）とし、方向性を有する部分の画素の輝度を所定輝度（本発明の第２輝度に相当する）とし、等方性を有する部分の画素を方向性を有する部分の画素の輝度よりも低くしたオリエンテーション画像Ｉm4を生成する方向性抽出処理を実行する。方向性抽出処理により、画像処理対象領域Ｉm3に含まれる画像部分の輪郭部が強調されたオリエンテーション画像Ｉm4を得ることができる。なお、該所定輝度のレベルが、本発明の所定レベルに相当する。
次のＳＴＥＰ６は、画像処理対象領域補正手段２３による処理である。画像処理対象領域補正手段２３は、監視対象物である歩行者の頭部に応じた特徴量を有する特徴領域を、画像処理対象領域内で検索する。そして、該特徴領域が検知されたときに、画像処理対象領域補正手段２３は、画像部分が画像処理対象領域の中央部に位置するように、画像処理対象領域の位置を補正する。
続くＳＴＥＰ７〜ＳＴＥＰ８は、輪郭線抽出手段２４による処理である。図７を参照して、輪郭線抽出手段２４は、Ｉm5に示したように、画像処理対象領域に上述した方向性抽出処理を施して生成されたオリエンテーション画像７０に対して、初期輪郭楕円７２を設定する。そして、ＳＴＥＰ８で、輪郭線抽出手段２４は、Ｉm6の７３に示したように、初期輪郭楕円７２を中心に向けて収束させる処理を実行する。
具体的には、図８に示したように、初期輪郭楕円７２の各点について、輝度が閾値Ｙthとなる位置Ｐeまで移動させることによって、初期輪郭楕円７２を収束させる。そして、これにより、図７のＩm7に示したように、監視対象物の画像部分の輪郭線７４を得ることができる。
続いて、輪郭線抽出手段２４は、スネークスアルゴリズムによる収束演算処理を行って、輪郭線７４を更に収束させる。ここで、一般的なスネークスアルゴリズムは、以下の式（３１）により、輪郭線の内部エネルギー（輪郭長／形状）と外部エネルギー（輝度／輝度勾配）の和を最小化することで対象物の輪郭線を求めるものである。
但し、Ｅintern：輪郭線の内部エネルギー、Ｅextern：輪郭線の外部エネルギー。
ここで、輪郭線の内部エネルギーは、図９（ａ）に示したように、輪郭線８１を内側（輪郭線を抽出する対象物８０に向かう方向）に狭める力であり、以下の式（３２）により表される。
また、輪郭線の外部エネルギーは、図９（ｂ）に示したように、輪郭線８２を外側（輪郭線を抽出する対象物８０から離反する方向）に広げる力であり、以下の式（３３）により表される。
但し、Ｉ(νi）：輝度、∇Ｉ(νi）：輝度勾配。
ここで、輪郭線の連続モデルを以下の式（３４）により定義すると、上記式（３１）のスネークスの式は、以下の式（３５）により表される。
ここで、以下の式（３６），式（３７）によりスネークスの式を表すと、以下の式（３８）で表される。
以下の式（３９）のEuler-Lagrange定理を用いると、以下の式（４０），式（４１）が得られる。
次に、輪郭線の離散モデルを以下の式（４２）により定義し、Ｅ＝０として有限差分法を用いると、以下の式（４３）により表される。
次に、初期輪郭楕円が対象物の輪郭線に収束した場合、イタレーションステップ（輪郭線を内側に動かす際のステップ量）をγとすると、スネークスエネルギー（＝内部エネルギー＋外部エネルギー）と、輪郭線の位置変化と、外部エネルギーの変化が０となる。そのため、以下の式（５４）〜式（５６）の関係が成り立つ。
上記式（５４）〜式（５６）により、以下の式（５７）の関係が得られる。
上記式を陽公式で表現すると、以下の式（５８）〜式（６０）の形となり、輪郭線の収束演算には、ｘとｙのトータルで２ｎ2回の掛算と２ｎ（ｎ−１）回の足算が必要になる。
そこで、輪郭線抽出手段は、以下に説明するアルゴリズム（以下、高速化スネークスという）により、輪郭線収束処理の演算量を減少させて、輪郭線抽出に要する時間を短縮している。
スネークスモデルの輪郭線収束時のスネークスエネルギーと、輪郭線位置変化と、外部エネルギー変化と、内部エネルギー変化をそれぞれ０とおくと、以下の式（６１）〜式（６４）の関係となる。
よって、以下の式（６５）が得られ、式（６５）を陽公式で表現すると以下の式（６６）〜式（６８）が得られる。
ここで、上記式（６７），式（６８）を、（Ｉ−γＡ）が外部エネルギーにも掛かる式に置き換えると、以下の式（６９），式（７０）のように表現される。
上記式（６９），式（７０）の計算式は以下の式（７１）〜式（７５）にように表され、ｘ，ｙのトータルで６ｎ回の掛算と８ｎ回の足算で輪郭線を収束させることができる。
そのため、高速スネークスを採用することによって、上述した一般的なスネークスアルゴリズムを用いた場合の演算量（２ｎ2回の掛算と２ｎ（ｎ−１）回の足算）を、（６ｎ回の掛算と８ｎ回の足算）に減少させることができる。そして、これにより、能力が低い車載コンピュータにおいても、輪郭線抽出処理を採用して監視対象物の種別を判別することが可能となる。
しかしながら、輪郭線が安定して収束するためには、Ｉ−γＡがスムージングフィルタであることが必要である。よって、以下の式（７９）に示したように、フィルターゲインＦ(s)が１を超えないことが必要となる。
但し、Ｆ^(Ｓ~)：周波数帯域におけるフィルタのゲインを表した式。
上記式（４３），式（４４）により、上述した行列Ａは微分型フィルターの２次と４次で表されるため、スムージング項（Ｉ−γＡ）は（Ｉ−κＤp）（Ｄ：デリバティブフィルタ，ｐは次数を表す）と記述することができ、（Ｉ−κＤp）がスムージングフィルタとなる条件は以下の式（８０）となる。
ここで、微分フィルター［1，-1］は周波数領域で表すと2isin(πS~/2)となり、Ｄpは以下の式（８１）のように表される。そのため、以下の式（８２）の条件を満たす必要がある。
上記式（８２）において、左辺が最大値を示すのはＳ~＝１のときであり、このとき上記式（８２）は以下の式（８３）の形になる。
上記式（８３）の両辺を２乗し、更に、行列Ａは２次と４次の微分型フィルターで表されるため、ｐが偶数であることを前提としてｋについて解くと以下の式（８４）〜式（８６）のようになる。
また、実際の（Ｉ−γＡ）は、上記式（４３），式（４４）により、以下の式（８７）のように記述できる。そのため、上記式（８４）〜式（８６）は、以下の式（８７）〜式（９１）の形になり、高速化スネークスにおける拘束条件は以下の式（９２）となる。
そこで、上記式（９２）の条件を満たすイタレーションステップγを設定することにより、安定した輪郭線収束を行うことが可能となる。なお、ＳＴＥＰ７〜ＳＴＥＰ８により、監視対象物の画像部分の輪郭線を抽出する工程が、本発明の輪郭線抽出ステップに相当する。
次に、図３のＳＴＥＰ９〜ＳＴＥＰ１０は、対象物種別判別手段２５による処理である。対象物種別判別手段２５は、ＳＴＥＰ９で図１０に示したように、監視対象物の画像部分について抽出された輪郭線９０のデータをフーリエ変換して、以下の式（９３）〜式（９５）による輪郭線９０のフーリエパターンを算出する。図１０の右側は、横軸を周波数に設定し、縦軸を周波数の含有割合に設定してフーリエパターンを表したグラフである。
但し、Ｋ：輪郭線のデータ。
そして、対象物種別判別手段２５は、図１１に示したように、このようにして算出した監視対象物の輪郭線１００のフーリエパターン１００ａと、予め設定された監視対象物の種別である歩行者の輪郭線の比較用パターン１１０ａ，１１１ａ，…との差Ｄminを以下の式（９６）により算出する。
但し、ｚ(k)，ｚ(k-1)：監視対象物の画像部分の輪郭線のフーリエパターンのデータ、ｚref(k)，ｚref(k-1)：比較用パターンのデータ。
なお、比較用パターン１１０ａ，１１１ａ，…は、歩行者の姿勢のパターン１１０，１１１，…の輪郭線について算出されたフーリエパターンである。そして、対象物判別手段２５は、上記式（９６）により算出したＤminが所定の閾値以下であったときに、監視対象物が歩行者であると判別する。
なお、ＳＴＥＰ９〜ＳＴＥＰ１０により監視対象物の種別を判別する工程が、本発明の対象物種別判別ステップに相当する。
なお、本実施の形態では、監視対象物が歩行者であるか否かを判別する場合を示したが、監視対象物が大型動物や他の車両等であるか否かを判別する場合にも、本発明を適用することができる。この場合は、判別する監視対象物の種別に応じた比較用のフーリエパターンが設定される。
また、本実施の形態では、対象物種別判別手段２５は、輪郭線のフーリエパターンに基づいて、監視対象物の種別を判別したが、輪郭線形状のパターンマッチングや特徴量抽出等、他の方法により監視対象物の種別を判別するようにしてもよい。
また、本実施の形態では、物体検知手段２０がレーザーレーダーによる測距データに基づいて物体を検知し、画像処理対象領域設定手段２１が、物体検知手段２０による検知結果に基づいて画像処理対象領域を設定したが、物体検知手段２０が赤外線カメラ２による赤外画像から物体を検知する構成としてもよい。この場合、物体検知手段２０は、例えば、赤外線画像に対して２値化処理を行って抽出された２値の画像部分から物体を検知し、画像処理対象領域設定手段２１は、検知された物体の位置から画像処理対象領域を設定する。また、可視カメラを採用する場合には、物体検知手段２０が、例えばステレオカメラ構成により検出した画像中の画素の距離データに基づいて、距離が近似する画素を同一物体として物体を検知し、画像処理対象領域設定手段２１が、検知された物体の位置から画像処理対象領域を設定する構成としてもよい。
また、本実施の形態では、図３のＳＴＥＰ５で、方向性抽出手段２２により方向性抽出処理を行ってオリエーション画像を生成したが、該方向性抽出処理を行わない場合であっても、本発明の効果を得ることができる。
また、本実施の形態では、図３のＳＴＥＰ８で、輪郭線抽出手段２４は、図７に示したオリエンテーション画像の輝度差による輪郭線の収束処理を行った後、さらに高速化スネークスによる輪郭線の収束処理を行って、監視対象物の画像部分の輪郭線を抽出したが、オリエンテーション画像の輝度差による輪郭線の収束処理のみ、或いはスネークスによる輪郭線の収束処理のみを行う場合であっても、本発明の効果を得ることができる。
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
以上のように、本発明は、車両前方の撮像画像に含まれる監視対象物の画像部分の輪郭線抽出処理の処理量を減少させて、輪郭線の抽出に要する時間を短縮することができるから、車両周辺監視のために有用である。

Claims (10)

  1. 車両に搭載されて車両周辺を撮像する撮像手段を有し、該撮像手段による撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
    前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
    該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
    前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段と、
    前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出手段と、
    該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    前記対象物種別判別手段は、前記輪郭線抽出手段により抽出された輪郭線の周波数成分を、所定種別の監視対象物に応じて設定された周波数成分の比較用パターンと比較することによって、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別が、該所定種別であるか否かを判別することを特徴とする車両周辺監視装置。
  3. 請求項１又は請求項２に記載の車両周辺監視装置において、
    前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出することを特徴とする車両周辺監視装置。
  4. 請求項１又は請求項２に記載の車両周辺監視装置において、
    前記輪郭線抽出手段は、前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、
    該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする車両周辺監視装置。
  5. 請求項１又は請求項２に記載の車両周辺監視装置において、
    前記輪郭線抽出手段は、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円を、輝度が前記第１輝度と前記第２輝度の間に設定された閾値である画素の位置に至るまで内側に縮小することによって、該画像部分の輪郭線を抽出し、
    該抽出した輪郭線に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって、該輪郭線をさらに収束させ、
    該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて輪郭線収束処理を実行することを特徴とする車両周辺監視装置。
  6. 車両に搭載されて車両周辺を撮像する撮像手段を有し、該撮像手段による撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
    前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
    該物体検知手段による検知結果に基づいて、前記撮像画像内で監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
    前記画像処理対象領域に含まれる画像部分について、該画像部分を囲む初期輪郭楕円を設定し、該初期輪郭楕円に対して、スネークスアルゴリズムによる輪郭線収束処理を実行することによって該画像部分の輪郭線を抽出し、
    該スネークスアルゴリズムにおいて、離散系のスネークスモデルの輪郭線収束時のスネークスエネルギーと輪郭線位置変化と外部エネルギー変化と内部エネルギー変化を０と仮定したときのスネークスエネルギーの内部エネルギーの乗算項を、外部エネルギーにも乗算した算出式を用いて前記輪郭線収束処理を実行する輪郭線抽出手段と、
    該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする車両周辺監視装置。
  7. 請求項４から請求項６のうちいずれか１項に記載の車両周辺監視装置において、
    前記輪郭線抽出手段は、前記算出式として、以下の式（１），式（２）を用いることを特徴とする車両周辺監視装置。
    但し、（ｘt，ｙt）：ｔ時点における輪郭点の座標、（ｘt-1，ｙt-1）：ｔ−１時点における輪郭線のモデル式、Ｉ：単位行列、Ａ：内部エネルギーの変換行列、γ：イタレーションステップ（輪郭線を内側に収束させる際の１ステップあたりの移動量）、ｆx：ｘ成分の外部エネルギーの算出式、ｆy：ｙ成分の外部エネルギーの算出式。
  8. 請求項７記載の車両周辺監視装置において、
    前記式（１），式（２）におけるイタレーションステップγは、輪郭線の離散モデルを以下の式（３）により定義したときのスネークスの式である以下の式（４）に対して、以下の式（５）の条件を満たして設定されていることを特徴とする車両周辺監視装置。
    但し、Ｋi：輪郭線の離散モデル。
    但し、Ｅ：スネークスの式、Ｅint(Ki)：内部エネルギー、Ｅext(Ki)：外部エネルギー、α，β：演算計数。
  9. 車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータに、該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、
    前記撮像手段による撮像範囲内に所在する物体を検知する物体検知手段と、
    該物体検知手段による検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定手段と、
    前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出手段と、
    前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出手段と、
    該輪郭線抽出手段により抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする車両周辺監視用プログラム。
  10. 車両に搭載されて該車両周辺を撮像する撮像手段の撮像画像にアクセスする手段を有するコンピュータにより、該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法であって、
    前記コンピュータが、前記撮像手段による撮像範囲内に所在する物体を検知する物体検知ステップと、
    前記コンピュータが、前記物体検知ステップによる検知結果に基づいて、監視対象物の画像部分が含まれる可能性がある領域を、画像処理対象領域として設定する画像処理対象領域設定ステップと、
    前記コンピュータが、前記画像処理対象領域に対して、各画素に所定方向の微分フィルタ処理を施し、該微分フィルタ処理により方向性が認識された画素に所定の第１輝度を割り当てると共に、方向性が認識されなかった画素に該第１輝度と所定レベル以上の差を有する第２輝度を割り当てる方向性抽出処理を実行する方向性抽出ステップと、
    前記コンピュータが、前記方向性抽出処理が実行された前記画像処理対象領域内の画像部分の輪郭線を抽出する輪郭線抽出ステップと、
    前記コンピュータが、前記輪郭線抽出ステップにより抽出された輪郭線に基づいて、該輪郭線が抽出された画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする車両周辺監視方法。
JP2009513874A 2007-04-27 2007-04-27 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 Expired - Fee Related JP5145599B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/059224 WO2008139530A1 (ja) 2007-04-27 2007-04-27 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法

Publications (2)

Publication Number Publication Date
JPWO2008139530A1 JPWO2008139530A1 (ja) 2010-07-29
JP5145599B2 true JP5145599B2 (ja) 2013-02-20

Family

ID=40001766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009513874A Expired - Fee Related JP5145599B2 (ja) 2007-04-27 2007-04-27 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法

Country Status (4)

Country Link
US (1) US8411145B2 (ja)
EP (1) EP2141926A4 (ja)
JP (1) JP5145599B2 (ja)
WO (1) WO2008139530A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5036611B2 (ja) * 2008-03-27 2012-09-26 ダイハツ工業株式会社 画像認識装置
JP4766402B2 (ja) * 2008-10-21 2011-09-07 トヨタ自動車株式会社 レーダ装置
JP5401257B2 (ja) * 2009-10-23 2014-01-29 クラリオン株式会社 遠赤外線歩行者検知装置
JPWO2011114815A1 (ja) 2010-03-17 2013-06-27 本田技研工業株式会社 車両周辺監視装置
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
KR101395089B1 (ko) * 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
US10565438B2 (en) * 2012-03-12 2020-02-18 Honda Motor Co., Ltd. Vehicle periphery monitor device
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
WO2014152254A2 (en) 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
JP6459659B2 (ja) * 2014-03-18 2019-01-30 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
US10712556B2 (en) * 2015-12-31 2020-07-14 Huawei Technologies Co., Ltd. Image information processing method and augmented reality AR device
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
JP6239047B1 (ja) * 2016-06-17 2017-11-29 三菱電機株式会社 物体認識統合装置および物体認識統合方法
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
US11399137B2 (en) 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
EP3666594B1 (en) * 2018-12-12 2022-08-10 Ningbo Geely Automobile Research & Development Co. Ltd. System and method for warning a driver of a vehicle of an object in a proximity of the vehicle

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06139355A (ja) * 1992-10-27 1994-05-20 Oki Electric Ind Co Ltd 輪郭線抽出装置
JPH10295679A (ja) * 1997-04-23 1998-11-10 Fuji Photo Film Co Ltd 放射線画像の照射野認識方法および装置
JPH11161796A (ja) * 1997-11-28 1999-06-18 Oki Electric Ind Co Ltd 動物の個体識別装置および画像処理方法
JP2001022938A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 車両用障害物検出装置
JP2001266158A (ja) * 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002230548A (ja) * 2001-01-30 2002-08-16 Namco Ltd パターン認識処理装置、方法およびパターン認識プログラム
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2005149145A (ja) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc 物体検出装置、物体検出方法、およびコンピュータプログラム
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3264060B2 (ja) 1993-11-04 2002-03-11 三菱自動車工業株式会社 自動車の走行制御装置の先行車検出機構
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JPH08161498A (ja) 1994-12-05 1996-06-21 Minolta Co Ltd 物体認識装置
US6175644B1 (en) * 1998-05-01 2001-01-16 Cognex Corporation Machine vision system for object feature analysis and validation based on multiple object images
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP4564634B2 (ja) 2000-08-14 2010-10-20 キヤノン株式会社 画像処理方法及び装置並びに記憶媒体
JP3941765B2 (ja) 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
JP2005284410A (ja) * 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法
JP4493395B2 (ja) 2004-04-28 2010-06-30 セコム株式会社 センシング装置
US7483549B2 (en) 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP4298699B2 (ja) 2004-11-30 2009-07-22 本田技研工業株式会社 車両周辺監視装置
JP2006236255A (ja) 2005-02-28 2006-09-07 Mitsubishi Electric Corp 人物追跡装置および人物追跡システム
JP4509883B2 (ja) 2005-07-11 2010-07-21 富士フイルム株式会社 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US20080144885A1 (en) * 2006-10-16 2008-06-19 Mark Zucherman Threat Detection Based on Radiation Contrast

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06139355A (ja) * 1992-10-27 1994-05-20 Oki Electric Ind Co Ltd 輪郭線抽出装置
JPH10295679A (ja) * 1997-04-23 1998-11-10 Fuji Photo Film Co Ltd 放射線画像の照射野認識方法および装置
JPH11161796A (ja) * 1997-11-28 1999-06-18 Oki Electric Ind Co Ltd 動物の個体識別装置および画像処理方法
JP2001022938A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 車両用障害物検出装置
JP2001266158A (ja) * 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002230548A (ja) * 2001-01-30 2002-08-16 Namco Ltd パターン認識処理装置、方法およびパターン認識プログラム
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2005149145A (ja) * 2003-11-14 2005-06-09 Konica Minolta Holdings Inc 物体検出装置、物体検出方法、およびコンピュータプログラム
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置

Also Published As

Publication number Publication date
EP2141926A4 (en) 2010-08-11
US20100103262A1 (en) 2010-04-29
JPWO2008139530A1 (ja) 2010-07-29
EP2141926A1 (en) 2010-01-06
WO2008139530A1 (ja) 2008-11-20
US8411145B2 (en) 2013-04-02

Similar Documents

Publication Publication Date Title
JP5145599B2 (ja) 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
JP4919036B2 (ja) 移動物体認識装置
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP5083841B2 (ja) 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
Maini et al. Study and comparison of various image edge detection techniques
JP5687702B2 (ja) 車両周辺監視装置
EP1329850A2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
CN109145864A (zh) 确定视线区域的方法、装置、存储介质和终端设备
WO2020237942A1 (zh) 一种行人3d位置的检测方法及装置、车载终端
JP2013537661A (ja) ステレオビジョン技術を使用することによる移動物体の自動検出
CN109255329A (zh) 确定头部姿态的方法、装置、存储介质和终端设备
CN103473743A (zh) 一种获取图像深度信息的方法
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
Prasath et al. An adaptive diffusion scheme for image restoration and selective smoothing
CN110781712A (zh) 一种基于人脸检测与识别的人头空间定位方法
JP2011209070A (ja) 画像処理装置
US20220309400A1 (en) Learning method, learning device, and recording medium
JP2011134119A (ja) 車両周辺監視装置
JP5035139B2 (ja) 眼画像処理装置
US20100310179A1 (en) Multi-Scale Representation of An Out of Focus Image
CN113763421A (zh) 一种目标跟踪方法、装置及计算机可读存储介质
GB2605621A (en) Monocular depth estimation
JP2004038760A (ja) 車両用走行路認識装置
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法
Wang et al. Reliable fusion of ToF and stereo data based on joint depth filter

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees