JP6694472B2 - 車両の追従制御装置 - Google Patents

車両の追従制御装置 Download PDF

Info

Publication number
JP6694472B2
JP6694472B2 JP2018109387A JP2018109387A JP6694472B2 JP 6694472 B2 JP6694472 B2 JP 6694472B2 JP 2018109387 A JP2018109387 A JP 2018109387A JP 2018109387 A JP2018109387 A JP 2018109387A JP 6694472 B2 JP6694472 B2 JP 6694472B2
Authority
JP
Japan
Prior art keywords
following vehicle
vehicle
evaluation value
unit
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018109387A
Other languages
English (en)
Other versions
JP2019209901A (ja
Inventor
彰文 山下
彰文 山下
将之 橋本
将之 橋本
直敏 竹村
直敏 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018109387A priority Critical patent/JP6694472B2/ja
Priority to CN201910454826.8A priority patent/CN110576855B/zh
Priority to US16/425,472 priority patent/US11110923B2/en
Publication of JP2019209901A publication Critical patent/JP2019209901A/ja
Application granted granted Critical
Publication of JP6694472B2 publication Critical patent/JP6694472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Description

本開示は、車両の追従制御装置に関する。
近年、前走車追従技術としてACC(Adaptive Cruise Control)やCACC(Cooperative Adaptive Cruise Control)といった技術が量産車両に搭載されている。また、この技術を応用して、トラックを高速自動車道などで隊列走行させる隊列走行装置に展開する研究がなされている。隊列走行装置は、装置が搭載される車両を前走車に追従させる隊列走行制御を実行する装置である。隊列走行装置では主に、前走車の走行情報を元にして継続的に前走車に追従する制御についての研究がなされている。
ところが、前走車の走行情報を元にして継続的に前走車に追従走行する隊列走行では、前走車が正しい追従車両であることを認証することができない。そのような課題を解決し得る技術として、認証技術と測距とを併用した隊列走行装置が公知である(特許文献1)。この隊列走行装置は、カメラを使って前走車のナンバープレートを撮像し、撮像した画像からナンバープレートを認識すると共に、ナンバープレートに記載された文字(数字を含む)を取得(認証)する。そして、隊列走行装置は、画像中のナンバープレートの位置と取得した文字の大きさとに基づいて、前走車の方位と前走車までの距離とを算出し、方位と距離とに基づいて前走車に追従する隊列走行を行う。
特開2015−087969号公報
しかしながら、特許文献1記載の隊列走行装置には、前走車が遠くにあるほど認証処理速度が遅くなるという課題がある。また、同隊列走行装置には、前走車が遠くにあるほどナンバー認証時の正誤判定の性能が落ちるという課題がある。
本発明は、このような背景に鑑み、認証処理速度を向上でき、且つ前走車を正確に認証できる車両の追従制御装置を提供することを課題とする。
このような課題を解決するために、本発明のある実施形態は、車両(1)の追従制御装置(10)であって、前方の物体を検出し、検出した前記物体のそれぞれにIDを付与すると共に前記物体の方位及び距離を計測する物体計測装置(12)と、前記物体計測装置(12)によって検出された前記物体の中から追従対象とすべき追従車両を前記IDに関連付けて指定するための操作を受け付けるユーザインタフェース(17)と、前記追従車両に追従するように自車両の走行を制御する追従走行制御部(16)と、前方を撮像する撮像装置(11)と、前記撮像装置(11)によって撮像された画像の中から画像処理によってナンバープレートを探索し、抽出したナンバープレートの文字を認識するナンバープレート認識部(21)と、前記追従車両のナンバープレートの文字及び対応する前記IDを記憶する記憶部(18)と、前記ナンバープレート認識部(21)によって認識された文字と前記記憶部(18)に記憶された文字とを照合するナンバー照合部(22)と、前記ナンバー照合部(22)の照合結果に基づいて、前記追従車両に関連付けられたIDに係る前記物体の前記追従車両としての適否を判定する追従車両判定部(24)と、を備える。
この構成によれば、ナンバープレート認識部が、抽出したナンバープレートの文字を認識し、ナンバー照合部が画像から認識された文字と記憶された追従車両の文字とを照合するため、追従車両判定部による追従車両の認証精度(適否判定制度)が向上する。このように、物体計測装置による物体計測と撮像装置によるナンバー認証との組み合わせにより、追従車両が正確に認証される。
また、上記構成において、前記ナンバー照合部(22)は、前記物体計測装置(12)の計測結果に基づいて、前記画像中の前記追従車両が映るべき追従車両領域を推定し、前記追従車両領域を画像処理領域に設定し、前記ナンバープレート認識部(21)は、前記画像の前記画像処理領域を画像処理するとよい。
この構成によれば、ナンバープレート認識部が、撮像装置によって撮像された画像の全体を画像処理してナンバープレートを探索するのではなく、物体計測装置の計測結果に基づいて推定される追従車両領域を画像処理してナンバープレートを探索するため、ナンバープレートの抽出速度が向上する。これにより、追従車両判定部による追従車両の認証処理速度が向上する。
また、上記構成において、前記追従車両判定部(24)により、前記追従車両に関連付けられたIDに係る前記物体が前記追従車両として適さないと判定された場合、前記ナンバー照合部(22)は、前記物体計測装置(12)の計測結果に基づいて、直前の前記追従車両の位置に応じて前記物体に追従候補順位を付与すると共に、前記画像中の前記物体が映るべき物体領域を推定し、前記追従候補順位に従って前記物体領域を前記画像処理領域に設定するとよい。
この構成によれば、物体計測装置が追従車両を見失った時に、追従車両領域とは別の物体領域を追従候補順位に従って再探索することによって速やかに追従車両を見つけることができる。
また、上記構成において、前記ナンバー照合部(22)は、前記物体に対し、直前の前記追従車両の位置から近い順に順位が高くなるように前記追従候補順位を設定するとよい。
この構成によれば、追従車両である可能性が高い順にナンバー認証を行うことができ、速やかに追従車両を見つけることができる。
また、上記構成において、前記ナンバー照合部(22)は、直前の前記追従車両の位置を特定できない場合、前記画像の全領域を前記画像処理領域に設定するとよい。
この構成によれば、ナンバー照合部が直前の追従車両の位置を特定できていない場合にも、撮像装置の画像の中から追従車両を見つけることができる。
また、上記構成において、前記物体計測装置(12)の計測領域(A2)が、前記撮像装置(11)のナンバープレートの文字を認識可能な撮像領域(A1)の外側の部分を含み、前記追従車両に関連付けられたIDに係る前記物体が前記物体計測装置(12)の計測領域内且つ前記撮像装置の撮像領域外にある場合、前記ナンバー照合部(22)は、ナンバープレートの画像処理を休止するとよい。
この構成によれば、物体計測装置が追従車両を見失っていない時に、ナンバー認識による不要な処理負荷が生じることを防止できる。
また、上記構成において、前記追従車両判定部(24)は、前記ナンバー照合部(22)によって照合された文字の一致度合に応じた第1評価値(X1)を算出し、前記第1評価値(X1)に基づいて総合評価値(X)を算出し、前記総合評価値(X)が所定の閾値(Xth)以上である時に、前記追従車両に関連付けられたIDに係る前記物体が前記追従車両として適すると判定するとよい。
この構成によれば、ナンバープレートの文字の一致度合に応じて追従車両の適否が判定されるため、追従車両が正確に認証される。
また、上記構成において、前記物体計測装置(12)の直前の計測結果から求まる前記物体の移動速度に基づいて、前記追従車両に関連付けられたIDに係る前記物体の位置及び大きさを推定する物体推定部(23)を更に備え、前記ナンバープレート認識部(21)によってナンバープレートが画像処理領域内で抽出されなかった場合、前記追従車両判定部(24)は、前記物体計測装置(12)の計測結果と前記物体推定部の推定結果とに基づいて、物体一致度合に応じた第2評価値(X2)を算出し、前記第1評価値(X1)の代わりに、前記第2評価値(X2)に基づいて前記総合評価値(X)を算出するとよい。
この構成によれば、ナンバープレート認識部(21)がナンバープレートを抽出できない場合であっても、物体の推定される位置及び大きさに基づく物体一致度合に応じて追従車両の適否が判定されるため、追従車両が正確に認証される。
また、上記構成において、前記追従車両判定部(24)は、前記物体計測装置(12)によって計測された前記物体の位置と前記物体推定部(23)によって推定された前記物体の位置との差に応じた第3評価値(X3)を算出し、前記第3評価値(X3)を加味して前記総合評価値(X)を算出するとよい。
この構成によれば、物体の計測位置と推定位置との差に応じた第3評価値を加味して追従車両の適否が判定されるため、追従車両が正確に認証される。
また、上記構成において、前記追従車両判定部(24)は、前記物体計測装置(12)によって計測された前記物体の大きさと前記物体推定部(23)によって推定された前記物体の大きさとの差に応じた第4評価値(X4)を算出し、前記第4評価値(X4)を加味して前記総合評価値(X)を算出するとよい。
この構成によれば、物体の大きさの計測値と推定値との差に応じた第4評価値を加味して追従車両の適否が判定されるため、追従車両が正確に認証される。
また、上記構成において、前記追従車両判定部(24)は、前記第1評価値(X1)又は前記第2評価値(X2)と前記第3評価値(X3)と前記第4評価値(X4)とに重み(1−α−β、α、β)を付けて前記総合評価値(X)を算出し、自車両の追従走行状態に応じて前記重みを変化させるとよい。
この構成によれば、自車両の追従走行状態に応じて重みを変化させることにより、追従車両をシーンに応じてより正確に認証することが可能になる。
このように本発明によれば、認証処理速度を向上でき、且つ前走車を正確に認証できる車両の追従制御装置を提供することができる。
実施形態に係る追従制御装置が適用された車両の概略構成図 図1に示される追従制御装置による処理手順を示すフロー図 図1に示される追従車両特定部による追従車両特定処理の手順を示すフロー図 図3に示されるナンバー画像処理領域設定処理の手順を示すフロー図 図3に示される追従車両判定処理の手順を示すフロー図 図4に示される第1フローに係るシーンの説明図 図4に示される第2フロー及び第3フローに係る第1シーンの説明図 図4に示される第2フローに係る第2シーンの説明図 図4に示される第2フローに係る第3シーンの説明図 図4に示される第3フローに係る第1シーンの説明図 図4に示される第4フローに係る第2シーンの説明図
以下、図面を参照して、本発明の実施形態について詳細に説明する。
図1は、実施形態に係る追従制御装置10が適用された車両1の概略構成図である。図1に示されるように、車両1は、操向輪を転舵するためのステアリング装置2と、図示しないエンジンやモータ等の駆動源の出力(駆動力)を増大させることで車両1を加速させる駆動力装置3と、回生制御によるモータの制動力や図示しないディスクブレーキ等の制動源の出力(制動力)を増大させることによって車両1を減速させるブレーキ装置4とを備えている。また、車両1は、設定された追従車両に追従するようにステアリング装置2や駆動力装置3、ブレーキ装置4を操作する追従制御装置10を備えている。
追従制御装置10は、自らが搭載された車両1(以下、自車両ということがある。)を比較的小さな車間距離を空けて追従車両に追従させる隊列走行(カルガモ走行ともいう)の制御を実行してもよく、自車両を比較的大きな車間距離を空けて追従車両に追従させるACCを実行してもよい。追従制御装置10が追従制御を実行している間、車両1は運転操作を要しない自動走行を行う、或いは、所定の条件下で運転操作を要しない半自動走行を行う。所定の条件とは、例えば追従車両が車線変更していないことや、追従制御装置10が追従車両を見失ったという最終的な判定を下していないこと等である。半自動運転を行っている場合に所定の条件が満たされなくなった場合、追従制御装置10は、例えば車両1の乗員に警報を行って運転操作を促したり、車両1を路肩に停止させたりする措置をとるとよい。
追従制御装置10は、車両1の前方を撮像するCCDやCMOS等のカメラからなる撮像装置11と、前方に存在する物体を検出し、検出した物体のそれぞれにIDを付与すると共に検出した物体のそれぞれについて方位及び距離を計測する物体計測装置12とを備えている。
撮像装置11は、車体に固定されており、前方の所定の撮影領域(所定の水平画角及び所定の垂直画角に亘る撮影領域)の映像をデジタル撮影する。即ち、撮像装置11は、前方の撮影領域の画像を、所定の解像度(縦画素数×横画素数)且つ所定の速度(フレーム数/秒)で連続的に撮影する。撮影された画像には、車両1からの距離が無制限の像が映り込むが、ナンバープレートを抽出してその文字を認識可能な撮像領域A1(図6に示される平面的領域)が存在する。画像の解像度が大きいほど、撮像領域A1は大きくなる(遠くまで文字を認識可能になる)一方、データ量が大きくなることから処理速度が遅くなる。
物体計測装置12は、レーザ光を走査して車両1の前方の物体の存在を検出すると共に物体までの距離を計測するLIDAR13(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)と、LIDAR13の出力に基づいて、検出した物体のID、位置、大きさ、速度等の物体情報を処理する物体情報処理部14とにより構成されている。LIDAR13は、前方の撮像装置11の撮影領域よりも大きな所定のスキャン領域(所定の水平スキャン角度及び所定の垂直スキャン角度に亘る領域)にパルス状のレーザ光を照射し、物体に当たって戻ってくる散乱光を受光する。LIDAR13は、受光した散乱光の方向と照射から受光までの時間とに基づいて、方向及び距離を3D地図の中の点として記録する。物体情報処理部14は、LIDAR13が計測した複数の点の情報に基づいて、点群からなる物体を認識し、認識した物体にIDを付与する。また、物体情報処理部14は、IDが付された物体の点群の情報に基づいて、物体の位置(方位及び距離)、大きさ、速度(車両1に対する相対速度)を含む物体情報を算出する。
LIDAR13の物体を検出可能な計測領域A2(図6に示される平面的領域)は、撮像装置11の撮像領域A1よりも大きい。具体的には、LIDAR13の計測領域A2は、計測角度及び計測距離の両方において、撮像領域A1の撮影角度及び文字認識可能距離よりも大きくなっている。従って、LIDAR13の計測領域A2は、撮像装置11の撮像領域A1の外側に位置する外側部分を撮像領域A1の前方及び両側方に有する。
また、追従制御装置10は、撮像装置11及び物体計測装置12の出力に基づいて、設定された追従車両を特定する追従車両特定部15と、追従車両特定部15によって特定された追従車両に追従するようにステアリング装置2、駆動力装置3及びブレーキ装置4を操作し、自車両の走行を制御する追従走行制御部16とを備えている。更に、追従制御装置10は、追従車両を特定する操作を受け付けるユーザインタフェース17と、ユーザインタフェース17に対する操作によって特定された追従車両の情報(追従車両のIDやナンバー、位置、サイズ等)を記憶する記憶部18とを備えている。
追従車両特定部15、追従走行制御部16及び記憶部18は、CPU、RAM、ROM等を含む電子回路ユニットにより構成され、後述する制御や演算処理を実行するように構成された機能部である。制御や演算処理を実行するように構成されているとは、追従車両特定部15、追従走行制御部16及び記憶部18を構成する演算処理装置(CPU)が、記憶装置(メモリ)から必要なデータ及びアプリケーションソフトウェアを読み取り、当該ソフトウェアに従って当該所定の演算処理を実行するようにプログラムされていることを意味する。
追従車両特定部15は、以下に説明するように様々な機能部を備えている。撮像装置11の出力(画像情報)は、追従車両特定部15のナンバー認識サーバ21に入力される。物体計測装置12の出力(物体情報)は、追従車両特定部15のナンバー認識クライアント22及び物体推定部23に入力される。
ナンバー認識サーバ21は、ナンバー認識クライアント22からのナンバー認識要求に応じ、画像を処理してナンバープレートを抽出し、抽出したナンバープレートの文字を認識する(読み取る)ナンバープレート認識部である。ここで、画像処理によるナンバープレートの探索処理と抽出したナンバープレートの文字認識処理とを併せて、ナンバー認識という。ナンバー認識は、例えば特許第4760363号に記載される手法のような公知の手法により行われてよい。なお、ナンバープレートの文字は、日本では、4桁以下の一連指定番号の他、その左方の平仮名文字、上段の地域名や2桁又は3桁の分類番号である。以下、これらを含むナンバープレートの文字を、単にナンバーという。ナンバー認識サーバ21は、ナンバープレートを抽出したか否か、及び、抽出したナンバープレートについて認識したナンバーを含む認識ナンバー情報をナンバー認識クライアント22に送ると共に、物体推定部23に送る。ナンバープレートの抽出処理については後に詳説する。
ナンバー認識クライアント22は、入力した物体情報等(物体情報の他、追従車両のID、位置、サイズ等の情報)に基づいて、画像中の追従車両が映るべき追従車両領域を推定し、推定した追従車両領域を、ナンバープレートを抽出するために画像処理すべき画像処理領域に設定する。ナンバー認識クライアント22は、ナンバー認識要求及び画像処理領域をナンバー認識サーバ21に送ることにより、ナンバー認識サーバ21によるナンバー認識結果を利用するクライアントである。ナンバー認識クライアント22には、追従車両特定部15の追従車両判定部24から、処理周期、制御状態、追従車両のID、ナンバー照合要求が入力されると共に、記憶部18から追従車両のナンバーが入力される。
処理周期はナンバー認識・ナンバー照合の処理周期である。ナンバー認識クライアント22は、この処理周期に従ってナンバー認識サーバ21にナンバー認識要求を送ると共に、ナンバー照合を行う。ナンバー照合の詳細については後に説明する。制御状態は追従制御の状態及び追従車両の特定状態を示す情報である。ナンバー認識クライアント22は、この制御状態に応じて画像処理領域に設定する領域を変更する。
画像処理領域に設定する領域変更の具体的内容は後に詳説するが、例えば、次のようにして行われる。追従車両判定部24からの制御状態が追従対象のロストを示している場合、ナンバー認識クライアント22は、物体計測装置12の計測結果である物体情報に基づいて、直前の追従車両の位置に応じ、その他の物体に追従候補順位を付与する。制御状態が追従対象のロストを示している場合とは、具体的には、追従中の物体のIDが物体情報の中から消失した場合や、追従車両判定部24による、後述する追従車両として適していないとの判定結果の場合である。
具体的には、ナンバー認識クライアント22は、物体に対し、直前の追従車両の位置から近い順に順位が高くなるように追従候補順位を設定する。そして、ナンバー認識クライアント22は、画像中の物体が映るべき物体領域を推定し、追従候補順位に従って物体領域を画像処理領域に設定する。ナンバー認識サーバ21は、ナンバー認識クライアント22によって設定された画像処理領域の情報に基づいて、画像中の当該画像処理領域についてナンバー認識を行う。
ナンバー認識クライアント22は、直前の追従車両の位置を特定できない場合、画像の全領域を画像処理領域に設定する。この場合、ナンバー認識サーバ21は画像の全領域についてナンバー認識を行う。
ナンバー認識クライアント22は、追従車両のIDに基づいて上記追従車両領域や上記物体領域を推定する。ナンバー照合要求はナンバー認識クライアント22に対するナンバー照合の処理要求信号である。ナンバー認識クライアント22は、ナンバー照合要求に応じ、ナンバー認識サーバ21によって認識されたナンバーと記憶部18に記憶された追従車両のナンバーとを照合するナンバー照合を行う。即ち、ナンバー認識クライアント22は、ナンバー認識処理のクライアントとして機能すると共に、ナンバー照合を行うナンバー照合部としても機能する。ナンバー認識クライアント22によるナンバー照合結果は追従車両判定部24に送られる。
物体推定部23は、ナンバー認識サーバ21から受け取る認識ナンバー情報がナンバー認識できなかったことを示している場合に、物体計測装置12の直前の計測結果から求まる物体の移動速度に基づいて、追従車両に関連付けられたIDに係る物体の位置及び大きさを推定し、推定して位置及び大きさを含む推定結果を追従車両判定部24に送る。
追従車両判定部24は、ナンバー認識サーバ21によって認識されたナンバープレートの認識信頼度を示す数値として、照合されたナンバーの一致度合に応じた第1評価値X1を算出する。例えば、ナンバー認識サーバ21は、認識したナンバーが過去の認識結果に対して相違する文字の数や、同じく相違する文字の大きさ、同じく相違する文字の混同しやすさ等に応じ、認識結果の信頼度を算出する。この際、4桁以下の一連指定番号の各桁の文字に対し、1の位の文字の一致度合に重みを付けてもよい。
ナンバー認識サーバ21がナンバー認識できず、物体推定部23からの推定結果を受け取った場合、追従車両判定部24は、物体計測装置12の計測結果と物体推定部23の推定結果とに基づいて、これらを照合して物体一致度合に応じた第2評価値X2を算出する。具体的には、追従車両判定部24は、物体計測装置12によって計測された物体の位置と物体計測装置12によって推定された物体の位置との差、及び、物体計測装置12によって計測された物体の大きさと物体計測装置12によって推定された物体の大きさとの差とに応じて第2評価値X2を算出する。第2評価値X2は、物体計測装置12による物体検出の信頼度を示す数値としての意味を有する。
また、追従車両判定部24は、物体計測装置12によって計測された物体の位置と物体計測装置12によって推定された物体の位置との差に応じた第3評価値X3を算出すると共に、物体計測装置12によって計測された物体の大きさと物体計測装置12によって推定された物体の大きさとの差とに応じた第4評価値X4を算出する。更に、追従車両判定部24は、ナンバー認識サーバ21がナンバー認識できた場合には、第1評価値X1、第3評価値X3及び第4評価値X4に基づいて、総合評価値Xを算出する。一方、ナンバー認識サーバ21がナンバー認識できなかった場合には、追従車両判定部24は、第2評価値X2、第3評価値X3及び第4評価値X4に基づいて、総合評価値Xを算出する。
そして、追従車両判定部24は、総合評価値Xが所定の閾値Xthに達しているか否かに基づいて、追従車両に関連付けられたIDに係る物体の追従車両としての適否を判定する。総合評価値Xはナンバー認識クライアント22によるナンバー照合結果に関係しており、結果的に追従車両判定部24は、ナンバー照合結果に基づいて、追従車両に関連付けられたIDに係る物体の追従車両としての適否を判定している。追従車両判定部24は、判定結果に応じて追従走行の制御状態を監視し、必要に応じて追従車両に関連付けられて記憶部18に記憶されている追従車両のIDを書き換える。追従車両判定部24による追従車両の適否の判定結果は、上記制御状態の情報の一部としてナンバー認識クライアント22に送られる。
ユーザインタフェース17は、追従車両を指定するように構成されていれば、如何なる構成のものであってもよい。例えば、ユーザインタフェース17は、追従車両のナンバーを入力する入力部(タッチパネル上のキーボード等)であってもよく、ディスプレイの画面上で追従車両を指定できるように構成された選択ボタンであってもよい。記憶部18は追従車両判定部24から受け取る追従車両のID及びナンバーを追従車両のID及びナンバーとして記録する。
ユーザインタフェース17を介してユーザによって追従車両の指定操作が行われることにより、記憶部18は、追従車両として特定された物体のID及び、この物体についてナンバー認識サーバ21が認識したナンバーを、追従車両のID及びこれに対応するナンバーとして記憶する。或いは、記憶部18は、ユーザインタフェース17から入力されたナンバーを追従車両のナンバーとして記憶してもよい。
追従車両判定部24は、ユーザインタフェース17を介して行われる追従車両の指定操作に応じ、追従制御を開始し、ユーザインタフェース17を介して行われる追従車両の解除操作に応じ、追従制御を解除する。また、追従車両判定部24は、ユーザインタフェース17を介して行われる追従車両の変更操作に応じ、追従車両を変更し、記憶部18に記憶された追従車両のID及びナンバーを、新たな追従車両に指定された物体のID及びナンバーに書き換える。
追従制御の実行中、追従走行制御部16は、追従車両判定部24が追従車両として適していると判定した物体のIDを追従車両のIDとして受け取り、物体計測装置12の計測結果である物体情報に基づいて、追従車両のIDに係る物体(追従車両)に追従するようにステアリング装置2、駆動力装置3及びブレーキ装置4を操作する。
図2は、図1に示される追従制御装置10による処理手順を示すフロー図である。なお、図2には、追従制御装置10の1周期分の処理が、ナンバー認識クライアント22の処理を中心に示されている。図2に示されるように、ナンバー認識クライアント22は、追従車両判定部24からナンバー認識・ナンバー照合の処理周期を受け取り、受け取った処理周期に従って以下の処理を行う。まず、ナンバー認識クライアント22は、定時間処理を行い、受け取った処理周期を時間定義変数に保管する(ステップST1)。最初の周期では、ナンバー認識クライアント22は、これと同時にタイマを始動させる。
ナンバー認識クライアント22は、追従車両判定部24から制御状態を受け取ると、受け取った制御状態をバッファに一時的に保管する(ステップST2)。また、ナンバー認識クライアント22は、追従車両判定部24から追従車両のIDを受け取ると、受け取った追従車両のIDをバッファに一時的に保管する(ステップST3)。ナンバー認識クライアント22は、記憶部18から追従車両のナンバーを受け取ると、受け取った追従車両のナンバーをバッファに一時的に保管する(ステップST4)。ナンバー認識クライアント22は、物体計測装置12から物体情報を受け取ると、受け取った物体情報をバッファに一時的に保管する(ステップST5)。これらの処理は順序が異なっていてもよい。
その後、ナンバー認識クライアント22は、ナンバー認識サーバ21に対してナンバー認識要求を行う(ステップST6)。ナンバー認識サーバ21は、ナンバー認識要求を受けると、ナンバー認識処理を行い(ステップST11)、ナンバー認識結果をナンバー認識クライアント22に送る。ナンバー認識クライアント22は、ナンバー認識サーバ21からナンバー認識結果を受け取り(ステップST7)、処理周期に設定された所定時間が経過したか否かを判定し(ステップST8)、経過していなければ(No)、ステップST6以降の手順を繰り返す。所定時間が経過しており、ステップST8の判定がYesになると、ナンバー認識クライアント22は、タイマをリセットする(ステップST9)。
追従車両判定部24から対象ナンバー照合要求があると、ナンバー認識クライアント22は、対象ナンバー(ナンバー認識サーバ21によって認識されたナンバーと記憶部18に記憶された追従車両のナンバーと)の照合を行い(ステップST10)、照合結果を追従車両判定部24に送る。これにより、追従車両判定部24の1周期の処理が終了するので、追従車両判定部24は上記処理を繰り返す。
以上の処理の間に、物体計測装置12は物体情報を追従車両判定部24に送り、記憶部18は追従車両のナンバーをナンバー認識クライアント22だけでなく追従車両判定部24にも送る。物体計測装置12、記憶部18、追従車両判定部24及びナンバー認識サーバ21も、上記処理を繰り返す。
図3は、図1に示される追従車両特定部15による追従車両設定処理の手順を示すフロー図である。図3に示されるように、追従車両特定部15は、図2のステップST1で設定された処理周期ごとに次の処理を実行する。以下、追従車両特定部15が行う処理を、図1に示される機能部を特定して説明する。以下に説明する処理は順序が異なっていてもよい。
まず、ナンバー認識サーバ21は、撮像装置11から画像データを取得する(ステップST21)。ナンバー認識クライアント22は、物体計測装置12から物体情報を取得する(ステップST22)。物体情報には、上記のように物体に付与されたID、物体までの距離、物体のサイズが含まれている。次に、ナンバー認識クライアント22は、画像処理領域設定処理を行う(ステップST23)。画像処理領域設定処理の詳細は図4を参照して説明する。
図4は、図3に示される画像処理領域設定処理の手順を示すフロー図である。ナンバー認識クライアント22は、追従制御中であるか否かを判定し(ステップST41)、追従制御中である場合(Yes)、追従車両を認識しているか否かを判定する(ステップST42)。ステップST31及びステップST32は、制御状態を確認する処理である。追従制御中ではない場合(ステップST41:No)、ナンバー認識クライアント22は処理をステップ43に進める。追従制御中であり且つ追従車両を認識している場合(ステップST41:Yes、ステップST42:Yes)、ナンバー認識クライアント22は処理をステップST46に進める。追従制御中であり且つ追従車両を認識していない場合(ステップST41:Yes、ステップST42:No)、ナンバー認識クライアント22は処理をステップST50に進める。
ステップST43では、ナンバー認識クライアント22は、追従車両のIDが既知であるか否かを判定する。追従車両のIDが既知でない場合(ステップST43:No)、ナンバー認識クライアント22は、物体情報に基づいて物体の属性(車らしいか否か)を判定し、追従対象でない物体、即ち車両以外の物体として判定された物体や後述するステップST34にて追従車両ではないと判定された物体のIDを除外し(ステップST44)、自車両に近い前走車のIDを選択する(ステップST45)。ここで、選択するとは、具体的には、画像にてナンバー認識を行うべき画像処理領域に、このIDに係る物体が映るべき領域(追従車両領域又は物体領域)が設定されるように、この物体のIDを選択することを意味する。他の処理においても同様の意味である。これにより、物体計測装置12の計測結果に基づいて推定される、画像中のこの物体の領域が画像処理領域に設定される。以下、ステップST43〜ステップST45を通るフローを第1フローとする。
図6は、第1フローに係るシーンの説明図である。図6に示されるように、第1フローでは、ナンバー認識クライアント22は、車両以外の物体として検出されているID=3の物体のIDを除外し、撮像装置11の撮像領域A1内に存在する物体の中から自車両に近いID=1の物体(前走車)のIDを選択する。この処理は、このIDに係る物体が後の処理において追従車両ではないと判定された場合に、次の周期以降の処理においては追従対象でない物体としてステップST44の処理で除外されることから、実質的に、自車両から近い順に追従候補順位(図6中の丸囲みの番号)を付し、追従候補順位が高いものから順に画像処理を行うことと同義である。
図4に戻り、ステップST46では、ナンバー認識クライアント22は、追従車両判定部24から追従車両のIDを取得・認識する。続いて、ナンバー認識クライアント22は、撮像装置11の撮像領域A1内に追従車両のIDに係る物体が存在するか否かを判定する(ステップST47)。この処理は、ステップST43にて追従車両のIDが既知であるためにYesと判定された場合にも行われる。撮像領域A1内に追従車両のIDに係る物体が存在する場合(ステップST47:Yes)、ナンバー認識クライアント22は、追従車両のIDを選択し(ステップST48)、撮像領域A1内に追従車両のIDに係る物体が存在しない場合(ステップST47:No)、ナンバー認識処理をできないため、IDを選択しない(ステップST49)。ステップST48を通るフローを第2フローとし、ステップST49を通るフローを第3フローとする。
図7は、第2フロー及び第3フローに係る第1シーンの説明図である。図7に示されるように、追従車両のIDに係る物体が撮像領域A1内に存在する場合、即ち追従車両のIDがID=1やID=3である場合、ナンバー認識クライアント22は追従車両のIDをそのまま選択する(第2フロー)。一方、追従車両のIDに係る物体が撮像領域A1外内に存在する場合、即ち追従車両のIDがID=2である場合、ナンバー認識処理を行うことはできないため、ナンバー認識クライアント22はIDを選択しない(第3フロー)。
図8は、図4に示される第2フローに係る第2シーンの説明図である。第2フローに処理が流れるシーンとしては、図7の第1シーンの他に、以下のような第2シーンもある。図8(A)に示されるように、ナンバー認識クライアント22が追従車両のIDとしてID=2を保持しているところ、ID=2の追従車両に他の前走車(ID=5)が近づいてくる。図8(B)に示されるように、ID=5の前走車がID=2の追従車両に近接すると、物体計測装置12が2つの前走車を1つの物体と誤認識し、ID=2だけを保持し、ID=5を消去する。その後、図8(C)に示されるように、元々ID=5であった前走車が追従車両から離れた際に、物体計測装置12が、この前走車に誤ってID=2を付し、元々ID=2であった追従車両を新たに検出した前走車と誤認識して新たなID=6を追従車両に付す。このような場合には、ナンバー認識クライアント22は、物体計測装置12が追従車両を認識していると認識するため、第2フローに処理が流れるが、実際には追従車両とは異なる前走車を追従車両として認識した状態となる。
図9は、図4に示される第2フローに係る第3シーンの説明図である。第2フローに処理が流れるシーンとして、更に、以下のような第3シーンもある。図9(A)に示されるように、ナンバー認識クライアント22が追従車両のIDとしてID=2を保持しているところ、図9(B)に示されるように、追従車両がID=2の前走車以外の物体の近くに来る。この時、物体計測装置12が追従車両と前走車以外の物体とを1つの物体と誤認識し、ID=2だけを保持し、ID=5を消去する。その後、図9(C)に示されるように、追従車両が元々ID=5であった物体を通過してこの物体から離れた際に、物体計測装置12が、この物体に誤ってID=2を付し、元々ID=2であった追従車両を新たに検出した前走車と誤認識して新たなID=6を追従車両に付す。このような場合にも、ナンバー認識クライアント22は、物体計測装置12が追従車両を認識していると認識するため、第2フローに処理が流れるが、実際には追従車両とは異なる物体を追従車両として認識した状態となる。
再び図4に戻り、ステップST50では、ナンバー認識クライアント22は、追従対象の直前の位置が既知であるか否かを判定する。追従対象の直前の位置が既知である場合(ステップST50:Yes)、ナンバー認識クライアント22は、追従対象でない物体、即ち前走車以外の物体として判定された物体や後述するステップST34にて追従車両ではないと判定された物体のIDを除外し(ステップST51)、追従車両の直前の位置から近い物体のIDを選択する(ステップST52)。ステップST51の処理は、図6を参照して説明したステップST44の処理と同様であり、ステップST52の処理は、実質的に、直前の追従車両の位置に応じて追従車両から近い順に追従候補順位(図8(D)にてID=6の物体に付された丸囲みの番号、図9(C)にてID=6の物体に付された丸囲みの番号、図10(C)にてID=6の物体に付された丸囲みの番号)を付し、追従候補順位が高いものから順に画像処理を行うことと同義である。ステップST50〜ステップST52を通るフローを第4フローとする。
図10は、図4に示される第4フローに係る第1シーンの説明図である。第4フローに処理が流れるシーンとして次のものが想定される。図10(A)に示されるように、ナンバー認識クライアント22が追従車両のIDとしてID=2を保持しているところ、ID=2の追従車両に他の前走車(ID=5)が近づいてくる。図10(B)に示されるように、ID=5の前走車が自車両とID=2の追従車両との間に入ると、物体計測装置12が追従車両を認識できなくなりID=2を消去する。図10(C)に示されるように、元々ID=5であった前走車が自車両と追従車両との間から離れると、物体計測装置12が、追従車両を新たに検出した前走車と誤認識して新たなID=6を追従車両に付す。このような場合には、ナンバー認識クライアント22は、追従車両のIDに保持されたID=2の追従車両を認識できない状態となる。
また、図8及び図9を参照して説明したようにステップST48を通る第2フローにてナンバー認識クライアント22が追従車両とは異なる前走車又は前走車以外の物体を追従車両として認識した場合、その後のナンバー認証によって追従車両のIDに係る物体が追従車両として適さないと判定される。そのため、次の周期においは、ナンバー認識クライアント22が追従車両を認識していない状態になり、この場合にも第4フローに処理が流れる。
図4に示されるように、ステップST50において、追従対象の直前の位置が既知でない場合(No)、ナンバー認識クライアント22は、追従車両である可能性のある特定の物体を選択することができないため、画像全体を画像処理領域に設定する。
図3に戻って追従車両設定処理の手順の続きを説明する。ステップST23の画像処理領域設定処理の後、ナンバー認識サーバ21は、設定された画像処理領域にてナンバープレートを探索し、選択されたIDに係る物体に対してナンバー認識処理を行う(ステップST24)。次に、ナンバー認識クライアント22は、ナンバー情報を取得できたか否かを判定する(ステップST25)。
ナンバー情報を取得できなかった場合(ステップST25:No)、物体推定部23は、選択されたIDに係る物体に対して物体認識を行う(ステップST26)。物体認識は、物体情報に含まれる距離やサイズの情報に基づいて、選択されたIDに係る物体が何であるか、具体的には、追従車両であるか、別の前走車であるか、前走車以外の物体であるかを特定する処理である。その後、追従車両判定部24は、選択されたIDに係る物体が追従車両であるか否かを判定し(ステップST27)、Yesの場合、制御状態の情報に基づいて、追従制御が解除状態であるか否かを判定する(ステップST28)。
ステップST25にて、ナンバー情報を取得でき、Yesの判定の場合、及び、ステップST28にて、追従制御が解除状態ではなく、Noの判定の場合、追従車両判定部24が追従車両判定処理を行う(ステップST29)。追従車両判定処理の詳細は図5を参照して説明する。
図5は、図3に示される追従車両判定処理の手順を示すフロー図である。図5に示されるように、追従車両判定部24は、ナンバー情報が取得できているか否かを判定し(ステップST61)、ナンバー状態が取得できている場合(Yes)、処理をステップST62に進め、ナンバー状態が取得できていない場合(No)、処理をステップST63に進める。
ステップST62では、追従車両判定部24は、ナンバー認識サーバ21によって認識されたナンバーと記憶部18に記憶された追従車両のナンバーとをナンバー認識クライアント22が照合した照合結果に基づいて、ナンバー照合評価を行い、照合結果に応じた第1評価値X1を算出する。第1評価値X1は0以上且つ100以下の値として算出される。
ステップST63では、追従車両判定部24は、選択されたIDに係る物体に対して物体推定部23が行った物体認識の結果に基づいて、物体評価を行い、物体評価結果に応じた第2評価値X2を算出する。第2評価値X2は0以上且つ100以下の値として算出される。物体評価は、物体計測装置12の直前の計測結果から求まる物体の移動速度に基づいて、選択されたIDに係る物体の位置及び大きさを推定し、この推定結果と物体計測装置12の計測結果とを照合することで、選択されたIDに係る物体の一致度合を評価するものである。
その後、追従車両判定部24は、物体の位置座標変化に応じた評価値、即ち、物体計測装置12によって計測された物体の位置と物体推定部23によって推定された物体の位置との差に応じた第3評価値X3を算出する(ステップST64)。第3評価値X3は、図11(A)に示されるように、計測された物体の位置が移動速度に基づいて推定される推定位置に近いほど、計測された物体が追従車両である可能性が高いという思想の下に設定された指標であり、0以上且つ100以下の値として算出される。
続いて、追従車両判定部24は、物体のサイズ変化に応じた評価値、即ち、物体計測装置12によって計測された物体の大きさと物体推定部23によって推定された物体の大きさとの差に応じた第4評価値X4を算出する(ステップST65)。第4評価値X4は、図11(B)に示されるように、計測された物体のサイズが移動速度に基づいて推定される推定サイズに近いほど、計測された物体が追従車両である可能性が高いという思想の下に設定された指標であり、0以上且つ100以下の値として算出される。
追従車両判定部24は、第1評価値X1又は第2評価値X2と、第3評価値X3と、第4評価値X4とに基づいて総合評価値Xを算出する(ステップST66)。具体的には、追従車両判定部24は、下式(1)を演算することによって総合評価値Xを算出する。
X=(1−α−β)(X1orX2)+αX3、βX4 ・・・(1)
ここで、α:0以上且つ1以下の係数、β:0以上且つ1以下の係数、であり、α+βは1以下である。これらの1−α−β、α及びβは、X1又はX2、X3、及び、X4に対して重みを付ける係数である。
追従車両判定部24は、総合評価値Xを算出する際、シーンに応じた総合的な判断を可能にするため、自車両の追従走行状態に応じ、これらの1−α−β、α及びβを変化させる、即ちX1、X2及びX3に対する重みを変化させる。
図3に戻り、ステップST29の追従車両判定処理の後、追従車両判定部24は、総合評価値Xが所定の閾値Xthに達しているか否かを判定する(ステップST30)。総合評価値Xが閾値Xthに達している場合(ステップST30:Yes)、追従車両判定部24は、選択されたIDに係る物体が追従車両であると判定する(ステップST31)。総合評価値Xが閾値Xthに達していない場合(ステップST30:No)、追従車両判定部24は、選択されたIDに対してn回のナンバー認識を実行したか否かを判定する(ステップST32)。n回のナンバー認識を実行していない場合(ステップST32:No)、追従車両判定部24は判定を保留する(ステップST33)。n回のナンバー認識を実行している場合(ステップST32:Yes)、追従車両判定部24は、選択されたIDに係る物体が追従車両ではないと判定し(ステップST34)、追従車両ではないと判定したID情報を保存する(ステップST35)。
ステップST27にて、選択されたIDに係る物体が追従車両でないと判定された場合(No)及び、ステップST28にて、追従制御が解除状態であると判定された場合(Yes)にも、ステップST34及びステップST35の処理が行われる。以上により、追従車両特定部15による1周期の追従車両設定処理が終了する。
以上のように構成された車両1の追従制御装置10により、次のような作用効果が奏される。図1に示されるように、ナンバー認識サーバ21が、抽出したナンバープレートの文字(ナンバー)を認識し、ナンバー認識クライアント22が画像から認識された文字と記憶された追従車両の文字とを照合するため、追従車両判定部24による追従車両の認証精度(適否判定制度)が向上する。このように、物体計測装置12による物体計測と撮像装置11によるナンバー認証との組み合わせにより、追従車両が正確に認証される。
ナンバー認識クライアント22は、図3のステップST23に示す画像処理領域設定処理(図4参照)にて、物体計測装置12の計測結果に基づいて、画像中の追従車両が映るべき追従車両領域を推定し、追従車両領域を画像処理領域に設定する。そして、ナンバー認識サーバ21が画像の画像処理領域にてナンバープレートを探索するため、ナンバープレートの抽出速度が向上する。これにより、追従車両判定部24による追従車両の認証処理速度が向上する。
図3のステップST34にて、追従車両判定部24が、追従車両のIDに係る物体が追従車両として適さないと判定し、物体計測装置12が追従車両を見失った時に(図4のステップST42:No)、ナンバー認識クライアント22は、物体計測装置12の計測結果に基づいて、直前の追従車両のIDに係る物体の位置に応じて物体に追従候補順位を付与すると共に(ステップST51及びステップST52、図8〜図10)、画像中の物体が映るべき物体領域を推定し、追従候補順位に従って物体領域を画像処理領域に設定するため、速やかに追従車両を見つけることができる。
この際、ナンバー認識クライアント22は、物体に対し、直前の追従車両の位置から近い順に順位が高くなるように追従候補順位を設定するため、速やかに追従車両を見つけることができる。
ンバー認識クライアント22が、直前の追従車両の位置を特定できない場合(ステップST50:No)、画像の全領域を画像処理領域に設定するため(ステップST53)、撮像装置11の画像の中から追従車両を見つけることができる。
図7のID=7の物体のように、追従車両のIDに係る物体が物体計測装置12の計測領域A2内且つ撮像装置11の撮像領域A1外にあり、物体計測装置12が追従車両を見失っていない場合には(ステップST47:No)、ステップST49にてナンバー認識クライアント22がIDを選択しないことで、ナンバープレートの画像処理を休止するため、ナンバー認識による不要な処理負荷が生じない。
追従車両判定部24は、ナンバー認識クライアント22によって照合された文字の一致度合に応じた第1評価値X1を算出し(ステップST62)、第1評価値X1に基づいて総合評価値Xを算出し(ステップST66)、総合評価値Xが所定の閾値Xth以上である時に(ステップST30:Yes)、追従車両のIDに係る物体が追従車両として適すると判定するため(ステップST31)、追従車両が正確に認証される。
ナンバー認識サーバ21によってナンバープレートが画像処理領域内で抽出されなかった場合(ステップST61:No)、追従車両判定部24は、物体計測装置12の直前の計測結果から求まる物体の移動速度に基づいて物体推定部23が推定した追従車両のIDに係る物体の位置及び大きさの推定結果と、物体計測装置12の計測結果とに基づいて、物体一致度合に応じた第2評価値X2を算出し(ステップST63)、第2評価値X2に基づいて総合評価値Xを算出するため(ステップST66)、追従車両が正確に認証される。
追従車両判定部24は、物体計測装置12によって計測された物体の位置と物体推定部23によって推定された物体の位置との差に応じた第3評価値X3を算出し(ステップST64)、第3評価値X3を加味して総合評価値Xを算出するため(ステップST66)、追従車両が正確に認証される。
追従車両判定部24は、物体計測装置12によって計測された物体の大きさと物体推定部23によって推定された物体の大きさとの差に応じた第4評価値X4を算出し(ステップST65)、第4評価値X4を加味して総合評価値Xを算出するため(ステップST66)、追従車両が正確に認証される。
追従車両判定部24は、第1評価値X1又は第2評価値X2と第3評価値X3と第4評価値X4とに重み(1−α−β、α、β)を付けて総合評価値Xを算出し(ステップST66)、自車両の追従走行状態に応じて重みを変化させるため、追従車両をシーンに応じてより正確に認証することが可能になる。
以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。例えば、上記実施形態では、一例として車載用として電装部品の説明を行ったが、鉄道車両や航空機などにも広く適用することができる。
この他、各部材や部位の具体的構成や配置、数量、角度など、本発明の趣旨を逸脱しない範囲であれば適宜変更可能である。一方、上記実施形態に示した各構成要素は必ずしも全てが必須ではなく、適宜選択することができる。
1 車両
10 追従制御装置
11 撮像装置
12 物体計測装置
13 LIDAR
14 物体情報処理部
15 追従車両特定部
16 追従走行制御部
17 ユーザインタフェース
18 記憶部
21 ナンバー認識サーバ(ナンバープレート認識部)
22 ナンバー認識クライアント(ナンバー照合部)
23 物体推定部
24 追従車両判定部
A1 撮像領域
A2 計測領域

Claims (8)

  1. 車両の追従制御装置であって、
    前方の物体を検出し、検出した前記物体のそれぞれにIDを付与すると共に前記物体の方位及び距離を計測する物体計測装置と、
    前記物体計測装置によって検出された前記物体の中から追従対象とすべき追従車両を前記IDに関連付けて指定するための操作を受け付けるユーザインタフェースと、
    前記追従車両に追従するように自車両の走行を制御する追従走行制御部と、
    前方を撮像する撮像装置と、
    前記撮像装置によって撮像された画像の中から画像処理によってナンバープレートを探索し、抽出した前記ナンバープレートの文字を認識するナンバープレート認識部と、
    前記追従車両の前記ナンバープレートの文字及び対応する前記IDを記憶する記憶部と、
    前記ナンバープレート認識部によって認識された文字と前記記憶部に記憶された文字とを照合するナンバー照合部と、
    前記ナンバー照合部の照合結果に基づいて、前記追従車両に関連付けられたIDに係る前記物体の前記追従車両としての適否を判定する追従車両判定部とを備え、
    前記ナンバー照合部は、前記物体計測装置の計測結果に基づいて、前記画像中の前記追従車両が映るべき追従車両領域を推定し、前記追従車両領域を画像処理領域に設定し、
    前記ナンバープレート認識部は、前記画像の前記画像処理領域にて前記ナンバープレートを探索し、
    前記追従車両判定部により、前記追従車両に関連付けられたIDに係る前記物体が前記追従車両として適さないと判定された場合、前記ナンバー照合部は、前記物体計測装置の前記計測結果に基づいて、直前の前記追従車両の位置から近い順に順位が高くなるように前記物体に追従候補順位を付与すると共に、前記画像中の前記物体が映るべき物体領域を推定し、前記追従候補順位に従って前記物体領域を前記画像処理領域に設定することを特徴とする車両の追従制御装置。
  2. 前記ナンバー照合部は、直前の前記追従車両の位置を特定できない場合、前記画像の全領域を前記画像処理領域に設定することを特徴とする請求項に記載の追従制御装置。
  3. 前記物体計測装置の計測領域が、前記撮像装置の前記ナンバープレートの文字を認識可能な撮像領域の外側の部分を含み、
    前記追従車両に関連付けられたIDに係る前記物体が前記物体計測装置の前記計測領域内かつ前記撮像装置の前記撮像領域外にある場合、前記ナンバー照合部は、前記ナンバープレートの前記画像処理を休止することを特徴とする請求項1又は請求項2に記載の車両の追従制御装置。
  4. 前記追従車両判定部は、前記ナンバー照合部によって照合された文字の一致度合に応じた第1評価値を算出し、前記第1評価値に基づいて総合評価値を算出し、前記総合評価値が所定の閾値以上である時に、前記追従車両に関連付けられたIDに係る前記物体が前記追従車両として適すると判定することを特徴とする請求項1〜請求項のいずれかに記載の車両の追従制御装置。
  5. 前記物体計測装置の直前の前記計測結果から求まる前記物体の移動速度に基づいて、前記追従車両に関連付けられたIDに係る前記物体の位置及び大きさを推定する物体推定部を更に備え、
    前記ナンバープレート認識部によって前記ナンバープレートが前記画像処理領域内で抽出されなかった場合、前記追従車両判定部は、前記物体計測装置の前記計測結果と前記物体推定部の推定結果とに基づいて、物体一致度合に応じた第2評価値を算出し、前記第1評価値の代わりに、前記第2評価値に基づいて前記総合評価値を算出することを特徴とする請求項に記載の車両の追従制御装置。
  6. 前記追従車両判定部は、前記物体計測装置によって計測された前記物体の位置と前記物体推定部によって推定された前記物体の位置との差に応じた第3評価値を算出し、前記第3評価値を加味して前記総合評価値を算出することを特徴とする請求項に記載の車両の追従制御装置。
  7. 前記追従車両判定部は、前記物体計測装置によって計測された前記物体の大きさと前記物体推定部によって推定された前記物体の大きさとの差に応じた第4評価値を算出し、前記第4評価値を加味して前記総合評価値を算出することを特徴とする請求項に記載の車両の追従制御装置。
  8. 前記追従車両判定部は、前記第1評価値又は前記第2評価値と前記第3評価値と前記第4評価値とに重みを付けて前記総合評価値を算出し、前記自車両の追従走行状態に応じて前記重みを変化させることを特徴とする請求項に記載の車両の追従制御装置。
JP2018109387A 2018-06-07 2018-06-07 車両の追従制御装置 Expired - Fee Related JP6694472B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018109387A JP6694472B2 (ja) 2018-06-07 2018-06-07 車両の追従制御装置
CN201910454826.8A CN110576855B (zh) 2018-06-07 2019-05-29 自适应巡航控制装置
US16/425,472 US11110923B2 (en) 2018-06-07 2019-05-29 Adaptive cruise control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018109387A JP6694472B2 (ja) 2018-06-07 2018-06-07 車両の追従制御装置

Publications (2)

Publication Number Publication Date
JP2019209901A JP2019209901A (ja) 2019-12-12
JP6694472B2 true JP6694472B2 (ja) 2020-05-13

Family

ID=68765305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018109387A Expired - Fee Related JP6694472B2 (ja) 2018-06-07 2018-06-07 車両の追従制御装置

Country Status (3)

Country Link
US (1) US11110923B2 (ja)
JP (1) JP6694472B2 (ja)
CN (1) CN110576855B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102334039B1 (ko) * 2020-05-21 2021-12-06 계명대학교 산학협력단 차량용 acc 시스템 시험평가 장치
CN112918463B (zh) * 2021-01-29 2022-08-09 北京瞰瞰智域科技有限公司 车辆自动跟车的方法、设备及车辆
KR102343042B1 (ko) * 2021-05-14 2021-12-24 주식회사 인피닉 연속된 3d 데이터에서 객체 품질 향상 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313922B1 (ko) * 2021-07-08 2021-10-18 주식회사 인피닉 연속되는 3d 점군 데이터의 품질 향상 방법
CN113879305B (zh) * 2021-10-26 2023-10-31 奇瑞汽车股份有限公司 自适应巡航控制方法、装置和车辆

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06180793A (ja) * 1992-12-14 1994-06-28 Omron Corp ナンバープレート自動認識装置
JP3183501B2 (ja) * 1997-07-07 2001-07-09 本田技研工業株式会社 車両用走行制御装置
JPH11250396A (ja) * 1998-02-27 1999-09-17 Hitachi Ltd 車両位置情報表示装置および方法
JP3658519B2 (ja) * 1999-06-28 2005-06-08 株式会社日立製作所 自動車の制御システムおよび自動車の制御装置
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
JP4070450B2 (ja) * 2001-12-10 2008-04-02 ダイハツ工業株式会社 前方車両認識装置及び認識方法
JP4530827B2 (ja) * 2004-12-08 2010-08-25 ダイハツ工業株式会社 画像処理方法及び画像処理装置
JP4760363B2 (ja) 2005-12-22 2011-08-31 パナソニック電工株式会社 天井配線モジュール及び配線システム
DE102010033212A1 (de) * 2010-08-03 2012-02-09 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem benachbarten Fahrzeug
WO2012050486A1 (en) * 2010-10-12 2012-04-19 Volvo Lastvagnar Ab Method and arrangement for entering a preceding vehicle autonomous following mode
DE102011055441A1 (de) * 2011-11-17 2013-05-23 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
JP2015087969A (ja) * 2013-10-31 2015-05-07 三菱電機株式会社 隊列走行装置、交通事故防止装置
US9145116B2 (en) * 2013-12-04 2015-09-29 Mobileye Vision Technologies Ltd. Systems and methods for implementing a multi-segment braking profile for a vehicle
WO2016113891A1 (ja) * 2015-01-16 2016-07-21 三菱電機株式会社 走行計画作成装置および走行計画作成方法
DE102015213193B4 (de) * 2015-07-14 2021-03-18 Ford Global Technologies, Llc Steuersystem für eine Berganfahrhilfe eines Kraftfahrzeugs
KR20170030936A (ko) * 2015-09-10 2017-03-20 주식회사 만도 차간거리 측정장치
RU2675760C1 (ru) * 2015-09-28 2018-12-24 Ниссан Мотор Ко., Лтд. Устройство отображения транспортного средства и способ отображения для транспортного средства
KR20170094592A (ko) * 2016-02-11 2017-08-21 한국전자통신연구원 차량 번호판 인식을 이용한 차량 제어 시스템 및 차량 제어방법
US10562531B2 (en) * 2016-04-28 2020-02-18 Hyundai Motor Company Adaptive cruise control apparatus and method thereof
JP6381079B2 (ja) * 2016-06-17 2018-08-29 株式会社Subaru 車両の走行制御装置
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
JP6390671B2 (ja) * 2016-07-29 2018-09-19 オムロン株式会社 画像処理装置および画像処理方法
JP6294924B2 (ja) * 2016-09-05 2018-03-14 株式会社Subaru 車両の走行制御装置
US10442432B2 (en) * 2017-11-14 2019-10-15 Ford Global Technologies, Llc Lead vehicle monitoring for adaptive cruise control

Also Published As

Publication number Publication date
US20190375406A1 (en) 2019-12-12
CN110576855B (zh) 2022-09-02
CN110576855A (zh) 2019-12-17
JP2019209901A (ja) 2019-12-12
US11110923B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
JP6694472B2 (ja) 車両の追従制御装置
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
CN107305627B (zh) 一种车辆视频监控方法、服务器及系统
JP6511283B2 (ja) 物体検知装置
CN102792314B (zh) 交叉通行碰撞警报系统
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
US8548201B2 (en) Apparatus and method for recognizing identifier of vehicle
JP4426436B2 (ja) 車両検知装置
US20130208945A1 (en) Method for the detection and tracking of lane markings
CN107667378A (zh) 用于识别和评估路面反射的方法和装置
KR101973933B1 (ko) 승차인원 검지방법 및 그 장치
JP5036611B2 (ja) 画像認識装置
JP2003099762A (ja) 前方車両認識装置及び認識方法
KR102195317B1 (ko) 비디오 게임을 활용한 차량 사고 예측 방법
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
CN110147731A (zh) 车辆类型识别方法及相关产品
CN114219829A (zh) 车辆跟踪方法、计算机设备及存储装置
CN105320928A (zh) 对象物识别装置
CN109344829B (zh) 一种高速铁路列车的车号识别方法及装置
JP2020201746A (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
KR20210079180A (ko) 차량 번호판 인식 방법 및 장치
JP2015046126A (ja) 車両検知装置
KR102133045B1 (ko) Cctv 영상 기반 데이터 처리 방법 및 그 시스템
KR102445138B1 (ko) 심층 학습을 이용한 영상 기반 속도 단속 시스템
KR102656253B1 (ko) 번호 인식률을 극대화한 무인 교통 단속시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200417

R150 Certificate of patent or registration of utility model

Ref document number: 6694472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees