JPWO2018037779A1 - Vehicle control device for recognition control - Google Patents
Vehicle control device for recognition control Download PDFInfo
- Publication number
- JPWO2018037779A1 JPWO2018037779A1 JP2018535528A JP2018535528A JPWO2018037779A1 JP WO2018037779 A1 JPWO2018037779 A1 JP WO2018037779A1 JP 2018535528 A JP2018535528 A JP 2018535528A JP 2018535528 A JP2018535528 A JP 2018535528A JP WO2018037779 A1 JPWO2018037779 A1 JP WO2018037779A1
- Authority
- JP
- Japan
- Prior art keywords
- control target
- target vehicle
- notification
- automatic driving
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
本発明は、自車両の周辺における制御対象車両を、ドライバーが的確に認識可能な認識制御対象報知装置を実現する。本発明は、外界画像取得部10にて得た画像情報を元に、対象認識部11にて対象物を認識し、画像として切り出す。切り出した画像から種別認識部12が対象物の色と形状を判断する。報知内容生成部14は、対象物の形状と色とからなる報知内容を生成し、報知部15を制御する制御信号を出力して、報知部15に上記対象物の形状と色とからなる報知内容を報知する。これにより、使用者が車両制御における対象物の状態を的確に認知することができる。The present invention realizes a recognition control target notification device in which the driver can accurately recognize the control target vehicle around the host vehicle. According to the present invention, the object recognition unit 11 recognizes an object based on the image information obtained by the external image acquisition unit 10, and cuts it out as an image. The type recognition unit 12 determines the color and the shape of the object from the extracted image. The notification content generation unit 14 generates notification content including the shape and color of the object, outputs a control signal for controlling the notification unit 15, and notifies the notification unit 15 of the shape and color of the object Report the contents. Thereby, the user can accurately recognize the state of the object in the vehicle control.
Description
本発明は、自車両の周辺における車両を認識し報知する認識制御対象車両報知装置に関する。 The present invention relates to a recognition control target vehicle notification device that recognizes and notifies a vehicle in the vicinity of a host vehicle.
近年、交通事故の増大傾向に対して車の安全性の飛躍的向上、即ち最初から危険な状態に陷らないように予防安全を図るため、またドライバーの運転負荷を軽減するため、自動緊急ブレーキシステム、緊急回避システム、オートクルーズコントロールシステム、レーンキープ(車線維持)システム、自動駐車システムなど、車両に搭載されたカメラやレーダから得られる情報を利用して車両の運転操作の一部もしくは全部をシステムが自動で行う様々な自動運転技術(ドライバーの寄与度や関与度に応じて様々な自動運転レベルが存在する)が開発されている。 In recent years, in response to the increasing tendency of traffic accidents, automatic emergency braking has been made to dramatically improve the safety of vehicles, that is, to prevent safety problems from the beginning and to reduce the driving load on drivers. A part or all of the driving operation of the vehicle using information obtained from the camera and radar mounted on the vehicle such as the system, emergency avoidance system, auto cruise control system, lane keeping (lane keeping) system, and automatic parking system. Various automatic driving techniques that the system automatically performs (there are various automatic driving levels depending on the degree of contribution and involvement of the driver) have been developed.
上述したシステムは、車両に搭載した前方監視カメラの画像信号により障害物等を認識して、その画像データにより車両の車線逸脱、追突、障害物との接触等の可能性を予測するだけでなく、これら技術を利用し前方の車両追従し走行したり、車線情報に追従し走行したり機能も有している。 The system described above recognizes obstacles etc. by the image signal of the forward surveillance camera mounted on the vehicle, and predicts not only the possibility of lane departure of the vehicle, rear collision, contact with the obstacle etc. Also, it has a function to follow the vehicle ahead by using these technologies and to follow the lane information.
また、上記した追従走行を有する車両において追従走行時と非追従走行時とで表示形態を異ならせる事項が開示されている。 Moreover, in the vehicle having the above-mentioned following movement, there is disclosed a matter in which the display mode is made different between the following movement and the non-following movement.
具体的には、追従するべき先行車両を検出した場合、追従走行の状況を示す画面にて、先行車両表示、自車表示等を表示することにより、前方車両を認識していることをドライバーが認識出来るという効果が得られる技術が特許文献1に記載されている。
Specifically, when the leading vehicle to be followed is detected, the driver displays that the preceding vehicle is recognized by displaying the leading vehicle display, the own vehicle display and the like on the screen showing the status of the following movement.
また、前方監視カメラの画像信号から制御対象物の領域を切り出して、そのまま表示させることにより、前方車両を認識していることをドライバーが認識出来るという技術が特許文献2に記載されている。
Further,
また、認識された立体物の向き、姿勢に合わせた代替画像を用いて、同一視認性を高める技術が特許文献3に記載されている。
Further,
また、動的歩行者と静的歩行者とを判別し、動的歩行者のみをアラート信号に変換する技術が特許文献4に記載されている。 Further, Patent Document 4 describes a technique for discriminating between a dynamic pedestrian and a static pedestrian and converting only the dynamic pedestrian into an alert signal.
しかしながら、上記した特許文献1に開示された発明では、クルーズコントロールに限定し、オンオフ状態をドライバーに知らせ、先行車の存在を決まった形で知らせるだけであり昨今の多様化された車両制御機構に十分対応しているとは言い難い。
However, the invention disclosed in
具体的には、特許文献1に記載のクルーズコントロールを一例にとった場合、先行車の存在を通知するだけであり、その先行車が具体的に何を対象としたのかは通知していないためオートクルーズコントロールシステムのような自動追従機能にて追従している対象が使用者の認識と合致しているかわからない問題があった。
Specifically, when the cruise control described in
また、特許文献2に開示された発明では切り出した画像を用い、先行車の認識情報を使用者に通知する面では特許文献1の問題を解決しているが、カメラで取得した原画像そのものを切り出して転送し表示させるため転送する情報量が多くなり、転送時間が長くなる。また、小領域内に原画像を表示させるため、取得したシーンによっては視認性が悪くなる可能性もある。
Further, the invention disclosed in
また、特許文献3に開示された発明では、自車両の前方に複数の車種が異なる車両が存在する場合、それらの姿勢は、ほとんど同一であるから、対象とする車両をドライバーが特定することは困難である。
Further, in the invention disclosed in
また、特許文献4に開示された発明では、前方走行中の車両は、全て動的車両であるから、全てがアラート信号に変換さることになり、ドライバーが対象とする車両を特定することは困難である。 Further, in the invention disclosed in Patent Document 4, since all the vehicles traveling forward are dynamic vehicles, all are converted into alert signals, and it is difficult for the driver to identify target vehicles. It is.
本発明は、上述した問題に鑑みてなされたものであり、その目的は、自車両の周辺における制御対象車両を、ドライバーが的確に認識可能な認識制御対象車両報知装置を実現することである。 The present invention has been made in view of the above-described problems, and an object thereof is to realize a recognition control target vehicle notification device in which a driver can accurately recognize a control target vehicle in the vicinity of the host vehicle.
上記課題を解決するために、本発明は次のように構成される。 In order to solve the above-mentioned subject, the present invention is constituted as follows.
認識制御対象車両報知装置において、自車両周囲の画像を取得する画像取得部と、上記画像取得部が取得した画像から認識制御対象車両の種別を認識する種別認識部と、上記種別認識部により認識された認識制御対象車両の種別に基づいて、報知情報を生成する報知情報生成部と、上記報知情報生成部により生成された報知用情報を報知する報知部とを備える。 In the recognition control target vehicle notification device, an image acquisition unit that acquires an image of the surroundings of the own vehicle, a type recognition unit that recognizes the type of recognition control target vehicle from the image acquired by the image acquisition unit, and the recognition by the type recognition unit A notification information generation unit that generates notification information based on the type of the recognition control target vehicle, and a notification unit that notifies the notification information generated by the notification information generation unit.
本発明によれば、自車両の周辺における制御対象車両を、ドライバーが的確に認識可能な認識制御対象車両報知装置を実現することができる。 According to the present invention, it is possible to realize a recognition control target vehicle notification device in which the driver can accurately recognize the control target vehicle in the vicinity of the host vehicle.
以下、本発明に係る実施形態について図面を参照して説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
図1は、本発明に係る認識制御対象車両報知装置が搭載された車両のシステム構成の概略構成図である。 FIG. 1 is a schematic configuration diagram of a system configuration of a vehicle equipped with a recognition control target vehicle notification device according to the present invention.
図1において、車両(自動車等)1には、主に、車両1の周辺の情報を取得し、その取得した情報を報知する認識制御対象報知システム2と、車両1を自動的に運転する自動運転システム3とが搭載されている。なお、自動運転システム3による自動運転については、後述する。
In FIG. 1, a vehicle (such as an automobile) 1 mainly acquires information on the periphery of the
認識制御対象報知システム2は、 主に、車両1が自動運転システム3による自動運転中か否かに関する自動運転情報を自動運転システム3から取得する自動運転情報取得部13と、取得(認識)した画像から認識制御対象車両を認識する対象認識部11と、認識した対象車両の種別(形状、色など)を認識する種別認識部12と、種別認識部で認識した認識制御対象車両の種別に基づいて、報知用内容を生成する報知内容生成部(報知情報生成部)14と、生成された報知用内容を報知(表示、音声出力など)する報知部15と、カメラ等の外界画像(自車両周囲画像)を取得する外界画像取得部10とを有しており、報知内容生成部(報知情報生成部)14は、外界画像取得部10から得られる情報と自動運転情報取得部13から得られる自動運転情報とに基づいて制御信号を生成し、出力するように構成されている。
The recognition control
図2は、本発明の実施例における自動運転の動作フローである。 FIG. 2 is an operation flow of automatic operation in the embodiment of the present invention.
図2において、ステップS201において、外界画像認識取得部10は、カメラ状態が正常化か否かを判断する。正常でないと判断した場合は、ステップS209に進み、報知部15等により異常通知を行い、スタートに戻る。
In FIG. 2, in step S201, the external image
ステップS201において、カメラ状態が正常であると判断すると、ステップS202に進み、外界画像認識部10が車両の周辺画像を取得する。次に、ステップS203において、制御対象認識システム2の各部が初期設定を行う。そして、ステップS204において、対象認識部11は、道路の白線を検知し、ステップS205で道路上の立体物を検知する。そして、ステップS206において、先行車両のうちの制御対象車両を選定し、ステップS207に進む。
If it is determined in step S201 that the camera state is normal, the process proceeds to step S202, and the external
ステップS207は、制御対象車両をドライバーが容易に特定可能な報知とするための処理ステップであり、図2の右側に示したステップS211からS215からなる。 Step S207 is a processing step for setting the vehicle to be controlled to a notification that can be easily identified by the driver, and comprises steps S211 to S215 shown on the right side of FIG.
ステップS211において、外界画像取得部10は自車両周辺情報取得し、自動運転情報取得部13は、車両1が自動運転システム3による自動運転中か否かに関する自動運転情報を取得し、自車両周辺画像情報と自動運転情報とが対象認識部11へ送信される。
In step S211, the external world
なお、外界画像取得部10による画像情報の取得や自動運転情報取得部13による自動運転情報の取得は、定期的に行ってもよいし、予め定めたタイミングで行ってもよい。また、外界画像取得部10による画像情報の取得タイミングと自動運転情報取得部13による自動運転情報の取得タイミングとは異なっていてもよいことは勿論である。
Note that acquisition of image information by the external world
次いで、認識制御対象報知システム2の対象認識部11は送信された車両の周辺情報に基づいて、車両の周辺情報に存在する物体を認識し画像として切り出しし種別認識部12に画像を送信する(ステップS212)。
Subsequently, the
種別認識部12は、対象認識部11から送信された切り出した画像に基づいて、物体の形状を判定する(ステップS213)。
The
種別認識部12は、物体の形状を判定した場合、さらに対象認識部11から送信された切り出した画像に基づいて、物体の色を判定する(ステップS214)。
When the
なお、外界画像取得部10による周辺情報の取得に伴い形状の判定と色の判定タイミングは、異なっていてもよいことは勿論である。
Of course, the determination of the shape and the determination of the color may be different in accordance with the acquisition of the surrounding information by the external world
種別認識部12は、物体の切り出し後、物体の形状、色を判定した場合、その物体情報や判定結果を報知内容生成部14に送信する(ステップS215)。
If the
種別認識部12から判定結果を受信した報知内容生成部14は、送信された形状、色情報に従い報知内容を生成する(ステップS216)。
The notification
報知内容生成部14から判断結果を受信した報知部15は、車両1のドライバーに対して物体の切り出し画像や物体の形状、色を含んだアイコンを制御信号として報知する(ステップS208)。
The
なお、この報知部15としては、例えば、メーターや液晶画面、表示(LED)ランプ、音声(ブザーを含む)発生装置、振動発生装置などが挙げられ、報知部15による報知方法としては、メーターや液晶画面などの表示変更、LEDランプなどの光、音声などの音、振動などの発生などが考えられる。
Examples of the
上述のような処理を繰り返すことにより、車両1に設けられた報知部15に対して認識対象物を適切に報知することができる。
By repeating the process as described above, it is possible to appropriately notify the recognition target to the
なお、上記した実施形態では、報知部15が、車両1のドライバーに対して表示や音声にて認識対象の物体の切り出し画像や物体の形状、色を含んだアイコンとして報知するとしたが、表示もしくは音声のどちらか一方のみの制御信号を生成して報知するようにしてもよいし、表示及び音声にて認識対象を報知してもよい。音声の一例としては、対象車両の形状と色を説明するものである。
In the embodiment described above, the
また、表示については、認識対象の形状のみ又は色のみを表示してもよく、音声についても、認識対象の形状のみ又は色のみを報知してもよい。 In addition, for display, only the shape or color of the recognition target may be displayed, and for the sound, only the shape or color of the recognition target may be notified.
また、認識対象物に対して報知を行うことを説明したが、報知対象物は2つに区分けすることができる。一つは、外界画像取得部10にて画像を取得し、対象認識部11にて対象物を判断する際にその対象物の情報を保持しておくだけの対象とする認識対象物である。他の一つは、認識対象物の情報を保持し、かつ自車両1の制御を行う対象とする制御対象物である。
Moreover, although alerting | reporting with respect to a recognition target object was demonstrated, a notification target object can be divided into two. One is a recognition target object that only acquires an image by the external world
上記認識対象物と制御対象物との両方に対して報知するとしてもよいし、片方だけを報知するようにしてもよい。また、両方報知する際に、それぞれ、その報知内容を変えてもよい。 The notification may be made for both the recognition object and the control object, or only one of them may be notified. Moreover, when notifying both, the notification content may be changed.
また、報知内容生成部14にて報知内容を生成する際の条件として自動運転情報取得部13から得た情報を使ってもよい。
Further, information obtained from the automatic driving
例えば、自動運転システム3による自動運転中であると自動運転情報取得部13が判断した場合のみに報知内容生成を行い、報知部15に報知内容を送信するようにしてもよい。また、自動運転システム3による自動運転中でないと自動運転情報取得部13が判断した場合と、自動運転中であると判断した場合とで生成する報知内容を変えて、報知部15に報知内容を送信するようにしてもよい。
For example, the notification content may be generated only when the automatic driving
なお、自動運転情報取得部13から得た情報を使う場合は、車両1は自動運転システム3による自動運転を行う前の準備状態(すなわち、ドライバーによる手動運転の状態)から自動運転システム3による自動運転に切り替えられた否かを判断することになるが、自動運転への切り替えは、自車両1のドライバーによるスイッチ操作などにより手動で行われてもよいし、システムにより自動で行われてもよい。
When using information obtained from the automatic driving
ところで、上記した自動運転システム3は、交通事故の低減、交通渋滞の緩和、環境負荷の低減、高齢者等の移動支援、運転の快適性の向上などを目的として、様々な自動運転機能により実現されており、それらの各自動運転機能から得られる情報に基づいて、自動運転中か否かを判断するための自動運転情報を得ることができる。また、それらの各自動運転機能は、一般に、ドライバーの寄与度や関与度などに応じて複数の自動運転レベル(例えば、レベル0〜4までの5段階レベル)に分類されている(図6参照)。
By the way, the above-mentioned
ここで、本明細書において、自動運転とは、システムが車両の運転操作の全部もしくは一部を行う運転を意味し、例えば、図6で示す例では自動運転レベル1〜4が該当し、手動運転とは、基本的にドライバーが車両の運転操作を行う運転を意味し、例えば図6で示す例では自動運転レベル0が該当する。 Here, in the present specification, the term “automatic driving” means driving in which the system performs all or part of the driving operation of the vehicle, and, for example, in the example shown in FIG. Driving basically means driving in which the driver performs a driving operation of the vehicle, and in the example shown in FIG. 6, for example, the automatic driving level 0 corresponds.
なお、図6に示す自動運転レベルや自動運転機能、それらの分類等は一例であり、本発明がこれに限定されないことは勿論である。 The automatic driving level and the automatic driving function, their classification and the like shown in FIG. 6 are merely examples, and it goes without saying that the present invention is not limited to this.
上記のように、自動運転システム3による自動運転のなかでも、様々な自動運転レベルの自動運転が存在し、ドライバーが依然として制御対象報知を必要とする自動運転と、ドライバーが制御対象報知を必要としない自動運転とがあると考えられる。
As described above, among the automatic driving by the
例えば、自動運転システム3による自動運転のうち、自動運転レベル1のAEB(自動緊急ブレーキ)作動時では、車両1周辺の物体との接触を回避するため、認識対象物、制御対象物について報知を行ってもよいと考えられる。
For example, during automatic driving by
ここで、自動運転レベル0とは、加速、操舵、制動をドライバーが行い、自動運転機能としては、アラウンドビュー、バックビュー、死角ビュー、LDW(車線逸脱警報)、ふらつき警報、FCW(前方衝突警報)がある。 Here, with the automatic driving level 0, the driver performs acceleration, steering, and braking, and as the automatic driving function, it is around view, back view, blind spot view, LDW (lane deviation warning), flutter warning, FCW (forward collision warning ).
また、自動運転レベル1とは、加速(減速)、操舵、制動のいずれかを自動車が行う状態であり、安全運転支援システムである。自動運転機能としては、AEB、緊急回避システム、自動駐車システム、ACC(オートクルーズ)、LKS(車線維持システム)、LDP(車線逸脱防止支援システム)がある。
The
また、自動運転レベル2とは、加速(減速)、操舵、制動のうち、複数の操作を同時に自動車が行い、ドライバーは常に動きを中止する必要がある状態であり、準自動運転システムである。自動運転機能としては、自動運転レベル0と自動運転レベル1との複合型である。
The
また、自動運転レベル3とは、加速(減速)、操舵、制動の全てを自動車が行い、緊急時にのみ、ドライバーが対応する状態であり、準自動運転システムである。自動運転機能としては、半自動である。ただし、一部状況下では、自動運転レベル0と自動運転レベル1との機能の複合型である。
The
また、自動運転レベル4とは、加速(減速)、操舵、制動を全てドラーバー以外が行い、ドライバーは全く関与しない状態であり、完全自動運転システムである。自動運転機能は、全自動である。 The automatic driving level 4 is a completely automatic driving system in which acceleration (deceleration), steering, and braking are all performed except by the driver and the driver is not involved at all. The automatic driving function is fully automatic.
なお、自動運転レベル2〜4において、AEB作動時に警報のみが作動している場合でも自動運転レベル1と同様、認識対象物、制御対象物に対して報知したほうがよいと考えられる。
It should be noted that in the
また、自動運転レベル1の他の機能(自動駐車機能等)が作動している場合、ハンドルやアクセル制御がシステム任せ(システム責任)である場合には認識対象物、制御対象物について報知を行ってもよいと考えられるが、ハンドルやアクセル制御がドライバー任せ(ドライバー責任)である場合には認識対象物、制御対象物に対して何もしなくてもよいと考えられる。
In addition, when other functions (automatic parking function etc.) of
また、自動運転レベル2や自動運転レベル3では、例えば、ACC(オートクルーズコントロール)やLDP(車線逸脱防止支援システム)は単体では一時的なハンドルやアクセル制御(例えば車両1を車線内に戻す)だけであるので、ハンドルやアクセル制御の全てをシステムに任せられる可能性のあるLKS(車線維持システム)との組み合わせである場合には、認識対象物、制御対象物について報知を行ってよいと考えられる。
In addition, at
また、自動運転レベル4では、車両1の運転操作の全てをシステムが行う(完全な自動運転)ので、認識対象物、制御対象物について報知を行ってもよいと考えられる。 Further, at the automatic driving level 4, since the system performs all the driving operations of the vehicle 1 (complete automatic driving), it is considered that notification may be performed on the recognition target and the control target.
上記のように、自動運転システム3による自動運転のなかでも、ドライバーが依然として認識対象物、制御対象物について報知を必要とする自動運転と、ドライバーが制御対象報知を必要としない自動運転とがある。このため、報知内容生成部14は、自動運転情報取得部13から送信された自動運転情報に基づいて、それらの自動運転レベルもしくは自動運転システム3により作動している自動運転機能を判断し、その自動運転レベルもしくは自動運転機能が予め定められた自動運転レベルもしくは自動運転機能である(すなわち、車両1が予め定められた自動運転レベルもしくは自動運転機能の自動運転に切り替わった)と判断した場合に、制御対象報知を行うための制御信号を出力するようにしてもよい。
As described above, among the automatic driving by the
図3〜図5は報知動作を具体的に説明した図であり、図3は、自動運転中に動作する実用例において車両を認識した場合の報知動作の一例を説明した図であり、図4は自動運転であるかないかかわらず動作する実用例において車両を認識している状態にて自動運転中に遷移した場合の報知動作の一例を説明した図である。また、図5は、報知する形状や色をデータして取り扱う際のテーブル管理の一例を説明した図である。 FIGS. 3 to 5 are diagrams for specifically explaining the informing operation, and FIG. 3 is a diagram for explaining an example of the informing operation when a vehicle is recognized in a practical example which operates during automatic driving. These are figures explaining an example of notice operation | movement at the time of changing during automatic driving | running | working in the state which has recognized the vehicle in the practical example which operate | moves whether it is automatic driving | running or not. Moreover, FIG. 5 is a figure explaining an example of table management at the time of data and handling the shape and color to alert | report.
図3に示すように、自動運転中でのみ動作する実用例において前方車両を認識した場合、自動運転を開始する前は、報知部15には、周辺の情報として何も表示していない(報知部15の表示内容S301)。
As shown in FIG. 3, when a forward vehicle is recognized in a practical example that operates only during automatic driving, nothing is displayed on the
ある地点でドライバーもしくは制御対象報知システム2にて、自動運転システムが作動されて車両1が手動運転から自動運転モードに切り替えられ、自動運転情報取得部13が自動運転に切り替えられた情報を取得すると、外界画像取得部10により得た周辺情報16を元に、対象認識部11は取得していた周辺情報から前方に存在した車両を認識する。
そして、認識した車両のうち、認識制御対象車両の車両映像を切り出し画像17として切り出しする。If the driver or controlled
Then, among the recognized vehicles, a vehicle image of the recognition control target vehicle is cut out as a
その後、その切り出し画像17を元に、種別認識部12が形状情報18から形状を判断し、色情報19から色を判断する。そして、報知内容生成部14は、種別認識部12の判断情報を元に、報知内容を生成し(図3には、報知内容は、例として複数の報知内容を示すが、生成する報知内容は、図示した例のうちの一つである)、報知部15に報知内容を通知する。報知部15は表示内容S302に示すように、色彩が施された車種形状画像15Aが表示される。なお、報知部15の表示内容S302には、自車位置を示すマーク15Bが示されているが、これは、必ずしも必要ではない。また、報知部15は、音声にて、例えば、「前方の黄色い乗用車を追従対象としました」と報知する。
Thereafter, based on the cut-out
上述した例は、自動運転モード中において、報知部15に追従対象を報知する例であるが、自動運転モードではない状態においても前方車両を報知部15に表示することもできる。
Although the example mentioned above is an example which alert | reports a tracking object to alerting | reporting
図4は、車両を認識している状態にて自動運転中に遷移した場合の報知動作の一例を説明した図であり、自動運転モードではない状態においても前方車両を報知部15に表示する例の説明図である。
FIG. 4 is a diagram for explaining an example of the notification operation in the case of transitioning during automatic driving in a state in which the vehicle is recognized, and an example of displaying the forward vehicle on the
図4において、自動運転を開始する前にも周辺の認識した対象車両情報(認識制御対象車両以外に認識した車両の情報)が表示されている(報知部15の表示内容S401)。 In FIG. 4, target vehicle information (information of a vehicle recognized other than the recognition control target vehicle) recognized in the vicinity is displayed even before the start of the automatic driving (display content S401 of the notification unit 15).
ただし、表示内容S401の場合は、前方車両を認識しているが、どの色であるかまでは報知していない。 However, in the case of the display content S401, although the preceding vehicle is recognized, it is not notified up to which color it is.
ある地点でドライバーもしくは制御対象報知システム2にて手動運転から自動運転モードに切り替えられると、自動運転情報取得部13が自動運転に切り替えられた情報を取得し、外界画像取得部10により得た周辺情報を元に、対象認識部11は取得していた周辺情報16から、前方、側方に存在した車両を認識しその車両映像を画像17として切り出しする。
When the driver or the control
その切り出し画像17を元に、種別認識部12は、形状、色を判断し、報知内容生成部14はこれらの情報を元に報知する内容を生成し、報知部15に報知内容を通知する。
Based on the cut-out
報知部15への報知内容は、認識した車両のすべてに対し、形状と色を通知する形にしてもよいし(表示内容S402(認識制御対象車両以外に認識した他の車両の情報も表示))、認識のみをした対象の形状のみを通知し色を通知せず、制御対象車両のみを形状および色を通知する形にしてもよい(表示内容S403(認識制御対象車両については形状及び色を生成し、認識制御対象車両以外に認識した車両については、形状及び色のうちの何れかを生成して報知))。
The notification content to the
なお、図3及び図4に示す例では、報知の方法として、図3は制御に必要な物体情報のみを報知するケースとして示し、図4は、制御に必要な物体と、認識している物体の両方を報知するケースを示した。 In the example shown in FIGS. 3 and 4, as a method of notification, FIG. 3 shows a case of notifying only object information necessary for control, and FIG. 4 shows an object recognized as an object necessary for control. The case of notifying both of
また、図3は自動運転動作に移った際に報知動作するケースとし、図4は自動運転前においても報知動作をするケースを示した。図3、図4のどちらのようなケースにしてもよい。 Further, FIG. 3 shows the case where the notification operation is performed when shifting to the automatic driving operation, and FIG. 4 shows the case where the notification operation is performed even before the automatic operation. Either of the cases shown in FIGS. 3 and 4 may be used.
次に、図5を参照して、制御対象車両について色や形状のデータテーブル管理を説明する。 Next, with reference to FIG. 5, data table management of color and shape of a control target vehicle will be described.
図5に示すように、報知部15における報知内容の生成を行う際に、色や形状の送信用データを取り扱うことになる。その際に、色情報を生成する場合、テーブルに、色とその色を示す数値とを対として持たせてもよいし(例1)、RGBなどの色を個々に持たせてもよい(例2)。
As shown in FIG. 5, when the notification content is generated in the
形状情報についても同様に、形状と数値を対として持たせてもよい(例3)。また、色と形状情報とを対として、数値を持たせてもよい(例4)。 Similarly, for shape information, a shape and a numerical value may be given as a pair (example 3). In addition, the color and the shape information may be paired to have a numerical value (example 4).
以上のように、本発明の実施例によれば、自車両の周辺における認識制御対象車両を、ドライバーが的確に認識可能な認識制御対象車両報知装置を実現することができる。 As described above, according to the embodiment of the present invention, it is possible to realize a recognition control target vehicle notification device in which the driver can accurately recognize the recognition control target vehicle around the own vehicle.
つまり、本発明の一実施例の認識制御対象報知システム2によれば、外界画像取得部10にて得た画像情報を元に、対象認識部11にて対象物を認識し、画像として切り出し、切り出した画像から種別認識部12が対象物の色と形状を判断し、報知内容生成部14が、対象物の形状と色とからなる報知内容を生成し、報知部15を制御する制御信号を出力して、報知部15に上記対象物の形状と色とからなる報知内容を報知することにより、使用者が車両制御における対象物の状態を的確に認知することができる。
That is, according to the recognition control
また、報知内容生成部14は、自動運転システム3による自動運転中か否かに関する自動運転情報を取得し、自動運転情報に基づいて、報知する内容を変更することにより、使用者が認識対象および車両制御における対象の状態を的確に認知することができる。
Further, the notification
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形が含まれる。
例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。The present invention is not limited to the above-described embodiment, but includes various modifications.
For example, the above-described embodiment is described in detail to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Further, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. In addition, it is possible to add, delete, and replace other configurations for part of the configurations of the embodiment.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.
1・・・車両、2・・・制御対象報知システム、3・・・自動運転システム、10・・・外界画像情報取得部、11・・・対象認識部、12・・・種別認識部、13・・・自動運転情報取得部、14・・・報知内容生成部(報知情報生成部)、15・・・報知部、16・・・周辺情報、17・・・切り出し画像、18・・・形状情報、19・・・報知内容
DESCRIPTION OF
Claims (16)
上記画像取得部が取得した画像から認識制御対象車両の種別を認識する種別認識部と、
上記種別認識部により認識された認識制御対象車両の種別に基づいて、報知情報を生成する報知情報生成部と、
上記報知情報生成部により生成された報知用情報を報知する報知部と、
を備えることを特徴とする認識制御対象車両報知装置。An image acquisition unit for acquiring an image of the surroundings of the host vehicle;
A type recognition unit that recognizes the type of the recognition control target vehicle from the image acquired by the image acquisition unit;
A notification information generation unit that generates notification information based on the type of the recognition control target vehicle recognized by the type recognition unit;
A notification unit for notifying the notification information generated by the notification information generation unit;
A recognition control target vehicle notification device comprising:
自動運転情報を取得する自動運転情報取得部を備え、上記報知情報生成部は、上記種別認識部で認識した種別および上記自動運転情報取得部で取得された自動運転情報に基づいて、報知情報を生成することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 1,
The automatic driving information acquiring unit for acquiring the automatic driving information is provided, and the notification information generating unit generates the notification information based on the type recognized by the type recognition unit and the automatic driving information acquired by the automatic driving information acquiring unit. A recognition control target vehicle notification device characterized by generating.
上記報知情報生成部が生成する報知情報は、上記種別認識部により認識された認識制御対象車両の色であることを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 1,
The notification control target vehicle notification device is characterized in that the notification information generated by the notification information generation unit is a color of the recognition control target vehicle recognized by the type recognition unit.
上記報知情報生成部が生成する報知用情報は、上記種別認識部により認識された認識制御対象車両の形状であることを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 1,
A recognition control target vehicle notification device characterized in that the notification information generated by the notification information generation unit is a shape of a recognition control target vehicle recognized by the type recognition unit.
上記報知情報生成部が生成する報知情報は、上記種別認識部により認識された認識制御対象車両の種別を説明する音声であることを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 1,
The notification control target vehicle notification device is characterized in that the notification information generated by the notification information generation unit is a voice that describes the type of the recognition control target vehicle recognized by the type recognition unit.
上記報知情報生成部は、上記報知情報を上記報知部で報知させるための制御信号を上記報知部に出力することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to any one of claims 3, 4 and 5.
The recognition control target vehicle notification device, wherein the notification information generation unit outputs a control signal for causing the notification unit to notify the notification information to the notification unit.
上記種別認識部は、上記画像取得部が取得した画像から認識制御対象車両の形状及び色を認識し、上記報知情報生成部が生成する報知情報は、上記種別認識部により認識された認識制御対象車両の形状及び色であることを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 1,
The type recognition unit recognizes the shape and color of the recognition control target vehicle from the image acquired by the image acquisition unit, and the notification information generated by the notification information generation unit is the recognition control object recognized by the type recognition unit. A recognition control target vehicle notification device characterized by the shape and color of a vehicle.
上記種別認識部は、上記画像取得部が取得した画像から認識対象車両の形状及び色を認識し、上記報知情報生成部が生成する報知情報は、上記種別認識部により認識された認識制御対象車両の形状、色及び上記認識制御対象車両の種別を説明する音声であることを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 6,
The type recognition unit recognizes the shape and color of the recognition target vehicle from the image acquired by the image acquisition unit, and the notification information generated by the notification information generation unit corresponds to the recognition control target vehicle recognized by the type recognition unit. A recognition control target vehicle notification device, which is a voice for explaining the shape, color, and type of the recognition control target vehicle.
上記報知情報生成部は、上記自動運転情報取得部が自車両の自動運転が行われていることを示す場合にのみ、報知情報を生成することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 6,
The recognition control target vehicle notification device characterized in that the notification information generation unit generates notification information only when the automatic driving information acquisition unit indicates that automatic driving of the vehicle is being performed.
上記報知情報生成部は、上記自動運転情報取得部が自車両の自動運転が行われていないことを示す場合は、上記種別認識部は、認識制御対象車両及び認識制御対象車両以外に認識した車両の形状及び色のうちの何れかを生成して、上記報知部に報知し、上記自動運転情報取得部が自車両の自動運転が行われていることを示す場合には、上記種別認識部は、認識制御対象車両及び認識制御対象車両以外に認識した車両の形状及び色を生成して、上記報知部に報知することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 6,
When the notification information generation unit indicates that the automatic driving information acquisition unit does not perform automatic driving of the own vehicle, the type recognition unit recognizes the recognition control target vehicle and a vehicle other than the recognition control target vehicle If the automatic driving information acquisition unit indicates that the automatic driving of the vehicle is being performed, the type recognition unit generates one of the shape and color of A recognition control target vehicle notification device generating a shape and a color of a recognition control target vehicle and a vehicle recognized other than the recognition control target vehicle and notifying the notification unit.
上記報知情報生成部は、上記自動運転情報取得部が自車両の自動運転が行われていないことを示す場合は、上記種別認識部は、認識制御対象車両及び認識制御対象車両以外に認識した車両の形状及び色のうちの何れかを生成して、上記報知部に報知し、上記自動運転情報取得部が自車両の自動運転が行われていることを示す場合には、上記種別認識部は、認識制御対象車両については形状及び色を生成し、認識制御対象車両以外に認識した車両については、形状及び色のうちの何れかを生成して、上記報知部に報知することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 6,
When the notification information generation unit indicates that the automatic driving information acquisition unit does not perform automatic driving of the own vehicle, the type recognition unit recognizes the recognition control target vehicle and a vehicle other than the recognition control target vehicle If the automatic driving information acquisition unit indicates that the automatic driving of the vehicle is being performed, the type recognition unit generates one of the shape and color of A shape and color are generated for a recognition control target vehicle, and any of the shape and color is generated for a vehicle recognized other than the recognition control target vehicle, and the notification unit is notified of the generation. Vehicle control device for recognition control.
上記自動運転は、複数の自動運転レベルに分類され、上記報知情報生成部は、上記自車両が予め定められた自動運転レベルの自動運転である場合に、上記制御信号を上記報知部に出力することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to any one of claims 9, 10, and 11,
The automatic driving is classified into a plurality of automatic driving levels, and the notification information generation unit outputs the control signal to the notification unit when the vehicle is an automatic driving at a predetermined automatic driving level. A recognition control target vehicle notification device characterized in that.
上記予め定められた自動運転レベルの自動運転は、上記自車両を自動的に制動する自動緊急ブレーキ機能を含むことを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 12,
The recognition control target vehicle notification device characterized in that the automatic driving of the predetermined automatic driving level includes an automatic emergency braking function for automatically braking the host vehicle.
上記予め定められた自動運転レベルの自動運転は、上記自車両の自動的な加減速、操舵、制動のうちのいずれかを含むことを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 12,
The recognition control target vehicle notification device characterized in that automatic driving of the predetermined automatic driving level includes any of automatic acceleration / deceleration, steering, and braking of the own vehicle.
上記予め定められた自動運転レベルの自動運転は、上記自車両の自動的な加減速、操舵、制動のすべてを含み、緊急時のみ上記自車両のドライバーが対応することを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 12,
The automatic driving at the predetermined automatic driving level includes all of the automatic acceleration / deceleration, steering, and braking of the vehicle, and the driver of the vehicle responds only in an emergency. Vehicle notification device.
上記予め定められた自動運転レベルの自動運転は、上記自車両の自動的な加減速、操舵、制動のすべてを含むことを特徴とする認識制御対象車両報知装置。In the recognition control target vehicle notification device according to claim 12,
The recognition control target vehicle notification device characterized in that automatic driving of the predetermined automatic driving level includes all of automatic acceleration / deceleration, steering, and braking of the own vehicle.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016163780 | 2016-08-24 | ||
JP2016163780 | 2016-08-24 | ||
PCT/JP2017/026238 WO2018037779A1 (en) | 2016-08-24 | 2017-07-20 | Announcement device for recognition control target vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018037779A1 true JPWO2018037779A1 (en) | 2019-06-20 |
JP6619521B2 JP6619521B2 (en) | 2019-12-11 |
Family
ID=61245684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018535528A Active JP6619521B2 (en) | 2016-08-24 | 2017-07-20 | Vehicle control device for recognition control |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6619521B2 (en) |
CN (1) | CN109416887B (en) |
WO (1) | WO2018037779A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7140580B2 (en) * | 2018-07-13 | 2022-09-21 | マクセル株式会社 | stereo imager |
CN110415543A (en) * | 2019-08-05 | 2019-11-05 | 北京百度网讯科技有限公司 | Exchange method, device, equipment and the storage medium of information of vehicles |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018548A (en) * | 2003-06-27 | 2005-01-20 | Alpine Electronics Inc | Display device for peripheral vehicle |
JP2010228471A (en) * | 2009-03-25 | 2010-10-14 | Denso Corp | Display device |
JP2015018438A (en) * | 2013-07-11 | 2015-01-29 | 株式会社デンソー | Travel support device |
JP2015193329A (en) * | 2014-03-31 | 2015-11-05 | 日立オートモティブシステムズ株式会社 | Vehicle motion control system, vehicle and program |
WO2016109829A1 (en) * | 2014-12-31 | 2016-07-07 | Robert Bosch Gmbh | Autonomous maneuver notification for autonomous vehicles |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0979821A (en) * | 1995-09-12 | 1997-03-28 | Suzuki Motor Corp | Obstacle recognizing device |
JP2990267B1 (en) * | 1998-08-27 | 1999-12-13 | 建設省土木研究所長 | Road information communication system |
JP3895238B2 (en) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | Obstacle detection apparatus and method |
US8140209B2 (en) * | 2005-11-17 | 2012-03-20 | Aisin Seiki Kabushiki Kaisha | Parking assisting device and parking assisting method |
JP4377439B1 (en) * | 2008-06-12 | 2009-12-02 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
WO2010038851A1 (en) * | 2008-10-02 | 2010-04-08 | 日立オートモティブシステムズ株式会社 | Information processing device associated with vehicle traveling |
JP5192007B2 (en) * | 2010-03-12 | 2013-05-08 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
CN102700462B (en) * | 2012-05-30 | 2015-04-22 | 广东好帮手电子科技股份有限公司 | Warning device and warning method in panoramic auxiliary driving system |
JP2014061786A (en) * | 2012-09-21 | 2014-04-10 | Sony Corp | Movable body and program |
JP6135618B2 (en) * | 2014-08-08 | 2017-05-31 | トヨタ自動車株式会社 | Vehicle control device |
CN104269073B (en) * | 2014-09-11 | 2016-05-18 | 同济大学 | A kind of reverse track based on truck traffic method for early warning of overtaking other vehicles |
KR101737792B1 (en) * | 2014-11-10 | 2017-05-19 | 현대모비스 주식회사 | Self driving vehicle, self driving management apparatus and method for controlling the same |
-
2017
- 2017-07-20 JP JP2018535528A patent/JP6619521B2/en active Active
- 2017-07-20 CN CN201780040097.0A patent/CN109416887B/en active Active
- 2017-07-20 WO PCT/JP2017/026238 patent/WO2018037779A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018548A (en) * | 2003-06-27 | 2005-01-20 | Alpine Electronics Inc | Display device for peripheral vehicle |
JP2010228471A (en) * | 2009-03-25 | 2010-10-14 | Denso Corp | Display device |
JP2015018438A (en) * | 2013-07-11 | 2015-01-29 | 株式会社デンソー | Travel support device |
JP2015193329A (en) * | 2014-03-31 | 2015-11-05 | 日立オートモティブシステムズ株式会社 | Vehicle motion control system, vehicle and program |
WO2016109829A1 (en) * | 2014-12-31 | 2016-07-07 | Robert Bosch Gmbh | Autonomous maneuver notification for autonomous vehicles |
Also Published As
Publication number | Publication date |
---|---|
CN109416887B (en) | 2021-09-21 |
CN109416887A (en) | 2019-03-01 |
JP6619521B2 (en) | 2019-12-11 |
WO2018037779A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7427280B2 (en) | Automatic driving control equipment and vehicles | |
JP5316785B2 (en) | Driving support system and driving support method | |
US20130090806A1 (en) | Method for operating a driver assistance system of a motor vehicle and driver assistance system for a motor vehicle | |
JP4517393B2 (en) | Driving assistance device | |
US20150166059A1 (en) | Autonomous vehicle driving support system and autonomous driving method performed by the same | |
US11351992B2 (en) | Method and system for assisting drivers to drive with precaution | |
JP6557843B1 (en) | VEHICLE CONTROL DEVICE, CONTROL SYSTEM, AND CONTROL PROGRAM | |
JP2008293099A (en) | Driving support device for vehicle | |
JP6416288B2 (en) | Operation control device | |
WO2015178303A1 (en) | Safety confirmation assist device | |
JP5811543B2 (en) | Rear vehicle collision warning device | |
JP2010231339A (en) | Message communication apparatus, message communication method, message communication system, and message communication program | |
JP6838124B2 (en) | Automatic operation control system | |
JP2010146459A (en) | Driving support device | |
JP5438086B2 (en) | Message communication apparatus, message communication method, message communication system, and message communication program | |
JP2010195207A (en) | Driving support device | |
JP6619521B2 (en) | Vehicle control device for recognition control | |
JP2009051346A (en) | Display control device for peripheral monitoring and image display control system | |
US20210206315A1 (en) | Ecu and lane departure warning system | |
JP2004224093A (en) | Automatic speed control device for vehicle | |
JP2016224553A (en) | Traffic information display system for vehicle | |
JP2017182587A (en) | Abnormality notification device | |
KR101995054B1 (en) | Device and method of camera video output and storage system using V2V communication | |
SE541474C2 (en) | Method and system for preventing a trailing vehicle from colliding with a leading vehicle | |
JP2018090006A (en) | Drive support apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6619521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |