JPWO2017092750A5

JPWO2017092750A5 -

Info

Publication number: JPWO2017092750A5
Application number: JP2018527907A
Authority: JP
Publication date: 2022-11-24
Anticipated expiration: 2036-11-25

Description

本発明は、ドライバー・アシスタント機能を実行するために、複数台の車載カメラの画像データが、特に、第一の車載カメラ及び第二の車載カメラの画像データが処理される、車両のドライバー・アシスタント・システム用の制御装置並びに作動方法に関する。 The present invention relates to a driver assistant of a vehicle in which the image data of a plurality of onboard cameras are processed, in particular the image data of a first onboard camera and a second onboard camera, in order to perform a driver assistant function. - Controls for the system and methods of operation.

車両用のドライバー・アシスタント・システムは、従来の技術から基本的に公知である。特に、車両に配置された１台の又は複数台の車載カメラによって、車両周辺部の画像データを捕捉し、当該捕捉された画像データを、制御装置を用いて処理し、画像処理に依存して、様々なドライバー・アシスタント機能を実行しているシステムが公知である。 Driver assistance systems for vehicles are basically known from the prior art. In particular, one or more on-vehicle cameras arranged in the vehicle capture image data of the vehicle periphery, process the captured image data using the control device, and rely on image processing , systems performing various driver assistance functions are known .

例えば、フロントカメラ、即ち、好ましくは、車内の車両ガラスの内側に配置され、車両前方の車両周辺部の方向に向けられている車載カメラを用いて、前方の車両周辺部から画像データを捕捉し、当該画像データを処理し、例えば、走行レーン・アシスタント、交通標識認識、ライト制御、物体・障害物認識と言ったドライバー・アシスタント機能を実行している。 For example, a front camera, i.e., an on-board camera that is preferably positioned inside the vehicle glass inside the vehicle and pointed in the direction of the vehicle periphery in front of the vehicle, is used to capture image data from the vehicle periphery in front of the vehicle. , which processes the image data and performs driver assistance functions such as, for example, lane assistance, traffic sign recognition, light control, and object /obstacle recognition.

また、後進走行用カメラ、即ち、例えば、車両後方に配置された車載カメラを用いて、車両の後方の領域の画像データを捕捉し、当該画像データを処理し、例えば、後方の車両周辺部や、ハンドル操舵角に依存した車両軌道、障害物までの距離を表示するなどのドライバーをサポートするためのドライバー・アシスタント機能を実行している。 In addition, a camera for backward traveling, that is, an in-vehicle camera arranged at the rear of the vehicle, for example, can be used to capture image data of the area behind the vehicle, process the image data, and , the vehicle trajectory depending on the steering angle of the steering wheel, and the driver assistance function to support the driver, such as displaying the distance to obstacles.

ドライバー・アシスタント機能に必要な画像処理とプログラムコードを実行又は実施するためには、知られているように所謂「シグナルプロセッサ」、特に、所謂「デジタルシグナルプロセッサ（ＤＳＰ）」が、採用される。車載カメラによって捕捉された画像データは、この場合、例えば－当該シグナルプロセッサやその他の構成要素と共に－制御装置内に配置されているメモリに記憶されている適宜なプログラムコードを用いて、デジタルシグナルプロセッサによって、処理され、その結果に応じて、ドライバー・アシスタント・システムは－例えば、これも制御装置内に配置されていることができるマイクロコントローラの助けを借りて－車両の様々な構成要素を電子的に作動させることができる。 In order to perform or implement the image processing and program code required for the driver assistance functions, so -called "signal processors", in particular so-called "digital signal processors" (DSP), are employed as is known. The image data captured by the on-board camera is then sent to a digital signal processor, for example using suitable program code stored in a memory located in the control unit - together with the signal processor and other components. and, depending on the result, the driver assistance system - for example with the help of a microcontroller, which can also be located in the control unit - electronically controls various components of the vehicle. can be operated to

複数台の車載カメラの様々なドライバー・アシスタント機能の実行のために中央制御装置が１つだけ使用されている場合、従来は、それに応じて、この中央制御装置に、複数のシグナルプロセッサが配置されてきた。この場合、各々のシグナルプロセッサは、複数台の車載カメラのうちの１台の車載カメラのビデオシグナルを処理する役割を担っている。 If only one central control unit is used for the execution of the various driver assistance functions of the on-board cameras , conventionally several signal processors are arranged in this central control unit accordingly. It's here. In this case , each signal processor is responsible for processing the video signal of one of the multiple on -board cameras .

本発明の本質的な課題は、複数台の車載カメラの画像データが、様々なドライバー・アシスタント機能を実行するために処理される制御装置及びドライバー・アシスタント・システムのコスト及び寸法を節約することにある。 An essential object of the present invention is to save cost and size of control units and driver assistance systems in which the image data of multiple on -board cameras are processed to perform various driver assistance functions. be.

本発明の基本的なアイデアは、ドライバー・アシスタント・システムの１つの制御装置（ＥＣＵ）において、１つのシグナルプロセッサ（ＤＳＰ）が、特に、対応するプログラムコード又は制御アルゴリズムによって、複数台の車載カメラの画像データを処理する役割を担い、特に、複数台の車載カメラのうちの１台の車載カメラの画像データのみを選択的に処理すればよいと言うアイデアである。 The basic idea of the invention is that in one control unit (ECU) of the driver assistance system, one signal processor (DSP) can, in particular , by means of corresponding program codes or control algorithms It is an idea that it takes a role of processing the image data of the camera, and in particular , it is only necessary to selectively process the image data of one vehicle-mounted camera among a plurality of vehicle-mounted cameras.

車両のドライバー・アシスタント・システム用の本発明に係る制御装置（ＥＣＵ）は、１つのシグナルプロセッサ、特に、複数台の車載カメラ、特に、第一の車載カメラ及び第二の車載カメラ（Ｋ１，Ｋ２）の画像データを処理するシグナルプロセッサ（ＤＳＰ）を１つだけ有しているが、ここでは、当該シグナルプロセッサは、車両のその時点における運転状態に応じて複数台ある車載カメラのうち１つの、特に、第一の車載カメラ（Ｋ１）のみの、又は第二の車載カメラ（Ｋ２）のみの画像データを選択的に処理する様に構成されている。 A control unit (ECU) according to the invention for a driver assistance system of a vehicle comprises a signal processor, in particular a plurality of on-board cameras, in particular a first on-board camera and a second on-board camera (K1, K2) has only one signal processor (DSP) for processing the image data. Here, the signal processor selects one of a plurality of in-vehicle cameras according to the driving state of the vehicle at that time. In particular, it is configured to selectively process the image data of only the first vehicle-mounted camera (K1) or only the second vehicle-mounted camera (K2).

本発明は、複数台の車載カメラの画像データが、特に、第一の車載カメラ及び第二の車載カメラ（Ｋ１，Ｋ２）の画像データが、ドライバー・アシスタント・システムの１つの制御装置（ＥＣＵ）によって処理される車両のドライバー・アシスタント・システムを作動させる方法にも関するが、ここでは、当該制御装置（ＥＣＵ）の１つのシグナルプロセッサによって、車両のその時点における運転状態に依存して、それぞれ、複数台ある車載カメラ（Ｋ１，Ｋ２）のうち１つの画像データのみが処理される。 According to the present invention, image data of a plurality of vehicle-mounted cameras, in particular , image data of a first vehicle-mounted camera and a second vehicle-mounted camera (K1, K2) are combined into one control unit (ECU) of a driver assistance system. ), in which a signal processor of one of the control units (ECUs), depending on the current operating state of the vehicle, Only the image data of one of the multiple on -vehicle cameras (K1, K2) is processed.

本発明のある好ましい実施の形態によれば、複数台のうちの第一の車載カメラは、フロントカメラ（Ｋ１）であり、複数台のうちの第二の車載カメラは、後進走行用カメラ（Ｋ２）である。ここで言う、本発明においてそれに依存して１つのシグナルプロセッサが、フロントカメラ又は後進走行用カメラの何れか一方の画像データのみを処理する基準となる「車両の運転状態」とは、車両が前進しているのか、又は、後進しているのかと言う情報である。この情報を、当該シグナルプロセッサは、例えば、車両のバス（ＢＵＳ）による接続を介して、例えば、その時点において、どのギヤが入っているのかに依存して受け取ることができる。この例において、当該シグナルプロセッサが、車両が前進していると言う情報を得たとすると、当該シグナルプロセッサは、好ましくは、フロントカメラ（Ｋ１）の画像データのみ、並びに、特に、フロントカメラ（Ｋ１）に割り当てられているドライバー・アシスタント機能を実施するためのプログラムコードのみを処理する。反対、即ち、当該シグナルプロセッサ（ＤＳＰ）が、車両が後進していると言う情報を得たとすると、当該シグナルプロセッサは、好ましくは、後進走行用カメラ（Ｋ２）の画像データのみ、並びに、特に、後進走行用カメラ（Ｋ２）に割り当てられているドライバー・アシスタント機能を実施するためのプログラムコードのみを処理する。 According to a preferred embodiment of the present invention, the first vehicle-mounted camera among the plurality is the front camera (K1), and the second vehicle-mounted camera among the plurality is the reverse driving camera (K2 ). Here, the "driving state of the vehicle", which is the basis for processing only the image data of either the front camera or the reverse camera depending on the signal processor in the present invention, means that the vehicle is This information indicates whether the vehicle is moving forward or backward. This information can be received by the signal processor, for example, via a BUS connection of the vehicle, depending, for example, on which gear is engaged at the time. In this example, if the signal processor obtains information that the vehicle is moving forward, the signal processor preferably receives only the image data of the front camera (K1) and, in particular , the image data of the front camera (K1). processes only the program code for implementing the driver assistance functions assigned to the Conversely, if the signal processor (DSP) obtains the information that the vehicle is moving in reverse , the signal processor preferably receives only the image data of the reversing camera (K2) and, in particular , It only processes the program code for implementing the driver assistance functions assigned to the reverse driving camera (K2).

本発明のある好ましい更なる実施の形態によれば、複数台の車載カメラのうちの１台の車載カメラは、複数の単一カメラを包含する車両のカメラシステムである。この様なカメラシステムの一例としては、所謂「サラウンドビュー・カメラシステム」を挙げることができる。サラウンドビュー・カメラシステムは、従来の技術から基本的に公知である。この様なシステムでは、複数台の－通常は少なくとも四台の－車両に配置された車載カメラによって、複数の画像データが、車両周辺部の異なる領域から捕捉され、全体画像、特に所謂「サラウンドビュー」又は車両周辺部の上視図（トップヴュー、鳥瞰図）に合成される。この全体画像は、ドライバーに提示され得て、例えば難しい操縦時にサポート的にディスプレー上に表示され得る。この構成の場合、当該シグナルプロセッサは、車両のその時点の運転状態に応じて、例えば後進中又は低速前進走行時（例えば、４０、５０又は６０ｋｍ／ｈ未満の時）は、当該複数の画像データのみと、特に当該カメラシステム、例えばサラウンドビュー・カメラシステムに割り当てられているドライバー・アシスタント機能を実施するためのプログラムコードのみとを処理し、その他の場合では、他の車載カメラ又は他のカメラシステムの画像データ及びプログラムコードのみを処理する。 According to a further preferred embodiment of the invention, one of the plurality of onboard cameras is a vehicle camera system comprising a plurality of single cameras. An example of such a camera system is a so-called "surround view camera system". Surround view camera systems are basically known from the prior art. In such systems, a plurality of image data are captured from different areas of the vehicle periphery by means of a plurality of - usually at least four - on-board cameras arranged in the vehicle , to provide an overall image, in particular a so-called "surround view". , or a top view (top view, bird's eye view) of the vehicle periphery . This overview image can be presented to the driver and can be displayed on the display in a supportive manner, for example during difficult maneuvers . With this arrangement, the signal processor selects the plurality of images depending on the current driving state of the vehicle , e.g. process only data and in particular program code for implementing the driver assistance functions assigned to the camera system in question , for example a surround view camera system ; process only the image data and program code of the camera system.

さらに、本発明は、本発明の制御装置（ＥＣＵ）を包含する、及び／又は本発明の方法にしたがって作動されるドライバー・アシスタント・システムに関する。 Furthermore, the invention relates to a driver assistance system including the control unit (ECU) of the invention and/ or operated according to the method of the invention.

本発明の制御装置（ＥＣＵ）を示す。1 shows a control unit (ECU) of the present invention;

以下、本発明を、図面１に示されている実施の形態に基づいて詳しく説明する。 BEST MODE FOR CARRYING OUT THE INVENTION The present invention will now be described in detail based on an embodiment shown in FIG.

図１の実施の形態によれば、本発明に係る制御装置（ＥＣＵ）は、１つのシグナルプロセッサ（ＤＳＰ）を包含している。このシグナルプロセッサ（ＤＳＰ）は、好ましくは、アナログ画像データにおいて、例えば、アナログ・デジタル変換に関して用いられるデジタル・シグナルプロセッサ（ＤＳＰ）である。当該制御装置（ＥＣＵ）は、更なる構成要素、特に、その中に各々のドライバー・アシスタント機能用の当該シグナルプロセッサ（ＤＳＰ）が実行するプログラムコードが記憶されている記憶手段並びにマイクロコントローラ及びドライバー・アシスタント機能を実行するために必要な構成要素も包含している。 According to the embodiment of FIG. 1, the control unit (ECU) according to the invention includes one signal processor (DSP). This signal processor (DSP) is preferably a digital signal processor (DSP) used on analog image data, for example for analog-to-digital conversion. Said control unit (ECU) comprises further components, in particular storage means, in which the program code executed by said signal processor (DSP) for each driver assistance function is stored , as well as a microcontroller and driver assistance functions. It also contains the components necessary to perform the assistant functions.

図１の実施の形態によれば、当該シグナルプロセッサ（ＤＳＰ）は、画像データを２台の車載カメラ（Ｋ１，．Ｋ２）から受信する。ここで、当該制御装置（ＥＣＵ）は、好ましくは複数台の車載カメラ（Ｋ１，Ｋ２）のビデオシグナル用に少なくとも２つの入力部、例えばＬＶＤＳビデオ入力端子を有するように構成されている。特に、これらの車載カメラ（Ｋ１，Ｋ２）のうちの１台の車載カメラが、複数の単一カメラを包含する１つのカメラシステムである場合、当該制御装置（ＥＣＵ）は、対応する複数のビデオ入力部を有して構成され得る。この場合、このカメラシステムに割り当てられた或る運転状況時に、当該カメラシステムに割り当てられている当該複数の単一カメラの画像データのみが処理される。 According to the embodiment of FIG. 1, the signal processor (DSP) receives image data from two onboard cameras (K1, .K2). Here, the control unit (ECU) is preferably configured with at least two inputs, eg LVDS video inputs, for the video signals of the on-board cameras (K1, K2). In particular, if one of these on-board cameras (K1, K2) is a camera system that includes multiple single cameras, the control unit (ECU) may select the corresponding video It may be configured with an input. In this case, during certain driving situations assigned to this camera system , only the image data of said plurality of single cameras assigned to said camera system are processed.

本実施の形態では、当該シグナルプロセッサ（ＤＳＰ）は、その時点の車両の運転状態に関する情報を、車両のバス（ＢＵＳ）、例えば車両の１つのＣＡＮバス、ＬＩＮＫバス、及び／又は１つのフレックスレイ・バスを介してさらに受信する。
In this embodiment, the signal processor (DSP) transmits information about the current operating state of the vehicle to a bus of the vehicle (BUS), for example one CAN bus, LINK bus and/ or one Receive further via the FlexRay bus.

Claims

A control unit (ECU) for a driver assistance system of a vehicle comprising at least one on- board camera and one signal processor (DSP) responsible for processing image data of one camera system ,
The one signal processor (DSP) selectively outputs image data of only one of the onboard cameras or only of the one camera system using corresponding program code, depending on the current driving state of the vehicle. in a control unit (ECU) configured to perform various driver assistance functions depending on selective processing of image data of one of the on-board cameras or one of the camera systems ; ,
A control unit (ECU) , wherein the one camera system is a surround view camera system having multiple single cameras capturing multiple image data from multiple different areas of the periphery. .

A method of operating a driver assistance system of a vehicle in which image data of at least one on-board camera and one camera system are processed by one control unit (ECU) of the driver assistance system, comprising:
By means of a signal processor (DSP) of the control unit, image data of only one on-board camera or only one camera system, using corresponding program code, depending on the current operating state of the vehicle. is selectively processed and various driver assistance functions are performed depending on the selective processing of image data of one of the on-board cameras or one of the camera systems,
The method, wherein the one camera system is a surround view camera system having multiple single cameras that capture multiple image data from multiple different regions of the periphery.

A driver assistance system, characterized in that it comprises a control unit (ECU) according to claim 1 and/or is operated by the method according to claim 2.