JP4800078B2

JP4800078B2 - Vehicle perimeter monitoring system

Info

Publication number: JP4800078B2
Application number: JP2006080337A
Authority: JP
Inventors: 正人渡辺; 公士佐藤; 喜三石田; 朋藤巻; 裕之徳永
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2011-10-26
Anticipated expiration: 2026-03-23
Also published as: JP2007257258A

Description

本発明は、車両の周辺を監視するシステムに関する。 The present invention relates to a system for monitoring the periphery of a vehicle .

車両が右左折する際に歩行者や二輪車等の物体と接触することを回避するため、交差点手前で車載カメラにより取り込まれた映像に基づき、その交差点に車両が進入するときにこの車両と接触する可能性がある物体の存在を運転者に知らせる技術が提案されている（たとえば、特許文献１参照）。この技術によれば、車両が交差点に接近したことが判明した後で車載カメラによりわずかな時間差をもって撮影された２カットの映像を用いて、この車両と接触する可能性がある物体の有無が判定される。
特開２００４−０５１００６号公報第００２４段落〜第００３１段落、図２ In order to avoid contact with objects such as pedestrians and motorcycles when the vehicle makes a right or left turn, it comes into contact with the vehicle when the vehicle enters the intersection based on the video captured by the in-vehicle camera before the intersection A technique for informing the driver of the presence of a possible object has been proposed (see, for example, Patent Document 1). According to this technique, it is determined whether or not there is an object that may come into contact with the vehicle by using a two-cut image taken with a slight time difference after the vehicle is found to have approached the intersection. Is done.
Japanese Patent Laid-Open No. 2004-051006, paragraphs 0024 to 0031, FIG.

しかし、車両に対する物体の相対的挙動は一様ではない。このため、前記技術によれば、車両が交差点に接近することが判明する前はカメラの撮影範囲にあった一方、その後でこの範囲から外れた物体については、車両との接触可能性を評価することはできない。 However, the relative behavior of the object with respect to the vehicle is not uniform. For this reason, according to the above technique, before the vehicle is found to approach the intersection, it was in the shooting range of the camera, but after that, an object outside this range is evaluated for contact possibility with the vehicle. It is not possible.

そこで、本発明は、車両が右左折等するときに物体と接触する可能性をより高い精度で評価して、この評価に応じて車載機器が適当に制御されうるように車両の周辺を監視しうるシステムを提供することを解決課題とする。 Therefore, the present invention evaluates the possibility of contact with an object with higher accuracy when the vehicle turns right and left, etc., and monitors the periphery of the vehicle so that the in-vehicle device can be appropriately controlled according to this evaluation. The problem to be solved is to provide a system that can be used .

本発明の車両周辺監視システムは、車載の撮像装置により定常的に取り込まれた映像に基づいて前記車両の周辺にある物体の位置を逐次測定し、前記物体の時系列的な測定位置を第１記憶部に保存する第１処理部と、前記車両が曲がる可能性の有無を判定し、前記車両が曲がる可能性があると判定した場合、前記第１記憶部に保存されている前記物体の時系列的な測定位置に基づいて前記車両が曲がるときの前記物体との接触可能性を評価し、前記車両と前記物体との接触可能性の高低に応じて車載機器の動作を異なる形で制御する第２処理部とを備え、前記第２処理部が、前記撮像装置により撮像された前記車両の前方の画像を表示する車載の情報出力装置に表示された第１物体と、前記情報出力装置の表示範囲から前記第１物体が外れた後に前記情報出力装置に表示された第２物体とが同一の物体であるか異なる物体であるかを判定し、前記第１物体と前記第２物体とが同一の物体であると判定した場合、前記車両と前記第１物体との接触可能性が低いと判定する一方、前記第１物体と前記第２物体とが異なる物体であると判定した場合、前記車両と前記第１物体との接触可能性が高いと判定することを特徴とする。 The vehicle periphery monitoring system of the present invention sequentially measures the position of an object in the vicinity of the vehicle based on an image that is regularly captured by an in-vehicle imaging device, and sets a first time-series measurement position of the object. When the first processing unit stored in the storage unit and the vehicle stored in the first storage unit are determined to determine whether the vehicle is likely to bend and the vehicle is likely to bend The possibility of contact with the object when the vehicle is bent is evaluated based on a series of measurement positions, and the operation of the in-vehicle device is controlled differently depending on the level of contact possibility between the vehicle and the object. A second processing unit, wherein the second processing unit displays a first object displayed on an in-vehicle information output device that displays an image in front of the vehicle imaged by the imaging device, and the information output device. The first object is out of the display range Determining whether the second object displayed on the information output device is the same object or a different object, and determining that the first object and the second object are the same object, While it is determined that the possibility of contact between the vehicle and the first object is low, the vehicle and the first object can be contacted when it is determined that the first object and the second object are different objects. It is characterized by determining that the property is high .

前記第２処理部が、前記撮像装置により撮像された前記第１物体および前記第２物体のそれぞれの重心位置、面積および外接四辺形の縦横比のうち一部または全部の変化パターンを対比することにより、前記第１物体と前記第２物体とが異なる物体であるか同一の物体であるかを判定してもよい。 The second processing unit compares a part or all of the change patterns of the gravity center position, the area, and the aspect ratio of the circumscribed quadrilateral of each of the first object and the second object imaged by the imaging device. Thus, it may be determined whether the first object and the second object are different objects or the same object .

本発明の車両周辺監視システムの実施形態について図面を用いて説明する。まず、本発明の車両周辺監視システムの構成について図１および図２を用いて説明する。図１に示されているように車両１には、車両周辺監視システム１０と、ナビゲーションシステム（以下「ナビシステム」という。）２０とが搭載されている。車両１の前部には、車幅方向中心部に対してほぼ対称に左右一対の赤外線カメラ１０２が配置されている。２つの赤外線カメラ１０２の光軸は路面からの高さが等しく、かつ、相互に平行となるように調節されている。車両１のフロントウィンドウにはＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）１２２が、運転者の視界を妨げないように配置されている。ＨＵＤ１２２には、赤外線カメラ１０２を通じて取得された、図４（ａ）に示されているような車両１の前方の映像（画像）が表示される。また、図２に示されているように車両１には、そのヨーレートに応じた信号を出力するヨーレートセンサ１０４と、その速度に応じた信号を出力する速度センサ１０６と、方向指示器の出力に応じた信号を出力する方向指示器センサ１０８等、種々のセンサが搭載されている。 An embodiment of a vehicle periphery monitoring system of the present invention will be described with reference to the drawings. First, the structure of the vehicle periphery monitoring system of this invention is demonstrated using FIG. 1 and FIG. As shown in FIG. 1, a vehicle periphery monitoring system 10 and a navigation system (hereinafter referred to as “navigation system”) 20 are mounted on the vehicle 1. A pair of left and right infrared cameras 102 are disposed at the front portion of the vehicle 1 substantially symmetrically with respect to the center in the vehicle width direction. The optical axes of the two infrared cameras 102 are adjusted so that the height from the road surface is equal and parallel to each other. A HUD (Head Up Display) 122 is arranged on the front window of the vehicle 1 so as not to obstruct the driver's view. On the HUD 122, an image (image) in front of the vehicle 1 as shown in FIG. 4A acquired through the infrared camera 102 is displayed. As shown in FIG. 2, the vehicle 1 includes a yaw rate sensor 104 that outputs a signal corresponding to the yaw rate, a speed sensor 106 that outputs a signal corresponding to the speed, and an output of the direction indicator. Various sensors such as a direction indicator sensor 108 that outputs a corresponding signal are mounted.

ナビシステム２０はＣＰＵ、ＲＯＭ、ＲＡＭ等のメモリ、信号入力回路、信号出力回路等により構成されている。ナビシステム２０はユーザにより設定された目的地までのルートを設定し、車両１のコンソールに配置されたナビディスプレイ２０２に、図４（ｂ）に示されているようなルートＲを表示させる。また、ナビシステム２０は、ナビディスプレイ２０２に、ＧＰＳにより測定された車両１の現在位置およびヨーレートセンサ１０４の出力に応じた車両１の進行方向を表す、図４（ｂ）に示されているようなアイコンＣを表示させる。 The navigation system 20 includes a CPU, a ROM, a memory such as a RAM, a signal input circuit, a signal output circuit, and the like. The navigation system 20 sets a route to the destination set by the user, and displays the route R as shown in FIG. 4B on the navigation display 202 arranged on the console of the vehicle 1. Further, the navigation system 20 is shown on the navigation display 202 as shown in FIG. 4B, which represents the traveling position of the vehicle 1 according to the current position of the vehicle 1 measured by GPS and the output of the yaw rate sensor 104. A simple icon C is displayed.

車両周辺監視システム１０は、車両１に搭載されたコンピュータ（ＣＰＵ、ＲＯＭ、ＲＡＭ、信号入力回路、信号出力回路等により構成されている。）と、メモリ等に格納され、当該コンピュータに諸機能を付与する本発明の「車両周辺監視プログラム」とにより構成されている。車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、その一部または全部が運転手または車載コンピュータからのリクエストがあったとき等、任意のタイミングで所定のサーバからダウンロードされてもよい。また、図２に示されているように車両周辺監視システム１０は、第１処理部１１と、第１記憶部１１１と、第２記憶部１１２と、第２処理部１２とを備えている。 The vehicle periphery monitoring system 10 is stored in a computer (comprised of a CPU, ROM, RAM, signal input circuit, signal output circuit, etc.) mounted on the vehicle 1, a memory, etc., and has various functions in the computer. It is comprised by the "vehicle periphery monitoring program" of this invention to provide. The vehicle periphery monitoring program may be stored in the memory of the in-vehicle computer from the beginning, but a part or all of it is downloaded from a predetermined server at an arbitrary timing such as when a request from the driver or the in-vehicle computer is received. May be. As shown in FIG. 2, the vehicle periphery monitoring system 10 includes a first processing unit 11, a first storage unit 111, a second storage unit 112, and a second processing unit 12.

第１処理部１１は、赤外線カメラ１０２により定常的に取り込まれた映像に基づいて車両１の周辺にある物体の位置を逐次測定し、最近の第１時系列的な物体の測定位置を第１記憶部１１１に保存する。また、第１処理部は、赤外線カメラ１０２により取り込まれた、最近の第２時系列的な車両１の周辺映像を第２記憶部１１２に保存する。 The first processing unit 11 sequentially measures the position of an object around the vehicle 1 based on the image captured by the infrared camera 102 steadily, and the first first time-series measurement position of the object is the first. Save in the storage unit 111. In addition, the first processing unit stores the latest second time-series surrounding image of the vehicle 1 captured by the infrared camera 102 in the second storage unit 112.

第２処理部１２は、ナビシステム２０により車両１が曲がる可能性の有無を判定し、かつ、曲がる方向を推定する。また、第２処理部１２は方向指示器センサ１０８の出力やナビシステム２０により設定されたルートの形状等に基づいて車両１が曲がる方向を推定する。さらに、第２処理部１２は第１記憶部１１１に保存されている物体の時系列的な測定位置のうち当該推定方向側における時系列的な測定位置に基づき、車両１が曲がるときの物体との接触可能性を示す情報をＨＵＤ１２２およびナビディスプレイ２０２に出力させる。また、第２処理部１２は第２記憶部１１２に保存されている過去の映像をＨＵＤ１２２に表示させる。 The second processing unit 12 determines whether or not the vehicle 1 may bend by the navigation system 20 and estimates the direction of the turn. Further, the second processing unit 12 estimates the direction in which the vehicle 1 bends based on the output of the direction indicator sensor 108, the shape of the route set by the navigation system 20, and the like. In addition, the second processing unit 12 includes the object when the vehicle 1 bends based on the time-series measurement position on the estimation direction side among the time-series measurement positions of the object stored in the first storage unit 111. The information indicating the possibility of touching is output to the HUD 122 and the navigation display 202. In addition, the second processing unit 12 causes the HUD 122 to display past videos stored in the second storage unit 112.

前記構成の車両周辺監視システム１０の機能について図３〜図５を用いて説明する。まず、制御サイクルを表す指数ｋが１に設定される（図３／Ｓ００２）。第１処理部１１が、一対の赤外線カメラ１０２により取り込まれた映像に基づき、この映像に含まれる物体の実空間位置Ｐ_kを測定する（図３／Ｓ１０２）。実空間位置Ｐ_kとは、図１に示されているように一対のカメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。 Functions of the vehicle periphery monitoring system 10 having the above-described configuration will be described with reference to FIGS. First, an index k representing a control cycle is set to 1 (FIG. 3 / S002). The first processing unit 11 measures the real space position P _k of the object included in the video based on the video captured by the pair of infrared cameras 102 (S102 in FIG. 3). As shown in FIG. 1, the real space position P _k is the origin O at the midpoint of the mounting position of the pair of cameras 102, and the X, Y, and Z axes are the horizontal, vertical, and front-back directions, respectively. It means the position in the coordinate system.

物体の実空間位置Ｐ_kの測定方法としては特開２００１−６０９６号公報、特開２００３−１５７４９８号公報等に開示されている方法が採用されるので、本願明細書ではその詳細な説明を省略する。この測定方法には、赤外線画像、グレースケール画像、２値化画像、探索画像等の処理が含まれ、第１処理部１１は実空間位置Ｐ_kの測定に伴って、ＨＵＤ１２２に表示される映像Ｉ_kを取得する（図３／Ｓ１０４）。この映像Ｉ_kにおいては、車両１と接触する可能性のある物体が強調表示されうる。 As methods for measuring the real space position P _k of the object, methods disclosed in Japanese Patent Application Laid-Open Nos. 2001-6096, 2003-157498, etc. are adopted, and detailed description thereof is omitted in this specification. To do. This measurement method includes processing of an infrared image, a grayscale image, a binarized image, a search image, and the like. The first processing unit 11 displays an image displayed on the HUD 122 as the real space position P _k is measured. _Ik is acquired (FIG. 3 / S104). In this video I _k , an object that may come into contact with the vehicle 1 can be highlighted.

また、第１処理部１１は第１記憶部１１１により記憶されている時系列的な実空間位置｛Ｐ_k｝の総数Ｎ｛Ｐ_k｝が第１所定数Ｎ₁未満であるか否かを判定する（図３／Ｓ１１２）。当該判定結果が肯定的であった場合（図３／Ｓ１１２‥ＹＥＳ）、第１処理部１１は今回測定した実空間位置Ｐ_kを第１記憶部１１１に保存（または格納）する（図３／Ｓ１１６）。一方、当該判定結果が否定的であった場合（図３／Ｓ１１２‥ＮＯ）、第１処理部１１は、今回からＮ₁回だけ先の制御サイクルにおいて測定した実空間位置Ｐ_k-N1を第１記憶部１１１から消去した上で（図３／Ｓ１１４）、今回測定した実空間位置Ｐ_kを第１記憶部１１１に保存する（図３／Ｓ１１６）。これにより、第１記憶部１１１には、Ｎ₁個の時系列的な実空間位置Ｐ_kが格納されうる。 Further, the first processing unit 11 determines whether or not the total number N {P _k } of the time-series real space positions {P _k } stored in the first storage unit 111 is less than the first predetermined number N _1. Determination is made (FIG. 3 / S112). When the determination result is affirmative (FIG. 3 / S112... YES), the first processing unit 11 stores (or stores) the real space position _Pk measured this time in the first storage unit 111 (FIG. 3 / S116). On the other hand, if the determination result is negative (FIG. 3 / S112... NO), the first processing unit 11 uses the real space position P _k−N1 measured in the control cycle N ₁ times ahead from the current time. After erasing from the first storage unit 111 (FIG. 3 / S114), the real space position P _k measured this time is stored in the first storage unit 111 (FIG. 3 / S116). Thus, N ₁ time-series real space positions P _k can be stored in the first storage unit 111.

さらに、第１処理部１１は第２記憶部１１２により記憶されている時系列的な映像｛Ｉ_k｝の総数Ｎ｛Ｉ_k｝が第２所定数Ｎ₂未満であるか否かを判定する（図３／Ｓ１２２）。当該判定結果が肯定的であった場合（図３／Ｓ１２２‥ＹＥＳ）、第１処理部１１は今回取得した映像Ｉ_kを第２記憶部１１２に保存する（図３／Ｓ１２６）。一方、当該判定結果が否定的であった場合（図３／Ｓ１２２‥ＮＯ）、第１処理部１１は、今回からＮ₂回だけ先の制御サイクルにおいて取得した映像Ｉ_k-N2を第２記憶部１１２から消去した上で（図３／Ｓ１２４）、今回取得した映像Ｉ_kを第２記憶部１１２に保存する（図３／Ｓ１２６）。これにより、第２記憶部１１２には、Ｎ₂個の時系列的な映像Ｉ_kが格納されうる。なお、第１所定数Ｎ₁および第２所定数Ｎ₂は等しくてもよい。 Further, the first processing unit 11 determines whether or not the total number N {I _k } of time-series videos {I _k } stored in the second storage unit 112 is less than a second predetermined number N _2. (FIG. 3 / S122). If the determination result is affirmative (Fig. 3 / S122 ‥ YES), the first processing unit 11 stores the image I _k obtained this time in the second storage unit 112 (FIG. 3 / S126). On the other hand, if the determination result is negative (FIG. 3 / S122... NO), the first processing unit 11 stores the video I _k-N2 acquired in the control cycle N ₂ times ahead from the current time in the second storage. after having erased from part 112 (Fig. 3 / S124), it stores the currently obtained image I _k in the second storage unit 112 (FIG. 3 / S126). Thus, N ₂ time-series videos I _k can be stored in the second storage unit 112. The first predetermined number N ₁ and the second predetermined number N ₂ may be equal.

また、第２処理部１２は車両１が曲がる可能性の有無を判定する（図３／Ｓ２０２）。たとえば、方向指示器センサ１０８の出力に基づき、方向指示器による左右いずれかの指示の有無に応じて車両１が曲がる可能性の有無が判定される。また、ＧＰＳにより測定された車両１の現在位置が、ナビシステム２０により設定された案内ルートにおける左折点または右折点（交差点や分岐路（三叉路）等が含まれる。）に近づいているか否かに応じて、車両１が曲がる可能性の有無が判定される。さらに、ヨーレートセンサ１０４の出力および車速センサ１０６の出力のうち一方または両方に基づいて車両１が曲がる可能性の有無が判定されてもよい。 Moreover, the 2nd process part 12 determines the presence or absence of the possibility of the vehicle 1 turning (FIG. 3 / S202). For example, based on the output of the direction indicator sensor 108, it is determined whether or not the vehicle 1 is likely to bend depending on whether there is a left or right instruction from the direction indicator. Further, whether or not the current position of the vehicle 1 measured by GPS is approaching a left turn point or a right turn point (including an intersection, a branch road (three-way road), etc.) in the guidance route set by the navigation system 20. In response, it is determined whether or not the vehicle 1 is likely to bend. Further, whether or not the vehicle 1 may be bent may be determined based on one or both of the output of the yaw rate sensor 104 and the output of the vehicle speed sensor 106.

さらに、第２処理部１２は車両１が曲がる可能性があると判定した場合（図３／Ｓ２０２‥ＹＥＳ）、その曲がる方向を推定する（図３／Ｓ２０４）。たとえば、方向指示器センサ１０８の出力に基づき、方向指示器による左右いずれかの指示の有無に応じて車両１が曲がる方向が推定される。また、車両１がナビシステム２０により設定されたルートにおける右折点（または左折点）に近づいているときは車両１が曲がる方向は右（または左）であると推定される。 Further, when it is determined that the vehicle 1 may bend (FIG. 3 / S202... YES), the second processing unit 12 estimates the direction of the turn (FIG. 3 / S204). For example, based on the output of the direction indicator sensor 108, the direction in which the vehicle 1 turns is estimated according to the presence or absence of a left or right instruction from the direction indicator. Further, when the vehicle 1 is approaching a right turning point (or left turning point) on the route set by the navigation system 20, it is estimated that the direction in which the vehicle 1 turns is right (or left).

また、この場合、第２処理部１２は車両１が曲がるときに物体と接触する可能性の有無について判定する（図３／Ｓ２０６）。具体的には、ＧＰＳにより測定される車両１の現在位置から、ナビシステム２０により設定されたルートに含まれる交差点までの距離が算出される。また、この算出距離と、速度センサ１０６の出力とに基づき、車両１がこの交差点に到達するまでの時間が予測される。さらに、第１記憶部１１１に保存されている時系列的な実空間位置Ｐ_kに基づいて、車両１に対する物体の相対移動ベクトルが算出される。相対移動ベクトルの算出方法は、実空間位置の測定方法と同様、前記公報に開示されているのでその詳細な説明を省略する。また、到達予測時間および相対移動ベクトルに基づき、車両１がその交差点に到達したときの物体の実空間位置が推定される。そして、車両１が左に曲がると推定された場合、当該予測位置のＸ座標が［−β₋，０］（β₋≧α（車幅の半分））に含まれ、かつ、Ｚ座標が［−γ，＋δ］（γ≧Ｌ（車両長さ））に含まれている場合、車両１が左に曲がるときに当該物体と接触する可能性があると判定する。また、車両１が右に曲がると推定された場合、当該予測位置のＸ座標が［０，＋β_＋］（β_＋＞β₋）に含まれ、かつ、Ｚ座標が［−γ，＋δ］に含まれている場合、車両１が右に曲がるときに当該物体と接触する可能性があると判定する。このように、曲がる方向の別に応じて、接触可能性の判定基準となる領域が別のものとされている。なお、当該領域には車高を考慮に入れてＹ方向にも一定の範囲が設けられていてもよい。
そして、第２処理部１２は車両１および物体の接触可能性があると判定した場合（図３／Ｓ２０６‥ＹＥＳ）、この接触可能性を示す情報をＨＵＤ１２２およびナビディスプレイ２０２に表示させる（図３／Ｓ２０８）。 Further, in this case, the second processing unit 12 determines whether or not there is a possibility of contact with an object when the vehicle 1 turns (FIG. 3 / S206). Specifically, the distance from the current position of the vehicle 1 measured by GPS to the intersection included in the route set by the navigation system 20 is calculated. Further, based on this calculated distance and the output of the speed sensor 106, a time until the vehicle 1 reaches this intersection is predicted. Further, a relative movement vector of the object with respect to the vehicle 1 is calculated based on the time-series real space position P _k stored in the first storage unit 111. The method for calculating the relative movement vector is disclosed in the above publication, as is the case with the method for measuring the real space position, and will not be described in detail. Further, based on the arrival prediction time and the relative movement vector, the real space position of the object when the vehicle 1 reaches the intersection is estimated. When the vehicle 1 is estimated to turn left, X coordinate of the predicted position _{[-β -, 0] (β} - ≧ α ( half of the vehicle width)) is included in, and the Z coordinate [ -Γ, + δ] (γ ≧ L (vehicle length)), it is determined that there is a possibility of contact with the object when the vehicle 1 turns left. Further, when it is estimated that the vehicle 1 turns to the right, the X coordinate of the predicted position is included in [0, + β ₊ ] (β ₊ > β ₋ ), and the Z coordinate is [−γ, + δ]. If it is included, it is determined that there is a possibility of contact with the object when the vehicle 1 turns to the right. As described above, the region that is a criterion for determining the possibility of contact is different depending on the direction of the turn. It should be noted that a certain range may be provided in the Y direction in consideration of the vehicle height.
If the second processing unit 12 determines that there is a possibility of contact between the vehicle 1 and an object (FIG. 3 / S206... YES), information indicating this possibility of contact is displayed on the HUD 122 and the navigation display 202 (FIG. 3). / S208).

ここで、次のような例を考える。すなわち、図４（ａ）に示されているようにＨＵＤ１２２の左側に二輪車に乗った人間ｑが表示（または強調表示）され、その後、車両１がこの人間ｑを追い越し、図５（ａ）に示されているようにＨＵＤ１２２に人間ｑが表示されなくなったとする。また、図４（ａ）に示されているようにＨＵＤ１２２の左側に人間ｑが表示されていたとき、図４（ｂ）に示されているように交差点で左折するルートＲと、交差点の手前にある車両１の位置および移動方向を表すアイコンＣとが表示されていたとする。 Here, consider the following example. That is, as shown in FIG. 4 (a), the person q riding on the two-wheeled vehicle is displayed (or highlighted) on the left side of the HUD 122, and then the vehicle 1 overtakes this person q, as shown in FIG. 5 (a). Assume that the human q is no longer displayed on the HUD 122 as shown. Further, when a person q is displayed on the left side of the HUD 122 as shown in FIG. 4A, a route R that turns left at the intersection as shown in FIG. It is assumed that an icon C representing the position and the moving direction of the vehicle 1 is displayed.

この場合、ＨＵＤ１２２には、第２記憶部１１２に保存されている図４（ａ）に示されているような過去の画像（過去にＨＵＤ１２２に表示されていた画像）が表示される。また、ナビディスプレイ２０２には、図５（ｂ）に示されているように人間の推定位置を表すアイコンＱが表示される。これらの画像表示に加えて「左折時、車両の左側に注意してください」等、運転者の注意を促す音声がナビシステム２０２のスピーカ（図示略）等から出力されてもよい。 In this case, a past image (an image previously displayed on the HUD 122) as shown in FIG. 4A stored in the second storage unit 112 is displayed on the HUD 122. In addition, as shown in FIG. 5B, the navigation display 202 displays an icon Q representing a human estimated position. In addition to these image displays, a voice that calls the driver's attention such as “Be careful of the left side of the vehicle when turning left” may be output from a speaker (not shown) or the like of the navigation system 202.

なお、第２処理部１２により車両１が曲がる可能性がないと判定された場合（図３／Ｓ２０２‥ＮＯ）、または車両１および物体の接触可能性がないと判定された場合（図３／Ｓ２０６‥ＮＯ）、指数ｋが１だけ増加させられて（図３／Ｓ００４）、実空間位置Ｐ_kの測定（図３／Ｓ１０２）等の処理が繰り返される。 When the second processing unit 12 determines that the vehicle 1 is not likely to bend (FIG. 3 / S202... NO), or when it is determined that there is no possibility of contact between the vehicle 1 and an object (FIG. 3 / S206... NO), the index k is increased by 1 (FIG. 3 / S004), and the process of measuring the real space position _Pk (FIG. 3 / S102) is repeated.

前記機能を発揮する本発明の車両周辺監視システム１０によれば、車載の一対の赤外線カメラ（撮像装置）１０２により定常的に取り込まれた映像に基づいて車両１の周辺にある二輪車や歩行者等の物体（移動物体）の位置が逐次測定される（図３／Ｓ１０２）。また、物体時系列的な測定位置に基づき、車両１が曲がるときに、この車両１と物体とが接触する可能性の有無が判定される（図３／Ｓ２０６）。 According to the vehicle periphery monitoring system 10 of the present invention that exhibits the above function, a motorcycle, a pedestrian, or the like around the vehicle 1 based on an image that is regularly captured by a pair of in-vehicle infrared cameras (imaging devices) 102. The position of the object (moving object) is sequentially measured (FIG. 3 / S102). Further, based on the object time-series measurement position, it is determined whether or not there is a possibility that the vehicle 1 and the object come into contact when the vehicle 1 turns (FIG. 3 / S206).

これにより、赤外線カメラ１０２の撮像範囲から早期に外れた物体についても、その時系列的な挙動に基づいて車両１との接触可能性の有無を高い精度で判定することが可能となる。したがって、この判定結果に応じた画像がＨＵＤ１２２およびナビディスプレイ２０２に表示されることで、車両１が右左折等するときに接触する可能性がある物体の存在を確実に運転者に知らせることができる。 Thereby, even for an object that deviates from the imaging range of the infrared camera 102 at an early stage, the possibility of contact with the vehicle 1 can be determined with high accuracy based on the time-series behavior. Therefore, the image corresponding to the determination result is displayed on the HUD 122 and the navigation display 202, so that the driver can be surely notified of the presence of an object that may come into contact when the vehicle 1 turns right or left. .

また、車両１が左に曲がると推定された場合、車両１の左側にある物体と接触する可能性が高い等、車両１の曲がり方向と、車両１がその方向に曲がるときの物体の推定位置との関係に鑑みて両者の接触可能性の有無が適切に判定されうる。 Further, when it is estimated that the vehicle 1 turns to the left, there is a high possibility that the vehicle 1 is in contact with an object on the left side of the vehicle 1, and the estimated position of the object when the vehicle 1 turns in that direction. In view of the relationship, the presence / absence of contact between the two can be appropriately determined.

さらに、車両１の周辺の過去の風景を示すことで、その時点で撮像されていた物体、ひいては接触可能性のある物体の存在を運転者に認識させることができる（図４（ａ）参照）。 Furthermore, by showing the past scenery around the vehicle 1, the driver can be made aware of the presence of an object that has been picked up at that time, and in other words, an object that can be touched (see FIG. 4A). .

なお、前記実施形態では物体の１次状態に基づく車両１と当該物体とが接触する可能性があるという判定結果に応じて、接触可能性を示す情報が出力されたが（図３／Ｓ２０６‥ＹＥＳ，Ｓ２０８）、他の実施形態として同様の判定結果に応じてこの物体との接触を回避しうるように車両１の挙動が車両挙動を制御するＥＣＵ、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。また、評価された接触可能性の高低に応じて異なる形態で車両挙動が制御されてもよい。 In the embodiment, information indicating the possibility of contact is output according to the determination result that the vehicle 1 and the object may be in contact with each other based on the primary state of the object (FIG. 3 / S206... YES, S208), as another embodiment, the vehicle 1 is controlled by an in-vehicle device such as an ECU, a brake mechanism, or a steering mechanism that controls the behavior of the vehicle 1 so as to avoid contact with the object according to the same determination result. It may be controlled. Further, the vehicle behavior may be controlled in different forms depending on the evaluated contact possibility.

さらに、当該判定結果に応じて、車載ライトの方向が物体の存在する領域に向けられる（ライトのスイブル制御）等、あらゆる車載機器の動作が制御されてもよい。また、評価された接触可能性の高低に応じてライトの照明の明度が差別化される等、車載機器の動作が異なる形態で制御されてもよい。 Further, depending on the determination result, the operation of any on-vehicle device may be controlled such that the direction of the on-vehicle light is directed to a region where an object exists (light swivel control). Further, the operation of the in-vehicle device may be controlled in a different form such that the brightness of the light illumination is differentiated according to the evaluated contact possibility.

さらに、撮像装置として、遠赤外線を感知する赤外線カメラ１０２に代えて、可視光および近赤外線を感知するＣＣＤカメラ等が採用されてもよい。 Further, as the imaging device, a CCD camera or the like that detects visible light and near infrared light may be employed instead of the infrared camera 102 that detects far infrared light.

また、ＨＵＤ１２２に表示される物体ｑ（図４（ａ）参照）の色彩と、ナビディスプレイ２０２に表示される当該物体ｑを表すアイコンＱ（図５（ｂ）参照）の色彩とが共通化されてもよい。これにより、複数のアイコンＱがナビディスプレイ２０２に表示されたとき、それぞれのアイコンＱとＨＵＤ１２２に表示される物体ｑとの対応関係を運転者に認識させることができる。 Further, the color of the object q (see FIG. 4A) displayed on the HUD 122 and the color of the icon Q (see FIG. 5B) representing the object q displayed on the navigation display 202 are shared. May be. Thus, when a plurality of icons Q are displayed on the navigation display 202, the driver can recognize the correspondence between each icon Q and the object q displayed on the HUD 122.

第２処理部１２が、第１記憶部１１１に記憶されている物体の時系列的な測定位置｛Ｐ_k｝に基づいてこの物体の移動軌跡を予測し、かつ、物体の予測移動軌跡をＨＵＤ１２２またはナビディスプレイ２０２に表示させてもよい。また、交差点周辺の鳥瞰図とともにこの予測移動軌跡がナビディスプレイ２０２に表示されてもよい。このように物体の予測移動軌跡を運転者に認識させることで、当該物体との接触可能性を示す情報をこの運転者に認識させることができる。 The second processing unit 12 predicts the movement trajectory of the object based on the time-series measurement position {P _k } of the object stored in the first storage unit 111, and the predicted movement trajectory of the object is the HUD 122. Alternatively, it may be displayed on the navigation display 202. Further, the predicted movement trajectory may be displayed on the navigation display 202 together with a bird's eye view around the intersection. Thus, by making the driver recognize the predicted movement trajectory of the object, the driver can be made to recognize information indicating the possibility of contact with the object.

車両１が曲がるときの接触可能性（確率）の高低が、車両１の曲がり方向に鑑みて設定された領域に含まれるか否か、さらには前記推定された実空間位置を表すベクトルの長短等によって評価されてもよい。そして、この接触可能性の高低に応じてナビディスプレイ２０２に表示される物体を表すアイコンＱ（図５（ｂ）参照）の表示態様（色彩、形状、大きさ等）が区別されてもよい。これにより、車両１と物体との接触可能性の評価に応じた情報の区分を通じて、当該接触可能性の高低を運転者に認識させることができる。そして、車両１と物体との接触可能性の高低に鑑みて、当該物体への適度な注意を運転者に促すことができる。また、前記のように複数のアイコンＱが表示されたとき、どのアイコンＱに対応する物体ｑを優先的に注意すべきかを運転者に認識させることができる。 Whether or not the possibility of contact (probability) when the vehicle 1 bends is included in an area set in view of the bending direction of the vehicle 1, further, the length of a vector representing the estimated real space position, etc. May be evaluated by The display mode (color, shape, size, etc.) of the icon Q (see FIG. 5B) representing the object displayed on the navigation display 202 may be distinguished according to the level of contact possibility. Thereby, the driver can recognize the level of the contact possibility through the classification of information according to the evaluation of the contact possibility between the vehicle 1 and the object. In view of the possibility of contact between the vehicle 1 and the object, it is possible to prompt the driver to pay appropriate attention to the object. Further, when a plurality of icons Q are displayed as described above, it is possible to make the driver recognize which icon Q corresponding to the object q should be given priority.

本発明の車両周辺監視機能のさらなる機能について図６を用いて説明する。図４（ａ）に示されているように物体ｑがＨＵＤ１２２に表示されていたが、その後物体ｑがＨＵＤ１２２の左に外れ、さらにその後で図６（ａ）に示されているように交差点付近において左から現れた物体ｑ’がＨＵＤ１２２に表示された場合、時間をおいてＨＵＤ１２２に出現した物体ｑおよびｑ’が同じ物体であるか否かが問題となる。すなわち、物体ｑおよびｑ’が同じ物体であれば、図６（ａ）に示されているように車両１を左側から追い越した物体ｑ’（物体ｑ）を車両１がこの交差点で左折する際に巻き込むことはない。その一方、物体ｑおよびｑ’が異なる物体であれば、物体ｑは車両１の左側にあってこの交差点で左折する際に巻き込む可能性が残されている。 A further function of the vehicle periphery monitoring function of the present invention will be described with reference to FIG. As shown in FIG. 4A, the object q is displayed on the HUD 122, but then the object q is moved to the left of the HUD 122, and then, near the intersection as shown in FIG. 6A. When the object q ′ appearing from the left is displayed on the HUD 122 in FIG . 5, it is a problem whether or not the objects q and q ′ appearing on the HUD 122 after a certain time are the same object . That is, if the objects q and q ′ are the same object, as shown in FIG. 6A, when the vehicle 1 turns left at the intersection of the object q ′ (object q) that has passed the vehicle 1 from the left side. Never get involved in it. On the other hand, if the objects q and q ′ are different objects, the object q is on the left side of the vehicle 1 and there is a possibility of being involved when making a left turn at this intersection.

そこで、第２処理部１２が物体ｑおよびｑ’が同じ物体であるか否かを判定する。具体的には、物体ｑの重心位置、面積および外接四角形の縦横比のうちの一部または全部の変化パターンが記憶部に保存され（特開２００１−６０９６号公報／第００２３段落〜第００２５段落参照）、物体ｑ’の重心位置、面積および外接四角形の縦横比のうちの一部または全部の変化パターンが記憶部に保存され、両パターンの対比に基づいて物体ｑおよびｑ’が同じ物体であるか否かが判定されてもよい。なお、この判定に際して、ＣＣＤカメラにより撮像された画像が利用されてもよい。たとえば、ＣＣＤカメラにより撮像された物体ｑおよびｑ’の画像に基づき、両物体の色彩や形状の類似の程度が評価され、この評価に応じて両物体が同じ物体であるか否かが判定されてもよい。 Therefore, the second processing unit 12 determines whether or not the objects q and q ′ are the same object . Specifically, a change pattern of a part or all of the gravity center position, area, and circumscribed rectangle of the object q is stored in the storage unit (Japanese Patent Laid-Open No. 2001-6096 / paragraphs 0023 to 0025). A part of or all of the change pattern of the center of gravity position, the area, and the aspect ratio of the circumscribed rectangle is stored in the storage unit, and the objects q and q ′ are the same object based on the comparison of both patterns. It may be determined whether or not there is. In this determination, an image captured by a CCD camera may be used. For example, based on the images of the objects q and q ′ picked up by the CCD camera, the degree of similarity in color and shape of both objects is evaluated, and it is determined whether or not both objects are the same object according to this evaluation. May be.

そして、第２処理部１２は物体ｑおよびｑ’が同じ物体であると判定した場合、車両１と物体ｑとが接触する可能性が低いと判定する（図３／Ｓ２０６‥ＮＯ参照）。また、この場合、第２処理部１２は図６（ｂ）に示されているように車両アイコンＣの左斜め上に物体アイコンＱが配置されている画像をナビディスプレイ２０２に表示させる。さらに、第２処理部１２は車両１と物体ｑが接触する可能性がある旨の情報出力処理を省略する。これにより、運転者に物体ｑと接触する可能性が消滅したことを認識させる、あるいは運転者に不要な注意を促す事態を回避することができる。 When the second processing unit 12 determines that the objects q and q ′ are the same object, the second processing unit 12 determines that the possibility that the vehicle 1 and the object q are in contact with each other is low (see NO in FIG. 3 / S206). In this case, the second processing unit 12 causes the navigation display 202 to display an image in which the object icon Q is arranged on the upper left side of the vehicle icon C as shown in FIG. Further, the second processing unit 12 omits the information output processing that there is a possibility that the vehicle 1 and the object q are in contact with each other. As a result, it is possible to prevent the driver from recognizing that the possibility of contact with the object q has disappeared, or to avoid unnecessary attention from the driver.

その一方、第２処理部１２は物体ｑおよびｑ’が異なる物体であると判定した場合、または当該判定が不調に終わった場合、車両１と物体ｑとが接触する可能性が高い（または残っている）と判定する（図３／Ｓ２０６‥ＹＥＳ参照）。また、この場合、第２処理部１２は図６（ｃ）に示されているように車両アイコンＣの左斜め上に物体ｑ’を表すアイコンＱ２が配置され、かつ、車両アイコンＣの左側に物体ｑを表すアイコンＱ１が表示されている画像をナビディスプレイ２０２に表示させる。さらに、第２処理部１２は車両１と物体ｑが接触する可能性がある旨の情報出力処理を実行する（図３／Ｓ２０８参照）。これにより、車両１が当該交差点で左折する際に物体ｑと接触する可能性が残されていることを運転者に認識させることができる。 On the other hand, if the second processing unit 12 determines that the objects q and q ′ are different objects, or if the determination ends abnormally, the vehicle 1 and the object q are likely to contact (or remain). (See YES in FIG. 3 / S206). In this case, as shown in FIG. 6C, the second processing unit 12 has an icon Q2 representing the object q ′ arranged on the upper left side of the vehicle icon C, and on the left side of the vehicle icon C. An image on which an icon Q1 representing the object q is displayed is displayed on the navigation display 202. Further, the second processing unit 12 executes an information output process indicating that the vehicle 1 and the object q may contact each other (see FIG. 3 / S208). Thereby, when the vehicle 1 makes a left turn at the intersection, it is possible to make the driver recognize that there is still a possibility of contacting the object q.

本発明の車両周辺監視システムの構成例示図Configuration example of vehicle periphery monitoring system of the present invention 本発明の車両周辺監視システムの構成例示図Configuration example of vehicle periphery monitoring system of the present invention 本発明の車両周辺監視システムの機能例示図Functional example of vehicle periphery monitoring system of the present invention 本発明の車両周辺監視システムの機能例示図Functional example of vehicle periphery monitoring system of the present invention 本発明の車両周辺監視システムの機能例示図Functional example of vehicle periphery monitoring system of the present invention 本発明の車両周辺監視システムの機能例示図Functional example of vehicle periphery monitoring system of the present invention

Explanation of symbols

１‥車両、１０‥車両周辺監視システム、１０２‥赤外線カメラ（撮像装置）、１０４‥ヨーレートセンサ、１０６‥速度センサ、１０８‥方向指示器センサ、１１‥第１処理部、１１１‥第１記憶部、１１２‥第２記憶部、１２‥第２処理部、１２２‥ＨＵＤ（情報出力装置）、２０‥ナビシステム、２０２‥ナビディスプレイ（情報出力装置） DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle periphery monitoring system, 102 ... Infrared camera (imaging device), 104 ... Yaw rate sensor, 106 ... Speed sensor, 108 ... Direction indicator sensor, 11 ... 1st process part, 111 ... 1st memory | storage part 112, second storage unit, 12 second processing unit, 122 HUD (information output device), 20 navigation system, 202 navigation display (information output device)

Claims

A system for monitoring the surroundings of a vehicle,
A first processing unit that sequentially measures the position of an object in the vicinity of the vehicle based on an image that is regularly captured by an in-vehicle imaging device, and stores the time-series measurement position of the object in a first storage unit When,
When it is determined whether or not the vehicle is likely to bend and the vehicle is likely to bend, the vehicle is determined based on a time-series measurement position of the object stored in the first storage unit. A second processing unit that evaluates the possibility of contact with the object when turning , and controls the operation of the in-vehicle device in a different manner according to the level of contact possibility between the vehicle and the object ;
The first processing unit displays a first object displayed on an in-vehicle information output device that displays an image in front of the vehicle imaged by the imaging device, and the display range of the information output device. It is determined whether the second object displayed on the information output device after being detached is the same object or a different object, and it is determined that the first object and the second object are the same object In the case where it is determined that the possibility of contact between the vehicle and the first object is low, and it is determined that the first object and the second object are different objects, the vehicle and the first object A vehicle periphery monitoring system, characterized by determining that the possibility of contact is high .

In the vehicle periphery monitoring system according to claim 1,
The second processing unit compares a part or all of the change patterns of the gravity center position, the area, and the aspect ratio of the circumscribed quadrilateral of each of the first object and the second object imaged by the imaging device. Thus, it is determined whether the first object and the second object are different objects or the same object .