JP6119643B2

JP6119643B2 - Perimeter monitoring apparatus and object determination method

Info

Publication number: JP6119643B2
Application number: JP2014040868A
Authority: JP
Inventors: 有華祖父江; 真佐人奥田; 勇二郎小畠
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2014-03-03
Filing date: 2014-03-03
Publication date: 2017-04-26
Anticipated expiration: 2034-03-03
Also published as: JP2015166915A

Description

本発明は、周辺監視装置及び物体判定方法に関する。 The present invention relates to a periphery monitoring device and an object determination method.

車両に搭載されたカメラにより車両周辺が撮影された映像をオプティカルフロー法に基づいて処理することにより移動物を検知する周辺監視装置が知られている（例えば、特許文献１参照）。この周辺監視装置は、時間的に連続する複数の映像それぞれから特徴点を抽出し、特徴点のオプティカルフローを測定する。そして、自車両の進行方向と同じ方向（正方向）のオプティカルフローとは別に、自車両の進行方向とは逆方向のオプティカルフロー（以下、逆フロー）が測定された場合、その逆フローを含む領域内に、例えば路上の側溝を塞ぐための網目状の構造物や路面ペイント，格子状の柵，橋の欄干などの周期的な模様が繰り返される構造物（以下、周期的構造物）があると判定する。これにより、映像内に上記の如き周期的構造物が映っているときに、その領域内の周期的構造物を移動物と判定するのを低減している。 There is known a periphery monitoring device that detects a moving object by processing an image obtained by photographing a vehicle periphery by a camera mounted on the vehicle based on an optical flow method (see, for example, Patent Document 1). This periphery monitoring device extracts feature points from each of a plurality of temporally continuous images, and measures the optical flow of the feature points. In addition to the optical flow in the same direction (forward direction) as the traveling direction of the host vehicle, when the optical flow in the direction opposite to the traveling direction of the host vehicle (hereinafter referred to as the reverse flow) is measured, the reverse flow is included. Within the area, for example, a mesh-like structure for closing a side ditch on the road, a road surface paint, a grid-like fence, a structure that repeats a periodic pattern such as a railing of a bridge (hereinafter referred to as a periodic structure). Is determined. As a result, when the periodic structure as described above is shown in the video, it is reduced that the periodic structure in the region is determined as a moving object.

特開２０１３−１４９１７７号公報JP 2013-149177 A

しかしながら、上記特許文献１記載の装置では、映像から逆フローが測定されないと、映像内に周期的構造物が映っていても、その周期的構造物を移動物と判定する可能性がある。 However, in the apparatus described in Patent Document 1, if a reverse flow is not measured from an image, the periodic structure may be determined as a moving object even if the periodic structure is reflected in the image.

本発明は、移動物を判定する精度を向上させた周辺監視装置及び物体判定方法を提供する。 The present invention provides a periphery monitoring device and an object determination method with improved accuracy for determining a moving object.

本発明の第１態様に係る周辺監視装置は、周辺が撮影された映像から抽出される特徴点のうち同一移動物を構成すると推定される特定特徴点をグルーピングするグルーピング部と、前記グルーピング部によりグルーピングされた前記特定特徴点が占める領域の大きさが第１の大きさ以上である場合に、該領域に映る物体が移動物であると判定する第１の判定部と、前記映像内に含まれる前記領域のうちに大きさが前記第１の大きさ以上である第１の領域があったときに、前記第１の領域に対して所定範囲内で隣接する、大きさが第２の大きさ以上でありかつ前記第１の大きさ未満である第２の領域があるか否かを判別する領域判別部と、前記領域判別部により前記第２の領域があると判別される場合に、前記第１の判定部により前記第１の領域に映る物体が移動物であると判定するのを制限する判定制限部と、を備えるものである。 The periphery monitoring apparatus according to the first aspect of the present invention includes a grouping unit that groups specific feature points that are estimated to constitute the same moving object among feature points extracted from a video in which the periphery is photographed, and the grouping unit. A first determination unit that determines that an object reflected in the region is a moving object when the size of the region occupied by the grouped specific feature points is equal to or larger than the first size; and included in the video When there is a first region having a size greater than or equal to the first size, the size is adjacent to the first region within a predetermined range, and the size is the second size. A region determining unit that determines whether or not there is a second region that is equal to or larger than the first size and the region determining unit determines that the second region is present, The first determination unit performs the first area. In which and a determination limit unit for limiting to determine that the moving object is an object reflected in.

また、本発明の第２態様に係る物体判定方法は、周辺が撮影された映像から抽出される特徴点のうち同一移動物を構成すると推定される特定特徴点をグルーピングする第１のステップと、前記映像内に含まれる、前記第１のステップにおいてグルーピングされた前記特定特徴点が占める領域のうちに、大きさが第１の大きさ以上である第１の領域があるか否かを判別する第２のステップと、前記第２のステップにおいて前記第１の領域があると判別される場合に、前記第１の領域に対して所定範囲内で隣接する、大きさが第２の大きさ以上でありかつ前記第１の大きさ未満である第２の領域があるか否かを判別する第３のステップと、前記第３のステップにおいて前記第２の領域がないと判別される場合に、前記第１の領域に移る物体が移動物であると判定する第４のステップと、前記第３のステップにおいて前記第２の領域があると判別される場合に、前記第１の領域に移る物体が周期的な模様が繰り返される構造物であると判定する第５のステップと、を備えるものである。 Further, the object determination method according to the second aspect of the present invention includes a first step of grouping specific feature points that are estimated to constitute the same moving object among feature points extracted from a video in which a periphery is photographed, It is determined whether or not there is a first region whose size is equal to or larger than the first size among the regions occupied by the specific feature points grouped in the first step included in the video. When it is determined that there is the first region in the second step and the second step, the size is adjacent to the first region within a predetermined range, and the size is not less than the second size. And a third step for determining whether or not there is a second region that is less than the first size, and when it is determined in the third step that there is no second region, The object moving to the first area moves When it is determined that the second region is present in the fourth step and the third step, the object moving to the first region is a structure in which a periodic pattern is repeated. And a fifth step of determining that there is.

上記態様によれば、移動物を判定する精度を向上させることができる。 According to the said aspect, the precision which determines a moving object can be improved.

本発明の一実施例である周辺監視装置の構成図である。It is a block diagram of the periphery monitoring apparatus which is one Example of this invention. 本実施例の周辺監視装置が有する映像認識部の構成図である。It is a block diagram of the image | video recognition part which the periphery monitoring apparatus of a present Example has. 本実施例の周辺監視装置においてカメラが撮影した映像の中で設定される移動物検知のための検知エリアの一例を表した図である。It is a figure showing an example of the detection area for the moving object detection set in the image | video which the camera image | photographed in the periphery monitoring apparatus of a present Example. 本実施例の周辺監視装置において、周期的な模様が繰り返される網目状の構造物がカメラ映像内に含まれる場合に生じ得る、特徴点がグルーピングされる領域の一例を現した図である。FIG. 6 is a diagram illustrating an example of a region in which feature points are grouped, which may occur when a network structure in which a periodic pattern is repeated is included in a camera image, in the periphery monitoring device of the present embodiment. 本実施例の周辺監視装置において、周期的な模様が繰り返される網目状の構造物がカメラ映像内に含まれる場合に生じ得る、特徴点がグルーピングされる領域の一例を現した図である。FIG. 6 is a diagram illustrating an example of a region in which feature points are grouped, which may occur when a network structure in which a periodic pattern is repeated is included in a camera image, in the periphery monitoring device of the present embodiment. 本実施例の周辺監視装置において実行される制御ルーチンの一例のフローチャートである。It is a flowchart of an example of the control routine performed in the periphery monitoring apparatus of a present Example.

以下、図面を用いて、本発明に係る周辺監視装置の具体的な実施の形態について説明する。 Hereinafter, specific embodiments of the periphery monitoring device according to the present invention will be described with reference to the drawings.

図１は、本発明の一実施例である周辺監視装置１０の構成図を示す。本実施例の周辺監視装置１０は、例えば車両に搭載された、その車両の周辺（特に、その車両の運転者にとって死角となる領域）を監視する装置であって、その車両周辺に存在する障害物（特に、自車両に対して移動する他車両や人などの移動物）を検知する。 FIG. 1 shows a configuration diagram of a periphery monitoring apparatus 10 according to an embodiment of the present invention. The periphery monitoring device 10 of the present embodiment is a device that is mounted on a vehicle, for example, for monitoring the periphery of the vehicle (particularly, an area that becomes a blind spot for the driver of the vehicle), and is a fault that exists around the vehicle. An object (in particular, a moving object such as another vehicle or a person moving relative to the host vehicle) is detected.

図１に示す如く、周辺監視装置１０は、車両周辺を撮影するカメラ１２を備えている。カメラ１２は、比較的広角のレンズ或いは魚眼レンズを有している。カメラ１２は、車体前部のバンパやグリル又は車体後部のスポイラー下部やバックガラス下方などに配設されている。カメラ１２は、車体前方又は車体後方かつ斜め下方に指向されており、特に車両運転者にとって死角となる位置を含めた予め定められた所定範囲内を撮影することが可能である。カメラ１２は、その所定範囲を予め定められたピクセルで撮影するデジタルカメラである。 As shown in FIG. 1, the periphery monitoring device 10 includes a camera 12 that captures the periphery of the vehicle. The camera 12 has a relatively wide angle lens or fisheye lens. The camera 12 is disposed at the front of the vehicle, such as a bumper or grill at the front, a lower spoiler at the rear of the vehicle, or below the back glass. The camera 12 is directed to the front of the vehicle body or the rear of the vehicle body and obliquely downward, and can capture an image within a predetermined range including a position that becomes a blind spot especially for the vehicle driver. The camera 12 is a digital camera that captures the predetermined range with a predetermined pixel.

周辺監視装置１０は、マイクロコンピュータを主体に構成された電子制御ユニット（以下、ＥＣＵと称す。）１４を備えている。ＥＣＵ１４には、上記のカメラ１２が接続されている。カメラ１２の撮影した映像情報は、画像処理を行うＥＣＵ１４に供給される。ＥＣＵ１４は、カメラ１２の映像情報が入力される映像認識部１６を有している。映像認識部１６は、後に詳述する如く、カメラ１２から供給される車両周辺が撮影された映像をオプティカルフロー法に基づいて画像認識することにより少なくとも移動物を検知する。 The periphery monitoring device 10 includes an electronic control unit (hereinafter referred to as an ECU) 14 mainly composed of a microcomputer. The above camera 12 is connected to the ECU 14. Video information captured by the camera 12 is supplied to an ECU 14 that performs image processing. The ECU 14 has a video recognition unit 16 to which video information of the camera 12 is input. As will be described in detail later, the video recognition unit 16 detects at least a moving object by recognizing an image of the vehicle periphery supplied from the camera 12 based on the optical flow method.

ＥＣＵ１４は、映像認識部１６での検知結果が入力される画像描画処理部１８を有している。画像描画処理部１８には、車室内に設けられたモニタ２０が接続されている。モニタ２０は、車両運転者が視認可能な例えばコンソールパネルやマルチインフォメーションディスプレイなどに配置されている。画像描画処理部１８は、映像認識部１６からの検知結果に基づいて、モニタ２０に描く画像やモニタ２０に表示する警告等の制御を行う。 The ECU 14 has an image drawing processing unit 18 to which a detection result in the video recognition unit 16 is input. A monitor 20 provided in the passenger compartment is connected to the image drawing processing unit 18. The monitor 20 is disposed on, for example, a console panel or a multi-information display that can be visually recognized by the vehicle driver. The image drawing processing unit 18 controls an image drawn on the monitor 20 and a warning displayed on the monitor 20 based on the detection result from the video recognition unit 16.

例えば、画像描画処理部１８は、（１）カメラ１２の撮影した映像の画像処理を施し（例えば、その映像の特定箇所を切り出し或いはその映像の歪補正を実行し）、（２）映像認識部１６による検知結果をカメラ１２の撮影した映像に重畳表示させ（例えば、その検知結果に基づく移動物の自車両への接近方向を表示させ或いはその移動物を強調して表示させ）、また、（３）車両運転者によるユーザ設定（例えば、検知状況を知らせる表示方法や対象物の選択）に従った表示を行わせる。モニタ２０は、画像描画処理部１８からの表示指令に従った表示を行う。 For example, the image drawing processing unit 18 (1) performs image processing of the video captured by the camera 12 (for example, cuts out a specific portion of the video or executes distortion correction of the video), and (2) the video recognition unit. 16 is superimposed on the image captured by the camera 12 (for example, the approaching direction of the moving object to the host vehicle based on the detection result is displayed or the moving object is highlighted), and ( 3) The display according to the user setting (for example, the display method which notifies a detection condition, or selection of a target object) by a vehicle driver is performed. The monitor 20 performs display in accordance with a display command from the image drawing processing unit 18.

次に、図２〜図６を参照して、本実施例の周辺監視装置１０においてＥＣＵ１４が有する映像認識部１６の具体的な動作について説明する。 Next, with reference to FIGS. 2-6, the specific operation | movement of the image | video recognition part 16 which ECU14 has in the periphery monitoring apparatus 10 of a present Example is demonstrated.

図２は、本実施例の周辺監視装置１０が有する映像認識部の構成図を示す。図３は、本実施例の周辺監視装置１０においてカメラ１２が撮影した映像の中で設定される移動物検知のための検知エリアの一例を表した図を示す。図４及び図５は、本実施例の周辺監視装置１０において、路面上の側溝を塞ぐための周期的な模様が繰り返される網目状の構造物３０がカメラ映像３２内に含まれる場合に生じ得る、特徴点がグルーピングされる領域の一例を現した図を示す。尚、図４には自車両３４の周辺が映し出されたカメラ映像を表した図を、また、図５には図４に示すカメラ映像に映る自車両の周辺を上方から見た際の図を、それぞれ示す。また、図６は、本実施例の周辺監視装置１０においてＥＣＵ１４の映像認識部１６が実行する制御ルーチンの一例のフローチャートを示す。 FIG. 2 is a configuration diagram of a video recognition unit included in the periphery monitoring device 10 according to the present embodiment. FIG. 3 is a diagram illustrating an example of a detection area for detecting a moving object set in an image captured by the camera 12 in the periphery monitoring device 10 of the present embodiment. 4 and 5 may occur when the camera image 32 includes a mesh-like structure 30 in which a periodic pattern for closing a side groove on the road surface is repeated in the periphery monitoring device 10 of the present embodiment. The figure which showed an example of the area | region where a feature point is grouped is shown. 4 is a diagram showing a camera image showing the periphery of the host vehicle 34, and FIG. 5 is a diagram when the periphery of the host vehicle shown in the camera image shown in FIG. 4 is viewed from above. , Respectively. FIG. 6 shows a flowchart of an example of a control routine executed by the video recognition unit 16 of the ECU 14 in the periphery monitoring device 10 of the present embodiment.

本実施例において、ＥＣＵ１４の映像認識部１６は、図２に示す如く、速度測定部２２と、グルーピング部２４と、領域判別部２６と、第１の判定部２８と、第２の判定部（判定制限部）２９と、を有している。 In this embodiment, the image recognition unit 16 of the ECU 14 includes a speed measurement unit 22, a grouping unit 24, an area determination unit 26, a first determination unit 28, and a second determination unit (as shown in FIG. Determination limiting unit) 29.

映像認識部１６には、カメラ１２が撮影して供給した映像情報が入力される（ステップ１００）。映像認識部１６は、カメラ１２からの映像情報が入力されると、以下の如く、そのカメラ１２からの映像をオプティカルフロー法に基づいて画像認識する。尚、映像認識部１６による上記の画像認識は、所定時間ごとに繰り返し行われ、時間的に連続する異なるタイミングで得られる複数の映像それぞれに対して一枚ずつ行われる。 The video information supplied by the camera 12 is input to the video recognition unit 16 (step 100). When the video information from the camera 12 is input, the video recognition unit 16 recognizes the video from the camera 12 based on the optical flow method as follows. Note that the image recognition by the video recognition unit 16 is repeatedly performed every predetermined time, and is performed one by one for each of a plurality of videos obtained at different timings that are temporally continuous.

映像認識部１６は、映像の画像認識を行ううえで、まず、入力された映像の中で移動物検知のために処理が必要な検知エリアを設定する（ステップ１０２）。尚、この検知エリアは、水平方向（Ｘ軸方向）に所定ピクセル数を有しかつ垂直方向（Ｙ軸方向）に所定ピクセル数を有するものとすればよい。例えば図３に示す如く、入力された映像の中で、そのＸ−Ｙ座標上、点（Ｘ＿Ｌ１，Ｙ＿Ｌ１）と、点（Ｘ＿Ｌ２，Ｙ＿Ｌ１）と、点（Ｘ＿Ｌ１，Ｙ＿Ｌ２）と、点（Ｘ＿Ｌ２，Ｙ＿Ｌ２）と、で囲まれる領域Ｌ、及び、点（Ｘ＿Ｒ１，Ｙ＿Ｒ１）と、点（Ｘ＿Ｒ２，Ｙ＿Ｒ１）と、点（Ｘ＿Ｒ１，Ｙ＿Ｒ２）と、点（Ｘ＿Ｒ２，Ｙ＿Ｒ２）と、で囲まれる領域Ｒの、２つの領域を検知エリアとして設定する。 When performing video image recognition, the video recognition unit 16 first sets a detection area that needs to be processed for moving object detection in the input video (step 102). The detection area may have a predetermined number of pixels in the horizontal direction (X-axis direction) and a predetermined number of pixels in the vertical direction (Y-axis direction). For example, as shown in FIG. 3, in the input video, on the XY coordinates, the point (X_L1, Y_L1), the point (X_L2, Y_L1), the point (X_L1, Y_L2), and the point (X_L2, Y_L2), the region L, and the region R surrounded by the point (X_R1, Y_R1), the point (X_R2, Y_R1), the point (X_R1, Y_R2), and the point (X_R2, Y_R2) Two areas are set as detection areas.

尚、この設定される検知エリアは、カメラ１２が撮影した映像の全領域でもよいが、画像処理の迅速化や効率化等を考慮して、一の映像の全領域の中で自車両の車体（バンパなど）が映り込んだ領域を除くカメラ１２の指向性や運転者の死角などに基づいて予め定められた一部の領域だけであってもよい。また、検知エリアが映像の全領域のうちの一部に限られる場合は、その検知エリアは、例えば、その検知エリアに障害物が存在すれば自車両の走行に与える影響が比較的大きくなる、映像内で自車両に近接する位置が映し出された手前の領域や映像内で自車移動時（特に旋回時）に中央側に寄る位置が映し出される左右端部の領域を含むものであることが好ましい。 The detection area to be set may be the entire area of the video imaged by the camera 12, but considering the speed and efficiency of image processing, the vehicle body of the host vehicle within the entire area of the single video image. Only a part of the area determined in advance based on the directivity of the camera 12, the blind spot of the driver, or the like excluding the area in which (a bumper or the like) is reflected may be used. In addition, when the detection area is limited to a part of the entire area of the video, the detection area has a relatively large influence on the traveling of the own vehicle, for example, if an obstacle exists in the detection area. It is preferable to include a region in front of which a position close to the own vehicle is projected in the image and a region on the left and right end portions in which a position close to the center is projected when the vehicle is moving (particularly during turning) in the image.

映像認識部１６は、入力された映像の全領域のうち上記の如く設定した検知エリアの画像をノイズ除去フィルタを用いて平準化することにより、その検知エリアの画像からノイズを除去する（ステップ１０４）。そして、その平準化された検知エリアの画像に対してエッジ抽出フィルタを用いてエッジ抽出を行うことにより、その検知エリアの画像から特徴点を抽出する（ステップ１０６）。 The video recognition unit 16 removes noise from the image of the detection area by leveling the image of the detection area set as described above in the entire area of the input video using a noise removal filter (step 104). ). Then, by performing edge extraction using the edge extraction filter on the leveled detection area image, feature points are extracted from the detection area image (step 106).

次に、映像認識部１６は、上記ステップ１０６で特徴点を抽出した映像を含む時間的に連続する複数の映像を用いて、上記ステップ１０６で抽出した特徴点の近傍エリアを対象として、予め定めた所定フロー以上の速さで移動する特徴点を追跡する（ステップ１０８）。具体的には、上記ステップ１０６で抽出した特徴点に対して過去の映像から抽出した同一対象を構成する特徴点をマッチングさせたうえで、速度測定部２２にてそれらの各特徴点の座標上の位置の差に基づいて同一対象を構成する特徴点の移動ベクトル量を測定する。そして、移動速度が所定速度以上である特徴点すなわち所定フロー以上の速さで移動する特徴点を抽出する。 Next, the image recognizing unit 16 uses a plurality of temporally continuous images including the image from which the feature points have been extracted in the above step 106, and determines in advance the area near the feature points extracted in the above step 106 as a target. The feature point moving at a speed higher than the predetermined flow is traced (step 108). Specifically, after the feature points constituting the same object extracted from the past video are matched with the feature points extracted in the above step 106, the speed measurement unit 22 sets the feature points on the coordinates of the feature points. The amount of movement vector of the feature points constituting the same object is measured based on the difference in position. Then, feature points whose moving speed is equal to or higher than a predetermined speed, that is, characteristic points that move at a speed equal to or higher than a predetermined flow are extracted.

映像認識部１６は、上記ステップ１０８の処理後、グルーピング部２４にて、カメラ映像の検知エリアの全領域内で上記の如く追跡した所定フロー以上の速さで移動する特徴点のうち同一移動物を構成すると推定される特徴点を一つに纏めてグルーピングする（ステップ１１０）。かかるグルーピングが行われると、カメラ映像の検知エリアの全領域のうちその特徴点がグルーピングされた映像領域（すなわち、その特徴点が占める映像領域）の、そのカメラ映像上の大きさ（例えば、Ｘ軸方向のピクセル数とＹ軸方向のピクセル数とで表現されるもの；以下、オブジェクトサイズと称す。）が測定される。 After the processing of step 108, the video recognition unit 16 uses the same moving object among the feature points that move at a speed equal to or higher than the predetermined flow tracked as described above in the entire area of the camera video detection area by the grouping unit 24. The feature points that are estimated to be included are grouped together into one group (step 110). When such grouping is performed, the size of the video area in which the feature points are grouped (that is, the video area occupied by the feature points) out of the entire detection area of the camera video (for example, X What is expressed by the number of pixels in the axial direction and the number of pixels in the Y-axis direction; hereinafter referred to as object size) is measured.

尚、上記のグルーピングは、カメラ映像中の検知エリア内の全ピクセルのうち所定フロー以上の速さで移動する特徴点が密集する映像領域が形成されるように行われる。このグルーピングにより形成される映像領域は、例えば、上記した所定フロー以上の速さで移動する特徴点が所定幅当たり所定数以上ある領域、又は、その特徴点の密度が所定密度以上である領域などに設定される。また、この映像領域は、例えば長方形状や正方形状などのカメラ映像上で予め定められた形状に限定されるものとしてもよい。また、カメラ映像の検知エリアの全領域内で行われる上記のグルーピングは二以上の領域に分かれることとしてもよく、例えば移動物が複数離れて存在すれば、その移動物ごとにグルーピングが行われ、それぞれグルーピングされた映像領域のオブジェクトサイズが測定されることとしてもよい。 Note that the above grouping is performed so as to form an image area where feature points moving at a speed equal to or higher than a predetermined flow among all the pixels in the detection area in the camera image are formed. The image area formed by this grouping is, for example, an area where a predetermined number or more of feature points moving at a speed equal to or higher than the predetermined flow described above, or an area where the density of the feature points is equal to or higher than a predetermined density. Set to In addition, the video area may be limited to a predetermined shape on a camera video such as a rectangular shape or a square shape. Further, the above grouping performed in the entire area of the detection area of the camera image may be divided into two or more areas.For example, if there are a plurality of moving objects, grouping is performed for each moving object, The object size of each grouped video area may be measured.

そして、映像認識部１６は、上記ステップ１１０の処理後、特徴点がグルーピングされた映像領域のすべてのうちオブジェクトサイズが第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）以上であるもの（以下、第１の映像領域と称す。）Ｓ１があるか否か、すなわち、第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）以上のオブジェクトサイズを有する第１の映像領域Ｓ１が存在するか否かを判別する（ステップ１１２）。 Then, after the processing of step 110, the video recognition unit 16 has an object size that is equal to or larger than a first predetermined size (W1_x × W1_y) among all video regions in which feature points are grouped (hereinafter referred to as the first It is determined whether or not there is S1, that is, whether or not there is a first video area S1 having an object size equal to or larger than a first predetermined size (W1_x × W1_y) (step 112). .

尚、上記した第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）は、カメラ映像の上記した検知エリアに映る路上位置に４輪車両や二輪車，人などの移動物が存在するときに特徴点がグルーピングされて形成される映像領域の最小の大きさであり、予め定められたサイズのピクセル数に設定されている。また、「オブジェクトサイズが第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）以上である」とは、オブジェクトサイズのＸ軸方向のピクセル数がＷ１＿ｘ以上でありかつオブジェクトサイズのＹ軸方向のピクセル数がＷ１＿ｙ以上であることが満たされることである。 The first predetermined size (W1_x × W1_y) is obtained by grouping feature points when a moving object such as a four-wheeled vehicle, a two-wheeled vehicle, or a person is present on the road position reflected in the detection area of the camera image. This is the minimum size of the video area to be formed, and is set to a predetermined number of pixels. Further, “the object size is equal to or larger than the first predetermined size (W1_x × W1_y)” means that the number of pixels in the X-axis direction of the object size is equal to or larger than W1_x and the number of pixels in the Y-axis direction of the object size is equal to or larger than W1_y. Is to be satisfied.

映像認識部１６は、上記ステップ１１２において、特徴点がグルーピングされた映像領域のすべてについてオブジェクトサイズが第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）未満であると判別したときは、以後、何ら処理を進めることなくルーチンを終了する。一方、特徴点がグルーピングされた映像領域のすべてのうちオブジェクトサイズが第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）以上である第１の映像領域Ｓ１があると判別したときは、次に、領域判別部２６にて、第１の映像領域Ｓ１の周辺に特徴点がグルーピングされた他の映像領域が存在し、かつ、その他の映像領域のオブジェクトサイズが第２の所定サイズ（Ｗ２＿ｘ×Ｗ２＿ｙ）以上かつ上記第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）未満であるか否か、すなわち、第１の映像領域Ｓ１の周辺に第２の所定サイズ以上かつ第１の所定サイズ未満のオブジェクトサイズを有する映像領域（以下、第２の映像領域と称す。）Ｓ２が存在するか否かを判別する（ステップ１１４）。 When the video recognition unit 16 determines in step 112 that the object size is less than the first predetermined size (W1_x × W1_y) for all of the video regions in which the feature points are grouped, the process proceeds thereafter. Exit the routine without On the other hand, when it is determined that there is the first video area S1 in which the object size is equal to or larger than the first predetermined size (W1_x × W1_y) among all the video areas in which the feature points are grouped, the area determination unit 26, there is another video area in which the feature points are grouped around the first video area S1, and the object size of the other video area is equal to or larger than a second predetermined size (W2_x × W2_y) and Whether or not it is smaller than a first predetermined size (W1_x × W1_y), that is, a video area (hereinafter referred to as an object size) having an object size not less than the second predetermined size and less than the first predetermined size around the first video area S1 This is referred to as a second video area.) It is determined whether or not S2 exists (step 114).

尚、上記した第１の映像領域Ｓ１の周辺とは、その第１の映像領域Ｓ１に対して所定範囲内で隣接する範囲のことであって、例えばその第１の映像領域Ｓ１を構成する外枠から所定ピクセル数（Ｐ＿ｘ×Ｐ＿ｙ；例えば、上下左右方向に５ピクセルずつ）分だけ外側までの帯状の範囲のことである。ただし、上記の所定ピクセル数（Ｐ＿ｘ×Ｐ＿ｙ）において、第１の映像領域Ｓ１に対する上側領域のピクセル数、下側領域のピクセル数、左側領域のピクセル数、及び右側領域のピクセル数は、互いに同じであってもよいしまた異なっていてもよい。また、上記の所定ピクセル（Ｐ＿ｘ×Ｐ＿ｙ）の上下方向成分Ｐ＿ｘと左右方向成分Ｐ＿ｙとは、互いに同じ値であってもよいしまた異なる値であってもよい。 The periphery of the first video area S1 is a range adjacent to the first video area S1 within a predetermined range. For example, the outside of the first video area S1 is outside the first video area S1. This is a band-like range extending from the frame to the outside by a predetermined number of pixels (P_x × P_y; for example, 5 pixels in the vertical and horizontal directions). However, in the above predetermined number of pixels (P_x × P_y), the number of pixels in the upper region, the number of pixels in the lower region, the number of pixels in the left region, and the number of pixels in the right region with respect to the first video region S1 are the same. May be different or different. Further, the vertical component P_x and the horizontal component P_y of the predetermined pixel (P_x × P_y) may be the same value or different values.

また、上記した第２の所定サイズ（Ｗ２＿ｘ×Ｗ２＿ｙ）は、カメラ映像の上記した検知エリアに映る路上位置に所定以上の大きさを有する周期的構造物が存在するときに特徴点がグルーピングされて形成される映像領域の最小の大きさである。そして、この第２の所定サイズ（Ｗ２＿ｘ×Ｗ２＿ｙ）は、上記した第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）よりも小さな値であって、予め定められたサイズのピクセル数に設定されている。「オブジェクトサイズが第２の所定サイズ（Ｗ２＿ｘ×Ｗ２＿ｙ）以上である」とは、オブジェクトサイズのＸ軸方向のピクセル数がＷ２＿ｘ以上でありかつオブジェクトサイズのＹ軸方向のピクセル数がＷ２＿ｙ以上であることが満たされることである。また、周期的構造物とは、例えば路上の側溝を塞ぐための網目状の構造物や路面ペイント，格子状の柵，橋の欄干などの周期的な模様が繰り返されるもののことである。 Further, the second predetermined size (W2_x × W2_y) described above is obtained by grouping feature points when a periodic structure having a predetermined size or larger exists at a position on the road reflected in the detection area of the camera image. This is the minimum size of the image area to be formed. The second predetermined size (W2_x × W2_y) is smaller than the first predetermined size (W1_x × W1_y) and is set to the number of pixels having a predetermined size. “The object size is greater than or equal to the second predetermined size (W2_x × W2_y)” means that the number of pixels in the X-axis direction of the object size is greater than or equal to W2_x and the number of pixels in the Y-axis direction of the object size is greater than or equal to W2_y That is to be satisfied. In addition, the periodic structure is a structure in which a periodic pattern such as a mesh-like structure for closing a side groove on a road, road surface paint, a grid-like fence, a railing of a bridge, or the like is repeated.

更に、上記ステップ１１４の判別は、第１の映像領域Ｓ１の周辺に第２の映像領域Ｓ２が一部でも含まれていれば肯定されるものとしてもよく、また、第１の映像領域Ｓ１の周辺に第２の映像領域Ｓ２のすべてが含まれていなければ肯定されないものとしてもよい。 Further, the determination in step 114 may be affirmed if the second video area S2 is partly included in the periphery of the first video area S1. If the entire second video area S2 is not included in the periphery, it may not be affirmed.

映像認識部１６は、上記ステップ１１４において、第１の映像領域Ｓ１の周辺に第２の映像領域Ｓ２が存在しないと判別したときは、第１の判定部２８にて、カメラ映像の検知エリアに映る路上位置に存在する物体一つだけが移動していると判断できるので、第１の映像領域Ｓ１に映る物体が移動物であると判定する（ステップ１１６）。 When the video recognizing unit 16 determines in step 114 that the second video region S2 does not exist around the first video region S1, the first determining unit 28 sets the second video region S2 in the camera video detection area. Since it can be determined that only one object existing at the position on the road is moving, it is determined that the object reflected in the first video area S1 is a moving object (step 116).

かかる移動物判定がなされると、映像認識部１６がかかる検知結果を描画処理部１８に供給して、描画処理部１８がその映像認識部１６からの検知結果に基づいて移動物の存在を運転者に視覚的に知らせるための処理を行うことで、モニタ２０に自車両周囲に移動物が存在する旨を運転者に知らせる警告表示などがなされる。尚、この警告表示の際には同時に、自車両周囲に移動物が存在する旨を運転者に聴覚的に知らせるための警告音やブザーなどを発生させることとしてもよい。 When such moving object determination is made, the video recognition unit 16 supplies the detection result to the drawing processing unit 18, and the drawing processing unit 18 drives the presence of the moving object based on the detection result from the video recognition unit 16. By performing a process for visually informing the driver, a warning display for notifying the driver that there is a moving object around the vehicle is displayed on the monitor 20. At the same time as the warning display, a warning sound or a buzzer for aurally informing the driver that there is a moving object around the vehicle may be generated.

一方、映像認識部１６は、第１の映像領域Ｓ１の周辺に第２の映像領域Ｓ２が存在すると判別したときは、第２の判定部２９にて、第１の映像領域Ｓ１及び第２の映像領域Ｓ２に映る物体が移動物でない（具体的には、周期的構造物である）と判定する（ステップ１１８）。これは、第１の映像領域Ｓ１の周辺に第２の映像領域Ｓ２が存在するときは、カメラ映像の検知エリアに映る路上位置に存在する物体が移動しつつその物体が２つ又は２つ以上に分かれた状態にあり、２つ又は２つ以上に分かれた物体が並んで同じ方向に移動している（尚、カメラ１２側にとっては、実際には、物体が移動しているように見えるだけである。）と判断でき、例えば路上の側溝を塞ぐための網目状の構造物や路面ペイントなどの周期的模様が繰り返される周期的構造物が存在しているに過ぎないと判断できるからである。 On the other hand, when the video recognizing unit 16 determines that the second video region S2 exists around the first video region S1, the second determination unit 29 causes the first video region S1 and the second video region S2 to be present. It is determined that the object reflected in the video area S2 is not a moving object (specifically, a periodic structure) (step 118). This is because, when the second video area S2 exists around the first video area S1, two or more objects are moving while moving on the road position reflected in the detection area of the camera video. 2 or two or more objects are moving side by side in the same direction (Note that for the camera 12 side, the object actually seems to move) This is because, for example, it can be determined that there is only a periodic structure in which a periodic pattern such as a mesh-like structure for closing a side groove on the road or a road surface paint is repeated. .

かかる非移動物判定又は周期的構造物判定がなされると、映像認識部１６がかかる検知結果を描画処理部１８に供給することで、描画処理部１８が移動物の存在を運転者に視覚的に知らせるための処理を行わないので、上記した移動物存在に起因した警告表示などがなされることはない。 When such non-moving object determination or periodic structure determination is performed, the image recognition unit 16 supplies the detection result to the drawing processing unit 18 so that the drawing processing unit 18 visually indicates the presence of the moving object to the driver. Therefore, the warning display or the like due to the presence of the moving object is not performed.

このように、本実施例の周辺監視装置１０においては、原則として、オプティカルフロー法に基づいたカメラ映像の認識によって同一移動物としてグルーピングされた特徴点が占める映像領域のオブジェクトサイズが第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）以上である場合にその映像領域（すなわち、第１の映像領域Ｓ１）に映る物体が移動物であると判定する。具体的には、その第１の映像領域Ｓ１の周辺にオブジェクトサイズが第２の所定サイズ（Ｗ２＿ｘ×Ｗ２＿ｙ）以上かつ第１の所定サイズ（Ｗ１＿ｘ×Ｗ１＿ｙ）未満である第２の映像領域Ｓ２が存在しないときは第１の映像領域Ｓ１に映る物体が移動物であると判定する。一方、その第１の映像領域Ｓ１の周辺にその第２の映像領域Ｓ２が存在するときは第１の映像領域Ｓ１及び第２の映像領域Ｓ２に映る物体が移動物であると判定するのを制限して、その物体が非移動物（すなわち、周期的構造物）であると判定することができる。 As described above, in the periphery monitoring device 10 according to the present embodiment, in principle, the object size of the video area occupied by the feature points grouped as the same moving object by the recognition of the camera video based on the optical flow method is the first predetermined value. When the size is equal to or larger than the size (W1_x × W1_y), it is determined that the object reflected in the video area (that is, the first video area S1) is a moving object. Specifically, a second video area S2 having an object size greater than or equal to a second predetermined size (W2_x × W2_y) and less than a first predetermined size (W1_x × W1_y) is formed around the first video area S1. When it does not exist, it is determined that the object shown in the first video area S1 is a moving object. On the other hand, when the second video area S2 exists around the first video area S1, it is determined that the object reflected in the first video area S1 and the second video area S2 is a moving object. It can be determined that the object is a non-moving object (ie, a periodic structure).

かかる構成においては、カメラ映像の検知エリア内に比較的大きなサイズの上記した周期的構造物が映っているときに、自車両の移動に伴ってその周期的構造物が他車両や人などの移動物として移動しているようにカメラ１２側に見えたとしても、その周期的構造物を移動物であると誤判定するのを防止することができる。従って、本実施例の周辺監視装置１０によれば、カメラ映像内に映る周期的構造物を精度よく移動物と区別して判定することができ、その結果として、移動物を判定する精度を向上させることができる。 In such a configuration, when the above-described periodic structure having a relatively large size is reflected in the detection area of the camera image, the periodic structure moves with another vehicle or a person along with the movement of the host vehicle. Even if the camera 12 appears to be moving as an object, it is possible to prevent the periodic structure from being erroneously determined as a moving object. Therefore, according to the periphery monitoring apparatus 10 of the present embodiment, it is possible to accurately determine and determine the periodic structure reflected in the camera image from the moving object, and as a result, improve the accuracy of determining the moving object. be able to.

また、周期的構造物は上記の如く周期的な模様が繰り返されるものであるので、自車両の移動時、カメラ映像のオプティカルフローにおいて自車両の進行方向とは逆方向の逆フローが測定されない可能性がある。これに対して、本実施例においては、カメラ映像内に映る周期的構造物を移動物と区別して判定するうえで、そのカメラ映像のオプティカルフローにおいて自車両の進行方向とは逆方向の逆フローを測定することは不要である。従って、本実施例の周辺監視装置１０によれば、周期的構造物を、逆フローを検知することなく精度よく移動物と区別して判定することが可能である。 In addition, since the periodic structure has a periodic pattern as described above, when the host vehicle moves, the reverse flow in the direction opposite to the traveling direction of the host vehicle may not be measured in the optical flow of the camera image. There is sex. On the other hand, in this embodiment, the periodic structure reflected in the camera image is determined separately from the moving object. In the optical flow of the camera image, the reverse flow is opposite to the traveling direction of the own vehicle. It is not necessary to measure Therefore, according to the periphery monitoring apparatus 10 of the present embodiment, it is possible to accurately distinguish the periodic structure from the moving object without detecting the reverse flow.

尚、上記の実施例においては、ステップ１１０が「第１のステップ」の一例である。ステップ１１２が「第２のステップ」の一例である。ステップ１１４が「第３のステップ」の一例である。ステップ１１６が「第４のステップ」の一例である。ステップ１１８が「第５のステップ」の一例である。 In the above embodiment, step 110 is an example of “first step”. Step 112 is an example of a “second step”. Step 114 is an example of a “third step”. Step 116 is an example of a “fourth step”. Step 118 is an example of a “fifth step”.

ところで、上記の実施例においては、周辺監視装置１０を車両に搭載するものとした。しかし、本発明はこれに限定されるものではなく、車両以外の移動物や固定物に搭載するものに適用することも可能である。 By the way, in the above embodiment, the periphery monitoring device 10 is mounted on a vehicle. However, the present invention is not limited to this, and can be applied to a moving object or a fixed object other than a vehicle.

１０周辺監視装置
１２カメラ
１４電子制御ユニット（ＥＣＵ）
１６映像認識部
２０モニタ
２２速度測定部
２４グルーピング部
２６領域判別部
２８第１の判定部
２９第２の判定部（判定制限部） 10 Perimeter monitoring device 12 Camera 14 Electronic control unit (ECU)
16 video recognition unit 20 monitor 22 speed measurement unit 24 grouping unit 26 area determination unit 28 first determination unit 29 second determination unit (determination limit unit)

Claims

A grouping unit for grouping specific feature points that are estimated to constitute the same moving object among the feature points extracted from the video in which the periphery is photographed;
A first determination unit that determines that an object reflected in the region is a moving object when the size of the region occupied by the specific feature points grouped by the grouping unit is equal to or larger than a first size;
A size that is adjacent to the first region within a predetermined range when there is a first region that is greater than or equal to the first size in the region included in the video. An area determination unit that determines whether or not there is a second area that is greater than or equal to a second size and less than the first size;
A determination limiting unit for limiting, when the region determination unit determines that there is the second region, the first determination unit determining that an object reflected in the first region is a moving object; ,
A periphery monitoring device comprising:

A second that determines that the object reflected in the first area and the second area is a structure in which a periodic pattern is repeated when the area determination unit determines that the second area exists; The periphery monitoring device according to claim 1, further comprising: a determination unit.

A speed measuring unit for measuring the moving speed of the feature point;
The periphery monitoring device according to claim 1, wherein the grouping unit groups the specific feature points among the feature points whose moving speed measured by the speed measurement unit is equal to or higher than a predetermined speed.

When the first area is included in the image, the area determination unit includes at least a part of the second area that is included in a predetermined pixel range outside the first area. 4. The periphery monitoring device according to claim 1, wherein it is determined whether or not there is a region.

A first step of grouping specific feature points that are estimated to constitute the same moving object among feature points extracted from a video in which surroundings are photographed;
It is determined whether or not there is a first region whose size is equal to or larger than the first size among the regions occupied by the specific feature points grouped in the first step included in the video. A second step;
When it is determined in the second step that the first area is present, the first area is adjacent to the first area within a predetermined range, the size is greater than or equal to the second size, and the first area A third step of determining whether there is a second region that is less than
A fourth step of determining that the object moving to the first region is a moving object when it is determined in the third step that there is no second region;
A fifth step of determining that an object moving to the first region is a structure in which a periodic pattern is repeated when it is determined in the third step that the second region is present;
An object determination method comprising: