JP6189729B2 - Object detection apparatus, object detection system, object detection method, and program - Google Patents

Object detection apparatus, object detection system, object detection method, and program Download PDF

Info

Publication number
JP6189729B2
JP6189729B2 JP2013247010A JP2013247010A JP6189729B2 JP 6189729 B2 JP6189729 B2 JP 6189729B2 JP 2013247010 A JP2013247010 A JP 2013247010A JP 2013247010 A JP2013247010 A JP 2013247010A JP 6189729 B2 JP6189729 B2 JP 6189729B2
Authority
JP
Japan
Prior art keywords
optical flow
object detection
processing target
vehicle
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013247010A
Other languages
Japanese (ja)
Other versions
JP2015106227A (en
Inventor
山本　徹夫
徹夫 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2013247010A priority Critical patent/JP6189729B2/en
Publication of JP2015106227A publication Critical patent/JP2015106227A/en
Application granted granted Critical
Publication of JP6189729B2 publication Critical patent/JP6189729B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の周辺を移動する物体を検出する技術に関する。   The present invention relates to a technique for detecting an object moving around a vehicle.

従来より、車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する物体検出装置が提案されている。物体検出装置は、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出する。このような物体検出装置の検出結果を報知することにより、ユーザ（主にドライバ）は、見通しの悪い交差点や駐車場などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に把握できる。   2. Description of the Related Art Conventionally, an object detection device that detects an object using a captured image obtained by capturing the periphery of a vehicle with a camera has been proposed. The object detection device detects an object based on, for example, a captured image obtained by a front camera. By notifying the detection result of such an object detection device, a user (mainly a driver) can easily find an object such as another vehicle approaching from a position that is a blind spot of the user at an intersection or a parking lot with poor visibility. I can grasp.

このような物体検出装置における物体の検出方式として、オプティカルフロー方式が知られている。オプティカルフロー方式は、周期的に得られる撮影画像（フレーム）から特徴点を抽出し、撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローを導出する。そして、このオプティカルフローに基づいて、自車両の周辺を移動する物体を検出する（例えば、特許文献１参照。）。   As an object detection method in such an object detection device, an optical flow method is known. In the optical flow method, feature points are extracted from periodically obtained captured images (frames), and an optical flow that is a vector indicating the motion of the feature points between captured images is derived. And based on this optical flow, the object which moves the circumference | surroundings of the own vehicle is detected (for example, refer patent document 1).

特許第３２３９５２１号公報Japanese Patent No. 3239521

ところで、上述したオプティカルフロー方式を採用した場合、自車両が旋回する場合においては、移動する物体に係るオプティカルフローだけではなく、背景となる被写体に関してもオプティカルフロー（見かけのオプティカルフロー）が生じる。このため、背景となる被写体を移動する物体として誤検出する可能性がある。   By the way, when the above-described optical flow method is employed, when the host vehicle turns, not only the optical flow related to the moving object but also the optical flow (apparent optical flow) occurs not only for the subject as the background. For this reason, there is a possibility that the background subject is erroneously detected as a moving object.

これに対応するため、自車両の旋回に起因して生じる見かけのオプティカルフローを算出し、撮影画像から実際に導出されるオプティカルフローから見かけのオプティカルフローを減算して、自車両の旋回の影響を除去することも提案されている（例えば、特許文献１参照。）。この場合、自車両との距離、自車両の車速、及び、ヨーレートなどのパラメータに基づいて、見かけのオプティカルフローが理論的に算出される。   To cope with this, the apparent optical flow caused by the turn of the host vehicle is calculated, and the apparent optical flow is subtracted from the optical flow that is actually derived from the photographed image to reduce the effect of the turn of the host vehicle. Removal has also been proposed (see, for example, Patent Document 1). In this case, the apparent optical flow is theoretically calculated based on parameters such as the distance from the host vehicle, the vehicle speed of the host vehicle, and the yaw rate.

しかしながら、撮影画像から導出される多数のオプティカルフローの全てに関して、このような見かけのオプティカルフローを各種のパラメータを考慮して算出するには、膨大な演算が必要となる。このような膨大な演算をリアルタイムに行うには、物体検出装置が非常に高速な演算処理機能を有する必要があり、物体検出装置としてのコストが大きく上昇する可能性がある。   However, in order to calculate such an apparent optical flow in consideration of various parameters with respect to all of a large number of optical flows derived from the captured image, enormous operations are required. In order to perform such enormous calculations in real time, the object detection device needs to have a very high-speed calculation processing function, and the cost of the object detection device may increase significantly.

このため、背景となる被写体を物体として誤検出することを防止する手法として、より簡便な手法が望まれていた。   For this reason, a simpler method has been desired as a method for preventing erroneous detection of a subject as a background as an object.

本発明は、上記課題に鑑みてなされたものであり、車両が旋回する場合において背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止する技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for preventing erroneous detection of a subject as a background as an object when a vehicle turns by a relatively simple method. To do.

上記課題を解決するため、請求項１の発明は、車両の周辺を移動する物体を検出する物体検出装置であって、前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、前記導出手段に導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する選択手段と、前記選択手段に前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する検出手段と、を備えている。   In order to solve the above-mentioned problem, the invention of claim 1 is an object detection device for detecting an object moving around a vehicle, and is characterized by a photographed image obtained periodically by photographing the periphery of the vehicle with a camera. An derivation unit for deriving an optical flow based on a point; and, out of the optical flows derived by the derivation unit, the optical flow having a length greater than a threshold is selected as a processing target, and the length is greater than the threshold The selection means for excluding the optical flow related to the background caused by the turning of the vehicle to be small from the processing target, and the object is detected based on the optical flow selected as the processing target by the selection means Detecting means.

また、請求項２の発明は、請求項１に記載の物体検出装置において、前記導出手段は、互いに異なる時点に取得された２つの前記撮影画像それぞれの前記特徴点同士を対応付けることで前記オプティカルフローを導出し、前記選択手段は、連続して対応付けができた回数が基準回数より小となる前記特徴点に基づく前記オプティカルフローを前記処理対象から除外する。   The invention according to claim 2 is the object detection device according to claim 1, wherein the derivation unit associates the feature points of the two captured images acquired at different points in time with each other. And the selection means excludes the optical flow based on the feature points whose number of continuous associations is smaller than the reference number from the processing target.

また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記検出手段は、前記選択手段に前記処理対象として選択された前記オプティカルフローの前記特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとし、該グループのサイズが基準サイズより大となる前記グループを前記物体として検出する。   Further, the invention according to claim 3 is the object detection device according to claim 1 or 2, wherein the detection means includes the feature points of the optical flow selected as the processing target by the selection means. A plurality of feature points existing in the vicinity are set as one group, and the group whose size is larger than a reference size is detected as the object.

また、請求項４の発明は、請求項１ないし３のいずれかに記載の物体検出装置において、前記車両の舵角を取得する取得手段と、前記舵角に応じて前記閾値を変更する変更手段と、を備えている。   According to a fourth aspect of the present invention, in the object detection device according to any one of the first to third aspects, an acquisition unit that acquires the rudder angle of the vehicle and a change unit that changes the threshold according to the rudder angle. And.

また、請求項５の発明は、物体検出システムであって、請求項１ないし４のいずれかに記載の物体検出装置と、前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、を備えている。   The invention of claim 5 is an object detection system, wherein the object detection device according to any one of claims 1 to 4 and notification means for notifying a user of a detection result by the detection means of the object detection device. And.

また、請求項６の発明は、車両の周辺を移動する物体を検出する物体検出方法であって、（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、を備えている。   The invention of claim 6 is an object detection method for detecting an object moving around a vehicle, wherein (a) a feature point of a photographed image obtained periodically by photographing the periphery of the vehicle with a camera. A step of deriving an optical flow on the basis of, and (b) selecting the optical flow whose length is greater than a threshold among the optical flows derived in the step (a) as a processing target, A step of excluding the optical flow related to the background caused by turning of the vehicle, which is smaller than a threshold value, from the processing target; and (c) the optical flow selected as the processing target in the step (b). And detecting an object based on.

また、請求項７の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、を実行させる。   The invention of claim 7 is a program that can be executed by a computer used in a vehicle, and (a) a feature point of a photographed image obtained periodically by photographing the periphery of the vehicle with a camera. And (b) selecting the optical flow whose length is greater than a threshold among the optical flows derived in step (a) as a processing target, A step of excluding the optical flow related to the background caused by turning of the vehicle, which is smaller than the threshold, from the processing target; and (c) the optical selected as the processing target in the step (b). Detecting an object based on the flow.

請求項１ないし７の発明によれば、長さが閾値より小となるオプティカルフローを処理対象から除外するという単純な手法で、車両の旋回に起因して生じる背景に係るオプティカルフローを処理対象から除外できる。このため、車両が旋回する場合に背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止できる。   According to the first to seventh aspects of the present invention, the optical flow related to the background caused by the turning of the vehicle is excluded from the processing target by a simple method of excluding the optical flow whose length is smaller than the threshold from the processing target. Can be excluded. For this reason, it is possible to prevent erroneous detection of a subject as a background as an object when the vehicle turns.

また、特に請求項２の発明によれば、連続して対応付けができた回数が基準回数より小となる特徴点に基づくオプティカルフローを処理対象から除外するため、近景の被写体に係るオプティカルフローを処理対象から除外できる。   Further, according to the invention of claim 2, in order to exclude the optical flow based on the feature point whose number of continuous correspondences is smaller than the reference number from the processing target, Can be excluded from processing.

また、特に請求項３の発明によれば、グループのサイズが基準サイズより大となるグループを物体として検出するため、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。   In particular, according to the third aspect of the present invention, since a group having a group size larger than the reference size is detected as an object, it is possible to prevent a group of feature points related to a foreground subject from being detected as an object.

また、特に請求項４の発明によれば、舵角に応じて閾値を変更するため、車両の旋回に起因して生じる背景に係るオプティカルフローを処理対象から適切に除外できる。   In particular, according to the invention of claim 4, since the threshold value is changed according to the steering angle, the optical flow related to the background caused by the turning of the vehicle can be appropriately excluded from the processing target.

図１は、物体検出システムの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of an object detection system. 図２は、２つのカメラがそれぞれ撮影する方向を示す図である。FIG. 2 is a diagram illustrating directions in which two cameras capture images. 図３は、物体検出システムが利用される場面の一例を示す図である。FIG. 3 is a diagram illustrating an example of a scene in which the object detection system is used. 図４は、表示画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of a display image. 図５は、フロントカメラで取得された複数の撮影画像の例を示す図である。FIG. 5 is a diagram illustrating an example of a plurality of captured images acquired by the front camera. 図６は、フロントカメラで取得された複数の撮影画像の例を示す図である。FIG. 6 is a diagram illustrating an example of a plurality of captured images acquired by the front camera. 図７は、フロントカメラで取得された複数の撮影画像の例を示す図である。FIG. 7 is a diagram illustrating an example of a plurality of captured images acquired by the front camera. 図８は、オプティカルフロー方式の概要を説明するための図である。FIG. 8 is a diagram for explaining the outline of the optical flow method. 図９は、背景に係るオプティカルフローを示す図である。FIG. 9 is a diagram showing an optical flow according to the background. 図１０は、オプティカルフローに関するヒストグラムを示す図である。FIG. 10 is a diagram illustrating a histogram relating to the optical flow. 図１１は、オプティカルフローに関するヒストグラムを示す図である。FIG. 11 is a diagram illustrating a histogram relating to the optical flow. 図１２は、判定閾値を変更する手法を説明する図である。FIG. 12 is a diagram illustrating a method for changing the determination threshold. 図１３は、物体検出システムの動作の流れを示す図である。FIG. 13 is a diagram illustrating an operation flow of the object detection system. 図１４は、物体検出処理の流れを示す図である。FIG. 14 is a diagram showing the flow of object detection processing. 図１５は、特徴点リストの一例を示す図である。FIG. 15 is a diagram illustrating an example of the feature point list. 図１６は、特徴点をグループ化する手法を説明するための図である。FIG. 16 is a diagram for explaining a method of grouping feature points. 図１７は、特徴点をグループ化する手法を説明するための図である。FIG. 17 is a diagram for explaining a method of grouping feature points.

以下、図面を参照しつつ本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．システムの構成＞
図１は、本実施の形態の物体検出システム１０の概略構成を示す図である。物体検出システム１０は、自動車などの車両に搭載されて当該車両の周辺を移動する物体を検出し、物体を検出した場合はその検出結果をユーザに報知する機能を有している。以下、物体検出システム１０が搭載される車両を「自車両」という。 <1. System configuration>
FIG. 1 is a diagram illustrating a schematic configuration of an object detection system 10 according to the present embodiment. The object detection system 10 has a function of detecting an object mounted on a vehicle such as an automobile and moving around the vehicle and notifying the user of the detection result when an object is detected. Hereinafter, a vehicle on which the object detection system 10 is mounted is referred to as “own vehicle”.

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能など、基本的な表示機能以外の機能を備えていてもよい。スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。   The object detection system 10 includes a display device 3 that displays a captured image and a speaker 4 that generates sound. The display device 3 is disposed at a position where a user (mainly a driver) can visually recognize the vehicle interior of the host vehicle, and notifies the user of various types of information. The display device 3 may have a function other than the basic display function such as a navigation function for guiding a route to the destination. The speaker 4 is arrange | positioned in the vehicle interior of the own vehicle, and alert | reports information to a user with a sound.

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得る複数のカメラ２を備えている。複数のカメラ２はそれぞれ、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。各カメラ２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像を取得する。   The object detection system 10 also includes a plurality of cameras 2 that capture the captured image by photographing the periphery of the host vehicle. Each of the plurality of cameras 2 includes a lens and an image sensor and electronically acquires a captured image. Each camera 2 acquires captured images periodically at a predetermined cycle (for example, 1/30 second cycle).

複数のカメラ２は、フロントカメラ２Ｆとバックカメラ２Ｂとを含んでいる。図２は、２つのカメラ２Ｆ，２Ｂがそれぞれ撮影する方向を示す図である。   The plurality of cameras 2 includes a front camera 2F and a back camera 2B. FIG. 2 is a diagram illustrating the directions in which the two cameras 2F and 2B capture images.

図に示すように、フロントカメラ２Ｆは、自車両９の前端のバンパーに設けられ、その光軸２１Ｆは自車両９の前後方向に沿って前方に向けられる。したがって、フロントカメラ２Ｆは、自車両９の前方を撮影して、自車両９の前方の様子を示す撮影画像を取得する。また、バックカメラ２Ｂは、自車両９の後端の背面ドア９２に設けられ、その光軸２１Ｂは自車両９の前後方向に沿って後方に向けられる。したがって、バックカメラ２Ｂは、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。   As shown in the figure, the front camera 2F is provided on a bumper at the front end of the host vehicle 9, and its optical axis 21F is directed forward along the front-rear direction of the host vehicle 9. Therefore, the front camera 2 </ b> F captures the front of the host vehicle 9 and acquires a captured image that shows the front of the host vehicle 9. The back camera 2 </ b> B is provided on the rear door 92 at the rear end of the host vehicle 9, and the optical axis 21 </ b> B is directed rearward along the front-rear direction of the host vehicle 9. Therefore, the back camera 2 </ b> B captures the rear side of the host vehicle 9 and acquires a captured image that shows the rear side of the host vehicle 9.

これらのカメラ２のレンズには魚眼レンズが採用され、各カメラ２は１８０度以上の画角θを有している。このため、フロントカメラ２Ｆは、自車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能であり、バックカメラ２Ｂは、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。   A fish-eye lens is adopted as the lens of these cameras 2, and each camera 2 has an angle of view θ of 180 degrees or more. For this reason, the front camera 2F can shoot a region of 180 degrees or more in the left-right direction spreading forward of the host vehicle 9, and the back camera 2B is 180 degrees or more in the left-right direction spreading rearward of the host vehicle 9. It is possible to photograph the area.

物体検出システム１０は、これら２つのカメラ２のうち、動作モードに応じて選択されるカメラ２で得られた撮影画像を表示装置３において表示する。物体検出システム１０は、フロントモードではフロントカメラ２Ｆで得られた撮影画像を表示し、バックモードではバックカメラ２Ｂで得られた撮影画像を表示する。このような動作モードは、例えば、自車両９の進行方向に基づいて切り替えられる。これにより、ユーザは進行方向における自車両９の周辺の様子を略リアルタイムに把握できる。   The object detection system 10 displays the captured image obtained by the camera 2 selected according to the operation mode among the two cameras 2 on the display device 3. The object detection system 10 displays a captured image obtained by the front camera 2F in the front mode, and displays a captured image obtained by the back camera 2B in the back mode. Such an operation mode is switched based on the traveling direction of the host vehicle 9, for example. Thereby, the user can grasp | ascertain the mode of the periphery of the own vehicle 9 in the advancing direction in substantially real time.

また、物体検出システム１０は、動作モードに応じたカメラ２で得られた撮影画像に基いて自車両９に接近する物体を検出する。そして、物体を検出した場合は、物体検出システム１０は、表示装置３及びスピーカ４を介して検出結果をユーザに報知する。これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できる。   Further, the object detection system 10 detects an object approaching the host vehicle 9 based on a captured image obtained by the camera 2 corresponding to the operation mode. When an object is detected, the object detection system 10 notifies the user of the detection result via the display device 3 and the speaker 4. Thereby, the user can easily grasp an object approaching from a position that becomes a blind spot of the user at an intersection or a parking lot with poor visibility.

図３は、物体検出システム１０が利用される場面の一例を示す図である。図３においては、自車両９が見通しの悪い交差点に差し掛かった場面を示している。物体検出システム１０の動作モードは、フロントモードとなっている。前述のように、フロントカメラ２Ｆは１８０度以上の画角θを有している。このため、図３に示すように、自車両９の前端のみが交差点に進入した状態において、フロントカメラ２Ｆは、交差点内の左右に広がった領域を撮影可能である。したがって、物体検出システム１０は、自車両９が存在する道路Ｒ１に対して略直交する他方の道路Ｒ２の様子を示す撮影画像を取得でき、この撮影画像を表示装置３に表示できる。   FIG. 3 is a diagram illustrating an example of a scene in which the object detection system 10 is used. FIG. 3 shows a scene where the host vehicle 9 has reached an intersection with poor visibility. The operation mode of the object detection system 10 is a front mode. As described above, the front camera 2F has an angle of view θ of 180 degrees or more. For this reason, as shown in FIG. 3, in the state where only the front end of the host vehicle 9 has entered the intersection, the front camera 2F can shoot a region extending left and right within the intersection. Therefore, the object detection system 10 can acquire a captured image showing the state of the other road R2 that is substantially orthogonal to the road R1 where the host vehicle 9 is present, and can display this captured image on the display device 3.

また、このように取得された撮影画像には、他方の道路Ｒ２を移動して左側又は右側から自車両９に接近する物体（他の車両８や歩行者など）の像が含まれる。物体検出システム１０は、この撮影画像を用いることで自車両９に接近する物体を検出し、その検出結果をユーザに報知する。このため、ユーザは、自車両９の全体を交差点に侵入させる前に、自車両９に接近する物体を容易に把握できる。   In addition, the captured image acquired in this way includes an image of an object (such as another vehicle 8 or a pedestrian) that moves on the other road R2 and approaches the host vehicle 9 from the left or right side. The object detection system 10 detects an object approaching the host vehicle 9 by using the captured image, and notifies the user of the detection result. For this reason, the user can easily grasp an object approaching the host vehicle 9 before the entire host vehicle 9 enters the intersection.

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９に接近する物体を検出するための物体検出装置１を備えている。物体検出装置１は、画像取得部１２、画像処理回路１３、及び、画像出力部１４を備えている。   Returning to FIG. 1, the object detection system 10 includes an object detection device 1 for detecting an object approaching the host vehicle 9 based on a captured image acquired by the camera 2. The object detection device 1 includes an image acquisition unit 12, an image processing circuit 13, and an image output unit 14.

画像取得部１２は、動作モードに応じたカメラ２からアナログの撮影画像を所定の周期（例えば、１／３０秒周期）で周期的に取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部１２が処理した一の撮影画像は、映像信号の一のフレームとなる。   The image acquisition unit 12 periodically acquires an analog captured image from the camera 2 according to the operation mode at a predetermined cycle (for example, 1/30 second cycle), and converts the acquired captured image into a digital captured image ( A / D conversion). One captured image processed by the image acquisition unit 12 is one frame of a video signal.

画像処理回路１３は、画像取得部１２が取得する撮影画像に対して所定の処理を実行するＡＳＩＣやＦＰＧＡなどのハードウェア回路である。画像処理回路１３は、オプティカルフロー方式で物体を検出する物体検出処理を実行する。図中に示す、フロー導出部１３ａ、フロー選択部１３ｂ及び物体検出部１３ｃは、この物体検出処理に係る機能である。   The image processing circuit 13 is a hardware circuit such as an ASIC or FPGA that performs a predetermined process on a captured image acquired by the image acquisition unit 12. The image processing circuit 13 executes an object detection process for detecting an object by an optical flow method. A flow deriving unit 13a, a flow selecting unit 13b, and an object detecting unit 13c shown in the drawing are functions related to the object detecting process.

フロー導出部１３ａは、カメラ２で周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。フロー選択部１３ｂは、フロー導出部１３ａに導出されたオプティカルフローのうち、所定の条件を満足するオプティカルフローを処理対象として選択する。物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。このような物体検出処理の詳細については後述する。画像処理回路１３は、物体検出処理の検出結果を出力する。   The flow deriving unit 13 a derives an optical flow based on the feature points of the captured image periodically obtained by the camera 2. The flow selection unit 13b selects, as a processing target, an optical flow that satisfies a predetermined condition among the optical flows derived by the flow deriving unit 13a. The object detection unit 13c detects an object based on the optical flow selected as a processing target by the flow selection unit 13b. Details of such object detection processing will be described later. The image processing circuit 13 outputs the detection result of the object detection process.

画像出力部２３は、撮影画像とともに各種情報を含む表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。   The image output unit 23 generates a display image including various information along with the captured image, converts the image into a predetermined format video signal such as NTSC, and outputs the video signal to the display device 3. As a result, a display image including the photographed image is displayed on the display device 3.

また、物体検出装置１は、操作スイッチ１５、信号受信部１６、音声出力部１７、記憶部１８、及び、制御部１１を備えている。   The object detection device 1 also includes an operation switch 15, a signal receiving unit 16, an audio output unit 17, a storage unit 18, and a control unit 11.

操作スイッチ１５は、自車両９の車室内に設けられるスイッチである。操作スイッチ１５は、ユーザの操作を受け付け、操作内容を示す信号を制御部１１に入力する。   The operation switch 15 is a switch provided in the passenger compartment of the host vehicle 9. The operation switch 15 receives a user operation and inputs a signal indicating the operation content to the control unit 11.

信号受信部１６は、自車両９に設けられる車載ネットワーク９１を介して、他の装置からの信号を受信して、自車両９の車両状態を取得する。信号受信部１６は、受信した車両状態を示す信号を制御部１１に入力する。   The signal receiving unit 16 receives signals from other devices via the in-vehicle network 91 provided in the host vehicle 9 and acquires the vehicle state of the host vehicle 9. The signal receiving unit 16 inputs a signal indicating the received vehicle state to the control unit 11.

信号受信部１６は、シフトセンサ６１、速度センサ６２及び舵角センサ６３が送出する信号を受信する。シフトセンサ６１は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を送出する。このシフトポジションは、自車両９の進行方向を示す。速度センサ６２は、自車両９の車輪軸の回転に基いて速度を検出し、自車両９の速度を示す信号を送出する。舵角センサ６３は、自車両９のステアリングホイールの中立位置からの回転角度である舵角（操舵角）を検出し、自車両９の舵角を示す信号を送出する。これにより、信号受信部１６は、シフトポジション、速度及び舵角を、自車両９の車両状態として取得する。   The signal receiving unit 16 receives signals sent from the shift sensor 61, the speed sensor 62, and the steering angle sensor 63. The shift sensor 61 detects a shift position that is the position of the shift lever of the transmission of the host vehicle 9 and sends a signal indicating the shift position. This shift position indicates the traveling direction of the host vehicle 9. The speed sensor 62 detects the speed based on the rotation of the wheel shaft of the host vehicle 9 and sends a signal indicating the speed of the host vehicle 9. The steering angle sensor 63 detects a steering angle (steering angle) which is a rotation angle from the neutral position of the steering wheel of the host vehicle 9 and sends a signal indicating the steering angle of the host vehicle 9. Thereby, the signal receiving unit 16 acquires the shift position, the speed, and the steering angle as the vehicle state of the host vehicle 9.

音声出力部１７は、制御部１１からの信号に基いて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生する。   The audio output unit 17 generates an audio signal based on the signal from the control unit 11 and outputs it to the speaker 4. Thereby, the speaker 4 generates a sound such as a warning sound.

記憶部１８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部１８は、例えば、ファームウェアとしてのプログラム１８ａを記憶する。   The storage unit 18 is a non-volatile memory such as a flash memory, for example, and stores various types of information. The storage unit 18 stores, for example, a program 18a as firmware.

制御部１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理回路１３を含む物体検出装置１の各部を制御する。制御部１１は、例えば、信号受信部１６が取得したシフトポジション、及び、操作スイッチ１５の操作内容などに応じて、物体検出システム１０の動作モードを変更する。   The control unit 11 is a microcomputer including a CPU, a RAM, a ROM, and the like, and controls each unit of the object detection apparatus 1 including the image processing circuit 13. The control unit 11 changes the operation mode of the object detection system 10 according to, for example, the shift position acquired by the signal reception unit 16 and the operation content of the operation switch 15.

制御部１１の各種の機能は、ソフトウェアで実現される。すなわち、制御部１１の機能は、記憶部１８に記憶されたプログラム１８ａの実行（プログラム１８ａに従ったＣＰＵの演算処理）によって実現される。図中の閾値変更部１１ａ及び結果報知部１１ｂは、プログラム１８ａの実行により実現される機能の一部である。   Various functions of the control unit 11 are realized by software. That is, the function of the control unit 11 is realized by the execution of the program 18a stored in the storage unit 18 (CPU arithmetic processing according to the program 18a). The threshold value changing unit 11a and the result notification unit 11b in the drawing are a part of functions realized by executing the program 18a.

閾値変更部１１ａは、画像処理回路１３のフロー選択部１３ｂがオプティカルフローを選択する場合に用いる判定閾値を変更する。閾値変更部１１ａは、信号受信部１６が取得した自車両９の速度及び舵角に応じて判定閾値を変更する。この閾値変更部１１ａの処理の詳細については後述する。   The threshold changing unit 11a changes a determination threshold used when the flow selection unit 13b of the image processing circuit 13 selects an optical flow. The threshold value changing unit 11 a changes the determination threshold value according to the speed and the steering angle of the host vehicle 9 acquired by the signal receiving unit 16. Details of the processing of the threshold value changing unit 11a will be described later.

結果報知部１１ｂは、画像処理回路１３による物体検出処理の検出結果をユーザに報知するための制御を行う。結果報知部１１ｂは、画像処理回路１３が出力する検出結果を受け取る。そして、結果報知部１１ｂは、画像出力部１４に信号を送出して、検出結果を示す表示画像を画像出力部１４に生成させる。これにより、検出結果を示す表示画像が表示装置３において表示される。また、結果報知部１１ｂは、音声出力部１７に信号を送出して、検出結果に応じた音声信号を音声出力部１７に生成させる。これにより、検出結果に応じた警告音がスピーカ４から発生される。   The result notification unit 11b performs control for notifying the user of the detection result of the object detection processing by the image processing circuit 13. The result notification unit 11b receives the detection result output from the image processing circuit 13. Then, the result notification unit 11b sends a signal to the image output unit 14 to cause the image output unit 14 to generate a display image indicating the detection result. Thereby, a display image indicating the detection result is displayed on the display device 3. In addition, the result notification unit 11b sends a signal to the audio output unit 17 and causes the audio output unit 17 to generate an audio signal corresponding to the detection result. Thereby, a warning sound corresponding to the detection result is generated from the speaker 4.

図４は、フロントモードにおいて表示装置３に表示される表示画像３１の一例を示す図である。表示画像３１は、カメラ２で取得された撮影画像ＳＧと、物体検出処理の検出結果を示す指標となる２つの警告部ＡＦと、動作モードを示すアイコンＣとを含んでいる。   FIG. 4 is a diagram illustrating an example of the display image 31 displayed on the display device 3 in the front mode. The display image 31 includes a captured image SG acquired by the camera 2, two warning portions AF serving as an index indicating the detection result of the object detection process, and an icon C indicating the operation mode.

２つの警告部ＡＦは、上下に延びる矩形の領域であり、撮影画像ＳＧの左右にそれぞれ配置される。自車両９の右側から接近する物体が存在する場合は、図４に示すように右側の警告部ＡＦが所定の色（例えば、黄色）で点滅する。逆に、自車両９の左側から接近する物体が存在する場合は、左側の警告部ＡＦが所定の色で点滅する。また、このように自車両９に接近する物体が存在する場合は、所定の警告音がスピーカ４から発生される。これにより、ユーザは、自車両９に接近する物体が存在することとともに、その物体が存在する方向を容易に把握できる。   The two warning parts AF are rectangular areas extending vertically and are respectively arranged on the left and right of the captured image SG. When there is an object approaching from the right side of the host vehicle 9, the right warning unit AF blinks in a predetermined color (for example, yellow) as shown in FIG. On the other hand, when there is an object approaching from the left side of the host vehicle 9, the warning unit AF on the left side blinks in a predetermined color. In addition, when there is an object approaching the host vehicle 9 in this way, a predetermined warning sound is generated from the speaker 4. Thereby, the user can easily grasp the direction in which the object is present as well as the object approaching the host vehicle 9 is present.

＜２．物体検出処理の概要＞
次に、画像処理回路１３が実行する物体検出処理の概要について説明する。前述のように、画像処理回路１３は、周期的に得られる複数の撮影画像（フレーム）を用いるフレーム相関方式の一つであるオプティカルフロー方式で物体を検出する。 <2. Overview of object detection processing>
Next, an outline of the object detection process executed by the image processing circuit 13 will be described. As described above, the image processing circuit 13 detects an object by an optical flow method that is one of the frame correlation methods using a plurality of periodically obtained captured images (frames).

図５、図６及び図７は、フロントカメラ２Ｆで時系列的に取得された複数の撮影画像ＳＧの例を示している。図５の撮影画像ＳＧが最も古く、図７の撮影画像ＳＧが最も新しい。図５から図７の撮影画像ＳＧそれぞれには、自車両９に接近する同一の物体の像Ｔが含まれている。画像処理回路１３は、このような周期的に得られる複数の撮影画像ＳＧを用いてオプティカルフロー方式の物体検出処理を行なって、自車両９に接近する物体を検出する。   5, 6 and 7 show examples of a plurality of captured images SG acquired in time series by the front camera 2F. The photographed image SG of FIG. 5 is the oldest, and the photographed image SG of FIG. 7 is the newest. Each of the captured images SG in FIGS. 5 to 7 includes an image T of the same object approaching the host vehicle 9. The image processing circuit 13 detects an object approaching the host vehicle 9 by performing an optical flow type object detection process using the plurality of periodically obtained captured images SG.

画像処理回路１３は、撮影画像ＳＧに設定される左右２つの検出領域ＴＡのそれぞれを対象にして物体検出処理を行なう。２つの検出領域ＴＡは、撮影画像ＳＧの上下中央付近に設定される。そして、一方の検出領域ＴＡは撮影画像ＳＧの左側、他方の検出領域ＴＡは撮影画像ＳＧの右側にそれぞれ設定される。各検出領域ＴＡのサイズは、例えば、水平３２０画素×垂直１６０画素である。これらの検出領域ＴＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）を含むことが望ましい。   The image processing circuit 13 performs object detection processing for each of the two left and right detection areas TA set in the captured image SG. The two detection areas TA are set near the upper and lower centers of the captured image SG. One detection area TA is set on the left side of the captured image SG, and the other detection area TA is set on the right side of the captured image SG. The size of each detection area TA is, for example, horizontal 320 pixels × vertical 160 pixels. It is desirable that these detection areas TA include vanishing points (actually, points where parallel line images intersect by perspective), which is a theoretically infinite point.

以下、図８を参照して、一般的なオプティカルフロー方式の物体検出処理について説明する。図８は、撮影画像ＳＧの右側に設定される検出領域ＴＡを例示している。   Hereinafter, a general optical flow system object detection process will be described with reference to FIG. FIG. 8 illustrates the detection area TA set on the right side of the captured image SG.

物体検出処理では、互いに異なる時点に取得された２つの撮影画像（フレーム）のそれぞれから特徴点ＦＰが抽出され、２つの撮影画像それぞれの特徴点ＦＰ同士が対応付けられる。そして、２つの撮影画像間の特徴点ＦＰの動きを示すオプティカルフローＯＰ１，ＯＰ２が導出され、このオプティカルフローＯＰ１，ＯＰ２に基づいて自車両９の周辺を移動する物体が検出される。通常は、時間的に連続する２つの撮影画像（フレーム）を用いてオプティカルフローＯＰ１，ＯＰ２が導出される。   In the object detection process, feature points FP are extracted from two photographed images (frames) acquired at different points in time, and feature points FP of the two photographed images are associated with each other. Then, optical flows OP1 and OP2 indicating the movement of the feature point FP between the two captured images are derived, and an object moving around the host vehicle 9 is detected based on the optical flows OP1 and OP2. Normally, the optical flows OP1 and OP2 are derived using two captured images (frames) that are continuous in time.

まず、直近に得られた撮影画像ＳＧにおける特徴点（際立って検出できる点）ＦＰが抽出される。これにより、物体の像Ｔのコーナー（エッジの交点）などを含む複数の点が特徴点ＦＰとして抽出される（ステップＳＴ１）。   First, feature points (points that can be detected prominently) FP in the most recently obtained captured image SG are extracted. As a result, a plurality of points including corners (intersections of edges) of the object image T are extracted as feature points FP (step ST1).

次に、直近の撮影画像ＳＧから抽出した特徴点ＦＰと、１フレーム前の撮影画像ＳＧから抽出した特徴点ＦＰとが対応付けられる。そして、対応付けられた２つの特徴点ＦＰのそれぞれの位置に基づいて、特徴点ＦＰの動きを示すベクトルであるオプティカルフローが導出される（ステップＳＴ２）。   Next, the feature point FP extracted from the latest photographed image SG is associated with the feature point FP extracted from the photographed image SG one frame before. Then, based on the respective positions of the two feature points FP associated with each other, an optical flow that is a vector indicating the movement of the feature point FP is derived (step ST2).

オプティカルフローには、左向きのオプティカルフローＯＰ１と、右向きのオプティカルフローＯＰ２とが存在する。通常は、自車両９に接近する物体の像Ｔは、撮影画像ＳＧ中を内向き（撮影画像ＳＧの左右端部から中央側への向き）に移動する。このため、内向きのオプティカルフローのみが処理対象として選択され、自車両９から離れる方向に移動する物体のオプティカルフローが処理対象から除外される（ステップＳＴ３）。図８に例示する撮影画像ＳＧの右側の検出領域ＴＡでは、左向きのオプティカルフローＯＰ１のみが処理対象として選択される。   The optical flow includes a left-facing optical flow OP1 and a right-facing optical flow OP2. Normally, the image T of the object approaching the host vehicle 9 moves inward in the captured image SG (direction from the left and right end portions of the captured image SG to the center side). Therefore, only the inward optical flow is selected as the processing target, and the optical flow of the object moving in the direction away from the own vehicle 9 is excluded from the processing target (step ST3). In the detection area TA on the right side of the photographed image SG illustrated in FIG. 8, only the leftward optical flow OP1 is selected as a processing target.

次に、処理対象として選択されたオプティカルフローＯＰ１の特徴点ＦＰのうちで、互いに近傍に存在する複数の特徴点ＦＰが一つのグループとしてグループ化される。そして、このようなグループのそれぞれが物体として検出される。   Next, among the feature points FP of the optical flow OP1 selected as the processing target, a plurality of feature points FP existing in the vicinity are grouped as one group. Each such group is detected as an object.

＜３．背景に係るオプティカルフロー＞
このようなオプティカルフロー方式を採用した場合、自車両９が停止している場合には比較的高精度に物体を検出することができる。一方で、自車両９が旋回する場合には、接近する物体に係るオプティカルフローだけではなく、背景となる被写体に関してもオプティカルフロー（見かけのオプティカルフロー）が生じる。このため、自車両９が旋回する場合には、背景となる被写体を接近する物体として誤検出する可能性がある。 <3. Optical flow for background>
When such an optical flow method is employed, an object can be detected with relatively high accuracy when the host vehicle 9 is stopped. On the other hand, when the host vehicle 9 turns, not only an optical flow related to an approaching object but also an optical flow (apparent optical flow) occurs with respect to a subject as a background. For this reason, when the host vehicle 9 turns, there is a possibility that a subject as a background is erroneously detected as an approaching object.

図９は、自車両９が右向きに旋回している場合に取得される撮影画像ＳＧから得られるオプティカルフローを概念的に示している。自車両９が右向きに旋回している場合には、撮影画像ＳＧ中の背景となる被写体の像が見かけ上において左向きに移動する。このため、撮影画像ＳＧの全体に、背景となる被写体に係る左向きのオプティカルフローＯＰａ，ＯＰｂ，ＯＰｃが発生する。   FIG. 9 conceptually shows an optical flow obtained from the captured image SG acquired when the host vehicle 9 is turning rightward. When the host vehicle 9 is turning rightward, the subject image as the background in the photographed image SG apparently moves to the left. For this reason, leftward-facing optical flows OPa, OPb, and OPc relating to the subject as the background are generated in the entire captured image SG.

一般的なオプティカルフロー方式を採用した場合には、撮影画像ＳＧの右側の検出領域ＴＡでは、内向きのオプティカルフローとして、接近する物体のオプティカルフロー以外に、これら背景に係る左向きのオプティカルフローＯＰａ，ＯＰｂ，ＯＰｃも処理対象として選択される。その結果、背景となる被写体が接近する物体として誤検出される可能性がある。   When the general optical flow method is adopted, in the detection area TA on the right side of the captured image SG, as the inward optical flow, in addition to the optical flow of the approaching object, the left-side optical flow OPa, OPb and OPc are also selected as processing targets. As a result, there is a possibility that the background subject is erroneously detected as an approaching object.

このため、本実施の形態の物体検出システム１０では、このような背景に係るオプティカルフローをできるだけ処理対象から除外することで、背景となる被写体を接近する物体として誤検出することを防止する。   For this reason, in the object detection system 10 of the present embodiment, such an optical flow related to the background is excluded from the processing target as much as possible, thereby preventing erroneous detection of the subject as the background as an approaching object.

背景となる被写体のうち、遠景の被写体はビルなどの建物であることが多く、近景の被写体は道路面の凹凸や白線などであることが多い。このため、遠景の被写体は、近景の被写体と比較して特徴点が抽出されやすい。したがって、背景に係るオプティカルフローには、近景の被写体に係るオプティカルフローＯＰｃと比較し、遠景の被写体に係るオプティカルフローＯＰａが多く含まれる。また、自車両９の旋回は直進を含む運動であるため、図９に示すように、遠景の被写体に係るオプティカルフローＯＰａの長さは、近景の被写体に係るオプティカルフローＯＰｃと比較して短くなる。   Of the background objects, distant objects are often buildings such as buildings, and foreground objects are often uneven roads or white lines. For this reason, a feature point is easily extracted from a distant subject as compared to a near subject. Therefore, the optical flow related to the background includes more optical flow OPa related to the subject in the far background than the optical flow OPc related to the subject in the foreground. Further, since the turning of the host vehicle 9 is a motion including straight ahead, as shown in FIG. 9, the length of the optical flow OPa related to the distant subject is shorter than the optical flow OPc related to the distant subject. .

物体検出システム１０では、このような背景に係るオプティカルフローの特性に基づき、比較的長さの短い遠景の被写体に係るオプティカルフローＯＰａを処理対象から除外する。これにより、車両の旋回に起因して生じる背景に係るオプティカルフローの多くを処理対象から除外する。   The object detection system 10 excludes the optical flow OPa related to the subject having a relatively short distance from the processing target based on the characteristics of the optical flow related to the background. As a result, most of the optical flow related to the background caused by the turning of the vehicle is excluded from the processing target.

図１０及び図１１は、撮影画像ＳＧから得られるオプティカルフローに関するヒストグラムを示す図である。これらの図においては、縦軸をオプティカルフローの数（度数）とし、横軸をオプティカルフローの長さ（階級）としている。図１０は、自車両９が停止している場合を示しており、図１１は、自車両９が旋回している場合を示している。   10 and 11 are diagrams showing histograms relating to the optical flow obtained from the captured image SG. In these figures, the vertical axis represents the number of optical flows (frequency), and the horizontal axis represents the length of the optical flow (class). FIG. 10 shows a case where the host vehicle 9 is stopped, and FIG. 11 shows a case where the host vehicle 9 is turning.

図１０に示すように、自車両９が停止している場合は、接近する物体に係るオプティカルフローに関するヒストグラムＨ１のみが表れる。一方、図１１に示すように自車両９が旋回している場合は、接近する物体に係るオプティカルフローに関するヒストグラムＨ１とともに、背景に係るオプティカルフローに関するヒストグラムＨ２も表れる。   As shown in FIG. 10, when the host vehicle 9 is stopped, only the histogram H1 related to the optical flow related to the approaching object appears. On the other hand, when the host vehicle 9 is turning as shown in FIG. 11, the histogram H2 related to the optical flow related to the background appears together with the histogram H1 related to the optical flow related to the approaching object.

前述のように、背景に係るオプティカルフローには遠景の被写体に係るオプティカルフローが多く含まれ、この遠景の被写体に係るオプティカルフローの長さは比較的短い。このため、図１１に示すように、背景に係るヒストグラムＨ２のピークは、接近する物体に係るヒストグラムＨ１と比較して、階級が小さい位置（オプティカルフローの長さが短い位置）に表れる。   As described above, the optical flow related to the background includes many optical flows related to the distant subject, and the length of the optical flow related to the distant subject is relatively short. For this reason, as shown in FIG. 11, the peak of the histogram H2 related to the background appears at a position where the class is smaller (position where the length of the optical flow is shorter) than the histogram H1 related to the approaching object.

物体検出システム１０の物体検出装置１では、閾値変更部１１ａが、接近する物体に係るヒストグラムＨ１のピークと、背景に係るヒストグラムＨ２のピークとの間に判定閾値Ｔｈを設定する。そして、フロー選択部１３ｂが、長さが判定閾値Ｔｈよりも小となるオプティカルフローを処理対象から除外する。これにより、フロー選択部１３ｂは、背景に係るオプティカルフロー（ヒストグラムＨ２のオプティカルフロー）の大部分を処理対象から除外する。一方で、フロー選択部１３ｂは、長さが判定閾値Ｔｈより大となる接近する物体に係るオプティカルフロー（ヒストグラムＨ１のオプティカルフロー）を残して処理対象として選択する。その結果、背景となる被写体が接近する物体として誤検出されることを防止できる。   In the object detection device 1 of the object detection system 10, the threshold changing unit 11a sets the determination threshold Th between the peak of the histogram H1 related to the approaching object and the peak of the histogram H2 related to the background. Then, the flow selection unit 13b excludes the optical flow whose length is smaller than the determination threshold Th from the processing target. Thereby, the flow selection unit 13b excludes most of the optical flow related to the background (optical flow of the histogram H2) from the processing target. On the other hand, the flow selection unit 13b selects an optical flow (optical flow of the histogram H1) related to an approaching object whose length is larger than the determination threshold Th and selects it as a processing target. As a result, it is possible to prevent the background subject from being erroneously detected as an approaching object.

なお、判定閾値Ｔｈと長さが一致するオプティカルフローに関しては、処理対象として選択してもよく、処理対象から除外してもよい。本実施の形態のフロー選択部１３ｂは、判定閾値Ｔｈと長さが一致するオプティカルフローを処理対象から除外する。   Note that an optical flow whose length matches the determination threshold Th may be selected as a processing target or excluded from the processing target. The flow selection unit 13b according to the present embodiment excludes an optical flow whose length matches the determination threshold Th from the processing target.

このように物体検出システム１０の物体検出装置１は、オプティカルフローの長さと判定閾値Ｔｈとを比較するという単純な手法で、背景となる被写体を接近する物体として誤検出することを防止する。したがって、比較的少ない演算量でこの手法を実現できるため、物体検出装置１が比較的低速な演算処理機能を有する場合であってもこの手法を採用でき、物体検出装置１としてのコストを低減できる。   As described above, the object detection apparatus 1 of the object detection system 10 prevents the erroneous detection of the subject that is the background as an approaching object by a simple method of comparing the length of the optical flow with the determination threshold Th. Therefore, since this method can be realized with a relatively small amount of calculation, this method can be adopted even when the object detection device 1 has a relatively low-speed calculation processing function, and the cost of the object detection device 1 can be reduced. .

また、背景に係るオプティカルフローの長さは、自車両９の走行状態に応じて変化する。すなわち、背景に係るオプティカルフローの長さは、自車両９の速度が大きくなるほど、また、自車両９の舵角が大きくなるほど、長くなる。このため、閾値変更部１１ａは、自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更する。   In addition, the length of the optical flow according to the background changes according to the traveling state of the host vehicle 9. That is, the length of the optical flow according to the background increases as the speed of the host vehicle 9 increases and as the steering angle of the host vehicle 9 increases. For this reason, the threshold value changing unit 11a changes the determination threshold value Th according to the speed and the steering angle of the host vehicle 9.

図１２は、閾値変更部１１ａが、判定閾値Ｔｈを変更する手法を説明する図である。図中の横軸は舵角（度）、縦軸は速度（ｋｍ／ｈ）を示している。舵角は、ステアリングホイールを中立位置から左側に回転すると正の値、右側に回転すると負の値で示される。   FIG. 12 is a diagram illustrating a method in which the threshold changing unit 11a changes the determination threshold Th. In the figure, the horizontal axis indicates the steering angle (degrees) and the vertical axis indicates the speed (km / h). The steering angle is indicated by a positive value when the steering wheel is rotated to the left from the neutral position, and a negative value when the steering wheel is rotated to the right.

図１２のグラフ中に自車両９の速度及び舵角をプロットした場合、プロットした点はグラフ中の第１領域Ａ１、第２領域Ａ２及び第３領域Ａ３のいずれかに含まれる。閾値変更部１１ａは、そのようにプロットした点が含まれる領域に応じて判定閾値Ｔｈを設定する。   When the speed and the steering angle of the host vehicle 9 are plotted in the graph of FIG. 12, the plotted points are included in any of the first region A1, the second region A2, and the third region A3 in the graph. The threshold value changing unit 11a sets the determination threshold value Th according to the area including the plotted points.

閾値変更部１１ａは、プロットした点が第１領域Ａ１に含まれる場合は、判定閾値Ｔｈを例えば「０ピクセル」に設定する。また、閾値変更部１１ａは、プロットした点が第２領域Ａ２に含まれる場合は判定閾値Ｔｈを例えば「１ピクセル」に設定し、プロットした点が第３領域Ａ３に含まれる場合は判定閾値Ｔｈを例えば「２ピクセル」に設定する。   When the plotted point is included in the first area A1, the threshold changing unit 11a sets the determination threshold Th to “0 pixel”, for example. Further, the threshold changing unit 11a sets the determination threshold Th to “1 pixel”, for example, when the plotted point is included in the second area A2, and the determination threshold Th when the plotted point is included in the third area A3. Is set to “2 pixels”, for example.

第１領域Ａ１は、速度が０以上Ｖ１未満、かつ、舵角の絶対値がＲ２以下となる領域である。第２領域Ａ２は、速度がＶ１以上Ｖ２未満、かつ、舵角の絶対値がＲ１（Ｒ１＜Ｒ２）以下となる領域である。また、第３領域Ａ３は、第１領域Ａ１及び第２領域Ａ２以外の領域である。例えば、Ｖ１は０．１ｋｍ／ｈ、Ｖ２は３．０ｋｍ／ｈ、Ｒ１は６０度、Ｒ２は舵角の最大値とされる。   The first region A1 is a region where the speed is 0 or more and less than V1, and the absolute value of the steering angle is R2 or less. The second area A2 is an area where the speed is V1 or more and less than V2 and the absolute value of the steering angle is R1 (R1 <R2) or less. The third area A3 is an area other than the first area A1 and the second area A2. For example, V1 is 0.1 km / h, V2 is 3.0 km / h, R1 is 60 degrees, and R2 is the maximum value of the steering angle.

自車両９の速度が０以上Ｖ１未満の場合（第１領域Ａ１）とは、自車両９が停止している場合である。このように自車両９が停止している場合は、自車両９の旋回に起因して生じる背景に係るオプティカルフローは存在しない。このため、この場合は、閾値変更部１１ａは、判定閾値Ｔｈを「０ピクセル」に設定する。「０ピクセル」以下のオプティカルフローは存在しないため、この場合は、フロー選択部１３ｂは判定閾値Ｔｈに基づいてオプティカルフローを処理対象から除外することはない。   The case where the speed of the host vehicle 9 is 0 or more and less than V1 (first region A1) is a case where the host vehicle 9 is stopped. Thus, when the host vehicle 9 is stopped, there is no optical flow related to the background caused by the turning of the host vehicle 9. Therefore, in this case, the threshold value changing unit 11a sets the determination threshold value Th to “0 pixel”. Since there is no optical flow of “0 pixels” or less, in this case, the flow selection unit 13b does not exclude the optical flow from the processing target based on the determination threshold Th.

また、自車両９の速度がＶ１以上Ｖ２未満の場合とは、自車両９が比較的低速に走行している場合である。この場合は、自車両９の舵角が大きいほど、自車両９の旋回に起因して生じる背景に係るオプティカルフローの長さが長くなる。   Moreover, the case where the speed of the own vehicle 9 is V1 or more and less than V2 is a case where the own vehicle 9 is traveling at a relatively low speed. In this case, as the rudder angle of the host vehicle 9 increases, the length of the optical flow related to the background caused by the turning of the host vehicle 9 increases.

このため、自車両９の舵角が比較的小さい場合（第２領域Ａ２）は、閾値変更部１１ａは、判定閾値Ｔｈを「１ピクセル」に設定する。これにより、フロー選択部１３ｂは「１ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。   For this reason, when the rudder angle of the own vehicle 9 is relatively small (second region A2), the threshold value changing unit 11a sets the determination threshold value Th to “1 pixel”. Thereby, the flow selection unit 13b excludes an optical flow of “1 pixel” or less from the processing target as an optical flow related to the background caused by the turning of the host vehicle 9.

一方で、自車両９の舵角が比較的大きい場合（第３領域Ａ３）は、閾値変更部１１ａは、判定閾値Ｔｈを「２ピクセル」に設定する。これにより、フロー選択部１３ｂは「２ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。   On the other hand, when the steering angle of the host vehicle 9 is relatively large (third region A3), the threshold value changing unit 11a sets the determination threshold value Th to “2 pixels”. Thereby, the flow selection unit 13b excludes the optical flow of “2 pixels” or less from the processing target as the optical flow related to the background caused by the turning of the host vehicle 9.

また、自車両９の速度がＶ２以上の場合（第３領域Ａ３）とは、自車両９が比較的高速に走行している場合である。この場合は、自車両９の舵角が比較的小さくても、自車両９の旋回に起因した背景に係るオプティカルフローの長さが長くなる。このため、この場合は、閾値変更部１１ａは、判定閾値Ｔｈを「２ピクセル」に設定する。これにより、フロー選択部１３ｂは「２ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。   The case where the speed of the host vehicle 9 is equal to or higher than V2 (third region A3) is a case where the host vehicle 9 is traveling at a relatively high speed. In this case, even if the steering angle of the host vehicle 9 is relatively small, the length of the optical flow related to the background resulting from the turning of the host vehicle 9 is increased. Therefore, in this case, the threshold changing unit 11a sets the determination threshold Th to “2 pixels”. Thereby, the flow selection unit 13b excludes the optical flow of “2 pixels” or less from the processing target as the optical flow related to the background caused by the turning of the host vehicle 9.

このように閾値変更部１１ａが自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更するため、自車両９の走行状態に応じて、自車両９の旋回に起因して生じる背景に係るオプティカルフローを処理対象から適切に除外できる。   Since the threshold value changing unit 11a changes the determination threshold value Th according to the speed and the steering angle of the host vehicle 9 as described above, the background change caused by the turning of the host vehicle 9 depends on the traveling state of the host vehicle 9. The optical flow can be appropriately excluded from the processing target.

＜４．動作の流れ＞
次に、物体検出システム１０の動作の流れについて説明する。図１３は、物体検出システム１０の動作の流れを示す図である。図１３に示す処理は一フレームごとに行われ、所定の周期（例えば、１／３０秒周期）で繰り返される。 <4. Flow of operation>
Next, the operation flow of the object detection system 10 will be described. FIG. 13 is a diagram showing a flow of operations of the object detection system 10. The process shown in FIG. 13 is performed for each frame and is repeated at a predetermined cycle (for example, a 1/30 second cycle).

まず、信号受信部１６が、自車両９の走行状態を示す速度及び舵角を取得する（ステップＳ１１）。信号受信部１６は、速度センサ６２及び舵角センサ６３から送出される信号を受信して、自車両９の速度及び舵角を取得する。   First, the signal receiving unit 16 acquires a speed and a steering angle indicating the traveling state of the host vehicle 9 (step S11). The signal receiving unit 16 receives signals sent from the speed sensor 62 and the steering angle sensor 63 and acquires the speed and the steering angle of the host vehicle 9.

次に、閾値変更部１１ａが、判定閾値Ｔｈを設定する（ステップＳ１２）。閾値変更部１１ａは、図１２を用いて説明したとおり、信号受信部１６が取得した自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更する。   Next, the threshold value changing unit 11a sets a determination threshold value Th (step S12). As described with reference to FIG. 12, the threshold changing unit 11 a changes the determination threshold Th according to the speed and steering angle of the host vehicle 9 acquired by the signal receiving unit 16.

次に、画像取得部１２が、動作モードに応じたカメラ２から一の撮影画像（フレーム）を取得する（ステップＳ１３）。画像取得部１２は、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。   Next, the image acquisition unit 12 acquires one captured image (frame) from the camera 2 corresponding to the operation mode (step S13). The image acquisition unit 12 converts (A / D conversion) the acquired captured image into a digital captured image.

次に、画像処理回路１３は、画像取得部１２が取得した撮影画像を用いて物体検出処理を実行する（ステップＳ１４）。そして、画像処理回路１３は、物体を検出した場合は検出結果を制御部１１に出力する。   Next, the image processing circuit 13 performs object detection processing using the captured image acquired by the image acquisition unit 12 (step S14). Then, the image processing circuit 13 outputs a detection result to the control unit 11 when an object is detected.

画像処理回路１３が物体を検出した場合は、制御部１１の結果報知部１１ｂが検出結果を受け取る。そして、結果報知部１１ｂは、撮影画像とともに検出結果を示す表示画像を表示装置３において表示させる。さらに、結果報知部１１ｂは、検出結果に応じた警告音をスピーカ４から発生させる。これにより、物体検出処理の検出結果がユーザに報知される（ステップＳ１５）。   When the image processing circuit 13 detects an object, the result notification unit 11b of the control unit 11 receives the detection result. And the result alerting | reporting part 11b displays on the display apparatus 3 the display image which shows a detection result with a picked-up image. Furthermore, the result notification unit 11b generates a warning sound from the speaker 4 according to the detection result. Thereby, the detection result of the object detection process is notified to the user (step S15).

次に、画像処理回路１３が実行する物体検出処理（ステップＳ１４）について詳細に説明する。図１４は、物体検出処理（ステップＳ１４）の詳細な流れを示す図である。この物体検出処理は、撮影画像の左右２つの検出領域ＴＡのそれぞれに関して個別に行われる。   Next, the object detection process (step S14) executed by the image processing circuit 13 will be described in detail. FIG. 14 is a diagram showing a detailed flow of the object detection process (step S14). This object detection process is performed individually for each of the two left and right detection areas TA of the captured image.

まず、フロー導出部１３ａが、検出領域ＴＡにおける特徴点を抽出する（ステップＳ２１）。フロー導出部１３ａは、例えば、ハリスオペレータなどの周知の手法を用いて、特徴点を抽出する。   First, the flow deriving unit 13a extracts feature points in the detection area TA (step S21). The flow deriving unit 13a extracts feature points using a known method such as a Harris operator.

次に、フロー導出部１３ａは、互いに異なる時点に取得された２つの撮影画像（時間的に連続する２つの撮影画像）それぞれの特徴点同士を対応付ける（ステップＳ２２）。すなわち、フロー導出部１３ａは、今回の物体検出処理で抽出した特徴点（以下、「今回特徴点」という。）と、１フレーム前の撮影画像を対象とした前回の物体検出処理で抽出した特徴点（以下、「前回特徴点」という。）とを対応付ける。移動する物体に基づく特徴点は、互いに異なる時点に取得された２つの撮影画像（フレーム）の間で異なる位置に現れる。このため、フロー導出部１３ａは、同一の物体の同一箇所に基づく特徴点同士を対応付ける。   Next, the flow deriving unit 13a associates feature points of two captured images (two captured images that are temporally continuous) acquired at different points in time (step S22). That is, the flow deriving unit 13a extracts the feature points extracted in the current object detection process (hereinafter referred to as “current feature points”) and the features extracted in the previous object detection process for the captured image one frame before. Points (hereinafter referred to as “previous feature points”) are associated with each other. Feature points based on a moving object appear at different positions between two captured images (frames) acquired at different points in time. For this reason, the flow deriving unit 13a associates feature points based on the same part of the same object.

前回特徴点は、例えば、画像処理回路１３内のメモリに記憶された特徴点リストに登録されている。図１５は、特徴点リストの一例を示す図である。図１５に示すように、特徴点リストは、複数のレコードＲａを含むテーブル形式のデータである。各レコードＲａは一の特徴点の情報を示しており、「識別番号」「Ｘ座標」「Ｙ座標」及び「追跡回数」を含んでいる。「識別番号」は当該特徴点の識別情報、「Ｘ座標」は当該特徴点の水平方向の座標位置、「Ｙ座標」は当該特徴点の垂直方向の座標位置をそれぞれ示している。   The previous feature point is registered in, for example, a feature point list stored in a memory in the image processing circuit 13. FIG. 15 is a diagram illustrating an example of the feature point list. As shown in FIG. 15, the feature point list is data in a table format including a plurality of records Ra. Each record Ra indicates information of one feature point, and includes “identification number”, “X coordinate”, “Y coordinate”, and “tracking count”. “Identification number” indicates the identification information of the feature point, “X coordinate” indicates the horizontal coordinate position of the feature point, and “Y coordinate” indicates the vertical coordinate position of the feature point.

また、「追跡回数」は、当該特徴点が連続して対応付けられた回数を示している。例えば、「追跡回数」が「３」であれば、当該特徴点に関して、過去３回の物体検出処理において連続して対応付けができたことを示している。また、「追跡回数」が「０」であれば、当該特徴点が、前回の物体検出処理において新規に抽出された特徴点であることを示している。   The “tracking count” indicates the number of times that the feature point is continuously associated. For example, if the “tracking count” is “3”, it indicates that the feature point can be continuously associated in the past three object detection processes. Further, if the “tracking count” is “0”, it indicates that the feature point is a feature point newly extracted in the previous object detection process.

フロー導出部１３ａは、今回特徴点のそれぞれに関して、このような特徴点リストに登録された前回特徴点との対応付けを試みる。フロー導出部１３ａは、例えば、今回特徴点を中心とした比較的小さなサイズ（例えば、水平５画素×垂直５画素）のブロックと前回特徴点を中心とした同サイズのブロックとを比較し、ブロックに含まれる画素が近似する今回特徴点と前回特徴点とを対応付ける。ブロックに含まれる画素が近似する前回特徴点が無い場合は、今回特徴点は前回特徴点とは対応付けられない。通常、新規に抽出された特徴点、及び、断続的に表れる特徴点は、前回特徴点とは対応付けられない。   The flow deriving unit 13a tries to associate each of the current feature points with the previous feature point registered in the feature point list. The flow deriving unit 13a compares, for example, a block having a relatively small size (for example, horizontal 5 pixels × vertical 5 pixels) centered on the current feature point with a block of the same size centered on the previous feature point. The current feature point approximated by the pixels included in is associated with the previous feature point. If there is no previous feature point that the pixel included in the block approximates, the current feature point is not associated with the previous feature point. Normally, newly extracted feature points and feature points that appear intermittently are not associated with the previous feature points.

フロー導出部１３ａは、全ての今回特徴点に関して前回特徴点との対応付けを試みると、特徴点リストの内容を今回特徴点を示す内容に更新する。フロー導出部１３ａは、前回特徴点と対応付けができた今回特徴点のレコードＲａに関しては、「追跡回数」に「１」を加算する。一方、フロー導出部１３ａは、前回特徴点と対応付けができなかった今回特徴点のレコードＲａに関しては「追跡回数」を「０」とする。   When the flow deriving unit 13a tries to associate all the current feature points with the previous feature point, the flow deriving unit 13a updates the content of the feature point list to the content indicating the current feature point. The flow deriving unit 13a adds “1” to “tracking count” for the record Ra of the current feature point that can be associated with the previous feature point. On the other hand, the flow deriving unit 13a sets “tracking count” to “0” for the record Ra of the current feature point that could not be associated with the previous feature point.

フロー導出部１３ａは、このようにして今回特徴点と前回特徴点とを対応付けると、次に、前回特徴点と対応付けできた今回特徴点のそれぞれに関して、オプティカルフローを導出する（ステップＳ２３）。フロー導出部１３ａは、前回特徴点の位置から今回特徴点の位置に向かうベクトルをオプティカルフローとして導出する。   When the current feature point and the previous feature point are associated with each other in this manner, the flow deriving unit 13a then derives an optical flow for each of the current feature points that can be associated with the previous feature point (step S23). The flow deriving unit 13a derives a vector from the position of the previous feature point toward the position of the current feature point as an optical flow.

次に、フロー選択部１３ｂが、フロー導出部１３ａに導出されたオプティカルフローのうち、所定の条件を満足するオプティカルフローを処理対象として選択し、所定の条件を満足しないオプティカルフローを除外する。   Next, the flow selection unit 13b selects an optical flow that satisfies a predetermined condition from the optical flows derived by the flow deriving unit 13a as a processing target, and excludes an optical flow that does not satisfy the predetermined condition.

まず、フロー選択部１３ｂは、内向きのオプティカルフローを処理対象として残し、外向きのオプティカルフローを処理対象から除外する（ステップＳ２４）。フロー選択部１３ｂは、撮影画像ＳＧの左側の検出領域ＴＡでは右向きのオプティカルフローを処理対象として残し、撮影画像ＳＧの右側の検出領域ＴＡでは左向きのオプティカルフローを処理対象として残す。   First, the flow selection unit 13b leaves the inward optical flow as a processing target, and excludes the outward optical flow from the processing target (step S24). The flow selection unit 13b leaves the optical flow directed right in the detection area TA on the left side of the captured image SG as a processing target, and leaves the optical flow directed left in the detection area TA on the right side of the captured image SG.

次に、フロー選択部１３ｂは、処理対象として残ったオプティカルフローそれぞれの長さと判定閾値Ｔｈとを比較する。この判定閾値Ｔｈは、図１３のステップＳ１２において、閾値変更部１１ａが自車両９の速度及び舵角に応じて設定したものである。フロー選択部１３ｂは、長さが判定閾値Ｔｈより大となるオプティカルフローを処理対象として残し、長さが判定閾値Ｔｈより小となるオプティカルフローを処理対象から除外する（ステップＳ２５）。これにより、フロー選択部１３ｂは、主に遠景の被写体に係るオプティカルフローを処理対象から除外する。その結果、フロー選択部１３ｂは、自車両９の旋回に起因して生じる背景に係るオプティカルフローの大部分を処理対象から除外する。   Next, the flow selection unit 13b compares the length of each optical flow remaining as a processing target with the determination threshold Th. This determination threshold Th is set by the threshold changing unit 11a in accordance with the speed and steering angle of the host vehicle 9 in step S12 of FIG. The flow selection unit 13b leaves an optical flow whose length is larger than the determination threshold Th as a processing target, and excludes an optical flow whose length is smaller than the determination threshold Th from the processing target (Step S25). Thereby, the flow selection unit 13b excludes the optical flow mainly related to the distant subject from the processing target. As a result, the flow selection unit 13b excludes most of the optical flow related to the background caused by the turning of the host vehicle 9 from the processing target.

次に、フロー選択部１３ｂは、処理対象として残ったオプティカルフローそれぞれの特徴点（今回特徴点）の「追跡回数」と所定の基準回数（例えば、３回）とを比較する。そして、フロー選択部１３ｂは、特徴点の「追跡回数」が基準回数より大のオプティカルフローを処理対象として残し、特徴点の「追跡回数」が基準回数より小のオプティカルフローを処理対象から除外する（ステップＳ２６）。   Next, the flow selection unit 13b compares the “tracking count” of the feature points (current feature points) of each optical flow remaining as a processing target with a predetermined reference count (for example, 3 times). Then, the flow selection unit 13b leaves an optical flow whose feature point “tracking count” is larger than the reference count as a processing target and excludes an optical flow whose feature point “tracking count” is smaller than the reference count from the processing target. (Step S26).

判定閾値Ｔｈを用いたステップＳ２５の処理は、主に遠景の被写体に係るオプティカルフローを処理対象から除外するものである。このため、ステップＳ２５の処理後に処理対象として残ったオプティカルフローには、数は比較的少ないものの、近景の被写体に係るオプティカルフローが含まれている。前述のように近景の被写体は道路面の凹凸や白線などであることが多い。このような近景の被写体の特徴点は一般に断続的に表れ、撮影画像中に一定期間以上にわたって継続的に表れることは稀である。一方で、接近する物体に係る特徴点は、通常、撮影画像中に継続的に表れる。   The process of step S25 using the determination threshold Th excludes an optical flow mainly related to a distant subject from the processing target. For this reason, the optical flow remaining as a processing target after the processing of step S25 includes an optical flow related to a subject in the foreground, although the number is relatively small. As described above, the subject in the foreground is often uneven or white lines on the road surface. Such feature points of a close-up subject generally appear intermittently, and rarely appear continuously in a captured image for a certain period or longer. On the other hand, the feature points related to the approaching object usually appear continuously in the captured image.

このため、フロー選択部１３ｂは、特徴点の「追跡回数」が所定回数より小のオプティカルフローを処理対象から除外することで、接近する物体に係るオプティカルフローを処理対象として残しつつ、近景の被写体に係るオプティカルフローの多くを処理対象から除外できる。なお、特徴点の「追跡回数」が基準回数と一致するオプティカルフローに関しては、処理対象として選択してもよく、処理対象から除外してもよい。   For this reason, the flow selection unit 13b excludes an optical flow whose feature point “tracking number” is smaller than a predetermined number from the processing target, thereby leaving the optical flow related to the approaching object as the processing target, and the subject in the foreground. Many of the optical flows related to can be excluded from the processing target. An optical flow in which the “tracking number” of the feature points matches the reference number may be selected as a processing target or may be excluded from the processing target.

フロー選択部１３ｂは、以上説明したステップＳ２４〜ステップＳ２６の処理により残ったオプティカルフローを処理対象として選択することになる。   The flow selection unit 13b selects the optical flow remaining by the processing in steps S24 to S26 described above as a processing target.

次に、物体検出部１３ｃが、このようにフロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。まず、物体検出部１３ｃは、処理対象として選択された複数のオプティカルフローそれぞれの特徴点（今回特徴点）に注目する。そして、物体検出部１３ｃは、それらの特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとしてグループ化する（ステップＳ２７）。   Next, the object detection unit 13c detects an object based on the optical flow selected as the processing target by the flow selection unit 13b. First, the object detection unit 13c pays attention to feature points (current feature points) of a plurality of optical flows selected as processing targets. And the object detection part 13c groups the some feature point which exists in the vicinity among those feature points into one group (step S27).

図１６及び図１７は、このような特徴点をグループ化する手法を説明するための図である。図１６においては、検出領域ＴＡの一部を拡大して示している。また、この説明では、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とする。   16 and 17 are diagrams for explaining a method of grouping such feature points. In FIG. 16, a part of the detection area TA is shown enlarged. In this description, the horizontal direction is the X axis (right side is positive), and the vertical direction is the Y axis (lower side is positive).

まず、図１６に示すように、物体検出部１３ｃは、特徴点ＦＰのそれぞれの位置に、水平方向（Ｘ軸方向）に延びるラインＬを設定する。このラインＬは、特徴点ＦＰを中心とした特定のサイズ（例えば、５ピクセル）の画素列で構成される。   First, as illustrated in FIG. 16, the object detection unit 13c sets a line L extending in the horizontal direction (X-axis direction) at each position of the feature point FP. The line L is configured by a pixel row having a specific size (for example, 5 pixels) with the feature point FP as the center.

次に、物体検出部１３ｃは、これらのラインＬの画素を参照し、横軸をＸ軸の各座標位置、縦軸を画素の数（度数）とするヒストグラムＨＸを生成する。このヒストグラムＨＸにおいては、Ｘ軸の各座標位置において、Ｙ軸方向に存在するラインＬの画素の数が度数として示される。   Next, the object detection unit 13c refers to the pixels of these lines L, and generates a histogram HX in which the horizontal axis represents each coordinate position on the X axis and the vertical axis represents the number of pixels (frequency). In the histogram HX, the number of pixels on the line L existing in the Y-axis direction at each coordinate position on the X-axis is shown as a frequency.

次に、物体検出部１３ｃは、ヒストグラムＨＸの度数と所定の閾値Ｔａ（例えば、「３」）とを比較する。そして、図１６の下部に示すように、物体検出部１３ｃは、度数が閾値Ｔａ以上となるＸ軸方向の範囲を示すラインデータＬＤを導出する。このラインデータＬＤは、検出領域ＴＡの水平方向（Ｘ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲を示すものとなる。   Next, the object detection unit 13c compares the frequency of the histogram HX with a predetermined threshold Ta (for example, “3”). Then, as shown in the lower part of FIG. 16, the object detection unit 13c derives line data LD indicating a range in the X-axis direction in which the frequency is equal to or greater than the threshold value Ta. This line data LD indicates a range in which a plurality of feature points FP existed in the vicinity of each other in the horizontal direction (X-axis direction) of the detection area TA.

次に、図１７に示すように、物体検出部１３ｃは、縦軸をＹ軸の各座標位置、横軸を画素の数（度数）とするヒストグラムＨＹを生成する。このヒストグラムＨＹの作成手法は、図１６に示すヒストグラムＨＸの作成手法を、Ｘ軸とＹ軸とで入れ換えたものとなる。ただし、物体検出部１３ｃは、この処理の対象とするＸ軸方向の範囲を、一のラインデータＬＤが存在する範囲（Ｘ１〜Ｘ２）に限定する。物体検出部１３ｃは、ラインデータＬＤごとに、このようなヒストグラムＨＹを作成する。   Next, as illustrated in FIG. 17, the object detection unit 13 c generates a histogram HY in which the vertical axis represents each coordinate position on the Y axis and the horizontal axis represents the number of pixels (frequency). The method for creating the histogram HY is obtained by replacing the method for creating the histogram HX shown in FIG. 16 with the X axis and the Y axis. However, the object detection unit 13c limits the range in the X-axis direction that is the object of this processing to a range (X1 to X2) in which one line data LD exists. The object detection unit 13c creates such a histogram HY for each line data LD.

次に、物体検出部１３ｃは、ヒストグラムＨＹの度数と所定の閾値Ｔｂ（例えば、「３」）とを比較する。そして、物体検出部１３ｃは、度数が閾値Ｔｂ以上となるＹ軸方向の範囲を示すラインデータＭＤを導出する。このラインデータＭＤは、検出領域ＴＡの垂直方向（Ｙ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲を示すものとなる。   Next, the object detection unit 13c compares the frequency of the histogram HY with a predetermined threshold Tb (for example, “3”). Then, the object detection unit 13c derives line data MD indicating the range in the Y-axis direction where the frequency is equal to or greater than the threshold value Tb. The line data MD indicates a range in which a plurality of feature points FP existed in the vicinity of each other in the vertical direction (Y-axis direction) of the detection area TA.

そして、物体検出部１３ｃは、図１７の下部に示すように、ラインデータＬＤが存在するＸ軸方向の範囲（Ｘ１〜Ｘ２）と、ラインデータＭＤが存在するＹ軸方向の範囲（Ｙ１〜Ｙ２）とで規定される矩形領域ＴＤに含まれる複数の特徴点ＦＰを一つのグループとしてグループ化する。グループのサイズは、この矩形領域ＴＤのサイズとなる。物体検出部１３ｃは、一つの検出領域ＴＡから複数のグループを導出する場合もある。   Then, as shown in the lower part of FIG. 17, the object detection unit 13c includes an X-axis direction range (X1 to X2) in which the line data LD exists and a Y-axis direction range (Y1 to Y2) in which the line data MD exists. ) And a plurality of feature points FP included in the rectangular area TD defined by The size of the group is the size of this rectangular area TD. The object detection unit 13c may derive a plurality of groups from one detection area TA.

物体検出部１３ｃは、このようにして特徴点をグループ化してグループを導出すると、次に、導出した各グループのサイズを所定の基準サイズ（例えば、水平１５画素×垂直１６画素）と比較する。そして、物体検出部１３ｃは、サイズが基準サイズより小となるグループを除外し、サイズが基準サイズより大となるグループを物体として検出する（ステップＳ２８）。   When the object detection unit 13c derives a group by grouping the feature points in this way, next, the size of each derived group is compared with a predetermined reference size (for example, horizontal 15 pixels × vertical 16 pixels). Then, the object detection unit 13c excludes a group whose size is smaller than the reference size, and detects a group whose size is larger than the reference size as an object (step S28).

前述のように近景の被写体は道路面の凹凸や白線などであることが多い。このような近景の被写体に係る特徴点で構成されたグループのサイズは一般に比較的小さく、一定サイズより大きくなることは稀である。一方で、他の車両８や歩行者などの接近する物体に係る特徴点で構成されたグループのサイズは、通常、一定サイズより大きくなる。   As described above, the subject in the foreground is often uneven or white lines on the road surface. The size of a group composed of feature points related to such a foreground subject is generally relatively small and rarely exceeds a certain size. On the other hand, the size of a group composed of feature points related to an approaching object such as another vehicle 8 or a pedestrian is usually larger than a certain size.

このため、物体検出部１３ｃは、サイズが所定サイズより大となるグループを物体として検出することで、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。なお、サイズが基準サイズと一致するグループに関しては、物体として検出してもよく、除外してもよい。   Therefore, the object detection unit 13c can detect a group of feature points related to a foreground subject as an object by detecting a group having a size larger than a predetermined size as an object. A group whose size matches the reference size may be detected as an object or may be excluded.

以上のように、本実施の形態の物体検出装置１においては、フロー導出部１３ａが、自車両９の周辺をカメラ２で撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。フロー選択部１３ｂは、フロー導出部１３ａに導出されたオプティカルフローのうち、長さが判定閾値Ｔｈより大となるオプティカルフローを処理対象として選択する。一方で、フロー選択部１３ｂは、長さが判定閾値Ｔｈより小となるオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。   As described above, in the object detection device 1 according to the present embodiment, the flow deriving unit 13a captures the periphery of the host vehicle 9 with the camera 2 and based on the feature points of the captured image periodically obtained. Is derived. The flow selection unit 13b selects an optical flow whose length is larger than the determination threshold Th from among the optical flows derived by the flow deriving unit 13a as a processing target. On the other hand, the flow selection unit 13b excludes the optical flow whose length is smaller than the determination threshold Th from the processing target as the optical flow related to the background caused by the turn of the host vehicle 9. The object detection unit 13c detects an object based on the optical flow selected as a processing target by the flow selection unit 13b.

このように、長さが判定閾値Ｔｈより小となるオプティカルフローを処理対象から除外するという単純な手法で、自車両９の旋回に起因して生じる背景に係るオプティカルフローを処理対象から除外できる。このため、自車両９が旋回する場合に背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止できる。   In this way, the optical flow related to the background caused by the turning of the host vehicle 9 can be excluded from the processing target by a simple method of excluding the optical flow whose length is smaller than the determination threshold Th from the processing target. For this reason, it is possible to prevent erroneous detection of a subject as a background as an object when the host vehicle 9 turns.

また、フロー導出部１３ａは、互いに異なる時点に取得された２つの撮影画像それぞれの特徴点同士を対応付けることでオプティカルフローを導出する。そして、フロー選択部１３ｂは、連続して対応付けができた回数である「追跡回数」が基準回数より小となる特徴点に基づくオプティカルフローを処理対象から除外する。このため、近景の被写体に係るオプティカルフローを処理対象から除外できる。   Further, the flow deriving unit 13a derives an optical flow by associating feature points of two captured images acquired at different times. Then, the flow selection unit 13b excludes, from the processing target, an optical flow based on a feature point whose “tracking count”, which is the number of times of continuous association, is smaller than the reference count. For this reason, the optical flow related to the foreground subject can be excluded from the processing target.

また、物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローの特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとしてグループ化する。そして、物体検出部１３ｃは、グループのサイズが基準サイズより大となるグループを物体として検出する。このため、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。   Further, the object detection unit 13c groups a plurality of feature points that are close to each other among the feature points of the optical flow selected as a processing target by the flow selection unit 13b as one group. Then, the object detection unit 13c detects a group whose group size is larger than the reference size as an object. For this reason, it is possible to prevent detection of a group of feature points related to a subject in the near view as an object.

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。 <5. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All the forms including the above-described embodiment and the form described below can be appropriately combined.

上記実施の形態では、物体検出処理の検出結果を示す指標として矩形の警告部ＡＦを表示していたが、矢印などの他の態様の指標を表示するようにしてもよい。また、撮影画像中に含まれる検出した物体の像を強調枠などで強調することで、物体検出処理の検出結果をユーザに報知するようにしてもよい。   In the above embodiment, the rectangular warning part AF is displayed as an index indicating the detection result of the object detection process, but an index of another aspect such as an arrow may be displayed. Further, the detection result of the object detection process may be notified to the user by enhancing the detected object image included in the captured image with an enhancement frame or the like.

また、上記実施の形態では、閾値変更部１１ａが自車両９の速度及び舵角の双方を考慮して判定閾値Ｔｈを変更していた。これに対して、閾値変更部１１ａが、自車両９の舵角のみを考慮して判定閾値Ｔｈを変更してもよい。また、自車両９の速度及び舵角に関わらず、判定閾値Ｔｈを一定の値としてもよい。この場合は、判定閾値Ｔｈは例えば「２ピクセル」に常に設定される。また、判定閾値Ｔｈをユーザが設定できるようにしてもよい。   Moreover, in the said embodiment, the threshold value change part 11a changed determination threshold value Th in consideration of both the speed and the steering angle of the own vehicle 9. On the other hand, the threshold value changing unit 11a may change the determination threshold value Th in consideration of only the steering angle of the host vehicle 9. Further, the determination threshold Th may be a constant value regardless of the speed and steering angle of the host vehicle 9. In this case, the determination threshold Th is always set to “2 pixels”, for example. The determination threshold Th may be set by the user.

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。   In addition, the function described as one block in the above embodiment is not necessarily realized by a single physical element, and may be realized by distributed physical elements. Further, the functions described as a plurality of blocks in the above embodiments may be realized by a single physical element. In addition, even if the device in the vehicle and the device outside the vehicle share processing related to any one function and exchange information by communication between these devices, the one function can be realized as a whole. Good.

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。   In addition, it has been described that all or part of the functions described as being realized by software by executing the program in the above embodiment may be realized by an electrical hardware circuit or by a hardware circuit. All or part of the functions may be realized by software. Further, the function described as one block in the above-described embodiment may be realized by cooperation of software and hardware.

１ 物体検出装置
９ 自車両
１０ 物体検出システム
１１ａ 閾値変更部
１１ｂ 結果報知部
１３ａ フロー導出部
１３ｂ フロー選択部
１３ｃ 物体検出部
ＦＰ 特徴点 DESCRIPTION OF SYMBOLS 1 Object detection apparatus 9 Own vehicle 10 Object detection system 11a Threshold change part 11b Result alerting part 13a Flow derivation part 13b Flow selection part 13c Object detection part FP Feature point

Claims (7)

車両の周辺を移動する物体を検出する物体検出装置であって、
前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
前記導出手段に導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する選択手段と、
前記選択手段に前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する検出手段と、
を備えることを特徴とする物体検出装置。 An object detection device for detecting an object moving around a vehicle,
Deriving means for deriving an optical flow based on feature points of captured images periodically obtained by photographing the periphery of the vehicle with a camera;
Of the optical flows derived by the deriving means, the optical flow whose length is greater than a threshold value is selected as a processing target, and the length is smaller than the threshold value. Selection means for excluding the optical flow according to the background from the processing target;
Detection means for detecting an object based on the optical flow selected as the processing target by the selection means;
An object detection apparatus comprising: 請求項１に記載の物体検出装置において、
前記導出手段は、互いに異なる時点に取得された２つの前記撮影画像それぞれの前記特徴点同士を対応付けることで前記オプティカルフローを導出し、
前記選択手段は、連続して対応付けができた回数が基準回数より小となる前記特徴点に基づく前記オプティカルフローを前記処理対象から除外することを特徴とする物体検出装置。 The object detection apparatus according to claim 1,
The derivation means derives the optical flow by associating the feature points of each of the two captured images acquired at different time points,
The object detection apparatus, wherein the selection unit excludes the optical flow based on the feature points whose number of continuous associations is smaller than a reference number from the processing target. 請求項１または２に記載の物体検出装置において、
前記検出手段は、前記選択手段に前記処理対象として選択された前記オプティカルフローの前記特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとし、該グループのサイズが基準サイズより大となる前記グループを前記物体として検出することを特徴とする物体検出装置。 In the object detection device according to claim 1 or 2,
The detection unit sets a plurality of feature points that are close to each other among the feature points of the optical flow selected as the processing target by the selection unit, and the size of the group is larger than a reference size. An object detection apparatus for detecting a group that is large as the object. 請求項１ないし３のいずれかに記載の物体検出装置において、
前記車両の舵角を取得する取得手段と、
前記舵角に応じて前記閾値を変更する変更手段と、
を備えることを特徴とする物体検出装置。 In the object detection device according to any one of claims 1 to 3,
Obtaining means for obtaining a steering angle of the vehicle;
Changing means for changing the threshold according to the steering angle;
An object detection apparatus comprising: 物体検出システムであって、
請求項１ないし４のいずれかに記載の物体検出装置と、
前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、
を備えることを特徴とする物体検出システム。 An object detection system,
The object detection device according to any one of claims 1 to 4,
Informing means for informing a user of a detection result by the detecting means of the object detecting device;
An object detection system comprising: 車両の周辺を移動する物体を検出する物体検出方法であって、
（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、
（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、
を備えることを特徴とする物体検出方法。 An object detection method for detecting an object moving around a vehicle,
(A) deriving an optical flow based on feature points of a photographed image obtained periodically by photographing the periphery of the vehicle with a camera;
(B) Of the optical flows derived in the step (a), the optical flow whose length is larger than a threshold is selected as a processing target, and the vehicle turns when the length is smaller than the threshold. Excluding the optical flow related to the background caused by the processing object,
(C) detecting an object based on the optical flow selected as the processing target in the step (b);
An object detection method comprising: 車両において用いられるコンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、
（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、
を実行させることを特徴とするプログラム。 A program executable by a computer used in a vehicle,
In the computer,
(A) deriving an optical flow based on feature points of a photographed image obtained periodically by photographing the periphery of the vehicle with a camera;
(B) Of the optical flows derived in the step (a), the optical flow whose length is larger than a threshold is selected as a processing target, and the vehicle turns when the length is smaller than the threshold. Excluding the optical flow related to the background caused by the processing object,
(C) detecting an object based on the optical flow selected as the processing target in the step (b);
A program characterized by having executed.
JP2013247010A 2013-11-29 2013-11-29 Object detection apparatus, object detection system, object detection method, and program Active JP6189729B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013247010A JP6189729B2 (en) 2013-11-29 2013-11-29 Object detection apparatus, object detection system, object detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013247010A JP6189729B2 (en) 2013-11-29 2013-11-29 Object detection apparatus, object detection system, object detection method, and program

Publications (2)

Publication Number Publication Date
JP2015106227A JP2015106227A (en) 2015-06-08
JP6189729B2 true JP6189729B2 (en) 2017-08-30

Family

ID=53436308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013247010A Active JP6189729B2 (en) 2013-11-29 2013-11-29 Object detection apparatus, object detection system, object detection method, and program

Country Status (1)

Country Link
JP (1) JP6189729B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6584862B2 (en) * 2015-08-20 2019-10-02 株式会社デンソーテン Object detection apparatus, object detection system, object detection method, and program
JP7311407B2 (en) * 2019-11-26 2023-07-19 株式会社デンソーテン Posture estimation device and posture estimation method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193740B2 (en) * 2004-03-26 2008-12-10 三菱自動車工業株式会社 Nose view monitor device

Also Published As

Publication number Publication date
JP2015106227A (en) 2015-06-08

Similar Documents

Publication Publication Date Title
JP6532229B2 (en) Object detection apparatus, object detection system, object detection method and program
WO2016002163A1 (en) Image display device and image display method
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP6084048B2 (en) Object detection apparatus, object detection system, and object detection method
JP2012113605A (en) Driving support apparatus and driving support method
JP2016523204A5 (en)
JP2009231938A (en) Surrounding monitoring device for vehicle
JP2011223075A (en) Vehicle exterior display device using images taken by multiple cameras
JP2016149613A (en) Camera parameter adjustment device
JP2015154125A (en) Vehicle periphery image display device and vehicle periphery image display method
US20190102892A1 (en) Drive recorder
JP6189729B2 (en) Object detection apparatus, object detection system, object detection method, and program
JP2008238927A (en) Display device of vehicle peripheral image
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
JP6178580B2 (en) Object detection apparatus, object detection system, and object detection method
JP2011215769A (en) Lane position detection apparatus and lane position detection method
JP6407596B2 (en) Image processing apparatus and driving support system
JP6584862B2 (en) Object detection apparatus, object detection system, object detection method, and program
JP5541099B2 (en) Road marking line recognition device
JP6253175B2 (en) Vehicle external environment recognition device
JP6032141B2 (en) Travel road marking detection device and travel road marking detection method
JP6174884B2 (en) Outside environment recognition device and outside environment recognition method
JP6201809B2 (en) Perimeter monitoring apparatus and method
JP4598011B2 (en) Vehicle display device
CN113170057A (en) Image pickup unit control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170803

R150 Certificate of patent or registration of utility model

Ref document number: 6189729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250