JP6786635B2 - Vehicle recognition device and vehicle recognition method - Google Patents
Vehicle recognition device and vehicle recognition method Download PDFInfo
- Publication number
- JP6786635B2 JP6786635B2 JP2019003619A JP2019003619A JP6786635B2 JP 6786635 B2 JP6786635 B2 JP 6786635B2 JP 2019003619 A JP2019003619 A JP 2019003619A JP 2019003619 A JP2019003619 A JP 2019003619A JP 6786635 B2 JP6786635 B2 JP 6786635B2
- Authority
- JP
- Japan
- Prior art keywords
- strip
- parallax
- vehicle
- vehicle recognition
- strip area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、車両認識装置および車両認識方法に関する。 Embodiments of the present invention relate to a vehicle recognition device and a vehicle recognition method.
従来から、道路上の車両の撮影画像に基いて車両を認識する技術がある。例えば、車列の後方からステレオカメラで撮影した画像を用いれば、車列最後尾を容易に認識することができる。 Conventionally, there is a technique of recognizing a vehicle based on a photographed image of the vehicle on the road. For example, if an image taken by a stereo camera from the rear of the convoy is used, the tail end of the convoy can be easily recognized.
しかしながら、上述の従来技術では、撮影画像中の一番近い車両を認識することは容易であるが、撮影画像において重なりが生じている複数の車両を個別に認識することは困難である。 However, in the above-mentioned conventional technique, it is easy to recognize the closest vehicle in the captured image, but it is difficult to individually recognize a plurality of vehicles in which overlap occurs in the captured image.
そこで、本実施形態は、撮影画像において重なりが生じている複数の車両を個別に認識することを課題とする。 Therefore, it is an object of the present embodiment to individually recognize a plurality of vehicles in which overlap occurs in the captured images.
実施形態の車両認識装置は、道路上で車列を構成する複数の車両を前記車列に対して斜め後ろの方向からステレオカメラによって撮影した撮影画像を取得する取得部と、前記撮影画像に基いて視差画像を生成する視差画像生成部と、前記視差画像における消失点を推定する消失点推定部と、前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成部と、前記短冊領域ごとの代表視差を算出する代表視差算出部と、複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出部と、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結部と、前記連結短冊領域に基いて車両を認識する車両認識部と、を備える。 The vehicle recognition device of the embodiment is based on an acquisition unit that acquires a photographed image of a plurality of vehicles forming a vehicle row on the road from a direction diagonally behind the vehicle row with a stereo camera, and a captured image. A parallax image generation unit that generates a parallax image, a parallax point estimation unit that estimates a disappearance point in the parallax image, and a plurality of strip regions that horizontally divide a region below the parallax point in the parallax image. A strip area generation unit that generates a strip region, a representative parallax calculation unit that calculates a representative parallax for each strip region, and a plurality of the strip regions, an effective strip region for vehicle recognition is extracted based on the representative parallax. Based on the strip area extraction unit, the strip area connection unit that connects the extracted adjacent strip areas to generate a connected strip area based on the distance distribution model of the back and side of the vehicle, and the connected strip area. It includes a vehicle recognition unit that recognizes the vehicle.
以下、図面を参照して、本発明の車両認識装置および車両認識方法の実施形態（第１実施形態、第２実施形態）について説明する。 Hereinafter, embodiments (first embodiment, second embodiment) of the vehicle recognition device and the vehicle recognition method of the present invention will be described with reference to the drawings.
（第１実施形態）
まず、第１実施形態について説明する。第１実施形態においては、車両認識システムを、道路の一部に敷設された専用レーンを走行するトラム（路面電車）に適用した例を説明する。第１実施形態の車両認識システムは、道路上で車列を構成する複数の車両をステレオカメラによって撮影し、その撮影画像を用いて複数の車両のそれぞれを個別に認識する。
(First Embodiment)
First, the first embodiment will be described. In the first embodiment, an example in which the vehicle recognition system is applied to a tram (tram) traveling in a dedicated lane laid on a part of a road will be described. In the vehicle recognition system of the first embodiment, a plurality of vehicles forming a convoy on the road are photographed by a stereo camera, and each of the plurality of vehicles is individually recognized by using the photographed images.
図１は、第１実施形態の車両認識システムＳの全体構成を示す図である。図１に示すように、第１実施形態の車両認識システムＳは、専用レーン（図４に図示）を走行するトラム１と、トラム１の運行を管理する運行管理センターに設置された車両認識装置２と、を有する。トラム１と車両認識装置２は、無線基地局Ｂを介して、無線通信可能である。車両認識装置２は、例えばトラム１の運行を管理するサーバである。 FIG. 1 is a diagram showing an overall configuration of the vehicle recognition system S of the first embodiment. As shown in FIG. 1, the vehicle recognition system S of the first embodiment includes a tram 1 traveling in a dedicated lane (shown in FIG. 4) and a vehicle recognition device installed in an operation management center that manages the operation of the tram 1. 2 and. The tram 1 and the vehicle recognition device 2 can wirelessly communicate with each other via the wireless base station B. The vehicle recognition device 2 is, for example, a server that manages the operation of the tram 1.
図２は、第１実施形態のトラム１の構成を示す図である。図２に示すように、トラム１は、撮影装置１１と、車載装置１２と、通信装置１３と、を有する。 FIG. 2 is a diagram showing the configuration of the tram 1 of the first embodiment. As shown in FIG. 2, the tram 1 includes a photographing device 11, an in-vehicle device 12, and a communication device 13.
撮影装置１１は、専用レーンおよびその周囲を撮影可能な広角カメラ等である。撮影装置１１は、例えば、専用レーンの周囲に隣接する、一般車両が走行する一般レーン、および、道路の周囲の標識やビル（建物）、木等の物体を撮影する。 The photographing device 11 is a wide-angle camera or the like capable of photographing a dedicated lane and its surroundings. The photographing device 11 photographs, for example, a general lane on which a general vehicle travels adjacent to the periphery of a dedicated lane, and an object such as a sign, a building (building), or a tree around the road.
通信装置１３は、車両認識装置２等の外部装置と通信可能である。車載装置１２は、撮影装置１１が撮影した撮影画像を取得し、通信装置１３を介して、撮影画像を車両認識装置２に送信する。 The communication device 13 can communicate with an external device such as the vehicle recognition device 2. The in-vehicle device 12 acquires a photographed image captured by the photographing device 11 and transmits the photographed image to the vehicle recognition device 2 via the communication device 13.
図３は、第１実施形態のトラム１のコックピットの構成を示す図である。図３に示すように、トラム１のコックピット（操縦席）には、マスターコントローラ１４と、メータ１５と、撮影装置１１と、ＧＰＳ（Global Positioning System）受信機１６と、表示装置１７と、が設けられている。 FIG. 3 is a diagram showing a configuration of a cockpit of the tram 1 of the first embodiment. As shown in FIG. 3, the cockpit (driver's seat) of the tram 1 is provided with a master controller 14, a meter 15, a photographing device 11, a GPS (Global Positioning System) receiver 16, and a display device 17. Has been done.
マスターコントローラ１４は、トラム１の速度を遠隔制御する装置である。メータ１５は、トラム１の速度等を表示する。 The master controller 14 is a device that remotely controls the speed of the tram 1. The meter 15 displays the speed of the tram 1 and the like.
撮影装置１１は、トラム１の操縦席に向かって左右方向に離間して配置されたステレオカメラ１１−１，１１−２である。なお、図３に示す撮影装置１１の設置位置、および設置台数は一例であり、これに限定されるものではない。 The photographing devices 11 are stereo cameras 11-1 and 11-2 arranged apart from each other in the left-right direction toward the cockpit of the tram 1. The installation position and the number of installations of the photographing apparatus 11 shown in FIG. 3 are examples, and the present invention is not limited to these.
表示装置１７は、撮影装置１１により得られた撮影画像等の各種情報を表示可能である。 The display device 17 can display various information such as a photographed image obtained by the photographing device 11.
ＧＰＳ受信機１６は、ＧＰＳ衛星から受信したＧＰＳ信号に基いて、トラム１の位置を算出する。 The GPS receiver 16 calculates the position of the tram 1 based on the GPS signal received from the GPS satellite.
図４は、第１実施形態のＧＰＳ信号によるトラム１の位置の算出を説明するための図である。ＧＰＳ受信機１６は、ＧＰＳアンテナを介して、ＧＰＳ衛星ＳＴからＧＰＳ信号を受信し、当該受信したＧＰＳ信号に基いて、トラム１の位置を算出する。 FIG. 4 is a diagram for explaining the calculation of the position of the tram 1 by the GPS signal of the first embodiment. The GPS receiver 16 receives a GPS signal from the GPS satellite ST via a GPS antenna, and calculates the position of the tram 1 based on the received GPS signal.
また、図４に示すように、撮影装置１１は、トラム１が走行する専用レーンＥＬに加えて、専用レーンＥＬに隣接する一般レーンＡＬを撮影可能である。 Further, as shown in FIG. 4, the photographing device 11 can photograph the general lane AL adjacent to the dedicated lane EL in addition to the dedicated lane EL on which the tram 1 travels.
車載装置１２は、ＧＰＳ信号から算出されたトラム１の位置を示す情報と、撮影装置１１によって撮影された撮影画像と、当該撮影画像の撮影時刻とを、無線基地局Ｂを介して、車両認識装置２に送信する。トラム１の位置を示す情報（以下、「ＧＰＳ位置情報」ともいう。）は、例えば緯度と経度である。 The in-vehicle device 12 recognizes the information indicating the position of the tram 1 calculated from the GPS signal, the photographed image captured by the photographing device 11, and the photographing time of the photographed image via the radio base station B. It is transmitted to the device 2. The information indicating the position of the tram 1 (hereinafter, also referred to as "GPS position information") is, for example, latitude and longitude.
車載装置１２および車両認識装置２は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶装置と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の外部記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。 The in-vehicle device 12 and the vehicle recognition device 2 include, for example, a CPU (Central Processing Unit), storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory), and HDD (Hard Disk Drive) and SSD (Solid State). It is equipped with an external storage device such as Drive), and has a hardware configuration that uses a normal computer.
図５は、第１実施形態の車載装置１２および車両認識装置２の機能的構成を示す図である。車載装置１２は、処理部１２１と、記憶部１２２と、を備える。 FIG. 5 is a diagram showing a functional configuration of the vehicle-mounted device 12 and the vehicle recognition device 2 of the first embodiment. The in-vehicle device 12 includes a processing unit 121 and a storage unit 122.
記憶部１２２は、処理部１２１の動作プログラム、ＧＰＳ位置情報、撮影装置１１によって撮影された撮影画像、撮影画像の撮影時刻等の各種情報を記憶する。 The storage unit 122 stores various information such as an operation program of the processing unit 121, GPS position information, a captured image captured by the photographing device 11, and a shooting time of the captured image.
処理部１２１は、動作プログラムに基いて、ＧＰＳ位置情報、撮影画像、撮影時刻等の各種情報を、通信装置１３を介して、車両認識装置２に送信する。 Based on the operation program, the processing unit 121 transmits various information such as GPS position information, captured images, and captured times to the vehicle recognition device 2 via the communication device 13.
また、車両認識装置２は、記憶部２１と、入力部２２と、表示部２３と、通信部２４と、処理部２５と、を備える。 Further, the vehicle recognition device 2 includes a storage unit 21, an input unit 22, a display unit 23, a communication unit 24, and a processing unit 25.
記憶部２１は、処理部２５の動作プログラム、車載装置１２から受信したＧＰＳ位置情報、撮影画像、撮影時刻等の各種情報を記憶する。 The storage unit 21 stores various information such as an operation program of the processing unit 25, GPS position information received from the in-vehicle device 12, a photographed image, and a photographing time.
入力部２２は、車両認識装置２のユーザが情報を入力する手段であり、例えば、キーボードやマウスである。表示部２３は、各種情報を表示する手段であり、例えば、ＬＣＤ（Liquid Crystal Display）である。通信部２４は、車載装置１２等の外部装置と通信するための通信インタフェースである。 The input unit 22 is a means for the user of the vehicle recognition device 2 to input information, for example, a keyboard or a mouse. The display unit 23 is a means for displaying various information, for example, an LCD (Liquid Crystal Display). The communication unit 24 is a communication interface for communicating with an external device such as the in-vehicle device 12.
処理部２５は、演算手段であり、取得部２５１、視差画像生成部２５２、消失点推定部２５３、短冊領域生成部２５４、代表視差算出部２５５、短冊領域抽出部２５６、短冊領域連結部２５７、連結短冊領域分割部２５８および車両認識部２５９を備える。 The processing unit 25 is a calculation means, and includes an acquisition unit 251, a parallax image generation unit 252, a vanishing point estimation unit 253, a strip area generation unit 254, a representative parallax calculation unit 255, a strip area extraction unit 256, and a strip area connection unit 257. It includes a connecting strip area division unit 258 and a vehicle recognition unit 259.
取得部２５１は、車載装置１２から、道路上で車列を構成する複数の車両を車列に対して斜め後ろの方向からステレオカメラ１１−１，１１−２（図３）によって撮影した撮影画像を取得する。 The acquisition unit 251 captures captured images of a plurality of vehicles forming a convoy on the road from the vehicle-mounted device 12 from a direction diagonally behind the convoy with stereo cameras 11-1 and 11-2 (FIG. 3). To get.
視差画像生成部２５２は、撮影画像に基いて視差画像を生成する。
ここで、図６は、第１実施形態における各画像を示す図である。具体的には、図６（ａ）は右カメラ（ステレオカメラ１１−２（図３））による撮影画像（右カメラ画像）であり、図６（ｂ）は左カメラ（ステレオカメラ１１−１（図３））による撮影画像（左カメラ画像）であり、図６（ｃ）は右カメラ画像と左カメラ画像に基いて生成した視差画像である。この視差画像は公知の手法により作成することができる。
The parallax image generation unit 252 generates a parallax image based on the captured image.
Here, FIG. 6 is a diagram showing each image in the first embodiment. Specifically, FIG. 6A is an image (right camera image) taken by the right camera (stereo camera 11-2 (FIG. 3)), and FIG. 6B is a left camera (stereo camera 11-1 (stereo camera 11-1). It is a photographed image (left camera image) by FIG. 3)), and FIG. 6C is a disparity image generated based on the right camera image and the left camera image. This parallax image can be created by a known method.
図５に戻って、消失点推定部２５３は、視差画像における消失点を推定する。消失点とは、地平線や遠方の物体が写っている画素である。この消失点の推定も公知の手法により実行することができる。 Returning to FIG. 5, the vanishing point estimation unit 253 estimates the vanishing point in the parallax image. A vanishing point is a pixel that shows the horizon or a distant object. The estimation of the vanishing point can also be performed by a known method.
短冊領域生成部２５４は、視差画像において消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する。
図７は、第１実施形態において視差画像に短冊領域を設けた様子を示す図である。なお、短冊領域生成部２５４は、例えば、視差画像の解像度に基いて短冊領域の数を決定し、決定された数に基いて、視差画像において消失点よりも下方の領域を、横方向に分割して複数の短冊領域を生成する。短冊領域の幅は、例えば、等間隔でそれぞれ２１画素である。
The strip area generation unit 254 generates a plurality of strip regions by laterally dividing the region below the vanishing point in the parallax image.
FIG. 7 is a diagram showing a state in which a strip region is provided in the parallax image in the first embodiment. The strip area generation unit 254 determines the number of strip areas based on the resolution of the parallax image, and divides the area below the vanishing point in the parallax image in the lateral direction based on the determined number. To generate multiple strip areas. The width of the strip area is, for example, 21 pixels at equal intervals.
図５に戻って、代表視差算出部２５５は、短冊領域ごとの代表視差を算出する。例えば、代表視差算出部２５５は、短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、頻度分布の最頻値を代表視差とする。 Returning to FIG. 5, the representative parallax calculation unit 255 calculates the representative parallax for each strip area. For example, the representative parallax calculation unit 255 calculates the frequency distribution of the parallax whose parallax value is equal to or greater than the first predetermined value among the parallax of each pixel for each strip region, and sets the mode of the frequency distribution as the representative parallax.
短冊領域抽出部２５６は、複数の短冊領域から、代表視差に基いて、車両の認識に有効な短冊領域を抽出する。例えば、短冊領域抽出部２５６は、代表視差が存在する短冊領域を対象として、代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出する。
図８は、第１実施形態における視差画像の例を示す図である。図８では、短冊領域内の代表視差の分布を計算し、代表視差を有する画素の塊を、車両の認識に有効な短冊領域として抽出した場合を示している。
The strip area extraction unit 256 extracts a strip region effective for vehicle recognition from a plurality of strip regions based on representative parallax. For example, the strip area extraction unit 256 extracts a block of pixels having a representative parallax as a strip region effective for recognizing a vehicle, targeting a strip region in which a representative parallax exists.
FIG. 8 is a diagram showing an example of a parallax image according to the first embodiment. FIG. 8 shows a case where the distribution of the representative parallax in the strip region is calculated and a block of pixels having the representative parallax is extracted as a strip region effective for vehicle recognition.
図５に戻って、短冊領域抽出部２５６は、短冊領域において、代表視差を有する画素の塊が２つあって、その２つの塊それぞれの下端位置の距離の差（Ｈ２）が第２の所定値（例えば短冊領域の高さの１／４（Ｈ１）。撮影装置１１の画角等に基いて適宜設定）以上の場合、その２つの塊のうち大きな塊を、車両の認識に有効な短冊領域として抽出する。
図９は、第１実施形態における短冊領域の例を示す図である。図９に示すように、短冊領域内に代表視差の塊として領域Ｒ１と領域Ｒ２の２つが抽出された場合、それぞれの塊の下端位置の距離の差を計算する。そして、その差が短冊領域の高さの１／４以上の場合、小さいほうの塊（図９では白線が写っている領域Ｒ２）を非車両の領域と判定して短冊領域から除外する。
図１０は、第１実施形態において図９に示す基準によって車両の認識に有効な短冊領域を抽出した視差画像の例を示す図である。
Returning to FIG. 5, in the strip area extraction unit 256, there are two pixel clusters having representative parallax in the strip region, and the difference (H2) in the distance between the lower end positions of the two clusters is the second predetermined value. When the value is equal to or higher than the value (for example, 1/4 (H1) of the height of the strip area, which is appropriately set based on the parallax of the photographing device 11), the larger of the two lumps is used as a strip effective for recognizing the vehicle. Extract as an area.
FIG. 9 is a diagram showing an example of a strip area in the first embodiment. As shown in FIG. 9, when two regions R1 and R2 are extracted as representative parallax clusters in the strip region, the difference in distance between the lower end positions of the respective clusters is calculated. When the difference is 1/4 or more of the height of the strip area, the smaller block (area R2 in which the white line appears in FIG. 9) is determined to be a non-vehicle area and excluded from the strip area.
FIG. 10 is a diagram showing an example of a parallax image in which a strip region effective for vehicle recognition is extracted according to the reference shown in FIG. 9 in the first embodiment.
図５に戻って、短冊領域連結部２５７は、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う短冊領域を連結して連結短冊領域を生成する。ここで、距離分布モデルは、例えば、車両の背面の各点までの距離は略一定（一定を含む。）であり、車両の側面における道路の進行方向に沿った各点までの距離は所定の変化率範囲内で変化することである。 Returning to FIG. 5, the strip area connecting portion 257 connects the extracted adjacent strip areas based on the distance distribution model of the back surface and the side surface of the vehicle to generate a connected strip area. Here, in the distance distribution model, for example, the distance to each point on the back surface of the vehicle is substantially constant (including constant), and the distance to each point along the traveling direction of the road on the side surface of the vehicle is predetermined. It changes within the rate of change range.
短冊領域連結部２５７は、距離分布モデルに基いて、それぞれの短冊領域の代表視差を距離に変換し、隣り合う２つの短冊領域の間の距離が第３の所定値（例えば３ｍ）以下であれば連結して、連結短冊領域を生成する。
図１１は、第１実施形態の短冊領域に関する各情報を示す図である。図１１（ａ）に示すように、短冊領域に関する各情報は、上から順に、短冊領域No.（短冊領域の識別子）、代表視差、距離（ｍ）である。図１１（ｂ）は、隣り合う２つの短冊領域の間の距離（距離差分（ｍ））を算出したものである。そして、図１１（ｃ）は、距離差分が第３の所定値（例えば３ｍ）以下のときに、着目する短冊領域と左隣の短冊領域を連結し、連結された短冊領域を同じ背景色で表したものである。
The strip area connecting portion 257 converts the representative parallax of each strip area into a distance based on the distance distribution model, and the distance between two adjacent strip areas is equal to or less than a third predetermined value (for example, 3 m). For example, concatenate to generate a concatenated strip area.
FIG. 11 is a diagram showing each information regarding the strip area of the first embodiment. As shown in FIG. 11A, each piece of information regarding the strip area is, in order from the top, a strip area No. (identifier of the strip area), representative parallax, and distance (m). FIG. 11B is a calculation of the distance (distance difference (m)) between two adjacent strip regions. Then, in FIG. 11C, when the distance difference is equal to or less than the third predetermined value (for example, 3 m), the strip area of interest and the strip area on the left side are connected, and the connected strip areas have the same background color. It is a representation.
図５に戻って、車両認識部２５９は、連結短冊領域に基いて車両を認識する。車両認識部２５９は、例えば、連結した短冊領域数が３個以上のものを車両として認識する。この場合に、車両Ｃ１〜Ｃ３が抽出されたことを示すものが図１１（ｄ）である。 Returning to FIG. 5, the vehicle recognition unit 259 recognizes the vehicle based on the connected strip area. The vehicle recognition unit 259 recognizes, for example, a vehicle having three or more connected strip areas. In this case, FIG. 11D shows that the vehicles C1 to C3 have been extracted.
車両の認識の手順をまとめると以下の（１）〜（４）の通りである。
（１）各短冊領域の代表視差を距離に変換
（２）隣り合う短冊領域の距離差分を計算
（３）距離差分が±３．０ｍ以内の場合に短冊領域を連結
（４）連結した短冊領域数が３個以上のものを車両として認識
The procedure for recognizing a vehicle is summarized in (1) to (4) below.
(1) Convert the representative parallax of each strip area into a distance (2) Calculate the distance difference between adjacent strip areas (3) Connect the strip areas when the distance difference is within ± 3.0 m (4) Connect the strip areas Recognize vehicles with 3 or more
図１２は、以上のようにして個別の車両を認識した視差画像である。図１２に示す視差画像から、連結短冊領域である領域Ｒ１１、Ｒ１２、Ｒ１３のそれぞれにおいて、個別の車両が認識されていることがわかる。 FIG. 12 is a parallax image in which individual vehicles are recognized as described above. From the parallax image shown in FIG. 12, it can be seen that individual vehicles are recognized in each of the regions R11, R12, and R13, which are the connected strip regions.
図１３は、第１実施形態において道路の白線を車両として誤検出した場合の、視差画像の例を示す図である。図１３に示す視差画像では、連結短冊領域である領域Ｒ２１、Ｒ２２、Ｒ２３のうち、領域Ｒ２１、Ｒ２２には車両が１台ずつ写っているが、領域Ｒ２３には道路の白線が写っている。 FIG. 13 is a diagram showing an example of a parallax image when a white line on a road is erroneously detected as a vehicle in the first embodiment. In the parallax image shown in FIG. 13, of the connected strip areas R21, R22, and R23, one vehicle is shown in each of the areas R21 and R22, but the white line of the road is shown in the area R23.
このような誤検出を抑制する方法として、車両認識部２５９が、連結短冊領域が車両か否かを判定する際に、連結開始位置（左端）の短冊領域の代表視差の画素数の割合が、例えばその短冊領域の全画素数の５％以下となる場合には、当該連結短冊領域を非車両と判定するようにしてもよい。そうすれば、上述のように白線を車両として誤検出する可能性を大きく低減することができる。
図１４は、図１３の視差画像と比較して白線に対応する領域Ｒ２３を非車両とした場合を示す図である。
As a method of suppressing such false detection, when the vehicle recognition unit 259 determines whether or not the connected strip area is a vehicle, the ratio of the number of pixels of the representative parallax of the strip area at the connection start position (left end) is determined. For example, when the total number of pixels in the strip area is 5% or less, the connected strip area may be determined as a non-vehicle. By doing so, the possibility of erroneously detecting the white line as a vehicle as described above can be greatly reduced.
FIG. 14 is a diagram showing a case where the region R23 corresponding to the white line is a non-vehicle as compared with the parallax image of FIG.
図１５は、第１実施形態において１つの連結短冊領域に２台の車両が含まれている視差画像の例を示す図である。図１５に示す視差画像では、連結短冊領域である領域Ｒ３１、Ｒ３２のうち、領域Ｒ３１には１台の車両が対応しているが、領域Ｒ３２には２台の車両が対応している。 FIG. 15 is a diagram showing an example of a parallax image in which two vehicles are included in one connected strip region in the first embodiment. In the parallax image shown in FIG. 15, of the connected strip areas R31 and R32, one vehicle corresponds to the area R31, but two vehicles correspond to the area R32.
このように１つの連結短冊領域に２台の車両が含まれる可能性を低減するために、車両認識装置２の処理部２５は、連結短冊領域分割部２５８を備えている。連結短冊領域分割部２５８は、分割判定部２６１と、上位視差算出部２６２と、距離差算出部２６３と、分割位置決定部２６４と、分割部２６５と、を備える。 In order to reduce the possibility that two vehicles are included in one connected strip area, the processing unit 25 of the vehicle recognition device 2 includes a connected strip area dividing unit 258. The connected strip area division unit 258 includes a division determination unit 261, an upper parallax calculation unit 262, a distance difference calculation unit 263, a division position determination unit 264, and a division unit 265.
分割判定部２６１は、連結短冊領域における短冊領域の数に基いて、当該連結短冊領域が分割対象であるか否かを判定する。例えば、分割判定部２６１は、連結短冊領域における短冊領域の数が第４の所定値（例えば「６」）以上であるときに、当該連結短冊領域が分割対象であると判定する。 The division determination unit 261 determines whether or not the connected strip area is a division target based on the number of strip areas in the connected strip area. For example, the division determination unit 261 determines that the connected strip area is the target of division when the number of strip areas in the connected strip area is equal to or greater than the fourth predetermined value (for example, “6”).
上位視差算出部２６２は、分割対象であると判定された連結短冊領域を構成するそれぞれの短冊領域から頻度が大きい上位２つの視差を算出する。例えば、上位視差算出部２６２は、分割対象であると判定された連結短冊領域（図１５の領域Ｒ３２）において、領域を横方向（幅方向）に２分割した後、分割位置より右側の領域（図１５の領域Ｒ３２の右半分）を構成する短冊領域ごとに、視差の頻度分布を計算し、頻度が大きい上位２つの視差を算出する。領域Ｒ３２の右半分の領域には、車両の側面が映っている。つまり、例えば、図１５のような例では、２台の車両が連結している領域Ｒ３２には、横方向の中央よりも右側に２台の車両が写っている短冊領域があることが多いので、上述のような処理を行う。なお、これに限定されず、連結短冊領域の全短冊領域を対象としてもよい。 The upper parallax calculation unit 262 calculates the top two parallaxes with high frequency from each strip area constituting the connected strip area determined to be the division target. For example, the upper parallax calculation unit 262 divides the area into two in the horizontal direction (width direction) in the connected strip area (area R32 in FIG. 15) determined to be the division target, and then divides the area into two areas on the right side of the division position (area R32). The frequency distribution of parallax is calculated for each strip area constituting the area R32 in FIG. 15), and the top two parallaxes having the highest frequency are calculated. The side surface of the vehicle is reflected in the right half area of the area R32. That is, for example, in the example shown in FIG. 15, the area R32 in which the two vehicles are connected often has a strip area in which the two vehicles are shown on the right side of the center in the lateral direction. , Perform the above-mentioned processing. In addition, the present invention is not limited to this, and the entire strip area of the connected strip area may be targeted.
距離差算出部２６３は、上位２つの視差から距離の差を算出する。例えば、距離差算出部２６３は、上位視差算出部２６２によって算出された上位２つの視差の頻度それぞれが第５の所定値以上（例えば画素数が２００以上）の場合、それらの視差を距離に変換し、距離の差を算出する。 The distance difference calculation unit 263 calculates the difference in distance from the top two parallaxes. For example, the distance difference calculation unit 263 converts the parallax into a distance when the frequencies of the top two parallax calculated by the upper parallax calculation unit 262 are each of the fifth predetermined value or more (for example, the number of pixels is 200 or more). Then calculate the difference in distance.
分割位置決定部２６４は、算出された距離の差が所定範囲（例えば２〜５ｍ）内の場合に、当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定する。例えば、分割位置決定部２６４は、分割対象であると判定された連結短冊領域における横方向の中央から車両の側面が映っている側の方向に、それぞれの短冊領域について、距離差算出部によって算出された距離の差が所定範囲内か否かを判定し、所定範囲内である場合、当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定する。なお、上位視差算出部２６２の場合と同様、これに限定されず、連結短冊領域の全短冊領域を対象としてもよい。 When the difference in the calculated distances is within a predetermined range (for example, 2 to 5 m), the division position determination unit 264 determines the horizontal position of the strip area as the horizontal position for dividing the connected strip area into two. To do. For example, the division position determination unit 264 calculates the distance difference calculation unit for each strip area from the center in the horizontal direction to the side where the side surface of the vehicle is reflected in the connected strip area determined to be the division target. It is determined whether or not the difference between the distances is within the predetermined range, and if it is within the predetermined range, the horizontal position of the strip area is determined as the horizontal position for dividing the connected strip area into two. As in the case of the upper parallax calculation unit 262, the present invention is not limited to this, and the entire strip area of the connected strip area may be targeted.
分割部２６５は、分割位置決定部２６４によって決定された横方向位置に基いて、連結短冊領域を２つの分割領域に分割する。そして、車両認識部２５９は、２つの分割領域それぞれに基いて車両を認識する。 The division unit 265 divides the connected strip area into two division areas based on the lateral position determined by the division position determination unit 264. Then, the vehicle recognition unit 259 recognizes the vehicle based on each of the two divided regions.
図１６は、図１５の視差画像と比較して領域Ｒ３２を２つの領域Ｒ３３、Ｒ３４に分割した場合を示す図である。このようにして、２台の車両が含まれている１つの連結短冊領域を２つに分割し、領域と車両を一対一対応とすることができる。 FIG. 16 is a diagram showing a case where the region R32 is divided into two regions R33 and R34 as compared with the parallax image of FIG. In this way, one connected strip area containing two vehicles can be divided into two, and the area and the vehicle can have a one-to-one correspondence.
次に、図１７を参照して、第１実施形態の車両認識装置２による処理について説明する。図１７は、第１実施形態の車両認識装置２による処理を示すフローチャートである。まず、車両認識装置２の処理部２５において、取得部２５１は、車載装置１２から、道路上で車列を構成する複数の車両を車列に対して斜め後ろの方向からステレオカメラ１１−１，１１−２（図３）によって撮影した撮影画像を取得する（ステップＳ１）。 Next, the process by the vehicle recognition device 2 of the first embodiment will be described with reference to FIG. FIG. 17 is a flowchart showing processing by the vehicle recognition device 2 of the first embodiment. First, in the processing unit 25 of the vehicle recognition device 2, the acquisition unit 251 uses the in-vehicle device 12 to display a plurality of vehicles forming a convoy on the road from a direction diagonally behind the convoy. The photographed image taken by 11-2 (FIG. 3) is acquired (step S1).
次に、視差画像生成部２５２は、撮影画像に基いて視差画像（図６（ｃ））を生成する（ステップＳ２）。 Next, the parallax image generation unit 252 generates a parallax image (FIG. 6 (c)) based on the captured image (step S2).
次に、消失点推定部２５３は、視差画像における消失点を推定する（ステップＳ３）。次に、短冊領域生成部２５４は、視差画像において消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する（ステップＳ４：図７参照）。 Next, the vanishing point estimation unit 253 estimates the vanishing point in the parallax image (step S3). Next, the strip area generation unit 254 generates a plurality of strip regions by laterally dividing the region below the vanishing point in the parallax image (step S4: see FIG. 7).
次に、代表視差算出部２５５は、短冊領域ごとの代表視差を算出する（ステップＳ５）。次に、短冊領域抽出部２５６は、複数の短冊領域から、代表視差に基いて、車両の認識に有効な短冊領域を抽出する（ステップＳ６：図８参照）。 Next, the representative parallax calculation unit 255 calculates the representative parallax for each strip area (step S5). Next, the strip region extraction unit 256 extracts a strip region effective for vehicle recognition from the plurality of strip regions based on the representative parallax (step S6: see FIG. 8).
次に、短冊領域連結部２５７は、車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う短冊領域を連結して連結短冊領域を生成する（ステップＳ７：図１２参照）。 Next, the strip area connecting portion 257 connects the extracted adjacent strip areas based on the distance distribution model of the back surface and the side surface of the vehicle to generate a connected strip area (step S7: see FIG. 12).
次に、連結短冊領域分割部２５８は、連結短冊領域を分割する（ステップＳ８）。なお、このステップＳ８の処理は必須ではない。
図１８は、図１７の処理のステップＳ８の詳細を示すフローチャートである。
Next, the connecting strip area dividing unit 258 divides the connecting strip area (step S8). The process of step S8 is not essential.
FIG. 18 is a flowchart showing the details of step S8 of the process of FIG.
まず、分割判定部２６１は、６個以上の短冊領域を連結した連結短冊領域があるか否かを判定し（ステップＳ８１）、Ｙｅｓの場合はステップＳ８２に進み、Ｎｏの場合はステップＳ８の処理を終了する。 First, the division determination unit 261 determines whether or not there is a connected strip area in which six or more strip areas are connected (step S81), and if Yes, the process proceeds to step S82, and if No, the process of step S8. To finish.
ステップＳ８２において、上位視差算出部２６２は、連結短冊領域の画像中心側半分の短冊領域ごとに視差の頻度分布を計算する。 In step S82, the upper parallax calculation unit 262 calculates the parallax frequency distribution for each strip region on the image center side half of the connected strip region.
次に、上位視差算出部２６２は短冊領域内において頻度が大きい上位２つの視差を算出する（ステップＳ８３）。 Next, the upper parallax calculation unit 262 calculates the upper two parallaxes that are frequently used in the strip area (step S83).
次に、距離差算出部２６３は、上位２つの視差の頻度それぞれが第５の所定値以上であれば、それらの視差を距離に変換し、距離の差を算出する（ステップＳ８４）。 Next, if the frequencies of the top two parallaxes are equal to or higher than the fifth predetermined value, the distance difference calculation unit 263 converts the parallax into a distance and calculates the difference in distance (step S84).
次に、分割位置決定部２６４は、算出された距離の差が所定範囲（例えば２〜５ｍ）内であるか否かを判定し（ステップＳ８５）、Ｙｅｓの場合はステップＳ８６に進み、Ｎｏの場合はステップＳ８１に戻る。 Next, the division position determining unit 264 determines whether or not the calculated distance difference is within a predetermined range (for example, 2 to 5 m) (step S85), and if Yes, proceeds to step S86, and No. In the case, the process returns to step S81.
ステップＳ８６において、分割位置決定部２６４は当該短冊領域の横方向位置を、連結短冊領域を２つに分割する横方向位置として決定し、分割部２６５はその決定された横方向位置に基いて連結短冊領域を２つの分割領域に分割する。 In step S86, the division position determining unit 264 determines the horizontal position of the strip area as the horizontal position for dividing the connected strip area into two, and the dividing unit 265 connects based on the determined horizontal position. The strip area is divided into two divided areas.
図１７に戻って、ステップＳ９において、車両認識部２５９は、連結短冊領域に基いて車両を認識する。車両認識部２５９は、例えば、連結した短冊領域数が３個以上のものを車両として認識する（図１１（ｄ）参照）。また、車両認識部２５９は、例えば、道路上の白線等を車両と誤検知しないように、連結開始位置（左端）の短冊領域の代表視差の画素数の割合が例えばその短冊領域の全画素数の５％以下となる場合、当該連結短冊領域を非車両と判定するようにしてもよい。また、ステップＳ８で連結短冊領域を分割した場合、車両認識部２５９は、連結短冊領域を分割した２つの分割領域それぞれに基いて車両を認識する。 Returning to FIG. 17, in step S9, the vehicle recognition unit 259 recognizes the vehicle based on the connected strip area. The vehicle recognition unit 259 recognizes, for example, a vehicle having three or more connected strip areas (see FIG. 11D). Further, in the vehicle recognition unit 259, for example, the ratio of the number of pixels of the representative parallax of the strip region at the connection start position (left end) is the total number of pixels of the strip region so as not to erroneously detect a white line or the like on the road as a vehicle. If it is 5% or less of the above, the connected strip area may be determined as a non-vehicle. Further, when the connected strip area is divided in step S8, the vehicle recognition unit 259 recognizes the vehicle based on each of the two divided areas in which the connected strip area is divided.
このようにして、第１実施形態の車両認識装置２によれば、撮影画像において重なりが生じている複数の車両を個別に認識することができる。具体的には、視差画像の下方に複数の短冊領域を生成し、車両の背面と側面の距離分布モデルに基いて短冊領域を連結して連結短冊領域を生成することで、撮影画像において重なりが生じている複数の車両であっても個別に認識することができる。したがって、例えば、車列における車両の台数をより正確にカウントできる。 In this way, according to the vehicle recognition device 2 of the first embodiment, it is possible to individually recognize a plurality of vehicles having overlaps in the captured images. Specifically, by generating a plurality of strip regions below the parallax image and connecting the strip regions based on the distance distribution model of the back surface and the side surface of the vehicle to generate a connected strip region, the captured images overlap. Even a plurality of vehicles that are generated can be individually recognized. Therefore, for example, the number of vehicles in a convoy can be counted more accurately.
また、一旦、連結短冊領域とした場合であっても、短冊領域ごとに頻度が大きい上位２つの視差を調べる等によって領域を２つに分割することができるので、連結短冊領域に２つの車両が含まれている可能性を抑制することができる。 Further, even if the connected strip area is once used, the area can be divided into two by examining the parallax of the top two frequently occurring strip areas, so that two vehicles can be placed in the connected strip area. The possibility of being included can be suppressed.
また、視差画像の解像度に基いて短冊領域の数をより適切に決定することができる。 In addition, the number of strip areas can be determined more appropriately based on the resolution of the parallax image.
また、短冊領域ごとに、各画素の視差のうち視差値が第１の所定値以上の視差の頻度分布を計算し、頻度分布の最頻値を前記代表視差とすることで、容易かつより適切に代表視差を決定することができる。 Further, for each strip area, the frequency distribution of the parallax whose parallax value is equal to or larger than the first predetermined value among the parallax of each pixel is calculated, and the mode of the frequency distribution is set as the representative parallax, which is easier and more appropriate. The representative parallax can be determined.
また、短冊領域において、代表視差を有する画素の塊が２つあって、その２つの塊それぞれの下端位置の距離の差が第２の所定値以上の場合、その２つの塊のうち大きな塊を、車両の認識に有効な短冊領域として抽出することで、非車両の部分を高精度で排除できる。 Further, in the strip area, when there are two pixel blocks having representative parallax and the difference in the distance between the lower end positions of the two blocks is equal to or larger than the second predetermined value, the larger block of the two blocks is selected. By extracting as a strip area that is effective for vehicle recognition, non-vehicle parts can be eliminated with high accuracy.
また、距離分布モデルに基くことで、隣り合う２つの短冊領域をより適切に連結することができる。 In addition, based on the distance distribution model, two adjacent strip regions can be more appropriately connected.
なお、従来技術（例えば従来のパターン認識技術）では、撮影画像中の一番近い車両を認識することを想定しているため、撮影画像において重なりが生じている複数の車両を個別に認識することは困難である。 Since the conventional technology (for example, the conventional pattern recognition technology) assumes that the closest vehicle in the captured image is recognized, it is necessary to individually recognize a plurality of vehicles having overlaps in the captured image. It is difficult.
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。撮影対象の状況として、例えば、電停（トラムの停留所）付近のトラム走行レーン（専用レーン）と車両用の道路の境界部に柵が設置されている場合がある。
(Second Embodiment)
Next, the second embodiment will be described. Descriptions of the same items as in the first embodiment will be omitted as appropriate. As a situation to be photographed, for example, a fence may be installed at the boundary between a tram traveling lane (dedicated lane) near a tram stop (tram stop) and a road for vehicles.
図１９は、第２実施形態において、道路と専用レーンの間に柵Ｆが設けられている様子を示す模式図である。このような状況において、トラム１に搭載した撮影装置１１から道路上の車両を撮影すると、柵Ｆと車両が重なって撮影されて、車両のみを検出することが難しい場合がある。そこで、第２実施形態では、そのような場合でも車両のみを検出することができる手法について説明する。 FIG. 19 is a schematic view showing a state in which the fence F is provided between the road and the dedicated lane in the second embodiment. In such a situation, when a vehicle on the road is photographed from the photographing device 11 mounted on the tram 1, it may be difficult to detect only the vehicle because the fence F and the vehicle are photographed overlapping. Therefore, in the second embodiment, a method capable of detecting only the vehicle even in such a case will be described.
図２０は、第２実施形態の車載装置１２および車両認識装置２の機能的構成を示す図である。車両認識装置２において、処理部２５は、鳥瞰データ作成部２７１と、車両後端検出部２７２と、をさらに備える。 FIG. 20 is a diagram showing a functional configuration of the vehicle-mounted device 12 and the vehicle recognition device 2 of the second embodiment. In the vehicle recognition device 2, the processing unit 25 further includes a bird's-eye view data creation unit 271 and a vehicle rear end detection unit 272.
鳥瞰データ作成部２７１は、視差画像に基いて、道路を真上から見た様子のデータである鳥瞰データを作成する。具体的には、鳥瞰データ作成部２７１は、視差画像において、道路上の同一地点で高さの異なる視差データに基いて鳥瞰データを作成する（詳細は後述）。 The bird's-eye view data creation unit 271 creates bird's-eye view data, which is data of a road viewed from directly above, based on the parallax image. Specifically, the bird's-eye view data creation unit 271 creates bird's-eye view data based on parallax data at the same point on the road but at different heights in the parallax image (details will be described later).
車両後端検出部２７２は、鳥瞰データに基いて車両の後端部を検出する。具体的には、車両後端検出部２７２は、鳥瞰データに基いて、柵Ｆと車両の境界を抽出し、車両の後端部を検出する。 The vehicle rear end detection unit 272 detects the rear end of the vehicle based on the bird's-eye view data. Specifically, the vehicle rear end detection unit 272 extracts the boundary between the fence F and the vehicle based on the bird's-eye view data, and detects the vehicle rear end portion.
より具体的には、車両後端検出部２７２は、まず、鳥瞰データに基いて、縦方向の射影データ（縦射影データ）および横方向の射影データ（横射影データ）を生成する。その後、車両後端検出部２７２は、横射影データに基いて車両の後端部を検出するとともに、縦射影データに基いて車両として切り出す始点（左端）と終点（右端）を検出する。これにより、車両と重なって撮影されている柵Ｆの影響を排除できる。 More specifically, the vehicle rear end detection unit 272 first generates vertical projection data (vertical projection data) and horizontal projection data (horizontal projection data) based on bird's-eye view data. After that, the vehicle rear end detection unit 272 detects the rear end portion of the vehicle based on the horizontal projection data, and detects the start point (left end) and the end point (right end) to be cut out as the vehicle based on the vertical projection data. This makes it possible to eliminate the influence of the fence F, which is photographed overlapping with the vehicle.
以下、鳥瞰データ作成部２７１と車両後端検出部２７２の処理について、図２１、図２２を参照して説明する。
図２１は、第２実施形態における視差のヒストグラムの説明図である。図２１（ａ）に示す視差画像において、三次元のＸ軸（水平方向）、Ｙ軸（水平方向）、Ｚ軸（鉛直方向）が図示のように設定されているものとする。
Hereinafter, the processing of the bird's-eye view data creation unit 271 and the vehicle rear end detection unit 272 will be described with reference to FIGS. 21 and 22.
FIG. 21 is an explanatory diagram of a parallax histogram in the second embodiment. In the parallax image shown in FIG. 21 (a), it is assumed that the three-dimensional X-axis (horizontal direction), Y-axis (horizontal direction), and Z-axis (vertical direction) are set as shown in the drawing.
そして、鳥瞰データ作成部２７１は、図２１（ｂ）に示すように、ある短冊領域について、空間上の視差を計算できた点（符号Ｄ１で示す○印の部分）を認識する。その後、鳥瞰データ作成部２７１は、短冊領域内で、Ｘ座標とＹ座標は同じで、Ｚ座標のみ異なる空間上の点を対象として、視差のヒストグラムを作成する（図２１（ｃ））。そして、鳥瞰データ作成部２７１は、視差のヒストグラムにおいて、最頻値（図２１（ｃ）における符号Ｄ２）が閾値（第６の所定値）以上であれば、距離が類似した高さのある領域（以下、「高さあり領域」という。）と判定する。 Then, as shown in FIG. 21B, the bird's-eye view data creation unit 271 recognizes a point (the portion marked with a circle indicated by reference numeral D1) in which the parallax in space can be calculated for a certain strip area. After that, the bird's-eye view data creation unit 271 creates a parallax histogram for points in the space where the X coordinate and the Y coordinate are the same but only the Z coordinate is different in the strip area (FIG. 21 (c)). Then, in the bird's-eye view data creation unit 271, if the mode (reference numeral D2 in FIG. 21C) is equal to or greater than the threshold value (sixth predetermined value) in the parallax histogram, the region has a similar height. (Hereinafter, it is referred to as "area with height").
図２２は、第２実施形態において柵Ｆと車両の後端部を別々に検出する処理の説明図である。図２２において、右下の黒背景領域における領域Ｄ３は鳥瞰データ（横方向が道路の幅方向。縦方向が道路の進行方向。）を示し、黒背景領域以外は撮影画像の模式図を示す。 FIG. 22 is an explanatory diagram of a process of separately detecting the fence F and the rear end portion of the vehicle in the second embodiment. In FIG. 22, the area D3 in the lower right black background area shows bird's-eye view data (the horizontal direction is the width direction of the road, and the vertical direction is the traveling direction of the road), and the area other than the black background area shows a schematic view of the captured image.
領域Ｄ３では、視差のヒストグラムに基いて高さあり領域と判定された部分を白い点で表している。そして、領域Ｄ６内の白い部分が柵Ｆに対応している。また、領域Ｄ９内の白い部分が車両Ｃ１１の後端部に対応している。 In the region D3, a portion determined to be a region with height based on the parallax histogram is represented by a white dot. The white portion in the area D6 corresponds to the fence F. Further, the white portion in the region D9 corresponds to the rear end portion of the vehicle C11.
具体的な処理としては、車両後端検出部２７２は、鳥瞰データ（領域Ｄ３）に基いて横射影データ（領域Ｄ７）を作成し、その横射影データ（領域Ｄ７）のピーク度数（Ｄ８）が閾値（第７の所定値）以上であれば車両の後端部と判定し、そうでなければ柵と判定する。 As a specific process, the vehicle rear end detection unit 272 creates lateral projection data (region D7) based on bird's-eye view data (region D3), and the peak frequency (D8) of the lateral projection data (region D7) is calculated. If it is equal to or higher than the threshold value (7th predetermined value), it is determined to be the rear end of the vehicle, otherwise it is determined to be a fence.
また、車両後端検出部２７２は、鳥瞰データ（領域Ｄ３）に基いて縦射影データ（領域Ｄ４）を作成し、その縦射影データ（領域Ｄ４）のピーク度数（Ｄ５）が閾値（第８の所定値）以上であれば車両の側面部と判定し、そうでなければ柵と判定する。 Further, the vehicle rear end detection unit 272 creates vertical projection data (region D4) based on the bird's-eye view data (region D3), and the peak frequency (D5) of the vertical projection data (region D4) is the threshold value (eighth). If it is equal to or greater than the predetermined value), it is determined to be the side surface of the vehicle, otherwise it is determined to be a fence.
図２３は、第２実施形態の車両認識装置２による処理を示すフローチャートである。車両認識装置２の処理部２５は、図１７に示す処理に加えて、図２３に示す処理を行うことで、柵による影響を排除できる。 FIG. 23 is a flowchart showing processing by the vehicle recognition device 2 of the second embodiment. The processing unit 25 of the vehicle recognition device 2 can eliminate the influence of the fence by performing the processing shown in FIG. 23 in addition to the processing shown in FIG.
まず、ステップＳ１１において、鳥瞰データ作成部２７１は、代表視差が得られた短冊領域を選択する。次に、ステップＳ１２において、鳥瞰データ作成部２７１は、短冊領域内でＸ座標、Ｙ座標が同じでＺ座標が異なる点を選択し、視差のヒストグラムを作成する。 First, in step S11, the bird's-eye view data creation unit 271 selects a strip area from which representative parallax has been obtained. Next, in step S12, the bird's-eye view data creation unit 271 selects points in the strip area that have the same X-coordinate and Y-coordinate but different Z-coordinates, and creates a parallax histogram.
次に、ステップＳ１３において、鳥瞰データ作成部２７１は、視差のヒストグラムの最頻値が閾値（第６の所定値）以上であれば、鳥瞰データ上の点を高さあり領域と判定し白画素化する。 Next, in step S13, if the mode value of the parallax histogram is equal to or higher than the threshold value (sixth predetermined value), the bird's-eye view data creation unit 271 determines that the point on the bird's-eye view data is a region with height and white pixels. To become.
次に、ステップＳ１４において、車両後端検出部２７２は、鳥瞰データ（図２２の領域Ｄ３）に基いて横射影データ（図２２の領域Ｄ７）を作成する。次に、ステップＳ１５において、車両後端検出部２７２は、その横射影データ（図２２の領域Ｄ７）のピーク度数（図２２のＤ８）が閾値（第７の所定値）以上か否かを判定し、Ｙｅｓの場合はステップＳ１６に進み、Ｎｏの場合はステップＳ１７に進む。 Next, in step S14, the vehicle rear end detection unit 272 creates lateral projection data (region D7 in FIG. 22) based on bird's-eye view data (region D3 in FIG. 22). Next, in step S15, the vehicle rear end detection unit 272 determines whether or not the peak frequency (D8 in FIG. 22) of the lateral projection data (region D7 in FIG. 22) is equal to or greater than the threshold value (seventh predetermined value). If Yes, the process proceeds to step S16, and if No, the process proceeds to step S17.
ステップＳ１６において、車両後端検出部２７２は、その部分を車両の後端部と判定する。ステップＳ１７において、車両後端検出部２７２は、その部分を柵と判定する。 In step S16, the vehicle rear end detection unit 272 determines that portion as the vehicle rear end portion. In step S17, the vehicle rear end detection unit 272 determines that portion as a fence.
次に、ステップＳ１８において、車両後端検出部２７２は、鳥瞰データ（図２２の領域Ｄ３）に基いて縦射影データ（図２２の領域Ｄ４）を作成する。次に、ステップＳ１９において、車両後端検出部２７２は、その縦射影データ（図２２の領域Ｄ４）のピーク度数（図２２のＤ５）が閾値（第８の所定値）以上か否かを判定し、Ｙｅｓの場合はステップＳ２１に進み、Ｎｏの場合はステップＳ２０に進む。 Next, in step S18, the vehicle rear end detection unit 272 creates vertical projection data (region D4 in FIG. 22) based on the bird's-eye view data (region D3 in FIG. 22). Next, in step S19, the vehicle rear end detection unit 272 determines whether or not the peak frequency (D5 in FIG. 22) of the vertical projection data (region D4 in FIG. 22) is equal to or greater than the threshold value (eighth predetermined value). If Yes, the process proceeds to step S21, and if No, the process proceeds to step S20.
ステップＳ２０において、車両後端検出部２７２は、その部分を車両の側面部と判定する。ステップＳ２１において、車両後端検出部２７２は、その部分を柵と判定する。 In step S20, the vehicle rear end detection unit 272 determines that portion as a side surface portion of the vehicle. In step S21, the vehicle rear end detection unit 272 determines that portion as a fence.
このようにして、第２実施形態の車両認識装置２によれば、上述の処理を行うことで、第１実施形態の場合と同様の効果に加えて、柵と車両が重なって撮影されても車両のみを検出することができるという効果を奏する。つまり、柵の影響を受けずに車両を検出することができる。 In this way, according to the vehicle recognition device 2 of the second embodiment, by performing the above-mentioned processing, in addition to the same effect as in the case of the first embodiment, even if the fence and the vehicle are photographed overlapping. It has the effect of being able to detect only the vehicle. That is, the vehicle can be detected without being affected by the fence.
なお、第２実施形態では、柵を例にとって説明したが、これに限定されず、看板等であっても同様にその影響を排除できる。 In the second embodiment, the fence has been described as an example, but the present invention is not limited to this, and the influence can be similarly eliminated even for a signboard or the like.
本実施形態（第１実施形態、第２実施形態）の車両認識装置２で実行される車両認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The vehicle recognition program executed by the vehicle recognition device 2 of the present embodiment (first embodiment, second embodiment) is a CD-ROM, a flexible disk (FD), a file in an installable format or an executable format. It is provided by being recorded on a computer-readable recording medium such as a CD-R or DVD (Digital Versatile Disk).
また、本実施形態の車両認識装置２で実行される車両認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の車両認識装置２で実行される車両認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の車両認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Further, the vehicle recognition program executed by the vehicle recognition device 2 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the vehicle recognition program executed by the vehicle recognition device 2 of the present embodiment may be provided or distributed via a network such as the Internet. Further, the vehicle recognition program of the present embodiment may be configured to be provided by incorporating it into a ROM or the like in advance.
本実施形態の車両認識装置２で実行される車両認識プログラムは、上述した処理部２５内の各部２５１〜２５９を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から車両認識プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部２５１〜２５９が主記憶装置上に生成されるようになっている。 The vehicle recognition program executed by the vehicle recognition device 2 of the present embodiment has a module configuration including each unit 251 to 259 in the processing unit 25 described above, and the CPU (processor) stores the above as the actual hardware. By reading the vehicle recognition program from the medium and executing it, each of the above parts is loaded on the main storage device, and each of the parts 251 to 259 is generated on the main storage device.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
例えば、本実施形態では、トラム１の左側を車両が通行する場合を例にとったが、トラム１の右側を車両が通行する場合についても同様に本発明を適用することができる。 For example, in the present embodiment, the case where the vehicle passes on the left side of the tram 1 is taken as an example, but the present invention can be similarly applied to the case where the vehicle passes on the right side of the tram 1.
また、道路上で車列を構成する複数の車両を撮影する撮影装置を搭載する移動物体は、上述のトラム１に限定されない。例えば、道路と並行して移動する移動物体であればよく、専用レーンを走る専用バスや、モノレール等であってもよい。 Further, the moving object equipped with the photographing device for photographing a plurality of vehicles forming a convoy on the road is not limited to the tram 1 described above. For example, it may be a moving object that moves in parallel with the road, and may be a dedicated bus running in a dedicated lane, a monorail, or the like.
１…トラム、２…車両認識装置、１１…撮影装置、１２…車載装置、２１…記憶部、２２…入力部、２３…表示部、２４…通信部、２５…処理部、１２１…処理部、１２２…記憶部、２５１…取得部、２５２…視差画像生成部、２５３…消失点推定部、２５４…短冊領域生成部、２５５…代表視差算出部、２５６…短冊領域抽出部、２５７…短冊領域連結部、２５８…連結短冊領域分割部、２５９…車両認識部、２６１…分割判定部、２６２…上位視差算出部、２６３…距離差算出部、２６４…分割位置決定部、２６５…分割部、Ｓ…車両認識システム 1 ... Tram, 2 ... Vehicle recognition device, 11 ... Imaging device, 12 ... In-vehicle device, 21 ... Storage unit, 22 ... Input unit, 23 ... Display unit, 24 ... Communication unit, 25 ... Processing unit, 121 ... Processing unit, 122 ... Storage unit, 251 ... Acquisition unit, 252 ... Parallax image generation unit, 253 ... Disappearance point estimation unit, 254 ... Strip area generation unit, 255 ... Representative parallax calculation unit, 256 ... Strip area extraction unit, 257 ... Strip area connection 258 ... Connected strip area division unit, 259 ... Vehicle recognition unit, 261 ... Division determination unit, 262 ... Upper parallax calculation unit, 263 ... Distance difference calculation unit, 264 ... Division position determination unit, 265 ... Division unit, S ... Vehicle recognition system
Claims (20)
前記撮影画像に基いて視差画像を生成する視差画像生成部と、
前記視差画像における消失点を推定する消失点推定部と、
前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成部と、
前記短冊領域ごとの代表視差を算出する代表視差算出部と、
複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出部と、
車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結部と、
前記連結短冊領域に基いて車両を認識する車両認識部と、
を備える車両認識装置。 An acquisition unit that acquires images taken by a stereo camera of a plurality of vehicles forming a convoy on the road from diagonally behind the convoy.
A parallax image generator that generates a parallax image based on the captured image,
A vanishing point estimation unit that estimates the vanishing point in the parallax image,
In the parallax image, a strip area generation unit that laterally divides a region below the vanishing point to generate a plurality of strip regions, and a strip region generation unit.
A representative parallax calculation unit that calculates the representative parallax for each strip area,
A strip area extraction unit that extracts a strip area effective for vehicle recognition from a plurality of the strip areas based on the representative parallax.
Based on the distance distribution model of the back surface and the side surface of the vehicle, the strip area connecting portion that connects the extracted adjacent strip regions to generate a connected strip region, and
A vehicle recognition unit that recognizes a vehicle based on the connected strip area,
A vehicle recognition device equipped with.
分割対象であると判定された前記連結短冊領域を構成するそれぞれの前記短冊領域において頻度が大きい上位２つの視差を算出する上位視差算出部と、
上位２つの視差から距離の差を算出する距離差算出部と、
算出された前記距離の差が所定範囲内の場合に、当該短冊領域の横方向位置を、前記連結短冊領域を２つに分割する横方向位置として決定する分割位置決定部と、
決定された前記横方向位置に基いて、前記連結短冊領域を２つの分割領域に分割する分割部と、をさらに備え、
前記車両認識部は、２つの前記分割領域それぞれに基いて車両を認識する、
請求項１に記載の車両認識装置。 A division determination unit that determines whether or not the connected strip area is a division target based on the number of the strip areas in the connected strip area.
An upper parallax calculation unit that calculates the top two parallaxes with high frequency in each of the strip areas constituting the connected strip area determined to be divided.
A distance difference calculation unit that calculates the difference in distance from the top two parallax,
When the calculated difference in distance is within a predetermined range, the division position determining unit determines the lateral position of the strip area as the horizontal position for dividing the connected strip area into two.
Further, a division portion for dividing the connected strip area into two division areas based on the determined lateral position is further provided.
The vehicle recognition unit recognizes a vehicle based on each of the two divided regions.
The vehicle recognition device according to claim 1.
請求項１に記載の車両認識装置。 The strip region generation unit determines the number of the strip regions based on the resolution of the parallax image, and divides the region below the vanishing point in the parallax image in the lateral direction based on the determined number. To generate the plurality of strip areas,
The vehicle recognition device according to claim 1.
請求項１に記載の車両認識装置。 The representative parallax calculation unit calculates the frequency distribution of parallax whose parallax value is equal to or greater than the first predetermined value among the parallax of each pixel for each strip region, and sets the mode of the frequency distribution as the representative parallax. ,
The vehicle recognition device according to claim 1.
請求項４に記載の車両認識装置。 The strip region extraction unit extracts a block of pixels having the representative parallax as a strip region effective for vehicle recognition, targeting the strip region in which the representative parallax exists.
The vehicle recognition device according to claim 4.
請求項４に記載の車両認識装置。 In the strip area extraction unit, when there are two pixel clusters having the representative parallax and the difference in the distance between the lower end positions of the two clusters is equal to or greater than the second predetermined value, the larger of the two clusters is Extract the mass as a strip area that is effective for vehicle recognition,
The vehicle recognition device according to claim 4.
請求項１に記載の車両認識装置。 In the distance distribution model, the distance to each point on the back surface of the vehicle is substantially constant, and the distance to each point along the traveling direction of the road on the side surface of the vehicle changes within a predetermined rate of change. Is,
The vehicle recognition device according to claim 1.
請求項７に記載の車両認識装置。 The strip region connecting portion converts the representative parallax of each strip region into a distance based on the distance distribution model, and if the distance between two adjacent strip regions is equal to or less than a third predetermined value. Concatenate to generate the concatenated strip area,
The vehicle recognition device according to claim 7.
請求項２に記載の車両認識装置。 The division determination unit determines that the connected strip area is the target of division when the number of the strip areas in the connected strip area is equal to or greater than a fourth predetermined value.
The vehicle recognition device according to claim 2.
請求項９に記載の車両認識装置。 The upper parallax calculation unit calculates the parallax frequency distribution for each strip area constituting the area on the side where the side surface of the vehicle is reflected from the center in the lateral direction in the connected strip area determined to be the division target. , Calculate the parallax of the top two most frequently,
The vehicle recognition device according to claim 9.
請求項１０に記載の車両認識装置。 When the frequency of the top two parallax calculated by the upper parallax calculation unit is equal to or higher than the fifth predetermined value, the distance difference calculation unit converts the parallax into a distance and calculates the distance difference.
The vehicle recognition device according to claim 10.
請求項１１に記載の車両認識装置。 The division position determining unit is determined by the distance difference calculation unit for each of the strip regions in the direction from the center of the lateral direction in the connected strip region determined to be the division target to the side where the side surface of the vehicle is reflected. It is determined whether or not the difference in the calculated distances is within the predetermined range, and if it is within the predetermined range, the horizontal position of the strip area is determined as the horizontal position for dividing the connected strip area into two. To do,
The vehicle recognition device according to claim 11.
前記視差画像に基いて、前記道路を真上から見た様子のデータである鳥瞰データを作成する鳥瞰データ作成部と、
前記鳥瞰データに基いて車両の後端部を検出する車両後端検出部と、をさらに備える、
請求項１に記載の車両認識装置。 The vehicle recognition device is
A bird's-eye view data creation unit that creates bird's-eye view data that is data of the road viewed from directly above based on the parallax image.
A vehicle rear end detection unit that detects the rear end of the vehicle based on the bird's-eye view data is further provided.
The vehicle recognition device according to claim 1.
請求項１３に記載の車両認識装置。 The bird's-eye view data creating unit creates the bird's-eye view data based on the parallax data having different heights at the same point on the road in the parallax image.
The vehicle recognition device according to claim 13.
請求項１３に記載の車両認識装置。 The vehicle rear end detection unit extracts the boundary between the fence and the vehicle based on the bird's-eye view data, and detects the rear end of the vehicle.
The vehicle recognition device according to claim 13.
前記撮影画像に基いて視差画像を生成する視差画像生成ステップと、
前記視差画像における消失点を推定する消失点推定ステップと、
前記視差画像において前記消失点よりも下方の領域を横方向に分割して複数の短冊領域を生成する短冊領域生成ステップと、
前記短冊領域ごとの代表視差を算出する代表視差算出ステップと、
複数の前記短冊領域から、前記代表視差に基いて、車両の認識に有効な短冊領域を抽出する短冊領域抽出ステップと、
車両の背面と側面の距離分布モデルに基いて、抽出された隣り合う前記短冊領域を連結して連結短冊領域を生成する短冊領域連結ステップと、
前記連結短冊領域に基いて車両を認識する車両認識ステップと、
を含む車両認識方法。 An acquisition step of acquiring images taken by a stereo camera of a plurality of vehicles forming a convoy on the road from diagonally behind the convoy.
A parallax image generation step of generating a parallax image based on the captured image,
The vanishing point estimation step for estimating the vanishing point in the parallax image and
In the parallax image, a strip area generation step of laterally dividing a region below the vanishing point to generate a plurality of strip regions, and a strip region generation step.
A representative parallax calculation step for calculating the representative parallax for each strip area, and
A strip area extraction step for extracting a strip area effective for vehicle recognition from a plurality of the strip areas based on the representative parallax.
Based on the distance distribution model of the back surface and the side surface of the vehicle, the strip area connection step of connecting the extracted adjacent strip areas to generate a connection strip area, and
A vehicle recognition step that recognizes a vehicle based on the connected strip area,
Vehicle recognition methods including.
分割対象であると判定された前記連結短冊領域を構成するそれぞれの前記短冊領域において頻度が大きい上位２つの視差を算出する上位視差算出ステップと、
上位２つの視差から距離の差を算出する距離差算出ステップと、
算出された前記距離の差が所定範囲内の場合に、当該短冊領域の横方向位置を、前記連結短冊領域を２つに分割する横方向位置として決定する分割位置決定ステップと、
決定された前記横方向位置に基いて、前記連結短冊領域を２つの分割領域に分割する分割ステップと、をさらに備え、
前記車両認識ステップは、２つの前記分割領域それぞれに基いて車両を認識する、
請求項１６に記載の車両認識方法。 A division determination step for determining whether or not the connected strip area is a division target based on the number of the strip areas in the connected strip area, and
A high-level parallax calculation step for calculating the top two parallaxes having a high frequency in each of the strip areas constituting the connected strip area determined to be divided,
A distance difference calculation step that calculates the distance difference from the top two parallax,
When the calculated difference in distance is within a predetermined range, the division position determination step of determining the lateral position of the strip area as the horizontal position for dividing the connected strip area into two,
Further provided, a division step of dividing the connected strip area into two division areas based on the determined lateral position.
The vehicle recognition step recognizes a vehicle based on each of the two divided regions.
The vehicle recognition method according to claim 16.
請求項１６に記載の車両認識方法。 In the strip region generation step, the number of the strip regions is determined based on the resolution of the parallax image, and the region below the vanishing point in the parallax image is laterally divided based on the determined number. To generate the plurality of strip areas,
The vehicle recognition method according to claim 16.
請求項１６に記載の車両認識方法。 In the representative parallax calculation step, the frequency distribution of parallax whose parallax value is equal to or greater than the first predetermined value among the parallax of each pixel is calculated for each strip region, and the mode value of the frequency distribution is set as the representative parallax. The vehicle recognition method according to claim 16.
請求項１９に記載の車両認識方法。 In the strip region extraction step, the strip region in which the representative parallax exists is targeted, and a block of pixels having the representative parallax is extracted as a strip region effective for vehicle recognition.
The vehicle recognition method according to claim 19.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/395,309 US11443619B2 (en) | 2018-05-15 | 2019-04-26 | Vehicle recognition apparatus and vehicle recognition method |
| AU2019203180A AU2019203180B2 (en) | 2018-05-15 | 2019-05-07 | Vehicle recognition apparatus and vehicle recognition method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018093969 | 2018-05-15 | ||
| JP2018093969 | 2018-05-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019200776A JP2019200776A (en) | 2019-11-21 |
| JP6786635B2 true JP6786635B2 (en) | 2020-11-18 |
Family
ID=68611267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019003619A Active JP6786635B2 (en) | 2018-05-15 | 2019-01-11 | Vehicle recognition device and vehicle recognition method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6786635B2 (en) |
| AU (1) | AU2019203180B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7483790B2 (en) * | 2022-05-19 | 2024-05-15 | キヤノン株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, MOBILE BODY, AND COMPUTER PROGRAM |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3349060B2 (en) * | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | Outside monitoring device |
| JP4018950B2 (en) * | 2002-08-05 | 2007-12-05 | 富士重工業株式会社 | Stereo camera misalignment inspection apparatus and misalignment inspection method |
| JP5221886B2 (en) * | 2007-03-07 | 2013-06-26 | 富士重工業株式会社 | Object detection device |
| JP5073548B2 (en) * | 2008-03-27 | 2012-11-14 | 富士重工業株式会社 | Vehicle environment recognition device and preceding vehicle tracking control system |
| JP5693994B2 (en) * | 2011-02-16 | 2015-04-01 | 富士重工業株式会社 | Vehicle detection device |
| JP6376429B2 (en) * | 2012-11-13 | 2018-08-22 | 株式会社リコー | Target point arrival detection device, target point arrival detection program, mobile device control system, and mobile |
| JP6344638B2 (en) * | 2013-03-06 | 2018-06-20 | 株式会社リコー | Object detection apparatus, mobile device control system, and object detection program |
| JP6511283B2 (en) * | 2015-02-12 | 2019-05-15 | 日立オートモティブシステムズ株式会社 | Object detection device |
| CN106327466B (en) * | 2015-06-24 | 2018-12-21 | 株式会社理光 | The detection method and device of lane segmentation object |
| JP6606369B2 (en) * | 2015-07-21 | 2019-11-13 | 株式会社Ｓｏｋｅｎ | Object detection apparatus and object detection method |
| WO2017047282A1 (en) * | 2015-09-15 | 2017-03-23 | 株式会社リコー | Image processing device, object recognition device, device control system, image processing method, and program |
-
2019
- 2019-01-11 JP JP2019003619A patent/JP6786635B2/en active Active
- 2019-05-07 AU AU2019203180A patent/AU2019203180B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019203180A1 (en) | 2019-12-05 |
| AU2019203180B2 (en) | 2020-10-08 |
| JP2019200776A (en) | 2019-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102317954B (en) | Method for detecting objects | |
| JP6759175B2 (en) | Information processing equipment and information processing system | |
| EP4095012A2 (en) | Vegetation detection and alert method and system for a railway vehicle | |
| JP6339058B2 (en) | On-vehicle equipment and head-to-head distance calculation method | |
| JP2005268847A (en) | Image generating apparatus, image generating method, and image generating program | |
| JP2011134207A (en) | Drive recorder and map generation system | |
| KR101751112B1 (en) | Apparatus for generating traffic information base on image and Method thereof | |
| WO2020068757A1 (en) | Dynamic driving metric output generation using computer vision methods | |
| US9715632B2 (en) | Intersection recognizing apparatus and computer-readable storage medium | |
| JP5267330B2 (en) | Image processing apparatus and method | |
| JP2015122547A (en) | Calibration device, calibration method, camera for mounting moving body having calibration function, and program | |
| JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
| WO2018149539A1 (en) | A method and apparatus for estimating a range of a moving object | |
| Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
| US9691196B2 (en) | Data reproducing apparatus | |
| JPWO2016031229A1 (en) | Road map creation system, data processing device and in-vehicle device | |
| KR101365557B1 (en) | Apparatus and method for detecting traffic lane | |
| US11443619B2 (en) | Vehicle recognition apparatus and vehicle recognition method | |
| JP2013168178A (en) | Vehicle detection system and vehicle detection method for vehicle detection system | |
| KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
| JP6786635B2 (en) | Vehicle recognition device and vehicle recognition method | |
| US20230104858A1 (en) | Image generation apparatus, image generation method, and non-transitory computer-readable medium | |
| KR102177268B1 (en) | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station | |
| WO2022190274A1 (en) | Simulated road generation system, simulated road generation method, and non-transitory computer-readable medium having stored thereon program for causing computer to perform simulated road generation process | |
| JP2018096935A (en) | Own vehicle position estimation device, program, recording medium, and own vehicle position estimation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6786635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |