JPWO2013088626A1 - Coordinate conversion table creation system and coordinate conversion table creation method - Google Patents

Coordinate conversion table creation system and coordinate conversion table creation method Download PDF

Info

Publication number
JPWO2013088626A1
JPWO2013088626A1 JP2013549075A JP2013549075A JPWO2013088626A1 JP WO2013088626 A1 JPWO2013088626 A1 JP WO2013088626A1 JP 2013549075 A JP2013549075 A JP 2013549075A JP 2013549075 A JP2013549075 A JP 2013549075A JP WO2013088626 A1 JPWO2013088626 A1 JP WO2013088626A1
Authority
JP
Japan
Prior art keywords
vehicle
image
world
coordinate conversion
conversion table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013549075A
Other languages
Japanese (ja)
Other versions
JP6083385B2 (en
Inventor
剛 福本
剛 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2013088626A1 publication Critical patent/JPWO2013088626A1/en
Application granted granted Critical
Publication of JP6083385B2 publication Critical patent/JP6083385B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮影画像に設定された画像系座標と不動の物体に設定された世界座標系との間での座標変換テーブルを作成する座標変換テーブル作成システムであって、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットと、を備える。  A coordinate conversion table creation system for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for an immovable object. An image system information acquisition unit that acquires the image system vehicle position at the set image system coordinates and outputs the image system information, and acquires the world system vehicle position of the vehicle with respect to the world system coordinates, as world system information A world system information acquisition unit for outputting, and a coordinate conversion information creation unit for creating a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.

Description

本発明は、座標変換テーブル作成システム及び、座標変換テーブル作成方法に関する。   The present invention relates to a coordinate conversion table creation system and a coordinate conversion table creation method.

近年、交通流量の計測、見通しの悪いカーブや交差点における衝突事故防止等のために、道路の路側に設置されている撮影装置を用いて車両を撮影し、その撮影画像から車両の位置や速度を検出する安全運転支援システムが提案されている。   In recent years, in order to measure traffic flow, to prevent collision accidents at curves and intersections with poor visibility, etc., the vehicle is photographed using a photographing device installed on the roadside, and the position and speed of the vehicle are determined from the photographed image. A safe driving support system for detection has been proposed.

このような安全運転支援システムにおいては、撮影画像により取得した車両の位置や速度に基づき、TTC(Time−To−Collision:衝突余裕時間)を推定する。そして、この推定結果により、ドライバへの注意喚起や車両のブレーキ制御を行う等が行われる。従って、車両の位置や速度は、高精度に取得される必要がある。   In such a safe driving support system, TTC (Time-To-Collision) is estimated based on the position and speed of the vehicle acquired from the captured image. Then, based on the estimation result, attention to the driver, brake control of the vehicle, and the like are performed. Therefore, the position and speed of the vehicle need to be acquired with high accuracy.

撮影画像から車両の位置や速度を高精度に取得するためには、撮影画像内に設定された座標系(以下、画像座標系という)での車両の位置を、道路等の実空間に設定された座標系(以下、世界座標系という)に変換する必要がある。即ち、画像座標系と世界座標系との座標変換が必要となる。   In order to obtain the position and speed of a vehicle from a captured image with high accuracy, the position of the vehicle in a coordinate system (hereinafter referred to as an image coordinate system) set in the captured image is set in a real space such as a road. It is necessary to convert to a coordinate system (hereinafter referred to as the world coordinate system). That is, coordinate conversion between the image coordinate system and the world coordinate system is required.

そこで、車両を監視する監視カメラ等の撮影装置を新しく設置した際に、画像座標系と世界座標系との座標変換テーブルを作成することが行われる。   Therefore, when a new photographing apparatus such as a monitoring camera for monitoring the vehicle is installed, a coordinate conversion table between the image coordinate system and the world coordinate system is created.

このような座標変換テーブルを作成する技術として、特開2010−236891号公報には、以下の方法が開示されている。即ち、路側カメラ(撮影装置)により目標物を搭載した車両を撮影し、撮影画像から画像座標系での目標物の位置を求める。一方で、GPS(Global Positioning System)を用いて目標物の世界座標系での位置を求める。そして、世界座標系と画像座標系とにおける目標物の位置を比較し、両者の関連付けを行うことで、対応テーブルを作成する。   As a technique for creating such a coordinate conversion table, Japanese Patent Application Laid-Open No. 2010-236891 discloses the following method. That is, the vehicle on which the target is mounted is photographed by a roadside camera (photographing device), and the position of the target in the image coordinate system is obtained from the photographed image. On the other hand, the position of the target in the world coordinate system is obtained by using GPS (Global Positioning System). Then, the correspondence table is created by comparing the positions of the target in the world coordinate system and the image coordinate system and associating them.

しかしながら、特開2010−236891号公報にかかる技術では、路側カメラがトンネル内等のGPSが利用できない空間に設置される場合には、座標変換テーブルを作成できない問題があった。   However, the technique according to Japanese Patent Application Laid-Open No. 2010-236891 has a problem that a coordinate conversion table cannot be created when a roadside camera is installed in a space such as a tunnel where GPS cannot be used.

そこで、本発明の主目的は、トンネル等のGPSが使用できない環境においても、画像座標系と世界座標系との座標変換テーブルを高精度に取得できる座標変換テーブル作成システム及び、座標変換テーブル作成方法を提供することである。   Accordingly, a main object of the present invention is to provide a coordinate conversion table creation system and a coordinate conversion table creation method capable of acquiring a coordinate conversion table between an image coordinate system and a world coordinate system with high accuracy even in an environment where GPS such as a tunnel cannot be used. Is to provide.

上記課題を解決するため、座標変換テーブル作成システムは、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、世界系座標に対する車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、画像系情報と世界系情報とに基づき画像系座標と世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットとを備えることを特徴とする。   In order to solve the above-described problem, the coordinate conversion table creation system captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information as image system information. An acquisition unit, a world system information acquisition unit that acquires a world system vehicle position of the vehicle with respect to the world system coordinates and outputs it as world system information, and image system coordinates and world system coordinates based on the image system information and the world system information And a coordinate conversion information generation unit for generating the coordinate conversion table.

また、座標変換テーブル作成方法は、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得する手順と、世界系座標に対する車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得する手順と、画像系情報と世界系情報とに基づき画像系座標と世界系座標との座標変換テーブルを作成する座標変換情報作成する手順とを含むことを特徴とする。   In addition, the coordinate conversion table creation method includes a procedure for capturing image system information that captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information; Obtaining the world system vehicle position relative to the world system coordinates and obtaining the world system information to be output as the world system information, and the coordinate conversion between the image system coordinates and the world system coordinates based on the image system information and the world system information And a procedure for creating coordinate conversion information for creating a table.

本発明によれば、トンネル区間等のGPSが使用できない環境においても、画像座標系と世界座標系との座標変換テーブルを高精度に取得できるようになる。   According to the present invention, a coordinate conversion table between an image coordinate system and a world coordinate system can be acquired with high accuracy even in an environment where GPS cannot be used such as a tunnel section.

本発明にかかる座標変換テーブル作成システムの模式図である。1 is a schematic diagram of a coordinate conversion table creation system according to the present invention. 路側撮影装置及び車載装置のブロック図である。It is a block diagram of a roadside imaging device and an in-vehicle device. 座標変換テーブルの作成する手順を示すフローチャートである。It is a flowchart which shows the procedure which produces a coordinate conversion table. 路側撮影画像を例示した図で、(a)は車両が判断線を通過している最中の路側撮影画像、(b)は車両が判断線を通過した後の路側撮影画像である。It is the figure which illustrated the roadside picked-up image, (a) is the roadside picked-up image in the middle of the vehicle passing the judgment line, (b) is the roadside picked-up image after the vehicle passes the judgment line.

本発明の実施の形態を説明する。図1は、本発明にかかる座標変換テーブル作成システム2の模式図である。座標変換テーブル作成システム2は、路側に設置された路側撮影装置10、車両30に搭載された車載装置20を備える。図2は、路側撮影装置10及び車載装置20のブロック図である。   An embodiment of the present invention will be described. FIG. 1 is a schematic diagram of a coordinate conversion table creation system 2 according to the present invention. The coordinate conversion table creation system 2 includes a roadside imaging device 10 installed on the roadside and an in-vehicle device 20 mounted on the vehicle 30. FIG. 2 is a block diagram of the roadside imaging device 10 and the in-vehicle device 20.

路側撮影装置10は、路側カメラ11、車両検出部12、画像系車両検出部13、座標変換テーブル作成部14を備える。なお、路側カメラ11、車両検出部12、画像系車両検出部13は、画像系情報取得ユニット3を構成し、座標変換テーブル作成部14は座標変換情報作成ユニット4を構成している。   The roadside photographing apparatus 10 includes a roadside camera 11, a vehicle detection unit 12, an image-based vehicle detection unit 13, and a coordinate conversion table creation unit 14. The roadside camera 11, the vehicle detection unit 12, and the image system vehicle detection unit 13 constitute an image system information acquisition unit 3, and the coordinate conversion table creation unit 14 constitutes a coordinate conversion information creation unit 4.

路側カメラ11は、路側に設置されている道路監視用カメラ等のカメラである。この路側カメラ11により走行中の車両30が撮影され、路側撮影画像として車両検出部12、画像系車両検出部13に出力される。なお、道路には点線状の車線境界線Kが設けられているとする(図1参照)。   The roadside camera 11 is a camera such as a road monitoring camera installed on the roadside. The traveling vehicle 30 is photographed by the roadside camera 11 and is output to the vehicle detection unit 12 and the image system vehicle detection unit 13 as a roadside photographed image. It is assumed that a dotted lane boundary line K is provided on the road (see FIG. 1).

この車線境界線Kは、路側撮影装置10と車載装置20とに対して不動の物体(以下、基準体と記載する)の例として用いる。基準体は、車線境界線に限定されるものではなく、路上に設置された反射板等であっても良い。そして、この基準体Kを用いて画像座標系と世界座標系との座標変換の基準点を求める。   This lane boundary line K is used as an example of an object that does not move with respect to the roadside photographing apparatus 10 and the in-vehicle apparatus 20 (hereinafter referred to as a reference body). The reference body is not limited to the lane boundary line, and may be a reflector installed on the road. Then, using this reference body K, a reference point for coordinate conversion between the image coordinate system and the world coordinate system is obtained.

また、路側カメラ11は、この路側カメラ11から離れて行く、車両のテール(車両後尾)を撮影する。図1及び図4における矢印Pは、車両30の進行方向を示している。   In addition, the roadside camera 11 captures a vehicle tail (vehicle rear) that moves away from the roadside camera 11. An arrow P in FIGS. 1 and 4 indicates the traveling direction of the vehicle 30.

車両検出部12は、路側撮影画像から車両30を抽出して、抽出した車両30が予め設定された計測エリア内であるか否かを判断する。この判断は、エリア判断情報として世界系車両検出部22に電波等の無線手段により送信される。なお計測エリアとは、車両30の位置検出を行う範囲をいう。車両30が路側撮影画像に写っていても、小さい場合(遠望の場合)には、車両位置の精度は低くなる。そこで、路側カメラ11の分解能等を勘案して、計測エリアが予め設定されている。   The vehicle detection unit 12 extracts the vehicle 30 from the roadside photographed image, and determines whether or not the extracted vehicle 30 is within a preset measurement area. This determination is transmitted as area determination information to the global vehicle detection unit 22 by radio means such as radio waves. The measurement area is a range where the position of the vehicle 30 is detected. Even if the vehicle 30 is shown in the roadside photographed image, if the vehicle 30 is small (in the case of a long distance), the accuracy of the vehicle position is low. Therefore, the measurement area is set in advance in consideration of the resolution of the roadside camera 11 and the like.

また、車両検出部12は、抽出した車両30が基準体Kに接近しているか否かを判断する。そして、車両30が基準体Kに接近していると判断した場合には、車両検出部12は、そのことを示す車両接近情報を世界系車両検出部22に送信する。   Further, the vehicle detection unit 12 determines whether or not the extracted vehicle 30 is approaching the reference body K. When it is determined that the vehicle 30 is approaching the reference body K, the vehicle detection unit 12 transmits vehicle approach information indicating that to the world-based vehicle detection unit 22.

図1に示すように車両境界線(基準体)Kは、所定の長さを持つ白線K1が断続的に連なる線である。従って、車両10の接近を判断する際には、どの白線K1のどの位置を基準とするかにより、接近しているか否かの判断が異なる。そこで、白線K1の端点K2(K2_i;iは正の整数)を接近の判断基準位置とする。白線K1は、多数存在するので端点K2も多数存在し、端点K2毎に車両30の接近が判断されることになる。   As shown in FIG. 1, the vehicle boundary line (reference body) K is a line in which a white line K1 having a predetermined length is intermittently connected. Therefore, when the approach of the vehicle 10 is determined, the determination of whether or not the vehicle 10 is approaching differs depending on which position of which white line K1 is used as a reference. Therefore, the end point K2 (K2_i; i is a positive integer) of the white line K1 is set as an approach determination reference position. Since there are many white lines K1, there are also many end points K2, and the approach of the vehicle 30 is determined for each end point K2.

画像系車両検出部13は、路側撮影画像から光源部23の位置を取得する。光源部23は、車載装置20に内設されているため、光源部23の位置は車両位置に対応している。なお、画像系車両検出部13で取得された車両位置は、路側撮影画像から求めた画像座標系での車両位置である。   The image system vehicle detection unit 13 acquires the position of the light source unit 23 from the roadside photographed image. Since the light source unit 23 is installed in the in-vehicle device 20, the position of the light source unit 23 corresponds to the vehicle position. The vehicle position acquired by the image system vehicle detection unit 13 is the vehicle position in the image coordinate system obtained from the roadside photographed image.

画像系車両検出部13は、この車両位置を画像系車両位置とし、取得した時刻を画像系位置取得時刻として、これらを纏めて画像系情報として座標変換テーブル作成部14に出力する。画像系位置取得時刻は、路側カメラ11や画像系車両検出部13等に設けられたタイマー(図示せず)から求める。   The image system vehicle detection unit 13 sets this vehicle position as the image system vehicle position, sets the acquired time as the image system position acquisition time, and collectively outputs these as image system information to the coordinate conversion table creation unit 14. The image system position acquisition time is obtained from a timer (not shown) provided in the roadside camera 11, the image system vehicle detection unit 13, or the like.

座標変換テーブル作成部14は、画像系車両検出部13から受信した画像系情報と、後述する世界系車両検出部22から受信した世界系情報とに基づき、画像座標系と世界座標系との座標変換テーブルを作成する。   The coordinate conversion table creating unit 14 coordinates the image coordinate system and the world coordinate system based on the image system information received from the image system vehicle detection unit 13 and the world system information received from the world system vehicle detection unit 22 described later. Create a conversion table.

次に、車載装置20の構成について説明する。なお、車載装置20は、世界系情報取得ユニット5を構成している。車載装置20は、車載カメラ21、世界系車両検出部22、光源部23を備えて、車両30に搭載されている。   Next, the configuration of the in-vehicle device 20 will be described. The in-vehicle device 20 constitutes the world information acquisition unit 5. The in-vehicle device 20 includes an in-vehicle camera 21, a global vehicle detection unit 22, and a light source unit 23 and is mounted on the vehicle 30.

車載カメラ21は、基準体Kを撮影するカメラである。世界系車両検出部22は、車載カメラ21で撮影した画像(車載撮影画像)と、車両検出部12から受信した車両接近情報とに基づき、基準体Kの端点K2を検出し、この端点K2に対する世界系車両位置での車両位置を取得する。また、世界系車両位置を取得した時の時刻を世界系位置取得時刻とする。世界系車両位置と世界系位置取得時刻とは、世界系情報として座標変換テーブル作成部14に送信される。世界系位置取得時刻は、車載カメラ21や世界系車両検出部22に設けられたタイマー(図示せず)から求める。   The in-vehicle camera 21 is a camera that photographs the reference body K. The world-based vehicle detection unit 22 detects the end point K2 of the reference body K based on the image (in-vehicle captured image) captured by the in-vehicle camera 21 and the vehicle approach information received from the vehicle detection unit 12, and with respect to the end point K2. Get the vehicle position at the global vehicle position. In addition, the time when the world system vehicle position is acquired is set as the world system position acquisition time. The world system vehicle position and the world system position acquisition time are transmitted to the coordinate conversion table creation unit 14 as world system information. The world system position acquisition time is obtained from a timer (not shown) provided in the in-vehicle camera 21 or the world system vehicle detection unit 22.

また、世界系車両検出部22は、世界系情報を取得すると、光源部23にトリガー信号を出力する。光源部23はLED等の光源を備え、世界系車両検出部22からトリガー信号を受信する度に一回点滅する。   Further, when the world system vehicle detection unit 22 acquires the world system information, the world system vehicle detection unit 22 outputs a trigger signal to the light source unit 23. The light source unit 23 includes a light source such as an LED, and blinks once every time a trigger signal is received from the world vehicle detection unit 22.

次に、このような座標変換テーブル作成システム2を用いて座標変換テーブルを作成する手順を、図3に示すフローチャートを使用して説明する。なお、説明の都合から、路側カメラ11はトンネル内に設置されているとするが、本実施形態はかかる環境での使用に限定されるものではない。   Next, a procedure for creating a coordinate conversion table using such a coordinate conversion table creation system 2 will be described using the flowchart shown in FIG. For convenience of explanation, it is assumed that the roadside camera 11 is installed in a tunnel, but this embodiment is not limited to use in such an environment.

ステップSA1:車両30がトンネル内の道路上を走行している。路側撮影装置10の路側カメラ11は、道路を撮影している。従って、撮影領域に進入した車両30は撮影される。   Step SA1: The vehicle 30 is traveling on a road in the tunnel. The roadside camera 11 of the roadside photographing apparatus 10 is photographing a road. Therefore, the vehicle 30 entering the shooting area is shot.

ステップSA2:車両検出部12は、路側カメラ11が撮影した路側撮影画像に対して、所定の画像処理を行うことにより車両30の検出を行い、この車両30の位置を取得する。このときの車両位置は、画像座標系での位置である。   Step SA2: The vehicle detection unit 12 detects the vehicle 30 by performing predetermined image processing on the roadside captured image captured by the roadside camera 11, and acquires the position of the vehicle 30. The vehicle position at this time is a position in the image coordinate system.

車両30の検出方法として、以下の方法が例示できる。即ち、車両30が存在しないときの画像を背景画像として事前に取得しておき、路側カメラ11で撮影された路側撮影画像と背景画像との差分を求める。これにより、車両30が抽出できる。そして、画像座標系に対して予め設定された原点からの車両位置を演算する。この原点は、撮影領域内に設定された1点(例えば、路側撮影画像のコーナーの1点)とすることができる。このときの車両位置は、後述する車両30が計測エリア内に存在するか否かの判断及び車両30が接近しているか否かの判断に用いられる。なお、本実施形態は、かかる背景差分処理に限定するものではなく、パターンマッチング等の公知の方法が適用できる。   The following method can be illustrated as a detection method of the vehicle 30. That is, an image when the vehicle 30 does not exist is acquired in advance as a background image, and a difference between the roadside captured image captured by the roadside camera 11 and the background image is obtained. Thereby, the vehicle 30 can be extracted. And the vehicle position from the origin set beforehand with respect to the image coordinate system is calculated. The origin can be one point set in the photographing region (for example, one point in the corner of the roadside photographed image). The vehicle position at this time is used to determine whether or not a vehicle 30 described later exists in the measurement area and whether or not the vehicle 30 is approaching. The present embodiment is not limited to such background difference processing, and a known method such as pattern matching can be applied.

ステップSA3:次に、車両検出部12は、取得した車両位置が予め設定された計測エリア内であるか否かを判断し、その判断結果をエリア判断情報として世界系車両検出部22に送信する。   Step SA3: Next, the vehicle detection unit 12 determines whether or not the acquired vehicle position is within a preset measurement area, and transmits the determination result to the global vehicle detection unit 22 as area determination information. .

ステップSA4:また、車両検出部12は、車両30が計測エリア内に位置すると判断した場合には、後述する手順に従い路側撮影画像内での車両30の位置と基準体Kの端点K2の位置とを比較して、車両30が接近しているか否かを判断する。   Step SA4: If the vehicle detection unit 12 determines that the vehicle 30 is located in the measurement area, the vehicle 30 and the position of the end point K2 of the reference body K in the roadside photographed image are determined according to the procedure described later. Are compared to determine whether or not the vehicle 30 is approaching.

例えば、図1において、車両30は、端点K2_4から遠ざかる状態であるが、端点K2_5に対しては接近する状態である。路側カメラ11は、道路に対して不動位置に固定されているので、端点K2に対しても不動位置にある。そこで、計測エリア内に位置する端点K2の位置が画像系座標で予め取得されているならば、車両30が各端点K2に対して接近しているかの判断が可能になる。   For example, in FIG. 1, the vehicle 30 is in a state of moving away from the end point K2_4, but is in a state of approaching the end point K2_5. Since the roadside camera 11 is fixed at a fixed position with respect to the road, the roadside camera 11 is also at a fixed position with respect to the end point K2. Therefore, if the position of the end point K2 located in the measurement area is acquired in advance using image system coordinates, it is possible to determine whether the vehicle 30 is approaching each end point K2.

車両検出部12は、複数の端点K2の中から最も近い端点K2を判断して、この端点に対して接近していると判断する。例えば、図1において、車載装置20は、端点K2_4〜端点K2_7に接近している状態であるが、その中で最も近い端点は端点K2_4である。そこで、車両検出部12は、車両30が端点K2_4に接近していると判断する。そして、接近していると判断した場合は、ステップSA5に進み、接近していないと判断された場合にはステップSA2に戻る。なお、車両30が端点K2に接近していないと判断した場合は、車両30が計測エリアの外に移動したことを意味する。   The vehicle detection unit 12 determines the closest end point K2 from the plurality of end points K2, and determines that the end point K2 is approaching. For example, in FIG. 1, the in-vehicle device 20 is in a state of approaching the end point K2_4 to the end point K2_7, but the end point closest thereto is the end point K2_4. Therefore, the vehicle detection unit 12 determines that the vehicle 30 is approaching the end point K2_4. And when it is judged that it is approaching, it progresses to step SA5, and when it is judged that it is not approaching, it returns to step SA2. If it is determined that the vehicle 30 has not approached the end point K2, it means that the vehicle 30 has moved out of the measurement area.

車両30が接近しているか否かの判断は、以下のように行われる。即ち、基準体Kは、路側撮影画像に白線等の形態で写っている。そこで、車両検出部12は、路側撮影画像に対してエッジ抽出処理や高輝度部抽出処理等を行うことにより、基準体Kを取得する。即ち、複数の白線K1からなる基準体Kを取得する。   The determination as to whether or not the vehicle 30 is approaching is performed as follows. That is, the reference body K is reflected on the roadside photographed image in the form of a white line or the like. Therefore, the vehicle detection unit 12 acquires the reference body K by performing edge extraction processing, high-luminance portion extraction processing, and the like on the roadside photographed image. That is, a reference body K composed of a plurality of white lines K1 is acquired.

図4(a)、(b)は、このようにして取得された基準体KとステップSA2で取得した車両30とを示した図である。なお、図中の点線(判断線)Lは、基準体Kの端点K2を通り、この基準体Kに直行する線である。また、×印は車載装置20の車両30内での位置を示している。図4(a)は、時刻tで車両30が判断線Lを通過している最中の路側撮影画像であり、図4(b)は時刻t+δ(δ>0)で車両30が判断線Lを通過した後の路側撮影画像である。このように、車両30が判断線Lを通過する場合に、当該車両30は接近していると判断される。判断線Lを設定することは、図1で接近している状態の端点K2_4〜端点K2_7の中から端点K2_4を特定することに対応する。   FIGS. 4A and 4B are views showing the reference body K acquired in this way and the vehicle 30 acquired in step SA2. In addition, the dotted line (judgment line) L in the figure is a line that passes through the end point K2 of the reference body K and goes straight to the reference body K. Further, the x mark indicates the position of the in-vehicle device 20 in the vehicle 30. FIG. 4A is a roadside photographed image while the vehicle 30 passes the judgment line L at time t, and FIG. 4B shows the judgment line L at time t + δ (δ> 0). It is the roadside picked-up image after passing through. Thus, when the vehicle 30 passes the determination line L, it is determined that the vehicle 30 is approaching. Setting the determination line L corresponds to specifying the end point K2_4 from among the end points K2_4 to K2_7 that are approaching in FIG.

ステップSA5:車両30が接近していると判断されると、車両検出部12は、世界系車両検出部22に車両接近情報を送信する。   Step SA5: When it is determined that the vehicle 30 is approaching, the vehicle detection unit 12 transmits vehicle approach information to the world-based vehicle detection unit 22.

なお、送信は無線LAN等を用いることができるが、送信に要する時間が短いことを条件に、他の送信手段が利用できる。ここで、送信に要する時間が短いとは、要求精度の観点から情報伝達の遅延時間が問題にならない時間を言う。   Note that a wireless LAN or the like can be used for transmission, but other transmission means can be used on condition that the time required for transmission is short. Here, the short time required for transmission means a time when the delay time of information transmission does not become a problem from the viewpoint of required accuracy.

送信がパケット方式により行う場合には、世界系車両検出部22において車両接近情報のパケットであることが認識できるように加工する。例えば、パケットデータ内の特定の1bitをフラグとして、このフラグを車両接近情報のパケットであることを示す「1」にして送信する。無論、本実施形態は、かかる方法に限定するものではない。   When the transmission is performed by a packet method, processing is performed so that the global system vehicle detection unit 22 can recognize that the packet is vehicle approach information. For example, a specific 1 bit in the packet data is used as a flag, and this flag is transmitted as “1” indicating that it is a packet of vehicle approach information. Of course, this embodiment is not limited to this method.

ステップSA6:一方、ステップSA3において車両30が計測エリア内に位置しないと判断した場合には、画像系車両検出部13は、路側撮影画像の中から光源部23が点滅した瞬間における路側撮影画像を選択する。そして、画像系車両検出部13は、選択された路側撮影画像から車両位置(画像系車両位置)を取得すると共に、撮影時刻を画像系位置取得時刻として取得する。このように、画像系車両検出部13は、画像座標系位置と画像系位置取得時刻とを取得して、これらを画像系情報として座標変換テーブル作成部14に出力する。画像系位置情報の取得は、光源部23の点滅回数だけ繰り返される。   Step SA6: On the other hand, if it is determined in step SA3 that the vehicle 30 is not located within the measurement area, the image-based vehicle detection unit 13 selects a roadside captured image at the moment when the light source unit 23 blinks from the roadside captured image. select. Then, the image system vehicle detection unit 13 acquires the vehicle position (image system vehicle position) from the selected roadside captured image, and acquires the imaging time as the image system position acquisition time. Thus, the image system vehicle detection unit 13 acquires the image coordinate system position and the image system position acquisition time, and outputs them to the coordinate conversion table creation unit 14 as image system information. The acquisition of the image system position information is repeated as many times as the number of blinks of the light source unit 23.

光源部23が点滅した瞬間の路側撮影画像であるか否かは、例えば路側撮影画像のなかで光源部23を含む領域の輝度から判断できる。即ち、路側撮影画像に対して輪郭抽出処理を行うことで車両30の輪郭を求める。光源部23の位置は車両30の輪郭に対して既知であるので、車両30の輪郭を求めることで、光源部23の領域を特定することができる。そこで、この特定した領域の輝度が設定値以上のとき、画像系車両検出部13は、光源部23が点灯したときの路側撮影画像であると判断する。   Whether or not it is a roadside photographed image at the moment when the light source unit 23 blinks can be determined from the luminance of a region including the light source unit 23 in the roadside photographed image, for example. That is, the contour of the vehicle 30 is obtained by performing contour extraction processing on the roadside photographed image. Since the position of the light source unit 23 is known with respect to the contour of the vehicle 30, the region of the light source unit 23 can be specified by obtaining the contour of the vehicle 30. Therefore, when the luminance of the specified area is equal to or higher than the set value, the image-based vehicle detection unit 13 determines that the road-side photographed image is obtained when the light source unit 23 is turned on.

この設定値は、環境に応じて適宜設定される。即ち、座標変換テーブル作成システム2が設置されている環境がトンネル内のような場合には、車両30はヘッドライトやテールライトを点灯している。従って、光源部23の輝度が同じでも、これらのライトによる誤認識を防止するために、設定値は高めに設定する。このようにして、光源部23が点滅した瞬間の路側撮影画像であるか否かを判断する。   This set value is appropriately set according to the environment. That is, when the environment where the coordinate conversion table creation system 2 is installed is in a tunnel, the vehicle 30 lights up the headlight and taillight. Therefore, even if the luminance of the light source unit 23 is the same, the set value is set high in order to prevent erroneous recognition by these lights. In this way, it is determined whether or not the road side photographed image at the moment when the light source unit 23 blinks.

無論、本実施形態は、このような方法に限定するものではない。例えば、路側撮影画像内で予め設定された値以上の輝度を持つ領域が取得されたとき、この領域は光源部23の点灯によるものと判断することも可能である。この場合は、車両30の輪郭を求める処理が不要になるため処理が早くなる。   Of course, the present embodiment is not limited to such a method. For example, when a region having a brightness equal to or higher than a preset value is acquired in the roadside photographed image, it is possible to determine that this region is due to the lighting of the light source unit 23. In this case, since the process for obtaining the contour of the vehicle 30 is not required, the process is accelerated.

ステップSA7:座標変換テーブル作成部14は、画像系車両検出部13からの画像系位置情報と、世界系車両検出部22からの世界系情報との受信を待っている。   Step SA7: The coordinate conversion table creation unit 14 waits for reception of image system position information from the image system vehicle detection unit 13 and world system information from the world system vehicle detection unit 22.

ステップSA8:座標変換テーブル作成部14は、画像系車両位置と世界系車両位置との対応付けを行う。先に説明したように、画像系車両位置及び世界系車両位置は、光源部23が点灯した瞬間の画像座標系での車両位置である。即ち、「光源部23が点灯した瞬間」という条件下で画像系車両位置と世界系車両位置とが同時刻での車両位置となる。よって、画像座標系と世界座標系との座標変換テーブルを作成することができる。なお、座標変換テーブルは、関数近似してもよい。   Step SA8: The coordinate conversion table creation unit 14 associates the image system vehicle position with the world system vehicle position. As described above, the image system vehicle position and the world system vehicle position are vehicle positions in the image coordinate system at the moment when the light source unit 23 is turned on. In other words, the image system vehicle position and the world system vehicle position become the vehicle position at the same time under the condition of “the moment when the light source unit 23 is turned on”. Therefore, a coordinate conversion table between the image coordinate system and the world coordinate system can be created. Note that the coordinate conversion table may be approximated by a function.

ところで、画像系車両検出部13は、画像系車両位置と画像系位置取得時刻とを画像系情報として座標変換テーブル作成部14に出力し、世界系車両検出部22は、世界系車両位置と世界系位置取得時刻とを世界系情報として座標変換テーブル作成部14に出力する。   By the way, the image system vehicle detection unit 13 outputs the image system vehicle position and the image system position acquisition time as image system information to the coordinate conversion table creation unit 14, and the world system vehicle detection unit 22 outputs the world system vehicle position and the world. The system position acquisition time is output to the coordinate conversion table creation unit 14 as world system information.

しかし、上述した座標変換テーブルの作成に際しては、画像系位置取得時刻や世界系位置取得時刻は用いられなかった。これは、画像系車両検出部13において、光源部23が点灯したときの路側撮影画像から取得した画像系車両位置を抽出して、画像系車両位置とすることで、画像系車両位置と世界系車両位置とが位置同期されているためである。   However, the image system position acquisition time and the world system position acquisition time are not used in creating the coordinate conversion table described above. This is because the image-based vehicle detection unit 13 extracts the image-based vehicle position acquired from the road-side captured image when the light source unit 23 is turned on and sets it as the image-based vehicle position. This is because the position of the vehicle is synchronized.

このような方法に対し、座標変換テーブル作成部14において、画像系位置取得時刻と世界系位置取得時刻とが、同時刻の画像系車両位置と世界系車両位置とを用いて座標変換テーブルすることが可能である。即ち、この場合は、画像系車両位置と世界系車両位置とは時間同期される。   For such a method, in the coordinate conversion table creation unit 14, the image system position acquisition time and the world system position acquisition time are converted into a coordinate conversion table using the image system vehicle position and the world system vehicle position at the same time. Is possible. That is, in this case, the image system vehicle position and the world system vehicle position are time-synchronized.

位置同期を採用するか時間同期を採用するかは、処理速度や精度等を勘案して選択設定される。また、これらを両方用いても良い。位置同期は、光源部23が点灯した瞬間を検出することが最良であるが、撮影条件精度(例えば、撮影フレーム数)により、光源部23が点灯した瞬間と完全に一致しない時の画像系車両位置が選択される。そこで、光源部23が点灯したと判断された際の画像系車両位置の前後の画像系車両位置も候補として、座標変換テーブル作成部14に出力する。座標変換テーブル作成部14は、世界系位置取得時刻に一致する画像系位置取得時刻を演算する。そして、候補として受信した複数の画像系車両位置に対して直線補完等の補完処理を行い、演算された時刻での画像系車両位置を算出する。これにより、高精度に座標変換テーブルを作成することが可能になる。   Whether to employ position synchronization or time synchronization is selected and set in consideration of processing speed, accuracy, and the like. Moreover, you may use both of these. The position synchronization is best detected at the moment when the light source unit 23 is turned on, but the image-based vehicle when the light source unit 23 is not completely coincident with the moment when the light source unit 23 is turned on due to shooting condition accuracy (for example, the number of shooting frames). A position is selected. Therefore, the image system vehicle positions before and after the image system vehicle position when it is determined that the light source unit 23 is turned on are also output as candidates to the coordinate conversion table creation unit 14. The coordinate conversion table creation unit 14 calculates an image system position acquisition time that matches the world system position acquisition time. Then, interpolation processing such as straight line interpolation is performed on a plurality of image system vehicle positions received as candidates, and the image system vehicle position at the calculated time is calculated. This makes it possible to create a coordinate conversion table with high accuracy.

次に、車載装置20における処理を説明する。車載装置20では、上述した世界系位置情報が取得されて座標変換テーブル作成部14に送信される。   Next, processing in the in-vehicle device 20 will be described. In the in-vehicle device 20, the above-described world system position information is acquired and transmitted to the coordinate conversion table creating unit 14.

ステップSB1:まず、車載カメラ21が基準体Kを撮影する。   Step SB1: First, the vehicle-mounted camera 21 images the reference body K.

ステップSB2:世界系車両検出部22は、車載カメラ21からの車載撮影画像に対して所定の画像処理を行うことにより、基準体Kの端点K2を検出する。これにより、基準体Kに対する自機(車両30)の位置が取得できる。取得された自機の位置は道路に形成された基準体Kに対する位置であるので、世界座標系での位置である。   Step SB2: The world-based vehicle detection unit 22 detects the end point K2 of the reference body K by performing predetermined image processing on the in-vehicle captured image from the in-vehicle camera 21. Thereby, the position of the own machine (vehicle 30) with respect to the reference body K can be acquired. Since the acquired position of the own aircraft is a position relative to the reference body K formed on the road, it is a position in the world coordinate system.

所定の画像処理としては、エッジ抽出方法や高輝度領域抽出方法等の公知の方法が適用可能である。例えば、エッジ抽出方法を用いる場合には、車載カメラ21で撮影された車載撮影画像が複数の画素から形成されているとする。このとき、隣接する画素間の輝度の差分(微分)を取る。これにより、エッジ等の輝度が大きく変化する領域では、微分値が大きな値となるので、当該領域を抽出することができる。無論、これらは例示であって、他の方法も適用可能である。   As the predetermined image processing, a known method such as an edge extraction method or a high luminance region extraction method can be applied. For example, when the edge extraction method is used, it is assumed that a vehicle-mounted captured image captured by the vehicle-mounted camera 21 is formed from a plurality of pixels. At this time, a luminance difference (differentiation) between adjacent pixels is taken. Thereby, in the area where the luminance changes greatly, such as an edge, the differential value becomes a large value, so that the area can be extracted. Of course, these are examples, and other methods are also applicable.

ステップSB3:次に、世界系車両検出部22において車両検出部12から受信したエリア判断情報より、自機(車両30)が計測エリア内に位置しているか否かを判断する。そして、計測エリア外であればステップSB10に進み、計測エリア内であればステップSB4に進む。   Step SB3: Next, based on the area determination information received from the vehicle detection unit 12 in the global vehicle detection unit 22, it is determined whether or not the own device (vehicle 30) is located in the measurement area. If it is outside the measurement area, the process proceeds to step SB10, and if it is within the measurement area, the process proceeds to step SB4.

ステップSB4:世界系車両検出部22は、車両検出部12からの車両接近情報の受信待ちとなっている。   Step SB4: World-based vehicle detection unit 22 is waiting to receive vehicle approach information from vehicle detection unit 12.

ステップSB5:そして、世界系車両検出部22は、車両接近情報を受信すると、基準体Kの検出を停止し、基準体検出パラメータを検出精度が高くなるように変更する。   Step SB5: Upon receiving the vehicle approach information, world-based vehicle detection unit 22 stops the detection of reference body K and changes the reference body detection parameter so that the detection accuracy is increased.

例えば、通常精度のときは1秒間に10フレームを画像処理に使用していた場合に、世界系車両検出部22は車両接近情報を受信すると、1秒間に15フレームを使用して基準体Kの端点K2を行うように基準体検出パラメータ(この例では、1秒間のフレーム数)を変更する。これにより前後するフレームの間に、車両30が基準体Kの端点K2を通過してしまう不都合が抑制できる。即ち、高精度に端点K2を検出することができる。   For example, in the case of normal accuracy, when 10 frames are used for image processing per second, when the global vehicle detection unit 22 receives the vehicle approach information, 15 frames per second is used for the reference body K. The reference body detection parameter (in this example, the number of frames per second) is changed so as to perform the end point K2. Thereby, the inconvenience that the vehicle 30 passes through the end point K2 of the reference body K can be suppressed between the front and rear frames. That is, the end point K2 can be detected with high accuracy.

ステップSB6:世界系車両検出部22は、新たに設定された基準体検出パラメータを用いて基準体Kの検出を再開する。   Step SB6: The world vehicle detection unit 22 restarts the detection of the reference body K using the newly set reference body detection parameter.

ステップSB7:そして、世界系車両検出部22は、基準体Kの端点K2を検出した否かを判断する。端点K2が検出された場合はステップSB8に進み、検出されない場合はステップSB6に戻る。   Step SB7: The world vehicle detection unit 22 determines whether or not the end point K2 of the reference body K has been detected. If the end point K2 is detected, the process proceeds to step SB8, and if not detected, the process returns to step SB6.

ステップSB8:基準体Kの端点K2が検出された場合、世界系車両検出部22は、トリガー信号を光源部23に出力する。これにより、光源部23は、LED等の光源を1回点滅させる。   Step SB8: When the end point K2 of the reference body K is detected, the global vehicle detection unit 22 outputs a trigger signal to the light source unit 23. Thereby, the light source part 23 blinks light sources, such as LED, once.

ステップSB9:世界系車両検出部22は、トリガー信号を出力した時刻を世界系位置取得時刻とし、その時の車両の位置を世界系車両位置として取得する。そして、ステップSB2に戻る。   Step SB9: The world system vehicle detection unit 22 acquires the time when the trigger signal is output as the world system position acquisition time, and acquires the position of the vehicle at that time as the world system vehicle position. Then, the process returns to step SB2.

なお、世界系車両位置は、以下のようにして取得する。高速道路等においては、基準体Kの長さは8m、間隔は12mのように規定されているので、端点K2の位置を世界座標系で演算できる。また、世界系車両検出部22は、例えばTsaiカメラモデル(R. Y. Tsai: ”A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses”, IEEE journal of Robotics and Automation, Vol. RA−3, No.4, pp. 323.344, 1999.)等を用いて、端点K2に対する自機(車両30)の位置を算出する。これにより、世界系座標における車両位置が取得できる。   The world vehicle position is acquired as follows. On a highway or the like, since the length of the reference body K is defined as 8 m and the interval is 12 m, the position of the end point K2 can be calculated in the world coordinate system. Further, the world-based vehicle detection unit 22 is, for example, a Tsai camera model (R.Y. Robotics and Automation, Vol. RA-3, No. 4, pp. 323.344, 1999.) and the like are used to calculate the position of the vehicle (vehicle 30) with respect to the end point K2. Thereby, the vehicle position in world system coordinates can be acquired.

ステップSB10:ステップSB3において、車両30が計測エリア外に位置していると判断された場合(車両が遠くに移動した場合)には、世界系車両検出部22は記憶している世界系情報を座標変換テーブル作成部14に送信する。   Step SB10: When it is determined in step SB3 that the vehicle 30 is located outside the measurement area (when the vehicle has moved far), the world-based vehicle detection unit 22 stores the stored world-based information. It is transmitted to the coordinate conversion table creation unit 14.

座標変換テーブル作成部14は、先に説明した手順に従い、画像系車両位置と世界系車両位置とを対応付けから座標変換テーブルを作成する。   The coordinate conversion table creation unit 14 creates a coordinate conversion table from the association between the image system vehicle position and the world system vehicle position in accordance with the procedure described above.

以上説明したように、路側撮影画像から取得した画像系での車両位置と、車載撮影画像から取得した世界系での車両位置の対応関係を示す座標変換テーブルが、GPSが利用できないトンネル内等の環境下であっても高精度に作成することができる。   As described above, the coordinate conversion table indicating the correspondence between the vehicle position in the image system acquired from the roadside photographed image and the vehicle position in the world system acquired from the in-vehicle photographed image is in a tunnel where GPS cannot be used. It can be created with high accuracy even in an environment.

この出願は、2011年12月13日に出願された日本出願特願2011−272449を基礎とする優先権を主張し、その開示の全てをここに取り込む。   This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2011-272449 for which it applied on December 13, 2011, and takes in those the indications of all here.

2 座標変換テーブル作成システム
3 画像系情報取得ユニット
4 座標変換情報作成ユニット
5 世界系情報取得ユニット
10 路側撮影装置
11 路側カメラ
12 車両検出部
13 画像系車両検出部
14 座標変換テーブル作成部
20 車載装置
21 車載カメラ
22 世界系車両検出部
23 光源部
30 車両
2 Coordinate conversion table creation system 3 Image system information acquisition unit 4 Coordinate conversion information creation unit 5 World system information acquisition unit 10 Roadside imaging device 11 Roadside camera 12 Vehicle detection unit 13 Image system vehicle detection unit 14 Coordinate conversion table creation unit 20 In-vehicle device 21 In-vehicle camera 22 World vehicle detection unit 23 Light source unit 30 Vehicle

Claims (10)

撮影画像に設定された画像系座標と不動の物体に設定された世界座標系との間での座標変換テーブルを作成する座標変換テーブル作成システムであって、
走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、
世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、
前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットと、を備えることを特徴とする座標変換テーブル作成システム。
A coordinate conversion table creation system for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for a stationary object,
An image system information acquisition unit that captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information;
A world system information acquisition unit that acquires the world system vehicle position of the vehicle relative to world system coordinates and outputs it as world system information;
A coordinate conversion table creation system comprising: a coordinate conversion information creation unit that creates a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.
請求項1に記載の座標変換テーブル作成システムであって、
前記世界系情報取得ユニットは、
前記走行車両に搭載されて、予め設定された基準体を含む画像を車載撮影画像として撮影する車載カメラと、
トリガー信号が入力されると光源を点滅する光源部と、
前記車載撮影画像から前記基準体に対する前記走行車両の位置を算出し、当該算出結果を用いて世界座標系車両位置を取得すると共に、前記トリガー信号を出力する世界系車両検出部と、を備えることを特徴とする座標変換テーブル作成システム。
The coordinate conversion table creation system according to claim 1,
The world information acquisition unit
A vehicle-mounted camera that is mounted on the traveling vehicle and captures an image including a preset reference body as a vehicle-mounted captured image;
A light source unit that blinks the light source when a trigger signal is input;
A global vehicle detection unit that calculates a position of the traveling vehicle with respect to the reference body from the in-vehicle photographed image, acquires a world coordinate system vehicle position using the calculation result, and outputs the trigger signal. A coordinate conversion table creation system characterized by
請求項1又は2に記載の座標変換テーブル作成システムであって、
前記画像系情報取得ユニットは、路側に設置されて、走行車両を含む画像を路側撮影画像として撮影する路側カメラと、
前記画像系情報取得ユニットは、前記路側撮影画像から前記車両が予め設定された計測エリア内に位置するか否かを判断してエリア判断情報として前記世界系車両検出部に出力すると共に、当該車両が前記基準体に接近しているか否かを判断して車両接近情報として前記世界系車両検出部に出力する画像系車両検出部と、を備えることを特徴とする座標変換テーブル作成システム。
The coordinate conversion table creation system according to claim 1 or 2,
The image system information acquisition unit is installed on the roadside and shoots an image including a traveling vehicle as a roadside captured image; and
The image system information acquisition unit determines whether or not the vehicle is located in a preset measurement area from the roadside photographed image and outputs it to the world vehicle detection unit as area determination information. A coordinate conversion table creation system comprising: an image system vehicle detection unit that determines whether or not the vehicle is approaching the reference body and outputs the vehicle approach information to the world system vehicle detection unit.
請求項1乃至3のいずれか1項に記載の座標変換テーブル作成システムであって、
前記画像系情報取得ユニットは、複数の前記路側撮影画像から前記光源部が点灯した前記路側撮影画像を抽出し、抽出された前記路側撮影画像から前記画像系車両位置を取得することを特徴とする座標変換テーブル作成システム。
A coordinate conversion table creation system according to any one of claims 1 to 3,
The image system information acquisition unit is configured to extract the roadside captured image in which the light source unit is lit from a plurality of the roadside captured images, and acquire the image system vehicle position from the extracted roadside captured images. Coordinate conversion table creation system.
請求項1乃至3のいずれか1項に記載の座標変換テーブル作成システムであって、
前記画像系情報取得ユニットは、前記画像系車両位置を取得した際に、その取得時刻を画像系位置取得時刻として取得して、前記画像系車両位置と前記画像系位置取得時刻とを画像系情報として前記座標変換情報作成ユニットに出力し、
前記世界系情報取得ユニットは、前記世界系車両位置を取得した際に、その取得時刻を世界系位置取得時刻として取得して、前記世界系車両位置と前記世界系位置取得時刻とを世界系情報として前記座標変換情報作成ユニットに出力して、
前記座標変換情報作成ユニットは、前記画像系位置取得時刻と前記世界系位置取得時刻とが同じ時刻の前記画像系車両位置と前記世界系車両位置とに基づき前記座標変換テーブルを作成することを特徴とする座標変換テーブル作成システム。
A coordinate conversion table creation system according to any one of claims 1 to 3,
When the image system information acquisition unit acquires the image system vehicle position, the image system information acquisition unit acquires the acquisition time as an image system position acquisition time, and determines the image system vehicle position and the image system position acquisition time as image system information. Output to the coordinate conversion information creation unit as
When the world system information acquisition unit acquires the world system vehicle position, the world system information acquisition unit acquires the acquisition time as a world system position acquisition time, and sets the world system position and the world system position acquisition time as world system information. Output to the coordinate conversion information creation unit as
The coordinate conversion information creation unit creates the coordinate conversion table based on the image system vehicle position and the world system vehicle position at the same time as the image system position acquisition time and the world system position acquisition time. A coordinate conversion table creation system.
撮影画像に設定された画像系座標と不動の物体に設定された世界座標系との間での座標変換テーブルを作成する座標変換テーブル作成方法であって、
走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得する手順と、
世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得する手順と、
前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成する手順と、を含むことを特徴とする座標変換テーブル作成方法。
A coordinate conversion table creation method for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for an immovable object,
Taking a traveling vehicle, obtaining the image system vehicle position at the image system coordinates set in the captured image, and obtaining image system information to be output as image system information; and
A procedure for acquiring world system information for acquiring the world system vehicle position of the vehicle relative to world system coordinates and outputting it as world system information;
A coordinate conversion table creating method comprising: creating coordinate conversion information that creates a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.
請求項6に記載の座標変換テーブル作成方法であって、
前記世界系情報取得する手順は、
前記走行車両に搭載されて、予め設定された基準体を含む画像を車載撮影画像として撮影する車載撮影する手順と、
トリガー信号が入力されると光源を点滅する発光する手順と、
前記車載撮影画像から前記基準体に対する前記走行車両の位置を算出し、当該算出結果を用いて世界座標系車両位置を取得すると共に、前記トリガー信号を出力する世界系車両検出する手順と、を含むことを特徴とする座標変換テーブル作成方法。
The coordinate conversion table creation method according to claim 6,
The procedure for obtaining the world system information is as follows:
Mounted in the traveling vehicle, and a procedure for in-vehicle shooting for capturing an image including a preset reference body as an in-vehicle captured image;
When the trigger signal is input, the light emission procedure flashes the light source,
Calculating the position of the traveling vehicle with respect to the reference body from the in-vehicle captured image, obtaining a world coordinate system vehicle position using the calculation result, and detecting a world system vehicle that outputs the trigger signal. A coordinate conversion table creation method characterized by the above.
請求項6又は7に記載の座標変換テーブル作成方法であって、
前記画像系情報取得する手順は、路側に設置されて、走行車両を含む画像を路側撮影画像として撮影する路側撮影する手順と、
前記画像系情報取得する手順は、前記路側撮影画像から前記車両が予め設定された計測エリア内に位置するか否かを判断してエリア判断情報として前記世界系車両検出する手順に出力すると共に、当該車両が前記基準体に接近しているか否かを判断して車両接近情報として前記世界系車両検出する手順に出力する画像系車両検出する手順と、を含むことを特徴とする座標変換テーブル作成方法。
A coordinate conversion table creation method according to claim 6 or 7,
The procedure for acquiring the image system information is a procedure for shooting on the roadside, which is installed on the roadside and shoots an image including a traveling vehicle as a roadside shooting image,
The procedure for acquiring the image system information is to determine whether or not the vehicle is located within a preset measurement area from the roadside photographed image and output to the procedure for detecting the world vehicle as area determination information, And a procedure for detecting an image-based vehicle that outputs whether or not the vehicle is approaching the reference body and outputs the vehicle approach information to the procedure for detecting the world-based vehicle. Method.
請求項6乃至8のいずれか1項に記載の座標変換テーブル作成方法であって、
前記画像系情報取得する手順は、複数の前記路側撮影画像から前記発光する手順が点灯した前記路側撮影画像を抽出し、抽出された前記路側撮影画像から前記画像系車両位置を取得することを特徴とする座標変換テーブル作成方法。
A coordinate conversion table creation method according to any one of claims 6 to 8,
The procedure for acquiring the image system information includes extracting the roadside captured image in which the light emitting procedure is turned on from a plurality of the roadside captured images, and acquiring the image system vehicle position from the extracted roadside captured images. Coordinate conversion table creation method.
請求項6乃至8のいずれか1項に記載の座標変換テーブル作成方法であって、
前記画像系情報取得する手順は、前記画像系車両位置を取得した際に、その取得時刻を画像系位置取得時刻として取得して、前記画像系車両位置と前記画像系位置取得時刻とを画像系情報として前記座標変換情報作成する手順に出力し、
前記世界系情報取得する手順は、前記世界系車両位置を取得した際に、その取得時刻を世界系位置取得時刻として取得して、前記世界系車両位置と前記世界系位置取得時刻とを世界系情報として前記座標変換情報作成する手順に出力して、
前記座標変換情報作成する手順は、前記画像系位置取得時刻と前記世界系位置取得時刻とが同じ時刻の前記画像系車両位置と前記世界系車両位置とに基づき前記座標変換テーブルを作成することを特徴とする座標変換テーブル作成方法。
A coordinate conversion table creation method according to any one of claims 6 to 8,
The procedure for acquiring the image system information includes acquiring the image system vehicle position and the image system position acquisition time by acquiring the acquisition time as an image system position acquisition time when the image system vehicle position is acquired. Output to the procedure to create the coordinate conversion information as information,
When acquiring the world system information, when acquiring the world system vehicle position, the acquisition time is acquired as a world system position acquisition time, and the world system vehicle position and the world system position acquisition time are Output to the procedure to create the coordinate conversion information as information,
The procedure for creating the coordinate conversion information includes creating the coordinate conversion table based on the image system vehicle position and the world system vehicle position at the same time as the image system position acquisition time and the world system position acquisition time. A characteristic coordinate conversion table creation method.
JP2013549075A 2011-12-13 2012-10-23 Coordinate conversion table creation system and coordinate conversion table creation method Active JP6083385B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011272449 2011-12-13
JP2011272449 2011-12-13
PCT/JP2012/006774 WO2013088626A1 (en) 2011-12-13 2012-10-23 Coordinate conversion table creation system and coordinate conversion table creation method

Publications (2)

Publication Number Publication Date
JPWO2013088626A1 true JPWO2013088626A1 (en) 2015-04-27
JP6083385B2 JP6083385B2 (en) 2017-02-22

Family

ID=48612109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549075A Active JP6083385B2 (en) 2011-12-13 2012-10-23 Coordinate conversion table creation system and coordinate conversion table creation method

Country Status (4)

Country Link
JP (1) JP6083385B2 (en)
CN (1) CN103975221B (en)
HK (1) HK1197294A1 (en)
WO (1) WO2013088626A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125956A (en) * 2015-01-07 2016-07-11 ソニー株式会社 Information processor, information processing method and information processing system
CN106571046B (en) * 2016-11-11 2021-07-16 上海市政工程设计研究总院(集团)有限公司 Vehicle-road cooperative driving assisting method based on road surface grid system
CN110969055B (en) 2018-09-29 2023-12-19 阿波罗智能技术(北京)有限公司 Method, apparatus, device and computer readable storage medium for vehicle positioning
CN110164135B (en) * 2019-01-14 2022-08-02 腾讯科技(深圳)有限公司 Positioning method, positioning device and positioning system
CN113129382B (en) * 2019-12-31 2024-06-14 华为云计算技术有限公司 Method and device for determining coordinate conversion parameters
CN111640301B (en) * 2020-05-25 2021-10-08 北京百度网讯科技有限公司 Fault vehicle detection method and fault vehicle detection system comprising road side unit

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332334A (en) * 1997-06-04 1998-12-18 Hitachi Ltd Position measuring method by image processing and its device
JP2002372417A (en) * 2001-06-15 2002-12-26 Mitsubishi Electric Corp Object position and velocity measuring and processing equipment
JP2003042760A (en) * 2001-07-27 2003-02-13 Sumitomo Electric Ind Ltd Instrument, method, and system for measurement
JP2006017676A (en) * 2004-07-05 2006-01-19 Sumitomo Electric Ind Ltd Measuring system and method
JP2009145118A (en) * 2007-12-12 2009-07-02 Toyota Motor Corp Vehicle location detector
JP2010020729A (en) * 2008-07-14 2010-01-28 I Transport Lab Co Ltd Vehicle traveling locus observation system, vehicle traveling locus observation method and program
JP2010236891A (en) * 2009-03-30 2010-10-21 Nec Corp Position coordinate conversion method between camera coordinate system and world coordinate system, vehicle-mounted apparatus, road side photographing apparatus, and position coordinate conversion system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
CN101016052A (en) * 2007-01-25 2007-08-15 吉林大学 Warning method and system for preventing deviation for vehicle on high standard highway
CN101750049B (en) * 2008-12-05 2011-12-21 南京理工大学 Monocular vision vehicle distance measuring method based on road and vehicle information
CN101604448B (en) * 2009-03-16 2015-01-21 北京中星微电子有限公司 Method and system for measuring speed of moving targets
CN102013099B (en) * 2010-11-26 2012-07-04 中国人民解放军国防科学技术大学 Interactive calibration method for external parameters of vehicle video camera
CN102254318B (en) * 2011-04-08 2013-01-09 上海交通大学 Method for measuring speed through vehicle road traffic videos based on image perspective projection transformation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332334A (en) * 1997-06-04 1998-12-18 Hitachi Ltd Position measuring method by image processing and its device
JP2002372417A (en) * 2001-06-15 2002-12-26 Mitsubishi Electric Corp Object position and velocity measuring and processing equipment
JP2003042760A (en) * 2001-07-27 2003-02-13 Sumitomo Electric Ind Ltd Instrument, method, and system for measurement
JP2006017676A (en) * 2004-07-05 2006-01-19 Sumitomo Electric Ind Ltd Measuring system and method
JP2009145118A (en) * 2007-12-12 2009-07-02 Toyota Motor Corp Vehicle location detector
JP2010020729A (en) * 2008-07-14 2010-01-28 I Transport Lab Co Ltd Vehicle traveling locus observation system, vehicle traveling locus observation method and program
JP2010236891A (en) * 2009-03-30 2010-10-21 Nec Corp Position coordinate conversion method between camera coordinate system and world coordinate system, vehicle-mounted apparatus, road side photographing apparatus, and position coordinate conversion system

Also Published As

Publication number Publication date
HK1197294A1 (en) 2015-01-09
WO2013088626A1 (en) 2013-06-20
CN103975221A (en) 2014-08-06
CN103975221B (en) 2016-08-17
JP6083385B2 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6083385B2 (en) Coordinate conversion table creation system and coordinate conversion table creation method
JP2024073621A (en) Estimating Object Attributes Using Visual Image Data
US9922259B2 (en) Traffic light detection device and traffic light detection method
JP6325000B2 (en) In-vehicle image recognition device
JP5065172B2 (en) Vehicle lighting determination device and program
EP3118831B1 (en) Traffic light detection device and traffic light detection method
KR101972690B1 (en) Signal device detection device and signal device detection method
US20120300074A1 (en) Detection apparatus and detection method
US20150138324A1 (en) Apparatus for detecting vehicle light and method thereof
US11335036B2 (en) Image synthesizing system and image synthesizing method
JP5365792B2 (en) Vehicle position measuring device
KR20170068937A (en) Autonomous driving vehicle navigation system using the tunnel lighting
JP2017010078A (en) Road surface sign detection apparatus and road surface sign detection method
JP2015125708A (en) Traffic light recognition device
JP2008309637A (en) Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system
JP2014106739A (en) In-vehicle image processing device
JP4686235B2 (en) Inter-vehicle communication system
KR101511586B1 (en) Apparatus and method for controlling vehicle by detection of tunnel
JP2006285695A (en) Inter-vehicle communication system
JP7115869B2 (en) Map generation system
JP4585356B2 (en) Inter-vehicle communication system
KR102385907B1 (en) Method And Apparatus for Autonomous Vehicle Navigation System
US20220398923A1 (en) Traffic Signal Recognition Method and Traffic Signal Recognition Device
JP5310162B2 (en) Vehicle lighting judgment device
JP2019061314A (en) Object distance detection apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170109

R150 Certificate of patent or registration of utility model

Ref document number: 6083385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150