JPWO2013088626A1 - Coordinate conversion table creation system and coordinate conversion table creation method - Google Patents
Coordinate conversion table creation system and coordinate conversion table creation method Download PDFInfo
- Publication number
- JPWO2013088626A1 JPWO2013088626A1 JP2013549075A JP2013549075A JPWO2013088626A1 JP WO2013088626 A1 JPWO2013088626 A1 JP WO2013088626A1 JP 2013549075 A JP2013549075 A JP 2013549075A JP 2013549075 A JP2013549075 A JP 2013549075A JP WO2013088626 A1 JPWO2013088626 A1 JP WO2013088626A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- world
- coordinate conversion
- conversion table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims description 54
- 238000001514 detection method Methods 0.000 claims description 71
- 238000005259 measurement Methods 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
撮影画像に設定された画像系座標と不動の物体に設定された世界座標系との間での座標変換テーブルを作成する座標変換テーブル作成システムであって、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットと、を備える。 A coordinate conversion table creation system for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for an immovable object. An image system information acquisition unit that acquires the image system vehicle position at the set image system coordinates and outputs the image system information, and acquires the world system vehicle position of the vehicle with respect to the world system coordinates, as world system information A world system information acquisition unit for outputting, and a coordinate conversion information creation unit for creating a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.
Description
本発明は、座標変換テーブル作成システム及び、座標変換テーブル作成方法に関する。 The present invention relates to a coordinate conversion table creation system and a coordinate conversion table creation method.
近年、交通流量の計測、見通しの悪いカーブや交差点における衝突事故防止等のために、道路の路側に設置されている撮影装置を用いて車両を撮影し、その撮影画像から車両の位置や速度を検出する安全運転支援システムが提案されている。 In recent years, in order to measure traffic flow, to prevent collision accidents at curves and intersections with poor visibility, etc., the vehicle is photographed using a photographing device installed on the roadside, and the position and speed of the vehicle are determined from the photographed image. A safe driving support system for detection has been proposed.
このような安全運転支援システムにおいては、撮影画像により取得した車両の位置や速度に基づき、TTC(Time−To−Collision:衝突余裕時間)を推定する。そして、この推定結果により、ドライバへの注意喚起や車両のブレーキ制御を行う等が行われる。従って、車両の位置や速度は、高精度に取得される必要がある。 In such a safe driving support system, TTC (Time-To-Collision) is estimated based on the position and speed of the vehicle acquired from the captured image. Then, based on the estimation result, attention to the driver, brake control of the vehicle, and the like are performed. Therefore, the position and speed of the vehicle need to be acquired with high accuracy.
撮影画像から車両の位置や速度を高精度に取得するためには、撮影画像内に設定された座標系(以下、画像座標系という)での車両の位置を、道路等の実空間に設定された座標系(以下、世界座標系という)に変換する必要がある。即ち、画像座標系と世界座標系との座標変換が必要となる。 In order to obtain the position and speed of a vehicle from a captured image with high accuracy, the position of the vehicle in a coordinate system (hereinafter referred to as an image coordinate system) set in the captured image is set in a real space such as a road. It is necessary to convert to a coordinate system (hereinafter referred to as the world coordinate system). That is, coordinate conversion between the image coordinate system and the world coordinate system is required.
そこで、車両を監視する監視カメラ等の撮影装置を新しく設置した際に、画像座標系と世界座標系との座標変換テーブルを作成することが行われる。 Therefore, when a new photographing apparatus such as a monitoring camera for monitoring the vehicle is installed, a coordinate conversion table between the image coordinate system and the world coordinate system is created.
このような座標変換テーブルを作成する技術として、特開2010−236891号公報には、以下の方法が開示されている。即ち、路側カメラ(撮影装置)により目標物を搭載した車両を撮影し、撮影画像から画像座標系での目標物の位置を求める。一方で、GPS(Global Positioning System)を用いて目標物の世界座標系での位置を求める。そして、世界座標系と画像座標系とにおける目標物の位置を比較し、両者の関連付けを行うことで、対応テーブルを作成する。 As a technique for creating such a coordinate conversion table, Japanese Patent Application Laid-Open No. 2010-236891 discloses the following method. That is, the vehicle on which the target is mounted is photographed by a roadside camera (photographing device), and the position of the target in the image coordinate system is obtained from the photographed image. On the other hand, the position of the target in the world coordinate system is obtained by using GPS (Global Positioning System). Then, the correspondence table is created by comparing the positions of the target in the world coordinate system and the image coordinate system and associating them.
しかしながら、特開2010−236891号公報にかかる技術では、路側カメラがトンネル内等のGPSが利用できない空間に設置される場合には、座標変換テーブルを作成できない問題があった。 However, the technique according to Japanese Patent Application Laid-Open No. 2010-236891 has a problem that a coordinate conversion table cannot be created when a roadside camera is installed in a space such as a tunnel where GPS cannot be used.
そこで、本発明の主目的は、トンネル等のGPSが使用できない環境においても、画像座標系と世界座標系との座標変換テーブルを高精度に取得できる座標変換テーブル作成システム及び、座標変換テーブル作成方法を提供することである。 Accordingly, a main object of the present invention is to provide a coordinate conversion table creation system and a coordinate conversion table creation method capable of acquiring a coordinate conversion table between an image coordinate system and a world coordinate system with high accuracy even in an environment where GPS such as a tunnel cannot be used. Is to provide.
上記課題を解決するため、座標変換テーブル作成システムは、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、世界系座標に対する車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、画像系情報と世界系情報とに基づき画像系座標と世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットとを備えることを特徴とする。 In order to solve the above-described problem, the coordinate conversion table creation system captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information as image system information. An acquisition unit, a world system information acquisition unit that acquires a world system vehicle position of the vehicle with respect to the world system coordinates and outputs it as world system information, and image system coordinates and world system coordinates based on the image system information and the world system information And a coordinate conversion information generation unit for generating the coordinate conversion table.
また、座標変換テーブル作成方法は、走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得する手順と、世界系座標に対する車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得する手順と、画像系情報と世界系情報とに基づき画像系座標と世界系座標との座標変換テーブルを作成する座標変換情報作成する手順とを含むことを特徴とする。 In addition, the coordinate conversion table creation method includes a procedure for capturing image system information that captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information; Obtaining the world system vehicle position relative to the world system coordinates and obtaining the world system information to be output as the world system information, and the coordinate conversion between the image system coordinates and the world system coordinates based on the image system information and the world system information And a procedure for creating coordinate conversion information for creating a table.
本発明によれば、トンネル区間等のGPSが使用できない環境においても、画像座標系と世界座標系との座標変換テーブルを高精度に取得できるようになる。 According to the present invention, a coordinate conversion table between an image coordinate system and a world coordinate system can be acquired with high accuracy even in an environment where GPS cannot be used such as a tunnel section.
本発明の実施の形態を説明する。図1は、本発明にかかる座標変換テーブル作成システム2の模式図である。座標変換テーブル作成システム2は、路側に設置された路側撮影装置10、車両30に搭載された車載装置20を備える。図2は、路側撮影装置10及び車載装置20のブロック図である。
An embodiment of the present invention will be described. FIG. 1 is a schematic diagram of a coordinate conversion
路側撮影装置10は、路側カメラ11、車両検出部12、画像系車両検出部13、座標変換テーブル作成部14を備える。なお、路側カメラ11、車両検出部12、画像系車両検出部13は、画像系情報取得ユニット3を構成し、座標変換テーブル作成部14は座標変換情報作成ユニット4を構成している。
The
路側カメラ11は、路側に設置されている道路監視用カメラ等のカメラである。この路側カメラ11により走行中の車両30が撮影され、路側撮影画像として車両検出部12、画像系車両検出部13に出力される。なお、道路には点線状の車線境界線Kが設けられているとする(図1参照)。
The
この車線境界線Kは、路側撮影装置10と車載装置20とに対して不動の物体(以下、基準体と記載する)の例として用いる。基準体は、車線境界線に限定されるものではなく、路上に設置された反射板等であっても良い。そして、この基準体Kを用いて画像座標系と世界座標系との座標変換の基準点を求める。
This lane boundary line K is used as an example of an object that does not move with respect to the
また、路側カメラ11は、この路側カメラ11から離れて行く、車両のテール(車両後尾)を撮影する。図1及び図4における矢印Pは、車両30の進行方向を示している。
In addition, the
車両検出部12は、路側撮影画像から車両30を抽出して、抽出した車両30が予め設定された計測エリア内であるか否かを判断する。この判断は、エリア判断情報として世界系車両検出部22に電波等の無線手段により送信される。なお計測エリアとは、車両30の位置検出を行う範囲をいう。車両30が路側撮影画像に写っていても、小さい場合(遠望の場合)には、車両位置の精度は低くなる。そこで、路側カメラ11の分解能等を勘案して、計測エリアが予め設定されている。
The
また、車両検出部12は、抽出した車両30が基準体Kに接近しているか否かを判断する。そして、車両30が基準体Kに接近していると判断した場合には、車両検出部12は、そのことを示す車両接近情報を世界系車両検出部22に送信する。
Further, the
図1に示すように車両境界線(基準体)Kは、所定の長さを持つ白線K1が断続的に連なる線である。従って、車両10の接近を判断する際には、どの白線K1のどの位置を基準とするかにより、接近しているか否かの判断が異なる。そこで、白線K1の端点K2(K2_i;iは正の整数)を接近の判断基準位置とする。白線K1は、多数存在するので端点K2も多数存在し、端点K2毎に車両30の接近が判断されることになる。
As shown in FIG. 1, the vehicle boundary line (reference body) K is a line in which a white line K1 having a predetermined length is intermittently connected. Therefore, when the approach of the
画像系車両検出部13は、路側撮影画像から光源部23の位置を取得する。光源部23は、車載装置20に内設されているため、光源部23の位置は車両位置に対応している。なお、画像系車両検出部13で取得された車両位置は、路側撮影画像から求めた画像座標系での車両位置である。
The image system
画像系車両検出部13は、この車両位置を画像系車両位置とし、取得した時刻を画像系位置取得時刻として、これらを纏めて画像系情報として座標変換テーブル作成部14に出力する。画像系位置取得時刻は、路側カメラ11や画像系車両検出部13等に設けられたタイマー(図示せず)から求める。
The image system
座標変換テーブル作成部14は、画像系車両検出部13から受信した画像系情報と、後述する世界系車両検出部22から受信した世界系情報とに基づき、画像座標系と世界座標系との座標変換テーブルを作成する。
The coordinate conversion
次に、車載装置20の構成について説明する。なお、車載装置20は、世界系情報取得ユニット5を構成している。車載装置20は、車載カメラ21、世界系車両検出部22、光源部23を備えて、車両30に搭載されている。
Next, the configuration of the in-
車載カメラ21は、基準体Kを撮影するカメラである。世界系車両検出部22は、車載カメラ21で撮影した画像(車載撮影画像)と、車両検出部12から受信した車両接近情報とに基づき、基準体Kの端点K2を検出し、この端点K2に対する世界系車両位置での車両位置を取得する。また、世界系車両位置を取得した時の時刻を世界系位置取得時刻とする。世界系車両位置と世界系位置取得時刻とは、世界系情報として座標変換テーブル作成部14に送信される。世界系位置取得時刻は、車載カメラ21や世界系車両検出部22に設けられたタイマー(図示せず)から求める。
The in-
また、世界系車両検出部22は、世界系情報を取得すると、光源部23にトリガー信号を出力する。光源部23はLED等の光源を備え、世界系車両検出部22からトリガー信号を受信する度に一回点滅する。
Further, when the world system
次に、このような座標変換テーブル作成システム2を用いて座標変換テーブルを作成する手順を、図3に示すフローチャートを使用して説明する。なお、説明の都合から、路側カメラ11はトンネル内に設置されているとするが、本実施形態はかかる環境での使用に限定されるものではない。
Next, a procedure for creating a coordinate conversion table using such a coordinate conversion
ステップSA1:車両30がトンネル内の道路上を走行している。路側撮影装置10の路側カメラ11は、道路を撮影している。従って、撮影領域に進入した車両30は撮影される。
Step SA1: The
ステップSA2:車両検出部12は、路側カメラ11が撮影した路側撮影画像に対して、所定の画像処理を行うことにより車両30の検出を行い、この車両30の位置を取得する。このときの車両位置は、画像座標系での位置である。
Step SA2: The
車両30の検出方法として、以下の方法が例示できる。即ち、車両30が存在しないときの画像を背景画像として事前に取得しておき、路側カメラ11で撮影された路側撮影画像と背景画像との差分を求める。これにより、車両30が抽出できる。そして、画像座標系に対して予め設定された原点からの車両位置を演算する。この原点は、撮影領域内に設定された1点(例えば、路側撮影画像のコーナーの1点)とすることができる。このときの車両位置は、後述する車両30が計測エリア内に存在するか否かの判断及び車両30が接近しているか否かの判断に用いられる。なお、本実施形態は、かかる背景差分処理に限定するものではなく、パターンマッチング等の公知の方法が適用できる。
The following method can be illustrated as a detection method of the
ステップSA3:次に、車両検出部12は、取得した車両位置が予め設定された計測エリア内であるか否かを判断し、その判断結果をエリア判断情報として世界系車両検出部22に送信する。
Step SA3: Next, the
ステップSA4:また、車両検出部12は、車両30が計測エリア内に位置すると判断した場合には、後述する手順に従い路側撮影画像内での車両30の位置と基準体Kの端点K2の位置とを比較して、車両30が接近しているか否かを判断する。
Step SA4: If the
例えば、図1において、車両30は、端点K2_4から遠ざかる状態であるが、端点K2_5に対しては接近する状態である。路側カメラ11は、道路に対して不動位置に固定されているので、端点K2に対しても不動位置にある。そこで、計測エリア内に位置する端点K2の位置が画像系座標で予め取得されているならば、車両30が各端点K2に対して接近しているかの判断が可能になる。
For example, in FIG. 1, the
車両検出部12は、複数の端点K2の中から最も近い端点K2を判断して、この端点に対して接近していると判断する。例えば、図1において、車載装置20は、端点K2_4〜端点K2_7に接近している状態であるが、その中で最も近い端点は端点K2_4である。そこで、車両検出部12は、車両30が端点K2_4に接近していると判断する。そして、接近していると判断した場合は、ステップSA5に進み、接近していないと判断された場合にはステップSA2に戻る。なお、車両30が端点K2に接近していないと判断した場合は、車両30が計測エリアの外に移動したことを意味する。
The
車両30が接近しているか否かの判断は、以下のように行われる。即ち、基準体Kは、路側撮影画像に白線等の形態で写っている。そこで、車両検出部12は、路側撮影画像に対してエッジ抽出処理や高輝度部抽出処理等を行うことにより、基準体Kを取得する。即ち、複数の白線K1からなる基準体Kを取得する。
The determination as to whether or not the
図4(a)、(b)は、このようにして取得された基準体KとステップSA2で取得した車両30とを示した図である。なお、図中の点線(判断線)Lは、基準体Kの端点K2を通り、この基準体Kに直行する線である。また、×印は車載装置20の車両30内での位置を示している。図4(a)は、時刻tで車両30が判断線Lを通過している最中の路側撮影画像であり、図4(b)は時刻t+δ(δ>0)で車両30が判断線Lを通過した後の路側撮影画像である。このように、車両30が判断線Lを通過する場合に、当該車両30は接近していると判断される。判断線Lを設定することは、図1で接近している状態の端点K2_4〜端点K2_7の中から端点K2_4を特定することに対応する。
FIGS. 4A and 4B are views showing the reference body K acquired in this way and the
ステップSA5:車両30が接近していると判断されると、車両検出部12は、世界系車両検出部22に車両接近情報を送信する。
Step SA5: When it is determined that the
なお、送信は無線LAN等を用いることができるが、送信に要する時間が短いことを条件に、他の送信手段が利用できる。ここで、送信に要する時間が短いとは、要求精度の観点から情報伝達の遅延時間が問題にならない時間を言う。 Note that a wireless LAN or the like can be used for transmission, but other transmission means can be used on condition that the time required for transmission is short. Here, the short time required for transmission means a time when the delay time of information transmission does not become a problem from the viewpoint of required accuracy.
送信がパケット方式により行う場合には、世界系車両検出部22において車両接近情報のパケットであることが認識できるように加工する。例えば、パケットデータ内の特定の1bitをフラグとして、このフラグを車両接近情報のパケットであることを示す「1」にして送信する。無論、本実施形態は、かかる方法に限定するものではない。
When the transmission is performed by a packet method, processing is performed so that the global system
ステップSA6:一方、ステップSA3において車両30が計測エリア内に位置しないと判断した場合には、画像系車両検出部13は、路側撮影画像の中から光源部23が点滅した瞬間における路側撮影画像を選択する。そして、画像系車両検出部13は、選択された路側撮影画像から車両位置(画像系車両位置)を取得すると共に、撮影時刻を画像系位置取得時刻として取得する。このように、画像系車両検出部13は、画像座標系位置と画像系位置取得時刻とを取得して、これらを画像系情報として座標変換テーブル作成部14に出力する。画像系位置情報の取得は、光源部23の点滅回数だけ繰り返される。
Step SA6: On the other hand, if it is determined in step SA3 that the
光源部23が点滅した瞬間の路側撮影画像であるか否かは、例えば路側撮影画像のなかで光源部23を含む領域の輝度から判断できる。即ち、路側撮影画像に対して輪郭抽出処理を行うことで車両30の輪郭を求める。光源部23の位置は車両30の輪郭に対して既知であるので、車両30の輪郭を求めることで、光源部23の領域を特定することができる。そこで、この特定した領域の輝度が設定値以上のとき、画像系車両検出部13は、光源部23が点灯したときの路側撮影画像であると判断する。
Whether or not it is a roadside photographed image at the moment when the
この設定値は、環境に応じて適宜設定される。即ち、座標変換テーブル作成システム2が設置されている環境がトンネル内のような場合には、車両30はヘッドライトやテールライトを点灯している。従って、光源部23の輝度が同じでも、これらのライトによる誤認識を防止するために、設定値は高めに設定する。このようにして、光源部23が点滅した瞬間の路側撮影画像であるか否かを判断する。
This set value is appropriately set according to the environment. That is, when the environment where the coordinate conversion
無論、本実施形態は、このような方法に限定するものではない。例えば、路側撮影画像内で予め設定された値以上の輝度を持つ領域が取得されたとき、この領域は光源部23の点灯によるものと判断することも可能である。この場合は、車両30の輪郭を求める処理が不要になるため処理が早くなる。
Of course, the present embodiment is not limited to such a method. For example, when a region having a brightness equal to or higher than a preset value is acquired in the roadside photographed image, it is possible to determine that this region is due to the lighting of the
ステップSA7:座標変換テーブル作成部14は、画像系車両検出部13からの画像系位置情報と、世界系車両検出部22からの世界系情報との受信を待っている。
Step SA7: The coordinate conversion
ステップSA8:座標変換テーブル作成部14は、画像系車両位置と世界系車両位置との対応付けを行う。先に説明したように、画像系車両位置及び世界系車両位置は、光源部23が点灯した瞬間の画像座標系での車両位置である。即ち、「光源部23が点灯した瞬間」という条件下で画像系車両位置と世界系車両位置とが同時刻での車両位置となる。よって、画像座標系と世界座標系との座標変換テーブルを作成することができる。なお、座標変換テーブルは、関数近似してもよい。
Step SA8: The coordinate conversion
ところで、画像系車両検出部13は、画像系車両位置と画像系位置取得時刻とを画像系情報として座標変換テーブル作成部14に出力し、世界系車両検出部22は、世界系車両位置と世界系位置取得時刻とを世界系情報として座標変換テーブル作成部14に出力する。
By the way, the image system
しかし、上述した座標変換テーブルの作成に際しては、画像系位置取得時刻や世界系位置取得時刻は用いられなかった。これは、画像系車両検出部13において、光源部23が点灯したときの路側撮影画像から取得した画像系車両位置を抽出して、画像系車両位置とすることで、画像系車両位置と世界系車両位置とが位置同期されているためである。
However, the image system position acquisition time and the world system position acquisition time are not used in creating the coordinate conversion table described above. This is because the image-based
このような方法に対し、座標変換テーブル作成部14において、画像系位置取得時刻と世界系位置取得時刻とが、同時刻の画像系車両位置と世界系車両位置とを用いて座標変換テーブルすることが可能である。即ち、この場合は、画像系車両位置と世界系車両位置とは時間同期される。
For such a method, in the coordinate conversion
位置同期を採用するか時間同期を採用するかは、処理速度や精度等を勘案して選択設定される。また、これらを両方用いても良い。位置同期は、光源部23が点灯した瞬間を検出することが最良であるが、撮影条件精度(例えば、撮影フレーム数)により、光源部23が点灯した瞬間と完全に一致しない時の画像系車両位置が選択される。そこで、光源部23が点灯したと判断された際の画像系車両位置の前後の画像系車両位置も候補として、座標変換テーブル作成部14に出力する。座標変換テーブル作成部14は、世界系位置取得時刻に一致する画像系位置取得時刻を演算する。そして、候補として受信した複数の画像系車両位置に対して直線補完等の補完処理を行い、演算された時刻での画像系車両位置を算出する。これにより、高精度に座標変換テーブルを作成することが可能になる。
Whether to employ position synchronization or time synchronization is selected and set in consideration of processing speed, accuracy, and the like. Moreover, you may use both of these. The position synchronization is best detected at the moment when the
次に、車載装置20における処理を説明する。車載装置20では、上述した世界系位置情報が取得されて座標変換テーブル作成部14に送信される。
Next, processing in the in-
ステップSB1:まず、車載カメラ21が基準体Kを撮影する。
Step SB1: First, the vehicle-mounted
ステップSB2:世界系車両検出部22は、車載カメラ21からの車載撮影画像に対して所定の画像処理を行うことにより、基準体Kの端点K2を検出する。これにより、基準体Kに対する自機(車両30)の位置が取得できる。取得された自機の位置は道路に形成された基準体Kに対する位置であるので、世界座標系での位置である。
Step SB2: The world-based
所定の画像処理としては、エッジ抽出方法や高輝度領域抽出方法等の公知の方法が適用可能である。例えば、エッジ抽出方法を用いる場合には、車載カメラ21で撮影された車載撮影画像が複数の画素から形成されているとする。このとき、隣接する画素間の輝度の差分(微分)を取る。これにより、エッジ等の輝度が大きく変化する領域では、微分値が大きな値となるので、当該領域を抽出することができる。無論、これらは例示であって、他の方法も適用可能である。
As the predetermined image processing, a known method such as an edge extraction method or a high luminance region extraction method can be applied. For example, when the edge extraction method is used, it is assumed that a vehicle-mounted captured image captured by the vehicle-mounted
ステップSB3:次に、世界系車両検出部22において車両検出部12から受信したエリア判断情報より、自機(車両30)が計測エリア内に位置しているか否かを判断する。そして、計測エリア外であればステップSB10に進み、計測エリア内であればステップSB4に進む。
Step SB3: Next, based on the area determination information received from the
ステップSB4:世界系車両検出部22は、車両検出部12からの車両接近情報の受信待ちとなっている。
Step SB4: World-based
ステップSB5:そして、世界系車両検出部22は、車両接近情報を受信すると、基準体Kの検出を停止し、基準体検出パラメータを検出精度が高くなるように変更する。
Step SB5: Upon receiving the vehicle approach information, world-based
例えば、通常精度のときは1秒間に10フレームを画像処理に使用していた場合に、世界系車両検出部22は車両接近情報を受信すると、1秒間に15フレームを使用して基準体Kの端点K2を行うように基準体検出パラメータ(この例では、1秒間のフレーム数)を変更する。これにより前後するフレームの間に、車両30が基準体Kの端点K2を通過してしまう不都合が抑制できる。即ち、高精度に端点K2を検出することができる。
For example, in the case of normal accuracy, when 10 frames are used for image processing per second, when the global
ステップSB6:世界系車両検出部22は、新たに設定された基準体検出パラメータを用いて基準体Kの検出を再開する。
Step SB6: The world
ステップSB7:そして、世界系車両検出部22は、基準体Kの端点K2を検出した否かを判断する。端点K2が検出された場合はステップSB8に進み、検出されない場合はステップSB6に戻る。
Step SB7: The world
ステップSB8:基準体Kの端点K2が検出された場合、世界系車両検出部22は、トリガー信号を光源部23に出力する。これにより、光源部23は、LED等の光源を1回点滅させる。
Step SB8: When the end point K2 of the reference body K is detected, the global
ステップSB9:世界系車両検出部22は、トリガー信号を出力した時刻を世界系位置取得時刻とし、その時の車両の位置を世界系車両位置として取得する。そして、ステップSB2に戻る。
Step SB9: The world system
なお、世界系車両位置は、以下のようにして取得する。高速道路等においては、基準体Kの長さは8m、間隔は12mのように規定されているので、端点K2の位置を世界座標系で演算できる。また、世界系車両検出部22は、例えばTsaiカメラモデル(R. Y. Tsai: ”A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses”, IEEE journal of Robotics and Automation, Vol. RA−3, No.4, pp. 323.344, 1999.)等を用いて、端点K2に対する自機(車両30)の位置を算出する。これにより、世界系座標における車両位置が取得できる。
The world vehicle position is acquired as follows. On a highway or the like, since the length of the reference body K is defined as 8 m and the interval is 12 m, the position of the end point K2 can be calculated in the world coordinate system. Further, the world-based
ステップSB10:ステップSB3において、車両30が計測エリア外に位置していると判断された場合(車両が遠くに移動した場合)には、世界系車両検出部22は記憶している世界系情報を座標変換テーブル作成部14に送信する。
Step SB10: When it is determined in step SB3 that the
座標変換テーブル作成部14は、先に説明した手順に従い、画像系車両位置と世界系車両位置とを対応付けから座標変換テーブルを作成する。
The coordinate conversion
以上説明したように、路側撮影画像から取得した画像系での車両位置と、車載撮影画像から取得した世界系での車両位置の対応関係を示す座標変換テーブルが、GPSが利用できないトンネル内等の環境下であっても高精度に作成することができる。 As described above, the coordinate conversion table indicating the correspondence between the vehicle position in the image system acquired from the roadside photographed image and the vehicle position in the world system acquired from the in-vehicle photographed image is in a tunnel where GPS cannot be used. It can be created with high accuracy even in an environment.
この出願は、2011年12月13日に出願された日本出願特願2011−272449を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2011-272449 for which it applied on December 13, 2011, and takes in those the indications of all here.
2 座標変換テーブル作成システム
3 画像系情報取得ユニット
4 座標変換情報作成ユニット
5 世界系情報取得ユニット
10 路側撮影装置
11 路側カメラ
12 車両検出部
13 画像系車両検出部
14 座標変換テーブル作成部
20 車載装置
21 車載カメラ
22 世界系車両検出部
23 光源部
30 車両2 Coordinate conversion
Claims (10)
走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得ユニットと、
世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得ユニットと、
前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成ユニットと、を備えることを特徴とする座標変換テーブル作成システム。A coordinate conversion table creation system for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for a stationary object,
An image system information acquisition unit that captures a traveling vehicle, acquires an image system vehicle position at an image system coordinate set in the captured image, and outputs the image system information;
A world system information acquisition unit that acquires the world system vehicle position of the vehicle relative to world system coordinates and outputs it as world system information;
A coordinate conversion table creation system comprising: a coordinate conversion information creation unit that creates a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.
前記世界系情報取得ユニットは、
前記走行車両に搭載されて、予め設定された基準体を含む画像を車載撮影画像として撮影する車載カメラと、
トリガー信号が入力されると光源を点滅する光源部と、
前記車載撮影画像から前記基準体に対する前記走行車両の位置を算出し、当該算出結果を用いて世界座標系車両位置を取得すると共に、前記トリガー信号を出力する世界系車両検出部と、を備えることを特徴とする座標変換テーブル作成システム。The coordinate conversion table creation system according to claim 1,
The world information acquisition unit
A vehicle-mounted camera that is mounted on the traveling vehicle and captures an image including a preset reference body as a vehicle-mounted captured image;
A light source unit that blinks the light source when a trigger signal is input;
A global vehicle detection unit that calculates a position of the traveling vehicle with respect to the reference body from the in-vehicle photographed image, acquires a world coordinate system vehicle position using the calculation result, and outputs the trigger signal. A coordinate conversion table creation system characterized by
前記画像系情報取得ユニットは、路側に設置されて、走行車両を含む画像を路側撮影画像として撮影する路側カメラと、
前記画像系情報取得ユニットは、前記路側撮影画像から前記車両が予め設定された計測エリア内に位置するか否かを判断してエリア判断情報として前記世界系車両検出部に出力すると共に、当該車両が前記基準体に接近しているか否かを判断して車両接近情報として前記世界系車両検出部に出力する画像系車両検出部と、を備えることを特徴とする座標変換テーブル作成システム。The coordinate conversion table creation system according to claim 1 or 2,
The image system information acquisition unit is installed on the roadside and shoots an image including a traveling vehicle as a roadside captured image; and
The image system information acquisition unit determines whether or not the vehicle is located in a preset measurement area from the roadside photographed image and outputs it to the world vehicle detection unit as area determination information. A coordinate conversion table creation system comprising: an image system vehicle detection unit that determines whether or not the vehicle is approaching the reference body and outputs the vehicle approach information to the world system vehicle detection unit.
前記画像系情報取得ユニットは、複数の前記路側撮影画像から前記光源部が点灯した前記路側撮影画像を抽出し、抽出された前記路側撮影画像から前記画像系車両位置を取得することを特徴とする座標変換テーブル作成システム。A coordinate conversion table creation system according to any one of claims 1 to 3,
The image system information acquisition unit is configured to extract the roadside captured image in which the light source unit is lit from a plurality of the roadside captured images, and acquire the image system vehicle position from the extracted roadside captured images. Coordinate conversion table creation system.
前記画像系情報取得ユニットは、前記画像系車両位置を取得した際に、その取得時刻を画像系位置取得時刻として取得して、前記画像系車両位置と前記画像系位置取得時刻とを画像系情報として前記座標変換情報作成ユニットに出力し、
前記世界系情報取得ユニットは、前記世界系車両位置を取得した際に、その取得時刻を世界系位置取得時刻として取得して、前記世界系車両位置と前記世界系位置取得時刻とを世界系情報として前記座標変換情報作成ユニットに出力して、
前記座標変換情報作成ユニットは、前記画像系位置取得時刻と前記世界系位置取得時刻とが同じ時刻の前記画像系車両位置と前記世界系車両位置とに基づき前記座標変換テーブルを作成することを特徴とする座標変換テーブル作成システム。A coordinate conversion table creation system according to any one of claims 1 to 3,
When the image system information acquisition unit acquires the image system vehicle position, the image system information acquisition unit acquires the acquisition time as an image system position acquisition time, and determines the image system vehicle position and the image system position acquisition time as image system information. Output to the coordinate conversion information creation unit as
When the world system information acquisition unit acquires the world system vehicle position, the world system information acquisition unit acquires the acquisition time as a world system position acquisition time, and sets the world system position and the world system position acquisition time as world system information. Output to the coordinate conversion information creation unit as
The coordinate conversion information creation unit creates the coordinate conversion table based on the image system vehicle position and the world system vehicle position at the same time as the image system position acquisition time and the world system position acquisition time. A coordinate conversion table creation system.
走行車両を撮影して、撮影画像に設定された画像系座標での画像系車両位置を取得して、画像系情報として出力する画像系情報取得する手順と、
世界系座標に対する前記車両の世界系車両位置を取得して、世界系情報として出力する世界系情報取得する手順と、
前記画像系情報と前記世界系情報とに基づき前記画像系座標と前記世界系座標との座標変換テーブルを作成する座標変換情報作成する手順と、を含むことを特徴とする座標変換テーブル作成方法。A coordinate conversion table creation method for creating a coordinate conversion table between an image system coordinate set for a captured image and a world coordinate system set for an immovable object,
Taking a traveling vehicle, obtaining the image system vehicle position at the image system coordinates set in the captured image, and obtaining image system information to be output as image system information; and
A procedure for acquiring world system information for acquiring the world system vehicle position of the vehicle relative to world system coordinates and outputting it as world system information;
A coordinate conversion table creating method comprising: creating coordinate conversion information that creates a coordinate conversion table of the image system coordinates and the world system coordinates based on the image system information and the world system information.
前記世界系情報取得する手順は、
前記走行車両に搭載されて、予め設定された基準体を含む画像を車載撮影画像として撮影する車載撮影する手順と、
トリガー信号が入力されると光源を点滅する発光する手順と、
前記車載撮影画像から前記基準体に対する前記走行車両の位置を算出し、当該算出結果を用いて世界座標系車両位置を取得すると共に、前記トリガー信号を出力する世界系車両検出する手順と、を含むことを特徴とする座標変換テーブル作成方法。The coordinate conversion table creation method according to claim 6,
The procedure for obtaining the world system information is as follows:
Mounted in the traveling vehicle, and a procedure for in-vehicle shooting for capturing an image including a preset reference body as an in-vehicle captured image;
When the trigger signal is input, the light emission procedure flashes the light source,
Calculating the position of the traveling vehicle with respect to the reference body from the in-vehicle captured image, obtaining a world coordinate system vehicle position using the calculation result, and detecting a world system vehicle that outputs the trigger signal. A coordinate conversion table creation method characterized by the above.
前記画像系情報取得する手順は、路側に設置されて、走行車両を含む画像を路側撮影画像として撮影する路側撮影する手順と、
前記画像系情報取得する手順は、前記路側撮影画像から前記車両が予め設定された計測エリア内に位置するか否かを判断してエリア判断情報として前記世界系車両検出する手順に出力すると共に、当該車両が前記基準体に接近しているか否かを判断して車両接近情報として前記世界系車両検出する手順に出力する画像系車両検出する手順と、を含むことを特徴とする座標変換テーブル作成方法。A coordinate conversion table creation method according to claim 6 or 7,
The procedure for acquiring the image system information is a procedure for shooting on the roadside, which is installed on the roadside and shoots an image including a traveling vehicle as a roadside shooting image,
The procedure for acquiring the image system information is to determine whether or not the vehicle is located within a preset measurement area from the roadside photographed image and output to the procedure for detecting the world vehicle as area determination information, And a procedure for detecting an image-based vehicle that outputs whether or not the vehicle is approaching the reference body and outputs the vehicle approach information to the procedure for detecting the world-based vehicle. Method.
前記画像系情報取得する手順は、複数の前記路側撮影画像から前記発光する手順が点灯した前記路側撮影画像を抽出し、抽出された前記路側撮影画像から前記画像系車両位置を取得することを特徴とする座標変換テーブル作成方法。A coordinate conversion table creation method according to any one of claims 6 to 8,
The procedure for acquiring the image system information includes extracting the roadside captured image in which the light emitting procedure is turned on from a plurality of the roadside captured images, and acquiring the image system vehicle position from the extracted roadside captured images. Coordinate conversion table creation method.
前記画像系情報取得する手順は、前記画像系車両位置を取得した際に、その取得時刻を画像系位置取得時刻として取得して、前記画像系車両位置と前記画像系位置取得時刻とを画像系情報として前記座標変換情報作成する手順に出力し、
前記世界系情報取得する手順は、前記世界系車両位置を取得した際に、その取得時刻を世界系位置取得時刻として取得して、前記世界系車両位置と前記世界系位置取得時刻とを世界系情報として前記座標変換情報作成する手順に出力して、
前記座標変換情報作成する手順は、前記画像系位置取得時刻と前記世界系位置取得時刻とが同じ時刻の前記画像系車両位置と前記世界系車両位置とに基づき前記座標変換テーブルを作成することを特徴とする座標変換テーブル作成方法。A coordinate conversion table creation method according to any one of claims 6 to 8,
The procedure for acquiring the image system information includes acquiring the image system vehicle position and the image system position acquisition time by acquiring the acquisition time as an image system position acquisition time when the image system vehicle position is acquired. Output to the procedure to create the coordinate conversion information as information,
When acquiring the world system information, when acquiring the world system vehicle position, the acquisition time is acquired as a world system position acquisition time, and the world system vehicle position and the world system position acquisition time are Output to the procedure to create the coordinate conversion information as information,
The procedure for creating the coordinate conversion information includes creating the coordinate conversion table based on the image system vehicle position and the world system vehicle position at the same time as the image system position acquisition time and the world system position acquisition time. A characteristic coordinate conversion table creation method.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011272449 | 2011-12-13 | ||
JP2011272449 | 2011-12-13 | ||
PCT/JP2012/006774 WO2013088626A1 (en) | 2011-12-13 | 2012-10-23 | Coordinate conversion table creation system and coordinate conversion table creation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013088626A1 true JPWO2013088626A1 (en) | 2015-04-27 |
JP6083385B2 JP6083385B2 (en) | 2017-02-22 |
Family
ID=48612109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013549075A Active JP6083385B2 (en) | 2011-12-13 | 2012-10-23 | Coordinate conversion table creation system and coordinate conversion table creation method |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6083385B2 (en) |
CN (1) | CN103975221B (en) |
HK (1) | HK1197294A1 (en) |
WO (1) | WO2013088626A1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016125956A (en) * | 2015-01-07 | 2016-07-11 | ソニー株式会社 | Information processor, information processing method and information processing system |
CN106571046B (en) * | 2016-11-11 | 2021-07-16 | 上海市政工程设计研究总院(集团)有限公司 | Vehicle-road cooperative driving assisting method based on road surface grid system |
CN110969055B (en) | 2018-09-29 | 2023-12-19 | 阿波罗智能技术(北京)有限公司 | Method, apparatus, device and computer readable storage medium for vehicle positioning |
CN110164135B (en) * | 2019-01-14 | 2022-08-02 | 腾讯科技(深圳)有限公司 | Positioning method, positioning device and positioning system |
CN113129382B (en) * | 2019-12-31 | 2024-06-14 | 华为云计算技术有限公司 | Method and device for determining coordinate conversion parameters |
CN111640301B (en) * | 2020-05-25 | 2021-10-08 | 北京百度网讯科技有限公司 | Fault vehicle detection method and fault vehicle detection system comprising road side unit |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10332334A (en) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | Position measuring method by image processing and its device |
JP2002372417A (en) * | 2001-06-15 | 2002-12-26 | Mitsubishi Electric Corp | Object position and velocity measuring and processing equipment |
JP2003042760A (en) * | 2001-07-27 | 2003-02-13 | Sumitomo Electric Ind Ltd | Instrument, method, and system for measurement |
JP2006017676A (en) * | 2004-07-05 | 2006-01-19 | Sumitomo Electric Ind Ltd | Measuring system and method |
JP2009145118A (en) * | 2007-12-12 | 2009-07-02 | Toyota Motor Corp | Vehicle location detector |
JP2010020729A (en) * | 2008-07-14 | 2010-01-28 | I Transport Lab Co Ltd | Vehicle traveling locus observation system, vehicle traveling locus observation method and program |
JP2010236891A (en) * | 2009-03-30 | 2010-10-21 | Nec Corp | Position coordinate conversion method between camera coordinate system and world coordinate system, vehicle-mounted apparatus, road side photographing apparatus, and position coordinate conversion system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7899211B2 (en) * | 2005-12-07 | 2011-03-01 | Nissan Motor Co., Ltd. | Object detecting system and object detecting method |
CN101016052A (en) * | 2007-01-25 | 2007-08-15 | 吉林大学 | Warning method and system for preventing deviation for vehicle on high standard highway |
CN101750049B (en) * | 2008-12-05 | 2011-12-21 | 南京理工大学 | Monocular vision vehicle distance measuring method based on road and vehicle information |
CN101604448B (en) * | 2009-03-16 | 2015-01-21 | 北京中星微电子有限公司 | Method and system for measuring speed of moving targets |
CN102013099B (en) * | 2010-11-26 | 2012-07-04 | 中国人民解放军国防科学技术大学 | Interactive calibration method for external parameters of vehicle video camera |
CN102254318B (en) * | 2011-04-08 | 2013-01-09 | 上海交通大学 | Method for measuring speed through vehicle road traffic videos based on image perspective projection transformation |
-
2012
- 2012-10-23 WO PCT/JP2012/006774 patent/WO2013088626A1/en active Application Filing
- 2012-10-23 CN CN201280060296.5A patent/CN103975221B/en active Active
- 2012-10-23 JP JP2013549075A patent/JP6083385B2/en active Active
-
2014
- 2014-10-29 HK HK14110849A patent/HK1197294A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10332334A (en) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | Position measuring method by image processing and its device |
JP2002372417A (en) * | 2001-06-15 | 2002-12-26 | Mitsubishi Electric Corp | Object position and velocity measuring and processing equipment |
JP2003042760A (en) * | 2001-07-27 | 2003-02-13 | Sumitomo Electric Ind Ltd | Instrument, method, and system for measurement |
JP2006017676A (en) * | 2004-07-05 | 2006-01-19 | Sumitomo Electric Ind Ltd | Measuring system and method |
JP2009145118A (en) * | 2007-12-12 | 2009-07-02 | Toyota Motor Corp | Vehicle location detector |
JP2010020729A (en) * | 2008-07-14 | 2010-01-28 | I Transport Lab Co Ltd | Vehicle traveling locus observation system, vehicle traveling locus observation method and program |
JP2010236891A (en) * | 2009-03-30 | 2010-10-21 | Nec Corp | Position coordinate conversion method between camera coordinate system and world coordinate system, vehicle-mounted apparatus, road side photographing apparatus, and position coordinate conversion system |
Also Published As
Publication number | Publication date |
---|---|
HK1197294A1 (en) | 2015-01-09 |
WO2013088626A1 (en) | 2013-06-20 |
CN103975221A (en) | 2014-08-06 |
CN103975221B (en) | 2016-08-17 |
JP6083385B2 (en) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6083385B2 (en) | Coordinate conversion table creation system and coordinate conversion table creation method | |
JP2024073621A (en) | Estimating Object Attributes Using Visual Image Data | |
US9922259B2 (en) | Traffic light detection device and traffic light detection method | |
JP6325000B2 (en) | In-vehicle image recognition device | |
JP5065172B2 (en) | Vehicle lighting determination device and program | |
EP3118831B1 (en) | Traffic light detection device and traffic light detection method | |
KR101972690B1 (en) | Signal device detection device and signal device detection method | |
US20120300074A1 (en) | Detection apparatus and detection method | |
US20150138324A1 (en) | Apparatus for detecting vehicle light and method thereof | |
US11335036B2 (en) | Image synthesizing system and image synthesizing method | |
JP5365792B2 (en) | Vehicle position measuring device | |
KR20170068937A (en) | Autonomous driving vehicle navigation system using the tunnel lighting | |
JP2017010078A (en) | Road surface sign detection apparatus and road surface sign detection method | |
JP2015125708A (en) | Traffic light recognition device | |
JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
JP2014106739A (en) | In-vehicle image processing device | |
JP4686235B2 (en) | Inter-vehicle communication system | |
KR101511586B1 (en) | Apparatus and method for controlling vehicle by detection of tunnel | |
JP2006285695A (en) | Inter-vehicle communication system | |
JP7115869B2 (en) | Map generation system | |
JP4585356B2 (en) | Inter-vehicle communication system | |
KR102385907B1 (en) | Method And Apparatus for Autonomous Vehicle Navigation System | |
US20220398923A1 (en) | Traffic Signal Recognition Method and Traffic Signal Recognition Device | |
JP5310162B2 (en) | Vehicle lighting judgment device | |
JP2019061314A (en) | Object distance detection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6083385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |