JPWO2020246202A1 - Measurement system, measurement method, and measurement program - Google Patents
Measurement system, measurement method, and measurement program Download PDFInfo
- Publication number
- JPWO2020246202A1 JPWO2020246202A1 JP2021524723A JP2021524723A JPWO2020246202A1 JP WO2020246202 A1 JPWO2020246202 A1 JP WO2020246202A1 JP 2021524723 A JP2021524723 A JP 2021524723A JP 2021524723 A JP2021524723 A JP 2021524723A JP WO2020246202 A1 JPWO2020246202 A1 JP WO2020246202A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- ipm
- unit
- empty area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 82
- 238000000691 measurement method Methods 0.000 title claims description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 230000010365 information processing Effects 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記IPM変換部は、前記画像を逆透視投影変換してIPM画像(前記路面又は障害物を含む所定平面を俯瞰するように描画された画像)を生成するように構成され、前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域(前記IPM画像中の前記障害物を含まない領域)を可変に設定可能に構成され、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される。It is a measurement system used for a moving body traveling on a road surface, and includes an image pickup device and an information processing device. The image pickup device is configured to be able to image a road surface or an obstacle included in an angle of view in a time series. The information processing apparatus includes a communication unit, an IPM conversion unit, an obstacle determination unit, an empty area setting unit, and a measurement unit. The communication unit is connected to the image pickup device and is connected by the image pickup device. The IPM conversion unit is configured to be able to receive the captured image, and the IPM conversion unit converts the image into a back-perspective projection to generate an IPM image (an image drawn so as to overlook a predetermined plane including the road surface or obstacles). The obstacle determination unit is configured to be able to determine the presence / absence or position of the obstacle in the IPM image, and the empty area setting unit is based on the presence / absence or position of the determined obstacle. The empty area (the area in the IPM image that does not include the obstacle) can be variably set, and the measuring unit can measure the absolute speed of the moving body based on the empty area. ..
Description
本発明は、計測システム、計測方法、及び計測プログラムに関する。 The present invention relates to a measurement system, a measurement method, and a measurement program.
産業界において、自動車や移動ロボット等の移動体が自身の絶対速度を正確に把握できることが求められている。例えば一般的な自動車では、タイヤの単位時間あたりの回転数を車速センサ(回転に応じて所定のパルスを出力しうるもの)で測定し、タイヤの外周の長さと乗算することで、その絶対速度を推定することができる。 In the industrial world, it is required that moving objects such as automobiles and mobile robots can accurately grasp their own absolute speed. For example, in a general automobile, the number of revolutions per unit time of a tire is measured by a vehicle speed sensor (which can output a predetermined pulse according to the rotation), and the absolute speed is multiplied by the length of the outer circumference of the tire. Can be estimated.
しかしながら、かかる手法はヒトの運転時に参考とするための概算値を求めるもので、精度には欠けている。今後の自動運転技術の発展に先駆け、従来手法とは異なるより精度の高い計測手法が求められている。また、車に限らず移動ロボット等においても同様のニーズが生じている。 However, such a method obtains an approximate value for reference when driving a human, and lacks accuracy. Prior to the development of autonomous driving technology in the future, a more accurate measurement method different from the conventional method is required. Further, similar needs have arisen not only in cars but also in mobile robots and the like.
本発明は、かかる事情を鑑みてなされたものであり、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム、計測方法、及び計測プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a measurement system, a measurement method, and a measurement program which are used in a moving body and can measure the absolute speed of the moving body with high accuracy. ..
本発明によれば、路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記IPM変換部は、前記画像を逆透視投影変換してIPM画像を生成するように構成され、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測システムが提供される。 According to the present invention, it is a measurement system used in a moving body traveling on a road surface, and includes an image pickup device and an information processing device, and the image pickup device captures the road surface or obstacles included in the angle of view in a time series. The information processing apparatus includes a communication unit, an IPM conversion unit, an obstacle determination unit, an empty area setting unit, and a measurement unit, and the communication unit is connected to the image pickup device. The IPM conversion unit is configured to generate an IPM image by performing a back-perspective projection conversion of the image, wherein the image captured by the image pickup apparatus can be received. An image drawn so as to overlook a predetermined plane including the road surface or an obstacle, the obstacle determination unit is configured to be able to determine the presence or absence or position of the obstacle in the IPM image, and the empty area setting unit. Is configured to be able to variably set an empty area based on the presence or absence or position of the determined obstacle, wherein the empty area is a region in the IPM image that does not include the obstacle, and the measurement is performed. The unit is provided with a measurement system configured to be able to measure the absolute speed of the moving body based on the empty area.
本発明に係る計測システムでは、IPM画像において空領域を可変に設定可能であり、このような空領域に基づいて移動体の絶対速度を計測することで、高い精度の計測を実現することができる、という有利な効果を奏する。 In the measurement system according to the present invention, an empty area can be variably set in an IPM image, and by measuring the absolute velocity of a moving object based on such an empty area, highly accurate measurement can be realized. , Has an advantageous effect.
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The various features shown in the embodiments shown below can be combined with each other. In particular, as used herein, the term "part" may include, for example, a combination of hardware resources implemented by a circuit in a broad sense and information processing of software specifically realized by these hardware resources. .. Further, various information is handled in this embodiment, and these information are represented by high and low signal values as a bit set of binary numbers composed of 0 or 1, and communication / calculation is executed on a circuit in a broad sense. Can be done.
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。 Further, the circuit in a broad sense is a circuit realized by at least appropriately combining a circuit, a circuit, a processor, a memory, and the like. That is, an integrated circuit for a specific application (Application Specific Integrated Circuit: ASIC), a programmable logic device (for example, a simple programmable logic device (Simple Programgable Logic Device: SPLD), a composite programmable logic device (Complex Programg)). It includes a programmable gate array (field programmed gate array (FPGA)) and the like.
1.全体構成
第1節では、計測システム1の全体構成について説明する。図1は、本実施形態に係る計測システム1の構成概要を示す図である。計測システム1は、撮像装置2と、情報処理装置3とを備え、これらが電気的に接続されたシステムである。計測システム1は、路面(一般的な道路はもちろん、室内の定められた床面等も含みうる。)を走行する移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車(公共交通機関だけでなく遊戯用等も含む)、船舶、移動型ロボット、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム1が搭載された自動車を「本自動車」と定義する。すなわち、計測システム1は、本自動車の絶対速度を計測可能に構成される。1. 1.
1.1 撮像装置2
撮像装置2は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)であり、特に高速ビジョンと称する撮像レートが高いものが採用されることが好ましい。撮像レートは、例えば、100fps以上であり、好ましくは、250fps以上であり、さらに好ましくは500fps又は1000fpsである。具体的には例えば、100、125、150、175、200、225、250、275、300、325、350、375、400、425、450、475、500、525、550、575、600、625、650、675、700、725、750、775、800、825、850、875、900、925、950、975、1000、1025、1050、1075、1100、1125、1150、1175、1200、1225、1250、1275、1300、1325、1350、1375、1400、1425、1450、1475、1500、1525、1550、1575、1600、1625、1650、1675、1700、1725、1750、1775、1800、1825、1850、1875、1900、1925、1950、1975、2000fps(ヘルツ)であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。より具体的には、撮像装置2は、第1のカメラ21及び第2のカメラ22からなる、いわゆる2眼の撮像装置である。また、第1のカメラ21の画角及び第2のカメラ22の画角は、互いに重複する領域があることに留意されたい。また、撮像装置2において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム1を用いた計測を実施することができる、という有利な効果を奏する。1.1
The
<第1のカメラ21>
第1のカメラ21は、例えば、計測システム1において、第2のカメラ22と並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、第1のカメラ21の画角に、本自動車の前方に延在する路面又は前方に位置する障害物(例えば、前方車両、歩行者、動物等)がとらえられる。また、第1のカメラ21は、後述の情報処理装置3における通信部31と電気通信回線(例えばUSBケーブル等)で接続され、撮像した画像を情報処理装置3に転送可能に構成される。<
The
<第2のカメラ22>
第2のカメラ22は、例えば、計測システム1において、第1のカメラ21と並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、第2のカメラ22の画角に、本自動車の前方に延在する路面又は前方に位置する前方車両(すなわち障害物)がとらえられる。また、第2のカメラ22は、後述の情報処理装置3における通信部31と電気通信回線(例えばUSBケーブル等)で接続され、撮像した画像を情報処理装置3に転送可能に構成される。<
The
換言すると、第1及び第2のカメラ21,22の画角に含まれる路面又は障害物を、第1及び第2の画像IM1,IM2として時系列に撮像可能に構成される。 In other words, the road surface or obstacles included in the angles of view of the first and
1.2 情報処理装置3
図2Aは、情報処理装置3の構成概要図を示し、図2Bは、情報処理装置3における制御部33の機能ブロック図を示している。図2Aに示されるように、情報処理装置3は、通信部31と、記憶部32と、制御部33とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。以下、各構成要素についてさらに説明する。1.2
FIG. 2A shows a schematic configuration diagram of the
<通信部31>
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、3G/LTE/5G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置2における第1のカメラ21及び第2のカメラ22とは、所定の高速通信規格(例えば、USB3.0やカメラリンク等)において通信することで、画像を受信可能に構成されることが好ましい。また、本自動車の絶対速度等の計測結果を表示するためのモニター(不図示)や、計測結果に基づいて本自動車を自動制御(自動運転)するための自動制御装置(不図示)が接続されてもよい。<
Although wired communication means such as USB, IEEE1394, Thunderbolt, and wired LAN network communication are preferable, the
<記憶部32>
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。<
The
特に、記憶部32は、撮像装置2における第1のカメラ21及び第2のカメラ22によって撮像され、且つ通信部31が受信した第1の画像IM1及び第2の画像IM2(画像IM)を記憶する。記憶部32は、IPM画像IM’を記憶する。具体的には第1の画像IM1より変換された第1のIPM画像IM1’及び第2の画像IM2より変換された第2のIPM画像IM2’を記憶する。ここで、画像IMやIPM画像IM’は、例えばRGB各8ビットのピクセル情報を具備する配列情報である。 In particular, the
また、記憶部32は、画像IMに基づいてIPM画像IM’を生成するためのIPM変換プログラムを記憶している。記憶部32は、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分Dを演算し且つ角度(方向)を基準とした第1のヒストグラムHG1及び距離を基準とした第2のヒストグラムHG2を生成するためのヒストグラム生成プログラムを記憶している。記憶部32は、第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、IPM画像IM’(又は差分D)における前方車両等の障害物の有無又は位置を判定する障害物判定プログラムを記憶している。記憶部32は、IPM画像IM’(又は差分D)において空領域R(後述)を設定する空領域設定プログラムを記憶している。記憶部32は、空領域Rに基づいて本自動車の絶対速度を計測するための計測プログラムを記憶している。記憶部32は、前方車両等の障害物がある場合には、その位置の時系列変化に基づいて本自動車に対する障害物の相対速度を計測し、ひいては、本自動車の絶対速度と障害物の相対速度とに基づいて、障害物の絶対速度を計測するための計測プログラムを記憶している。さらに、記憶部32は、これ以外にも制御部33によって実行される計測システム1に係る種々のプログラム等を記憶している。 Further, the
<制御部33>
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的にはIPM変換機能、ヒストグラム生成機能、障害物判定機能、空領域設定機能、計測機能等が該当する。すなわち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、図2Bに示されるように、IPM変換部331、ヒストグラム生成部332、障害物判定部333、空領域設定部334、及び計測部335として実行されうる。なお、図2A及び図2Bにおいては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。以下、IPM変換部331、ヒストグラム生成部332、障害物判定部333、空領域設定部334、及び計測部335についてさらに詳述する。<
The
[IPM変換部331]
IPM変換部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。IPM変換部331は、撮像装置2における第1のカメラ21及び第2のカメラ22から送信され且つ通信部31によって受信した画像IMに対して、逆透視投影変換処理を実行可能に構成される。逆透視投影変換については、図3及び図4を参照しながら、第2節において詳述する。[IPM conversion unit 331]
In the
換言すると、第1の画像IM1を逆透視投影変換することによって、第1のIPM画像IM1’が生成され、第2の画像IM2を逆透視投影変換することによって、第2のIPM画像IM2’が生成される。また、第1のIPM画像IM1’及び第2のIPM画像IM2’を比較することで、これらの座標の対応関係を推定し、推定された座標の対応関係に基づいて、IPM画像IM’の真値との誤差を補正されるとよい。 In other words, the first IPM image IM1'is generated by the back-perspective projection conversion of the first image IM1, and the second IPM image IM2' is generated by the back-perspective projection conversion of the second image IM2. Generated. Further, by comparing the first IPM image IM1'and the second IPM image IM2', the correspondence between these coordinates is estimated, and the true IPM image IM'is based on the estimated correspondence of the coordinates. It is good to correct the error with the value.
さらに、かかる逆透視投影変換を所定領域(ROI)で限定的に実施することで、処理時間を短縮し、計測システム1全体の制御レートを高くするとよい。このような所定領域は、過去(通常は1つ前)のフレームの処理によって決定されるとよい。そして、計測システム1全体としては、第1のカメラ21及び第2のカメラ22の撮像レート、並びに制御部33の動作レートの低い方が、本自動車の絶対速度の計測に係る制御レートとして働く。換言すると、当該撮像レート及び動作レートを同程度に高くすることで、フィードバック制御のみであっても本自動車の絶対速度の計測を実施することができる。 Further, it is preferable to carry out such a back-perspective projection conversion in a limited area (ROI) to shorten the processing time and increase the control rate of the
[ヒストグラム生成部332]
ヒストグラム生成部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。ヒストグラム生成部332は、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分Dを演算し、続いて、それぞれ異なるパラメータを基準に生成された複数のヒストグラムHGを生成する。かかるヒストグラムHGも、過去のフレームで決定された所定領域に限定されてもよい。具体的には、角度(方向)を基準とした第1のヒストグラムHG1と、距離を基準とした第2のヒストグラムHG2とを生成する。さらに、ヒストグラム生成部332は、生成した第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、次のフレームでの処理で使用する所定領域を決定してもよい。ヒストグラムの一例については、図6A及び図6Bを参照されたい。[Histogram generator 332]
In the
[障害物判定部333]
障害物判定部333は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。障害物判定部333は、ヒストグラム生成部332によって演算された差分D、並びに第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、障害物の有無又はその位置を判定する。障害物として前方車両が有ると判定された場合には、その位置が、適宜、本自動車の運転者に不図示のモニターを介して提示されるとよい。さらには、かかる判定結果に基づいて本自動車を自動制御(自動運転)するための自動制御装置に適切な制御信号が送信されてもよい。[Obstacle determination unit 333]
In the
[空領域設定部334]
空領域設定部334は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。空領域設定部334は、障害物判定部333によって判定された障害物の有無又は位置に基づいて空領域Rを可変に設定することができる。ここで空領域Rとは、IPM画像IM’中の障害物を含まない領域を意味する。例えば、空領域Rは、矩形状(長方形又は正方形)に設定される。特に矩形状、特に正方形を採用することで、演算を効率化できるという有利な効果を奏する。また、空領域設定部334は、障害物を含まない範囲でピクセル数が大きくなるように空領域Rを設定する。基本的には、予め定められたピクセル数の上限値以下の範囲であれば、空領域Rのピクセル数が大きいほど、後述の本自動車の絶対速度の計測精度が高まることに留意されたい。また、空領域設定部334は、IPM画像IM’の各フレームごとに空領域Rを可変に設定する。これについては、図5Aを参照されたい。[Empty area setting unit 334]
In the empty
[計測部335]
計測部335は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。計測部335は、空領域設定部334によって設定された空領域Rに基づいて本自動車の絶対速度を高い精度で計測することができる。また、障害物判定部333によって障害物が有ると判定された場合には、計測部335は、障害物の位置の時系列変化に基づいて本自動車に対する障害物の相対速度を計測する。さらに、計測部335は、本自動車の絶対速度と障害物の相対速度とに基づいて、障害物の絶対速度を高い精度で計測する。これについて、第3節において、さらに詳述する。[Measurement unit 335]
In the
2.逆透視投影変換
第2節では、逆透視投影変換について説明する。図3は、逆透視投影変換の概要図であり、ここではモデルとして、ピンホールカメラを仮定するとともに、カメラのピッチ角のみを考慮して表式化していることにも留意されたい。もちろん、魚眼カメラやオムニディレクショナルカメラを仮定してもよいし、ロール角を考慮して表式化してもよい。図2に示されるように、世界座標系O_Wで表された点(X_W,Y_W,Z_W)をカメラ画像平面π_Cに投影したときの点(x,y)は[数1]のように表される。
ただし、Kはカメラ(第1のカメラ21及び第2のカメラ22)の内部行列、Πはカメラ座標系O_Cからカメラ画像平面π_Cへの射影行列、R∈SO(3)及びT∈R^3は、世界座標系O_Wからカメラ座標系O_Cへの回転行列、及び並進ベクトルをそれぞれ表す。
2. 2. Back-perspective
However, K is the internal matrix of the cameras (
いま、第1のカメラ21及び第2のカメラ22に写っている障害物がある平面π上にのみ存在する場合を考える。このとき、画像平面上の点とπ上の点の間には1対1対応があるため、画像平面からπへの1対1の写像を考えることができる。この写像を逆透視投影(Inverse Perspective Mapping)という。R、Tがそれぞれ、
と表されるとき、画像上の点(x,y)の逆透視投影像であるπ上の点(X_W,Y_W,Z_W)は、(x,y)を用いて、[数3]のように計算される。
Now, consider the case where the obstacles shown in the
When the point (X_W, Y_W, Z_W) on π, which is a back-perspective projection image of the point (x, y) on the image, is expressed as [Equation 3] using (x, y). Is calculated to.
ここで、f_x、f_yはそれぞれx、y方向の焦点距離、(o_x,o_y)は光学中心である。本実施形態では、この写像によって、撮像装置2によって撮像された画像IMを射影した画像をIPM画像IM’と呼ぶ。2台のカメラ(第1のカメラ21及び第2のカメラ22)が同じ平面を撮像している場合、計算されるIPM画像IM’の対(第1のIPM画像IM1’及び第2のIPM画像IM2’)で、平面上のある1点に対応する画素の輝度値は同一となる。しかし、平面上にない障害物が視野内に存在する場合、IPM画像IM’の対に輝度の差が生じる。この差(差分D)を検出することにより、視野内に存在する前方車両等の障害物を検知することができる。この手法は、平面のテクスチャに対してロバストであるため、影が写り込んでいるような単眼カメラが不得意とする状況でも、障害物を正確に検知することができる。 Here, f_x and f_y are focal lengths in the x and y directions, respectively, and (o_x, o_y) is the optical center. In the present embodiment, the image obtained by projecting the image IM captured by the
これらの流れが図4に示されている。まず、第1のカメラ21(左)による第1の画像IM1と、第2のカメラ22(右)による第2の画像IM2とが撮像される。続いて、第1の画像IM1を変換して得られた第1のIPM画像IM1’と、第2の画像IM2を変換して得られた第2のIPM画像IM2’とが生成される。さらに、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分D(所定のしきい値をもって2値化したもの)が得られる。差分Dにおいて、障害物のエッジ部分が白色のピクセルとして検出されることに留意されたい。また、白色ピクセルよりも手前の領域(図4の、概して一点鎖線で囲まれている部分)は、障害物がない路面であると推定されることにも留意されたい。 These flows are shown in FIG. First, the first image IM1 by the first camera 21 (left) and the second image IM2 by the second camera 22 (right) are imaged. Subsequently, a first IPM image IM1 ′ obtained by converting the first image IM1 and a second IPM image IM2 ′ obtained by converting the second image IM2 are generated. Further, a difference D (binarized with a predetermined threshold value) between the first IPM image IM1'and the second IPM image IM2' is obtained. Note that in the difference D, the edge portion of the obstacle is detected as a white pixel. It should also be noted that the area in front of the white pixels (generally surrounded by the alternate long and short dash line in FIG. 4) is presumed to be an unobstructed road surface.
3.本自動車の絶対速度の計測手法
第3節では、本自動車の絶対速度の計測手法について詳述する。3. 3. Absolute speed measurement method of this
3.1 基本原理
本自動車が走行する近接路面は平坦でかつ静止していると考えられるため、撮像装置2から見た路面の移動量を推定することで,本自動車の移動量、すなわち本自動車の絶対速度を計測することができる。このとき、撮像装置2から見た路面の移動量は本来3次元の量であるが、撮像装置2のフレーム間においては高さ方向の移動量が一定であると仮定できると、路面に対して平行な2次元の移動量を推定する問題として定式化することができる。計測システム1は、本自動車に固定して使用するため、撮像装置2の路面に対する姿勢が既知である。すなわち、このような移動量の推定は、時系列に得られるIPM画像IM’に対して連続的に位置合わせを行うことで実施されることに留意されたい。位置合わせの方法は特に限定されるものではないが、特に、高精度の位置合わせ手法として知られる位相限定相関法を用いることが好ましい。3.1 Basic Principle Since the nearby road surface on which the vehicle travels is considered to be flat and stationary, the amount of movement of the vehicle, that is, the vehicle, is estimated by estimating the amount of movement of the road surface as seen from the
位相限定相関法の基本原理は、クロスパワースペクトルを正規化することで位相情報だけ抽出したスペクトルに対して、逆フーリエ変換を施すと並進量に応じた極めて鋭いピークが生成される特徴を利用したものである。このピーク位置を高い精度で検出することで、高精度な並進パラメータの推定を行うことができる。 The basic principle of the phase-limited correlation method utilizes the feature that an extremely sharp peak corresponding to the translational amount is generated when the inverse Fourier transform is applied to the spectrum obtained by extracting only the phase information by normalizing the cross-power spectrum. It is a thing. By detecting this peak position with high accuracy, it is possible to estimate the translational parameters with high accuracy.
3.2 空領域Rの設定
本実施形態では、前述の路面に対する位置合わせを行うにあたり、IPM画像IM’において路面であると推定される領域(図4における一点鎖線の部分)に対して位置合わせを行う。図5Aは、可変に空領域R(空領域Ra〜Rc)を設定する態様を示す図(実施例)であり、図5Bは、固定された領域Rd〜Rfを空領域Rとみなして設定する態様を示す図(比較例)である。3.2 Setting of empty area R In this embodiment, when the above-mentioned alignment with respect to the road surface is performed, the alignment is performed with respect to the region estimated to be the road surface in the IPM image IM'(the portion of the alternate long and short dash line in FIG. 4). I do. FIG. 5A is a diagram (example) showing an embodiment in which an empty region R (empty region Ra to Rc) is variably set, and FIG. 5B sets the fixed regions Rd to Rf as an empty region R. It is a figure (comparative example) which shows the aspect.
図5Aに示される実施例(IPM画像IM’a〜IM’c)では、空領域Rが可変に設定されるものである。すなわち、フレームごとに適切なサイズの空領域Ra〜Rcが設定されている。ここでは、障害物を意味する白色のピクセルを含まず且つなるべく大きなピクセル数となる矩形状(特に正方形)の空領域Rとしている。ただし、計算処理の都合上、IPM画像IM’(又は差分D)の全ピクセル数よりも小さいピクセル数で、空領域Rのピクセル数の上限値が定められている(IPM画像IM’c)。もちろん形状はこれに限定されない。例えば、円形や楕円形、もしくは、矩形から一部を取り除いた図形等を採用してもよい。 In the embodiment (IPM images IM'a to IM'c) shown in FIG. 5A, the empty area R is set variably. That is, empty areas Ra to Rc of an appropriate size are set for each frame. Here, the empty region R is a rectangular shape (particularly a square) that does not include white pixels meaning obstacles and has as large a number of pixels as possible. However, for the convenience of calculation processing, the upper limit of the number of pixels in the empty area R is set by the number of pixels smaller than the total number of pixels of the IPM image IM'(or the difference D) (IPM image IM'c). Of course, the shape is not limited to this. For example, a circular shape, an elliptical shape, or a figure obtained by removing a part from the rectangle may be adopted.
一方、図5Bに示される比較例(IPM画像IM’d〜IM’f)は、予め定められた領域Rd〜Rfを空領域Rとみなしているものである。つまり、この比較例では、一定距離以下の範囲には障害物はないという仮定が置かれている。このような固定された領域Rd〜Rfで前述の位置合わせが行われることとなるが、領域Rd,Reのように、特に、本自動車に対して障害物が近い距離に位置する場合には、これを空領域R内に含んでしまう場合がある。かかる場合、時系列のIPM画像IM’間において相似変換で表されない部位が生じてしまうため、推定精度が低下するという問題がある。 On the other hand, in the comparative example (IPM images IM'd to IM'f) shown in FIG. 5B, the predetermined regions Rd to Rf are regarded as the empty region R. That is, in this comparative example, it is assumed that there are no obstacles in the range below a certain distance. The above-mentioned alignment is performed in such fixed regions Rd to Rf, but as in the regions Rd and Re, especially when an obstacle is located at a short distance to the vehicle. This may be included in the empty area R. In such a case, there is a problem that the estimation accuracy is lowered because a portion not represented by the similarity transformation is generated between the IPM images IM'in the time series.
本実施形態に係る計測システム1では、差分Dに対して障害物を除外するように適切な空領域Rを設定することにより、精度の高い位置合わせを実現することができる。これにより、情報処理装置3の計測部335は、本自動車の絶対速度を計測することができる。 In the
3.3 障害物の相対速度の計測
前述のように、障害物判定部333は、ヒストグラム生成部332によって演算された差分D、並びに第1のヒストグラムHG1及び第2のヒストグラムHG2に基づいて、障害物の有無又はその位置を判定する。ここでいう障害物の位置とは、本自動車に対する相対的位置であるため、これを時系列に取得することで、障害物の相対速度を計測することもできる。換言すると、計測部335は、障害物がある場合には、その位置の時系列変化に基づいて本自動車(移動体)に対する障害物の相対速度を高い精度で計測することができる。3.3 Measurement of Relative Velocity of Obstacles As described above, the
3.4 障害物の絶対速度の計測
計測部335は、本自動車の絶対速度と、障害物の相対速度とを高い時間分解能で且つ高い精度で計測できることから、計測部335は、両者に基づいて、障害物の絶対速度を計測することもできる。これにより、本自動車から見て、自身の絶対速度とその周辺に位置する障害物の相対速度及び絶対速度とを、高い時間分解能で且つ高い精度で把握することができるため、今後の自動運転技術等の発展に大きく貢献すると期待される。3.4 Measurement of absolute speed of obstacles Since the measuring
このように1つのシステム1を用いて、本自動車の絶対速度、障害物の相対速度、及び障害物の絶対速度を何れも高い精度で計測することができる。このようなシステム1によって、自動運転等の移動体の制御に貢献することが期待される。 As described above, using one
4.計測方法
第4節では、本実施形態に係る計測システム1を用いた計測方法について説明する。図7は、計測方法の流れを示すアクティビティ図である。以下、図7における各アクティビティに沿って説明する。なお、図示の通り、アクティビティA1〜A8は、時系列で繰り返される。4. Measurement method Section 4 describes a measurement method using the
[ここから]
(アクティビティA1)
ある時刻tにおいて、撮像装置2(第1のカメラ21及び第2のカメラ22)が対象物を100fps以上の撮像レートで画像IM(第1の画像IM1及び第2の画像IM2)として撮像する。[from here]
(Activity A1)
At a certain time t, the image pickup apparatus 2 (
(アクティビティA2)
アクティビティA1に続いて、IPM変換部331が、画像IMに対して逆透視投影変換を行って、IPM画像IM’(第1のIPM画像IM1’及び第2のIPM画像IM2’)を生成する。(Activity A2)
Following the activity A1, the
(アクティビティA3)
アクティビティA2に続いて、ヒストグラム生成部332が、第1のIPM画像IM1’及び第2のIPM画像IM2’の差分Dを演算する。(Activity A3)
Following the activity A2, the
(アクティビティA4)
アクティビティA3に続いて、ヒストグラム生成部332が、それぞれ異なるパラメータ(角度及び距離)を基準に生成されたヒストグラムHG(第1のヒストグラムHG1及び第2のヒストグラムHG2)を生成し、これに基づいて、障害物判定部333が障害物の有無又はその位置を判定する。(Activity A4)
Following the activity A3, the
(アクティビティA5)
アクティビティA4に続いて、障害物判定部333が障害物があると判定した場合に、計測部335は、過去のフレームも含めたその位置の時系列情報に基づいて本自動車に対する障害物の相対速度を推定する。(Activity A5)
When the
(アクティビティA6)
同じくアクティビティA4に続いて、空領域設定部334が差分Dにおいて障害物(白色ピクセル)を含まないような空領域Rを設定する。空領域Rは、各フレームごとに可変に設定される。(Activity A6)
Similarly, following the activity A4, the empty
(アクティビティA7)
アクティビティA6に続いて、計測部335が空領域Rに対する時系列の位置合わせ計算を行うことで、本自動車の絶対速度を計測する。(Activity A7)
Following the activity A6, the measuring
(アクティビティA8)
アクティビティA5,A7に続いて、計測部335が本自動車の絶対速度と、障害物の相対速度とに基づいて、障害物の絶対速度を計測する。
[ここまで](Activity A8)
Following the activities A5 and A7, the measuring
[So far]
このような計測方法によれば、[先行技術文献]において記載した特許文献1とは異なり、加速度センサを用いることなく、撮像装置2(カメラ)を用いて本自動車の絶対速度を計測することができるという有利な効果を奏する。 According to such a measurement method, unlike
5.変形例
第5節では、本実施形態に係る計測システム1の変形例について説明する。すなわち、次のような態様によって、本実施形態に係る計測システム1をさらに創意工夫してもよい。5. Modification Example Section 5 describes a modification of the
第一に、計測システム1そのものが移動可能に構成されている場合、計測システム1の速度、加速度、移動方向、周辺環境の少なくとも1つのパラメータを考慮して、空領域Rが決定されるようにしてもよい。特に、これらのパラメータと、空領域Rとの相関性が機械学習によって予め学習されていることが好ましい。さらに、計測システム1を継続的に使用していく中でさらに機械学習を行って、より好ましい空領域Rが決定されることが好ましい。 First, when the
第二に、障害物となりうる障害物が複数ある場合、情報処理装置3における障害物判定部333が、これら複数の障害物それぞれを分離的に認識可能に構成されることが好ましい。特に、複数の障害物それぞれの囲う所定領域が機械学習によって予め学習されていることにより、障害物判定部333が複数の障害物それぞれを分離的に認識可能に構成されることが好ましい。 Secondly, when there are a plurality of obstacles that can be obstacles, it is preferable that the
第三に、例えば計測システム1を搭載した本自動車であれば、計測された障害物の位置に基づいて、一部又は全部について自動運転がなされてもよい。例えば、衝突を回避するためのブレーキ動作や、ハンドル動作が考えられうる。また、計測された障害物の認識状況を、本自動車の運転者が認知できるように、本自動車内に取り付けられたモニターに表示されるように実施してもよい。 Thirdly, for example, in the case of the present vehicle equipped with the
第四に、前述の実施形態では、第1のカメラ21及び第2のカメラ22からなる2眼の撮像装置2を用いているが、3つ以上のカメラを用いた3眼以上の撮像装置2を実施してもよい。カメラの個数を増やすことで、計測システム1による計測に係るロバスト性が向上するという、有利な効果を奏する。 Fourth, in the above-described embodiment, the twin-lens
第五に、撮像装置2及び情報処理装置3を、計測システム1としてではなく、これらの機能を有する1つの装置として実現してもよい。具体的には例えば、3次元計測装置、画像処理装置、投影表示装置、3次元シミュレータ装置等が挙げられる。 Fifth, the
第六に、位相限定相関法に代えて異なる位置合わせ手法を採用してもよい。例えば、撮像装置2が撮像した画像IMを直接画像処理して位置合わせを行ってもよいし、撮像装置2以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。 Sixth, a different alignment method may be adopted instead of the phase-limited correlation method. For example, the image IM captured by the
6.結言
以上のように、本実施形態によれば、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム1を実施することができる。6. Conclusion As described above, according to the present embodiment, it is possible to implement the
すなわち、「路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記IPM変換部は、前記画像を逆透視投影変換してIPM画像を生成するように構成され、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測システム」が提供される。 That is, "a measurement system used in a moving body traveling on a road surface, which includes an image pickup device and an information processing device, and the image pickup device can image a road surface or an obstacle included in an angle of view in time series. The information processing apparatus includes a communication unit, an IPM conversion unit, an obstacle determination unit, an empty area setting unit, and a measurement unit, and the communication unit is connected to the image pickup device. The image captured by the image pickup apparatus is configured to be receivable, and the IPM conversion unit is configured to perform back-perspective projection conversion of the image to generate an IPM image, wherein the IPM image is the road surface or the road surface. An image drawn so as to overlook a predetermined plane including an obstacle, the obstacle determination unit is configured to be able to determine the presence or absence or position of the obstacle in the IPM image, and the empty area setting unit determines. The empty area can be variably set based on the presence or absence or the position of the obstacle, and the empty area is a region in the IPM image that does not include the obstacle, and the measuring unit is a region. A measurement system configured to be able to measure the absolute speed of the moving object based on the empty area is provided.
また、かかる計測システム1を用いることで、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測方法を実施することができる。 Further, by using the
すなわち、「路面を走行する移動体において使用される計測方法であって、撮像ステップと、IPM変換ステップと、障害物判定ステップと、空領域設定ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる路面又は障害物を時系列に撮像し、前記IPM変換ステップでは、前記画像を逆透視投影変換してIPM画像を生成し、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定ステップでは、前記IPM画像における前記障害物の有無又は位置を判定し、前記空領域設定ステップでは、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定し、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、前記計測ステップでは、前記空領域に基づいて前記移動体の絶対速度を計測する、計測方法」が提供される。 That is, "a measurement method used in a moving body traveling on a road surface, which includes an image pickup step, an IPM conversion step, an obstacle determination step, an empty area setting step, and a measurement step. , The road surface or obstacle included in the angle of view is imaged in time series, and in the IPM conversion step, the image is subjected to back-perspective projection conversion to generate an IPM image, wherein the IPM image is the road surface or obstacle. An image drawn so as to give a bird's-eye view of a predetermined plane including an object. In the obstacle determination step, the presence or absence or position of the obstacle in the IPM image is determined, and in the empty area setting step, the determined obstacle is determined. An empty area is variably set based on the presence or absence or position of an object, where the empty area is a region in the IPM image that does not include the obstacle, and in the measurement step, the empty area is used as the basis for the empty area. A measurement method for measuring the absolute speed of a moving object "is provided.
また、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム1をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータが読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。 Further, software for implementing the
すなわち、「計測プログラムであって、コンピュータを、路面を走行する移動体において使用される計測システムの情報処理装置として機能させ、前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、撮像装置によって撮像された画像を受信可能に構成され、前記IPM変換部は、前記画像を逆透視投影変換してIPM画像を生成するように構成され、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測プログラム」が提供される。 That is, "a measurement program in which a computer functions as an information processing device of a measurement system used in a moving body traveling on a road surface, and the information processing device includes a communication unit, an IPM conversion unit, and an obstacle determination. The communication unit includes a unit, an empty area setting unit, and a measurement unit, the communication unit is configured to be able to receive an image captured by an image pickup device, and the IPM conversion unit converts the image into a back-perspective projection conversion and IPM. The IPM image is configured to generate an image, and the IPM image is an image drawn so as to overlook a predetermined plane including the road surface or an obstacle, and the obstacle determination unit is the obstacle in the IPM image. The empty area setting unit is configured to be able to determine the presence / absence or position of an object, and the empty area setting unit is configured to be able to variably set an empty area based on the determined presence / absence or position of the obstacle. In the region of the IPM image that does not include the obstacle, the measuring unit is provided with a measurement program configured to be capable of measuring the absolute speed of the moving body based on the empty region.
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Finally, various embodiments of the present invention have been described, but these are presented as examples and are not intended to limit the scope of the invention. The novel embodiment can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and the equivalent scope thereof.
1 :計測システム
2 :撮像装置
21 :第1のカメラ
22 :第2のカメラ
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :IPM変換部
332 :ヒストグラム生成部
333 :障害物判定部
334 :空領域設定部
335 :計測部
D :差分
HG :ヒストグラム
HG1 :第1のヒストグラム
HG2 :第2のヒストグラム
IM :画像
IM' :IPM画像
IM1 :第1の画像
IM1' :第1のIPM画像
IM2 :第2の画像
IM2' :第2のIPM画像
O_C :カメラ座標系
O_W :世界座標系
R :空領域
π :平面
π_C :カメラ画像平面1: Measurement system 2: Image pickup device 21: First camera 22: Second camera 3: Information processing device 30: Communication bus 31: Communication unit 32: Storage unit 33: Control unit 331: IPM conversion unit 332: histogram generation Unit 333: Obstacle determination unit 334: Empty area setting unit 335: Measurement unit D: Difference HG: histogram HG1: First histogram HG2: Second histogram IM: Image IM': IPM image IM1: First image IM1 ': First IPM image IM2: Second image IM2': Second IPM image O_C: Camera coordinate system O_W: World coordinate system R: Empty region π: Plane π_C: Camera image plane
Claims (10)
撮像装置と、情報処理装置とを備え、
前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、
前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、
前記通信部は、
前記撮像装置と接続され、
前記撮像装置によって撮像された画像を受信可能に構成され、
前記IPM変換部は、前記画像を逆透視投影変換してIPM画像を生成するように構成され、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、
前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、
前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測システム。A measurement system used in moving objects traveling on the road surface.
Equipped with an image pickup device and an information processing device,
The image pickup device is configured to be able to image the road surface or obstacles included in the angle of view in chronological order.
The information processing device includes a communication unit, an IPM conversion unit, an obstacle determination unit, an empty area setting unit, and a measurement unit.
The communication unit
Connected to the image pickup device
It is configured to be able to receive the image captured by the image pickup device.
The IPM conversion unit is configured to generate an IPM image by performing a back-perspective projection conversion of the image, and the IPM image is drawn so as to overlook a predetermined plane including the road surface or an obstacle. In the image,
The obstacle determination unit is configured to be able to determine the presence or absence or position of the obstacle in the IPM image.
The empty area setting unit is configured to be able to variably set the empty area based on the presence or absence or position of the determined obstacle, and the empty area does not include the obstacle in the IPM image. In the area,
The measuring unit is a measuring system configured to be able to measure the absolute speed of the moving body based on the empty area.
前記計測部は、前記障害物がある場合には、その位置の時系列変化に基づいて前記移動体に対する前記障害物の相対速度を計測可能に構成される、
計測システム。In the measurement system according to claim 1,
When there is an obstacle, the measuring unit is configured to be able to measure the relative speed of the obstacle with respect to the moving body based on the time-series change of the position.
Measurement system.
前記計測部は、前記移動体の絶対速度と前記障害物の相対速度とに基づいて、前記障害物の絶対速度を計測可能に構成される、
計測システム。In the measurement system according to claim 2,
The measuring unit is configured to be able to measure the absolute speed of the obstacle based on the absolute speed of the moving body and the relative speed of the obstacle.
Measurement system.
前記空領域は、矩形状に設定される、
計測システム。In the measurement system according to any one of claims 1 to 3.
The empty area is set in a rectangular shape.
Measurement system.
前記撮像装置の撮像レートは、100fps以上である、
計測システム。In the measurement system according to any one of claims 1 to 4.
The image pickup rate of the image pickup apparatus is 100 fps or more.
Measurement system.
前記撮像装置は、
第1及び第2のカメラからなる2眼の撮像装置であり、
前記第1及び第2のカメラの画角に含まれる前記路面又は障害物を、第1及び第2の画像として時系列に撮像可能に構成され、
前記IPM変換部は、前記第1及び第2の画像を逆透視投影変換して第1及び第2のIPM画像をそれぞれ生成し、
前記障害物判定部は、前記第1及び第2のIPM画像の差分に基づいて前記障害物の有無又は位置を判定可能に構成される、
計測システム。In the measurement system according to any one of claims 1 to 5.
The image pickup device is
It is a two-eye imaging device consisting of a first and a second camera.
The road surface or obstacles included in the angles of view of the first and second cameras are configured to be able to be imaged in chronological order as first and second images.
The IPM conversion unit performs back-perspective projection conversion of the first and second images to generate first and second IPM images, respectively.
The obstacle determination unit is configured to be able to determine the presence or absence or position of the obstacle based on the difference between the first and second IPM images.
Measurement system.
前記空領域設定部は、前記障害物を含まない範囲でピクセル数が大きくなるように、前記空領域を設定可能に構成される、
計測システム。In the measurement system according to any one of claims 1 to 6.
The empty area setting unit is configured to be able to set the empty area so that the number of pixels is large in a range not including the obstacle.
Measurement system.
前記空領域設定部は、前記IPM画像の各フレームごとに前記空領域を可変に設定可能に構成される、
計測システム。In the measurement system according to any one of claims 1 to 7.
The empty area setting unit is configured so that the empty area can be variably set for each frame of the IPM image.
Measurement system.
撮像ステップと、IPM変換ステップと、障害物判定ステップと、空領域設定ステップと、計測ステップとを備え、
前記撮像ステップでは、画角に含まれる路面又は障害物を時系列に撮像し、
前記IPM変換ステップでは、前記画像を逆透視投影変換してIPM画像を生成し、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定ステップでは、前記IPM画像における前記障害物の有無又は位置を判定し、
前記空領域設定ステップでは、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定し、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、
前記計測ステップでは、前記空領域に基づいて前記移動体の絶対速度を計測する、
計測方法。It is a measurement method used for moving objects traveling on the road surface.
It includes an imaging step, an IPM conversion step, an obstacle determination step, an empty area setting step, and a measurement step.
In the imaging step, the road surface or obstacles included in the angle of view are imaged in chronological order.
In the IPM conversion step, the image is subjected to reverse perspective projection conversion to generate an IPM image, wherein the IPM image is an image drawn so as to overlook a predetermined plane including the road surface or an obstacle.
In the obstacle determination step, the presence or absence or position of the obstacle in the IPM image is determined.
In the empty area setting step, an empty area is variably set based on the presence or absence or position of the determined obstacle, and the empty area is a region in the IPM image that does not include the obstacle.
In the measurement step, the absolute velocity of the moving body is measured based on the empty area.
Measurement method.
前記情報処理装置は、通信部と、IPM変換部と、障害物判定部と、空領域設定部と、計測部とを備え、
前記通信部は、撮像装置によって撮像された画像を受信可能に構成され、
前記IPM変換部は、前記画像を逆透視投影変換してIPM画像を生成するように構成され、ここで前記IPM画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定部は、前記IPM画像における前記障害物の有無又は位置を判定可能に構成され、
前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記IPM画像中の前記障害物を含まない領域で、
前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測プログラムA measurement program that allows a computer to function as an information processing device for a measurement system used in a moving object traveling on a road surface.
The information processing device includes a communication unit, an IPM conversion unit, an obstacle determination unit, an empty area setting unit, and a measurement unit.
The communication unit is configured to be able to receive an image captured by an image pickup device.
The IPM conversion unit is configured to generate an IPM image by performing a back-perspective projection conversion of the image, and the IPM image is drawn so as to overlook a predetermined plane including the road surface or an obstacle. In the image,
The obstacle determination unit is configured to be able to determine the presence or absence or position of the obstacle in the IPM image.
The empty area setting unit is configured to be able to variably set the empty area based on the presence or absence or position of the determined obstacle, and the empty area does not include the obstacle in the IPM image. In the area,
The measuring unit is a measurement program configured to be capable of measuring the absolute speed of the moving body based on the empty area.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104031 | 2019-06-03 | ||
JP2019104031 | 2019-06-03 | ||
PCT/JP2020/018919 WO2020246202A1 (en) | 2019-06-03 | 2020-05-12 | Measurement system, measurement method, and measurement program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020246202A1 true JPWO2020246202A1 (en) | 2021-12-09 |
Family
ID=73652798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021524723A Ceased JPWO2020246202A1 (en) | 2019-06-03 | 2020-05-12 | Measurement system, measurement method, and measurement program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2020246202A1 (en) |
WO (1) | WO2020246202A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5109345A (en) * | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
JPH0933232A (en) * | 1995-05-18 | 1997-02-07 | Omron Corp | Object observation method and object observation apparatus using this method, as well as traffic-flow measuring apparatus using this apparatus, and parking-lot observation apparatus |
JP2014029604A (en) * | 2012-07-31 | 2014-02-13 | Denso It Laboratory Inc | Moving object recognition system, moving object recognition program, and moving object recognition method |
JP2014522495A (en) * | 2011-06-09 | 2014-09-04 | ジェ.エム.エール.フィ | Apparatus for measuring the speed and position of a vehicle moving along a guiding track, and corresponding method and computer program product |
JP2014194361A (en) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | Movement distance estimation device, movement distance estimation method, and program |
-
2020
- 2020-05-12 WO PCT/JP2020/018919 patent/WO2020246202A1/en active Application Filing
- 2020-05-12 JP JP2021524723A patent/JPWO2020246202A1/en not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5109345A (en) * | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
JPH0933232A (en) * | 1995-05-18 | 1997-02-07 | Omron Corp | Object observation method and object observation apparatus using this method, as well as traffic-flow measuring apparatus using this apparatus, and parking-lot observation apparatus |
JP2014522495A (en) * | 2011-06-09 | 2014-09-04 | ジェ.エム.エール.フィ | Apparatus for measuring the speed and position of a vehicle moving along a guiding track, and corresponding method and computer program product |
JP2014029604A (en) * | 2012-07-31 | 2014-02-13 | Denso It Laboratory Inc | Moving object recognition system, moving object recognition program, and moving object recognition method |
JP2014194361A (en) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | Movement distance estimation device, movement distance estimation method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2020246202A1 (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zaarane et al. | Distance measurement system for autonomous vehicles using stereo camera | |
EP3252658B1 (en) | Information processing apparatus and information processing method | |
JP4899424B2 (en) | Object detection device | |
JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
JP6574611B2 (en) | Sensor system for obtaining distance information based on stereoscopic images | |
US11841434B2 (en) | Annotation cross-labeling for autonomous control systems | |
JP2004334819A (en) | Stereo calibration device and stereo image monitoring device using same | |
JPWO2013133129A1 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
JP6337504B2 (en) | Image processing apparatus, moving body, robot, device control method and program | |
JP4967758B2 (en) | Object movement detection method and detection apparatus | |
CN114919584A (en) | Motor vehicle fixed point target distance measuring method and device and computer readable storage medium | |
JP2021051347A (en) | Distance image generation apparatus and distance image generation method | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP2021092996A (en) | Measurement system, vehicle, measurement method, measurement device and measurement program | |
JP6577595B2 (en) | Vehicle external recognition device | |
WO2020246202A1 (en) | Measurement system, measurement method, and measurement program | |
JP7169689B2 (en) | Measurement system, measurement method, and measurement program | |
WO2020003764A1 (en) | Image processing device, moving apparatus, method, and program | |
CN111788573A (en) | Sky determination in environmental detection for mobile platforms and related systems and methods | |
JP2022130307A (en) | Information processing device, information processing method and program | |
JP2020173504A (en) | Position estimation system, position estimation device, position estimation method, and program | |
JP7249919B2 (en) | Estimation device, estimation method and program | |
JP2021051524A (en) | Work machine peripheral detection object position detection system, and work machine peripheral detection object position detection program | |
JP2019096031A (en) | Estimation program, estimation device, and estimation method | |
KR20200072590A (en) | Method And Apparatus for Detection of Parking Loss for Automatic Parking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230131 |