WO2020246202A1 - 計測システム、計測方法、及び計測プログラム - Google Patents
計測システム、計測方法、及び計測プログラム Download PDFInfo
- Publication number
- WO2020246202A1 WO2020246202A1 PCT/JP2020/018919 JP2020018919W WO2020246202A1 WO 2020246202 A1 WO2020246202 A1 WO 2020246202A1 JP 2020018919 W JP2020018919 W JP 2020018919W WO 2020246202 A1 WO2020246202 A1 WO 2020246202A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- obstacle
- ipm
- unit
- empty area
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 85
- 238000000691 measurement method Methods 0.000 title claims description 16
- 230000010365 information processing Effects 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 abstract description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像（前記路面又は障害物を含む所定平面を俯瞰するように描画された画像）を生成するように構成され、前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域（前記ＩＰＭ画像中の前記障害物を含まない領域）を可変に設定可能に構成され、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される。
Description
本発明は、計測システム、計測方法、及び計測プログラムに関する。
産業界において、自動車や移動ロボット等の移動体が自身の絶対速度を正確に把握できることが求められている。例えば一般的な自動車では、タイヤの単位時間あたりの回転数を車速センサ（回転に応じて所定のパルスを出力しうるもの）で測定し、タイヤの外周の長さと乗算することで、その絶対速度を推定することができる。
しかしながら、かかる手法はヒトの運転時に参考とするための概算値を求めるもので、精度には欠けている。今後の自動運転技術の発展に先駆け、従来手法とは異なるより精度の高い計測手法が求められている。また、車に限らず移動ロボット等においても同様のニーズが生じている。
本発明は、かかる事情を鑑みてなされたものであり、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム、計測方法、及び計測プログラムを提供することを目的とする。
本発明によれば、路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測システムが提供される。
本発明に係る計測システムでは、ＩＰＭ画像において空領域を可変に設定可能であり、このような空領域に基づいて移動体の絶対速度を計測することで、高い精度の計測を実現することができる、という有利な効果を奏する。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．全体構成
第１節では、計測システム１の全体構成について説明する。図１は、本実施形態に係る計測システム１の構成概要を示す図である。計測システム１は、撮像装置２と、情報処理装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、路面（一般的な道路はもちろん、室内の定められた床面等も含みうる。）を走行する移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）、船舶、移動型ロボット、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、本自動車の絶対速度を計測可能に構成される。
第１節では、計測システム１の全体構成について説明する。図１は、本実施形態に係る計測システム１の構成概要を示す図である。計測システム１は、撮像装置２と、情報処理装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、路面（一般的な道路はもちろん、室内の定められた床面等も含みうる。）を走行する移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）、船舶、移動型ロボット、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、本自動車の絶対速度を計測可能に構成される。
１．１ 撮像装置２
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レートが高いものが採用されることが好ましい。撮像レートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。具体的には例えば、１００、１２５、１５０、１７５、２００、２２５、２５０、２７５、３００、３２５、３５０、３７５、４００、４２５、４５０、４７５、５００、５２５、５５０、５７５、６００、６２５、６５０、６７５、７００、７２５、７５０、７７５、８００、８２５、８５０、８７５、９００、９２５、９５０、９７５、１０００、１０２５、１０５０、１０７５、１１００、１１２５、１１５０、１１７５、１２００、１２２５、１２５０、１２７５、１３００、１３２５、１３５０、１３７５、１４００、１４２５、１４５０、１４７５、１５００、１５２５、１５５０、１５７５、１６００、１６２５、１６５０、１６７５、１７００、１７２５、１７５０、１７７５、１８００、１８２５、１８５０、１８７５、１９００、１９２５、１９５０、１９７５、２０００ｆｐｓ（ヘルツ）であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。より具体的には、撮像装置２は、第１のカメラ２１及び第２のカメラ２２からなる、いわゆる２眼の撮像装置である。また、第１のカメラ２１の画角及び第２のカメラ２２の画角は、互いに重複する領域があることに留意されたい。また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム１を用いた計測を実施することができる、という有利な効果を奏する。
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レートが高いものが採用されることが好ましい。撮像レートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。具体的には例えば、１００、１２５、１５０、１７５、２００、２２５、２５０、２７５、３００、３２５、３５０、３７５、４００、４２５、４５０、４７５、５００、５２５、５５０、５７５、６００、６２５、６５０、６７５、７００、７２５、７５０、７７５、８００、８２５、８５０、８７５、９００、９２５、９５０、９７５、１０００、１０２５、１０５０、１０７５、１１００、１１２５、１１５０、１１７５、１２００、１２２５、１２５０、１２７５、１３００、１３２５、１３５０、１３７５、１４００、１４２５、１４５０、１４７５、１５００、１５２５、１５５０、１５７５、１６００、１６２５、１６５０、１６７５、１７００、１７２５、１７５０、１７７５、１８００、１８２５、１８５０、１８７５、１９００、１９２５、１９５０、１９７５、２０００ｆｐｓ（ヘルツ）であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。より具体的には、撮像装置２は、第１のカメラ２１及び第２のカメラ２２からなる、いわゆる２眼の撮像装置である。また、第１のカメラ２１の画角及び第２のカメラ２２の画角は、互いに重複する領域があることに留意されたい。また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム１を用いた計測を実施することができる、という有利な効果を奏する。
＜第１のカメラ２１＞
第１のカメラ２１は、例えば、計測システム１において、第２のカメラ２２と並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、第１のカメラ２１の画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、第１のカメラ２１は、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。
第１のカメラ２１は、例えば、計測システム１において、第２のカメラ２２と並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、第１のカメラ２１の画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、第１のカメラ２１は、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。
＜第２のカメラ２２＞
第２のカメラ２２は、例えば、計測システム１において、第１のカメラ２１と並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、第２のカメラ２２の画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、第２のカメラ２２は、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。
第２のカメラ２２は、例えば、計測システム１において、第１のカメラ２１と並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、第２のカメラ２２の画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、第２のカメラ２２は、後述の情報処理装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を情報処理装置３に転送可能に構成される。
換言すると、第１及び第２のカメラ２１，２２の画角に含まれる路面又は障害物を、第１及び第２の画像ＩＭ１，ＩＭ２として時系列に撮像可能に構成される。
１．２ 情報処理装置３
図２Ａは、情報処理装置３の構成概要図を示し、図２Ｂは、情報処理装置３における制御部３３の機能ブロック図を示している。図２Ａに示されるように、情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
図２Ａは、情報処理装置３の構成概要図を示し、図２Ｂは、情報処理装置３における制御部３３の機能ブロック図を示している。図２Ａに示されるように、情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
＜通信部３１＞
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における第１のカメラ２１及び第２のカメラ２２とは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、本自動車の絶対速度等の計測結果を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における第１のカメラ２１及び第２のカメラ２２とは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、本自動車の絶対速度等の計測結果を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。
＜記憶部３２＞
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
特に、記憶部３２は、撮像装置２における第１のカメラ２１及び第２のカメラ２２によって撮像され、且つ通信部３１が受信した第１の画像ＩＭ１及び第２の画像ＩＭ２（画像ＩＭ）を記憶する。記憶部３２は、ＩＰＭ画像ＩＭ’を記憶する。具体的には第１の画像ＩＭ１より変換された第１のＩＰＭ画像ＩＭ１’及び第２の画像ＩＭ２より変換された第２のＩＰＭ画像ＩＭ２’を記憶する。ここで、画像ＩＭやＩＰＭ画像ＩＭ’は、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。
また、記憶部３２は、画像ＩＭに基づいてＩＰＭ画像ＩＭ’を生成するためのＩＰＭ変換プログラムを記憶している。記憶部３２は、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄを演算し且つ角度（方向）を基準とした第１のヒストグラムＨＧ１及び距離を基準とした第２のヒストグラムＨＧ２を生成するためのヒストグラム生成プログラムを記憶している。記憶部３２は、第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、ＩＰＭ画像ＩＭ’（又は差分Ｄ）における前方車両等の障害物の有無又は位置を判定する障害物判定プログラムを記憶している。記憶部３２は、ＩＰＭ画像ＩＭ’（又は差分Ｄ）において空領域Ｒ（後述）を設定する空領域設定プログラムを記憶している。記憶部３２は、空領域Ｒに基づいて本自動車の絶対速度を計測するための計測プログラムを記憶している。記憶部３２は、前方車両等の障害物がある場合には、その位置の時系列変化に基づいて本自動車に対する障害物の相対速度を計測し、ひいては、本自動車の絶対速度と障害物の相対速度とに基づいて、障害物の絶対速度を計測するための計測プログラムを記憶している。さらに、記憶部３２は、これ以外にも制御部３３によって実行される計測システム１に係る種々のプログラム等を記憶している。
＜制御部３３＞
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的にはＩＰＭ変換機能、ヒストグラム生成機能、障害物判定機能、空領域設定機能、計測機能等が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図２Ｂに示されるように、ＩＰＭ変換部３３１、ヒストグラム生成部３３２、障害物判定部３３３、空領域設定部３３４、及び計測部３３５として実行されうる。なお、図２Ａ及び図２Ｂにおいては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、ＩＰＭ変換部３３１、ヒストグラム生成部３３２、障害物判定部３３３、空領域設定部３３４、及び計測部３３５についてさらに詳述する。
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。具体的にはＩＰＭ変換機能、ヒストグラム生成機能、障害物判定機能、空領域設定機能、計測機能等が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図２Ｂに示されるように、ＩＰＭ変換部３３１、ヒストグラム生成部３３２、障害物判定部３３３、空領域設定部３３４、及び計測部３３５として実行されうる。なお、図２Ａ及び図２Ｂにおいては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、ＩＰＭ変換部３３１、ヒストグラム生成部３３２、障害物判定部３３３、空領域設定部３３４、及び計測部３３５についてさらに詳述する。
［ＩＰＭ変換部３３１］
ＩＰＭ変換部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。ＩＰＭ変換部３３１は、撮像装置２における第１のカメラ２１及び第２のカメラ２２から送信され且つ通信部３１によって受信した画像ＩＭに対して、逆透視投影変換処理を実行可能に構成される。逆透視投影変換については、図３及び図４を参照しながら、第２節において詳述する。
ＩＰＭ変換部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。ＩＰＭ変換部３３１は、撮像装置２における第１のカメラ２１及び第２のカメラ２２から送信され且つ通信部３１によって受信した画像ＩＭに対して、逆透視投影変換処理を実行可能に構成される。逆透視投影変換については、図３及び図４を参照しながら、第２節において詳述する。
換言すると、第１の画像ＩＭ１を逆透視投影変換することによって、第１のＩＰＭ画像ＩＭ１’が生成され、第２の画像ＩＭ２を逆透視投影変換することによって、第２のＩＰＭ画像ＩＭ２’が生成される。また、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’を比較することで、これらの座標の対応関係を推定し、推定された座標の対応関係に基づいて、ＩＰＭ画像ＩＭ’の真値との誤差を補正されるとよい。
さらに、かかる逆透視投影変換を所定領域（ＲＯＩ）で限定的に実施することで、処理時間を短縮し、計測システム１全体の制御レートを高くするとよい。このような所定領域は、過去（通常は１つ前）のフレームの処理によって決定されるとよい。そして、計測システム１全体としては、第１のカメラ２１及び第２のカメラ２２の撮像レート、並びに制御部３３の動作レートの低い方が、本自動車の絶対速度の計測に係る制御レートとして働く。換言すると、当該撮像レート及び動作レートを同程度に高くすることで、フィードバック制御のみであっても本自動車の絶対速度の計測を実施することができる。
［ヒストグラム生成部３３２］
ヒストグラム生成部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。ヒストグラム生成部３３２は、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄを演算し、続いて、それぞれ異なるパラメータを基準に生成された複数のヒストグラムＨＧを生成する。かかるヒストグラムＨＧも、過去のフレームで決定された所定領域に限定されてもよい。具体的には、角度（方向）を基準とした第１のヒストグラムＨＧ１と、距離を基準とした第２のヒストグラムＨＧ２とを生成する。さらに、ヒストグラム生成部３３２は、生成した第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、次のフレームでの処理で使用する所定領域を決定してもよい。ヒストグラムの一例については、図６Ａ及び図６Ｂを参照されたい。
ヒストグラム生成部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。ヒストグラム生成部３３２は、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄを演算し、続いて、それぞれ異なるパラメータを基準に生成された複数のヒストグラムＨＧを生成する。かかるヒストグラムＨＧも、過去のフレームで決定された所定領域に限定されてもよい。具体的には、角度（方向）を基準とした第１のヒストグラムＨＧ１と、距離を基準とした第２のヒストグラムＨＧ２とを生成する。さらに、ヒストグラム生成部３３２は、生成した第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、次のフレームでの処理で使用する所定領域を決定してもよい。ヒストグラムの一例については、図６Ａ及び図６Ｂを参照されたい。
［障害物判定部３３３］
障害物判定部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。障害物判定部３３３は、ヒストグラム生成部３３２によって演算された差分Ｄ、並びに第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、障害物の有無又はその位置を判定する。障害物として前方車両が有ると判定された場合には、その位置が、適宜、本自動車の運転者に不図示のモニターを介して提示されるとよい。さらには、かかる判定結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置に適切な制御信号が送信されてもよい。
障害物判定部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。障害物判定部３３３は、ヒストグラム生成部３３２によって演算された差分Ｄ、並びに第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、障害物の有無又はその位置を判定する。障害物として前方車両が有ると判定された場合には、その位置が、適宜、本自動車の運転者に不図示のモニターを介して提示されるとよい。さらには、かかる判定結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置に適切な制御信号が送信されてもよい。
［空領域設定部３３４］
空領域設定部３３４は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。空領域設定部３３４は、障害物判定部３３３によって判定された障害物の有無又は位置に基づいて空領域Ｒを可変に設定することができる。ここで空領域Ｒとは、ＩＰＭ画像ＩＭ’中の障害物を含まない領域を意味する。例えば、空領域Ｒは、矩形状（長方形又は正方形）に設定される。特に矩形状、特に正方形を採用することで、演算を効率化できるという有利な効果を奏する。また、空領域設定部３３４は、障害物を含まない範囲でピクセル数が大きくなるように空領域Ｒを設定する。基本的には、予め定められたピクセル数の上限値以下の範囲であれば、空領域Ｒのピクセル数が大きいほど、後述の本自動車の絶対速度の計測精度が高まることに留意されたい。また、空領域設定部３３４は、ＩＰＭ画像ＩＭ’の各フレームごとに空領域Ｒを可変に設定する。これについては、図５Ａを参照されたい。
空領域設定部３３４は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。空領域設定部３３４は、障害物判定部３３３によって判定された障害物の有無又は位置に基づいて空領域Ｒを可変に設定することができる。ここで空領域Ｒとは、ＩＰＭ画像ＩＭ’中の障害物を含まない領域を意味する。例えば、空領域Ｒは、矩形状（長方形又は正方形）に設定される。特に矩形状、特に正方形を採用することで、演算を効率化できるという有利な効果を奏する。また、空領域設定部３３４は、障害物を含まない範囲でピクセル数が大きくなるように空領域Ｒを設定する。基本的には、予め定められたピクセル数の上限値以下の範囲であれば、空領域Ｒのピクセル数が大きいほど、後述の本自動車の絶対速度の計測精度が高まることに留意されたい。また、空領域設定部３３４は、ＩＰＭ画像ＩＭ’の各フレームごとに空領域Ｒを可変に設定する。これについては、図５Ａを参照されたい。
［計測部３３５］
計測部３３５は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。計測部３３５は、空領域設定部３３４によって設定された空領域Ｒに基づいて本自動車の絶対速度を高い精度で計測することができる。また、障害物判定部３３３によって障害物が有ると判定された場合には、計測部３３５は、障害物の位置の時系列変化に基づいて本自動車に対する障害物の相対速度を計測する。さらに、計測部３３５は、本自動車の絶対速度と障害物の相対速度とに基づいて、障害物の絶対速度を高い精度で計測する。これについて、第３節において、さらに詳述する。
計測部３３５は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。計測部３３５は、空領域設定部３３４によって設定された空領域Ｒに基づいて本自動車の絶対速度を高い精度で計測することができる。また、障害物判定部３３３によって障害物が有ると判定された場合には、計測部３３５は、障害物の位置の時系列変化に基づいて本自動車に対する障害物の相対速度を計測する。さらに、計測部３３５は、本自動車の絶対速度と障害物の相対速度とに基づいて、障害物の絶対速度を高い精度で計測する。これについて、第３節において、さらに詳述する。
２．逆透視投影変換
第２節では、逆透視投影変換について説明する。図３は、逆透視投影変換の概要図であり、ここではモデルとして、ピンホールカメラを仮定するとともに、カメラのピッチ角のみを考慮して表式化していることにも留意されたい。もちろん、魚眼カメラやオムニディレクショナルカメラを仮定してもよいし、ロール角を考慮して表式化してもよい。図２に示されるように、世界座標系Ｏ＿Ｗで表された点（Ｘ＿Ｗ，Ｙ＿Ｗ，Ｚ＿Ｗ）をカメラ画像平面π＿Ｃに投影したときの点（ｘ，ｙ）は［数１］のように表される。
ただし、Ｋはカメラ（第１のカメラ２１及び第２のカメラ２２）の内部行列、Πはカメラ座標系Ｏ＿Ｃからカメラ画像平面π＿Ｃへの射影行列、Ｒ∈ＳＯ（３）及びＴ∈Ｒ＾３は、世界座標系Ｏ＿Ｗからカメラ座標系Ｏ＿Ｃへの回転行列、及び並進ベクトルをそれぞれ表す。
第２節では、逆透視投影変換について説明する。図３は、逆透視投影変換の概要図であり、ここではモデルとして、ピンホールカメラを仮定するとともに、カメラのピッチ角のみを考慮して表式化していることにも留意されたい。もちろん、魚眼カメラやオムニディレクショナルカメラを仮定してもよいし、ロール角を考慮して表式化してもよい。図２に示されるように、世界座標系Ｏ＿Ｗで表された点（Ｘ＿Ｗ，Ｙ＿Ｗ，Ｚ＿Ｗ）をカメラ画像平面π＿Ｃに投影したときの点（ｘ，ｙ）は［数１］のように表される。
ただし、Ｋはカメラ（第１のカメラ２１及び第２のカメラ２２）の内部行列、Πはカメラ座標系Ｏ＿Ｃからカメラ画像平面π＿Ｃへの射影行列、Ｒ∈ＳＯ（３）及びＴ∈Ｒ＾３は、世界座標系Ｏ＿Ｗからカメラ座標系Ｏ＿Ｃへの回転行列、及び並進ベクトルをそれぞれ表す。
いま、第１のカメラ２１及び第２のカメラ２２に写っている障害物がある平面π上にのみ存在する場合を考える。このとき、画像平面上の点とπ上の点の間には１対１対応があるため、画像平面からπへの１対１の写像を考えることができる。この写像を逆透視投影（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ）という。Ｒ、Ｔがそれぞれ、
と表されるとき、画像上の点（ｘ，ｙ）の逆透視投影像であるπ上の点（Ｘ＿Ｗ，Ｙ＿Ｗ，Ｚ＿Ｗ）は、（ｘ，ｙ）を用いて、［数３］のように計算される。
と表されるとき、画像上の点（ｘ，ｙ）の逆透視投影像であるπ上の点（Ｘ＿Ｗ，Ｙ＿Ｗ，Ｚ＿Ｗ）は、（ｘ，ｙ）を用いて、［数３］のように計算される。
ここで、ｆ＿ｘ、ｆ＿ｙはそれぞれｘ、ｙ方向の焦点距離、（ｏ＿ｘ，ｏ＿ｙ）は光学中心である。本実施形態では、この写像によって、撮像装置２によって撮像された画像ＩＭを射影した画像をＩＰＭ画像ＩＭ’と呼ぶ。２台のカメラ（第１のカメラ２１及び第２のカメラ２２）が同じ平面を撮像している場合、計算されるＩＰＭ画像ＩＭ’の対（第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’）で、平面上のある１点に対応する画素の輝度値は同一となる。しかし、平面上にない障害物が視野内に存在する場合、ＩＰＭ画像ＩＭ’の対に輝度の差が生じる。この差（差分Ｄ）を検出することにより、視野内に存在する前方車両等の障害物を検知することができる。この手法は、平面のテクスチャに対してロバストであるため、影が写り込んでいるような単眼カメラが不得意とする状況でも、障害物を正確に検知することができる。
これらの流れが図４に示されている。まず、第１のカメラ２１（左）による第１の画像ＩＭ１と、第２のカメラ２２（右）による第２の画像ＩＭ２とが撮像される。続いて、第１の画像ＩＭ１を変換して得られた第１のＩＰＭ画像ＩＭ１’と、第２の画像ＩＭ２を変換して得られた第２のＩＰＭ画像ＩＭ２’とが生成される。さらに、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄ（所定のしきい値をもって２値化したもの）が得られる。差分Ｄにおいて、障害物のエッジ部分が白色のピクセルとして検出されることに留意されたい。また、白色ピクセルよりも手前の領域（図４の、概して一点鎖線で囲まれている部分）は、障害物がない路面であると推定されることにも留意されたい。
３．本自動車の絶対速度の計測手法
第３節では、本自動車の絶対速度の計測手法について詳述する。
第３節では、本自動車の絶対速度の計測手法について詳述する。
３．１ 基本原理
本自動車が走行する近接路面は平坦でかつ静止していると考えられるため、撮像装置２から見た路面の移動量を推定することで，本自動車の移動量、すなわち本自動車の絶対速度を計測することができる。このとき、撮像装置２から見た路面の移動量は本来３次元の量であるが、撮像装置２のフレーム間においては高さ方向の移動量が一定であると仮定できると、路面に対して平行な２次元の移動量を推定する問題として定式化することができる。計測システム１は、本自動車に固定して使用するため、撮像装置２の路面に対する姿勢が既知である。すなわち、このような移動量の推定は、時系列に得られるＩＰＭ画像ＩＭ’に対して連続的に位置合わせを行うことで実施されることに留意されたい。位置合わせの方法は特に限定されるものではないが、特に、高精度の位置合わせ手法として知られる位相限定相関法を用いることが好ましい。
本自動車が走行する近接路面は平坦でかつ静止していると考えられるため、撮像装置２から見た路面の移動量を推定することで，本自動車の移動量、すなわち本自動車の絶対速度を計測することができる。このとき、撮像装置２から見た路面の移動量は本来３次元の量であるが、撮像装置２のフレーム間においては高さ方向の移動量が一定であると仮定できると、路面に対して平行な２次元の移動量を推定する問題として定式化することができる。計測システム１は、本自動車に固定して使用するため、撮像装置２の路面に対する姿勢が既知である。すなわち、このような移動量の推定は、時系列に得られるＩＰＭ画像ＩＭ’に対して連続的に位置合わせを行うことで実施されることに留意されたい。位置合わせの方法は特に限定されるものではないが、特に、高精度の位置合わせ手法として知られる位相限定相関法を用いることが好ましい。
位相限定相関法の基本原理は、クロスパワースペクトルを正規化することで位相情報だけ抽出したスペクトルに対して、逆フーリエ変換を施すと並進量に応じた極めて鋭いピークが生成される特徴を利用したものである。このピーク位置を高い精度で検出することで、高精度な並進パラメータの推定を行うことができる。
３．２ 空領域Ｒの設定
本実施形態では、前述の路面に対する位置合わせを行うにあたり、ＩＰＭ画像ＩＭ’において路面であると推定される領域（図４における一点鎖線の部分）に対して位置合わせを行う。図５Ａは、可変に空領域Ｒ（空領域Ｒａ～Ｒｃ）を設定する態様を示す図（実施例）であり、図５Ｂは、固定された領域Ｒｄ～Ｒｆを空領域Ｒとみなして設定する態様を示す図（比較例）である。
本実施形態では、前述の路面に対する位置合わせを行うにあたり、ＩＰＭ画像ＩＭ’において路面であると推定される領域（図４における一点鎖線の部分）に対して位置合わせを行う。図５Ａは、可変に空領域Ｒ（空領域Ｒａ～Ｒｃ）を設定する態様を示す図（実施例）であり、図５Ｂは、固定された領域Ｒｄ～Ｒｆを空領域Ｒとみなして設定する態様を示す図（比較例）である。
図５Ａに示される実施例（ＩＰＭ画像ＩＭ’ａ～ＩＭ’ｃ）では、空領域Ｒが可変に設定されるものである。すなわち、フレームごとに適切なサイズの空領域Ｒａ～Ｒｃが設定されている。ここでは、障害物を意味する白色のピクセルを含まず且つなるべく大きなピクセル数となる矩形状（特に正方形）の空領域Ｒとしている。ただし、計算処理の都合上、ＩＰＭ画像ＩＭ’（又は差分Ｄ）の全ピクセル数よりも小さいピクセル数で、空領域Ｒのピクセル数の上限値が定められている（ＩＰＭ画像ＩＭ’ｃ）。もちろん形状はこれに限定されない。例えば、円形や楕円形、もしくは、矩形から一部を取り除いた図形等を採用してもよい。
一方、図５Ｂに示される比較例（ＩＰＭ画像ＩＭ’ｄ～ＩＭ’ｆ）は、予め定められた領域Ｒｄ～Ｒｆを空領域Ｒとみなしているものである。つまり、この比較例では、一定距離以下の範囲には障害物はないという仮定が置かれている。このような固定された領域Ｒｄ～Ｒｆで前述の位置合わせが行われることとなるが、領域Ｒｄ，Ｒｅのように、特に、本自動車に対して障害物が近い距離に位置する場合には、これを空領域Ｒ内に含んでしまう場合がある。かかる場合、時系列のＩＰＭ画像ＩＭ’間において相似変換で表されない部位が生じてしまうため、推定精度が低下するという問題がある。
本実施形態に係る計測システム１では、差分Ｄに対して障害物を除外するように適切な空領域Ｒを設定することにより、精度の高い位置合わせを実現することができる。これにより、情報処理装置３の計測部３３５は、本自動車の絶対速度を計測することができる。
３．３ 障害物の相対速度の計測
前述のように、障害物判定部３３３は、ヒストグラム生成部３３２によって演算された差分Ｄ、並びに第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、障害物の有無又はその位置を判定する。ここでいう障害物の位置とは、本自動車に対する相対的位置であるため、これを時系列に取得することで、障害物の相対速度を計測することもできる。換言すると、計測部３３５は、障害物がある場合には、その位置の時系列変化に基づいて本自動車（移動体）に対する障害物の相対速度を高い精度で計測することができる。
前述のように、障害物判定部３３３は、ヒストグラム生成部３３２によって演算された差分Ｄ、並びに第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２に基づいて、障害物の有無又はその位置を判定する。ここでいう障害物の位置とは、本自動車に対する相対的位置であるため、これを時系列に取得することで、障害物の相対速度を計測することもできる。換言すると、計測部３３５は、障害物がある場合には、その位置の時系列変化に基づいて本自動車（移動体）に対する障害物の相対速度を高い精度で計測することができる。
３．４ 障害物の絶対速度の計測
計測部３３５は、本自動車の絶対速度と、障害物の相対速度とを高い時間分解能で且つ高い精度で計測できることから、計測部３３５は、両者に基づいて、障害物の絶対速度を計測することもできる。これにより、本自動車から見て、自身の絶対速度とその周辺に位置する障害物の相対速度及び絶対速度とを、高い時間分解能で且つ高い精度で把握することができるため、今後の自動運転技術等の発展に大きく貢献すると期待される。
計測部３３５は、本自動車の絶対速度と、障害物の相対速度とを高い時間分解能で且つ高い精度で計測できることから、計測部３３５は、両者に基づいて、障害物の絶対速度を計測することもできる。これにより、本自動車から見て、自身の絶対速度とその周辺に位置する障害物の相対速度及び絶対速度とを、高い時間分解能で且つ高い精度で把握することができるため、今後の自動運転技術等の発展に大きく貢献すると期待される。
このように１つのシステム１を用いて、本自動車の絶対速度、障害物の相対速度、及び障害物の絶対速度を何れも高い精度で計測することができる。このようなシステム１によって、自動運転等の移動体の制御に貢献することが期待される。
４．計測方法
第４節では、本実施形態に係る計測システム１を用いた計測方法について説明する。図７は、計測方法の流れを示すアクティビティ図である。以下、図７における各アクティビティに沿って説明する。なお、図示の通り、アクティビティＡ１～Ａ８は、時系列で繰り返される。
第４節では、本実施形態に係る計測システム１を用いた計測方法について説明する。図７は、計測方法の流れを示すアクティビティ図である。以下、図７における各アクティビティに沿って説明する。なお、図示の通り、アクティビティＡ１～Ａ８は、時系列で繰り返される。
［ここから］
（アクティビティＡ１）
ある時刻ｔにおいて、撮像装置２（第１のカメラ２１及び第２のカメラ２２）が対象物を１００ｆｐｓ以上の撮像レートで画像ＩＭ（第１の画像ＩＭ１及び第２の画像ＩＭ２）として撮像する。
（アクティビティＡ１）
ある時刻ｔにおいて、撮像装置２（第１のカメラ２１及び第２のカメラ２２）が対象物を１００ｆｐｓ以上の撮像レートで画像ＩＭ（第１の画像ＩＭ１及び第２の画像ＩＭ２）として撮像する。
（アクティビティＡ２）
アクティビティＡ１に続いて、ＩＰＭ変換部３３１が、画像ＩＭに対して逆透視投影変換を行って、ＩＰＭ画像ＩＭ’（第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’）を生成する。
アクティビティＡ１に続いて、ＩＰＭ変換部３３１が、画像ＩＭに対して逆透視投影変換を行って、ＩＰＭ画像ＩＭ’（第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’）を生成する。
（アクティビティＡ３）
アクティビティＡ２に続いて、ヒストグラム生成部３３２が、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄを演算する。
アクティビティＡ２に続いて、ヒストグラム生成部３３２が、第１のＩＰＭ画像ＩＭ１’及び第２のＩＰＭ画像ＩＭ２’の差分Ｄを演算する。
（アクティビティＡ４）
アクティビティＡ３に続いて、ヒストグラム生成部３３２が、それぞれ異なるパラメータ（角度及び距離）を基準に生成されたヒストグラムＨＧ（第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２）を生成し、これに基づいて、障害物判定部３３３が障害物の有無又はその位置を判定する。
アクティビティＡ３に続いて、ヒストグラム生成部３３２が、それぞれ異なるパラメータ（角度及び距離）を基準に生成されたヒストグラムＨＧ（第１のヒストグラムＨＧ１及び第２のヒストグラムＨＧ２）を生成し、これに基づいて、障害物判定部３３３が障害物の有無又はその位置を判定する。
（アクティビティＡ５）
アクティビティＡ４に続いて、障害物判定部３３３が障害物があると判定した場合に、計測部３３５は、過去のフレームも含めたその位置の時系列情報に基づいて本自動車に対する障害物の相対速度を推定する。
アクティビティＡ４に続いて、障害物判定部３３３が障害物があると判定した場合に、計測部３３５は、過去のフレームも含めたその位置の時系列情報に基づいて本自動車に対する障害物の相対速度を推定する。
（アクティビティＡ６）
同じくアクティビティＡ４に続いて、空領域設定部３３４が差分Ｄにおいて障害物（白色ピクセル）を含まないような空領域Ｒを設定する。空領域Ｒは、各フレームごとに可変に設定される。
同じくアクティビティＡ４に続いて、空領域設定部３３４が差分Ｄにおいて障害物（白色ピクセル）を含まないような空領域Ｒを設定する。空領域Ｒは、各フレームごとに可変に設定される。
（アクティビティＡ７）
アクティビティＡ６に続いて、計測部３３５が空領域Ｒに対する時系列の位置合わせ計算を行うことで、本自動車の絶対速度を計測する。
アクティビティＡ６に続いて、計測部３３５が空領域Ｒに対する時系列の位置合わせ計算を行うことで、本自動車の絶対速度を計測する。
（アクティビティＡ８）
アクティビティＡ５，Ａ７に続いて、計測部３３５が本自動車の絶対速度と、障害物の相対速度とに基づいて、障害物の絶対速度を計測する。
［ここまで］
アクティビティＡ５，Ａ７に続いて、計測部３３５が本自動車の絶対速度と、障害物の相対速度とに基づいて、障害物の絶対速度を計測する。
［ここまで］
このような計測方法によれば、［先行技術文献］において記載した特許文献１とは異なり、加速度センサを用いることなく、撮像装置２（カメラ）を用いて本自動車の絶対速度を計測することができるという有利な効果を奏する。
５．変形例
第５節では、本実施形態に係る計測システム１の変形例について説明する。すなわち、次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。
第５節では、本実施形態に係る計測システム１の変形例について説明する。すなわち、次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。
第一に、計測システム１そのものが移動可能に構成されている場合、計測システム１の速度、加速度、移動方向、周辺環境の少なくとも１つのパラメータを考慮して、空領域Ｒが決定されるようにしてもよい。特に、これらのパラメータと、空領域Ｒとの相関性が機械学習によって予め学習されていることが好ましい。さらに、計測システム１を継続的に使用していく中でさらに機械学習を行って、より好ましい空領域Ｒが決定されることが好ましい。
第二に、障害物となりうる障害物が複数ある場合、情報処理装置３における障害物判定部３３３が、これら複数の障害物それぞれを分離的に認識可能に構成されることが好ましい。特に、複数の障害物それぞれの囲う所定領域が機械学習によって予め学習されていることにより、障害物判定部３３３が複数の障害物それぞれを分離的に認識可能に構成されることが好ましい。
第三に、例えば計測システム１を搭載した本自動車であれば、計測された障害物の位置に基づいて、一部又は全部について自動運転がなされてもよい。例えば、衝突を回避するためのブレーキ動作や、ハンドル動作が考えられうる。また、計測された障害物の認識状況を、本自動車の運転者が認知できるように、本自動車内に取り付けられたモニターに表示されるように実施してもよい。
第四に、前述の実施形態では、第１のカメラ２１及び第２のカメラ２２からなる２眼の撮像装置２を用いているが、３つ以上のカメラを用いた３眼以上の撮像装置２を実施してもよい。カメラの個数を増やすことで、計測システム１による計測に係るロバスト性が向上するという、有利な効果を奏する。
第五に、撮像装置２及び情報処理装置３を、計測システム１としてではなく、これらの機能を有する１つの装置として実現してもよい。具体的には例えば、３次元計測装置、画像処理装置、投影表示装置、３次元シミュレータ装置等が挙げられる。
第六に、位相限定相関法に代えて異なる位置合わせ手法を採用してもよい。例えば、撮像装置２が撮像した画像ＩＭを直接画像処理して位置合わせを行ってもよいし、撮像装置２以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。
６．結言
以上のように、本実施形態によれば、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム１を実施することができる。
以上のように、本実施形態によれば、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム１を実施することができる。
すなわち、「路面を走行する移動体において使用される計測システムであって、撮像装置と、情報処理装置とを備え、前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、前記撮像装置と接続され、前記撮像装置によって撮像された画像を受信可能に構成され、前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測システム」が提供される。
また、かかる計測システム１を用いることで、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測方法を実施することができる。
すなわち、「路面を走行する移動体において使用される計測方法であって、撮像ステップと、ＩＰＭ変換ステップと、障害物判定ステップと、空領域設定ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる路面又は障害物を時系列に撮像し、前記ＩＰＭ変換ステップでは、前記画像を逆透視投影変換してＩＰＭ画像を生成し、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定ステップでは、前記ＩＰＭ画像における前記障害物の有無又は位置を判定し、前記空領域設定ステップでは、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定し、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、前記計測ステップでは、前記空領域に基づいて前記移動体の絶対速度を計測する、計測方法」が提供される。
また、移動体において使用され、その移動体の絶対速度を精度高く計測可能な計測システム１をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータが読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。
すなわち、「計測プログラムであって、コンピュータを、路面を走行する移動体において使用される計測システムの情報処理装置として機能させ、前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、前記通信部は、撮像装置によって撮像された画像を受信可能に構成され、前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、計測プログラム」が提供される。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ ：計測システム
２ ：撮像装置
２１ ：第１のカメラ
２２ ：第２のカメラ
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：ＩＰＭ変換部
３３２ ：ヒストグラム生成部
３３３ ：障害物判定部
３３４ ：空領域設定部
３３５ ：計測部
Ｄ ：差分
ＨＧ ：ヒストグラム
ＨＧ１ ：第１のヒストグラム
ＨＧ２ ：第２のヒストグラム
ＩＭ ：画像
ＩＭ' ：ＩＰＭ画像
ＩＭ１ ：第１の画像
ＩＭ１' ：第１のＩＰＭ画像
ＩＭ２ ：第２の画像
ＩＭ２' ：第２のＩＰＭ画像
Ｏ＿Ｃ ：カメラ座標系
Ｏ＿Ｗ ：世界座標系
Ｒ ：空領域
π ：平面
π＿Ｃ ：カメラ画像平面
２ ：撮像装置
２１ ：第１のカメラ
２２ ：第２のカメラ
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：ＩＰＭ変換部
３３２ ：ヒストグラム生成部
３３３ ：障害物判定部
３３４ ：空領域設定部
３３５ ：計測部
Ｄ ：差分
ＨＧ ：ヒストグラム
ＨＧ１ ：第１のヒストグラム
ＨＧ２ ：第２のヒストグラム
ＩＭ ：画像
ＩＭ' ：ＩＰＭ画像
ＩＭ１ ：第１の画像
ＩＭ１' ：第１のＩＰＭ画像
ＩＭ２ ：第２の画像
ＩＭ２' ：第２のＩＰＭ画像
Ｏ＿Ｃ ：カメラ座標系
Ｏ＿Ｗ ：世界座標系
Ｒ ：空領域
π ：平面
π＿Ｃ ：カメラ画像平面
Claims (10)
- 路面を走行する移動体において使用される計測システムであって、
撮像装置と、情報処理装置とを備え、
前記撮像装置は、画角に含まれる路面又は障害物を時系列に撮像可能に構成され、
前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、
前記通信部は、
前記撮像装置と接続され、
前記撮像装置によって撮像された画像を受信可能に構成され、
前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、
前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、
前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、
計測システム。 - 請求項１に記載の計測システムにおいて、
前記計測部は、前記障害物がある場合には、その位置の時系列変化に基づいて前記移動体に対する前記障害物の相対速度を計測可能に構成される、
計測システム。 - 請求項２に記載の計測システムにおいて、
前記計測部は、前記移動体の絶対速度と前記障害物の相対速度とに基づいて、前記障害物の絶対速度を計測可能に構成される、
計測システム。 - 請求項１～請求項３の何れか１つに記載の計測システムにおいて、
前記空領域は、矩形状に設定される、
計測システム。 - 請求項１～請求項４の何れか１つに記載の計測システムにおいて、
前記撮像装置の撮像レートは、１００ｆｐｓ以上である、
計測システム。 - 請求項１～請求項５の何れか１つに記載の計測システムにおいて、
前記撮像装置は、
第１及び第２のカメラからなる２眼の撮像装置であり、
前記第１及び第２のカメラの画角に含まれる前記路面又は障害物を、第１及び第２の画像として時系列に撮像可能に構成され、
前記ＩＰＭ変換部は、前記第１及び第２の画像を逆透視投影変換して第１及び第２のＩＰＭ画像をそれぞれ生成し、
前記障害物判定部は、前記第１及び第２のＩＰＭ画像の差分に基づいて前記障害物の有無又は位置を判定可能に構成される、
計測システム。 - 請求項１～請求項６の何れか１つに記載の計測システムにおいて、
前記空領域設定部は、前記障害物を含まない範囲でピクセル数が大きくなるように、前記空領域を設定可能に構成される、
計測システム。 - 請求項１～請求項７の何れか１つに記載の計測システムにおいて、
前記空領域設定部は、前記ＩＰＭ画像の各フレームごとに前記空領域を可変に設定可能に構成される、
計測システム。 - 路面を走行する移動体において使用される計測方法であって、
撮像ステップと、ＩＰＭ変換ステップと、障害物判定ステップと、空領域設定ステップと、計測ステップとを備え、
前記撮像ステップでは、画角に含まれる路面又は障害物を時系列に撮像し、
前記ＩＰＭ変換ステップでは、前記画像を逆透視投影変換してＩＰＭ画像を生成し、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定ステップでは、前記ＩＰＭ画像における前記障害物の有無又は位置を判定し、
前記空領域設定ステップでは、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定し、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、
前記計測ステップでは、前記空領域に基づいて前記移動体の絶対速度を計測する、
計測方法。 - 計測プログラムであって、コンピュータを、路面を走行する移動体において使用される計測システムの情報処理装置として機能させ、
前記情報処理装置は、通信部と、ＩＰＭ変換部と、障害物判定部と、空領域設定部と、計測部とを備え、
前記通信部は、撮像装置によって撮像された画像を受信可能に構成され、
前記ＩＰＭ変換部は、前記画像を逆透視投影変換してＩＰＭ画像を生成するように構成され、ここで前記ＩＰＭ画像とは、前記路面又は障害物を含む所定平面を俯瞰するように描画された画像で、
前記障害物判定部は、前記ＩＰＭ画像における前記障害物の有無又は位置を判定可能に構成され、
前記空領域設定部は、判定された前記障害物の有無又は位置に基づいて空領域を可変に設定可能に構成され、ここで前記空領域とは、前記ＩＰＭ画像中の前記障害物を含まない領域で、
前記計測部は、前記空領域に基づいて前記移動体の絶対速度を計測可能に構成される、
計測プログラム
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021524723A JPWO2020246202A1 (ja) | 2019-06-03 | 2020-05-12 | 計測システム、計測方法、及び計測プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019104031 | 2019-06-03 | ||
| JP2019-104031 | 2019-06-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020246202A1 true WO2020246202A1 (ja) | 2020-12-10 |
Family
ID=73652798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/018919 WO2020246202A1 (ja) | 2019-06-03 | 2020-05-12 | 計測システム、計測方法、及び計測プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2020246202A1 (ja) |
| WO (1) | WO2020246202A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5109345A (en) * | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
| JPH0933232A (ja) * | 1995-05-18 | 1997-02-07 | Omron Corp | 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置 |
| JP2014029604A (ja) * | 2012-07-31 | 2014-02-13 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
| JP2014522495A (ja) * | 2011-06-09 | 2014-09-04 | ジェ．エム．エール．フィ | 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品 |
| JP2014194361A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 移動距離推定装置、移動距離推定方法、及びプログラム |
-
2020
- 2020-05-12 JP JP2021524723A patent/JPWO2020246202A1/ja not_active Ceased
- 2020-05-12 WO PCT/JP2020/018919 patent/WO2020246202A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5109345A (en) * | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
| JPH0933232A (ja) * | 1995-05-18 | 1997-02-07 | Omron Corp | 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置 |
| JP2014522495A (ja) * | 2011-06-09 | 2014-09-04 | ジェ．エム．エール．フィ | 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品 |
| JP2014029604A (ja) * | 2012-07-31 | 2014-02-13 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
| JP2014194361A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 移動距離推定装置、移動距離推定方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020246202A1 (ja) | 2021-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zaarane et al. | Distance measurement system for autonomous vehicles using stereo camera | |
| JP6799169B2 (ja) | マルチモーダル融合による３ｄオブジェクト検出と配向推定の結合 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| WO2021093240A1 (en) | Method and system for camera-lidar calibration | |
| EP3252658B1 (en) | Information processing apparatus and information processing method | |
| JP4899424B2 (ja) | 物体検出装置 | |
| US10728525B2 (en) | Image capturing apparatus, image processing method, and recording medium | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
| JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
| US20200177867A1 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
| JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
| Lion et al. | Smart speed bump detection and estimation with kinect | |
| CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 | |
| JP7448484B2 (ja) | カメラ内部パラメータのオンライン評価 | |
| JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
| JP6577595B2 (ja) | 車両用外界認識装置 | |
| JP2021092996A (ja) | 計測システム、車両、計測方法、計測装置及び計測プログラム | |
| WO2020246202A1 (ja) | 計測システム、計測方法、及び計測プログラム | |
| JP7169689B2 (ja) | 計測システム、計測方法、及び計測プログラム | |
| WO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
| JP2018146495A (ja) | 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20818205 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021524723 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20818205 Country of ref document: EP Kind code of ref document: A1 |