JP7347398B2 - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP7347398B2 JP7347398B2 JP2020181693A JP2020181693A JP7347398B2 JP 7347398 B2 JP7347398 B2 JP 7347398B2 JP 2020181693 A JP2020181693 A JP 2020181693A JP 2020181693 A JP2020181693 A JP 2020181693A JP 7347398 B2 JP7347398 B2 JP 7347398B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- camera
- lidar
- image
- reflected light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Description
まず、物体検出装置の第1実施形態について説明する。図1に示される第1実施形態に係る物体検出装置100は、車両(自車両)に搭載され、自車両の周囲の物標を検出する。物体検出装置100によって検出された物標は、例えば自車両の自動運転等、種々の制御に用いられ得る。物体検出装置100は、ライダー[LIDAR:Light Detection and Ranging]1、カメラ2、及びキャリブレーションECU[Electronic Control Unit]3を備えている。物体検出装置100は、ライダー1及びカメラ2を用いて車両の周囲の物標を検出する。また、物体検出装置100は、ライダー1とカメラ2とのキャリブレーションを行う機能を有している。
まず、外部パラメータを算出する第1の方法について説明する。第1の方法において、キャリブレーション処理部31は、画像のヒストグラムを用いて外部パラメータの算出を行う。
(1)キャリブレーション処理部31は、例えば次の投影行列と変換式とに基づいて、環境光情報を「環境光の反射光の強度を画素値とする画像」に変換する。以下、環境光情報を変換することによって生成された「環境光の反射光の強度を画素値とする画像」を「ライダー環境光画像」という。そして、キャリブレーション処理部31は、ライダー環境光画像を、カメラ画像と同じサイズ(幅×高さ)に切り出す。
(3)キャリブレーション処理部31は、ライダー環境光画像と、グレースケールに変換したカメラ画像とをそれぞれヒストグラムに変換する。キャリブレーション処理部31は、ヒストグラムの類似度をスコアとして、類似度が高くなるように外部パラメータ(位置と向きのパラメータ)を変換しながら最適化計算を行う。このスコアは、例えば、2つのヒストグラムの相互情報量等によって算出することができる。
外部パラメータを算出する第2の方法について説明する。第2の方法において、キャリブレーション処理部31は、画像処理によって画像を加工して、ピクセルレベルで類似度を計算することによって外部パラメータを算出する。
(1)キャリブレーション処理部31は、上記の第1の方法の(1)の処理と同様に、環境光情報をライダー環境光画像に変換する。
(4)キャリブレーション処理部31は、画像処理後のライダー環境光画像と画像処理後のカメラ画像との差分を計算する。キャリブレーション処理部31は、算出した差分が小さくなるように、外部パラメータ(位置と向きのパラメータ)を変換しながら最適化計算を行う。例えば、キャリブレーション処理部31は、次の式を用いてライダー環境光画像とカメラ画像との差分を算出し、lossが下がるように最適化計算を行うことができる。
loss=ΣwΣh(カメラ画像[h][w]-ライダー環境光画像[h][w])2
ここでの「w」は、画像中の幅方向の位置であり、「h」は、画像中の高さ方向の位置である。ここでは、キャリブレーション処理部31は、画像処理として用いた手法に応じて、2つの画像の類似度を算出し、最適化計算を行う。例えば、キャリブレーション処理部31は、2値化等が行われて画素ごとに値を持つ場合、画素ごとの数値差に基づいて類似度を算出することができ、画素ごとに属性が付されている場合、属性の一致又は不一致に基づいて類似度を算出することができる。
(2)次に、キャリブレーション処理部31は、カメラ画像をグレースケールに変換する。
(3)キャリブレーション処理部31は、環境光情報の各点(ポイント)の反射強度の値に近い、カメラ画像の画素をピックアップする。
(5)キャリブレーション処理部31は、(4)において予め定められたペア閾値以上のペアを探索することができた場合、このペアの位置関係に基づいてマッピングテーブルを作成する。ペア閾値以上のペアを探索することができなかった場合、キャリブレーション処理部31は、(3)のピックアップの条件を緩めて再度ペアの探索を行う。このピックアップの条件を緩めることとして、例えば、キャリブレーション処理部31は、「画素値が所定の範囲以内なら同じ(近い)と判定してピックアップする」の「所定の範囲」を緩和する。
次に、物体検出装置の第2実施形態について説明する。以下では、第1実施形態に係る物体検出装置100との相違点を中心に説明し、対応する要素には同一符号を付して詳細な説明を省略する。図4に示されるように、第2実施形態に係る物体検出装置100Aは、投影した参照画像を用いてライダー1とカメラ2とのキャリブレーションを行う。物体検出装置100Aは、ライダー1、カメラ2、キャリブレーションECU3A、及び投影部4を備えている。
Claims (2)
- ライダー及びカメラを用いて物標を検出する物体検出装置であって、
前記ライダーと前記カメラとのキャリブレーションを行うキャリブレーション処理部を備え、
前記ライダーは、
照射したレーザ光の反射光及び前記レーザ光以外の光である環境光の反射光を受光し、受光した前記環境光の反射光の強度を検出可能な受光部と、
前記受光部で受光された受光された前記レーザ光の反射光の反射点の位置と、前記受光部で受光された受光された前記環境光の反射光の強度と、が対応付けられた対応情報を生成する対応情報生成部と、
を備え、
前記対応情報には、当該対応情報を生成するために用いられた前記環境光の反射光の受光時刻が含まれ、
前記カメラによって撮像されたカメラ画像には、当該カメラ画像の撮像時刻が含まれ、
前記キャリブレーション処理部は、前記撮像時刻と前記受光時刻との差が所定時間以下の前記対応情報及び前記カメラ画像を用いて前記キャリブレーションを行い、
さらに前記キャリブレーション処理部は、前記撮像時刻及び前記受光時刻として、前記ライダー内における前記環境光の反射光のデータの転送遅延及び前記カメラ内における前記カメラ画像のデータの転送遅延を考慮して補正を行った時刻を用いる、物体検出装置。 - 前記ライダー及び前記カメラの前方の投影領域内に参照画像を投影する投影部を更に備え、
前記ライダーは、前記投影領域を含む照射領域内に前記レーザ光を照射し、照射した前記レーザ光の反射光及び前記環境光の反射光を受光し、
前記カメラは、前記投影領域を含む撮像領域内を撮像し、
前記キャリブレーション処理部は、前記受光部で受光された前記照射領域内で反射した前記環境光の反射光の受光結果と、前記カメラによって撮像された前記撮像領域内のカメラ画像とに基づいて前記キャリブレーションを行う、請求項1に記載の物体検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020181693A JP7347398B2 (ja) | 2020-10-29 | 2020-10-29 | 物体検出装置 |
US17/483,186 US20220137196A1 (en) | 2020-10-29 | 2021-09-23 | Object detection apparatus |
CN202111225721.9A CN114428257A (zh) | 2020-10-29 | 2021-10-21 | 物体检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020181693A JP7347398B2 (ja) | 2020-10-29 | 2020-10-29 | 物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022072328A JP2022072328A (ja) | 2022-05-17 |
JP7347398B2 true JP7347398B2 (ja) | 2023-09-20 |
Family
ID=81311313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181693A Active JP7347398B2 (ja) | 2020-10-29 | 2020-10-29 | 物体検出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220137196A1 (ja) |
JP (1) | JP7347398B2 (ja) |
CN (1) | CN114428257A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11453348B2 (en) * | 2020-04-14 | 2022-09-27 | Gm Cruise Holdings Llc | Polyhedral sensor calibration target for calibrating multiple types of sensors |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002031528A (ja) | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | モービルマッピング用空間情報生成装置 |
JP2020098151A (ja) | 2018-12-18 | 2020-06-25 | 株式会社デンソー | センサ校正方法およびセンサ校正装置 |
JP2020165679A (ja) | 2019-03-28 | 2020-10-08 | 株式会社デンソー | 物体検出装置 |
-
2020
- 2020-10-29 JP JP2020181693A patent/JP7347398B2/ja active Active
-
2021
- 2021-09-23 US US17/483,186 patent/US20220137196A1/en active Pending
- 2021-10-21 CN CN202111225721.9A patent/CN114428257A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002031528A (ja) | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | モービルマッピング用空間情報生成装置 |
JP2020098151A (ja) | 2018-12-18 | 2020-06-25 | 株式会社デンソー | センサ校正方法およびセンサ校正装置 |
JP2020165679A (ja) | 2019-03-28 | 2020-10-08 | 株式会社デンソー | 物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022072328A (ja) | 2022-05-17 |
US20220137196A1 (en) | 2022-05-05 |
CN114428257A (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472538B2 (ja) | 距離計測装置及び環境地図生成装置 | |
JP6825569B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
JP6682833B2 (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
JP2015143979A (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
JP2012189445A (ja) | 物体検出装置及び物体検出方法 | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
JP6435661B2 (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
JP2008059260A (ja) | 移動検出画像生成装置 | |
JP7347398B2 (ja) | 物体検出装置 | |
JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
JP6577595B2 (ja) | 車両用外界認識装置 | |
JP7206855B2 (ja) | 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法 | |
US20220201164A1 (en) | Image registration apparatus, image generation system, image registration method, and image registration program product | |
JP2010071942A (ja) | 物体検出装置 | |
US11899113B2 (en) | Vehicle position estimation apparatus | |
JP5533739B2 (ja) | 光学情報読み取り装置 | |
JP2004153627A (ja) | 車両用外界認識装置 | |
JP7294302B2 (ja) | 物体検出装置 | |
KR20220159658A (ko) | 차량, 차량용 카메라 및 그것의 동작 방법 | |
JP7276304B2 (ja) | 物体検出装置 | |
JPH11190611A (ja) | 3次元計測方法およびその方法を用いた3次元計測処理装置 | |
US20230055978A1 (en) | Method for controlling vehicle, vehicle and electronic device | |
JP2023128481A (ja) | 物体認識方法及び物体認識装置 | |
CN112485807A (zh) | 物体识别装置 | |
JPS61278981A (ja) | 3次元物体認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7347398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |