JP6947066B2 - 姿勢推定装置 - Google Patents
姿勢推定装置 Download PDFInfo
- Publication number
- JP6947066B2 JP6947066B2 JP2018019011A JP2018019011A JP6947066B2 JP 6947066 B2 JP6947066 B2 JP 6947066B2 JP 2018019011 A JP2018019011 A JP 2018019011A JP 2018019011 A JP2018019011 A JP 2018019011A JP 6947066 B2 JP6947066 B2 JP 6947066B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- unit
- points
- posture
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036544 posture Effects 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000449 premovement Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
[1.実施形態]
[1−1.構成]
本実施形態の表示システム1は、乗用車等の車両に搭載され、複数のカメラによって撮像された画像を合成して表示部に表示させるシステムであり、カメラ姿勢を推定し、姿勢に応じて画像を補正する機能を有する。表示システム1は、図1に示すように、制御部10を備える。表示システム1は、フロントカメラ21F、リアカメラ21B、右カメラ21R、左カメラ21L、各種センサ22、表示部26、等を備えてもよい。
各種センサ22としては、例えば、車速センサ、ヨーレートセンサ、舵角センサ等を備える。各種センサ22は、自車両が、直進運動、定旋回運動等の定常走行をしているか否かを検知するために用いられる。
次に、制御部10が実行する姿勢推定処理について、図2のフローチャートを用いて説明する。姿勢推定処理は、例えば、自車両が定常走行を行っている場合に開始され、定常走行を行っている間に繰り返し実施される。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
このような構成によれば、簡素な基本行列を求めることによってカメラ21の移動方向を推定できるので、簡素な処理でカメラ21の大まかな姿勢を推定することができる。また、このような構成によれば、路面のコントラストが小さい場合のように、路面上の特徴点を正確に抽出できない場合であっても、構造物等から特徴点を抽出することができるので、カメラ姿勢を推定する際の精度を向上させることができる。
[2.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(2b)上記実施形態では、複数のカメラ21から得られる撮像画像を用いて複数のカメラ21の姿勢を個別に推定したが、これに限定されるものではない。例えば、他のカメラの高さ等を用いて、姿勢を推定しようとするカメラの高さを推定してもよい。このようにしてもよいのは、姿勢を推定しようとするカメラと、他のカメラとの位置関係は、予め設定されていることが多いためである。
上記実施形態において制御部10は、本開示での姿勢推定装置に相当する。また、制御部10が実行する処理のうちのS110の処理は、本開示でいう画像取得部に相当し、S120の処理は、本開示でいう特徴点抽出部に相当する。
Claims (5)
- 移動物に搭載された1または複数の撮像部により得られたそれぞれの撮像画像を繰り返し取得するように構成された画像取得部(S110)と、
繰り返し取得された撮像画像の少なくとも1つの中から、複数の特徴点を複数の移動前点として抽出するとともに、前記複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、前記複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出するように構成された特徴点抽出部(S120)と、
前記複数の移動前点を前記複数の移動後点に遷移させるための行列であって、前記移動物が予め設定された軌跡に従って移動し、かつ回転しないと仮定したときの行列を表す基本行列を推定するように構成された基本推定部(S130)と、
前記基本行列に従って前記1または複数の撮像部の姿勢を推定するように構成された姿勢推定部(S140)と、
を備える姿勢推定装置。 - 請求項1に記載の姿勢推定装置であって、
繰り返し取得された撮像画像の少なくとも1つの中から、前記移動物が移動の際の走行する路面上の特徴点を路面前点として抽出するとともに、前記路面前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、前記路面前点に対応する特徴点を複数の路面後点として抽出するように構成された走行点抽出部(S150)と、
前記姿勢推定部を第1推定部とし、前記基本行列、前記路面前点、および路面後点を用いて、前記1または複数の撮像部の路面に対する高さ、および路面に対する回転角を推定するように構成された第2推定部(S160)、
をさらに備える姿勢推定装置。 - 請求項1または請求項2に記載の姿勢推定装置であって、
前記特徴点抽出部、前記基本推定部、および前記姿勢推定部は、特徴点を抽出する撮像画像を変更しつつ、繰り返し前記1または複数の撮像部の姿勢を推定するように構成され、
前記姿勢推定部にて推定された複数の姿勢の推定結果に対してフィルタリングを行い、フィルタリング後の値を前記1または複数の撮像部の姿勢として出力するように構成されたフィルタリング部(S230)、
をさらに備える姿勢推定装置。 - 請求項2を引用する請求項3に記載の姿勢推定装置であって、
前記第2推定部は、路面に対する高さを推定しようとする撮像部以外の撮像部についての路面からの高さを用いて、前記1または複数の撮像部の路面に対する高さを推定する
ように構成された姿勢推定装置。 - 請求項4に記載の姿勢推定装置であって、
前記第2推定部は、路面に対する高さを推定しようとする撮像部以外の撮像部のうちの、撮像画像中に路面が占める割合が最も大きな撮像部についての路面からの高さを用いて、前記1または複数の撮像部の路面に対する高さを推定する
ように構成された姿勢推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019011A JP6947066B2 (ja) | 2018-02-06 | 2018-02-06 | 姿勢推定装置 |
PCT/JP2019/004065 WO2019156072A1 (ja) | 2018-02-06 | 2019-02-05 | 姿勢推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019011A JP6947066B2 (ja) | 2018-02-06 | 2018-02-06 | 姿勢推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019139290A JP2019139290A (ja) | 2019-08-22 |
JP6947066B2 true JP6947066B2 (ja) | 2021-10-13 |
Family
ID=67549662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018019011A Active JP6947066B2 (ja) | 2018-02-06 | 2018-02-06 | 姿勢推定装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6947066B2 (ja) |
WO (1) | WO2019156072A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7297595B2 (ja) * | 2019-08-23 | 2023-06-26 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
JP7237773B2 (ja) * | 2019-08-23 | 2023-03-13 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
JP7256734B2 (ja) * | 2019-12-12 | 2023-04-12 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
CN114782447B (zh) * | 2022-06-22 | 2022-09-09 | 小米汽车科技有限公司 | 路面检测方法、装置、车辆、存储介质及芯片 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0661096B2 (ja) * | 1985-06-28 | 1994-08-10 | 工業技術院長 | 自己移動状態抽出方法 |
JP4868964B2 (ja) * | 2006-07-13 | 2012-02-01 | 三菱ふそうトラック・バス株式会社 | 走行状態判定装置 |
JP6107081B2 (ja) * | 2012-11-21 | 2017-04-05 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2018
- 2018-02-06 JP JP2018019011A patent/JP6947066B2/ja active Active
-
2019
- 2019-02-05 WO PCT/JP2019/004065 patent/WO2019156072A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019139290A (ja) | 2019-08-22 |
WO2019156072A1 (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6947066B2 (ja) | 姿勢推定装置 | |
JP6612297B2 (ja) | 道路の垂直輪郭検出 | |
CN107004277B (zh) | 机动车辆摄像头系统的在线标定 | |
EP2849428B1 (en) | Image processing device, image processing method, image processing program, and storage medium | |
CN108363946B (zh) | 基于无人机的人脸跟踪系统及方法 | |
US20150178900A1 (en) | Depth image processing apparatus and method based on camera pose conversion | |
US20160037032A1 (en) | Method for detecting mounting posture of in-vehicle camera and apparatus therefor | |
WO2011102072A1 (ja) | 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム | |
JP5612915B2 (ja) | 移動体検出装置及び移動体検出方法 | |
JP5105481B2 (ja) | 車線検出装置、車線検出方法、及び車線検出プログラム | |
JP2002163661A (ja) | 白線検出装置 | |
US20170259830A1 (en) | Moving amount derivation apparatus | |
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
CN108376384B (zh) | 视差图的矫正方法、装置及存储介质 | |
JP2009085651A (ja) | 画像処理システム | |
CN110324534B (zh) | 图像处理方法、装置及电子设备 | |
JP2003178309A (ja) | 移動量推定装置 | |
JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP6169366B2 (ja) | 物体検出装置、プログラムおよび集積回路 | |
JP2014106739A (ja) | 車載画像処理装置 | |
CN110796604A (zh) | 一种图像校正方法及装置 | |
JP5695405B2 (ja) | 車両用画像処理装置および車両用画像処理方法 | |
JP2018136739A (ja) | キャリブレーション装置 | |
JP2010226652A (ja) | 画像処理装置、画像処理方法、および、コンピュータプログラム | |
WO2017010268A1 (ja) | 推定装置及び推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6947066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |