JP6884893B2 - 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置 - Google Patents
車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置 Download PDFInfo
- Publication number
- JP6884893B2 JP6884893B2 JP2019572413A JP2019572413A JP6884893B2 JP 6884893 B2 JP6884893 B2 JP 6884893B2 JP 2019572413 A JP2019572413 A JP 2019572413A JP 2019572413 A JP2019572413 A JP 2019572413A JP 6884893 B2 JP6884893 B2 JP 6884893B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- time lag
- optical flow
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims description 85
- 238000000034 method Methods 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 28
- 230000033001 locomotion Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 244000288377 Saxifraga stolonifera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
車両の少なくとも1つのセンサを用いて検知された車両周囲および/または車両の走行状況、および/またはオプティカルフローの事前の算出結果を表す少なくとも1つの入力信号、および画像シーケンスを表す画像信号を受信するステップと、
入力信号を用いてタイムラグ値を決定するステップと、
画像信号を用いて、画像シーケンスのタイムラグ値だけ互いにずらされた少なくとも2つの個別画像を選択するステップと、
一致するピクセルを用いてオプティカルフローを求めるために、個別画像内の一致するピクセルを検出するステップと、
を有している。
−例えば分類による、歩行者、自転車通行者、車両またはその他の対象物の検出;
−(ステレオ−)深度情報;
−外部の運動センサ、例えば加速度センサ、ステアリング回転センサまたはホイール回転数センサによって算出された車両の固有運動;
−画像情報、例えば画像相関関係によって算出されているが、オプティカルフローに基づいていない車両の固有運動;
−外部のセンサ、例えばレーダセンサ、ライダーセンサ、超音波センサ、GPSセンサ、光センサまたは雨センサによって算出された車両の固有運動;
−画像に基づく車線検知;
−校正結果の提供可能な精度、例えば焦点距離または画像中心点等のカメラの固有の内部パラメータ、ワールド座標を基準にした外部のパラメータ、相対的な外部のパラメータ(2つのカメラの相対関係)または関心領域;
−露出制御;
−ブラインドネス検知
−交通標識検知(速度制限を検知すると車両が自動的に制動される)
−オプティカルフローの事前の演算から成る統計;
−フローに基づく固有運動推定;
−フローに基づく対象物検知;
−フローに基づく表面推定。
―不一致およびオプティカルフローに基づく、後から分類された危険なステレオ対象物のための自動的な非常ブレーキ機能のAEB信号;
−より迅速な非常ブレーキの起動のためのブレーキ準備用のプレフィル信号。
a k要素を有する入力値のベクトル
W 入力値を重み付けするためのj×k重み付けマトリックス、この場合、jは要求された条件の数である。
I Waを行毎に合計するための複数のk1を有するベクトル
t フロー演算のための所定のタイムラグを各行に配分するj値を有するベクトル、
閾値(a,Tl,Tu) 閾値ベクトルTlおよびTuを要素毎にaに適用し、Tl,i<ai<Tu,iおよび0とは異なるときに、要素が1である2進ベクトルを取り消す。
○ アダマール積(要素毎の乗算)
unique(γ) ベクトルγ内のゼロではないすべての単一の要素を取り消す。
a1=[0.250](速度)
a2∈{0,1}(2進法にされた値:車両が検知された:イエス/ノー)
a3=[−∞,∞](ピッチレート、理論上は上方および下方に無限である)
2進入力信号が使用されると、幾つかの簡略化が得られる。下方の閾値は、例えば少なくとも必要な信号の数に減少される。
a1∈{0,1}(自動式のブレーキング、イエス/ノー)および
a2∈{0,1}(手動式のブレーキング、イエス/ノー)
102 装置
104 カメラ
106 画像信号
108 入力信号
110 ホイール回転数センサ
112 フローデータ
210 受信ユニット
220 評価ユニット
302,304,306,308,310 ブロック
400 方法
410,420、430,440 ステップ
500,502,600,602,700,702,800,900,1000,1002 個別画像
504 車道
506 子供
902 第1の領域、道路
904 先行する車両
lt,lt−Δt 画像
Δt…n タイムラグ
Claims (11)
- 車両(100)のカメラ(104)によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法(400)であって、前記方法(400)が、
前記車両(100)の少なくとも1つのセンサ(110)を用いて検知された車両周囲および/または前記車両(100)の走行状況、および/または前記オプティカルフローの事前の算出結果を表す少なくとも1つの入力信号(108)、および前記画像シーケンスを表す画像信号(106)を受信するステップ(410)と、
前記入力信号(108)を用いてタイムラグ値(Δt)を決定するステップ(420)と、
前記画像信号(106)を用いて、前記画像シーケンスの前記タイムラグ値(Δt)だけ互いにずらされた少なくとも2つの個別画像(502;602;702;900)を選択するステップ(430)と、
一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像(502;602;702;900)内の一致するピクセルを検出するステップ(440)と、
を含み、
前記決定するステップ(420)で、前記入力信号(108)が、前記車両(100)の検知された自動式の非常ブレーキングを表し、かつ/または閾値を上回る前記車両(100)のピッチレートを表す場合に、初期値を小さくすることによって前記タイムラグ値(Δt)を決定する、方法(400)。 - 前記決定するステップ(420)で、前記初期値を半分にすることによって前記タイムラグ値(Δt)を決定する、請求項1に記載の方法(400)。
- 前記決定するステップ(420)で、前記タイムラグ値(Δt)を前記車両(100)のロールレートおよび/または前記車両(100)と少なくとも1つの別の車両との間の相対速度に依存して決定するために、前記入力信号(108)を用いる、請求項1または2に記載の方法(400)。
- 前記画像信号(106)を取得するために、前記タイムラグ値(Δt)を用いて前記カメラ(104)の画像再現率を変更するステップを有している、請求項1から3までのいずれか1項に記載の方法(400)。
- 前記変更するステップで、前記画像シーケンスの前記個別画像(502;602;702;900)が前記タイムラグ値(Δt)だけ互いにずらされるように、前記画像再現率を変更する、請求項4に記載の方法(400)。
- 前記検出するステップ(440)で、前記一致するピクセルを検出するために、前記個別画像(502;602;702;900)の部分セクションを検索する、請求項1から5までのいずれか1項に記載の方法(400)。
- 前記決定するステップ(420)で、前記タイムラグ値(Δt)とは異なる少なくとも1つの別のタイムラグ値を、前記入力信号(108)を用いて決定し、この際に、前記選択するステップ(430)で、前記別のタイムラグ値だけ互いにずらされた、前記画像シーケンスの少なくとも2つの別の個別画像を選択し、この際に、前記検出するステップ(440)で、一致する別のピクセルを用いてオプティカルフローを求めるために、前記別の個別画像内の一致する別のピクセルを検出する、請求項1から6までのいずれか1項に記載の方法(400)。
- 評価のステップで、車両周囲の第1の領域(902)内の前記オプティカルフローを求めるために前記個別画像(502;602;702;900)を評価し、前記車両周囲の第2の領域(904)内のオプティカルフローを求めるために別の個別画像を用いる、請求項7に記載の方法(400)。
- 請求項1から8までのいずれか1項に記載の方法(400)を実行しかつ/または制御するために構成されたユニット(210,220)を備えた装置(102)。
- 請求項1から8までのいずれか1項に記載の方法(400)を実行するために構成されたコンピュータプログラム。
- 請求項10に記載のコンピュータプログラムが記憶された、機械読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017212175.0A DE102017212175A1 (de) | 2017-07-17 | 2017-07-17 | Verfahren und Vorrichtung zum Ermitteln eines optischen Flusses anhand einer von einer Kamera eines Fahrzeugs aufgenommenen Bildsequenz |
DE102017212175.0 | 2017-07-17 | ||
PCT/EP2018/069161 WO2019016104A1 (de) | 2017-07-17 | 2018-07-13 | Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020530608A JP2020530608A (ja) | 2020-10-22 |
JP6884893B2 true JP6884893B2 (ja) | 2021-06-09 |
Family
ID=62952074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019572413A Active JP6884893B2 (ja) | 2017-07-17 | 2018-07-13 | 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10949681B2 (ja) |
EP (1) | EP3655299B1 (ja) |
JP (1) | JP6884893B2 (ja) |
CN (1) | CN110944895B (ja) |
DE (1) | DE102017212175A1 (ja) |
WO (1) | WO2019016104A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2025452B1 (en) * | 2020-04-29 | 2021-11-09 | Navinfo Europe B V | System and method for 3D positioning a landmark in images from the real world |
TWI728811B (zh) * | 2020-05-19 | 2021-05-21 | 奇美車電股份有限公司 | 車輛轉向判斷方法 |
DE102021213934A1 (de) | 2021-12-08 | 2023-06-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Reichweitenerhöhung eines LiDAR-Sensors |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175872A (ja) * | 1999-12-15 | 2001-06-29 | Clarion Co Ltd | 画像処理装置及び方法並びに画像処理用ソフトウェアを記録した記録媒体 |
DE10342388A1 (de) * | 2003-09-13 | 2005-04-07 | Hella Kgaa Hueck & Co. | Optoelektronische Überwachungseinrichtung für Kraftfahrzeuge |
JP4319928B2 (ja) * | 2004-03-09 | 2009-08-26 | 株式会社デンソー | 車両状態検知システムおよび車両状態検知方法 |
JP3846494B2 (ja) * | 2004-07-13 | 2006-11-15 | 日産自動車株式会社 | 移動障害物検出装置 |
DE102007016868A1 (de) * | 2007-04-10 | 2008-10-16 | Robert Bosch Gmbh | Verfahren zur Anzeige eines Fahrbahnverlaufs und Steuereinrichtung |
JP2008276308A (ja) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | 動画像処理装置、動画像処理システムおよびナビゲーション装置 |
JPWO2009099022A1 (ja) * | 2008-02-04 | 2011-05-26 | コニカミノルタホールディングス株式会社 | 周辺監視装置及び周辺監視方法 |
JP4905496B2 (ja) * | 2009-04-15 | 2012-03-28 | トヨタ自動車株式会社 | 物体検出装置 |
EP2899692B1 (en) * | 2014-01-28 | 2019-09-04 | Honda Research Institute Europe GmbH | Method, system, imaging device, movable device and program product for detecting static elements in video and image sources |
CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 图像分割方法和装置 |
DE102015225900B3 (de) * | 2015-12-18 | 2017-04-06 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug |
US10108864B2 (en) * | 2015-12-29 | 2018-10-23 | Texas Instruments Incorporated | Stationary-vehicle structure from motion |
-
2017
- 2017-07-17 DE DE102017212175.0A patent/DE102017212175A1/de not_active Ceased
-
2018
- 2018-07-13 US US16/631,092 patent/US10949681B2/en active Active
- 2018-07-13 JP JP2019572413A patent/JP6884893B2/ja active Active
- 2018-07-13 CN CN201880047746.4A patent/CN110944895B/zh active Active
- 2018-07-13 WO PCT/EP2018/069161 patent/WO2019016104A1/de unknown
- 2018-07-13 EP EP18742763.8A patent/EP3655299B1/de active Active
Also Published As
Publication number | Publication date |
---|---|
EP3655299B1 (de) | 2024-03-27 |
CN110944895B (zh) | 2023-06-09 |
CN110944895A (zh) | 2020-03-31 |
DE102017212175A1 (de) | 2019-01-17 |
JP2020530608A (ja) | 2020-10-22 |
WO2019016104A1 (de) | 2019-01-24 |
EP3655299A1 (de) | 2020-05-27 |
US20200151464A1 (en) | 2020-05-14 |
US10949681B2 (en) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11093801B2 (en) | Object detection device and object detection method | |
US10147002B2 (en) | Method and apparatus for determining a road condition | |
US9547912B2 (en) | Method for measuring the height profile of a vehicle passing on a road | |
US11308717B2 (en) | Object detection device and object detection method | |
US11170272B2 (en) | Object detection device, object detection method, and computer program for object detection | |
JP6884893B2 (ja) | 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置 | |
US11527078B2 (en) | Using captured video data to identify pose of a vehicle | |
US20210387627A1 (en) | Methods, systems, and media for determining characteristics of roads | |
US11829153B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
CN107750364A (zh) | 使用稳定的坐标系的道路垂直轮廓检测 | |
CA2261483A1 (en) | Process for determining vehicle dynamics | |
US11900690B2 (en) | Apparatus, method, and computer program for identifying state of signal light, and controller | |
JP2006292621A (ja) | 物体検出装置 | |
JP6756908B2 (ja) | 車両周囲の歩行者を検出する方法及び装置 | |
US20220301320A1 (en) | Controller, method, and computer program for controlling vehicle | |
CN109421730A (zh) | 使用相机的交叉车流检测 | |
US20160173858A1 (en) | Driver assistance for a vehicle | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
WO2021233154A1 (zh) | 可行驶区域检测方法、装置、设备及存储介质 | |
JP3960146B2 (ja) | 画像認識装置 | |
US20230169797A1 (en) | Traffic hand signal detection system and method thereof | |
CN116434180A (zh) | 点亮状态识别装置、点亮状态识别方法以及点亮状态识别用计算机程序 | |
JP2007272461A (ja) | 運動推定装置、方法及びプログラム | |
JP2022146384A (ja) | 物体検出装置 | |
JP2024030951A (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191227 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |