JP7147464B2 - 画像選択装置及び画像選択方法 - Google Patents
画像選択装置及び画像選択方法 Download PDFInfo
- Publication number
- JP7147464B2 JP7147464B2 JP2018200056A JP2018200056A JP7147464B2 JP 7147464 B2 JP7147464 B2 JP 7147464B2 JP 2018200056 A JP2018200056 A JP 2018200056A JP 2018200056 A JP2018200056 A JP 2018200056A JP 7147464 B2 JP7147464 B2 JP 7147464B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- detected
- tracked
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
例えば、追跡部32は、各画像に対してカメラ2についての車両10への取り付け位置などの情報を用いて視点変換処理を実行することで、その画像を鳥瞰画像に変換する。その際、追跡部32は、画像上での検出された物体領域のサイズに基づいて車両10からその物体までの距離を推定し、推定した距離に基づいて鳥瞰画像上での検出された物体上の各点の位置を特定してもよい。例えば、検出対象となる物体の種類ごとに、メモリ22に、車両10からその物体までの距離が所定の基準距離である場合の画像上のその物体の基準サイズが予め記憶される。そして追跡部32は、画像上での検出された物体領域のサイズに対する、その検出された物体に対応する基準サイズの比を、基準距離に乗じて得られる距離を、検出された物体までの推定距離とすることができる。そして追跡部32は、一連の鳥瞰画像に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、各鳥瞰画像間で、検出された物体のうちの同じものを対応付けることで、一連の画像から検出された物体を追跡する。
なお、運転計画部34は、複数の走行予定経路を生成してもよい。この場合、運転計画部34は、複数の走行予定経路のうち、車両10の加速度の絶対値の総和が最小となる経路を選択してもよい。
2 カメラ
3 無線通信端末
4 電子制御装置(画像選択装置)
5 車内ネットワーク
21 通信インターフェース
22 メモリ
23 プロセッサ
31 物体検出部
32 追跡部
33 選択部
34 運転計画部
35 車両制御部
10 車両
11 サーバ
12 通信ネットワーク
13 無線基地局
Claims (8)
- 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体及び当該画像上で当該物体が含まれる領域を検出する検出部と、
前記一連の画像にわたって前記検出された物体を追跡する追跡部と、
前記検出された物体が追跡された追跡期間が所定期間以上であり、かつ、前記一連の画像のうちの前記追跡期間中の何れかの画像における、前記検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、前記一連の画像のうち、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像を選択する選択部と、
を有する画像選択装置。 - 前記選択部は、前記追跡期間の最初の画像において前記検出された物体が含まれる領域のサイズが前記所定のサイズ閾値以上である場合、前記追跡期間の直前の画像を選択する、請求項1に記載の画像選択装置。
- 前記識別器は、前記一連の画像のそれぞれについて、入力された画像上で物体が写っている確からしさを表す確信度をさらに出力し、
前記選択部は、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像において当該追跡された物体についての前記確信度が所定の確信度閾値以上である場合に限り、当該画像を選択する、請求項1または2に記載の画像選択装置。 - 前記識別器は、前記一連の画像のそれぞれについて、前記検出された物体の種類をさらに出力し、
前記選択部は、前記所定のサイズ閾値を前記検出された物体の種類に応じて設定する、請求項1~3の何れか一項に記載の画像選択装置。 - 前記識別器は、前記一連の画像のそれぞれについて、前記検出された物体の種類をさらに出力し、
前記選択部は、前記選択した画像とともに、前記追跡期間において追跡された物体の種類を記憶する、請求項1~4の何れか一項に記載の画像選択装置。 - 前記選択部は、前記追跡期間中において当該追跡された物体が検出されていない画像において他の物体が検出されていないか、または当該追跡された物体が検出されていない画像の前後の画像において検出された他の物体が当該追跡された物体の所定範囲内に位置していない場合に限り、当該追跡された物体が検出されていない画像を選択する、請求項1~5の何れか一項に記載の画像選択装置。
- 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体及び当該画像上で当該物体が含まれる領域を検出し、
前記一連の画像にわたって前記検出された物体を追跡し、
前記検出された物体を追跡された追跡期間が所定期間以上であり、かつ、前記一連の画像のうちの前記追跡期間中の何れかの画像における、前記検出された物体が含まれる領域のサイズが所定のサイズ閾値以上である場合、前記一連の画像のうち、前記追跡期間の直前の画像または前記追跡期間中において当該追跡された物体が検出されていない画像を選択する、
画像選択方法。 - 車両に搭載された撮像部から得られる一連の画像のそれぞれについて、物体を検出するように予め学習された識別器に当該画像を入力することで、当該画像上に表された物体を検出する検出部と、
前記一連の画像にわたって前記検出された物体を追跡する追跡部と、
前記検出された物体が追跡された期間が所定期間未満である場合、前記一連の画像のうちの当該期間内の何れかの画像を選択する選択部と、
を有する画像選択装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200056A JP7147464B2 (ja) | 2018-10-24 | 2018-10-24 | 画像選択装置及び画像選択方法 |
US16/658,816 US11257239B2 (en) | 2018-10-24 | 2019-10-21 | Image selection device and image selection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200056A JP7147464B2 (ja) | 2018-10-24 | 2018-10-24 | 画像選択装置及び画像選択方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020067818A JP2020067818A (ja) | 2020-04-30 |
JP7147464B2 true JP7147464B2 (ja) | 2022-10-05 |
Family
ID=70327540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200056A Active JP7147464B2 (ja) | 2018-10-24 | 2018-10-24 | 画像選択装置及び画像選択方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11257239B2 (ja) |
JP (1) | JP7147464B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4272157A1 (en) * | 2020-12-30 | 2023-11-08 | Mobileye Vision Technologies Ltd. | Systems and methods for road segment mapping |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016001397A (ja) | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
JP2017033175A (ja) | 2015-07-30 | 2017-02-09 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2017138659A (ja) | 2016-02-01 | 2017-08-10 | トヨタ自動車株式会社 | 物体追跡方法、物体追跡装置、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4631750B2 (ja) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | 画像処理システム |
US9563955B1 (en) * | 2013-05-15 | 2017-02-07 | Amazon Technologies, Inc. | Object tracking techniques |
JP2017041022A (ja) * | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2018
- 2018-10-24 JP JP2018200056A patent/JP7147464B2/ja active Active
-
2019
- 2019-10-21 US US16/658,816 patent/US11257239B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016001397A (ja) | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
JP2017033175A (ja) | 2015-07-30 | 2017-02-09 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2017138659A (ja) | 2016-02-01 | 2017-08-10 | トヨタ自動車株式会社 | 物体追跡方法、物体追跡装置、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11257239B2 (en) | 2022-02-22 |
US20200134850A1 (en) | 2020-04-30 |
JP2020067818A (ja) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11093801B2 (en) | Object detection device and object detection method | |
US11308717B2 (en) | Object detection device and object detection method | |
JP7388971B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
JP7078021B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US11829153B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
CN111505690B (zh) | 实时检测应急车辆并规划行驶路径的方法及装置 | |
JP2020052647A (ja) | 物体検出装置、物体検出方法、物体検出用コンピュータプログラム及び車両制御システム | |
JP7115502B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
JP7226368B2 (ja) | 物体状態識別装置 | |
JP2021163432A (ja) | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 | |
JP2021026683A (ja) | 距離推定装置 | |
US20220319322A1 (en) | Drive assist apparatus and drive assist method | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
JP7147464B2 (ja) | 画像選択装置及び画像選択方法 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
JP7556365B2 (ja) | 走行経路作成装置、走行経路作成方法、および走行経路作成用コンピュータプログラム | |
JP2023152109A (ja) | 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム | |
US11702094B2 (en) | Driving support apparatus and driving support method | |
JP7528915B2 (ja) | 追跡装置、追跡方法及び追跡用コンピュータプログラム | |
JP7491260B2 (ja) | 人検出装置、人検出方法及び人検出用コンピュータプログラム | |
JP2022079954A (ja) | 物体検出装置 | |
JP2022146384A (ja) | 物体検出装置 | |
JP2021138338A (ja) | 車両制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7147464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |