JP7088136B2 - 標示物認識システム及び標示物認識方法 - Google Patents
標示物認識システム及び標示物認識方法 Download PDFInfo
- Publication number
- JP7088136B2 JP7088136B2 JP2019136947A JP2019136947A JP7088136B2 JP 7088136 B2 JP7088136 B2 JP 7088136B2 JP 2019136947 A JP2019136947 A JP 2019136947A JP 2019136947 A JP2019136947 A JP 2019136947A JP 7088136 B2 JP7088136 B2 JP 7088136B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- sign
- marking
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000001514 detection method Methods 0.000 claims description 71
- 238000000605 extraction Methods 0.000 claims description 30
- 238000009434 installation Methods 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 6
- 230000004807 localization Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000002492 Rungia klossii Nutrition 0.000 description 1
- 244000117054 Rungia klossii Species 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Mechanical Engineering (AREA)
Description
そこで、本発明の目的は、車載カメラにより撮影された標示物が、データベース中のどの標示物かを特定する処理を、簡易に実行することを可能とする標示物認識システム及び標示物認識方法を提供するにある。尚、ここでの標示物とは、例えば道路案内用の案内標識や看板などを含む。
図1から図5を参照して、第1の実施形態について述べる。図1は、本実施形態に係る標示物認識システムとしての案内標識認識システム1の全体構成を概略的に示している。ここで、案内標識認識システム1は、データを収集、分析し、高精度の標示物データベースとしての案内標識データベースを生成するデータセンタ2と、道路上を走行する乗用車やトラック等の複数台の車両に夫々設けられた車載装置3(便宜上1つのみ図示)とから構成される。
次に、図6から図8を参照して、第2の実施形態について述べる。この第2の実施形態に係る標示物認識システムとしての案内標識認識システム21は、図6に示すように、データセンタ22と、複数台の車両に搭載された車載装置23との間を通信可能に接続して構成される。そのうち車載装置23は、車載カメラ4、位置検出部5、各種車載センサ6、地図データ記憶部7、送信装置及び受信装置として機能する通信部24、操作表示部10、抽出部としての機能を有する制御部25を備えている。
図9及び図10は、第3の実施形態を示すものである。図9に示すように、本実施形態に係る標示物認識システムとしての案内標識認識システム31は、車両に搭載された車載装置32を備えている。車載装置32は、車載カメラ4、位置検出部5、各種車載センサ6、地図データ記憶部7、通信部8、標示物データベースとしての案内標識データベース33、操作表示部10、制御部34を備えている。前記案内標識データベース33には、最新の高精度の標示物データとしての案内標識データが記憶されている。それらデータは、例えば上記第1の実施形態で示したデータセンタ2等において高精度のものが生成、更新され、各車載装置31に配信される。
図11は、第4の実施形態を示すものであり、以下、上記第3の実施形態と異なる点について述べる。即ち、車両に搭載された車載装置は、車載カメラ、位置検出部、各種車載センサ、地図データ記憶部、通信部、標示物データベースとしての案内標識データベース、操作表示部、制御部を備えている。前記制御部が、抽出部、照合装置、自車位置判定装置等として機能する。前記制御部は、車載カメラにより撮影された標示物としての案内標識の撮影画像データから、特定種類の文字のみを認識し、属性情報として抽出する。
図12は、第5の実施形態を示すものである。ここでは、左右2つの標示物としての案内標識A6、A7が並んで設けられているが、これらはよく似ており、数字を認識する場合に、共に「26 1/2」が抽出され、相違点は見られない。このとき、左側の案内標識A6の上部には、「95」の看板A8が設けられ、右側の案内標識A7の上部には、「20」の看板A9が設けられている。この場合、本来的には、案内標識A6と看板A8とは別のものとして取扱われ、同様に、案内標識A7と看板A9とは別のものとして取扱われる。
Claims (11)
- 車両に搭載された車載カメラ(4)により、所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識するシステム(1、21、31)であって、
前記撮影画像データから、標示物中の、文字を文字体系別に分類した複数の文字種類のうち一部の特定種類の文字に限定して抽出を実施する抽出部(11、25、34)と、
前記抽出部(11、25、34)により抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データベース(17、28、33)と、
前記抽出部が抽出した属性情報を前記標示物データベース中の表示物データとを照合する照合装置(27、34)とを備える標示物認識システム。 - 複数台の車両に搭載された車載装置と、データセンタとの間を通信可能に接続して構成されるものであって、
前記車載装置は、前記車載カメラと、前記抽出部と、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出部が抽出した属性情報からなる検出データを前記データセンタに送信する送信装置とを備え、
前記データセンタは、前記標示物データベースと、前記各車両の車載装置から検出データを受信して収集する収集装置と、前記収集装置により収集した検出データに基づいて前記標示物データベースに前記標示物データを登録する登録装置とを備える請求項1記載の標示物認識システム。 - 前記登録装置は、受信した複数の検出データから、同一の属性情報を有する検出データを収集し、収集した検出データの撮影位置情報を統計処理することに基づいて設置位置情報を確定して前記標示物データとする請求項2記載の標示物認識システム。
- 複数台の車両に搭載された車載装置と、データセンタとの間を通信可能に接続して構成されるものであって、
前記車載装置は、前記車載カメラと、前記抽出部と、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出部が抽出した属性情報からなる検出データを前記データセンタに送信する送信装置とを備え、
前記データセンタは、前記標示物データベースと、前記車載装置から検出データを受信する受信装置と、前記照合装置と、前記標示物データベースの標示物データ中に一致する属性情報が存在する場合に、当該標示物の設置位置情報から前記車両の位置を判断する車両位置判断装置とを備える請求項1から3のいずれか一項に記載の標示物認識システム。 - 前記車両には車載装置が搭載され、
前記車載装置は、前記車載カメラと、前記抽出部と、前記標示物データベースと、前記照合装置と、前記標示物データベースの標示物データ中に一致する属性情報が存在する場合に、当該標示物の設置位置情報から自車位置を判定する自車位置判定装置とを備え、
前記照合装置は、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出部が抽出した属性情報からなる検出データを前記標示物データベースの標示物データと照合する請求項1から3のいずれか一項に記載の標示物認識システム。 - 前記照合装置は、前記撮影位置情報に基づいてその撮影位置の周辺所定範囲内の標示物データから、属性情報の一致する標示物を検索することにより、照合を行う請求項1から5のいずれか一項に記載の標示物認識システム。
- 前記特定種類の文字は、数字である請求項1から6のいずれか一項に記載の標示物認識システム。
- 前記抽出部は、前記標示物の撮影画像データから、該標示物の左から右方向に向けて数字を探索することを、上下方向に順に繰り返し、抽出した順番に数字を並べた文字列を属性情報とする請求項7記載の標示物認識システム。
- 前記抽出部が認識対象とする文字は、自車両の位置に応じて動的に変更される請求項1から6のいずれか一項に記載の標示物認識システム。
- 前記特定種類の文字は、漢字であり、
前記抽出部が認識対象とする文字群が所定数に制限されると共に、前記認識対象文字群が、自車両の位置に応じて動的に変更される請求項9記載の標示物認識システム。 - 車両に搭載された車載カメラ(4)により、所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識する方法であって、
前記撮影画像データから、標示物中の、文字を文字体系別に分類した複数の文字種類のうち一部の特定種類の文字に限定して抽出を実施する抽出工程と、
前記抽出工程において抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データ記憶工程と、
前記抽出部が抽出した属性情報を前記標示物データベースの表示物データとを照合する照合工程とを含む標示物認識方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/033315 WO2020045345A1 (ja) | 2018-08-31 | 2019-08-26 | 標示物認識システム及び標示物認識方法 |
DE112019004319.6T DE112019004319T5 (de) | 2018-08-31 | 2019-08-26 | Verfahren und system zum erkennen eines schildes |
CN201980056008.0A CN112639905B (zh) | 2018-08-31 | 2019-08-26 | 标示物识别系统以及标示物识别方法 |
US17/186,948 US11830255B2 (en) | 2018-08-31 | 2021-02-26 | Method and system for recognizing sign |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163075 | 2018-08-31 | ||
JP2018163075 | 2018-08-31 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020038632A JP2020038632A (ja) | 2020-03-12 |
JP2020038632A5 JP2020038632A5 (ja) | 2021-03-18 |
JP7088136B2 true JP7088136B2 (ja) | 2022-06-21 |
Family
ID=69738115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019136947A Active JP7088136B2 (ja) | 2018-08-31 | 2019-07-25 | 標示物認識システム及び標示物認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11830255B2 (ja) |
JP (1) | JP7088136B2 (ja) |
CN (1) | CN112639905B (ja) |
DE (1) | DE112019004319T5 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003066356A1 (fr) * | 2002-02-06 | 2003-08-14 | Toyota Jidosha Kabushiki Kaisha | Dispositif de stabilisation |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11814080B2 (en) | 2020-02-28 | 2023-11-14 | International Business Machines Corporation | Autonomous driving evaluation using data analysis |
US11702101B2 (en) | 2020-02-28 | 2023-07-18 | International Business Machines Corporation | Automatic scenario generator using a computer for autonomous driving |
US11644331B2 (en) * | 2020-02-28 | 2023-05-09 | International Business Machines Corporation | Probe data generating system for simulator |
JP7117408B1 (ja) | 2021-02-26 | 2022-08-12 | 株式会社パスコ | 位置算出装置、プログラム及び位置算出方法 |
JP2022178701A (ja) * | 2021-05-20 | 2022-12-02 | フォルシアクラリオン・エレクトロニクス株式会社 | ナビゲーション装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012002595A (ja) | 2010-06-15 | 2012-01-05 | Sony Corp | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
JP2013506214A (ja) | 2009-10-01 | 2013-02-21 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 交通標識の識別方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008192032A (ja) * | 2007-02-07 | 2008-08-21 | Fuji Xerox Co Ltd | 文書処理装置、文書処理方法、プログラム |
JP2009009368A (ja) * | 2007-06-28 | 2009-01-15 | Aisin Aw Co Ltd | 路面標示認識システム |
JP5141969B2 (ja) * | 2007-09-27 | 2013-02-13 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置 |
US8509571B2 (en) * | 2008-06-11 | 2013-08-13 | Panasonic Corporation | Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method |
JP2010266383A (ja) | 2009-05-16 | 2010-11-25 | Alpine Electronics Inc | 道路標識認識走行案内システム |
JPWO2015071923A1 (ja) * | 2013-11-12 | 2017-03-09 | 三菱電機株式会社 | 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム |
WO2016130719A2 (en) | 2015-02-10 | 2016-08-18 | Amnon Shashua | Sparse map for autonomous vehicle navigation |
US10395126B2 (en) * | 2015-08-11 | 2019-08-27 | Honda Motor Co., Ltd. | Sign based localization |
JP2017111469A (ja) * | 2015-12-14 | 2017-06-22 | 富士通株式会社 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
US10325339B2 (en) * | 2016-04-26 | 2019-06-18 | Qualcomm Incorporated | Method and device for capturing image of traffic sign |
JP6479296B2 (ja) * | 2017-02-02 | 2019-03-06 | 三菱電機株式会社 | 位置姿勢推定装置および位置姿勢推定方法 |
JP6249513B1 (ja) | 2017-03-27 | 2017-12-20 | レーザーテック株式会社 | 補正方法、補正装置及び検査装置 |
JP2019136947A (ja) | 2018-02-11 | 2019-08-22 | 修治 阿部 | 先端部で字消しが可能な筆記具 |
-
2019
- 2019-07-25 JP JP2019136947A patent/JP7088136B2/ja active Active
- 2019-08-26 CN CN201980056008.0A patent/CN112639905B/zh active Active
- 2019-08-26 DE DE112019004319.6T patent/DE112019004319T5/de active Pending
-
2021
- 2021-02-26 US US17/186,948 patent/US11830255B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013506214A (ja) | 2009-10-01 | 2013-02-21 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 交通標識の識別方法 |
JP2012002595A (ja) | 2010-06-15 | 2012-01-05 | Sony Corp | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003066356A1 (fr) * | 2002-02-06 | 2003-08-14 | Toyota Jidosha Kabushiki Kaisha | Dispositif de stabilisation |
Also Published As
Publication number | Publication date |
---|---|
CN112639905A (zh) | 2021-04-09 |
JP2020038632A (ja) | 2020-03-12 |
US11830255B2 (en) | 2023-11-28 |
DE112019004319T5 (de) | 2021-09-09 |
CN112639905B (zh) | 2023-09-29 |
US20210182581A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7088136B2 (ja) | 標示物認識システム及び標示物認識方法 | |
CN113570893B (zh) | 自动驾驶辅助装置、控制方法及存储介质 | |
JP4847090B2 (ja) | 位置測位装置、および位置測位方法 | |
US20180045516A1 (en) | Information processing device and vehicle position detecting method | |
US10467483B2 (en) | Image acquiring system, terminal, image acquiring method, and image acquiring program | |
EP2598842B1 (en) | Guidance device, guidance method, and guidance program | |
CN106153064B (zh) | 一种交叉路口的显示方法及装置 | |
US8953838B2 (en) | Detecting ground geographic features in images based on invariant components | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
JP2002243469A (ja) | ナビゲーション装置および地図データベース更新システム | |
US11656090B2 (en) | Method and system for generating navigation data for a geographical location | |
JP2011215057A (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5203747B2 (ja) | ナビゲーション装置 | |
JP4953015B2 (ja) | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 | |
US20200294119A1 (en) | Computer program product and computer-implemented method | |
WO2020045345A1 (ja) | 標示物認識システム及び標示物認識方法 | |
JP7207045B2 (ja) | サーバ装置および情報処理方法 | |
JP3190739B2 (ja) | 車両位置検出装置 | |
US11885640B2 (en) | Map generation device and map generation method | |
JP4220354B2 (ja) | 他車位置表示装置及び他車情報提示方法 | |
JP2010101638A (ja) | 情報処理システム、車載装置、情報処理方法およびプログラム | |
JP2019061328A (ja) | 案内システム、及び案内プログラム | |
EP3637056B1 (en) | Method and system for generating navigation data for a geographical location | |
JP6177584B2 (ja) | ナビゲーション装置 | |
JP2021196317A (ja) | ナビゲーションシステム、ナビゲーションプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7088136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |