JP6527013B2 - 交通標識から英数字を抽出/認識するコンピュータ実施システムおよび方法 - Google Patents
交通標識から英数字を抽出/認識するコンピュータ実施システムおよび方法 Download PDFInfo
- Publication number
- JP6527013B2 JP6527013B2 JP2015094712A JP2015094712A JP6527013B2 JP 6527013 B2 JP6527013 B2 JP 6527013B2 JP 2015094712 A JP2015094712 A JP 2015094712A JP 2015094712 A JP2015094712 A JP 2015094712A JP 6527013 B2 JP6527013 B2 JP 6527013B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- alphanumeric
- alphanumeric characters
- characters
- readable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 8
- 238000009966 trimming Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- Traffic Control Systems (AREA)
Description
・事前に定められている区画割された雛形、雛形に重ねて配置した英数字および雛形に重ねて配置した英数字の各区画に対する事前に定められている前記英数字と一意対応する閾値ピクセル数を含むテーブルを保存するステップ、
・交通標識の画像取得ステップ、
・認識に適する交通標識アナログ画像を事前に定められているルールに従い選択するステップ、
・適切なアナログ画像の中から形状を検出して読取り可能な英数字画像を取得するステップ、
・英数字の画像品質を向上して画質向上された読取り可能な画像を取得するステップ、及び
・取得された画質向上された読取り可能な画像から英数字を認識するステップ。
英数字認識ステップは、以下のステップを含む。
・・受け取った画質向上された読取り可能な画像をデジタルバイナリ画像に変換するステップ、
・・デジタルバイナリ画像をサイズ変更し目的サイズの画像を取得するステップ、
・・取得した目的サイズの画像に形態上の細線化を適用して細線化された英数字を含むアナログ画像を取得するステップ、
・・細線化された英数字を含むアナログ画像をトリミングして英数字を取得するステップ、
・・トリミングして英数字のみ分離するステップ、
・・分離された英数字をサイズ変更し目的のサイズの英数字を取得するステップ、
・・目的サイズになった英数字をひとつずつ保存された事前に定められている雛形と照合して異なる区画雛形に存在する数のピクセルを取得するステップ、及び
・・特定の区画に存在する取得された数のピクセルをリポジトリに保存されているその区画についての合計閾値ピクセル数と照合する、対応が付けられた英数字を認識するステップ。
最後に、
・認識された英数字を表示するステップを含む。
本発明により提供される技術的進歩性には以下のことの実現が含まれる。
・交通標識から英数字を抽出/認識するシステム、
・交通標識から英数字を抽出/認識するために機械学習技法を使用しないシステム、
・照明条件により影響を受けないシステム、
・交通標識の取得画像の縮尺により影響を受けないシステム、
・抽出された不備のある数字を画質向上するシステム、
・形態の予備処理を使用する英数字を認識するシステム。
Claims (12)
- 交通標識から英数字を抽出/認識し、認識された英数字を車載ディスプレイに表示するためのコンピュータ実施システムであって、
(i)事前に定められている区画割りされた雛形と当該雛形に重ねて配置した英数字を格納するリポジトリと、
(ii)交通標識の画像を取得するカメラと、
(iii)取得した交通標識の画像からアナログ画像を選択するプロセッサと、
(iv)読取可能な英数字の画像を取得するための適切なアナログ画像に含まれる形状を認識する形状認識装置と、
(v)英数字の画像の品質を向上させる画質向上モジュールと、
(vi)受け取った画質向上された読取可能な画像から英数字を認識する英数字認識デバイスと、
を有し、
前記英数字認識デバイスは、
受け取った画質向上された読取可能な画像をデジタルバイナリ画像に変換するバイナリコンバータと、
前記バイナリコンバータと連動して、前記デジタルバイナリ画像をサイズ変更して目的サイズの画像を取得する第1のサイズ変更デバイスと、
前記第1のサイズ変更デバイスと連動して、サイズ変更された画像を受け取り、受け取ったサイズ変更された画像にモルフォロジー演算による細線化処理を適用して細線化された英数字を含むアナログ画像を取得する細線化モジュールと、
前記細線化モジュールと連動して、細線化された英数字を含むアナログ画像をトリミングして英数字を取得する画像トリムモジュールと、
前記画像トリムモジュールと連動して、英数字を含むトリミングされた画像を受け取り、分離された英数字を取得する英数字トリムモジュールと、
前記英数字トリムモジュールと連動して、分離された英数字のサイズを変更して、サイズ変更された英数字を取得する第2のサイズ変更デバイスと、
前記リポジトリと連動して事前に定められている雛形を受け取るとともに、前記第2のサイズ変更デバイスと連動してサイズ変更された英数字を受け取り、サイズ変更された各英数字を事前に定められている雛形と照合して、異なる雛形区画に存在するピクセル数を取得する第1のコンパレータと、
前記リポジトリと連動して、雛形に重ねて配置した英数字の各区画に対して事前に定められている閾値ピクセル数を格納しているテーブルを受け取り、前記第1のコンパレータと連動して、取得された数のピクセルを受け取り、特定の区画に存在する取得されたピクセル数を対応する区画に対する受け取った閾値ピクセル数と照合して、対応する英数字を認識する第2のコンパレータと、
を有することを特徴とするコンピュータ実施システム。 - 前記画質向上モジュールは、
英数字が読取可能な各画像の対象領域に対応する画像の領域を識別してトリミングされた画像を取得するROI識別素子と、
前記ROI識別素子と連動してトリミングされた画像をグレー画像に変換するROIコンバータと、
前記ROIコンバータと連動してグレー画像を受け取り、ヒストグラム等化をグレー画像に適用し、画質向上された読取可能なアナログ画像を取得するヒストグラムイコライザーと、
を有することを特徴とする請求項1に記載のコンピュータ実施システム。 - 画質向上された読取可能なアナログ画像は、白い画像背景上にある黒い英数字画像からなる、
ことを特徴とする請求項2に記載のコンピュータ実施システム。 - 前記形状認識装置は、適切なアナログ画像内にある対象領域を識別することにより、読取可能な英数字画像を取得する、
ことを特徴とする請求項1に記載のコンピュータ実施システム。 - 前記ディスプレイは、車載ダッシュボードに取り付けられている、
ことを特徴とする請求項1に記載のコンピュータ実施システム。 - 前記デジタルバイナリ画像は、黒い画像背景上にある白い英数字画像を含んでいる、
ことを特徴とする請求項1に記載のコンピュータ実施システム。 - 交通標識から英数字を抽出/認識し、認識された英数字を車載ディスプレイに表示するためのコンピュータ実施方法であって、
(i)事前に定められている区画割りされた雛形と当該雛形に重ねて配置した英数字を格納するステップと、
(ii)交通標識の画像を取得するステップと、
(iii)取得した交通標識の画像からアナログ画像を選択するステップと、
(iv)読取可能な英数字の画像を取得するための適切なアナログ画像に含まれる形状を認識するステップと、
(v)英数字の画像の品質を向上させるステップと、
(vi)受け取った画質向上された読取可能な画像から英数字を認識するステップと、
を有し、
前記英数字を認識するステップは、
受け取った画質向上された読取可能な画像をデジタルバイナリ画像に変換するステップと、
前記デジタルバイナリ画像をサイズ変更して目的サイズの画像を取得するステップと、
サイズ変更された画像に対してモルフォロジー演算による細線化処理を適用することにより、細線化された英数字を含むアナログ画像を取得するステップと、
細線化された英数字を含むアナログ画像をトリミングして英数字を取得するステップと、
トリミングにより英数字を分離するステップと、
分離された英数字のサイズを変更して、サイズ変更された英数字を取得するステップと、
サイズ変更された各英数字を事前に定められている雛形と照合して、異なる雛形区画に存在するピクセル数を取得するステップと、
特定の区画に存在する取得されたピクセル数を対応する区画に対する閾値ピクセル数と照合して、対応する英数字を認識するステップと、
を有することを特徴とするコンピュータ実施方法。 - 画像の品質を向上させるステップは、
英数字が読取可能な各画像の対象領域に対応する画像の領域を識別してトリミングされた画像を取得するステップと、
トリミングされた画像をグレー画像に変換するステップと、
ヒストグラム等化をグレー画像に適用して画質向上された読取可能なアナログ画像を取得するステップと、
を有することを特徴とする請求項7に記載のコンピュータ実施方法。 - 画質向上された読取可能なアナログ画像を取得するステップでは、白い画像背景上にある黒い英数字画像を取得する、
ことを特徴とする請求項8に記載のコンピュータ実施方法。 - 英数字の形状を認識するステップでは、適切なアナログ画像内にある対象領域を識別する、
ことを特徴とする請求項7に記載のコンピュータ実施方法。 - 認識された英数字を表示するステップでは、認識された英数字を車載ダッシュボードに表示する、
ことを特徴とする請求項7に記載のコンピュータ実施方法。 - 受け取った画質向上された読取可能な画像をデジタルバイナリ画像に変換するステップでは、黒い画像背景上にある白い英数字画像を取得する、
ことを特徴とする請求項7に記載のコンピュータ実施方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN326/MUM/2015 | 2015-01-31 | ||
IN326MU2015 | 2015-01-31 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016143408A JP2016143408A (ja) | 2016-08-08 |
JP2016143408A5 JP2016143408A5 (ja) | 2018-06-07 |
JP6527013B2 true JP6527013B2 (ja) | 2019-06-05 |
Family
ID=53040405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015094712A Active JP6527013B2 (ja) | 2015-01-31 | 2015-05-07 | 交通標識から英数字を抽出/認識するコンピュータ実施システムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9569676B2 (ja) |
EP (1) | EP3051461B1 (ja) |
JP (1) | JP6527013B2 (ja) |
DK (1) | DK3051461T3 (ja) |
ES (1) | ES2804586T3 (ja) |
PT (1) | PT3051461T (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6552979B2 (ja) * | 2016-02-16 | 2019-07-31 | 株式会社日立製作所 | 画像処理装置、警告装置、画像処理システム、画像処理方法 |
JP6607139B2 (ja) * | 2016-04-26 | 2019-11-20 | トヨタ自動車株式会社 | 情報収集システム |
CN109472202A (zh) * | 2018-09-29 | 2019-03-15 | 天津大学 | 一种基于车载摄像头的路面标志检测方法 |
JP6929823B2 (ja) * | 2018-11-16 | 2021-09-01 | 株式会社東芝 | 読取システム、読取方法、プログラム、記憶媒体、及び移動体 |
US11436713B2 (en) * | 2020-02-19 | 2022-09-06 | International Business Machines Corporation | Application error analysis from screenshot |
CN113449639B (zh) * | 2021-06-29 | 2024-09-06 | 深圳市海亿达科技股份有限公司 | 一种物联网网关对仪表的无接触数据采集方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
US20030202683A1 (en) * | 2002-04-30 | 2003-10-30 | Yue Ma | Vehicle navigation system that automatically translates roadside signs and objects |
IL162878A0 (en) | 2004-07-06 | 2005-11-20 | Hi Tech Solutions Ltd | Multi-level neural network based characters identification method and system |
WO2006059246A2 (en) * | 2004-11-08 | 2006-06-08 | Dspv, Ltd. | System and method of enabling a cellular/wireless device with imaging capabilities to decode printed alphanumeric characters |
US7274311B1 (en) * | 2005-04-20 | 2007-09-25 | Navteq North America, Llc | Animated display of traffic information |
US20090017765A1 (en) * | 2005-11-04 | 2009-01-15 | Dspv, Ltd | System and Method of Enabling a Cellular/Wireless Device with Imaging Capabilities to Decode Printed Alphanumeric Characters |
US8233670B2 (en) * | 2007-09-13 | 2012-07-31 | Cognex Corporation | System and method for traffic sign recognition |
JP2010205160A (ja) * | 2009-03-05 | 2010-09-16 | Denso Corp | 速度規制標識認識結果の通知方法 |
TWI416073B (zh) * | 2009-11-16 | 2013-11-21 | Ind Tech Res Inst | 移動攝影機對路景影像的處理方法及系統 |
CN101706873B (zh) | 2009-11-27 | 2012-05-30 | 东软集团股份有限公司 | 数字类限制标志的识别方法和装置 |
-
2015
- 2015-04-30 PT PT151659638T patent/PT3051461T/pt unknown
- 2015-04-30 ES ES15165963T patent/ES2804586T3/es active Active
- 2015-04-30 EP EP15165963.8A patent/EP3051461B1/en active Active
- 2015-04-30 DK DK15165963.8T patent/DK3051461T3/da active
- 2015-05-07 JP JP2015094712A patent/JP6527013B2/ja active Active
- 2015-05-26 US US14/721,385 patent/US9569676B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3051461B1 (en) | 2020-04-15 |
US20160224851A1 (en) | 2016-08-04 |
PT3051461T (pt) | 2020-07-14 |
JP2016143408A (ja) | 2016-08-08 |
EP3051461A1 (en) | 2016-08-03 |
ES2804586T3 (es) | 2021-02-08 |
US9569676B2 (en) | 2017-02-14 |
DK3051461T3 (da) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6527013B2 (ja) | 交通標識から英数字を抽出/認識するコンピュータ実施システムおよび方法 | |
US8059868B2 (en) | License plate recognition apparatus, license plate recognition method, and computer-readable storage medium | |
EP2573711A2 (en) | Traffic sign detecting method and traffic sign detecing device | |
CN108073928B (zh) | 一种车牌识别方法及装置 | |
EP3036730B1 (en) | Traffic light detection | |
JP2010205160A (ja) | 速度規制標識認識結果の通知方法 | |
JP2011216051A (ja) | 信号灯識別プログラムおよび信号灯識別装置 | |
CN107292214B (zh) | 车道偏离检测方法、装置及车辆 | |
CN106778736A (zh) | 一种鲁棒的车牌识别方法及其系统 | |
JP2016143408A5 (ja) | ||
CN104966047A (zh) | 一种车牌识别的方法及装置 | |
CN108182691B (zh) | 识别限速标志的方法、装置及车辆 | |
Biswas et al. | Detection and classification of speed limit traffic signs | |
CN101369312B (zh) | 检测图像中交叉口的方法和设备 | |
CN106022242B (zh) | 智能交通系统中的驾驶员接打电话识别方法 | |
Ahmed et al. | Traffic sign detection and recognition model using support vector machine and histogram of oriented gradient | |
Sumi et al. | Detection and recognition of road traffic signs: a survey | |
KR101902291B1 (ko) | 차선 보정 시스템 및 그 보정 방법 | |
KR101620425B1 (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
CN106803064B (zh) | 一种交通灯快速识别方法 | |
CN113065399A (zh) | 基于车载平台的交通标识识别系统 | |
Nienhüser et al. | Fast and reliable recognition of supplementary traffic signs | |
Farhat et al. | Real-time recognition of road traffic signs in video scenes | |
Chincholkar et al. | TRAFFIC SIGN BOARD DETECTION AND RECOGNITION FOR AUTONOMOUS VEHICLES AND DRIVER ASSISTANCE SYSTEMS. | |
Tewari et al. | Smart driver assistant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180413 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180413 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6527013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |