JPWO2019193762A1 - Guide sign recognition device and guide sign recognition method - Google Patents

Guide sign recognition device and guide sign recognition method Download PDF

Info

Publication number
JPWO2019193762A1
JPWO2019193762A1 JP2020511583A JP2020511583A JPWO2019193762A1 JP WO2019193762 A1 JPWO2019193762 A1 JP WO2019193762A1 JP 2020511583 A JP2020511583 A JP 2020511583A JP 2020511583 A JP2020511583 A JP 2020511583A JP WO2019193762 A1 JPWO2019193762 A1 JP WO2019193762A1
Authority
JP
Japan
Prior art keywords
guide sign
feature
annaihyoushiki
detection unit
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020511583A
Other languages
Japanese (ja)
Other versions
JP6762451B2 (en
Inventor
秀之 増井
秀之 増井
孝之 瀬光
孝之 瀬光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019193762A1 publication Critical patent/JPWO2019193762A1/en
Application granted granted Critical
Publication of JP6762451B2 publication Critical patent/JP6762451B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

案内標識認識装置（１）は、撮像画像中の案内標識の特徴と、既知の案内標識の特徴とを用いて、撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。The Annaihyoushiki recognition device (1) calculates and calculates the similarity between the Annaihyoushiki in the captured image and the known Annaihyoushiki using the features of the Annaihyoushiki in the captured image and the features of the known Annaihyoushiki. The guide signs in the captured image are recognized from the known guide signs based on the degree of similarity.

Description

この発明は、画像から案内標識を認識する案内標識認識装置および案内標識認識方法に関する。 The present invention relates to a guide sign recognition device and a guide sign recognition method for recognizing a guide sign from an image.

従来から、画像から道路標識を認識する技術が提案されている。
例えば、特許文献１には、画像中のオブジェクトから道路標識の特徴を有した幾何学的図形を判定し、判定した幾何学的図形に対応したテンプレート画像と道路標識の候補画像とを照合した結果に基づいて道路標識を認識する画像処理方法が記載されている。Conventionally, a technique for recognizing a road sign from an image has been proposed.
For example, Patent Document 1 describes a result of determining a geometric figure having the characteristics of a road sign from an object in an image and collating a template image corresponding to the determined geometric figure with a candidate image of a road sign. An image processing method for recognizing a road sign based on is described.

特開２０１７−７８９８９号公報JP-A-2017-78989

特許文献１に記載された方法は、道路標識のうち、速度標識のように画一的なデザインの標識の認識には有効であるが、多様なデザインが存在する案内標識を認識する場合は、多様なデザインに対応した多数のテンプレート画像を用意する必要がある。これにより、多数のテンプレート画像と候補画像とを照合する必要があるため、認識が完了するまでに膨大な計算時間がかかる。 The method described in Patent Document 1 is effective for recognizing a sign having a uniform design such as a speed sign among road signs, but when recognizing a guide sign having various designs, It is necessary to prepare a large number of template images corresponding to various designs. As a result, it is necessary to collate a large number of template images with the candidate images, and it takes an enormous amount of calculation time to complete the recognition.

この発明は上記課題を解決するものであって、案内標識の認識に要するデータ量を削減することができる案内標識認識装置を得ることを目的とする。 The present invention solves the above problems, and an object of the present invention is to obtain a guide sign recognition device capable of reducing the amount of data required for recognizing a guide sign.

この発明に係る案内標識認識装置は、案内標識検出部、特徴検出部および案内標識認識部を備える。案内標識検出部は、撮像画像中の案内標識が存在する領域を検出する。特徴検出部は、案内標識検出部によって検出された領域から案内標識の特徴を検出する。案内標識認識部が、特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。 The guide sign recognition device according to the present invention includes a guide sign detection unit, a feature detection unit, and a guide sign recognition unit. The guide sign detection unit detects a region in the captured image in which the guide sign exists. The feature detection unit detects the feature of the guide sign from the area detected by the guide sign detection unit. The Annaihyoushiki recognition unit calculates the similarity between the Annaihyoushiki in the captured image and the known Annaihyoushiki using the features of the Annaihyoushiki detected by the feature detection unit and the features of the known Annaihyoushiki, and the calculated similarity. The guide signs in the captured image are recognized from the known guide signs based on the degree.

この発明によれば、案内標識認識装置は、撮像画像中の案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。案内標識の特徴から算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。 According to the present invention, the Annaihyoushiki recognition device calculates the similarity between the Annaihyoushiki in the captured image and the known Annaihyoushiki using the features of the Annaihyoushiki in the captured image and the features of the known Annaihyoushiki. The guide signs in the captured image are recognized from the known guide signs based on the similarity. Since recognition is performed based on the similarity calculated from the characteristics of the guide sign, it is not necessary to prepare the entire image of the guide sign for recognition. As a result, the amount of data required for recognizing the guide sign can be reduced.

この発明の実施の形態１に係る案内標識認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the Annaihyoushiki recognition apparatus which concerns on Embodiment 1 of this invention. 実施の形態１に係る案内標識認識方法を示すフローチャートである。It is a flowchart which shows the guide sign recognition method which concerns on Embodiment 1. 図３Ａは、案内標識Ｇ１を示す図である。図３Ｂは、案内標識Ｇ２を示す図である。図３Ｃは、案内標識Ｇ３を示す図である。図３Ｄは、案内標識Ｇ４を示す図である。FIG. 3A is a diagram showing the guide sign G1. FIG. 3B is a diagram showing the guide sign G2. FIG. 3C is a diagram showing the guide sign G3. FIG. 3D is a diagram showing the guide sign G4. 図４Ａは、案内標識Ｇ１およびその特徴を示す図である。図４Ｂは、案内標識Ｇ２およびその特徴を示す図である。図４Ｃは、案内標識Ｇ３およびその特徴を示す図である。図４Ｄは、案内標識Ｇ４およびその特徴を示す図である。FIG. 4A is a diagram showing the guide sign G1 and its features. FIG. 4B is a diagram showing the guide sign G2 and its features. FIG. 4C is a diagram showing the guide sign G3 and its features. FIG. 4D is a diagram showing the guide sign G4 and its features. 案内標識の特徴を示す図である。It is a figure which shows the feature of the guide sign. 特徴検出処理を示すフローチャートである。It is a flowchart which shows the feature detection process. 案内標識認識処理を示すフローチャートである。It is a flowchart which shows the guide sign recognition process. 図８Ａは、実施の形態１に係る案内標識認識装置の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、実施の形態１に係る案内標識認識装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。FIG. 8A is a block diagram showing a hardware configuration that realizes the function of the Annaihyoushiki recognition device according to the first embodiment. FIG. 8B is a block diagram showing a hardware configuration for executing software that realizes the function of the Annaihyoushiki recognition device according to the first embodiment.

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る案内標識認識装置１の構成を示すブロック図である。案内標識認識装置１は、第１記憶装置２に記憶された撮像画像を入力し、入力した撮像画像から案内標識を認識し、認識結果を第２記憶装置３に出力する。第１記憶装置２には、例えば、車両に搭載された撮像装置によって撮像された車外の撮像画像が一時的に記憶される。第２記憶装置３には、案内標識認識装置１による案内標識の自動認識の結果が記憶される。Hereinafter, in order to explain the present invention in more detail, a mode for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1.
FIG. 1 is a block diagram showing a configuration of the Annaihyoushiki recognition device 1 according to the first embodiment of the present invention. The Annaihyoushiki recognition device 1 inputs the captured image stored in the first storage device 2, recognizes the guide sign from the input captured image, and outputs the recognition result to the second storage device 3. For example, the first storage device 2 temporarily stores an image captured outside the vehicle captured by an image pickup device mounted on the vehicle. The second storage device 3 stores the result of automatic recognition of the guide sign by the guide sign recognition device 1.

案内標識認識装置１は、第３記憶装置４、第４記憶装置５および第５記憶装置６に接続されている。第３記憶装置４には、既知の案内標識が撮像された画像から案内標識の画像領域を検出するための学習データが記憶されている。第４記憶装置５には、撮像画像中の案内標識から既知の案内標識の特徴を検出するための学習データが記憶されている。第５記憶装置６には、既知の案内標識の標示内容とこの案内標識の特徴データとが記憶されている。 The guide sign recognition device 1 is connected to the third storage device 4, the fourth storage device 5, and the fifth storage device 6. The third storage device 4 stores learning data for detecting the image area of the guide sign from the image captured by the known guide sign. The fourth storage device 5 stores learning data for detecting the features of known guide signs from the guide signs in the captured image. The fifth storage device 6 stores the marking contents of the known guide sign and the feature data of the guide sign.

案内標識認識装置１は、案内標識検出部１０、特徴検出部１１および案内標識認識部１２を備える。案内標識検出部１０は、第３記憶装置４から入力した学習データを用いて、画像から案内標識が存在する領域を検出するように事前に学習されている。案内標識検出部１０は、第１記憶装置２から撮像画像を入力し、入力した撮像画像中の案内標識が存在する領域を検出する。案内標識検出部１０によって検出された案内標識の画像領域を示すデータは、特徴検出部１１に出力される。 The guide sign recognition device 1 includes a guide sign detection unit 10, a feature detection unit 11, and a guide sign recognition unit 12. The Annaihyoushiki detection unit 10 is pre-learned to detect the area where the Annaihyoushiki exists from the image using the learning data input from the third storage device 4. The Annaihyoushiki detection unit 10 inputs an captured image from the first storage device 2 and detects an area in the input captured image in which the Annaihyoushiki exists. The data indicating the image area of the guide sign detected by the guide sign detection unit 10 is output to the feature detection unit 11.

特徴検出部１１は、第４記憶装置５から入力した学習データを用いて、案内標識検出部１０によって検出された画像領域から案内標識の特徴を検出するように事前に学習されている。案内標識の特徴は、既知の様々な案内標識の特徴である。特徴の検出方法は、複数の特徴を１つの検出器で検出してもよく、複数の特徴のそれぞれについて個別の検出器で検出してもよい。特徴検出部１１は、案内標識検出部１０から案内標識の画像領域を示すデータを入力し、入力したデータが示す画像領域から案内標識の特徴データを検出する。特徴検出部１１によって検出された特徴データは、案内標識認識部１２に出力される。 The feature detection unit 11 is pre-learned to detect the feature of the Annaihyoushiki from the image area detected by the Annaihyoushiki detection unit 10 using the learning data input from the fourth storage device 5. The characteristics of the guide signs are the characteristics of various known guide signs. As a feature detection method, a plurality of features may be detected by one detector, or each of the plurality of features may be detected by an individual detector. The feature detection unit 11 inputs data indicating an image area of the guide sign from the guide sign detection unit 10, and detects the feature data of the guide sign from the image area indicated by the input data. The feature data detected by the feature detection unit 11 is output to the guide sign recognition unit 12.

案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴と第５記憶装置６から入力した既知の案内標識の特徴とを用いて、撮像画像中の案内標識と既知の案内標識との類似度を算出する。案内標識認識部１２は、算出した類似度に基づいて既知の案内標識から撮像画像中の案内標識を認識する。例えば、案内標識認識部１２は、既知の案内標識のうち、類似度が最大の案内標識が撮像画像中の案内標識であると認識する。 The Annaihyoushiki recognition unit 12 uses the features of the Annaihyoushiki detected by the feature detection unit 11 and the features of the known Annaihyoushiki input from the fifth storage device 6, and the Annaihyoushiki in the captured image and the known Annaihyoushiki. Calculate the similarity with. The Annaihyoushiki recognition unit 12 recognizes the Annaihyoushiki in the captured image from the known Annaihyoushiki based on the calculated similarity. For example, the Annaihyoushiki recognition unit 12 recognizes that the Annaihyoushiki with the highest degree of similarity among the known Annaihyoushiki is the Annaihyoushiki in the captured image.

次に動作について説明する。
図２は、実施の形態１に係る案内標識認識方法を示すフローチャートである。
案内標識検出部１０は、第１記憶装置２から入力した撮像画像中の案内標識が存在する領域を検出する（ステップＳＴ１）。例えば、案内標識検出部１０は、ニューラルネットワークを用いて撮像画像から案内標識が存在する画像領域を検出する。ニューラルネットワークは、第３記憶装置４から入力した学習データを用いて画像から案内標識が存在する領域を検出するように事前に学習されている。なお、案内標識検出部１０は、撮像画像中のエッジ部分を抽出して案内標識を特定し、特定した案内標識が含まれる矩形領域を検出してもよい。Next, the operation will be described.
FIG. 2 is a flowchart showing the guide sign recognition method according to the first embodiment.
The Annaihyoushiki detection unit 10 detects the area where the Annaihyoushiki is present in the captured image input from the first storage device 2 (step ST1). For example, the Annaihyoushiki detection unit 10 detects an image region in which the Annaihyoushiki exists from the captured image using a neural network. The neural network is trained in advance so as to detect the region where the guide marker exists from the image using the learning data input from the third storage device 4. The Annaihyoushiki detection unit 10 may extract an edge portion in the captured image to specify the Annaihyoushiki and detect a rectangular region including the specified Annaihyoushiki.

特徴検出部１１は、案内標識検出部１０によって検出された領域から、案内標識の特徴を検出する（ステップＳＴ２）。例えば、特徴検出部１１は、ニューラルネットワークを用いて案内標識の画像領域から案内標識の特徴を検出する。ニューラルネットワークは、第４記憶装置５から入力した学習データを用いて画像領域から案内標識の特徴を検出するように事前に学習されている。案内標識の特徴には、案内標識の色、文字および記号に関する特徴がある。案内標識の色に関する特徴としては、既存の様々な案内標識の背景色が挙げられる。案内標識の文字に関する特徴は、案内標識に記載されている文字である。案内標識に“ＡＢＣＤ”という文字列が記載されていた場合、案内標識の文字に関する特徴は“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”である。案内標識の記号に関する特徴は、案内標識に記載されている記号である。 The feature detection unit 11 detects the feature of the guide sign from the region detected by the guide sign detection unit 10 (step ST2). For example, the feature detection unit 11 detects the feature of the guide sign from the image area of the guide sign using a neural network. The neural network is trained in advance so as to detect the feature of the guide sign from the image area using the training data input from the fourth storage device 5. The features of the guide sign include the color, letters and symbols of the guide sign. A feature regarding the color of the guide sign is the background color of various existing guide signs. The characteristic of the characters of the guide sign is the characters written on the guide sign. When the character string "ABCD" is described on the guide sign, the characteristics of the character of the guide sign are "A", "B", "C", and "D". The characteristic of the guide sign symbol is the symbol described on the guide sign.

特徴検出部１１は、案内標識検出部１０によって検出された領域から検出した案内標識の色、文字および記号に関する特徴と、学習済みの既知の案内標識の色、文字および記号に関する特徴とを比較する。特徴検出部１１は、両者の比較結果に基づいて、撮像画像中の案内標識における既知の案内標識の特徴の有無を判定し、この判定の結果を用いて撮像画像中の案内標識の特徴を示す特徴ベクトルを生成する。例えば、既知の案内標識の文字に関する特徴は、“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”であり、撮像画像中の案内標識には、“Ａ”および“Ｂ”のみが記載されていた場合、撮像画像中の案内標識の特徴を示す特徴ベクトルにおける文字“Ａ”および“Ｂ”に対応する要素に値１が設定され、文字“Ｃ”および“Ｄ”に対応する要素には値０が設定される。 The feature detection unit 11 compares the features related to the color, characters and symbols of the guide sign detected from the area detected by the guide sign detection unit 10 with the features related to the learned known guide sign colors, characters and symbols. .. The feature detection unit 11 determines the presence or absence of the feature of the known guide sign in the guide sign in the captured image based on the comparison result of the two, and shows the feature of the guide sign in the captured image using the result of this determination. Generate a feature vector. For example, the character-related features of the known guide signs are "A", "B", "C", and "D", and only "A" and "B" are described in the guide signs in the captured image. If so, the value 1 is set for the elements corresponding to the letters "A" and "B" in the feature vector indicating the features of the guide sign in the captured image, and the elements corresponding to the letters "C" and "D" are set. The value 0 is set.

案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴と第５記憶装置６から入力した既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する（ステップＳＴ３）。例えば、第５記憶装置６には、既知の案内標識の標示内容とこの案内標識の特徴を示す特徴ベクトルが記憶されている。案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴を示す特徴ベクトルと、既知の案内標識の特徴を示す特徴ベクトルとを用いて両者の類似度を算出し、算出した類似度が最も大きいと判定された既知の案内標識が撮像画像中の案内標識であると認識する。 The Annaihyoushiki recognition unit 12 uses the features of the Annaihyoushiki detected by the feature detection unit 11 and the features of the Annaihyoushiki input from the fifth storage device 6 to provide the Annaihyoushiki in the captured image and the known Annaihyoushiki. The degree of similarity is calculated, and based on the calculated degree of similarity, the guide sign in the captured image is recognized from the known guide sign (step ST3). For example, the fifth storage device 6 stores the marking contents of the known guide sign and the feature vector indicating the feature of the guide sign. The Annaihyoushiki recognition unit 12 calculates the degree of similarity between the feature vector indicating the feature of the Annaihyoushiki detected by the feature detection unit 11 and the feature vector showing the feature of the known Annaihyoushiki, and the calculated similarity. It is recognized that the known guide sign determined to have the highest degree is the guide sign in the captured image.

次に、特徴検出処理について詳細に説明する。
図３Ａは、案内標識Ｇ１を示す図であり、案内標識Ｇ１は、料金所のレーン数とＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｔｏｌｌ Ｃｏｌｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ；登録商標、以下、登録商標であることの記載を省略する）専用レーンの位置を示す案内標識である。図３Ｂは、案内標識Ｇ２を示す図であり、案内標識Ｇ２は、ＥＴＣを使用しない一般用のレーンであることを示す案内標識である。図３Ｃは、案内標識Ｇ３を示す図であり、案内標識Ｇ３は、一般に対応しておらず、ＥＴＣ専用のレーンであることを示す案内標識である。図３Ｄは、案内標識Ｇ４を示す図であり、案内標識Ｇ４は、案内標識認識装置１の認識対象の案内標識である。Next, the feature detection process will be described in detail.
FIG. 3A is a diagram showing the Annaihyoushiki G1. The Annaihyoushiki G1 is a lane dedicated to the number of lanes of the tollgate and the ETC (Electronic Toll Collection System; registered trademark, hereinafter, the description of the registered trademark is omitted). It is a guide sign indicating the position. FIG. 3B is a diagram showing the guide sign G2, which is a guide sign indicating that the lane is for general use without using ETC. FIG. 3C is a diagram showing the guide sign G3, and the guide sign G3 is a guide sign indicating that the lane is dedicated to ETC and is not generally supported. FIG. 3D is a diagram showing the Annaihyoushiki G4, which is the Annaihyoushiki to be recognized by the Annaihyoushiki recognition device 1.

特徴検出部１１は、案内標識Ｇ１、案内標識Ｇ２および案内標識Ｇ３のそれぞれの撮像画像を用いて、画像から、色、文字および記号に関する特徴を検出するように学習されているものとする。図４Ａは、案内標識Ｇ１およびその特徴を示す図である。図４Ｂは、案内標識Ｇ２およびその特徴を示す図である。図４Ｃは、案内標識Ｇ３およびその特徴を示す図である。図４Ｄは、案内標識Ｇ４およびその特徴を示す図である。 It is assumed that the feature detection unit 11 is learned to detect features related to colors, characters, and symbols from the images using the captured images of the guide sign G1, the guide sign G2, and the guide sign G3. FIG. 4A is a diagram showing the guide sign G1 and its features. FIG. 4B is a diagram showing the guide sign G2 and its features. FIG. 4C is a diagram showing the guide sign G3 and its features. FIG. 4D is a diagram showing the guide sign G4 and its features.

図４Ａに示す特徴Ｃ１１は、案内標識Ｇ１の色（緑）であり、図４Ｂに示す特徴Ｃ２１も案内標識Ｇ２の色である。特徴Ｃ１１と特徴Ｃ２１が示す色は同じである。図４Ｃに示す特徴Ｃ３１は、案内標識Ｇ３の色であり、特徴Ｃ３１が示す色（紫）は、特徴Ｃ１１と特徴Ｃ２１が示す色とは異なる色である。 The feature C11 shown in FIG. 4A is the color (green) of the guide sign G1, and the feature C21 shown in FIG. 4B is also the color of the guide sign G2. The colors indicated by the feature C11 and the feature C21 are the same. The feature C31 shown in FIG. 4C is the color of the guide sign G3, and the color (purple) indicated by the feature C31 is a color different from the colors indicated by the feature C11 and the feature C21.

図４Ａに示す特徴Ｃ１２は、案内標識Ｇ１中の文字であり、この文字（Ｅ）は、図４Ｃに示す特徴Ｃ３２と同じ文字である。図４Ａに示す特徴Ｃ１３は、案内標識Ｇ１中の文字であり、この文字（Ｔ）は、図４Ｃに示す特徴Ｃ３３と同じ文字である。図４Ａに示す特徴Ｃ１４は、案内標識Ｇ１中の文字であり、この文字（Ｃ）は、図４Ｃに示す特徴Ｃ３４と同じ文字である。 Feature C12 shown in FIG. 4A is a character in the guide sign G1, and this character (E) is the same character as feature C32 shown in FIG. 4C. Feature C13 shown in FIG. 4A is a character in the guide sign G1, and this character (T) is the same character as feature C33 shown in FIG. 4C. The feature C14 shown in FIG. 4A is a character in the guide sign G1, and this character (C) is the same character as the feature C34 shown in FIG. 4C.

図４Ｂに示す特徴Ｃ２２は、案内標識Ｇ２中の文字であり、この文字は、図４Ａに示す特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４および特徴Ｃ１５のいずれとも異なる文字である。図４Ｂに示す特徴Ｃ２３は、案内標識Ｇ２中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５および特徴Ｃ２２のいずれとも異なる文字である。 The feature C22 shown in FIG. 4B is a character in the guide sign G2, and this character is different from any of the feature C12, the feature C13, the feature C14, and the feature C15 shown in FIG. 4A. The feature C23 shown in FIG. 4B is a character in the guide sign G2, and this character is different from any of the feature C12, the feature C13, the feature C14, the feature C15, and the feature C22.

図４Ｃに示す特徴Ｃ３５は、案内標識Ｇ３中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５、特徴Ｃ２２および特徴Ｃ２３のいずれとも異なる文字である。また、図４Ｃに示す特徴Ｃ３６は、案内標識Ｇ３中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５、特徴Ｃ２２、特徴Ｃ２３および特徴Ｃ３５のいずれとも異なる文字である。 The feature C35 shown in FIG. 4C is a character in the guide sign G3, and this character is different from any of the feature C12, the feature C13, the feature C14, the feature C15, the feature C22, and the feature C23. Further, the feature C36 shown in FIG. 4C is a character in the guide sign G3, and this character is different from any of the feature C12, the feature C13, the feature C14, the feature C15, the feature C22, the feature C23, and the feature C35. ..

図４Ａに示す特徴Ｃ１６および特徴Ｃ１７は、案内標識Ｇ１中の記号（矢印）である。
特徴検出部１１は、案内標識Ｇ１、案内標識Ｇ２および案内標識Ｇ３のそれぞれの撮像画像を用いて、画像から、前述した、色、文字および記号に関する特徴を検出するように学習されている。図５は、案内標識の特徴を示す図である。特徴検出部１１には、学習によって、図５に示すような案内標識と特徴との対応データが設定されている。The feature C16 and the feature C17 shown in FIG. 4A are symbols (arrows) in the guide sign G1.
The feature detection unit 11 is learned to detect the above-mentioned features related to colors, characters, and symbols from the images using the captured images of the guide sign G1, the guide sign G2, and the guide sign G3. FIG. 5 is a diagram showing the characteristics of the guide sign. In the feature detection unit 11, the correspondence data between the guide sign and the feature as shown in FIG. 5 is set by learning.

図５において、案内標識の色を示す欄には、特徴Ｃ１１と特徴Ｃ２１が示す色（緑）の欄ａ１と特徴Ｃ３１が示す色（紫）の欄ａ２とがある。案内標識Ｇ１および案内標識Ｇ２は、両方とも欄ａ１に対応する色を有するので、欄ａ１に“１”が設定され、欄ａ２には“０”が設定されている。案内標識Ｇ３は、欄ａ２に対応する色を有するので、欄ａ２に“１”が設定され、欄ａ１には“０”が設定されている。 In FIG. 5, the column indicating the color of the guide sign includes a column a1 of a color (green) indicated by the feature C11 and a feature C21 and a column a2 of a color (purple) indicated by the feature C31. Since both the guide sign G1 and the guide sign G2 have a color corresponding to the column a1, "1" is set in the column a1 and "0" is set in the column a2. Since the guide sign G3 has a color corresponding to the column a2, "1" is set in the column a2 and "0" is set in the column a1.

図５において、案内標識の文字を示す欄には、特徴Ｃ１２および特徴Ｃ３２が示す文字の欄ｂ１、特徴Ｃ１３と特徴Ｃ３３が示す文字の欄ｂ２、特徴Ｃ１４と特徴Ｃ３４が示す文字の欄ｂ３、特徴Ｃ１５が示す文字の欄ｂ４、特徴Ｃ２２が示す文字の欄ｂ５、特徴Ｃ２３が示す文字の欄ｂ６、特徴Ｃ３５が示す文字の欄ｂ７、および特徴Ｃ３６が示す文字の欄ｂ８がある。 In FIG. 5, the columns indicating the characters of the guide signs include the character column b1 indicated by the feature C12 and the feature C32, the character column b2 indicated by the feature C13 and the feature C33, and the character column b3 indicated by the feature C14 and the feature C34. There is a character column b4 indicated by the feature C15, a character column b5 indicated by the feature C22, a character column b6 indicated by the feature C23, a character column b7 indicated by the feature C35, and a character column b8 indicated by the feature C36.

案内標識Ｇ１の特徴Ｃ１２が示す文字と案内標識Ｇ３の特徴Ｃ３２が示す文字とは同じ文字（Ｅ）であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ１に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１２が示す文字（Ｅ）はないので、欄ｂ１には“０”が設定されている。 Since the character indicated by the feature C12 of the guide sign G1 and the character indicated by the feature C32 of the guide sign G3 are the same character (E), "1" is set in the column b1 of the guide sign G1 and the guide sign G3 to guide the guide. Since the marker G2 does not have the character (E) indicated by the feature C12, "0" is set in the column b1.

案内標識Ｇ１の特徴Ｃ１３が示す文字と案内標識Ｇ３の特徴Ｃ３３が示す文字とは同じ文字であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ２に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１３が示す文字はないので、欄ｂ２には“０”が設定されている。
案内標識Ｇ１の特徴Ｃ１４が示す文字と案内標識Ｇ３の特徴Ｃ３４が示す文字とは同じ文字であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ３に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１４が示す文字はないので、欄ｂ３には“０”が設定されている。Since the character indicated by the feature C13 of the guide sign G1 and the character indicated by the feature C33 of the guide sign G3 are the same character, "1" is set in the column b2 of the guide sign G1 and the guide sign G3, and the guide sign G2 is set to "1". Since there is no character indicated by the feature C13, "0" is set in the column b2.
Since the character indicated by the feature C14 of the guide sign G1 and the character indicated by the feature C34 of the guide sign G3 are the same character, "1" is set in the column b3 of the guide sign G1 and the guide sign G3, and the guide sign G2 is set to "1". Since there is no character indicated by the feature C14, "0" is set in the column b3.

案内標識Ｇ１の特徴Ｃ１５が示す文字は、案内標識Ｇ２と案内標識Ｇ３にはないので、案内標識Ｇ１に対応する欄ｂ４には“１”が設定され、案内標識Ｇ２および案内標識Ｇ３に対応する欄ｂ４には“０”が設定されている。案内標識Ｇ２の特徴Ｃ２２が示す文字は案内標識Ｇ１と案内標識Ｇ３にはないので、案内標識Ｇ２に対応する欄ｂ５には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ３に対応する欄ｂ５には“０”が設定されている。 Since the characters indicated by the feature C15 of the guide sign G1 are not present in the guide sign G2 and the guide sign G3, "1" is set in the column b4 corresponding to the guide sign G1 and corresponds to the guide sign G2 and the guide sign G3. “0” is set in the column b4. Features of the guide sign G2 Since the characters indicated by the guide sign C22 are not present in the guide sign G1 and the guide sign G3, "1" is set in the column b5 corresponding to the guide sign G2, which corresponds to the guide sign G1 and the guide sign G3. “0” is set in the column b5.

案内標識Ｇ２の特徴Ｃ２３が示す文字は、案内標識Ｇ１と案内標識Ｇ３にはないので、案内標識Ｇ２に対応する欄ｂ６には“１”が設定され、案内標識Ｇ１および案内標識Ｇ３に対応する欄ｂ６には“０”が設定されている。案内標識Ｇ３の特徴Ｃ３５が示す文字は案内標識Ｇ１と案内標識Ｇ２にはないので、案内標識Ｇ３に対応する欄ｂ７には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ２に対応する欄ｂ７には“０”が設定されている。 Since the characters indicated by the feature C23 of the guide sign G2 are not present in the guide sign G1 and the guide sign G3, "1" is set in the column b6 corresponding to the guide sign G2, which corresponds to the guide sign G1 and the guide sign G3. “0” is set in the column b6. Since the characters indicated by the feature C35 of the guide sign G3 are not present in the guide sign G1 and the guide sign G2, "1" is set in the column b7 corresponding to the guide sign G3, which corresponds to the guide sign G1 and the guide sign G2. “0” is set in the column b7.

案内標識Ｇ３の特徴Ｃ３６が示す文字は、案内標識Ｇ１と案内標識Ｇ２にはないので、案内標識Ｇ３に対応する欄ｂ８には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ２に対応する欄ｂ８には“０”が設定されている。 Features of Annaihyoushiki G3 Characters indicated by C36 are not present in Annaihyoushiki G1 and Annaihyoushiki G2. Therefore, "1" is set in the column b8 corresponding to Annaihyoushiki G3, which corresponds to Annaihyoushiki G1 and Annaihyoushiki G2. "0" is set in the column b8.

図５において、案内標識の記号を示す欄には、特徴Ｃ１６および特徴Ｃ１７が示す記号（矢印）の欄ｃ１がある。特徴Ｃ１６および特徴Ｃ１７が示す記号（矢印）は、案内標識Ｇ２および案内標識Ｇ３にはないので、案内標識Ｇ１に対応する欄ｃ１には“１”が設定され、案内標識Ｇ２および案内標識Ｇ３に対応する欄ｃ１には“０”が設定されている。 In FIG. 5, in the column indicating the symbol of the guide sign, there is a column c1 of the symbol (arrow) indicated by the feature C16 and the feature C17. Since the symbols (arrows) indicated by the feature C16 and the feature C17 are not present in the guide sign G2 and the guide sign G3, "1" is set in the column c1 corresponding to the guide sign G1 and the guide sign G2 and the guide sign G3 are set to "1". “0” is set in the corresponding column c1.

図６は、特徴検出処理を示すフローチャートであって、図２のステップＳＴ２の処理の詳細を示している。特徴検出部１１には、図５に示した案内標識Ｇ１，Ｇ２，Ｇ３の特徴が事前に学習されており、図３Ｄ、図４Ｄおよび図５Ｄに示した案内標識Ｇ４が認識対象である。まず、特徴検出部１１は、案内標識検出部１０によって検出された撮像画像中の案内標識Ｇ４が存在する領域から、案内標識Ｇ４の色、文字および記号に関する特徴を検出する。 FIG. 6 is a flowchart showing the feature detection process, showing the details of the process in step ST2 of FIG. The feature detection unit 11 has learned in advance the features of the guide signs G1, G2, and G3 shown in FIG. 5, and the guide signs G4 shown in FIGS. 3D, 4D, and 5D are recognition targets. First, the feature detection unit 11 detects features related to the color, characters, and symbols of the guide sign G4 from the region where the guide sign G4 exists in the captured image detected by the guide sign detection unit 10.

特徴検出部１１では、特徴を検出する手法として、畳み込みニューラルネットワーク（以下、ＣＮＮと記載する）を用いてもよい。従来のＣＮＮを用いた画像認識では、事前に収集した案内標識の画像と案内標識の標示内容との組み合わせを学習させたＣＮＮが用いられる。これに対して、実施の形態１における特徴検出部１１では、案内標識の画像中の特徴とその特徴が示す情報（色、文字、記号など）との組み合わせを学習させたＣＮＮを用いる。これにより、学習データである既知の案内標識と認識対象の未知の案内標識とのデザインが異なっていても、両者が同じ特徴を有していれば、その特徴が検出される。
なお、特徴を検出する手法は、案内標識の撮像画像から案内標識の特徴を検出することができる手法であれば、ＣＮＮに限定されるものではない。The feature detection unit 11 may use a convolutional neural network (hereinafter referred to as CNN) as a method for detecting features. In the conventional image recognition using the CNN, the CNN that has learned the combination of the image of the guide sign collected in advance and the marking content of the guide sign is used. On the other hand, the feature detection unit 11 in the first embodiment uses a CNN in which the combination of the feature in the image of the guide sign and the information (color, character, symbol, etc.) indicated by the feature is learned. As a result, even if the design of the known guide sign, which is the learning data, and the unknown guide sign to be recognized are different, if both have the same characteristics, the characteristics are detected.
The method for detecting the feature is not limited to CNN as long as the method can detect the feature of the guide sign from the captured image of the guide sign.

特徴検出部１１は、案内標識Ｇ４の色に関するＩ（Ｉは、１以上の自然数）個の設問として、案内標識Ｇ４の色が緑か否かを判定する（ステップＳＴ１ａ−１）。前述した例では、学習データの案内標識の色として緑と紫が学習されており、Ｉ＝１，２である。特徴検出部１１は、案内標識Ｇ４の色が緑であるか否かの判定と、案内標識Ｇ４の色が紫であるか否かの判定とを行う。 The feature detection unit 11 determines whether or not the color of the guide sign G4 is green as I (I is a natural number of 1 or more) questions regarding the color of the guide sign G4 (step ST1a-1). In the above-mentioned example, green and purple are learned as the colors of the guide signs of the training data, and I = 1 and 2. The feature detection unit 11 determines whether or not the color of the guide sign G4 is green, and determines whether or not the color of the guide sign G4 is purple.

案内標識Ｇ４の色が緑であれば（ステップＳＴ１ａ−１；Ｙｅｓ）、特徴検出部１１は特徴ｘ１に“１”を設定する（ステップＳＴ２ａ−１）。一方、案内標識Ｇ４の色が緑ではなれば（ステップＳＴ１ａ−１；Ｎｏ）、特徴検出部１１は特徴ｘ１に“０”を設定する（ステップＳＴ２ａ−２）。続いて、図示を省略したが、特徴検出部１１は、案内標識Ｇ４の色が紫か否かを判定する。ここでは、図４Ｄに示した特徴Ｃ４１が示す色は緑であるので、図５に示すように、案内標識Ｇ４の欄ａ１には“１”が設定され、欄ａ２には“０”が設定される。If the color green information sign G4 (step ST1a-1; Yes), the feature detection unit 11 sets "1" to the feature x 1 (step ST2a-1). On the other hand, if the color of the signposts G4 is familiar in green (step ST1a-1; No), the feature detection unit 11 sets "0" to the feature x 1 (step ST2a-2). Subsequently, although not shown, the feature detection unit 11 determines whether or not the color of the guide sign G4 is purple. Here, since the color indicated by the feature C41 shown in FIG. 4D is green, “1” is set in the column a1 of the guide sign G4 and “0” is set in the column a2 as shown in FIG. Will be done.

特徴検出部１１は、案内標識Ｇ４の文字に関するＪ（Ｊは、１以上の自然数）個の設問として、案内標識Ｇ４が文字“Ｅ”を含むか否かを判定する（ステップＳＴ１ａ−２）。学習データの案内標識の文字として、図５に示した欄ｂ１〜ｂ８に対応する８つの文字が学習されており、Ｊ＝１，２，３，４，５，６，７，８である。特徴検出部１１は、これらの欄に対応する文字を含むか否かの判定を順次行う。 The feature detection unit 11 determines whether or not the guide sign G4 includes the character "E" as J (J is a natural number of 1 or more) questions regarding the character of the guide sign G4 (step ST1a-2). As the characters of the guide sign of the learning data, eight characters corresponding to the columns b1 to b8 shown in FIG. 5 have been learned, and J = 1,2,3,4,5,6,7,8. The feature detection unit 11 sequentially determines whether or not the characters corresponding to these columns are included.

案内標識Ｇ４が文字“Ｅ”を含む場合（ステップＳＴ１ａ−２；Ｙｅｓ）、特徴検出部１１は特徴ｘＩ＋１に“１”を設定する（ステップＳＴ２ａ−３）。案内標識Ｇ４が文字“Ｅ”を含まなければ（ステップＳＴ１ａ−２；Ｎｏ）、特徴検出部１１は、特徴ｘＩ＋１に“０”を設定する（ステップＳＴ２ａ−４）。続いて、図示を省略したが、特徴検出部１１は、案内標識Ｇ４が文字“Ｔ”を含むか否かを判定する。When the guide sign G4 includes the character "E" (step ST1a-2; Yes), the feature detection unit 11 sets "1" for the feature x I + 1 (step ST2a-3). If the guide sign G4 does not include the letter "E" (step ST1a-2; No), the feature detection unit 11 sets the feature x I + 1 to "0" (step ST2a-4). Subsequently, although not shown, the feature detection unit 11 determines whether or not the guide sign G4 includes the character “T”.

図４Ｄに示した特徴Ｃ４２は案内標識Ｇ４中の文字“Ｅ”であり、案内標識Ｇ４の特徴Ｃ４２が示す文字と案内標識Ｇ１の特徴Ｃ１２が示す文字は同じ文字であるので、案内標識Ｇ４に対応する欄ｂ１に“１”が設定される。図４Ｄに示した特徴Ｃ４３は案内標識Ｇ４中の文字“Ｔ”であり、案内標識Ｇ４の特徴Ｃ４３が示す文字と案内標識Ｇ１の特徴Ｃ１３が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ２に“１”が設定される。図４Ｄに示した特徴Ｃ４４は案内標識Ｇ４中の文字“Ｃ”であり、案内標識Ｇ４の特徴Ｃ４４が示す文字と案内標識Ｇ１の特徴Ｃ１４が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ３に“１”が設定される。図４Ｄに示した特徴Ｃ４５は案内標識Ｇ４中の文字であり、案内標識Ｇ４の特徴Ｃ４５が示す文字と案内標識Ｇ１の特徴Ｃ１５が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ４には“１”が設定される。 The feature C42 shown in FIG. 4D is the character "E" in the guide sign G4, and the character indicated by the feature C42 of the guide sign G4 and the character indicated by the feature C12 of the guide sign G1 are the same character. "1" is set in the corresponding column b1. The feature C43 shown in FIG. 4D is the character “T” in the guide sign G4, and the character indicated by the feature C43 of the guide sign G4 and the character indicated by the feature C13 of the guide sign G1 are the same character. “1” is set in the column b2. The feature C44 shown in FIG. 4D is the character “C” in the guide sign G4, and the character indicated by the feature C44 of the guide sign G4 and the character indicated by the feature C14 of the guide sign G1 are the same character. “1” is set in the column b3. The feature C45 shown in FIG. 4D is a character in the guide sign G4, and the character indicated by the feature C45 of the guide sign G4 and the character indicated by the feature C15 of the guide sign G1 are the same character. Therefore, in the column b4 of the guide sign G4. Is set to "1".

案内標識Ｇ４は、図４Ｂに示した特徴Ｃ２２が示す文字、特徴Ｃ２３が示す文字、図４Ｃに示した特徴Ｃ３５が示す文字、および特徴Ｃ３６が示す文字を含まないので、図５に示すように、案内標識Ｇ４の欄ｂ５〜ｂ８には“０”が設定される。 Since the guide sign G4 does not include the characters shown by the feature C22 shown in FIG. 4B, the characters shown by the feature C23, the characters shown by the feature C35 shown in FIG. 4C, and the characters shown by the feature C36, as shown in FIG. , "0" is set in the columns b5 to b8 of the guide sign G4.

特徴検出部１１は、案内標識Ｇ４の記号に関するＫ（Ｋは、１以上の自然数）個の設問として、案内標識Ｇ４が記号“矢印”を含むか否かを判定する（ステップＳＴ１ａ−３）。前述した例では、学習データの案内標識の記号として矢印が学習されており、Ｋ＝１である。特徴検出部１１は、案内標識Ｇ４に記号“矢印”が含まれるか否かを判定する。 The feature detection unit 11 determines whether or not the guide sign G4 includes the symbol “arrow” as K (K is a natural number of 1 or more) questions regarding the symbol of the guide sign G4 (step ST1a-3). In the above-mentioned example, the arrow is learned as the symbol of the guide sign of the training data, and K = 1. The feature detection unit 11 determines whether or not the guide sign G4 includes the symbol “arrow”.

案内標識Ｇ４が記号“矢印”を含む場合（ステップＳＴ１ａ−３；Ｙｅｓ）、特徴検出部１１は特徴ｘＩ＋Ｊ＋１に“１”を設定する（ステップＳＴ２ａ−５）。案内標識Ｇ４が記号“矢印”を含まなければ（ステップＳＴ１ａ−３；Ｎｏ）、特徴検出部１１は、特徴ｘＩ＋Ｊ＋１に“０”を設定する（ステップＳＴ２ａ−６）。ここでは、図４Ｄに示した特徴Ｃ４６が示す記号は矢印であるので、図５に示すように、案内標識Ｇ４の欄ｃ１には“１”が設定される。When the guide sign G4 includes the symbol “arrow” (step ST1a-3; Yes), the feature detection unit 11 sets “1” for the feature x I + J + 1 (step ST2a-5). If the guide sign G4 does not include the symbol “arrow” (step ST1a-3; No), the feature detection unit 11 sets “0” for the feature x I + J + 1 (step ST2a-6). Here, since the symbol indicated by the feature C46 shown in FIG. 4D is an arrow, “1” is set in the column c1 of the guide sign G4 as shown in FIG.

案内標識Ｇ４における学習データの特徴の有無を判定すると、特徴検出部１１は、特徴の有無に応じて設定したデジタル値を要素とした特徴ベクトルｘを生成して案内標識認識部１２に出力する（ステップＳＴ３ａ）。特徴ベクトルｘは、下記式（１）で表すことができる。図５に示すように、図４Ａに示した案内標識Ｇ１と図４Ｄに示した案内標識Ｇ４とでは、デザインが異なるものの、同じ特徴を有している。
ｘ＝（ｘ１，・・・，ｘＩ，ｘＩ＋１，・・・，ｘＩ＋Ｊ，ｘＩ＋Ｊ＋１）Ｔ ・・・（１）When determining the presence / absence of the feature of the learning data in the guide sign G4, the feature detection unit 11 generates a feature vector x having a digital value set according to the presence / absence of the feature as an element and outputs the feature vector x to the guide sign recognition unit 12 ( Step ST3a). The feature vector x can be expressed by the following equation (1). As shown in FIG. 5, the guide sign G1 shown in FIG. 4A and the guide sign G4 shown in FIG. 4D have the same characteristics although they have different designs.
x = (x 1 , ..., x I , x I + 1 , ..., x I + J , x I + J + 1 ) T ... (1)

次に、案内標識認識処理について詳細に説明する。
図７は、案内標識認識処理を示すフローチャートであり、図２のステップＳＴ３の詳細を示している。案内標識認識部１２は、特徴検出部１１によって生成された認識対象の案内標識の特徴ベクトルｘを入力する（ステップＳＴ１ｂ）。この後、案内標識認識部１２は、１〜Ｄまでの繰り返しループに移行する。Ｄは、第５記憶装置６に記憶された既知の案内標識の数である。Next, the guide sign recognition process will be described in detail.
FIG. 7 is a flowchart showing the Annaihyoushiki recognition process, and shows the details of step ST3 of FIG. The Annaihyoushiki recognition unit 12 inputs the feature vector x of the Annaihyoushiki to be recognized generated by the feature detection unit 11 (step ST1b). After that, the Annaihyoushiki recognition unit 12 shifts to the repeating loop from 1 to D. D is the number of known guide signs stored in the fifth storage device 6.

案内標識認識部１２は、第５記憶装置６から第ｄ（ｄ＝１〜Ｄ）番目の案内標識の特徴ベクトルｙｄを入力する（ステップＳＴ２ｂ）。次に、案内標識認識部１２は、認識対象の案内標識の特徴ベクトルｘと既知の案内標識の特徴ベクトルｙｄとを用いて、認識対象の案内標識と既知の案内標識との類似度ｃｄを算出する（ステップＳＴ３ｂ）。例えば、案内標識ａと案内標識ｂの類似度は、下記式（２）で求められるコサイン類似度を用いてもよい。下記式（２）において、ｘは案内標識ａの特徴ベクトルであり、ｙは案内標識ｂの特徴ベクトルである。
ｃｏｓ（案内標識ａ，案内標識ｂ）＝ｘ・ｙ／（｜ｘ｜｜ｙ｜） ・・・（２）The guide sign recognition unit 12 inputs the feature vector y d of the d (d = 1 to D) th guide sign from the fifth storage device 6 (step ST2b). Then, information sign recognition unit 12 uses the feature vector y d of the feature vector x and the known signs of signs to be recognized, the similarity c d between signs and known signs to be recognized Is calculated (step ST3b). For example, as the similarity between the guide sign a and the guide sign b, the cosine similarity obtained by the following formula (2) may be used. In the following equation (2), x is the feature vector of the guide sign a and y is the feature vector of the guide sign b.
cos (guide sign a, guide sign b) = x · y / (| x || y |) ... (2)

案内標識認識部１２は、上記繰り返しループにおいて、第１番目の案内標識と認識対象の案内標識との類似度ｃ１から第Ｄ番目の案内標識と認識対象の案内標識との類似度ｃＤまでを算出すると、これらの類似度ｃｄのうち、最大の類似度に対応する案内標識が認識対象の案内標識であると認識して出力する（ステップＳＴ４ｂ）。In the repeat loop, the guide sign recognition unit 12 has a similarity c1 between the first guide sign and the guide sign to be recognized, and a similarity c D between the first guide sign and the guide sign to be recognized. After calculating the among these similarities c d, signs corresponding to the maximum similarity, and outputs the recognized as the signs of the recognition target (step ST4b).

例えば、上記式（１）および上記式（２）と図５に示した値を用いると、案内標識Ｇ１の特徴ベクトルと認識対象の案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、１．０となる。一方、案内標識Ｇ２の特徴ベクトルと案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、０．２４となり、案内標識Ｇ３の特徴ベクトルと案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、０．５となる。案内標識認識部１２は、案内標識Ｇ１の類似度が最も大きいので、案内標識Ｇ４が案内標識Ｇ１であると認識される。 For example, when the above equations (1) and (2) and the values shown in FIG. 5 are used, the cosine similarity between the feature vector of the guide sign G1 and the feature vector of the recognition target guide sign G4 is 1.0. It becomes. On the other hand, the cosine similarity between the feature vector of the guide sign G2 and the feature vector of the guide sign G4 is 0.24, and the cosine similarity between the feature vector of the guide sign G3 and the feature vector of the guide sign G4 is 0.5. It becomes. Since the guide sign recognition unit 12 has the highest degree of similarity to the guide sign G1, the guide sign G4 is recognized as the guide sign G1.

従来の認識手法では、学習データと異なるデザインの案内標識を認識することができなかった。これに対して、実施の形態１に係る案内標識認識装置１では、案内標識の特徴に基づいて認識対象の案内標識と学習データの案内標識との類似度を判断する。このため、認識対象の案内標識Ｇ４が、学習データである案内標識Ｇ１とは異なるデザインであっても、同じ特徴を多く含んでいるため、同じ標示内容の案内標識であると認識される。 With the conventional recognition method, it was not possible to recognize the guide sign with a design different from the learning data. On the other hand, the Annaihyoushiki recognition device 1 according to the first embodiment determines the degree of similarity between the Annaihyoushiki to be recognized and the Annaihyoushiki of the learning data based on the characteristics of the Annaihyoushiki. Therefore, even if the Annaihyoushiki G4 to be recognized has a different design from the Annaihyoushiki G1 which is the learning data, it is recognized as the Annaihyoushiki with the same marking content because it contains many of the same features.

なお、案内標識の特徴として、色、文字および記号を例に挙げたが、特徴から類似度の算出が可能であれば、これら３つの特徴よりも少なくても多くてもよい。 Colors, characters, and symbols are given as examples of the features of the guide sign, but if the similarity can be calculated from the features, the number may be less or more than these three features.

案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能は、処理回路によって実現される。すなわち、案内標識認識装置１は、図２におけるステップＳＴ１からステップＳＴ３までの処理を実行するための処理回路を備えている。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。 The functions of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 in the guide sign recognition device 1 are realized by the processing circuit. That is, the Annaihyoushiki recognition device 1 includes a processing circuit for executing the processing from step ST1 to step ST3 in FIG. This processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) that executes a program stored in the memory.

図８Ａは、案内標識認識装置１の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、案内標識認識装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図８Ａおよび図８Ｂにおいて、情報入出力インタフェース１００は、案内標識認識装置１と、図１に示した第１記憶装置２、第２記憶装置３、第３記憶装置４、第４記憶装置５および第５記憶装置６との間の情報のやり取りを中継するインタフェースである。 FIG. 8A is a block diagram showing a hardware configuration that realizes the function of the Annaihyoushiki recognition device 1. FIG. 8B is a block diagram showing a hardware configuration for executing software that realizes the function of the Annaihyoushiki recognition device 1. In FIGS. 8A and 8B, the information input / output interface 100 includes the Annaihyoushiki recognition device 1, the first storage device 2, the second storage device 3, the third storage device 4, the fourth storage device 5, and the guide sign recognition device 1 shown in FIG. It is an interface that relays the exchange of information with the fifth storage device 6.

例えば、案内標識検出部１０は、情報入出力インタフェース１００を介して、第１記憶装置２から認識対象の案内標識の画像データを入力し、第３記憶装置４から学習データを入力する。特徴検出部１１は、情報入出力インタフェース１００を介して、第４記憶装置５から学習データを入力する。案内標識認識部１２は、情報入出力インタフェース１００を介して、第５記憶装置６から既知の案内標識の特徴データを入力し、認識結果を第２記憶装置３に出力する。なお、第１記憶装置２、第２記憶装置３、第３記憶装置４、第４記憶装置５および第５記憶装置６は、案内標識認識装置１が備える記憶装置であってもよいが、案内標識認識装置１とは独立して設けられた記憶装置であってもよい。これらの記憶装置は、案内標識認識装置１から通信可能に設けられた記憶装置、例えば、クラウド上に存在する記憶装置であってもよい。 For example, the guide sign detection unit 10 inputs the image data of the guide sign to be recognized from the first storage device 2 via the information input / output interface 100, and inputs the learning data from the third storage device 4. The feature detection unit 11 inputs learning data from the fourth storage device 5 via the information input / output interface 100. The Annaihyoushiki recognition unit 12 inputs the feature data of the known Annaihyoushiki from the fifth storage device 6 via the information input / output interface 100, and outputs the recognition result to the second storage device 3. The first storage device 2, the second storage device 3, the third storage device 4, the fourth storage device 5, and the fifth storage device 6 may be storage devices included in the Annaihyoushiki recognition device 1, but guides may be provided. It may be a storage device provided independently of the sign recognition device 1. These storage devices may be storage devices provided so as to be communicable from the Annaihyoushiki recognition device 1, for example, storage devices existing on the cloud.

表示器インタフェース１０１は、案内標識認識装置１から不図示の表示器へ出力される情報を中継するインタフェースである。案内標識認識部１２は、表示器インタフェース１０１を介して認識結果を表示器に出力する。表示器は、表示器インタフェース１０１を介して案内標識認識装置１から入力した認識結果を表示する。 The display interface 101 is an interface for relaying information output from the Annaihyoushiki recognition device 1 to a display (not shown). The Annaihyoushiki recognition unit 12 outputs the recognition result to the display via the display interface 101. The display unit displays the recognition result input from the Annaihyoushiki recognition device 1 via the display device interface 101.

上記処理回路が図８Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能を別々の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。 When the processing circuit is the processing circuit 102 of the dedicated hardware shown in FIG. 8A, the processing circuit 102 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Special Integrated Circuit). Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof is applicable. The functions of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 in the guide sign recognition device 1 may be realized by separate processing circuits, and these functions are collectively realized by one processing circuit. May be good.

上記処理回路が図８Ｂに示すプロセッサ１０３である場合、案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。 When the processing circuit is the processor 103 shown in FIG. 8B, the functions of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 in the guide sign recognition device 1 are software, firmware, or a combination of software and firmware. Realized by. The software or firmware is described as a program and stored in the memory 104.

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能を実現する。すなわち、案内標識認識装置１は、プロセッサ１０３によって実行されるときに、図２に示したステップＳＴ１からステップＳＴ３までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、案内標識検出部１０、特徴検出部１１および案内標識認識部１２の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、案内標識検出部１０、特徴検出部１１および案内標識認識部１２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。 The processor 103 realizes the functions of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 in the guide sign recognition device 1 by reading and executing the program stored in the memory 104. That is, the Annaihyoushiki recognition device 1 includes a memory 104 for storing a program in which the processes from step ST1 to step ST3 shown in FIG. 2 are executed as a result when executed by the processor 103. These programs cause the computer to execute the procedure or method of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12. The memory 104 may be a computer-readable storage medium in which a program for causing the computer to function as the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 is stored.

メモリ１０４には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。 The memory 104 includes, for example, a non-volatile semiconductor such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically-EPROM), or the like. This includes magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs, and the like.

案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、案内標識検出部１０は、専用のハードウェアである処理回路で機能を実現し、特徴検出部１１および案内標識認識部１２は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。 Some of the functions of the guide sign detection unit 10, the feature detection unit 11, and the guide sign recognition unit 12 may be realized by dedicated hardware, and some may be realized by software or firmware. For example, the Annaihyoushiki detection unit 10 realizes a function by a processing circuit which is dedicated hardware, and the feature detection unit 11 and the Annaihyoushiki recognition unit 12 read and execute a program stored in the memory 104 by the processor 103. By doing so, the function is realized. In this way, the processing circuit can realize the above-mentioned functions by hardware, software, firmware, or a combination thereof.

以上のように、実施の形態１に係る案内標識認識装置１では、撮像画像中の案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて既知の案内標識から撮像画像中の案内標識を認識する。案内標識の特徴から算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。 As described above, in the Annaihyoushiki recognition device 1 according to the first embodiment, the Annaihyoushiki in the captured image and the known Annaihyoushiki are provided by using the features of the Annaihyoushiki in the captured image and the features of the known Annaihyoushiki. The similarity is calculated, and the guide sign in the captured image is recognized from the known guide sign based on the calculated similarity. Since recognition is performed based on the similarity calculated from the characteristics of the guide sign, it is not necessary to prepare the entire image of the guide sign for recognition. As a result, the amount of data required for recognizing the guide sign can be reduced.

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。 It should be noted that the present invention is not limited to the above-described embodiment, and within the scope of the present invention, any combination of the embodiments or any component of the embodiment may be modified or the embodiment. Any component can be omitted in each of the above.

この発明に係る案内標識認識装置は、案内標識の認識に必要なデータ量を削減することができるので、例えば、案内標識を自動認識して運転を支援する運転支援装置に利用可能である。 Since the guide sign recognition device according to the present invention can reduce the amount of data required for recognizing the guide sign, it can be used, for example, as a driving support device that automatically recognizes the guide sign and supports driving.

１ 案内標識認識装置、２ 第１記憶装置、３ 第２記憶装置、４ 第３記憶装置、５ 第４記憶装置、６ 第５記憶装置、１０ 案内標識検出部、１１ 特徴検出部、１２ 案内標識認識部、１００ 情報入出力インタフェース、１０１ 表示器インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。 1 Guide sign recognition device, 2 1st storage device, 3 2nd storage device, 4 3rd storage device, 5th 4th storage device, 6th 5th storage device, 10 Guide sign detection unit, 11 Feature detection unit, 12 Guide sign Recognition unit, 100 information input / output interface, 101 display interface, 102 processing circuit, 103 processor, 104 memory.

この発明に係る案内標識認識装置は、案内標識検出部、特徴検出部および案内標識認識部を備える。案内標識検出部は、撮像画像中の案内標識が存在する領域を検出する。特徴検出部は、案内標識検出部によって検出された領域から案内標識の特徴を検出し、検出された案内標識の特徴と既知の案内標識の特徴とを比較して検出された案内標識における既知の案内標識の特徴の有無を判定し、既知の案内標識の特徴の有無を判定した結果を用いて、検出された案内標識の特徴を示す特徴ベクトルを生成する。案内標識認識部は、特徴検出部によって検出され、生成された案内標識の特徴を示す特徴ベクトルと既知の案内標識の特徴を示す特徴ベクトルとを用いて、特徴検出部によって検出された案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から特徴検出部によって検出された案内標識を認識する。 The guide sign recognition device according to the present invention includes a guide sign detection unit, a feature detection unit, and a guide sign recognition unit. The guide sign detection unit detects a region in the captured image in which the guide sign exists. The feature detection unit detects the feature of the guide sign from the area detected by the guide sign detection unit , compares the feature of the detected guide sign with the feature of the known guide sign, and is known in the detected guide sign. The presence or absence of the feature of the Annaihyoushi sign is determined, and the result of determining the presence or absence of the feature of the known guide sign is used to generate a feature vector indicating the feature of the detected guide sign . Information sign recognition unit is detected by the feature detecting unit, using the feature vector indicating the feature of the generated signpost feature vector indicating the feature of the known information signs, and information sign detected by the feature detecting section The similarity with the known guide sign is calculated, and the guide sign detected by the feature detection unit is recognized from the known guide sign based on the calculated similarity.

この発明によれば、案内標識認識装置は、特徴検出部によって検出され、生成された案内標識の特徴を示す特徴ベクトルと既知の案内標識の特徴を示す特徴ベクトルとを用いて特徴検出部によって検出された案内標識と既知の案内標識との類似度を算出し、類似度に基づいて、既知の案内標識から特徴検出部によって検出された案内標識を認識する。特徴検出部によって検出された案内標識の特徴を示す特徴ベクトルから算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。 According to the present invention, information sign recognition device is detected by the feature detection unit, detecting a feature vector indicating the feature of the generated signpost feature vector indicating the feature of a known information sign by the feature detecting unit with The degree of similarity between the given guide sign and the known guide sign is calculated, and the guide sign detected by the feature detection unit is recognized from the known guide sign based on the degree of similarity. Since recognition is performed based on the similarity calculated from the feature vector indicating the feature of the guide sign detected by the feature detection unit, it is not necessary to prepare the entire image of the guide sign for recognition. As a result, the amount of data required for recognizing the guide sign can be reduced.

Claims (4)

撮像画像中の案内標識が存在する領域を検出する案内標識検出部と、
前記案内標識検出部によって検出された領域から案内標識の特徴を検出する特徴検出部と、
前記特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識する案内標識認識部とを備えたこと
を特徴とする案内標識認識装置。A guide sign detection unit that detects the area where the guide sign exists in the captured image,
A feature detection unit that detects the features of the guide sign from the area detected by the guidance sign detection unit, and
The similarity between the guide sign in the captured image and the known guide sign is calculated using the feature of the guide sign detected by the feature detection unit and the feature of the known guide sign, and is based on the calculated similarity. The Annaihyoushiki recognition device is provided with a guide sign recognition unit that recognizes the guide sign in the captured image from the known guide sign. 前記特徴検出部は、前記案内標識検出部によって検出された領域から、案内標識の色、文字および記号に関する特徴を検出し、
前記案内標識認識部は、前記特徴検出部によって検出された案内標識の色、文字および記号に関する特徴と前記既知の案内標識の色、文字および記号に関する特徴とを用いて、前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識すること
を特徴とする請求項１記載の案内標識認識装置。The feature detection unit detects features related to the color, characters, and symbols of the guide sign from the area detected by the guide sign detection unit.
The Annaihyoushiki recognition unit uses the features related to the colors, characters and symbols of the Annaihyoushiki detected by the feature detection unit and the features related to the colors, characters and symbols of the known Annaihyoushiki to guide in the captured image. The guide according to claim 1, wherein the similarity between the sign and the known guide sign is calculated, and the guide sign in the captured image is recognized from the known guide sign based on the calculated similarity. Sign recognition device. 前記特徴検出部は、前記撮像画像中の案内標識の特徴と前記既知の案内標識の特徴とを比較して前記撮像画像中の案内標識における前記既知の案内標識の特徴の有無を判定し、前記既知の案内標識の特徴の有無を判定した結果を用いて、前記撮像画像中の案内標識の特徴を示す特徴ベクトルを生成し、
前記案内標識認識部は、前記既知の案内標識の特徴を示す特徴ベクトルと前記撮像画像中の案内標識の特徴を示す特徴ベクトルとを用いて、前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識すること
を特徴とする請求項１記載の案内標識認識装置。The feature detection unit compares the features of the guide sign in the captured image with the features of the known guide sign, determines the presence or absence of the feature of the known guide sign in the guide sign in the captured image, and determines the presence or absence of the feature of the known guide sign. Using the result of determining the presence or absence of the feature of the known guide sign, a feature vector indicating the feature of the guide sign in the captured image is generated.
The Annaihyoushiki recognition unit uses a feature vector showing the features of the known guide sign and a feature vector showing the features of the Annaihyoushiki in the captured image, and the Annaihyoushiki in the captured image and the known guide sign. The guide sign recognition device according to claim 1, wherein the degree of similarity with the Annaihyoushiki is calculated, and the guide sign in the captured image is recognized from the known guide sign based on the calculated similarity. 案内標識検出部が、撮像画像中の案内標識が存在する領域を検出するステップと、
特徴検出部が、前記案内標識検出部によって検出された領域から案内標識の特徴を検出するステップと、
案内標識認識部が、前記特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識するステップとを備えたこと
を特徴とする案内標識認識方法。The step that the guide sign detection unit detects the area where the guide sign exists in the captured image,
A step in which the feature detection unit detects the feature of the guide sign from the area detected by the guide sign detection unit,
The Annaihyoushiki recognition unit calculates the similarity between the Annaihyoushiki in the captured image and the known Annaihyoushiki using the features of the Annaihyoushiki detected by the feature detection unit and the features of the known Annaihyoushiki. A guide sign recognition method comprising a step of recognizing a guide sign in the captured image from the known guide sign based on the calculated similarity.
JP2020511583A 2018-04-06 2018-04-06 Guide sign recognition device and guide sign recognition method Expired - Fee Related JP6762451B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/014795 WO2019193762A1 (en) 2018-04-06 2018-04-06 Guide sign identification device and guide sign identification method

Publications (2)

Publication Number Publication Date
JPWO2019193762A1 true JPWO2019193762A1 (en) 2020-09-17
JP6762451B2 JP6762451B2 (en) 2020-09-30

Family

ID=68100582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020511583A Expired - Fee Related JP6762451B2 (en) 2018-04-06 2018-04-06 Guide sign recognition device and guide sign recognition method

Country Status (2)

Country Link
JP (1) JP6762451B2 (en)
WO (1) WO2019193762A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293670A (en) * 1999-04-08 2000-10-20 Asia Air Survey Co Ltd Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign
JP2013054522A (en) * 2011-09-02 2013-03-21 Pasuko:Kk Road appurtenances detecting device, road appurtenances detecting method and program
JP2015158739A (en) * 2014-02-21 2015-09-03 日本電信電話株式会社 Image sorting device, image classification method, and image classification program
JP2017078989A (en) * 2015-10-21 2017-04-27 株式会社パスコ Image processing device, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293670A (en) * 1999-04-08 2000-10-20 Asia Air Survey Co Ltd Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign
JP2013054522A (en) * 2011-09-02 2013-03-21 Pasuko:Kk Road appurtenances detecting device, road appurtenances detecting method and program
JP2015158739A (en) * 2014-02-21 2015-09-03 日本電信電話株式会社 Image sorting device, image classification method, and image classification program
JP2017078989A (en) * 2015-10-21 2017-04-27 株式会社パスコ Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP6762451B2 (en) 2020-09-30
WO2019193762A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
US10755120B2 (en) End-to-end lightweight method and apparatus for license plate recognition
CN108038474B (en) Face detection method, convolutional neural network parameter training method, device and medium
US20190266434A1 (en) Method and device for extracting information from pie chart
US10699109B2 (en) Data entry from series of images of a patterned document
CN111489403A (en) Method and device for generating virtual feature map by utilizing GAN
WO2017079522A1 (en) Subcategory-aware convolutional neural networks for object detection
CN111191611B (en) Traffic sign label identification method based on deep learning
CN110582783B (en) Training device, image recognition device, training method, and computer-readable information storage medium
CN111008576B (en) Pedestrian detection and model training method, device and readable storage medium
CN110443242B (en) Reading frame detection method, target recognition model training method and related device
CN111723809B (en) Method and system for evaluating target detection model
CN111382625A (en) Road sign identification method and device and electronic equipment
CN112997190A (en) License plate recognition method and device and electronic equipment
CN111160395A (en) Image recognition method and device, electronic equipment and storage medium
CN110210480A (en) Character recognition method, device, electronic equipment and computer readable storage medium
CN116107591A (en) Deployment model construction method based on corn cases
CN112200193A (en) Distributed license plate recognition method, system and device based on multi-attribute fusion
US10217020B1 (en) Method and system for identifying multiple strings in an image based upon positions of model strings relative to one another
CN112052907A (en) Target detection method and device based on image edge information and storage medium
CN117218622A (en) Road condition detection method, electronic equipment and storage medium
CN111523351A (en) Neural network training method and device and electronic equipment
CN114882204A (en) Automatic ship name recognition method
CN103136536A (en) System and method for detecting target and method for exacting image features
CN110874170A (en) Image area correction method, image segmentation method and device
CN112991410A (en) Text image registration method, electronic equipment and storage medium thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200529

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200908

R150 Certificate of patent or registration of utility model

Ref document number: 6762451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees