JP7058053B2 - Computer system, information code reading method and program - Google Patents
Computer system, information code reading method and program Download PDFInfo
- Publication number
- JP7058053B2 JP7058053B2 JP2021517720A JP2021517720A JP7058053B2 JP 7058053 B2 JP7058053 B2 JP 7058053B2 JP 2021517720 A JP2021517720 A JP 2021517720A JP 2021517720 A JP2021517720 A JP 2021517720A JP 7058053 B2 JP7058053 B2 JP 7058053B2
- Authority
- JP
- Japan
- Prior art keywords
- information code
- image
- information
- computer
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明は、情報コードを読み取るコンピュータシステム、情報コード読取方法及びプログラムに関する。 The present invention relates to a computer system for reading an information code, an information code reading method and a program.
近年、物品管理、作業管理、入退場管理、会員証、決済等の様々な用途において、情報コード(例えば、一次元コード、二次元コード、ARマーカ)が活用されている。このような情報コードの活用は、アプリケーションや読取装置等により、表示された情報コードを読み取ることにより行われる。 In recent years, information codes (for example, one-dimensional code, two-dimensional code, AR marker) have been utilized in various uses such as goods management, work management, entrance / exit management, membership card, and payment. Utilization of such an information code is performed by reading the displayed information code by an application, a reading device, or the like.
このような情報コードを活用する技術の例として、複数の情報コードが含まれる画像の中から、ユーザが所望する情報コードを指定し、この指定された情報コードを拡大して撮影することにより、このユーザが所望した情報コードを読み取るシステムが開示されている(特許文献1参照)。 As an example of a technique for utilizing such an information code, a user-desired information code is specified from an image containing a plurality of information codes, and the specified information code is enlarged and photographed. A system for reading an information code desired by this user is disclosed (see Patent Document 1).
しかしながら、特許文献1のシステムでは、ユーザが読み取る情報コードを指定する必要があるため、ユーザが、どの情報コードを指定すべきかの判断ができないおそれがあった。 However, in the system of Patent Document 1, since it is necessary to specify the information code to be read by the user, there is a possibility that the user cannot determine which information code should be specified.
本発明は、画像に含まれる情報コードのサイズが小さい場合や複数の情報コードが存在する場合であっても、情報コードを読み取ることが可能なコンピュータシステム、情報コード読取方法及びプログラムを提供することを目的とする。 The present invention provides a computer system, an information code reading method, and a program capable of reading an information code even when the size of the information code contained in the image is small or when a plurality of information codes are present. With the goal.
本発明では、以下のような解決手段を提供する。 The present invention provides the following solutions.
本発明は、情報コードを読み取るコンピュータシステムであって、
前記情報コードが撮影された画像を取得する取得手段と、
取得した前記画像を解析する解析手段と、
前記画像の解析結果と、学習済みの前記情報コードの特徴量とに基づいて、前記情報コードを検出する検出手段と、
検出した前記情報コードを認識できなかった場合、当該情報コードを拡大する拡大手段と、
拡大後の前記情報コードを認識する認識手段と、
認識した前記情報コードの画像における座標を算出する算出手段と、
取得した前記画像を、算出した前記座標に合成して、前記学習済みの情報コードの特徴量を更新する更新手段と、
を備え、
前記拡大手段は、検出した前記画像中に複数の情報コードが存在する場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大し、
前記座標は、前記情報コードの中心点であることを特徴とするコンピュータシステムを提供する。
The present invention is a computer system that reads an information code.
An acquisition means for acquiring an image in which the information code is taken, and
An analysis means for analyzing the acquired image and
A detection means for detecting the information code based on the analysis result of the image and the learned feature amount of the information code.
If the detected information code cannot be recognized, an expansion means for expanding the information code and an expansion means.
A recognition means for recognizing the expanded information code and
A calculation means for calculating the coordinates of the recognized information code in the image, and
An update means for updating the feature amount of the learned information code by synthesizing the acquired image with the calculated coordinates.
Equipped with
When a plurality of information codes are present in the detected image, the enlarging means expands any one of the plurality of information codes based on a predetermined condition .
The coordinates provide a computer system characterized by being the center point of the information code .
本発明によれば、情報コードを読み取るコンピュータシステムは、前記情報コードが撮影された画像を取得し、取得した前記画像を解析し、前記画像の解析結果と、学習済みの前記情報コードの特徴量とに基づいて、前記情報コードを検出し、検出した前記情報コードを認識できなかった場合、当該情報コードを拡大し、拡大後の前記情報コードを認識し、認識した前記情報コードの画像における座標を算出し、取得した前記画像を、算出した前記座標に合成して、前記学習済みの情報コードの特徴量を更新し、検出した前記画像中に複数の情報コードが存在する場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大し、前記座標は、前記情報コードの中心点である。 According to the present invention, the computer system that reads the information code acquires the image in which the information code is taken, analyzes the acquired image, and the analysis result of the image and the learned feature amount of the information code. When the information code is detected and the detected information code cannot be recognized, the information code is enlarged, the enlarged information code is recognized, and the coordinates in the image of the recognized information code are recognized. Is calculated, the acquired image is combined with the calculated coordinates, the feature amount of the learned information code is updated, and when a plurality of information codes are present in the detected image, a predetermined condition is obtained. The information code of any of the plurality of information codes is expanded based on the above, and the coordinates are the center points of the information codes .
本発明は、システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。 Although the present invention is in the category of systems, the same actions and effects are exhibited in other categories such as methods and programs according to the categories.
本発明によれば、画像に含まれる情報コードのサイズが小さい場合や複数の情報コードが存在する場合であっても、情報コードを読み取ることが可能なコンピュータシステム、情報コード読取方法及びプログラムを提供することが可能となる。 INDUSTRIAL APPLICABILITY According to the present invention, a computer system, an information code reading method, and a program capable of reading an information code even when the size of the information code contained in the image is small or when a plurality of information codes exist are provided. It becomes possible to do.
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. It should be noted that this is just an example, and the technical scope of the present invention is not limited to this.
[情報コード読取システム1の概要]
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である情報コード読取システム1の概要を説明するための図である。情報コード読取システム1は、コンピュータ10から構成され、情報コードを読み取るコンピュータシステムである。[Overview of information code reading system 1]
An outline of a preferred embodiment of the present invention will be described with reference to FIG. FIG. 1 is a diagram for explaining an outline of an information code reading system 1 which is a preferred embodiment of the present invention. The information code reading system 1 is a computer system composed of a
なお、情報コード読取システム1は、カメラ等の撮影装置、撮影機能を備えた端末装置(例えば、スマートフォンやタブレット端末等の携帯端末や、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末)、その他の端末や装置類等が含まれていてもよい。この場合、情報コード読取システム1は、コンピュータ10と、含まれる端末や装置類等との何れか又は複数の組み合わせにより実行する事になる。
The information code reading system 1 includes a photographing device such as a camera, a terminal device having a photographing function (for example, a mobile terminal such as a smartphone or a tablet terminal, a head-mounted display such as a smart glass, or a wearable terminal such as a smart watch). Other terminals, devices, and the like may be included. In this case, the information code reading system 1 is executed by any or a plurality of combinations of the
また、情報コード読取システム1は、例えば、コンピュータ10等の1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。
Further, the information code reading system 1 may be realized by one computer such as a
また、情報コード読取システム1は、コンピュータ10の代わりに、上述した端末装置から構成されてもよい。
Further, the information code reading system 1 may be configured by the terminal device described above instead of the
コンピュータ10は、上述した撮影装置、端末装置、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。
The
コンピュータ10は、情報コードが撮影された画像を取得する。例えば、撮影装置や端末装置は、情報コードを撮影し、撮影した画像をコンピュータ10に送信する。コンピュータ10は、この画像を受信することにより、情報コードが撮影された画像を取得することになる。
The
なお、情報コード読取システム1が、端末装置から構成される場合、この端末装置が、情報コードを撮影することにより、情報コードが撮影された画像を取得することになる。 When the information code reading system 1 is composed of a terminal device, the terminal device captures the information code to acquire an image in which the information code is captured.
コンピュータ10は、取得した画像を解析する。例えば、コンピュータ10は、取得した画像を画像解析し、この画像における特徴量を抽出する。特徴量は、例えば、形状、輪郭、色相、画素値の平均や分散やヒストグラム等の統計的な数値である。例えば、二次元コードである場合、コンピュータ10は、この画像に存在するファインダパターン、アライメントパターン、クワイエットゾーン、タイミングパターン等の特有のものを特徴量として抽出する。一次元コードやARマーカ等の他のものであっても同様に、特有のものを特徴量として抽出する。
The
コンピュータ10は、解析結果と、学習済みの情報コードの特徴量とに基づいて、情報コードを検出する。コンピュータ10は、予め、情報コードの特徴量を機械学習し、この学習結果に基づいた情報コード検出用学習済モデルを作成する。コンピュータ10は、今回抽出した特徴量と、予め作成した情報コード検出用学習済モデルとに基づいて、取得した画像に存在する情報コードを検出する。
The
コンピュータ10は、検出した情報コードを認識できなかった場合、この情報コードを拡大する。例えば、コンピュータ10は、検出した情報コードの認識を試行する。コンピュータ10が、検出した情報コードを認識できなかった場合とは、例えば、検出した情報コードの大きさが、十分ではない(すなわち、所定の大きさよりも小さい)場合、検出した情報コードが複数存在する(すなわち、一の情報コードを特定できない)場合である。コンピュータ10は、このような、検出した情報コードを認識できなかった場合、この情報コードを、認識可能なサイズまで拡大する。
If the
コンピュータ10は、拡大後の情報コードを認識する。例えば、コンピュータ10は、拡大後の情報コードを認識し、この情報コードに格納された情報等を読み取る。
The
なお、コンピュータ10は、今回認識した情報コードの画像における座標を算出し、取得した画像と、この座標とに基づいて、学習済みの情報コードの特徴量を更新する構成であってもよい。例えば、コンピュータ10は、今回認識した情報コードの画像における座標を算出する。コンピュータ10は、算出した座標と、画像とに基づいて、新たな学習用データセットを作成し、この作成した学習用データセットと、予め作成した情報コード検出用学習済モデルとに基づいて、情報コード検出用学習済モデルを更新する。コンピュータ10は、次回以降の情報コードの検出の際、この更新後の情報コード検出用学習済モデルを用いることになる。
The
次に、情報コード読取システム1が実行する処理の概要について説明する。 Next, an outline of the processing executed by the information code reading system 1 will be described.
はじめに、コンピュータ10は、情報コードが撮影された画像を取得する(ステップS01)。撮影装置や端末装置は、情報コードを撮影し、撮影した画像をコンピュータ10に送信する。コンピュータ10は、この画像を受信する。この結果、コンピュータ10は、情報コードが撮影された画像を取得することになる。
First, the
コンピュータ10は、取得した画像を解析する(ステップS02)。コンピュータ10は、取得した画像を画像解析し、この画像における上述した特徴量を抽出する。
The
コンピュータ10は、解析結果と、学習済みの情報コードの特徴量とに基づいて、情報コードを検出する(ステップS03)。コンピュータ10は、情報コードの特徴量を機械学習して作成した情報コード検出用学習済モデルと、今回抽出した特徴量とに基づいて、取得した画像に存在する情報コードを検出する。
The
コンピュータ10は、検出した情報コードを認識できなかった場合、この情報コードを拡大する(ステップS04)。コンピュータ10は、この情報コードの認識を試行する。コンピュータ10は、認識を試行した結果、情報コードの認識ができなかった場合、この情報コードを認識可能なサイズにまで拡大する。コンピュータ10は、画像中に一の情報コードのみを検出した場合、この一の情報コードを拡大する。また、コンピュータ10は、画像中に複数の情報コードを検出した場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大する。なお、コンピュータ10は、画像中に複数の情報コードを検出した場合、この複数の情報コードを、所定の条件に基づいて、順次、拡大する構成であってもよい。
If the
コンピュータ10は、拡大後の情報コードを認識する(ステップS05)。コンピュータ10は、拡大した情報コードを認識し、この情報コードに格納された情報等を読み取る。
The
以上が、情報コード読取システム1が実行する処理の概要である。 The above is an outline of the processing executed by the information code reading system 1.
[情報コード読取システム1のシステム構成]
図2に基づいて、本発明の好適な実施形態である情報コード読取システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である情報コード読取システム1のシステム構成を示す図である。図2において、情報コード読取システム1は、コンピュータ10から構成され、一次元コード、二次元コード、ARマーカ等の情報コードを読み取るコンピュータシステムである。[System configuration of information code reading system 1]
Based on FIG. 2, the system configuration of the information code reading system 1 which is a preferred embodiment of the present invention will be described. FIG. 2 is a diagram showing a system configuration of an information code reading system 1 which is a preferred embodiment of the present invention. In FIG. 2, the information code reading system 1 is a computer system composed of a
コンピュータ10は、撮影装置、端末装置、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。
The
なお、情報コード読取システム1は、撮影装置、端末装置、その他の端末や装置類等が含まれていてもよい。この場合、情報コード読取システム1は、後述する各処理を、コンピュータ10と含まれる端末や装置類等との何れか又は複数の組み合わせにより実行することになる。
The information code reading system 1 may include a photographing device, a terminal device, other terminals, devices, and the like. In this case, the information code reading system 1 executes each process described later by any or a plurality of combinations of the
また、情報コード読取システム1は、例えば、コンピュータ10等の1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。
Further, the information code reading system 1 may be realized by one computer such as a
また、情報コード読取システム1は、コンピュータ10の代わりに、上述した端末装置で構成されてもよい。
Further, the information code reading system 1 may be configured by the terminal device described above instead of the
コンピュータ10は、制御部として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi―Fi(Wireless―Fidelity)対応デバイス等を備える。また、コンピュータ10は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部として、各種処理を実行する各種デバイス等を備える。
The
コンピュータ10において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、学習データセット取得モジュール20、画像取得モジュール21を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、記録モジュール30を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、解析モジュール40、学習モジュール41、モデル作成モジュール42、検出モジュール43、認識モジュール44、認識判断モジュール45、拡大モジュール46、算出モジュール47、合成モジュール48、モデル更新モジュール49を実現する。
In the
[学習処理]
図3に基づいて、情報コード読取システム1が実行する学習処理について説明する。図3は、コンピュータ10が実行する学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。[Learning process]
The learning process executed by the information code reading system 1 will be described with reference to FIG. FIG. 3 is a diagram showing a flowchart of a learning process executed by the
学習データセット取得モジュール20は、情報コードの学習用データセットを取得する(ステップS10)。ステップS10において、学習データセット取得モジュール20は、他のコンピュータや外部サーバ等から、この学習用データセットを取得する。この学習用データセットは、例えば、一又は複数の情報コードが撮影された画像である。 The learning data set acquisition module 20 acquires an information code learning data set (step S10). In step S10, the learning data set acquisition module 20 acquires this learning data set from another computer, an external server, or the like. This training data set is, for example, an image in which one or more information codes are taken.
解析モジュール40は、取得した学習用データセットを解析する(ステップS11)。ステップS11において、解析モジュール40は、この学習用データセットを、画像解析し、情報コードの特徴量を抽出する。特徴量は、上述した通り、二次元コードである場合、ファインダパターン、アライメントパターン、クワイエットゾーン、タイミングパターン等の二次元コードに特有のものであり、一次元コードやARマーカ等の他のものである場合、これらの其々に特有のものである。 The analysis module 40 analyzes the acquired learning data set (step S11). In step S11, the analysis module 40 performs image analysis on this learning data set and extracts the feature amount of the information code. As described above, in the case of a two-dimensional code, the feature amount is peculiar to the two-dimensional code such as a finder pattern, an alignment pattern, a quiet zone, and a timing pattern, and is another one such as a one-dimensional code or an AR marker. In some cases, it is unique to each of these.
学習モジュール41は、解析結果に基づいて、機械学習を実行する(ステップS12)。ステップS12において、学習モジュール41は、機械学習として、抽出した特徴量を教師とした教師あり学習を実行する。 The learning module 41 executes machine learning based on the analysis result (step S12). In step S12, the learning module 41 executes supervised learning using the extracted features as a teacher as machine learning.
モデル作成モジュール42は、学習結果に基づいて、情報コード検出用学習済モデルを作成する(ステップS13)。ステップS13において、モデル作成モジュール42は、学習した情報コードの特徴量を組み込んだ情報コード検出用学習済モデルを作成する。 The model creation module 42 creates a trained model for information code detection based on the learning result (step S13). In step S13, the model creation module 42 creates a trained model for information code detection incorporating the feature amount of the trained information code.
記録モジュール30は、作成した情報コード検出用学習済モデルを、自身に記録する(ステップS14)。コンピュータ10は、後述する処理において、この記録した情報コード検出用学習済モデルを用いることになる。
The recording module 30 records the created trained model for detecting an information code in itself (step S14). The
以上が、学習処理である。 The above is the learning process.
[情報コード読取処理]
図4に基づいて、情報コード読取システム1が実行する情報コード読取処理について説明する。図4は、コンピュータ10が実行する情報コード読取処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。[Information code reading process]
The information code reading process executed by the information code reading system 1 will be described with reference to FIG. FIG. 4 is a diagram showing a flowchart of the information code reading process executed by the
画像取得モジュール21は、情報コードが撮影された画像を取得する(ステップS20)。ステップS20において、画像取得モジュール21は、撮影装置や端末装置がこの情報コードを撮影した画像を取得する。このとき、撮影装置や端末装置が、この画像を送信し、画像取得モジュール21が、この画像を受信することにより、画像取得モジュール21は、この画像を取得することになる。 The image acquisition module 21 acquires an image in which the information code is captured (step S20). In step S20, the image acquisition module 21 acquires an image in which the photographing device or the terminal device has captured this information code. At this time, the photographing device or the terminal device transmits this image, and the image acquisition module 21 receives this image, so that the image acquisition module 21 acquires this image.
なお、情報コード読取システム1が、端末装置から構成される場合、この端末装置が、情報コードを撮影することにより、情報コードが撮影された画像を取得することになる。端末装置は、後述する処理を、この撮影した画像を用いて実行する構成となる。 When the information code reading system 1 is composed of a terminal device, the terminal device captures the information code to acquire an image in which the information code is captured. The terminal device is configured to execute the processing described later using the captured image.
解析モジュール40は、取得した画像を解析する(ステップS21)。ステップS21において、解析モジュール40は、取得した画像の特徴量を抽出する。解析モジュール40は、特徴量として、上述した通り、形状、輪郭、色相、画素値の平均や分散やヒストグラム等の統計的な数値を抽出し、一次元コード、二次元コード、ARマーカ等における固有のものを抽出する。 The analysis module 40 analyzes the acquired image (step S21). In step S21, the analysis module 40 extracts the feature amount of the acquired image. As described above, the analysis module 40 extracts statistical values such as shape, contour, hue, average of pixel values, variance, and histogram as feature quantities, and is unique in one-dimensional code, two-dimensional code, AR marker, and the like. Extract things.
検出モジュール43は、解析結果と、学習済みの情報コードの特徴量とに基づいて、情報コードを検出する(ステップS22)。ステップS22において、検出モジュール43は、今回抽出した特徴量と、上述した学習処理により作成した情報コード検出用学習済モデルとに基づいて、この処理を実行する。検出モジュール43は、今回抽出した特徴量と、情報コード検出用学習済モデルにおける特徴量とを比較し、一致又は近似するか否かを判断し、一致又は近似するものを、情報コードであるものと検出する。 The detection module 43 detects the information code based on the analysis result and the feature amount of the learned information code (step S22). In step S22, the detection module 43 executes this process based on the feature amount extracted this time and the learned model for information code detection created by the above-mentioned learning process. The detection module 43 compares the feature amount extracted this time with the feature amount in the trained model for information code detection, determines whether or not they match or approximate, and matches or approximates the information code. Is detected.
なお、コンピュータ10は、情報コードを検出できなかった場合、本処理を終了する。
If the
認識モジュール44は、検出した情報コードを認識する(ステップS23)。ステップS23において、認識モジュール44は、この情報コードに格納された情報を読み取ることを試行する。 The recognition module 44 recognizes the detected information code (step S23). In step S23, the recognition module 44 attempts to read the information stored in this information code.
認識判断モジュール45は、情報コードを認識できたか否かを判断する(ステップS24)。ステップS24において、認識判断モジュール45は、検出した情報コードの大きさが十分ではない場合、検出した情報コードが複数存在する場合であるとき、情報コードを認識できなかったと判断することになる。認識判断モジュール45は、情報コードを認識できたと判断した場合(ステップS24 YES)、認識モジュール44は、この情報コードに格納された情報を読み取る(ステップ25)。コンピュータ10は、読み取った情報に基づいて、必要な処理を実行することになる。
The recognition determination module 45 determines whether or not the information code can be recognized (step S24). In step S24, the recognition determination module 45 determines that the information code could not be recognized when the detected information code is not large enough or when there are a plurality of detected information codes. When the recognition determination module 45 determines that the information code can be recognized (YES in step S24), the recognition module 44 reads the information stored in this information code (step 25). The
一方、ステップS24において、認識判断モジュール45は、情報コードを認識できかなかったと判断した場合(ステップS24 NO)、拡大モジュール46は、検出した情報コードを拡大する(ステップS26)。ステップS26において、拡大モジュール46は、検出した情報コードのサイズを拡大する。コンピュータ10は、認識できなかったことの理由が、検出した情報コードのサイズにあると判断するためである。具体的には、画像中に存在する情報コードが、認識するに足るサイズではなかったと判断するためである。
On the other hand, when the recognition determination module 45 determines in step S24 that the information code could not be recognized (step S24 NO), the expansion module 46 expands the detected information code (step S26). In step S26, the expansion module 46 increases the size of the detected information code. The
拡大モジュール46は、認識モジュール44が認識できなかった情報コードが一つであった場合、この一の情報コードを拡大する。 If there is only one information code that the recognition module 44 could not recognize, the expansion module 46 expands this one information code.
また、拡大モジュール46は、認識モジュール44が認識できなかった情報コードが複数存在する場合、所定の条件に基づいて、拡大する一の情報コードを特定する。所定の条件は、例えば、情報コードの座標(例えば、画面中央に近い、画面中央から遠い、画面端に近い、画面端から遠い)、情報コードのサイズ(例えば、最大、最小)、情報コードの説明テキストの有無である。拡大モジュール46は、この特定した一の情報コードを拡大する。 Further, when there are a plurality of information codes that cannot be recognized by the recognition module 44, the expansion module 46 specifies one information code to be expanded based on a predetermined condition. The predetermined conditions are, for example, the coordinates of the information code (for example, close to the center of the screen, far from the center of the screen, close to the edge of the screen, far from the edge of the screen), the size of the information code (for example, maximum and minimum), and the information code. The presence or absence of descriptive text. The expansion module 46 expands this one identified information code.
なお、コンピュータ10は、画像中に複数の情報コードを検出した場合、この複数の情報コードを、所定の条件に基づいて、順次、拡大する構成であってもよい。
When the
また、コンピュータ10は、認識できなかった原因が、サイズ以外の場合、例えば、破損や汚損、歪み等である場合、コンピュータ10は、情報コードを拡大するのでなく、認識できないと判断し、本処理を終了する。すなわち、コンピュータ10は、拡大しても認識できない情報コードについては、拡大せずに、本処理を終了することになる。
Further, if the cause that the
認識モジュール44は、拡大後の情報コードを認識する(ステップS27)。ステップS27において、認識モジュール44は、この拡大後の情報コードを認識し、この情報コードに格納された情報を読み取る。コンピュータ10は、読み取った情報に基づいて、必要な処理を実行することになる。
The recognition module 44 recognizes the expanded information code (step S27). In step S27, the recognition module 44 recognizes the expanded information code and reads the information stored in the information code. The
図6及び図7に基づいて、上述した情報コード読取処理について説明する。図6は、情報コードが撮影された画像の一例を模式的に示した図である。図6において、画像200には、複数の情報コード210が存在する。検出モジュール43は、この画像200の解析の結果、9個の情報コード210-218を検出する。認識モジュール44の試行の結果、認識判断モジュール45は、この9個の情報コード210-218を認識できなかったと判断するものとする。拡大モジュール46は、この9個の情報コード210-218のうち、所定の条件(例えば、画面中央に位置する情報コード214)に基づいて、一の情報コード214を特定し、特定した一の情報コード214を拡大する。
The above-mentioned information code reading process will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram schematically showing an example of an image in which an information code is taken. In FIG. 6, the
図7は、拡大後情報コードの一例を模式的に示したものである。図7において、拡大後情報コード300は、特定された一の情報コード214を、認識可能なサイズにまで拡大したものである。認識モジュール44は、この拡大後情報コード300を認識することにより、この情報コード214に格納された情報を読み取る。
FIG. 7 schematically shows an example of the expanded information code. In FIG. 7, the
以上が、情報コード読取処理である。 The above is the information code reading process.
[再学習処理]
図5に基づいて、情報コード読取システム1が実行する再学習処理について説明する。図5は、コンピュータ10が実行する再学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。[Re-learning process]
The re-learning process executed by the information code reading system 1 will be described with reference to FIG. FIG. 5 is a diagram showing a flowchart of the relearning process executed by the
算出モジュール47は、上述した情報コード読取処理により認識した情報コードの、画像における座標を算出する(ステップS30)。ステップS30において、算出モジュール47は、この画像における座標として、XY座標により、この画像における情報コードの座標を算出する。このとき、情報コードの中心を、この座標として算出する。 The calculation module 47 calculates the coordinates in the image of the information code recognized by the above-mentioned information code reading process (step S30). In step S30, the calculation module 47 calculates the coordinates of the information code in this image by XY coordinates as the coordinates in this image. At this time, the center of the information code is calculated as these coordinates.
合成モジュール48は、算出した座標と、画像とを合成する(ステップS31)。ステップS31において、合成モジュール48は、画像に、座標及び情報コードの特徴量を合成する。合成モジュール48は、画像における、この情報コードに該当する座標に、情報コードの特徴量を合成することになる。コンピュータ10は、この合成結果を、再学習用データセットとして、後述する処理に用いる。
The composition module 48 combines the calculated coordinates with the image (step S31). In step S31, the synthesis module 48 synthesizes the features of the coordinates and the information code with the image. The synthesis module 48 synthesizes the feature amount of the information code with the coordinates corresponding to this information code in the image. The
学習モジュール41は、上述した学習処理により作成した情報コード検出用学習済モデルと、合成結果とに基づいて、情報コードの特徴量を再学習する(ステップS32)。ステップS32において、学習モジュール41は、情報コード検出用学習済モデルと、再学習用データセットとに基づいて、情報コードの画像における座標及び情報コードの特徴量を再学習する。 The learning module 41 relearns the feature amount of the information code based on the learned model for information code detection created by the above-mentioned learning process and the synthesis result (step S32). In step S32, the learning module 41 relearns the coordinates in the image of the information code and the feature amount of the information code based on the trained model for detecting the information code and the data set for relearning.
モデル更新モジュール49は、再学習の結果に基づいて、記録モジュール30が記録する情報コード検出用学習済モデルを更新する(ステップS33)。ステップS33において、モデル更新モジュール49は、再学習した情報コードの画像における座標及び情報コードの特徴量を、情報コード検出用学習済モデルに組み込むことにより、情報コード検出用学習済モデルを更新する。 The model update module 49 updates the trained model for detecting the information code recorded by the recording module 30 based on the result of the re-learning (step S33). In step S33, the model update module 49 updates the trained model for information code detection by incorporating the coordinates in the image of the retrained information code and the feature amount of the information code into the trained model for information code detection.
この結果、モデル更新モジュール49は、取得した画像と、算出した座標とに基づいて、学習済みの情報コードの特徴量を更新することになる。 As a result, the model update module 49 updates the feature amount of the learned information code based on the acquired image and the calculated coordinates.
記録モジュール30は、更新後の情報コード検出用学習済モデルを記録する(ステップS34)。コンピュータ10は、再度、上述した情報コード読取処理を実行する際、本処理により記録した更新後の情報コード検出用学習済モデルを用いる。
The recording module 30 records the trained model for detecting the updated information code (step S34). When the
以上が、再学習更処理である。 The above is the re-learning re-processing.
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置(記録媒体)に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。 The above-mentioned means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program. The program is provided, for example, in the form of being provided from a computer via a network (Software as a Service). Further, the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, a CD (CD-ROM or the like), or a DVD (DVD-ROM, DVD-RAM or the like). In this case, the computer reads the program from the recording medium, transfers it to an internal recording device or an external recording device, records the program, and executes the program. Further, the program may be recorded in advance on a recording device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and the program may be provided from the recording device to a computer via a communication line.
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments described above. Further, the effects described in the embodiments of the present invention merely list the most suitable effects arising from the present invention, and the effects according to the present invention are limited to those described in the embodiments of the present invention. is not.
1 情報コード読取システム10 コンピュータ
1 Information
Claims (5)
前記情報コードが撮影された画像を取得する取得手段と、
取得した前記画像を解析する解析手段と、
前記画像の解析結果と、学習済みの前記情報コードの特徴量とに基づいて、前記情報コードを検出する検出手段と、
検出した前記情報コードを認識できなかった場合、当該情報コードを拡大する拡大手段と、
拡大後の前記情報コードを認識する認識手段と、
認識した前記情報コードの画像における座標を算出する算出手段と、
取得した前記画像を、算出した前記座標に合成して、前記学習済みの情報コードの特徴量を更新する更新手段と、
を備え、
前記拡大手段は、検出した前記画像中に複数の情報コードが存在する場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大し、
前記座標は、前記情報コードの中心点であることを特徴とするコンピュータシステム。 A computer system that reads information codes
An acquisition means for acquiring an image in which the information code is taken, and
An analysis means for analyzing the acquired image and
A detection means for detecting the information code based on the analysis result of the image and the learned feature amount of the information code.
If the detected information code cannot be recognized, an expansion means for expanding the information code and an expansion means.
A recognition means for recognizing the expanded information code and
A calculation means for calculating the coordinates of the recognized information code in the image, and
An update means for updating the feature amount of the learned information code by synthesizing the acquired image with the calculated coordinates.
Equipped with
When a plurality of information codes are present in the detected image, the enlarging means expands any one of the plurality of information codes based on a predetermined condition .
A computer system characterized in that the coordinates are the center points of the information code .
ことを特徴とする請求項1に記載のコンピュータシステム。 The predetermined condition is the presence or absence of the coordinates, size, or explanatory text of the information code.
The computer system according to claim 1.
ことを特徴とする請求項1に記載のコンピュータシステム。 When a plurality of information codes are present in the detected image, the magnifying means sequentially magnifies the image based on the predetermined conditions .
The computer system according to claim 1.
前記情報コードが撮影された画像を取得するステップと、
取得した前記画像を解析するステップと、
前記画像の解析結果と、学習済みの前記情報コードの特徴量とに基づいて、前記情報コードを検出するステップと、
検出した前記情報コードを認識できなかった場合、当該情報コードを拡大するステップと、
拡大後の前記情報コードを認識するステップと、
認識した前記情報コードの画像における座標を算出するステップと、
取得した前記画像を、算出した前記座標に合成して、前記学習済みの情報コードの特徴量を更新するステップと、
を備え、
前記拡大するステップは、検出した前記画像中に複数の情報コードが存在する場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大し、
前記座標は、前記情報コードの中心点であることを特徴とする情報コード読取方法。 Reading an information code This is an information code reading method executed by a computer system.
The step of acquiring the image in which the information code was taken and
Steps to analyze the acquired image and
A step of detecting the information code based on the analysis result of the image and the learned feature amount of the information code.
If the detected information code cannot be recognized, the step of expanding the information code and
The step of recognizing the expanded information code and
The step of calculating the coordinates in the image of the recognized information code and
A step of synthesizing the acquired image with the calculated coordinates and updating the feature amount of the learned information code.
Equipped with
In the expanding step, when a plurality of information codes are present in the detected image, one of the plurality of information codes is expanded based on a predetermined condition .
An information code reading method characterized in that the coordinates are the center points of the information code.
前記情報コードが撮影された画像を取得するステップ、
取得した前記画像を解析するステップ、
前記画像の解析結果と、学習済みの前記情報コードの特徴量とに基づいて、前記情報コードを検出するステップ、
検出した前記情報コードを認識できなかった場合、当該情報コードを拡大するステップ、
拡大後の前記情報コードを認識するステップ、
認識した前記情報コードの画像における座標を算出するステップ、
取得した前記画像を、算出した前記座標に合成して、前記学習済みの情報コードの特徴量を更新するステップ、
を実行させ、
前記拡大するステップは、検出した前記画像中に複数の情報コードが存在する場合、所定の条件に基づいて、複数の内の何れかの情報コードを拡大し、
前記座標は、前記情報コードの中心点であるためのコンピュータ読み取り可能なプログラム。 To the computer that reads the information code
Steps to acquire the image in which the information code was taken,
Steps to analyze the acquired image,
A step of detecting the information code based on the analysis result of the image and the learned feature amount of the information code.
If the detected information code cannot be recognized, the step of expanding the information code,
Steps to recognize the expanded information code,
Step of calculating the coordinates in the image of the recognized information code,
A step of synthesizing the acquired image with the calculated coordinates and updating the feature amount of the learned information code.
To execute,
In the expanding step, when a plurality of information codes are present in the detected image, one of the plurality of information codes is expanded based on a predetermined condition .
A computer-readable program for the coordinates to be the center point of the information code .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/003630 WO2021152819A1 (en) | 2020-01-31 | 2020-01-31 | Computer system, information code reading method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021152819A1 JPWO2021152819A1 (en) | 2021-08-05 |
JP7058053B2 true JP7058053B2 (en) | 2022-04-21 |
Family
ID=77078809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021517720A Active JP7058053B2 (en) | 2020-01-31 | 2020-01-31 | Computer system, information code reading method and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7058053B2 (en) |
WO (1) | WO2021152819A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022211064A1 (en) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | Information reading device |
CN115329795A (en) * | 2022-10-17 | 2022-11-11 | 北京搜狐新动力信息技术有限公司 | Method and device for identifying two-dimensional code |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012064110A (en) | 2010-09-17 | 2012-03-29 | Casio Comput Co Ltd | Information reading apparatus and program |
JP2019049967A (en) | 2017-07-12 | 2019-03-28 | ジック アーゲー | Photoelectric code reader, and method of reading photoelectric code |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2793453B2 (en) * | 1992-10-26 | 1998-09-03 | 日本電気精器株式会社 | Barcode Symbol Recognition Method Using Neural Network |
-
2020
- 2020-01-31 JP JP2021517720A patent/JP7058053B2/en active Active
- 2020-01-31 WO PCT/JP2020/003630 patent/WO2021152819A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012064110A (en) | 2010-09-17 | 2012-03-29 | Casio Comput Co Ltd | Information reading apparatus and program |
JP2019049967A (en) | 2017-07-12 | 2019-03-28 | ジック アーゲー | Photoelectric code reader, and method of reading photoelectric code |
Also Published As
Publication number | Publication date |
---|---|
WO2021152819A1 (en) | 2021-08-05 |
JPWO2021152819A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697416B (en) | Video data processing method and related device | |
JP4755202B2 (en) | Face feature detection method | |
CN109033955B (en) | Face tracking method and system | |
EP1998286A1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
JP7058053B2 (en) | Computer system, information code reading method and program | |
WO2014028286A1 (en) | Method and apparatus for facial recognition | |
JP2010026603A (en) | Image processor, image processing method and computer program | |
JP2006146626A (en) | Pattern recognition method and device | |
Vazquez-Fernandez et al. | Built-in face recognition for smart photo sharing in mobile devices | |
JP2010262601A (en) | Pattern recognition system and pattern recognition method | |
CN111753764A (en) | Gesture recognition method of edge terminal based on attitude estimation | |
CN106471440A (en) | Eye tracking based on efficient forest sensing | |
US20180107877A1 (en) | Image processing apparatus, image processing method, and image processing system | |
US20200218772A1 (en) | Method and apparatus for dynamically identifying a user of an account for posting images | |
CN113012054A (en) | Sample enhancement method and training method based on sectional drawing, system and electronic equipment thereof | |
CN111881740A (en) | Face recognition method, face recognition device, electronic equipment and medium | |
JP2007025902A (en) | Image processor and image processing method | |
CN112699810A (en) | Method and device for improving figure identification precision of indoor monitoring system | |
CN110598555A (en) | Image processing method, device and equipment | |
CN116580054B (en) | Video data processing method, device, equipment and medium | |
CN113269125B (en) | Face recognition method, device, equipment and storage medium | |
CN104318251A (en) | Real-time processing method and device for photos | |
US11620360B2 (en) | Methods and systems for recognizing object using machine learning model | |
CN114360015A (en) | Living body detection method, living body detection device, living body detection equipment and storage medium | |
JP2004199200A (en) | Pattern recognition device, imaging apparatus, information processing system, pattern recognition method, recording medium and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |