JP7283312B2 - Information reader and program - Google Patents

Information reader and program Download PDF

Info

Publication number
JP7283312B2
JP7283312B2 JP2019158524A JP2019158524A JP7283312B2 JP 7283312 B2 JP7283312 B2 JP 7283312B2 JP 2019158524 A JP2019158524 A JP 2019158524A JP 2019158524 A JP2019158524 A JP 2019158524A JP 7283312 B2 JP7283312 B2 JP 7283312B2
Authority
JP
Japan
Prior art keywords
information code
image
captured image
information
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019158524A
Other languages
Japanese (ja)
Other versions
JP2020161106A (en
Inventor
弘樹 高見
匡昭 葛谷
聡 月安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Publication of JP2020161106A publication Critical patent/JP2020161106A/en
Application granted granted Critical
Publication of JP7283312B2 publication Critical patent/JP7283312B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Description

本発明は、撮像した文字情報及び情報コードを読み取る情報読取装置及びプログラムに関するものである。 The present invention relates to an information reading device and program for reading imaged character information and information codes.

近年、バーコードやQRコード(登録商標)などの情報コードを読み取る情報コード読取機能に加えて、撮像した文字情報を認識する文字認識機能を兼ね備えた情報読取装置が多く利用されている。このような情報読取装置は、スマートフォンのように個人が所有する携帯端末に対して所定のアプリケーションプログラムをインストールすることでも実現することができる。 In recent years, in addition to an information code reading function for reading information codes such as bar codes and QR codes (registered trademark), many information reading apparatuses have been used that have a character recognition function for recognizing imaged character information. Such an information reading device can also be realized by installing a predetermined application program in a personal mobile terminal such as a smart phone.

このような情報コードと文字情報との双方を読取対象とする情報読取装置として、例えば、下記特許文献1に開示される光学的文字読取装置が知られている。この光学的文字読取装置では、バーコードとこのバーコードの直下に配置されるバーコード対応文字とを読取対象としており、バーコードの読み取りがエラーとなると、このバーコードの位置を基準にバーコード対応文字の位置を特定して文字認識するための処理を行っている。 As an information reading device that reads both information codes and character information, for example, an optical character reading device disclosed in Patent Document 1 below is known. This optical character reader reads a barcode and the characters corresponding to the barcode located directly below the barcode. The position of the corresponding character is specified and processing for character recognition is performed.

特開平09-237312号公報JP-A-09-237312

ところで、撮像した文字情報を認識する際にその撮像画像にバーコードも含まれていると、バーコードのバーの部分が大文字「I」や小文字「l」、数字「1」等に誤認されてしまうという問題がある。この問題は、バーコードだけでなく、QRコードなど他の種別の情報コードでも同様に生じるものであり、文字情報とともに撮像された情報コードに起因して文字誤認が生じてしまう可能性がある。 By the way, when recognizing captured character information, if the captured image also contains a barcode, the bar portion of the barcode may be misidentified as an uppercase letter "I", a lowercase letter "l", or a number "1". There is a problem of storage. This problem occurs not only with bar codes but also with other types of information codes such as QR codes, and there is a possibility that character misrecognition may occur due to the information code imaged together with character information.

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識し得る構成を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and its object is to provide a configuration capable of accurately recognizing character information from a captured image in which character information and an information code are captured. That's what it is.

上記目的を達成するため、特許請求の範囲の請求項1に記載の発明は、
撮像部(23)と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部(21)と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部(21)と、
を備える情報読取装置(10)であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部(21)と、
前記情報コード読取部により読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定部と、
を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い、
前記情報コード読取部は、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理を行い、
前記画像補正部は、
前記情報コード読取部により読み取られた情報コードが前記反転コードであると前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正し、
前記情報コード読取部により読み取られた情報コードが前記反転コードでないと前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
In order to achieve the above object, the invention described in claim 1 of the scope of claims includes:
an imaging unit (23);
an information code reading unit (21) that performs a decoding process for reading the information code from the captured image obtained by capturing the information code by the imaging unit;
a character recognition unit (21) that performs character recognition processing for reading the character information from the captured image in which the character information is captured by the imaging unit;
An information reader (10) comprising
an image correction unit (21) for correcting the captured image so that, when the information code is read by the information code reading unit, a range corresponding to the information code in the captured image becomes a monochrome image range ;
a light/dark reversal determination unit that determines whether or not the information code read by the information code reading unit is a reversed code obtained by reversing the light/darkness of a light-colored cell and a dark-colored cell;
with
When the captured image is corrected by the image correction unit, the character recognition unit performs the character recognition process on the corrected captured image,
The information code reading unit classifies the cells into light-colored cells and dark-colored cells based on a predetermined brightness determination threshold value, and performs the decoding process,
The image correction unit
When the information code read by the information code reading unit is determined to be the inverted code by the light/dark reversal determining unit, the range corresponding to the information code in the captured image and the predetermined light/dark determination threshold value correcting the captured image so that the range where the brightness is low and the range of dark monochromatic images,
When the light/dark reversal determination unit determines that the information code read by the information code reading unit is not the reversed code, the range corresponding to the information code in the captured image is larger than the predetermined light/dark determination threshold value. Correcting the captured image so that the range where the brightness is high and the image range of a single light color system,
When the information code read by the information code reading unit is determined by the light/dark reversal determination unit to be the reverse code, the imaged image partially corrected to the dark monochromatic image range is When the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is higher than the predetermined light/dark determination threshold in the captured image before correction become a single-color image in a bright color system. Correct the captured image so that it is within the range,
By determining that the information code read by the information code reading unit is not the reversed code by the light/darkness reversal determining unit, the imaged image partially corrected to the single color image range of the bright color system. If the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is lower than the predetermined light/dark judgment threshold in the picked-up image before correction are dark monochromatic image ranges. It is characterized by correcting the captured image so that
It should be noted that the symbols in parentheses above indicate the corresponding relationship with specific means described in the embodiments to be described later.

請求項1の発明では、情報コード読取部により情報コードが読み取られると、撮像部により撮像された撮像画像のうち情報コードに相当する範囲が単色(例えば、白色)の画像範囲となるように当該撮像画像が画像補正部により補正され、当該補正された撮像画像に対して、文字認識部により文字認識処理が行われる。 In the invention of claim 1, when the information code is read by the information code reading unit, the range corresponding to the information code in the captured image captured by the imaging unit is a monochrome (for example, white) image range. The captured image is corrected by the image correction unit, and the character recognition unit performs character recognition processing on the corrected captured image.

これにより、文字情報を認識するために撮像された撮像画像に情報コードが含まれている場合であっても、情報コードに相当する範囲が単色の画像範囲に補正されて実質的に文字認識対象外となる。このため、情報コードに起因する文字誤認が抑制されるので、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識することができる。
特に、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードであると明暗反転判定部により判定されると、撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色(例えば、黒色)の画像範囲となるように当該撮像画像が補正される。また、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードでないと明暗反転判定部により判定されると、撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色(例えば、白色)の画像範囲となるように当該撮像画像が補正される。
表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高い。このため、反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が低くなる範囲、すなわち、白抜き文字の周囲の暗色系の背景を、暗色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、情報コード(反転コード)だけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。その一方で、表示媒体に対して明色系セルと暗色系セルとの明暗が反転していない通常の情報コードとともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高い。このため、情報コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が高くなる範囲、すなわち、黒文字の周囲の明色系の背景を、明色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、情報コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。したがって、文字認識部による文字認識精度をより一層向上させることができる。
さらに、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードであると明暗反転判定部により判定されることで、一部が暗色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。また、画像補正部において、情報コード読取部により読み取られた情報コードが反転コードでないと明暗反転判定部により判定されることで、一部が明色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。
これにより、反転コードとともに黒文字で表示されている文字情報を撮像しており、黒文字の周囲の背景が暗色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が明色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。その一方で、明色系セルと暗色系セルとが反転していない通常の情報コードとともに白抜き文字で表示されている文字情報を撮像しており、白抜き文字の周囲の背景が明色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が暗色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。
As a result, even if an information code is included in the captured image captured for recognizing character information, the range corresponding to the information code is corrected to a monochrome image range, and the character recognition target is substantially the same. outside. As a result, misrecognition of characters due to the information code is suppressed, so that the character information can be accurately recognized from the captured image in which the character information and the information code are captured.
In particular, in the image correcting unit, when the information code read by the information code reading unit is determined by the light/dark reversal determination unit to be a reversed code, the range corresponding to the information code and the predetermined light/dark determination threshold value in the captured image are corrected. The captured image is corrected so that the range in which the lightness is lower than the range becomes a dark monochromatic (for example, black) image range. Further, in the image correcting unit, when the light/dark reversal determining unit determines that the information code read by the information code reading unit is not a reversed code, the range corresponding to the information code in the captured image and the predetermined light/dark determination threshold value The captured image is corrected so that the range in which the lightness is high is an image range of bright single color (for example, white).
The character information displayed together with the reverse code on the display medium is displayed in white characters, and there is a high possibility that the surroundings of the white characters will be a dark background. For this reason, in addition to the range corresponding to the reverse code, the range in which the brightness is lower than the predetermined brightness determination threshold in the captured image, that is, the dark background around the white character is converted into a dark monochrome image. By correcting to the range and substantially excluding the character recognition object, character misrecognition caused by not only the information code (inverted code) but also the pattern of the background can be easily suppressed. On the other hand, the character information displayed together with the normal information code in which the contrast between the light-colored cells and the dark-colored cells is not reversed on the display medium is displayed in black characters, and the black characters are surrounded by light-colored cells. likely to be the background of For this reason, in addition to the range corresponding to the information code, the range in which the brightness is higher than the predetermined brightness determination threshold value in the captured image, that is, the bright background around the black character is converted into a bright monochromatic image. By correcting to the range and substantially excluding the character recognition object, character misrecognition caused by not only the information code but also the pattern of the background can be easily suppressed. Therefore, it is possible to further improve the accuracy of character recognition by the character recognition unit.
Further, in the image correcting unit, the light/dark reversal determining unit determines that the information code read by the information code reading unit is a reversed code, so that a part of the captured image is corrected to a dark monochromatic image range. If the character recognition processing performed on the image fails, the range corresponding to the information code and the range where the brightness is higher than the predetermined brightness determination threshold in the captured image before correction are regarded as a bright monochrome image range. The captured image is corrected so that Also, in the image correcting unit, the light/dark reversal determining unit determines that the information code read by the information code reading unit is not a reversed code, so that a part of the picked-up image is corrected to a monochromatic image range of a bright color system. If the character recognition processing performed on the image fails, the range corresponding to the information code and the range in which the brightness is lower than the predetermined brightness determination threshold become a dark monochromatic image range in the captured image before correction. The captured image is corrected as follows.
As a result, the character information displayed in black characters along with the reverse code is imaged, and even if the character recognition fails because the background around the black characters is corrected to a dark monochromatic image range, the background remains bright. Since the character recognition process is performed again after being corrected to a monochromatic image range of the color system, misrecognition of characters caused by background patterns or the like can be further suppressed. On the other hand, the image of the character information displayed with white characters is imaged together with the normal information code in which the light-colored cells and dark-colored cells are not reversed, and the background around the white characters is light-colored. Even if character recognition fails because the image is corrected to a single-color image range, the background is corrected to a single-color image range and character recognition processing is performed again. can be further suppressed.

請求項の発明では、コード判定部により情報コードの一部が撮像されていると判定されると、撮像画像のうち情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像が画像補正部により補正される。 In the third aspect of the invention, when the code determination unit determines that a part of the information code is captured, the range corresponding to the part of the information code in the captured image is a monochrome image range. A captured image is corrected by the image correction unit.

これにより、デコードされた情報コードの部分だけでなく、デコードできなくても情報コードの一部と認識された部分も実質的に文字認識対象外となるため、情報コードに起因する文字誤認をより一層抑制することができる。 As a result, not only the decoded part of the information code, but also the part of the information code that cannot be decoded but is recognized as part of the information code is virtually excluded from character recognition. can be further suppressed.

請求項の発明では、3つのファインダパターンの少なくとも1つとタイミングパターンの一部が撮像されることで、情報コードの一部が撮像されているとコード判定部により判定される。ファインダパターン及びタイミングパターンは、その目的から容易に認識できるように形成されているため、QRコードの一部が撮像される場合でもそのQRコードの一部に相当する範囲を容易かつ正確に把握することができる。 In the fourth aspect of the present invention, the code determination unit determines that part of the information code is captured by capturing an image of at least one of the three finder patterns and part of the timing pattern. Since the finder pattern and the timing pattern are formed so as to be easily recognizable from their purpose, even when a part of the QR code is imaged, the range corresponding to the part of the QR code can be easily and accurately grasped. be able to.

請求項の発明では、検出部により検出された情報コードのセル配列方向を基準に撮像画像に対して文字認識処理が行われる。これにより、文字情報の文字配列方向と情報コードのセル配列方向とが同じ方向である場合には、文字情報の文字配列方向を特定できることから、検出されたセル配列方向を基準に文字情報が認識しやすくなるように回転補正した撮像画像に対して文字認識処理を行うことで、文字認識部による文字認識精度をより一層向上させることができる。また、文字情報の文字配列方向が情報コードのセル配列方向に対して所定角度ずれている場合でも、検出されたセル配列方向から上記所定角度ずれた方向を基準に文字情報が認識しやすくなるように回転補正した撮像画像に対して文字認識処理を行うことで、文字認識部による文字認識精度をより一層向上させることができる。 In the fifth aspect of the invention, character recognition processing is performed on the captured image based on the cell arrangement direction of the information code detected by the detection unit. As a result, when the character arrangement direction of the character information and the cell arrangement direction of the information code are the same, the character arrangement direction of the character information can be identified, so the character information can be recognized based on the detected cell arrangement direction. By performing character recognition processing on the captured image that has been rotation-corrected to facilitate recognition, the accuracy of character recognition by the character recognition unit can be further improved. Further, even when the character arrangement direction of the character information is deviated from the cell arrangement direction of the information code by a predetermined angle, the character information can be easily recognized on the basis of the direction deviated by the predetermined angle from the detected cell arrangement direction. By performing character recognition processing on the captured image that has undergone rotation correction, the character recognition accuracy of the character recognition unit can be further improved.

請求項の発明では、画像補正部において、情報コード読取部により情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差が所定の明暗差閾値以上となる場合に、撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正される。 In the invention according to claim 2 , when the information code is read by the information code reading unit in the image correcting unit, the brightness difference in the picked-up image between the light-colored cells and the dark-colored cells constituting the information code is a predetermined brightness difference. When it is equal to or greater than the threshold, the captured image is corrected so that the range corresponding to the information code in the captured image becomes a monochrome image range.

例えば、印刷媒体の表面側に文字情報が印刷されるとともに裏面側に情報コードが印刷されており、その表面側の文字情報を撮像して文字認識する際に、その撮像画像に、裏面側の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。このような撮像画像では、情報コードの少なくとも一部が文字情報に重なっている状態で撮像されている場合に、そのデコード処理が成功すると、情報コードに相当する範囲が単色の画像範囲に補正されてしまうために、文字情報の一部が欠損してしまうという問題がある。 For example, character information is printed on the front side of a print medium and an information code is printed on the back side. The information code may appear faintly blurred. In such a captured image, when at least part of the information code overlaps the character information and the decoding process is successful, the range corresponding to the information code is corrected to a monochrome image range. As a result, there is a problem that part of the character information is lost.

そこで、読み取られた情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差が上記所定の明暗差閾値以上となる場合に、撮像画像のうち、情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する。すなわち、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、上記明暗差が上記所定の明暗差閾値未満となることで、情報コードに相当する範囲が補正対象とならなくなる。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、画像補正に起因する文字情報の欠損等を防止することができる。 Therefore, when the brightness difference in the captured image between the light-colored cells and the dark-colored cells that constitute the read information code is equal to or greater than the predetermined brightness difference threshold value, the range corresponding to the information code in the captured image is The captured image is corrected so that it becomes a monochromatic image range. That is, in an imaging state in which the information code on the back side is faintly blurred as described above, the range corresponding to the information code is reduced by the brightness difference being less than the predetermined brightness difference threshold. It will not be subject to correction. Therefore, even when an unintended information code is imaged so as to be superimposed on character information in a faintly blurred state, loss of character information due to image correction can be prevented.

請求項の発明では、画像補正部において、情報コード読取部により情報コードが読み取られると、上記明暗差が上記所定の明暗差閾値未満となる場合には、撮像画像において情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。 In the invention according to claim 6 , when the information code is read by the information code reading unit in the image correction unit, if the brightness difference is less than the predetermined brightness difference threshold value, the range corresponding to the information code in the captured image Among them, the captured image is corrected so that the range having the same brightness as the light-colored cells and the range having the same brightness as the dark-colored cells forming the information code are monochromatic image ranges.

これにより、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、上記明暗差が上記所定の明暗差閾値未満となることで、情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、鮮明な文字情報は補正されずに不鮮明でかすれた情報コードの部分のみが補正対象となるため、文字認識部による文字認識精度をより一層向上させることができる。 As a result, in an imaging state in which the information code on the back side is faintly blurred as described above, the brightness difference becomes less than the predetermined brightness difference threshold value, so that the brightness constituting the information code is The captured image is corrected so that the range having the same brightness as the color cell and the range having the same brightness as the dark color cell are monochrome image ranges. For this reason, even if the unintended information code is captured in a faint and blurred state so that it overlaps with the character information, the clear character information is not corrected, and only the unclear and blurry information code portion is subject to correction. Therefore, the accuracy of character recognition by the character recognition unit can be further improved.

請求項の発明では、情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に明色系セル及び暗色系セルと異なる空き領域を有している。そして、画像補正部では、情報コード読取部により空き領域を有する情報コードが読み取られる場合には、撮像画像のうち、コード領域に相当する範囲が補正対象から除外される。 In the seventh aspect of the invention, the information code has an empty area different from the bright-color cells and the dark-color cells in the code area in which the plurality of bright-color cells and dark-color cells are arranged. Then, in the image correction section, when the information code reading section reads an information code having a blank area, the range corresponding to the code area in the captured image is excluded from the correction target.

これにより、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が情報コードとともに単色の画像範囲となるように補正されてしまうことを防止することができる。 As a result, when character information to be character-recognized is arranged in the empty area, it is possible to prevent the character information from being corrected so as to become a monochromatic image range together with the information code.

請求項の発明では、情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に明色系セル及び暗色系セルと異なる空き領域を有している。そして、画像補正部では、情報コード読取部により空き領域を有する情報コードが読み取られる場合には、撮像画像のうち、コード領域から空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像が補正される。 In the eighth aspect of the present invention, the information code has an empty area different from the bright-colored cells and the dark-colored cells in the code area in which the plurality of bright-colored cells and dark-colored cells are arranged. Then, when the information code reading unit reads an information code having a blank area, the image correcting unit adjusts the range of the captured image, excluding the blank area from the code area, to be a monochrome image range. The image is corrected.

このようにしても、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が単色の画像範囲となるように補正されてしまうことを防止することができる。特に、コード領域から空き領域を除いた範囲が単色の画像範囲となるように補正されるため、文字認識すべき文字情報の周囲が単色の画像範囲となるので、文字認識部による文字認識精度をより一層向上させることができる。 Even in this way, when character information to be character-recognized is arranged in the empty area, it is possible to prevent the character information from being corrected so as to become a monochromatic image range. In particular, since the area excluding the empty area from the code area is corrected to be a monochrome image area, the area around the character information to be recognized becomes a monochrome image area. It can be improved further.

請求項の発明によれば、請求項1と同様の効果を奏するプログラムを実現できる。
請求項10の発明によれば、請求項2と同様の効果を奏するプログラムを実現できる。
According to the ninth aspect of the invention, it is possible to realize a program having the same effect as the first aspect.
According to the tenth aspect of the invention, it is possible to realize a program having the same effect as the second aspect.

第1実施形態に係る情報読取装置と読取対象となる文字情報及び情報コードとを概略的に示す説明図である。1 is an explanatory diagram schematically showing an information reading device according to a first embodiment, character information to be read, and an information code; FIG. 情報読取装置の電気的構成を概略的に示すブロック図である。2 is a block diagram schematically showing an electrical configuration of an information reader; FIG. 第1実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。4 is a flowchart illustrating the flow of reading processing performed by a control unit in the first embodiment; 図4(A)は、文字情報とともにデコード可能にバーコードが撮像された撮像画像を示す説明図であり、図4(B)は、図4(A)においてバーコードに相当する範囲が補正された撮像画像を示す説明図である。FIG. 4A is an explanatory diagram showing a captured image in which a bar code is captured in a decodable manner together with character information, and FIG. 4B is a corrected range corresponding to the bar code in FIG. FIG. 10 is an explanatory diagram showing a captured image; 図5(A)は、文字情報とともにバーコードの一部が撮像された撮像画像を示す説明図であり、図5(B)は、図5(A)においてバーコードの一部に相当する範囲が補正された撮像画像を示す説明図である。FIG. 5A is an explanatory diagram showing a captured image in which a part of a barcode is captured together with character information, and FIG. 5B is a range corresponding to a part of the barcode in FIG. 5A. is an explanatory diagram showing a captured image in which is corrected. 図6(A)は、文字情報とともにマージンが認識されない状態でバーコードが撮像された撮像画像を示す説明図であり、図6(B)は、図6(A)においてバーコードに相当する範囲が補正された撮像画像を示す説明図である。FIG. 6(A) is an explanatory diagram showing a captured image of a barcode captured in a state where the margin is not recognized together with character information, and FIG. 6(B) is a range corresponding to the barcode in FIG. 6(A). is an explanatory diagram showing a captured image in which is corrected. 図7(A)は、文字情報とともにQRコードの一部が撮像された撮像画像を示す説明図であり、図7(B)は、図7(A)においてQRコードの一部に相当する範囲が補正された撮像画像を示す説明図である。FIG. 7A is an explanatory diagram showing a captured image in which a part of the QR code is captured together with character information, and FIG. 7B is a range corresponding to a part of the QR code in FIG. is an explanatory diagram showing a captured image in which is corrected. 第2実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。9 is a flowchart illustrating the flow of reading processing performed by a control unit in the second embodiment; 図9(A)は、文字情報とともに反転コードが撮像された撮像画像を示す説明図であり、図9(B)は、図9(A)において反転コード及び背景等が黒色の画像範囲に補正された撮像画像を示す説明図である。FIG. 9(A) is an explanatory diagram showing a captured image in which a reverse code is captured together with character information, and FIG. 9(B) is a corrected image range in which the reverse code, background, etc. are black in FIG. 9(A). FIG. 10 is an explanatory diagram showing a captured image that has been captured; 図10(A)は、文字情報とともに非反転コードが撮像された撮像画像を示す説明図であり、図10(B)は、図10(A)において非反転コード及び背景等が白色の画像範囲に補正された撮像画像を示す説明図である。FIG. 10A is an explanatory diagram showing a captured image in which a non-inverted code is captured together with character information, and FIG. 10B is an image range in which the non-inverted code and the background are white in FIG. FIG. 10 is an explanatory diagram showing a captured image corrected to . バーコードやQRコードのセル配列方向と文字情報の文字配列情報とが読取基準方向に対して傾いた状態を説明する説明図である。FIG. 4 is an explanatory diagram illustrating a state in which the cell arrangement direction of a barcode or QR code and the character arrangement information of character information are tilted with respect to the reading reference direction; 第3実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。FIG. 11 is a flowchart illustrating the flow of reading processing performed by a control unit in the third embodiment; FIG. 図13(A)は、セル配列方向及び文字配列方向が読取基準方向に対して同じ角度で傾くように情報コード及び文字情報が撮像された撮像画像を示す説明図であり、図13(B)は、セル配列方向に応じて図13(A)の撮像画像を回転補正等した状態の撮像画像を示す説明図である。FIG. 13A is an explanatory diagram showing a captured image in which the information code and the character information are captured so that the cell arrangement direction and the character arrangement direction are inclined at the same angle with respect to the reading reference direction, and FIG. 13B is an explanatory diagram showing a captured image in which the captured image of FIG. 13A is subjected to rotational correction or the like according to the cell arrangement direction; FIG. 図14(A)は、文字配列方向がセル配列方向に対して所定角度だけずれるように情報コード及び文字情報が撮像された撮像画像を示す説明図であり、図14(B)は、セル配列方向に応じて図14(A)の撮像画像を回転補正等した状態の撮像画像を示す説明図である。FIG. 14A is an explanatory diagram showing a captured image in which an information code and character information are captured such that the character arrangement direction is shifted by a predetermined angle from the cell arrangement direction, and FIG. 14B is a cell arrangement. FIG. 15 is an explanatory diagram showing a captured image in a state in which the captured image of FIG. 14A is rotationally corrected or the like according to the direction; 第4実施形態において制御部にて行われる読取処理の流れを例示するフローチャートである。FIG. 14 is a flowchart illustrating the flow of reading processing performed by a control unit in the fourth embodiment; FIG. 図16(A)は、薄くかすんだバーコードが文字情報に重なるように撮像された撮像画像を示す説明図であり、図16(B)は、図16(A)においてバーコードに相当する範囲が補正された撮像画像を示す説明図であり、図16(C)は、図16(A)においてバーコードの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが補正された撮像画像を示す説明図である。FIG. 16A is an explanatory diagram showing a captured image in which a faintly blurred bar code is superimposed on character information, and FIG. 16B is a range corresponding to the bar code in FIG. 16A. FIG. 16C is an explanatory diagram showing a captured image in which is corrected, and FIG. is an explanatory diagram showing a captured image in which is corrected. 第5実施形態の要部を説明する説明図であり、図17(A)は、空き領域内に文字情報が配置された情報コードを撮像した撮像画像を示し、図17(B)は、図17(A)の撮像画像においてコード領域から空き領域を除いた範囲が補正された状態を示す。FIGS. 17A and 17B are explanatory diagrams for explaining the main part of the fifth embodiment, FIG. 17A shows a captured image of an information code in which character information is arranged in an empty area, and FIG. 17(A) shows a state in which the range obtained by removing the blank area from the code area is corrected in the captured image of 17(A).

以下、本発明に係る情報読取装置及びプログラムを具現化した第1実施形態について、図面を参照して説明する。
図1に示すように、本実施形態に係る情報読取装置10は、ユーザによって携帯されて様々な場所で用いられるスマートフォンなどの携帯型の情報処理端末として構成されている。この情報読取装置10は、図2に示すように、CPU等からなる制御部21、メモリ22、カメラとして構成される撮像部23、制御部21によって表示内容が制御されるタッチパネル24、タッチパネル24に対するタッチ操作やキー操作に信号を制御部21に出力する操作部25、外部機器等と通信するための通信部26などを備えるように構成されている。
Hereinafter, a first embodiment embodying an information reading device and a program according to the present invention will be described with reference to the drawings.
As shown in FIG. 1, an information reading device 10 according to this embodiment is configured as a portable information processing terminal such as a smart phone that is carried by a user and used in various places. As shown in FIG. 2, the information reading device 10 includes a control unit 21 including a CPU, a memory 22, an imaging unit 23 configured as a camera, a touch panel 24 whose display contents are controlled by the control unit 21, and It is configured to include an operation unit 25 for outputting a signal to the control unit 21 in response to a touch operation or key operation, a communication unit 26 for communicating with an external device or the like.

本実施形態に係る情報読取装置10は、所定のアプリケーションプログラム(以下、読取アプリともいう)がインストールされることで、撮像部23により情報コードが撮像された撮像画像に対してその情報コードを読み取るためのデコード処理を行う機能や撮像部23により文字情報が撮像された撮像画像に対してその文字情報を読み取るための文字認識処理を行う機能(OCR)を有するように構成されている。特に、本実施形態では、読取アプリが起動されることで制御部21にてなされる読取処理により、文字情報を読み取る際に情報コードまで撮像された場合でも、情報コードに起因する文字誤認を抑制して文字情報が認識される。 The information reading device 10 according to the present embodiment is installed with a predetermined application program (hereinafter also referred to as a reading application), and reads the information code from the captured image in which the information code is captured by the imaging unit 23. and a function (OCR) for performing character recognition processing for reading the character information from the captured image in which the character information is captured by the imaging unit 23 . In particular, in the present embodiment, even if the information code is imaged when reading the character information by the reading process performed by the control unit 21 by activating the reading application, character misrecognition caused by the information code is suppressed. character information is recognized.

以下、本実施形態において、制御部21にてなされる読取処理について、図3に示すフローチャートを参照して詳述する。なお、図1に例示するように、表示媒体Rの表示面において、バーコードBが近くに印字されている「2019年03月06日」を文字情報Wとして認識する場合を例に説明する。 Hereinafter, the reading process performed by the control unit 21 in this embodiment will be described in detail with reference to the flowchart shown in FIG. In addition, as illustrated in FIG. 1, a case where "March 06, 2019" on which the barcode B is printed nearby on the display surface of the display medium R is recognized as the character information W will be described as an example.

操作部25に対する所定の操作に応じて読取アプリが起動されて制御部21により読取処理が開始されると、図3のステップS101の撮像処理がなされる。この処理では、撮像部23の撮像方向を文字情報Wに向けた状態で操作部25に対する読取操作等がなされることで、撮像部23により文字情報Wが撮像される。 When the reading application is activated in response to a predetermined operation on the operation unit 25 and the reading process is started by the control unit 21, the imaging process of step S101 in FIG. 3 is performed. In this process, the character information W is imaged by the image capturing unit 23 by performing a reading operation or the like on the operation unit 25 while the image capturing direction of the image capturing unit 23 is directed toward the character information W.

続いて、ステップS103に示す明暗判定閾値設定処理がなされ、上記ステップS101にて撮像された撮像画像の明暗分布に基づいて、情報コードを白セル(明色系セル)と黒セル(暗色系セル)とに区分けする際の基準となる所定の明暗判定閾値が設定される。そして、ステップS105の判定処理にて、上述のように撮像された撮像画像について、情報コードが撮像されているか否かについて判定される。ここで、図4(A)に示す撮像画像P1aのように、文字情報WとともにバーコードBがデコード可能に撮像されていると、ステップS105にてYesと判定される。 Subsequently, a light/dark determination threshold value setting process shown in step S103 is performed, and based on the light/dark distribution of the captured image captured in step S101, the information code is set to a white cell (light-colored cell) and a black cell (dark-colored cell). ), and a predetermined brightness determination threshold value is set as a reference for classifying the image. Then, in the determination processing in step S105, it is determined whether or not the information code is captured in the captured image captured as described above. Here, if the bar code B is captured decodably together with the character information W as in the captured image P1a shown in FIG. 4A, it is determined as Yes in step S105.

この場合には、ステップS107に示すデコード処理がなされ、上述のように設定された明暗判定閾値を基準に、撮像した情報コードを解読するための処理がなされる。なお、上記ステップS107は、「情報コード読取ステップ」の一例に相当し、このステップS107におけるデコード処理を行う制御部21は、「情報コード読取部」の一例に相当し得る。 In this case, decoding processing shown in step S107 is performed, and processing for decoding the imaged information code is performed based on the brightness determination threshold value set as described above. Note that step S107 corresponds to an example of an "information code reading step", and the control unit 21 that performs the decoding process in step S107 can correspond to an example of an "information code reading unit".

このデコード処理が成功すると(S109でYes)、ステップS111に示す第1画像補正処理がなされる。この処理では、上述のように撮像された撮像画像のうちデコードが成功した情報コードに相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正(置換)される。図4(A)に示す撮像画像P1aのように、バーコードBの周囲が白色の背景であれば、上記第1画像補正処理により、図4(B)に示す撮像画像P1bのように、補正前の撮像画像P1aにおいて、バーコードBに相当する範囲が白色の画像範囲に補正される。すなわち、デコードに成功した情報コードが取り除かれるように撮像画像が補正される。なお、上記ステップS111及び後述するステップS113は、「画像補正ステップ」の一例に相当し、このステップS111における第1画像補正処理及び後述するステップS113における第2画像補正処理を行う制御部21は、「画像補正部」の一例に相当し得る。 If this decoding process succeeds (Yes in S109), the first image correction process shown in step S111 is performed. In this processing, the range corresponding to the successfully decoded information code in the imaged image captured as described above is corrected (replaced) with a monochrome image range so as to eliminate the color boundary with the surroundings. If the background of the barcode B is white, as in the captured image P1a shown in FIG. 4A, the image P1b shown in FIG. 4B is corrected by the first image correction process. In the previous captured image P1a, the range corresponding to the barcode B is corrected to a white image range. That is, the captured image is corrected so that the successfully decoded information code is removed. Note that step S111 and step S113, which will be described later, correspond to an example of the "image correction step". It can correspond to an example of an “image correction unit”.

続いて、ステップS115に示す文字認識処理がなされる。上述のように一部が単色の画像範囲に補正されていると、この補正された撮像画像に対して、公知の文字認識技術(OCR技術)を用いた文字認識処理が行われる。このように、バーコードBがない状態で文字情報Wを認識するため、バーコードBに起因する文字誤認をなくすことができる。なお、上記ステップS115は、「文字認識ステップ」一例に相当し、このステップS115における文字認識処理を行う制御部21は、「文字認識部」の一例に相当し得る。 Subsequently, character recognition processing shown in step S115 is performed. When a part of the image is corrected to a monochromatic image range as described above, character recognition processing using a known character recognition technology (OCR technology) is performed on the corrected captured image. In this way, since the character information W is recognized without the barcode B, misrecognition of characters caused by the barcode B can be eliminated. Note that step S115 described above corresponds to an example of a "character recognition step", and the control unit 21 that performs the character recognition process in step S115 can correspond to an example of a "character recognition unit".

一方、図5(A)に示す撮像画像P2aのように、バーコードBの一部のみが撮像されている場合には、バー(黒セル)とスペース(白セル)との並びからバーコードが撮像されていると判断されても(S105でYes)、ステップS107でのデコード処理が失敗する(S109でNo)。なお、デコードが失敗する撮像画像について情報コードが撮像されているか否かについて判定することになる上記ステップS105の判定処理を行う制御部21は、デコード処理が失敗した撮像画像について情報コードの一部が撮像されているか否かについて判定する「コード判定部」の一例に相当し得る。 On the other hand, as in the captured image P2a shown in FIG. 5A, when only a part of the barcode B is captured, the barcode can be obtained from the arrangement of bars (black cells) and spaces (white cells). Even if it is determined that the image has been captured (Yes in S105), the decoding process in step S107 fails (No in S109). Note that the control unit 21 that performs the determination process of step S105, which determines whether or not the information code is captured for the captured image for which the decoding process fails, does not include a part of the information code for the captured image for which the decoding process fails. It can correspond to an example of a “code determination unit” that determines whether or not is imaged.

この場合には、ステップS113に示す第2画像補正処理がなされる。この処理では、上述のように撮像された撮像画像のうちバーコードBの一部(情報コードの一部)に相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正(置換)される。図5(A)に示す撮像画像P2aのように、情報コードが撮像されていると認識された上でそのデコードに失敗したバーコードBの一部の周囲が白色の背景であれば、図5(B)に示す撮像画像P2bのように、補正前の撮像画像P2aにおいて、バーコードBの一部に相当する範囲が白色の画像範囲に補正される(S113)。すなわち、デコードが失敗したとしても情報コードの一部が撮像されている場合には、その情報コードの撮像されている範囲の全てが取り除かれるように撮像画像が補正される。そして、上述のように補正された撮像画像に対して、上記ステップS115の文字認識処理が行われる。なお、バーコードBを構成するセルの一部が欠損等しているためにバーコードと認識できてもそのデコードが失敗した場合でも、そのバーコードBに相当する範囲が単色の画像範囲に補正される(S113)。 In this case, the second image correction process shown in step S113 is performed. In this processing, the range corresponding to part of the barcode B (part of the information code) in the captured image captured as described above is corrected to a monochrome image range ( replaced). As in the imaged image P2a shown in FIG. 5(A), if a white background surrounds a part of the barcode B that has been recognized as an information code imaged and has failed to be decoded, As in the captured image P2b shown in (B), in the captured image P2a before correction, the range corresponding to part of the barcode B is corrected to a white image range (S113). That is, even if the decoding fails, if a part of the information code is imaged, the imaged image is corrected so that the entire imaged range of the information code is removed. Then, the character recognition process in step S115 is performed on the captured image corrected as described above. In addition, even if the barcode can be recognized as a barcode but decoding fails because some of the cells that make up the barcode B are missing, the range corresponding to the barcode B is corrected to a monochrome image range. (S113).

また、図6(A)に示す撮像画像P3aのように、バーコードBの全体が撮像されても、必要なマージンが認識できないように撮像されている場合には、デコード処理が失敗する(S109でNo)。このような場合でも、図6(B)に示す撮像画像P3bのように、補正前の撮像画像P3aにおいて、バーコードBに相当する範囲が単色の画像範囲に補正されて(S113)、この補正された撮像画像に対して、上記ステップS115の文字認識処理が行われる。 Also, as in the captured image P3a shown in FIG. 6A, even if the entire barcode B is captured, if the image is captured such that the necessary margin cannot be recognized, the decoding process fails (S109). No). Even in such a case, as in the captured image P3b shown in FIG. Character recognition processing in step S115 is performed on the picked-up image.

また、上記ステップS101の撮像処理にて情報コードが撮像されていない場合には、ステップS105の判定処理にてNoと判定されて、撮像画像が補正されることなく、上記ステップS115の文字認識処理が行われる。 Further, when the information code is not imaged in the imaging process of step S101, the determination process of step S105 is determined as No, and the character recognition process of step S115 is performed without correcting the captured image. is done.

以上説明したように、本実施形態に係る情報読取装置10では、制御部21にてなされる読取処理において、情報コードが読み取られると(S109でYes)、撮像部23により撮像された撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正され(S111)、当該補正された撮像画像に対して、文字認識処理が行われる(S115)。 As described above, in the information reading device 10 according to the present embodiment, when the information code is read in the reading process performed by the control unit 21 (Yes in S109), the captured image captured by the imaging unit 23 is reproduced. The captured image is corrected so that the range corresponding to the information code is a monochrome image range (S111), and character recognition processing is performed on the corrected captured image (S115).

そして、本実施形態に係るプログラムは、撮像部23を備えた情報読取装置10に、撮像部23により情報コードが撮像された撮像画像に対して情報コードを読み取るためのデコード処理を行う情報コード読取ステップ(S107)と、情報コード読取ステップにより情報コードが読み取られると、撮像画像のうち情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップ(S111,S113)と、画像補正ステップにより撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップ(S115)と、を実行させる。 Then, the program according to the present embodiment causes the information reading device 10 having the imaging unit 23 to perform information code reading for performing decoding processing for reading the information code from the captured image in which the information code is captured by the imaging unit 23. When the information code is read by the step (S107) and the information code reading step, the image correction step (S111, S113) corrects the captured image so that the range corresponding to the information code in the captured image becomes a monochrome image range. ), and a character recognition step (S115) for performing character recognition processing for reading character information on the corrected captured image when the captured image is corrected by the image correction step (S115).

これにより、文字情報を認識するために撮像された撮像画像に情報コードが含まれている場合であっても、情報コードに相当する範囲が単色の画像範囲に補正されて実質的に文字認識対象外となる。このため、情報コードに起因する文字誤認が抑制されるので、文字情報と情報コードとが撮像された撮像画像から文字情報を正確に認識することができる。 As a result, even if an information code is included in the captured image captured for recognizing character information, the range corresponding to the information code is corrected to a monochrome image range, and the character recognition target is substantially the same. outside. As a result, misrecognition of characters due to the information code is suppressed, so that the character information can be accurately recognized from the captured image in which the character information and the information code are captured.

さらに、コード判定部により情報コードの一部が撮像されていると判定されると、撮像画像のうち上記情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像が補正される。 Furthermore, when the code determination unit determines that a part of the information code is captured, the captured image is corrected so that the range corresponding to the part of the information code in the captured image becomes a monochrome image range. be done.

これにより、デコードされた情報コードの部分だけでなく、デコードできなくても情報コードの一部と認識された部分も実質的に文字認識対象外となるため、情報コードに起因する文字誤認をより一層抑制することができる。 As a result, not only the decoded part of the information code, but also the part of the information code that cannot be decoded but is recognized as part of the information code is virtually excluded from character recognition. can be further suppressed.

なお、情報コードに相当する範囲又は情報コードの一部に相当する範囲は、単色の画像範囲として、白色の画像範囲に補正されることに限らず、情報コードの周囲の背景の色等に応じて、明色系の単色の画像範囲に補正されてもよいし、暗色系の単色の画像範囲に補正されてもよい。 In addition, the range corresponding to the information code or the range corresponding to part of the information code is not limited to being corrected to a white image range as a monochrome image range, but depending on the background color etc. around the information code Therefore, the correction may be made to a bright monochromatic image range or to a dark monochromatic image range.

また、文字情報Wとともに撮像される情報コードは、バーコードBに限らず、QRコードなどの他のコード種別の情報コードであってもよい。このような情報コードであっても、デコードに成功した場合には(S109でYes)、撮像画像のうちデコード成功した情報コードに相当する範囲が単色の画像範囲に補正され、上述のようにデコード可能に撮像されていないためにデコード失敗した場合には(S109でNo)、そのデコード失敗した情報コードに相当する範囲が単色の画像範囲に補正されることで、情報コードに起因する文字誤認を抑制することができる。 Also, the information code imaged together with the character information W is not limited to the barcode B, and may be an information code of another code type such as a QR code. Even with such an information code, if the decoding is successful (Yes in S109), the range corresponding to the successfully decoded information code in the captured image is corrected to a monochrome image range, and decoded as described above. If decoding fails because the image is not properly captured (No in S109), the range corresponding to the information code for which decoding failed is corrected to a monochrome image range, thereby preventing character misrecognition caused by the information code. can be suppressed.

特に、QRコードは、方形状のコード領域の三隅にファインダパターンFPが配置されるとともにファインダパターンFP間にコード領域の外縁に平行となる2つのタイミングパターンTPが配置される構成である。このため、図7(A)に示す撮像画像P4aのように、3つのファインダパターンFPの少なくとも1つとタイミングパターンTPの一部が撮像された場合には、QRコードの一部が撮像されているとして、上記ステップS113の第2画像補正処理により、図7(B)に示す撮像画像P4bのように、補正前の撮像画像P4aにおいて、QRコードの一部に相当する範囲が単色(図7(B)では白色)の画像範囲に補正される。ここで、撮像画像においてQRコードの一部に相当する範囲は、ファインダパターンFP及びタイミングパターンTPの位置及び配列方向等に基づいて求めることができる。このように、ファインダパターンFP及びタイミングパターンTPは、その目的から容易に認識できるように形成されているため、QRコードの一部が撮像される場合でもそのQRコードの一部に相当する範囲を容易かつ正確に把握することができる。 In particular, the QR code has a configuration in which finder patterns FP are arranged at the three corners of a rectangular code area and two timing patterns TP are arranged between the finder patterns FP and parallel to the outer edge of the code area. Therefore, when at least one of the three finder patterns FP and part of the timing pattern TP are captured as in the captured image P4a shown in FIG. 7A, part of the QR code is captured. As a result of the second image correction processing in step S113, the range corresponding to a part of the QR code in the captured image P4a before correction is changed to a single color (Fig. 7 ( In B), the image range is corrected to white). Here, the range corresponding to part of the QR code in the captured image can be obtained based on the positions and arrangement directions of the finder pattern FP and the timing pattern TP. In this way, the finder pattern FP and the timing pattern TP are formed so as to be easily recognizable for their purpose. It can be grasped easily and accurately.

[第2実施形態]
次に、第2実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第2実施形態では、情報コードを含めた撮像画像全体を補正対象とする点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Second embodiment]
Next, an information reading device and program according to the second embodiment will be described with reference to the drawings.
The second embodiment is mainly different from the first embodiment in that the entire captured image including the information code is subject to correction. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.

文字情報及び情報コードが表示される表示媒体の表示面には、背景として模様等が表示される場合があり、この模様等に起因して文字誤認が生じてしまう可能性がある。このため、例えば、撮像画像において明度が所定値よりも高い範囲を一律に白色の画像範囲となるように補正することで、明色系の模様等を撮像画像から取り除くことができる。その一方で、読み取るべき文字情報が白抜き文字で表示されている場合には、その白抜き文字の周囲も白く補正されてしまうと、文字認識できなくなる。同様に、暗色系の模様等を撮像画像から取り除くために、明度が所定値よりも低い範囲を一律に黒色の画像範囲となるように補正する際、読み取るべき文字情報が黒文字で表示されている場合には、その黒文字の周囲も黒く補正されてしまうと、文字認識できなくなる。 A pattern or the like may be displayed as a background on the display surface of the display medium on which the character information and the information code are displayed. For this reason, for example, by correcting a range in which the lightness is higher than a predetermined value in the captured image so as to uniformly become a white image range, it is possible to remove bright-colored patterns and the like from the captured image. On the other hand, when the character information to be read is displayed in white characters, if the surroundings of the white characters are also corrected to be white, the characters cannot be recognized. Similarly, in order to remove dark patterns and the like from the captured image, when correcting the range where the lightness is lower than a predetermined value so that it becomes a uniformly black image range, the character information to be read is displayed in black characters. In some cases, if the periphery of the black character is also corrected to be black, the character cannot be recognized.

そこで、本実施形態における読取処理では、読み取った情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かを判定して、反転コードであると判定される場合には、撮像画像において上記明暗判定閾値よりも明度が低くなる範囲を暗色系の単色の画像範囲となるように補正する。表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高いからである。また、読み取った情報コードが反転コードでないと判定される場合には、撮像画像において上記明暗判定閾値よりも明度が高くなる範囲を明色系の単色の画像範囲となるように補正する。表示媒体に対して明色系セルと暗色系セルとの明暗が反転していない通常の情報コード(以下、非反転コードともいう)とともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高いからである。 Therefore, in the reading process of the present embodiment, it is determined whether or not the read information code is a reversed code obtained by reversing the brightness of the light-colored cells and the dark-colored cells, and is determined to be the reversed code. In this case, the range in which the brightness is lower than the brightness determination threshold value in the captured image is corrected so as to become a dark monochromatic image range. This is because the character information displayed together with the reverse code on the display medium is displayed in white characters, and there is a high possibility that the surroundings of the white characters will be a dark background. Further, when it is determined that the read information code is not a reversed code, the range in which the brightness is higher than the brightness determination threshold value in the captured image is corrected so as to become a single-color image range of a bright color system. Character information displayed together with a normal information code (hereinafter also referred to as a non-inverted code) in which the contrast between light-colored cells and dark-colored cells is not reversed with respect to the display medium is displayed in black characters. This is because the surrounding area is likely to be a light-colored background.

以下、本実施形態において、制御部21にてなされる読取処理について、図8に示すフローチャートを参照して詳述する。
上記第1実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され(図8のS103)、そのデコード処理が成功すると(S109でYes)、ステップS117に示す判定処理にて、デコード成功した情報コードが反転コードか否かについて判定される。なお、上記ステップS117の判定処理を行う制御部21は、「明暗反転判定部」の一例に相当し得る。
Hereinafter, the reading process performed by the control unit 21 in this embodiment will be described in detail with reference to the flowchart shown in FIG.
As in the first embodiment, the brightness determination threshold value is set based on the brightness distribution of the captured image (S103 in FIG. 8), and if the decoding process is successful (Yes in S109), the determination process shown in step S117 , whether or not the successfully decoded information code is an inverted code. Note that the control unit 21 that performs the determination process of step S117 can correspond to an example of a "brightness/darkness reversal determination unit".

ここで、デコード成功した情報コードが反転コードであることから、ステップS117にてYesと判定されると、ステップS119の暗色系画像補正処理がなされる。この処理では、認識すべき文字情報が白抜き文字で表示されていることを前提に、撮像画像において反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とを暗色系の単色(例えば、黒色)の画像範囲となるように補正する。例えば、図9(A)に示す撮像画像P5aのように、明暗が反転したバーコードBが反転コードとして撮像されている場合には、認識すべき文字情報Wが白抜き文字であるとして、上記ステップS119の暗色系画像補正処理により、図9(B)に示す撮像画像P5bのように、補正前の撮像画像P5aにおいて、反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とが、黒色の画像範囲となるように補正される。これにより、文字情報Wと背景部分とのコントラストが大きくなる。そして、このように文字情報Wと背景部分とのコントラストが大きくなるように補正された撮像画像に対して、ステップS121に示す文字認識処理が行われる。 Here, since the successfully decoded information code is an inverted code, if it is determined as Yes in step S117, dark color image correction processing is performed in step S119. In this process, on the premise that the character information to be recognized is displayed in white characters, the range corresponding to the reverse code and the range in which the brightness is lower than the brightness judgment threshold in the captured image are converted into a single dark color. (for example, black). For example, as in the imaged image P5a shown in FIG. 9A, when the barcode B in which the brightness is reversed is imaged as a reversed code, the character information W to be recognized is assumed to be white characters. As a result of the dark color image correction processing in step S119, in the captured image P5a before correction, as in the captured image P5b shown in FIG. is corrected so that it becomes a black image range. This increases the contrast between the character information W and the background portion. Character recognition processing shown in step S121 is performed on the captured image corrected to increase the contrast between the character information W and the background portion.

上記ステップS121における文字認識処理が成功すると(S123でYes)、本読取処理が終了する。その一方で、上記ステップS121における文字認識処理が失敗すると(S123でNo)、認識すべき文字情報が白抜き文字ではなく黒文字であるとして、上記ステップS125の明色系画像補正処理により、上記ステップS101にて撮像された撮像画像において、反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とを明色系の単色(例えば、白色)の画像範囲となるように補正する。そして、このように補正された撮像画像に対して、ステップS127に示す文字認識処理が行われる。 If the character recognition process in step S121 is successful (Yes in S123), the reading process ends. On the other hand, if the character recognition process in step S121 fails (No in S123), the character information to be recognized is assumed to be a black character instead of a white character, and the bright color image correction process in step S125 is performed. In the captured image captured in S101, the range corresponding to the reversed code and the range in which the brightness is higher than the brightness determination threshold are corrected so as to become a single bright color (for example, white) image range. Then, character recognition processing shown in step S127 is performed on the captured image corrected in this way.

また、デコード成功した情報コードが非反転コードであることから、ステップS117にてNoと判定されると、ステップS129の明色系画像補正処理がなされる。この処理では、認識すべき文字情報が黒文字で表示されていることを前提に、撮像画像において非反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とを明色系の単色(例えば、白色)の画像範囲となるように補正する。例えば、図10(A)に示す撮像画像P6aのように、バーコードBが非反転コードとして撮像されている場合には、認識すべき文字情報Wが黒文字であるとして、上記ステップS129の明色系画像補正処理により、図10(B)に示す撮像画像P6bのように、補正前の撮像画像P6aにおいて、非反転コードに相当する範囲と上記明暗判定閾値よりも明度が高くなる範囲とが、白色の画像範囲となるように補正される。これにより、文字情報Wと背景部分とのコントラストが大きくなる。そして、このように文字情報Wと背景部分とのコントラストが大きくなるように補正された撮像画像に対して、ステップS131に示す文字認識処理が行われる。 Further, since the successfully decoded information code is a non-inverted code, if the determination in step S117 is No, bright color image correction processing is performed in step S129. In this processing, on the premise that the character information to be recognized is displayed in black characters, the range corresponding to the non-inverted code and the range in which the brightness is higher than the brightness judgment threshold in the captured image are divided into bright single-color images. (e.g. white) image range. For example, as in the captured image P6a shown in FIG. 10A, when the barcode B is captured as a non-inverted code, the character information W to be recognized is assumed to be black characters, and the light color By the system image correction processing, in the captured image P6a before correction, as in the captured image P6b shown in FIG. It is corrected so that it becomes a white image range. This increases the contrast between the character information W and the background portion. Character recognition processing shown in step S131 is performed on the captured image corrected to increase the contrast between the character information W and the background portion.

上記ステップS131における文字認識処理が成功すると(S133でYes)、本読取処理が終了する。その一方で、上記ステップS131における文字認識処理が失敗すると(S133でNo)、認識すべき文字情報が黒文字ではなく白抜き文字であるとして、上記ステップS135の暗色系画像補正処理により、上記ステップS101にて撮像された撮像画像において、非反転コードに相当する範囲と上記明暗判定閾値よりも明度が低くなる範囲とを暗色系の単色(例えば、黒色)の画像範囲となるように補正する。そして、このように補正された撮像画像に対して、ステップS137に示す文字認識処理が行われる。 If the character recognition process in step S131 is successful (Yes in S133), the reading process ends. On the other hand, if the character recognition process in step S131 fails (No in S133), the character information to be recognized is assumed to be white characters instead of black characters, and the dark color image correction process in step S135 is performed to correct the character information in step S101. In the captured image captured in , the range corresponding to the non-inverted code and the range in which the brightness is lower than the brightness determination threshold are corrected so as to become a dark monochromatic (for example, black) image range. Then, character recognition processing shown in step S137 is performed on the captured image corrected in this way.

以上説明したように、本実施形態に係る情報読取装置10では、制御部21にてなされる読取処理において、読み取られた情報コードが反転コードであると判定されると、撮像画像のうち、反転コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。また、読み取られた情報コードが反転コードでないと判定されると、撮像画像のうち、非反転コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。 As described above, in the information reading apparatus 10 according to the present embodiment, when the read information code is determined to be a reversed code in the reading process performed by the control unit 21, the reversed code is displayed in the captured image. The captured image is corrected so that the range corresponding to the code and the range in which the lightness is lower than a predetermined brightness determination threshold are dark monochromatic image ranges. Further, when it is determined that the read information code is not the inverted code, the area corresponding to the non-inverted code and the area having the brightness higher than the predetermined brightness determination threshold value in the imaged image are bright and monochromatic. The captured image is corrected so as to be within the image range.

このように、表示媒体に対して反転コードとともに表示されている文字情報は白抜き文字で表示され、この白抜き文字の周囲は暗色系の背景となる可能性が高いとして、反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が低くなる範囲、すなわち、白抜き文字の周囲の暗色系の背景を、暗色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、反転コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。その一方で、表示媒体に対して非反転コードとともに表示されている文字情報は黒文字で表示され、この黒文字の周囲は明色系の背景となる可能性が高いとして、非反転コードに相当する範囲に加えて、撮像画像のうち所定の明暗判定閾値よりも明度が高くなる範囲、すなわち、黒文字の周囲の明色系の背景を、明色系の単色の画像範囲に補正して実質的に文字認識対象外とすることで、非反転コードだけでなく背景の模様等に起因する文字誤認が抑制されやすくなる。したがって、文字認識処理による文字認識精度をより一層向上させることができる。 In this way, the character information displayed together with the reverse code on the display medium is displayed in white characters, and the background of the white characters is likely to be a dark background, so it corresponds to the reverse code. In addition to the range, the range in which the brightness is lower than the predetermined brightness determination threshold in the captured image, that is, the dark background around the white character is corrected to a dark single color image range and substantially By not recognizing characters, misrecognition of characters due to not only reversed codes but also background patterns can be suppressed. On the other hand, the character information displayed together with the non-inverted code on the display medium is displayed in black characters, and the area around the black characters is likely to be a bright background, so the range corresponding to the non-inverted code In addition, in the captured image, the range in which the brightness is higher than a predetermined brightness determination threshold, that is, the bright background around the black character is corrected to a bright monochromatic image range, and the character is substantially reproduced. By excluding characters from the recognition target, misrecognition of characters due to not only non-inverted codes but also background patterns and the like can be suppressed. Therefore, it is possible to further improve the accuracy of character recognition by character recognition processing.

特に、読み取られた情報コードが反転コードであると判定されることで、一部が暗色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると(S123でNo)、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正される。また、読み取られた情報コードが反転コードでないと判定されることで、一部が明色系の単色の画像範囲に補正された撮像画像に対して行った文字認識処理が失敗すると(S133でNo)、補正前の撮像画像のうち、情報コードに相当する範囲と所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正される。 In particular, when it is determined that the read information code is a reversed code, the character recognition processing performed on the captured image partially corrected to a dark monochromatic image range fails (No in S123). ), in the captured image before correction, the captured image is corrected so that the range corresponding to the information code and the range in which the brightness is higher than a predetermined brightness determination threshold become a single-color image range of a bright color system. . Further, when it is determined that the read information code is not the reversed code, and the character recognition processing performed on the picked-up image partially corrected to a bright monochromatic image range fails (No in S133). ), the captured image before correction is corrected so that the range corresponding to the information code and the range in which the brightness is lower than a predetermined threshold value for determining lightness are dark monochromatic image ranges.

これにより、反転コードとともに黒文字で表示されている文字情報を撮像しており、黒文字の周囲の背景が暗色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が明色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。その一方で、非反転コードとともに白抜き文字で表示されている文字情報を撮像しており、白抜き文字の周囲の背景が明色系の単色の画像範囲に補正されたために文字認識が失敗しても、その背景が暗色系の単色の画像範囲に補正されて再度文字認識処理が行われるので、背景の模様等に起因する文字誤認をさらに抑制することができる。 As a result, the character information displayed in black characters along with the reverse code is imaged, and even if the character recognition fails because the background around the black characters is corrected to a dark monochromatic image range, the background remains bright. Since the character recognition process is performed again after being corrected to a monochromatic image range of the color system, misrecognition of characters caused by background patterns or the like can be further suppressed. On the other hand, the character information displayed in white characters along with the non-reversed code was imaged, and character recognition failed because the background around the white characters was corrected to a bright single color image range. However, since the background is corrected to a single dark color image range and the character recognition process is performed again, character misrecognition caused by the pattern of the background can be further suppressed.

[第3実施形態]
次に、第3実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第3実施形態では、情報コードのセル配列方向を基準に撮像画像に対して文字認識処理を行う点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Third Embodiment]
Next, an information reading device and program according to the third embodiment will be described with reference to the drawings.
The third embodiment is mainly different from the first embodiment in that the character recognition process is performed on the captured image based on the cell arrangement direction of the information code. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.

バーコードやQRコード等の情報コードは、そのセル配列方向F1が撮像画像においてどの向きになったとしても問題なくデコードすることができる。これに対して、文字情報は、撮像画像中の文字配列方向F2によっては文字誤認が生じてしまう可能性がある。例えば、図11に例示する撮像画像P7のように、バーコードBのセル配列方向F1やQRコードQのセル配列方向F1が撮像画像においてどの向きになったとしても問題なくデコードすることができる。これに対して、図11に例示するように、文字情報Wとなる「177」の文字配列方向F2が撮像画像での読取基準方向(図11のX方向参照)に対して180°回転するように撮像されていると、例えば、「LLl」のように文字誤認が生じてしまう可能性がある。 Information codes such as barcodes and QR codes can be decoded without any problem regardless of the orientation of the cell arrangement direction F1 in the captured image. On the other hand, character information may be erroneously recognized depending on the character arrangement direction F2 in the captured image. For example, like the captured image P7 illustrated in FIG. 11, decoding can be performed without problems regardless of the orientation of the cell array direction F1 of the barcode B or the cell array direction F1 of the QR code Q in the captured image. On the other hand, as illustrated in FIG. 11, the character arrangement direction F2 of "177", which is the character information W, is rotated 180° with respect to the reading reference direction (see the X direction in FIG. 11) in the captured image. , there is a possibility that a character misrecognition such as "LLl" will occur.

このため、文字情報を撮像して読み取る場合には、その文字情報の文字配列方向F2が撮像画像での上記読取基準方向に対して0°近くになるように、撮像する方向を限定する必要がある。そうすると、情報コードを読み取る情報読取装置であっても、文字情報も読取対象とする場合には、読取対象の向き等を意識してその読取対象を撮像する必要があり、情報読取装置の利便性が悪くなるという問題が生じる。 Therefore, when character information is imaged and read, it is necessary to limit the imaging direction so that the character arrangement direction F2 of the character information is close to 0° with respect to the reading reference direction in the captured image. be. Then, even if an information reader reads an information code, when character information is also read, it is necessary to take an image of the read target while being aware of the orientation of the read target. The problem arises that the

そこで、本実施形態における読取処理では、文字情報の文字配列方向F2と情報コードのセル配列方向F1とが同じ方向となることを前提に、情報コード及び文字情報が撮像された撮像画像を、情報コードのセル配列方向F1が上記読取基準方向に一致するように撮像画像を回転補正し、この回転補正した撮像画像に対して文字認識処理を行う。 Therefore, in the reading process according to the present embodiment, on the premise that the character arrangement direction F2 of the character information and the cell arrangement direction F1 of the information code are the same, the picked-up image in which the information code and the character information are picked up is read as the information. The picked-up image is rotationally corrected so that the code cell arrangement direction F1 coincides with the reading reference direction, and character recognition processing is performed on this rotationally-corrected picked-up image.

以下、本実施形態において、制御部21にてなされる読取処理について、図12に示すフローチャートを参照して詳述する。
上記第1実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され(図12のS103)、そのデコード処理が成功すると(S109でYes)、ステップS141に示すセル配列方向検出処理がなされる。この処理では、デコードに成功した情報コードのセル配列方向F1が検出される。なお、ステップS141のセル配列方向検出処理を行う制御部21は、「検出部」の一例に相当し得る。
Hereinafter, the reading process performed by the control unit 21 in this embodiment will be described in detail with reference to the flowchart shown in FIG.
As in the first embodiment, the brightness determination threshold value is set based on the brightness distribution of the captured image (S103 in FIG. 12), and if the decoding process is successful (Yes in S109), the cell arrangement direction is detected in step S141. processed. In this process, the cell arrangement direction F1 of the successfully decoded information code is detected. Note that the control unit 21 that performs the cell arrangement direction detection process in step S141 can correspond to an example of a "detection unit".

続いて、ステップS143に示す第3画像補正処理がなされる。この処理では、上述のように検出したセル配列方向F1が上記読取基準方向に一致するように撮像画像が回転補正され、この回転補正された撮像画像のうち情報コードに相当する範囲が周囲との色の境界をなくすように単色の画像範囲に補正(置換)される。そして、ステップS115に示す文字認識処理にて、上述のように回転補正等された撮像画像に対して、文字認識処理が行われる。 Subsequently, a third image correction process shown in step S143 is performed. In this process, the picked-up image is rotationally corrected so that the cell arrangement direction F1 detected as described above coincides with the reading reference direction, and the range corresponding to the information code in the picked-up image corrected for rotation is out of the surroundings. It is corrected (replaced) to a monochrome image area to eliminate color boundaries. Then, in the character recognition processing shown in step S115, character recognition processing is performed on the picked-up image that has undergone rotation correction or the like as described above.

このため、例えば、図13(A)に示す撮像画像P8aのように、セル配列方向F1及び文字配列方向F2が上記読取基準方向に対して同じ角度で傾くようにバーコードB及び文字情報Wが撮像されている場合には、図13(B)に示す撮像画像P8bのように、セル配列方向F1が上記読取基準方向に一致するように撮像画像P8aが回転補正されて、この回転補正された撮像画像のうち情報コードに相当する範囲が単色(図13(B)では白色)の画像範囲に補正される(S143)。そして、このように回転補正等された撮像画像に対して、文字認識処理が行われる。 For this reason, for example, as in a captured image P8a shown in FIG. 13A, the barcode B and the character information W are arranged such that the cell arrangement direction F1 and the character arrangement direction F2 are inclined at the same angle with respect to the reading reference direction. When the image is captured, the captured image P8a is rotationally corrected such that the cell arrangement direction F1 coincides with the reading reference direction, as in the captured image P8b shown in FIG. 13B. A range corresponding to the information code in the captured image is corrected to a monochrome image range (white in FIG. 13B) (S143). Character recognition processing is then performed on the picked-up image that has undergone rotation correction or the like in this way.

以上説明したように、本実施形態に係る情報読取装置10では、上記セル配列方向検出処理により検出された情報コードのセル配列方向F1を基準に、セル配列方向F1が上記読取基準方向に一致するように回転補正等した撮像画像に対して文字認識処理が行われる。これにより、文字情報の文字配列方向F2と情報コードのセル配列方向F1とが同じ方向である場合には、文字情報の文字配列方向F2を特定できることから、検出されたセル配列方向F1を基準に文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことで、文字認識精度をより一層向上させることができる。 As described above, in the information reader 10 according to the present embodiment, the cell arrangement direction F1 of the information code detected by the cell arrangement direction detection process is used as a reference, and the cell arrangement direction F1 coincides with the reading reference direction. Character recognition processing is performed on the picked-up image that has undergone rotation correction or the like. As a result, when the character arrangement direction F2 of the character information and the cell arrangement direction F1 of the information code are the same, the character arrangement direction F2 of the character information can be specified. Character recognition accuracy can be further improved by performing character recognition processing on a captured image that has undergone rotation correction or the like so that character information can be easily recognized.

本実施形態の第1変形例として、文字情報の文字配列方向F2が情報コードのセル配列方向F1に対して所定角度θだけずれていることを事前に把握できる場合には、この所定角度θを利用して撮像画像を回転補正等してもよい。すなわち、検出されたセル配列方向F1から上記所定角度θだけずれた方向が上記読取基準方向に一致するように回転補正等した撮像画像に対して文字認識処理を行うことでも、文字認識精度をより一層向上させることができる。 As a first modification of the present embodiment, when it can be grasped in advance that the character arrangement direction F2 of the character information is deviated from the cell arrangement direction F1 of the information code by a predetermined angle θ, the predetermined angle θ The captured image may be rotated and corrected by using this. That is, the character recognition accuracy can be further improved by performing character recognition processing on the picked-up image that has undergone rotation correction or the like so that the direction shifted by the predetermined angle θ from the detected cell arrangement direction F1 coincides with the reading reference direction. It can be improved further.

具体的には、例えば、図14(A)に示す撮像画像P9aのように、文字配列方向F2がセル配列方向F1に対して所定角度θだけずれるようにバーコードB及び文字情報Wが撮像されている場合には、図14(B)に示す撮像画像P8bのように、検出されたセル配列方向F1から上記所定角度θだけずれた方向が上記読取基準方向に一致するように撮像画像P8aが回転補正される。そして、この回転補正された撮像画像のうち情報コードに相当する範囲が単色の画像範囲に補正されて(S143)、このように補正された撮像画像に対して文字認識処理が行われる。このように、上記所定角度θを考慮して文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことでも、文字認識精度をより一層向上させることができる。 Specifically, for example, like a captured image P9a shown in FIG. 14A, the barcode B and the character information W are imaged such that the character arrangement direction F2 is deviated from the cell arrangement direction F1 by a predetermined angle θ. 14B, the captured image P8a is changed so that the direction deviated from the detected cell arrangement direction F1 by the predetermined angle θ coincides with the reading reference direction, as in the captured image P8b shown in FIG. Rotationally corrected. Then, the range corresponding to the information code in this rotation-corrected captured image is corrected to a monochrome image range (S143), and character recognition processing is performed on the thus corrected captured image. In this manner, the character recognition accuracy can be further improved by performing the character recognition processing on the picked-up image that has undergone rotation correction or the like so that the character information can be easily recognized in consideration of the predetermined angle θ.

また、本実施形態の第2変形例として、上記読取処理においてデコードが失敗した場合でも(S109でNo)、その失敗したデコードのセル配列方向を検出できる場合には、上述したように、検出されたセル配列方向を基準に文字情報が認識しやすくなるように回転補正等した撮像画像に対して文字認識処理を行うことで、文字認識精度をより一層向上させることができる。 Further, as a second modification of the present embodiment, even if decoding fails in the reading process (No in S109), if the cell arrangement direction of the failed decoding can be detected, as described above, the detected Character recognition accuracy can be further improved by performing character recognition processing on captured images that have undergone rotation correction or the like so that character information can be easily recognized based on the cell arrangement direction.

情報コードのセル配列方向F1を基準に回転補正等した撮像画像に対して文字認識処理を行う本実施形態及び変形例等の特徴的構成は、他の実施形態等にも適用することができる。 The characteristic configuration of the present embodiment and modifications, etc., in which character recognition processing is performed on a captured image that has undergone rotation correction or the like with reference to the cell arrangement direction F1 of the information code, can also be applied to other embodiments.

[第4実施形態]
次に、第4実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第4実施形態では、明度差が小さな情報コードを補正対象外とする点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Fourth embodiment]
Next, an information reading device and program according to a fourth embodiment will be described with reference to the drawings.
The fourth embodiment is mainly different from the above-described first embodiment in that an information code with a small lightness difference is excluded from correction targets. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.

例えば、印刷媒体の表面側に文字情報が印刷されるとともに裏面側に情報コードが印刷されており、その表面側の文字情報を撮像して文字認識する際に、その撮像画像に、裏面側の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。また、ペットボトル等の透明部材の一面に表示された文字情報を撮像して文字認識する際に、その撮像画像に、透明部材の反対側の面の情報コードが薄くかすんだ状態で写り込んでしまう場合がある。 For example, character information is printed on the front side of a print medium and an information code is printed on the back side. The information code may appear faintly blurred. Further, when character information displayed on one surface of a transparent member such as a PET bottle is imaged and character recognition is performed, the information code on the opposite surface of the transparent member may appear in the captured image in a faintly blurred state. may be lost.

このような撮像画像では、情報コードの少なくとも一部が文字情報に重なっている状態で撮像されている場合に、制御部21にてなされる読取処理においてデコード処理が成功すると、情報コードに相当する範囲が単色の画像範囲に補正されてしまうために、文字情報の一部が欠損してしまうという問題がある。例えば、図16(A)に示すように、薄くかすんだバーコードBが文字情報Wに重なるように撮像画像P10aが撮像されており、このバーコードBのデコードが成功すると、図16(B)に示すように、上記ステップS111の第1画像補正処理にてバーコードBに相当する範囲が白色の画像範囲に補正されるために、文字情報Wの一部が欠損してしまう。 In such a captured image, when at least part of the information code is superimposed on the character information and the decoding process is successful in the reading process performed by the control unit 21, it corresponds to the information code. Since the range is corrected to a monochromatic image range, there is a problem that part of the character information is lost. For example, as shown in FIG. 16A, the captured image P10a is captured such that the faintly blurred barcode B overlaps the character information W. If the barcode B is successfully decoded, the image shown in FIG. , part of the character information W is lost because the range corresponding to the barcode B is corrected to a white image range in the first image correction process in step S111.

そこで、本実施形態では、読み取られた情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差(情報コードの明度差)が所定の明暗差閾値以上となる場合に、撮像画像のうち、情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する。すなわち、上述のように裏面側の情報コードが薄くかすんだ状態で写り込んでしまうような撮像状態では、情報コードの明度差が上記所定の明暗差閾値未満となることで、情報コードに相当する範囲を補正対象外とする。 Therefore, in the present embodiment, when the difference in brightness (difference in brightness of the information code) in the captured image between the light-colored cells and the dark-colored cells that constitute the read information code is equal to or greater than a predetermined brightness difference threshold, the image is captured. The captured image is corrected so that the range corresponding to the information code in the image becomes a monochrome image range. That is, in an imaging state in which the information code on the back side is faintly blurred as described above, the difference in brightness of the information code is less than the predetermined light-dark difference threshold, so that it corresponds to the information code. Exclude the range from correction.

以下、本実施形態において、制御部21にてなされる読取処理について、図15に示すフローチャートを参照して詳述する。
上記第1実施形態と同様に、撮像画像の明暗分布に基づいて明暗判定閾値が設定され(図15のS103)、そのデコード処理が成功すると(S109でYes)、ステップS151に示す判定処理がなされる。この判定処理では、デコードに成功した情報コードを構成する明色系セルと暗色系セルとの撮像画像における明暗差(例えば、PCS(Print Contrast Signal)値)が求められて、この情報コードの明暗差が所定の明暗差閾値以上であるか否かについて判定される。
Hereinafter, the reading process performed by the control unit 21 in this embodiment will be described in detail with reference to the flowchart shown in FIG.
As in the first embodiment, the brightness determination threshold value is set based on the brightness distribution of the captured image (S103 in FIG. 15), and if the decoding process is successful (Yes in S109), the determination process shown in step S151 is performed. be. In this determination process, the difference in brightness (e.g., PCS (Print Contrast Signal) value) in the captured image between the bright-colored cells and the dark-colored cells that constitute the successfully decoded information code is obtained. A determination is made as to whether the difference is greater than or equal to a predetermined contrast threshold.

ここで、例えば、図4(A)に示すように、鮮明なバーコードBが撮像されていることから、情報コードの明度差が高くなって上記所定の明暗差閾値以上になると、ステップS151にてYesと判定されて、上記ステップS111以降の処理がなされる。 Here, for example, as shown in FIG. 4A, since a clear barcode B is imaged, if the difference in brightness of the information code increases and exceeds the predetermined brightness difference threshold value, the process proceeds to step S151. is determined to be Yes, and the processing from step S111 onward is performed.

一方、例えば、図16(A)に示すように、薄くかすむように不鮮明な状態でバーコードBが撮像されていることから、情報コードの明度差が低くなって上記所定の明暗差閾値未満になると、ステップS151にてNoと判定される。この場合には、上記ステップS111の第1画像補正処理がなされることなく、上記ステップS115の文字認識処理がなされる。すなわち、薄くかすむように不鮮明な状態で撮像されたバーコードBが補正対象外となる。 On the other hand, for example, as shown in FIG. 16(A), since the barcode B is imaged in a dimly blurred state, if the brightness difference of the information code becomes lower than the predetermined brightness difference threshold, , is determined as No in step S151. In this case, the character recognition process of step S115 is performed without performing the first image correction process of step S111. In other words, the barcode B that is imaged in a dimly blurred state is excluded from the correction target.

このように、本実施形態では、情報コードの明暗差が所定の明暗差閾値以上となる場合に、その情報コードに相当する範囲が補正対象となり、情報コードの明暗差が上記所定の明暗差閾値未満となる場合には、その情報コードに相当する範囲が補正対象とならなくなる。このため、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、画像補正に起因する文字情報の欠損等を防止することができる。 As described above, in the present embodiment, when the brightness difference of the information code is equal to or greater than the predetermined brightness difference threshold, the range corresponding to the information code is subject to correction, and the brightness difference of the information code reaches the predetermined brightness difference threshold. If it is less than that, the range corresponding to that information code will not be corrected. Therefore, even when an unintended information code is imaged so as to be superimposed on character information in a faintly blurred state, loss of character information due to image correction can be prevented.

なお、本実施形態の変形例として、情報コードの明暗差が上記所定の明暗差閾値未満となる場合には、撮像画像において情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正されてもよい。この場合には、図16(A)に例示する撮像画像P10aが撮像されていると、図16(C)に示す撮像画像P10cのように、撮像画像P10aのうち、バーコードBの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像が補正される。 As a modification of the present embodiment, when the brightness difference of the information code is less than the predetermined brightness difference threshold, the bright color system constituting the information code is selected from the range corresponding to the information code in the captured image. The captured image may be corrected so that the range having the same brightness as the cell and the range having the same brightness as the dark-colored cell are monochrome image ranges. In this case, if the captured image P10a illustrated in FIG. 16A is captured, the light color system of the barcode B in the captured image P10a is displayed as in the captured image P10c illustrated in FIG. 16C. The captured image is corrected so that the range having the same brightness as the cell and the range having the same brightness as the dark-colored cell become a monochromatic image range.

これにより、意図しない情報コードが薄くかすんだ状態で文字情報に重なるように撮像される場合であっても、鮮明な文字情報は補正されずに不鮮明でかすれた情報コードの部分のみが補正対象となるため、文字認識部による文字認識精度をより一層向上させることができる。 As a result, even if the unintended information code is imaged in a faintly blurred state so that it overlaps with the character information, the clear character information is not corrected, and only the unclear and blurry information code portion is subject to correction. Therefore, the accuracy of character recognition by the character recognition unit can be further improved.

なお、明度差が小さな情報コードを補正対象外とする本実施形態の特徴的構成や情報コードの明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように撮像画像を補正する変形例の特徴的構成は、他の実施形態等にも適用することができる。 Note that the characteristic configuration of the present embodiment, in which information codes with small lightness differences are excluded from the correction target, and the range in which the lightness is the same as that of the light-colored cells of the information code and the range in which the lightness is the same as that of the dark-colored cells are monochrome images. The characteristic configuration of the modified example in which the captured image is corrected so as to be within the range can also be applied to other embodiments.

[第5実施形態]
次に、第5実施形態に係る情報読取装置及びプログラムについて、図面を参照して説明する。
本第5実施形態では、情報コードのコード領域内に文字認識すべき文字情報が配置される点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Fifth embodiment]
Next, an information reading device and program according to the fifth embodiment will be described with reference to the drawings.
The fifth embodiment is mainly different from the first embodiment in that character information to be character-recognized is arranged in the code area of the information code. Therefore, the same reference numerals are assigned to substantially the same components as in the first embodiment, and the description thereof will be omitted.

文字認識すべき文字情報は、情報コードの近くに配置されることに限らず、複数の明色系セル及び暗色系セルを配列してなる情報コードのコード領域内に配置される場合がある。例えば、図17(A)に例示する撮像画像P11aの情報コードCのように、コード領域Ca内に明色系セル及び暗色系セルと異なる空き領域Cbが設けられて、この空き領域Cb内に文字情報Wが配置される場合がある。 The character information to be recognized is not limited to being arranged near the information code, but may be arranged within the code area of the information code formed by arranging a plurality of bright-colored cells and dark-colored cells. For example, like the information code C of the captured image P11a illustrated in FIG. Character information W may be arranged.

このように情報コードのコード領域内に配置される文字情報を撮像した場合、上記第1実施形態における読取処理では、デコードに成功した情報コードに相当する範囲が単色の画像範囲に補正されるため、コード領域内の文字情報も単色の画像範囲に補正されてしまうという問題がある。 When the character information arranged in the code area of the information code is imaged in this way, in the reading process in the first embodiment, the range corresponding to the successfully decoded information code is corrected to a monochrome image range. , the character information in the code area is also corrected to a monochrome image range.

そこで、本実施形態における読取処理では、ステップS111の第1画像補正処理において、空き領域を有する情報コードが読み取られている場合には、撮像画像のうち、コード領域に相当する範囲を補正対象から除外する。このため、例えば、空き領域を有する情報コードには、空き領域を有することを示す情報やコード領域に占める空き領域の範囲を示す情報等を読取可能に記録することで、読み取った情報コードが空き領域を有しているか否かや空き領域の範囲等を、情報読取装置10にて容易に把握することができる。 Therefore, in the reading process according to the present embodiment, in the first image correction process in step S111, when an information code having a blank area is read, the range corresponding to the code area is removed from the correction target in the captured image. exclude. For this reason, for example, in an information code having a vacant area, information indicating that the vacant area is present and information indicating the range of the vacant area occupied in the code area are recorded in a readable manner so that the read information code becomes empty. The information reader 10 can easily grasp whether or not there is an area, the range of the empty area, and the like.

これにより、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が情報コードとともに単色の画像範囲となるように補正されてしまうことを防止することができる。 As a result, when character information to be character-recognized is arranged in the empty area, it is possible to prevent the character information from being corrected so as to become a monochromatic image range together with the information code.

本実施形態の変形例として、空き領域を有する情報コードが読み取られる場合には、ステップS111の第1画像補正処理において、撮像画像のうち、コード領域から空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像が補正されてもよい。この場合には、図17(A)に例示する撮像画像P11aが撮像されていると、図17(B)に示す撮像画像P11bのように、撮像画像P11aのうち、コード領域Caから空き領域Cbを除いた範囲が単色の画像範囲となるように当該撮像画像が補正される。 As a modification of the present embodiment, when an information code having a blank area is read, in the first image correction process in step S111, the range of the captured image excluding the blank area from the code area is a monochrome image range. The captured image may be corrected such that In this case, when the captured image P11a illustrated in FIG. 17A is captured, the code area Ca to the empty area Cb in the captured image P11a are separated from each other like the captured image P11b illustrated in FIG. 17B. The captured image is corrected so that the range excluding is a monochrome image range.

このようにしても、空き領域内に文字認識すべき文字情報が配置される場合には、その文字情報が単色の画像範囲となるように補正されてしまうことを防止することができる。特に、コード領域から空き領域を除いた範囲が単色の画像範囲となるように補正されるため、文字認識すべき文字情報の周囲が単色の画像範囲となるので(図17(B)参照)、文字認識部による文字認識精度をより一層向上させることができる。 Even in this way, when character information to be character-recognized is arranged in the empty area, it is possible to prevent the character information from being corrected so as to become a monochromatic image range. In particular, since the range excluding the blank area from the code area is corrected to be a monochrome image range, the periphery of the character information to be recognized becomes a monochrome image range (see FIG. 17B). Character recognition accuracy by the character recognition unit can be further improved.

なお、空き領域を有する情報コードを読み取った際にコード領域に相当する範囲を補正対象から除外する本実施形態の特徴的構成や空き領域を有する情報コードを読み取った際にコード領域から空き領域を除いた範囲が単色の画像範囲となるように撮像画像を補正する変形例の特徴的構成は、他の実施形態等にも適用することができる。 In addition, when an information code having an empty area is read, the range corresponding to the code area is excluded from the correction target, and when an information code having an empty area is read, an empty area is removed from the code area. The characteristic configuration of the modified example in which the captured image is corrected so that the excluded range becomes a monochromatic image range can also be applied to other embodiments.

なお、本発明は上記各実施形態及び変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)本発明は、情報コードのうちバーコードのみを読取対象とする情報読取装置に適用されてもよい。この場合、上記読取処理におけるデコード処理では、バーコードのみをデコード対象とすることに限らず、他のコード種別の一次元コードをデコード対象としてもよい。一次元コードのデコードに要する時間は、二次元コードに対して短くなるため、全てのコード種別の一次元コードについてデコード処理を行っても、本読取処理に関して読取時間に与える影響が少ないからである。
It should be noted that the present invention is not limited to the above embodiments and modifications, and may be embodied as follows, for example.
(1) The present invention may be applied to an information reader that reads only bar codes among information codes. In this case, the decoding process in the reading process is not limited to decoding only barcodes, and one-dimensional codes of other code types may be decoded. This is because the time required to decode a one-dimensional code is shorter than that of a two-dimensional code, so even if the one-dimensional code of all code types is decoded, the reading time of the main reading process is less affected. .

(2)上記読取処理では、文字認識処理の認識結果にかかわらず、デコード処理のデコード結果を利用した処理を行ってもよい。 (2) In the reading process, the decoding result of the decoding process may be used regardless of the recognition result of the character recognition process.

(3)本発明は、スマートフォンなどの携帯型の情報処理端末に対して上記読取アプリがインストールされることで構成される情報読取装置に適用されることに限らず、例えば、RFタグ等の無線タグを読み書き可能な無線タグ処理機能などの他の機能を有する携帯端末に対して上記読取アプリ等がインストールされることで構成される情報読取装置に適用されてもよいし、据え置き型の情報読取装置に適用されてもよい。 (3) The present invention is not limited to being applied to an information reading device configured by installing the reading application in a portable information processing terminal such as a smartphone. It may be applied to an information reading device configured by installing the reading application or the like in a mobile terminal having other functions such as a wireless tag processing function capable of reading and writing tags, or a stationary information reading device. Apparatus may be applied.

10…情報読取装置
21…制御部(情報コード読取部,文字認識部,コード判定部,明暗反転判定部,検出部)
23…撮像部
B…バーコード(情報コード)
F1…セル配列方向
F2…文字配列方向
W…文字情報
10... Information reading device 21... Control unit (information code reading unit, character recognition unit, code determination unit, light/dark reversal determination unit, detection unit)
23... Imaging unit B... Bar code (information code)
F1... Cell arrangement direction F2... Character arrangement direction W... Character information

Claims (10)

撮像部と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部と、
を備える情報読取装置であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部と、
前記情報コード読取部により読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定部と、
を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い
前記情報コード読取部は、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理を行い、
前記画像補正部は、
前記情報コード読取部により読み取られた情報コードが前記反転コードであると前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正し、
前記情報コード読取部により読み取られた情報コードが前記反転コードでないと前記明暗反転判定部により判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像を補正し、
前記明暗反転判定部により前記情報コード読取部により読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像を補正することを特徴とする情報読取装置。
an imaging unit;
an information code reading unit that performs a decoding process for reading the information code from the captured image in which the information code is captured by the imaging unit;
a character recognition unit that performs character recognition processing for reading the character information from an image obtained by capturing the character information by the imaging unit;
An information reader comprising
an image correction unit that corrects the captured image so that, when the information code is read by the information code reading unit, a range corresponding to the information code in the captured image becomes a monochrome image range ;
a light/dark reversal determination unit that determines whether or not the information code read by the information code reading unit is a reversed code obtained by reversing the light/darkness of a light-colored cell and a dark-colored cell;
with
When the captured image is corrected by the image correction unit, the character recognition unit performs the character recognition process on the corrected captured image ,
The information code reading unit classifies the cells into light-colored cells and dark-colored cells based on a predetermined brightness determination threshold value, and performs the decoding process,
The image correction unit
When the information code read by the information code reading unit is determined to be the inverted code by the light/dark reversal determining unit, the range corresponding to the information code in the captured image and the predetermined light/dark determination threshold value correcting the captured image so that the range where the brightness is low and the range of dark monochromatic images,
When the light/dark reversal determination unit determines that the information code read by the information code reading unit is not the reversed code, the range corresponding to the information code in the captured image is larger than the predetermined light/dark determination threshold value. Correcting the captured image so that the range where the brightness is high and the image range of a single light color system,
When the information code read by the information code reading unit is determined by the light/dark reversal determination unit to be the reverse code, the imaged image partially corrected to the dark monochromatic image range is When the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is higher than the predetermined light/dark determination threshold in the captured image before correction become a single-color image in a bright color system. Correct the captured image so that it is within the range,
By determining that the information code read by the information code reading unit is not the reversed code by the light/darkness reversal determining unit, the imaged image partially corrected to the single color image range of the bright color system. If the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is lower than the predetermined light/dark judgment threshold in the picked-up image before correction are dark monochromatic image ranges. An information reading device characterized by correcting the captured image so that
撮像部と、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取部と、
前記撮像部により文字情報が撮像された撮像画像に対して前記文字情報を読み取るための文字認識処理を行う文字認識部と、
を備える情報読取装置であって、
前記情報コード読取部により前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正部を備え、
前記文字認識部は、前記画像補正部により前記撮像画像が補正されると、当該補正された撮像画像に対して、前記文字認識処理を行い
前記画像補正部は、前記情報コード読取部により前記情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの前記撮像画像における明暗差が所定の明暗差閾値以上となる場合に、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする情報読取装置。
an imaging unit;
an information code reading unit that performs a decoding process for reading the information code from the captured image in which the information code is captured by the imaging unit;
a character recognition unit that performs character recognition processing for reading the character information from an image obtained by capturing the character information by the imaging unit;
An information reader comprising
an image correction unit that corrects the captured image so that, when the information code is read by the information code reading unit, a range corresponding to the information code in the captured image becomes a monochrome image range;
When the captured image is corrected by the image correction unit, the character recognition unit performs the character recognition process on the corrected captured image ,
When the information code is read by the information code reading unit, the image correcting unit determines that the brightness difference in the captured image between the bright color cells and the dark color cells constituting the information code is equal to or greater than a predetermined brightness difference threshold. In such a case, the information reading apparatus corrects the captured image so that the range corresponding to the information code in the captured image becomes a monochromatic image range.
前記デコード処理が失敗した前記撮像画像について前記情報コードの一部が撮像されているか否かについて判定するコード判定部を備え、
前記画像補正部は、前記コード判定部により前記情報コードの一部が撮像されていると判定されると、前記撮像画像のうち前記情報コードの一部に相当する範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項1又は2に記載の情報読取装置。
A code determination unit that determines whether or not part of the information code is captured for the captured image for which the decoding process has failed,
When the code determination unit determines that part of the information code is imaged, the image correction unit sets a range corresponding to the part of the information code in the captured image to a monochrome image range. 3. The information reading apparatus according to claim 1, wherein the captured image is corrected as follows.
前記情報コードは、三隅にファインダパターンが配置されるとともに前記ファインダパターン間に2つのタイミングパターンが配置されるQRコードであり、
前記コード判定部は、3つの前記ファインダパターンの少なくとも1つと前記タイミングパターンの一部が撮像されることで、前記情報コードの一部が撮像されていると判定することを特徴とする請求項3に記載の情報読取装置。
The information code is a QR code in which finder patterns are arranged at three corners and two timing patterns are arranged between the finder patterns,
3. The code determination unit determines that a part of the information code is captured by capturing an image of at least one of the three finder patterns and a part of the timing pattern. The information reader according to .
前記情報コードのセル配列方向を検出する検出部を備え、
前記文字認識部は、前記検出部により検出されたセル配列方向を基準に前記撮像画像に対して前記文字認識処理を行うことを特徴とする請求項1~4のいずれか一項に記載の情報読取装置。
A detection unit that detects the cell arrangement direction of the information code,
The information according to any one of claims 1 to 4, wherein the character recognition section performs the character recognition processing on the captured image based on the cell arrangement direction detected by the detection section. reader.
前記画像補正部は、前記情報コード読取部により前記情報コードが読み取られると、前記明暗差が前記所定の明暗差閾値未満となる場合には、前記撮像画像において前記情報コードに相当する範囲のうち、当該情報コードを構成する明色系セルと同じ明度になる範囲と暗色系セルと同じ明度になる範囲とが単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項2に記載の情報読取装置。 When the information code is read by the information code reading unit, the image correcting unit determines if the light-dark difference is less than the predetermined light-dark difference threshold value, out of the range corresponding to the information code in the captured image. , correcting the captured image so that a range having the same brightness as the light-colored cells constituting the information code and a range having the same brightness as the dark-colored cells constitute a monochrome image range. 3. The information reading device according to 2. 前記情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に前記明色系セル及び前記暗色系セルと異なる空き領域を有し、
前記画像補正部は、前記情報コード読取部により前記空き領域を有する前記情報コードが読み取られる場合には、前記撮像画像のうち、前記コード領域に相当する範囲を補正対象から除外することを特徴とする請求項1~6のいずれか一項に記載の情報読取装置。
The information code has an empty area different from the light-colored cells and the dark-colored cells in a code area in which a plurality of bright-colored cells and dark-colored cells are arranged,
When the information code having the empty area is read by the information code reading unit, the image correcting unit excludes a range corresponding to the code area in the captured image from correction targets. The information reader according to any one of claims 1 to 6.
前記情報コードは、複数の明色系セル及び暗色系セルを配列してなるコード領域内に前記明色系セル及び前記暗色系セルと異なる空き領域を有し、
前記画像補正部は、前記情報コード読取部により前記空き領域を有する前記情報コードが読み取られる場合には、前記撮像画像のうち、前記コード領域から前記空き領域を除いた範囲が単色の画像範囲となるように当該撮像画像を補正することを特徴とする請求項1~6のいずれか一項に記載の情報読取装置。
The information code has an empty area different from the light-colored cells and the dark-colored cells in a code area in which a plurality of bright-colored cells and dark-colored cells are arranged,
When the information code having the empty area is read by the information code reading unit, the image correcting unit determines that a range obtained by removing the empty area from the code area in the captured image is a monochrome image range. 7. The information reader according to any one of claims 1 to 6, wherein the captured image is corrected so that
撮像部を備えた情報読取装置に、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取ステップと、
前記情報コード読取ステップにより前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップと、
前記画像補正ステップにより前記撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップと、
前記情報コード読取ステップにより読み取られた情報コードが明色系セルと暗色系セルとの明暗を反転させた反転コードであるか否かについて判定する明暗反転判定ステップと
を実行させるプログラムであって、
前記情報コード読取ステップでは、所定の明暗判定閾値を基準に明色系セルと暗色系セルとに区分けして前記デコード処理が行われ、
前記画像補正ステップでは、
前記情報コード読取ステップにより読み取られた情報コードが前記反転コードであると前記明暗反転判定ステップにより判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正され、
前記情報コード読取ステップにより読み取られた情報コードが前記反転コードでないと前記明暗反転判定ステップにより判定されると、前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正され、
前記明暗反転判定ステップにより前記情報コード読取ステップにより読み取られた情報コードが前記反転コードであると判定されることで、一部が前記暗色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が高くなる範囲とが明色系の単色の画像範囲となるように当該撮像画像が補正され、
前記明暗反転判定ステップにより前記情報コード読取ステップにより読み取られた情報コードが前記反転コードでないと判定されることで、一部が前記明色系の単色の画像範囲に補正された前記撮像画像に対して行った前記文字認識処理が失敗すると、補正前の前記撮像画像のうち、前記情報コードに相当する範囲と前記所定の明暗判定閾値よりも明度が低くなる範囲とが暗色系の単色の画像範囲となるように当該撮像画像が補正されることを特徴とするプログラム。
An information reader equipped with an imaging unit,
an information code reading step of performing a decoding process for reading the information code from the captured image in which the information code is captured by the imaging unit;
an image correction step of correcting the captured image so that, when the information code is read by the information code reading step, a range corresponding to the information code in the captured image becomes a monochrome image range;
a character recognition step of, when the captured image is corrected by the image correction step, performing a character recognition process for reading character information from the corrected captured image;
a light/dark reversal determining step for determining whether or not the information code read by the information code reading step is a reversed code obtained by reversing the light/darkness of a light-colored cell and a dark-colored cell;
A program that executes
In the information code reading step, the decoding process is performed by classifying the cells into light-colored cells and dark-colored cells based on a predetermined brightness determination threshold,
In the image correction step,
If the information code read by the information code reading step is determined to be the inverted code by the light/dark reversal determining step, the range corresponding to the information code in the captured image and the predetermined light/dark determination threshold value The captured image is corrected so that the range in which the brightness is low and the range in which the brightness is low is a dark monochromatic image range,
When it is determined by the light/dark reversal determination step that the information code read by the information code reading step is not the reverse code, the range corresponding to the information code in the captured image and the predetermined light/dark determination threshold The captured image is corrected so that the range in which the brightness is high and the range in which the brightness is high is a bright monochrome image range,
By determining that the information code read by the information code reading step is the reversed code by the light/darkness reversal determination step, the captured image partially corrected to the dark monochromatic image range When the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is higher than the predetermined light/dark determination threshold in the captured image before correction become a single-color image in a bright color system. The captured image is corrected so as to be within the range,
By determining that the information code read by the information code reading step is not the reversed code by the light/darkness reversal determination step, the imaged image partially corrected to the single color image range of the bright color system. If the performed character recognition processing fails, the range corresponding to the information code and the range in which the brightness is lower than the predetermined light/dark judgment threshold in the picked-up image before correction are dark monochromatic image ranges. A program characterized in that the captured image is corrected such that
撮像部を備えた情報読取装置に、
前記撮像部により情報コードが撮像された撮像画像に対して前記情報コードを読み取るためのデコード処理を行う情報コード読取ステップと、
前記情報コード読取ステップにより前記情報コードが読み取られると、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像を補正する画像補正ステップと、
前記画像補正ステップにより前記撮像画像が補正されると、当該補正された撮像画像に対して、文字情報を読み取るための文字認識処理を行う文字認識ステップと、
を実行させるプログラムであって、
前記画像補正ステップでは、前記情報コード読取ステップにより前記情報コードが読み取られると、当該情報コードを構成する明色系セルと暗色系セルとの前記撮像画像における明暗差が所定の明暗差閾値以上となる場合に、前記撮像画像のうち前記情報コードに相当する範囲が単色の画像範囲となるように当該撮像画像が補正されることを特徴とするプログラム。
An information reader equipped with an imaging unit,
an information code reading step of performing a decoding process for reading the information code from the captured image in which the information code is captured by the imaging unit;
an image correction step of correcting the captured image so that, when the information code is read by the information code reading step, a range corresponding to the information code in the captured image becomes a monochrome image range;
a character recognition step of, when the captured image is corrected by the image correction step, performing a character recognition process for reading character information from the corrected captured image;
A program that executes
In the image correcting step, when the information code is read in the information code reading step, the brightness difference in the captured image between the light-colored cells and the dark-colored cells constituting the information code is determined to be equal to or greater than a predetermined brightness difference threshold. A program , wherein the captured image is corrected such that a range corresponding to the information code in the captured image becomes a monochromatic image range when the captured image becomes a single color.
JP2019158524A 2019-03-22 2019-08-30 Information reader and program Active JP7283312B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019054173 2019-03-22
JP2019054173 2019-03-22

Publications (2)

Publication Number Publication Date
JP2020161106A JP2020161106A (en) 2020-10-01
JP7283312B2 true JP7283312B2 (en) 2023-05-30

Family

ID=72639572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019158524A Active JP7283312B2 (en) 2019-03-22 2019-08-30 Information reader and program

Country Status (1)

Country Link
JP (1) JP7283312B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066000A (en) 2005-08-31 2007-03-15 Denso Wave Inc Personal digital assistance and image processing method
JP2013138757A (en) 2011-12-29 2013-07-18 Konami Digital Entertainment Co Ltd Code pattern recording device, gaming apparatus applied with the same, control method used for the same, and computer program
JP2014056382A (en) 2012-09-12 2014-03-27 Mitsubishi Electric Corp Two-dimensional code reader and two-dimensional code reading method
JP2015099512A (en) 2013-11-19 2015-05-28 株式会社デンソーウェーブ Information code reading device, and information code utilization system
JP2015176282A (en) 2014-03-14 2015-10-05 オムロン株式会社 Image processing method, image processor, program for executing the same method, and recording medium for recording the same program
JP2016089292A (en) 2014-10-31 2016-05-23 株式会社デンソーウェーブ Information code medium manufacturing method and information code medium
JP2016148925A (en) 2015-02-10 2016-08-18 富士通株式会社 Two-dimensional code reading apparatus and method
JP2017091484A (en) 2015-11-17 2017-05-25 富士通株式会社 Symbol detection device, image processing device, and symbol detection method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066000A (en) 2005-08-31 2007-03-15 Denso Wave Inc Personal digital assistance and image processing method
JP2013138757A (en) 2011-12-29 2013-07-18 Konami Digital Entertainment Co Ltd Code pattern recording device, gaming apparatus applied with the same, control method used for the same, and computer program
JP2014056382A (en) 2012-09-12 2014-03-27 Mitsubishi Electric Corp Two-dimensional code reader and two-dimensional code reading method
JP2015099512A (en) 2013-11-19 2015-05-28 株式会社デンソーウェーブ Information code reading device, and information code utilization system
JP2015176282A (en) 2014-03-14 2015-10-05 オムロン株式会社 Image processing method, image processor, program for executing the same method, and recording medium for recording the same program
JP2016089292A (en) 2014-10-31 2016-05-23 株式会社デンソーウェーブ Information code medium manufacturing method and information code medium
JP2016148925A (en) 2015-02-10 2016-08-18 富士通株式会社 Two-dimensional code reading apparatus and method
JP2017091484A (en) 2015-11-17 2017-05-25 富士通株式会社 Symbol detection device, image processing device, and symbol detection method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Qiyue Yu,N.N.を用いた生産情報読み取りシステムの開発,第74回(平成24年)全国大会講演論文集(2) 人工知能と認知科学,日本,一般社団法人情報処理学会,2012年03月06日,p.2-239-p.2-240

Also Published As

Publication number Publication date
JP2020161106A (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US11455482B2 (en) Systems and methods for decoding two-dimensional matrix symbols with incomplete or absent fixed patterns
US20230401399A1 (en) Hybrid system and method for reading indicia
US7636483B2 (en) Code type determining method and code boundary detecting method
EP1909215B1 (en) Image region detection method, recording medium, and device therefor
EP3486839B1 (en) Two-dimensional-code analysis system
JP7263423B2 (en) Improved matrix symbol error fix
US20190377918A1 (en) Barcode Detection Method and Barcode Detection System for Increasing Detection Efficiency by Using Gray Level Flip Counts
US10936837B1 (en) 2D barcode overlays
JP2007081458A (en) Image processing apparatus and control method of image processing apparatus
JP4335229B2 (en) QR code recognition device, QR code recognition device control method, QR code recognition device control program, and computer-readable recording medium recording the same
JP7283312B2 (en) Information reader and program
JP5720623B2 (en) Two-dimensional code reader
KR101259004B1 (en) calibration device for Deformation of QR-code using camera and thereof.
JP4103909B2 (en) Portable information terminal and image processing method
US20220230186A1 (en) System for determining authenticity of security labels
JP4874706B2 (en) QR code reader
JP2020160961A (en) Two-dimensional code reading device, computer program, and two-dimensional code
JP7415399B2 (en) Information code, information code medium, information code generation method, and information code reading device
CN114444531A (en) Method and system for collecting data for training Machine Learning (ML) models
JP2007334478A (en) Image processor and image processing method
JP4905767B2 (en) Two-dimensional code detection system and two-dimensional code detection program
US20210303810A1 (en) Information code reading system, information code reader, and information code
JP2017084262A (en) Code reader
JP2004241827A (en) Image processing apparatus, image processing method, image processing program, and storage medium
JP5871116B2 (en) Image processing apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230501

R150 Certificate of patent or registration of utility model

Ref document number: 7283312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150