JP2023505663A - 文字分割方法、装置、および、コンピュータ可読記憶媒体 - Google Patents

文字分割方法、装置、および、コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2023505663A
JP2023505663A JP2022533643A JP2022533643A JP2023505663A JP 2023505663 A JP2023505663 A JP 2023505663A JP 2022533643 A JP2022533643 A JP 2022533643A JP 2022533643 A JP2022533643 A JP 2022533643A JP 2023505663 A JP2023505663 A JP 2023505663A
Authority
JP
Japan
Prior art keywords
character
image
grayscale image
edge
positioning block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022533643A
Other languages
English (en)
Other versions
JP7508556B2 (ja
Inventor
霍成海
張楠▲ゲン▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canaan Bright Sight Co Ltd
Original Assignee
Canaan Bright Sight Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201911233988.5A external-priority patent/CN111046862B/zh
Priority claimed from CN201911234826.3A external-priority patent/CN111027546B/zh
Application filed by Canaan Bright Sight Co Ltd filed Critical Canaan Bright Sight Co Ltd
Publication of JP2023505663A publication Critical patent/JP2023505663A/ja
Priority to JP2024018589A priority Critical patent/JP2024050880A/ja
Application granted granted Critical
Publication of JP7508556B2 publication Critical patent/JP7508556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/182Extraction of features or characteristics of the image by coding the contour of the pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、文字分割方法、装置、および、コンピュータ可読記憶媒体を提供する。文字分割方法の一態様では、文字領域画像を階調画像に変換するステップ(ステップ101)、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するステップ(ステップ102)、投影法により、エッジ二値画像から、文字枠分割ブロックを取得するステップ(ステップ103)、および、輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うステップ(ステップ104)を含む。文字分割方法の別の一態様では、文字領域画像を階調画像に変換するステップ(ステップ701)、ファジィC-平均クラスタリングアルゴリズムにより、階調画像に対してクラスタ分析を行うとともに、クラスタ分析の結果から、階調画像に対して二値化処理を行うステップ(ステップ702)、投影法により、二値画像から、文字位置決めブロックを取得するステップ(ステップ703)、および、文字位置決めブロックの位置情報に基づき、文字領域画像に対して文字分割を行うステップ(ステップ704)、を含む。これらの方法及び装置によれば、質が低い画像に対しても文字分割を行うことができる。

Description

本発明は、デジタル画像処理の技術分野に属するものであり、具体的に、文字分割方法、装置、および、コンピュータ可読記憶媒体に関する。
本部分は、特許請求の範囲に記載の本発明の実施形態のために、背景又は上下文を提供することを意図したものである。ここでの記載は、本部分に含まれることが原因で従来技術として認められるものではない。
現在、新型電子系メーターは既に幅広く応用されているが、工業環境下では、中断されることを許容しない生産環境において、新型電子系メーターへの交換ができないため、従来型の数字系メーターが依然として、多く使用されている。上記場合に対して、従来型メーターにカメラを取り付けることで、画像の収集後、遠隔メーター読み取りを行うという汎用的な解決手段が挙げられる。ここで、文字分割機能は、遠隔メーター読み取りシステムのベースとコアとして、システムの良し悪し判断の決め手となる。
従来の文字分割方法では、メーターの文字領域画像を二値化処理した後、投影の方式により、分割された文字を取得することが一般的である。ここで、二値化の方法として、通常、1、エッジ検出法、2、ヒストグラム閾値法、3、クラスタ技術が挙げられる。
発明者は、上記方案を実現する過程では、以下の技術的課題を見出した。
実際な生産環境において、ダイヤルには、錆、汚れ、光反射等の問題が発生して、図2に示すような画像を収集してしまう場合がある。さらに、文字分割を行う際、上記エッジ検出法が用いられると、(より完全な文字エッジを取得することができるように)緩いパラメータ設定を選択すれば、汚れ又は光反射などの要素に起因した偽エッジが多く混入されるようになるが、一方、厳しいパラメータ設定の場合、目標文字のエッジ情報が失われてしまう可能性が非常に高い。また、上記他の2種類の方法が用いられると、深刻な文字固着問題が起こる。以上により、文字分割の効果に対して直接に影響を与え、さらに、後続の文字識別の精度に対しても影響を及ぼすこととなる。
上述したように、従来技術では、質がよくない画像に対する文字分割の実行が困難であったという問題に対し、文字分割方法、装置、及び、コンピュータ可読記憶媒体を提案しており、このような方法及び装置によって、上記問題を解決することが可能である。
本発明では、以下の方案が提供される。
第1の態様では、少なくとも1つの文字枠を含む文字領域画像を取得するとともに、文字領域画像を階調画像に変換するステップ、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するステップ、投影法により、エッジ二値画像から、文字枠分割ブロックを取得するステップ、および、輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うステップを含む、文字分割方法を提供する。
好ましくは、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換する前に、階調画像をフィルタリング処理するステップをさらに含み、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。
好ましくは、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するステップは、canny演算子を用いて、階調画像に対してエッジ検出を行うとともに、エッジ検出の結果から、階調画像をエッジ二値画像に変換するステップを含む。
好ましくは、canny演算子を用いて、階調画像に対してエッジ検出を行う前に、階調画像の画質特徴を検出するステップ、および、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するステップをさらに含み、画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む。
好ましくは、投影法により、エッジ二値画像から、文字枠分割ブロックを取得するステップは、垂直投影法により、エッジ二値画像に対して分割処理を行うことで、少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの文字枠分割ブロックを取得するステップを含む。
好ましくは、輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するステップは、輪郭検出アルゴリズムにより、文字枠分割ブロックにおける文字輪郭を特定するステップ、および、文字枠分割ブロックにおける文字輪郭の最小外接矩形領域により、目標文字領域を特定するステップを含む。
第2の態様では、少なくとも1つの文字枠を含む文字領域画像を取得するとともに、文字領域画像を階調画像に変換するための取得モジュールと、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するためのエッジ検出モジュールと、投影法により、エッジ二値画像から、文字枠分割ブロックを取得するための投影モジュールと、輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うための輪郭検出モジュールと、を備えた文字分割装置を提供する。
好ましくは、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換する前に、階調画像をフィルタリング処理するためのフィルタリングモジュールをさらに備え、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。
好ましくは、エッジ検出モジュールは、canny演算子を用いて、階調画像に対してエッジ検出を行うとともに、エッジ検出の結果から、階調画像をエッジ二値画像に変換するためのものでもある。
好ましくは、エッジ検出モジュールは、階調画像の画質特徴を検出し、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するためのものでもあり、画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む。
好ましくは、投影モジュールは、垂直投影法により、エッジ二値画像に対して分割処理を行うことで、少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの文字枠分割ブロックを取得するためのものでもある。
好ましくは、輪郭検出モジュールは、輪郭検出アルゴリズムにより、文字枠分割ブロックにおける文字輪郭を特定し、文字枠分割ブロックにおける文字輪郭の最小外接矩形領域により、目標文字領域を特定するためのものでもある。
第3の態様では、ダイヤルには、読値を表示するための少なくとも1つの文字枠が含まれるメーターと、メーターのダイヤルを撮影して文字領域画像を取得するための撮像装置と、撮像装置に電気的に接続され、請求項1~7のいずれか1項に記載の方法を実行するための文字分割装置と、を備えた、スマートメーター読み取りシステムをさらに提供する。
第4の態様では、1つまたは複数のマルチコアプロセッサと、1つまたは複数のプログラムを記憶するためのメモリと、を含み、1つまたは複数のプログラムが1つまたは複数のマルチコアプロセッサによって実行されると、少なくとも1つの文字枠を含む文字領域画像を取得するとともに、文字領域画像を階調画像に変換するステップ、エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するステップ、投影法により、エッジ二値画像から、文字枠分割ブロックを取得するステップ、および、輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うステップ、を1つまたは複数のマルチコアプロセッサに実現させる、文字分割装置をさらに提供する。
第5の態様では、プログラムが記憶されており、プログラムがマルチコアプロセッサによって実行されると、上記方法をマルチコアプロセッサに実行させる、コンピュータ可読記憶媒体をさらに提供する。
本願の実施例に用いられる上記第1~第5の態様に記載の少なくとも1つの技術案によれば、以下のような有益な効果が得られる。本発明における文字分割案では、エッジ検出アルゴリズムを輪郭検出アルゴリズムと組み合わせて、文字領域画像に対して複数回の検出を行うことで、質が低い画像に対しても文字分割を行うことができ、文字分割過程における分割限度を確定しにくい問題を回避した。
第6の態様では、文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するステップ、ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行って二値画像を取得するステップ、投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得するステップ、および、前記文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行うステップ、を含む、文字分割方法を提供する。
好ましくは、ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行う前に、canny演算子を用いて、前記階調画像に対してエッジ検出を行って、エッジ画像を取得するステップ、ハフ変換方程式により、前記エッジ画像に対して直線検出を行って、前記エッジ画像の境界線を取得するステップ、および、前記境界線から、前記階調画像の境界部分を除去するステップをさらに含む。
好ましくは、canny演算子を用いて、前記階調画像に対してエッジ検出を行う前に、前記階調画像の画質特徴を検出するステップ、および、前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するステップをさらに含み、前記画質特徴は、大局コントラスト及び/又は大局階調平均値を含む。
好ましくは、canny演算子を用いて、前記階調画像に対してエッジ検出を行う前に、前記方法は、前記階調画像をフィルタリング処理するステップをさらに含み、前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理を含む。
好ましくは、ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行う前に、前記階調画像に対して対数変換を行うステップをさらに含む。
好ましくは、ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行うステップは、前記ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像をクラスタリングして、C個のクラスタを取得するステップ、前記C個のクラスタのクラスタセンターから、前記C個のクラスタの属性をそれぞれ、特定するステップ、前記階調画像の任意1つの画素点の、前記C個のクラスタの各々に対応するC個のメンバーシップを特定するステップ、前記メンバーシップに応じて前記C個のクラスタを整列して、その中のN個のクラスタを特定するとともに、前記N個のクラスタの属性に応じて、前記階調画像の任意1つの画素点の属性を特定するステップ、および、前記階調画像の任意1つの画素点の属性に応じて、前記階調画像に対して二値化処理を行うステップ、を含み、ただし、前記C、前記Nが正の整数であり、且つ、前記Cが前記Nよりも大きい。
好ましくは、投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得した後、前記方法は、前記少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出するステップ、および、前記前景画素面積に基づき、前記少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、前記少なくとも1つの文字位置決めブロックから、前記干渉ブロックを除去するステップを含み、前記干渉ブロックの前記前景画素面積は、少なくとも、前記少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前記前景画素面積よりも小さく、ただし、前記Mが予め設定された文字の数である。
好ましくは、垂直投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得した後、前記方法は、非最近傍抑制アルゴリズムにより、前記少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するステップを含む。
好ましくは、前記少なくとも1つの文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行うステップは、前記少なくとも1つの文字位置決めブロックの平均幅を特定するステップ、および、前記少なくとも1つの文字位置決めブロックにおいて、幅が前記平均幅よりも小さい目標文字位置決めブロックがあれば、前記目標文字位置決めブロックの位置情報と前記平均幅とに基づき、前記文字領域画像に対して文字分割を行うステップを含む。
第7の態様では、文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するための取得モジュールと、ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行って二値画像を取得するためのクラスタリングモジュールと、投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得するための位置決めモジュールと、前記少なくとも1つの文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行うための分割モジュールと、を備えた文字分割装置を提供する。
好ましくは、canny演算子を用いて、前記階調画像に対してエッジ検出を行って、エッジ画像を取得するためのエッジ検出モジュールと、ハフ変換方程式により、前記エッジ画像に対して直線検出を行って、前記エッジ画像の境界線を取得するための直線検出モジュールと、前記境界線から、前記階調画像の境界部分を除去するための境界除去モジュールと、をさらに備えた。
好ましくは、前記エッジ検出モジュールは、前記階調画像の画質特徴を検出するための画質検出モジュールと、前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するためのパラメータ調整モジュールと、をさらに備え、前記画質特徴は、少なくとも、大局コントラスト及び/又は大局階調平均値を含む。
好ましくは、前記装置は、前記階調画像をフィルタリング処理するためのフィルタリングモジュールをさらに備え、前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理を含む。
好ましくは、前記階調画像に対して対数変換を行うための対数変換モジュールをさらに備えた。
好ましくは、前記クラスタリングモジュールは、前記ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像をクラスタリングして、C個のクラスタを取得し、前記C個のクラスタのクラスタセンターから、前記C個のクラスタの属性をそれぞれ、特定し、前記階調画像の任意1つの画素点の、前記C個のクラスタの各々に対応するC個のメンバーシップを特定し、前記メンバーシップに応じて前記C個のクラスタを整列して、その中のN個のクラスタを特定するとともに、前記N個のクラスタの属性に応じて、前記階調画像の任意1つの画素点の属性を特定し、前記階調画像の任意1つの画素点の属性に応じて、前記階調画像に対して二値化処理を行うためのものでもあり、ただし、前記C、前記Nが正の整数であり、且つ、前記Cが前記Nよりも大きい。
好ましくは、前記装置は、前記少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出し、前記前景画素面積に基づき、前記少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、前記少なくとも1つの文字位置決めブロックから、前記干渉ブロックを除去するための第1の除去モジュールを備え、前記干渉ブロックの前記前景画素面積は、少なくとも、前記少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前記前景画素面積よりも小さく、ただし、前記Mが予め設定された文字の数である。
好ましくは、非最近傍抑制アルゴリズムにより、前記少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するための第2の除去モジュールを備えた。
好ましくは、前記分割モジュールは、前記少なくとも1つの文字位置決めブロックの平均幅を特定し、前記少なくとも1つの文字位置決めブロックにおいて、幅が前記平均幅よりも小さい目標文字位置決めブロックがあれば、前記目標文字位置決めブロックの位置情報と前記平均幅とに基づき、前記文字領域画像に対して文字分割を行うためのものでもある。
第8の態様では、1つまたは複数のマルチコアプロセッサと、1つまたは複数のプログラムを記憶するためのメモリと、を含み、前記1つまたは複数のプログラムが前記1つまたは複数のマルチコアプロセッサによって実行されると、文字分割方法の別の一態様では、文字領域画像を階調画像に変換するステップ、ファジィC-平均クラスタリングアルゴリズムにより、階調画像に対してクラスタ分析を行うとともに、クラスタ分析の結果から、階調画像に対して二値化処理を行うステップ、投影法により、二値画像から、文字位置決めブロックを取得するステップ、および、文字位置決めブロックの位置情報に基づき、文字領域画像に対して文字分割を行うステップを前記1つまたは複数のマルチコアプロセッサに実現させる文字分割装置を提供する。
第9の態様では、プログラムが記憶されており、前記プログラムがマルチコアプロセッサによって実行されると、上記方法を前記マルチコアプロセッサに実行させる、コンピュータ可読記憶媒体を提供する。
第10の態様では、ダイヤルに文字を表示するためのメーターと、メーターのダイヤルを撮影して文字領域画像を取得するための撮像装置と、撮像装置に電気的に接続され、上記第6の態様に記載の方法を実行するための文字分割装置と、を備えた、スマートメーター読み取りシステムをさらに提供する。
本願の実施例に用いられる上記第6~10の態様に記載の少なくとも1つの技術案によれば、以下のような有益な効果が得られる。本発明における文字分割案では、ファジィC-平均クラスタリングアルゴリズムにより、オリジナル文字領域画像に対して二値化処理を行うことで、汚れや光反射などの複数の干渉が除去された二値画像を取得することができ、さらに、投影法により、当該二値画像から、更に正確な文字分割位置を取得することができる。それにより、画質が良くない文字領域画像に対しても、更に正確な文字分割効果を実現させることができる。本願の実施例に用いられる上記少なくとも1つの技術案によれば、以下のような有益な効果が得られる。本発明における文字分割案では、エッジ検出アルゴリズムを輪郭検出アルゴリズムと組み合わせて、文字領域画像に対して複数回の検出を行うことで、質が低い画像に対しても文字分割を行うことができ、文字分割過程における分割限度を確定しにくい問題を回避した。
理解すべきなのは、上記説明は、本発明の技術手段をより明瞭に理解してもらうための、本発明の技術案の概要に過ぎず、明細書の内容を基にして実施することが可能である。また、本発明の上記目的及び他の目的、特徴、及びメリットをさらに明瞭的で分かりやすくするために、以下は、特に、本発明の具体的な実施の形態を例示して説明する。
以下の例示的な実施例の詳細を閲覧したうえで、当業者は、本明細書に記載の利点や有益な効果、および、他の利点や有益な効果を理解できるだろう。添付図面は、例示的な実施例の目的を示すためのものに過ぎず、本発明を制限するものとして見なされない。しかも、全ての添付図面において、同一の部材は同一の記号で示される。添付図面において、
本発明の一実施例に係る文字分割方法のフロー概略図である。 本発明の実施例における文字領域画像の概略図である。 図3aは、本発明の実施例における1つのエッジ二値画像の概略図である。 図3bは、もう1つのエッジ二値画像の概略図である。 本発明の実施例における文字枠分割ブロックの概略図である。 本発明の実施例における目標文字領域の概略図である。 本発明の一実施例に係る文字分割装置の構造概略図である。 本発明の別の一実施例に係る文字分割方法のフロー概略図である。 本発明の実施例における1つの階調画像の概略図である。 本発明の実施例における1つの二値画像の概略図である。 本発明の実施例における複数の文字位置決めブロックの概略図である。 本発明の実施例における文字分割後に取得した文字画像の概略図である。 本発明の実施例に係る1つの上下境界を有する階調画像の概略図である。 本発明の実施例に係る1つのエッジ画像の概略図である。 本発明の別の一実施例に係る文字分割装置の構造概略図である。 本発明のさらに別の一実施例に係る文字分割装置の構造概略図である。
添付図面において、同一又は対応な部分は、同一または対応な記号で示される。
以下は、添付図面を参照しながら、本開示の例示的な実施例をより詳しく説明する。添付図面には、本開示の例示的な実施例が示されたが、本開示は、種々な形式で実現することができ、ここに記載の実施例により限られたものではないと、理解すべきである。逆に、それらの実施例を提供する目的は、本開示をさらに明瞭に理解できるようにすることであって、本開示の範囲を当業者に完全に伝えることができることである。
本発明では、理解すべきなのは、例えば、「含む」や「備える」のような用語は、本発明により開示された特徴、数字、工程、行為、部材、部分又はそれらの組み合わせの存在を示すためのものであり、1つまたは複数の他の特徴、数字、工程、行為、部材、部分又はそれらの組み合わせの存在の可能性を排除することを意図しない。
なお、説明すべきなのは、衝突しない場合、本発明における実施例及び実施例に記載の特徴は互いに組み合わされてもよい。以下は、添付図面を参照しながら、実施例を組み合わせて本願発明を詳しく説明する。
図1は、本願の一実施例に係る文字分割方法100のフロー概略図であり、当該文字分割方法100は、メーターの文字領域画像を文字識別が実行されやすい文字画像に分割するためのものである。当該フローでは、機器の角度からすれば、実行主体は、1つまたは複数の電子機器であってもよく、更に詳細的に、これらの機器におけるカメラに関連付けられた処理モジュールであってもよい。また、プログラムの角度からすれば、実行主体は、相応に、これらの電子機器に搭載されるプログラムであってもよい。
図1におけるフローでは、以下のステップ101~104が含まれてもよい。
ステップ101:文字領域画像を取得するとともに、文字領域画像を階調画像に変換すること。
ここで、文字領域画像は、少なくとも1つの文字枠を含み、具体的に、当該文字領域画像は、メーターのダイヤル画像であってもよく、当該メーターのダイヤルには、複数の文字枠が含まれ、当該複数の文字枠は、サイズが同じで、規則的に配列されているとともに、ユーザによる数値の読取のために文字枠ごとに単一の文字が展示される。選択的に、文字枠は、矩形、円形など、任意1つの規則的な形状に形成されてもよい。選択的に、当該メーターは、日常生活でよく見られる水道メーター、電気メーター、ガスメーターを含むが、これらに限らず、例えば、キャラクターホイール型水道メーターであってもよい。さらに、当該文字領域画像は、当該メーターのダイヤルに向かって設けられた撮像装置によって取得されてもよい。勿論、当該文字領域画像は、他の出所からのものであってもよく、例えば、他の機器からのものであってもよいし、又は、既存の画像であってもよいが、本実施例では、制限されていない。さらに、取得される文字領域画像は、RGB形式のものであってもよい。文字領域画像の取得後、文字領域画像における各画素点の階調値を、浮動小数点アルゴリズム、整数化方法、シフト方法、平均化方法など、様々な方式によって特定し、画素点における赤、緑、青という3チャネルの画素値の代わりに、当該階調値を用いることが可能である。選択的に、他のよく見られるカラー形式の文字領域画像を取得して用いるとともに、相応な階調画像に変換してもよい。
例を挙げると、図2を参照して、文字領域画像の階調画像が示され、当該文字領域画像に含まれる5つの文字「0」、「0」、「1」、「5」、「8」は、当該メーターの5つの文字枠における展示数値を示すものである。ここから分かるように、表面の汚れや撮影時の光線などに起因して、当該メーターに表示される文字は曖昧なものであり、正確な文字分割が困難である問題が存在する。
ステップ102:エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換すること。
具体的に、上述したように、エッジ検出アルゴリズムが用いられる目的は、階調画像における文字を展示するための複数の文字枠の境界を位置決めすることである。ここで、所謂エッジ(edge)とは、画像における局部強度の変化が最も著しい部分を指し、主に目標と背景の間に存在するものであり、各画素点の階調値勾配データから検索されることが可能である。また、一般的に、境界には目立つエッジがあるので、この特徴を活用して画像を分割してもよい。エッジの検出は、常にエッジ検出演算子を用いて行われる。ここでよく用いられるエッジ検出演算子は、Roberts演算子、Laplace演算子、Prewitt演算子、Sobel演算子、Rosonfeld演算子、Kirsch演算子、および、Canny演算子などを含む。さらに、上記1つまたは複数のエッジ検出演算子を用いて、階調画像に対してエッジ検出を行うことでエッジ画素点を抽出するとともに、エッジ画素点を検出された場合、二値化処理を行ってもよい。注意すべきなのは、エッジが複雑なものであって強いノイズ点がある画像に対し、エッジの検出には、耐ノイズ性と検出精度を両立できない問題があり、検出精度が高められると、ノイズによる偽エッジに起因して不合理な輪郭が生じてしまうが、耐ノイズ性が高められると、輪郭の検出漏れの問題が生じてしまう。本実施例では、当該エッジ検出の目的は、階調画像における文字を展示するための文字枠を位置決めすることであるため、耐ノイズ性が高いエッジ検出パラメータを用いることで、検出の結果として考えられる偽エッジが多すぎることを回避した。理解すべきなのは、文字そのものと比べて、文字枠は滑らかで連続した境界を有するため、一部のエッジへの検出が漏れたとしても、その輪郭が依然として示されることができる。しかも、立体効果を有する文字枠(例えば、よく見られるキャラクターホイール型水道メーターの文字枠)について、撮影時の光・影投射の作用により、当該文字枠における画素点は、他の画素点と比べて、高い勾配を有することが一般的である。選択的に、上述したように耐ノイズ性が高いエッジ検出パラメータをさらに取得するために、複数のエッジ検出パラメータを予め設定するとともに、エッジ検出を実行し、且つ、文字枠の基本的な輪郭を保ちながら、ノイズ点を最大限に低減することができるエッジ二値画像を選択してもよい。選択的に、上述したように耐ノイズ性が高いエッジ検出パラメータをさらに取得するために、さらに、異なる質の階調画像に対してエッジ検出パラメータを適応的に調整して耐ノイズ性を高く保つできるように、エッジ検出パラメータモデルを予めトレーニングしてもよい。例えば、階調画像の大局コントラストが低いときに、大量のノイズ点が生じるが、その場合、大局コントラストに応じて、耐ノイズ性が更に高いエッジ検出パラメータを適応的に調整してもよい。選択的に、分水嶺アルゴリズムにより、当該エッジ二値画像を取得してもよい。
例えば、図3(a)と図3(b)を参照して、異なるエッジ検出パラメータを用いて、図2に示される階調画像に対してエッジ検出を行うことで得られたエッジ二値画像が示される。図3(a)中のエッジ二値画像には、輪郭の検出漏れが発生し、図3(b)中のエッジ二値画像には、偽エッジが多くあることが明らかになる。本実施例では、図3(a)に示される耐ノイズ性が更に高いエッジ二値画像が用いられ、最も左側にある文字枠内の数字、最も右側にある文字枠内の境界に発生した検出漏れが考慮されていない。
ステップ103:投影法により、エッジ二値画像から、文字枠分割ブロックを取得すること。
具体的に、上記投影法は、二値画像の画素点の分布ヒストグラムを用いて分析することで、隣り合う文字枠の境界点を見出して分割することであり、投影法には、具体的に、垂直投影と水平投影が含まれる。当該複数の文字枠分割ブロックは、具体的に、垂直投影図における投影値が谷にあるときの投影位置によって決められる。例を挙げると、図4を参照して、図3(a)に示されるエッジ二値画像を垂直方向に投影して垂直投影図を取得し、垂直投影図における投影値が0である投影位置から、左から右へとの5つの文字枠分割ブロックが得られる。
ステップ104:輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うこと。
具体的に、輪郭検出アルゴリズムを利用する目的は、各文字枠分割ブロック内の文字に対して輪郭検出を行うことで輪郭情報を取得するとともに、当該文字の輪郭情報に基づいて、更に明確な目標文字領域を位置決めして見出すことである。さらに、文字領域画像から、当該目標文字領域に対応する文字画像に対して文字分割を行うとともに、当該文字画像に基づいて更なる文字識別作業を行ってもよい。
例を挙げると、図5を参照して、図4に示される文字枠分割ブロックから得られた目標文字領域、すなわち、当該矩形枠の内部領域が示される。
本発明では、エッジ検出により、階調画像を粗分割して、文字枠に対応する粗分割の結果、すなわち、文字枠分割ブロックを取得した後、当該文字枠分割ブロックに対して輪郭検出アルゴリズムによって更に正確な目標文字領域を取得し、エッジ検出と輪郭検出を組み合わせたことで、質が低い画像に対しても文字分割を行うことができ、文字分割過程における分割限度を確定しにくい問題を回避した。
図1に示す文字分割方法を基にして、本願における幾つかの実施例では、当該文字分割方法の幾つかの具体的な実施方案及び拡張方案がさらに提供される。以下は、これらの方案を説明する。
一実施の形態では、ステップ102の前に、方法100は、階調画像をフィルタリング処理するステップをさらに含んでもよく、ここで、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。
具体的に、エッジもノイズも階調不連続点であり、周波数領域においても高周波成分であるため、微分演算が直接に行われると、ノイズからの影響を抑制しがたいので、微分演算子を用いたエッジ検出の前に、画像を平滑化フィルタリング処理しなければならない。従って、本実施例では、ガウスフィルタリング及び/又はメディアンフィルタリングを用いて、階調画像を畳み込むことで、明らかなノイズによる影響を低減して、画像を平滑化する。ここで、ガウスフィルタリングは、線形平滑化フィルタリング処理であり、ガウスノイズの除去に適する。メディアンフィルタリングは、非線形平滑化フィルタリング処理であり、処理される画像における各画素点の階調値を、当該点のある隣り合う領域のウィンドウ内の全ての画素点階調値のメディアンに設定するものである。メディアンフィルタリングは、パルスノイズに対して良好な濾過・除去作用を有するとともに、ノイズを濾過・除去すると同時に、信号のエッジを、ぼやけないように保護することができる。
理解すべきなのは、本実施例で提供される技術案は、上述した実施例と比べて、階調画像に対してガウスフィルタリング処理及び/又はメディアンフィルタリング処理を行うことにより、メーター上の汚れ又は光反射に起因したノイズからの影響を低減することができ、後続のエッジ検出の正確度を向上させる。
一実施の形態では、ステップ102は、canny演算子を用いて、階調画像に対してエッジ検出を行うとともに、エッジ検出の結果から、階調画像をエッジ二値画像に変換するステップをさらに含んでもよい。
具体的に、canny演算子を用いて、階調画像に対してエッジ検出を行うことは、(1)画像における各画素点の勾配強度及び方向を計算するステップ、(2)非極大値(Non-MaximumSuppression)で抑制することで、エッジ検出によるスプリアス・レスポンスを消去するステップ、(3)二重閾値(Double-Threshold)検出を用いて真のエッジと潜在エッジを特定するステップ、および、(4)孤立した弱エッジを抑制することで最終的にエッジ検出を完成するステップを含んでもよい。ここで、二重閾値とは、cannyエッジ検出アルゴリズムでは、高い閾値と低い閾値の2閾値を設定し、高い閾値が画像における目標と背景を区別させるためのものであり、低い閾値がエッジを平滑化して、不連続のエッジの輪郭を接続するためのものである。具体的に、1つの画素は、勾配が高い閾値よりも大きいものであれば、エッジ画素点として見なされるが、低い閾値よりも小さいものであれば、非エッジ画素点として見なされ、また、当該画素点の勾配が両者の間のものであれば、エッジ画素に接続された場合に限って、エッジ画素点として見なされる。
さらに、上述したように、canny演算子を用いて、階調画像に対してエッジ検出を行う前に、階調画像の画質特徴を検出するステップ、および、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するステップをさらに含んでもよい。
ここで、画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む。具体的に、エッジ検出の過程における耐ノイズ性と検出精度を両立できない問題を解決するために、本実施例では、階調画像の画質特徴により、当該cannyエッジ検出アルゴリズムにおけるパラメータを適応的に特定するようにし、当該画質特徴は、例えば、大局コントラストと、当該cannyエッジ検出アルゴリズムにおけるパラメータであり、例えば、高い閾値及び/又は低い閾値である。さらに、現在、文字分割が行われている文字領域画像の質に応じて高い閾値及び/又は低い閾値を適応的に調整できるように、閾値モデルを予めトレーニングしてもよい。
例を挙げると、階調画像の大局コントラストがより低いことを検出されると、当該階調画像の鮮明度が低いと推測し、更に高い、高い閾値及び/又は低い閾値を用いることとなり、階調画像の大局コントラストがより高いことを検出されると、当該階調画像の大局コントラストが高いと推測し、より低い、高い閾値及び/又は低い閾値を用いることとなる。
理解すべきなのは、従来のcannyエッジ検出アルゴリズムでは、高い閾値と低い閾値は人為的に設定されるものであり、且つ、高い閾値/低い閾値の割合が一定のものである。そうすると、canny演算子の応用方面では、局限性がある。一方、本実施例では、高い閾値と低い閾値を適応的に調整する方法が用いられたことで、上述した実施例と比べて、周辺の大量かつ無用の偽の境界情報が低減され、欠陥エッジへの識別に対するノイズからの影響が抑えられ、後続の輪郭抽出に対しても極めて重要な作用を奏する。
一実施の形態では、ステップ103は、垂直投影法により、エッジ二値画像に対して分割処理を行うことで、少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの文字枠分割ブロックを取得するステップをさらに含んでもよい。
具体的に、上述した分割処理の目的は、上述したエッジ二値画像における異なる文字枠に対応する画像領域を互いに切り離して、各画像領域における背景領域をなるべく、多く除去することであり、それにより、ステップ104における輪郭検出の計算量を低減することが可能である。
一実施の形態では、ステップ104は、輪郭検出アルゴリズムにより、文字枠分割ブロックにおける文字輪郭を特定し、文字枠分割ブロックにおける文字輪郭の最小外接矩形領域により、目標文字領域を特定するステップをさらに含んでもよい。
具体的に、各文字枠分割ブロックについて、特定された最小外接領域は、当該文字枠分割ブロック内の全ての文字輪郭を収容することができる。選択的に、階調画像を、より多くのエッジ情報を有する二値画像に変換してから、当該二値画像から、複数の文字枠分割ブロックの位置に対応する複数の最適文字枠分割ブロックを切り出し、その後、当該複数の最適文字枠分割ブロックに対して輪郭検出を行うことで最適目標文字領域を取得してもよい。
図6は、本願の一実施例に係る文字分割装置60の構造概略図であり、図1に示される文字分割方法を実施するためのものである。
図6に示されるように、文字分割装置60は、
文字領域画像を取得するとともに、文字領域画像を階調画像に変換するための取得モジュール601を含み、ここで、文字領域画像は、少なくとも1つの文字枠を含み、具体的に、当該文字領域画像は、メーターのダイヤル画像であってもよく、当該メーターのダイヤルには、複数の文字枠が含まれ、当該複数の文字枠は、サイズが同じで、規則的に配列されているとともに、ユーザによる数値の読取のために文字枠ごとに単一の文字が展示される。選択的に、文字枠は、矩形、円形など、任意1つの規則的な形状に形成されてもよい。選択的に、当該メーターは、日常生活でよく見られる水道メーター、電気メーター、ガスメーターを含むが、これらに限らず、例えば、キャラクターホイール型水道メーターであってもよい。さらに、当該文字領域画像は、当該メーターのダイヤルに向かって設けられた撮像装置によって取得されてもよい。勿論、当該文字領域画像は、他の出所からのものであってもよく、例えば、他の機器からのものであってもよいし、又は、既存の画像であってもよいが、本実施例では、制限されていない。さらに、取得される文字領域画像は、RGB形式のものであってもよい。文字領域画像の取得後、文字領域画像における各画素点の階調値を、浮動小数点アルゴリズム、整数化方法、シフト方法、平均化方法など、様々な方式によって特定し、画素点における赤、緑、青という3チャネルの画素値の代わりに、当該階調値を用いることが可能である。
例を挙げると、図2を参照して、1枚の文字領域画像の階調画像が示され、当該文字領域画像に含まれる5つの文字「0」、「0」、「1」、「5」、「8」は、当該メーターの5つの文字枠における展示数値を示すものである。ここから分かるように、表面の汚れや撮影時の光線などに起因して、当該メーターに表示される文字は曖昧なものであり、正確な文字分割が困難である問題が存在する。
一実施の形態では、文字分割装置60は、
エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換するためのエッジ検出モジュール602をさらに含み、具体的に、上述したように、エッジ検出アルゴリズムが用いられる目的は、階調画像における文字を展示するための複数の文字枠の境界を位置決めすることである。ここで、所謂エッジ(edge)とは、画像における局部強度の変化が最も著しい部分を指し、主に目標と背景の間に存在するものであり、各画素点の階調値勾配データから検索されることが可能である。また、一般的に、境界には目立つエッジがあるので、この特徴を活用して画像を分割してもよい。エッジの検出は、常にエッジ検出演算子を用いて行われる。ここでよく用いられるエッジ検出演算子は、Roberts演算子、Laplace演算子、Prewitt演算子、Sobel演算子、Rosonfeld演算子、Kirsch演算子、および、Canny演算子などを含む。さらに、上記1つまたは複数のエッジ検出演算子を用いて、階調画像に対してエッジ検出を行うことでエッジ画素点を抽出するとともに、エッジ画素点を検出された場合、二値化処理を行ってもよい。注意すべきなのは、エッジが複雑なものであって強いノイズ点がある画像に対し、エッジの検出には、耐ノイズ性と検出精度を両立できない問題があり、検出精度が高められると、ノイズによる偽エッジに起因して不合理な輪郭が生じてしまうが、耐ノイズ性が高められると、輪郭の検出漏れの問題が生じてしまう。本実施例では、当該エッジ検出の目的は、階調画像における文字を展示するための文字枠を位置決めすることであるため、耐ノイズ性が高いエッジ検出パラメータを用いることで、検出の結果として考えられる偽エッジが多すぎることを回避した。理解すべきなのは、文字そのものと比べて、文字枠は滑らかで連続した境界を有するため、一部のエッジへの検出が漏れたとしても、その輪郭が依然として示されることができる。しかも、立体効果を有する文字枠(例えば、よく見られるキャラクターホイール型水道メーターの文字枠)について、撮影時の光・影投射の作用により、当該文字枠における画素点は、他の画素点と比べて、高い勾配を有することが一般的である。選択的に、上述したように耐ノイズ性が高いエッジ検出パラメータをさらに取得するために、複数のエッジ検出パラメータを予め設定するとともに、エッジ検出を実行し、且つ、文字枠の基本的な輪郭を保ちながら、ノイズ点を最大限に低減することができるエッジ二値画像を選択してもよい。選択的に、上述したように耐ノイズ性が高いエッジ検出パラメータをさらに取得するために、さらに、異なる質の階調画像に対してエッジ検出パラメータを適応的に調整して耐ノイズ性を高く保つできるように、エッジ検出パラメータモデルを予めトレーニングしてもよい。例えば、階調画像の大局コントラストが低いときに、大量のノイズ点が生じるが、その場合、大局コントラストに応じて、耐ノイズ性が更に高いエッジ検出パラメータを適応的に調整してもよい。選択的に、分水嶺アルゴリズムにより、当該エッジ二値画像を取得してもよい。
例えば、図3(a)と図3(b)を参照して、異なるエッジ検出パラメータを用いて、図2に示される階調画像に対してエッジ検出を行うことで得られたエッジ二値画像が示される。図3(a)中のエッジ二値画像には、輪郭の検出漏れが発生し、図3(b)中のエッジ二値画像には、偽エッジが多くあることが明らかになる。本実施例では、図3(a)に示される耐ノイズ性が更に高いエッジ二値画像が用いられ、最も左側にある文字枠内の数字、最も右側にある文字枠内の境界に発生した検出漏れが考慮されていない。
一実施の形態では、文字分割装置60は、
投影法により、エッジ二値画像から、文字枠分割ブロックを取得するための投影モジュール603をさらに含み、具体的に、上記投影法は、二値画像の画素点の分布ヒストグラムを用いて分析することで、隣り合う文字枠の境界点を見出して分割することであり、投影法には、具体的に、垂直投影と水平投影が含まれる。当該複数の文字枠分割ブロックは、具体的に、垂直投影図における投影値が谷にあるときの投影位置によって決められる。例を挙げると、図4を参照して、図3(a)に示されるエッジ二値画像を垂直方向に投影して垂直投影図を取得し、垂直投影図における投影値が0である投影位置から、左から右へとの5つの文字枠分割ブロックが得られる。
一実施の形態では、文字分割装置60は、
輪郭検出アルゴリズムにより、文字枠分割ブロックから、目標文字領域を特定するとともに、目標文字領域に応じて、文字領域画像に対して文字分割を行うための輪郭検出モジュール604をさらに含む。具体的に、輪郭検出アルゴリズムを利用する目的は、各文字枠分割ブロック内の文字に対して輪郭検出を行うことで輪郭情報を取得するとともに、当該文字の輪郭情報に基づいて、更に明確な目標文字領域を位置決めして見出すことである。さらに、文字領域画像から、当該目標文字領域に対応する文字画像に対して文字分割を行うとともに、当該文字画像に基づいて更なる文字識別作業を行ってもよい。
例を挙げると、図5を参照して、図4に示される文字枠分割ブロックから得られた目標文字領域、すなわち、当該矩形枠の内部領域が示される。
本発明では、エッジ検出により、階調画像を粗分割して、文字枠に対応する粗分割の結果、すなわち、文字枠分割ブロックを取得した後、当該文字枠分割ブロックに対して輪郭検出アルゴリズムによって更に正確な目標文字領域を取得し、エッジ検出と輪郭検出を組み合わせたことで、質が低い画像に対しても文字分割を行うことができ、文字分割過程における分割限度を確定しにくい問題を回避した。
一実施の形態では、分割装置60は、
エッジ検出アルゴリズムにより、階調画像をエッジ二値画像に変換する前に、階調画像をフィルタリング処理するフィルタリングモジュールをさらに含んでもよく、ここで、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。具体的に、エッジもノイズも階調不連続点であり、周波数領域においても高周波成分であるため、微分演算が直接に行われると、ノイズからの影響を抑制しがたいので、微分演算子を用いたエッジ検出の前に、画像を平滑化フィルタリング処理しなければならない。従って、本実施例では、ガウスフィルタリング及び/又はメディアンフィルタリングを用いて、階調画像を畳み込むことで、明らかなノイズによる影響を低減して、画像を平滑化する。ここで、ガウスフィルタリングは、線形平滑化フィルタリング処理であり、ガウスノイズの除去に適する。メディアンフィルタリングは、非線形平滑化フィルタリング処理であり、処理される画像における各画素点の階調値を、当該点のある隣り合う領域のウィンドウ内の全ての画素点階調値のメディアンに設定するものである。メディアンフィルタリングは、パルスノイズに対して良好な濾過・除去作用を有するとともに、ノイズを濾過・除去すると同時に、信号のエッジを、ぼやけないように保護することができる。
理解すべきなのは、本実施例で提供される技術案は、上述した実施例と比べて、階調画像に対してガウスフィルタリング処理及び/又はメディアンフィルタリング処理を行うことにより、メーター上の汚れ又は光反射に起因したノイズからの影響を低減することができ、後続のエッジ検出の正確度を向上させる。
一実施の形態では、エッジ検出モジュール602は、
canny演算子を用いて、階調画像に対してエッジ検出を行うとともに、エッジ検出の結果から、階調画像をエッジ二値画像に変換するためのものであってもよい。具体的に、canny演算子を用いて、階調画像に対してエッジ検出を行うことは、(1)画像における各画素点の勾配強度及び方向を計算するステップ、(2)非極大値(Non-MaximumSuppression)で抑制することで、エッジ検出によるスプリアス・レスポンスを消去するステップ、(3)二重閾値(Double-Threshold)検出を用いて真のエッジと潜在エッジを特定するステップ、および、(4)孤立した弱エッジを抑制することで最終的にエッジ検出を完成するステップを含んでもよい。ここで、二重閾値とは、cannyエッジ検出アルゴリズムでは、高い閾値と低い閾値の2閾値を設定し、高い閾値が画像における目標と背景を区別させるためのものであり、低い閾値がエッジを平滑化して、不連続のエッジの輪郭を接続するためのものである。具体的に、1つの画素は、勾配が高い閾値よりも大きいものであれば、エッジ画素点として見なされるが、低い閾値よりも小さいものであれば、非エッジ画素点として見なされ、また、当該画素点の勾配が両者の間のものであれば、エッジ画素に接続された場合に限って、エッジ画素点として見なされる。
一実施の形態では、上述したように、cannyエッジ検出アルゴリズムにより、階調画像に対してエッジ検出を行う前に、階調画像の画質特徴を検出するステップ、および、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するステップをさらに含んでもよい。
ここで、画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む。具体的に、エッジ検出の過程における耐ノイズ性と検出精度を両立できない問題を解決するために、本実施例では、階調画像の画質特徴により、当該cannyエッジ検出アルゴリズムにおけるパラメータを適応的に特定するようにし、当該画質特徴は、例えば、大局コントラストと、当該cannyエッジ検出アルゴリズムにおけるパラメータであり、例えば、高い閾値及び/又は低い閾値である。さらに、現在、文字分割が行われている文字領域画像の質に応じて高い閾値及び/又は低い閾値を適応的に調整できるように、閾値モデルを予めトレーニングしてもよい。
例を挙げると、階調画像の大局コントラストがより低いことを検出されると、当該階調画像の鮮明度が低いと推測し、更に高い、高い閾値及び/又は低い閾値を用いることとなり、階調画像の大局コントラストがより高いことを検出されると、当該階調画像の大局コントラストが高いと推測し、より低い、高い閾値及び/又は低い閾値を用いることとなる。
理解すべきなのは、従来のCannyエッジ検出アルゴリズムでは、高い閾値と低い閾値は人為的に設定されるものであり、且つ、高い閾値/低い閾値の割合が一定のものである。そうすると、canny演算子の応用方面では、局限性がある。一方、本実施例では、高い閾値と低い閾値を適応的に調整する方法が用いられたことで、上述した実施例と比べて、周辺の大量かつ無用の偽の境界情報が低減され、欠陥エッジへの識別に対するノイズからの影響が抑えられ、後続の輪郭抽出に対しても極めて重要な作用を奏する。
一実施の形態では、投影モジュール603は、
垂直投影法により、エッジ二値画像に対して分割処理を行うことで、少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの文字枠分割ブロックを取得するためのものであってもよい。具体的に、上述した分割処理の目的は、上述したエッジ二値画像における異なる文字枠に対応する画像領域を互いに切り離して、各画像領域における背景領域をなるべく、多く除去することであり、それにより、ステップ104における輪郭検出の計算量を低減することが可能である。
一実施の形態では、輪郭検出モジュール604は、
輪郭検出アルゴリズムにより、文字枠分割ブロックにおける文字輪郭を特定し、文字枠分割ブロックにおける文字輪郭の最小外接矩形領域により、目標文字領域を特定するためのものであってもよい。具体的に、各文字枠分割ブロックについて、特定された最小外接領域は、当該文字枠分割ブロック内の全ての文字輪郭を収容することができる。選択的に、階調画像を、より多くのエッジ情報を有する二値画像に変換してから、当該二値画像から、複数の文字枠分割ブロックの位置に対応する複数の最適文字枠分割ブロックを切り出し、その後、当該複数の最適文字枠分割ブロックに対して輪郭検出を行うことで最適目標文字領域を取得してもよい。
図7は、本願の一実施例に係る文字分割方法700のフロー概略図であり、当該文字分割方法700は、メーターの文字領域画像を後続の処理(例えば、文字識別)が実行されやすい文字画像に分割するためのものである。当該フローでは、機器の角度からすれば、実行主体は、1つまたは複数の電子機器であってもよく、更に詳細的に、これらの機器におけるカメラに関連付けられた処理モジュールであってもよい。また、プログラムの角度からすれば、実行主体は、相応に、これらの電子機器に搭載されるプログラムであってもよい。
図7におけるフローでは、以下のステップ701~704が含まれてもよい。
ステップ701:文字領域画像を取得するとともに、文字領域画像を階調画像に変換すること。
具体的に、当該メーターは、日常生活でよく見られる水道メーター、電気メーター、ガスメーターを含むが、これらに限らず、例えば、キャラクターホイール型水道メーターであってもよい。さらに、当該メーターの文字領域画像は、単一文字画像又は複数文字画像であってもよく、当該メーターのダイヤルに向かって設けられた撮像装置によって取得されてもよい。勿論、当該文字領域画像は、他の出所からのものであってもよく、例えば、他の機器からのものであってもよいし、又は、既存の画像であってもよいが、本実施例では、制限されていない。さらに、取得される文字領域画像は、RGB形式のものであってもよい。そして、文字領域画像の取得後、文字領域画像における各画素点の階調値を、浮動小数点アルゴリズム、整数化方法、シフト方法、平均化方法など、様々な方式によって特定するとともに、画素点における赤、緑、青という3チャネルの画素値の代わりに、当該階調値を用いることが可能である。
例を挙げると、図8を参照して、1枚の文字領域画像の階調画像が示され、当該文字領域画像には、左から右へと、7つの文字「0」、「0」、「0」、「0」、「1」、「1」、「1」が順次に表示される。上述した複数の文字間の境界が十分に明瞭なものではないことが明らかになり、また、カメラの感光素子の解像度が足りないので、文字領域画像に横縞が生じてしまい、さらに、各文字が接続された状態となり、そのため、正確な文字分割が困難となる。
ステップ702:ファジィC平均値により、階調画像に対してクラスタ分析を行うとともに、クラスタ分析の結果から、階調画像に対して二値化処理を行って二値画像を取得すること。
具体的に、ファジィC-平均クラスタリング(fuzzyc-means、以下は、FCMと略称)アルゴリズムは、教師なしファジィクラスタリング法であり、同一のクラスに分けられた対象間の類似度を最大にして、異なるクラス間の類似度を最小にするという構想によるものである。本実施例では、ファジィ集合の概念により、クラスタリングして生成されたクラスをファジィ集合として見なし、さらに、階調画像における各画素点の各クラスに該当するメンバーシップを取得し、各画素点のクラスに該当するメンバーシップが[0,1]区間内の値であり、且つ、各画素点の複数のクラスに該当するメンバーシップの総和が1に等しい。理解すべきなのは、FCMアルゴリズムは、一般的なC平均化アルゴリズムを改良したものであり、一般的なC平均化アルゴリズムでは、データの分割が押し付けられるもので、ハードクラスタリングすることにより、識別される対象をあるクラスに該当するように厳しく分割するので、「二つに一つ」という特性を有するが、一方、FCMでは、柔軟性のあるファジィクラスタリングであり、このようなファジィクラスタリングすることにより、クラスに対するサンプルの不確定記述を構築して、客観的な世界をより客観的に反応することができる。
例を挙げると、図9には、上記方案に従って、図8中の階調画像をクラスタ分析し、二値化処理して得られた二値画像が示される。ここで、上述したクラスタリングした後、各クラスタのクラスタセンターを用いて、各クラスと2つの予め設定されたクラスタのうちの1つとを関連付けることができ、当該2つの予め設定されたクラスが前景と背景であってもよい。その後、各画素点ごとに、メンバーシップが最も高いN個のクラスを選択するとともに、当該N個のクラスに関連付けられた予め設定されたクラスに応じて、当該画素点が前景画素点か背景画素点かを判断する。さらに、上記クラスタ分析して各画素点が前景画素点か背景画素点かに関する情報を取得した後、それによって、階調画像を二値化処理して、目標輪郭が目立つ二値画像を取得する。
ステップ703:投影法により、二値画像から、少なくとも1つの文字位置決めブロックを取得すること。
具体的に、上記投影法では、二値画像の画素点の分布ヒストグラムを分析することで、隣り合う文字の境界点を見出して、それを基にして分割し、上記二値画像における異なる文字に対応する画像領域を互いに切り離して、各画像領域における背景領域をなるべく、多く除去するものである。ここで、上記投影法は、具体的に、垂直投影と水平投影を含むが、本実施例では、垂直投影が優先的に用いられるとともに、垂直投影図における投影値が0である投影位置に基づいて当該少なくとも1つの文字位置決めブロックを特定する。
例を挙げると、図10を参照して、図9中の二値画像を垂直投影してから、分割して得られた複数の文字位置決めブロックが示される。ここで、当該複数の文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが存在する可能性がある。そのため、本実施例では、文字幅閾値を設定して、幅が当該文字幅閾値よりも小さい文字位置決めブロックを干渉ブロックとして除去してもよく、他の方案をとって当該干渉ブロックを除去してもよいが、本願では、具体的に限定されていない。
ステップ704:少なくとも1つの文字位置決めブロックの位置情報に基づき、文字領域画像に対して文字分割を行うこと。
図11を参照して、図10に得られた複数の文字位置決めブロックの位置情報に基づいて、図8に示される文字領域画像から文字分割が行われた後、得られた複数の文字画像が示される。
本発明では、ファジィC-平均クラスタリングアルゴリズムにより、オリジナル文字領域画像に対して二値化処理を行うことで、汚れや光反射などの複数の干渉が除去された二値画像を取得することができ、さらに、投影法により、当該二値画像から、更に正確な文字分割位置を取得することができる。それにより、画質が良くない文字領域画像に対しても、更に正確な文字分割効果を実現させることができる。
図7に示す文字分割方法を基にして、本願における幾つかの実施例では、当該文字分割方法の幾つかの具体的な実施方案及び拡張方案がさらに提供される。以下は、これらの方案を説明する。
一実施の形態では、ステップ702の前に、方法700は、canny演算子を用いて、階調画像に対してエッジ検出を行って、エッジ画像を取得するステップと、ハフ変換方程式により、エッジ画像に対して直線検出を行って、エッジ画像の境界線を取得するステップと、境界線から、階調画像の境界部分を除去するステップと、をさらに含んでもよい。
具体的に、図12を参照して、1枚の長い矩形文字枠を含む階調画像が示され、当該階調画像には、左から右へと、7つの文字「0」、「0」、「0」、「0」、「1」、「1」、「1」が順次に表示されるとともに、文字の上側と下側に当該メーターの長い矩形文字枠が示される。そのため、本実施例では、canny演算子を用いて当該階調画像に対してエッジ検出を行って、エッジ画像を取得することができ、その目的は、階調画像における文字を展示するための文字枠の境界を位置決めすることである。選択的に、上記canny演算子は、Roberts演算子、Laplace演算子、Prewitt演算子、Sobel演算子、Rosonfeld演算子、および、Kirsch演算子のうちの1つまたは複数に置き換えられてもよい。選択的に、本実施例では、エッジ検出の目的は、階調画像における文字を展示するための文字枠を位置決めすることであるため、本実施例では、耐ノイズ性が高いエッジ検出パラメータを用いることで、検出の結果として考えられる偽エッジが多すぎることを回避した。さらに、当該文字枠は、はっきりとした境界を有する長い直線を形成するため、本実施例では、ハフ変換方程式により、エッジ画像に対して直線検出を行って、対応する文字枠の境界線を取得してもよい。さらに、当該文字枠は、後続の文字分割ステップに対して不利な影響を与えるため、本実施例では、当該階調画像における境界線に対応する位置以外の部分を除去することで、後続の文字分割過程において分割効果に対して影響を与えるのを回避してもよい。
例を挙げると、図13を参照して、図12中の長い矩形文字枠を含む階調画像に対してエッジ検出を行うことで得られたエッジ画像が示される。図7に示されるエッジ画像の上下側のエッジには、明らかな直線があることが明らかになり、さらに、ハフ変換方程式により、境界線を容易に検出することができる。さらに、図12において、検出された境界線の位置に応じて相応な境界部分を除去することで、図8に示される階調画像を取得することができる。選択的に、ステップ703の前に、当該二値画像を水平投影するとともに、水平投影図における投影値が0である投影位置に基づいて、当該文字枠に対応する上側エッジと下側エッジを切り出して除去してもよい。
上述した実施の形態と比べて、本実施の形態では、エッジ検出及び直線検出により、文字領域画像に文字枠が含まれたことに起因した文字分割の誤りを回避することができ、さらに、文字分割の正確度が向上した。
一実施の形態では、canny演算子により、階調画像に対してエッジ検出を行っているところに、階調画像の画質特徴を検出するステップ、および、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するステップをさらに含んでもよい。
具体的に、上記画質特徴は、大局コントラスト、大局階調平均値などの画質を表すための特徴値を含んでもよい。具体的に、エッジ検出の過程における耐ノイズ性と検出精度を両立できない問題をさらに解決するために、本発明の実施例では、階調画像の画質特徴により、当該canny演算子におけるパラメータを適応的に特定するようにし、当該画質特徴は、例えば、大局コントラストであってもよく、当該canny演算子におけるパラメータは、例えば、高い閾値及び/又は低い閾値であってもよい。例を挙げると、階調画像の大局コントラストがより低いことを検出されると、当該階調画像の鮮明度が低いと推測し、更に高い、高い閾値及び/又は低い閾値を用いることとなり、階調画像の大局コントラストがより高いことを検出されると、当該階調画像の大局コントラストが高いと推測し、より低い、高い閾値及び/又は低い閾値を用いることとなる。
理解すべきなのは、当該canny演算子は、二重閾値(Double-Threshold)検出を用いて真のエッジと潜在エッジを特定する必要がある。例を挙げると、1つの画素は、勾配が高い閾値よりも大きいものであれば、エッジ画素点として見なされるが、低い閾値よりも小さいものであれば、非エッジ画素点として見なされ、また、当該画素点の勾配が両者の間のものであれば、エッジ画素に接続された場合に限って、エッジ画素点として見なされる。しかし、従来のcanny演算子では、高い閾値と低い閾値は人為的に設定されるものであり、且つ、高い閾値/低い閾値の割合が一定のものである。そうすると、canny演算子の応用方面では、局限性がある。それを基にして、本実施例では、階調画像の画質特徴により、高い閾値と低い閾値を適応的に調整する方法が用いられたことで、上述した実施の形態と比べて、周辺の大量かつ無用の偽の境界情報が低減され、欠陥エッジへの識別に対するノイズからの影響が抑えられ、後続のハフ変換過程に対しても極めて重要な作用を奏する。選択的に、現在、文字分割が行われている文字領域画像の質に応じてパラメータを適応的に調整できるように、パラメータモデルを予めトレーニングしてもよい。
一実施の形態では、エッジ検出に対するノイズからの影響を低減するために、canny演算子を用いて階調画像に対してエッジ検出を行う前に、方法700は、階調画像をフィルタリング処理するステップをさらに含んでもよく、ここで、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。
具体的に、エッジ検出の結果に対するノイズからの影響をなるべく低減するために、ノイズを濾過・除去することでノイズによる誤検出を防止しなければならない。従って、本実施例では、ガウスフィルタリング及び/又はメディアンフィルタリングを用いて、階調画像を畳み込むことで、明らかなノイズによる影響を低減して、画像を平滑化する。ここで、ガウスフィルタリングは、線形平滑化フィルタリング処理であり、ガウスノイズの除去に適する。メディアンフィルタリングは、非線形平滑化フィルタリング処理であり、処理される画像における各画素点の階調値を、当該点のある隣り合う領域のウィンドウ内の全ての画素点階調値のメディアンに設定するものである。メディアンフィルタリングは、パルスノイズに対して良好な濾過・除去作用を有するとともに、ノイズを濾過・除去すると同時に、信号のエッジを、ぼやけないように保護することができる。
上述した実施の形態と比べて、本実施の形態では、階調画像に対してガウスフィルタリング処理及び/又はメディアンフィルタリング処理を行うことにより、メーター上の汚れ又は光反射に起因したノイズからの影響を低減することができ、後続のエッジ検出の正確度を向上させる。
一実施の形態では、クラスに対するノイズ点からの不利な影響をさらに消去するために、ステップ702の実行前に、方法700は、階調画像に対して対数変換を行うことをさらに含んでもよい。ここで、上述したように、階調画像に対して対数変換を行う目的は、階調画像におけるコントラストを高めることである。具体的に、当該対数変換によれば、階調画像における階調値が低い部分を拡張して、階調値が高い部分を圧縮することで、画像における階調値が低い部分を強調する目的を達成することができる。そのため、全体的にコントラストが低く、階調値が低い画像に対して、良好な強調効果がある。
一実施の形態では、汚れや光反射などの複数の干渉がさらに除去された二値画像を取得するために、ステップ702は、C個のクラスタのクラスタセンターから、C個のクラスタの属性をそれぞれ、特定するステップ、階調画像の任意1つの画素点の、C個のクラスタの各々に対応するC個のメンバーシップを特定するステップ、さらに、メンバーシップに応じてC個のクラスタを整列して、その中のN個のクラスタを特定するとともに、N個のクラスタの属性に応じて、階調画像の任意1つの画素点の属性を特定し、ここで、CとNが正の整数であるステップ、および、階調画像の任意1つの画素点の属性に応じて、階調画像に対して二値化処理を行うステップを含んでもよい。
具体的に、上記CとNは、調整可能な動的なパラメータであり、種々の異なる閾値を組み合わせることができる。さらに、C個のクラスタのクラスタセンターから、当該C個のクラスタの属性をそれぞれ、特定することは、具体的に、各クラスタのクラスタセンターの階調値が予め設定された閾値を超えたか否かを判断することで、各クラスタの属性が前景か背景かを特定してもよい。さらに、メンバーシップに応じてC個のクラスタを整列して、その中のN個のクラスタを特定することは、具体的に、メンバーシップが最も高いN個のクラスタを選択してもよい。さらに、N個のクラスタの属性に応じて、階調画像の任意1つの画素点の属性を特定することは、当該N個のクラスタの属性を総合的に考慮して階調画像の任意1つの画素点の属性を判断することを意味している。例えば、ある画素点について、それに対応する当該N個のクラスタの属性が全部、前景である場合に限って、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断する。さらに、例えば、ある画素点について、それに対応する当該N個のクラスタのうち、クラスタの属性が前景であるものが所定の割合を超えた場合、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断する。
例を挙げると、C=5、N=2として予め設定し、また、ある画素点に対応する当該N個のクラスタの属性が全部、前景である場合に限って、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断することをルールとして予め設定する。それを基にして、FCMにより、当該階調画像における各画素点の5つのクラスタ(C、C、C、C、C)に対するメンバーシップ及び各クラスタのクラスタセンターを出力してもよい。さらに、当該クラスタセンターは、各クラスタの平均的特徴を表すものであり、当該クラスタセンターにより、各クラスタが背景系に対応するか、前景系に対応するかを判断してもよい。例えば、Cが前景に該当し、Cが前景に該当し、Cが背景に該当し、Cが背景に該当し、Cが背景に該当する。さらに、当該階調画像における画素点Aについて、この5つのクラスタ(C、C、C、C、C)に対するメンバーシップがそれぞれ、(b、b、b、b、b)であることが得られ、ここで、b>b>b>b>bの場合、その中から、上位2位として整列されたメンバーシップbとbを選択するとともに、選択したメンバーシップに対応する2つのクラスタC2とC3に応じて、当該画素点Aが前景画素点から背景画素点かを総合的に判断する。そのため、上記予め設定されたルールに従うと、画素点Aを背景画素点として判断する。
上述した実施の形態と比べて、本実施の形態では、文字の基本的な輪郭を保留したままで、二値画像におけるノイズ点をさらに低減することができ、文字分割の効果をさらに最適化した。
一実施の形態では、図10を参照して、得られた少なくとも1つの文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが若干ある。上記干渉ブロックをさらに正確に除去するために、ステップ703の後、方法700は、少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出するステップと、前景画素面積に基づき、少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するステップとをさらに含んでもよく、ここで、干渉ブロックの前景画素面積は、少なくとも、少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前景画素面積よりも小さく、ただし、Mが予め設定された文字の数である。
具体的には、当該前景画素面積とは、文字位置決めブロックにおける前景画素点が占める面積を指す。選択的に、計算量をさらに省くために、各文字位置決めブロックに対して、水平投影を行うことで文字高さを取得するとともに、当該文字位置決めブロックの幅と当該文字高さとに基づいて当該前景画素面積を推算してもよい。さらに、当該予め設定された文字の数Mは、当該メーターのダイヤルに応じて予め確認されたものである。さらに、図10に示されるように、ノイズ点に起因した干渉ブロックには、通常、前景画素点が少ないので、前景画素面積に基づいて少なくとも1つの文字位置決めブロックに対して大きい順に整列するとともに、上位M個の文字位置決めブロックを選択して後続のステップ704に用いて、残りの文字位置決めブロックを干渉ブロックとして除去してもよい。
上述した実施の形態と比べて、本実施の形態では、各文字位置決めブロックの前景画素面積に基づいて、ノイズ点に起因した干渉ブロックを特定することにより、真の文字に対応する、文字の幅が小さい文字位置決めブロックを干渉ブロックとして誤検出してしまうのを回避し、更に正確な除去効果を実現することができ、文字分割の効果をさらに最適化した。
一実施の形態では、図10を参照して、得られた少なくとも1つの文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが若干ある。上記干渉ブロックをさらに正確に除去するために、ステップ703の後、方法700は、非最近傍抑制アルゴリズム(NonNearestSuppression、以下はNNSと略称)により、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するステップをさらに含んでもよい。
具体的に、上述したように、NMSアルゴリズムにより、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去することは、具体的に、上記二値画像における最も左側の前景画素点と最も右側の前景画素点を見出して、両者の位置情報及び両者間の幅に基づいて、各文字に対応する文字黄金センターを特定し、さらに、各文字の文字黄金センターとの距離が最も近い文字位置決めブロックを選択して後続のステップ704に用いるとともに、残りの文字位置決めブロックを干渉ブロックとして除去することを含んでもよい。
上述した実施の形態と比べて、本実施の形態では、ノイズ点に起因した干渉ブロックを正確かつ簡単に除去することができ、文字分割の効果をさらに最適化した。
一実施の形態では、幾つかの文字(例えば、数字の「1」または「7」)の幅が小さいため、不完全な文字分割となりやすい。それを基にして、ステップ704は、少なくとも1つの文字位置決めブロックの平均幅を特定し、前記少なくとも1つの文字位置決めブロックにおいて、幅が平均幅よりも小さい目標文字位置決めブロックがあれば、目標文字位置決めブロックの位置情報と平均幅とに基づき、文字領域画像に対して文字分割を行うことをさらに含んでもよい。それにより、不完全な文字分割の発生を回避した。
図14は、本願の一実施例に係る文字分割装置140の構造概略図であり、図7に示される文字分割方法を実施するためのものである。
図14に示されるように、文字分割装置140は、
文字領域画像を取得するとともに、文字領域画像を階調画像に変換するための取得モジュール141を含む。具体的に、当該メーターは、日常生活でよく見られる水道メーター、電気メーター、ガスメーターを含むが、これらに限らず、例えば、キャラクターホイール型水道メーターであってもよい。さらに、当該メーターの文字領域画像は、単一文字画像又は複数文字画像であってもよく、当該メーターのダイヤルに向かって設けられた撮像装置によって取得されてもよい。勿論、当該文字領域画像は、他の出所からのものであってもよく、例えば、他の機器からのものであってもよいし、又は、既存の画像であってもよいが、本実施例では、制限されていない。さらに、取得される文字領域画像は、RGB形式のものであってもよい。そして、文字領域画像の取得後、文字領域画像における各画素点の階調値を、浮動小数点アルゴリズム、整数化方法、シフト方法、平均化方法など、様々な方式によって特定するとともに、画素点における赤、緑、青という3チャネルの画素値の代わりに、当該階調値を用いることが可能である。
例を挙げると、図8を参照して、1枚の文字領域画像の階調画像が示され、当該文字領域画像には、左から右へと、7つの文字「0」、「0」、「0」、「0」、「1」、「1」、「1」が順次に表示される。上述した複数の文字間の境界が十分に明瞭なものではないことが明らかになり、また、カメラの感光素子の解像度が足りないので、文字領域画像に横縞が生じてしまい、さらに、各文字が接続された状態となり、そのため、正確な文字分割が困難である問題がある。
図8に示されるように、文字分割装置140は、
ファジィC平均値により、階調画像に対してクラスタ分析を行うとともに、クラスタ分析の結果から、階調画像に対して二値化処理を行って二値画像を取得するためのクラスタリングモジュール142を含む。具体的に、ファジィC-平均クラスタリング(fuzzyc-means、以下は、FCMと略称)アルゴリズムは、教師なしファジィクラスタリング法であり、同一のクラスに分けられた対象間の類似度を最大にして、異なるクラス間の類似度を最小にするという構想によるものである。本実施例では、ファジィ集合の概念により、クラスタリングして生成されたクラスをファジィ集合として見なし、さらに、階調画像における各画素点の各クラスに該当するメンバーシップを取得し、ここで、各画素点のクラスに該当するメンバーシップが[0,1]区間内の値であり、且つ、各画素点の複数のクラスに該当するメンバーシップの総和が1に等しい。理解すべきなのは、FCMアルゴリズムは、一般的なC平均化アルゴリズムを改良したものであり、一般的なC平均化アルゴリズムでは、データの分割が押し付けられるもので、ハードクラスタリングすることにより、識別される対象をあるクラスに該当するように厳しく分割するので、「二つに一つ」という特性を有するが、一方、FCMでは、柔軟性のあるファジィクラスタリングであり、このようなファジィクラスタリングすることにより、クラスに対するサンプルの不確定記述を構築して、客観的な世界をより客観的に反応することができる。
例を挙げると、図9には、上記方案に従って、図8中の階調画像をクラスタ分析し、二値化処理して得られた二値画像が示される。ここで、上述したクラスタリングした後、各クラスタのクラスタセンターを用いて、各クラスと2つの予め設定されたクラスタのうちの1つとを関連付けることができ、当該2つの予め設定されたクラスが前景と背景であってもよい。その後、各画素点ごとに、メンバーシップが最も高いN個のクラスを選択するとともに、当該N個のクラスに関連付けられた予め設定されたクラスに応じて、当該画素点が前景画素点か背景画素点かを判断する。さらに、上記クラスタ分析して各画素点が前景画素点か背景画素点かに関する情報を取得した後、それによって、階調画像を二値化処理して、目標輪郭が目立つ二値画像を取得する。
図14に示されるように、文字分割装置140は、
投影法により、二値画像から、少なくとも1つの文字位置決めブロックを取得するための位置決めモジュール143を含む。具体的に、上記投影法では、二値画像の画素点の分布ヒストグラムを分析することで、隣り合う文字の境界点を見出して、それを基にして分割し、上記二値画像における異なる文字に対応する画像領域を互いに切り離して、各画像領域における背景領域をなるべく、多く除去するものである。ここで、上記投影法は、具体的に、垂直投影と水平投影を含むが、本実施例では、垂直投影が優先的に用いられるとともに、垂直投影図における投影値が0である投影位置に基づいて当該少なくとも1つの文字位置決めブロックを特定する。
例を挙げると、図10を参照して、図9中の二値画像を垂直投影してから、分割して得られた複数の文字位置決めブロックが示される。ここで、当該複数の文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが存在する可能性がある。そのため、本実施例では、文字幅閾値を設定して、幅が当該文字幅閾値よりも小さい文字位置決めブロックを干渉ブロックとして除去してもよく、他の方案をとって当該干渉ブロックを除去してもよいが、本願では、具体的に限定されていない。
図14に示されるように、文字分割装置140は、
少なくとも1つの文字位置決めブロックの位置情報に基づき、文字領域画像に対して文字分割を行うための分割モジュール144を含む。図11を参照して、図10に得られた複数の文字位置決めブロックの位置情報に基づいて、図8に示される文字領域画像から文字分割が行われた後、得られた複数の文字画像が示される。
本発明では、ファジィC-平均クラスタリングアルゴリズムにより、オリジナル文字領域画像に対して二値化処理を行うことで、汚れや光反射などの複数の干渉が除去された二値画像を取得することができ、さらに、投影法により、当該二値画像から、更に正確な文字分割位置を取得することができる。それにより、画質が良くない文字領域画像に対しても、更に正確な文字分割効果を実現させることができる。
図14に示す文字分割装置を基にして、本願における幾つかの実施例では、当該文字分割装置の幾つかの具体的な実施方案及び拡張方案がさらに提供される。以下は、これらの方案を説明する。
一実施の形態では、文字分割装置140は、
canny演算子を用いて、階調画像に対してエッジ検出を行って、エッジ画像を取得するためのエッジ検出モジュールと、ハフ変換方程式により、エッジ画像に対して直線検出を行って、エッジ画像の境界線を取得するための直線検出モジュールと、境界線から、階調画像の境界部分を除去するための境界除去モジュールと、をさらに含んでもよい。
具体的に、図12を参照して、1枚の長い矩形文字枠を含む階調画像が示され、当該階調画像には、左から右へと、7つの文字「0」、「0」、「0」、「0」、「1」、「1」、「1」が順次に表示されるとともに、文字の上側と下側に当該メーターの長い矩形文字枠が示される。そのため、本実施例では、canny演算子を用いて当該階調画像に対してエッジ検出を行って、エッジ画像を取得することができ、その目的は、階調画像における文字を展示するための文字枠の境界を位置決めすることである。選択的に、上記canny演算子は、Roberts演算子、Laplace演算子、Prewitt演算子、Sobel演算子、Rosonfeld演算子、および、Kirsch演算子のうちの1つまたは複数に置き換えられてもよい。選択的に、本実施例では、エッジ検出の目的は、階調画像における文字を展示するための文字枠を位置決めすることであるため、本実施例では、耐ノイズ性が高いエッジ検出パラメータを用いることで、検出の結果として考えられる偽エッジが多すぎることを回避した。さらに、当該文字枠は、はっきりとした境界を有する長い直線を形成するため、本実施例では、ハフ変換方程式により、エッジ画像に対して直線検出を行って、対応する文字枠の境界線を取得してもよい。さらに、当該文字枠は、後続の文字分割ステップに対して不利な影響を与えるため、本実施例では、当該階調画像における境界線に対応する位置以外の部分を除去することで、後続の文字分割過程において分割効果に対して影響を与えるのを回避してもよい。
例を挙げると、図13を参照して、図12中の長い矩形文字枠を含む階調画像に対してエッジ検出を行うことで得られたエッジ画像が示される。図13に示されるエッジ画像の上下側のエッジには、明らかな直線があることが明らかになり、さらに、ハフ変換方程式により、境界線を容易に検出することができる。さらに、図12において、検出された境界線の位置に応じて相応な境界部分を除去することで、図8に示される階調画像を取得することができる。選択的に、当該二値画像を水平投影するとともに、水平投影図における投影値が0である投影位置に基づいて、当該文字枠に対応する上側エッジと下側エッジを切り出して除去してもよい。
上述した実施の形態と比べて、本実施の形態では、エッジ検出モジュール、直線検出モジュール、および、境界除去モジュールが用いられたことで、文字領域画像に文字枠が含まれたことに起因した文字分割の誤りを回避することができ、さらに、文字分割の正確度が向上した。
一実施の形態では、上記エッジ検出モジュールは、画質検出モジュールとパラメータ調整モジュールをさらに含んでもよい。ここで、画質検出モジュールは、階調画像の画質特徴を検出するためのものであってもよく、パラメータ調整モジュールは、階調画像の画質特徴により、canny演算子のパラメータを適応的に調整するためのものであってもよい。具体的に、上記画質特徴は、大局コントラスト、大局階調平均値などの画質を表すための特徴値を含んでもよい。具体的に、エッジ検出の過程における耐ノイズ性と検出精度を両立できない問題をさらに解決するために、本発明の実施例では、階調画像の画質特徴により、当該canny演算子におけるパラメータを適応的に特定するようにし、当該画質特徴は、例えば、大局コントラストであってもよく、当該canny演算子におけるパラメータは、例えば、高い閾値及び/又は低い閾値であってもよい。例を挙げると、階調画像の大局コントラストがより低いことを検出されると、当該階調画像の鮮明度が低いと推測し、更に高い、高い閾値及び/又は低い閾値を用いることとなり、階調画像の大局コントラストがより高いことを検出されると、当該階調画像の大局コントラストが高いと推測し、より低い、高い閾値及び/又は低い閾値を用いることとなる。
理解すべきなのは、当該canny演算子は、二重閾値(Double-Threshold)検出を用いて真のエッジと潜在エッジを特定する必要がある。例を挙げると、1つの画素は、勾配が高い閾値よりも大きいものであれば、エッジ画素点として見なされるが、低い閾値よりも小さいものであれば、非エッジ画素点として見なされ、また、当該画素点の勾配が両者の間のものであれば、エッジ画素に接続された場合に限って、エッジ画素点として見なされる。しかし、従来のcanny演算子では、高い閾値と低い閾値は人為的に設定されるものであり、且つ、高い閾値/低い閾値の割合が一定のものである。そうすると、canny演算子の応用方面では、局限性がある。それを基にして、本実施例では、階調画像の画質特徴により、高い閾値と低い閾値を適応的に調整する方法が用いられたことで、上述した実施の形態と比べて、周辺の大量かつ無用の偽の境界情報が低減され、欠陥エッジへの識別に対するノイズからの影響が抑えられ、後続のハフ変換過程に対しても極めて重要な作用を奏する。選択的に、現在、文字分割が行われている文字領域画像の質に応じてパラメータを適応的に調整できるように、パラメータモデルを予めトレーニングしてもよい。
一実施の形態では、エッジ検出に対するノイズからの影響を低減するために、文字分割装置140は、
canny演算子を用いて、階調画像に対してエッジ検出を行う前に、階調画像をフィルタリング処理するためのフィルタリングモジュールをさらに含んでもよく、ここで、フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である。具体的に、エッジ検出の結果に対するノイズからの影響をなるべく低減するために、ノイズを濾過・除去することでノイズによる誤検出を防止しなければならない。従って、本実施例では、ガウスフィルタリング及び/又はメディアンフィルタリングを用いて、階調画像を畳み込むことで、明らかなノイズによる影響を低減して、画像を平滑化する。ここで、ガウスフィルタリングは、線形平滑化フィルタリング処理であり、ガウスノイズの除去に適する。メディアンフィルタリングは、非線形平滑化フィルタリング処理であり、処理される画像における各画素点の階調値を、当該点のある隣り合う領域のウィンドウ内の全ての画素点階調値のメディアンに設定するものである。メディアンフィルタリングは、パルスノイズに対して良好な濾過・除去作用を有するとともに、ノイズを濾過・除去すると同時に、信号のエッジを、ぼやけないように保護することができる。
上述した実施の形態と比べて、本実施の形態では、階調画像に対してガウスフィルタリング処理及び/又はメディアンフィルタリング処理を行うことにより、メーター上の汚れ又は光反射に起因したノイズからの影響を低減することができ、後続のエッジ検出の正確度を向上させる。
一実施の形態では、クラスに対するノイズ点からの不利な影響をさらに消去するために、文字分割装置140は、
階調画像に対して対数変換を行うための対数変換モジュールをさらに含んでもよい。ここで、上述したように、階調画像に対して対数変換を行う目的は、階調画像におけるコントラストを高めることである。具体的に、当該対数変換によれば、階調画像における階調値が低い部分を拡張して、階調値が高い部分を圧縮することで、画像における階調値が低い部分を強調する目的を達成することができる。そのため、全体的にコントラストが低く、階調値が低い画像に対して、良好な強調効果がある。
一実施の形態では、汚れや光反射などの複数の干渉がさらに除去された二値画像を取得するために、クラスタリングモジュール142は、さらに、
C個のクラスタのクラスタセンターから、C個のクラスタの属性をそれぞれ、特定し、階調画像の任意1つの画素点の、C個のクラスタの各々に対応するC個のメンバーシップを特定し、さらに、メンバーシップに応じてC個のクラスタを整列して、その中のN個のクラスタを特定するとともに、N個のクラスタの属性に応じて、階調画像の任意1つの画素点の属性を特定し、ここで、CとNが正の整数であり、階調画像の任意1つの画素点の属性に応じて、階調画像に対して二値化処理を行うためのものであってもよい。具体的に、上記CとNは、調整可能な動的なパラメータであり、種々の異なる閾値を組み合わせることができる。さらに、C個のクラスタのクラスタセンターから、当該C個のクラスタの属性をそれぞれ、特定することは、具体的に、各クラスタのクラスタセンターの階調値が予め設定された閾値を超えたか否かを判断することで、各クラスタの属性が前景か背景かを特定してもよい。さらに、メンバーシップに応じてC個のクラスタを整列して、その中のN個のクラスタを特定することは、具体的に、メンバーシップが最も高いN個のクラスタを選択してもよい。さらに、N個のクラスタの属性に応じて、階調画像の任意1つの画素点の属性を特定することは、当該N個のクラスタの属性を総合的に考慮して階調画像の任意1つの画素点の属性を判断することを意味している。例えば、ある画素点について、それに対応する当該N個のクラスタの属性が全部、前景である場合に限って、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断する。さらに、例えば、ある画素点について、それに対応する当該N個のクラスタのうち、クラスタの属性が前景であるものが所定の割合を超えた場合、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断する。
例を挙げると、C=5、N=2として予め設定し、また、ある画素点に対応する当該N個のクラスタの属性が全部、前景である場合に限って、当該画素点を前景画素点として判断するが、さもなければ、当該画素点を背景画素点として判断することをルールとして予め設定する。それを基にして、FCMにより、当該階調画像における各画素点の5つのクラスタ(C、C、C、C、C)に対するメンバーシップ及び各クラスタのクラスタセンターを出力してもよい。さらに、当該クラスタセンターは、各クラスタの平均的特徴を表すものであり、当該クラスタセンターにより、各クラスタが背景系に対応するか、前景系に対応するかを判断してもよい。例えば、Cが前景に該当し、Cが前景に該当し、Cが背景に該当し、Cが背景に該当し、Cが背景に該当する。さらに、当該階調画像における画素点Aについて、この5つのクラスタ(C、C、C、C、C)に対するメンバーシップがそれぞれ、(b、b、b、b、b)であることが得られ、ここで、b>b>b>b>bの場合、その中から、上位2位として整列されたメンバーシップbとbを選択するとともに、選択したメンバーシップに対応する2つのクラスタC2とC3に応じて、当該画素点Aが前景画素点から背景画素点かを総合的に判断する。そのため、上記予め設定されたルールに従うと、画素点Aを背景画素点として判断する。
上述した実施の形態と比べて、本実施の形態では、文字の基本的な輪郭を保留したままで、二値画像におけるノイズ点をさらに低減することができ、文字分割の効果をさらに最適化した。
一実施の形態では、図10を参照して、得られた少なくとも1つの文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが若干ある。上記干渉ブロックをさらに正確に除去するために、文字分割装置140は、
少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出し、前景画素面積に基づき、少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するための第1の除去モジュールをさらに含んでもよく、ここで、当該干渉ブロックの前景画素面積は、少なくとも、少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前景画素面積よりも小さく、ただし、Mが予め設定された文字の数である。具体的には、当該前景画素面積とは、文字位置決めブロックにおける前景画素点が占める面積を指す。選択的に、計算量をさらに省くために、各文字位置決めブロックに対して、水平投影を行うことで文字高さを取得するとともに、当該文字位置決めブロックの幅と当該文字高さとに基づいて当該前景画素面積を推算してもよい。さらに、当該予め設定された文字の数Mは、当該メーターのダイヤルに応じて予め確認されたものである。さらに、図10に示されるように、ノイズ点に起因した干渉ブロックには、通常、前景画素点が少ないので、前景画素面積に基づいて少なくとも1つの文字位置決めブロックに対して大きい順に整列するとともに、上位M個の文字位置決めブロックを選択して分割モジュール144に入力して、残りの文字位置決めブロックを干渉ブロックとして除去してもよい。
上述した実施の形態と比べて、本実施の形態では、各文字位置決めブロックの前景画素面積に基づいて、ノイズ点に起因した干渉ブロックを特定することにより、真の文字に対応する、文字の幅が小さい文字位置決めブロックを干渉ブロックとして誤検出してしまうのを回避し、更に正確な除去効果を実現することができ、文字分割の効果をさらに最適化した。
一実施の形態では、図10を参照して、得られた少なくとも1つの文字位置決めブロックのうちに、ノイズ点に起因した干渉ブロックが若干ある。上記干渉ブロックをさらに正確に除去するために、文字分割装置140は、
非最近傍抑制アルゴリズム(NonNearestSuppression、以下はNNSと略称)により、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するための第2の除去モジュールをさらに含んでもよい。具体的に、上述したように、NMSアルゴリズムにより、少なくとも1つの文字位置決めブロックから、干渉ブロックを除去することは、具体的に、上記二値画像における最も左側の前景画素点と最も右側の前景画素点を見出して、両者の位置情報及び両者間の幅に基づいて、各文字に対応する文字黄金センターを特定し、さらに、各文字の文字黄金センターとの距離が最も近い文字位置決めブロックを選択して分割モジュール144に入力するとともに、残りの文字位置決めブロックを干渉ブロックとして除去することを含んでもよい。
上述した実施の形態と比べて、本実施例では、ノイズ点に起因した干渉ブロックを正確かつ簡単に除去することができ、文字分割の効果をさらに最適化した。
一実施の形態では、幾つかの文字(例えば、数字の「1」または「7」)の幅が小さいため、不完全な文字分割となりやすい。それを基にして、上記分割モジュール144は、さらに、
少なくとも1つの文字位置決めブロックの平均幅を特定し、前記少なくとも1つの文字位置決めブロックにおいて、幅が平均幅よりも小さい目標文字位置決めブロックがあれば、目標文字位置決めブロックの位置情報と平均幅とに基づき、文字領域画像に対して文字分割を行うためのものであってもよい。それにより、不完全な文字分割の発生を回避した。
図15は、本発明の一実施例に係る文字分割装置を示し、当該装置は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信接続されるメモリと、を含み、メモリには、少なくとも1つのプロセッサによって実行されることができるコマンドが記憶されており、コマンドが少なくとも1つのプロセッサによって実行されることにより、図1に示される文字分割方法、及び/又は、図7に示される別の文字分割方法を少なくとも1つのプロセッサに実行させることができる。
本願の幾つかの実施例によれば、コンピュータが実行可能なコマンドが記憶されており、当該コンピュータが実行可能なコマンドは、プロセッサによって運行されると、図1に示される文字分割方法、及び/又は、図7に示される文字分割方法を実行するように設置された、文字分割方法の不揮発性コンピュータ記憶媒体を提供する。
本願の幾つかの実施例によれば、ダイヤルには、読値を表示するための少なくとも1つの文字枠が含まれるメーターと、当該メーターのダイヤルを撮影して文字領域画像を取得するための撮像装置と、撮像装置に電気的に接続され、図1に示される文字分割方法、及び/又は、図7に示される文字分割方法を実行するための文字分割装置と、を備えた、スマートメーター読み取りシステムを提供する。
本願における各実施例は、漸進的な方式により記述されており、各実施例間における同一や類似した部分について、相互参照すればよく、各実施例では、他の実施例との相違点に重点を置いて説明されている。特に、装置、機器及びコンピュータ可読記憶媒体の実施例について、それらが方法実施例と基本的に同じなので、それらに対する記述は簡素化され、関連部分について、方法実施例における一部の説明を参照すればよい。
本願の実施例で提供される装置、機器及びコンピュータ可読記憶媒体は、方法と一対一で対応するものである。そのため、装置、機器及びコンピュータ可読記憶媒体は、それらに対応する方法と類似した有益な技術的効果を有するものである。以上は、方法による有益な技術的効果について詳しく説明されているので、ここでは、装置、機器及びコンピュータ可読記憶媒体による有益な技術的効果の説明を省略する。
当業者であれば分かるように、本発明の実施例は、方法、システム、または、コンピュータプログラム製品として提供されてもよい。そのため、本発明は、完全ハードウェアの実施例、完全ソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせた方面の実施例の形式が用いられてもよい。しかも、本発明は、1つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体(ディスクメモリ、CD-ROM、光学メモリなどを含むが、それらに限られないもの)に実施されるコンピュータプログラム製品の形式が用いられてもよい。
本発明は、本発明の実施例に係る方法、デバイス(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明していた。理解すべきなのは、コンピュータプログラムコマンドによって、フローチャート及び/又はブロック図における各プロセス及び/又はブロックや、フローチャート及び/又はブロック図におけるプロセス及び/またはブロックの組み合わせが実現されてもよい。これらのコンピュータプログラムコマンドを、汎用コンピュータ、専用コンピュータ、埋込型プロセッサ、または、他のプログラマブルデータ処理装置のプロセッサに提供することにより、機器を発生させ、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行されるコマンドによれば、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能を実現するための装置を発生させる。
これらのコンピュータプログラムコマンドは、コンピュータ又は他のプログラマブルデータ処理装置を特定の方式で作動するようにガイドできるコンピュータ可読メモリに記憶されてもよい。それにより、当該コンピュータ可読メモリに記憶されたコマンドは、コマンド装置を含む製品を発生させ、当該コマンド装置によれば、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能が実現される。
これらのコンピュータプログラムコマンドは、コンピュータ又は他のプログラマブルデータ処理装置にロードされてもよい。それにより、コンピュータ又は他のプログラマブル装置において、一連の操作を実行してコンピュータによって実現される処理を発生させ、さらに、コンピュータ又は他のプログラマブル装置によって実行されるコマンドは、フローチャートにおける1つのフローまたは複数のフロー及び/又はブロック図の1つのブロックまたは複数のブロックに指定された機能を実現するためのステップを提供する。
典型的な配置では、コンピュータ機器には、1つ以上のプロセッサ(CPU)、入出力インターフェース、ネットワークインターフェース及びメモリが含まれる。
メモリは、コンピュータ可読媒体における非永久的メモリ、ランダムアクセスメモリ(RAM)及び/又は不揮発性メモリなどの形式を有するものを含んでもよく、例えば、リードオンリーメモリ(ROM)又はフラッシュメモリ(flash RAM)が考えられる。メモリは、コンピュータ可読媒体の一例である。
コンピュータ可読媒体は、永久的・非永久的、移動可能・移動不可能な媒体を含み、任意の方法又は技術によって情報の記憶が実現されてもよい。情報は、コンピュータ可読コマンド、データ構成、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の例として、コンピュータ機器によってアクセスされ得る情報を記憶することができるような、相変化メモリ(PRAM )、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他の種類のランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)または他の光学記憶装置、磁気カセット、磁気テープ磁気ディスク記憶装置または他の磁気記憶装置または任意の他の非伝送媒体を含んでもよいが、それらによって制限されない。また、添付図面には、本発明方法の操作が特定の順序に従って記述されているが、しかし、それらの操作が当該特定の順序に従って実行されなければならないこと、または、示された全ての操作が実行されないと、所望の結果が実現されないことを要求したり、非明示に開示したりするためのものではない。付加的または選択的に、いくつかのステップを省略したり、複数のステップを1つのステップに合併して実行したり、及び/または、1つのステップを複数のステップに分割して実行したりすることができる。
本発明の精神と原理は、若干の具体的な実施の形態を参照して説明されているが、理解すべきなのは、本発明は、開示されている具体的な実施の形態によって限定されず、各態様の分割は、単に説明の便宜のためのものに過ぎず、これらの態様の特徴を組み合わせて利益を得ることができないことを意味しない。本発明は、添付の請求項の精神や範囲に含まれる様々な修正や同等の構成を包含することが意図される。

Claims (34)

  1. 少なくとも1つの文字枠を含む文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するステップ、
    エッジ検出アルゴリズムにより、前記階調画像をエッジ二値画像に変換するステップ、
    投影法により、前記エッジ二値画像から、文字枠分割ブロックを取得するステップ、および、
    輪郭検出アルゴリズムにより、前記文字枠分割ブロックから、目標文字領域を特定するとともに、前記目標文字領域に応じて、前記文字領域画像に対して文字分割を行うステップを含む、ことを特徴とする文字分割方法。
  2. エッジ検出アルゴリズムにより、前記階調画像をエッジ二値画像に変換する前に、
    前記階調画像をフィルタリング処理するステップをさらに含み、
    前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である、ことを特徴とする請求項1に記載の文字分割方法。
  3. エッジ検出アルゴリズムにより、前記階調画像をエッジ二値画像に変換する前記ステップは、
    canny演算子を用いて、前記階調画像に対してエッジ検出を行うとともに、前記エッジ検出の結果から、前記階調画像を前記エッジ二値画像に変換するステップを含む、ことを特徴とする請求項1に記載の文字分割方法。
  4. canny演算子を用いて、前記階調画像に対してエッジ検出を行う前に、
    前記階調画像の画質特徴を検出するステップ、および、
    前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するステップを含み、
    前記画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む、ことを特徴とする請求項3に記載の文字分割方法。
  5. 投影法により、前記エッジ二値画像から、文字枠分割ブロックを取得する前記ステップは、
    垂直投影法により、前記エッジ二値画像に対して分割処理を行うことで、前記少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの前記文字枠分割ブロックを取得するステップを含む、ことを特徴とする請求項1に記載の文字分割方法。
  6. 輪郭検出アルゴリズムにより、前記文字枠分割ブロックから、目標文字領域を特定する前記ステップは、
    輪郭検出アルゴリズムにより、前記文字枠分割ブロックにおける文字輪郭を特定するステップ、および、
    前記文字枠分割ブロックにおける前記文字輪郭の最小外接矩形領域により、前記目標文字領域を特定するステップ、を含む、ことを特徴とする請求項1に記載の文字分割方法。
  7. 少なくとも1つの文字枠を含む文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するための取得モジュールと、
    エッジ検出アルゴリズムにより、前記階調画像をエッジ二値画像に変換するためのエッジ検出モジュールと、
    投影法により、前記エッジ二値画像から、文字枠分割ブロックを取得するための投影モジュールと、
    輪郭検出アルゴリズムにより、前記文字枠分割ブロックから、目標文字領域を特定するとともに、前記目標文字領域に応じて、前記文字領域画像に対して文字分割を行うための輪郭検出モジュールと、を備えた、ことを特徴とする文字分割装置。
  8. エッジ検出アルゴリズムにより、前記階調画像をエッジ二値画像に変換する前に、前記階調画像をフィルタリング処理するためのフィルタリングモジュールをさらに備え、
    前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理である、ことを特徴とする請求項7に記載の文字分割装置。
  9. 前記エッジ検出モジュールは、
    canny演算子を用いて、前記階調画像に対してエッジ検出を行うとともに、前記エッジ検出の結果から、前記階調画像を前記エッジ二値画像に変換するためのものでもある、ことを特徴とする請求項7に記載の文字分割装置。
  10. 前記エッジ検出モジュールは、
    前記階調画像の画質特徴を検出し、
    前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するためのものでもあり、
    前記画質特徴は、大局コントラスト、大局階調平均値のうちの1つまたは複数を含む、ことを特徴とする請求項9に記載の文字分割装置。
  11. 前記投影モジュールは、
    垂直投影法により、前記エッジ二値画像に対して分割処理を行うことで、前記少なくとも1つの文字枠に対応する関係をもつ少なくとも1つの前記文字枠分割ブロックを取得するためのものでもある、ことを特徴とする請求項7に記載の文字分割装置。
  12. 前記エッジ検出モジュールは、
    輪郭検出アルゴリズムにより、前記文字枠分割ブロックにおける文字輪郭を特定し、
    前記文字枠分割ブロックにおける前記文字輪郭の最小外接矩形領域により、前記目標文字領域を特定するためのものでもある、ことを特徴とする請求項7に記載の文字分割装置。
  13. 1つまたは複数のマルチコアプロセッサと、
    1つまたは複数のプログラムを記憶するためのメモリと、を含み、
    前記1つまたは複数のプログラムが前記1つまたは複数のマルチコアプロセッサによって実行されると、前記1つまたは複数のマルチコアプロセッサに請求項1~7のいずれか1項に記載の方法を実現させる、ことを特徴とする文字分割装置。
  14. プログラムが記憶されており、前記プログラムがマルチコアプロセッサによって実行されると、請求項1~7のいずれか1項に記載の方法を前記マルチコアプロセッサに実行させる、ことを特徴とするコンピュータ可読記憶媒体。
  15. 文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するステップ、
    ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行って二値画像を取得するステップ、
    投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得するステップ、および、
    前記少なくとも1つの文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行うステップ、を含む、ことを特徴とする文字分割方法。
  16. ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行う前に、
    canny演算子を用いて、前記階調画像に対してエッジ検出を行って、エッジ画像を取得するステップ、
    ハフ変換方程式により、前記エッジ画像に対して直線検出を行って、前記エッジ画像の境界線を取得するステップ、および、
    前記境界線から、前記階調画像の境界部分を除去するステップをさらに含む、ことを特徴とする請求項15に記載の文字分割方法。
  17. canny演算子を用いて、前記階調画像に対してエッジ検出を行う前に、
    前記階調画像の画質特徴を検出するステップ、および、
    前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するステップをさらに含み、
    前記画質特徴は、大局コントラスト及び/又は大局階調平均値を含む、ことを特徴とする請求項16に記載の文字分割方法。
  18. canny演算子を用いて、前記階調画像に対してエッジ検出を行う前に、
    前記階調画像をフィルタリング処理するステップをさらに含み、
    前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理を含む、ことを特徴とする請求項16に記載の文字分割方法。
  19. ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行う前に、
    前記階調画像に対して対数変換を行うステップをさらに含む、ことを特徴とする請求項15に記載の文字分割方法。
  20. ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行う前記ステップは、
    前記ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像をクラスタリングして、C個のクラスタを取得するステップ、
    前記C個のクラスタのクラスタセンターから、前記C個のクラスタの属性をそれぞれ、特定するステップ、
    前記階調画像の任意1つの画素点の、前記C個のクラスタの各々に対応するC個のメンバーシップを特定するステップ、
    前記メンバーシップに応じて前記C個のクラスタを整列して、その中のN個のクラスタを特定するとともに、前記N個のクラスタの属性に応じて、前記階調画像の任意1つの画素点の属性を特定するステップ、および、
    前記階調画像の任意1つの画素点の属性に応じて、前記階調画像に対して二値化処理を行うステップ、を含み、
    ただし、前記C、前記Nが正の整数であり、且つ、前記Cが前記Nよりも大きい、ことを特徴とする請求項15に記載の文字分割方法。
  21. 投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得した後、
    前記少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出するステップ、および、
    前記前景画素面積に基づき、前記少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、前記少なくとも1つの文字位置決めブロックから、前記干渉ブロックを除去するステップを含み、
    前記干渉ブロックの前記前景画素面積は、少なくとも、前記少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前記前景画素面積よりも小さく、ただし、前記Mが予め設定された文字の数である、ことを特徴とする請求項15に記載の文字分割方法。
  22. 垂直投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得した後、
    非最近傍抑制アルゴリズムにより、前記少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するステップを含む、ことを特徴とする請求項15に記載の文字分割方法。
  23. 前記少なくとも1つの文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行う前記ステップは、
    前記少なくとも1つの文字位置決めブロックの平均幅を特定するステップ、および、
    前記少なくとも1つの文字位置決めブロックにおいて、幅が前記平均幅よりも小さい目標文字位置決めブロックがあれば、前記目標文字位置決めブロックの位置情報と前記平均幅とに基づき、前記文字領域画像に対して文字分割を行うステップ、を含む、ことを特徴とする請求項21または22に記載の文字分割方法。
  24. 文字領域画像を取得するとともに、前記文字領域画像を階調画像に変換するための取得モジュールと、
    ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像に対してクラスタ分析を行うとともに、前記クラスタ分析の結果から、前記階調画像に対して二値化処理を行って二値画像を取得するためのクラスタリングモジュールと、
    投影法により、前記二値画像から、少なくとも1つの文字位置決めブロックを取得するための位置決めモジュールと、
    前記少なくとも1つの文字位置決めブロックの位置情報に基づき、前記文字領域画像に対して文字分割を行うための分割モジュールと、を備えた、ことを特徴とする文字分割装置。
  25. canny演算子を用いて、前記階調画像に対してエッジ検出を行って、エッジ画像を取得するためのエッジ検出モジュールと、
    ハフ変換方程式により、前記エッジ画像に対して直線検出を行って、前記エッジ画像の境界線を取得するための直線検出モジュールと、
    前記境界線から、前記階調画像の境界部分を除去するための境界除去モジュールと、をさらに備えた、ことを特徴とする請求項24に記載の文字分割装置。
  26. 前記エッジ検出モジュールは、
    前記階調画像の画質特徴を検出するための画質検出モジュールと、
    前記階調画像の画質特徴により、前記canny演算子のパラメータを適応的に調整するためのパラメータ調整モジュールと、をさらに備え、
    前記画質特徴は、少なくとも、大局コントラスト及び/又は大局階調平均値を含む、ことを特徴とする請求項25に記載の文字分割装置。
  27. 前記階調画像をフィルタリング処理するためのフィルタリングモジュールをさらに備え、
    前記フィルタリング処理は、メディアンフィルタリング処理及び/又はガウスフィルタリング処理を含む、ことを特徴とする請求項25に記載の文字分割装置。
  28. 前記階調画像に対して対数変換を行うための対数変換モジュールをさらに備えた、ことを特徴とする請求項24に記載の文字分割装置。
  29. 前記クラスタリングモジュールは、
    前記ファジィC-平均クラスタリングアルゴリズムにより、前記階調画像をクラスタリングして、C個のクラスタを取得し、
    前記C個のクラスタのクラスタセンターから、前記C個のクラスタの属性をそれぞれ、特定し、
    前記階調画像の任意1つの画素点の、前記C個のクラスタの各々に対応するC個のメンバーシップを特定し、
    前記メンバーシップに応じて前記C個のクラスタを整列して、その中のN個のクラスタを特定するとともに、前記N個のクラスタの属性に応じて、前記階調画像の任意1つの画素点の属性を特定し、
    前記階調画像の任意1つの画素点の属性に応じて、前記階調画像に対して二値化処理を行うためのものでもあり、
    ただし、前記C、前記Nが正の整数であり、且つ、前記Cが前記Nよりも大きい、ことを特徴とする請求項24に記載の文字分割装置。
  30. 前記少なくとも1つの文字位置決めブロックの各々の前景画素面積を検出し、
    前記前景画素面積に基づき、前記少なくとも1つの文字位置決めブロックの中から干渉ブロックを検出するとともに、前記少なくとも1つの文字位置決めブロックから、前記干渉ブロックを除去するための第1の除去モジュールを備え、
    前記干渉ブロックの前記前景画素面積は、少なくとも、前記少なくとも1つの文字位置決めブロックの中のM個の文字位置決めブロックの前記前景画素面積よりも小さく、ただし、前記Mが予め設定された文字の数である、ことを特徴とする請求項24に記載の文字分割装置。
  31. 非最近傍抑制アルゴリズムにより、前記少なくとも1つの文字位置決めブロックから、干渉ブロックを除去するための第2の除去モジュールを備えた、ことを特徴とする請求項24に記載の文字分割装置。
  32. 前記分割モジュールは、
    前記少なくとも1つの文字位置決めブロックの平均幅を特定し、
    前記少なくとも1つの文字位置決めブロックにおいて、幅が前記平均幅よりも小さい目標文字位置決めブロックがあれば、前記目標文字位置決めブロックの位置情報と前記平均幅とに基づき、前記文字領域画像に対して文字分割を行うためのものでもある、ことを特徴とする請求項24に記載の文字分割装置。
  33. 1つまたは複数のマルチコアプロセッサと、
    1つまたは複数のプログラムを記憶するためのメモリと、を含み、
    前記1つまたは複数のプログラムが前記1つまたは複数のマルチコアプロセッサによって実行されると、
    前記1つまたは複数のマルチコアプロセッサに請求項15~23のいずれか1項に記載の方法を実現させる、ことを特徴とする文字分割装置。
  34. プログラムが記憶されており、
    前記プログラムがマルチコアプロセッサによって実行されると、
    請求項15~23のいずれか1項に記載の方法を前記マルチコアプロセッサに実行させる、ことを特徴とするコンピュータ可読記憶媒体。
JP2022533643A 2019-12-05 2020-09-29 文字分割方法、装置、および、コンピュータ可読記憶媒体 Active JP7508556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024018589A JP2024050880A (ja) 2019-12-05 2024-02-09 文字分割方法、装置、および、コンピュータ可読記憶媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201911233988.5A CN111046862B (zh) 2019-12-05 2019-12-05 一种字符分割方法、装置以及计算机可读存储介质
CN201911233988.5 2019-12-05
CN201911234826.3 2019-12-05
CN201911234826.3A CN111027546B (zh) 2019-12-05 2019-12-05 一种字符分割方法、装置以及计算机可读存储介质
PCT/CN2020/118675 WO2021109697A1 (zh) 2019-12-05 2020-09-29 字符分割方法、装置以及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024018589A Division JP2024050880A (ja) 2019-12-05 2024-02-09 文字分割方法、装置、および、コンピュータ可読記憶媒体

Publications (2)

Publication Number Publication Date
JP2023505663A true JP2023505663A (ja) 2023-02-10
JP7508556B2 JP7508556B2 (ja) 2024-07-01

Family

ID=76221415

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022533643A Active JP7508556B2 (ja) 2019-12-05 2020-09-29 文字分割方法、装置、および、コンピュータ可読記憶媒体
JP2024018589A Pending JP2024050880A (ja) 2019-12-05 2024-02-09 文字分割方法、装置、および、コンピュータ可読記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024018589A Pending JP2024050880A (ja) 2019-12-05 2024-02-09 文字分割方法、装置、および、コンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US20230009564A1 (ja)
EP (1) EP4071665A4 (ja)
JP (2) JP7508556B2 (ja)
KR (1) KR20220139292A (ja)
WO (1) WO2021109697A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984863B (zh) * 2023-03-17 2023-05-26 中化现代农业有限公司 图像处理方法、装置、设备及存储介质
CN116128877B (zh) * 2023-04-12 2023-06-30 山东鸿安食品科技有限公司 一种基于温度检测的排汽回收智能监测系统
CN116168027B (zh) * 2023-04-24 2023-07-04 山东交通学院 基于视觉定位的木工机械智能切割方法
CN116777845B (zh) * 2023-05-26 2024-02-13 浙江嘉宇工程管理有限公司 基于人工智能的建筑工地安全风险智能评估方法及系统
CN116681628B (zh) * 2023-08-03 2023-10-24 湖南华菱电子商务有限公司 一种基于深度学习的营业执照数据处理方法及系统
CN116843687A (zh) * 2023-09-01 2023-10-03 山东东方智光网络通信有限公司 一种通信光缆表面瑕疵检测方法及装置
CN117095423B (zh) * 2023-10-20 2024-01-05 上海银行股份有限公司 一种银行单据字符的识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08264591A (ja) * 1995-03-28 1996-10-11 Oki Electric Ind Co Ltd Tab接続方法
JPH1196292A (ja) * 1997-09-22 1999-04-09 Nec Corp 光学式文字読取方法および装置
US20150039637A1 (en) * 2013-07-31 2015-02-05 The Nielsen Company (Us), Llc Systems Apparatus and Methods for Determining Computer Apparatus Usage Via Processed Visual Indicia
JP2017027201A (ja) * 2015-07-17 2017-02-02 日本電産サンキョー株式会社 文字切り出し装置、文字認識装置、および文字切り出し方法
US20180012101A1 (en) * 2016-07-08 2018-01-11 Xerox Corporation Shadow detection and removal in license plate images
US20180068196A1 (en) * 2016-09-05 2018-03-08 Ingenico Group Method for the recognition of raised characters, corresponding computer program and device
JP2019057174A (ja) * 2017-09-21 2019-04-11 キヤノン株式会社 スキャン画像から文字情報を取得する画像処理装置、画像処理方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302098B2 (en) * 2004-12-03 2007-11-27 Motorola, Inc. Character segmentation method and apparatus
CN102426649B (zh) * 2011-10-13 2013-08-21 石家庄开发区冀科双实科技有限公司 一种简单的高准确率的钢印数字自动识别方法
CN104156704A (zh) * 2014-08-04 2014-11-19 胡艳艳 一种新的车牌识别方法及系统
CN105373794B (zh) * 2015-12-14 2018-02-06 河北工业大学 一种车牌识别方法
CN105825212A (zh) * 2016-02-18 2016-08-03 江西洪都航空工业集团有限责任公司 一种基于Hadoop的分布式车牌识别方法
CN109522889A (zh) * 2018-09-03 2019-03-26 中国人民解放军国防科技大学 一种基于图像分析的水文尺水位识别估算方法
CN109543688A (zh) * 2018-11-14 2019-03-29 北京邮电大学 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN109598271B (zh) * 2018-12-10 2021-02-09 北京奇艺世纪科技有限公司 一种字符分割方法及装置
CN109726717B (zh) * 2019-01-02 2022-03-01 西南石油大学 一种车辆综合信息检测系统
CN111027546B (zh) * 2019-12-05 2024-03-26 嘉楠明芯(北京)科技有限公司 一种字符分割方法、装置以及计算机可读存储介质
CN111046862B (zh) * 2019-12-05 2023-10-27 嘉楠明芯(北京)科技有限公司 一种字符分割方法、装置以及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08264591A (ja) * 1995-03-28 1996-10-11 Oki Electric Ind Co Ltd Tab接続方法
JPH1196292A (ja) * 1997-09-22 1999-04-09 Nec Corp 光学式文字読取方法および装置
US20150039637A1 (en) * 2013-07-31 2015-02-05 The Nielsen Company (Us), Llc Systems Apparatus and Methods for Determining Computer Apparatus Usage Via Processed Visual Indicia
JP2017027201A (ja) * 2015-07-17 2017-02-02 日本電産サンキョー株式会社 文字切り出し装置、文字認識装置、および文字切り出し方法
US20180012101A1 (en) * 2016-07-08 2018-01-11 Xerox Corporation Shadow detection and removal in license plate images
US20180068196A1 (en) * 2016-09-05 2018-03-08 Ingenico Group Method for the recognition of raised characters, corresponding computer program and device
JP2019057174A (ja) * 2017-09-21 2019-04-11 キヤノン株式会社 スキャン画像から文字情報を取得する画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP4071665A1 (en) 2022-10-12
JP7508556B2 (ja) 2024-07-01
EP4071665A4 (en) 2023-11-22
JP2024050880A (ja) 2024-04-10
WO2021109697A1 (zh) 2021-06-10
US20230009564A1 (en) 2023-01-12
KR20220139292A (ko) 2022-10-14

Similar Documents

Publication Publication Date Title
JP2023505663A (ja) 文字分割方法、装置、および、コンピュータ可読記憶媒体
CN111027546B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN109636732B (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN113781402B (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
TWI655586B (zh) 用於檢測預定區域中特定標識圖像的方法及裝置
CN111046862B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN115222741A (zh) 一种电缆表面缺陷检测方法
CN106780486B (zh) 一种钢板表面缺陷图像提取方法
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN113610774B (zh) 一种玻璃划痕缺陷检测方法、系统、装置及存储介质
Lo et al. Joint trilateral filtering for depth map super-resolution
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
CN116542982B (zh) 一种基于机器视觉的出发判断器缺陷检测方法及装置
CN116503388B (zh) 缺陷检测方法、装置及存储介质
CN113610772B (zh) 易拉罐瓶底喷码缺陷检测方法、系统、装置及存储介质
CN112017109B (zh) 一种在线铁谱视频图像气泡的消除方法
CN115546232A (zh) 一种肝脏超声图像工作区域提取方法、系统及电子设备
AlAzawee et al. Using morphological operations—Erosion based algorithm for edge detection
CN113538500B (zh) 图像分割方法、装置、电子设备和存储介质
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN115809999A (zh) 器件上目标对象检测方法、装置、电子设备及存储介质
CN112329572B (zh) 一种基于边框和闪光点的快速静态活体检测方法及装置
CN115830049A (zh) 角点检测的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240619

R150 Certificate of patent or registration of utility model

Ref document number: 7508556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150