JP4624593B2 - 文書画像復号方法 - Google Patents
文書画像復号方法 Download PDFInfo
- Publication number
- JP4624593B2 JP4624593B2 JP2001130954A JP2001130954A JP4624593B2 JP 4624593 B2 JP4624593 B2 JP 4624593B2 JP 2001130954 A JP2001130954 A JP 2001130954A JP 2001130954 A JP2001130954 A JP 2001130954A JP 4624593 B2 JP4624593 B2 JP 4624593B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- character
- column
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、全般的には、マルコフ情報源などの確率的有限状態ネットワークを使用する画像復号認識技法に関する。特に、本発明は、テキスト行画像を復号する際にダイナミック・プログラミング(動的計画法)操作で使用できる発見的(ヒューリスティック)スコアを作成する技法を提供する。
【0002】
【従来の技術】
米国特許第5321773号は、従来の通信理論に基づく文書画像復号(以下、DIDと略す。DIDは、Document Image Decodingの略)と呼ばれる文書認識技法を開示している。DIDモデルは、確率的メッセージ情報源、イメージャ、チャネル、およびデコーダを含む。確率的メッセージ情報源は、従来の確率分布に従って1組の候補文字列から有限文字列Mを選択する。イメージャは、メッセージを理想的なバイナリ画像Qに変換する。チャネル・モデルは、スキュー(斜め歪み)、ブラー(ぼけ)、付加的ノイズ(additive noise)など、印刷および走査による歪みを導入することによって、理想画像を観測画像Zにマッピングする。最後に、デコーダは、観測画像Zを受信し、ア・ポステオリ(後験的)な(MAP)決定基準に従って最初のメッセージの推定値M^(Mの上に“^”(ハット)が乗ったものと解されたい。文字コードの制限上、このように表記する)を作成する。最初のメッセージの推定値M^は、観測されるメッセージZのトランスクリプション(転写)と呼ばれることが多い。
【0003】
メッセージ情報源およびイメージャの機能が組み合わされることで、マルコフ情報源として実現される単一の合成情報源となる。マルコフ情報源とは、正規文法として特定のクラスの文書画像に生じる二次元(2D)空間レイアウト(配置)および画像構成要素群の全体を記述する確率論的有限状態オートマトンである。一般的なマルコフ情報源モデルは、1組の節(ノード)と、各節への1組の有向遷移とを含む有限状態ネットワークを備える。2つの顕著な節はそれぞれ、初期状態および最終状態を示す。画像はネットワーク内を通る道(パス)として表わされる。ネットワーク内の任意の先行要素状態と後続要素状態との間の有向遷移は、1組の属性に関連付けされている。これら属性の組には、遷移確率と、英語の記号または文字を識別するためのメッセージ文字列と、ページ画像で使用されるフォントで表された文字テンプレートと、道が次に取り出す画像内の(x,y)位置を示すベクトル変位を含む。このベクトル変位は、(wt,0)とラベル付けされる。変位(wt,0)は、テンプレートの「設定幅」である水平距離wを示す。テンプレートの設定幅は、この遷移に関連するテンプレートが画像内で占有するテキスト行上の水平(x方向)距離を指定する。
【0004】
米国特許第5321773号は、観測画像の復号処理において、初期状態から最終状態へと、モデルの節および画像平面の座標によってインデックスが付された三次元(3D)復号トレリス(菱形)・データ構造を通して最良の(MAP)道を見つけることを開示している。復号では、二次元形式のビタビ(ダイナミック・プログラミング:動的計画法)アルゴリズムを使用して、画像平面の各点で、再帰的に定義された1組の尤度関数が算出される。ビタビ手順の前進フェーズでは、画像内の各画素位置ごとに、各文字テンプレートを印刷することで得られる道群の中から、すでに算出されているすべての位置に到着するための最も可能性の高い道群を使用することによって、その位置に到着する可能性の最も高い道が識別される。
【0005】
最良の道の尤度を算出する場合、ある確率を有するある画像を予測するチャネル・モデルから導かれた確率分布が使用される。観測画像Zを復号する場合、画像平面の各点で、再帰的に定義された1組の尤度関数が算出される。各々の節の計算では、遷移のテンプレートが、画像点の近傍で、復号すべき画像の領域に対応している確率が算出される。このテンプレート画像確率は、画像点での特定のテンプレートと画像領域との一致(整合性)の度合いを示すテンプレート画像一致スコアによって表される。画像モデルを表す復号トレリスでは、テンプレート画像一致スコアはトレリス内の枝をラベル付けする。
【0006】
最良の道上のソース・モデル内の開始節から終了節までの各節間の遷移に関連する文字テンプレートの系列は、復号画像のメッセージまたはトランスクリプションを形成するように連結される。
【0007】
モデルによって定義される画像のサイズおよび複雑さ(すなわち、遷移の数)と、マッチング処理すべきテンプレートの数は計算時間の主要な因子である。
【0008】
計算時間に影響を与える重要な因子は実テンプレート画像スコアの計算である。ここで、各テンプレートは、当該画像中の各画像位置に整合している。
【0009】
復号効率を改善する必要があることを認識した米国特許第5526444号(以下、ICP特許第5526444号と呼ぶ)は、各テキスト行を復号するのに必要な時間を削減する繰り返し完全パス(Iterated CompletePath:以下、ICPと略す)と呼ばれる発見的アルゴリズムを開示する。
復号時には、ICPによって、各節への削減された1組の遷移群のみに対して水平モデルが実行される(すなわち、実テンプレート画像一致スコアが算出される)。ここで、各節への削減された遷移の数は、その節へのすべての可能な遷移の数よりもかなり小さい。
【0010】
ICPは、画素の水平行の大部分の全ビタビ復号を、その行のスコアの単純上界の計算で置き換える。この上界スコアは発見的関数から導かれる。したがって、水平テキスト行が生じる可能性があることを垂直モデルが示す画像の各領域ごとに、各行がテキスト・ベースラインであるかのようにこの領域内の各画素行に対して全ビタビ復号を実行するのではなく、まず、各水平行ごとに発見的スコアを導く。
【0011】
【発明が解決しようとする課題】
ICPアルゴリズムは全体的な復号時間を顕著に改善したが、DID法を使用した単一列(単一コラム)のテキストだけの単一のページの文書認識は依然として商業的に実際的なものではなかった。復号時間は、発見的スコアの代わりに実スコアが算出されるときに、個々の水平テキスト行に対して全ビタビ復号を実行することに費やされる。ICP特許第5526444号で開示された技術的進歩によって実現される改良は、顕著なものであるが、個々のテキスト行の効率的な復号に対処するものではなかった。個々のテキスト行の復号時間をさらに短縮することが望ましい。
【0012】
【課題を解決するための手段】
本発明の技法は、実スコアよりも計算するのが簡単であると共に復号計算において実スコアを十分正確に表す発見的スコアを使用することで、テキスト行の全ビタビ復号中に実テンプレート画像一致スコアを算出することを不要にすることができるという観測に基づくものである。
【0013】
本発明は、列画素カウントに基づく新しい上界発見的テンプレート画像一致スコアを算出し、画像情報源としての確率的有限状態ネットワークと、復号を実行するためのビタビ手順などの動的計画法(ダイナミック・プログラミング)演算とを使用する任意の全ページ・デコーダまたは全ライン・デコーダでのテキスト行の復号時に、この新しいヒューリスティックを使用する技法を導入する。
【0014】
本発明のスコアリング・ヒューリステッィクには2つの重要な利点がある。発見的(ヒューリスティック)列ベースのスコアリング(スコア付け演算)により、文書画像モデルを表す確率的有限状態ネットワーク内の行内節の真の上界スコアが作成され、これにより行復号時にこの発見的スコアを使用することにより、算出する必要のある実テンプレート画像一致スコアの数を、行復号の精度を犠牲にすることなく減らすことができる。
【0015】
また、この発見的(ヒューリスティック)スコアを使用すると、実テンプレート画像スコアの二次元計算は主として、より簡単な、この発見的スコアの一次元計算になる。列ベースの発見的スコアのより簡単であるが正確な計算により、従来の復号方法が必要とする、計算コストのかかる非常に多数の実テンプレート画像スコアがこの発見的スコアで置き換えられるので、計算効率が顕著に向上する。列ベースの発見的スコアは、文字テンプレートの列内のON画像および画像の列内のON画像の数に関する情報を表す一次元データ構造を使用して算出される。
【0016】
【発明の実施の形態】
この実施の形態の技法は、ある定義を考慮したときに最も良く理解される。すなわち、「グリフ」という用語は、本明細書では、画像内に実現される文字の単一のインスタンス、すなわち例を指す。
【0017】
この実施の形態では、文字テンプレート・データ構造のライブラリが使用される。テンプレート21(図2)などの各テンプレート・データ構造は、文字のビットマップ画像を示す。文字には、その文字を一意に識別するための文字ラベルが対応づけられている。
【0018】
テンプレートは、寸法m×nの画素群を有し、さらに、テンプレート21ではクロスバー(十字形)によって示された原点と、文字の設定幅wとを有する。各テンプレートのテンプレート原点は、各テンプレート内の同じ位置に指定されている。図2では文字テンプレートが2D画素アレイとして示されているが、これはテンプレートを表すことのできるデータ構造の一つのタイプである。テンプレートは、垂直ストローク、ジョイン(join:接合部)、アセンダ(英文組版で“x”より上に伸びた部分)、ディセンダ(英文組版でベースラインより下に伸びた部分)、湾曲部などのようなビットマップ文字の各断片を連結することによって作成するか、あるいは完全な文字テンプレートを表す明示的な2D画素アレイを出力として作成する形式モデルによって表すこともできる。
【0019】
ビットマップ文字テンプレートの「サポート」または「前景」は、テンプレートが背景と異なる1組の画素位置群である。白い背景上に黒いテキストを含む文書では、テンプレート・サポートは1組の黒い(「ON」)テンプレート画素群である。文字テンプレートは、黒以外の色の前景画素を有するテンプレートとして定義することもでき、あるいは黒い背景上に白いテキストを示す「反転ビデオ」テンプレートであってもよい。
【0020】
テンプレートのサポート領域および背景領域は、いくつかの異なるレベルに分離し、それぞれの画像発生確率を割り当てることができる。サポート領域および背景領域が2つの異なるレベル(1つが黒い背景画素のレベル、もう1つが白い背景画素のレベル)であるに分離されるテンプレートを、本明細書では「バイレベル(bi-level)」テンプレートと呼ぶ。このテンプレートは、最大で2つの画素レベルを示す。バイレベル・テンプレートは、いくつかの黒い前景画素に関してそれぞれの異なる発生確率を示す、2つ以上の黒前景画素レベルを含むマルチレベル・テンプレートと区別することができる。
【0021】
本発明では、発見的スコアを算出するために特殊なデータ構造、すなわち、上界発見的スコアを効率的に算出することを可能にする文字テンプレート・データ構造および画像テキスト行データ構造から導かれる、より簡単な一次元サロゲート(代用物)が作成される。このようなサロゲート・データ構造は「テンプレート・アナログ・データ」構造および「画像アナログデータ」構造と呼ばれ、各データ構造は、それぞれの情報源データ構造に存在する前景列画素カウント値に関する情報を示す。
【0022】
図1の演算200によって、テンプレート・ライブラリ20内の各バイレベル・テンプレートまたは標準テンプレートごとに1組の一次元(1D)1×mテンプレート列アレイ(配列)群40が作成される。テンプレート列アレイ内の各データ項目は、テンプレート内の1列の画素に対応し、そのテンプレート画素列内のON画素の数を示す。図2は、テンプレート・ライブラリ内のテンプレート21、22、23、および24のテンプレート列アレイ群40の作成を概略的に示している。この例では、アレイ群40は、個々のテンプレート21〜24にそれぞれ対応するテンプレート列アレイ42,44,46,48を含んでいる。テンプレート列アレイ群40を作成するプロセスの擬似コードは以下のとおりである。
【0023】
【0024】
演算300では、観測画像Zと呼ばれる、復号すべき画像内の幅Wの画像領域を入力として使用して、1×W画像テキスト行列アレイ60が作成される。図3は、入力画像の画像領域50に関する画像テキスト行列アレイ60の作成を概略的に示している。画像テキスト行列アレイ60は、以下では画像アレイ60と呼ばれ、テキストのベースライン上にあるか、あるいはその近傍にあるとみなされる画像Z内のある水平画素行yに対して作成される。画像アレイ60内の各データ項目は、Z内の画像幅分の画像領域の中の画素列に対応し、その画素列内のON画素の数を示す。画像領域50は寸法n×Wを有し、この場合、nはテンプレート・ライブラリ内のテンプレートの高さを示す。画像アレイ60を作成するプロセスの擬コードは以下のとおりである。
【0025】
【0026】
復号は、テンプレート列アレイ40および画像アレイ60を使用して作成された発見的スコアを用いて開始し、実テンプレート画像一致スコアは必要に応じて算出される。また、発見的スコアは、画像ベースラインの周りにテンプレートを垂直に位置決めした場合のいかなる場合にも有効である。
【0027】
発見的列ベース・スコアリングを使用したテキスト行の復号は、実テンプレート画像一致スコアではなく発見的列ベース・スコアを使用してテキスト行を通る最良の道を識別することによって、ビタビ復号手順を実行することから成る。ビタビ・デコーダは、テンプレート・ライブラリ内のすべてのテンプレートに画素位置xiで観測画像との最良の一致を示す水平テキスト行内の各画素位置xiごとのスコアを必要とする。列ベースの発見的スコアは、テキスト行復号が開始される前に算出される。図1の演算400では、画像アレイ60および1組のテンプレート列アレイ群40を入力として使用して列ベースの発見的スコア70が作成される。発見的スコア・アレイ70はk×wのアレイであり、この場合、kは情報源モデル内のテンプレートの総数であり、wは、復号中の画像テキスト行またはその一部の幅である。列ベースの発見的スコアは、画像テキスト行のあらゆる画像位置iで、あらゆるテンプレートについて算出され、すべてのスコアは、動的計画法(ダイナミック・プログラミング)復号演算で使用できるように記憶される。
【0028】
図4は、発見的スコア70がどのように作成されるかを概略的に示している。
画像アレイ60内の各アレイ要素ICiは、テキスト行画像内の画素位置xiに関する列ベースの画素カウントを表す。1組のk個のテンプレート列アレイ群40内の各テンプレート列アレイ45は、その各エントリ43が当該テンプレート内のその列に関する列ベースの画素カウントを表す1×mアレイである。演算400では、復号中のテキスト行画像内の各画素位置での各テンプレートごとに1つのスコア、合計k×w個のスコアが作成される。図4は、k×w発見的スコア・アレイ70に記憶されたこの1組の発見的スコアを示している。テキスト行画像内の画素位置xiの発見的スコアを示すアレイ70内のスコアSk(i)を作成する場合、各テンプレート列アレイ内の各エントリが、文字テンプレートの幅にわたって、アレイ要素IC1から始まる画像アレイ60内の連続する同じ数のエントリと1つずつ比較される。図4は、双方向矢印を含む線を使用してこの比較を表している。比較された各エントリ対の最小値(すなわち小さい方の値)が取り出され、そのテンプレートのスコアを示す連続和に加えられる。最小値のすべての和から得た最終テンプレート・スコアがスコア・アレイ70内のエントリSk(i)になる。1組のアレイ群40内の各テンプレート列アレイは、同様に、エントリICiから始まる画像アレイ60内の1組のアレイ・エントリと比較される。上述の演算400の擬似コードは以下のとおりである。
【0029】
【0030】
発見的スコアを算出する際、特定の比較演算に関して短すぎるか、あるいは長過ぎるデータ構造は、計算を容易にするための必要に応じて、ゼロでパディングする(埋める)ことによって必要な長さに延ばされるか、あるいは必要な長さに打ち切られる。列ベースの発見的スコアは、実テンプレート画像一致スコアの真の上界スコアである。実テンプレート画像一致スコアでは、各テンプレート列の寄与は、テンプレート画像AND演算の後にONになる列内の画素の数である。
AND演算によって、このONテンプレート列画素数が、テンプレート列内のON画素の数、すなわち突き合わせている画像列内のON画素の数を超えることはなくなる。したがって、テンプレート内のON列画素の数と画像内のON列画素の数との間での最小値(小さい方)は、テンプレートと画像の間の実一致スコアの真の上界である。
【0031】
列ベースの発見的スコアリングは、マルチレベル・テンプレートを使用するシステムでのテキスト行復号に適用することができる。マルチレベル・テンプレートを使用した復号は、バイレベル・テンプレートまたは標準テンプレートを使用した場合よりも正確なトランスクリプション結果を与える。
【0032】
マルチレベル・テンプレート620(図5)は、前景画素および背景画素を観測画像内のそれらの発生確率に従ってそれぞれの異なる画素グループに分類する。各画素グループが、テンプレート・レベルである。図5は、一例として5レベルのテンプレートを、5つの矩形を積み重ねた集まりとして示している。ここで各矩形はそれぞれ、寸法m×nを有し、指定された画素を含む1つのテンプレート・レベルを示す。
【0033】
単一レベルのテンプレートの各列内の黒画素および白画素は、マルチレベル・テンプレートでは、複数のテンプレート・レベルにわたって分散する。1つの画素が複数のレベルに属することはできず、各画素はあるレベルにだけ存在し、したがって、各画素は1つのレベルにだけ、1度だけ現れる。
【0034】
テンプレート・レベルは3種類のうちの1つとして指定することができる。第1の種類である黒画素テンプレート・レベルは、文字画像内の黒画素のうち、背景画素であるよりも前景画素(黒)である方の確率が高い画素のセットを含み、実テンプレート画像一致スコアの算出時に正の重みが関連付けされる。テンプレート・レベル621、622、623は、各レベルにおいてラベル631「bl」(blackの略)で示されているように黒画素テンプレートとして指定されている。第2の種類である白画素テンプレート・レベルは、文字画像内の白画素のうち、背景画素であるよりも白画素である確率の方が高い画素のセットを含み、負の重みが関連付けされる。図5のテンプレート620は、ラベル633「wh」で示(whiteの略)されているように1つの白画素テンプレート・レベル624を含む。第3の種類背景テンプレート・レベルは、文字画像の「サポート」のいかなる部分も形成しない背景画素のセットである。背景テンプレート・レベルはテンプレート画像一致スコアリング・プロセスに関与しない。図5のテンプレート・レベル625は、ラベル634「bk」(backgroundの略)で示されているように背景画素テンプレートとして指定されている。一般に、マルチレベル・テンプレートは、少なくとも2つの黒前景画素レベルおよび1つの背景中立画素レベルを含む。
【0035】
またマルチレベル文字テンプレートは、各レベル毎に関連づけて、観測画像内の文字画像に現れる当該レベルの画素群の確率を示す確率または重みを有する。図5は、レベルの番号を示す下付き文字を有するwで指定されたボックスとして確率650を示している。
【0036】
nレベルのマルチレベル・テンプレートの実スコアを算出するには、黒及び白のテンプレート・レベル群のそれぞれと画像との(n−1)回のマッチング処理が必要があり、この計算において中立(背景)レベルは使用されない。図5の5レベル・テンプレート620の実スコアを算出するには、テンプレートと画像の4回のテンプレート画像マッチング計算と、各テンプレート・レベルでの各和の適切な重み付け(正または負)とが必要である。
【0037】
白画素テンプレート・レベルは、その確率に対応する負の重みを有し、これにより、実テンプレート画像一致スコアを算出する際にこのレベルを使用した場合、一致スコアが低くなるか、あるいはスコアに対して影響がないかのいずれかである。
【0038】
マルチレベル・テンプレートの発見的スコアを算出するプロセスは、観測画像内のON画素をテンプレートの様々なレベルに割り当てることを暗黙的に考慮して構成されている。マルチレベル・テンプレートを使用した発見的スコアも列ベースのスコアである。スコアリング・プロセスは、計算効率が高いと共に、発見的スコアを真の上界スコアになるように最大にする。
【0039】
テンプレート620(図5)は、テンプレート列内に総数でn個のON画素およびOFF画素を含む。この場合、nは列の高さを画素単位で表した場合の値である。このn個の画素は、様々なテンプレート・レベルに割り当てられるか、すなわちこれらのテンプレート・レベル間で分散される。
【0040】
所与のテンプレートに関する列ベースのテンプレート画像発見的スコアは、観測画像列(観測画像内の列)内のON画素が、最高の確率を有する黒テンプレート・レベル列群に割り当てられたときに最大になる。これは、それら各黒テンプレート・レベル列ごとにその最大ON画素数に達するまでである。次が中立背景レベルに割り当てられたときであり最後が白テンプレート・レベルに割り当てられたときである。このようにして各テンプレート・レベルの各列に画像列画素群を割り当てることを、テンプレート・レベルの「充填(fill)」と言うことができる。発見的スコアは、観測画像列内のON画素が黒テンプレート・レベルに割り当てられた黒画素を充填したときに高くなり、観測画像列内のON画素が、白テンプレート・レベルに割り当てられた白画素を充填したときに低くなる。
【0041】
【表1】
【0042】
表1は、図5の5レベル・テンプレート620を使用した、テンプレート列内の画素と画像列内の画素との一致に関する列ベースの発見的スコアを算出するために使用されるサンプル・データを示している。表1は、確率値の降順に配列された5つのテンプレート・レベル620を示している。表1において、背景テンプレート・レベル625の確率の絶対値が、白テンプレート・レベル624の確率の絶対値よりも高く、したがって画素割付けの実行時に先に「充填される」ので、レベル625がレベル624の前に位置することに留意されたい。テンプレート620は、この例では画素高さが25画素であるものと仮定している。各テンプレート・レベルにはいくつかのON画素またはOFF画素が割り当てられる。たとえば、テンプレート・レベル623は9つのON画素を含む。画素列黒画素カウント・データの3つの例が表1に示されている。第1の例では、観測画像列内に15個ないし21個の黒画素がある。これらの黒画素は、合計で15個の黒画素によって黒テンプレート・レベル621、622、および623を完全に充填する。最大で6個の、観測画像列内の他の黒画素は、背景レベル625を充填する。この観測画像列の発見的スコアは以下のように算出される。
【0043】
[数1]
Score(15...21)=2*w621+4*w622+9*w623 (1)
背景レベル625は発見的スコアを算出する際には使用されず、観測画像列内の黒画素16から21は発見的スコアに対して無効である。
【0044】
表1の第2の観測画像の例において、23個の黒画素は、合計で15個の黒画素によって黒テンプレート・レベル621、622、および623を充填する。
観測画像列内の他の6個の黒画素は背景レベル625を完全に充填する。残りの2個の黒画素は白テンプレート・レベル624を部分的に充填する。この観測画像列の発見的スコアは以下のように算出される。
【0045】
[数2]
Score(23)=2*w621+4*w622+9*w623+2*w624(ただしw624<0) (2)
【0046】
11個の黒画素を有する、表1内の第3の観測画像列の例の発見的スコアは以下のように算出される。
【0047】
[数3]
Score(11)=2*w621+4*w622+5*623 (3)
上述の、列ベースの発見的スコアを算出する擬似コードは以下のとおりである。
【0048】
【0049】
観測画像列内で取り得るすべての黒画素数について、観測画像列とマルチレベル・テンプレート内の列との一致に関する列ベースの発見的スコアを事前に算出し、テーブルに格納しておくことができ、この場合、観測画像列内の黒画素数は、そのテーブルの索引インデックスとして働く。上記の擬似コードに示されたプロセスに従って算出されるスコアから成る個の1×nテーブルの組が、テンプレート・ライブラリ内の各m×nマルチレベル・テンプレートごとに作成される。
【0050】
確率論的有限状態ネットワークがマルチレベル・テンプレートを用いるときのテキスト行のデコードに必要な発見的スコアの計算のための擬似コードを以下に示す。
【0051】
【0052】
この擬似コードは、k×w個の出力スコア・アレイを作成する。この場合、kは情報源モデル内のテンプレートの総数であり、wは、復号中の画像テキスト行またはその一部の幅である。
【0053】
さらなる効率化を実現するに、テンプレート列アレイと画像列アレイとの間で2分の1の比較および加算しか必要とされない場合に、単一の発見的スコアの計算を係数2で圧縮する(2分の1にする)ことができる。これは、2つの隣接する画素列内の前景画素の和である前景画素カウントを含む画像列アレイ群およびテンプレート列アレイ群を作成することによって実現することができる。
【0054】
図6は、テンプレート列アレイ46内の2つの列画素カウントから成る群を合計して単一の組合せ列画素カウントを作成する方法を示す、1Dテンプレート画素和データ構造86を概略的に示している。データ構造86は、データ構造46と同じ1×mデータ構造であるように示されている。一つの実装では、図2のテンプレート列アレイがまず算出され、次いで、隣接する列前景画素のカウントが合計され、テンプレート列アレイ・データ構造のエントリ群の2分の1に(すなわち、1エントリおきに)格納される。もちろん他の実装方式も可能である。
【0055】
1D画像画素和データ構造を算出する場合、画像アレイ60内のあらゆる2つの隣接する列画素カウントが合計され単一の組合せ列画素カウントが作成される。画像画素和データ構造内の各組合せカウントは、画像アレイ60内の互いに隣接する列画素カウント同士数の和を表し、ここで和をとる列画素カウントのペアは、隣接するペアと一部が重なる。
【0056】
列ベースの発見的スコアを作成する場合、テンプレート画素和データ構造内の組合せ列画素カウントが画像画素和データ構造内の対応する組合せ画素カウント和と突き合され、最小画素カウント(小さい方のカウント)が求められる。次いで、これらの最小値が合計されスコアが作成される。
【0057】
テキスト行画像内のあらゆる画像位置iでの発見的スコアの計算を不要にすることによって、計算をさらに削減することができる。ある画像位置の上界発見的スコアを隣接する次の画像位置の上界発見的スコアとして使用することによって、他の上界発見的スコアを算出することができる。
【0058】
より少ない数の計算によって発見的スコアを作成する上述の概念およびプロセスは、マルチレベル・テンプレートのスコアの作成に適用することもできる。
【0059】
ビタビ手順を列ベースの発見的スコアリングと共に使用してテキスト行画像を復号する主要な関数を図7のフローチャートに示す。発見的スコアを使用した復号では通常、数回の反復が必要である。復号の反復により、ボックス510で、テキスト行を通る節の最良の道が推定される。この最良の道での節同士の間の遷移は、現時点でのテキスト行の推定メッセージ(トランスクリプション)を含む文字ラベル群を示す。次のビタビ反復が開始される前に、ボックス530で、推定された最良の道の一部として識別された各節について実テンプレート画像一致スコアが算出される。このプロセスを最良の道の再スコアリングと呼ぶ。
【0060】
次いで、推定された最良の道の各節の再スコアリングが完了すると、ボックス540で、各節毎に、その節のx位置でのいくつかの異なる垂直(y)位置において、推定された最良の道の一部として識別された各テンプレートがテキスト行画像と突き合される。各y画像位置ごとに実テンプレート画像一致スコアが作成される。各テンプレートに関して算出される最大実スコアが各節のy画像位置を示す。推定された最良の道に沿った各節位置での単一のテンプレートの実スコアが算出され、ベースラインの最良の位置が判定される。
【0061】
次いで、ボックス510で、すでに推定されている最良の道の再スコアリングされた節の実スコアを使用すると共に、他のすべての画像位置に列ベースの発見的スコアを使用して、テキスト行のビタビ復号が繰り返される。最良の道に沿ったすべての節が再スコアリングされるか、あるいは現在のビタビ位置が前の反復で見つかった最良の道と同じになったことがボックス548のテストで示されるまで、テキスト行の復号が反復される。
【0062】
実験結果は、フルページ(2D)ビタビ・デコーダにおける列ベースの発見的スコアリングを使用したテキスト行の復号の場合、全体の計算時間が係数40で圧縮されることを示している。この利得は2つの部分において得られる。第1に、実験結果は、主として、行復号のために実スコアではなく発見的スコアを算出することによる時間短縮のために、単一のテキスト行を復号するのに必要な計算時間が係数8だけ短縮されることを示している。第2に、列ベースの発見的スコアリングは、5つの垂直ベースライン位置について実テンプレート画像一致スコアを作成することを不要にする。各ベースライン位置について実テンプレート画像一致スコアを求めることは、フルページ(2D)ビタビ復号では、実ベースラインが不明であるために必要になるものであるが、これが本実施形態の手法では不要になる。列ベースの発見的スコアリングでは、ベースラインの最良の垂直位置の上界が自動的に与えられる。
【0063】
本実施形態の手法は、図8のプロセッサ制御型マシン100と共通の構成要素、特性、および構成を有するあらゆるマシンで実現することができる。
【0064】
マシン100は、本実施形態の手法を実施するために特別に構成し最適化したものでもよいし、記憶したコンピュータ・プログラムによって選択的に活動化または再構成される汎用コンピュータを備えたものでもよい。
【0065】
マシン100の物理的構成要素を実際に接続する方法には、いくつかまたはすべての構成要素間のハード配線物理接続と、リモート通信網またはローカル通信網ならびに赤外線接続および無線接続などによる、有線通信設備または無線通信設備を介した接続を含めることができる。
【0066】
マシン100は、例えば、図1の演算200、300、400、および500を実行して、テンプレート列アレイおよび画像領域列アレイを使用した列ベースの発見的スコアを算出し、この発見的スコアを使用してテキスト行画像復号を実行するように構成される。あるいは、マシン100は、マルチレベル・テンプレートについて作成されたテンプレート・スコア・テーブルを使用して列ベースの発見的スコアを算出する演算を行うように構成することができる。入力観測画像は、信号源158、すなわちたとえば、画像スキャナやデジタル・カメラなどの撮像装置、メモリ装置、通信チャネル、データ・バス、演算を実行する他のプロセッサ、他の適切なビットマップ画像信号源など、から与えることができる。信号源158から与えられた入力画像は、入力回路156を介してプロセッサ140に転送され、データ・メモリ114に記憶することができる。マシン100には、画像を表示できる従来型の表示装置(図示せず)、または印刷装置を含めることもできるが、このことは必須ではない。
【0067】
プロセッサ140は、プログラム・メモリ110にアクセスして命令を取り出し、この命令を実行することによって動作する。マシン100が、図1に示された演算を実行するように構成されている場合、プログラム・メモリ110は、列ベースの発見的スコアリングを使用したテキスト行復号を実行するために図1の演算500を実施するテキスト行復号命令を含む。プログラム・メモリ110は、このような演算に関して、既に例示した擬似コードで示された処理内容に従って、テンプレート列アレイ40、画像アレイ60、および発見的列ベース・スコア70を作成する命令サブルーチンを含む。
【0068】
プロセッサ140は、命令の実行時に、データ・メモリ114にアクセスし、演算を実行するのに必要なデータを得るか、あるいは格納する。たとえば、プロセッサ140は、計算済みの発見的スコア70をデータ・メモリ114に格納する。
【0069】
図8は、マシン100でソフトウェア・プロダクト160を使用できることも示している。ソフトウェア・プロダクト160は、記憶媒体アクセス回路150からアクセスできるデータ記憶媒体170を含む。ソフトウェア・プロダクト160は、データ記憶媒体170と、このプロダクトについて説明した適切な文書とを含む収縮包装(シュリンクラップ)パッケージの形で市販することができる。
【0070】
記憶媒体アクセス回路150は、データ記憶媒体170が、サーバなどリモートに位置する記憶装置の一部として記憶されているときに、データ記憶媒体170上の命令データにアクセスするために通信アクセス・ソフトウェアおよび回路を含む。ソフトウェア・プロダクト160は、リモートに位置する記憶装置から通信設備を介してユーザに送信される、本実施形態の方法を実施するための命令データを示すデータ・ストリーム、の形で市販するか、あるいはその他の方法でユーザによって利用できるようにすることができる。
【0071】
データ記憶媒体170は、列ベースの発見的スコアリングを使用したテキスト行復号が使用されるときに実行できるようにプロセッサ140に供給される図1の演算200、300、400、および500を実行するための命令データ166および168、またはマルチレベル・テンプレートに関する演算を実行するための命令データを記憶する。
【図面の簡単な説明】
【図1】 列ベースの発見的スコアリングを使用して画像テキスト行を復号する復号演算を示すフローチャートである。
【図2】 1組のテンプレートに関して作成された、一次元列ベースの、1組のテンプレート画素カウント・アレイの概略図である。
【図3】 入力画像の水平画像領域に関して作成された、一次元列ベースのテンプレート画素カウント・アレイの概略図である。
【図4】 列ベースの発見的スコアを算出する方法を説明するための概略図である。
【図5】 本発明の第2の実施形態で使用される種類のマルチレベル文字テンプレートの概略図である。
【図6】 複数のテンプレート画素カウント列が合計される発見的スコアリングの変形例の概略図である。
【図7】 列ベースの発見的スコアリングが使用されるときに画像テキスト行復号手順の変形例を示すフローチャートである。
【図8】 本発明を実施できるように構成されたマシンを示し、本発明に係るソフトウェア・プロダクトと、このプロダクトを上記のマシンと共に使用する方法とをさらに示す簡略化されたブロック図である。
【符号の説明】
21,22,23,24 テンプレート、40 テンプレート列アレイ群、42,44,46,48 テンプレート列アレイ。
Claims (4)
- プロセッサ制御型マシンを用いてテキスト行画像を復号する方法であって、前記マシンはプロセッサと、データを記憶するメモリ装置とを含み、前記メモリ装置に記憶されているデータは、前記プロセッサが前記マシンを操作するために実行する命令データを含み、前記プロセッサは、前記メモリ装置に記憶されている命令データにアクセスしそれを実行するために前記メモリ装置に接続されているマシンを用いた復号方法において、
(a)それぞれが文字記号を示す複数の画像グリフを含むビットマップ画像領域を示す入力テキスト行画像を受け取るステップと、
(b)前記マシンの前記メモリ装置に記憶されている複数の文字テンプレート及び文字ラベルを取得するステップであって、前記各文字テンプレートは文字記号の二次元ビットマップ画像を示すとともに、前記各文字テンプレート、当該文字テンプレートによって表される文字記号を識別するための文字ラベルに対応づけられているところのステップと、
(c)入力テキスト行画像の画像部分の列内の画像前景画素の画素カウント値を用いて一次元画像アナログデータ構造を作成するステップと、
(d)複数の文字テンプレートのそれぞれの文字テンプレートの列内のテンプレート前景画素の画素カウント値を用いて複数の一次元テンプレートアナログデータ構造を作成するステップと、
(e)前記一次元画像アナログデータ構造と前記複数の一次元テンプレートアナログデータ構造とを用いて複数のテンプレート画像発見的スコアを算出するステップであって、これら各テンプレート画像発見的スコアのそれぞれが、前記複数の文字テンプレートのうちの1つと前記入力テキスト行画像の画像部分の二次元領域との一致度の推定値を示すところのステップと、
(f)複数の節と、前記入力テキスト行画像内の文字記号群の予測される空間配置のモデルを示すそれら各節間の遷移と、を含む確率的有限状態ネットワークを示す復号トレリス・データ構造を使用して動的計画法演算を実行するステップであって、前記動的計画法演算では、前記複数の文字テンプレートの各々と前記入力テキスト行画像の画像部分の二次元領域との一致度を表す複数の実テンプレート画像一致スコアの代わりに前記複数のテンプレート画像発見的スコアを用いて前記入力テキスト行画像を復号し、その中に含まれる画像グリフによって表される文字記号の文字ラベルを生成するところのステップと、
を含む方法。 - 前記複数のテンプレートアナログデータ構造を作成するステップ(d)が、前記文字テンプレート内の各列ごとのテキスト列前景画素のカウント値を示す一次元テンプレート画素カウント・データ構造を、前記各文字テンプレートごとに作成するステップを含み、
前記一次元画像アナログデータ構造を作成するステップ(c)が、前記画像部分内のそれぞれの列内の画像列前景画素のカウント値を含む1D画像画素カウント・データ構造を作成するステップを含み、
前記複数のテンプレート画像発見的スコアのそれぞれを算出するステップ(e)が、各々が前記文字テンプレートの1つの列内のテンプレート列前景画素のカウント値と、前記画像部分の1つの列内の画像列前景画素のカウント値と、の最小値であるところの複数の最小画素カウント値の和を算出するステップを含む、
請求項1に記載の方法。 - 各文字テンプレートが少なくとも1つの前景テンプレート・レベルおよび背景テンプレート・レベルを含み、各前景テンプレート・レベルが、複数の前景画素を含むとともに、当該前景テンプレート・レベルに関連するテンプレート・レベル重み付け因子を示し、
前記複数の一次元テンプレートアナログ構造のそれぞれが、前記文字テンプレートの各前景テンプレート・レベルごとに、そのレベルに関連付けされたテンプレート・レベル重み付け因子によって重み付けされたそれぞれの列ごとの前景画素テンプレート・レベル列カウント値を示す情報を含み、
前記一次元画像アナログデータ構造が、前記画像部分のそれぞれの列内の画像前景画素のカウント値群を示す一次元画像画素カウント・データ構造であり、
前記ステップ(e)にて前記複数のテンプレート画像発見的スコアのそれぞれを算出する際に、前記一次元画像画素カウント・データ構造および一次元テンプレートアナログデータ構造を使用して複数の列画素カウント値の和を算出する、
請求項1に記載の方法。 - 請求項1に記載の方法であって、
前記ステップ(f)は、
前記復号トレリス・データ構造の各遷移に対して、当該遷移に関連する文字記号に応じて、前記文字テンプレートと前記入力テキスト行画像の画像部分の二次元領域との一致度を表す実テンプレート画像一致スコアの代わりに、当該文字テンプレートについてのテンプレート画像発見的スコアを割り当てるステップと、
動的計画法演算とその後に続く再スコアリング演算との反復シーケンスを、停止条件が満たされるまで実行するステップであって、前記動的計画法演算により、遷移に割り当てられた前記テンプレート画像発見的スコアを用いて前記復号トレリス・データ構造によって節および遷移の完全な道が作成され、前記再スコアリング演算により、前記テンプレート画像発見的スコアを有する前記完全な道内の各節に実テンプレート画像一致スコアが計算されて割り当てられ、前記復号トレリス・データ構造が、動的計画法演算の後続の反復で利用できる前記実テンプレート画像一致スコアを有するようになされる、ところのステップと、
を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/570,004 | 2000-05-12 | ||
US09/570,004 US6738518B1 (en) | 2000-05-12 | 2000-05-12 | Document image decoding using text line column-based heuristic scoring |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002007966A JP2002007966A (ja) | 2002-01-11 |
JP4624593B2 true JP4624593B2 (ja) | 2011-02-02 |
Family
ID=24277797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001130954A Expired - Fee Related JP4624593B2 (ja) | 2000-05-12 | 2001-04-27 | 文書画像復号方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6738518B1 (ja) |
JP (1) | JP4624593B2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100843112B1 (ko) * | 2000-09-07 | 2008-07-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 매칭 |
JP4116329B2 (ja) * | 2002-05-27 | 2008-07-09 | 株式会社日立製作所 | 文書情報表示システム、文書情報表示方法及び文書検索方法 |
AU2003259781A1 (en) * | 2002-08-13 | 2004-02-25 | Vanu, Inc. | Convolutional decoding |
US7228501B2 (en) * | 2002-11-01 | 2007-06-05 | Microsoft Corporation | Method for selecting a font |
US7421393B1 (en) | 2004-03-01 | 2008-09-02 | At&T Corp. | System for developing a dialog manager using modular spoken-dialog components |
US7412393B1 (en) * | 2004-03-01 | 2008-08-12 | At&T Corp. | Method for developing a dialog manager using modular spoken-dialog components |
US7643702B1 (en) * | 2004-07-23 | 2010-01-05 | Adobe Systems Incorporated | Object detection in images using a graphics processor |
US7236107B2 (en) * | 2004-09-20 | 2007-06-26 | Fujitsu Limited | System and method for identifying optimal encoding for a given trace |
US7580664B2 (en) * | 2007-05-30 | 2009-08-25 | Xerox Corporation | System and method for positioning one or more stripper fingers (in a fusing system) relative to an image |
US8996846B2 (en) | 2007-09-27 | 2015-03-31 | Nvidia Corporation | System, method and computer program product for performing a scan operation |
JP5557419B2 (ja) * | 2007-10-17 | 2014-07-23 | スパンション エルエルシー | 半導体装置 |
US8073256B2 (en) * | 2007-11-15 | 2011-12-06 | Canon Kabushiki Kaisha | Image processing apparatus and method therefor |
US8661226B2 (en) * | 2007-11-15 | 2014-02-25 | Nvidia Corporation | System, method, and computer program product for performing a scan operation on a sequence of single-bit values using a parallel processor architecture |
US8773422B1 (en) | 2007-12-04 | 2014-07-08 | Nvidia Corporation | System, method, and computer program product for grouping linearly ordered primitives |
US7480411B1 (en) * | 2008-03-03 | 2009-01-20 | International Business Machines Corporation | Adaptive OCR for books |
US8311281B2 (en) * | 2008-04-09 | 2012-11-13 | Nec Corporation | Object detection apparatus |
US7991153B1 (en) | 2008-08-26 | 2011-08-02 | Nanoglyph, LLC | Glyph encryption system and related methods |
US8373724B2 (en) * | 2009-01-28 | 2013-02-12 | Google Inc. | Selective display of OCR'ed text and corresponding images from publications on a client device |
US8442813B1 (en) * | 2009-02-05 | 2013-05-14 | Google Inc. | Methods and systems for assessing the quality of automatically generated text |
US8508581B2 (en) * | 2009-10-29 | 2013-08-13 | Industrial Technology Research Institute | Pixel data transformation method and apparatus for three dimensional display |
US8023697B1 (en) | 2011-03-29 | 2011-09-20 | Kaspersky Lab Zao | System and method for identifying spam in rasterized images |
US8953885B1 (en) * | 2011-09-16 | 2015-02-10 | Google Inc. | Optical character recognition |
US9223769B2 (en) | 2011-09-21 | 2015-12-29 | Roman Tsibulevskiy | Data processing systems, devices, and methods for content analysis |
RU2648638C2 (ru) * | 2014-01-30 | 2018-03-26 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способы и системы эффективного автоматического распознавания символов, использующие множество кластеров эталонов символов |
CN104200204B (zh) * | 2014-09-02 | 2017-10-03 | 福建富士通信息软件有限公司 | 一种图片处理装置及方法 |
US9443139B1 (en) * | 2014-12-01 | 2016-09-13 | Accusoft Corporation | Methods and apparatus for identifying labels and/or information associated with a label and/or using identified information |
CN105426890B (zh) * | 2015-11-09 | 2018-12-18 | 成都数之联科技有限公司 | 一种字符扭曲粘连的图形验证码识别方法 |
US10235585B2 (en) * | 2016-04-11 | 2019-03-19 | The Nielsen Company (US) | Methods and apparatus to determine the dimensions of a region of interest of a target object from an image using target object landmarks |
CN109670480B (zh) * | 2018-12-29 | 2023-01-24 | 深圳市丰巢科技有限公司 | 图像判别方法、装置、设备及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4189711A (en) * | 1977-11-08 | 1980-02-19 | Bell Telephone Laboratories, Incorporated | Multilevel processing of image signals |
JPH02255996A (ja) * | 1988-12-09 | 1990-10-16 | Ricoh Co Ltd | 文字切出し方法 |
US5020112A (en) | 1989-10-31 | 1991-05-28 | At&T Bell Laboratories | Image recognition method using two-dimensional stochastic grammars |
US5199077A (en) | 1991-09-19 | 1993-03-30 | Xerox Corporation | Wordspotting for voice editing and indexing |
US5321773A (en) * | 1991-12-10 | 1994-06-14 | Xerox Corporation | Image recognition method using finite state networks |
US5526444A (en) | 1991-12-10 | 1996-06-11 | Xerox Corporation | Document image decoding using modified branch-and-bound methods |
JPH05166009A (ja) * | 1991-12-13 | 1993-07-02 | Sumitomo Electric Ind Ltd | 文字切出し・認識方法及び装置 |
JP2891616B2 (ja) * | 1993-09-24 | 1999-05-17 | 富士通株式会社 | 仮ラベル割付処理方式と実ラベル割付処理方式 |
US5999647A (en) * | 1995-04-21 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Character extraction apparatus for extracting character data from a text image |
US5689620A (en) | 1995-04-28 | 1997-11-18 | Xerox Corporation | Automatic training of character templates using a transcription and a two-dimensional image source model |
US5706364A (en) | 1995-04-28 | 1998-01-06 | Xerox Corporation | Method of producing character templates using unsegmented samples |
US5883986A (en) | 1995-06-02 | 1999-03-16 | Xerox Corporation | Method and system for automatic transcription correction |
US6483942B1 (en) * | 1999-09-27 | 2002-11-19 | Xerox Corporation | Micro region count image texture characterization |
-
2000
- 2000-05-12 US US09/570,004 patent/US6738518B1/en not_active Expired - Fee Related
-
2001
- 2001-04-27 JP JP2001130954A patent/JP4624593B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002007966A (ja) | 2002-01-11 |
US6738518B1 (en) | 2004-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4624593B2 (ja) | 文書画像復号方法 | |
CN111260586B (zh) | 扭曲文档图像的矫正方法和装置 | |
JP2940496B2 (ja) | パタンマッチング符号化装置及び方法 | |
JP4594551B2 (ja) | 統合された確率的ランゲージ・モデルを用いたドキュメント画像復号化方法 | |
CN110197182A (zh) | 基于上下文信息和注意力机制的遥感影像语义分割方法 | |
US20130046793A1 (en) | Fast matching of image features using multi-dimensional tree data structures | |
US6594393B1 (en) | Dynamic programming operation with skip mode for text line image decoding | |
CN114140786B (zh) | 基于HRNet编码与双分支解码的场景文本识别方法 | |
US20240095888A1 (en) | Systems, methods, and devices for image processing | |
US11699253B2 (en) | Systems, methods, and devices for image processing | |
JP2012085274A (ja) | テキストをマトリクスコードシンボルに符号化するコンピュータ実行方法、マトリクスコードシンボルを復号化するコンピュータ実行方法、テキストをマトリクスコードシンボルに符号化するためのエンコーダ、およびマトリクスコードシンボルを復号化するためのデコーダ | |
CN102375990B (zh) | 图像处理方法和设备 | |
CN111814508A (zh) | 一种文字识别方法、系统及设备 | |
Ablameyko et al. | Vectorization and representation of large-size 2-D line-drawing images | |
Apostolico et al. | Motif patterns in 2D | |
JP2005235089A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JPH0683952A (ja) | 文字デ−タ入力出力装置と入力出力方法 | |
Amir et al. | Alphabet-independent and scaled dictionary matching | |
CN107622517B (zh) | 一种单连通的任意多边形区域填充方法及系统 | |
JP5032557B2 (ja) | パターン認識装置およびパターン認識方法 | |
Sarfraz et al. | Towards automatic recognition of fonts using genetic approach | |
CN115565191A (zh) | 一种倾斜文本行识别方法、系统及设备 | |
Huang et al. | Compact Cross-Reparam Convolution Network for Efficient Image Super-resolution | |
CN117475458A (zh) | 表格结构还原方法、装置、设备及存储介质 | |
CN114550188A (zh) | 一种表格解析方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080421 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101012 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |