JPH1083447A - 画像レジストレーション方法及びスキュー検出方法 - Google Patents
画像レジストレーション方法及びスキュー検出方法Info
- Publication number
- JPH1083447A JPH1083447A JP9128191A JP12819197A JPH1083447A JP H1083447 A JPH1083447 A JP H1083447A JP 9128191 A JP9128191 A JP 9128191A JP 12819197 A JP12819197 A JP 12819197A JP H1083447 A JPH1083447 A JP H1083447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fragment
- histogram
- registration method
- projection histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 78
- 239000012634 fragment Substances 0.000 claims abstract description 152
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
メモり量を減らす。 【解決手段】 射影ヒストグラムマッチングによる画像
レジストレーション。レジストレーション・プロセッサ
20は、画像断片24(1),24(2)の射影ヒストグラム
を求め、一方の射影ヒストグラムを回転、移動操作して
他方の射影ヒストグラムと比較し、変換の回転パラメー
タθと移動パラメータx,yを求める。画像アライナ2
2は、その変換パラメータに基づき画像断片24(1)を
変換して画像断片24(2)に整列させ、両画像断片を結
合した画像断片24’を生成する。
Description
関し、特に、射影ヒストグラムマッチングによる画像レ
ジストレーションの分野に関する。
トの2つの画像断片を整列させるプロセスであり、一般
に、いくつかの画像断片を整列させて、一つの大きな画
像全体を得るために利用される。画像レジストレーショ
ンには、航空写真のモザイクの組み立て、3次元モデル
建造物の立体画像処理、目標認識、医療診断、文書のマ
ルチパス読み取りや複写等、多くの用途がある。
作業で行うには、それら画像の重複する部分を整列させ
ればよい。これを行うために、人間は両方の画像を見
て、一方の画像の端近傍の特徴と他方の画像中の同じ特
徴を目で見つけ、それに従って2つの画像を整列させ
る。手作業によるレジストレーションは多くの欠点があ
るが、その一つが面倒で手間がかかることがある。
2つのデジタル化画像断片を入力として受け取り、一方
の画像断片のポイントを他方の画像断片中の対応ポイン
トへ写像する変換Tのパラメータを出力する。いくつか
の自動画像レジストレーション法が知られている。例え
ば、L.G.Brown,”A Survey of ImageRegistrat
ion Techniques,”ACM Computing Surveys 24,
4(December1992),PP.325−376を参照さ
れたい。レジストレーション法の主要なものに、相関
法、ポイント・マッピング法、フーリエ法、エラスティ
ック・モデルベース・マッチング法がある。利用するレ
ジストレーション法は、一般に、具体的な用途、予期さ
れる変換のタイプ及びノイズに基づいて選ばれる。
をする一従来方法は、次式で記述される正規化相互相関
と呼ぶ尺度を用いる。
I2 に対しx方向にuだけ、y方向にvだけ移動させた
時に、2つの画像I1,I2 が相互に整合する度合を示
す尺度である。そのような移動の都度、2つの画像の積
が計算される。この正規化自己相関が最大値となるの
は、その2つの画像が、その一方が他方に精密に整合す
るように移動された時である。このような方法を用いる
文書画像レジストレーションアルゴリズムは正確な結果
を得ることができるが、それには正規化自己相関の計算
に相当な実行時間を必要とする。すなわち、各候補移動
毎に2次元画像間の積を計算しなければならない。さら
に、本方法は画像間の相対的な回転を考慮に入れない。
に加え、特徴ポイントが計算される間、それら画像中の
少なくと1つの画像の全体をメモりに格納しておく必要
があるため、かなりのメモリコストもかかる。したがっ
て、畳み込みマスクによる局所的特徴ポイントを検出す
る必要がなく、かつ、一つの画像全体を格納するための
メモリを必要としないレジストレーション法の開発が望
まれる。
ステムはハイブリッド(hybrid)アプローチを用いる。
例えば、米国特許出願第08/527,826号(19
95年9月13日受理)”Simultaneous Registratio
n of Multiple ImageFragments”を参照されたい。
ハイブリッド・アプローチの場合、ユーザは、文書の複
数のスキャン画像を提示され、そしてドラッグ・アンド
・ドロップのインターフェイスを用い手作業で、おおま
かなレジストレーションを与える。次に、レジストレー
ションシステムは、整列はかなり正確であると仮定し
て、重なり合った画像断片を処理する。ユーザがおおま
かな整列を与える効果は、可能な変換の数を減らしてレ
ジストレーションを迅速化することである。しかし、こ
のハイブリッド・アプローチでも人手を介入させなけれ
ばならない。
ストレーションシステムが必要であることが分かる。
は、処理に必要な計算量及びメモり量を大幅に削減可能
な改良された自動画像レジストレーション方法を提供す
ることである。本発明のもう一つの目的は、2値画像の
みならず多値画像にも適用できる改良された自動画像レ
ジストレーション方法を提供することにある。本発明の
他の目的は、処理に必要な計算量及びメモり量が少なく
てすむ文書の自動スキュー検出方法を提供することにあ
る。
形画像部分を持つ2つの画像断片をレジストレーション
し、回転パラメータと第1及び第2の移動パラメータを
持つ変換を結果として得る画像レジストレーション方法
が提供される。ここで、該変換は回転と、第1及び第2
の軸に沿った2次元の移動を記述し、第1の画像断片に
適用された時に、第1の画像断片の剪断変形部分を第2
の画像断片の対応した剪断変形部分へ写像するものであ
る。この画像レジストレーションは、第1の画像断片を
表す第1の2次元2進数配列を入力するステップ、第2
の画像断片を表す第2の2次元2進数配列を入力するス
テップ、第1の2次元2進数配列の第1の軸に射影され
た第1の射影ヒストグラムを生成するステップ、第2の
2次元2進数配列の第2の軸に射影された第2の射影ヒ
ストグラムを生成するステップ、(a)試しの回転パラ
メータ及び試しの移動パラメータを第1の射影ヒストグ
ラムに適用して回転及びシフトされた射影ヒストグラム
を生成し、(b)回転及びシフトされた射影ヒストグラ
ムを第2の射影ヒストグラムと比較することにより試し
回転パラメータ及び試し移動パラメータでの誤差距離を
求め、(c)最小の誤差距離を持つ回転及びシフトされ
た射影ヒストグラムの回転パラメータ及び移動パラメー
タを変換の回転パラメータ及び第1の移動パラメータに
選ぶことによって、回転パラメータ及び第1の移動パラ
メータの最適値を決定するステップ、第1及び第2の画
像断片中の一方を固定画像断片に選び、他方を浮動画像
断片に選ぶステップ、回転パラメータ及び第1の移動パ
ラメータによって浮動画像断片を固定画像断片に対し変
換して中間画像断片を生成するステップ、及び、中間画
像断片を固定画像断片にレジストレーションして第2の
移動パラメータを求めるステップからなる。
断片より水平射影ヒストグラムが計算され、それが第2
の画像断片より計算された水平射影ヒストグラムと比較
される。この2つのヒストグラムを”整列する”まで操
作することにより、変換の回転(θ)パラメータと垂直
移動(y)パラメータが求められる。これらの2つのパ
ラメータが分かったならば、画像断片を相互に水平方向
にスライドさせることによって、水平移動(x)パラメ
ータは容易に算出される。一変形例では、垂直ヒストグ
ラムを用いて回転と水平移動が最初に求められる。操作
されるのはヒストグラムであって画像断片の全体ではな
いので、画像レジストレーションの実行のために必要な
計算量とメモリが非常に少なくてすむ。変換の回転角度
を求めるために画像を回転させるのではなく、”ヒスト
グラム回転”変換によりヒストグラムが変換される。画
像レジストレーションの用途が画像断片の大角度の相対
回転を予期しないようなものであれば、ヒストグラム回
転及び整列プロセスで十分である。画像断片が大きな角
度回転している、すなわち画像断片がヒストグラム回転
アプローチに従わない可能性がかなりある場合には、画
像レジストレーションシステムは、ヒストグラム回転変
換プロセスがロックに至ることができないときに、もっ
と強力な画像レジストレーション処理を行うバックアッ
ププロセスを含んでもよい。
れるランレングス符号化(RLE)圧縮データを扱うシ
ステムにおいては、画像を完全に伸長することなく水平
ヒストグラムを生成できる。これは、ヒストグラムに含
めようとする画素色について、各ランレングス中の画素
の数をカウントすることによって達成される。普通、ヒ
ストグラムは行毎に黒画素の数をカウントする。
画像断片を整列させるのに有効であるが、相当数の平行
したオブジェクト、例えば線図形や文字行からなる画像
のスキュー角度の測定にも有効である。本発明によれ
ば、ヒストグラム回転を利用したスキュー検出方法が提
供される。この方法にあっては、スキュー角度を測定す
るために、ヒストグラムを生成し、それをシャープネス
・ファクタ(sharpnessfactor)を最大にするように回
転させ、シャープネス・ファクタが最大となった回転後
ヒストグラムの角度がスキュー角度と推定される。
れば、本発明の性質及び利点はより明確になろう。
例を説明するが、初めにいくつかの用語の定義を説明す
る。
タル化画像は画素値の2次元配列によって表現できる。
2値画像は、2つの可能な画素値だけが表される画素配
列によって表現された画像である。2値画像中の各画素
値は、”0”又は”1”の値をとるとみなすことができ
る。2値画像が白黒画像の場合、”0”は白画素を、”
1”は黒画素を表すであろう。ここでは、そのような画
素値の組合せを用いて本発明を説明する。しかし、画素
の色は任意であり、例えば赤と青の画素からなる2値画
像を指すことさえあるかもしれない。画像断片は白の背
景に画像特徴(文字、線、ドットなど)が黒画素で描か
れた2値画像であると仮定し、説明する。
合中の1つの値をとることができるような多値画像、例
えば24ビット・カラー画像にも有効である。多値画像
は同じ大きさの2値画像に比べ様々な処理段階でより多
くの計算を必要とするであろうから、多値画像より2値
画像を生成し、多値画像はセーブしておき、代わりに2
値画像を操作するのがしばしば望ましい。その後、2値
画像のレジストレーションを利用して、セーブしておい
た多値画像のレジストレーションをすることができる。
したがって、2値画像に関して本発明を説明しても一般
性を損なうことはない。
片が重複している場合すなわち共通の特徴を持っている
場合に、それらを整列させるプロセスである。例えば、
ある都市を完全に表すための複数ページ(画像断片)を
有する地図帳は、各地図ページを隣り合った地図ページ
と重複させているであろう。その都市のより大きな切れ
目のない1枚の地図が必要とされる場合、そのような地
図は、画像レジストレーションプロセスで隣接画像ペー
ジの共通した重複部分を利用して隣接地図ページを整列
させることによって、作ることが出来るだろう。ここに
用いられるように、”フル”画像とは、画像断片をレジ
ストレーションして組み立てることによって得られる画
像を指す。十分に大きな重複領域が与えられることを一
般に想定しているが、最小の重複(300ドット/イン
チで1インチ以下)が与えられる場合にも本発明は有効
に作用する。
的な地図帳に用いられる。画像断片が撮影されるアパー
チャよりフル画像が大きい場合、例えば、大きな図面を
何回かに分けて写真複写する必要がある時、あるいは、
景色の写真撮影をしたいが多数の重複した航空写真が必
要な場合にも、画像断片が使用される。言うまでもな
く、画像断片が重複していさえすれば、つまり、画像断
片が一方の画像から他方の画像へレジストレーションす
ることができる識別可能な特徴を持つ共通部分を有する
限り、画像断片がどのようにして作られたかに関係な
く、画像レジストレーションは有効に働く。
ションすることもできるが、本明細書を読めば、3つ以
上の画像断片のレジストレーションは逐次的に行うこと
ができること、すなわち、第1の画像断片を第2の画像
断片にレジストレーションして、より大きな中間画像断
片とし、この中間画像断片に第3の画像断片をレジスト
レーションし、というようにして可能であることが明ら
かになろう。簡明にするため、以下において、2つの画
像断片のレジストレーションに適用する場合についての
み本発明を説明する。
正確には座標平面に配置される。一般に、座標平面上の
各画像断片の位置は、画像がどのように作成されるかに
よって決まる。例えば、2つの画像断片がコピアのスキ
ャン画像であり、8.5"×11"のアパーチャにより6
00dpiで読み取られ5100画素×6600画素の
画素配列となる場合には、第1の画像断片の左上コーナ
ーの位置は(0,0)、第2の画像断片の左上コーナー
の位置は(5100,0)となるであろう。それら2つ
の画像断片に画像レジストレーションプロセスを適用し
た結果は、それら画像断片を整列させるために座標平面
上で第2の画像断片を第1の画像断片に対してどれだけ
動かすべきかを記述する式でもよいし、2つの画像断片
の継ぎ目のない結合をあらわす一つのより大きな画像で
もよい。結果が式であれば、第2の画像断片を第1の画
像断片に接合させるための変換は単純なプロセスであ
る。
細書では変換Tと呼ぶ。第2の画像断片を移動させて第
1の画像断片に整合させるようにしたのは、たまたまそ
のように選んだのであり、それと逆の変換なら、第1の
画像断片が第2の画像断片と整列するように移動させら
れることは明白であろう。その区別が本発明の説明に関
係がある場合には、移動させられる画像断片を”浮動”
画像断片と呼び、他方の画像断片を”固定”画像断片と
呼ぶ。最も一般的なケースでは、変換Tは回転、2方向
の移動(X,Y)、2方向の変倍(Sx,Sy)、及び
2方向の剪断変形(Shx,Shy)からなる。典型的
な用途では、スキャン画像はすべて同一平面に作られる
ため、変倍は1:1であり、剪断変形は存在せず、した
がって変換をT(θ,x,y)で表現すれば十分であ
る。
Y軸座標により記述される。簡単にするため、X方向及
びY方向の座標は画素の単位で計量されるが、変換は整
数個の画素である必要はない。浮動画像断片が非整数個
の画素の変換により変換される場合には、画素は整数座
標にしか出現できないという事実があるので、エイリア
シング(aliasing)等の周知の近似手法が用いられる。
ーションの課題は、ある座標平面上で2つの画像断片を
調べ、その画像平面上でその2つの画像断片の整列をも
たらす変換パラメータθ,x,yを求めることである。
それが本発明でどのように利用されるかを説明するもの
である。2つの画像断片10(1),10(2)が示されてい
る。この2つの画像断片は同一の画像断片であるが、そ
れぞれ相対的に2度だけ回転しており、また、図示のよ
うに平行移動している点が相違する。それぞれの画像断
片が水平軸に射影されてもよい。図式的には、ヒストグ
ラムは、画像のすべての黒画素を、他の黒画素とオーバ
ーラップさせないで、つまり列位置を変えずに、画像の
ボトムまでスライドさせたものに相当する。画像断片1
0(1),10(2)の射影をとることによりヒストグラム1
2(1),12(2)がそれぞれ得られる。図4に関連して説
明する如く、ヒストグラム12(1)の2度の”回転”に
より、回転ヒストグラム12(1)’が得られる。回転ヒ
ストグラム12(1)’をヒストグラム12(2)と比較する
ことにより、2度が画像断片10(1),10(2)相互の正
確な回転量であるか判定する。
ョンの方法が示されている。図2において、ステップは
それぞれ符号(S1,S2等々)が付けられており、ス
テップは特に指示されない限り符号順に実行される。ス
テップS1で、2つの圧縮画像断片IF1,IF2が読
み込まれる。IF1は任意に固定画像断片に選ばれ、I
F2は任意に浮動画像断片に選ばれる。
トグラムH1とIF2の水平ヒストグラムH2が生成さ
れる。2次元の2値画像配列の水平ヒストグラムは、2
値画像の各画素行に対し1つのエントリーを持つ、2値
画像配列の画素数を示す値の1次元配列にすぎずない。
このヒストグラムを黒画素に関するヒストグラムである
とすれば、ヒストグラム配列の第iエントリーは2値画
像の第i行中の黒画素数である。垂直ヒストグラムも同
様に生成されるが、その画素数が各列中の画素数である
点が異なる。
されている場合には、ヒストグラムを生成するする必要
はない。その理由を具体例によって説明する。画像断片
が16列幅で、ある行が”0100111110010000”という画
素を持っているとする。その圧縮画像では、当該行は”
011252144”というように表現されるであろ
う。ここで、最初の数字は当該行の最初の画素の色を示
し、それ以降の数字はすべて当該行の各ランの画素数を
示す。その圧縮前の行から、当該行は7個の黒”1”画
素を持つことがすぐ分かる。ヒストグラムの当該行に対
応するエントリーの場合、圧縮表現”01125214”さえ分
かれば、2番目の”1”より初めて1つ置きに数字を加
算することにより黒画素の数が求まり(最初の”0”は
最初の”1”が1個の白画素からなるランであることを
意味する)、その結果は1+5+1つまり7となる。
i,yi に関し初期推定が行われる。このステップで、
(θi,yi)ペアのサーチ空間も決定してもよいであろ
う。論理的には、誤差距離を保持するため2次元配列E
D[][]がセットアップされるが、その内容については後
述する。
回転”させられ、回転ヒストグラムが生成される。ヒス
トグラムを回転させる方法は、図4に関連して後述する
が、角度θi 回転されたIF2の回転からヒストグラム
生成をシミュレートする方法である。
フトされる。好ましくは、サーチ空間内のyの値は、y
i を含め、整数であるので、H2を平行移動させること
は、初期インデックスをH2のための値を格納している
1次元配列に変換するのと同じくらい簡単である。しか
し、非整数をyi として用いてもよい。H2が(yi+
a)だけシフトされると、H2の特定のセルはその値を
(1−a)yi+ayi(ただし0<a<1)より取得す
る。
され、誤差距離が計算される。様々な誤差距離のどれを
用いてもよい。一実施例では、誤差距離はH2とH1の
対応行間のヒストグラム値の差の2乗和である。これは
次式で表される。
ム配列の)行数である。簡単にするため、画像断片IF
1,IF2それぞれの行数は同じであると仮定する。行
数が異なる場合、H1,H2が同数のエントリーつまり
L個のエントリーを持つように、レジストレーションプ
ロセスの間、行が便宜無視される。例えば、(2)式の
指数を2以外の数に置き換えた式など、他の誤差式を用
いてもよい。
EDのED[θi][yi]で指定される位置に格納される。
ステップS7において次の(θ,y)ペアが取得され、
各(θ,y)ペアについて誤差距離が計算されるまでは
プロセスはステップS4へループバックする。
像レジストレーションプロセスはステップS8に進み、
配列EDより最小の誤差値が見つけられる。そして、そ
の最小誤差値の配列インデックスである(θ,y)ペア
が、変換Tの回転パラメータ及び垂直移動パラメータと
して利用される。あるいは、最初の誤差距離測定セット
の結果を利用して遂行すべき(θ,y)ペアを選べば、
サーチプロセスはより迅速に終わるかもしれない。
離のインデックスが見つかった後、画像レジストレーシ
ョンプロセスは先に進む。複数の誤差距離値が最小値に
近い場合、2つ以上の候補(θ,y)ペアを後続のステ
ップへ持ち越し、もっと先のあるステップで最適な1つ
に絞り込んでもよい。ここで説明しているプロセスで
は、当該ステップにおいて最適な(θ,y)ペアが1つ
だけ選ばれたとする。
トレーションの”ロック”(lock)の判定が行われる。
ロックが検出されたならば、プロセスはステップS10
に進み、IF2が部分変換Tp=T(θ,0,y)によ
って変換されて、ステップS8で決定されたパラメータ
から新たな画像断片IF2' を生成する。
1,IF2' に対する垂直ヒストグラムV1,V2がそ
れぞれ生成され、そしてステップS12において、水平
移動パラメータxの最適値を決定するため垂直ヒストグ
ラムV1,V2が相対的にシフトされる。ここでの説明
から明らかなように、同じ目的のために、IF2をIF
2' に変換する代わりに、IF1をTp により変換して
IF1' を生成してもよい。
ーションプロセスは、IF2をIF1と整列するように
変換するであろうθ,x,yの決定値を出力する。明ら
かなように、IF1とIF2は交換可能であり、パラメ
ータの符号が矛盾しないかぎり、どちらの画像断片を選
んで変換してもよい。
に示されていない若干の後続ステップを実行することが
できる。例えば、画像レジストレーションプロセスがマ
ルチパス(multi-pass)コピアに関連して実行される場
合、記憶された複数の画像断片を操作して単一のレジス
トレーション後画像として印刷することができる。この
単一のレジストレーション後画像は文字認識プロセスの
ための入力データとして用いられるかもしれない。ここ
に開示した内容を具体的な用途に適用することにより、
変換パラメータ及び画像断片の他の用途が明らかになろ
う。
8で起こるロックに非常に従順である。ロックが起こる
のは、画像断片の正確なレジストレーション位置に近い
インデックスが見つかった時である。ロックは最小誤差
距離を閾値と比較することによって検出され、この場
合、最小誤差距離が閾値より小さい時にロックが起こっ
たとみなされる。黒画素がカラムを横切って非常に不均
一に分布する異形のアンバランスな図形は、ロックしに
くいかもしれない。そのような画像断片がよく出現する
場合には、本発明のハイブリッド型実施例が有効かもし
れない。このようなハイブリッド型実施例では、ステッ
プS9で画像断片のロックが判定され、ロックが全く検
出されないときには、ステップS14で画像断片IF
1,IF2に対し在来の画像レジストレーションが実行
される。ステップS14の結果、3つの変換パラメータ
がすべて分かるので、プロセスはステップS13に進
み、それらパラメータが出力される。
ロセスを全般的に説明した。ここで図3を参照し、画像
レジストレーションを実行するための装置を示し説明す
る。ここに示す装置は、レジストレーション・プロセッ
サ20と画像アライナー(aligner)22からなる。2
つの画像断片24(1),24(2)がレジストレーション・
プロセッサ20に対する入力として示されており、これ
ら画像断片は一般的に2次元画素値配列25(1),25
(2)として記憶されている。これらの画像断片24は、
それより大きな画像26の断片であり、スキャナ28又
はデジタルカメラ30により画像26を複数回スキャン
した結果かもしれない。様々なエレメント間の信号の相
互接続も図3に示されているが、それについては装置の
動作によって説明する。
像26を4回スキャンして画像断片24(1)〜24(4)を
得る。そして、レジストレーション・プロセッサ20と
画像アライナー22を利用して、それら画像断片中の2
つの画像断片24(1),24(2)を結合して、それより大
きな1つの画像24' とする。この画像24' を次にフ
ィードバックして、画像断片24(3),24(4)のような
他の画像と結合させることができる。
プロセッサ20に入力されるとともに、画像アライナー
22にも入力される。レジストレーション・プロセッサ
20は、その入力に基づいて、4つの信号を、典型的に
はデジタル値として出力する。これらの4つの信号は、
ブーリアン妥当性信号(V)と、回転パラメータ
(θ)、垂直移動パラメータ(y)、水平移動パラメー
タ(x)である。この4つの信号はほぼ、図2に示した
画像整列プロセスに関連して説明したように生成される
が、妥当性信号VはステップS9(図2参照)でロック
が検出されたか否かを示す。これらの信号は画像アライ
ナー22に出力され、画像アライナー22はそれらの信
号を利用して画像断片24(1),24(2)から画像断片2
4' を生成する。妥当性信号Vがロックが検出されなか
ったことを指示するときには、画像アライナー22は在
来の画像レジストレーションプロセスを実行して画像断
片24'を生成する。
片とともにレジストレーション・プロセッサ20に対す
る入力として利用して、より大きな画像断片を生成し、
最終的に、すべての画像断片をレジストレーションして
画像26を再現することができる。
画像アライナー22として利用されるハードウエアは、
それらの機能に拘束されない。レジストレーション・プ
ロセッサ20及び画像アライナー22は、専用のハード
ウエア、すなわち特別に設計された集積回路チップまた
はチップの集合によって実現してもよいし、あるいは、
完全にソフトウエアによって、すなわち、ここに述べた
ことに従ってプログラムされた一般的なデジタルコンピ
ュータによって実現してもよい。
スを説明するものである。図4(a)は1つの行だけが
黒画素を含んでいる画像のヒストグラムを表している。
この画像は、図示しないが、最上部の行1から最下部の
行LまでのL個の行がある。黒画素を有する1つの行は
行Rであり、これはN個の黒画素を持っているのでヒス
トグラムのビンRは値Nを持ち、その他のビンはすべて
0である。図4(b)に示すように、図4(a)のヒス
トグラムを回転させるということは、そのヒストグラム
の行R中のN画素をW*tan(θ)の範囲に分散させ
るプロセスにすぎない。ここで、Wは画像の幅である。
明らかな如く、N個の黒画素が行R内に均等に分布して
いるならば、結果として得られる回転ヒストグラムは、
画像を同じ角度回転し回転後の画像からヒストグラムを
求めた場合に得られるであろうヒストグラムと同じもの
である。ヒストグラムのビンに非整数値が許されるとき
には、N個の画素をビンRとR−W*tan(θ)に最
も近いビンの間のビンに均等に配分すればよい。非整数
値が許されないときには、それら画素を可能な限り均等
に分配すればよい。
をあるエッジに移動させてから画像を剪断変形させるこ
とと等価である。望むならば、R*cos(θ)に最も
近いビンとR*cos(θ)−W*sin(θ)に最も
近いビンの範囲に画素を分配するような、画像回転のよ
り精密なシミュレーションを行ってもよい。
示すような画像断片に対しヒストグラム回転を適用し
た。レジストレーションの回転と垂直移動のパラメータ
(θ,y)は、規則的ポイントマッチングによれば(−
1.3゜,−7画素)、ヒストグラムマッチングによれ
ば(−1.1゜,−6画素)となった。
て、それに限定されるものではない。本明細書の内容を
詳しく読めば、当業者には本発明の多くの変形が明らか
になろう。本明細書に述べたことは3次元の画像断片レ
ジストレーションにも適用できるであろう。
の画像レジストレーション方法は、人手の介入を要する
ことなく自動的に画像のレジストレーションが可能であ
り、また、画像を操作する代わりに射影ヒストグラムを
操作するため、処理に必要な計算量及びメモり量を大幅
に減らすことができ、さらに多値画像のレジストレーシ
ョンにも適用可能である。また、本発明のスキュー検出
方法によれば、ヒストグラム回転を利用することによ
り、少ない計算量及びメモり量で、文書のスキュー角度
を自動的に検出することができる、等の効果を得られ
る。
図である。
セスのフローチャートである。
のブロック図である。
スを説明するための図である。
断片の実例を示す図である。
Claims (17)
- 【請求項1】 剪断変形画像部分を持つ2つの画像断片
をレジストレーションし、回転パラメータと第1及び第
2の移動パラメータを持つ変換を結果として得る画像レ
ジストレーション方法であって、該変換は回転と、第1
及び第2の軸に沿った2次元の移動を記述し、第1の画
像断片に適用された時に、第1の画像断片の剪断変形部
分を第2の画像断片の対応した剪断変形部分へ写像する
ものであり、 第1の画像断片を表す第1の2次元2進数配列を入力す
るステップ、 第2の画像断片を表す第2の2次元2進数配列を入力す
るステップ、 第1の2次元2進数配列の第1の軸に射影された第1の
射影ヒストグラムを生成するステップ、 第2の2次元2進数配列の第2の軸に射影された第2の
射影ヒストグラムを生成するステップ、 試しの回転パラメータ及び試しの移動パラメータを第1
の射影ヒストグラムに適用して回転及びシフトされた射
影ヒストグラムを生成し、回転及びシフトされた射影ヒ
ストグラムを第2の射影ヒストグラムと比較することに
より試し回転パラメータ及び試し移動パラメータでの誤
差距離を求め、最小の誤差距離を持つ回転及びシフトさ
れた射影ヒストグラムの回転パラメータ及び移動パラメ
ータを変換の回転パラメータ及び第1の移動パラメータ
に選ぶことによって、回転パラメータ及び第1の移動パ
ラメータの最適値を決定するステップ、 第1及び第2の画像断片中の一方を固定画像断片に選
び、他方を浮動画像断片に選ぶステップ、 回転パラメータ及び第1の移動パラメータによって浮動
画像断片を固定画像断片に対し変換して中間画像断片を
生成するステップ、及び中間画像断片を固定画像断片に
レジストレーションして第2の移動パラメータを求める
ステップからなる画像レジストレーション方法。 - 【請求項2】 請求項1記載の画像レジストレーション
方法において、第1の画像断片は固定画像断片であり、
第2の画像断片は浮動画像断片であることを特徴とする
画像レジストレーション方法。 - 【請求項3】 請求項1記載の画像レジストレーション
方法において、第1の軸は垂直軸であって、水平射影ヒ
ストグラムが得られることを特徴とする画像レジストレ
ーション方法。 - 【請求項4】 請求項1記載の画像レジストレーション
方法において、画像断片は多値画像であり、画像断片を
閾値処理することにより2進数配列値を得るステップを
さらに有することを特徴とする画像レジストレーション
方法。 - 【請求項5】 請求項1記載の画像レジストレーション
方法において、画像断片は航空写真、天体の画像、工学
青写真及び地図からなる群より選択されることを特徴と
する画像レジストレーション方法。 - 【請求項6】 請求項1記載の画像レジストレーション
方法において、画像断片はプラテン窓より大きな文書の
断片であることを特徴とする画像レジストレーション方
法。 - 【請求項7】 請求項1記載の画像レジストレーション
方法において、画像断片は第2の軸に平行なラインに沿
って符号化されたランレングス符号化ストリームとして
記憶され、射影ヒストグラムを生成するステップは各ラ
イン毎に注目色のランレングスを加算するステップから
なることを特徴とする画像レジストレーション方法。 - 【請求項8】 請求項7記載の画像レジストレーション
方法において、ラインは1画素高さの水平行又は1画素
幅の垂直列であることを特徴とする画像レジストレーシ
ョン方法。 - 【請求項9】 請求項1記載の画像レジストレーション
方法において、配列は白画素及び黒画素を表す2進数値
からなり、射影ヒストグラムは各ラインの黒画素数のヒ
ストグラムであることを特徴とする画像レジストレーシ
ョン方法。 - 【請求項10】 請求項1記載の画像レジストレーショ
ン方法において、ヒストグラムを生成するステップは、
第1の画像断片の幅に回転角度の正接を掛けたものの関
数である広がり範囲を決定するステップ、及び、回転し
ようとするヒストグラム内の各ラインの値を分配しよう
とする行より始まる分配範囲に均等に分配するステップ
からなることを特徴とする画像レジストレーション方
法。 - 【請求項11】 請求項1記載の画像レジストレーショ
ン方法において、ヒストグラムを回転させるステップ
は、射影ヒストグラムに基づいて、射影軸に対し垂直な
各ラインに画素値が均等に分配され、かつ回転しようと
する射影ヒストグラムと等しい射影ヒストグラムを持つ
仮の画像断片をシミュレートするステップ、仮の画像断
片を回転させるステップ、及び、仮の画像断片から、回
転された射影ヒストグラムを生成するステップからなる
ことを特徴とする画像レジストレーション方法。 - 【請求項12】 請求項1記載の画像レジストレーショ
ン方法において、誤差距離はヒストグラム値間の差の2
乗和であることを特徴とする画像レジストレーション方
法。 - 【請求項13】 最小の誤差距離を、それを超えたら2
つの画像断片がうまくレジストレーションされていない
と考えられる誤差距離である固定閾値と比較するステッ
プ、及び、レジストレーションが達成されないときに、
第1の画像断片と第2の画像断片との間のポイントマッ
チングにより変換を決定するステップをさらに有するこ
とを特徴とする請求項1記載の画像レジストレーション
方法。 - 【請求項14】 請求項13記載の画像レジストレーシ
ョン方法において、ポイントマッチングにより変換を決
定するステップは、開始点として、最小の誤差距離を持
つ回転された射影ヒストグラムの回転パラメータ及び第
1の移動パラメータを選ぶステップの結果を利用するこ
とを特徴とする画像レジストレーション方法。 - 【請求項15】 請求項1記載の画像レジストレーショ
ン方法において、小さい誤差距離を持つ変換候補が複数
求められるとともに、ポイントマッチングを行って該複
数の変換候補より最良の変換を選択するステップをさら
に有することを特徴とする画像レジストレーション方
法。 - 【請求項16】 文字行からなる文書のスキューを求め
る方法であって、 画像を表す2次元の2進数配列を入力するステップ、 2次元2進数配列の第1の軸への射影ヒストグラムを生
成するステップ、 射影ヒストグラムを複数の候補角度だけ回転させるステ
ップ、 回転された射影ヒストグラムのそれぞれのシャープネス
・ファクタを計算するステップ、及び最高のシャープネ
ス・ファクタを持つ回転された射影ヒストグラムの候補
角度をスキュー角度として選ぶステップからなるスキュ
ー検出方法。 - 【請求項17】 画像をスキュー角度だけ回転させるス
テップ、及び、回転後の画像をスキューが補正された文
書として出力するステップをさらに有することを特徴と
する請求項16記載のスキュー検出方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/654360 | 1996-05-28 | ||
US08/654,360 US5832110A (en) | 1996-05-28 | 1996-05-28 | Image registration using projection histogram matching |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1083447A true JPH1083447A (ja) | 1998-03-31 |
JP3841321B2 JP3841321B2 (ja) | 2006-11-01 |
Family
ID=24624544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12819197A Expired - Fee Related JP3841321B2 (ja) | 1996-05-28 | 1997-05-19 | 画像レジストレーション方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5832110A (ja) |
JP (1) | JP3841321B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269125A (ja) * | 2007-04-18 | 2008-11-06 | Hitachi Computer Peripherals Co Ltd | イメージデータ傾き補正方法及びイメージ入力装置 |
JP2014513292A (ja) * | 2011-04-12 | 2014-05-29 | トライパス イメージング インコーポレイテッド | 定量的ビデオ顕微鏡を準備する方法及び関連システム |
JP2014173919A (ja) * | 2013-03-07 | 2014-09-22 | Seiko Epson Corp | 分光測定装置 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5760914A (en) * | 1996-06-25 | 1998-06-02 | Varis Corporation | Image registration method |
JP3645727B2 (ja) * | 1999-01-28 | 2005-05-11 | 株式会社日立製作所 | 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体 |
JP2000341501A (ja) * | 1999-03-23 | 2000-12-08 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
US7010166B2 (en) * | 2000-11-22 | 2006-03-07 | Lockheed Martin Corporation | Character recognition system and method using spatial and structural feature extraction |
US7411593B2 (en) | 2001-03-28 | 2008-08-12 | International Business Machines Corporation | Image rotation with substantially no aliasing error |
US6873732B2 (en) * | 2001-07-09 | 2005-03-29 | Xerox Corporation | Method and apparatus for resolving perspective distortion in a document image and for calculating line sums in images |
US6983084B2 (en) * | 2002-05-17 | 2006-01-03 | Hewlett-Packard Development Company, Lp. | Method of aligning page images |
EP1460557A3 (en) * | 2003-03-12 | 2006-04-05 | Eastman Kodak Company | Manual and automatic alignement of pages |
JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
US20050068583A1 (en) * | 2003-09-30 | 2005-03-31 | Gutkowski Lawrence J. | Organizing a digital image |
US7840067B2 (en) * | 2003-10-24 | 2010-11-23 | Arcsoft, Inc. | Color matching and color correction for images forming a panoramic image |
US7349567B2 (en) * | 2004-03-05 | 2008-03-25 | Electro Scientific Industries, Inc. | Method and apparatus for determining angular pose of an object |
CA2507174C (en) * | 2005-05-13 | 2013-07-16 | Semiconductor Insights Inc. | Method of registering and aligning multiple images |
US20070002375A1 (en) * | 2005-06-30 | 2007-01-04 | Lexmark International, Inc. | Segmenting and aligning a plurality of cards in a multi-card image |
US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
US7693347B2 (en) * | 2005-08-24 | 2010-04-06 | Samsung Electronics Co., Ltd. | Smear correction in a digital camera |
US7970239B2 (en) * | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
JP4974724B2 (ja) * | 2007-03-19 | 2012-07-11 | キヤノン株式会社 | 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム |
US8260084B2 (en) * | 2009-02-05 | 2012-09-04 | Seiko Epson Corporation | Binary image stitching based on grayscale approximation |
JP2012090145A (ja) * | 2010-10-21 | 2012-05-10 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN103488983B (zh) * | 2013-09-13 | 2016-10-26 | 复旦大学 | 一种基于知识库的名片ocr数据修正方法和系统 |
CN107092909B (zh) * | 2017-03-21 | 2019-06-14 | 杭州朔天科技有限公司 | 基于三角形相似定理的角度检测算法 |
ES2868675T3 (es) * | 2017-08-14 | 2021-10-21 | Optos Plc | Seguimiento de la posición de la retina |
WO2019056346A1 (zh) * | 2017-09-25 | 2019-03-28 | 深圳传音通讯有限公司 | 一种利用膨胀法校正文本图像倾斜的方法及装置 |
WO2020247788A1 (en) * | 2019-06-06 | 2020-12-10 | Bluebeam, Inc. | Methods and systems for processing images to perform automatic alignment of electronic images |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001766A (en) * | 1988-05-16 | 1991-03-19 | At&T Bell Laboratories | Apparatus and method for skew control of document images |
JPH08237407A (ja) * | 1994-12-09 | 1996-09-13 | Xerox Corp | 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法 |
-
1996
- 1996-05-28 US US08/654,360 patent/US5832110A/en not_active Expired - Lifetime
-
1997
- 1997-05-19 JP JP12819197A patent/JP3841321B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269125A (ja) * | 2007-04-18 | 2008-11-06 | Hitachi Computer Peripherals Co Ltd | イメージデータ傾き補正方法及びイメージ入力装置 |
JP2014513292A (ja) * | 2011-04-12 | 2014-05-29 | トライパス イメージング インコーポレイテッド | 定量的ビデオ顕微鏡を準備する方法及び関連システム |
JP2014173919A (ja) * | 2013-03-07 | 2014-09-22 | Seiko Epson Corp | 分光測定装置 |
Also Published As
Publication number | Publication date |
---|---|
US5832110A (en) | 1998-11-03 |
JP3841321B2 (ja) | 2006-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3841321B2 (ja) | 画像レジストレーション方法 | |
US6385340B1 (en) | Vector correlation system for automatically locating patterns in an image | |
JP3825070B2 (ja) | 偽造防止用紙幣パターン検知器および検知方法 | |
US8160366B2 (en) | Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method | |
US6898316B2 (en) | Multiple image area detection in a digital image | |
US8055065B2 (en) | Vectorisation of colour gradients | |
US20050151759A1 (en) | Systems and methods for directly generating a view using a layered approach | |
US7912321B1 (en) | Image registration with uncertainty analysis | |
Chen et al. | Perfecting vectorized mechanical drawings | |
US20090180690A1 (en) | Image searching apparatus and image searching method | |
JPH05258058A (ja) | 位置サンプリングに基づく画像分析 | |
CN102171723A (zh) | 红眼检测的方法 | |
US9077926B2 (en) | Image processing method and image processing apparatus | |
US4783831A (en) | Method for producing a standard pattern for pattern matching | |
JP4587181B2 (ja) | 情報処理装置の動作方法、記憶媒体、情報処理装置 | |
JPH06348850A (ja) | 濃淡画像処理装置 | |
JP3460356B2 (ja) | 円ないし楕円の検出方法およびその装置 | |
Climer et al. | Local lines: A linear time line detector | |
US6625332B1 (en) | Computer-implemented image registration | |
JP4097255B2 (ja) | パターンマッチング装置、パターンマッチング方法およびプログラム | |
AU2006294425B2 (en) | Vectorisation of colour gradients | |
JP2964594B2 (ja) | マーク検査方法 | |
Janssen et al. | Compilation of mosaics from separately scanned line drawings | |
JPS59200379A (ja) | 画像照合装置 | |
JP2003123080A (ja) | 画像認識方法及び画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |