JP4128001B2 - 歪み画像の対応付け方法、装置およびプログラム - Google Patents
歪み画像の対応付け方法、装置およびプログラム Download PDFInfo
- Publication number
- JP4128001B2 JP4128001B2 JP2001353593A JP2001353593A JP4128001B2 JP 4128001 B2 JP4128001 B2 JP 4128001B2 JP 2001353593 A JP2001353593 A JP 2001353593A JP 2001353593 A JP2001353593 A JP 2001353593A JP 4128001 B2 JP4128001 B2 JP 4128001B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- edge
- image
- vertical
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000000605 extraction Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 28
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 20
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け方法、装置およびプログラムに関し、特に、歪みを伴う帳票の入力画像と歪みのない参照画像とを迅速かつ正確に対応付けることができる歪み画像の対応付け方法、装置およびプログラムに関する。
【０００２】
【従来の技術】
帳票をスキャナで読み取る場合に、帳票の膨らみ・ねじれなどによって図１８に示すように罫線が歪んだ帳票イメージとなることが多い。特に、オーバーヘッド型スキャナを用いた場合には、かかる帳票の膨らみなどの影響が帳票イメージの歪みとなって顕在化する。また、搬送速度の速いスキャナで帳票を読み取った場合にも、搬送速度のわずかな変化により伸縮などの歪みを伴った帳票イメージとなる。
【０００３】
これらのことから、歪みのある帳票イメージである入力画像と参照画像とを対応付ける必要が生じる。このため、たとえば特開平１１−３４３０号公報には、参照画像のエッジ画像を小ブロックに分割して各小ブロックの探索範囲および優先度を決定し、各小ブロックに対応する画像を入力画像の探索範囲内で探索する対応付け方法が開示されている。この従来技術によれば、線分や表などの特定の要素に依存することなく参照画像と入力画像の対応付けをおこなうことができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来技術によれば、縦、横それぞれのエッジについて参照エッジ画像と入力エッジ画像との縦方向および横方向の距離を基に推定位置からのずれ量を求めているので、縦エッジしか持たないもの、横エッジしか持たないもの若しくはエッジを持たないもののように特徴の少ないエッジ画像の場合には、ずれ量が求まらないという問題がある。
【０００５】
この発明は、上述した従来技術による問題点を解消するためになされたものであって、歪みを伴う帳票の入力画像とあらかじめ記憶した参照画像とを迅速かつ正確に対応付けることができる歪み画像の対応付け方法、装置およびプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け方法であって、前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジおよび縦エッジ点を特徴点として抽出する特徴点抽出工程と、前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出工程とを含み、前記特徴点抽出工程は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出工程とを含んだことを特徴とする。
【０００８】
また、本発明は、上記発明において、前記特徴点抽出工程は、あるエッジ点を中心とする所定の領域内の縦横両エッジ点、横エッジ点または縦エッジ点を抽出した際に、前記エッジ画像の所定の領域内の画素値を消去し、この消去したエッジ画像の特徴量に基づいて次のエッジ点を抽出する処理を繰り返すことを特徴とする。
【０００９】
また、本発明は、上記発明において、前記対応点検出工程は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換工程と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定工程と、前記ハフ変換工程で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定工程とを含んだことを特徴とする。
【００１０】
また、本発明は、上記発明において、前記特徴点特定工程は、前記第３の対応点を基準点とした三角形相似比により求めた前記入力画像のエッジ画像上のエッジ点を中心点としたハフ変換により評価量が最大となる前記第４の対応点を特定することを特徴とする。
【００１１】
また、本発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け装置であって、前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジ点および縦エッジ点を特徴点として抽出する特徴点抽出手段と、前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出手段とを備え、前記特徴点抽出手段は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出手段とを備えたことを特徴とする。
【００１３】
また、本発明は、上記発明において、前記対応点検出手段は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換手段と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定手段と、前記ハフ変換手段で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定手段とを備えたことを特徴とする。
【００１４】
また、本発明に係るプログラムは、請求項１〜４のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜４のいずれか一つの動作をコンピュータによって実現することができる。
【００１５】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る歪み画像の対応付け方法、装置およびプログラムの好適な実施の形態を詳細に説明する。なお、本実施の形態では、帳票の画像を対応付ける場合について説明することとする。
【００１６】
（画像対応付け装置の構成について）
まず、本実施の形態に係る画像対応付け装置の構成について説明する。図１は、本実施の形態に係る画像対応付け装置の構成を示す機能ブロック図である。同図に示すように、この画像対応付け装置１００は、画像入力部１０１と、切出処理部１０２と、エッジ画像作成部１０３と、特徴点抽出部１０４と、記憶部１０５と、対応点検出部１０６とを有する。なお、請求項７の特徴点抽出手段は特徴点抽出部１０４に対応し、請求項７の対応点検出手段は対応点検出部１０６に対応する。
【００１７】
ここで、この画像対応付け装置１００は、手書き文字が書き込まれた帳票の入力画像を受け付ける対応付けモードと、この入力画像の比較の対象となるテンプレート（参照画像）を受け付けるテンプレート登録モードとで異なる処理をおこなう。具体的には、テンプレート登録モードの場合には、画像入力部１０１〜切出処理部１０２〜エッジ画像作成部１０３〜特徴点抽出部１０４〜記憶部１０５という処理の流れとなり、対応付けモードの場合には、画像入力部１０１〜切出処理部１０２〜エッジ画像作成部１０３〜対応点検出部１０６という処理の流れとなる。なお、両モードのモード切り替えは、図示しない切替スイッチなどでおこなう。
【００１８】
画像入力部１０１は、入力画像またはテンプレートを入力する処理部であり、具体的には、入力画像については、たとえばオーバーヘッド型スキャナなどで取り込み、テンプレートについては、たとえば圧接型スキャナなどで取り込む。ここでは、入力デバイスについてはいかなるものであっても良いが、入力画像には帳票の膨らみなどに起因する歪みが存在し、テンプレートにはかかる入力画像のような歪みが存在しないものとする。
【００１９】
切出処理部１０２は、画像入力部１０１から入力した入力画像またはテンプレートから対応付け対象となる領域を切り出す処理部である。なお、入力画像を切り出す場合には、歪みや位置ずれを考慮してテンプレートの場合よりもやや大きめに領域を切り出すことになる。
【００２０】
エッジ画像作成部１０３は、切出処理部１０２により切り出された領域に対してたとえばソーベル（sobel）オペレータなどの微分オペレータを適用し、そのエッジ部分を強調した方向画像を作成する処理部である。なお、かかる処理の結果得られる微分画像は、各点における濃度勾配の方向ベクトルを画素値として持つことになる。
【００２１】
特徴点抽出部１０４は、テンプレートのエッジ画像の切り出した領域中に所在する各エッジ点における方向ベクトルの横方向量および縦方向量に基づいて、縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点を特徴点として抽出する処理部である。具体的には、各エッジ点を中心とした所定の領域内の横方向量Nhと縦方向量Nvの加算値を縦横両方向量Nhvとし、この領域内の横方向量Nhおよび縦方向量Nvがそれぞれ所定の値以上であり、かつ、縦横両方向量Nhvが最大となる点を縦横両エッジ点とする。また、各エッジ点を中心とした所定の領域内の横方向量Nhが所定の値以上であり、かつ、この横方向量Nhが最大となる点を横エッジ点とし、各エッジ点を中心とした所定の領域内の縦方向量Nvが所定の値以上であり、かつ、この縦方向量Nvが最大となる点を縦エッジ点とする。
【００２２】
図２は、方向量の計算概念を説明するための説明図である。同図（ａ）に示すようなエッジ画像が存在する場合には、たとえば同図（ｂ）に示すように各画素には濃度勾配の方向ベクトルが格納されている。画素ａや画素ｆのような横エッジを持つ点の方向ベクトルは縦向きとなり、画素ｃや画素ｄのような縦エッジを持つ持つ点の方向ベクトルは横向きとなる。このことから、横方向量はサイン関数（sin）で求められ、縦方向量はコサイン関数（cos）で求める。よって、点（x,y）における各方向量は、以下のようになり、図中の各画素ａ〜ｆの方向量は同図（ｃ）に示すものとなる。
【００２３】
すなわち、方向ベクトルの向きをth（点（x,y）におけるエッジ画像の値）とすると、
横方向量（Nh）＝｜sin（th）｜
縦方向量（Nv）＝｜cos（th）｜
縦横両方向量（Nhv）＝Nh＋Nv
となる。
【００２４】
なお、この特徴点抽出部１０４は、観測窓を用いて縦横両エッジ点、横エッジ点、縦エッジ点あるいは、縦横両エッジ点、縦エッジ点、横エッジ点の順序で順次特徴点を抽出する。すなわち、観測窓の中心画素の特徴点を抽出する場合には、該観測窓内の各画素の横方向量、縦方向量および縦横両方向量を加算して、その加算結果を中心画素の横方向量、縦方向量および縦横両方向量とする。そして、これらの方向量が所定の条件を満たす場合に、その中心画素を縦横両エッジ点、横エッジ点または縦エッジ点とする。
【００２５】
そして、ある特徴点を抽出した場合にはこの領域内のエッジ画像の画素値を消去しつつ特徴点の抽出を繰り返す。適切な間隔をもって特徴点を抽出するためである。周囲の点はテンプレートの境界上に等ピッチに取る（エッジ特徴には無関係）。
【００２６】
記憶部１０５は、特徴点抽出部１０４により抽出された特徴点すなわち縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点及びエッジ画像を記憶する記憶部であり、記憶したデータは対応点検出部１０６によりアクセスされる。
【００２７】
対応点検出部１０６は、テンプレートと入力画像の位置合わせをハフ変換により大まかにおこなう。次に、テンプレートの特徴点と入力画像上の対応点の位置合わせをハフ変換によりおこない、この特徴点を対応点に変換するアフィン変換係数を算定し、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求める。そして、求めたずれ量を所定のしきい値と比較して、該しきい値以下となる対応点を基準点とし、後述する三角形相似比によりずれ量が所定のしきい値を越える特徴点に対応する対応点を特定する処理をおこなっている。
【００２８】
このように、この画像対応付け装置１００は、特徴点抽出部１０４により３種類の特徴点（縦横両エッジ点、横エッジ点および縦エッジ点）を抽出するとともに、対応点検出部１０６では、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求め、このずれ量の少ない対応点を基準点とする三角形相似比を使って対応点を特定している。
【００２９】
（テンプレート登録モード時の処理について）
次に、図１に示した画像対応付け装置１００によるテンプレート登録モード時の処理手順について説明する。図３は、図１に示した画像対応付け装置１００によるテンプレート登録モード時の処理手順を示すフローチャートであり、図４は、テンプレート登録モード時のテンプレートの一例を示す図である。
【００３０】
図３に示すように、画像対応付け装置１００が登録モードの場合には、図４（ａ）に示すような未記入の帳票の歪みのない画像を画像入力部１０１から入力すると（ステップＳ３０１）、切出処理部１０２が図４（ｂ）に示すような対象領域すなわちテンプレートを切り出す（ステップＳ３０２）。具体的には、登録モード時にはオペレータがマウス操作などによりテンプレートを切り出すことになる。その後、エッジ画像作成部１０３がこのテンプレートに微分オペレータを適用して図４（ｃ）に示すエッジ画像を取得する（ステップＳ３０３）。
【００３１】
その後、図４（ｃ）から特徴点抽出部１０４が同図（ｄ）に示すような特徴点を抽出する（ステップＳ３０４）。図５は、図４（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点と、ばつ（×）で示す横エッジ点と、黒三角で示す縦エッジ点と、黒四角で示す周囲の点が特徴点として得られる。
【００３２】
そして、これらの特徴点が得られたならば、この特徴点をテンプレートに対応付けて記憶部１０５に記憶し（ステップＳ３０５）、後述する対応点検出部１０６の処理で利用できるようにする。
【００３３】
（対応付けモード時の処理について）
次に、図１に示した画像対応付け装置１００による対応付けモード時の処理手順について説明する。図６は、図１に示した画像対応付け装置１００による対応付けモード時の処理手順を示すフローチャートであり、図７は、対応付けモード時の入力画像などの一例を示す図である。
【００３４】
図６に示すように、画像対応付け装置１００が対応付けモードの場合には、画像入力部１０１から歪みのある入力画像を入力すると（ステップＳ６０１）、切出処理部１０２が図７（ａ）に示すような入力画像の一部を切り出す（ステップＳ６０２）。具体的には、帳票の種類を別途判別して読み取り対象とする所定の領域を切り出すことになる。その後、エッジ画像作成部１０３が微分オペレータを適用して図７（ｂ）に示すエッジ画像を取得する（ステップＳ６０３）。
【００３５】
そして、記憶部１０５に記憶した同図（ｃ）に示したテンプレートのエッジ画像とハフ変換によりおおまかな位置合わせをおこなって移動量を求め（ステップＳ６０４）、この移動量を考慮して同図（ｄ）に示すように各特徴点に対応する画素すなわち対応点を検出する（ステップＳ６０５）。図８は、図７（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点の対応点と、ばつ（×）で示す横エッジ点の対応点と、黒三角で示す縦エッジ点の対応点と、黒四角で示す周囲の点の対応点が得られる。
【００３６】
なお、本実施の形態では、対応点を求めるまでの処理のみについて説明するが、必要に応じて、対応する特徴点間のずれ量（変位）に基づいて歪みを補正した補正画像を作成することもできる（図７（ｅ））。
【００３７】
（特徴点抽出処理について）
次に、図１に示した特徴点抽出部１０４による特徴点の抽出処理についてさらに具体的に説明する。図９および図１０は、図１に示した特徴点抽出部１０４による特徴点の抽出処理手順を示すフローチャートであり、図１１および図１２は、特徴点抽出処理途中の画像データの一例を示す説明図である。
【００３８】
図９および図１０に示すように、この特徴点抽出部１０４は、縦横両エッジ点、横エッジ点、縦エッジ点の順序で特徴点を抽出する。まず、縦横両エッジ点を抽出するために、図１１（ａ）に示すようにテンプレートのエッジ画像のエッジ点を中心としたＳ×Ｓの大きさの領域（観測窓）を設け、この観測窓内の縦横両方向量（Nhv）、横方向量（Nh）、縦方向量（Nv）を算定する（ステップＳ９０１）。具体的には、この観測窓内の画素ごとの方向量をそれぞれ調べ、この方向量をそれぞれ方向量ごとに加算して中心画素の方向量とする。この処理を観測窓を動かしながら繰り返し、全ての画素の方向量を求める。
【００３９】
そして、横方向量（Nh）および縦方向量（Nv）がそれぞれ所定値、たとえばＳ／４よりも大きく、かつ、縦横両方向量（Nhv）が最大となる点を縦横両エッジ点とする（ステップＳ９０２）。
【００４０】
ステップＳ９０２を満足する縦横両エッジ点が存在する場合には（ステップＳ９０３肯定、図１１（ｂ））、図１１（ｂ’）に示すように縦横両エッジ点の周りのエッジ画像の一部（その縦横両エッジ点を中心とする観測窓の内部全てのエッジ画像）を消去し（ステップＳ９０４）、消去した画像を新たなエッジ画像として（ステップＳ９０５）、再度各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ９０１〜Ｓ９０５）。
【００４１】
そして、ステップＳ９０２を満足する縦横両エッジ点がなくなると（ステップＳ９０３否定）、エッジ画像の消去をおこなうことなくそのままステップＳ９０６に移行する。そのときのエッジ画像は例えば図１１（ｃ）のようになっている。このようにして、縦横両エッジ点の抽出処理を終えたならば、横エッジ点の抽出処理に移行する。具体的には、横方向量（Nh）を算定した後（ステップＳ９０６）、この横方向量（Nh）が所定値、たとえばＳ／４よりも大きく、かつ、横方向量（Nh）が最大となる点を横エッジ点とする（ステップＳ９０７）。
【００４２】
そして、ステップＳ９０７を満足する横エッジ点が存在する場合には（ステップＳ９０８肯定、図１２（ａ））、縦横両エッジ点の場合と同様に、横エッジ点の周りのエッジ画像を消去し（ステップＳ９０９）、消去した画像を新たなエッジ画像として（ステップＳ９１０）、再度、各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ９０６〜Ｓ９１０）。ステップＳ９０７を満足する横エッジ点が存在しなくなると（ステップＳ９０８否定）、エッジ画像の消去をおこなうことなくそのままステップＳ９１１に移行する。このときのエッジ画像は例えば図１２（ｂ）のようになっている。
【００４３】
このようにして、横エッジ点の抽出処理を終えたならば、縦エッジ点の抽出処理に移行する。具体的には、縦方向量（Nv）を算定した後（ステップＳ９１１）、この縦方向量（Nv）が所定値、たとえばＳ／４よりも大きく、かつ、縦方向量（Nv）が最大となる点を縦エッジ点とする（ステップＳ９１２）。
【００４４】
そして、ステップＳ９１２を満足する縦エッジ点が存在する場合には（ステップＳ９１３肯定、図１２（ｃ））、縦エッジ点の周りのエッジ画像を消去し（ステップＳ９１４）、消去した画像を新たなエッジ画像として（ステップＳ９１５）、上記ステップＳ９１１〜Ｓ９１５の処理を繰り返す。なお、ステップＳ９１２を満足する縦エッジ点が存在しなくなると（ステップＳ９１３否定）、エッジ画像の消去をおこなうことなく処理を終了する。
【００４５】
なお、ここでは説明の便宜上その説明を省略したが、観測窓内ですでに縦横両エッジ点が存在している場合には、横エッジ点や縦エッジ点の抽出処理はおこなわれず、縦横両エッジ点が存在せず、かつ、横エッジ点が存在する場合にも、縦エッジ点は抽出されない。
【００４６】
（対応点の検出処理について）
次に、図１に示した対応点検出部１０６の処理手順について説明する。図１３は、図１に示した対応点検出部１０６の処理手順を示すフローチャートであり、図１４は、対応点を検出する際の画像の一例を示す図である。図１３に示すように、ここでは縦横両エッジ点、横エッジ点、縦エッジ点の順序で対応点を検出している。縦横両エッジ点は、横エッジ点や縦エッジ点よりも対応付けの特徴を多く持っているからである。
【００４７】
同図に示すように、縦横両エッジ点に対応する入力画像上の対応点をハフ変換により探索する（ステップＳ１３０１）。特徴点はエッジ上にあるので、対応点も必ずエッジ上にあると考えられるため、ハフ変換で求めた対応点から最も近い点を対応点とするのである。その結果、図１４（ａ）に示すように、縦横両エッジ点（xi,yi）に対応する対応点（xi',yi'）が得られる。
【００４８】
その後、縦横両エッジ点（xi,yi）を対応点（xi',yi'）に変換するアフィン変換係数を次式に示す最小二乗法により求める（ステップＳ１３０２）。
【数１】
【００４９】
そして、対応点とアフィン変換係数で求めた対応点のずれ量eiを算定し（ステップＳ１３０３）、図１４（ｂ）に示すようにずれ量が大きい縦横両エッジ点（ei＞Ｃσ）とずれ量が小さい縦横両エッジ点（ei≦Ｃσ）に分類する（ステップＳ１３０４）。そして、ずれ量が小さい縦横両エッジ点だけでアフィン変換係数を再度求める（ステップＳ１３０５）。Ｃは扱う入力画像の歪の程度によって定められるべき係数であって、例えばＣ＝１でよい。
【００５０】
そして、ずれ量の大きな縦横両エッジ点については、三角形相似比を使って対応点を求める（ステップＳ１３０６）。図１５は、ずれ量の大きな縦横両エッジ点の対応点の求め方を説明するための説明図である。同図（ａ）に示す縦横両エッジ点１５０１が同図（ｂ）に示す対応点１５０２に対応付けられてしまうと、ずれ量が大きくなってしまう。
【００５１】
このため、この縦横両エッジ点１５０２（同図（ｃ）に示す点Ｃ）と、この点Ｃの左下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ｂ）と、点Ｃの右下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ａ）とで形成される三角形を考える。このように考えると、同図（ｄ）に示すように、点Ａおよび点Ｂの対応点がそれぞれ点Ａ'および点Ｂ'となるので、三角形ＡＢＣと三角形Ａ'Ｂ'Ｃ'の相似比から、点Ｃの仮の対応点Ｃ'が求まる。この点Ｃ'の近傍に求めたい点Ｃの対応点が存在するはずである。
【００５２】
すなわち、点Ａ'の座標を（ax',ay'）、点Ｃ'の座標を（cx',cy'）とし、ＡＢおよびＡ'Ｂ'間の距離をそれぞれＡＢおよびＡ'Ｂ'とすると、
【数２】
によって点Ｃ'を求めることができる。
【００５３】
そして、テンプレート上の縦横両エッジ点Ｃの対応点を入力画像上の上記仮の点Ｃ'を中心としたハフ変換による探索で求める。このときの画像の一辺は、ステップＳ１３０１でおこなったハフ変換の一辺よりも短くする。このように、ハフ変換の範囲を狭くすることで、より正確な対応点を求めることができる。
【００５４】
図１６は、２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。同図（ｃ）において、点ｘＳは、縦横両エッジ点Ｃよりもｘ座標が小さく、かつ、点Ｃとの距離が最短の点であり、点ｘＬは縦横両エッジ点Ｃよりもｘ座標が大きく、かつ、点Ｃとの距離が最短の点である。
【００５５】
点ｙＳおよび点ｙＬはｙ座標に関して同様な関係にある点である。また、それらの入力画像のエッジ画像上での対応点をｘＳ'、ｘＬ'、ｙＳ'、ｙＬ'とすると、ハフ変換では、次式に示す評価量が最大となる対応点を求めることになる。Ｍはマッチング量、すなわちハフ変換における投票値である。
【００５６】
このようにして縦横両エッジ点の対応点を検出したならば、横エッジ点の対応点、縦エッジ点の対応点、境界上の特徴点の対応点を順次算定する（ステップＳ１３０７〜Ｓ１３０９）。
【００５７】
具体的には、横エッジ点の対応点を求める場合には、ずれ量が小さな特徴点（基準点）の中で横エッジ点よりもｘ座標が小さく、かつ、横エッジ点との距離が最短の点ｘＳと、横エッジ点よりもｘ座標が大きく、かつ、横エッジ点との距離が最短の点ｘＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
【００５８】
Ｍ−２×α×（｜１−(v1'/v0')/(v1/v0)｜2＋｜１−(v0'/v2')/(v0/v2)｜2＋｜１−(v2'/v1')/(v2/v1)｜2）
【００５９】
また、縦エッジ点の対応点を求める場合には、基準点の中で縦エッジ点よりｙ座標が小さく、かつ、縦エッジ点との距離が最短の点ｙＳと、縦エッジ点よりもｙ座標が大きく、かつ、縦エッジ点との距離が最短の点ｙＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
【００６０】
Ｍ−２×α×（｜１−(w1'/w0')/(w1/w0)｜2＋｜１−(w0'/w2')/(w0/w2)｜2＋｜１−(w2'/w1')/(w2/w1)｜2）
【００６１】
また、境界上の特徴点を求める場合には、テンプレートの最も外側に、均等に位置し、画像を取り囲むように特徴点を追加する。境界上の特徴点に対応する対応点は、アフィン変換式に代入して求める。
【００６２】
（データ間の補間について）
上記一連の説明により、縦横両エッジ点、横エッジ点、縦エッジ点を特徴点として求め、各特徴点に対応する対応点を求めることができるが、これらを用いると、データ間の補間をおこなうこともできる。
【００６３】
図１７は、データ間の補間を説明するための説明図である。図１７（ａ）に示すように、特徴点間を結ぶドロネー三角形網を作り、各要素がどの三角形の内側に位置するかを検索する。そして、求めた三角形頂点の対応点の座標と各点における変位量から、各要素の変位量を線形変換で求める。たとえば、図１７（ｂ）点Ａの変位量が（a1,a2）であり、点Ｂの変位量が（b1,b2）である場合には、点Ｐの変位量（c1,c2）は、次式で求めることができる。なお、αおよびβはベクトルＯＰをベクトルＯＡおよびベクトルＯＢについて一次分解した係数である。
【数３】
【００６４】
上述してきたように、本実施の形態によれば、特徴点抽出部１０４により３種類の特徴点（縦横両エッジ点、横エッジ点および縦エッジ点）を抽出するとともに、対応点検出部１０６では、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求め、このずれ量の少ない対応点を基準点とする三角形相似比を使って対応点を特定するよう構成したので、歪みを伴う帳票の入力画像と歪みのないテンプレートとを迅速かつ正確に対応付けることができる。
【００６５】
なお、本実施の形態では、帳票の画像を対応付ける場合について説明したが、本発明はこれに限定されるものではなく、帳票以外の他の画像を対応付ける場合に適用することもできる。
【００６６】
また、本実施の形態では、縦横両エッジ点、縦エッジ点および横エッジ点をそれぞれ図２およびその説明により定義したが、本発明はこれに限定されるものではなく、たとえば、縦横両エッジ点として枠のコーナーを、横エッジ点および縦エッジ点として縦横両エッジ点の内分点を、マニュアル操作でマウスでポイントするよう構成することもできる。
【００６７】
【発明の効果】
以上説明したように、請求項１の発明によれば、参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの横方向量および縦方向量に基づいて、参照画像の縦横両エッジ点、横エッジ点および縦エッジ点を特徴点として抽出し、参照画像の各特徴点に対応する入力画像上の対応点を検出するよう構成したので、歪みを伴う入力画像と歪みのない参照画像とを迅速かつ正確に対応付けることができる。特に、対応点に係る情報を多く持つエッジ点を特徴点とし、もって正確な対応付けをおこなうことができる。
【００６９】
また、本発明によれば、あるエッジ点を中心とする所定の領域内の縦横両エッジ点、横エッジ点または縦エッジ点を抽出した際に、エッジ画像の所定の領域内の画素値を消去し、この消去したエッジ画像の特徴量に基づいて次のエッジ点を抽出する処理を繰り返すよう構成したので、処理の高速化を図ることが可能となる。
【００７０】
また、本発明によれば、参照画像の特徴点に対応する入力画像上の第１の対応点をハフ変換により算定し、特徴点を対応点に変換するアフィン変換係数を算定し、第１の対応点とアフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定するよう構成したので、ずれ量が大きな対応点を効率良く再探索することが可能となる。
【００７１】
また、本発明によれば、第３の対応点を基準点とした三角形相似比により求めた入力画像のエッジ画像上のエッジ点を中心点としたハフ変換により評価量が最大となる前記第４の対応点を特定するよう構成したので、ハフ変換の精度を上げつつ、迅速かつ効率良く対応付けをおこなうことが可能となる。
【００７５】
また、本発明によれば、請求項１〜４のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜４のいずれか一つの動作をコンピュータによって実現することが可能なプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る画像対応付け装置の構成を示す機能ブロック図である。
【図２】方向量の計算概念を説明するための説明図である。
【図３】図１に示した画像対応付け装置によるテンプレート登録モード時の処理手順を示すフローチャートである。
【図４】テンプレート登録モード時のテンプレートの一例を示す図である。
【図５】縦横両エッジ点を、横エッジ点および縦エッジ点を示した図４（ｄ）の拡大図である。
【図６】図１に示した画像対応付け装置による対応付けモード時の処理手順を示すフローチャートである。
【図７】対応付けモード時の入力画像などの一例を示す図である。
【図８】縦横両エッジ点を、横エッジ点および縦エッジ点を示した図７（ｄ）の拡大図である。
【図９】図１に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（１）である。
【図１０】図１に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（２）である。
【図１１】特徴点抽出処理途中の画像データの一例を示す説明図（１）である。
【図１２】特徴点抽出処理途中の画像データの一例を示す説明図（２）である。
【図１３】図１に示した対応点検出部の処理手順を示すフローチャートである。
【図１４】対応点を検出する際の画像の一例を示す図である。
【図１５】ずれ量の大きな縦横両エッジ点の対応点の求め方を説明するための説明図である。
【図１６】２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。
【図１７】データ間の補間を説明するための説明図である。
【図１８】入力画像に生ずる歪みを説明するための説明図である。
【符号の説明】
１００ 画像対応付け装置
１０１ 画像入力部
１０２ 切出処理部
１０３ エッジ画像作成部
１０４ 特徴点抽出部
１０５ 記憶部
１０６ 対応点検出部
【発明の属する技術分野】
この発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け方法、装置およびプログラムに関し、特に、歪みを伴う帳票の入力画像と歪みのない参照画像とを迅速かつ正確に対応付けることができる歪み画像の対応付け方法、装置およびプログラムに関する。
【０００２】
【従来の技術】
帳票をスキャナで読み取る場合に、帳票の膨らみ・ねじれなどによって図１８に示すように罫線が歪んだ帳票イメージとなることが多い。特に、オーバーヘッド型スキャナを用いた場合には、かかる帳票の膨らみなどの影響が帳票イメージの歪みとなって顕在化する。また、搬送速度の速いスキャナで帳票を読み取った場合にも、搬送速度のわずかな変化により伸縮などの歪みを伴った帳票イメージとなる。
【０００３】
これらのことから、歪みのある帳票イメージである入力画像と参照画像とを対応付ける必要が生じる。このため、たとえば特開平１１−３４３０号公報には、参照画像のエッジ画像を小ブロックに分割して各小ブロックの探索範囲および優先度を決定し、各小ブロックに対応する画像を入力画像の探索範囲内で探索する対応付け方法が開示されている。この従来技術によれば、線分や表などの特定の要素に依存することなく参照画像と入力画像の対応付けをおこなうことができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、この従来技術によれば、縦、横それぞれのエッジについて参照エッジ画像と入力エッジ画像との縦方向および横方向の距離を基に推定位置からのずれ量を求めているので、縦エッジしか持たないもの、横エッジしか持たないもの若しくはエッジを持たないもののように特徴の少ないエッジ画像の場合には、ずれ量が求まらないという問題がある。
【０００５】
この発明は、上述した従来技術による問題点を解消するためになされたものであって、歪みを伴う帳票の入力画像とあらかじめ記憶した参照画像とを迅速かつ正確に対応付けることができる歪み画像の対応付け方法、装置およびプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け方法であって、前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジおよび縦エッジ点を特徴点として抽出する特徴点抽出工程と、前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出工程とを含み、前記特徴点抽出工程は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出工程とを含んだことを特徴とする。
【０００８】
また、本発明は、上記発明において、前記特徴点抽出工程は、あるエッジ点を中心とする所定の領域内の縦横両エッジ点、横エッジ点または縦エッジ点を抽出した際に、前記エッジ画像の所定の領域内の画素値を消去し、この消去したエッジ画像の特徴量に基づいて次のエッジ点を抽出する処理を繰り返すことを特徴とする。
【０００９】
また、本発明は、上記発明において、前記対応点検出工程は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換工程と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定工程と、前記ハフ変換工程で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定工程とを含んだことを特徴とする。
【００１０】
また、本発明は、上記発明において、前記特徴点特定工程は、前記第３の対応点を基準点とした三角形相似比により求めた前記入力画像のエッジ画像上のエッジ点を中心点としたハフ変換により評価量が最大となる前記第４の対応点を特定することを特徴とする。
【００１１】
また、本発明は、歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け装置であって、前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジ点および縦エッジ点を特徴点として抽出する特徴点抽出手段と、前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出手段とを備え、前記特徴点抽出手段は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出手段とを備えたことを特徴とする。
【００１３】
また、本発明は、上記発明において、前記対応点検出手段は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換手段と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定手段と、前記ハフ変換手段で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定手段とを備えたことを特徴とする。
【００１４】
また、本発明に係るプログラムは、請求項１〜４のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜４のいずれか一つの動作をコンピュータによって実現することができる。
【００１５】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る歪み画像の対応付け方法、装置およびプログラムの好適な実施の形態を詳細に説明する。なお、本実施の形態では、帳票の画像を対応付ける場合について説明することとする。
【００１６】
（画像対応付け装置の構成について）
まず、本実施の形態に係る画像対応付け装置の構成について説明する。図１は、本実施の形態に係る画像対応付け装置の構成を示す機能ブロック図である。同図に示すように、この画像対応付け装置１００は、画像入力部１０１と、切出処理部１０２と、エッジ画像作成部１０３と、特徴点抽出部１０４と、記憶部１０５と、対応点検出部１０６とを有する。なお、請求項７の特徴点抽出手段は特徴点抽出部１０４に対応し、請求項７の対応点検出手段は対応点検出部１０６に対応する。
【００１７】
ここで、この画像対応付け装置１００は、手書き文字が書き込まれた帳票の入力画像を受け付ける対応付けモードと、この入力画像の比較の対象となるテンプレート（参照画像）を受け付けるテンプレート登録モードとで異なる処理をおこなう。具体的には、テンプレート登録モードの場合には、画像入力部１０１〜切出処理部１０２〜エッジ画像作成部１０３〜特徴点抽出部１０４〜記憶部１０５という処理の流れとなり、対応付けモードの場合には、画像入力部１０１〜切出処理部１０２〜エッジ画像作成部１０３〜対応点検出部１０６という処理の流れとなる。なお、両モードのモード切り替えは、図示しない切替スイッチなどでおこなう。
【００１８】
画像入力部１０１は、入力画像またはテンプレートを入力する処理部であり、具体的には、入力画像については、たとえばオーバーヘッド型スキャナなどで取り込み、テンプレートについては、たとえば圧接型スキャナなどで取り込む。ここでは、入力デバイスについてはいかなるものであっても良いが、入力画像には帳票の膨らみなどに起因する歪みが存在し、テンプレートにはかかる入力画像のような歪みが存在しないものとする。
【００１９】
切出処理部１０２は、画像入力部１０１から入力した入力画像またはテンプレートから対応付け対象となる領域を切り出す処理部である。なお、入力画像を切り出す場合には、歪みや位置ずれを考慮してテンプレートの場合よりもやや大きめに領域を切り出すことになる。
【００２０】
エッジ画像作成部１０３は、切出処理部１０２により切り出された領域に対してたとえばソーベル（sobel）オペレータなどの微分オペレータを適用し、そのエッジ部分を強調した方向画像を作成する処理部である。なお、かかる処理の結果得られる微分画像は、各点における濃度勾配の方向ベクトルを画素値として持つことになる。
【００２１】
特徴点抽出部１０４は、テンプレートのエッジ画像の切り出した領域中に所在する各エッジ点における方向ベクトルの横方向量および縦方向量に基づいて、縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点を特徴点として抽出する処理部である。具体的には、各エッジ点を中心とした所定の領域内の横方向量Nhと縦方向量Nvの加算値を縦横両方向量Nhvとし、この領域内の横方向量Nhおよび縦方向量Nvがそれぞれ所定の値以上であり、かつ、縦横両方向量Nhvが最大となる点を縦横両エッジ点とする。また、各エッジ点を中心とした所定の領域内の横方向量Nhが所定の値以上であり、かつ、この横方向量Nhが最大となる点を横エッジ点とし、各エッジ点を中心とした所定の領域内の縦方向量Nvが所定の値以上であり、かつ、この縦方向量Nvが最大となる点を縦エッジ点とする。
【００２２】
図２は、方向量の計算概念を説明するための説明図である。同図（ａ）に示すようなエッジ画像が存在する場合には、たとえば同図（ｂ）に示すように各画素には濃度勾配の方向ベクトルが格納されている。画素ａや画素ｆのような横エッジを持つ点の方向ベクトルは縦向きとなり、画素ｃや画素ｄのような縦エッジを持つ持つ点の方向ベクトルは横向きとなる。このことから、横方向量はサイン関数（sin）で求められ、縦方向量はコサイン関数（cos）で求める。よって、点（x,y）における各方向量は、以下のようになり、図中の各画素ａ〜ｆの方向量は同図（ｃ）に示すものとなる。
【００２３】
すなわち、方向ベクトルの向きをth（点（x,y）におけるエッジ画像の値）とすると、
横方向量（Nh）＝｜sin（th）｜
縦方向量（Nv）＝｜cos（th）｜
縦横両方向量（Nhv）＝Nh＋Nv
となる。
【００２４】
なお、この特徴点抽出部１０４は、観測窓を用いて縦横両エッジ点、横エッジ点、縦エッジ点あるいは、縦横両エッジ点、縦エッジ点、横エッジ点の順序で順次特徴点を抽出する。すなわち、観測窓の中心画素の特徴点を抽出する場合には、該観測窓内の各画素の横方向量、縦方向量および縦横両方向量を加算して、その加算結果を中心画素の横方向量、縦方向量および縦横両方向量とする。そして、これらの方向量が所定の条件を満たす場合に、その中心画素を縦横両エッジ点、横エッジ点または縦エッジ点とする。
【００２５】
そして、ある特徴点を抽出した場合にはこの領域内のエッジ画像の画素値を消去しつつ特徴点の抽出を繰り返す。適切な間隔をもって特徴点を抽出するためである。周囲の点はテンプレートの境界上に等ピッチに取る（エッジ特徴には無関係）。
【００２６】
記憶部１０５は、特徴点抽出部１０４により抽出された特徴点すなわち縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点及びエッジ画像を記憶する記憶部であり、記憶したデータは対応点検出部１０６によりアクセスされる。
【００２７】
対応点検出部１０６は、テンプレートと入力画像の位置合わせをハフ変換により大まかにおこなう。次に、テンプレートの特徴点と入力画像上の対応点の位置合わせをハフ変換によりおこない、この特徴点を対応点に変換するアフィン変換係数を算定し、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求める。そして、求めたずれ量を所定のしきい値と比較して、該しきい値以下となる対応点を基準点とし、後述する三角形相似比によりずれ量が所定のしきい値を越える特徴点に対応する対応点を特定する処理をおこなっている。
【００２８】
このように、この画像対応付け装置１００は、特徴点抽出部１０４により３種類の特徴点（縦横両エッジ点、横エッジ点および縦エッジ点）を抽出するとともに、対応点検出部１０６では、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求め、このずれ量の少ない対応点を基準点とする三角形相似比を使って対応点を特定している。
【００２９】
（テンプレート登録モード時の処理について）
次に、図１に示した画像対応付け装置１００によるテンプレート登録モード時の処理手順について説明する。図３は、図１に示した画像対応付け装置１００によるテンプレート登録モード時の処理手順を示すフローチャートであり、図４は、テンプレート登録モード時のテンプレートの一例を示す図である。
【００３０】
図３に示すように、画像対応付け装置１００が登録モードの場合には、図４（ａ）に示すような未記入の帳票の歪みのない画像を画像入力部１０１から入力すると（ステップＳ３０１）、切出処理部１０２が図４（ｂ）に示すような対象領域すなわちテンプレートを切り出す（ステップＳ３０２）。具体的には、登録モード時にはオペレータがマウス操作などによりテンプレートを切り出すことになる。その後、エッジ画像作成部１０３がこのテンプレートに微分オペレータを適用して図４（ｃ）に示すエッジ画像を取得する（ステップＳ３０３）。
【００３１】
その後、図４（ｃ）から特徴点抽出部１０４が同図（ｄ）に示すような特徴点を抽出する（ステップＳ３０４）。図５は、図４（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点と、ばつ（×）で示す横エッジ点と、黒三角で示す縦エッジ点と、黒四角で示す周囲の点が特徴点として得られる。
【００３２】
そして、これらの特徴点が得られたならば、この特徴点をテンプレートに対応付けて記憶部１０５に記憶し（ステップＳ３０５）、後述する対応点検出部１０６の処理で利用できるようにする。
【００３３】
（対応付けモード時の処理について）
次に、図１に示した画像対応付け装置１００による対応付けモード時の処理手順について説明する。図６は、図１に示した画像対応付け装置１００による対応付けモード時の処理手順を示すフローチャートであり、図７は、対応付けモード時の入力画像などの一例を示す図である。
【００３４】
図６に示すように、画像対応付け装置１００が対応付けモードの場合には、画像入力部１０１から歪みのある入力画像を入力すると（ステップＳ６０１）、切出処理部１０２が図７（ａ）に示すような入力画像の一部を切り出す（ステップＳ６０２）。具体的には、帳票の種類を別途判別して読み取り対象とする所定の領域を切り出すことになる。その後、エッジ画像作成部１０３が微分オペレータを適用して図７（ｂ）に示すエッジ画像を取得する（ステップＳ６０３）。
【００３５】
そして、記憶部１０５に記憶した同図（ｃ）に示したテンプレートのエッジ画像とハフ変換によりおおまかな位置合わせをおこなって移動量を求め（ステップＳ６０４）、この移動量を考慮して同図（ｄ）に示すように各特徴点に対応する画素すなわち対応点を検出する（ステップＳ６０５）。図８は、図７（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点の対応点と、ばつ（×）で示す横エッジ点の対応点と、黒三角で示す縦エッジ点の対応点と、黒四角で示す周囲の点の対応点が得られる。
【００３６】
なお、本実施の形態では、対応点を求めるまでの処理のみについて説明するが、必要に応じて、対応する特徴点間のずれ量（変位）に基づいて歪みを補正した補正画像を作成することもできる（図７（ｅ））。
【００３７】
（特徴点抽出処理について）
次に、図１に示した特徴点抽出部１０４による特徴点の抽出処理についてさらに具体的に説明する。図９および図１０は、図１に示した特徴点抽出部１０４による特徴点の抽出処理手順を示すフローチャートであり、図１１および図１２は、特徴点抽出処理途中の画像データの一例を示す説明図である。
【００３８】
図９および図１０に示すように、この特徴点抽出部１０４は、縦横両エッジ点、横エッジ点、縦エッジ点の順序で特徴点を抽出する。まず、縦横両エッジ点を抽出するために、図１１（ａ）に示すようにテンプレートのエッジ画像のエッジ点を中心としたＳ×Ｓの大きさの領域（観測窓）を設け、この観測窓内の縦横両方向量（Nhv）、横方向量（Nh）、縦方向量（Nv）を算定する（ステップＳ９０１）。具体的には、この観測窓内の画素ごとの方向量をそれぞれ調べ、この方向量をそれぞれ方向量ごとに加算して中心画素の方向量とする。この処理を観測窓を動かしながら繰り返し、全ての画素の方向量を求める。
【００３９】
そして、横方向量（Nh）および縦方向量（Nv）がそれぞれ所定値、たとえばＳ／４よりも大きく、かつ、縦横両方向量（Nhv）が最大となる点を縦横両エッジ点とする（ステップＳ９０２）。
【００４０】
ステップＳ９０２を満足する縦横両エッジ点が存在する場合には（ステップＳ９０３肯定、図１１（ｂ））、図１１（ｂ’）に示すように縦横両エッジ点の周りのエッジ画像の一部（その縦横両エッジ点を中心とする観測窓の内部全てのエッジ画像）を消去し（ステップＳ９０４）、消去した画像を新たなエッジ画像として（ステップＳ９０５）、再度各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ９０１〜Ｓ９０５）。
【００４１】
そして、ステップＳ９０２を満足する縦横両エッジ点がなくなると（ステップＳ９０３否定）、エッジ画像の消去をおこなうことなくそのままステップＳ９０６に移行する。そのときのエッジ画像は例えば図１１（ｃ）のようになっている。このようにして、縦横両エッジ点の抽出処理を終えたならば、横エッジ点の抽出処理に移行する。具体的には、横方向量（Nh）を算定した後（ステップＳ９０６）、この横方向量（Nh）が所定値、たとえばＳ／４よりも大きく、かつ、横方向量（Nh）が最大となる点を横エッジ点とする（ステップＳ９０７）。
【００４２】
そして、ステップＳ９０７を満足する横エッジ点が存在する場合には（ステップＳ９０８肯定、図１２（ａ））、縦横両エッジ点の場合と同様に、横エッジ点の周りのエッジ画像を消去し（ステップＳ９０９）、消去した画像を新たなエッジ画像として（ステップＳ９１０）、再度、各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ９０６〜Ｓ９１０）。ステップＳ９０７を満足する横エッジ点が存在しなくなると（ステップＳ９０８否定）、エッジ画像の消去をおこなうことなくそのままステップＳ９１１に移行する。このときのエッジ画像は例えば図１２（ｂ）のようになっている。
【００４３】
このようにして、横エッジ点の抽出処理を終えたならば、縦エッジ点の抽出処理に移行する。具体的には、縦方向量（Nv）を算定した後（ステップＳ９１１）、この縦方向量（Nv）が所定値、たとえばＳ／４よりも大きく、かつ、縦方向量（Nv）が最大となる点を縦エッジ点とする（ステップＳ９１２）。
【００４４】
そして、ステップＳ９１２を満足する縦エッジ点が存在する場合には（ステップＳ９１３肯定、図１２（ｃ））、縦エッジ点の周りのエッジ画像を消去し（ステップＳ９１４）、消去した画像を新たなエッジ画像として（ステップＳ９１５）、上記ステップＳ９１１〜Ｓ９１５の処理を繰り返す。なお、ステップＳ９１２を満足する縦エッジ点が存在しなくなると（ステップＳ９１３否定）、エッジ画像の消去をおこなうことなく処理を終了する。
【００４５】
なお、ここでは説明の便宜上その説明を省略したが、観測窓内ですでに縦横両エッジ点が存在している場合には、横エッジ点や縦エッジ点の抽出処理はおこなわれず、縦横両エッジ点が存在せず、かつ、横エッジ点が存在する場合にも、縦エッジ点は抽出されない。
【００４６】
（対応点の検出処理について）
次に、図１に示した対応点検出部１０６の処理手順について説明する。図１３は、図１に示した対応点検出部１０６の処理手順を示すフローチャートであり、図１４は、対応点を検出する際の画像の一例を示す図である。図１３に示すように、ここでは縦横両エッジ点、横エッジ点、縦エッジ点の順序で対応点を検出している。縦横両エッジ点は、横エッジ点や縦エッジ点よりも対応付けの特徴を多く持っているからである。
【００４７】
同図に示すように、縦横両エッジ点に対応する入力画像上の対応点をハフ変換により探索する（ステップＳ１３０１）。特徴点はエッジ上にあるので、対応点も必ずエッジ上にあると考えられるため、ハフ変換で求めた対応点から最も近い点を対応点とするのである。その結果、図１４（ａ）に示すように、縦横両エッジ点（xi,yi）に対応する対応点（xi',yi'）が得られる。
【００４８】
その後、縦横両エッジ点（xi,yi）を対応点（xi',yi'）に変換するアフィン変換係数を次式に示す最小二乗法により求める（ステップＳ１３０２）。
【数１】
そして、対応点とアフィン変換係数で求めた対応点のずれ量eiを算定し（ステップＳ１３０３）、図１４（ｂ）に示すようにずれ量が大きい縦横両エッジ点（ei＞Ｃσ）とずれ量が小さい縦横両エッジ点（ei≦Ｃσ）に分類する（ステップＳ１３０４）。そして、ずれ量が小さい縦横両エッジ点だけでアフィン変換係数を再度求める（ステップＳ１３０５）。Ｃは扱う入力画像の歪の程度によって定められるべき係数であって、例えばＣ＝１でよい。
【００５０】
そして、ずれ量の大きな縦横両エッジ点については、三角形相似比を使って対応点を求める（ステップＳ１３０６）。図１５は、ずれ量の大きな縦横両エッジ点の対応点の求め方を説明するための説明図である。同図（ａ）に示す縦横両エッジ点１５０１が同図（ｂ）に示す対応点１５０２に対応付けられてしまうと、ずれ量が大きくなってしまう。
【００５１】
このため、この縦横両エッジ点１５０２（同図（ｃ）に示す点Ｃ）と、この点Ｃの左下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ｂ）と、点Ｃの右下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ａ）とで形成される三角形を考える。このように考えると、同図（ｄ）に示すように、点Ａおよび点Ｂの対応点がそれぞれ点Ａ'および点Ｂ'となるので、三角形ＡＢＣと三角形Ａ'Ｂ'Ｃ'の相似比から、点Ｃの仮の対応点Ｃ'が求まる。この点Ｃ'の近傍に求めたい点Ｃの対応点が存在するはずである。
【００５２】
すなわち、点Ａ'の座標を（ax',ay'）、点Ｃ'の座標を（cx',cy'）とし、ＡＢおよびＡ'Ｂ'間の距離をそれぞれＡＢおよびＡ'Ｂ'とすると、
【数２】
【００５３】
そして、テンプレート上の縦横両エッジ点Ｃの対応点を入力画像上の上記仮の点Ｃ'を中心としたハフ変換による探索で求める。このときの画像の一辺は、ステップＳ１３０１でおこなったハフ変換の一辺よりも短くする。このように、ハフ変換の範囲を狭くすることで、より正確な対応点を求めることができる。
【００５４】
図１６は、２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。同図（ｃ）において、点ｘＳは、縦横両エッジ点Ｃよりもｘ座標が小さく、かつ、点Ｃとの距離が最短の点であり、点ｘＬは縦横両エッジ点Ｃよりもｘ座標が大きく、かつ、点Ｃとの距離が最短の点である。
【００５５】
点ｙＳおよび点ｙＬはｙ座標に関して同様な関係にある点である。また、それらの入力画像のエッジ画像上での対応点をｘＳ'、ｘＬ'、ｙＳ'、ｙＬ'とすると、ハフ変換では、次式に示す評価量が最大となる対応点を求めることになる。Ｍはマッチング量、すなわちハフ変換における投票値である。
このようにして縦横両エッジ点の対応点を検出したならば、横エッジ点の対応点、縦エッジ点の対応点、境界上の特徴点の対応点を順次算定する（ステップＳ１３０７〜Ｓ１３０９）。
【００５７】
具体的には、横エッジ点の対応点を求める場合には、ずれ量が小さな特徴点（基準点）の中で横エッジ点よりもｘ座標が小さく、かつ、横エッジ点との距離が最短の点ｘＳと、横エッジ点よりもｘ座標が大きく、かつ、横エッジ点との距離が最短の点ｘＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
【００５８】
Ｍ−２×α×（｜１−(v1'/v0')/(v1/v0)｜2＋｜１−(v0'/v2')/(v0/v2)｜2＋｜１−(v2'/v1')/(v2/v1)｜2）
【００５９】
また、縦エッジ点の対応点を求める場合には、基準点の中で縦エッジ点よりｙ座標が小さく、かつ、縦エッジ点との距離が最短の点ｙＳと、縦エッジ点よりもｙ座標が大きく、かつ、縦エッジ点との距離が最短の点ｙＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
【００６０】
Ｍ−２×α×（｜１−(w1'/w0')/(w1/w0)｜2＋｜１−(w0'/w2')/(w0/w2)｜2＋｜１−(w2'/w1')/(w2/w1)｜2）
【００６１】
また、境界上の特徴点を求める場合には、テンプレートの最も外側に、均等に位置し、画像を取り囲むように特徴点を追加する。境界上の特徴点に対応する対応点は、アフィン変換式に代入して求める。
【００６２】
（データ間の補間について）
上記一連の説明により、縦横両エッジ点、横エッジ点、縦エッジ点を特徴点として求め、各特徴点に対応する対応点を求めることができるが、これらを用いると、データ間の補間をおこなうこともできる。
【００６３】
図１７は、データ間の補間を説明するための説明図である。図１７（ａ）に示すように、特徴点間を結ぶドロネー三角形網を作り、各要素がどの三角形の内側に位置するかを検索する。そして、求めた三角形頂点の対応点の座標と各点における変位量から、各要素の変位量を線形変換で求める。たとえば、図１７（ｂ）点Ａの変位量が（a1,a2）であり、点Ｂの変位量が（b1,b2）である場合には、点Ｐの変位量（c1,c2）は、次式で求めることができる。なお、αおよびβはベクトルＯＰをベクトルＯＡおよびベクトルＯＢについて一次分解した係数である。
【数３】
上述してきたように、本実施の形態によれば、特徴点抽出部１０４により３種類の特徴点（縦横両エッジ点、横エッジ点および縦エッジ点）を抽出するとともに、対応点検出部１０６では、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求め、このずれ量の少ない対応点を基準点とする三角形相似比を使って対応点を特定するよう構成したので、歪みを伴う帳票の入力画像と歪みのないテンプレートとを迅速かつ正確に対応付けることができる。
【００６５】
なお、本実施の形態では、帳票の画像を対応付ける場合について説明したが、本発明はこれに限定されるものではなく、帳票以外の他の画像を対応付ける場合に適用することもできる。
【００６６】
また、本実施の形態では、縦横両エッジ点、縦エッジ点および横エッジ点をそれぞれ図２およびその説明により定義したが、本発明はこれに限定されるものではなく、たとえば、縦横両エッジ点として枠のコーナーを、横エッジ点および縦エッジ点として縦横両エッジ点の内分点を、マニュアル操作でマウスでポイントするよう構成することもできる。
【００６７】
【発明の効果】
以上説明したように、請求項１の発明によれば、参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの横方向量および縦方向量に基づいて、参照画像の縦横両エッジ点、横エッジ点および縦エッジ点を特徴点として抽出し、参照画像の各特徴点に対応する入力画像上の対応点を検出するよう構成したので、歪みを伴う入力画像と歪みのない参照画像とを迅速かつ正確に対応付けることができる。特に、対応点に係る情報を多く持つエッジ点を特徴点とし、もって正確な対応付けをおこなうことができる。
【００６９】
また、本発明によれば、あるエッジ点を中心とする所定の領域内の縦横両エッジ点、横エッジ点または縦エッジ点を抽出した際に、エッジ画像の所定の領域内の画素値を消去し、この消去したエッジ画像の特徴量に基づいて次のエッジ点を抽出する処理を繰り返すよう構成したので、処理の高速化を図ることが可能となる。
【００７０】
また、本発明によれば、参照画像の特徴点に対応する入力画像上の第１の対応点をハフ変換により算定し、特徴点を対応点に変換するアフィン変換係数を算定し、第１の対応点とアフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定するよう構成したので、ずれ量が大きな対応点を効率良く再探索することが可能となる。
【００７１】
また、本発明によれば、第３の対応点を基準点とした三角形相似比により求めた入力画像のエッジ画像上のエッジ点を中心点としたハフ変換により評価量が最大となる前記第４の対応点を特定するよう構成したので、ハフ変換の精度を上げつつ、迅速かつ効率良く対応付けをおこなうことが可能となる。
【００７５】
また、本発明によれば、請求項１〜４のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜４のいずれか一つの動作をコンピュータによって実現することが可能なプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る画像対応付け装置の構成を示す機能ブロック図である。
【図２】方向量の計算概念を説明するための説明図である。
【図３】図１に示した画像対応付け装置によるテンプレート登録モード時の処理手順を示すフローチャートである。
【図４】テンプレート登録モード時のテンプレートの一例を示す図である。
【図５】縦横両エッジ点を、横エッジ点および縦エッジ点を示した図４（ｄ）の拡大図である。
【図６】図１に示した画像対応付け装置による対応付けモード時の処理手順を示すフローチャートである。
【図７】対応付けモード時の入力画像などの一例を示す図である。
【図８】縦横両エッジ点を、横エッジ点および縦エッジ点を示した図７（ｄ）の拡大図である。
【図９】図１に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（１）である。
【図１０】図１に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（２）である。
【図１１】特徴点抽出処理途中の画像データの一例を示す説明図（１）である。
【図１２】特徴点抽出処理途中の画像データの一例を示す説明図（２）である。
【図１３】図１に示した対応点検出部の処理手順を示すフローチャートである。
【図１４】対応点を検出する際の画像の一例を示す図である。
【図１５】ずれ量の大きな縦横両エッジ点の対応点の求め方を説明するための説明図である。
【図１６】２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。
【図１７】データ間の補間を説明するための説明図である。
【図１８】入力画像に生ずる歪みを説明するための説明図である。
【符号の説明】
１００ 画像対応付け装置
１０１ 画像入力部
１０２ 切出処理部
１０３ エッジ画像作成部
１０４ 特徴点抽出部
１０５ 記憶部
１０６ 対応点検出部
Claims (7)
- 歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け方法であって、
前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジおよび縦エッジ点を特徴点として抽出する特徴点抽出工程と、
前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出工程とを含み、
前記特徴点抽出工程は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出工程と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出工程とを含んだ
ことを特徴とする歪み画像の対応付け方法。 - 前記特徴点抽出工程は、あるエッジ点を中心とする所定の領域内の縦横両エッジ点、横エッジ点または縦エッジ点を抽出した際に、前記エッジ画像の所定の領域内の画素値を消去し、この消去したエッジ画像の特徴量に基づいて次のエッジ点を抽出する処理を繰り返すことを特徴とする請求項１に記載の歪み画像の対応付け方法。
- 前記対応点検出工程は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換工程と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定工程と、前記ハフ変換工程で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定工程とを含んだことを特徴とする請求項１または２に記載の歪み画像の対応付け方法。
- 前記特徴点特定工程は、前記第３の対応点を基準点とした三角形相似比により求めた前記入力画像のエッジ画像上のエッジ点を中心点としたハフ変換により評価量が最大となる前記第４の対応点を特定することを特徴とする請求項３に記載の歪み画像の対応付け方法。
- 歪みのない参照画像の各特徴点をそれぞれ歪みを伴う入力画像の対応点に対応付ける歪み画像の対応付け装置であって、
前記参照画像のエッジ画像中に所在する各エッジ点における方向ベクトルの向きの横方向及び縦方向の大きさをそれぞれ示す横方向量及び縦方向量に基づいて、前記参照画像の縦横両エッジ点、横エッジ点および縦エッジ点を特徴点として抽出する特徴点抽出手段と、
前記参照画像の各特徴点に対応する前記入力画像上の対応点を検出する対応点検出手段とを備え、
前記特徴点抽出手段は、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量と縦方向量の加算値を縦横両方向量とし、前記所定の領域内の横方向量および縦方向量がそれぞれ所定の値以上であり、かつ、前記縦横両方向量が最大となる点を前記縦横両エッジ点として抽出する縦横両エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の横方向量が所定の値以上であり、かつ、該横方向量が最大となる点を前記横エッジ点として抽出する横エッジ点抽出手段と、前記参照画像のエッジ画像の各エッジ点を中心とした所定の領域内の縦方向量が所定の値以上であり、かつ、該縦方向量が最大となる点を前記縦エッジ点として抽出する縦エッジ点抽出手段とを備えた
ことを特徴とする歪み画像の対応付け装置。 - 前記対応点検出手段は、前記参照画像の特徴点に対応する前記入力画像上の第１の対応点をハフ変換により算定するハフ変換手段と、前記特徴点を前記対応点に変換するアフィン変換係数を算定するアフィン変換係数算定手段と、前記ハフ変換手段で求めた第１の対応点と前記アフィン変換係数から求まる第２の対応点のずれ量を所定のしきい値と比較して、該しきい値以下となる第３の対応点を基準点とした三角形相似比により、ずれ量が前記所定のしきい値を越える第４の対応点を特定する特徴点特定手段とを備えたことを特徴とする請求項５に記載の歪み画像の対応付け装置。
- 前記請求項１〜４のいずれか一つに記載された方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001353593A JP4128001B2 (ja) | 2001-11-19 | 2001-11-19 | 歪み画像の対応付け方法、装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001353593A JP4128001B2 (ja) | 2001-11-19 | 2001-11-19 | 歪み画像の対応付け方法、装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003157408A JP2003157408A (ja) | 2003-05-30 |
| JP4128001B2 true JP4128001B2 (ja) | 2008-07-30 |
Family
ID=19165588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001353593A Expired - Fee Related JP4128001B2 (ja) | 2001-11-19 | 2001-11-19 | 歪み画像の対応付け方法、装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4128001B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4345426B2 (ja) * | 2003-10-07 | 2009-10-14 | ソニー株式会社 | 画像照合方法、プログラム、および画像照合装置 |
| WO2015117904A1 (de) | 2014-02-04 | 2015-08-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Hough-prozessor |
| KR101848235B1 (ko) * | 2016-12-01 | 2018-04-12 | 포항공과대학교 산학협력단 | 광단층 영상을 이용한 비초점 광음향 영상 왜곡 보정 방법 및 장치 |
| JP7342364B2 (ja) * | 2019-01-21 | 2023-09-12 | コニカミノルタ株式会社 | 画像検査装置、画像形成システム、画像検査方法及びプログラム |
-
2001
- 2001-11-19 JP JP2001353593A patent/JP4128001B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003157408A (ja) | 2003-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1708138B1 (en) | Image processing method, three-dimensional position measuring method and image processing apparatus | |
| WO2020248497A1 (zh) | 图片扫描件处理方法、装置、计算机设备及存储介质 | |
| JPH06195504A (ja) | 文書の走査イメージからのフィールド摘出方法及びデータ処理システム | |
| JP3602596B2 (ja) | ドキュメントファイリング装置および方法 | |
| US6728392B1 (en) | Shape comparison using a rotational variation metric and applications thereof | |
| JP4950716B2 (ja) | 画像処理システム、及び走査型電子顕微鏡装置 | |
| JP4128001B2 (ja) | 歪み画像の対応付け方法、装置およびプログラム | |
| JPH10171922A (ja) | 罫線消去装置及び記録媒体 | |
| JP4188342B2 (ja) | 指紋照合装置、方法およびプログラム | |
| JP4908867B2 (ja) | 地理画像処理システム | |
| JP3872061B2 (ja) | 画像処理装置 | |
| JPH0981740A (ja) | 線図形入力装置 | |
| JP4525526B2 (ja) | パターンマッチング方法及び装置 | |
| JPH08194716A (ja) | 画像処理方法及びその装置 | |
| JPH06231253A (ja) | 画像修正装置及び図面入力装置 | |
| JP5074622B2 (ja) | 地理画像処理システム | |
| JP4080750B2 (ja) | 文字抽出方法、文字抽出装置およびプログラム | |
| JP2007213255A (ja) | 表認識装置、及びコンピュータプログラム | |
| JP2011028632A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4159071B2 (ja) | 画像処理方法，画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001236464A (ja) | 文字抽出方法、文字抽出装置及び記憶媒体 | |
| JP3895473B2 (ja) | 記入情報抽出方法および記入情報抽出方法をコンピュータに実行させるプログラムを記録した機械読み取り可能な記録媒体 | |
| JP4243577B2 (ja) | 類似画像検索装置、方法およびプログラム | |
| CN115830098A (zh) | 基于多尺度平滑和关键点搜索的高精度椭圆拟合方法 | |
| JPH10312460A (ja) | 画像処理方法及び高精度画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041007 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080513 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |