JP3604909B2 - 画像間位置合わせ方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、書籍を画像ベースとして入力して電子書籍用コンテンツを作成するオーサリングシステムに関し、特に、入力された書籍の画像データの中で所望のページ間の位置合わせを行う画像間位置合わせ方法に関する。
【０００２】
【従来の技術】
現在、ハードウエアおよびソフトウエアの発展にともない、既存の紙メディアに変わる新たな書籍の形態として、電子書籍の発表が活発化してきている。これらの電子書籍は、音声、画像、動画、アニメ等のいわゆるマルチメディア系データに対しても対応可能であるものの、基本的にはテキスト（文字コード）ベースの形式をとっている。
【０００３】
一方、紙メディアによる書籍（いわゆる「本」）は、現在でも年間５０万タイトルを数え、その総数は膨大なものであるが、電子化されたタイトル数は非常に少なく、そのほとんどが紙メディアしか存在していない。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の電子書籍は、テキスト（文字コード）ベースのため以下の問題点がある。
【０００５】
紙メディアの書籍をオーサリングするには、人手またはＯＣＲを利用しテキストデータを作成しなければならない。このためコンテンツ作成に多くの時間を必要とし、タイムリーでかつ大量のコンテンツ供給が困難である。
【０００６】
また、漫画や写真雑誌などテキスト以外のデータが大部分を占める書籍は、コンテンツ化し難い。
【０００７】
このような事情のため、従来の電子書籍コンテンツ数は数百程度と少なく、かつ内容も辞書系に偏っている。このため、電子書籍の普及率は、紙書籍の１％にも達していないのが現状である。特に、コンテンツの種類が少ない問題は致命的で、電子書籍普及の大きなさまたげとなっている。
【０００８】
そこで、上記問題を解決する手段としては、画像ベースで入力して電子書籍コンテンツを得ることが考えられる。これは、以下の利点を有する。
【０００９】
基本的には、既存の紙メデイアの書籍をスキャニングするだけでコンテンツ作成が行なえ、短期間に大量のコンテンツ供給が可能となる。
【００１０】
漫画や写真雑誌など、テキストベースの電子書籍では不可能であったコンテンツ供給が可能となる。
【００１１】
外字や異体字など、または古文書などのように、現在の文字コード体系に合っていない文字が存在しても容易に取り込める。
【００１２】
言語（文字コード）に依存しないため、ビューアやオーサリングシステム全体の海外展開（普及）が容易である。
【００１３】
上記利点により、画像ベースの電子書籍は、テキストベースの電子書籍の問題点を全て解決する事ができる。
【００１４】
ところが、画像ベースで入力して電子書籍コンテンツを得るには、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）等でスキャナ入力して、文書構造化等の各種処理を施せばよいが、以下のような問題点を生じる。
【００１５】
スキャナ入力の際に画像の傾きやずれが生じ、電子書籍の場合、ビューアに基準となる直線（例えば、ＣＲＴや液晶のエッジ部分）があり、紙に比べて、より傾きが強調されユーザーに不快感を与える。このため、これを補正する処理が必要となる。これを人手にたよっても相当な作業量を必要とし、著しいオーサリング時間の増大を招いてしまう。
【００１６】
特に、電子書籍の本文ページの場合に傾きやずれがあると、ビューアで見るときに大きな不快感をもたらしてしまう。
【００１７】
さらに、電子書籍コンテンツの校閲のため全ページを確認していると、オーサリング時間の増大を招き、短期間に大量のコンテンツ供給ができなくなるため、適切なエラー処理が必要となる。
【００１８】
本発明の目的は、上記問題点に鑑み、所望の画像間の位置が揃った画像を得ることができる画像間位置合わせ方法を提供することにある。
【００１９】
【課題を解決するための手段】
請求項１記載の画像間位置合わせ方法は、ページごとに入力された画像のなかで、連続するページの画像間の位置合わせを行う画像間位置合わせ方法であって、
ページ内容領域があることを判定するステップと、
ページ内容領域があると判定された画像から位置合わせの基準となるページ内容領域に関する情報を求めるステップと、
該ページ内容領域に関する情報に基づいて画像間の位置を補正するステップと、を有することを特徴とする画像間位置合わせ方法である。
【００２０】
請求項２記載の画像間位置合わせ方法は、上記ページ内容領域は、エッジ点集合から４方向の外接線を求め、これらの外接線で囲まれた図形の大きさおよび形状であることを特徴とする。
【００２１】
請求項３記載の画像間位置合わせ方法は、ページ内容領域であると判定された場合、入力された画像の位置情報と上記ページ内容領域に関する情報とが所定範囲外の場合に警告データを生成するステップをさらに有することを特徴とする。
【００２３】
【発明の実施の形態】
（第１の実施の形態）
図１に、本実施の形態の画像間位置合わせ装置のブロック図を示す。この装置は、ページ毎に切り離された書籍の原稿が画像入力部１０１で画像データとしてページ毎に読み込まれ、ページ輪郭検出部１０２、ページ内容領域抽出部１０３、傾き補正部１０４、ページ位置補正部１０５、及びページ情報処理部１０７で後述する処理が各種バッファを用いて行われ、ページ間の位置合わせ補正がされた画像データが画像出力部１０６から出力される。
【００２４】
次に、本装置に入力される書籍として小説本の場合の構成を示す概念図を図２に示す。図２から明らかなように、タイトル（表紙）ページ、目次ページ、本文ページ（偶数ページ、奇数ページ）、索引ページ、裏表紙ページからなる。この中でほとんどのページは、本文ページであり、この本文ページは、どのページもほぼ決まった位置にヘッダ領域（本例の場合、ページを示す）、フッタ領域（本例の場合、第何章を示す）、及び内容領域（本文領域）がある。本発明では、このような本の構成の特徴を用いて、ページ間の位置合わせを行うのである。
【００２５】
次に、図１の各部の処理について説明する。画像入力部１０１は、スキャナなどから２値あるいは多値の画像を取り込み、入力画像バッファ１０８に保存する。この画像は、モノクロ画像であってもカラー画像であってもよい。画像の入力のおよその向きは正しく、本の最初から、あるいは最後からページ順に入力される。オートフィーダを用いる場合に誤って傾いて入力されることも考慮にいれ、スキャナなどで画像を取り込む際は、本のページの大きさよりスキャナの入力領域を大きくするのが望ましく、以下の説明では、この場合について説明する。また、ページがスキャナの入力領域より大きいときは、分割して入力し、入力画像バッファ１０８内でつなげるようにすればよい。
【００２６】
次に、ページ輪郭検出部１０２について説明する。画像入力部１０１で入力された画像は、ページの大きさがスキャナの入力領域より小さいため、本の実際のページ領域と、後ろの背景領域とからなる。ページ輪郭検出部１０２は、入力された画像から背景領域とページ領域とを区別し、そのページ領域の輪郭を抽出する。ここで、既存の本をページ毎に切り離して用いる場合、背の部分であったページ端は傾いたり、ちぎれたりしていることがあるため、正確な矩形でない場合が多い。そのため、ページの輪郭の形状はおよそ矩形で近似できるものとする。
【００２７】
ページ領域の輪郭検出の手法としては、画像からエッジ部分を検出し、そのエッジ点から矩形の各角度が９０度であることを検出する方法、あるいは画像を走査し、輝度の変化の大きいエッジ点の集合を抽出し、その集合から直線を求めて、輪郭線を抽出する方法等がある。
【００２８】
ページ領域の輪郭検出の手法の一例を図３及び図４を用いて説明する。図３は、この方法の様子についての説明図である。図４は、この方法のフローチャートである。本発明では、ページ領域の輪郭は四角形であるから、画像のもっとも外側にある４本の直線を検出する方法について説明する。
【００２９】
まず、図３（ａ）で示されるページ領域の左端の輪郭の直線を検出する場合について説明する。まず、走査をおこなうラインを選択する。ここでは横方向に走査するので、一番上の列を選ぶ。左端から右端へと走査するので、左端の点を初期値（ｉ＝０）とする。順に画像を走査してゆき、その点の輝度を入力画像バッファ１０８から得る。その点がエッジ点かどうか判定する。判定方法は、横方向の一次微分をとる。例えば、ソーベル（Ｓｏｂｅｌ）フィルタを用いる方法である。エッジ点であると判定された場合、その点の座標を記憶し、そのラインの走査は終了し、次のラインを選択する。この走査をすべてのラインで一番下の列まで行う。上記の結果、エッジ点の座標の集合が得られるが、これらの多くは、一つの直線上に集まっており、その直線を計算する。この方法の代表例として、ハフ変換を用いて行う。以上の処理を、入力画像の４方向（図４のフローでＤ＝０〜３に対応）についてそれぞれ行い（図３（ｂ）参照）、４本の直線を求め、これらの直線をページ領域の輪郭として検出する（図３（ｃ））。
【００３０】
次に、ページ内容領域抽出部１０３について、図５および図６を用いて説明する。ページ内容領域抽出部１０３は、ページ輪郭検出部１０２で求めたページ領域の輪郭内の画像からページ内容領域の抽出を行う。図５は、この方法の様子についての説明図である。図６は、この方法のフローチャートである。
【００３１】
図５（ａ）に示すように、画像を線順次に走査して、まずエッジ点を抽出する。これはページ輪郭抽出部１０２と同じ方法である。このエッジ点は、文字とのエッジであったり、図や表の罫線、あるいは漫画の吹き出し部分とのエッジであるが、本例の場合、文字領域とのエッジ点を求めている。得られたエッジ点集合は、文字列などであれば、１直線上に存在しているわけではない。そこで、本発明では、これらのエッジ集合の外接線（直線）を求め（図５（ｂ））、この直線をページ内容領域の境界線とする（図５（ｃ））。
【００３２】
いま一度、外接線の求め方を図６で説明する。まず、エッジ点集合を求める。エッジ点集合から２点を選択し、この２点を通る直線式を求める。直線式は、２点の座標を（ｘ１，ｙ１），（ｘ２，ｙ２）とすると
（ｙ２−ｙ１）ｘ−（ｘ２−ｘ１）ｙ−（ｘ１ｙ２−ｘ２ｙ１）＝０
となる。
【００３３】
選ばれなかった他のエッジ点がこの直線のどちら側にあるか判定する。この判定式は
Ｆ（ｘ，ｙ）＝（ｙ２−ｙ１）ｘ＋（ｘ２−ｘ１）ｙ−ｘ１ｙ２＋ｘ２ｙ１
とすると、（ｘ，ｙ）の点は、Ｆ（ｘ，ｙ）＜０なら原点側、Ｆ（ｘ，ｙ）＞０なら外側となる。
【００３４】
すべての点が同じ側にあった場合、この直線式は、外接線である。そうでなければ、新らたに別の２点を選択する。すべての組について行えば、必ず外接線を求めることができる。
【００３５】
以上を、走査方向の各４方向（図６のフローでＤ＝０〜３に対応）について行えば、外接線で囲まれた図形のページ内容領域を抽出することができる（図５（ｃ））。
【００３６】
次に、傾き補正部１０４について説明する。傾き補正部１０４は、ページ内容領域抽出部１０３で抽出した外接線の図形に基づいて基準座標軸に対し回転させる処理をおこない、入力画像の傾きを補正する。この処理は、本の全てのページに対して行う。
【００３７】
図７に、画像回転の様子を示す。この回転変換の中心はページ内容領域の角の座標（ｃｘ，ｃｙ）にする。入力画像をθだけ回転した時、入力画像上のある点の座標を（ｘ，ｙ）、変換後の補正画像上での座標を（ｘ’，ｙ’）とする。この回転の変換式は
【００３８】
【数１】

【００３９】
である。
【００４０】
回転処理では、入力画像バッファ１０８の各画素にこの式を当てはめ、補正画像バッファ１０９上の変換後の座標に輝度あるいは色を割り当てる。
【００４１】
次に、ページ情報処理部１０７について説明する。ページ情報処理部１０７は、入力されている本の画像について本文ページであるか、それ以外のページであるかについて判定する。この判定の方法は、ページ内容領域抽出部１０３で抽出された外接線の図形の大きさあるいは形状を比較して、所定の大きさや形状の範囲であれば本文ページであると判定する方法である。その他に、ページ順に入力されるので、ページ内容領域抽出部１０３で抽出された外接線の矩形の大きさは、本文ページであれば、ほぼ一定の大きさとなるので、外接線の矩形の大きさがほぼ一定の大きさが続く場合にはその最初のページから本文ページであると判定する、あるいはページ順に順次読み込まれるので、本文の始まるページと終わるページ（何枚目）を外部から予め指定する方法等もある。また、ページ情報処理部１０７は、本文ページであると判断した場合に、ページ位置情報バッファ１１０にその外接線の矩形のページ内容領域の位置情報を記憶させて、本文画像間、つまりページ間の位置合わせのテンプレートとする。なお、すでにページ位置合せのための基準となる本文ページであることを示すテンプレートの位置情報がページ位置情報バッファ１１０内に格納されている時は、ページ位置補正部１０６へ進む。
【００４２】
次に、ページ位置補正部１０５について説明する。入力画像は、傾きは補正されているが、読み込む時の機械的ずれ等により、入力画像によって本文のページ内容領域の位置が違ってくる。これは、本文ページを位置補正せずにこのまま出力して電子書籍としてビューワ等で本文ページの内容を見ると、本文ページの位置ずれがあることになり、不快感を与える。そこで、ページ位置補正部１０５は、ページ位置情報バッファ１１０に一旦記憶した本文ページであることを示すテンプレートの位置情報に合致するように、傾きが補正された本文ページの画像の位置を平行移動させて補正する。その結果、画像出力部１０６からは本文ページ間では位置ずれのない画像データが得られる。つまり、一旦、本文ページであると判定されたページからテンプレートを求めれば、そのページに続く本文ページをそのテンプレートを基準にして位置合わせするのである。
【００４３】
また、上記テンプレートは、本文ページのヘッダ領域、フッタ領域、及び内容領域すべてを含むようにしているが、各領域を図８（ａ）に示すように分けて、図８（ｂ）に示すような形態でページ位置情報バッファ１１０に記憶してもよい。このように分割することで、文字認識やキーワード抽出等をしやすくでき、文書の構造化を容易にする。
【００４４】
以上の説明では、すべての処理は連続して自動化され、処理されているが、前記ページ輪郭検出部１０２、ページ内容領域抽出部１０３、傾き補正部１０４、は手動でも行ってもよい。
【００４５】
（第２の実施の形態）
通常、本の画像は、自動的に順次入力され、次の入力画像が本文ページであるのか、あるいはそれ以外であるのかは入力時点ではわからない。また、たとえ本文ページであっても、例えば、章の最後のページでページ内容領域の大きさが違っていたりする。そこで、本文ページであると判定されても、ページ位置情報バッファ１１０のテンプレートの位置情報と新たに入力された画像のページ内容領域の位置情報とが著しく異なる場合（位置情報が所定範囲外の場合）は、エラーとみなし、エラーバッファ（図示せず）にエラービットをページごとに書き込み、警告データを生成して残しておく。これによって、ユーザーは本全体の自動処理の終了後、このエラーバッファから警告データを表示手段（図示せず）でみることで、手動で補正処理を行なわなければならないページをすぐに知ることができる。
【００４６】
上述した一連の処理は、プログラムで実現できるが、このプログラムを光ディスクやフロッピディスク等のコンピュータ読み取り可能な記録媒体に記憶させておいて、必要に応じて読み出して使用してもよい。
【００４７】
【発明の効果】
請求項１記載の発明によれば、ページごとに入力された画像の中で、所望の連続する画像間の位置合わせを短期間にできる。その結果、たとえば電子書籍を作成する場合においても、電子書籍コンテンツを短期間で作成することができると共に、電子書籍をビューワで見る場合に、本文画像のビューワで見る場合の位置が揃っているので、不快感をなくすことができる。
【００４８】
請求項２記載の発明によれば、外接線を用いるので、文字領域であっても正確なページ内容領域を得ることができ、位置合わせの精度を高めることができる。
【００４９】
請求項３記載の発明によれば、画像間の位置合わせ失敗を検知できるため、例えばオーサリング中あるいは終了後の修正に利便を図ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態のブロック図を示したものである。
【図２】本の構成を表す概念図である。
【図３】ページ輪郭検出を説明するための図である。
【図４】ページ輪郭検出のフローチャートである。
【図５】ページ内容領域抽出を説明するための図である。
【図６】ページ内容領域抽出のフローチャートである。
【図７】回転変換を説明するための図である。
【図８】ページ位置情報バッファに格納されるデータ例である。
【符号の説明】
１０１ 画像入力部
１０２ ページ輪郭検出部
１０３ ページ内容領域抽出部
１０４ 傾き補正部
１０５ ページ位置補正部
１０６ 画像出力部
１０７ ページ情報処理部
１０８ 入力画像バッファ
１０９ 補正画像バッファ
１１０ ページ位置情報バッファ

Claims (3)

1. ページごとに入力された画像のなかで、連続するページの画像間の位置合わせを行う画像間位置合わせ方法であって、
   ページ内容領域があることを判定するステップと、
   ページ内容領域があると判定された画像から位置合わせの基準となるページ内容領域に関する情報を求めるステップと、
   該ページ内容領域に関する情報に基づいて画像間の位置を補正するステップと、を有することを特徴とする画像間位置合わせ方法。
2. 上記ページ内容領域は、エッジ点集合から４方向の外接線を求め、これらの外接線で囲まれた図形の大きさおよび形状であることを特徴とする請求項１記載の画像間位置合わせ方法。
3. ページ内容領域であると判定された場合、入力された画像の位置情報と上記ページ内容領域に関する情報とが所定範囲外の場合に警告データを生成するステップをさらに有することを特徴とする請求項２記載の画像間位置合わせ方法。

Images