JP5274495B2

JP5274495B2 - 文書画像サイズ変更方法

Info

Publication number: JP5274495B2
Application number: JP2010026872A
Authority: JP
Inventors: エスフィリオンクロード; モンガヴィシャル; ファンジーガン; ナガラジャンラメシュ
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2009-02-12
Filing date: 2010-02-09
Publication date: 2013-08-28
Anticipated expiration: 2030-02-09
Also published as: US20100201711A1; EP2219153A3; EP2219153B1; US8274533B2; JP2010187376A; EP2219153A2

Description

本発明は、画像処理システム又は文書再生システムにおけるデジタル画像のサイズ変更処理（リサイズ）を実行するためのシステム及び方法に関する。

デジタル文書は、しばしば、携帯電話の表示画面、カメラやビデオの表示画面、ＰＤＡなどのように、その文書を表示すべき表示画面に合うようにサイズを変更する必要がある。文書のサイズ変更は、効率性、なめらかさ及び鮮明さなどの多くのパラメータ間のトレードオフ（折り合いを付けること）が必要であり、決して些細な処理ではない。文書のサイズが大きくなるにつれて、画像を形づくる画素がますます目に付きやすくなり文書の内容をひずませるようになる。画像の拡大はあまり一般的ではない。なぜなら、画像のサイズを変更する処理の中で、元々あった情報以上に画像に付け加える情報を見つけ出すことは不可能であり、結果として最終的な生成物（拡大された画像）の画質が悪くなるからである。しかし、画像内容を単純に除去するなどの既存の手法は、テキスト文字の間隔の不均一などの望ましくないアーティファクト（画像の欠陥）をもたらす可能性のある限界を有している。

AVIDAN, et al., "Seam Carving for Content-Aware Image Resizing," ACM Transactions on Graphics (TOG), July 2007, 9 pages, Vol. 26, Issue 3, ISSN: 0730-0301

文書の画像は、絵や写真の画像とは異なったものとなりがちである。文書の画像は、テキスト、写真、グラフィックスなどといった様々な画像オブジェクトを含むことが多く、それらオブジェクトが白紙又は他の均一な色の領域を含んだ背景の上に並んでいる。均一な背景領域内の画素は、削除しても文書内容にほとんど変化をもたらさない傾向があるので、絶好の削除候補となる。しかし、文書から背景の一部を単純に削除すると、その文書の見た目のバランスや均整に影響を与える可能性がある。

文書のサイズを変更するための新規なシステム及び方法を開示する。このシステム及び方法は、文書から背景コンテンツを適応的に除去しつつも、文書の背景の全体的な視覚的バランスを実質的に維持する。この方法は、文書の全体的な視覚的な質に影響を与える構造的な関係その他の情報を維持するという目的のために、局所的なコンテキスト及び大域的なコンテキストの両方を用いて、背景と、オブジェクト間の他の空白スペースとの除去を行う。この方法は、縦方向のサイズ変更と横方向のサイズ変更とで少し異なるパラメータを用いるアルゴリズムを用いる。各方向についての共通の処理手順が適用され，この手順は概略的には以下により構成される。すなわち、重要度マップの構築、シーム（画像の切れ目）の生成及びシームエネルギーの計算、背景シームグループ（ＢＳＧ：Background Seam Group）の識別及び生成、ＢＳＧの分類及びこの分類に基づき各ＢＳＧからそれぞれ削除すべきシームの目標数を割り当てること、及び選択されたＢＳＧ（複数選択されてもよい）からの割り当てられた目標数に基づくシームの除去、である。この方法の実装では、この明細書で詳しく示すことになるが、入力文書を特定の出力サイズに適合させるようサイズ変更するときに、よりよい質の出力結果を得ることができる。この方法は、例えば、画像処理及び文書のプレビュー（印刷等の画像出力の結果の予測画像の画面表示）アプリケーションに用いることができ、これらの応用分野では出力画面のサイズは入力文書のサイズよりも小さい。他の特徴や、拡張や、実施例も考えられる。

文書画像のサイズ変更を行う本発明の一実施例のフローチャートである。画像のサイズを縦軸に沿って低減する一実施例のフローチャートである。図２のフローチャートのノードＡ１の続きを示すフローチャートである。図３のフローチャートのノードＢ１の続きを示すフローチャートである。図４のフローチャートのノードＣ１の続きを示すフローチャートである。画像のサイズを横軸に沿って低減する一実施例のフローチャートである。図６のフローチャートのノードＡ２の続きを示すフローチャートである。図７のフローチャートのノードＢ２の続きを示すフローチャートである。

ここで説明するのは文書のサイズを変更するためのシステム及び方法であり、このシステム及び方法はその文書の背景の全体的な視覚的バランスを実質的に維持しつつも、文書から背景内容を適応的に除去する。

この明細書における「画素」、デジタル画像を分割できる限界である最小の区分を意味する。受け取られた各画素は、それぞれ当該画素に関連づけられた１つ又は複数の色値を有する。この値（画素値）は、グレースケールであってもよいし、色空間における座標であってもよい。受け取られた画像の各画素を、例えば、ＲＧＢ−ＹＣｂＣｒ変換器を用いて、クロミナンス（色差）−輝度空間へと変換し、各画素の輝度（Ｙ）とクロミナンス（Ｃｂ，Ｃｒ）の値を求めるようにしてもよい。画素値は、ＹＣｂＣｒ以外の値の組であって、画像オペレータが画素重要度を求めるために用いることができる値の組、により表現してもよい。

「文書画像」又は「画像文書」という用語は、この分野で一般的に知られている文書スキャナーその他の文書読み取り装置を用いて読み取られてデジタル形式となった文書のデジタル画像のことを意味する。文書画像は、典型的には、その背景の上に配置された１つ又は複数のオブジェクトを含んでいる。これらのオブジェクトには、例えば、テキスト、絵（写真）、グラフィックス、チャート、画像（イメージ）、などがあり、これらオブジェクトは典型的には空白スペース又は他の均一な色からなるほぼ均一な背景の上に重畳される。読み取られたデジタル文書画像から受け取った色画素群から生成された重要度マップを調べることでそれら画素それぞれのエネルギーを求め、画素が文書画像の背景の画素なのか他のオブジェクトの画素なのかについての判定を行ってもよい。背景の領域は比較的エネルギーが低い。背景は、空白スペースを含んでおり、通常文書デザインの一部であり、従って一般的には何らかの規則に従っている。これらの規則は、オブジェクト間のスペース（空白、間隔）の幅は隣接するオブジェクト間の構造的な関係を反映している、ということであると理解される。例えば、隣り合うテキスト行同士の間の行間スペースは、一般にどのパラグラフ（段落）内でもそれぞれ一定であり、また同じテキストスタイルのパラグラフ同士の間でも一般に同じに保たれている。パラグラフ間のスペースは、通常行間よりも大きい（少なくとも小さくはない）。この方法は、局所的なコンテキスト及び大域的なコンテキストの両方を用いて、文書内に含まれているオブジェクト間の構造的な関係を維持するという目的のために、背景のスペースを除するとともに、テキスト行同士の間のスペースを除去する。

この明細書における「画像処理システム」は、この明細書に記載する実施形態の方法に関連してサイズ変更処理を実行することができるものであれば、いかなるハードウエアシステム又はソフトウエアシステムであってもよい。サイズ変更処理は、画像の縮小又は画像の拡大のどちらをも意味する。

「画像出力装置」は、画像の信号を可視形態に変換することができる装置のことを意味する。このような装置としては、例えば、プリンタ、電子写真方式印刷装置、画像作成及び写真装置、モニタその他の表示装置などがある。画像を出力するとは、画像についての情報を画像出力装置に通信することを意味する。このような通信は、画像を信号の形態でネットワークその他の通信経路を介して送信する形や、その信号を後の検索に供するためにメモリ又は記録媒体に格納する形を含む。

次に、図１のフローチャートを参照する。この図は、画像処理システムにおける文書画像のサイズ変更の一実施例を示している。

ステップ１０２で、目標寸法へとサイズ変換すべき文書の画像が受け取られる（受信される）。この受け取られた画像（ソース画像と呼ぶ）は、色データ点を含んだ複数の画素を有する。このような色データ点は、概略的には、強度値を含んでいる。文書の画像は、この分野で一般に知られた方法で受け取られるか又は取得（キャプチャ）され、画素値はその画像から容易に得られる。１つの例では、文書画像は、文書をスキャンしてデジタル形式に変換する文書スキャン装置を用いて受け取られる。スキャンにより文書のデジタル画像が生成される。デジタル画像は複数の画素値により表現される。サイズ変更の対象の文書画像は、様々な異なる方法で取得し、本実施形態の方法が実装された色管理システムへと供給される。サイズ変更の対象の文書画像は、例えば、デジタルカメラにより取得し、ＵＳＢ（登録商標）ケーブルやＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどを経由して色管理システムに転送してもよい。また、文書画像をスキャン装置を介して取得し、その画像の画素値をケーブル又はネットワークを介して色管理システムに転送してもよい。また、文書画像がカラー又はモノクロのネガなどの感光性記録媒体上にあり、透明シート入力装置により読み取られるようにしてもよい。受け取られた画像の各画素の値は転送してもよい。デジタル画像の各画素値は、例えば、メモリから読み取られたり、フレキシブルディスク、ＣＤＲＯＭ、ＤＶＤ、ハードディスク等の記憶装置から取得されたりする。また、文書画像の各画素値は、コンピュータシステムのプロセッサユニットに本実施形態のサイズ変更方法の１つ又は複数の態様を実行させる機械読み取り可能なプログラム命令を有するコンピュータプログラム製品（例えば記録媒体）から取得してもよい。また、文書画像は、当該画像が格納されたリモートのデータ源又は装置からネットワークを介して受信されるようにしてもよい。

ステップ１０４では、文書画像に対して複数のシーム（切れ目）が刻まれる（切り出される）。シームカービング(Seam Carving)技術が画像上にシームを刻むのに用いられる。シームパス（シーム経路）画像の第１の境界から始まり、画像を（縦又は横に）横切って（貫いて）画像の第２の境界に達する。画像を横切って刻まれた各シームパスのそれぞれについて、生成された重要度マップを横切る同じ経路が識別される。重要度マップについては後でこの明細書で更に詳しく説明する。シームの幅は典型的には画素一つ分である。他の例では、１画素よりも大きい幅を持つシームが画像上に刻まれる。概略的には、画像を通るすべてのシームは同じ幅を有する。シームカービングアルゴリズムを用いて画像の第１の辺から第２の辺まで、画像を通して、互いに連結した画素からなるシームを刻む。このようなシームカービング技術は、画像の重要度マップから得られる画素重要度（最高値又は最低値）に基づき、シームのパス（経路）の次の画素の選択を繰り返すことでシームを刻んでいく。１つの例では、シームカービング技術は、画素重要度の最低値を持つ画素を探すことにより、次の隣接画素を選択することを繰り返す。画像の重要度マップは、画像を変換したものであり、その画像内の１つ又は複数の注目領域（ＲＯＩと呼ぶ。Region of Interest）を識別する役に立つ。ＲＯＩは、画像内での他の領域（エリア）よりも重要度が高いと考えられる領域である。典型的には、これらの領域は高エネルギーのエリア、すなわち複雑度の高いエリアである。重要度マップを用いて、これらの領域をしきい値技術（thresholding technique）により識別することができる。画素の重要度を求める方法は、この分野で知られている。重要度マップを構成する重要度は、複数の画像オペレータのうち内容に基づく画素間の変化に反応する（変化を検出する）ものとして選択されたどのオペレータを用いてでも、個別に求められる。選択された画像オペレータを用いて、所与の画素の重要度が求められる。概略的には、所与の画素の重要度は、画像オペレータにより、当該画素が当該画素の周囲の隣接画素群に関して持つコントラストの量により評価される。これら画像オペレータには、例えば、勾配(gradient）オペレータ、確率的エントロピーオペレータ、ラプラシアン変換、ハフ（Hough）変換、視覚的顕在性（visual saliency:目立ちやすさ）オペレータ、顔検出オペレータなどがある。それら様々な画像オペレータの特徴、利点、相違点などに関する議論は、この明細書の範囲外のことである。各画像オペレータは、所与の画素の重要度をその周辺の画素群の近傍の画素群の様々な特徴から計算することに関して、それぞれ異なった特性を持っている。画像オペレータが異なれば、同じ画素でも計算される重要度の値は異なったものとなり得る。画素の重要度を更に正規化して、実装に即したパラメータの定義された集合内に収めるようにしてもよい。計算された重要度の組から重要度マップが生成される。ソース画像を通って刻まれたシームの各々について、重要度マップを通る同一のシーム経路が求められ、これによりソース画像に刻まれたシームと画像の重要度マップを通るシームとの間に一対一の関係ができる。（ソース）画像を通るシームは、複数の画素の値から構成される。重要度マップを通る同一のシームは、当該シーム上の対応画素（ソース画像上のシームの画素に対応する重要度マップ上のシームの画素）それぞれの重要度の値から構成される。

画像についての重要度マップが生成され、そのマップを通るシームパスが形成されると、それら各シームについてそれぞれエネルギーが計算される。１つの例では、シームエネルギーは、重要度マップを通るシームのパス（経路）上の全ての画素それぞれの重要度の総和である。これにより、シームについてのエネルギー値が求められる。シームのエネルギーは、一般的には、そのシーム内の全画素の重要度を用いて計算される。この代わりに、重要度マップを通るシームの経路上の重要度の一部分飲みを用いてシーム全体のエネルギーを計算する方式もある。あるシームについての全体的なエネルギーを別の方法で計算してもよい。所与のシームの全体的なエネルギーをそのシームの画素の重要度に基づき求めるための他の方法は、特許請求の範囲に示された範囲内に含まれる。

ステップ１０６では、背景画素から構成されたシームが識別される。このようなシームは、例えば、空白スペース又は均一な色の背景から構成される。１つの例では、シームの識別は、計算により求められたシームエネルギーに基づいて行われる。均一な背景画素からなるシームは、シームエネルギーがきわめて低く、簡単に識別することができる。シームが背景画素から構成されているか否かを判定する方法は、この発明の属する分野で知られており、特許請求の範囲内のものである。背景シームは、画像の背景の除去可能な部分の代表である。

ステップ１０８では、互いに隣接する複数のシームがグループ化されることで、シームグループが形成される。隣接する複数のシームからなるグループを、背景シームグループ（ＢＳＧ）と呼ぶ。ｉ番目の背景シームグループの幅をここではＷ［ｉ］と表記する。ほぼ全体が文書のページマージン（余白）内に位置するシームからなる背景シームのグループは、ページマージンＢＳＧと呼ぶ。シームグループの中には幅が互いに異なるものもあれば、互いに同幅のものもある。シームグループＷ［６］は、例えば、５シーム分の幅（すなわち幅＝５）のシームグループであるとする。また、他のシームグループＷ［８］は、例えば５シーム分の幅（幅＝５）のシームグループであるとする。複数のシームグループが同じ幅であってもよい。例えば、グループＷ［１］とＷ［３］とが同じ幅＝２であってもよい。全幅が同じ各グループから同じ数のシームが除去される。

ステップ１１０では、各背景シームグループから削除するシームの目標数が求められる。幅の広いシームグループのシームの削除目標数は、幅の狭いシームグループのシーム削除目標数以上となる。言い換えれば、幅の狭いシームグループのシームの削除目標数は、幅の広いシームグループの削除目標数以下となる。更に、シームグループ間の幅の順序は維持される。もし、サイズ変更前にあるシームグループが他のシームグループよりも幅が広い場合には、サイズ変更後も、そのシームグループは次に小さいシームグループ以上の幅を持つことになる。

ステップ１１２では、各シームグループからそれぞれ対応する目標数のシームを削除することにより、画像がサイズ変更される。シームを削除することで、削除したシームの幅の分だけ画像が横又は縦方向に縮小されることとなる。縦方向のシームを削除することで、画像がその削除したシームの幅の分だけ、横方向について縮小される。同様に、横方向のシームを削除することで、画像がその削除したシームの幅の分だけ、縦方向について縮小される。

ステップ１１４では、サイズが変更された画像が、例えばプリンタ、複写機、表示装置、又は記憶装置などの、画像出力装置に送信される。

上述した画像のサイズ変更処理のステップ群が、要求される目標寸法に画像をサイズ変更するのに必要なだけ、横方向、又は縦方向、又はその両方について実行されることが分かるであろう。画像はまずある方向にサイズ変更され，その後、もう一方の方向についてサイズ変更される。最初に画像を横方向及び縦方向の両方に横切るように複数のシームを生成し、生成したそれらシームの情報をメモリユニット又は記憶装置に格納する。そして、それら横方向のシーム又は縦方向にシームが、一方の方向について、又はもう一方の方向について、又はそれらを交互に繰り返す方法で、サイズ変更後の画像が目標寸法になるまで、削除されるようにしてもよい。

次に、垂直方向及び水平方向についてのサイズ変更について説明する。

この方法は、ある文書についての以下の観察結果（知見）に基づいている。１）その文書内のテキスト（文字部分）の横（水平）方向の行同士のスペース（行間）は均一である傾向がある。２）文書内のオブジェクト同士の間隔は横方向と縦方向とで一般に均一ではない。３）横方向についてのテキストの文字間及び単語間の間隔は比較的小さく、そのため変化に対して視覚的に敏感であり、したがって削除の対象とすることは好ましくない。４）ページの余白内からの空白スペースの削除は、文書の視覚的な構造及び文書の内容（コンテンツ）の均整（バランス）にほとんど影響を与えない傾向がある。多くの文書は、印刷できるための余白（マージン）についての要求は最小限である。以上の観察結果に基づき、画像のサイズ変更に用いるパラメータを、横方向と縦方向とで少し異なったものとする。

次に図２〜図５を参照する。これらの図には、画像のサイズを縦（垂直）軸に沿って低減する実施例が例示されている。横（水平）方向のシーム群が、画像を横切るように例えば右辺から左辺まで刻まれ、この明細書に説明した方法に従って除去され、これにより画像のサイズが、目標寸法を達成するために当該画像の縦軸方向について低減される。

ステップ２０２では、縦方向にサイズ変更すべき文書の画像が受け取られる。受け取られた画像は、強度値などの複数の色データ値を含んだ画素を複数有する。文書の画像は、この分野で一般的に知られている方法に従って受け取られるか、又は取得（キャプチャ）される。

ステップ２０４では、その画像についての重要度マップが生成される。上述のように、重要度マップは、受け取った画像の各画素について求められた画素重要度の値から構成されている。画像オペレータを用いて画素の重要度を求められる。画素の重要度は、画像オペレータにより、その画素の周囲にある近傍画素群に対するその画素のコントラストの量により、評価（見積もり）される。その画素についての重要度は、その評価演算の結果である。画像についての重要度マップは、個々の画素の重要度の集まりから構成される。

ステップ２０６では、受け取った画像を横切って複数の横方向のシームが刻まれる。その画像を横切るシームを刻むのに、シームカービング技術が用いられる。縦方向のサイズ変更のために、シームは画像を横方向に通過するように刻まれる。シームの経路は画像の第１の境界から始まり、その画像を（横方向に）横切って第２の境界まで達する。画像を横切って刻まれたシーム経路のそれぞれについて、その画像の重要度マップを横切る同一の経路が識別される。

ステップ２０８では、各シームについて、シームエネルギーが計算される。あるシームの全体的なエネルギーは、重要度マップを通るそのシームの経路内の個々の画素の重要度に基づいて求められる。画素の重要度は、その画素の周囲にある近傍画素群に対する、その画素のコントラストに基づき、画像オペレータにより計算される。近傍の画素に対して高いコントラストを持つ画素は、重要度の値が高くなる。

ステップ２１０では、シームエネルギーに基づき、背景の画素から構成されたシームが識別される。高エネルギーのシームは高重要度の画素から構成される。このようなシームは、文書画像内の重要度が高いコンテンツを横切っているものと考えられる。低エネルギーのシームは、一般的に、文書の空白スペース又は均一な色の背景などのような低重要度の背景画素から構成される。

ステップ２１２では、互いに隣り合う背景シーム同士がまとめられることで背景シームグループ（ＢＳＧ）が形成される。背景シームグループはそれぞれ、シームグループ幅を有する。例えば、それぞれ１画素幅の２つの隣合う背景シーム同士が一緒になって１つのシームグループを形成する場合、この背景シームグループの幅は２（画素２つ分の幅）である。同様に、それぞれ１画素幅の５つの隣合う背景シーム同士が一緒になった場合、この背景シームグループの幅は５（画素５つ分の幅）である。背景シームとして識別されたシームの隣合うもの同士はすべて、それぞれまとめられることにより、個々の背景シームグループを形成する。

ステップ２１４では、背景シームグループが複数のカテゴリに分類される。縦方向のサイズ変更のために、各背景シームグループは、当該グループの幅と、文書画像中での当該グループの位置とに基づき、次の３つのカテゴリへと分けられる。（１）あらかじめ定められたしきい値ｔ１ｖよりも小さい幅を持つ背景シームグループである「狭いＢＳＧ」。このＢＳＧの幅をＷ_ｎ［ｉ］と表記する。（２）あらかじめ定められたしきい値ｔ２ｖよりも大きい幅を持つ背景シームグループである「広いＢＳＧ」。このＢＳＧの幅をＷ_Ｗ［ｉ］と表記する。（３）テキストの横方向の行同士の間に位置するシームから構成される背景シームグループである「テキスト行間ＢＳＧ」。このＢＳＧの幅をＷ_Ｔ［ｉ］と表記する。テキスト行間ＢＳＧはｔ１ｖ以上ｔ２ｖ以下の幅を持つ。

次に図３を参照する。この図は、図２のフローチャートのノードＡ１の続きである。

ステップ２１６では、文書のページの境界の最上部及び最低部の各辺に沿ったシーム群が「上部ページマージン」ＢＳＧ及び「底部ページマージン」ＢＳＧとして識別される。画像（及び重要度マップ）を横切ってシーム群が刻まれ、それらシームがグループ化され分類され、上部ページマージンＢＳＧ及び底部ページマージンＢＳＧが識別されると、以下のステップが実行される。

ステップ２１８では、縦方向について要求された目標寸法まで画像をサイズ変更するために、その画像から除去すべき横方向のシーム群の総数（Ｔ_Ｖ）が求められる。一例では、縦軸方向についての元の画像のサイズとサイズ変更後の画像の目標サイズ（サイズは画素単位）との間の差を計算することにより求められる。例えば、横方向のシームが１画素分の幅であり、画像を縦方向に合計５０画素分だけ縮小する必要がある場合、画像から合計５０個の横方向のシームを削除する必要がある。

ステップ２２０では、上部及び底部のページマージンＢＳＧから除去できるシームの最大数を求める。一例として、これは次の式により求めることができる。

ここで、ＷＴ及びＷＢは、それぞれ、上部ページマージンＢＳＧの幅、及び、底部ページマージンの幅であり、Ｍｉｎ＿ＷＴ及びＭｉｎ＿ＷＢは、それぞれ、文書のページマージンに関する要件から決まる、上部ページマージン及び底部ページマージンの最小値である。それらページマージンから削除されるシームが多すぎると、サイズ変更後の文書画像を描画するのに用いられるマーキング装置は、サイズ変更後の文書画像内の内容（コンテンツ）を印刷することができなくなる。サイズ変更後の文書画像が、マーキング装置が印刷可能な印刷可能境界範囲にはみ出しているからである。

ステップ２２２では、上部ページマージンＢＳＧ及び底部ページマージンＢＳＧからシームが削除される。一例では、それらページマージンからのシームの削除は以下のように行われる。
・θ_ｖ（ＷＴ−Ｍｉｎ＿ＷＴ）個のシームを上部ページマージンＢＳＧから削除
・θ_ｖ（ＷＢ−Ｍｉｎ＿ＷＢ）個のシームを底部ページマージンＢＳＧから削除
ここで、θ_ｖ＝Ｍｉｎ（１，Ｍａｘ＿ＰＭ_Ｖ／Ｔ_Ｖ）である。

ステップＳ２２４では、画像が縦方向に目標寸法までサイズ変更されたかどうかを判定する。もし、Ｍａｘ＿ＰＭ_Ｖ≧Ｔ_Ｖ、であれば、画像を目標寸法までサイズ変更するのに十分な数のシームが上部及び底部のページマージンＢＳＧから削除されており、これ以上の処理は不要である。そうでない場合、この後「広いＢＳＧ」からシームが削除されることになる。

次に図４を参照して説明を行う。図４は、図３のフローチャートのノードＢ１の続きのフローチャートである。

ステップＳ２２６では、画像中に残っている削除対象のシームの総数が求められる。これは例えば以下のように求めればよい。

もし、Ｒ_Ｖ＝０ならば、削除対象のシームは残っていない。言い換えれば、上部及び底部のページマージンＢＳＧからのシームの削除のみで画像が十分にサイズ変更されたことになる。

ステップ２２８では、次式の計算を行う。

もし、α_Ｖ≦Ｔ_ＡＶ（ここでＴ_ＡＶは１以下のあらかじめ定められたしきい値）ならば、（１つ又は複数の）「広いＢＳＧ」からのシームの削除により画像が目標寸法まで十分にサイズ変更できたことになる。そうでない場合、この後、他のＢＳＧからシームが削除されることになる。

ステップ２３０では、次式の計算を行う。

ここで、ＮＷはすべての「広いＢＳＧ」内のシームの総数であり、ＮＴはすべての「テキスト行間ＢＳＧ」内のシームの総数であり、「狭いＢＳＧ」（Ｗ_ｎ［ｉ］）の各々は（ｔ１ｖ−Ｔ_ｂ）より大きい幅を持っている。ここでＴ_ｂは、βについてあらかじめ定められた最大値である。

ステップ２３２では、各「広いＢＳＧ」からそれぞれから削除すべきシームの数が求められる。これには、例えば次の計算を行う。

ステップ２３４では、各「広いＢＳＧ」から、それぞれ対応する個数、すなわちΔＷ_Ｗ［ｉ］個のシームが削除される。

次に図５を参照して説明を行う。図５は、図４のフローチャートのノードＣ１の続きのフローチャートである。

ステップ２３６では、各「テキスト行間ＢＳＧ」から合計β_ｖの数のシームが削除される。

ステップ２３８では、各「狭いＢＳＧ」から削除すべきシームの数が求められる。これは例えば以下の計算により行う。

ステップ２４０では、各「狭いＢＳＧ」Ｗ_ｎ［ｉ］からそれぞれΔＷ_ｎ［ｉ］個のシームが削除される。

ステップ２４２では、画像が縦方向について目標寸法までサイズ変更できたかどうかが判定される。もし、β_ｖ≦Ｔ_ｂならば、縦方向について目標寸法を達成するのに十分な数のシームの削除が完了したということであり、これ以上の処理は不要となる。そうでない場合は、ステップ２４４で、画像からシームを識別して削除する他のサイズ変更方法が、縦方向についての目標寸法を達成するよう画像をサイズ変更するのに必要となる。この代わりに、このサイズ変更方法では画像の目標出力寸法が達成できないことを示すメッセージをユーザに提示してもよい。

次に、図６〜図８を参照して、横（水平）軸方向について画像を低減する実施例について説明する。縦方向のシームが、画像を例えば画像の上辺から底辺まで横切るように刻まれ、この明細書で説明する方法に従って削除され、これにより要求される目標寸法を達成するために、画像のサイズが当該画像の横軸方向に沿って低減される。

以下に説明する初期のステップ６０２〜６１２については、上述した縦方向のサイズ変更についてのステップ２０２〜２１２とほぼ同様の処理が、横方向について行われる。簡単のため、同じ説明の繰り返しは省略する。

ステップ６０２では、横方向についてのサイズ変更の対象の画像が受け取られる。
ステップ６０４では、その画像についての重要度マップが生成される。その画像についての重要度マップは、個々の画素重要度の集まりから構成される。

ステップ６０６では、既に説明したのと同様にして、シームカービング技術を用いて複数のシームが文書画像を貫くように刻まれる。

ステップ６０８では、各シームについてシームエネルギーが計算される。シームエネルギーは、重要度マップを貫く（横切る）シームの経路内の各画素の重要度に基づいて求められる。

ステップ６１０では、シームエネルギーに基づいて、背景の画素から構成されるシームが識別される。

ステップ６１２では、互いに隣接する複数の背景シームがまとめられ、背景シームグループ（ＢＧＳ）が形成される。背景シームグループはそれぞれグループ幅を有する。

ステップ６１４では、背景シームグループが複数のカテゴリに分類される。横方向のサイズ変更のために、ＢＳＧは、幅と位置に基づき、以下の２つのカテゴリに分類される。１）あらかじめ定められたしきい値ｔ１ｈよりも小さい幅を持つ背景シームグループである「狭いＢＳＧ」。このＢＳＧの幅をＷ_ｎ［ｉ］と表記する。狭いＢＳＧは、文書内のテキスト文字同士の間の狭い領域を横切る背景シームグループである。２）あらかじめ定められたしきい値ｔ１ｈよりも大きい幅を持つ背景シームグループである「広いＢＳＧ」。このＢＳＧの幅をＷ_Ｗ［ｉ］と表記する。ここで説明する横方向のサイズ変更方法では、テキスト行間ＢＳＧは存在しない。なぜなら、横方向のサイズ変更方法でのシームは、画像を（上から下へと）縦方向に横切るのであって、テキストの行間を（左から右へと）横方向に横切るのではないからである。テキスト行間ＢＳＧは、文書のテキストの行間を横方向に横切る背景シームグループである。１つの例では、例えば「狭いＢＳＧ」と「広いＢＳＧ」との間のしきい値ｔ１ｈは、文書中のテキスト（文字）同士の横方向の間隔の最小値としてもよい。

次に図７を参照する。この図は、図６のフローチャートのノードＡ２の続きを表す。

ステップ６１６では、背景シームグループの集合の中から、文書ページの左端の辺及び右端の辺に沿ったシーム群が識別される。これらシーム群は、個々では、左ページマージンＢＳＧ及び右ページマージンＢＳＧと呼ぶこととする。いったんシーム群が画像を横切って刻まれ、グループ化され、分類され、左及び右のページマージンＢＳＧが識別されると、次の処理が行われる。

ステップ６１８では、画像を横方向に目標寸法までサイズ変更するためにページ全体から削除すべき縦方向のシームの総数（Ｔ_Ｈ）が定められる。この総数は、横方向についての、元の画像のサイズと出力画像の目標サイズ（サイズは画素単位）との差に基づいて定めることができる。

ステップ６２０では、左ページマージンＢＳＧ及び右ページマージンＢＳＧから除去できるシームの数の最大値が求められる。これは、例えば次の計算により求められる。

ここで、ＷＬ及びＷＲは、それぞれ、左ページマージンＢＳＧの幅、及び、右ページマージンの幅であり、Ｍｉｎ＿ＷＬ及びＭｉｎ＿ＷＲは、それぞれ、文書のページマージンに関する要件から決まる、左ページマージン及び右ページマージンの最小値である。

ステップ６２２では、左ページマージンＢＳＧ及び右ページマージンＢＳＧからシームが削除される。一例では、それらページマージンからのシームの削除は以下のように行われる。
・θ_Ｈ（ＷＬ−Ｍｉｎ＿ＷＬ）個のシームを左ページマージンＢＳＧから削除
・θ_Ｈ（ＷＲ−Ｍｉｎ＿ＷＲ）個のシームを右ページマージンＢＳＧから削除
ここで、θ_Ｈ＝Ｍｉｎ（１，Ｍａｘ＿ＰＭ_Ｈ／Ｔ_Ｈ）である。

ステップＳ６２４では、画像が横方向に目標寸法までサイズ変更されたかどうかを判定する。もし、Ｍａｘ＿ＰＭ_Ｈ≧Ｔ_Ｈ、であれば、画像を目標寸法までサイズ変更するのに十分な数のシームが左及び右のページマージンＢＳＧから削除されており、これ以上の処理は不要である。そうでない場合、この後「広いＢＳＧ」からシームが削除されることになる。

次に図８を参照して説明を行う。図８は、図７のフローチャートのノードＢ２の続きのフローチャートである。

ステップＳ６２６では、画像中に残っている削除対象のシームの総数が求められる。これは例えば以下のように求めればよい。

もし、Ｒ_Ｈ＝０ならば、削除すべきシームは残っていない。

ステップ６２８では、次式の計算を行う。

ステップ６３０では、各「広いＢＳＧ」からそれぞれから削除すべきシームの数が求められる。これには、例えば次の計算を行う。

ステップ６３２では、各「広いＢＳＧ」から、それぞれ対応する個数、すなわちΔＷ_Ｗ［ｉ］個のシームが削除される。

ステップ６３４では、画像が横方向について目標寸法までサイズ変更できたかどうかが判定される。もし、α_Ｈ≦Ｔ_ａｈ（Ｔ_ａｈは１以下のあらかじめ定められたしきい値）ならば、左及び右のページマージンＢＳＧと広いＢＳＧからのシームの削除により、サイズ変更が達成できたということであり、これ以上の処理は不要となる。この時点で、画像の背景の視覚的バランスに影響を与えることなくこれ以上の縦方向シームを削除することはできない。α_Ｈ≦Ｔ_ａｈでない場合は、ステップ６３６で、画像からシームを識別して削除する他のサイズ変更方法が、横方向についての目標寸法を達成するよう画像をサイズ変更するのに必要となる。この代わりに、このサイズ変更方法では画像の目標出力寸法が達成できないことを示すメッセージをユーザに提示してもよい。

この実施形態の方法は、サイズ変更される文書画像の種類やその画像に含まれる内容（コンテンツ）によって決まる固有の利点を有する他のサイズ変更技術とともに用いられる可能性があることは、理解されるべきである。もし、この実施形態の技術を用いた背景及び空白スペースの削除では、例えば画像内に削除すべき背景が目標寸法に達するほど十分には存在しない等の理由で、サイズ変更の目標寸法が達成できない場合、例えば、コンテンツアウェア（内容を意識した）サイズ変更技術や、クロッピング／スケーリング（トリミング／倍率変更）によるサイズ変更などのような別のサイズ変更処理を用いてもよい。

更に、上述の方法に従って文書画像内のＢＳＧからシームを削除する前に、十分な数のシームを実質的に（横方向に、又は、縦方向に、又はそれら両方向に）削除できるか否かを、最初に判定してもよい。視覚的な歪みを招くことなく画像を目標寸法までサイズ変更するのに十分な数の削除対象のシームが文書画像内のＢＳＧ群の中からに存在しない場合、その十分な数のうちの一部分のみをこの実施形態のサイズ変更方法で縦方向又は横方向（又はその両方）について削除するか、又は他のサイズ変更方法を用いて文書画像をサイズ変更するか、を判定するようにしてもよい。更に、目標寸法を再調整することで、文書画像をこの実施形態の方法で実質的にサイズ変更できるようにしてもよい。

横方向のサイズ変更及び縦方向のサイズ変更のための上述の方法の実装は、ソフトウエア又はハードウエアによって行うことができる。１つの例では、刻まれたシームとこれに対応するグループとの関係とを指し示すレコードからなるリンク付きリストを含んだデータ構造が用いられる。上述のように特定のＢＳＧから削除されるシームは、単にそのシームに対応するレコード（あるいはリスト）から削除され、レコード群がソフトウエアプログラミング技術の当業者によく知られている方法で再リンクされる。必要とされる数のシームが対応するＢＳＧから削除されると、サイズ変更後の画像を構成する残りのシームが再び組み立てられ、画像が画像出力装置に送られる。この実施形態の方法は、画像処理システムの画像経路内に配置されるＡＳＩＣ（特定用途向け集積回路）に実装することもできる。

Claims

画像処理システム内で文書の画像をサイズ変更する方法であって、
目標寸法へとサイズ変更すべき文書の画像であって、複数の画素を含む文書の画像を受け取るステップと、
前記画像について生成された重要度マップに基づき、縦方向及び横方向のうちの一方の方向に、前記画像の第１の辺から第２の辺まで、複数のシームを刻むステップと、
前記複数のシームの各々についてエネルギーを計算するステップと、
前記エネルギーに基づき、背景の画素からなるシームを識別するステップと、
互いに隣合うシーム同士をまとめることで背景シームグループを形成するステップと、
前記背景シームグループを、当該背景シームグループの全シームグループ幅に基づいて分類するステップと、
前記背景シームグループの幅に基づき、当該背景シームグループから削除するシームの目標数を求めるステップと、
前記画像が目標寸法になるまで、前記背景シームグループから前記目標数のシームを削除するステップであって、幅の広い方の背景シームグループから先にシームの削除を行い、その後、順に幅が狭い方の背景シームグループに対してシームの削除を行い、サイズ変更前に、ある背景シームグループが次に小さい背景シームグループよりも幅が広い場合には、サイズ変更後も、その背景シームグループは前記次に小さい背景シームグループ以上の幅を持つよう、前記背景シームグループの各々の前記全シームグループ幅に応じた順位が維持される、ステップと、
前記文書のサイズ変更後の画像を画像出力装置に供給するステップと、
を含む文書画像サイズ変更方法。
請求項１に記載の方法であって、前記画像についての前記重要度マップを生成する処理では、
画像の内容についての画素間の変化に反応する少なくとも１つの画像オペレータを選択し、
選択された画像オペレータを用いて前記画像内の各画素の重要度の値を、当該画素の周囲の隣接画素群に応じて求め、
求めた各画素の重要度の値から前記重要度マップを作成する、
ことを特徴とする文書画像サイズ変更方法。
請求項１に記載の方法であって、前記背景シームグループの各々から削除すべきシームの目標数は、相対的に広い幅を持つ背景シームグループから削除されるシームの数が、相対的に狭い幅を持つ背景シームグループから削除されるシームの数以上となるように求められる、ことを特徴とする文書画像サイズ変更方法。
請求項１に記載の方法であって、前記文書の前記画像は縦方向にサイズ変更されるものであり、前記方法は、更に、
前記文書の前記画像の上部及び底部のページマージン内にある背景シームを識別するステップと、
互いに隣合うシーム同士をまとめることで背景シームグループ（以下「ＢＳＧ」と呼ぶ）を形成するステップと、
前記背景シームグループを、当該背景シームグループの全シームグループ幅に基づいて、上部ページマージンＢＳＧと底部ページマージンＢＳＧとに分類するステップと、
前記画像を前記目標寸法へと縦方向にサイズ変更するために前記画像から削除すべき、横方向のシームの総数Ｔ_Ｖを求めるステップと、
前記画像を縦方向にサイズ変更するために前記上部及び底部のページマージンＢＳＧから削除されるシームの最大数Ｍａｘ＿ＰＭ_Ｖを求めるステップであって、
Ｍａｘ＿ＰＭ_Ｖ＝（ＷＴ−Ｍｉｎ＿ＷＴ）＋（ＷＢ−Ｍｉｎ＿ＷＢ）
であり、ＷＴ及びＷＢはそれぞれ上部ページマージンＢＳＧ及び底部ページマージンＢＳＧの幅であり、Ｍｉｎ＿ＷＴ及びＭｉｎ＿ＷＢはそれぞれ前記文書のページマージンに関する要件から決まる上部ページマージン及び底部ページマージンの最小値である、ステップと、
前記上部ページマージンＢＳＧ及び前記底部ページマージンＢＳＧからシームを削除するステップであって、θ_ｖ＝Ｍｉｎ（１，Ｍａｘ＿ＰＭ_Ｖ／Ｔ_Ｖ）とした場合に、前記上部ページマージンＢＳＧからθ_ｖ（ＷＴ−Ｍｉｎ＿ＷＴ）個のシームを削除し、前記底部ページマージンＢＳＧからθ_ｖ（ＷＢ−Ｍｉｎ＿ＷＢ）個のシームを削除することにより、Ｍａｘ＿ＰＭ_Ｖ≧Ｔ_Ｖであれば、前記画像を前記目標寸法までサイズ変更するのに十分な数のシームが上部及び底部のページマージンＢＳＧから削除できるようにし、そうでなければ、幅の広いＢＳＧ群からシームが削除されるようにするステップと、
を含むことを特徴とする文書画像サイズ変更方法。
請求項１に記載の方法であって、前記文書の前記画像は横方向にサイズ変更されるものであり、前記方法は、更に、
前記文書の前記画像の左端及び右端のページマージン内にある背景シームを識別するステップと、
互いに隣合うシーム同士をまとめることで背景シームグループ（以下「ＢＳＧ」と呼ぶ）を形成するステップと、
前記背景シームグループを、当該背景シームグループの全シームグループ幅に基づいて、左ページマージンＢＳＧと右ページマージンＢＳＧとに分類するステップと、
前記画像を前記目標寸法へと横方向にサイズ変更するために前記画像から削除すべき、縦方向のシームの総数Ｔ_Ｈを求めるステップと、
前記画像を横方向にサイズ変更するために前記左及び右のページマージンＢＳＧから削除されるシームの最大数Ｍａｘ＿ＰＭ_Ｈを求めるステップであって、
Ｍａｘ＿ＰＭ_Ｈ＝（ＷＬ−Ｍｉｎ＿ＷＬ）＋（ＷＲ−Ｍｉｎ＿ＷＲ）
であり、ＷＬ及びＷＲはそれぞれ左ページマージンＢＳＧ及び右ページマージンＢＳＧの幅であり、Ｍｉｎ＿ＷＬ及びＭｉｎ＿ＷＲはそれぞれ前記文書のページマージンに関する要件から決まる左ページマージン及び右ページマージンの最小値である、ステップと、
前記左ページマージンＢＳＧ及び前記右ページマージンＢＳＧからシームを削除するステップであって、θ_Ｈ＝Ｍｉｎ（１，Ｍａｘ＿ＰＭ_Ｈ／Ｔ_Ｈ）とした場合に、前記左ページマージンＢＳＧからθ_Ｈ（ＷＬ−Ｍｉｎ＿ＷＬ）個のシームを削除し、前記右ページマージンＢＳＧからθ_Ｈ（ＷＲ−Ｍｉｎ＿ＷＲ）個のシームを削除することにより、Ｍａｘ＿ＰＭ_Ｈ≧Ｔ_Ｈであれば、前記画像を前記目標寸法までサイズ変更するのに十分な数のシームが左及び右のページマージンＢＳＧから削除され、更なる処理が必要なくなるようにし、そうでなければ、幅の広いＢＳＧ群からシームが削除されるようにするステップと、
を含むことを特徴とする文書画像サイズ変更方法。