JP6353893B2 - 携帯端末装置のカメラにより撮影される紙面画像から記事をスクラップするための方法、プログラム、及び装置 - Google Patents

Description

本発明は、新聞、雑誌等の紙面を撮影した画像を用いて記事をスクラップする方法等に関する。特に、複雑なレイアウトを有する紙面を撮影した画像、傾きや歪みのある紙面画像等から所望の記事をスクラップすることができるスクラップロジック、ユーザインターフェース、及びそれらを実装した携帯端末装置に関する。

従来、入力された新聞等の文書画像から区画線や行間スペースを検出し、区画線等により区分される領域毎にヒストグラムを求め、その特徴から見出し、写真、記事本文を検出し、記事本文の繋がり関係を判定しながら不定形に段組された１つの連続した記事本文を抽出することが提案された（特公昭６１−３２７１２号公報：特許文献１）。

読み取られた新聞雑誌の原画から横罫線、縦罫線を抽出し、これに基づいて新聞、雑誌等の記事の領域を自動的に抽出することが提案された（特開昭６２−７６９６９号公報：特許文献２）。

画像データ上で所望の記事を切り出す際に、縦・横の罫線を認識し端点の位置データとして記憶し、罫線間の接続関係から見出し領域を判定し、認識された罫線に基づいて領域を区画し、区画された領域毎に番号を付加して記憶することを含む文書処理装置が提案された（特開平９−３０５７０４号公報：特許文献３）。

印刷媒体画像から水平及び垂直のガター及び線を、フィルタ等を利用して検出し、検出したガター及び線によって印刷媒体画像をチョップして見出し及び本文ブロックとして認識し、規則や機械学習アルゴリズムに基づいて見出し及び本文ブロックを記事にグループ化する方法が提案された（特表２０１２−５００４２８公報：特許文献４）。

特公昭６１−３２７１２号公報 特開昭６２−７６９６９号公報 特開平９−３０５７０４号公報 特表２０１２−５００４２８公報

従来技術はモバイルデバイスの使用を前提としておらず、スキューを有する紙面画像について精度よく罫線を抽出することができなかった。また、見出し領域の検出のために一定のパターンの罫線の検出を要するなど、多種多様な罫線や余白が抽出される紙面に十分に対応することができなかった。記事を構成する領域の区分や抽出のために広範囲のＯＣＲ（光学式文字認識）等膨大な処理を要するが、最終的に必ずしも単一の記事が抽出されなかった。

さらに、単一の記事が抽出されない場合に、容易に修正するためのインターフェースも提供されなかった。

上記問題に鑑みて、本発明は、モバイルデバイスのカメラ等を使用して撮影した紙面画像から該紙面画像の部分をスクラップ（切抜き）するために、紙面画像を区分する仕切りエッジを適切に検出して単一の記事を精度よく抽出するとともに、多様なレイアウトに網羅的に対応できるように、容易なユーザ操作で切抜き範囲を再構成することができるスクラップロジック、インターフェース、及び装置を提供することを目的とする。

本発明に係る一つの実施形態は、紙面を撮影して得られる紙面画像から該紙面画像の部分をスクラップするための方法であって、紙面画像に関する複数の仕切りエッジのうち、それぞれ水平方向に伸長する上下の水平エッジ及びそれぞれ垂直方向に伸長する左右の垂直エッジから成るエッジのセットに基づいて前記紙面画像の区分を検出するステップと、それぞれの区分に対応するエッジのセットに基づいてマップ領域を決定し、該マップ領域を構成する複数の画素がマップ番号に関連付けられるマップ画像を生成するステップと、紙面画像を、スクラップする領域とスクラップしない領域とに区分して表示させるスクラップマスクであって、スクラップする領域が予め選択されたマップ領域から成るスクラップマスクを生成するステップと、決定されたマップ領域から成るスクラップ画像を生成するステップと、を含む。

本発明によれば、上下の水平エッジと左右の垂直エッジとから成るエッジのセットにより紙面画像を区分してマップ領域とし、マップ領域のセットによりスクラップ領域が形成されるので、適切な検出に基づいて、自動的に切抜き（スクラップ）された紙面画像を得ることができる。スクラップのためにＯＣＲによるテキスト認識も要しないのでＣＰＵの負荷が少なく、モバイルデバイス等での実装に適する。

好適に、スクラップマスクは、ユーザ操作に基づくマップ領域単位の選択入力及び／又は非選択入力を受けつけるように生成される。このようにすることで、自動的な切抜き範囲がユーザの所望の部分でない場合も、マップ領域単位で追加、削除等することができ、所望のスクラップ画像を容易に得ることができる。

紙面画像は一つ以上の記事を含み、スクラップマスクにおいて、予め単一の記事を構成するとみなされる一つ以上のマップ領域がマップ領域単位で非選択可能であり、その他の一つ以上のマップ領域がマップ領域単位で選択可能である。このようにすることで、マップ領域の選択／非選択を反転させるだけで、予め提示されたスクラップ領域を容易に変更することができる。

上記方法において、好適に、スクラップマスクを生成するステップにおいて、記事の見出しとみなされる領域について光学式文字認識（ＯＣＲ）処理が行われる。

本発明によれば、紙面画像のスクラップ処理自体にＯＣＲを要しないが、スクラップ画像の見出しをテキスト認識することで、スクラップ画像とテキストとを関連付けて、後の検索処理等に役立てることができる。テキスト認識する領域は記事の見出しに限らなくてもよい。本発明によれば、マップ領域単位のＯＣＲが可能であり、必要以上の処理を行うことなく、所望の部分のテキストを取得することができる。

マップ画像において、紙面画像の全ての画素がそれぞれのマップ番号を持つことが好ましい。このようにすることで、紙面画像の全ての部分をマップ領域に区分することができ、選択及び／又は非選択の対象とすることができる。

上記方法において、水平エッジは、紙面画像を解析するための解析画像を所定のブロックサイズで水平方向にブロック化して検出される紙面の横罫線及び／又は水平方向に伸長する余白に基づいて決定され、垂直エッジが、解析画像を所定のブロックサイズで垂直方向にブロック化して検出される紙面の縦罫線及び／又は垂直方向に伸長する余白に基づいて決定されることが好ましい。

また、所定のブロックサイズは、紙面画像の幅方向や高さ方向に対して整列しない罫線及び／又は余白を検出するのに適するように決定されることが好ましい。

本発明に係るスクラップロジックは、モバイルデバイス等の実装に鑑みて、撮影される紙面画像が画像の幅方向や高さ方向に対して傾きや歪みがある場合でも、精度よく紙面を仕切るエッジを検出するものである。このために、適切に設定されたブロックサイズでブロック化した解析を行う。ブロック化により水平又は垂直方向の、例えば、数画素をひとまとまりのブロックとした解析が行われるため、略水平又は略垂直方向へ伸長するエッジ（罫線や余白等）を適切に検出し、後続の処理に資することができる。

所定のブロックサイズは、スクラップ対象（新聞、雑誌等）の解析に適するように、数画素乃至数十画素の範囲において適宜決定されてよい。

解析画像は、所定のブロックサイズに応じて紙面画像をトリミングして生成されてよい。

紙面画像のサイズは撮影するモバイルデバイス等によってさまざまであり、所定のブロックサイズで割り切れない場合がある。適切なブロック化解析のために、紙面画像の幅及び／又は高さについて予め数画素〜数十画素程度トリミングされ得る。

上記方法において、エッジのセットは、一つの水平エッジから成る基準エッジと、該基準エッジの垂直方向の位置に関して少なくとも部分的に上方に位置し、且つ基準エッジの少なくとも部分の水平方向の位置を挟んで左右に隣り合って位置する二つの垂直エッジと、該左右の垂直エッジと基準エッジにより形成される凹型を少なくとも部分的に塞ぐ位置にあるもう一つの水平エッジとから成る。

このようにエッジのセットを決定することで、紙面画像から規則的に区分を検出し得る。

また、マップ領域は、上下の水平エッジを合成した領域と、左右の垂直エッジを合成した領域との重複部分を少なくとも含む。マップ領域は、対向するエッジの位置関係、及び直交するエッジの位置関係に応じて、重複部分に追加される領域を含む場合がある。

エッジのセットにおけるエッジの大小や配置等は様々であり、単に画素の特徴を追跡することでは、エッジのセットに関する領域を必ずしも画成することができない。本発明によれば、対向する上下のエッジを合成しエッジに挟まれる画素を含めた領域を生成し、及び対向する左右のエッジを合成しエッジに挟まれる画素を含めた領域を生成し、生成されたそれぞれの領域を重ね合わせることで、エッジのセットが示す一連の画素を決定することができる。さらに、直交するエッジの位置関係を調べることで、領域を適切に形成することができる。

本発明に係る他の態様は、上記に記載された紙面画像のスクラップ方法をコンピュータに実行させるプログラムである。

本発明のもう一つの態様は、紙面を撮影して得られる紙面画像から該紙面画像の部分をスクラップするように構成される装置であって、紙面画像に関する複数の仕切りエッジのうち、それぞれ水平方向に伸長する二つの水平エッジ及びそれぞれ垂直方向に伸長する二つ垂直エッジから成るエッジのセットに基づいて、紙面画像の区分を検出するための区分検出手段と、それぞれの区分に対応するエッジのセットに基づいてマップ領域を決定し、該マップ領域を構成する複数の画素がマップ番号に関連付けられるマップ画像を生成するためのマップ画像生成手段と、紙面画像を、選択されたマップ領域から成るスクラップする領域と、選択されないマップ領域から成るスクラップしない領域とに区分して表示させるスクラップマスクを生成するためのスクラップマスク生成手段と、を備える。

好適に、スクラップマスク生成手段は、マップ領域単位の選択入力及び／又は非選択入力に応じてスクラップマスクを生成する。

本発明に係るスクラップロジックを実装した携帯端末装置等によれば、紙面をカメラで撮影するだけで、紙面画像のひとまとまりの記事が切抜かれたスクラップ画像を自動的に取得することができる。ひとまとまりの記事は、ブロック化解析により決定された仕切りエッジに基づいて生成されたマップ領域の選択されたセットから成り、マップ領域単位での選択、非選択が容易なスクラップマスクが提供される。ユーザはタッチパネルをタップする等の容易な操作で、スクラップされる画像の範囲をマップ領域単位で付加、削除等が可能であり、実用性、利便性に優れる。

図１は本発明に係るスクラップロジックの機能ブロック図である。 図２は紙面画像を模式的に示す。 図３は解析画像のブロック化を説明する図である。 図４は白地ブランクの検出を説明する図である。 図５は白地レクタングルを説明する図である。 図６Ａは実施例の横罫線の検出を示す。 図６Ｂは実施例の縦罫線の検出を示す。 図７Ａは余白検出のための白地レクタングルの水平方向の検出を示す。 図７Ｂは決定された水平余白を示す。 図８Ａは余白検出のための白地レクタングルの垂直方向の検出を示す。 図８Ｂは決定された垂直余白を示す。 図９はレクタングルの連結データを説明するための図である。 図１０（Ａ）は閉域検出のための白地レクタングルの水平方向の検出及び閉域候補の検出を示し、図１０（Ｂ）は決定された水平閉域を示す。 図１１（Ａ）は閉域検出のための白地レクタングルの垂直方向の検出及び閉域候補の検出を示し、図１１（Ｂ）は決定された垂直閉域を示す。 図１２はエリア（閉域）データを説明するための図である。 図１３は紙面画像に適用される仕切りエッジ及び閉域を模式的に示す。 図１４はエッジに基づく区分の検出を説明する図である。 図１５はエッジに基づくマップ領域の検出を説明する図である。 図１６はエッジに基づくマップ領域の検出を説明する図である。 図１７はエッジに基づくマップ領域の検出を説明する図である。 図１８はマップ画像を模式的に示す。 図１９はスクラップマスクを模式的に示す。 図２０はスクラップマスクを模式的に示す。 図２１はスクラップマスクを模式的に示す。

以下、図面を参照しながら、本発明のさまざまな特徴が、本発明の限定を意図しない好適な実施例とともに説明される。図面は説明の目的で単純化され、尺度も必ずしも一致しない。

図１に、本発明に係るスクラップロジック１００の機能ブロック図が示される。スクラップロジック１００は、モバイルデバイス等で実装され得る。モバイルデバイスはスマートフォン、タブレット型端末等の公知の高機能携帯端末装置であってよく、図示しないＣＰＵ等制御手段、ＲＡＭ、ＲＯＭ等を含む記憶手段、デジタルカメラ等撮影手段、タッチパネル等入出力手段を備える。スクラップロジック１００は、ベース画像生成手段１０、白地ブロック解析手段２０、仕切りエッジ決定手段３０、区分検出手段４０、マップ画像生成手段５０、及びスクラップマスク生成手段６０を備え、カメラにより撮影された紙面画像Ｉの入力を受けて、選択された紙面画像の部分であるスクラップ画像Ｉ_Sを出力することができる。スクラップロジック１００に係る各手段１０乃至６０は、ソフトウェア、ファームウェア、ハードウェア、又はあらゆるそれらの組み合わせにおいて実装することができる。

図２に、モバイルデバイスのカメラにより撮影される紙面画像Ｉが模式的に示される。紙面画像Ｉは概してカラー画像であり、種々のサイズを有し得る。撮影される紙面が新聞、雑誌等である場合、紙面は一つ以上の記事の見出しや、段組みされた記事本文、写真、イラスト、広告等を含む場合がある。モバイルデバイスのカメラで撮影される紙面画像に含まれる罫線は、概して、画像のＸ方向、Ｙ方向に正しく整列せず、傾いたり歪んだりする場合がある。図２の例示的な紙面画像Ｉは、主に縦罫線Ｌ１、Ｌ２等がＹ方向に対して傾いた台形歪みを示す。

ベース画像生成手段１０は上記のような紙面画像Ｉを、後続の白地ブロック解析手段２０による罫線等の検出のために適宜スケーリングし、及び／又は必要に応じて、後述するブロックサイズで割り切れるようにトリミングする。

白地ブロック解析手段２０は、ベース画像を二値化し、検出対象に応じたフィルタを適宜実行することにより解析画像を生成し、一定のブロックサイズにブロック化して罫線、余白、及び閉域の検出を行う。

図３（ａ）、（ｂ）は、解析画像Ｉ_Aのブロック化を示す。図３（ａ）は、解析画像Ｉ_Aを水平（幅Ｗ）方向について所定のブロックサイズΔｗでブロック化するものであり、図３（ｂ）は、解析画像Ｉ_Aを垂直（高さＨ）方向について所定のブロックサイズΔｈでブロック化するものである。本発明に係る白地ブロック解析は、上記ブロック化により、傾きを有する罫線等を精度よく検出し得る。

例えば、図４の上図を参照して、多数の画素（格子のひとマスが１画素を表すものとする）から成る解析画像から罫線（白画素で表される）を抽出する場合、幅方向（Ｘ方向）又は高さ方向（Ｙ方向）のヒストグラムを調べたり、白画素を単にＸ方向やＹ方向に追跡しても、傾いた罫線のため精度よく検出することができない。

本発明に係る白地ブロック解析は、Ｘ方向やＹ方向に必ずしも整列することなく伸長する罫線等の特徴を抽出するように、水平方向及び垂直方向に所定のブロックサイズだけ連続する白画素（以下適宜、「ブランク」という）を検出する。図示の例は、水平方向に伸長する特徴を抽出するために、水平方向に６画素のブロックサイズで（Δｗ＝６画素）ブロック化したものであり、水平方向の６画素（６×１画素）全てが白画素であるとき、当該６画素がブランク（白地）として検出される。ブロックの６画素において一つ以上黒画素があれば、当該ブロックはブランクとみなされない。図４の下図は、本発明に係るブロック解析によるブランクの検出（白抜きの部分）を示すものであり、グレーで色塗りされた部分は、白画素であるが白地ブランクとして検出されない部分を示す。

図５は、ブロックサイズΔｗ（＝６画素）で水平ブロック化された一つのブロックにおいて検出されたブランクとレクタングルの関係を示す。ブランクはΔｗ×１画素（垂直方向のブロック化では１×Δｗ画素）のサイズを持ち、レクタングルは、ブロック内で連続するブランクをまとめたものである。図示の例では、レクタングルＲ１は８つのブランク（６×８画素）から成り、レクタングルＲ２は４つのブランク（６×４画素）から成る。これらの白地レクタングルは、それぞれ右上及び左下の座標（ラスタデータ）をメモリ等記憶手段（図示せず）に記憶される。本発明に係る罫線や余白、閉域の検出は、このような白地レクタングルの検出に基づく。

白地ブロック解析において、ブロックサイズが１画素に近づくと、水平方向や垂直方向の特徴が表れにくいため好ましくない。ブロックサイズが大きすぎると、罫線等の傾き等によってはブランクが十分に検出されない恐れがあり好ましくない。このためブロックサイズは、ブランクが十分に検出されるように、１画素より大きなサイズに設定されることが好ましい。例えば、公知のモバイルデバイスのカメラの解像度に鑑みて、新聞、雑誌についてブランクを検出する場合、ブロックサイズは、数画素乃至数十画素の範囲にあり得る。適切な検出が行われる限り、ブロックサイズはこれらに限定されなくてもよい。

図６Ａ及び図６Ｂに、実施例の水平方向／垂直方向ブロック解析により検出される横罫線／縦罫線がそれぞれ白抜きの部分として示される。図中、黒い部分は、解析画像における黒画素であり、グレーの部分は、罫線として検出されない白画素を示す。

罫線の検出では、まず、ベース画像をネガ二値化した解析画像Ｉ₁についてブロック毎に白地ブランクが検出され、白地レクタングルとして保持される。それぞれのレクタングルの連結等に基づいて、罫線らしい一群のレクタングルが決定される。例えば、互いに連結する一群のレクタングルの長さ（ブロック数）の最小値やアスペクト比等に基づいて、罫線を構成する一群のレクタングルが決定され得る。

ブロック間のレクタングルの連結は、一つのブロックのレクタングルが、隣り合うブロックのレクタングルに接するときに、連結するとみなされ得る。また、罫線の傾き等に鑑みて、ブロック間のレクタングルが接していない場合も、所定の条件を満たせば連結すると見なされ得る。所定の条件は、連結誤差として予め設定されてよい。例えば、水平方向ブロック化による横罫線の検出では、一つのブロックのレクタングルの上端又は下端が、左右（前後）のブロックのレクタングルから上方向又は下方向に数画素（＝連結誤差）離隔していても、連結すると見なされ得る。

続いて、図７Ａ及び図８Ａに、余白の検出のための水平／垂直方向ブロック解析による白地レクタングルの実施例の検出がそれぞれ示される。図中に示される多数の短冊状の矩形はそれぞれ検出されたレクタングルを示す。解析画像Ｉ₂は、元の紙面画像のサイズに応じてスケーリングし二値化（ポジ）し、所定のフィルタを実行したものである。検出されたこれらのレクタングルに基づいて、水平余白、垂直余白がそれぞれ決定される（図７Ｂ、図８Ｂ）。

なお、解析画像Ｉ₂を生成するためのフィルタは、二値化画像を水平マトリックス（Δｘ₁×Δｙ₁画素）及び垂直マトリックス（Δｘ₂×Δｙ₂画素）でそれぞれスキャンし、すべて白画素だったときのみ白と判定し、水平及び垂直の二つのスキャン結果を水平、垂直いずれも黒のときに黒画素とし、その他を白画素として合成するものであってよい。Δｘ₁、Δｙ₁、Δｘ₂、Δｙ₂の具体的な値等は、紙面のレイアウトに寄与しない文字間や行間の余白の検出を抑制し、レイアウトに寄与する余白を検出するように、任意に設定されてよい。

検出されたレクタングルはレクタングル同士の連結を調べられ、メモリ等記憶手段により記憶される。レクタングル同士の連結は、例えば、各レクタングルの上辺と下辺の範囲、又は左辺と右辺の範囲が、前後のブロックのレクタングルに接する場合に互いに連結するとみなされる。メモリ等記憶手段は、水平方向及び垂直方向の検出のそれぞれについて、ブロック数×１ブロックのレクタングル最大数（設定値）の二次元配列の形で連結データを保持することができる。

図９に、ブロック数＝９（ブロックＢ０〜Ｂ８）、レクタングル最大数＝１０（Ｒ０〜Ｒ９）として、例示的な連結データが模式的に示される。図９中、各ブロックで検出されたレクタングル（Ｒ_m）の前及び／又は後ろのブロックのレクタングルとの連結が黒のラインで表される（黒く塗りつぶされた矩形はレクタングルがないことを表す）。

レクタングルの連結データからスペースデータが得られる。スペースは、ブロック間で互いに連結する、ブロック当たり一つのレクタングルの集合から成る。ブロック当たり一つのレクタングルとすることで、形状が略矩形のスペースが検出しやすくなり、最終的に紙面の仕切りとなるような余白を検出しやすい。紙面の仕切りになりやすいように、スペースとしての検出には、最小ブロック数等が設定されてよい。

図９を参照して、ブロックＢ０のレクタングルＲ₀の連結を後続のブロックＢ１〜Ｂ８まで追跡することで、ブロックＢ０〜Ｂ８のそれぞれの先頭のレクタングルＲ₀から成るスペースが検出される。また、ブロックＢ０のレクタングルＲ₁が連結するレクタングルを後続のブロックＢ１〜Ｂ８にかけて追跡することで、他のスペースが検出される。図９の例において、連結する最小ブロック数＝５（すなわち、５以上のレクタングルの連結でスペースとみなす）とすると、以下の表１のように、スペースＳ０〜Ｓ４が検出される。

このようにスペースデータは、各ブロックのレクタングルのリストとして保持される。記憶手段は、水平方向及び垂直方向の検出のそれぞれについて、ブロック数×スペース最大数（設定値）の二次元配列の形でスペースデータを保持することができる。

水平方向の検出及び垂直方向の検出のそれぞれのスペースデータに基づいて、水平方向に伸長する余白（水平余白）及び垂直方向に伸長する余白（垂直余白）がそれぞれ決定される。実施例に係る決定された水平余白及び垂直余白（レクタングルの集合で表される）が、図７Ｂ及び図８Ｂにそれぞれ示される。紙面のレイアウトに寄与するという目的のために、余白は罫線に準ずる性質（最小長さ、アスペクト比等）を持つことが好ましい。例えば、水平検出のスぺースを構成する各レクタングルの高さにばらつきがある場合、仕切りとして機能するのは、スペースの部分であり得る。このため余白は、検出されたスペースを適宜補正することで決定され得る。例えば、ブロック毎のレクタングルの高さの平均値を計算し、平均値以下のレクタングルから最大高さのレクタングルを選択して起点のブロックとし、該起点のブロックの辺（上下又は左右）の位置と前／後のブロックのレクタングルの辺の位置を比較し、隣り合うレクタングルの辺の位置の差が一定以下となるように順次補正することで、水平又は垂直方向に細長い特徴を持つ、一連のレクタングルから成る水平余白、垂直余白が決定され得る。

次に、本発明に係る閉域の検出が説明される。新聞等の紙面では概して、記事の見出しは記事本文とは区別されて配置され、そのような区別のために見出しは、その周囲を取り囲む余白を有すると考えられる。このことに鑑みて本発明は、見出しの存在及びその位置を、ＯＣＲ処理等によることなく、余白で周囲を取り囲まれた領域（閉域）を調べることによって検出する。検出された閉域は、後続の処理においてレイアウト解析等に利用される。

図１０に、実施例の水平方向ブロック化による閉域の検出が示される。図１０（Ａ）において、検出された白地レクタングルが白抜きの多数の短冊状の矩形で示され、白地レクタングルとして検出されない白画素はグレーで示される。解析画像Ｉ₃は、ベース画像を二値化し所定のフィルタを実行したものである。所定のフィルタは、余白の検出に用いる解析画像のためのフィルタと異なってよく、同様であってもよい。

閉域の検出においても余白の検出と同様に、レクタングル毎に前後のブロックのレクタングルとの連結が調べられ、保持された連結データに基づいてエリア（閉域）が検出される。エリア（閉域）とは、余白で囲まれた閉じた領域であり、例えば、あるブロックのひとつのレクタングルが、後続のブロックで複数（例えば、二つ）のレクタングルに連結し、それらが後続のブロックにかけて連結が途切れることなく、最終的に一つの共通するレクタングルに連結するとき、それら一連のレクタングルは内部に閉じた領域を持つ。

再び図９を参照して、ブロックＢ０のレクタングルＲ₀は、後続のブロックＢ１で複数のレクタングルＲ₀〜Ｒ₇に連結する。このようなとき、複数のレクタングルＲ₀〜Ｒ₇それぞれについて、後続のブロックにかけて連結（及び、存在する場合は枝分かれの連結）が追跡される。その結果、図１２にグレーの色塗り部分で示されるように、ブロックＢ８のレクタングルＲ₀を共通の連結レクタングルとする一連のレクタングルが抽出される。このような一連のレクタングルに関して、閉じられた領域（エリア）が決定され、記憶手段に保持される。図１２の例で検出されるエリアＡ０及びＡ１が以下の表２に示される。

記憶手段はエリアデータを、ブロック数×エリア最大数（設定値）の二次元配列で保持することができる。エリアデータは、各ブロックの一対のレクタングルで表されてよい。エリアデータは、各ブロックの一対のレクタングルによって画成される一つのレクタングルによって表されてもよい。

検出されたエリアデータに基づいて、水平閉域及び垂直閉域が決定される。例えば、水平方向の解析で検出されるエリアのうち、横書きの見出しの検出に適するように、所定のサイズやアスペクト比を持つエリアが、水平閉域に決定される。図１０（Ｂ）に決定された水平閉域Ａ１（薄いグレーの色塗り部分）が示される。

同様に図１１（Ａ）に、垂直方向ブロック化解析により検出される白地レクタングルが示され、図１０（Ｂ）に、縦書きの見出し領域として決定される垂直閉域Ａ３及びＡ４（薄いグレーの色塗り部分）が示される。

なお、閉域は、後続のＯＣＲ処理で見出しのテキストを認識しやすいように、閉域の周縁（上下又は左右）に多少余裕を持たせることが好ましい。従って閉域データは、エリアを検出したときの余白（レクタングル）の幅も記録することで、後処理で必要な余裕を確保できるようにすることが好ましい。

仕切りエッジ決定手段３０（図１）は、上記のように決定された水平／垂直罫線及び水平／垂直余白に基づいて、紙面を仕切るためのエッジを決定する。紙面においては、概して、余白に罫線が描かれるなど余白と罫線とが等しく段落を仕切る場合等も多い。そのような余白や罫線に別々に紙面を仕切らせることは適当でなく、従って仕切りエッジは、紙面のレイアウトに有効に寄与するように決定され得る。仕切りエッジ決定手段３０は、検出された横罫線（又は縦罫線）及び水平余白（又は垂直余白）をソートして、互いの位置関係を調べることができる。位置関係に応じて、横罫線同士、水平余白同士、又は横罫線と水平余白とをマージすることができる。例えば、余白と罫線の位置が重なる場合、いずれか一方を仕切りエッジに決定し、他方を除去することができる。決定されたエッジは、エッジを構成するレクタングルの集合として記憶手段に保持される。記憶手段はさらに、エッジの中央平均位置（水平エッジであればＹ座標、垂直エッジであればＸ座標）、上辺平均位置、下辺平均位置、先頭位置、末尾位置等を保持することが好ましい。

なお、本発明に係る白地ブロック解析は、紙面画像が画像の幅方向や高さ方向から傾いた罫線や余白を含む場合でも、精度よく検出可能なものであるが、罫線や余白を検出する方法は白地ブロック解析によらなくてもよい。例えば、撮影される紙面の傾きや歪みが少ない場合など、罫線や余白の十分な検出が可能である限り、任意の検出方法を用いることができる。

仕切りエッジ決定手段３０により選別されたエッジデータは元の紙面画像に適用するために適宜リスケーリングされる。図１３に、紙面画像Ｉに適用されるエッジデータが模式的に示される。図中、格子のひとマスはそれぞれ１画素を表すものとする。水平方向に伸長する仕切りエッジ（以下適宜、水平エッジという）Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、及びＥ７が濃いグレーの色塗り部分で示され、垂直方向に伸長する仕切りエッジ（以下適宜、垂直エッジという）Ｅ８、Ｅ９、Ｅ１０、及びＥ１１がやや薄いグレーの色塗り部分で示される。また、閉域Ａ１、Ａ２がそれぞれパターンで示される。区分検出手段４０（図１）は、これら仕切りエッジに基づいて、紙面画像Ｉの複数の区分を検出する。検出のために、紙面画像Ｉの四辺Ｅ１２、Ｅ１３、Ｅ１４、及びＥ１５も仕切りエッジとして使用される。

区分検出手段４０は、上下左右の四つのエッジのセットによって区分を表す。そのようなエッジのセットは、所定の規則に基づいて検出され得る。

規則は、例えば、一つの水平エッジを基準エッジとして、該基準エッジのＹ軸上の位置に関して少なくとも部分的に上方に位置し、且つ基準エッジの少なくとも部分のＸ軸上の位置を挟んで左右に隣り合って位置する二つの垂直エッジと、該左右の垂直エッジと基準エッジとにより形成される凹型を少なくとも部分的に塞ぐ位置にあるもう一つの水平エッジと、基準エッジとを合わせて一組のエッジとするものである。例えば、図１４の水平エッジｈ２を基準エッジとすると、該基準エッジの位置に対して少なくとも部分的に上方に位置する垂直エッジとしてエッジｖ１、ｖ２、ｖ３、ｖ４及びｖ５が挙げられ、基準エッジｈ２の少なくとも部分のＸ軸上の位置を挟んで左右に隣り合って位置する左右の垂直エッジの組み合わせは、垂直エッジｖ１及びｖ２、垂直エッジｖ２及びｖ３、及び垂直エッジｖ３及びｖ５となる。水平エッジｈ２、垂直エッジｖ１及びｖ２、及びこれらにより形成される凹型を塞ぐような位置にある水平エッジｈ３が、区分を表す一組のエッジとなる。同様に、水平エッジｈ２、垂直エッジｖ２、ｖ３、及び水平エッジｈ１が区分を表すもう一組のエッジとなり、水平エッジｈ２、垂直エッジｖ３、ｖ５、及び水平エッジｈ１が区分を表すさらにもう一組のエッジとなる。

区分検出手段４０は、区分を表す一組のエッジを検出し、記憶手段に保持させる。図１３の例では、水平エッジを上から下へ順に基準エッジとして検出することにより、以下の表３のように区分が検出され得る。

マップ画像生成手段５０（図１）は、上記のようなエッジのセットに基づいて、区分を構成する複数の画素を決定し、決定された複数の画素にマップ番号を付与してマップ領域を生成する。マップ番号は区分番号に対応してよく、区分番号に対応しなくてもよい。

図１５を参照して、水平エッジｅ１、ｅ２、及び垂直エッジｅ３、ｅ４に基づく領域の画成が説明される。マップ画像生成手段５０は、上下の水平エッジｅ１、ｅ２により領域ｃ１を合成する。このとき、マップ画像生成手段５０は、領域ｃ１が単純な矩形となるように、各水平エッジの部分を採用することができる。同様に、マップ画像生成手段５０は、左右の垂直エッジｅ３、ｅ４（の部分）により領域ｃ２を合成する。領域ｃ１と領域ｃ２との重複部分が、マップ領域候補ＭＣ１となり得る。

他の例として、図１６のように、水平エッジｅ５、ｅ６の位置（Ｘ座標）が重ならない場合、マップ画像生成手段５０は、領域ｐ１を補って領域ｃ３を合成する。また、垂直エッジｅ７、ｅ８の位置（Ｙ座標）が重ならない場合、領域ｐ２を補って領域ｃ４を合成する。領域ｃ３と領域ｃ４との重複部分が、マップ領域候補ＭＣ２となり得る。

マップ画像生成手段５０は、対向するエッジの位置関係だけでなく、直交するエッジの位置関係に応じてマップ領域を決定することができる。図１７に、エッジの位置関係に応じて決定されるマップ領域が模式的に示される。図１７中、実線はエッジ又はエッジの部分を示す。

マップ画像生成手段５０は、水平エッジの中央平均位置（Ｙ座標）が垂直エッジの先頭から末尾にかけての位置（Ｙ座標）に含まれるかどうかを調べ、上下の水平エッジが垂直エッジに対応する位置を持つか否かを判定する。また、垂直エッジの中央平均位置（Ｘ座標）が水平エッジの先頭から末尾にかけての位置（Ｘ座標）に含まれるかどうかを調べ、左右の垂直エッジが水平エッジに対応する位置を持つか否かを判定する。判定結果に応じてマップ領域（候補）が形成され得る。

例えば、図１７（ａ）のエッジのセットでは、各エッジは直交する少なくとも一方のエッジ上に対応する位置（実線の丸印）を持つ。この場合、水平合成領域、垂直合成領域（それぞれ破線で示される）の重複部分がマップ領域候補（グレーの色塗り部分）に決定され得る。図１７（ｂ）のエッジのセットでは、各水平エッジは各垂直エッジ上に対応する位置（実線の丸印）を持つ。このように対応する位置が四つ（重複するものは除く）エッジ上に存在する場合、それらが矩形の頂点となるように、重複部分（及び合成領域の部分）がマップ領域（グレーの色塗り部分）に決定される。

図１７（ｃ）では、上水平エッジと右垂直エッジは互いのエッジ上に対応する位置を持たないが、対応する位置（破線の丸印で示される）は合成領域に含まれる。図１７（ｄ）でも、それぞれ上水平エッジと右垂直エッジ、及び下水平エッジと左垂直エッジが互いのエッジ上に対応する位置を持たないが、それぞれ対応する位置（破線の丸印で示される）は合成領域（図示の例では、水平合成領域）に含まれる。このように場合も、四つの対応する位置（実線及び破線の丸印で表される）が矩形の頂点となるように、重複部分と合成領域の部分とがマップ領域候補（グレーの色塗り部分）に決定される。

図１７（ｅ）、（ｆ）、及び（ｇ）の例では、直交するエッジ間の一つ以上の対応する位置が、エッジ上に存在せず、合成領域（破線で表される）にも含まれない。図中、そのような対応する位置は、ひし形の印で示される。この場合、マップ画像生成手段５０は、ひし形の印の頂点を含む小矩形（パターンで塗りつぶした部分）を、重複領域、及び合成領域の部分（グレーの色塗り部分）に追加し、それにより形成される矩形の領域をマップ領域候補に決定することができる。

上記のように対向するエッジの位置関係、及び直交するエッジの位置関係に基づいてマップ領域候補が判定され、マップ領域候補に含まれる複数の画素のそれぞれにマップ番号を順次紐づけることにより、マップ領域が決定される。好適にマップ領域は、所定の順序で決定される。例えば、マップ画像生成手段５０は、記憶手段にマップ領域候補のサイズ（画素数）を記憶させ、サイズの大きいマップ領域候補から順次マップ番号を付与することができる。そのようにすることで、大きなマップ領域候補が小さなマップ領域候補を内包する場合でも、マップ番号が上書きされることで内包される小さなマップ領域を画成することができる。エッジが複数のマップ領域のエッジとなる場合でも、エッジの画素にマップ番号を順次上書きすることにより、エッジの画素は最終的にいずれかのマップ領域に振り分けられる。

マップ画像生成手段５０は、マップ番号を付与した後、マップ画像全体をスキャンしてチェックすることが好ましい。これは、すべての区分のマップ領域が決定された後でも、紙面画像にマップ番号を持たない画素が残る場合や、単一のマップ領域が部分的にマップ番号を上書きされて不連続に存在する場合等があるためである。マップ画像生成手段５０は、スキャンによりマップ番号を持たない画素を発見したときは、当該画素を追跡し、互いに連結する一連の画素を決定して新たなマップ番号を付与して新たなマップ領域とすることができる。また、分断されたマップ領域を発見したときは、別々のマップ領域を形成するように新たにマップ番号を付与することができる。最終的に、紙面画像の全ての画素がいずれかのマップ領域を形成して成るマップ画像が生成される。

図１３の例示的なエッジに基づいて形成された、表３の区分０乃至１１に対応するマップ領域から成るマップ画像Ｉ_Mが、図１８に模式的に示される。順次上書きを行う結果、マップ領域は、必ずしも単純な矩形とはならない。エッジの画素もすべていずれかのマップ領域に振り分けられる。

スクラップマスク生成手段６０（図１）は、生成されたマップ画像に基づいて、紙面画像を、選択されたマップ領域から成るスクラップする領域と、選択されないマップ領域から成るスクラップしない領域とに区分する。スクラップする領域はレイアウト解析に基づいて決定され得る。

レイアウト解析において、まずスクラップマスク生成手段６０は、保持された閉域データ及びマップ画像を参照し、閉域を含むマップ領域からスクラップする記事の見出し領域を決定する。例えば、図１８のマップ画像Ｉ_Mでは、閉域は領域５と領域７とに存在するため（図１３参照）、これらのいずれかを見出し領域に決定することができる。見出し領域は、閉域の位置に基づいて、例えば、紙面画像のより上方にある領域に決定されてよい。見出し領域は、閉域のサイズに基づいて、例えば、より大きいサイズの閉域を持つ領域に決定されてよい。あるいはマップ番号に基づいて、例えば、より小さいマップ番号を持つ領域が見出し領域に決定されてよい。見出し領域は上記によらず、任意の方法で決定されてよい。

スクラップマスク生成手段６０は、決定された見出し領域の閉域が垂直見出し（垂直閉域）を表すか水平見出し（水平閉域）を表すかに基づいて、そのような見出しを持つ記事の代表的なレイアウトを想定することができる。代表的なレイアウトは、垂直見出しの場合、見出しの左側直近の領域と、下側の全ての領域を見出しに関連する記事本文領域に決定するものであり得る。水平見出しの場合、見出しの上側の全ての領域と、見出しの下側の全ての領域を見出しに関連する記事本文領域に決定するものであり得る。代表的なレイアウトはこれらに限らず、種々のものが想定され得る。図１８の例でマップ領域５が見出し領域に決定された場合、閉域は垂直見出しを表すので、スクラップマスク生成手段６０は、新聞等縦書きの紙面のレイアウトを想定し、領域５の左側直近の領域１、２及び４と、領域５の下方の領域８を、見出し領域に関連する記事領域に決定することができる。なお、領域１１は領域５の下方に位置するが、エッジが紙面画像の縁を含むため、記事本文が途切れていることを想定し、見出し領域５に関連する領域に決定されない場合がある。

レイアウト解析に基づいて形成される例示的なスクラップマスクＭ１が図１９に示される。スクラップマスクＭ１は、見出しとその記事本文を構成するとみなされる領域１、２、４、５、及び８をスクラップする領域（図中、白抜き部分で表される）とし、その他をスクラップしない領域（図中、濃淡のグレーの色塗り部分で表される）とするものである。このように、スクラップする領域とそれ以外の領域を明示するスクラップマスクＭ１が、図示しない携帯端末装置の出力手段（タッチパネル等）を介してユーザに提示される。ユーザは、スクラップする範囲を確認し、それが所望の範囲であれば、タッチパネルに表示される決定ボタン（図示せず）をタップする等により、スクラップする範囲を決定することができる。スクラップマスク生成手段６０は、ユーザ操作による決定入力を受けて、スクラップする領域（図１９の白抜き部分）のみから成るスクラップ画像（Ｉ_S）を生成し、記憶手段に保持させることができる。

このように、ユーザは、紙面を撮影するだけで紙面画像の所定の部分をスクラップ対象とするスクラップマスクを提供され、新聞等紙面の記事を実際にハサミ等で切り抜くのと似た感覚で、極めて容易に紙面画像の所望の部分を得ることができる。

紙面のレイアウトは多種多様であり、レイアウト解析に基づいて決定されるスクラップ領域が常にユーザの所望の部分とはならない場合もある。例えば、図１９において、スクラップしないとされた領域１１が実際には見出し領域５に係る記事を構成する場合等、高精度な検出やレイアウト解析をもってしても対応できないケースがあり得る。

このため、本発明に係るスクラップマスクは、予め決定されたスクラップ領域を提示するだけでなく、スクラップ領域のユーザによる変更操作を容易にするものである。スクラップマスク生成手段６０は、入力手段（タッチパネル等）を介したユーザによるマップ領域の選択入力、非選択入力に応じて、マップ領域単位でスクラップ領域の追加、削除を実行する。図１９のスクラップマスクＭ１の例では、予め決定されたスクラップ領域（白抜き部分）に含まれるそれぞれのマップ領域が「選択（ＯＮ）」となっており、その他の領域に含まれるマップ領域が「非選択（ＯＦＦ）」となっている。スクラップマスク生成手段６０は、マップ領域のいずれかの部分（画素）について、ユーザによるタップ等の入力を受け付けると、マップ領域全体のＯＮ／ＯＦＦを反転させて、新たなスクラップマスクを生成する。例えば、図２０のように、ユーザが領域１１のいずれかの画素をタップ等することにより、領域１１が「非選択（ＯＦＦ）」から「選択（ＯＮ）」に反転したスクラップマスクＭ２が生成される。あるいは、図２１のように、ユーザが、見出し領域７を選択すると、スクラップマスク生成手段６０は、レイアウト解析により、見出し領域７に関連すると見なされる記事本文から成るマップ領域のＯＮ／ＯＦＦをまとめて反転させて提示し得る。ユーザ操作に応じた反転のパターン等は任意に設定されてよい。

スクラップマスク生成手段６０は、スクラップマスクの生成と併せて、任意のマップ領域についてＯＣＲ処理を行ってもよい。例えば、スクラップマスク手段６０は、見出し領域に決定された領域のＯＣＲ読取結果を、スクラップマスクを表示する際に、画面のいずれかの部分に表示させることができる。ユーザの決定入力によりスクラップ画像が生成されると、スクラップ画像とＯＣＲ読取結果が共にデータベースに格納され、スクラップ画像の検索等が容易となる。

上記のような各手段を備えた本発明に係るスクラップロジックは、ソフトウェアアプリケーションの形態でモバイルデバイス等コンピュータ装置にインストールされ、コンピュータ装置のメモリ内に格納されてよい。

本発明に係るスクラップロジックによれば、白地ブロック解析等により傾いた紙面画像からも精度よく仕切りエッジの検出を行うことができ、紙面画像全体を複数の領域に区分して、選択された領域から成る部分を切抜くことができる。また、マップ領域単位での選択、非選択が可能なユーザインターフェースにより、多種多様なレイアウトを有する紙面画像について、タッチパネルにおけるタップ等の容易な操作で紙面画像の所望の部分を切抜きすることができる。

本発明の思想及び態様から離れることなく多くのさまざまな修正が可能であることは当業者の知るところである。したがって、言うまでもなく、本発明の態様は例示に過ぎず、本発明の範囲を限定するものではない。

Ｉ 紙面画像
Ｉｓ スクラップ画像
１０ ベース画像生成手段
２０ 白地ブロック解析手段
３０ 仕切りエッジ決定手段
４０ 区分検出手段
５０ マップ画像生成手段
６０ スクラップマスク生成手段
１００ スクラップロジック

Claims (14)

1. 紙面を撮影して得られる紙面画像から該紙面画像の部分をスクラップするための方法であって、
   前記紙面画像を解析するための解析画像を所定のブロックサイズで水平方向にブロック化し水平方向に連結する複数のレクタングルを検出し、内部に閉じた領域を持つ一連のレクタングルにより水平閉域を決定し、及び前記解析画像を所定のブロックサイズで垂直方向にブロック化し垂直方向に連結する複数のレクタングルを検出し、内部に閉じた領域を持つ一連のレクタングルにより垂直閉域を決定するステップと、
   前記紙面画像に関する複数の仕切りエッジのうち、それぞれ水平方向に伸長する上下の水平エッジ及びそれぞれ垂直方向に伸長する左右の垂直エッジから成るエッジのセットに基づいて前記紙面画像の区分を検出するステップと、
   それぞれの区分に対応するエッジのセットに基づいてマップ領域を決定し、該マップ領域を構成する複数の画素がマップ番号に関連付けられるマップ画像を生成するステップと、
   前記紙面画像を、スクラップする領域とスクラップしない領域とに区分して表示させるスクラップマスクであって、前記スクラップする領域が前記水平閉域及び／又は前記垂直閉域を含む一つのマップ領域を見出し領域に決定し、該見出し領域に関連する一つ以上のマップ領域を決定することにより選択されたマップ領域から成るスクラップマスクを生成するステップと、
   決定されたマップ領域から成るスクラップ画像を生成するステップと、を含む紙面画像のスクラップ方法。
2. 前記スクラップマスクが、ユーザ操作に基づく前記マップ領域単位の選択入力及び／又は非選択入力を受けつけるように生成されることを特徴とする請求項１に記載された紙面画像のスクラップ方法。
3. 前記紙面画像が一つ以上の記事を含み、
   前記スクラップマスクにおいて、予め単一の記事を構成するとみなされる一つ以上のマップ領域がマップ領域単位で非選択可能であり、その他の一つ以上のマップ領域がマップ領域単位で選択可能であることを特徴とする請求項１に記載された紙面画像のスクラップ方法。
4. 前記スクラップマスクを生成するステップにおいて、前記見出し領域について光学式文字認識（ＯＣＲ）処理が行われることを特徴とする請求項３に記載された紙面画像のスクラップ方法。
5. 前記マップ画像において、前記紙面画像の全ての画素がそれぞれのマップ番号を持つことを特徴とする請求項１に記載された紙面画像のスクラップ方法。
6. 前記水平エッジが、前記紙面画像を解析するための解析画像を所定のブロックサイズで水平方向にブロック化して検出される前記紙面の横罫線及び／又は水平方向に伸長する余白に基づいて決定され、前記垂直エッジが、前記解析画像を前記所定のブロックサイズで垂直方向にブロック化して検出される前記紙面の縦罫線及び／又は垂直方向に伸長する余白に基づいて決定されることを特徴とする請求項１に記載された紙面画像のスクラップ方法。
7. 前記所定のブロックサイズが、前記紙面画像の幅方向や高さ方向に対して整列しない罫線及び／又は余白を検出するのに適するように決定されることを特徴とする請求項６に記載された紙面画像のスクラップ方法。
8. 前記解析画像が、前記所定のブロックサイズに応じて前記紙面画像をトリミングして生成されることを特徴とする請求項６に記載された紙面画像のスクラップ方法。
9. 前記エッジのセットが、一つの水平エッジから成る基準エッジと、該基準エッジの垂直方向の位置に関して少なくとも部分的に上方に位置し、且つ前記基準エッジの少なくとも部分の水平方向の位置を挟んで左右に隣り合って位置する二つの垂直エッジと、該左右の垂直エッジと前記基準エッジにより形成される凹型を少なくとも部分的に塞ぐ位置にあるもう一つの水平エッジとから成ることを特徴とする請求項１に記載された紙面画像のスクラップ方法。
10. 前記マップ領域が、前記上下の水平エッジの少なくとも部分を含む矩形の領域と、前記左右の垂直エッジの少なくとも部分を含む矩形の領域との重複部分を少なくとも含むことを特徴とする請求項１に記載された紙面画像のスクラップ方法。
11. 前記マップ領域が、対向するエッジの位置関係、及び直交するエッジの位置関係に応じて前記重複部分に追加される領域を含むことを特徴とする請求項１０に記載された紙面画像のスクラップ方法。
12. 請求項１ないし１１のいずれかに記載の紙面画像のスクラップ方法をコンピュータに実行させるプログラム。
13. 紙面を撮影して得られる紙面画像から該紙面画像の部分をスクラップするように構成される装置であって、
    前記紙面画像を解析するための解析画像を所定のブロックサイズで水平方向にブロック化し水平方向に連結する複数のレクタングルを検出し、内部に閉じた領域を持つ一連のレクタングルにより水平閉域を決定し、及び前記解析画像を所定のブロックサイズで垂直方向にブロック化し垂直方向に連結する複数のレクタングルを検出し、内部に閉じた領域を持つ一連のレクタングルにより垂直閉域を決定するための解析手段と、
    前記紙面画像に関する複数の仕切りエッジのうち、それぞれ水平方向に伸長する二つの水平エッジ及びそれぞれ垂直方向に伸長する二つ垂直エッジから成るエッジのセットに基づいて、前記紙面画像の区分を検出するための区分検出手段と、
    それぞれの区分に対応するエッジのセットに基づいてマップ領域を決定し、該マップ領域を構成する複数の画素がマップ番号に関連付けられるマップ画像を生成するためのマップ画像生成手段と、
    前記紙面画像を、選択されたマップ領域から成るスクラップする領域と、その他のマップ領域から成るスクラップしない領域とに区分して表示させるスクラップマスクを生成するためのスクラップマスク生成手段であって、前記水平閉域及び／又は前記垂直閉域を含む一つのマップ領域を見出し領域に決定し、該見出し領域に関連する一つ以上のマップ領域を決定することにより前記スクラップする領域を決定するスクラップマスク生成手段と、を備えるスクラップ装置。
14. 前記スクラップマスク生成手段が、前記マップ領域単位の選択入力及び／又は非選択入力に応じてスクラップマスクを生成することを特徴とする請求項１３に記載されたスクラップ装置。