JP5096989B2 - 文書処理装置及び文書処理方法 - Google Patents

Description

本発明は、文書処理装置及び文書処理方法に関する。

従来、入力文書画像を変倍、再配置などの加工を行い、新しい文書として出力する技術が提案されている。例えば、複写機においては、複数のページ画像を縮小して１ページに並べて印刷する縮小印刷が実現されている。

また、スキャンした文書に広告やロゴなどのスポンサー提供の画像等を付加してコピーする技術が提案されている（例えば、特許文献１参照）。

また、ロゴ印刷モードを持ち、操作者がユーザインタフェースにてカスタムロゴ画像を配置する原稿の範囲を指定することで、スキャンされた原稿とロゴ画像とを重ね合わせて出力する技術が提案されている（例えば、特許文献２参照）。
特開２００６−３３１４２７号公報 特開平６−１６４８９４号公報

しかしながら、上記従来例では、個々の画像をどこに配置してページ画像を構成するか操作者が明示的に指示する必要があり、画像毎に最適な配置位置を決定して画像出力することができないという問題があった。

本発明は、コンテンツの特性に応じた文書上での適切な配置位置を保持しておき、新たな文書へのコンテンツの配置位置の決定を適切にすることを目的とする。

本発明は、文書処理装置であって、文書を示す画像情報を入力する入力手段と、前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離手段と、前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持手段と、前記保持手段に前記学習情報が保持されているコンテンツの集合を指定する指定手段と、前記保持された学習情報に基づいて、前記指定されたコンテンツの集合を新しい文書に配置する配置手段と、を有することを特徴とする。

また、本発明は、文書処理装置にて実行される文書処理方法であって、入力手段が、文書を示す画像情報を入力する入力工程と、分離手段が、前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離工程と、保持手段が、前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持工程と、指定手段が、前記学習情報が保持されているコンテンツの集合を指定する指定工程と、配置手段が、前記保持された学習情報に基づいて、前記指定されたコンテンツの集合を新しい文書に配置する配置工程と、を有することを特徴とする。

本発明によれば、コンテンツの特性に応じた文書上での適切な配置位置を保持しておき、新たな文書へのコンテンツの配置位置の決定を適切にすることができる。

以下、図面を参照しながら発明を実施するための最良の形態について詳細に説明する。

図１は、本実施形態における画像処理装置の構成の一例を示す図である。画像入力装置１０１は平面読み取り型のスキャナによりスキャンされた文書画像やデジタルカメラなどで撮像された画像をデジタルデータに変換する装置である。また、画像入力装置１０１はプリンタドライバから送信されたＰＤＬデータを入力する装置でも良い。更に、画像入力装置１０１はストレージに記録されたデジタル画像データを読み込む装置でも良い。尚、本実施形態では、画像、文字、図形などで構成される文書画像やＰＤＬ画像が入力されるものとする。

画像解析装置１０２は画像入力装置１０１により入力された画像情報を解析する装置である。画像解析装置１０２で画像解析された結果は解析済の画像情報として文書解析データ１０７に格納される。類似画像判定装置１０３はその解析済の画像情報と類似の視覚特徴を有する画像が文書素材データ１０８に存在するか否かを判定する。配置位置学習装置１０４は文書解析データ１０７に格納された解析済の画像情報を入力画像上での配置位置情報と対応付けて文書素材データ１０８に保持する。

配置装置１０５は文書テンプレート１０９に基づき文書素材データ１０８に格納された画像情報を配置する装置である。出力装置１０６は配置装置１０５が配置した画像を視覚的に表示するプリンタ又はディスプレイである。

図２は、図１に示す画像解析装置１０２の解析結果の概略例を示す図である。画像解析装置１０２は入力された画像情報の画素塊を領域の特徴毎に分類し、背景領域２０１、画像領域２０２、２０３、２０４、文字領域２０５のように領域分離を行う。この領域分離を行う方法は、例えば特開平2000-293671号公報に開示された既知の技術により実現することができる。また、背景領域２０１は、他の領域と区別して分離される。

図３は、図１に示す配置位置学習装置１０４で処理対象となる領域を抽出した例を示す図である。この例では、ＩＤが１から３までの３つの画像領域が配置位置学習対象として抽出される。また、画像全体を９分割している補助線は配置位置を特定するグリッド補助線であり、記号の“×”は図２で解析された各領域の重心位置を示している。

図４は、本実施形態における文書素材の配置位置情報の例を示す図である。図３に示すグリッド補助線で分割された領域にGrid 1〜Grid 9までの配置位置ラベル名を付与する。また、各グリッドの背面に存在する背景領域にＢＧというラベル名を付与する。

図５は、図１に示す文書素材データ１０８の構成の一例を示す図である。５０１は文書を構成する個々の画像素材データを識別する固有の番号である。５０２はファイル化された画像素材データのファイルパス情報である。５０３は画像素材データのサイズを高さと幅のピクセル数である。５０４〜５１２はそれぞれ図４に示すGrid 1〜Grid 9に対応し、当該画像素材データの重心位置がそれぞれのグリッドに配置された頻度数である。

５１３は図４に示すＢＧに対応し、当該画像データがこの背景領域に配置された頻度数である。５１４〜５１７は当該画像素材データが使用された文書の縦横比形状の頻度数である。ここで、縦方向の長さが横手方向より長いポートレート形状は５１４に、横方向の長さが縦方向より長いランドスケープ形状は５１５に、縦横比が同一なスクウェア形状は５１６に、それ以外の形状は５１７に、それぞれ頻度数が格納される。

図６は、図１に示す文書テンプレート１０９に格納される文書テンプレートの例を示す図である。尚、文書テンプレートは文書の素材となるコンテンツ（画像、文字、図形）を配置する位置を指示するものである。

この例では、６０１は背景素材となるコンテンツを配置する背景領域、６０２〜６０４は画像素材を配置する画像領域、６０５は文字を配置する文字領域を示している。

以上の構成において、入力された画像情報を解析し、配置位置を学習して最適な配置を行って出力する処理を説明する。

図７は、本実施形態における画像入力時の処理を示すフローチャートである。ステップＳ７１０で、画像入力装置１０１により画像情報を入力する。次に、ステップＳ７２０で、入力された画像情報を画像解析装置１０２に送信し、この画像情報の種別毎に領域分離を行う。領域分離は、例えば特開２０００―２９３６７１号公報に開示された方法などで実行される。ここで領域分離された画像情報は文書解析データ１０７に記憶される。

次に、解析された全ての領域に対して文書素材となった画像データの配置位置の学習を行うべく、ステップＳ７３０で全領域の処理を終えたか否かを判定する。判定した結果、全領域の配置学習を終えたならば、この処理を終了する。また、未処理の領域があれば、ステップＳ７４０で、配置位置学習装置１０４が文書素材データの配置位置の学習処理を行い、上述のステップＳ７３０での判定処理に戻る。

図８は、本実施形態における配置位置学習処理を示すフローチャートである。この処理は図７に示すステップＳ７４０で、配置位置学習装置１０４が文書素材データの配置位置を学習する処理である。

ステップＳ８１０で、対象領域が画像領域であるか否かを判定する。ここで、画像領域でなければ、対象領域に配置された文書素材データに対する配置学習を終了する。しかし、画像領域であればステップＳ８２０へ進み、類似画像判定装置１０３が対象領域の画像と類似の視覚的特徴を持つ類似画像が既に文書素材データ１０８に格納されているか否かを判定する。この類似画像判定処理は、画像情報を複数の領域に分離し、領域毎の支配的代表色を抽出して、色の分布傾向の一致度を測るなどの既知の手法により実現することができる。

そして、ステップＳ８３０で、類似画像判定の結果、類似画像ありと判定された場合はステップＳ８４０へ進み、文書素材データ１０８に格納済の当該画像データの配置情報を更新する。具体的には、対象領域の重心となる座標を求め、重心の含まれるグリッド位置を判定し、文書素材データ１０８の当該グリッド位置の頻度数を１カウントアップする。また、背景領域であれば、背景ＢＧの頻度数をカウントアップする。また、当該入力文書画像の形状がポートレート、ランドスコープ、スクウェア、その他の何れであるかを判定し、該当する形状の頻度数を１カウントアップする。

一方、ステップＳ８３０で、類似と判定される画像がなかった場合はステップＳ８５０で、文書素材データ１０８に新規の文書素材データとして画像を登録する。具体的には、新規に画像ＩＤ番号を発番し、画像データを格納すると共に、その画像データのファイルパスを文書素材データ１０８に格納する以外はステップＳ８４０の処理と同様に配置位置情報の学習を行う。

次に、配置装置１０５によって実行される文書配置処理を、図９を用いて説明する。

図９は、本実施形態における文書配置処理を示すフローチャートである。まず、ステップＳ９１０で、文書を構成する１つ又は複数の素材データを指定する。そして、ステップＳ９２０で、文書テンプレート１０９に格納されている文書テンプレートの１つを選択する。尚、文書テンプレートを選択する処理の詳細は図１０を用いて更に後述する。

次に、ステップＳ９３０では、テンプレートが持つ素材データ格納領域の全ての領域へ素材データを配置したか否かを判定する。判定の結果、全ての領域への素材データ配置が終了していなければステップＳ９４０へ進み、領域位置に適合する画像素材データを決定する。そして、ステップＳ９３０に戻り、全ての領域への適合素材配置処理を繰り返す。尚、ステップＳ９４０の適合素材配置処理の詳細は図１１を用いて更に後述する。

また、ステップＳ９３０で、全ての領域への素材データ配置が終了したなればステップＳ９５０へ進み、素材データを配置できなかった空白領域が存在するか否かを判定する。ここで、空白領域が存在すればステップＳ９６０へ進み、当該空白領域の重心位置に相当するグリッド領域への配置頻度が最も高い画像素材データを文書素材データ１０８から検索し、当該空白領域への配置素材として決定する。そして、ステップＳ９７０で、配置の決まった素材データをテンプレートの配置情報に従って出力装置１０６に出力可能な形態で文書を出力する。

次に、指定された画像素材データに対する好ましいテンプレートを選択する処理を詳細に説明する。

図１０は、本実施形態におけるテンプレート選択処理の詳細を示すフローチャートである。まず、ステップＳ１０１０で、指定された画像素材データの全てを処理したか否かを判定する。判定した結果、未処理の素材データがあればステップＳ１０２０へ進み、当該素材データの適合配置位置を文書素材データ１０８を参照して求める。当該素材データの最も頻度の高い配置グリッドと同じグリッドに配置可能な画像領域を持つテンプレートに対してスコアを１００与える。また、２番目に頻度の高い配置グリッドと同じグリッドに配置可能な画像領域を持つテンプレートに対して得点を９０与え、これ以降同様に、頻度５位までスコアを付ける。

但し、より上位の頻度数でスコアを与えたテンプレートに対して別の領域に適合させることはしない。

このようにして、全ての素材データについて適合するテンプレートの探索処理を終えた後、ステップＳ１０４０で、スコアが最大となったテンプレートを最適なテンプレートとして決定する。

図１１は、本実施形態における適合素材配置処理の詳細を示すフローチャートである。まず、ステップＳ１１１０において、当該領域重心を含むグリッド位置を求める。次に、ステップＳ１１２０において、グリッド位置に合致する頻度数が最大である素材データを文書素材データ１０８から選択する。そして、ステップＳ１１３０では、選択された素材データが、ステップＳ９２０で選択されたテンプレートの文書形状と合致する頻度数が０でない、即ち、当該文書形状を持つ文書で使用されたことがあるか否かをチェックする。ここで、文書形状に合致すれば、領域に配置すべき素材データとして決定し、この処理を終了する。また、形状に合致しなければステップＳ１１２０に戻り、次の配置候補を検索する。

本実施形態によれば、操作者が個々の画像に対する配置位置を指定することなく、実際に使用された配置パターンを用いて素材となる画像の好適な配置を自動的に決定することができる
尚、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行する。これによっても、本発明の目的が達成されることは言うまでもない。

この場合、コンピュータ読み取り可能な記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

このプログラムコードを供給するための記録媒体として、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次の場合も含まれることは言うまでもない。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合である。

更に、記録媒体から読出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本実施形態における文書画像処理装置の構成の一例を示す図である。 図１に示す画像解析装置１０２の解析結果の概略例を示す図である。 図１に示す配置位置学習装置１０４で処理対象となる領域を抽出した例を示す図である。 本実施形態における文書素材の配置位置情報の例を示す図である。 図１に示す文書素材データ１０８の構成の一例を示す図である。 図１に示す文書テンプレート１０９に格納される文書テンプレートの例を示す図である。 本実施形態における画像入力時の処理を示すフローチャートである。 本実施形態における配置位置学習処理を示すフローチャートである。 本実施形態における文書配置処理を示すフローチャートである。 本実施形態におけるテンプレート選択処理の詳細を示すフローチャートである。 本実施形態における適合素材配置処理の詳細を示すフローチャートである。

符号の説明

１０１ 画像入力装置
１０２ 画像解析装置
１０３ 類似画像判定装置
１０４ 配置位置学習装置
１０５ 配置装置
１０６ 出力装置
１０７ 文書解析データ
１０８ 文書素材データ
１０９ 文書テンプレート

Claims (10)

1. 文書処理装置であって、
   文書を示す画像情報を入力する入力手段と、
   前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離手段と、
   前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持手段と、
   前記保持手段に前記学習情報が保持されているコンテンツの集合を指定する指定手段と、
   前記保持された学習情報に基づいて、前記指定されたコンテンツの集合を新しい文書に配置する配置手段と、
   を有することを特徴とする文書処理装置。
2. 前記コンテンツの集合が配置された文書を出力する出力手段を更に有することを特徴とする請求項１記載の文書処理装置。
3. 前記分離手段は、前記コンテンツとしての画像情報と区別して前記コンテンツの背景を領域分離することを特徴とする請求項１又は２記載の文書処理装置。
4. 前記保持された情報は、前記コンテンツの縦横比の形状と位置の情報であることを特徴とする請求項１乃至３の何れか１項記載の文書処理装置。
5. 前記保持手段は、前記コンテンツの縦横比の形状と位置の情報を前記入力された文書を構成するコンテンツを配置するための情報として学習することを特徴とする請求項４記載の文書処理装置。
6. 文書処理装置であって、
   文書を示す画像情報を入力する入力手段と、
   前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離手段と、
   前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持手段と、
   前記保持手段に前記学習情報が保持されているコンテンツの集合を指定する指定手段と、
   前記保持された学習情報に基づいて選択されたテンプレートに前記コンテンツの集合を配置する配置手段と、
   を有することを特徴とする文書処理装置。
7. 文書処理装置にて実行される文書処理方法であって、
   入力手段が、文書を示す画像情報を入力する入力工程と、
   分離手段が、前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離工程と、
   保持手段が、前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持工程と、
   指定手段が、前記学習情報が保持されているコンテンツの集合を指定する指定工程と、
   配置手段が、前記保持された学習情報に基づいて、前記指定されたコンテンツの集合を新しい文書に配置する配置工程と、
   を有することを特徴とする文書処理方法。
8. 文書処理装置にて実行される文書処理方法であって、
   入力手段が、文書を示す画像情報を入力する入力工程と、
   分離手段が、前記画像情報を、前記文書を構成するコンテンツとして領域分離する分離工程と、
   保持手段が、前記領域分離された前記コンテンツの前記文書での配置位置の情報と当該配置位置への配置頻度とを対応付けて前記コンテンツに関する学習情報として保持する保持工程と、
   指定手段が、前記学習情報が保持されているコンテンツの集合を指定する指定工程と、
   配置手段が、前記保持された学習情報に基づいて選択されたテンプレートに前記コンテンツの集合を配置する配置工程と、
   を有することを特徴とする文書処理方法。
9. 請求項１乃至６の何れか１項記載の文書処理装置としてコンピュータを機能させるためのプログラム。
10. 請求項９記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images