JP4687625B2 - 画像処理システムおよび画像処理プログラム - Google Patents

Description

本発明は、画像処理システムおよび画像処理プログラムに関する。

計算機のソフトウェアとして、文書等の静止画像上の一部で再生位置を変えながら動画像を再生するアプリケーションがある。そのアプリケーションにおいて、動画像のスナップショット画像と静止画像とをともに印刷したい場合、動画像が静止画像の重要な部分と重なってしまい、好ましくない印刷結果となることがある。
これに関連する技術として、例えば、特許文献１には、挿入する画像が特定の画像に重ならない領域を自動的に検出し、その領域に適切に配置されるべき挿入画像を選択し挿入する画像表示装置を提供することを課題とし、画像に挿入する所定の挿入画像と重なることが禁止される画像と重なることが許容される画像とを選択し、この選択された、挿入画像と重なることを禁止する画像の形状情報に基づいて挿入画像を挿入するための空白領域を抽出し、この空白領域に挿入される画像をその空白領域に配置した画像を生成するので、挿入される画像が特定の画像に重ならずに画像表示モニターに表示でき、その特定の画像の大きさや動きに応じて挿入される画像の位置や大きさを容易に変更することができることが開示されている。
特開２００１−１８８５２５号公報

本発明は、このような背景技術の状況の中でなされたもので、動画像のスナップショット画像と静止画像を重ね合わせて表示する場合に、静止画像内の下地領域等の位置にスナップショット画像を配置することができるようにした画像処理システムおよび画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 静止画像と該静止画像上を移動する動画像を表示する表示手段と、
操作者の操作によって、前記表示手段が表示している動画像のスナップショット画像を生成する指定を行うスナップショット指定手段と、
前記スナップショット指定手段による指定によって、前記表示手段が表示している動画像のスナップショット画像を生成するスナップショット画像生成手段と、
前記静止画像を領域に分離する領域分離手段と、
前記スナップショット画像生成手段によって生成されたスナップショット画像を前記静止画像に配置する配置手段
を具備し、
前記静止画像は、文字が含まれている文書の画像であり、
前記領域分離手段は、分離する領域として、下地領域と文字が含まれる領域である文字領域を対象とし、
前記配置手段は、前記スナップショット画像を包含できる下地領域がない場合に、前記領域分離手段により分離した文字領域のうち、文字サイズが最も小さい文字領域と該文字領域の周囲にある下地領域を結合した領域に、該スナップショット画像を配置する、または、前記領域分離手段により分離した文字領域であって、文字サイズが所定サイズよりも小さい文字領域と該文字領域の周囲にある下地領域を結合した領域のうち、前記スナップショット画像を包含できる領域に、該スナップショット画像を配置する
ことを特徴とする画像処理システム。

[２] 前記配置手段は、前記領域分離手段により分離した文字が含まれる文字領域のうち、文字サイズが所定サイズより大きい文字領域に前記スナップショット画像が重ならないように該スナップショット画像を配置する、または、前記領域分離手段により分離した絵柄が含まれる絵柄領域のうち、前記スナップショット画像が該絵柄領域に重ならないように該スナップショット画像を配置する
ことを特徴とする[１]に記載の画像処理システム。

[３] 前記配置手段は、前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像を半透明にして配置する、または、前記スナップショット画像が下地領域以外の領域に重なる場合、下地領域以外の領域が該スナップショット画像の前面となるような前後関係で該スナップショット画像を配置する
ことを特徴とする[１]に記載の画像処理システム。

[４] 前記配置手段は、前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像と静止画像の重なった領域の前後関係を操作者に選択させて該スナップショット画像を配置する、または、前記スナップショット画像が下地領域以外の領域に重なる場合、前記スナップショット画像を所定範囲内の縮小率で縮小して配置する
ことを特徴とする[１]に記載の画像処理システム。

[５] 前記配置手段は、前記スナップショット画像を前記静止画像に配置した画像を複数生成し、該複数の生成画像を表示すると共に、操作者の操作によって該複数の生成画像から選択できる、または、前記スナップショット画像を前記静止画像に配置した画像を生成し、該生成画像を表示し、操作者の操作によって該スナップショット画像を移動できる
ことを特徴とする[１]に記載の画像処理システム。

[６] 画像処理システムに、
静止画像と該静止画像上を移動する動画像を表示する表示機能と、
操作者の操作によって、前記表示機能が表示している動画像のスナップショット画像を生成する指定を行うスナップショット指定機能と、
前記スナップショット指定機能による指定によって、前記表示機能が表示している動画像のスナップショット画像を生成するスナップショット画像生成機能と、
前記静止画像を領域に分離する領域分離機能と、
前記スナップショット画像生成機能によって生成されたスナップショット画像を前記静止画像に配置する配置機能
を実現させ、
前記静止画像は、文字が含まれている文書の画像であり、
前記領域分離機能は、分離する領域として、下地領域と文字が含まれる領域である文字領域を対象とし、
前記配置機能は、前記スナップショット画像を包含できる下地領域がない場合に、前記領域分離機能により分離した文字領域のうち、文字サイズが最も小さい文字領域と該文字領域の周囲にある下地領域を結合した領域に、該スナップショット画像を配置する、または、前記領域分離機能により分離した文字領域であって、文字サイズが所定サイズよりも小さい文字領域と該文字領域の周囲にある下地領域を結合した領域のうち、前記スナップショット画像を包含できる領域に、該スナップショット画像を配置する
ことを特徴とする画像処理プログラム。

本発明にかかる画像処理システムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、動画像のスナップショット画像と静止画像を重ね合わせて表示する場合に、静止画像内の空白領域等の位置にスナップショット画像を配置することができる。これによって、動画像のスナップショット画像が静止画像の重要な部分と重なってしまい、好ましくない印刷結果となることを防ぐことができる。または、スナップショット画像が下地領域以外の領域と重なってしまうような場合であっても、できるだけ可読性を損なわないような配置にすることができる。

以下、図面に基づき本発明の好適な一実施の形態を説明する。
各図によって本実施の形態を説明する。図１は、本実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータによって実現される場合も含まれる。
以下、静止画像として、文書画像を主に例示して説明する。

本実施の形態は、図１に示すように、静止画／動画表示モジュール１１０、スナップショット指定モジュール１２０、動画スナップショット生成モジュール１３０、動画配置モジュール１４０、印刷データ作成モジュール１６０、印刷モジュール１７０を有している。また、動画配置モジュール１４０内に領域分離モジュール１５０を有していてもよい。また、領域分離モジュール１５０は、動画配置モジュール１４０の前処理のモジュールとして位置していてもよい。つまり、動画スナップショット生成モジュール１３０と領域分離モジュール１５０が接続されており、領域分離モジュール１５０と動画配置モジュール１４０が接続されていてもよい。
静止画／動画表示モジュール１１０は、スナップショット指定モジュール１２０と接続されており、静止画像と該静止画像上を移動する動画像を表示する。具体的には、コンピュータ上で動作しているアプリケーションであって、文書等の静止画像上の一部で再生位置を変えながら動画像を再生するものである。より具体的には、文書を表示した際に、人物等を模した画像が動きながらその文書の説明文を表示したり、音声等で説明するものの表示モジュールが該当する。

スナップショット指定モジュール１２０は、静止画／動画表示モジュール１１０、動画スナップショット生成モジュール１３０と接続されており、操作者の操作によって、静止画／動画表示モジュール１１０が表示している動画像のスナップショット画像を生成する指定を行う。つまり、操作者は、静止画／動画表示モジュール１１０が表示している動画像を見ながら、その時の画像を印刷したいと思った時に操作をし、その操作によりスナップショット指定モジュール１２０は、スナップショット画像を生成する指定を行う。なお、スナップショットとは、ディスプレイ上の画面イメージを、そのままファイル化したりプリンタから印刷したりすることをいい、スクリーンダンプともいう。ただし、ここでの、スナップショットには、ディスプレイ上の画面イメージそのままだけではなく、移動する動画像の瞬間画像だけの画像をも含む。
操作者の操作とは、例えば、キーボードの「プリントスクリーン」ボタンを押下することである。また、アプリケーションによっては、他の操作を要求してもよい。
動画スナップショット生成モジュール１３０は、スナップショット指定モジュール１２０、動画配置モジュール１４０と接続されており、スナップショット指定モジュール１２０による指定によって、静止画／動画表示モジュール１１０が表示している動画像のスナップショット画像を生成する。前述の例を用いて説明すると、操作者がプリントスクリーンボタンを押下した瞬間の動画像のスナップショット画像を生成する。

動画配置モジュール１４０は、動画スナップショット生成モジュール１３０、印刷データ作成モジュール１６０と接続されており、領域分離モジュール１５０を有している。動画スナップショット生成モジュール１３０によって生成されたスナップショット画像を前記静止画像に配置する。
領域分離モジュール１５０は、動画配置モジュール１４０内にあり、画像を領域に分離する。その分離した結果を動画配置モジュール１４０へ渡す。ここで、対象とする画像は１枚の画像であってもよいし、複数ページからなる画像であってもよい。また、対象とする画像は、前記静止画像であってもよいし、動画像のスナップショット画像が含まれた静止画像であってもよい。
領域の分離は、画像から空白等で区切られた領域を分離することによって行われる。もちろん他の既存の方法で領域を分離してもよい。そして、その領域の種別として、下地である下地領域、文字が含まれている領域（以下、文字領域という。なお、表が含まれていてもよい）、写真が含まれている領域（以下、写真領域という）、図形が含まれている領域（以下、図形領域という）等を識別する。この種別の識別は、分離した領域内の特徴（黒画素塊の大きさ、その形状、一定領域内の黒画素数、黒画素塊の配置等）を抽出し、特徴空間内でのその位置によって識別するが、その他の既存の方法であってもよい。
また、領域分離モジュール１５０は、文字領域内の文字について、その文字サイズも抽出する。例えば、一定間隔で並んでいる黒画素塊の矩形領域の大きさによって測定すればよいが、その他の既存の方法であってもよい。
なお、下地領域とは、文書において文字等が描かれていない領域であり、空白領域ともいう。また、白色の領域に限ることはなく、着色されている領域、模様等が描かれている領域であってもよい。
下地領域ではなく、かつ文字領域以外の領域（例えば、写真領域、図形領域等）を絵柄領域という。

また、動画配置モジュール１４０は、領域分離モジュール１５０による領域分離の結果に応じて、前記スナップショット画像を前記静止画像に配置するようにしてもよい。
さらに、動画配置モジュール１４０は、次のようであってもよい。
（１）領域分離モジュール１５０により分離した下地領域のうち、前記スナップショット画像を包含できる下地領域に該スナップショット画像を配置する。つまり、スナップショット画像を元の静止画像を見るのに妨げにならない位置に配置するものである。また、スナップショット画像を包含できる下地領域が複数個ある場合は、最初に発見できた領域であってもよいし、スナップショット画像と同じ面積の下地領域を選択してもよい。
（２）領域分離モジュール１５０により分離した下地領域のうち、面積が最大の下地領域に前記スナップショット画像を配置する。つまり、下地領域のなかで最大の面積の領域に配置することはデザイン的にも見易い配置になるからである。

（３）領域分離モジュール１５０により分離した文字領域のうち、文字サイズが最も小さい文字領域と下地領域を結合した領域に、前記スナップショット画像を配置する。つまり、文字サイズが最も小さい文字領域は、その文書内では、それほど重要ではない場合が多いので、スナップショット画像を包含できる下地領域がない場合に、その文字領域に重ねて配置するものである。また、下地領域を結合した領域とは、該当の文字領域の周辺に位置する下地領域を文字領域に結合した領域を指す。
（４）領域分離モジュール１５０により分離した文字領域であって、文字サイズが所定サイズよりも小さい文字領域と下地領域を結合した領域のうち、前記スナップショット画像を包含できる領域に、該スナップショット画像を配置する。つまり、前述の（３）の場合で、文字サイズが最も小さい文字領域と下地領域を結合した領域の面積では、スナップショット画像を包含できない場合に有効である。

（５）領域分離モジュール１５０により分離した文字領域のうち、文字サイズが所定サイズより大きい文字領域に前記スナップショット画像が重ならないように該スナップショット画像を配置する。前述の（３）、（４）とは逆であり、一般的に文字サイズが大きい領域は重要な情報が記載されている場合が多く、この領域をスナップショット画像で隠さないようにするためである。
（６）領域分離モジュール１５０により分離した絵柄領域のうち、前記スナップショット画像が該絵柄領域に重ならないように該スナップショット画像を配置する。つまり、絵柄領域は多くの情報量を含む場合が多いので、この領域をスナップショット画像で隠さないようにするためである。

（７）前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像を半透明にして配置する。つまり、下地領域以外の領域である文字領域等に、スナップショット画像を配置する場合は、その文字領域等も見ることができるようにして、可読性を損なわないようにしている。
（８）前記スナップショット画像が下地領域以外の領域に重なる場合、下地領域以外の領域が該スナップショット画像の前面となるような前後関係で該スナップショット画像を配置する。つまり、画像と画像を重ね合わせて表示する場合に、前後関係がある場合は、下地領域以外の領域である文字領域等を前面にすることによって、可読性を損なわないようにしている。この場合、スナップショット画像が下地のようになる。

（９）前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像と静止画像の重なった領域の前後関係（グラフィック技術で扱うレイヤの上下関係を含む）を操作者に選択させて該スナップショット画像を配置する。つまり、画像と画像を重ね合わせて表示する場合に、前後関係がある場合は、操作者がその前後関係を選択できるようにするものであり、操作者の意思を反映して、よりデザイン性のよい画像を生成することができる。
（１０）前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像を所定範囲内の縮小率で縮小して配置する。つまり、下地領域以外の領域である文字領域等にスナップショット画像を重ねる場合、その重ね合わせによる影響をできるだけ小さくしようとするものである。

（１１）前記スナップショット画像を前記静止画像に配置した画像を複数生成し、該複数の生成画像を表示すると共に、操作者の操作によって該複数の生成画像から選択できる。つまり、前述したような配置の方法が各種あるが、それらの配置を複数行い、その配置結果の画像を操作者に提示して、その選択を操作者に行ってもらうものである。操作者の意思を反映して、よりデザイン性のよい画像を選択することができる。
（１２）前記スナップショット画像を前記静止画像に配置した画像を生成し、該画像を表示し、操作者の操作によって該スナップショット画像を移動できる。つまり、操作者に対して、編集機能を提供することによって、より操作者の意思を反映して、デザイン性のよい画像を生成することができる。また、スナップショット画像の配置は、前述した配置方法で行ったものであってもよい。
前述の配置の方法は、さまざまに組み合わせて用いることができる。

印刷データ作成モジュール１６０は、動画配置モジュール１４０、印刷モジュール１７０と接続されており、動画配置モジュール１４０によって前記スナップショット画像が配置された静止画像を基にして、印刷データを作成する。
印刷モジュール１７０は、印刷データ作成モジュール１６０と接続されており、印刷データ作成モジュール１６０が作成した印刷データをプリンタを用いて印刷する。

次に図２〜図８を用いて、作用・働き（動作）を説明する。
図２のフローチャートを用いて、本実施の形態による全体の処理例を説明する。
ステップＳ２０２では、動画配置モジュール１４０によって、静止画像上にスナップショット画像を自動配置する。つまり、前述した動画配置モジュール１４０による配置結果を複数種類生成する。
ステップＳ２０４では、動画配置モジュール１４０によって、ステップＳ２０２で生成した複数の配置例を表示する。
ステップＳ２０６では、動画配置モジュール１４０によって、操作者に対して、「希望の配置はあったか？」と問う。操作者による操作によって、ｙｅｓであればステップＳ２１４へ進み、ｎｏであればステップＳ２０８へ進む。

ステップＳ２０８では、操作者によって希望している配置画像に近いものが選択され、動画配置モジュール１４０はその選択画像を表示する。
ステップＳ２１０では、動画配置モジュール１４０が、操作者の操作に応じて、スナップショット画像を自由に移動させる。
ステップＳ２１２では、操作者のスナップショット画像の編集操作（移動操作、画像間の前後関係の編集も含む）が終了した場合は、印刷データ作成モジュール１６０、印刷モジュール１７０によって、その編集操作が終了した画像をプリンタで印刷する。
ステップＳ２１４では、操作者の希望の配置があったので、印刷データ作成モジュール１６０、印刷モジュール１７０によって、その選択した配置の画像をプリンタで印刷する。

図３のフローチャートを用いて、最大面積の下地領域へスナップショット画像を配置する場合の処理例を説明する。
ステップＳ３０２では、領域分離モジュール１５０によって、静止画像を構成する領域を分離する。
ここで、図７を用いて、静止画像の例を説明する。静止画像である文書７００は、タイトル領域７０１、本文領域７０２、文領域７０３、図領域７０４の領域を有している。これらの領域の他に下地領域がある。図７では、タイトル領域７０１と本文領域７０２の間にある領域、本文領域７０２と文領域７０３、図領域７０４の間にある領域が下地領域に該当する。
図６を用いて、領域分離モジュール１５０による処理結果である領域に関するデータ構造の例について説明する。領域テーブル６００は、ＩＤ欄６０２、左上座標欄６０４、右下座標欄６０６、種別欄６０８、文字サイズ欄６１０を有している。ＩＤ欄６０２は、領域を一意に識別できる識別子を記憶する。左上座標欄６０４、右下座標欄６０６は、画像内の領域の位置を表す座標を記憶する。具体的には、画像内の縦をＸ軸、横をＹ軸として、ＸＹ座標によって、領域の位置を示す。その他、領域間の相対的な位置情報であってもよい。種別欄６０８は、領域の種別を記憶する。その種別とは、領域の属性、つまり下地領域、文字領域、図形領域、表領域、写真領域等をいう。文字サイズ欄６１０は、その領域が文字領域であれば、その領域内の文字のサイズを記憶する。

ステップＳ３０４では、動画配置モジュール１４０が、領域分離モジュール１５０による領域分離の結果である領域テーブル６００を参照して、面積が最大である下地領域（以下、最大下地領域ともいう）を求める。
ステップＳ３０６では、動画配置モジュール１４０が、スナップショット画像の外接矩形（スナップショットを含むことができる最小の矩形）を求める。
ステップＳ３０８では、動画配置モジュール１４０が、最大下地領域の中心とスナップショット画像の中心とを合わせるように配置する。これによって、静止画像にスナップショット画像を配置した画像が生成される。

図４のフローチャートを用いて、小文字サイズの文字領域へスナップショット画像を配置する場合の処理例を説明する。
ステップＳ４０２の処理は、図３のステップＳ３０２と同様である。
ステップＳ４０４では、動画配置モジュール１４０が、領域分離モジュール１５０による領域分離の結果である領域テーブル６００を参照して、文字サイズが所定のサイズ以下の文字領域（以下、小文字サイズ領域ともいう）を求める。該当の文字領域が複数ある場合は、複数の小文字サイズ領域を求める。
ステップＳ４０６では、動画配置モジュール１４０が、領域分離モジュール１５０による領域分離の結果である領域テーブル６００を参照して、小文字サイズ領域の周囲にある下地領域を求める。複数の小文字サイズ領域がある場合は、それぞれの周囲にある下地領域を求める。

ステップＳ４０８では、動画配置モジュール１４０が、小文字サイズ領域とステップＳ４０６で求めた下地領域とを統合する。つまり、小文字サイズ領域を含んだより大きな領域を作成する。ただし、周辺に下地領域がなければ、小文字サイズ領域そのものが統合領域になる。また、複数の小文字サイズ領域があれば、複数の統合領域を作成する。
ステップＳ４１０では、動画配置モジュール１４０が、複数の統合領域から面積が最大の統合領域を求める。
ステップＳ４１２の処理は、図３のステップＳ３０６と同様である。
ステップＳ４１４では、動画配置モジュール１４０が、最大の統合領域の中心とスナップショット画像の中心とを合わせるように配置する。これによって、静止画像にスナップショット画像を配置した画像が生成される。この場合、スナップショット画像を半透明にして配置してもよいし、重ね合わせに前後関係がある場合は、スナップショット画像を背面にするようにしてもよい。

図５のフローチャートを用いて、複数の配置処理を融合した場合の処理例を説明する。
ステップＳ５０２の処理は、図３のステップＳ３０２と同様である。
ステップＳ５０４では、動画配置モジュール１４０が、領域分離モジュール１５０による領域分離の結果である領域テーブル６００を参照して、下地領域を求める。複数の下地領域があれば、複数の下地領域を求める。
ステップＳ５０６では、スナップショット画像を包含できる下地領域があるかを判断する。かかる判断によって、ｙｅｓであればステップＳ５１８へ進み、ｎｏであればステップＳ５０８へ進む。

ステップＳ５０８の処理は、図４のステップＳ４０４の処理と同様である。
ステップＳ５１０の処理は、図４のステップＳ４０８の処理と同様である。
ステップＳ５１２では、動画配置モジュール１４０が、スナップショット画像を包含できる統合領域があるかを判断する。かかる判断によって、ｙｅｓであればステップＳ５１８へ進み、ｎｏであればステップＳ５１４へ進む。
ステップＳ５１４では、動画配置モジュール１４０が、それまでの処理で対象としたスナップショット画像は縮小した画像であるかを判断する。かかる判断によって、ｙｅｓであればステップＳ５２０へ進み、ｎｏであればステップＳ５１６へ進む。なお、縮小は複数段階で行われてもよい。その場合は、ステップＳ５０６からステップＳ５１６までの処理が何回か繰り返されることになる。また、このループを抜けるために、縮小率で判断してもよい。例えば、１０％ずつ縮小率を変化させ、１０％以下の縮小率になった場合は、ステップＳ５２０の処理を行うようにしてもよい。

ステップＳ５１６では、動画配置モジュール１４０が、スナップショット画像を所定の範囲内の縮小率で縮小する。そして、ステップＳ５０６の処理へと戻る。
ステップＳ５１８では、動画配置モジュール１４０が、ステップＳ５０６で求めたスナップショット画像を包含できる下地領域またはステップＳ５１２で求めたスナップショット画像を包含できる統合領域にスナップショット画像を配置する。つまり、その下地領域または統合領域の中心とスナップショット画像の中心を合わせるように配置する。これによって、静止画像にスナップショット画像を配置した画像が生成される。この場合、スナップショット画像を半透明にして配置してもよいし、重ね合わせに前後関係がある場合は、スナップショット画像を背面にするようにしてもよい。
ステップＳ５２０では、縮小したスナップショット画像を下地領域または統合領域のうち大きい領域に配置する。つまり、その下地領域または統合領域の中心とスナップショット画像の中心を合わせるように配置する。これによって、静止画像にスナップショット画像を配置した画像が生成される。この場合、スナップショット画像を半透明にして配置してもよいし、重ね合わせに前後関係がある場合は、スナップショット画像を背面にするようにしてもよい。

図８を用いて、静止画像にスナップショット画像を配置した例を説明する。
図８（Ａ）は、図７の文書７００上を動画像８０１が移動しながら表示されている状態を示している。この状態で操作者がスナップショットの指定を行ったとする。すると、動画スナップショット生成モジュール１３０がその瞬間の動画像８０１の画像をスナップショット画像として生成する。
次に、動画配置モジュール１４０が図８（Ｂ）、（Ｃ）、（Ｄ）に示すように文書７００にスナップショット画像Ｂ、Ｃ、Ｄ（８０２、８０３、８０４）を配置する。すなわち、図８（Ｂ）は、図３のフローチャートで示した最大下地領域にスナップショット画像Ｂ８０２を配置したものである。図８（Ｃ）は、図４のフローチャートで示した小文字サイズ領域と下地領域を統合した領域にスナップショット画像Ｃ８０３を配置したものである。図８（Ｄ）は、図５のフローチャートのステップＳ５１６で縮小処理を行った後に、ステップＳ５０６でｙｅｓとなった場合であって、下地領域に縮小したスナップショット画像Ｄ８０４を配置したものである。

図９を用いて、本実施の形態の画像処理システムのハードウェア構成例について説明する。図９に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部９１７と、プリンタなどのデータ出力部９１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、上述の実施の形態において説明した各種のモジュール、すなわち、スナップショット指定モジュール１２０、動画スナップショット生成モジュール１３０、動画配置モジュール１４０、領域分離モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。

キーボード９０８、マウス等のポインティングデバイス９０９は、操作者により操作される入力デバイスである。ディスプレイ９１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）９１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ９０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、静止画像、スナップショット画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース９０７、外部バス９０６、ブリッジ９０５、およびホストバス９０４を介して接続されているＲＡＭ９０３に供給する。リムーバブル記録媒体９１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート９１４は、外部接続機器９１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート９１４は、インタフェース９０７、および外部バス９０６、ブリッジ９０５、ホストバス９０４等を介してＣＰＵ９０１等に接続されている。通信部９１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部９１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部９１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図９に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図９に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図９に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

前記実施の形態においては、プリンタによる印刷を示したが、ディスプレイに表示するようにしてもよい。
また、領域分離モジュール１５０による領域は、矩形を前提としているが、自由形状のものであってもよい。その場合、マスク画像を用いて、その形状を定義する。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態の構成例についての概念的なモジュール構成図である。 全体の処理例を示すフローチャートである。 最大面積の下地領域へスナップショット画像を配置する場合の処理例を示すフローチャートである。 小文字サイズの文字領域へスナップショット画像を配置する場合の処理例を示すフローチャートである。 複数の配置処理を融合した場合の処理例を示すフローチャートである。 領域分離処理による結果である領域に関するデータ構造の例について説明する図である。 静止画像としての文書の一例を示す説明図である。 静止画像にスナップショット画像を配置した例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１０…静止画／動画表示モジュール
１２０…スナップショット指定モジュール
１３０…動画スナップショット生成モジュール
１４０…動画配置モジュール
１５０…領域分離モジュール
１６０…印刷データ作成モジュール
１７０…印刷モジュール

Claims (6)

1. 静止画像と該静止画像上を移動する動画像を表示する表示手段と、
   操作者の操作によって、前記表示手段が表示している動画像のスナップショット画像を生成する指定を行うスナップショット指定手段と、
   前記スナップショット指定手段による指定によって、前記表示手段が表示している動画像のスナップショット画像を生成するスナップショット画像生成手段と、
   前記静止画像を領域に分離する領域分離手段と、
   前記スナップショット画像生成手段によって生成されたスナップショット画像を前記静止画像に配置する配置手段
   を具備し、
   前記静止画像は、文字が含まれている文書の画像であり、
   前記領域分離手段は、分離する領域として、下地領域と文字が含まれる領域である文字領域を対象とし、
   前記配置手段は、前記スナップショット画像を包含できる下地領域がない場合に、前記領域分離手段により分離した文字領域のうち、文字サイズが最も小さい文字領域と該文字領域の周囲にある下地領域を結合した領域に、該スナップショット画像を配置する、または、前記領域分離手段により分離した文字領域であって、文字サイズが所定サイズよりも小さい文字領域と該文字領域の周囲にある下地領域を結合した領域のうち、前記スナップショット画像を包含できる領域に、該スナップショット画像を配置する
   ことを特徴とする画像処理システム。
2. 前記配置手段は、前記領域分離手段により分離した文字が含まれる文字領域のうち、文字サイズが所定サイズより大きい文字領域に前記スナップショット画像が重ならないように該スナップショット画像を配置する、または、前記領域分離手段により分離した絵柄が含まれる絵柄領域のうち、前記スナップショット画像が該絵柄領域に重ならないように該スナップショット画像を配置する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記配置手段は、前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像を半透明にして配置する、または、前記スナップショット画像が下地領域以外の領域に重なる場合、下地領域以外の領域が該スナップショット画像の前面となるような前後関係で該スナップショット画像を配置する
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記配置手段は、前記スナップショット画像が下地領域以外の領域に重なる場合、該スナップショット画像と静止画像の重なった領域の前後関係を操作者に選択させて該スナップショット画像を配置する、または、前記スナップショット画像が下地領域以外の領域に重なる場合、前記スナップショット画像を所定範囲内の縮小率で縮小して配置する
   ことを特徴とする請求項１に記載の画像処理システム。
5. 前記配置手段は、前記スナップショット画像を前記静止画像に配置した画像を複数生成し、該複数の生成画像を表示すると共に、操作者の操作によって該複数の生成画像から選択できる、または、前記スナップショット画像を前記静止画像に配置した画像を生成し、該生成画像を表示し、操作者の操作によって該スナップショット画像を移動できる
   ことを特徴とする請求項１に記載の画像処理システム。
6. 画像処理システムに、
   静止画像と該静止画像上を移動する動画像を表示する表示機能と、
   操作者の操作によって、前記表示機能が表示している動画像のスナップショット画像を生成する指定を行うスナップショット指定機能と、
   前記スナップショット指定機能による指定によって、前記表示機能が表示している動画像のスナップショット画像を生成するスナップショット画像生成機能と、
   前記静止画像を領域に分離する領域分離機能と、
   前記スナップショット画像生成機能によって生成されたスナップショット画像を前記静止画像に配置する配置機能
   を実現させ、
   前記静止画像は、文字が含まれている文書の画像であり、
   前記領域分離機能は、分離する領域として、下地領域と文字が含まれる領域である文字領域を対象とし、
   前記配置機能は、前記スナップショット画像を包含できる下地領域がない場合に、前記領域分離機能により分離した文字領域のうち、文字サイズが最も小さい文字領域と該文字領域の周囲にある下地領域を結合した領域に、該スナップショット画像を配置する、または、前記領域分離機能により分離した文字領域であって、文字サイズが所定サイズよりも小さい文字領域と該文字領域の周囲にある下地領域を結合した領域のうち、前記スナップショット画像を包含できる領域に、該スナップショット画像を配置する
   ことを特徴とする画像処理プログラム。

Images