JP5183453B2

JP5183453B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP5183453B2
Application number: JP2008321642A
Authority: JP
Inventors: 丈智成瀬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-12-17
Filing date: 2008-12-17
Publication date: 2013-04-17
Anticipated expiration: 2028-12-17
Also published as: US20100149557A1; EP2200267A3; JP2010147723A; EP2200267A2; CN101753778A; CN101753778B

Description

本発明は、複数の画像が結合されるときのレイアウトを決定する画像処理装置、画像処理方法、およびプログラムに関する。

原稿台よりも大きな１枚の原稿を複数回に分けて読取り、読取った複数の画像の接合を行って、印刷する装置が提案されている。そこで問題となるのが、読取った複数の画像間のずれである。つまり、ユーザが原稿を複数回原稿台に置いて読取るため、読取り毎に原稿台への置き方が少しずつ異なってしまう。これにより、そのまま画像を接合した場合には、分割して読取られた画像間のずれが接合された画像に表れてしまう。

そこで、この分割して読取られた画像間のずれを補正する技術が提案されている。例えば特許文献１には、ユーザによりずれを補正する技術が記載されている。これによると、画像メモリ内に記憶した複数の画像をつなぎ合わせる際に、これらの画像を表示画面に表示して、ユーザはこの表示画面を見ながら操作して接合部を移動させて画像を接合している。

さらに特許文献２には、表示部に接合する複数の画像を表示し、ユーザが目視しながら拡大、回転を交えて接合部のずれを補正する技術が記載されている。
特開平２−１５９６７８号公報特開平１０−３３６４２４号公報

特許文献１の記載のように接合部を表示画面に表示してユーザの操作によってずれを補正する技術において、表示画面の大きさが十分ではない場合には接合部のずれを補正することが困難になる可能性がある。例えば、画像の全体を表示した場合は縮小率が小さくなり接合部のずれ量を目視することが難しい。

画像間のずれは原稿を原稿台においた際の誤差によるため、画像全体ではなく、画像のうち接合される領域近傍の接合部の画像を拡大して表示させる必要がある。そこで、特許文献２に記載の技術のように、ユーザ操作によって表示部に表示される内容を変更することが考えられる。しかしながら、この場合には画像中で所望の位置を表示するために表示する位置を移動させ、また拡大を行う処理を繰り返して行わなければならず、この操作が煩雑になる。

そこで、初めに表示させる際にすでに接合部を拡大して表示させることが考えられる。しかしながら、原稿によって文字や図形の大きさも異なる為、所定の表示位置や表示倍率を設定した場合には、ずれの補正に適さない場合がある。例えば設定された表示位置に画像情報がない原稿の場合、ずれの補正を行うことが出来ない。

以上の課題を鑑みて本発明は、複数の画像が結合されるときのレイアウトを簡単に決定することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

上記の課題を鑑みて本発明の画像処理装置は、結合対象の第１の画像と第２の画像とに基づき、所定のパターンに対応し当該第２の画像との結合部を含む当該第１の画像における一部の領域と、所定のパターンに対応し当該第１の画像との結合部を含む当該第２の画像における一部の領域とを特定する特定手段と、前記第１の画像と前記第２の画像とのそれぞれにおいて前記特定手段により特定された前記一部の領域に対応する表示倍率に従って、当該一部の領域を表示画面に表示させる表示制御手段と、前記表示制御手段による表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像が結合されるときのレイアウトを決定する決定手段と、を有することを特徴とする。

本発明により、複数の画像が結合されるときのレイアウトを簡単に決定することができる。

以下に、図面を参照しながら、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素の相対配置、表示画面等は、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

以下、本発明の一実施形態としての画像処理装置を説明する。本装置は原稿台に原稿を載せて原稿を読取り、複数画像を接合してインクジェットプリンタである印刷部を用いて印刷する画像処理装置である。本実施形態で説明するのは、原稿台が読取可能なサイズよりも大きな１枚の原稿を２回以上に分割して読取る場合である。このように複数回読取って得られたそれぞれの画像を表示して、ユーザにより行われた操作に基づき、画像間のずれ量を求める。そして、そのずれ量に従って原稿の接合面のずれを補正しながら印刷用紙に印刷を行う実施形態となっている。具体的には、Ａ３サイズ原稿をＡ４サイズの原稿台で上部と下部の２回に分割して読取る。そして上部と下部の画像のずれ量を求めて、そのずれを補正して接合された画像を印刷する例を示す。なお、原稿のサイズに制約はなく、Ｂ４サイズやその他不定形の原稿で良い。

図１は、実施形態の画像処理装置の外観を示す図である。図１において１０は画像処理装置本体を表している。１１は原稿台を表しており、原稿を読取る際に原稿をセットする。１２は原稿蓋を表しており、原稿を読取る際に外部の光を遮断するために用いる。１３は印刷用紙挿入口を表しており、印刷用紙を挿入する入口を表している。１４は印刷用紙排出口を表しており、印刷済みの印刷用紙が排出される出口を表している。

図２は、実施形態の画像処理装置の構成を示す図である。図２において１００は装置全体を制御するための中央演算処理部（ＣＰＵ）であり、１０１はプログラムおよびデータを記憶するＲＯＭ、１０２は画像メモリなどの一時記憶領域などから成る記憶部（ＤＲＡＭ）である。ＣＰＵ１００は、ＤＲＡＭ１０２をワークメモリとして、ＲＯＭ１０１に記憶されたプログラムに従い制御する。

１０３はユーザが操作を行うキーで構成される操作部、１０４はグラフィックやメッセージなど画面情報をカラー表示する表示部である。ＣＰＵ１００の表示制御により表示部１０４に画像が表示される。またＣＰＵ１００はユーザによる操作部１０３への操作に従い移動制御をして、表示部１０４に表示された画像を表示画面上で移動させることができる。１０５は原稿を読取るための読取部である。読取部１０５にて原稿が読取られると、ＣＰＵ１００の記憶制御に従いＤＲＡＭ１０２に画像が記憶される。１０６はインクジェット機構を持つ印刷部であり、画像を印刷部に出力すると、印刷用紙に画像が印刷される。１０７はシステムバスであり、本装置の各部のデータ通信を行う際に用いている。

図３は、画像処理装置のＲＯＭ１０１の内部構成を表すブロック図である。図３（ａ）はＲＯＭ１０１の全体構造を示し、このＲＯＭ１０１はプログラム格納領域３０１と固定データ格納領域３０２から成る。プログラム格納領域３０１は以下のブロックに分かれている。３０３は読取部１０５を制御するための読取部制御プログラムである。３０４は印刷部１０６を制御するための印刷部制御プログラムである。３０５は画像解析プログラムであり、詳細は図３（ｂ）を用いて後述する。３０６は画像圧縮伸長処理をおこなうための画像圧縮伸長回転プログラムが格納されている。３０７は表示部に表示する画像の表示位置や表示倍率を決定するためのプログラムである。３０８はその他様々なプログラムが格納されている。固定データ格納領域３０２には用紙サイズのデータなど、固定データが格納されている。

図３（ｂ）は画像解析プログラム３０５の構成を示す。表示部決定プログラム３０７は、この画像解析プログラムの解析結果に基づき決定を行う。画像解析プログラム３０５は以下のブロックに分かれている。情報検出プログラム３５１は原稿を読取って得られた原稿画像を解析して、原稿の中に写真等の画像の領域があったか否かを検出する。具体的には、この情報検出プログラム３５１は次のプログラムを含む。一つは、原稿を読取って得られた原稿画像内の位置が指定されると、その位置に写真等の画像を示す画像領域が存在するかどうかを判定するプログラムである。一つは、原稿画像内の位置が指定されると、その位置から最も近いが画像領域の位置を調べるプログラムである。一つは、画像領域が存在すると判断したら、その画像領域の大きさを計算するプログラムである。

文字検出プログラム３５２は原稿を読取って得られた原稿画像を解析して、その中に含まれる画像情報が文字か否かを判別することで、文字を検出することができる。具体的には、この文字検出プログラム３５２は次の検出を行うプログラムを含む。一つは、原稿画像中に文字が存在すると認識したら、その文字をキャラクタコードに変換するプログラムである。一つは、原稿画像内の位置が指定されると、その位置に文字が存在するかどうかを判定するプログラムである。一つは、原稿画像内の位置が指定されると、その位置から最も近い文字の位置を調べるプログラムである。一つは、文字が存在すると判断したら、その文字の大きさを計算するプログラムである。

特定パターン検出プログラム３５３は原稿画像を解析して、特定パターンが存在するかどうかを検出する。この特定パターンとは、例えば円や四角といった特定形状の図形のパターンや、線分が閉空間になっているパターンなど、用途に応じて実装して良い。この特定パターン検出プログラムは次のプログラムを含む。一つは、原稿画像内の位置が検出されると、その位置に特定パターンが存在するかどうかを判定するプログラムである。一つは、原稿画像内の位置が指定されると、その位置から最も近い特定パターンの位置を調べるプログラムである。一つは、特定パターンが存在すると判断したら、その特定パターンの大きさを計算するプログラムである。

ユーザ設定情報検出プログラム３５４は読取った原稿を解析して、ユーザ設定情報が存在するかどうかを検出する。ユーザ設定情報とは、ユーザが画像の接合部のずれを補正するために目印にしたい目的で予め装置内に設定しておく情報である。例えば、ユーザが箇条書き番号を目印に画像の接合部のずれを補正したい場合は「１、２、３・・」といった番号を登録しておく。このユーザ設定情報検出プログラム３５４は次のプログラムを含む。一つは、原稿内の位置を入力するとその位置にユーザ設定情報が存在するかどうかを判定するプログラムである。一つは、原稿内の位置を入力するとその位置から最も近いユーザ設定情報が存在する位置を調べるプログラムである。一つは、ユーザ設定情報が存在すると判断したら、そのユーザ設定情報の大きさを計算するプログラムである。

図４は、画像処理装置のＤＲＡＭ１０２の内部構成を表すブロック図である。４０６は原稿の上部を読取ってＪＰＥＧ圧縮した画像データである上部画像を格納するための領域である上部画像領域である。読取部１０５により所定の単位で読取られた画像データは読取バッファ４０２に一度格納される。そして画像圧縮伸長回転プログラム３０６がこの画像データをＪＰＥＧ圧縮して上部画像領域４０６に順次格納していく。４０５は原稿の下部を読取ってＪＰＥＧ圧縮した画像データである下部画像を格納するための領域である下部画像領域である。格納方法は上部画像領域４０６と同様である。４０４は、表示部１０４に画像を表示するために上部画像領域４０６の画像データを一部解凍したデータを格納するための上部表示データ展開バッファである。４０３は、表示部１０４に表示するために下部画像領域４０５の画像データを一部解凍したデータを格納するための下部表示データ展開バッファである。４０１は印刷をする際に印刷用に変換したデータを一次保存しておくプリントバッファである。４０７は画像解析プログラム３０５が画像を解析する際に一時的に使用する画像解析バッファである。４０８はその他のプログラムが使用するワークメモリである。

図５は、画像処理装置の操作部１０３の外観構成図である。表示部１０４はドットマトリクスＬＣＤである。左右上下方向の入力機能を持つ十字キー５０１は表示部のカーソル移動などに用いる。セットキー５０２は設定入力キーである。機能キー５０３は機能設定などに用いる。スタートキー５０４は印刷の開始など機能の実行を行う。ずれ補正キー５０５は複数の画像を読取った後に、ユーザがずれを補正することが必要だと判断した場合に押下するとずれ補正を行うことができる。

図６は、画像処理装置の読取部１０５の詳細を表す図である。原稿台１１と、原稿をセットするためのガラス台６０１と、原稿を読取るための読取センサ６０２と、ユーザに対して原稿をセットする位置を指示するための原稿位置マーカ６０３を含む。図の読取センサが図の矢印の方向に移動しながら原稿を読取る。

図７は、読取部１０５を用いて、原稿を上部と下部の２回に分けて読取る際の、原稿の上部を読取る動作を説明する図である。本実施形態では原稿はＡ３サイズであり、原稿台はＡ４サイズである。７０１は読取る対象のＡ３サイズの原稿を表している。ガラス台６０１に、Ａ３原稿７０１の上部の読取面が対向するようにセットする。その際にＡ３原稿７０１の上部左端が原稿位置マーカ６０３に突き当たるようにする。読取を開始すると、読取ライン単位７０３の画像が読取バッファ４０２に読取データとして格納される。なお、この読取ライン単位７０３は読取バッファ４０２に１度に格納される画像を示し、また読取バンド７０２は読取ライン単位７０３の幅を示す。よって、読取センサ６０２が移動すると読取ライン単位７０３が順次ＤＲＡＭ１０２に記憶される。この図７の場合Ａ３原稿７０１の上部を読取センサ６０２が読取るので、読取ライン単位７０３が上部画像領域４０６に順次蓄積される。

図８は、図７と同様に、読取部１０５を用いて、原稿を上部と下部の２回に分けて読取る際の、原稿の下部を読取る動作を説明する図である。読取る動作は上部を読取る場合と同様であり、読取ライン単位７０３が下部画像領域４０５に順次蓄積される。

図９は、図７、図８で説明した読取りによって読取られ、上部画像領域４０６と下部画像領域４０５に格納された画像のイメージ図である。９０１が上部画像領域４０６に格納された上部画像であり、９０２が下部画像領域４０５に格納された下部画像である。

次に本実施形態の全体の流れを説明する。図１０は本実施形態の全体フローを示す図である。図１０は、Ｓ１０１から始まり、Ｓ１０２に進む。Ｓ１０２では原稿の上部をＪＰＥＧで読取り上部画像領域４０６に保存してＳ１０３に進む。Ｓ１０３では原稿の下部をＪＰＥＧで読取り下部画像領域４０５に保存してＳ１０４に進む。Ｓ１０４では全体のプレビューを表示する。Ｓ１０５に進んでユーザによる操作部１０３への操作に従って上部と下部の画像のずれを補正するための補正値を計算してＳ１０６に進む。Ｓ１０６では、保存された上部と下部の画像がＳ１０５で算出した補正値に基づく相対位置で接合された画像を印刷を行ってＳ１０７に進み、本フローを終了する。

次に図１１を用いてＳ１０２の詳細を説明する。図１１は、図１０のＳ１０２の詳細を示したフロー図であり、Ｓ２０１から始まり、Ｓ２０２に進む。Ｓ２０２では、読取センサ６０２がＡ３原稿７０１の上部を読取バンド７０２が読取り、画像データを読取バッファ４０２に蓄積してＳ２０３に進む。Ｓ２０３では、Ｓ２０２で蓄積した読取データを画像圧縮伸長回転プログラム３０６によりＪＰＥＧに圧縮し、上部画像領域４０６に保存してＳ２０５に進む。図９に示す上部画像９０１が実際に格納されるＪＰＥＧのイメージである。Ｓ２０５では、読取バッファ４０２を開放してＳ２０６に進む。Ｓ２０６では、Ａ３原稿７０１の上部をすべて読取ったかを判断し、読取りが終了していないならＳ２０２に進み、次の読取ライン単位７０３の読み込みを行う。読取りが終了していたならＳ２０７に進み、本フローを終了する。

また図１０のＳ１０３では、Ａ３原稿の下部が読取られるが、この処理の詳細は図１１で説明した上部読取りのフローと同様である。ただし、読取られた画像は下部画像領域４０５に保存される。

ここで、Ｓ１０４で表示する全体のプレビューについて図１２を用いて説明する。図１２は、上部と下部の原稿を読み込んで全体像をプレビューした際の表示部１０４を示す図である。補正前画像１１０１は上部と下部の画像をずれを補正していない状態で表示した画像である。接合部表示候補１１０２は表示部決定プログラムを用いて決定したずれ補正のための表示候補である。ユーザは補正前画像１１０１を見て、ずれ補正が必要でないと判断したならばＳ１０５をスキップしてＳ１０６に進むこともできる。ずれ補正が必要であると判断したならば、ずれ補正キー５０５を押下することによってＳ１０５に進んで接合部表示候補１１０２で示した領域を拡大表示することになる。

図１３は、図１１のＳ１０５の詳細を示したフロー図である。Ｓ４０１から始まり、Ｓ４０２に進む。Ｓ４０２ではずれを補正する際に表示する画像の表示位置及び表示倍率を決定する。決定する方式については複数あるので例を交えながら後述する。Ｓ４０２で表示する画像の表示位置及び表示倍率が決定されたらＳ４０３に進む。

Ｓ４０３ではＳ４０２で決定された表示位置を、決定された表示倍率で表示する。図１４は、図１３のＳ４０３で表示される表示部を示す図である。接合部表示枠１２０１は接合する画像の上部と下部を表示する領域であり、分離線１２０２によって分離されている。分離線１２０２の上側には接合部上部画像１２０３を表示し、分離線１２０２の下側には接合部下部画像１２０４を表示する。なお、表示する際の位置や倍率はＳ４０２で決定されている。図１３のフロー図の説明に戻ると、Ｓ４０３で表示を行った後、Ｓ４０４に進む。Ｓ４０４ではユーザが図１４のような表示画面上で画像を移動させて接合部のずれを補正する。そのあとＳ４０５に進み、本フローを終了する。

上述の図１４のような表示画面において、もし上部と下部のどちらか、又は両方に画像情報が無い白部であったらユーザはどのくらい接合部がずれているのかを判断することが出来ない。一方で、全体を表示するようにすると縮小された画像しか表示することができないので視認性が低下して詳細なずれを補正することが出来ないという問題がある。そこでこの問題を解決するためにＳ４０２では、ユーザにとってずれを補正するための操作がしやすい表示位置、また表示倍率を決定する。図１５、図１６、図１７、図１８は、Ｓ４０２の詳細のバリエーションを示している。

図１５は、画像解析プログラム３０５が画像情報の有無を検出する場合のＳ４０２の詳細を示すフロー図である。図１５はＳ５０１から始まり、Ｓ５０２に進む。Ｓ５０２では画像解析プログラム３０５を用いて画像を走査して画像情報の有無を検出する。Ｓ５０３に進み、上部画像と下部画像の接合される領域近傍である接合部に画像情報があるかどうかを判断する。接合部に画像情報がある場合はＳ５０６に進み、無い場合はＳ５０４に進む。Ｓ５０６では予め決められた表示倍率と表示位置を設定してＳ５０５に進み、本フローを終了する。Ｓ５０４では上部と下部の画像情報が両方とも存在する表示倍率と表示位置を設定してＳ５０５に進み、本フローを終了する。

図１９は、図１５のＳ５０４で処理された場合の表示例である。１４０１は読取る原稿の画像例１である。１４０２は接合部を指している。ユーザは上部を読取る際に接合部１４０２より上部を読取り、下部を読取る際に接合部１４０２より下部を読取り、それを接合して印刷する。その際に表示部を用いて接合部を表示してずれを補正するのだが、その時の表示倍率と表示位置の設定の候補を表したのが接合部表示枠１４０４である。画像解析プログラム３０５が接合部表示枠１４０４を決定する。図１９の例では、画像の上部と下部の両方に情報があり、しかも最大の拡大率になるように設定する。こうすることでユーザは、上部と下部の両方を見ながらずれを補正することができる。１４０５が実際に表示される画像であり、上部と下部ともに画像が存在し、しかも拡大されているため、ユーザはずれを容易に補正することができる。

図１６は、画像解析プログラム３０５が文字を検出する場合のＳ４０２の詳細を示すフロー図である。図１６はＳ６０１から始まり、Ｓ６０２に進む。Ｓ６０２では画像解析プログラム３０５を用いて画像を走査して文字を検出する。Ｓ６０３に進み、原稿の上部と下部に文字が検出されたかを判断する。接合部に文字が存在する場合の例は図１８で後述する。原稿の上部と下部に文字が検出されなかった場合は、Ｓ６０６に進み、検出された場合はＳ６０４に進む。Ｓ６０６では予め決められた表示倍率と表示位置を設定してＳ６０５に進み、本フローを終了する。Ｓ６０４では上部と下部に両方とも文字が存在する表示倍率と表示位置を設定してＳ６０５に進み、本フローを終了する。

図２０は、図１６のＳ６０４で処理された場合の表示例である。１５０１は読取る原稿の画像例２である。１５０２は接合部を指している。ユーザは上部を読取る際に接合部１５０２より上部を読取り、下部を読取る際に接合部１５０２より下部を読取り、それを接合して印刷する。その際に表示部を用いて接合部を表示してずれを補正するのだが、その時の表示倍率と表示位置の設定の候補を表したのが接合部表示枠１５０４である。画像解析プログラム３０５が接合部表示枠１５０４を決定する。図２０の例では、画像の上部と下部の両方に文字があり、しかも最大の拡大率になるように設定する。こうすることでユーザは上部と下部の両方を見ながらずれを補正することができる。１５０５が実際に表示される画像であり、上部と下部ともに文字が存在し、しかも拡大されているため、ユーザはずれを容易に補正することができる。なお文字の場合、一般的に画像情報を持つ画素と持たない画素の区別がより明確になり、また形状の認識がしやすいため、単なる画像よりもずれの補正がやりやすくなることが多い。したがって、この例では画像解析プログラム３０５には文字認識機能が必要となるが有効である。

図１７は、画像解析プログラム３０５が特定の画像パターンを検出する場合のＳ４０２の詳細を示すフロー図である。今回は特定の画像パターンとして閉図形を用いている。閉図形とは円や四角など線分が閉じている図形を指している。図１７はＳ７０１から始まり、Ｓ７０２に進む。Ｓ７０２では画像解析プログラム３０５を用いて画像を走査して閉図形を検出する。Ｓ７０３に進み、原稿の上部と下部に閉図形が検出されたかを判断する。接合部に閉図形が存在する場合の例は図１８で説明する接合部に文字が存在する場合と同じである。原稿の上部と下部に閉図形が検出されなかった場合は、Ｓ７０６に進み、検出された場合はＳ７０４に進む。Ｓ７０６では予め決められた表示倍率と表示位置を設定してＳ７０５に進み、本フローを終了する。Ｓ７０４では上部と下部に両方とも閉図形が存在する表示倍率と表示位置を設定してＳ７０５に進み、本フローを終了する。

図２１は、図１７のＳ７０４で処理された場合の表示例である。１６０１は読取る原稿の画像例３である。１６０２は接合部を指している。ユーザは上部を読取る際に接合部１６０２より上部を読取り、下部を読取る際に接合部１６０２より下部を読取り、それを接合して印刷する。その際に表示部を用いて接合部を表示してずれを補正するのだが、その時の表示倍率と表示位置の設定の候補を表したのが接合部表示枠１６０４である。画像解析プログラム３０５が接合部表示枠１６０４を決定する。図２０の例では、画像の上部と下部の両方に閉空間があり、しかも最大の拡大率になるように設定する。こうすることでユーザは上部と下部の両方を見ながらずれを補正することができる。この例では画像解析プログラム３０５には閉空間という特徴的な図形を設定するため、図１９で示したように単に画像情報の有無で判断する場合に比べて、よりユーザはずれ補正がし易くなる。また、ユーザは予め画像を目視して特長的な図形を登録しておくことで接合部表示枠１６０４を決定する際に所望の設定ができる可能性が高くなる。

図１８は、画像解析プログラム３０５が文字を検出し、特に接合部に画像情報がある場合のＳ４０２の詳細を示すフロー図である。図１８はＳ８０１から始まり、Ｓ８０２に進む。Ｓ８０２では画像解析プログラム３０５を用いて画像を走査して情報の有無と文字を検出する。Ｓ８０３に進み、接合部に情報があるかを判断して、ある場合はＳ８０４に進む。無い場合はＳ８０８に進み、予め決められた表示倍率と表示位置を設定してＳ８０９に進み、本フローを終了する。Ｓ８０４では接合部の情報を文字認識して、文字であると判断した場合はＳ８０５に進み、文字であると判断できなかった場合はＳ８０６に進む。Ｓ８０５では接合部の文字の大きさに従って表示倍率を設定する。表示位置は接合部の情報とする。このように表示位置と表示倍率を決定したらＳ８０９に進み、本フローを終了する。

図２２は、図１８のＳ８０５で処理された場合の表示例である。１７０１に示す画像例４では接合部１７０２上に文字が存在する。具体的には「（２）トマト３個」という文字列がある。この文字列は上部と下部に分断されているのだが、文字認識によって文字および大きさが認識できたとする。そうすると、文字の大きさがユーザにとって見やすい大きさになるように表示倍率を決定することができる。こうすることで文字という人間が認識できる形象を用いて、しかも表示倍率も適当なものを提供できるため、よりユーザはずれの補正がし易くなる。

またＳ８０６ではＳ８０４で文字と認識できなかった接合部の近傍の文字を検出する。Ｓ８０７に進んで近傍の文字の大きさに従って表示倍率を決定する。表示位置は接合部にある画像情報の位置とする。なお、この接合部の画像情報を第１の画像情報、近傍の文字の画像情報を第２の画像情報と読んでもよい。このように表示倍率と表示位置を決定できたらＳ８０９に進み、本フローを終了する。

図２３は、図１８のＳ８０７で処理された場合の表示例である。１８０１に示す画像例５では接合部１８０２上に文字が存在する。具体的には「日時：１２月２４日」という文字列がある。しかし、この文字列は上部と下部に分断されていて、文字認識されずに単に画像情報として認識されるので、文字の内容および大きさが認識できない。つまり、表示位置は「日時：１２月２４日」という文字列の位置で良いのだが、表示倍率を決定できない。そこで近傍の文字である「１５：００〜」という文字列の大きさを基に表示倍率を決定する。それによって表示位置にある情報が上部と下部に分断されていて文字認識によって文字および大きさが認識できない場合でも、適当な表示倍率で表示を行うことができる。さらにこの場合、一般的に接合部の近傍に文字がある場合には接合部において存在する画像情報も文字である可能性が高く、またその文字の大きさも近いこと多い。したがって、適当な表示倍率で、文字を見ながらずれの補正を行うことができる。

次に図１３のＳ４０４について説明する。図２４は、図１３のＳ４０４の詳細を示すフロー図である。まず、この図２４では図１４に示される表示が表示部１０４になされている。そしてＳ９０１から始まり、Ｓ９０２に進み、ユーザの操作待ち状態になる。ユーザが十字キー５０１を押下した場合はＳ９０３に進み、機能キー５０３を押下した場合はＳ９０４に進み、セットキー５０２を押下した場合はＳ９１３に進む。Ｓ９０３では図１４で示される画面により、ユーザは十字キー５０１を用いてずれを補正する。例えば、ユーザが十字キー５０１の右を押下した場合、接合部下部画像１２０４が所定量だけ右に移動する。ユーザが十字キー５０１の上を押下した場合、接合部下部画像１２０４が所定量だけ上に移動する。その際、接合部上部画像１２０３は常に固定されていて移動するのは接合部下部画像１２０４だけである。十字キー５０１が押下されている間はＳ９０２とＳ９０３を繰り返す。Ｓ９０４では画像調整メニューを表示する。図２５は、Ｓ９０４で表示される画像調整メニューの例を示す図である。ユーザが「１．拡大率を変える」１３０１を選択したらＳ９０６に進む。ユーザが「２．表示位置を変える」１３０２を選択したらＳ９０７に進む。ユーザが「３．上部画像を回転する」１３０３を選択したらＳ９０８に進む。ユーザが「４．下部画像を回転する」１３０４を選択したらＳ９０９に進む。ユーザが「５．上部画像を読み直す」１３０５を選択したらＳ９１０に進む。ユーザが「６．下部画像を読み直す」１３０６を選択したらＳ９１１に進む。ユーザが「７．次の候補を表示する」１３０７を選択したらＳ９１２に進む。Ｓ９０６では拡大率を変更してＳ９０２に戻る。Ｓ９０７では表示位置を変更してＳ９０２に戻る。Ｓ９０８では上部の画像を１８０度回転してＳ９０２に戻る。Ｓ９０９では下部の画像を１８０度回転してＳ９０２に戻る。Ｓ９１０ではＳ１０２と同様のフローで上部の画像を読み直してＳ９０２に戻る。Ｓ９１１ではＳ１０３と同様のフローで下部の画像を読み直してＳ９０２に戻る。Ｓ９１２ではＳ４０２のフローで決定された画像の表示位置について他の候補を設定して再表示してＳ９０２に戻る。Ｓ９１１を実行することで、ユーザは表示された画面の表示位置と表示倍率が気に入らなかった場合は次の候補を表示することができるので、所望の画面が提供される可能性が高くなる。Ｓ９１３ではユーザはずれの補正を終了してＳ９１４に進み本フローを終了する。図１３のフローを実施することでユーザは所望の画面でずれを補正することができる。

図２６は、図１０のＳ１０６の詳細を示したフロー図である。Ｓ１００１から始まり、Ｓ１００２に進む。Ｓ１００２では、上部画像領域４０６に蓄積されている画像からプリントバッファ４０１のサイズに適合した分量の画像を展開してＳ１００４に進む。Ｓ１００４では印刷部制御プログラム３０４を用いてプリントバッファ４０１に展開されたデータを印刷してＳ１００５に進む。Ｓ１００５では印刷が終了したデータをプリントバッファ４０１から消去してＳ１００６に進む。Ｓ１００６では上部画像領域４０６の画像がすべて印刷されたかを判断し、印刷が終了していないならＳ１００３に進み、次の画像を印刷する。印刷が終了していたならＳ１００７に進む。Ｓ１００７では、Ｓ１００４で算出した補正値を基に下部の画像をどのくらいずらして印刷するかを決定してＳ１００８に進む。

Ｓ１００８では、下部画像領域４０５に蓄積されている画像からプリントバッファ４０１のサイズに適合した分量の画像を展開してＳ１００９に進む。なお、このＳ１００９では、Ｓ１００８で決定された印刷位置に従って下部画像が下部画像領域４０５から読み出される。図２７は、画像間のずれが補正された画像を示す図である。例えば図の左側の画素から読み出される場合、決定された印刷位置にあわせて通常よりもタイミングを遅らせて読み出されることになる。

Ｓ１００９では印刷部制御プログラム３０４を用いてプリントバッファ４０１に展開されたデータを印刷してＳ１０１０に進む。Ｓ１０１０では印刷が終了したデータをプリントバッファ４０１から消去してＳ１０１１に進む。Ｓ１０１１では下部画像領域４０５の画像がすべて印刷されたかを判断し、印刷が終了していないならＳ１００８に進み、次の画像を印刷する。印刷が終了していたならＳ１０１２に進み、本フローを終了する。

以上で説明した処理により、表示画面に表示される接合部の画像には画像情報が含まれるので、ユーザにとって画像間のずれの補正がし易い表示を行うことができる。また文字がある場合にはそれを認識して、それを表示させるように処理するため、よりずれの補正がし易くなるという効果がある。さらには、文字が画像間で分断されて読取られ、文字認識ができない場合でも、接合部の近傍の文字により表示倍率を決定することで、ずれを補正するために適当な表示を行うことができる。

なお、以上の説明では、分割して読取られた画像全体をメモリ（ＤＲＡＭ）に記憶して、その画像の接合される領域近傍の接合部の画像を抜き出して表示させていた。しかし本発明はこれに限らず、接合される画像とは別に接合部の画像をずれの補正用としてメモリに記憶して、この接合部の画像を用いた補正結果に基づき、画像を接合してもよい。この場合であっても、メモリに記憶された接合部の画像のうち、画像情報を有する領域にさらに絞り込むことができるので、通常よりさらに拡大して表示することができる。

なお、以上の説明における画像処理装置は、原稿を読取る読取部と、画像を表示する表示部と、画像を印刷する印刷部を有するものであったが、本発明はこれに限らない。例えば読取部で分割して読取った画像を表示部に出力して表示させるものでもよい。または画像を撮影して撮影された画像を接合させる、所謂パノラマ撮影が可能なデジタルカメラであってもよい。

さらにはデスクトップ型のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）のように読取部、表示部、印刷部を持たない装置であってもよい。この場合、読取装置と接続された入力部にて分割して読取られた画像を入力し、以上の実施形態で説明した処理を行って、接合部を外部の表示装置に表示させてもよい。また、ずれを補正する印刷位置が決定したら、その位置で印刷させるように外部の印刷装置を制御して接合された画像を印刷してもよい。

また、そのような本発明を実現するプログラムを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体からプログラムコードを読出し実行することによっても本発明の目的は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。また、記憶媒体から読み出されたプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上記実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。そしてその後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態の画像処理装置の外観を示す図である。実施形態の画像処理装置の構成を示す図である。画像処理装置のＲＯＭ１０１の内部構成を表すブロック図である。画像処理装置のＤＲＡＭ１０２の内部構成を表すブロック図である。画像処理装置の操作部１０３の外観構成図である。画像処理装置の読取部１０５の詳細を表す図である。読取部１０５を用いて、原稿を上部と下部の２回に分けて読取る際の、原稿の上部を読取る動作を説明する図である。読取部１０５を用いて、原稿を上部と下部の２回に分けて読取る際の、原稿の下部を読取る動作を説明する図である。上部画像領域４０６と下部画像領域４０５に格納された画像のイメージ図である。本実施形態の全体フローを示す図である。図１０のＳ１０２の詳細を示したフロー図である。上部と下部の原稿を読み込んで全体像をプレビューした際の表示部１０４を示す図である。図１１のＳ１０５の詳細を示したフロー図である。図１３のＳ４０３で表示される表示部を示す図である。画像解析プログラム３０５が画像情報の有無を検出する場合のＳ４０２の詳細を示すフロー図である。画像解析プログラム３０５が文字を検出する場合のＳ４０２の詳細を示すフロー図である。画像解析プログラム３０５が特定の画像パターンを検出する場合のＳ４０２の詳細を示すフロー図である。画像解析プログラム３０５が文字を検出し、特に接合部に画像情報がある場合のＳ４０２の詳細を示すフロー図である。図１５のＳ５０４で処理された場合の表示例である。図１６のＳ６０４で処理された場合の表示例である。図１７のＳ７０４で処理された場合の表示例である。図１８のＳ８０５で処理された場合の表示例である。図１８のＳ８０７で処理された場合の表示例である。図１３のＳ４０４の詳細を示すフロー図である。図２５は、Ｓ９０４で表示される画像調整メニューの例を示す図である。図１０のＳ１０６の詳細を示したフロー図である。画像間のずれが補正された画像を示す図である。

符号の説明

１００ＣＰＵ
１０１ＲＯＭ
１０２記憶部ＤＲＡＭ
１０３操作部
１０４表示部
１０５読取部
１０６印刷部
１０７システムバス

Claims

結合対象の第１の画像と第２の画像とに基づき、所定のパターンに対応し当該第２の画像との結合部を含む当該第１の画像における一部の領域と、所定のパターンに対応し当該第１の画像との結合部を含む当該第２の画像における一部の領域とを特定する特定手段と、
前記第１の画像と前記第２の画像とのそれぞれにおいて前記特定手段により特定された前記一部の領域に対応する表示倍率に従って、当該一部の領域を表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像が結合されるときのレイアウトを決定する決定手段と、
を有することを特徴とする画像処理装置。
前記第１の画像と前記第２の画像のそれぞれにおいて前記所定のパターンが前記特定手段により特定されなかった場合、前記表示制御手段は、予め決められた表示倍率に従って前記第１の画像と前記第２の画像のそれぞれにおける一部の領域を前記表示画面に表示させることを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、前記第１の画像と前記第２の画像のそれぞれにおける前記表示領域を示す表示を行い、当該表示に基づくユーザによる指示に応じて、当該第１の画像と当該第２の画像のそれぞれにおける当該表示領域を拡大して表示させることを特徴とする請求項１または２に記載の画像処理装置。
前記所定のパターンは文字であり、前記特定手段は、前記第１の画像と前記第２の画像のそれぞれに含まれている文字に対応する領域を特定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記特定手段により特定された文字の大きさに応じた大きさの表示領域を表示させることを特徴とする請求項４に記載の画像処理装置。
ユーザによる指示に応じて前記表示制御手段により表示された、前記第１の画像と前記第２の画像の少なくとも一方を前記表示画面上で移動させる移動制御手段を有し、
前記決定手段は、前記移動制御手段による移動に基づき、前記第１の画像と前記第２の画像のレイアウトを決定することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
前記決定手段により決定されたレイアウトに従って前記第１の画像と前記第２の画像とが結合された画像を出力する出力手段とを有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
前記出力手段は、前記第１の画像と前記第２の画像とが結合された画像を印刷装置に出力して印刷させることを特徴とする請求項７に記載の画像処理装置。
前記出力手段は、前記第１の画像と前記第２の画像とが結合された画像を前記表示画面に表示させることを特徴とする請求項７に記載の画像処理装置。
結合対象の第１の画像と第２の画像とに基づき、所定のパターンに対応し当該第２の画像との結合部を含む当該第１の画像における一部の領域と、所定のパターンに対応し当該第１の画像との結合部を含む当該第２の画像における一部の領域とを特定し、
前記第１の画像と前記第２の画像とのそれぞれにおいて特定された前記一部の領域に対応する表示倍率に従って、当該一部の領域を表示画面に拡大して表示させ、
前記表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像が結合されるときのレイアウトを決定することを特徴とする画像処理方法。
請求項１０に記載の画像制御方法をコンピュータに実行させることを特徴とするプログラム。