JP4083827B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【０００１】
【発明の属する分野】
本発明は、画像操作のためのユーザーインターフェイスに係り、特に、画像断片を結合するためのコンピュータ・ユーザーインターフェイスに関する。
【０００２】
【従来の技術】
今日、画像処理装置は、例えば画像の印刷物を読み取ってその画像のデジタル表現を得ることにより、コンピュータによる画像の取り込みを可能にする。また、画像のデジタル表現を印刷して画像のハードコピーを作ることができる。画像処理装置の例は、コピー機、ファクス装置及びスキャナである。これらの装置は、今日、操作者が取り込まれた画像を縮小、拡大や、コントラスト、解像度又は色の調整等々により操作できるようにする高度な技術を使っている。今日の基本的な画像処理装置は、標準サイズの画像、例えば８．５インチ×１１インチの紙片に印刷された画像の処理には申し分ないが、しかし、特大の画像を装置に取り込むために画像断片に分割する必要がある場合に問題が起こる。また、画像断片を、一つの完全な画像として１枚以上の紙片に印刷できるよう再び組み立てる必要がある場合にも問題が生じる。
【０００３】
例えば、コピー機に関する問題は、地図やポスターのような特大画像をコピーしようとする場合に起こる。その理由は、コピー機の構造は、普通、読み取り機構の１回の動作で特大画像の一部つまり断片しか読み取ることができないためである。すなわち、コピー機の利用者は、手作業で特大画像を位置決めし、その地図又はポスターの部分部分を何度も読み取らせる必要があるということである。利用者は目視によって、しばしば位置合わせ用マークの助けもなしに、コピー機のプラテン上で特大画像を位置合わせしなければならないため、結果として得られるのは、複数の紙片に分かれた特大画像の不揃いな断片の雑然とした集合である。最悪の場合、利用者はその後、各ページの縁を切り落としてテープで継ぎ合わせることにより、手作業で画像断片を組み立てなければならない。
【０００４】
同様に、ファクス装置は一定の比較的小寸法の紙片しか受け付けない。特大文書の幅がファクス装置の受付可能な幅を超える場合には、その文書を、それより小さな紙片の画像に分割しなければならない。そして、この特大文書画像は、何枚かの画像として受信側ファクス装置へ送信される。受信側ファクス装置の利用者は、同様の手順により、複数の文書断片を継ぎ合わせて特大文書画像を得る。
【０００５】
今日の画像装置の特大文書を扱う際の欠点のもう一つの例は、手持ち型スキャナに見られる。手持ち型スキャナは、利用者がそれを画像上で移動させることにより画像を複数回読み取らなければならない。文書が大きい場合、手持ち読み取り操作によって多くの画像断片が得られ、それは継ぎ合わせなければならない。この問題に対処する方法は手持ち型スキャナにより順に取り込まれた２枚の画像をぴったり継ぎ合わせるというものである。しかし、欧州特許出願公開 ＩＰＮ ＷＯ ９３／１２５０１号（日本国公表番号 平成６年第５０８４６１号）に述べられている、このような方法は、読み取りプロセスによりいくつかの断片に分割されてしまった大きな画像をユーザーが処理するための適切な方法を提供するものではなかった。
【０００６】
現在の画像処理装置において画像を結合する他の方法に、Ｄａｖｉｄ Ｒ．Ｃｏｋに付与された米国特許第５，０２２，０８５号の方法がある。本米国特許は、第１の画像を第２の画像上に併合もしくは合成する描画データ機構を開示している。Ｃｏｋの発明は、合成した後に、第１の画像のエッジが第２の画像の上に重なった時にできる境界パターンを減らすため特殊な技術を使う。
【０００７】
欧州特許出願第８７３００５６２号に開示された別のシステムは、第１の画像を第２の画像の上に合成することを教える。当該発明は、合成操作をさらに自動化できるように第１の画像のエッジを検出する手法を開示している。特開平４−２３５４６４号公報は、主画像センサーユニット及び副画像センサーユニットから入力した二つの異なった画像を併合する方式を開示している。米国特許第５，１４０，６４７号は、文書画像にマーカーを付け、そして、そのマーカーを画像の位置合わせに利用することを開示している。
【０００８】
以上引用したものはコピー機、ファクス装置及びスキャナ等の画像処理装置において特大画像を効率的に処理する際の従来技術の問題点を解決しない。以上に引用したものの一部は合成操作に関連しており、第１の画像がそれと無関係な第２の画像の上に重ねられ、境界パターンを除去することにより、それら２つの画像をあたかも一つの画像に見えるようにする試みがなされる。これは、例えば、２つの画像断片に分割されたオブジェクトもしくは文字のような画像の細部が再びもとのように見えるように、画像断片を互いに隣接させて整列させる必要がある状況とは異なるものである。引用したものはどれも、多数の画像断片を効率的に操作して一つの大きな合成画像を作るシステムを開示していない。
【０００９】
よって、遥かに簡単かつ正確に特大画像を扱うことができるように画像断片の効率的な操作を可能にする画像処理装置を提供することが望まれる。
【００１０】
【発明が解決しようとする課題】
したがって、本発明の主たる目的はコピー機、ファクス装置、スキャナその他各種画像処理装置を利用して、複数の画像断片に分割される大きな文書等の画像を扱う際に、ユーザーの作業を容易かつ効率的にするための方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は画像処理装置のグラフィカルユーザーインターフェイス（ＧＵＩ）を提供する。このＧＵＩによって、ユーザーは、表示された画像断片の選択、ドラッグ及びドロップ等の操作を行って画像断片の希望する整列を指示することができる。かかる方法を利用すると、コピー機、ファクス装置及びスキャナ等の標準的な画像処理装置を使って特大文書を扱う際のユーザーの作業が大幅に簡易化される。
【００１２】
本発明は以下のように定義されるものである。
請求項１の発明は、ユーザー入力装置及びディスプレイ画面と結合されたプロセッサを含むコンピュータシステムにおいて複数の画像の統合画像を生成する画像処理方法であって、
該プロセッサが、該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップ、
該プロセッサが、該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択するステップ、
該プロセッサが、該選択するステップで選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させるステップ、
該プロセッサが、位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせするステップ、及び、
該プロセッサが、該位置合わせするステップにより位置合わせされた該複数の画像を１の統合画像に併合するステップを含む画像処理方法である。
請求項２の発明は、請求項１の発明に係る画像処理方法であって、
該コンピュータシステムはスキャン装置と結合され、
該スキャン装置を利用して原画像を２以上の部分画像に分割して読み取り、該２以上の部分画像を該複数の画像として該コンピュータシステムに入力するステップを含むことを特徴とする画像処理方法である。
請求項３の発明は、請求項１の発明に係る画像処理方法であって、
該ユーザー入力装置はボタンを持つマウスを含み、
該プロセッサは、該１の画像を選択するための信号、及び、該選択された画像を任意の位置へ移動させるための信号を該マウスより受け取ることを特徴とする画像処理方法である。
請求項４の発明は、請求項１の発明に係る画像処理方法であって、
該ユーザー入力装置はタッチスクリーンを含み、該プロセッサは、該１の画像を選択するための信号、及び、該選択された画像を任意の位置へ移動させるための信号を該タッチスクリーンより受け取ることを特徴とする画像処理方法である。
請求項５の発明は、請求項２の発明に係る画像処理方法であって、
該コンピュータシステムは該プロセッサに結合された印刷装置をさらに有し、
該プロセッサが、該統合画像を利用して該原画像の少なくとも一部分の再生画像を１枚以上の紙片に該印刷装置により印刷させるステップを含むことを特徴とする画像処理方法である。
請求項６の発明は、請求項１の発明に係る画像処理方法であって、
該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップにおいて、表示される少なくとも１の画像の少なくとも一部分については、その前景情報を保存しつつ背景を透明に表示することを特徴とする画像処理方法である。
請求項７の発明は、請求項１の発明に係る画像処理方法であって、
該プロセッサが該ディスプレイ画面に表示されている画像を拡大するステップをさらに含むことを特徴とする画像処理方法である。
請求項８の発明は、請求項１の発明に係る画像処理方法であって、
該プロセッサがユーザーに指定された多角形枠を用いて該複数の画像のそれぞれの不要部分を切り取るステップをさらに含むことを特徴とする画像処理方法である。
請求項９の発明は、請求項１の発明に係る画像処理方法であって、
該プロセッサがユーザーに指定された任意の枠を用いて該複数の画像のそれぞれの不要部分を切り取るステップをさらに含むことを特徴とする画像処理方法である。
請求項１０の発明は、ユーザー入力装置、メモリ及びディスプレイ画面に結合されたプロセッサを含むファクス装置において複数の画像の統合画像を生成する画像処理方法であって、
該ファクシミリが、１の原画像の複数の部分画像を該複数の画像として該メモリに格納するステップ、
該プロセッサが、該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップ、
該プロセッサが、該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択するステップ、
該プロセッサが、該選択するステップで選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させるステップ、
該プロセッサが、位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせするステップ、及び、
該プロセッサが、該位置合わせするステップにより位置合わせされた該複数の画像を１の統合画像に併合するステップを含む画像処理方法である。
請求項１１の発明は、請求項１０の発明に係る画像処理方法であって、
該ファクス装置は印刷装置を含み、
該プロセッサが該印刷装置を利用して該統合画像を出力するステップを含むことを特徴とする画像処理方法である。
請求項１２の発明は、請求項１１の発明に係る画像処理方法であって、
該プロセッサが、該統合画像を、印刷した時に一枚の紙片にうまく納まるように縮小するステップをさらに含むことを特徴とする画像処理方法である。
請求項１３の発明は、請求項１０の発明に係る画像処理方法であって、
該プロセッサはさらに通信回線と結合され、
該プロセッサが該統合画像を該通信回線により伝送するステップを含むことを特徴とする画像処理方法である。
請求項１４の発明は、請求項１３の発明に係る画像処理方法であって、
該プロセッサが、該結合画像を、印刷した時に一枚の紙片にうまく納まるように縮小するステップをさらに含み、該縮小するステップにより縮小後の該統合画像が該伝送するステップにより伝送されること特徴とする画像処理方法である。
請求項１５の発明は、請求項１３の発明に係る画像処理方法であって、
該統合画像を伝送するステップにおいて、該統合画像に併合された該複数の画像の相対位置を示す座標情報を伝送することを特徴とする画像処理方法である。
【００１３】
また、請求項１６の発明は、複数の画像の統合画像を生成する画像処理装置であって、
ユーザー入力装置、
ディスプレイ画面、
該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させる手段、
該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択する手段、
該選択する手段で選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させる手段、
位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせする手段、及び、
該位置合わせする手段により位置合わせされた該複数の画像を１の統合画像に併合する手段を有する画像処理装置である。
【００１４】
【発明の実施の形態】
図１は本発明に利用するのに適したコンピュータシステムの基本的サブシステムを示す。図１において、コンピュータシステム１０はバス１２を含み、これは主要なサブシステム、例えば中央プロセッサ１４、システムメモリ１６、入出力（Ｉ／Ｏ）コントローラ１８、プリンタ等の外部装置２０、パラレルポート２２、ディスプレイアダプター２６経由のディスプレイ画面２４、シリアルポート２８、キーボード３０及び固定ディスク３２を相互接続する。他にも多くの装置が接続されるかもしれない。例えば、スキャン装置３４が外部インターフェイス３６を介して接続され、マウス３８がシリアルポート２８を介して接続され、タッチスクリーン４０が直接接続される。これ以外の多くの装置又はサブシステム（不図示）が同様な方法で接続されるかもしれない。また、後述のように、本発明を実施するために図１に示した装置が全て必要なわけではない。これらの装置及びサブシステムを、図１に示した方法とは異なる方法で相互接続してもよい。図１に示すようなコンピュータシステムの動作は、当該技術分野において分かり切ったことであるので本出願では詳しく述べない。
【００１５】
図２は好適な一実施例のための構成２００を示しており、スキャナ２０２、ＣＰＵ２０６、ディスプレイ２０８、タッチスクリーン２１０及びプリンタ２１２を含む。この構成２００は例えばコピー機を実現するかもしれない。構成２００は、ファクス装置又はスキャナのハードウエアの一部であるかもしれない。本発明は、特大画像を少しずつ読み取らなければならないため特大画像の断片が入力される、どのようなシステムにも応用できる。
【００１６】
ディスプレイ２０８は液晶ディスプレイ（ＬＣＤ）画面でも、陰極線管（ＣＲＴ）画面でも、その他の種類のディスプレイ画面又はパネルでもよい。ディスプレイ画面は、ＣＲＴ画面つまりモニタを使用したパーソナルコンピュータやワークステーションのような標準的なコンピュータに用いられているものと同様である。各種のユーザー入力装置を本発明に使用できる。例えば、図２にはタッチスクリーン２１０が示されているが、ユーザーがその手の動きに応じてディスプレイ画面上に表示されたポインタを動かせるようにするマウス入力装置は標準的なユーザー入力装置の一つである。マウスは普通、表面に１個以上のボタンがあり、ユーザーはマウスを移動させることによりディスプレイ画面上のオブジェクトを指し示し、そして、マウスの１個又はそれ以上のボタンを押すことにより、そのオブジェクトを選択しあるいはアクティブにすることができる。タッチスクリーンによれば、ユーザーはディスプレイ画面上でオブジェクトを指して一つのオブジェクトを選択し、ディスプレイ画面上の別の点を指すことにより、その選択オブジェクトを移動させることができる。後述のように、マウス又はタッチスクリーンを利用してアクティブにされる各種のボタン及びコントロールをディスプレイ画面上に表示できる。
【００１７】
図３は本発明の方法を表すフローチャート１００を示す。
【００１８】
このフローチャートは本発明方法を遂行するためのステップの大まかな論理の流れを説明するものに過ぎないものであって、しかも、本発明の範囲を逸脱することなく、このフローチャートにステップを追加し、あるいはステップを取り除いてもよい。さらに、本発明の範囲を逸脱することなく、フローチャート中のステップの実行順序を変更してもよい。このフローチャートにより記述された方法を実施するにあたり、さらに検討すれば、ステップの選択及び順序の変更が必要になるかもしれない。
【００１９】
一般に、本明細書のフローチャートは図１のコンピュータシステムのようなコンピュータシステムにおいて走るソフトウエアのルーチンによって実行される１つ又はそれ以上のステップを含む。これらルーチンは当該技術分野において知られているどのような手段によって実現してもよい。例えば、”Ｃ”、パスカル、フォートラン、アセンブリ言語等々のどのようなコンピュータプログラミング言語を用いてよい。さらに、手続き型手法、オブジェクト指向型手法又は人工知能手法等の各種のプログラミング技法を採用してもよい。
【００２０】
フローチャートのステップは、１つ又はそれ以上のソフトウエアルーチン、プロセス、サブルーチン、モジュール等々によって実施されるであろう。割り込み、ポーリング、その他の実行機構等のいくつかの事由により、ステップがソフトウエアにより遂行される順序は左右されるかもしれない。マルチプロセシング又はマルチタスキングの環境なら、ステップを”並列に”実行できるであろう。
【００２１】
フローチャート１００にステップ１０２から入る。ステップ１０４において、特大の原画像が読み取られて２個またはそれ以上の断片となる。特大画像の一例は地図である。一般に、地図はたいていのコピー機、ファクス装置及びスキャナが受け付ける８．５インチ×１７インチの用紙サイズよりずっと大きい。コピー機の中には、それより大きな画像サイズが可能なものもあるが、１１インチ×１７インチよりはるかに大きなサイズを受け付けるコピー機は非常に高価であり、また、しばしば格別に訓練されたオペレータを必要とする。なお、特大画像は２枚またはそれ以上の紙片にまたがるかもしれない。画像断片の電子的表現を直接的に本発明システムへロードすることにより、画像断片を取得してもよい。この場合には、ステップ１０４はバイパスされる。他の方法によって特大の原画像から複数の画像断片を得ることも可能である。
【００２２】
ステップ１０６において、取得された画像断片データが本発明システムに入力される。普通、このステップの結果、画像断片データはシステムのメモリ又は他の記憶媒体に格納される。特大の原画像が読み取られる場合には、画像断片データはスキャナより取得され、後述するステップを実行するコンピュータシステムのメモリに転送される。
【００２３】
ステップ１０６が実行された後、画像断片をディスプレイ画面に表示させるためステップ１０８が実行される。ステップ１０８はプロセッサ１４により実行され、プロセッサ１４はメモリ１６に格納された画像断片の選択とディスプレイ画面２４への表示を制御する。
【００２４】
好適な実施例では、画像断片が全て一度にディスプレイ画面に表示される。複数の画像断片全部を同時にディスプレイ画面に表示するために、画像断片は縮小される。例えば、８．５インチ×１１インチ判の１ページは、一辺の大きさが１インチから２インチのオーダーの同一縦横比の矩形として表される。このディスプレイ画面上の画像の縮小は、画面の解像度が十分でなく画像断片の全部をある公称精細度で表示できない場合に必要となる。好適な一実施例においては、一つのページが縮小された時に、各ページの印刷情報の縮小画像もその縮小ページ上に表示されるため、各ページはその画像の様子とともに画面に見える。これにより、画面上でページを容易に識別できるようになる。
【００２５】
なお、画面上の各画像断片の形状は、読み取り又は他のソースより得られた画像断片の形状を近似する。すなわち、特大の原画像が矩形領域について読み取られた場合には、画像断片は、読み取った領域と同じ相対的寸法を持つ矩形領域としてディスプレイ画面に表示される。コピー機の場合、この寸法は一般に８．５インチ×１１インチ又は１１インチ×１７インチのページであり、適宜に縮小された矩形としてディスプレイ画面に表示される。しかし、スキャナが手持ち型スキャナの場合には、読み取りの”軌跡”が変わるであろうから、画像断片は細長い帯状であるか、その他の不揃いな形状である。読み取り軌跡の形状に関係なく、本発明は画面上の画像断片の表示において読み取り軌跡を近似できる。
【００２６】
ディスプレイ画面は、画像断片の一部を拡大した概略画像によってユーザが画像断片を識別できるよう十分高い解像度を持たなければならない。特大原画像の文字が比較的小さい場合、文字を判読可能であることが特に望ましい。後述のように、本発明は、画像断片に含まれる画像部をより詳しく見るために画像断片を”ズームイン”することができる。
【００２７】
ステップ１１０〜１１６は、画像断片を操作して一つの統合画像を作るためにユーザーが実行するステップを記述するループを構成する。ステップ１１０において、ディスプレイ画面上の一つの画像断片を選択する。ユーザー入力装置がマウスの場合、ユーザーはディスプレイ画面上のポインタを選びたい画像の上に移動させることによってステップ１１０を実行することになろう。当該分野において知られていることであるが、ユーザーはマウスを操作することによりポインタを動かす。ポインタが希望する画像断片の上に来たならば、ユーザーはマウスのボタンを押してその画像断片を選択する。ステップ１１０及びステップ１１２，１１４等の他のステップを実行するために、他の様々なユーザー入力装置を利用してもよい。例えば、トラックボール、いわゆる”ポイントパッド”、データグローブ、デジタイズタブレット等々を利用できる。好適な一実施例はタッチスクリーンを使用し、したがってユーザーは手指又はスタイラス等の他の物でディスプレイ画面のタッチ領域を指示することができる。タッチスクリーンを用いるとマウスの操作のための平面を設ける必要がなくなるため、本発明システムを小型化できるであろう。
【００２８】
次に、ユーザーがディスプレイ画面上で選択された画像断片を新たな位置へ移動できるようにするためステップ１１２が実行される。タッチスクリーンが用いられる場合、ユーザーは画像断片の新たな位置をポイント指定し、あるいは、タッチスクリーン上で手指の位置を移動することにより画像断片を”ドラッグ”することができる。マウスがユーザー入力装置ならば、ユーザーはマウスによりディスプレイ画面上のポインタを移動させ、ポインタと一緒に選択された画像断片をドラッグさせることによって、ステップ１１２を実行できる。ユーザーは選択した画像断片を希望する位置へ移動させてステップ１１４を実行し、その結果、選択された画像断片が放され、すなわち”ドロップされ”、その新たな位置を占める。
【００２９】
ステップ１１６は、必要に応じてステップ１１０〜１１４の繰り返しを指示する。したがって、ユーザーは画面上に画像断片を自在に配置できる。画像断片操作の目的は、ユーザーが容易に画面上で画像断片を結合し、それら画像断片で元の特大画像を作ることができるようにすることである。ディスプレイ画面に全部の画像断片が同時に表示される必要はないが、全部が同時に表示されるほうが画像断片の操作が容易になるので好ましい。画像断片を他の画像断片の上に重ねることができ、あるいは、異なった画像断片のエッジを隣接させることができる。
【００３０】
画像断片を透明にすることもできる。そうすることにより、ユーザーは他の画像断片の下にある画像断片を見ることができ、また、画像断片の読み取りの揺らぎで望ましくない不均一な背景を生じてもユーザーインターフェイスは均一な背景を生成できる。望ましくない不均一な背景が発生するのは、例えば、工学に関する図表、青写真又は製図がもともと均一な背景をしているが、ディジタルスキャナの不正確な自動利得制御によりグレー検出レベルがばらつくために、それらを読み取った画像断片の背景が変動する場合である。線、記号、文字等を含んだ前景情報を保存しつつ（グレーレベルが変動する）背景を透明にすることにより、本発明のユーザーインターフェイスは均一な背景を生成することができ、より視認性のよい快適な画像をユーザーに提供する。
【００３１】
ユーザが画像断片の操作を終えたならば、ステップ１１０〜１１６のループから抜けてステップ１１８が実行される。ステップ１１８は、ディスプレイ画面上の画像断片の現在の位置関係に従って、画像断片を位置合わせして一つの統合画像とする。好適な一実施例では、ステップ１１８はユーザーの選択により呼び出される。ユーザーは、ある所定のユーザーインターフェイス制御をアクティブにすることにより、例えば、ディスプレイ画面上のある”ボタン”をアクティブにすることにより、ディスプレイ画面上の現在の画像断片配置関係での画像断片の位置合わせを選択することができる。画像断片を位置合わせする制御をアクティブにすると、プロセッサが各画像断片の相対位置を計算するための命令を実行する。ユーザーが画像断片をそれらからなる一つの統合画像に”併合”できるようにするもう一つの制御が用意されている。この併合動作は、位置合わせ動作によって計算された相対位置を使って統合画像を獲得する。このように、好適な一実施例においては、位置合わせと併合の２ステップを要する。しかしながら、説明を簡単にするため、本明細書において、”位置合わせ”は通常、併合動作を含むとみなされる。
【００３２】
位置合わせを達成する簡単な方法は、ディスプレイ画面上における各画像断片の相対的位置の座標を利用することである。すなわち、ユーザーによる位置決め以上には格別な自動位置合わせをしないということである。大抵の場合、これで十分である。というのは、後述のように、ユーザーは、統合画像を得るため画像断片を正確に整列、位置決め及び併合をする時に手助けをする各種ツールを提供されるからである。
【００３３】
自動的な位置合わせが要求される場合、本発明は、例えば、ある画像断片のエッジから別の画像断片の隣接エッジへシェイプやオブジェクト等を整列させる方法に関し、プロセッサが予め決められたアルゴリズムに基づいて判断するコンピュータ化された位置合わせも考慮にいれている。上記のシェイプやオブジェクト等とは、２つ以上の画像断片にまたがって分解されてしまった個々の絵である。例えば、１本の線分が第１の画像断片から第２の画像断片まで延びていて、ユーザーが、その線分を横切る第１の画像断片のエッジを、その線分を同じく横切る第２の画像断片のエッジに隣接させた場合に、プロセッサは線分の分割端が可能な限り正確に接続するよう画像断片を”精密調整”させる命令を実行する。各画像断片の特別な”基準点”つまり見当マークを利用し、基準点が正確に重なり合うように画像断片を整列させることにより、他の自動化位置合わせ方式も可能である。現在の画像断片を超えて特徴を延長する画像データの外挿法、あるいは、２つの画像断片の間の画像データを推定する内挿法も利用できるであろう。また、併合後の統合画像の品質向上のために”平滑化”その他の画像改善法を利用してもよい。例えば、画像の平滑化又は平均化は、２つの画像断片の接続点が正確に一致せず、顕著なエッジや本来存在しないものが生じた場合に有効であろう。
【００３４】
ついで、画像断片が位置合わせされた後に、それら画像断片を一つの統合画像に併合するステップ１１９が実行される。好適な一実施例においては、この画像断片併合ステップは、位置合わせ画像に包含された画像断片それぞれの情報を内容とする一つのデジタルファイルを生成する。このファイルはメモリ又は磁気ディスクのような不揮発性記憶装置に記憶される。このファイルは様々な形式をとり得る。例えば、位置合わせ画像の単純なビットマップ表現とすることができる。ファイルが、画像断片を個別のオブジェクトとして格納し、それとともに各画像断片の位置合わせ画像内での配列に関する情報を格納することも可能である。これ以外のファイル形式も可能である。
【００３５】
統合もしくは併合された画像はステップ１２０で出力される。統合画像出力の例を挙げれば、標準的な紙片に統合画像を縮小印刷する、大きな紙片に統合画像をフルスケールで印刷する、統合画像を他の装置へ電子的に転送する、統合画像を記憶する、等々である。統合画像を出力したならば、図２のフローチャート１００により記述された方法はステップ１２２で終わる。
【００３６】
なお、フローチャート１００のステップは、例えば既存の統合画像にさらに画像断片を追加するため、選択的に繰り返してもよい。追加する画像断片は、初めの統合画像が前述のようにして生成された後にステップ１１０で選択させることができる。そして、この追加の画像断片は、必要に応じて移動され、ドロップされ、位置合わせされ、併合されて、既存の統合画像に追加される。
【００３７】
ファクス装置への応用においては、受信側又は送信側のファクス装置でユーザーが複数枚の紙で与えられる画像断片のドラッグ、ドロップ、併合その他の操作をできるようにすると本発明は特に有効である。例えば、送信側ファクス装置で、原画像の一つの部分画像をそれぞれ含む複数の紙片を読み取る。それらの画像断片を、受信側ファクス装置へ送信する前に、フローチャート１００で前述したように処理して一つの統合画像を得る。そして、それら画像断片は、受信側ファクス装置のプロセッサが自動的に原画像を再生できるようにするための座標情報と一緒に送信される。
【００３８】
再生画像は、受信側ファクス装置の操作者によってさらに操作するためディスプレイ画面に表示することができる。例えば、受信側ファクス装置の操作者は、受信画像を１枚の紙に納まるよう縮小してから印刷したいと思うかもしれない。あるいは、受信側の操作者は、受信画像を複数枚の紙に配列し直してから印刷したいと考えるかもしれない。受信側の操作者が原画像の電子画像を統合画像としてアクセスできるようにすることにより、その操作者は画像受信に関しより大きなフレキシビリティを与えられる。同じように、送信側の操作者は例えば統合画像を縮小してから送信したいと考えるかもしれない。
【００３９】
図４は本発明のユーザーインターフェイスの画面表示を示す。図４において、画面表示３００は作業領域３０２を含むが、これは基本的にはタイトルバー３０４を除いた画面全部を占める。画面右側に、処理（ＰＲＯＣＥＳＳ）ボタン３０６、レイアウト（ＬＡＹＯＵＴ）ボタン３０８、出力（ＯＵＴＰＵＴ）ボタン３１０、終了（ＤＯＮＥ）ボタン３１２等のボタンが作業領域３０２上にオーバーレイされている。インジケーター３１４も作業領域３０２の上部の幾分かのスペースを占めている。
【００４０】
図５は画像断片がシステムにロードされた後の画面表示３４０を表す。すなわち、図５に示す画面表示３４０は、図３のフローチャート１００のステップ１０４〜１０８が実行された後に現れるであろう。図５では、６個の矩形のページ断片が２行３列に任意配置されている。図５から分かるように、インジケーターとボタンはディスプレイ画面に表示されたページの上にオーバーレイされる。
【００４１】
図６は図５に示された画像断片を互いに空間的に対応するように移動させた後の画面表示３５０を表している。つまり、図６は図３のフローチャートのステップ１１０〜１１６が実行された後の画面表示３５０を表している。図６においては、ユーザーはページ断片の操作を終わっており、したがってページは特大原画像を再現するよう相互配列されている。なお、図６においては統合画像を得るためにページが重なり合った状態で示されている。本発明の他の実施例では、ページのエッジが重なり合うことなく接するようページのエッジを切り取ること考慮してもよいであろう。
【００４２】
ページが重なり合わずに相互に接するような応用の一例は、本の複数のページが読み取られてシステムにより操作される場合である。そのシステムのユーザーは、複数のページを位置合わせし併合して単一の合成画像にすることができるであろう。読み取られたページの大きさがスキャナで扱われる標準的なページより小さい場合、例えば、本のページがコピー機で読み取られる標準的な８．５インチ×１１インチのページより小さい場合に、有用なツールの一つは”ボックスマスク”（box mask）であり、これによれば、ユーザーはユーザーインターフェイス内の読み取り画像を囲む枠を定義することにより所望の画像の周りの不要なエッジ領域を切り落とすことができる。標準的なデスクトップパブリッシング用コンピュータプログラムに見つかるどのようなカット・アンド・ペーストツールでも、画像断片を操作する上でより高いフレキシビリティをユーザーに与えるため本発明のＧＵＩと一緒に使用することができる。
【００４３】
図７は図６の操作後ページが一つの統合画像へと”位置合わせ”又は”併合”された後の画面表示３６０を表している。なお、併合画像を矩形領域にぴっちりはめ込むため、併合操作により白スペースができる。矩形領域を埋めるために用いられる白スペースの一例が符号３６２の白スペースである。あるいは、いずれかの画像の背景色又はパターンを矩形領域の空所を埋めるために用いてもよい。
【００４４】
図８は画面表示３７０を表し、また本発明のズーム機能を例示している。このズーム機能は、図３のフローチャート１００のステップ１１０〜１１６においてユーザーが画面上で画像断片を操作している時に利用される。ユーザーが図６の画面表示３５０を提示されれば、ユーザーはズームしたい領域の範囲を指定できる。そのような領域の範囲指定の一方法は、ポインティングデバイス（例えばタッチスクリーンやマウス）を用いて矩形の向かい合うコーナーをポイント指定する方法である。そして、ユーザーは図６のズーム（ＺＯＯＭ）ボタン３７２をアクティブにしてズーム機能を選択する。
【００４５】
ズーム機能をアクティブにすると、ユーザーは図８の画面表示３７０と同様の表示を提示される。図８において、範囲指定された画像部分３７４が拡大されるため、その領域のより詳しい内容がズームウインドウ３７６内に見える。他の方法によってズーム機能を実現することも可能である。例えば、拡大画像をディスプレイ画面の作業領域全体に表示することも可能である。範囲指定される領域は矩形以外でもよい。ユーザーの画像断片の併合操作を手助けするためのその他の機能は、ディスプレイ画面上で画像断片を回転させる回転（ＲＯＴＡＴＥ）ボタン３７８と、位置合わせ（ＲＥＧＩＳＴＥＲ）ボタンである。位置合わせボタンは画像断片を正確に空間的に対応せしめる。回転機能は、画像断片の最適な整列を順次に決定し、あるいは画像断片の最適な整列を一括して決定する一組の機能として実現されてもよい。画像はコンピュータシステムのディスク記憶装置に保存されても、コンピュータのメモリに保存されてもよい。画像が大きい場合には、仮想メモリが必要かもしれない。
【００４６】
削除（ＤＥＬＥＴＥ）ボタン３８０は画像断片を画面から除去する。好適な一実施例においては、一番上の画像断片が除去される。この一番上の画像断片は、画像を例えば最近利用された順に管理する”プライオリティ・キュー”に基づき決定される。あるいは、他の全ての画像断片の”上にある”とユーザーの画像断片操作により決められた画像断片を、削除される画像断片としてもよい。ページ（ＰＡＧＥ）ボタンは、利用可能な紙サイズに画像を”ベストフィット”させる操作を行う。この時、縮小（ＲＥＤＵＣＥ）ボタンが選ばれると、マシーン上で利用可能なページサイズに画像が縮小される。ユーザーは、セーブ（ＳＡＶＥ）ボタン３９０を選択することにより、いつでも画像断片の操作状態をセーブすることができ、また、印刷（ＰＲＩＮＴ）ボタン３９２の選択することによりディスプレイ画面に表示されている通りに現在の画像断片の配置状態を印刷することができる。
【００４７】
図９は併合画像の最適化されたページレイアウトを示す。図９は、ユーザーがページボタンを選択すると生成される。ページボタンが選択されることにより、本発明のシステムは、図９に水平方向丁付マーク４０２，４０４と垂直方向丁付マーク４０６のような丁付マークで示されるような最適化ページレイアウトを自動的に決定する。システムは、統合画像が印刷されるページの数、位置及び向きを調整することにより、できる限り少ないページ数の紙に統合画像を納めるよう努める。
【００４８】
図１０は、ユーザーが縮小ボタンをアクティブにしてシステムに、併合画像を単一ページの紙にフィットさせる縮小機能の結果を表す。
【００４９】
以上、本発明を特定の実施例に関して説明したが、特許請求の範囲に定義された本発明の範囲から逸脱することなく様々に変形できることは明らかである。例えば、本発明を実施するために各種のプログラミング言語及び手法を利用できる。また、本発明における課題を達成するための具体的な論理は、本発明の範囲を逸脱することなく、変更し得るものである。このような多くの変更又は修正は、当業者には容易に明らかになろう。よって、本明細書及び図面は本発明を限定するものではなく説明のためのものと考えられるべきであり、本発明は特許請求の範囲に記載された各請求項によってのみ限定されるものである。
【００５０】
【発明の効果】
以上に詳細に説明したように、本発明によればコピー機、ファクス装置、スキャナ等の各種画像処理装置を利用して大きな文書等の画像を扱う際のユーザーの作業を簡略化、効率化できる効果を得られる。すなわち、マウスやタッチスクリーン等を利用し、ディスプレイ画面上で画像断片のドラッグ、ドロップ、併合の操作をすることにより、容易に画像断片の位置合わせを行うことができ（請求項１，３，４，１６）、スキャン装置が扱うことができないような大きな画像を複数の画像断片に分割して入力し、その画像断片を簡単な操作で位置合わせして元の画像を組み立てることができ（請求項２）、またその再生画像のハードコピーを得ることができ（請求項５）、画像断片を透明にすることにより、ディスプレイ画面上で重なった画像断片を同時に見ながら操作することができ、入力された画像断片の背景が不均一な場合でも均一な背景の視認性のよい画像を表示することができ、また、必要な画像断片を拡大してその詳細な内容を確認することができるため、画像断片の操作性が向上し（請求項６，７）、画像断片の重なりによる不要なエッジパターンのない画像を再生できる（請求項８，９）。ファクス装置において、簡単な操作により、画像断片から大きな原画像を組み立てることができ（請求項１０）、複数の画像断片から元の大きな画像を再生して印刷することができ（請求項１１）、また、その再生画像を１枚の紙に納まるように縮小して印刷することができる（請求項１２）。ファクス装置において、一度に読み取ることができないような画像を送信することができ（請求項１３）、一度に読み取ることができないような大きな画像を受信側で１枚の紙に印刷できるように縮小して送信することができ（請求項１４）、また、画像断片の相対位置情報を送信することにより受信側で画像の自動組み立てが可能になる（請求項１５）、等々の効果を得られるものである。
【図面の簡単な説明】
【図１】 本発明に利用するのに適したコンピュータシステムの基本的サブシステムを示すブロック図である。
【図２】 本発明の好適な一実施例のためのサブシステムの構成を示す図である。
【図３】 本発明の方法を表すフローチャート１００である。
【図４】 本発明のユーザーインターフェイスの最初の画面表示を示す図である。
【図５】 本発明のユーザーインターフェイスの２番目の画面表示を示す図である。
【図６】 ６個の画像断片を操作した状態の本発明のユーザーインターフェイスの３番目の画面表示を示す図である。
【図７】 画像断片を併合した状態の本発明のユーザーインターフェイスの４番目の画面表示を示す図である。
【図８】 本発明のユーザーインターフェイスの５番目の画面表示を示す図である。
【図９】 本発明のユーザーインターフェイスの６番目の画面表示を示す図である。
【図１０】 本発明のユーザーインターフェイスの７番目の画面表示を示す図である。
【符号の説明】
１０ コンピュータシステム
１２ バス
１４ 中央プロセッサ
１６ システムメモリ
１８ 入出力（Ｉ／Ｏ）インターフェイス
２０ 外部装置（プリンタ等）
２２ パラレルポート
２４ ディスプレイ画面
２６ ディスプレイアダプター
２８ シリアルポート
３０ キーボード
３２ 固定ディスク
３４ スキャン装置
３６ 外部インターフェイス
３８ マウス
４０ タッチスクリーン
２０２ スキャナ
２０４ メモリ
２０６ ＣＰＵ
２０８ ディスプレイ
２１０ タッチスクリーン
２１２ プリンタ
３０２ 作業領域
３０４ タイトルバー
３０６ 処理ボタン
３０８ レイアウトボタン
３１０ 出力ボタン
３１２ 終了ボタン
３１４ インジケーター
３６２ 白スペース
３７２ ズームボタン
３７６ ズームウインドウ
３７８ 回転ボタン
３８０ 削除ボタン
３９０ セーブボタン
３９２ 印刷ボタン
４０２，４０４，４０６ 丁付マーク

Claims (16)

1. ユーザー入力装置及びディスプレイ画面と結合されたプロセッサを含むコンピュータシステムにおいて複数の画像の統合画像を生成する画像処理方法であって、
   該プロセッサが、該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップ、
   該プロセッサが、該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択するステップ、
   該プロセッサが、該選択するステップで選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させるステップ、
   該プロセッサが、位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせするステップ、及び、
   該プロセッサが、該位置合わせするステップにより位置合わせされた該複数の画像を１の統合画像に併合するステップを含む画像処理方法。
2. 該コンピュータシステムはスキャン装置と結合され、
   該スキャン装置を利用して原画像を２以上の部分画像に分割して読み取り、該２以上の部分画像を該複数の画像として該コンピュータシステムに入力するステップを含むことを特徴とする請求項１記載の画像処理方法。
3. 該ユーザー入力装置はボタンを持つマウスを含み、該プロセッサは、該１の画像を選択するための信号、及び、該選択された画像を任意の位置へ移動させるための信号を該マウスより受け取ることを特徴とする請求項１記載の画像処理方法。
4. 該ユーザー入力装置はタッチスクリーンを含み、該プロセッサは、該１の画像を選択するための信号、及び、該選択された画像を任意の位置へ移動させるための信号を該タッチスクリーンより受け取ることを特徴とする請求項１記載の画像処理方法。
5. 該コンピュータシステムは該プロセッサに結合された印刷装置をさらに有し、
   該プロセッサが、該統合画像を利用して該原画像の少なくとも一部分の再生画像を１枚以上の紙片に該印刷装置により印刷させるステップを含むことを特徴とする請求項２記載の画像処理方法。
6. 該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップにおいて、表示される少なくとも１の画像の少なくとも一部分については、その前景情報を保存しつつ背景を透明に表示することを特徴とする請求項１記載の画像処理方法。
7. 該プロセッサが該ディスプレイ画面に表示されている画像を拡大するステップをさらに含むことを特徴とする請求項１記載の画像処理方法。
8. 該プロセッサがユーザーに指定された多角形枠を用いて該複数の画像のそれぞれの不要部分を切り取るステップをさらに含むことを特徴とする請求項１記載の画像処理方法。
9. 該プロセッサがユーザーに指定された任意の枠を用いて該複数の画像のそれぞれの不要部分を切り取るステップをさらに含むことを特徴とする請求項１記載の画像処理方法。
10. ユーザー入力装置、メモリ及びディスプレイ画面に結合されたプロセッサを含むファクス装置において複数の画像の統合画像を生成する画像処理方法であって、
    該ファクシミリが、１の原画像の複数の部分画像を該複数の画像として該メモリに格納するステップ、
    該プロセッサが、該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させるステップ、
    該プロセッサが、該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択するステップ、
    該プロセッサが、該選択するステップで選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させるステップ、
    該プロセッサが、位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせするステップ、及び、
    該プロセッサが、該位置合わせするステップにより位置合わせされた該複数の画像を１の統合画像に併合するステップを含む画像処理方法。
11. 該ファクス装置は印刷装置を含み、
    該プロセッサが該印刷装置を利用して該統合画像を出力するステップを含むことを特徴とする請求項１０記載の画像処理方法。
12. 該プロセッサが、該統合画像を、印刷した時に一枚の紙片にうまく納まるように縮小するステップをさらに含むことを特徴とする請求項１１記載の画像処理方法。
13. 該プロセッサはさらに通信回線と結合され、
    該プロセッサが該統合画像を該通信回線により伝送するステップを含むことを特徴とする請求項１０記載の画像処理方法。
14. 該プロセッサが、該結合画像を、印刷した時に一枚の紙片にうまく納まるように縮小するステップをさらに含み、該縮小するステップにより縮小後の該統合画像が該伝送するステップにより伝送されること特徴とする請求項１３記載の画像処理方法。
15. 該統合画像を伝送するステップにおいて、該統合画像に併合された該複数の画像の相対位置を示す座標情報を伝送することを特徴とする請求項１３記載の画像処理方法。
16. 複数の画像の統合画像を生成する画像処理装置であって、
    ユーザー入力装置、
    ディスプレイ画面、
    該複数の画像中の２以上の画像の少なくとも一部分を同時に該ディスプレイ画面に表示させる手段、
    該ディスプレイ画面に表示されている１の画像を選択するための信号を該ユーザー入力装置より受け取り、該選択するための信号に応じて該１の画像を選択する手段、
    該選択する手段で選択された画像を該ディスプレイ画面上の任意の位置へ移動させるための信号を該ユーザー入力装置より受け取り、該移動させるための信号に応じて該選択された画像を移動させる手段、
    位置合わせを指示する信号を該ユーザー入力装置より受け取り、該位置合わせを指示する信号に応じて該複数の画像の相対位置を計算し、該複数の画像を位置合わせする手段、及び、
    該位置合わせする手段により位置合わせされた該複数の画像を１の統合画像に併合する手段を有する画像処理装置。

Images