JP4444545B2

JP4444545B2 - 画像結合装置

Info

Publication number: JP4444545B2
Application number: JP2002013954A
Authority: JP
Inventors: 裕幸 ▲高▼倉; 憲一郎酒井; 嗣男野田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-01-23
Filing date: 2002-01-23
Publication date: 2010-03-31
Anticipated expiration: 2022-01-23
Also published as: JP2003216944A

Description

【０００１】
【発明の属する技術分野】
本発明は、スキャナ等の画像入力装置より複数回に分けて取り込んだ多値画像を合成するための装置に関する。
【０００２】
【従来の技術】
近年、据え置き型のフラットヘッドスキャナに加え、持ち運びが容易な手動操作型の小型ハンドヘルドスキャナが開発、製品化されている。ハンドヘルドスキャナは本体が小型であるため一度にスキャンできる画像の幅が狭い。従って、スキャナ幅を超える大きな画像を取り込むためには、画像を複数回に分けて取り込み、合成する必要がある。
【０００３】
複数回に分けて取り込んだ画像を結合する技術は幾つか存在する。例えば、デジタルカメラなどを用いて画像を複数回に分けて取り込み、その後、アプリケーション上で画像を結合することで、大きな画像を生成するパノラマ写真などがある。
【０００４】
【発明が解決しようとする課題】
フルカラーの画像を結合するには、処理に必要なメモリ容量、処理時間が大きいといった問題がある。例えば、スキャナを用いて３００ｄｐｉ、フルカラー、Ａ６サイズの設定で読み取った画像のデータサイズは約６Ｍｂｙｔｅにもなり、２枚の画像を結合するには多くのメモリ容量と処理時間を要する。ＰＣの処理能力は向上しているが、より画質を向上するため、画像のデータ量も増加しており、メモリ容量、処理時間の低減は必須である。
【０００５】
本発明の課題は、入力画像がフルカラーであっても、処理に必要なメモリ容量を削減し、高速かつ自動的に２以上の画像を結合することができる画像結合装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明の画像結合装置は、複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合装置であって、入力された複数の画像に文字が含まれているか否かを検出し、文字が含まれている場合には、文字認識を行う文字検出認識手段と、該入力された複数の画像に文字が含まれている場合に、文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチング手段と、該入力された複数の画像に文字が含まれていない場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチング手段と、該文字コードパターンマッチング手段あるいは、画素パターンマッチング手段のパターンマッチングの結果に基づいて、該入力された複数の画像を結合する画像結合手段とを備えることを特徴とする。
【０００７】
本発明によれば、画像を結合する際に、画像に文字が含まれているか否かを自動で検出し、文字が含まれている場合には、文字認識をして、文字認識の結果の文字コードについてパターンマッチングをして、画像を結合するので、入力された画像に一律に、画素毎の色成分のパターンマッチングを行う従来の装置に比べ、必要とされるメモリ容量や、処理時間を節約できる。また、構成もシンプルに構成できるので、安価な装置を提供できる。
【０００８】
【発明の実施の形態】
本発明の実施形態では、画像結合装置を以下のように構成する。
すなわち、画像結合装置は、光学的に読み取られた情報を光電変換して画像データとして入力する画像入力手段と、読み取った画像データ中に、文字データが存在するか否かを検出する文字検出手段と、文字データが存在すれば、文字データを利用したパターンマッチングを行い、複数個の画像を結合する含文字画像結合手段と、文字データが存在しなければ、画素同士のパターンマッチングを行い、複数個の画像を結合する非含文字画像結合手段とを備える。
【０００９】
スキャナやデジタルカメラなどから読み取った画像データの多くは、ＲＧＢ色成分を持つ多値画像（フルカラー）もしくは、階調成分を持つモノクロ多値画像（グレースケール）であり、これら多値画像を画像処理するには非常に多くのメモリ容量と処理時間を要する。
【００１０】
例えば、画像処理の一つに、スキャナ幅を超える大きな紙面を読み取るため、紙面を複数回に分けて取り込み、アプリケーション上で自動合成するといった処理が挙げられる。また、最近では、デジタルカメラを用いて、より大きな景色を取り込むため、景色を複数回に分けて取り込み、アプリケーション上で自動合成するパノラマ撮影などがある。これらの処理は、複数の多値画像を自動結合する処理であり、非常に多くのメモリ容量と処理時間が必要となる。
【００１１】
本発明の実施形態では、入力画像がフルカラーであっても処理に必要なメモリ容量を削減し、高速かつ自動的に２つの画像を結合する画像結合装置を提供する。
【００１２】
図１は、本実施形態による画像結合装置の基本構成を示す図である。
ハンドヘルドスキャナ等で読み取った画像は画像入力手段１によって画像結合装置に入力される。入力された画像に対しては、文字検出手段２によって、文字が存在するか否かが調べられる。ここで、入力された画像は、文字を含む文書画像と、文字を含まない写真画像に分類される。雑誌や新聞、報告書など、スキャナで読み取る画像の多くは、文字データが含まれている。また、従来デジタルカメラで入力した文書画像などは、接写距離にもよるが大抵の場合、画素数が足りないため、見にくいと言った問題や、文字認識などの処理には適さないといった問題があった。しかし、近年、デジタルカメラの高画素化により文書画像の入力が増加してきている。
【００１３】
文字検出された画像に対しては、補正情報検出手段３において、分割されて入力された画像をどのように結合すべきかを決定する情報が取得される。入力された画像が文字を含む文書画像である場合には、文字認識を行い、各画像における認識された文字を対応させることによって、どのように結合させるかを決定する。また、入力された画像が写真画像である場合には、各画像の画素毎の色成分のパターンマッチングを行い、どのように各画像を結合するかを決定する。このようにして決定された画像をどのように結合すべきかを示す補正情報は、画像結合手段４に、各画像と共に入力され、実際に画像結合が行われる。画像結合手段４の処理結果が求める結合画像である。
【００１４】
文書画像を自動結合する方法として、特願平１１−１１１７０８号に記載された技術が挙げられる。この手法は、入力画像に含まれる文字データを文字認識し、得られた文字コードの順序、一致度を比較することで、高速に２つの画像の重なり位置を検出することができる。そのため、画素の色成分のパターンマッチングから画像の重なり位置を自動検出する写真画像の自動結合機能と比較すると、処理に必要なメモリ容量を低減し、処理時間を大きく短縮することができる。
【００１５】
図２は、写真画像の結合方法を説明する図である。
デジタルカメラやスキャナで複数に分割して読み取った写真画像の結合の仕方は、図２が示すように４通りとなる。４通りの全てに対して画素の色成分のパターンマッチングを行って、重なり位置の検出を行うと、非常に多くのメモリ容量、処理時間を要する。そこで、従来のアプリケーションに搭載されている多くの画像結合機能では、処理時間の問題から、ユーザが結合面を指定する手法を取っている。しかし、画像結合装置としては、画像結合するための結合面の検出は、自動であることが望ましい。そこで、本実施形態が示すように、画像が文字を含む場合には、文字認識を利用した重なり位置の検出手法を用いれば、高速処理が可能となる。
【００１６】
そこで、本実施形態に於いては、入力した画像の中から文字データを検出し、文字データを含んでいれば、文字データを利用したパターンマッチング（文書画像結合）を行い、２つの画像の重なり位置の検出を行う。文字データを含んでいなければ、画素の色成分のパターンマッチングから２つの画像の重なり位置の検出及び結合（写真画像結合）を行うようにする。
【００１７】
以上の処理により、写真画像の場合には、文字が含まれていようがいまいが、一律に画素毎の色成分のパターンマッチングを行う、従来の画像結合に比べて、本実施形態の場合には、高速に画像の自動結合を行うことができる。
【００１８】
文書画像の自動結合機能には、特願平１１−１１１７０８号等に記載されている技術を用いる。写真画像の自動結合機能には、特願２００１−１０７５３２号などに記載されている技術を用いる。
【００１９】
文書画像の結合では、画像に含まれる文字データを文字認識を利用して文字コードに変換し、２つの画像から検出した文字コードを比較することで、画像の重なり位置を高速に検出することができる。しかし、入力画像によっては、文字認識した結果、高い認識精度を得られず、重なり位置を検出することができない場合がある。
【００２０】
そこで、文字認識を利用した重なり位置検出で重なり位置を検出できなければ、画素の色成分のパターンマッチングから２つの画像の重なり位置の検出を行うことで、画像結合の成功率の低下を防ぐようにする。
【００２１】
多値画像の画像処理は、非常に多くのメモリ容量、処理時間を要するため、文字を含む画像における文字データの検出には２値画像を用いる。入力画像が多値（フルカラー、グレースケール）画像であれば、２値化し、２値画像から文字データの検出を行うことで、低メモリ、高速動作を実現する。
【００２２】
画像中に含まれる文字データの検出には、文字認識を用いる。文字認識した結果、確信度がある一定値以上となる文字数をカウントする。
文書画像の自動結合機能では、２つの画像に含まれる文字を文字認識し、文字認識から得られた文字コードの一致を取り、両画像の重なり部分を検出する。また、このとき、文字コードの一致判定を文字領域毎（本実施形態では行単位）で行う。ここで、認識結果の高い文字コードを、ある一定個数以上含んでいなければ、一致判定を行うことができないと判断することとする。
【００２３】
そのため、抽出した領域を文字認識し、確信度がある一定値以上となる文字の個数をカウントし、文字の個数がある一定個以上となるかを判別する。文字の個数がある一定個以上となれば、文書画像自動結合機能を利用可能となるため、入力画像が文書画像であるか、写真画像であるかの判別を行うことができる。
【００２４】
次に、画像の中から特定の条件を満たす画像領域を抽出する。領域抽出に用いる画像は多値画像でも白黒２値画像でもどちらでもよい。２値画像を用いれば、低メモリ、高速動作を実現できる。
【００２５】
特定の条件を満たす領域として、例えば、２値画像の中から、ある一定幅を持つ、白画素に囲まれた領域を抽出する。
図３は、特定条件を満たす領域の文字認識への利用方法を説明する図である。
【００２６】
図３に示すように、抽出した領域の横幅をａ、縦幅ｂとする。このとき、ｈｍｉｎ＜ａ＜ｈｍａｘ、ｖｍｉｎ＜ｂ＜ｖｍａｘの範囲にある領域を抽出する。ここで、ｈｍｉｎは、抽出した領域の横幅の下限閾値であり、ｈｍａｘは、抽出した領域の横幅の上限閾値である。同様に、ｖｍｉｎ、ｖｍａｘは、それぞれ、抽出した領域の縦幅の下限及び上限閾値である。例えば、図３中の、行１は範囲の中にあり、行２は範囲外となり、行１のみを抽出する。
【００２７】
すなわち、この領域の判定処理により、行２のように罫線など、文字ではない部分を文字認識を行う領域から排除し、正しく文字を含む領域のみに対して文字認識を行うようにする。これにより、罫線などについて文字認識処理を行うなどの無駄な処理を排除することができるので、処理データ量を削減することができる。
【００２８】
また、このように文字認識を行う前に前処理として領域抽出を行うと、抽出した領域がなければ、文字データが存在しないとみなすことができるため、高速に文字データの検出を行うことができる。
【００２９】
また、領域の中に含まれる黒画素の数と白画素の数を求め、領域中の黒画素の割合を求めるようにする。図３に示すように、行単位で領域を抽出した場合、行１の中には黒画素がある一定の割合で存在する。仮に、罫線を文字領域とみなして抽出したとしても、黒画素の割合を求めれば、文字領域ではないことが分かる。そのため、領域検出精度を向上することができる。この場合には、黒画素の割合として、適切な閾値を設定しておき、閾値で示される範囲内に黒画素の割合が入った場合に文字領域であると判断することができる。
【００３０】
そして、前述の手法で抽出した領域を文字認識すれば、画像全体を文字認識する必要がないため、高速かつ高精度に画像に含まれる文字データの存在を検出することができる。
【００３１】
図４は、文字データを利用したパターンマッチングによる画像結合処理の説明をする図である。
本実施形態では、入力画像に含まれる文字データを文字認識し、得られた文字コードを比較することで、画像の重なり位置を検出する。文字コードを利用して重なり位置を検出することで、画素（色成分）のパターンマッチングによる重なり位置検出方法と比較し、処理に必要なメモリ容量を低減し、非常に高速な処理を行うことができる。文書画像を自動結合する方法として、特願平１１−１１１７０８号に記載の技術を用いる。
【００３２】
図５は、画素の色成分を用いたパターンマッチングによる重なり位置検出処理を説明する図である。
この手法は、画素の色成分を用いてパターンマッチングを行うため、図４の画像結合処理と比較して、非常に多くのメモリ容量と処理時間を要する。しかし、図４の画像結合処理では文字データを含んだ画像のみ対応しており、図５の手法ならば文字データを含まない画像であっても結合することができる。また、図５の手法では、文字データを含んでいても、重なり位置の検出は可能であるため、文字データを利用したパターンマッチングによる画像結合手法で、重なり位置の検出に失敗したとしても、図５の画像結合手法を用いて重なり位置を検出することができる。
【００３３】
図６は、本発明の実施形態に従った画像結合処理の全体の流れを示すフローチャートである。
まず、ステップＳ１０１において、読み取った画像から文字データの抽出を行う。この処理は図７に詳細を示す。次に定数ｄｏｃｆｌａｇを用意し、文字データを抽出できたならば、文書画像の結合処理による高速処理を行うためにｄｏｃｆｌａｇ＝ＴＲＵＥとする。文字データを抽出できなければ、写真画像の結合処理を行うためにｄｏｃｆｌａｇ＝ＦＡＬＳＥとする。
【００３４】
ステップＳ１０２において、ｄｏｃｆｌａｇを判別する。ｄｏｃｆｌａｇ＝ＴＲＵＥであれば、文字画像データから画像の重なり位置を検出するためステップＳ１０３に進む。ｄｏｃｆｌａｇ＝ＦＡＬＳＥであれば、画素毎の色成分のパターンマッチングから重なり位置を検出するためステップＳ１０６に進む。
【００３５】
ステップＳ１０３において、画像の重なり位置を検出する。ここでは、特願平１１−１１１７０８号に記載の文書画像結合手法を用いる。この処理は低メモリ容量で、高速に処理することができる。
【００３６】
ステップＳ１０４において、重なり位置検出の合否を判別する。検出に成功したならば、ステップＳ１０８に進む。検出に失敗したならば、ステップＳ１０５に進み、画素毎の色成分のパターンマッチングから重なり位置を検出する。
【００３７】
ステップＳ１０５において、文字画像データを用いた重なり位置検出に失敗したと判断されたので、ｄｏｃｆｌａｇ＝ＦＡＬＳＥとする。
ステップＳ１０６において、画像の重なり位置を検出する。ここでは、写真画像の結合処理のために特願２００１−１０７５３２号に記載の画像結合手法を用いる。
【００３８】
ステップＳ１０７において、重なり位置検出の合否を判別する。検出に成功したならば、ステップＳ１０８に進む。検出に失敗したならば処理を終了する。
ステップＳ１０８において、画像の結合処理を行う。結合処理は、特願平１１−１１１７０８号、もしくは特願２００１−１０７５３２号の手法を用いる。
【００３９】
結合処理が完了すれば全体の処理を終了する。
図７は、図６のステップＳ１０１の詳細を示すフローチャートである。
ステップＳ２０１において、入力画像から２値画像を作成する。２値画像の作成は、特願２０００−２５９５７３号に記載の手法を用いる。
【００４０】
ステップＳ２０２において、２値画像から文字領域の抽出を行う。文字領域の抽出の仕方は、図３に示すようにする。抽出した領域の横幅をａとし、
ｈｍｉｎ＜ａ＜ｈｍａｘ
の範囲にある領域を抽出する。ここで、ｈｍｉｎは横幅の最小値、ｈｍａｘは横幅の最大値である。
【００４１】
ステップＳ２０３において、抽出した領域の黒画素の割合を調べる。領域に含まれる黒画素の数をｂｎｕｍ、白画素の数をｗｎｕｍとし、下記の条件を満たす領域のみを抽出する。なお、ｂｐｅｒｍｉｎは黒画素の割合の最小値、ｂｐｅｒｍａｘは黒画素の割合の最大値を示す。
【００４２】
ｂｐｅｒｍｉｎ＜（ｂｎｕｍ／（ｂｎｕｍ＋ｗｎｕｍ））＜ｂｐｅｒｍａｘ
ステップＳ２０４において、抽出した領域の数ａｒｅａｎｕｍが最低個数ａｒｅａｔｈｒｅｓｈよりも大きければステップＳ２０５に進み、小さければステップＳ２０９に進む。
ａｒｅａｔｈｒｅｓｈ＜ａｒｅａｎｕｍ
ステップＳ２０５において、抽出した領域を文字認識する。
【００４３】
ステップＳ２０６において、認識結果の確信度（認識結果の確からしさ：特願平１０−１４０８７１号を参照）をｏｃｒｃｏｎｃとし、
ｖａｌｕｃｏｎｃ＜ｏｃｒｃｏｎｃ
となる個数ｃｅｔｎｕｍをカウントする。ここで、ｖａｌｕｃｏｎｃは文字認識が成功したと判断するための確信度の最小値である。
【００４４】
ステップＳ２０７において、ｃｅｔｎｕｍがある一定個数以上となれば、文字認識に成功したとみなしステップＳ２０８に進む。ステップＳ２０７において、条件を満たさなければ、失敗したとみなしステップＳ２０９に進む。ここで、ｓｕｃｃｎｕｍｍｉｎは所定値以上の確信度のある認識文字の個数に対して、文字認識が成功したと判断するための認識成功文字数の最小個数を表す。
ｓｕｃｃｎｕｍｍｉｎ＜ｃｅｔｎｕｍ
ステップＳ２０８において、入力画像は文書画像とみなし、ｄｏｃｆｌａｇ＝ＴＲＵＥとする。
【００４５】
ステップＳ２０９において、文字データが検出できなかったため、ｄｏｃｆｌａｇ＝ＦＡＬＳＥとする。
以上より処理を終了する。
【００４６】
以上の処理により、入力画像に文字データを含んでいれば、入力画像が多値画像であっても、処理に必要なメモリ容量を削減し、高速かつ自動的に２つの画像を結合することができる。
【００４７】
入力機器より読み込んだ画像から文字データの有無を検出し、文字データを含んでいれば文字認識を利用した画像結合手段により、処理に必要なメモリ容量を削減し、高速かつ高精度に複数個の画像を結合する。また、文字データを含んでいなくても、画素毎の色差のパターンマッチングを利用した画像結合手段により、複数個の画像を結合する。
【００４８】
以上の処理により、小型のハンドヘルドスキャナのように一度にスキャンできる幅が狭い場合であっても、スキャナ幅を超える大きな画像を取り込むことが可能となる。また、入力画像がフルカラーであっても、処理に必要なメモリ容量を抑え、高速かつ高精度に処理することが可能である。
【００４９】
以上のことから、本発明はハンドヘルドスキャナによる画像入力の操作性及び、ユーザインターフェースの改善に寄与するところが大きい。
図８は、本実施形態の処理をプログラムで実現する場合に必要とされるハードウェア環境を説明する図である。
【００５０】
当該プログラムを情報処理装置３１で実行する場合には、ＣＰＵ２１は、バス２０を介して、ハードディスクなどの記憶装置２７から当該プログラムをＲＡＭ２３にコピーして実行する。ＲＯＭ２２は、ＢＩＯＳなどの基本プログラムが格納されるが、当該プログラムを格納するようにしても良い。
【００５１】
あるいは、フレキシブルディスク、ＤＶＤ、ＣＤ−ＲＯＭなどの可搬記録媒体２９に当該プログラムを記録して頒布することが可能であり、頒布された当該プログラムを可搬記録媒体２９から読み取り装置２８で読み取り、ＲＡＭ２３にコピーしてＣＰＵ２１が実行するようにしても良い。あるいは、可搬記録媒体２９から当該プログラムを情報処理装置３１にインストールして使用しても良い。
【００５２】
入出力装置３０は、ユーザの指示をＣＰＵ２１に伝えたり、ＣＰＵ２１の演算結果を出力するもので、ディスプレイ、キーボード、マウス、テンプレートなどや画像を読み取るためのスキャナ、画像を印刷するためのプリンタなどからなる。
【００５３】
通信インターフェース２４は、ネットワーク２５を介して、情報処理装置３１を情報提供者２６に接続し、情報提供者２６が持っているであろう当該プログラムを情報処理装置３１にダウンロードして、ＣＰＵ２１が実行可能とするものである。あるいは、ダウンロードするのではなく、情報提供者２６とネットワーク２５を介して接続したまま、ネットワーク環境の下で当該プログラムを実行しても良い。
【００５４】
（付記１）複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合装置であって、
入力された複数の画像に文字が含まれているか否かを検出し、文字が含まれている場合には、文字認識を行う文字検出認識手段と、
該入力された複数の画像に文字が含まれている場合に、文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチング手段と、
該入力された複数の画像に文字が含まれていない場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチング手段と、
該文字コードパターンマッチング手段あるいは、画素パターンマッチング手段のパターンマッチングの結果に基づいて、該入力された複数の画像を結合する画像結合手段と、
を備えることを特徴とする画像結合装置。
【００５５】
（付記２）前記文字認識は、入力された画像から文字の含まれていると考えられる、抽出された領域についてのみ行われることを特徴とする付記１に記載の画像結合装置。
【００５６】
（付記３）前記文字コードパターンマッチング手段が、文字コードによるパターンマッチングに失敗した場合には、前記画素パターンマッチング手段が画素パターンマッチングにより、前記入力された複数の画像をどのように結合すべきかを決定することを特徴とする付記１に記載の画像結合装置。
【００５７】
（付記４）前記文字認識は、入力画像を２値化した画像について行うことを特徴とする付記１に記載の画像結合装置。
（付記５）前記文字検出は、抽出した領域を文字認識し、文字認識から得られた確信度の値が一定値以上となる文字の個数を計数し、該計数された文字の個数が一定値以上となったとき、前記入力画像に文字が存在すると判断することを特徴とする付記１に記載の画像結合装置。
【００５８】
（付記６）前記文字検出は、前記入力画像から特定条件を満たす領域を抽出する処理を行い、結果として特定条件を満たす領域が抽出されなかった場合には、文字が存在しないと判断することを特徴とする付記１に記載の画像結合装置。
【００５９】
（付記７）前記領域中の黒画素の占める割合が、特定の範囲内になる領域を文字を含む領域として抽出することを特徴とする付記６に記載の画像結合装置。
（付記８）複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合方法であって、
入力された複数の画像に文字が含まれているか否かを検出し、文字が含まれている場合には、文字認識を行う文字検出認識ステップと、
該入力された複数の画像に文字が含まれている場合に、文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチングステップと、
該入力された複数の画像に文字が含まれていない場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチングステップと、
該文字コードパターンマッチング手段あるいは、画素パターンマッチング手段のパターンマッチングの結果に基づいて、該入力された複数の画像を結合する画像結合ステップと、
を備えることを特徴とする画像結合方法。
【００６０】
（付記９）複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合方法であって、
入力された複数の画像に文字が含まれているか否かを検出し、文字が含まれている場合には、文字認識を行う文字検出認識ステップと、
該入力された複数の画像に文字が含まれている場合に、文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチングステップと、
該入力された複数の画像に文字が含まれていない場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチングステップと、
該文字コードパターンマッチング手段あるいは、画素パターンマッチング手段のパターンマッチングの結果に基づいて、該入力された複数の画像を結合する画像結合ステップと、
を備えることを特徴とする画像結合方法を情報処理装置に実現させるプログラム。
【００６１】
（付記１０）複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合方法であって、
入力された複数の画像に文字が含まれているか否かを検出し、文字が含まれている場合には、文字認識を行う文字検出認識ステップと、
該入力された複数の画像に文字が含まれている場合に、文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチングステップと、
該入力された複数の画像に文字が含まれていない場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチングステップと、
該文字コードパターンマッチング手段あるいは、画素パターンマッチング手段のパターンマッチングの結果に基づいて、該入力された複数の画像を結合する画像結合ステップと、
を備えることを特徴とする画像結合方法を情報処理装置に実現させるプログラムを格納する、情報処理装置読み取り可能な記録媒体。
【００６２】
【発明の効果】
本発明によれば、小型のスキャナで画像を複数に分けて取り込んだ場合にも、ユーザが取り込んだ文書の種類を指定することなく、自動で最適な文書結合方法を選択し、高速かつ使用メモリ容量をできるだけ少なくして画像結合することができる。
【図面の簡単な説明】
【図１】本実施形態による画像結合装置の基本構成を示す図である。
【図２】写真画像の結合方法を説明する図である。
【図３】特定条件を満たす領域の文字認識への利用方法を説明する図である。
【図４】文字データを利用したパターンマッチングによる画像結合処理の説明をする図である。
【図５】画素の色成分を用いたパターンマッチングによる重なり位置検出処理を説明する図である。
【図６】本発明の実施形態に従った画像結合処理の全体の流れを示すフローチャートである。
【図７】図６のステップＳ１０１の詳細を示すフローチャートである。
【図８】本実施形態の処理をプログラムで実現する場合に必要とされるハードウェア環境を説明する図である。
【符号の説明】
１画像入力手段
２文字検出手段
３補正情報検出手段
４画像結合手段

Claims

複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合装置であって、
入力された複数の画像から、黒画素の占める割合が特定の範囲内になる領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された領域について、文字認識を行う文字認識手段と、
前記文字認識手段による文字認識が成功した場合、該文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチング手段と、
前記領域抽出手段による領域の抽出がなされなかった場合、または、前記文字認識手段による文字認識が失敗した場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチング手段と、
前記文字コードパターンマッチング手段、あるいは、前記画素パターンマッチング手段のパターンマッチングの結果に基づいて、前記入力された複数の画像を結合する画像結合手段と、
を備えることを特徴とする画像結合装置。
前記文字認識手段は、入力した画像を文字認識し、文字認識から得られた確信度の値が一定値以上となる文字の個数を計数し、該計数された文字の個数が一定値以上となったとき、文字認識が成功した前記入力画像に文字が存在すると判断することを特徴とする請求項１に記載の画像結合装置。
複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合方法であって、
入力された複数の画像から、黒画素の占める割合が特定の範囲内になる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域について、文字認識を行う文字認識ステップと、
前記文字認識ステップによる文字認識が成功した場合、該文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチングステップと、
前記領域抽出ステップによる領域の抽出がなされなかった場合、または、前記文字認識ステップによる文字認識が失敗した場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチングステップと、
前記文字コードパターンマッチングステップ、あるいは、前記画素パターンマッチングステップのパターンマッチングの結果に基づいて、前記入力された複数の画像を結合する画像結合ステップと、
を備えることを特徴とする画像結合方法。
複数回に分けて取り込まれた画像を結合して１つの画像にする画像結合方法をコンピュータに実現させるプログラムであって、
入力された複数の画像から、黒画素の占める割合が特定の範囲内になる領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域について、文字認識を行う文字認識ステップと、
前記文字認識ステップによる文字認識が成功した場合、該文字認識の結果得られた文字コードのパターンマッチングによって画像をどのように結合すべきかを決定する文字コードパターンマッチングステップと、
前記領域抽出ステップによる領域の抽出がなされなかった場合、または、前記文字認識ステップによる文字認識が失敗した場合に、画素の色成分のパターンマッチングにより画像をどのように結合すべきかを決定する画素パターンマッチングステップと、
前記文字コードパターンマッチングステップ、あるいは、前記画素パターンマッチングステップのパターンマッチングの結果に基づいて、前記入力された複数の画像を結合する画像結合ステップと、
を備えることを特徴とする画像結合方法をコンピュータに実現させるプログラム。