JP2828138B2 - 画像合成方法及び画像合成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画素数の少ない、例
えばＣＣＤカメラのような画像入力装置を利用して高解
像度の画像を取得する画像取得方法に関し、特に文書認
識システムにおける文字画像の高解像度化を行う方法に
関する。

【０００２】

【従来の技術】高解像度で広範囲にわたる画像を生成す
るために、複数の画像からひとつの画像を合成する画像
合成方法が用いられている。従来の高解像度画像取得方
法としては、（１）高解像度の部分画像を撮像範囲をオ
ーバラップさせて複数枚入力し、重複部分から画像間の
位置ずれを検出し、画像を接続する方法、（２）低解像
度の全体画像を複数枚入力し、各画像間の位置ずれを検
出することで、画素を内挿する方法が提案されている。

【０００３】前記（１）の一例が、信学技報ＩＥ８１−
１７に記載されている。この論文では、ＣＣＤカメラを
手動で移動させながら、入力対象を部分ごとに分けて接
写することで高解像度の部分画像を複数枚入力し、これ
らを接続して広範囲にわたる高解像度画像を取得する方
法を提案している。

【０００４】具体的には、重複部分を持たせて撮影した
部分画像間の位置のずれを検出して、部分画像を接続す
る。ここで、部分画像間の位置ずれ量は、画像を平行移
動しながら画像を重ねあわせて残差の計算を行い、残差
が最小になったときの移動量として検出する。

【０００５】前記（２）の一例が、１９９５年アイ・シ
ー・アイ・エー・ピー予稿、３８７ページから３９２ペ
ージ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ８ｔｈ ＩＣＩ
ＡＰ，ｐｐ．３８７−３９２）に記載されている。この
論文では、入力対象全体を低解像度の画像として複数枚
入力し、複数の画像を用いて画素間の輝度値を内挿する
ことで、広範囲にわたる高解像度画像を再構成する方法
が提案されている。

【０００６】複数枚の画像を用いて画素間の輝度値を内
挿するためには、各低解像度画像どうしの位置ずれを画
素単位未満（以降で、サブピクセルと呼ぶ）の精度で検
出する必要がある。この論文の方法では位置ずれを検出
する方法として、画像の部分領域どうしの相関値が最大
になるように部分領域の画像を移動、変形して局所的な
対応づけを行う。このとき、局所領域の変形は、最急降
下法を用いて逐次的に最適な変形を探索する。

【０００７】

【発明が解決しようとする課題】前記の従来の方法
（１）には下記の２つの問題がある。

【０００８】第１に、カメラの移動方向が未知であるた
め、残差値が最小になる移動量を全ての可能な重ねあわ
せ方について全探索しなければならない。このためには
膨大な計算量が必要となる。

【０００９】第２に、手動走査により得られた部分画像
を接続して広範囲にわたる画像を取得するが、全ての部
分画像が所望の解像度を保って高解像度に撮影されてい
る必要がある。このためには、ＣＣＤカメラと対象間の
距離を一定距離以内に保った手動走査を行わなくてはな
らない。これにより、手軽で自由度が大きいという手動
走査の利点が損なわれる。

【００１０】前記の従来の方法（２）は下記の３つの問
題がある。

【００１１】第１に、移動量の全探索を避けるために、
相関値が大きくなるように逐次局所画像を変形して画像
間の位置ずれを検出するが、対象の画像が空間的な周期
を持つ場合、正しい位置ずれ量が算出される保証がな
い。たとえば、文書画像を対象とする場合、文字列、文
字、文字のストロークの周期性により、位置ずれ量が誤
って検出される可能性がある。

【００１２】第２に、画像全面にテクスチャの存在しな
いような画像にこの手法を適用する場合に検出される位
置ずれ量の精度が劣化しやすい。例えば、文書画像のよ
うに、行間、段間等画像領域のほとんどを背景部の白画
素が占めている場合には、残差、相関の値に極値が現れ
ず位置ずれの検出ができない。

【００１３】第３に、複数の画像を用いて輝度値を内挿
することで解像度の改善を行うが、２枚の画像の移動量
が画素間隔の１／２の場合には解像度を２倍にあげられ
る可能性がある。しかし、２枚の画像の位置ずれ量が０
の場合には解像度は全く改善されない。ＣＣＤカメラを
手動により移動した場合には、画素未満の位置ずれ量を
随意に制御することが不可能であり、解像度の改善の度
合いは不安定となる。

【００１４】本発明の目的は、手動によりラフなＣＣＤ
カメラ走査を行った場合でも広範囲にわたる高解像度画
像を手軽に取得できる高解像度画像取得方式を提供する
ことにある。

【００１５】また、本発明の他の目的は、例えば文書画
像のような高周波のテクスチャが局在するような画像に
おいても、高速かつ安定に画像の対応づけが行え、広範
囲かつ高解像度な画像を取得可能な高解像度画像取得方
式を提供することにある。

【００１６】さらに、本発明によれば、内挿による解像
度の改善処理の効果の不安定さを補い、安定に解像度の
向上を実現できる。

【００１７】

【課題を解決するための手段】第１に、本発明の高解像
度画像取得方式は、まず画像の構造解析を行い、構造情
報の対応づけを行うことで、フレーム画像間の相対的な
位置ずれを検出し、画像の接続を行う。

【００１８】より具体的には、まず構造解析処理を行い
画像内の物体の特徴と物体間の位置関係を抽出する構造
解析部（図１の３０）と、各フレーム画像から抽出され
た構造情報を対応づけ、フレーム画像間の相対的な位置
関係を算出する構造情報対応づけ部（図１の４０）とを
有する。

【００１９】第２に、本発明の高解像度画像取得方式
は、文書画像に適用する場合には、構造情報としてレイ
アウト構造を用いる。

【００２０】より具体的には、文書画像内の段、文字
列、文字といった物体とその配置の情報からなるレイア
ウト構造を抽出するレイアウト解析部（図３の３１）
と、各フレーム画像から抽出されたレイアウト構造を対
応づけ、フレーム画像間の相対的な位置関係を算出する
レイアウト構造対応づけ部（図３の４１）とを有する。

【００２１】第３に、本発明の高解像度画像取得方式
は、対応づけられた構造情報に基づき、画像の接続を行
うとともに、画像を構成する物体ごとに画像の解像度を
改善する。

【００２２】より具体的には、構造情報に基づき各フレ
ーム画像から抽出した物体間の画素の大きさ未満の位置
ずれ量であるサブピクセル位置ずれ量を算出する位置ず
れ残差検出部（図５の６０）と、サブピクセル位置ずれ
量を考慮して画素間を内挿することで画像の解像度を向
上させる超解像処理部（図５の７０）とを有する。

【００２３】第４に、本発明の高解像度画像取得方式
は、対応づけられたレイアウト構造情報に基づき、文書
画像の接続を行うとともに、文書画像を構成する物体ご
とに画像の解像度を改善する。

【００２４】より具体的には、レイアウト構造に基づき
各フレーム画像から抽出した物体間の画素の大きさ未満
の位置ずれ量であるサブピクセル位置ずれ量を算出する
位置ずれ残差検出部（図７の６０）と、サブピクセル位
置ずれ量を考慮して画素間を内挿することで画像の解像
度を向上させる超解像処理部（図５の７０）とを有す
る。

【００２５】第５に、本発明の高解像度画像取得方式
は、解像度の改善された物体の画像ごとに文字を認識
し、接続されたレイアウト構造に基づき、文字認識結果
を並び替えることで文書全体の認識を行う。

【００２６】より具体的には、解像度の改善された文字
画像を入力し文字コードに変換する個別文字認識部（図
８の９０）と、統合されたレイアウト構造に基づき、文
字コードを文書での記載の順序に並び替える文字認識結
果結合部（図８の８１）とを有する。

【００２７】構造情報対応づけ部は、構造解析部におい
て抽出された各フレーム画像ごとの構造情報どうしの対
応関係を抽出し、対応関係をもとにフレーム画像どうし
の位置ずれ量を算出する。

【００２８】レイアウト構造対応づけ部はレイアウト解
析部において抽出された各フレーム画像ごとのレイアウ
ト構造どうしの対応関係を抽出し、対応関係をもとにフ
レーム画像どうしの位置ずれ量を算出する。

【００２９】超解像処理部は対応づけられた構造情報に
基づき、画像の接続を行うのと同時に、画像を構成する
物体ごとに画像の解像度を改善する。

【００３０】個別文字認識部では、解像度の改善された
文字画像が入力され、対応する文字コードが出力され
る。

【００３１】文字認識結果結合部はレイアウト構造対応
づけ部において対応づけられたレイアウト構造に基づ
き、文字コードを文書の読み取り順に並び替えること
で、文書全体にわたる認識結果を得る。

【００３２】

【発明の実施の形態】本発明の第１の実施の形態につい
て説明する。

【００３３】図１は、本発明の第１の実施の形態の構成
を示すブロック図である。本発明の第１の実施の形態
は、画像入力デバイスを手動により走査することで得ら
れる画像信号をディジタル化して複数枚の多値のフレー
ム画像として計算機に入力する画像入力部１０、計算機
に入力されたフレーム画像を記憶する画像記憶部２０、
画像に含まれる物体の構造情報を解析する構造解析部３
０、各フレーム画像から抽出された構造情報どうしの対
応づけを行う構造情報対応づけ部４０、構造解析の結果
およびフレーム間で構造情報を構造情報記憶部５０及び
対応づけられた構造情報をもとに複数のフレーム画像を
合成する画像合成部６０とからなる。

【００３４】図１及び図２を参照して、本発明の第１の
実施の形態の動作について説明する。

【００３５】図２（ａ）のような画像入力対象物に対し
て、例えば同図に示した点線のように画像入力デバイス
を移動して、画像入力部１０より分割して入力する。

【００３６】入力された画像はそれぞれ、図２（ｂ−
１）（ｂ−２）のようになり、画像記憶部２０に記録さ
れる。

【００３７】同時に、入力画像は構造解析部３０に入力
される。構造解析部３０は、画像の構造情報を解析す
る。例えば、画像を２値化して、黒画素連結成分を抽出
し物体を分離して抽出する。

【００３８】抽出された物体の個々の特徴および物体間
の位置関係を構造情報として、構造情報記憶部５０に出
力し記憶する。

【００３９】構造情報対応づけ部４０では構造情報記憶
部５０に記憶された各フレーム画像の構造情報を入力
し、構造情報を用いて、各フレーム内の対応する物体ど
うしを対応づける。

【００４０】対応づけられた２枚のフレーム画像の構造
情報は、対応関係から統合され、統合された構造情報は
構造情報記憶部５０に出力される。

【００４１】画像合成部６０は、統合された構造情報を
もとにフレーム画像を画像記憶部２０から取り出して接
合する。

【００４２】次に、図２を用いて、撮影された物体の２
枚の画像が本発明の第１の実施の形態によって合成され
る過程を説明する。

【００４３】図２を参照すると、図２（ａ）のような物
体が同図（ｂ−１）（ｂ−２）のように分割して撮影さ
れ、画像入力部１０より入力される。

【００４４】構造解析部３０では、同図（ｃ−１）（ｃ
−２）に示したように構造情報が抽出される。構造情報
として、例えば、個々の物体の形状情報、２つの物体の
相互の位置関係を用いる。

【００４５】図２の例では、個々の物体の形状情報とし
て、「○」、「△」、「□」の各カテゴリを用いる。形
状情報の抽出は、画像上に出現すると考えられる物体の
テンプレート「○」、「△」、「□」等を用意してお
き、各テンプレートを回転、拡大縮小しながら画像とマ
ッチングし、最もよくマッチするテンプレートのカテゴ
リを物体の形状とする。

【００４６】形状情報は、２つの画像に現れる同一物体
を同一であると識別できればよく、必ずしも物体とテン
プレートが完全に一致する必要はないので、この例のよ
うに「○」、「△」、「□」といった代表的な形状のテ
ンプレートがあれば良い。例えば、一方の画像で歪んだ
五角形がテンプレート「△」を回転、拡大縮小したもの
と最も良くマッチしたとしても、もう一方の画像の同じ
五角形がテンプレート「△」を同様に回転、拡大縮小し
たものと認識出来ればよく、五角形のテンプレートを用
意する必要はない。

【００４７】また、２つの物体間の相互の位置関係とし
ては、両物体を結ぶ線分の長さ・線分の向き、両物体の
モーメントを用いる。

【００４８】また、物体の形状を検出する際に適用した
回転量を回転角として各物体ごとに記憶する。物体内部
に含まれる画素の数を面積として記憶する。各物体の重
心点をもとめ、フレーム画像内に含まれる全ての物体の
うちの２物体の全ての組み合わせについて重心点間を結
ぶベクトルを記憶する。最後に、各フレーム画像の原点
を基準とした各物体の重心点の座標をベクトルとして記
憶する。

【００４９】以上の各形状情報、物体の位置関係、回転
角、面積、重心点間のベクトル、重心点のベクトルから
なる情報を構造情報とし、構造情報記憶部５０に出力す
る。図２を参照すると、物体は１フレーム目で左から
「△」１０１、「□」１０２、「○」１０３の３個、２
フレーム目では「□」１０４、「○」１０５、「□」１
０６の３個がそれぞれ検出され、各構造情報は同図（ｃ
−１）（ｃ−２）および図３のようになる。

【００５０】次に、構造情報対応づけ部４０において、
一方のフレーム画像上に存在する物体のなかから２つの
物体の組を選び、他方の画像上に２つの物体と同じ形状
の物体が含まれる場合には、両フレーム画像から抽出し
た物体の組の相対位置の絶対値の差を計算する。

【００５１】フレーム画像内に含まれる全ての２物体の
組について、同様の処理を行い、相対位置の絶対値の差
が最小および２番目に最小となる物体の組をそれぞれ検
索する。各組に関して、フレーム画像の間の相対的な平
行移動量、回転量を計算する。

【００５２】図２（ｃ−１）（ｃ−２）を参照すると、
（ｃ−１）のフレーム画像における物体１０２の形状お
よび面積は、（ｃ−２）のフレーム画像の物体１０４と
一致する。また、（ｃ−１）のフレーム画像における物
体１０３の形状および面積は、（ｃ−２）のフレーム画
像の物体１０５と一致する。

【００５３】さらに、（ｃ−１）のフレーム画像におけ
る物体１０２と物体１０３を結ぶベクトルｖ１０２の長
さは、（ｃ−２）のフレーム画像の物体１０４と物体１
０３を結ぶベクトルｖ１０２の長さと一致する。

【００５４】また、前記の対応関係に位置・回転に関し
て矛盾がないため、物体１０２と物体１０４、および物
体１０３と物体１０５が一致すると判定する。フレーム
画像間の位置ずれ量ｓは（ｘ１０４−ｘ１０２）、また
は（ｘ１０５−ｘ１０３）となり、この値は構造情報記
憶部５０に出力される。量子化誤差の影響も考慮して、
例えば両者の平均をとってもいい。この位置ずれ量に基
づき、（ｃ−２）の２枚目のフレーム画像を（ｃ−１）
の１枚目のフレーム画像の座標系に変換して、構造情報
記憶部５０に出力する。

【００５５】本実施例において各物体の特徴量は図４の
ように変換される。ここで、一致する物体は１つの物体
として記憶される。

【００５６】次に、画像合成部６０は２枚のフレーム画
像および位置ずれ量ｓを入力し、位置ずれ量を考慮して
２枚のフレーム画像を接続する。この結果、図２（ｄ）
の接続画像が得られる。

【００５７】続いて、３枚目以降のフレーム画像が入力
される場合は、３枚目に関して構造解析部３０におい
て、前記と同様な構造解析処理が施され、構造解析結果
が構造情報記憶部５０に出力される。構造情報対応づけ
部４０ではこの構造情報と、１枚目と２枚目を統合して
得られた構造情報の間で対応づけを行い、画像合成部６
０でのフレーム画像の接続処理を行う。４枚目以降も同
様に逐次接続処理を行っていく。

【００５８】以上のように、本発明の第１の実施の形態
によれば、入力された各フレーム画像の構造を解析し構
造情報どうしの対応づけを行うため、フレーム画像の位
置ずれを検出するための相関計算の回数を削減でき、位
置ずれ量の検出精度の向上も実現できる。

【００５９】本発明の第２の実施の形態について図面を
参照して詳細に説明する。

【００６０】第２の実施の形態では、入力する対象を文
書に限定する。図５を参照すると、本発明の第２の実施
の形態の構成は、第１の実施の形態における構造解析部
３０はレイアウト構造解析部３１に、第１の実施の形態
の構造情報対応づけ部４０はレイアウト構造対応づけ部
４１に、第１の実施の形態における構造情報記憶部５０
はレイアウト構造記憶部５１に置換される点で異なる。

【００６１】レイアウト構造解析部３１は、分割して入
力される文書のフレーム画像に、段・文字列・文字等が
どの位置にどのような方向で記述されているかを解析
し、例えば、フレーム−段−文字列−文字というような
階層構造で表現されるレイアウト構造を生成し、これを
レイアウト構造記憶部５１に出力する。

【００６２】レイアウト構造対応づけ部はレイアウト構
造記憶部５１に記憶されている複数のフレーム画像から
生成されたレイアウト構造内の一致する物体どうしを対
応づける。ここで、物体とはレイアウト構造の各階層に
相当するフレーム、段、文字列、文字である。

【００６３】各フレーム画像で生成されたレイアウト構
造を１つのレイアウト構造に統合し、構造情報記憶部５
０に出力する。

【００６４】また、フレーム画像間の位置ずれ量をレイ
アウト構造の対応関係から算出し、構造情報記憶部５０
に出力する。

【００６５】レイアウト構造記憶部５１はレイアウト構
造解析部３１の出力するレイアウト構造情報を一時記憶
し、レイアウト構造対応づけ部に出力する。

【００６６】また、レイアウト構造対応づけ部４１にお
いて複数のフレーム画像から生成されたレイアウト構造
を統合した結果のレイアウト構造を入力し記憶する。

【００６７】同時に、レイアウト構造対応づけ部４１の
出力するフレーム画像間の位置ずれ情報を入力し記憶す
る。

【００６８】フレーム画像間の位置ずれ情報は適宜画像
合成部６０に出力される。

【００６９】本発明の第２の実施の形態の動作を図５を
参照して詳細に説明する。

【００７０】レイアウト構造解析部３１は、画像入力部
１０において入力された文書を部分的に撮影して得られ
たフレーム画像に対してレイアウト解析処理を施し、レ
イアウト構造情報を得る。レイアウト解析処理の方法と
しては、例えば、電子情報通信学会論文誌、Ｖｏｌ．Ｊ
７４−Ｄ−ＩＩ，Ｎｏ．４、４９１ページから４９９ペ
ージに記載されている方法を用いることができる。

【００７１】解析処理により抽出されたレイアウト構造
情報は、レイアウト構造記憶部５１に出力され記憶され
る。

【００７２】レイアウト構造対応づけ部４１はレイアウ
ト構造記憶部５１に記憶された複数のフレーム画像から
生成されたレイアウト構造情報を入力し、レイアウト構
造の対応づけを行う。

【００７３】対応づけられたレイアウト構造は統合さ
れ、レイアウト構造記憶部５１に出力される。このと
き、レイアウト構造の対応関係から、フレーム画像間の
位置ずれ量を算出し、レイアウト構造記憶部５１に出力
する。

【００７４】画像合成部６０は画像記憶部２０に記憶さ
れた複数枚のフレーム画像と、レイアウト構造記憶部５
１に記憶された位置ずれ量を入力し、フレーム画像を重
ね合わせて一枚の画像に合成する。

【００７５】次に、図６を用いて、３枚の文書の画像が
本発明の第２の実施の形態によって合成される過程を説
明する。

【００７６】図６（ａ）のような文書を同図矢印で示し
たように撮像デバイスを移動させながら、（ｂ−１）〜
（ｂ−３）のように分割して撮影された部分的なフレー
ム画像が画像入力部１０より入力される。

【００７７】レイアウト構造解析部３１では、入力され
たフレーム画像に対してレイアウト解析処理が施され、
同図（ｃ−１）〜（ｃ−３）に示したように領域分割さ
れ、各分割領域の属性、各分割領域間の関係が抽出され
る。具体的には、１枚のフレーム画像が複数の「段」
に、１つの「段」が複数の「文字列」に、１つの「文字
列」が複数の「文字」に分割され、それぞれの包含関
係、隣接関係が抽出される。

【００７８】この関係を木構造で示したものを本発明に
おけるレイアウト構造と呼ぶ。図６に示した例では、フ
レーム画像内には「段」の数は１である。また、各フレ
ーム画像において含まれる文字列の数は３である。各文
字列に含まれる文字の数は７〜８である。

【００７９】以上の包含関係と文字列どうし、または文
字どうしの隣接関係を木構造を用いて表現したのが、図
７（ｄ−１）〜（ｄ−３）である。同木構造において、
各ノードは画像内における物体のフレーム画像上での位
置の情報を格納している。また、各ノードの格納順序
は、横書きの場合、左から右、上から下の順に、文書を
読み取る順序に合わせられており、ノードの格納順序で
画像中の物体の隣接関係が表現される。

【００８０】レイアウト構造対応づけ部４１での以降は
第１の実施の形態における構造情報対応づけ部４０にお
いて構造情報を対応づけるのと同様に物体の対応づけ、
フレーム画像間の位置ずれ検出が行われる。図７（ｅ）
は同図（ｄ−２）と（ｄ−３）の間で行われるレイアウ
ト構造の対応づけを示したものである。この結果とし
て、複数枚のフレーム画像から生成されたレイアウト構
造の木構造情報が統合され、レイアウト構造記憶部５１
に出力される。また、フレーム画像間の位置ずれ量も同
時に出力される。以降の処理は本発明の第１の実施の形
態と同様に行われる。

【００８１】以上のように、本発明の第２の実施の形態
によれば、入力対象を文書としてフレーム画像の構造解
析をレイアウト解析により行っている。レイアウト構造
は印刷文書において安定した構造特徴であり、高速に構
造情報の抽出が可能である。このため、フレーム画像の
位置ずれを検出するための相関計算の回数を削減できる
とともに、位置ずれ量の検出精度を安定に向上させるこ
とができる。

【００８２】本発明の第３の実施の形態について図８を
参照して詳細に説明する。

【００８３】本発明の第３の実施の形態の構成は、第１
の実施の形態の構成に加えて、位置ずれ残差検出部７０
と超解像処理部８０とを含んで構成される点で異なる。

【００８４】位置ずれ残差検出部７０は、構造情報記憶
部５０に記憶されているフレーム画像間の位置ずれ量、
構造情報と、それらの算出に用いられた複数のフレーム
画像を入力し、対応する物体の画像に関して画素の大き
さ未満の精度で位置ずれ量を算出する。これを以降でサ
ブピクセル位置ずれ量と呼ぶ。サブピクセル位置ずれ量
は超解像処理部８０に出力される。

【００８５】超解像処理部８０は、フレーム画像間の位
置ずれ量、構造情報、フレーム画像、サブピクセル位置
ずれ量を入力する。フレーム画像間の位置ずれ量および
サブピクセル位置ずれ量を考慮してフレーム画像どうし
を重畳し、画素の間を各フレーム画像の輝度値に基づき
内挿することで、解像度を改善した画像を生成する。

【００８６】本発明の第３の実施の形態の動作を図９を
参照して詳細に説明する。

【００８７】入力された各フレーム画像の構造情報を対
応づけ、記憶するまでの処理は本発明の第１の実施の形
態の動作と同じであるためここでは省略する。

【００８８】複数のフレーム画像から得られた構造情報
を統合して生成された構造情報に基づき、各フレーム画
像から対応する個々の物体の画像を取り出す（図９（ａ
−１）（ａ−２））。取り出された物体は所望の解像度
になるように拡大され、位置ずれ残差検出部７０におい
て、再度位置ずれ量を検出し、サブピクセル位置ずれ量
とする。サブピクセル位置ずれ量の検出は構造情報の対
応づけを行った方法と同様に、拡大された物体の画像ど
うしを平行移動しながら重畳し、距離値が最も小さくな
ったときの移動量を位置ずれ量とする。

【００８９】超解像処理部８０では、位置ずれ残差検出
部７０で検出されたサブピクセル位置ずれ量を考慮し
て、各フレーム画像の対応する物体の拡大画像を重ねあ
わせ、画素値の内挿処理を行い、物体ごとの高解像度画
像を生成する。これを超解像画像と呼ぶ。

【００９０】内挿の方法としては、例えば信学技報、Ｉ
Ｅ９０−５４、２３ページから２８ページに記載された
方法を用いることができる。

【００９１】画像合成部６０では、各物体に対して得ら
れた超解像画像を構造情報に基づいて配置して全体の画
像を生成する。

【００９２】次に、図９を用いて、本発明の第３の実施
の形態により超解像画像を生成する過程を説明する。

【００９３】第１の実施の形態の説明で用いた入力対象
である図２を用いる。図２の各フレーム画像を構造解析
し、図９（ａ−１）（ａ−２）に示すようにそれぞれの
フレーム画像から対応する物体を取り出す。それぞれの
取り出した物体を拡大すると、同図（ｂ−１）（ｂ−
２）のようになる。拡大された画像どうしでサブピクセ
ル位置ずれ量を検出し、これに基づき両画像を重畳し、
内挿輝度値を内挿することで、図９（ｃ）のような、解
像度が改善された超解像画像を生成する。以上の処理を
画像内の全物体に対して行い画像全域にわたる高解像度
画像を生成する。

【００９４】以上のように、本発明の第３の実施の形態
によれば、内挿による解像度の改善処理の効果の不安定
さを補い、安定に解像度の向上を実現できる。

【００９５】本発明の第４の実施の形態について図１０
を参照して詳細に説明する。

【００９６】第４の実施の形態では、第２の実施の形態
と同様に入力する対象を文書に限定する。本発明の第４
の実施の形態と第２の実施の形態の構成を図１０と図５
で比較すると、第４の実施の形態は第２の実施の形態に
加えて位置ずれ残差検出部７０と超解像処理部８０とを
含んで構成される点で異なる。

【００９７】位置ずれ残差検出部７０と超解像処理部８
０は第３の実施の形態の構成と同様であるため省略す
る。

【００９８】本発明の第３の実施の形態の動作を図１０
を参照して詳細に説明する。

【００９９】入力された各フレーム画像のレイアウト構
造を対応づけ、記憶するまでの処理は本発明の第２の実
施の形態の動作と同じであるためここでは省略する。

【０１００】位置ずれ残差検出部７０では対応づけられ
た文字を両フレーム画像から取りだし、第３の実施の形
態と同様にサブピクセル位置ずれ量を検出する。

【０１０１】超解像処理部８０では、拡大された各文字
画像をサブピクセル位置ずれ量だけ平行移動して重畳し
た後、内挿処理を行い、超解像画像を生成する。

【０１０２】次に、図９を用いて、本発明の第４の実施
の形態の一実施例の動作を詳細に説明する。

【０１０３】図２に示したものと同様の入力対象を用い
る。図２の各フレーム画像を構造解析し、図９（ａ−
１）（ａ−２）に示すようにそれぞれのフレーム画像か
ら対応する物体を取り出す。（図９では「○」で示され
ているが、本実施の形態の入力対象は文書であるので、
この「○」は本実施例では文字一般を表わす。）それぞ
れの取り出した物体を拡大すると、同図（ｂ−１）（ｂ
−２）のようになる。拡大された画像どうしでサブピク
セル位置ずれ量を検出し、これに基づき両画像を重畳
し、内挿輝度値を内挿することで、図９（ｃ）のよう
な、解像度が改善された超解像画像を生成する。

【０１０４】以上の処理を画像内の全物体に対して行い
画像全域にわたる高解像度画像を生成する。

【０１０５】以上のように、本発明の第４の実施の形態
によれば、本発明の第３の実施の形態に加えて、入力対
象を文書とし、フレーム画像の構造解析をレイアウト解
析により行っている。レイアウト構造は印刷文書におい
て安定した構造特徴であり、高速に構造情報の抽出が可
能である。このため、フレーム画像の位置ずれを検出す
るための相関計算の回数を削減できるとともに、位置ず
れ量の検出精度を安定に向上させることができる。

【０１０６】また、予めレイアウト構造を用いてフレー
ム画像間の位置ずれ量が画素のサイズの精度で検出され
ているため、超解像処理のためのサブピクセル位置ずれ
量の検出を画像全体に対して行う必要がなく、高速化が
実現される。

【０１０７】更に、文書には多くの空白が含まれるが、
それらを処理の対象から外すことができ、高速な超解像
処理が可能となる。

【０１０８】本発明の第５の実施の形態について図１１
を参照して詳細に説明する。

【０１０９】第５の実施の形態では、第４の実施の形態
と同様に文書を処理対象とし、文書内に書かれた文字列
の認識を目的とする場合に限定する。図１１を参照する
と、本発明の第４の実施の形態の構成は、第２の実施の
形態の構成に加えて、個別文字認識部９０と、文字認識
結果結合部６１とを含んで構成される点で異なる。

【０１１０】本発明の第５の実施の形態の動作を詳細に
説明する。

【０１１１】個々の文字画像について超解像処理部８０
までの処理により解像度が改善された文字の超解像画像
を生成する部分までは第４の実施の形態の構成と同様で
あるため省略する。

【０１１２】個別文字認識部９０は、超解像処理部８０
の出力する文字ごとの超解像画像を入力し、各文字を対
応する文字コードに変換する。文字認識の方法として
は、例えば、信学技報ＰＲＵ９０−２０に記載された方
法を用いることができる。

【０１１３】文字認識結果結合部６１は、個別文字認識
部９０の出力する文字認識結果の文字コードと、レイア
ウト構造対応づけ部４１の出力する統合されたレイアウ
ト構造を入力し、文書全面を文字コードに変換したテキ
スト情報を出力する。統合されたレイアウト構造は文字
画像がどのフレームのどの位置に書かれていたものかを
表現しているため、これに従って文字コードを配置し直
す。

【０１１４】次に、図６及び図７に示したものと同様の
文書を入力対象として用いた場合の本発明の第５の実施
の形態の動作を説明する。

【０１１５】本発明の第４の実施の形態と同様な処理に
より、解像度が改善された超解像文字画像を生成する。
これらはそれぞれ個別文字認識部９０に入力され、それ
ぞれ個別文字認識処理によりそれぞれ対応する文字コー
ドに変換される。変換された文字コードをレイアウト構
造対応づけ部４１において統合されたレイアウト構造に
したがって図１２のように文書の読み取り順に文字コー
ドを配置し直し、文書の認識結果とする。

【０１１６】以上のように、本発明の本発明の第５の実
施の形態によれば、統合したレイアウト構造を用いて文
字認識結果の文字コードを配置し、文書の認識結果とす
る。このため、本発明の第４の実施の形態の効果に加え
て、文字認識処理を文書の全面の画像を再構成すること
なく、広範囲にわたる文書の認識を少ないメモリで行う
ことができる。

【０１１７】また、文字認識処理は、本手法で用いてい
る他の処理に比較して、一般に大量の処理時間を必要と
する。このため、個々のフレーム画像を高解像度に取得
し、各フレーム画像内の文字画像をそれぞれ文字認識
し、文字列の接続を行う場合に比較して、処理時間を短
縮することができる。

【０１１８】

【実施例】図１３は本発明の第１の実施例である。ここ
ではまず第１の実施の形態に基づく実施例を説明し、そ
の後これを元に第２、３、４及び５に基づく実施例を説
明する。

【０１１９】カメラ３００は例えばデジタルスチルカメ
ラ、デジタルビデオカメラ、ＣＣＤカメラなどである。
カメラ３００を用いて撮像対象を走査するが、走査は一
定の方向、速さで行う必要がなく、手動で行うことが出
来る。

【０１２０】走査して得られる動画像または分割静止画
像は複数枚のフレーム画像からなり、これらフレーム画
像はビデオキャプチャボード３０１を介してパーソナル
コンピュータ３０２に取り込まれる。

【０１２１】取り込まれたフレーム画像は画像記憶部２
０としての外部記憶装置３０３に記憶される一方、構造
解析部３０として働くパーソナルコンピュータ３０２に
より図３のような構造情報を抽出され、各フレーム画像
の構造情報は構造情報記憶部５０として働く外部記憶装
置３０３に記憶される。

【０１２２】構造情報対応づけ部４０として働くパーソ
ナルコンピュータ３０２は、同一物体を含むフレーム画
像の構造情報を統合して図４のような構造情報を生成す
る。

【０１２３】画像合成部６０として働くパーソナルコン
ピュータ３０２は、統合して得られた構造情報と、画像
記憶部２０として働く外部記憶装置３０３に記憶された
フレーム画像をもとに、フレーム画像を合成して合成画
像を得る。

【０１２４】こうして得られた合成画像は、ディスプレ
イ装置、プリンタなどの出力装置３０４により表示され
る。

【０１２５】第２、４、５の実施の形態に基づく実施例
においては、撮像対象が文書に限定されるため、上記の
説明で構造解析部３０、構造情報対応づけ部４０、構造
情報記憶部５０はそれぞれレイアウト構造解析部３１、
レイアウト構造対応づけ部４１、レイアウト構造記憶部
５１に置き換えられる。

【０１２６】第３、４、５の実施の形態に基づく実施例
においては、超解像画像の挿入が行われるため、上記に
付け加えて、パーソナルコンピュータ３０２は位置ずれ
残差検出部７０および超解像処理部８０として機能す
る。

【０１２７】第５の実施の形態に基づく実施例において
は、超解像処理部８０として機能したパーソナルコンピ
ュータ３０２により、文書中の各文字についての超解像
画像を生成し、これを個別文字認識部９０として働くパ
ーソナルコンピュータ３０２により対応する文字コード
に変換する。文字認識結果結合部６１として働くパーソ
ナルコンピュータ３０２により、文字コードとレイアウ
ト情報から撮像対象の文書が復元され、出力装置３０４
から出力される。

【０１２８】図１４は本発明の第２の実施例である。第
１と第２の実施例の違いは、カメラ３００とビデオキャ
プチャボード３０１の間にビデオデッキ、ＤＶＤ（デジ
タルビデオディスク）等の動画像記録装置３０５が接続
されていることである。このため本実施例はリアルタイ
ムの画像だけではなく、録画された画像についても処理
を行うことが出来る。

【０１２９】

【発明の効果】第１の効果は、フレーム画像の位置ずれ
を検出するための相関計算の回数を削減でき、位置ずれ
量の検出精度の向上も実現できる。

【０１３０】その理由は、入力された各フレーム画像の
構造を解析し構造情報どうしの対応づけを行うためであ
る。

【０１３１】第２の効果は、フレーム画像の位置ずれを
検出するための相関計算の回数を削減できるとともに、
位置ずれ量の検出精度が劣化しやすい文書画像に対して
も安定に検出精度を向上させることができる。

【０１３２】その理由は、レイアウト構造は印刷文書に
おいて安定した構造特徴であり、高速に構造情報の抽出
が可能であるためである。

【０１３３】第３の効果は、超解像処理のためのサブピ
クセル位置ずれ量の検出を画像全体に対して行う必要が
なく、高速化が実現される。高速な超解像処理が可能と
なる。

【０１３４】その理由は、予めレイアウト構造を用いて
フレーム画像間の位置ずれ量が画素のサイズの精度で検
出されているためである。また、文書には多くの空白が
含まれるが、効率よくそれらを処理の対象から外すこと
ができるためである。

【０１３５】第４の効果は、文書画像に対する解像度改
善処理の高速化、高精度化が実現される。

【０１３６】その理由は、予めレイアウト構造を用いて
フレーム画像間の位置ずれ量が画素のサイズの精度で検
出されているため、超解像処理のためのサブピクセル位
置ずれ量の検出を画像全体に対して行う必要がなく、ま
た、文書には多くの空白が含まれるが、それらを処理の
対象から外すことができるためである。

【０１３７】第５の効果は、広範囲にわたる文書の認識
を少ないメモリで行うことができることである。また、
各フレーム画像内の文字画像をそれぞれ文字認識し、文
字列の接続を行う場合に比較して、処理時間を短縮する
ことができる。

【０１３８】その理由は、統合したレイアウト構造を用
いて文字認識結果の文字コードを配置し、文書の認識結
果とし、文字認識処理を文書の全面の画像を再構成する
ことなく文書の認識処理が行えるためである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のブロック図であ
る。

【図２】本発明の第１の実施の形態によるの画像の合成
を表す説明図である。

【図３】構造情報の例である。

【図４】図３の２つの構造情報を変換して得た構造情報
である。

【図５】本発明の第２の実施の形態のブロック図であ
る。

【図６】フレーム画像からレイアウト情報を抽出する過
程を表わす図である。

【図７】図６で抽出されたレイアウト情報を統合する過
程を表わす図である。

【図８】本発明の第３の実施の形態のブロック図であ
る。

【図９】超解像画像を生成する過程を説明する図であ
る。

【図１０】本発明の第４の実施の形態のブロック図であ
る。

【図１１】本発明の第５の実施の形態のブロック図であ
る。

【図１２】本発明の第５の実施の形態の動作を表わす説
明図である。

【図１３】本発明の第１の実施例のブロック図である。

【図１４】本発明の第２の実施例のブロック図である。

【符号の説明】

１０ 画像入力部 ２０ 画像記憶部 ３０ 構造解析部 ３１ レイアウト構造解析部 ４０ 構造情報対応づけ部 ４１ レイアウト構造対応づけ部 ５０ 構造情報記憶部 ５１ レイアウト構造記憶部 ６０ 画像合成部 ６１ 文字認識結果結合部 ７０ 位置ずれ残差検出部 ８０ 超解像処理部 ９０ 個別文字認識部

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 複数の画像からひとつの画像を合成する
   画像合成方法において、 前記複数枚のフレーム画像のそれぞれに対して、フレー
   ム画像内の各物体の検出及び検出された各物体について
   物体の特徴と物体相互の位置関係からなる構造情報の抽
   出を行う構造解析段階と、 前記構造情報を前記複数枚のフレーム画像の間で対応づ
   け、これに基づきフレーム画像間の相対的な位置ずれ量
   を検出する構造情報対応づけ段階と、 前記複数枚のフレーム画像を前記位置ずれ量に基づいて
   繋ぎ合わせる画像合成段階とを含むことを特徴とする画
   像合成方法。
2. 【請求項２】 請求項１記載の画像合成方法において、
   前記フレーム画像は文書の画像であり、前記構造情報と
   して段組み、文字列及び文字からなる文書のレイアウト
   構造を抽出することを特徴とする画像合成方法。
3. 【請求項３】 請求項１記載の画像合成方法において、 前記複数枚のフレーム画像の中の同一物体に対して、前
   記構造情報を基に一画素の大きさ以下の精度の位置ずれ
   量であるサブピクセル位置ずれ量を検出する位置ずれ残
   差検出段階と、 前記サブピクセル位置ずれ量に基づき、画素間を内挿す
   るように画像をずらして重ねあわせた超解像画像を生成
   する超解像処理段階と、 前記構造情報に基づき前記超解像画像を画像上に配置し
   て画像を生成する超解像画像合成段階とを含むことを特
   徴とする画像合成方法。
4. 【請求項４】 請求項２記載の画像合成方法において、 前記複数枚のフレーム画像の中の同一物体について、前
   記構造情報を基に前記サブピクセル位置ずれ量を検出す
   る位置ずれ残差検出段階と、 前記サブピクセル位置ずれ量に基づき、画素間を内挿す
   るように画像をずらして重ねあわせた超解像画像を各物
   体について生成する超解像処理段階と、 前記構造情報に基づき前記超解像画像を画像上に配置し
   て画像を生成する超解像画像合成段階とを含むことを特
   徴とする画像合成方法。
5. 【請求項５】 請求項４記載の画像合成方法において、 前記超解像画像を文字単位に生成した超解像文字画像を
   出力する超解像文字画像出力段階と、 前記超解像文字画像を文字コードに変換する個別文字認
   識段階と、 前記構造情報と前記位置ずれ量に基づき、前記文字コー
   ドを文字の記載順にしたがって配置し、文書の認識結果
   を再構成する文字認識結果結合段階とを含むことを特徴
   とする画像合成方法。
6. 【請求項６】 複数の画像からひとつの画像を合成する
   画像合成装置において、 入力対象に対して画像入力デバイスを走査して複数枚の
   フレーム画像を取得する画像入力手段と、 入力された前記複数枚のフレーム画像を記憶する画像記
   憶手段と、 前記複数枚のフレーム画像のそれぞれに対して、フレー
   ム画像内の各物体の検出及び検出された各物体について
   前記構造情報の抽出を行う構造解析手段と、 前記構造解析手段により前記複数枚のフレーム画像から
   抽出された前記構造情報を記憶する構造情報記憶手段
   と、 前記構造情報記憶手段に記憶された前記構造情報を前記
   複数枚のフレーム画像の間で対応づけ、これに基づき各
   フレーム画像間の相対的な位置ずれ量を検出し、前記構
   造情報記憶手段に出力する構造情報対応づけ手段と、 前記画像記憶手段に記憶されている前記複数枚のフレー
   ム画像を、前記構造情報記憶手段に記憶されたフレーム
   画像間の位置ずれ量に基づき、フレーム画像を繋ぎ合わ
   せる画像合成手段とを含むことを特徴とする画像合成装
   置。
7. 【請求項７】 請求項６記載の画像合成装置において、
   入力対象は文書であり、前記構造情報として段組み、文
   字列及び文字からなる文書のレイアウト構造を抽出する
   ことを特徴とする画像合成装置。
8. 【請求項８】 請求項６記載の画像合成装置において、 前記複数枚のフレーム画像の中の同一物体に対して、前
   記構造情報を基に前記サブピクセル位置ずれ量を検出す
   る位置ずれ残差検出手段と、前記サブピクセル位置ずれ
   量に基づき、画素間を内挿するように画像をずらし て重ねあわせた超解像画像を生成する超解像処理手段
   と、 前記構造情報に基づき前記超解像画像を画像上に配置し
   て画像を生成する超解像画像合成手段とを含むことを特
   徴とする画像合成装置。
9. 【請求項９】 請求項７記載の画像合成装置において、 前記複数枚のフレーム画像の中の同一物体について、前
   記構造情報を基に前記サブピクセル位置ずれ量を検出す
   る位置ずれ残差検出手段と、 前記サブピクセル位置ずれ量に基づき、画素間を内挿す
   るように画像をずらして重ねあわせた超解像画像を各物
   体について生成する超解像処理手段と、 前記構造情報に基づき前記超解像画像を画像上に配置し
   て画像を生成する超解像画像合成手段とを含むことを特
   徴とする画像合成装置。
10. 【請求項１０】 請求項９記載の画像合成装置におい
    て、 前記超解像文字画像を出力する超解像文字画像出力手段
    と、 前記超解像文字画像を文字コードに変換する個別文字認
    識手段と、 前記構造情報と前記位置ずれ量に基づき、前記文字コー
    ドを文字の記載順にしたがって配置し、文書の認識結果
    を再構成する文字認識結果結合手段とを含むことを特徴
    とする画像合成装置。